CN106254860B - 照相机的校准装置、照相机系统、以及照相机的校准方法 - Google Patents

照相机的校准装置、照相机系统、以及照相机的校准方法 Download PDF

Info

Publication number
CN106254860B
CN106254860B CN201610390767.9A CN201610390767A CN106254860B CN 106254860 B CN106254860 B CN 106254860B CN 201610390767 A CN201610390767 A CN 201610390767A CN 106254860 B CN106254860 B CN 106254860B
Authority
CN
China
Prior art keywords
camera
data
image
process data
calibrating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610390767.9A
Other languages
English (en)
Other versions
CN106254860A (zh
Inventor
伊藤诚也
笹谷聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of CN106254860A publication Critical patent/CN106254860A/zh
Application granted granted Critical
Publication of CN106254860B publication Critical patent/CN106254860B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/246Calibration of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • G06T2207/30208Marker matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明提供一种照相机的校准装置、照相机系统、以及照相机的校准方法,能够谋求简化校准作业和提高校准精度。校准装置(2)具有数据库(30)、指示部(25)、修正部、评价部(24)。在数据库(30)中,存储有与照相机(11A)的规格对应的过程数据。指示部(25)基于过程数据向显示画面(50A)输出作业指示。评价部(24)评价修正部修正后的修正图像。

Description

照相机的校准装置、照相机系统、以及照相机的校准方法
技术领域
本发明涉及一种求出监视照相机或照相机传感器等照相机的照相机参数的照相机的校准装置、具有该校准装置的照相机系统、以及照相机的校准方法。
背景技术
以往,在修正监视照相机或照相机传感器的影像的失真时,或者如立体照相机那样为了实现基于多个照相机的影像识别,推定表示照相机的焦点距离、朝向等的照相机信息即照相机参数。
考虑到照相机参数在制造照相机时和在现场设置照相机时产生偏差。这是由于在设置照相机时接触面的压力使壳体发生变形,或者由于温度或湿度等造成照相机壳体材料膨胀收缩而产生变化。另外,照相机参数也会由于长时间的振动等产生误差。因此,以往根据推定的照相机参数来进行照相机的校准(校正)。
例如,在专利文献1中记载了使用改变照相机的光学条件拍摄到的多个图拍摄图像来求出照相机的校准用数据的技术,该照相机改变光学条件来拍摄配置了标记的校准用图。
然而,在设置了照相机的位置进行校准时,与制造照相机的工厂不同,用于进行校准的设备未必存在于设置了照相机的位置,因此该作业变得非常繁琐。
另外,对于设置的照相机的焦点距离和基线长度等的每个规格,拍摄基准图的位置、尺寸等的校准作业不同。因此,作业者需要根据照相机的规格选择校准作业,从而校准作业变得非常繁琐。结果,存在作业者推定的照相机参数中产生偏差,校准精度下降这样的问题。
专利文献
专利文献1:日本特开2004-37270号公报
发明内容
考虑到上述的问题点,本发明的目的在于提供一种能够谋求简化校准作业以及提高校准精度的照相机校准装置、照相机系统以及照相机的校准方法。
为了解决上述课题达成本发明的目的,本发明的照相机的校准装置具备数据库、指示部、修正部、评价部。在数据库中存储与照相机的规格相应的校准的作业工序即过程数据。指示部基于在数据库存储的过程数据向显示画面输出作业指示。修正部根据照相机拍摄到的图像数据修正基于过程数据取得的基准数据。评价部评价修正部修正后的修正图像。
另外,本发明的照相机系统具备拍摄图像的照相机和进行照相机校准的校准装置。校准装置使用上述的校准装置。
并且,本发明的照相机的校准方法包含以下(1)至(4)所示的工序。
(1)根据照相机的规格从数据库取得校准的作业工序即过程数据的工序。
(2)基于取得的过程数据在显示画面上通过指示部输出作业指示的工序。
(3)根据照相机拍摄到的图像数据通过修正部修正基于过程数据取得的基准数据的工序。
(4)通过评价部评价修正部修正后的修正图像的工序。
通过本发明的照相机校准装置、照相机系统以及照相机的校准方法,能够谋求简化校准作业以及提高校准精度。
附图说明
图1是表示本发明实施例的照相机系统的整体结构的框图。
图2是表示本发明的第一实施例的照相机系统的过程数据表的一个例子的说明图。
图3是详细说明本发明的第一实施例的照相机系统的过程数据的示意图。
图4是表示本发明的第一实施例的照相机系统的拍摄位置的详细内容的说明图。
图5是表示本发明的第一实施例的照相机系统的拍摄位置的详细内容的说明图。
图6是表示本发明的第一实施例的照相机系统的校准作业的流程图。
图7是表示本发明的第一实施例的照相机系统的通过指示部向显示画面输出的指示的显示例的说明图。
图8是表示本发明的第一实施例的照相机系统的通过指示部向显示画面输出的指示的显示例的说明图。
图9是表示本发明的第二实施例的照相机系统的通过指示部向显示画面输出的指示的显示例的说明图。
图10是表示本发明的第二实施例的照相机系统的校准的一个例子的说明图。
图11是表示本发明的第三实施例的照相机系统的通过指示部向显示画面输出的指示的显示例的说明图。
具体实施方式
以下,参照图1~图11对本发明的照相机校准装置、照相机系统以及照相机的校准方法进行说明。在各图中对通用的部件赋予相同的符号。
1.第一实施例
1-1.照相机系统的结构例
首先,参照图1对本发明的第一实施例(以下称为本例)的照相机系统的结构进行说明。
图1是表示本例的照相机系统的整体结构的框图。
图1所示的照相机系统1是使用两个照相机来拍摄距离和立体影像的立体照相机。如图1所示,照相机系统1具有两个照相机11A,11B、校准装置2、图像识别部40、终端装置50。两个照相机11A,11B、校准装置2、图像识别部40以及终端装置50能够经由无线或有线的网络7(LAN(Local Area Network局域网)、因特网、专用线路等)连接,并能够相互进行数据的发送接收。
在两个照相机11A,11B中分别设置了识别照相机规格的ID编号11a。将两个照相机11A,11B拍摄到的图像数据以及ID编号11a经由网络7向校准装置2、图像识别部40以及终端装置50进行发送。
校准装置2具有校准部20和存储有各种数据的数据库30。校准部20具有图像取得部21、基准数据存储部22、修正参数计算部23、评价部24、指示部25、过程数据检索部26。
图像取得部21在进行校准时取得照相机11A,11B拍摄到的图像数据。然后,图像取得部21从取得的图像数据抽出在校准作业时使用的基准数据,并将其输出给基准数据存储部22。另外,图像取得部21向评价部24输出取得的图像数据。
在基准数据存储部22中存储从图像取得部21输出的基准数据。此外,虽然在本例中说明了图像取得部21从图像数据抽出基准数据的例子,但并不限于此。例如,也可以从图像取得部21向基准数据存储部22输出图像数据,从基准数据存储部22输出的图像数据抽出并存储基准数据。并且,可以另外设置从图像取得部21取得的图像数据抽出基准数据的基准数据取得部。
基准数据存储部22与修正参数计算部23相连接。修正参数计算部23根据在基准数据存储部22中存储的基准数据来计算修正参数。
修正参数计算部23向后述的数据库30的修正参数存储部32输出计算后的修正参数。
向评价部24输出图像取得部21取得的图像数据和修正参数计算部23计算出的存储在修正参数存储部32的修正参数。评价部24使用图像数据和修正参数生成评价用修正图像。另外,在评价部24中存储有用于评价修正图像的评价数据。然后,评价部24根据评价数据评价生成的评价用修正图像。评价部24向指示部25输出评价后的信息。
此外,在本例中说明了评价部24生成评价用修正图像的例子,但是并不限于此。例如,也可以在校准部20设置根据修正参数和图像数据生成评价用修正图像的修正部,或者也可以使用后述的图像识别部40的修正部42生成的修正图像。
指示部25接收评价部24评价后的信息,或者接收后述的过程数据检索部26检索到的过程数据。然后,指示部25向终端装置50输出接收到的信息。
过程数据检索部26与后述的数据库30的过程数据存储部31以及照相机设置数据存储部33相连接。过程数据检索部26根据照相机11A,11B的ID编号11a从过程数据存储部31以及照相机设置数据存储部33检索并取得用于进行校准的过程数据。然后,过程数据检索部26向指示部25输出取得的过程数据。
接着,对数据库30进行说明。数据库30具有过程数据存储部31、修正参数存储部32、照相机设置数据存储部33。
在过程数据存储部31中,针对照相机的每个规格,存储有用于进行校准作业的作业数据。另外,在照相机设置数据存储部33中存储用于设置照相机11A,11B的表示坐标位置和照相机朝向的照相机设置数据。然后,通过该作业数据和照相机设置数据构成用于进行校准作业的作业工序即过程数据。
图2是表示在过程数据存储部31以及照相机设置数据存储部33中存储的过程数据的表的一个例子的说明图。图3是说明过程数据的详细内容的示意图。
如图2所示,过程数据例如根据ID编号11a、基线长度300、照相机11A,11B的焦点距离301设定了图尺寸302、距离303、拍摄位置304、出货时有无基准图像305。
如图3所示,基线长度300表示两个照相机11A,11B的镜头间的距离。另外,焦点距离301是照相机11A的镜头的主点到焦点的距离,即进行了对焦时的镜头到拍摄元件的距离。并且,焦点距离301与视角306对应,该视角306是在图3所示的照相机11A,11B拍摄的图像中拍到的景象的范围的角度。例如,焦点距离301越短,视角306越广,焦点距离301越长,视角306越窄。
过程数据中的距离303表示照相机11A,11B与进行校准时由照相机11A,11B拍摄的基准图201之间的距离。
另外,图尺寸302表示进行校准时通过照相机11A,11B拍摄的基准图201的大小。关于图尺寸302,在决定了照相机11A,11B的视角306以及基线长度300时,设定以距离303收纳在两个照相机11A,11B的公共视场308中的范围的图尺寸。
然后,参照图4以及图5对过程数据所示的拍摄位置304的详细内容进行说明。
图4以及图5是表示拍摄位置的详细内容的说明图。
关于拍摄位置304,例如如图4所示固定基准图201,移动照相机11A,设定取得基准数据的位置。在图4所示的例子中,表示了从地点Q1、Q2、Q3、Q4的四个方向拍摄基准图201。
另外,根据校准所要求的修正精度来适当设定拍摄位置304,优选针对基准图201设定上下左右四个位置和正面的五个以上位置。
此外,在图4的示例中说明了移动照相机11A的例子,但是并不限于此。例如,可以在固定了照相机11A的情况下,如图5A以及图5B所示那样,相对于照相机11A移动基准图201。此时,关于照相机11A与基准图201的距离按照,以通过距离303设定的距离来进行作业。
出货时有无基准图像305设定了在将照相机11A,11B出货时是否具有在与校准作业时相同的条件下拍摄基准图201得到的图像(以下称为“出货时基准图像”)。在具有表示初始基准图像的一例的出货时基准图像时,通过将该出货时基准图像与校准作业时拍摄到的图像数据,即所谓的基准数据进行比较,由此能够推定照相机参数的偏差。
另外,在评价部24评价修正参数时,可以使用出货时基准图像进行评价。
然后,关于上述的照相机的每个规格的多个过程数据,通过校准部20的过程数据检索部26检索与进行校准的照相机相应的过程数据。然后,将检索到的过程数据经由过程数据检索部26输出给指示部25。
在修正参数存储部32中存储修正参数计算部23计算出的修正参数。修正参数存储部32向评价部24或后述的图像识别部40的修正部42输出存储的修正参数。另外,可以向修正参数存储部32输出通过上述的图像识别部40修正后的修正图像。
图像识别部40具有图像取得部41、修正部42、图像处理部43。图像取得部41取得来自两个照相机11A,11B的图像数据。修正部42根据从修正参数存储部32输出的修正参数来修正图像取得部41取得的图像数据,并生成修正图像。修正部42向修正参数存储部32或者图像处理部43输出生成的修正图像。
图像处理部43处理从修正部42输出的修正图像,并运算两个照相机11A,11B的左右视差。在本例中对图像处理部43中立体照相机的处理进行了说明,但并不局限于此。图像处理部43例如可以根据从修正部42输出的修正图像处理用于立体影像的图像。
终端装置50例如是具有由液晶显示画面或CRT(Cathode Ray Tube阴极射线管)显示画面等构成的显示画面50A和输入部的显示装置。在显示画面50A中显示照相机11A,11B拍摄到的图像、从指示部25输出的指示信息。将在后面叙述在终端装置50的显示画面50A中显示的指示信息的详细内容。
此外,说明了在本例的照相机系统1中,经由网络7连接两个照相机11A,11B、校准部20、数据库30、图像识别部40以及终端装置50,并分别为单独的结构,但是并不限于此。例如,也可以将校准部20、数据库30、图像识别部40以及终端装置50内置到照相机11A内。
另外,也可以在PC(个人计算机)等外部装置的液晶显示装置或CRT显示装置中进行RGB(Red Green Blue红绿蓝)监视器输出、或经由网络进行数据输出,从而取代设置终端装置50。
1-2.照相机的校准方法
其次,参照图6~图8对本例的照相机系统1的照相机11A,11B的校准方法进行说明。
图6是表示校准作业的流程图。
首先,如图6所示,校准部20从数据库30取得用于进行校准作业的过程数据(步骤S1)。具体来说,首先校准部20从照相机11A,11B取得识别照相机的规格的ID编号11a。然后,过程数据检索部26基于取得的ID编号11a,从过程数据存储部31以及照相机设置数据存储部33检索过程数据,来取得过程数据。
接着,过程数据检索部26向指示部25输出取得的过程数据。然后,指示部25基于输出的过程数据向终端装置50的显示画面50A输出作业指示(步骤S2)。例如,指示部25向终端装置50的显示画面50A输出图2所示的过程数据的表。
由此,作业者能够容易地辨别用于进行校准的作业内容,并能够谋求简化校准作业。
另外,指示部25可以基于在后述的步骤S3取得的图像数据来向终端装置50输出作业指示。
在此,参照图7以及图8对在显示画面50A显示的指示内容的一个例子进行说明。
图7以及图8是表示通过指示部向显示画面50A输出的指示的显示例子的说明图。
如图7所示,在显示画面50A中设置了显示照相机11A拍摄到的图像的第一显示部51A和显示照相机11B拍摄到的图像的第二显示部51B。终端装置50具有取得照相机11A,11B拍摄到的图像数据的图像取得部。在第一显示部51A中显示第一导引52A,在第二显示部51B中显示第二导引52B。基于过程数据,适当变更第一导引52A以及第二导引52B。
并且,在显示画面50A中显示作业指示窗口53,该作业指示窗口53显示针对作业者的作业内容。
作业者移动基准图201或者照相机11A,11B,以使在显示画面50A中显示的第一导引52A以及第二导引52B的框与基准图201的外缘吻合。另外,指示部25根据在第一显示部51A以及第二显示部51B中显示的基准图201的位置,使作业指示窗口53输出作业指示。
指示部25测定在第一显示部51A以及第二显示部51B中显示的基准图201的四角与第一导引52A、第二导引52B的四角的距离。然后,指示部25根据测定到的距离向作业指示窗口53输出作业指示。关于在第一显示部51A以及第二显示部51B中显示的基准图201与第一导引52A、第二导引52B的比较,可以进行判定以使四边的长度误差最小化。
或者,如图8所示,指示部25也可以基于取得的图像数据来计算照相机11A,11B以及基准图201在实际空间的位置,并输出给显示画面50A。然后,指示部25可以使显示画面50A显示箭头54和导引55,来对作业者进行指示以使基准图201成为预定的位置。
如上所述,指示部25指示校准作业中的作业顺序,由此能够向作业者正确地传达作业内容,并能够防止根据作业者的不同校准作业的精度发生变化的情况。因此,能够提高校准的精度。
接着,校准部20使用图像取得部21取得照相机11A,11B拍摄到的图像数据(步骤S3)。然后,图像取得部21从取得的多个图像数据中取得校准所需要的基准数据(步骤S4)。基准数据是多个图像数据中的与过程数据的条件相符合的图像数据。然后,图像取得部21向基准数据存储部22输出取得的基准数据。
接着,修正参数计算部23基于在基准数据存储部22中存储的基准数据来计算修正参数(步骤S5)。
详细来说,修正参数计算部23首选基于基准数据来推定由照相机11A,11B的内部参数K和外部参数D组成的照相机参数C。然后,修正参数计算部23计算推定出的照相机参数C与预先设定的基准参数之间的偏差量。然后,修正参数计算部23计算修正参数的偏差量为最小或者成为0的修正参数。此外,以预定的次数重复进行运算处理,由此来计算修正参数。
在此,对照相机参数C进行说明。
首先,内部参数K通过下述的数1所示的矩阵来表示。数1中的f表示焦点距离,a表示宽高比,s表示变形,该变形表示图像的失真度、(vc、uc)表示照相机11A,11B拍摄到的图像内的坐标(图像坐标)的中心坐标。
(数1)
另外,外部参数D通过下述的数2所示的矩阵来表示。数2中的(r11、r12、r13、r21、r22、r23、r31、r32、r33)表示照相机11A,11B的朝向。另外,数2中的(tx、ty、tz)表示设置照相机11A,11B的位置的坐标,所谓的世界坐标。
(数2)
然后,通过内部参数K和外部参数D,图像坐标(u、v)和世界坐标(XW、YW、ZW)能够通过下述数3所示的关系式来表示。此外,数3中的λ为常数。
(数3)
外部参数D中的表示照相机11A,11B的朝向的(r11、r12、r13、r21、r22、r23、r31、r32、r33)当通过欧拉角进行定义时,通过作为照相机11A,11B的设置角度的摇摄θ、倾斜φ、旋转ψ这三个参数来表示。因此,为了将图像坐标和世界坐标对应起来所需要的照相机参数数量为5个内部参数数量和6个外部参数数量,合计11个。
另外,在数3中照相机参数的C的矩阵理解为即使是常数倍意思也不变。因此,能够将常数λ、内部参数K、外部参数D整理为一个矩阵,并如下述的数4所示来表示。
(数4)
并且,在数4中,如果固定为c34=1则未知的参数数量为11个。然后,求出该11个参数的值与求出数3中的5个内部参数数量和6个外部参数数量的意义相同。因此,数3可以转换为下述所示的数5。然后,数5中的矩阵C为照相机参数C。
(数5)
此外,修正参数计算部23计算的修正参数可以是数5所示的照相机参数C,或者也可以只是式1所示的内部参数K。
接着,修正参数计算部23将计算出的修正参数存储在修正参数存储部32。然后,评价部24或修正部42基于存储的修正参数来修正图像数据(步骤S6)。通过该步骤S6中的修正处理选择与照相机系统1的应用相应的处理。
接着,评价部24基于预先存储的评价数据来对评价用修正图像进行评价。即,评价部24对修正图像是否在评价数据的范围内进行判断(步骤S7)。作为评价部24进行评价的方法,例如,将从修正图像计算出的距离数据与实测值进行比较,或者在具有出货时基准图像的情况下评价出货时基准图像与修正图像之间的偏差。
或者,评价部24从评价表修正图像中检测边缘点数E,并根据有效视差数d计算视差密度D。视差密度D根据下述式1进行计算。
(式1)
D=d/E
式1表示相对于边缘点数的有效视差的数量,能够作为修正参数的精度、立体处理中的是否平行的评价值使用。然后,评价部24可以通过判断计算出的视差密度D是否在阈值的范围内来进行修正图像的评价。
在步骤S7的处理中,当评价部24判断修正后的图像在评价数据范围内时(步骤S7判定为“是”),评价部24向指示部25输出评价结果。然后,校准部20将评价后的修正参数存储在修正参数存储部32。由此,校准作业结束。
另外,在步骤S7的处理中,当评价部24判断修正后的图像不在评价数据范围内时(步骤S7判定为“否”),评价部24向指示部25输出评价结果。然后,校准部20返回到步骤S2的处理,再次进行校准作业。
如此,在本例的照相机系统1中,通过由评价部24评价计算出的修正参数,即使校准精度降低,也能够由评价部24进行判断。然后,经由指示部25输出评价部24评价的信息。结果,作业者能够尽早知晓校准精度降低的情况,能够提高校准的精度。
另外,在校准作业发生了错误时,也能够通过评价部24检测出来。
此外,在本例中,说明了校准部20取得在照相机11A,11B中设置的ID编号11a的例子,但是并不限于此。例如,在进行校准作业时,作业者向终端装置50输入照相机11A,11B的ID编号、基线长度、焦点距离等照相机识别信息。然后终端装置50也可以向校准装置2发送输入的照相机识别信息。
2.第二实施例
接着,参照图9对本发明的第二实施例的照相机系统进行说明。
图9是表示第二实施例的照相机系统的指示部的指示内容的说明图。
第二实施例的照相机系统与第一实施例的照相机系统的不同点在于,指示部25向终端装置50输出的指示内容。因此,在此对在终端装置50的显示画面50A中显示的内容进行说明,对于与第一实施例的照相机系统1通用的部分赋予相同的符号来省略重复的说明。
在此,当对于某个物体预先知道到照相机11A,11B的距离时,能够求出两个照相机11A,11B的视差的期待值。例如,如果物体是相对于照相机11A,11B正对的平面则视差固定。并且,在相对于照相机11A,11B倾斜配置物体时,对于该平面也可以通过检测物体与照相机11A,11B的角度来将计算出的视差结果最佳化。
图9是表示在显示画面50A中显示的显示内容的说明图。
如图9所示,在显示画面50A中,显示两个照相机11A,11B拍摄到的图像。此外,在显示画面50A中,显示用于输入从照相机11A,11B到选择的物体的实测值的距离输入窗口56。
指示部25对作业者进行指示,以使其经由光标50B选择到照相机11A,11B的距离预先已知的所谓的已知物体的平面400、401、402。另外,指示部25对作业者进行指示,以使其在距离输入窗口56输入从照相机11A,11B到选择的平面400、401、402的距离。
在此,相对于距离Z的视差d能够从下述式2进行计算。B是基线长度,f是焦点距离。
(式2)
d=Bxf/Z
然后,校准部20基于输入的区域和距离,改变式1所示的内部参数K和数5所示的照相机参数C的值来进行修正,以使视差接近期待值。另外,进行在测量领域中使用的集束调整法(bundle adjustment),亦即使误差的平方和最小化来进行视差的校准。
图10是校准的一个例子的说明图。
另外,不限于平面,可以通过直线等的调整来求出校准的修正值,以使在地面或天花板得到的线状数据1001成为理想的线状数据1000。
3.第三实施例
其次,参照图11对本发明的第三实施例的照相机系统进行说明。
图11是表示第三实施例的照相机系统的指示部的指示内容的说明图。
第二实施例的照相机系统与第一实施例的照相机系统的不同点在于,指示部25向终端装置50输出的指示内容以及评价部24的评价数据的范围。因此,在这里对在终端装置50的显示画面50A中显示的内容进行说明,对于与第一实施例的照相机系统1通用的部分赋予相同的符号并省略重复的说明。
如图11所示,在显示画面50A中,显示两个照相机11A,11B拍摄到的图像。然后,将该图像分割为9个区域401A、401B、401C、401D、401E、401F、401G、401H、401I。
然后,评价部24的评价数据的值对于区域401A、401B、401C、401D、401E、401F、401G、401H、401I中的每个区域进行变化。例如,重要的人或物通行的区域与其他区域相比设定为严格的评价数据的范围。
另外,指示部25也可以促使作业者经由光标50B来选择评价图像的区域。
由此,能够在两个照相机11A,11B拍摄到的图像中只提高特定区域的性能。
此外,分割的区域不限于9个,也可以设定将图像分割为8个以下,或10个以上,以使评价部24的评价数据不同。
本发明并不限于在上述各附图中所示的实施方式,在不脱离权利要求书所记载的发明宗旨的范围内能够实施各种变形。
在上述的实施例中,说明了作为照相机系统应用具有两个照相机的立体照相机的例子,但是并不限于此。作为照相机系统,例如也可以用于具有三个以上照相机的照相机系统或由一台照相机构成的监视照相机等。并且,作为照相机系统,还可以用于拍摄立体影像的立体影像用照相机,或车载照相机、感知人或物体的对物对人感知照相机、自动运行系统、人流测量系统、影像安全系统等其他各种的照相机系统。
符号的说明
1:照相机系统
2:校准装置
7:网络
11a:ID编号
11A、11B:照相机
20:校准部
21:图像取得部
22:基准数据存储部
23:修正参数计算部
24:评价部
25:指示部
26:过程数据检索部
30:数据库
31:过程数据存储部
32:修正参数存储部
33:照相机设置数据存储部
40:图像识别部
41:图像取得部
42:修正部
43:图像处理部
50:终端装置
50A:显示画面
53:作业指示窗口
201:基准图
300:基线长度
301:焦点距离
306:视角

Claims (9)

1.一种照相机的校准装置,其特征在于,具备:
数据库,其存储有与照相机的规格相应的校准的作业工序即过程数据;
指示部,其基于根据照相机的规格从所述数据库检索出的所述过程数据向显示终端的显示画面输出作业指示来指示校准作业中的作业顺序;
图像取得部,其取得所述照相机拍摄到的多个图像数据,并且从取得的多个图像数据中取得校准所需要的基准数据,所述基准数据是多个图像数据中的与所述过程数据的条件相符合的图像数据;
修正部,其根据基于基准数据计算出的修正参数来修正所述照相机拍摄到的图像数据;以及
评价部,其基于出货时基准图像与所述修正部修正后的修正图像之间的偏差来评价所述修正后的修正图像是否在评价数据的范围内,
所述出货时基准图像是在照相机出货时在与所述校准作业相同的条件下对基准图进行拍摄而得到的图像。
2.根据权利要求1所述的照相机的校准装置,其特征在于,
所述指示部向所述显示画面输出所述评价部评价后的评价结果,并根据所述评价结果再次指示校准作业。
3.根据权利要求1所述的照相机的校准装置,其特征在于,
具有过程数据检索部,其从所述数据库中存储的过程数据检索并取得与所述照相机的规格相应的过程数据。
4.根据权利要求3所述的照相机的校准装置,其特征在于,
所述过程数据检索部通过从所述照相机取得识别所述照相机的规格的ID编号,从所述数据库中存储的过程数据检索并取得与所述照相机的规格相应的过程数据。
5.根据权利要求1所述的照相机的校准装置,其特征在于,
所述指示部基于所述过程数据进行输出,以便在所述显示画面中显示用于引导由所述照相机拍摄的基准图的位置的导引。
6.根据权利要求1所述的照相机的校准装置,其特征在于,
在所述过程数据中存储有在所述照相机的初始设定时拍摄到的初始基准图像,
所述评价部使用所述初始基准图像来评价所述修正图像。
7.根据权利要求1所述的照相机的校准装置,其特征在于,
所述修正部从所述照相机拍摄到的图像中选择所述照相机到物体的距离已知的平面,并且输入所述距离,由此生成所述修正图像。
8.一种照相机系统,其特征在于,具备:
照相机,其拍摄图像;以及
校准装置,其进行所述照相机的校准,
所述校准装置具备:
数据库,其存储有与所述照相机的规格相应的校准的作业工序即过程数据;
指示部,其基于根据照相机的规格从所述数据库检索出的所述过程数据向显示终端的显示画面输出作业指示来指示校准作业中的作业顺序;
图像取得部,其取得所述照相机拍摄到的多个图像数据,并且从取得的多个图像数据中取得校准所需要的基准数据,所述基准数据是多个图像数据中的与所述过程数据的条件相符合的图像数据;
修正部,其根据基于基准数据计算出的修正参数来修正所述照相机拍摄到的图像数据;以及
评价部,其基于出货时基准图像与所述修正部修正后的修正图像之间的偏差来评价所述修正后的修正图像是否在评价数据的范围内,
所述出货时基准图像是在照相机出货时在与所述校准作业相同的条件下对基准图进行拍摄而得到的图像。
9.一种照相机的校准方法,其特征在于,包括:
根据照相机的规格从数据库取得校准的作业工序即过程数据的步骤;
指示部基于取得的所述过程数据向显示终端的显示画面输出作业指示来指示校准作业中的作业顺序的步骤;
通过图像取得部取得所述照相机拍摄到的多个图像数据,并且从取得的多个图像数据中取得校准所需要的基准数据的步骤,所述基准数据是多个图像数据中的与所述过程数据的条件相符合的图像数据;
修正部根据基于基准数据计算出的修正参数来修正所述照相机拍摄到的图像数据的步骤;以及
通过评价部基于出货时基准图像与通过所述修正部修正后的修正图像之间的偏差来评价所述修正后的修正图像是否在评价数据的范围内的步骤,所述出货时基准图像是在照相机出货时在与所述校准作业相同的条件下对基准图进行拍摄而得到的图像。
CN201610390767.9A 2015-06-03 2016-06-02 照相机的校准装置、照相机系统、以及照相机的校准方法 Active CN106254860B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-113475 2015-06-03
JP2015113475A JP6446329B2 (ja) 2015-06-03 2015-06-03 カメラのキャリブレーション装置、カメラシステム及び、カメラのキャリブレーション方法

Publications (2)

Publication Number Publication Date
CN106254860A CN106254860A (zh) 2016-12-21
CN106254860B true CN106254860B (zh) 2018-08-17

Family

ID=57451664

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610390767.9A Active CN106254860B (zh) 2015-06-03 2016-06-02 照相机的校准装置、照相机系统、以及照相机的校准方法

Country Status (3)

Country Link
US (1) US9800867B2 (zh)
JP (1) JP6446329B2 (zh)
CN (1) CN106254860B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6989276B2 (ja) * 2017-04-05 2022-01-05 株式会社Soken 位置計測装置
JP7057097B2 (ja) * 2017-10-27 2022-04-19 キヤノン株式会社 距離計測装置、距離計測システム、撮像装置、移動体、距離計測装置の制御方法およびプログラム
KR102198217B1 (ko) * 2018-04-11 2021-01-04 한국전자통신연구원 순람표에 기반한 스티칭 영상 생성 장치 및 방법
TWI680669B (zh) * 2018-07-05 2019-12-21 佳世達科技股份有限公司 顯示裝置的校正方法、取樣顯示裝置以及校正顯示裝置
CN108876863B (zh) * 2018-07-25 2021-05-28 首都师范大学 高光谱相机成像校正方法及装置
JP2021533941A (ja) * 2018-08-24 2021-12-09 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 画像キャプチャ装置のためのオフカメラ較正パラメータ
JP7224832B2 (ja) * 2018-10-01 2023-02-20 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
CN110853160B (zh) * 2019-09-29 2022-01-18 广州市凌特电子有限公司 一种高速公路车道多维度识别系统及方法
TWI720869B (zh) * 2020-04-15 2021-03-01 致伸科技股份有限公司 相機模組之對位方法
CN113538564A (zh) * 2020-04-17 2021-10-22 致伸科技股份有限公司 相机模块的对位方法
CN111915683A (zh) * 2020-07-27 2020-11-10 湖南大学 图像位置标定方法、智能设备及存储介质
CN117412902A (zh) 2021-06-09 2024-01-16 索尼集团公司 移动体、通知方法和通知系统
JP2023106131A (ja) * 2022-01-20 2023-08-01 キヤノン株式会社 撮像装置、制御方法およびプログラム
WO2024014265A1 (ja) * 2022-07-12 2024-01-18 ソニーグループ株式会社 移動体、キャリブレーション方法、およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101726854A (zh) * 2008-10-14 2010-06-09 佳能株式会社 图像处理装置、图像处理方法及图像处理系统
CN102782721A (zh) * 2009-12-24 2012-11-14 康耐视公司 用于相机校准误差的运行时测定的系统和方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5999122A (en) * 1998-06-23 1999-12-07 Trw Inc. Millimeter wave instant photographic camera
KR100374046B1 (ko) * 1999-09-30 2003-03-03 오므론 가부시키가이샤 화상처리장치, 화상처리방법 및 시각검사 시스템
JP2001269431A (ja) * 2000-03-24 2001-10-02 Yamaha Corp 身体動作状態評価装置
JP2003046783A (ja) * 2001-08-02 2003-02-14 Fujitsu Ltd スムージング方法及びスムージング回路
JP4147059B2 (ja) 2002-07-03 2008-09-10 株式会社トプコン キャリブレーション用データ測定装置、測定方法及び測定プログラム、並びにコンピュータ読取可能な記録媒体、画像データ処理装置
ITTO20031055A1 (it) * 2003-12-30 2005-06-30 Fiat Ricerche Sistema per l'assistenza remota di un operatore in una fase di lavoro.
JP4757142B2 (ja) * 2006-08-10 2011-08-24 キヤノン株式会社 撮影環境校正方法及び情報処理装置
JP4931055B2 (ja) * 2006-11-22 2012-05-16 ソニー株式会社 画像処理装置及び画像処理方法
JP4804403B2 (ja) * 2007-04-03 2011-11-02 キヤノン株式会社 情報処理装置、映像表示装置及びそれらの制御方法並びにそれらが接続されてなる映像表示システム
WO2008128205A1 (en) * 2007-04-13 2008-10-23 Presler Ari M Digital cinema camera system for recording, editing and visualizing images
JP5423305B2 (ja) * 2008-10-16 2014-02-19 株式会社ニコン 画像評価装置及びカメラ
JP5414282B2 (ja) * 2009-01-07 2014-02-12 キヤノン株式会社 ファイル管理システム、ファイル管理方法及びプログラム
JP5341789B2 (ja) * 2010-01-22 2013-11-13 富士通テン株式会社 パラメータ取得装置、パラメータ取得システム、パラメータ取得方法、及び、プログラム
JP5972013B2 (ja) * 2011-06-30 2016-08-17 キヤノン株式会社 表示装置及びその制御方法
JP5684178B2 (ja) * 2012-03-23 2015-03-11 ビッグローブ株式会社 情報処理システム
EP2858027A4 (en) * 2012-05-31 2016-10-12 Intel Corp METHOD, SERVER AND COMPUTER READABLE RECORDING MEDIUM FOR PROVIDING AN AUGMENTED REALITY SERVICE
US9684719B2 (en) * 2012-12-10 2017-06-20 Verint Systems Ltd. Object search by description
JP5757932B2 (ja) * 2012-12-27 2015-08-05 京セラドキュメントソリューションズ株式会社 画像補正データ生成装置および画像補正データ生成プログラム
CN105103534B (zh) * 2013-03-27 2018-06-22 富士胶片株式会社 摄像装置及校准方法
US10609267B2 (en) * 2014-07-23 2020-03-31 Orcam Technologies Ltd. Systems and methods for analyzing advertisement effectiveness using wearable camera systems

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101726854A (zh) * 2008-10-14 2010-06-09 佳能株式会社 图像处理装置、图像处理方法及图像处理系统
CN102782721A (zh) * 2009-12-24 2012-11-14 康耐视公司 用于相机校准误差的运行时测定的系统和方法

Also Published As

Publication number Publication date
CN106254860A (zh) 2016-12-21
US20160360195A1 (en) 2016-12-08
JP6446329B2 (ja) 2018-12-26
JP2016225953A (ja) 2016-12-28
US9800867B2 (en) 2017-10-24

Similar Documents

Publication Publication Date Title
CN106254860B (zh) 照相机的校准装置、照相机系统、以及照相机的校准方法
US10764487B2 (en) Distance image acquisition apparatus and application thereof
TWI400481B (zh) 比較3d視覺物體的相似度
US7965325B2 (en) Distortion-corrected image generation unit and distortion-corrected image generation method
WO2014002849A1 (ja) 3次元測定方法、装置及びシステム、並びに画像処理装置
CN111750804B (zh) 一种物体测量的方法及设备
WO2011125937A1 (ja) キャリブレーションデータ選択装置、選択方法、及び選択プログラム、並びに三次元位置測定装置
JP4055998B2 (ja) 距離検出装置、距離検出方法、及び距離検出プログラム
EP3128482A1 (en) Method for calibration of a stereo camera
JP6713185B2 (ja) テンプレートマッチングを用いた検査装置および検査方法
US20210256729A1 (en) Methods and systems for determining calibration quality metrics for a multicamera imaging system
Wohlfeil et al. Automatic camera system calibration with a chessboard enabling full image coverage
CN112102387B (zh) 一种基于深度相机深度估计性能的测试方法与测试系统
CN116563391B (zh) 一种基于机器视觉的激光结构自动标定方法
JP2008298589A (ja) 位置検出装置及び位置検出方法
JP2012054914A (ja) カメラパラメータのキャリブレーション装置及びプログラム
Ricolfe-Viala et al. Optimal conditions for camera calibration using a planar template
CN112734858A (zh) 一种双目标定精度在线检测方法及装置
KR102156998B1 (ko) 비디오 시퀀스에서 모션을 감지하기 위한 방법
US8102516B2 (en) Test method for compound-eye distance measuring apparatus, test apparatus, and chart used for the same
JP6395455B2 (ja) 検査装置、検査方法およびプログラム
Mallem et al. Automatic camera calibration based on robot calibration
JP2010182330A (ja) カラー画像の処理方法および画像処理装置
CN110533731B (zh) 相机解析度的标定方法及相机解析度的标定装置
Ouellet et al. Developing assistant tools for geometric camera calibration: assessing the quality of input images

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant