CN108921906A - 校准方法和测量工具 - Google Patents

校准方法和测量工具 Download PDF

Info

Publication number
CN108921906A
CN108921906A CN201810784408.0A CN201810784408A CN108921906A CN 108921906 A CN108921906 A CN 108921906A CN 201810784408 A CN201810784408 A CN 201810784408A CN 108921906 A CN108921906 A CN 108921906A
Authority
CN
China
Prior art keywords
camera
captured image
distance
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810784408.0A
Other languages
English (en)
Other versions
CN108921906B (zh
Inventor
青木伸
菊池直树
长尾景洋
岸和田润
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of CN108921906A publication Critical patent/CN108921906A/zh
Application granted granted Critical
Publication of CN108921906B publication Critical patent/CN108921906B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0026—Windows, e.g. windscreen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

一种校准方法用于校准立体相机。所述校准方法包括：测量在所述立体相机与为了落入所述立体相机的图像捕获区域内而放置的对象之间的相对位置；获取由所述立体相机捕获的并且包括所述对象的捕获的图像；以及基于所述相对位置和所述捕获的图像，确定用于校准所述立体相机的校准参数。

Description

校准方法和测量工具
本申请为于2016年7月21日提交、申请号为201580005397.6、发明名称为“校准方法和测量工具”的中国专利申请的分案申请。所述母案申请的国际申请日为2015年1月28日，国际申请号为PCT/JP2015/053024。
技术领域
本发明涉及校准方法和测量工具。
背景技术
使用能够测量到对象的距离的立体相机。例如，通过使用在汽车上搭载的立体相机(此后，被称为“车载立体相机”)，通过测量到在汽车前面的对象的距离来控制汽车的技术已经投入实际使用。例如，通过车载立体相机测量的距离被用于向驾驶员给出警告或者控制刹车、方向盘等，实现用于防止汽车碰撞，对汽车之间的距离控制等的目的。
一般地，车载相机常常安装在汽车的前风挡里面。这是因为，如果车载立体相机安装在汽车外面，它需要在防水、防尘等方面具有更高的耐久性。如果立体相机安装在汽车里面，它通过前风挡捕获在汽车外面的风景的图像。一般地，前风挡具有复杂的弯曲形状，并且与诸如在相机里面的透镜之类的光学组件相比，前风挡具有畸变的形状。因此，前风挡使得通过前风挡捕获的捕获图像受到畸变。此外，依赖于在将立体相机安装在汽车中时的安装位置和安装方向，改变所捕获的图像的畸变的特性。为校准在所捕获的图像中包括的这样的畸变，通过将立体相机安装在车辆的预定位置处并且然后在该状态中使用通过前风挡捕获的捕获图像，有必要计算用于校准(校正)捕获图像的畸变的校准参数。
用于计算所捕获的图像的畸变的校准参数的一般方法是使用图表的方法，在该图表中描述用于测量距离的具体标记等。采用该方法，基于如下两项之间的差来计算用于校准所捕获的图像的畸变的校准参数：以基于关于在标记与立体相机之间的相对位置的理论来计算并且在捕获的图像上出现的标记(对象)的位置、以及当实际上由立体相机来捕获标记的图像时所获得的在所捕获的图像上的标记的位置。也就是，计算校准参数，其确定转换以便于消除差异。
专利文献1公开了一种装置，其通过使用基于在一组图像数据与另一组图像数据之间的坐标上的差的校准参数，将从在立体相机中包括的一对相机输出的一对图像数据集合中的每一个图像数据集合进行转换，以便于通过图像处理来调节立体相机的光学畸变和位置偏差。
然而，如果在立体相机与图表之间的相对位置中存在误差，则在所捕获的图像中以及在理论上计算的对象的坐标中出现误差；因此，误差还在用于校准所捕获的图像的畸变的校准参数中出现。特别地，存在的问题在于，在图表与在对象(例如车辆)中安装的立体相机之间的相对位置中容易出现误差。
考虑到上述，需要提供一种校准方法和测量工具，使得可以计算用于校准立体相机的高精度校准参数。
发明内容
一种校准方法用于校准立体相机。所述校准方法包括：测量在所述立体相机与为了落入所述立体相机的图像捕获区域内而放置的对象之间的相对位置；获取由所述立体相机捕获的并且包括所述对象的捕获的图像；以及基于所述相对位置和所述捕获的图像，确定用于校准所述立体相机的校准参数。
一种用于通过使用测量工具来校准立体相机的校准方法，所述测量工具包括第一部件、光源和第二部件，所述第一部件具有包括被用于校准所述立体相机的图表的表面，所述光源安装在所述表面上并且发射具有均匀强度的光而不管在所述表面上的位置如何，并且所述第二部件覆盖所述光源并且通过多个孔发射所述光。所述校准方法包括：获取捕获的图像，所述捕获的图像由所述立体相机来捕获并且包括作为对象的所述测量工具；基于在所述捕获的图像中的最大亮度的位置来测量所述测量工具的方向与所述立体相机的面对位置的偏差；以及基于所述测量工具的方向的偏差和所述捕获的图像来确定用于校准所述立体相机的校准参数。
一种测量工具，包括：第一部件，其具有包括被用于校准立体相机的图表的表面；光源，其安装在所述表面上并且发射具有均匀强度的光而不管在所述表面上的位置如何；以及第二部件，其覆盖所述光源并且通过多个孔发射所述光。
附图说明
图1是示出在根据第一实施例的测量工具、立体相机和校准装置之间的关系的示例的图。
图2是示出根据第一实施例的立体相机的配置的示例的图。
图3是示出使用立体相机的距离测量原理的图。
图4是示出根据第一实施例的测试工具的示例的图。
图5是示出根据第一实施例的距离测量装置的示例的图。
图6是示出根据第一实施例的校准装置的配置的示例的图。
图7是示出根据第一实施例的对象坐标系统的示例的图。
图8是示出用于确定三维坐标的方法的示例的图，该三维坐标指示根据第一实施例的第一相机的位置。
图9是示出根据第一实施例的第一相机的相机坐标系统的示例的图。
图10是根据第一实施例的校准方法的总体示意性流程图。
图11是示出根据第一实施例的用于校准装置的校准方法的示例的图。
图12是示出根据第一实施例的校准方法的总体流程的示例的流程图。
图13是示出一种情况的示例的图，在这种情况中，通过使用中间测量点，根据第一实施例的变形例的距离测量装置测量到第一相机(第二相机)的距离。
图14是示出在第二实施例的测量工具、立体相机和校准装置之间的关系的示例的图。
图15A是示出根据第二实施例的角度测量板的横截面的横截面视图。
图15B是示出根据第二实施例的角度测量板的前表面的前视图。
图16是根据第二实施例的第一部件的前视图。
图17是示出从第一相机的光学中心的位置看到在第二部件上形成的孔106、孔107和孔108的情况的图。
图18A是示出当从第一相机的光学中心的位置看到孔106时的孔106的形状的图。
图18B是示出当从第一相机的光学中心的位置看到孔107时的孔107的形状的图。
图18C是示出当从第一相机的光学中心的位置看到孔108时的孔108的形状的图。
图19A是示出在不包括光学模糊(optical unsharpness)的情况中的角度测量板的图像的图。
图19B是示出在包括光学模糊的情况中的角度测量板的图像的图。
图20是示出在图19B中的亮度山(mountain of brightness)的底部的半径的测量的图。
图21是示出图像捕获表面的亮度峰值的位置与角度测量板的倾斜之间的关系的图。
图22是示出一种方法的图，该方法用于确定指示测量工具的位置的平面的等式。
图23是示出根据第二实施例的校准装置的配置的示例的图。
图24是根据第二实施例的校准方法的总体示意性流程图。
图25是示出根据第二实施例的用于校准装置的校准方法的示例的流程图。
图26是示出根据第三实施例的角度测量板的横截面的横截面视图。
图27是示出光被折射的角度的图。
图28是示出根据第三实施例的通过角度测量板发射的光的图。
图29是示出在测量工具的倾斜与亮度峰值的位置偏差之间的关系的图。
图30是示出在莫尔周期与亮度峰值的移动范围之间的关系的图。
图31是示出由于邻近孔的亮度峰值的位置的图。
图32是根据第一实施例到第三实施例的立体相机和校准装置的硬件配置的示例的图。
具体实施方式
参考附图，下面给出校准方法和测量工具的实施例的详细的说明。
第一实施例
图1是示出在根据第一实施例的测量工具20、立体相机10和校准装置30之间的关系的示例的图。图1是对于由安装在汽车前风挡里面的立体相机10(车载立体相机)所捕获的捕获图像进行校准的情况的示例。安装测量工具20使其落在立体相机10的图像捕获区域内。例如，将测量工具20安装在离立体相机10大约2m的距离处，使得它们几乎彼此面对。使用测量工具20以获取测量数据，所述测量数据用于确定校准参数以校准立体相机10。测量数据被输入到计算机(校准装置30)，并且校准参数由计算机来确定。首先，给出作为待校准目标的立体相机10的说明。
图2是示出根据第一实施例的立体相机10的配置的示例的图。根据本实施例的立体相机10包括第一相机1、第二相机2、存储单元3、外部I/F 4、校正单元5和计算单元6。第一相机1捕获对象的图像，以便于获取第一捕获的图像。第二相机2捕获对象的图像，以便于获取第二捕获的图像。平行布置第一相机1和第二相机2使得它们的光轴彼此平行。第一相机1和第二相机2的图像捕获时机是同步的，并且它们同时捕获相同对象的图像。
存储单元3存储第一捕获的图像、第二捕获的图像和校准参数。校准参数是用于校正第一捕获的图像和第二捕获的图像的畸变的参数。通过使用根据本实施例的校准方法确定校准参数。外部I/F 4是用于输入以及输出存储单元3的数据的接口。通过使用根据本实施例的校准方法确定由立体相机10使用的校准参数，并且通过使用外部I/F 4将该校准参数存储在存储单元3中。
校正单元5从存储单元3读取第一捕获的图像、第二捕获的图像和校准参数。通过使用对应于校准参数的图像校正等式，校正单元5校正第一捕获的图像和第二捕获的图像。图像校正等式是用于通过转换第一捕获的图像(第二捕获的图像)的坐标来校正第一捕获的图像(第二捕获的图像)的等式。例如，在通过仿射变换校正第一捕获的图像(第二捕获的图像)的坐标的情况中，如图像校正等式可通过使用矩阵来表示时，校正参数是矩阵的要素。此外，如果通过非线性变换来校正第一捕获的图像(第二捕获的图像)的坐标，则校准参数是表示变换的多项式等的系数。此外，校正单元5可校正第一捕获的图像和第二捕获的图像中的任一个。具体地，图像校正等式可以是用于通过使用捕获的图像中的任一个作为基准来校正捕获的图像中的另一个的校正等式。校正单元5将校正后的第一捕获的图像和校正后的第二捕获的图像输入到计算单元6。
计算单元6计算来自校正后的第一捕获的图像和校正后的第二捕获的图像的每个对象的视差。在此，给出视差和使用视差的距离测量原理的说明。
图3是示出使用立体相机10的距离测量原理的图。在图3的示例中，安装第一相机1(焦距f、光学中心O0和图像捕获表面S0)，使得Z轴在光轴的方向上。此外，安装第二相机2(焦距f、光学中心O1和图像捕获表面S1)，使得Z轴在光轴的方向上。将第一相机1和第二相机2布置为平行于X轴并且在彼此相隔距离B(基线长度)的位置处。此后，图3的坐标系统被称为“相机坐标系统”。此外，第一相机1的光学中心是基准的坐标系统被称为“第一相机坐标系统”。此外，第二相机2的光学中心是基准的坐标系统被称为“第二相机坐标系统”。
对象A(位于与第一相机1的光学中心O0远离在光轴方向上的距离d的位置处)的图像形成于P0上，该P0是直线A-O0与图像捕获表面S0之间的交点。此外，采用相机2，相同对象A的图像形成于在图像捕获表面S1上的位置P1上。
在此，P0′是图像捕获表面S1与穿过第二相机2的光学中心O1并且平行于直线A-O0的直线之间的交点。此外，D是P0′与P1之间的距离。距离D表示当通过两个相机取得相同对象的图像时在图像上的位置偏差(视差)的程度。三角形A-O0-O1与三角形O1-P0′-P1类似。因此，提供以下等式(1)。
具体地，从基线长度B、焦距f和视差D可确定到对象A的距离d。此外，如果准确定位第一相机1和第二相机2，通过使用第一相机坐标系统计算的距离d(第一相机1的光学中心O0与对象A之间的在光轴的方向上的距离)与通过使用第二相机坐标系统计算的距离d(第二相机2的光学中心O1与对象A之间的在光轴的方向上的距离)相同。
前述是通过立体相机10的距离测量原理。为了准确地获得到对象A的距离，需要准确地定位第一相机1和第二相机2。然而，有可能以围绕X轴、Y轴或Z轴旋转的这样的方向来位移第一相机1(第二相机2)。这导致第一捕获的图像(第二捕获的图像)的坐标以实质上向上、向下、向左或向右的方向来位移。此外，在通过前风挡捕获对象的图像的车载立体相机的情况中，由于前风挡的影响，在第一捕获的图像(第二捕获的图像)中发生畸变。通过使用用于校正视差误差的校正参数的信号处理，立体相机10校正第一捕获的图像(第二捕获的图像)，该视差误差由如下项造成：由于两个相机的装配公差引起的第一捕获的图像(第二捕获的图像)的位移，以及由于前风挡引起的第一捕获的图像(第二捕获的图像)的畸变。
回到图2，通过使用作为对计算视差的基准而使用的捕获的图像(第一捕获的图像或第二捕获的图像)的像素的密度值，计算单元6逐个像素地生成用于代表视差的视差图像。此外，通过使用视差图像和等式(1)，计算单元6计算到对象的距离。
接着，给出测量工具20的说明。图4是示出根据第一实施例的测试工具20的示例的图。根据本实施例的测量工具20具有像方形板的结构。此外，测量工具20的形状和材料可以是可选的。具体地，测量工具20可以是具有用于获取被用于校准的数据的区域的任何部件。测量工具20的表面包括五个标记21。标记21被用作测量图表以计算视差。此外，标记21的形状、数量和位置不限于根据本实施例的配置并且可以是可选的。此外，测量工具20的表面具有阴影图案，使其更容易检测在第二捕获的图像中的与在第一捕获的图像中的点相对应的对应点。此外，像方形板的测量工具20的四个角上设置距离测量装置22a、距离测量装置22b、距离测量装置22c和距离测量装置22d。此后，如果距离测量装置22a、距离测量装置22b、距离测量装置22c和距离测量装置22d彼此不区分，则它们被简称为距离测量装置22。
图5是示出根据第一实施例的距离测量装置22的示例的图。距离测量装置22具有双轴可旋转的保持机构，该双轴可旋转的保持机构围绕先前设定的测量点23在向上、向下、向左和向右的方向上可旋转。根据本实施例的距离测量装置22通过使用激光24的TOF(飞行时间)来测量距离。此外，距离测量装置22的距离测量方法可以是可选的。例如，距离测量装置22可通过使用超声波来测量距离。
距离测量装置22获取用于指示到第一相机1的光学中心O0(参见图3)的距离的距离信息(在此，被称为“第一距离信息”)以及指示到第二相机2的光学中心O1(参见图3)的距离的距离信息(在此，被称为“第二距离信息”)。此外，在图4中，为何距离测量装置22设置在测量工具20的四个角上的理由是，图5的测量点23彼此尽可能远地定位。因此，可以获得具有尽可能不同的值的多条第一距离信息(第二距离信息)，并且可以改善精度，该精度为下述校准装置30计算在第一相机1(第二相机2)与测量工具20之间的距离(在第一相机1的光轴的方向上的距离或在第二相机2的光轴的方向上的距离)时的精度。此外，距离测量装置22的数量和位置不限于根据本实施例的配置并且可以是可选的。
图6是示出根据第一实施例的校准装置30的配置的示例的图。根据本实施例的校准装置30包括接收单元31、第一相机位置计算单元32、第一相机方向计算单元33、第二相机位置计算单元34、第二相机方向计算单元35、距离计算单元36、理想视差计算单元37、视差计算单元38和确定单元39。校准装置30是信息处理设备(计算机)。
接收单元31接收：多条(在本实施例中四条)第一距离信息、多条(在本实施例中四条)第二距离信息、包括作为对象的测量工具20的第一捕获的图像、包括作为对象的测量工具20的第二捕获的图像、与在对象坐标系统中的多个(在本实施例中五个)标记21有关的三维坐标信息，以及与在对象坐标系统中的距离测量装置22(测量点23)有关的三维坐标信息。例如，依照在校准装置30上的用户操作，接收单元31接收指示如下项的输入：多条第一距离信息、第一捕获的图像、第二捕获的图像、与标记21有关的三维坐标信息，以及与距离测量装置22有关的三维坐标信息。在此，给出对象坐标系统的说明。
图7是示出根据第一实施例的对象坐标系统的示例的图。图7是三维坐标的原点位于测量工具20最左下处的情况的示例。可以准确地获得指示在对象坐标系统中的距离测量装置22a(测量点23a)、距离测量装置22b(测量点23b)、距离测量装置22c(测量点23c)和距离测量装置22d(测量点23d)的位置的四个三维坐标。也就是，已知在对象坐标系统中的四个三维坐标。此外，还已知与在对象坐标系统中的多个(在本实施例中五个)标记21有关的三维坐标信息。
回到图6，接收单元31向距离计算单元36输入与在对象坐标系统中的多个(在本实施例中五个)标记21有关的三维坐标信息。接收单元31向视差计算单元38输入第一捕获的图像和第二捕获的图像。
此外，接收单元31向第一相机位置计算单元32输入第一距离信息和与在对象坐标系统中的距离测量装置22(测量点23)有关的三维坐标信息。此外，接收单元31向第二相机位置计算单元34输入第二距离信息和与在对象坐标系统中的距离测量装置22(测量点23)有关的三维坐标信息。
此外，接收单元31向第一相机方向计算单元33输入第一捕获的图像和与在对象坐标系统中的距离测量装置22(测量点23)有关的三维坐标信息。此外，接收单元31向第二相机方向计算单元35输入第二捕获的图像和与在对象坐标系统中的距离测量装置22(测量点23)有关的三维坐标信息。
基于多条(在本实施例中四条)第一距离信息和与在对象坐标系统中的距离测量装置22(测量点23)有关的三维坐标信息，第一相机位置计算单元32通过使用对象坐标系统来计算指示第一相机1的光学中心O0的位置的三维坐标(此后被称为“第一相机坐标”)。
图8是示出用于确定三维坐标的方法的示例的图，该三维坐标指示根据第一实施例的第一相机1的位置。通过距离测量装置22a获取的第一距离信息由d0来表示。也就是，它表示从测量点23a到第一相机1的距离。通过距离测量装置22b获取的第一距离信息由d1来表示。也就是，它表示从测量点23b到第一相机1的距离。通过距离测量装置22c获取的第一距离信息由d2来表示。也就是，它表示从测量点23c到第一相机1的距离。
通过使用如下面描述的理论上的对象坐标系统，可计算指示第一相机1的位置的三维坐标。首先，将测量点23a设定为中心，确定代表具有半径d0的球面的点集合25a。接着，将测量点23b设定为中心，确定代表具有半径d1的球面的点集合25b。然后，将测量点23c设定为中心，确定代表具有半径d2的球面的点集合25c。然后，确定被包括在点集合25a和点集合25b点二者中的点集合。该点集合是图8的d0&d1。d0&d1是通过使用在表示具有半径d0的球面的点集合与表示具有半径d1的球面的点集合之间的交点所代表的点集合(圆弧)。然后，确定被包括在点集合25b和点集合25c二者中的点集合。该点集合是图8的d1&d2。d1&d2是通过使用在表示具有半径d1的球面的点集合与表示具有半径d2的球面的点集合之间的交点所代表的点集合(圆弧)。最后，确定在由图8的d0&d1代表的圆弧与由d1&d2代表的圆弧之间的交点C，借此可计算第一相机坐标。也就是，理论上，如果存在三条第一距离信息，则可计算第一相机坐标。
然而，考虑到距离测量装置22的测量误差，最好通过使用更多的测量点23(在本实施例中四个)来计算第一相机坐标。因此，第一相机位置计算单元32通过使用例如以下等式(2)实行最小二乘近似来计算交点C，借此计算第一相机坐标。
在此，n是测量点23的数量。pi是第i测量点23的三维坐标。di是通过距离测量装置22测量的从第i测量点23到第一相机1的距离。
回到图6，第一相机位置计算单元32向第一相机方向计算单元33输入通过使用对象坐标系统计算的第一相机坐标。此外，第一相机位置计算单元32向距离计算单元36输入通过使用对象坐标系统计算的第一相机坐标。
第一相机方向计算单元33从接收单元31接收第一捕获的图像和与在对象坐标系统中的距离测量装置22(测量点23)有关的三维坐标信息。此外，第一相机方向计算单元33从第一相机位置计算单元32接收通过使用对象坐标系统计算的第一相机坐标。
第一相机方向计算单元33使用相机坐标系统，以基于测量点23(23a、23b、23c、23d)的三维坐标、在第一捕获的图像中的测量点23(23a、23b、23c、23d)的图像的二维坐标以及第一相机1的焦距，来计算第一相机1的方向(光轴的方向)。具体地，第一相机方向计算单元33首先将通过使用对象坐标系统计算的测量点23的三维坐标转换成其原点在第一相机1的光学中心O0的相机坐标系统中。具体地，该相机坐标系统是这样一种坐标，即在其中，在针孔相机模型中，针孔的位置是原点。此外，此时，相机坐标系统仍然不符合相机坐标系统的方向，这是由于第一相机的方向偏差所导致。接着，第一相机方向计算单元33计算三轴旋转角度r＝(α1,β1,γ1)，以使得由于第一相机的方向偏差所导致的相机坐标系统符合相机坐标系统的方向。
图9是示出根据第一实施例的第一相机1的相机坐标系统的示例的图。测量点23(对象)的三维坐标是(x,y,z)，在图像捕获表面40上的二维坐标是(u,v)，以及第一相机1的焦距是f。在此，在图像捕获表面40上的测量点23的图像41的位置可通过使用以下等式(3)来表示。
一般地，通过使用等式(3)，基于相机的光学中心的位置、相机的焦距f、测量点23的三维坐标p＝(x,y,z)，以及相机方向(三轴旋转角度r＝(α1,β1,γ1))，可计算在图像捕获表面40上的二维坐标(u,v)。此外，α1表示相对于X轴的旋转角度，β1表示相对于Y轴的旋转角度，以及γ1表示相对于Z轴的旋转角度。
相反，通过使用等式(3)，基于相机的光学中心的位置、相机的焦距f、测量点23的三维坐标p＝(x,y,z)，以及在图像捕获表面40上的二维坐标(u,v)，可确定相机方向(三轴旋转角度r＝(α1,β1,γ1))。
通过使用等式(3)的关系，基于三轴旋转角度r＝(α1,β1,γ1)以及测量点23的三维坐标p＝(x,y,z)，获得用于计算在图像捕获表面40上的二维坐标(u,v)的函数F((u,v)＝F(r,p))。
第一相机方向计算单元33通过使用以下等式(4)来实行最小二乘近似，借此计算三轴旋转角度r＝(α1,β1,γ1)。
在此，n是测量点23的数量。pi是第i测量点23的三维坐标。(ui,vi)是对应于第i测量点23并且在图像捕获表面40上的二维坐标。
因为相机方向(三轴旋转角度r)具有三个变量，如果在图像捕获表面40上的两个点的二维坐标存在约束条件，则相机方向可通过使用等式(3)来确定。为何第一相机方向计算单元33通过使用等式(4)来计算三轴旋转角度r＝(α1,β1,γ1)的理由是第一捕获的图像通过前风挡来捕获。具体地，因为第一捕获的图像具有由于前风挡导致的畸变，因此最好通过使用大量的测量点23并且通过实行使用等式(4)的最小二乘近似来计算三轴旋转角度r＝(α1,β1,γ1)。
此外，如果畸变取决于(u,v)而不同，并且例如，如果先前预测，图像的周边部分相比于画面的中间而大大地畸变，则可因此定位测量点的位置，使得测量点23在第一捕获的图像的中间部分显现。此外，在等式(4)中，可依赖于测量点23来施加权重。
此外，距离测量装置22的测量点23被用作测量点23；然而，如果任意的测量点23的坐标在对象坐标系统中已知，则可使用任意的测量点23。例如，可使用在测量工具20上的并且适合于测量的任意的测量点23，或者还可使用不在测量工具20上的并且适合于测量的任意测量点23。
回到图6，第一相机方向计算单元33向距离计算单元36输入通过使用上述等式(4)计算的第一相机1的方向(三轴旋转角度r＝(α1,β1,γ1))。
基于多条(在本实施例中四条)第二距离信息，通过使用对象坐标系统，第二相机位置计算单元34计算用于指示第二相机2的光学中心O1的位置的三维坐标(之后，被称为“第二相机坐标”)。因为用于计算第二相机坐标的方法与用于计算第一相机坐标的方法相同，其详细的说明被省略。第二相机位置计算单元34向第二相机方向计算单元35输入通过使用对象坐标系统计算的第二相机坐标。此外，第二相机位置计算单元34向视差计算单元38输入通过使用对象坐标系统计算的第二相机坐标。
第二相机方向计算单元35从接收单元31接收第二捕获的图像和与在对象坐标系统中的距离测量装置22(测量点23)有关的三维坐标信息。此外，第二相机方向计算单元35从第二相机位置计算单元34接收通过使用对象坐标系统计算的第二相机坐标。
第二相机方向计算单元35使用相机坐标系统，以基于测量点23(23a、23b、23c、23d)的三维坐标、在第二捕获的图像中的测量点23(23a、23b、23c、23d)的图像的二维坐标以及第二相机2的焦距，来计算第二相机2的方向(光轴的方向)。因为用于计算第二相机2的方向的方法与用于计算第一相机1的方向的方法相同，其详细的说明被省略。第二相机方向计算单元35向距离计算单元36输入第二相机2的方向(三轴旋转角度r＝(α2,β2,γ2))。
距离计算单元36从接收单元31接收与在对象坐标系统中的标记21有关的三维坐标信息。此外，距离计算单元36从第一相机位置计算单元32接收通过使用对象坐标系统计算的第一相机坐标。此外，距离计算单元36从第一相机方向计算单元33接收第一相机1的方向(三轴旋转角度r＝(α1,β1,γ1))。此外，距离计算单元36从第二相机位置计算单元34接收通过使用对象坐标系统计算的第二相机坐标。此外，距离计算单元36从第二相机方向计算单元35接收第二相机2的方向(三轴旋转角度r＝(α2,β2,γ2))。
相对于每个标记21，基于第一相机1的方向和第一相机坐标，通过使用第一相机坐标系统，距离计算单元36计算在第一相机1的光学中心O0与在第一相机1的光轴的方向上的标记21之间的距离d。
具体地，基于第一相机1的方向(三轴旋转角度r＝(α1,β1,γ1))，距离计算单元36首先将第一相机坐标为原点的相机坐标系统旋转，借此将其转换成第一相机坐标系统。也就是，第一相机坐标系统是这样一种坐标系统，即在其中，第一相机坐标是原点，第一相机1的光轴的方向是Z轴，穿过与包括原点的Z轴相垂直的平面上的水平方向上的原点的直线是X轴，以及穿过与包括原点的Z轴相垂直的平面上的垂直方向上的原点的直线是Y轴。接着，距离计算单元36使用第一相机坐标系统和等式(1)来计算在第一相机1的光学中心O0与在第一相机1的光轴的方向上的标记21之间的距离d(参见图3)。因此，在对象(标记21)与立体相机10(第一相机1的光学中心O0)之间的相对位置被明确确定。距离计算单元36向理想视差计算单元37输入用于指示每个标记21与立体相机10之间的距离d的距离信息。
此外，基于第二相机2的方向和第二相机坐标，通过使用第二相机坐标系统，距离计算单元36计算在第二相机2的光学中心O1与在第二相机2的光轴的方向上的标记21之间的距离d。
理想视差计算单元37从距离计算单元36接收上述的距离信息。基于上述距离信息，通过使用相对于每个标记21的等式(1)，理想视差计算单元37计算用于指示被包括在第一捕获的图像中的标记21与被包括在第二捕获的图像中的标记21之间的理想视差的理想视差。理想视差计算单元37向确定单元39输入理想视差。
视差计算单元38从接收单元31接收第一捕获的图像和第二捕获的图像。相对于每个标记21，视差计算单元38计算被包括在第一捕获的图像中的标记21与被包括在第二捕获的图像中的标记21之间的视差。视差计算单元38向确定单元39输入视差。
确定单元39从理想视差计算单元37接收理想视差，并且从视差计算单元38接收视差。此外，确定单元39从接收单元31接收第一捕获的图像和第二捕获的图像。基于视差和理想视差，确定单元39确定用于校正第一捕获的图像和第二捕获的图像的校准参数。例如，确定单元39确定用于校正的校准参数，使得在视差与理想视差之间的差变成零。
此外，如果在垂直方向(Y轴方向)中产生视差，确定单元39确定用于校正的校准参数，使得不管到对象(多个标记)的距离如何，在垂直方向上的视差变成零。这样做的理由是假设视差仅在水平方向(X轴方向)上产生。
图10是根据第一实施例的校准方法的总体示意性流程图。立体相机10获取捕获的图像(步骤S101)。具体地，第一相机1获取第一捕获的图像，以及第二相机2获取第二捕获的图像。
接着，校准装置30测量立体相机10与对象之间的相对位置(步骤S102)。具体地，通过实行下面描述的步骤S6到S10，校准装置30测量在立体相机10的第一相机1的光学中心O0与在测量工具20上的标记21之间的相对位置。
接着，校准装置30基于相对位置确定校准参数(步骤S103)。具体地，校准装置30确定用于校正第一捕获的图像和第二捕获的图像中的至少一个的校准参数，使得被包括在第一捕获的图像的标记21与被包括在第二捕获的图像中的标记21之间的视差与指示基于在步骤S102测量的相对位置的理想视差的理想视差相匹配。
接着，参考流程图给出根据本实施例的校准装置30的校准方法的详细说明。图11是示出根据第一实施例的用于校准装置30的校准方法的示例的流程图。
接收单元31接收与测量工具20有关的坐标信息(步骤S1)。坐标信息是与在对象坐标系统中的多个(在本实施例中五个)标记21有关的三维坐标信息，以及与在对象坐标系统中的多个(在本实施例中四个)距离测量装置22(测量点23)有关的三维坐标信息。此外，接收单元31接收多条(在本实施例中四条)第一距离信息(步骤S2)。此外，接收单元31接收多条(在本实施例中四条)第二距离信息(步骤S3)。此外，接收单元31接收包括测量工具20作为对象的第一捕获的图像(步骤S4)。此外，接收单元31接收包括测量工具20作为对象的第二捕获的图像(步骤S5)。
接着，基于多条第一距离信息以及与在对象坐标系统中的距离测量装置22(测量点23)有关的三维坐标信息，通过使用对象坐标系统，第一相机位置计算单元32计算用于指示第一相机1的光学中心O0的位置的第一相机坐标(步骤S6)。
接着，基于多条第二距离信息以及与在对象坐标系统中的距离测量装置22(测量点23)有关的三维坐标信息，通过使用对象坐标系统，第二相机位置计算单元34计算用于指示第二相机2的光学中心O1的位置的第二相机坐标(步骤S7)。
接着，第一相机方向计算单元33使用相机坐标系统，以基于测量点23(23a、23b、23c、23d)的三维坐标、在第一捕获的图像中的测量点23的图像的二维坐标以及第一相机1的焦距，来计算第一相机1的方向(光轴的方向)(步骤S8)。
接着，第二相机方向计算单元35使用相机坐标系统，以基于测量点23(23a、23b、23c、23d)的三维坐标、在第二捕获的图像中的测量点23的图像的二维坐标以及第二相机2的焦距，来计算第二相机2的方向(光轴的方向)(步骤S9)。
接着，相对于每个标记21，距离计算单元36使用第一相机坐标系统(其基于第一相机1的方向和第一相机坐标)来计算在第一相机1的光学中心O0与在第一相机1的光轴的方向上的标记21之间的距离d(步骤S10)。在步骤S6到S10，在对象(标记21)与立体相机10(第一相机1的光学中心O0)之间的相对位置被明确确定。
接着，基于第一相机1的光轴的方向上的在步骤S10计算的距离d，通过使用相对于每个标记21的等式(1)，理想视差计算单元37计算用于指示被包括在第一捕获的图像中的标记21与被包括在第二捕获的图像中的标记21之间的理想视差的理想视差(步骤S11)。
接着，相对于每个标记21，视差计算单元38计算被包括在第一捕获的图像中的标记21与被包括在第二捕获的图像中的标记21之间的视差(步骤S12)。
接着，确定单元39确定用于校正第一捕获的图像和第二捕获的图像的校准参数，使得在视差与理想视差之间的差变成零(步骤S13)。
此外，在上述步骤S10，距离计算单元36使用第二相机坐标系统(其基于第二相机2的方向和第二相机坐标)来计算在第二相机2的光学中心O1与在第二相机2的光轴的方向上的标记21之间的距离d。
接着，给出根据本实施例的使用上述测量工具20和上述校准装置30的校准方法的总体流程的说明。图12是示出根据第一实施例的校准方法的总体流程的示例的流程图。
首先，将测量工具20安装在搭载立体相机10的车辆的前面，使得它们几乎彼此面对(步骤S21)。接着，测量工具20测量在立体相机10的光学中心O0与在测量工具20上的测量点23之间的距离(步骤S22)。具体地，在测量工具20的四个角上的距离测量装置22适当地旋转，并且到立体相机10的光学中心O0的距离通过车辆的前风挡来测量。接着，在不改变测量工具20的位置的情况下，立体相机10通过前风挡捕获测量工具20的图像(步骤S23)。
接着，将在步骤S22测量的测量数据输入到校准装置30(步骤S24)。此时，同时输入在对象坐标系统中并且指示在测量工具20上的标记21的坐标，以及在对象坐标系统中并且指示在测量工具20上的测量点23的坐标。接着，将在步骤S23捕获的捕获图像输入到校准装置30(步骤S25)。
接着，校准装置30计算在测量工具20与立体相机10的光学中心O0之间的相对位置(步骤S26)。具体地，校准装置30计算立体相机10的位置和方向(图11的步骤S6到步骤S9)。然后，校准装置30计算在测量工具20(标记21)与在第一相机1的光轴的方向上的立体相机10的光学中心O0之间的距离d(图11的步骤S10)。
接着，基于在步骤S26计算的相对位置，校准装置30计算理想视差(步骤S27)。具体地，通过使用在图11中的步骤S11的方法，校准装置30计算理想视差。然后，基于在步骤S25输入的捕获的图像，校准装置30计算视差(步骤S28)。具体地，通过使用在图11中的步骤S12的方法，校准装置30计算视差。接着，基于相对位置和捕获的图像，校准装置30确定用于校准立体相机10的校准参数(步骤S29)。具体地，基于从相对位置计算的理想视差以及从捕获的图像计算的视差，校准装置30确定用于校准由立体相机10捕获的捕获图像的校准参数(图11的步骤S13)。
如上所述，采用根据第一实施例的校准方法，测量在立体相机10与落入立体相机10的图像捕获区域内而安装的测量工具20之间的相对位置，基于该相对位置以及由立体相机10捕获的并且包括作为对象的测量工具20的捕获图像，确定用于校准立体相机10的校准参数。因此，相对于在难以确保安装位置精度的车辆中安装的立体相机10，可以计算具有高精度的校准参数。
此外，在第一实施例中，给出在被安装在汽车中的立体相机10上实行校准的情况的说明。然而，根据第一实施例的校准方法可施加于立体相机10，该立体相机10不限于安装在例如汽车的车辆(可移动对象)中，还可安装在任何对象中。此外，即使立体相机10未安装在对象上，如果需要在立体相机10上实行较高精度校准，仍可应用根据本实施例的方法。
第一实施例的变形例
接着，给出根据第一实施例的校准方法的变形例的说明。采用根据第一实施例的变形例的校准方法，距离测量装置22不测量到第一相机1(第二相机2)的光学中心的距离，而是测量到中间测量点的距离，该中间测量点位于相对于第一相机1(第二相机2)的光学中心的中间。这是因为，由于相机的光学中心通常位于透镜里面，所以难以直接测量相机的光学中心。
图13是示出如下一种情况的示例的图，在这种情况中，通过使用中间测量点，根据第一实施例的变形例的距离测量装置22测量到第一相机1(第二相机2)的距离。图13是这样一种情况的示例，即在其中，中间测量点61位于垂直于测量装置20的方向上，并且接近于第一相机1(第二相机2)的位置62来定位。例如，中点测量点61位于前风挡上。
距离测量装置22测量距离信息(此后被称为“第一中间距离信息”)，该第一中间距离信息指示在测量工具20上的测量点23与在第一相机1的光学中心附近设置的中间测量点之间的距离。此外，距离测量装置22测量距离信息(此后被称为“第二中间距离信息”)，该第二中间距离信息指示在测量工具20上的测量点23与在第二相机2的光学中心附近设置的中间测量点之间的距离。
接收单元31接收第一中间距离信息和第二中间距离信息。此外，接收单元31接收从中间测量点61到第一相机1(第二相机2)的光学中心的距离，作为从测量值、设计值等单独获取的距离信息。
第一相机位置计算单元32(第二相机位置计算单元34)首先通过使用等式(2)来确定用于指示中间测量点61的位置的坐标。接着，通过使用用于指示中间测量点61的位置的坐标，以及使用用于指示从中间测量点61到第一相机1(第二相机2)的光学中心的距离的距离信息，第一相机位置计算单元32(第二相机位置计算单元34)计算第一相机1(第二相机2)的光学中心的坐标。
此外，通过使用相机坐标系统而不使用测量工具20的对象坐标系统，可单独地测量从中间测量点61到第一相机1(第二相机2)的光学中心的距离。此外，如果在相机光轴63的方向与垂直于测量工具20的直线的方向之间的差是小的，位于与测量工具20垂直的直线上的位置65可被视为第一相机1(第二相机2)的光学中心的位置。这是因为，来自第一相机1(第二相机2)的实际位置的误差64难以觉察地小。
此外，通过使用测量卷尺等而不使用距离测量装置22，可测量在中间测量点61与测量工具20的测量点23之间的距离。
第二实施例
接着，给出第二实施例的说明。在第二实施例中的用于立体相机10的校准的测量工具与在第一实施例中的测量工具不同。第一相机1和第二相机2中的任一个被用于在第二实施例中的立体相机10的校准。虽然给出在第二实施例中通过使用第一相机1的说明，但还可使用第二相机2。
图14是示出在第二实施例的测量工具120、立体相机10和校准装置30之间的关系的示例的图。根据第二实施例，使用测量工具120而不是测量工具20。因为立体相机10和校准装置30的说明与在图1中的相同，它们被省略。测量工具120被用于测量与立体相机10的相对位置，如同第一实施例的测量工具20的情况；然而，其配置与根据第一实施例的测量工具20的配置不同。根据第二实施例的测量工具120包括角度测量板101和第一部件102。角度测量板101被用于测量指示在水平方向上倾斜的测量工具120的位移的角度，以及测量指示在垂直方向上倾斜的测量工具120的位移的角度。第一部件102被用作用于立体相机10的校准的图表。
参考图15A到图16，给出测量工具120的配置的详细说明。图15A是示出根据第二实施例的角度测量板101的横截面的横截面视图。图15B是示出根据第二实施例的角度测量板101的前表面的前视图。图16是根据第二实施例的第一部件102的前视图。
角度测量板101包括光源103和第二部件104。光源103是具有均匀亮度分布的平面扩散光源。具体地，不管在第一部件102的表面上的位置如何，光源103发射具有均匀强度的光(依赖于在表面上的位置的光强度的差落入预定范围内的光)。
安装第二部件104，使其覆盖光源103，并且光源103的光通过多个孔105来发射。每个孔105形成于与第一部件102的表面相垂直的方向上且具有预定的间距。在图15B的示例中，形成具有直径b的圆孔105，使得它们在垂直和水平方向上以间距a对齐。此外，孔105的布置的数量、形状和方式不限于图15B的配置并且可以是可选的。此外，第二部件104的材料可以是可选的。第二部件104的材料例如是金属。
角度测量板101(第二部件104)位于第一部件102的表面的中间。此外，第一部件102包括在角度测量板101(第二部件104)的顶部的标记111。标记111被用作用于计算在第一部件102(测量工具120)与作为待校准目标的立体相机10(第一相机1)之间的距离的基准点。此外，如根据第一实施例的测量工具20的表面的情况，第一部件102的表面具有一种阴影图案，该阴影图案使其更容易检测在第二捕获的图像上的并且与在第一捕获的图像上的点相对应的对应点。
图17是示出从第一相机1的光学中心O0的位置看到在第二部件104上形成的孔106、孔107和孔108的情况的图。相对于孔106的位置，来自光学中心O0的位置的视线呈直角运行到第二部件104的表面；因此，位于第二部件104后面的光源103的光看起来像图18A的形状。相对于孔107的位置，来自光学中心O0的位置的视线倾斜地进入第二部件104的孔107；因此，位于第二部件104后面的光源103的光看起来像图18B的形状。相对于孔108的位置，来自光学中心O0的位置的视线不进入第二部件104的孔108；因此，位于第二部件104后面的光源103的光是不可见的(图18C)。
具体地，如果通过具有与孔的间距相比高很多的分辨率的第一相机1来捕获角度测量板101(第二部件104)的图像，则接近某点的孔的图像在所捕获的图像中是大的，在该点中，来自第一相机1的光学中心O0的视线呈直角运行到第二部件104的表面。此外，随着远离来自第一相机1的光学中心O0的视线呈直角运行到第二部件104的表面所在的点，孔的图像面积减少，并且没有捕获在很大程度上远离位置处的孔的图像。
在此，给出第二部件104的孔105的间距a的说明。将在图15B中的孔105的间距a设定为低于立体相机10(第一相机1)的分辨率限制。例如，如果条件是20度的(半)视角、2m的图像捕获距离(校准距离)和640×480的像素传感器，并且根据以下等式(5)，如果间距a大致等于或小于2mm，则其小于像素间距。
tan(20[deg])×2000/320≈2.3 (5)
在间距a小于像素间距的情况中，如果通过立体相机10(第一相机1)捕获角度测量板101(第二部件104)的图像，则捕获的图像看起来像图19A。然而，实际上，即使间距a大致等于或小于2mm，由于像素孔径特征、成像形成光学系统的模糊，或者在彩色相机情况中的光学LPF(低通滤波器)等的光学模糊，该间距a超过分辨率限制。因此，难以在捕获的图像中的单体孔当中作出区分。并且获得在形式上如同将图19A的图像遮蔽掉的像图19B的单个大的亮度山(亮度分布)。在图19B中的亮度山的顶点对应于例如在图17中的孔106的附近。此外，在图19B中的亮度山的底部对应于例如在图17中的孔108的附近。
图20是示出在图19B中的亮度山的底部的半径c的测量的图。假设，第二部件104的厚度是40mm并且孔108的直径是1mm。此外，假设立体相机10(第一相机1)的(半)视角是20度，并且像素传感器具有640×480个像素。在此，根据以下等式(6)，亮度山的底部的半径c是大约22个像素。
c＝f/40×1＝320/tan(20[deg])/40≈22 (6)
如上所述，考虑大的平滑的连续的亮度山，而不是图15B的单体孔105的图像；因此，即使立体相机10(第一相机1)的光学中心O0不是正好在孔105之上的位置与垂直于角度测量板101表面的方向相对应，仍可确定指示与角度测量板101的表面相垂直的方向的亮度峰值的位置。因此，不管立体相机10(第一相机1)的光学中心O0的位置如何，确定通过捕获角度测量板101的图像所得到的所捕获的图像的亮度山(亮度分布)的亮度峰值的位置指示与角度测量板101的表面相垂直的方向。
此外，通过使用诸如高斯函数(exp(-r2))的函数来近似整个亮度山，并且估计大量像素值的平均分布；因此，可减小被包括在单体像素值中的随机噪声的影响，并且可准确地估计亮度峰值的位置。
图21是示出图像捕获表面40的亮度峰值的位置与角度测量板101的倾斜之间的关系的图。图像捕获表面40的中间被用作原点并且以像素为单位来表示。在此，在图像捕获表面40(捕获的图像)上的亮度峰值的位置的坐标(ip,jp)表示从立体相机10(第一相机1)的光学中心O0到角度测量板101绘制的垂直线的底部的位置。因此，如果角度测量板101面对立体相机10(第一相机1)，即如果到测量工具120的表面的法线平行于立体相机10(第一相机1)的光轴，则亮度峰值的位置应该出现在捕获的图像的中间(原点)。具体地，如果亮度峰值的位置(ip,jp)偏离捕获的图像的中间(原点)，则从在捕获的图像(图像捕获表面40)上并且指示亮度峰值的位置的坐标(ip,jp)，可以确定指示相对于面对方向倾斜的测量工具120的水平方向上的位移的角度以及指示在垂直方向上的位移的角度。具体地，如果立体相机10(第一相机1)的焦距(以像素为单元)是f，则针对角度测量板101的法线的方向可通过使用(ip,jp,f)来确定。换句话说，可以确定面对角度测量板101的立体相机10(第一相机1)的方向，安装该角度测量板101使其相对于面对方向倾斜。
接着，给出如下一种方法的详细说明，该方法用于确定指示角度测量板101(测量工具120)的位置的平面的等式。图22示出如下一种方法的图，该方法用于确定指示测量工具120的位置的平面的等式。在使用立体相机10(第一相机1)的光学中心O0作为原点的坐标系统中，以下等式(7)表示指示测量工具120的平面的等式。
ax+by+cz+d＝0 (7)
如在图21中所示，到角度测量板101的法线的方向可被表示为(ip,jp,f)。因此，如可通过使用(ip,jp,f)来确定平面的法线向量，(a,b,c)＝(ip,jp,f)。接着，为确定平面的等式的变量d，通过使用激光测距仪等测量上述测量工具120(第一部件102)的标记111，并且距离被定义为dc。此外，表示在捕获的图像上的标记111的位置的坐标是(ic,jc)。如果立体相机10(第一相机1)的焦距(逐个像素地)是f，在向量(ic,jc,f)的方向上通过距离dc的点(xc,yc,zc)是表示标记111的位置的坐标。具体地，通过使用以下等式(8)，可计算表示标记111的位置的平面上的坐标(xc,yc,zc)。
因此，通过使用以下等式(9)和以下等式(10)，可确定平面的等式的变量d。因此，可确定表示测量工具120的平面的等式(a、b、c、d)。
axc+byc+czc+d＝0 (9)
d＝ipxc-jpyc-fzc (10)
通过使用角度测量板101的捕获的图像，可以计算指示由于角度测量板101在水平方向上的倾斜而引起的位移的角度，以及由于在垂直方向上的倾斜而引起的位移的角度；然而，不能确定到角度测量板101的距离。因此，在上面的说明中，使用在捕获的图像上的标记111的位置以及到标记111的距离信息dc。否则，可以使用图22的实际测量d1等方法。此外，如果与立体相机10(第一相机1)的校准的可接受的精度相比，测量工具120的位置精度更高(并且角度精度更低)，则固定的值可被用作距离信息，而没有实际测量在标记111与立体相机10之间的距离。
接着，给出根据第二实施例的校准装置30的配置的说明，该校准装置30用于通过使用上述方法的立体相机10(第一相机1)的校准。图23是示出根据第二实施例的校准装置的配置的示例的图。根据第二实施例的校准装置30包括接收单元131、测量单元136、理想视差计算单元137、视差计算单元138和确定单元139。
接收单元131接收由立体相机10捕获的并且包括作为对象的测量工具120的捕获的图像(由第一相机1捕获的第一捕获的图像以及由第二相机2捕获的第二捕获的图像)。此外，接收单元131接收上述距离信息dc(参见图22)。接收单元131向测量单元136输入第一捕获的图像和距离信息dc。此外，接收单元131向视差计算单元138输入捕获的图像(第一捕获的图像和第二捕获的图像)。
测量单元136接收第一捕获的图像和来自接收单元131的距离信息dc。基于第一捕获的图像的最大亮度的位置，通过使用在图21中示出的方法，测量单元136确定与测量工具120(角度测量板101)的表面相垂直的方向(法线向量)。因此，测量单元136测量相对于立体相机10(第一相机1)的面对位置的测量工具120的方向的偏差(指示由于在水平方向上的倾斜引起的位移的角度，以及指示由于在垂直方向上的倾斜引起的位移的角度)。此外，基于法线向量和距离信息dc，通过使用在图22中示出的方法，确定指示在第一相机坐标系统(第一相机1的光学中心O0为原点的坐标系统)中的测量工具120的位置的平面的等式。测量单元136向理想视差计算单元137输入指示平面的等式的信息。
理想视差计算单元137从测量单元136接收指示测量工具120的位置的平面的等式。理想视差计算单元137使用在图3中示出的方法来计算指示在一种情况中的视差的理想视差，在该情况中，捕获由等式表示的平面的图像。理想视差计算单元137向确定单元139输入理想视差。
视差计算单元138从接收单元131接收捕获的图像(第一捕获的图像和第二捕获的图像)。视差计算单元138使用测量工具120(第一部件102)的阴影图案等，以检测在第二捕获的图像中的与在第一捕获的图像中的点相对应的对应点，由此计算出视差。视差计算单元138向确定单元139输入视差。
确定单元139从理想视差计算单元137接收理想视差，并且从视差计算单元138接收视差。此外，确定单元139从接收单元131接收第一捕获的图像和第二捕获的图像。基于视差和理想视差，确定单元139确定用于校正第一捕获的图像和第二捕获的图像的校准参数。确定单元139确定例如用于校正第一捕获的图像和第二捕获的图像中的至少一个的校准参数，使得在视差与理想视差之间的差变成零。
图24是根据第二实施例的校准方法的总体示意性流程图。立体相机10获取所捕获的图像(步骤S201)。具体地，第一相机1获取第一捕获的图像，以及第二相机2获取第二捕获的图像。
接着，校准装置30测量立体相机10与对象之间的相对位置(步骤S202)。具体地，在之后描述的步骤S32到步骤S34，校准装置30测量在立体相机10的第一相机1的光学中心O0与测量工具120之间的相对位置。
接着，校准装置30基于相对位置确定校准参数(步骤S203)。具体地，校准装置30确定用于校正第一捕获的图像和第二捕获的图像中的至少一个的校准参数，使得通过使用测量工具120(第一部件102)的阴影图案来检测在第二捕获的图像中的并且与在第一捕获的图像中的点相对应的对应点而计算的视差，与指示基于在步骤S202测量的相对位置的理想视差的理想视差相匹配。
接着，参考流程图，给出根据第二实施例的用于校准装置30的校准方法的细节的说明。图25是示出根据第二实施例的用于校准装置30的校准方法的示例的流程图。
接收单元131接收包括作为对象的测量工具120的捕获图像(第一捕获的图像和第二捕获的图像)(步骤S31)。此外，接收单元131还接收距离信息dc(步骤S32)。
接着，测量单元136测量出测量工具120的方向与立体相机10的面对位置的偏差(步骤S33)。具体的，基于在第一捕获的图像中的最大亮度的位置，通过使用在图21中示出的方法，测量单元136确定与测量工具120(角度测量板101)的表面相垂直的方向(法线向量)，借此测量出测量工具120的方向的偏差。
接着，基于法线向量和距离信息dc，通过使用在图22中示出的方法，测量单元136确定指示在第一相机坐标系统(第一相机1的光学中心O0为原点的坐标系统)中的测量工具120的位置的平面的等式(步骤S34)。
接着，理想视差计算单元137使用在图3中示出的方法来计算指示在一种情况中的视差的理想视差，在该情况中，捕获由在步骤S34确定的等式来表示的平面的图像(步骤S35)。接着，视差计算单元138使用测量工具120(第一部件102)的阴影图案等，以检测在第二捕获的图像中的与在第一捕获的图像中的点相对应的对应点，借此计算视差(步骤S36)。
接着，确定单元139确定用于校正第一捕获的图像和第二捕获的图像中的至少一个的校准参数，使得在视差与理想视差之间的差变成零(步骤S37)。
根据使用上述测量工具120和上述校准装置30的第二实施例的校准方法的整体流程图与根据第一实施例的在图12中说明的相同；因此省略其说明。
如上所述，采用根据第二实施例的校准方法，基于第一捕获的图像的最大亮度的位置，测量出测量工具120的方向与立体相机10的面对位置的偏差。另外，基于从第一捕获的图像和第二捕获的图像计算的视差，以及考虑测量工具120的方向的偏差时的理想视差，确定用于校准立体相机10的校准参数。因此，相对于在难以确保安装位置精度的车辆中安装的立体相机10，可以容易地计算具有高精度的校准参数。此外，根据本实施例，相对于没有安装在车辆等中的立体相机10，通过使用简单的配置可以实现具有更高精度的校准。此外，在本实施例中，角度测量板的孔是圆孔；然而这不是限制。例如，还可使用方孔等。
第三实施例
接着，说明第三实施例。在第三实施例中，给出使用测量工具220(角度测量板101)的情况的说明，该测量工具220(角度测量板101)具有与根据第二实施例的测量工具120(角度测量板101)的配置不同的配置。在第三实施例的说明中，说明与第二实施例中的点不同的点。
图26是示出根据第三实施例的角度测量板201的横截面的横截面视图。因为角度测量板201的前视图与在图15B中的相同，因此省略对其的说明。角度测量板201包括光源103、光屏蔽板202、透明玻璃203和光屏蔽板204。因为光源103与在第二实施例中的相同，因此省略对其的说明。光屏蔽板202、透明玻璃203和光屏蔽板204对应于根据第二实施例的第二部件104。
根据第三实施例的角度测量板201使用具有在其两个表面布置不透明光屏蔽区域(光屏蔽板202和光屏蔽板204)的透明玻璃板。设置透明玻璃板203以固定光屏蔽板202和光屏蔽板204的位置。光屏蔽板202和光屏蔽板204之间的间隙填充有玻璃；因此，可以抵抗机械位移并且减小由温度、随着时间的形变等导致的测量误差。透明玻璃203可以是任何透明的对象。
根据第三实施例的角度测量板201与根据第一实施例的角度测量板101的相同之处在于，由于在前侧和后侧的光屏蔽表面的孔，在与角度测量板201基本上相垂直的方向上进入的光穿过并且透射通过相对的孔(例如孔208和孔209)。然而，因为光在透明玻璃203与空气之间的边界面处折射，因此捕获的图像的亮度分布与第二实施例的不同。
图27是示出光被折射的角度的图。如已知的(斯涅尔定律(snell’s law))，由于在玻璃空气边界表面上的折射，输出透射光的方向被改变。如果具体的折射率是R，图27的角度θ1和θ2之间的关系是以下等式(11)。
因此，如果光屏蔽板202、透明玻璃203和光屏蔽板204的总体厚度与根据第二实施例的第二部件104的总体厚度以及孔的直径相同，并且由于玻璃的折射，可看到更远的孔(参见图28)。因此，捕获的图像的亮度分布山的底部尺寸比在第二实施例中的更大。然而，获得相同的特性，使得亮度峰值的位置对应于光屏蔽板204的法线方向，而不管立体相机10(第一相机1)的光学中心O0的位置如何。
与根据第一实施例的第二部件104不同的是，根据第三实施例的角度测量板201允许通过不面对的并且位于由图28的虚线指示的方向而非前面方向的孔的光透射。例如，关于孔207，由于折射的影响，通过与孔208相对的孔209的光透射通过孔207。
因此，与第二实施例的情况不同的是，从角度测量板201的捕获的图像观察到亮和暗周期性重复的莫尔条纹。因此，有可能在图像捕获区域内存在多个亮度峰值。然而，如果先前确定立体相机10(第一相机1)和测量工具220的安装角度的精度，通过考虑与基于安装偏差的范围的亮度峰值位置的移动范围相对应的莫尔周期，可以避免面对孔的亮度峰值的位置被误以为与邻近孔相对应的亮度峰值。
图29是示出在测量工具220的倾斜与亮度峰值的位置偏差之间的关系的图。如在图29中，如果测量工具220的安装角度具有与面对方向的等于或小于±X度的角度偏差，则亮度峰值的位置出现在与面对位置(画面的中心)的等于或小于X度的范围中。具体地，如在图30中所示，可调节孔的间隔使得邻近孔的亮度峰值位于与亮度峰值的期望的位置偏差超过两倍远的位置处。通过使用图31的角度φ(具体地，ftan(φ))来确定邻近孔的亮度峰值的位置，并且角度φ具有采用光屏蔽表面的孔间距(p)、玻璃板厚度(d)和玻璃折射率(n)的以下等式(12)的关系。
根据等式(12)，应理解，可确定玻璃板厚度(d)和孔间距(p)，使得满足以下等式(13)。
Φ＝arcsin(n sin(arctan(p/d)))＞2X (13)
在上述说明中，只有安装角度的精度被视为期望邻近亮度峰值的位置。然而，实际上，通过考虑每个可想到的安装偏差(例如立体相机10的安装角度、测量工具220的平移偏差或立体相机10的平移偏差而不是测量工具220的安装角度)，有必要期望一种范围，在其中指示面对位置的亮度峰值存在。此外，确定玻璃板厚度(d)和孔间距(p)，使得邻近孔的亮度峰值不落入期望的亮度峰值位置的范围内；因此，可以唯一地确定在与面对立体相机10的孔相对应的期望范围内的亮度峰值的位置。
可以使用诸如印刷或光刻的技术，作为当形成光屏蔽板202(204)时在平板上形成光屏蔽区域的方法。一般地，采用这些技术，与根据通过使用在具有钻孔等的厚板中形成孔的方法而形成的第二实施例的第二部件104相比，容易形成具有小直径或窄间距的孔。根据孔直径到板厚度的比率(以及折射率)，确定亮度山的尺寸。例如，如果板厚度(光屏蔽板202、透明玻璃203和光屏蔽板204的总体厚度)是6mm和孔直径是0.05mm，可获得与在第二实施例的情况中的亮度分布基本上相同的亮度分布。
如上所述，关于根据第三实施例的测量工具220，即使与根据第二实施例的角度测量板101相比，角度测量板201是更加轻量、更小以及更薄的板，仍可以实现对根据第二实施例的角度测量板101的等效的校准精度。
此外，为了简单地阻止光，光屏蔽板202和光屏蔽板204可安装在与玻璃的两侧上的光屏蔽区域相同的位置处，而不安装透明玻璃203。
最后，给出根据第一实施例到第三实施例的校准装置30的硬件配置的示例的说明。图32是根据第一实施例到第三实施例的立体相机10和校准装置30的硬件配置的示例的图。
根据第一实施例到第三实施例的校准装置30包括控制装置51、主存储装置52、辅助存储装置53、显示装置54、输入装置55和通信装置56。控制装置51、主存储装置52、辅助存储装置53、显示装置54、输入装置55和通信装置56经由总线57彼此连接。
根据第一实施例到第三实施例的立体相机10包括图像捕获装置151、图像捕获装置152、通信装置153、控制装置154、主存储装置155、辅助存储装置156、显示装置157和输入装置158。图像捕获装置151、图像捕获装置152、通信装置153、控制装置154、主存储装置155、辅助存储装置156、显示装置157和输入装置158经由总线159彼此连接。
控制装置51(控制装置154)是CPU。控制装置51(控制装置154)执行从辅助存储装置53(辅助存储装置156)被读取到主存储装置52(主存储装置155)的程序。主存储装置52(主存储装置155)是存储器，例如ROM或RAM。辅助存储装置53(辅助存储装置156)是HDD(硬盘驱动器)、存储卡等。显示装置54(显示装置157)显示校准装置30(立体相机10)等的状态。输入装置55(输入装置158)从用户接收输入。校准装置30的通信装置56和立体相机10的通信装置153经由有线或无线网络彼此通信。
图像捕获装置151对应于第一相机1(参见图2)。图像捕获装置152对应于第二相机2(参见图2)。
将要通过根据第一实施例到第三实施例的立体相机10和校准装置30来执行的程序作为计算机程序产品来提供，其以可安装和可执行文件的形式存储在由计算机可读的记录介质中，例如CD-ROM、存储卡、CD-R或DVD(数字多用途磁盘)。
此外，配置还可以是这样，将要由根据第一实施例到第三实施例的立体相机10和校准装置30执行的程序存储在经由网络(例如互联网)连接的计算机中并且经由网络通过被下载来提供。此外，配置还可以是这样，将要由根据第一实施例到第三实施例的立体相机10和校准装置30执行的程序经由网络(例如互联网)来提供而不被下载。
配置还可以是这样，提供用于由根据第一实施例到第三实施例的立体相机10和校准装置30的程序，使其预先安装在ROM等中。
将要通过根据第一实施例的校准装置30来执行的程序具有包括上述功能块(接收单元31、第一相机位置计算单元32、第一相机方向计算单元33、第二相机位置计算单元34、第二相机方向计算单元35、理想视差计算单元37、视差计算单元38和确定单元39)的模块化配置。此外，将要通过根据第二实施例和第三实施例的校准装置30来执行的程序具有包括上述功能块(接收单元131、测量单元136、理想视差计算单元137、视差计算单元138和确定单元139)的模块化配置。
此外，将要通过根据第一实施例到第三实施例的立体相机10来执行的程序具有包括上述功能块(校正单元5和计算单元6)的模块化配置。
关于上述功能块，在实际的硬件方面，控制装置51(控制装置154)从上述记录介质读取程序并且执行该程序，以便于加载上述功能块到主存储装置52(主存储装置155)中。也就是，在主存储装置52(主存储装置155)中生成上述功能块。
此外，上述功能块中的全部或一些功能块可通过诸如IC(集成电路)的硬件来实施，而不通过软件来实施。
实施例提供了如下优点，即可计算用于校准立体相机的高精度校准参数。
虽然已经关于特定实施例将本发明描述为完整和清晰的公开，所附权利要求并不因此受限，而是被解释为体现完全落入在本文中的前述基本教导之内的可对本领域技术人员发生的所有修改和替代。
参考标记列表
1 第一相机
2 第二相机
3 存储单元
4 外部I/F
5 校正单元
6 计算单元
10 立体相机
20 测量工具
21 标记
22 距离测量装置
23 测量点
24 激光束
30 校准装置
31 接收单元
32 第一相机位置计算单元
33 第一相机方向计算单元
34 第二相机位置计算单元
35 第二相机方向计算单元
36 距离计算单元
37 理想视差计算单元
38 视差计算单元
39 确定单元
51 控制装置
52 主存储装置
53 辅助存储装置
54 显示装置
55 输入装置
56 通信装置
57 总线
101 角度测量板
102 第一部件(图表)
103 光源
104 第二部件(光屏蔽板)
120 测量工具
131 接收单元
136 测量单元
137 理想视差计算单元
138 视差计算单元
139 确定单元
201 角度测量板
202 光屏蔽板
203 透明玻璃
204 光屏蔽板
220 测量工具
引用列表
专利文献
[专利文献1]日本专利No.4109077

Claims (1)

1.一种用于校准立体相机的校准方法，所述校准方法包括：
测量在所述立体相机与为了落入所述立体相机的图像捕获区域内而放置的对象之间的相对位置；
获取由所述立体相机捕获的并且包括所述对象的捕获的图像；以及
基于所述相对位置和所述捕获的图像，确定用于校准所述立体相机的校准参数。
CN201810784408.0A 2014-01-28 2015-01-28 校准方法和测量工具 Active CN108921906B (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
JP2014013520 2014-01-28
JP2014-013520 2014-01-28
JP2014-112737 2014-05-30
JP2014112737 2014-05-30
JP2014240206A JP6447055B2 (ja) 2014-01-28 2014-11-27 校正方法、校正装置、計測用具及びプログラム
JP2014-240206 2014-11-27
PCT/JP2015/053024 WO2015115669A1 (en) 2014-01-28 2015-01-28 Calibration method and measurement tool
CN201580005397.6A CN105934648B (zh) 2014-01-28 2015-01-28 校准方法和测量工具

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201580005397.6A Division CN105934648B (zh) 2014-01-28 2015-01-28 校准方法和测量工具

Publications (2)

Publication Number Publication Date
CN108921906A true CN108921906A (zh) 2018-11-30
CN108921906B CN108921906B (zh) 2022-09-02

Family

ID=53757234

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810784408.0A Active CN108921906B (zh) 2014-01-28 2015-01-28 校准方法和测量工具
CN201580005397.6A Active CN105934648B (zh) 2014-01-28 2015-01-28 校准方法和测量工具

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201580005397.6A Active CN105934648B (zh) 2014-01-28 2015-01-28 校准方法和测量工具

Country Status (6)

Country Link
US (2) US10277887B2 (zh)
EP (1) EP3100002B1 (zh)
JP (1) JP6447055B2 (zh)
KR (1) KR101893180B1 (zh)
CN (2) CN108921906B (zh)
WO (1) WO2015115669A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110017130A (zh) * 2019-04-19 2019-07-16 刘生平 一种水下钻孔灌注桩验孔器

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6327370B2 (ja) 2015-02-13 2018-05-30 株式会社リコー 計測用具、校正方法、校正装置及びプログラム
US9716876B2 (en) * 2015-04-01 2017-07-25 Sony Corporation Power efficient multiple camera system
US9826156B1 (en) * 2015-06-16 2017-11-21 Amazon Technologies, Inc. Determining camera auto-focus settings
US9854155B1 (en) 2015-06-16 2017-12-26 Amazon Technologies, Inc. Determining camera auto-focus settings
KR101729164B1 (ko) * 2015-09-03 2017-04-24 주식회사 쓰리디지뷰아시아 멀티 구 교정장치를 이용한 멀티 카메라 시스템의 이미지 보정 방법
KR101729165B1 (ko) 2015-09-03 2017-04-21 주식회사 쓰리디지뷰아시아 타임 슬라이스 영상용 오차교정 유닛
JP6272812B2 (ja) * 2015-10-27 2018-01-31 矢崎総業株式会社 照明制御装置
CN105627995B (zh) * 2016-03-31 2018-03-23 京东方科技集团股份有限公司 摄像装置、转动装置、测距装置、测距系统和测距方法
JP6668151B2 (ja) * 2016-04-12 2020-03-18 日立オートモティブシステムズ株式会社 車載光学装置および車載光学システム
US10706569B2 (en) * 2016-06-08 2020-07-07 Amazon Technologies, Inc. Selectively paired imaging elements for stereo images
WO2018014014A1 (en) * 2016-07-15 2018-01-18 Nextvr Inc. Camera alignment and/or calibration methods and apparatus
JP6747176B2 (ja) 2016-08-25 2020-08-26 株式会社リコー 画像処理装置、撮影装置、プログラム、機器制御システム及び機器
EP3505865B1 (en) 2016-08-29 2022-03-09 Hitachi Astemo, Ltd. On-vehicle camera, method for adjusting on-vehicle camera, and on-vehicle camera system
JP6211157B1 (ja) * 2016-09-01 2017-10-11 三菱電機株式会社 キャリブレーション装置およびキャリブレーション方法
DE102016217792A1 (de) * 2016-09-16 2018-03-22 Xion Gmbh Justiersystem
KR102540236B1 (ko) * 2016-12-05 2023-06-02 삼성전자주식회사 이미지 처리 장치 및 시스템
US10909708B2 (en) * 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
EP3364374A1 (en) * 2017-02-20 2018-08-22 My Virtual Reality Software AS Method for visualizing three-dimensional data
KR102295987B1 (ko) * 2017-03-10 2021-09-01 삼성전자주식회사 스테레오 카메라 모듈의 캘리브레이션 방법 및 장치, 및 컴퓨터 판독 가능한 저장매체
CN107133984A (zh) * 2017-03-24 2017-09-05 深圳奥比中光科技有限公司 深度相机与主体设备的标定方法与系统
JP6967715B2 (ja) * 2017-04-18 2021-11-17 パナソニックＩｐマネジメント株式会社 カメラ校正方法、カメラ校正プログラム及びカメラ校正装置
JP2019029820A (ja) * 2017-07-31 2019-02-21 セイコーエプソン株式会社 カメラの校正方法および校正用具
JP6975003B2 (ja) * 2017-09-29 2021-12-01 株式会社デンソー 周辺監視装置およびその校正方法
JP6945415B2 (ja) * 2017-10-18 2021-10-06 株式会社ミツトヨ 画像測定装置の調整方法
WO2019087253A1 (ja) * 2017-10-30 2019-05-09 オリンパス株式会社 ステレオカメラのキャリブレーション方法
JP7076990B2 (ja) * 2017-11-29 2022-05-30 ダイハツ工業株式会社 自動車の校正システム
CN110044334B (zh) * 2018-01-16 2020-04-21 京东方科技集团股份有限公司 基于维诺图的室内空间定位
CN208298251U (zh) * 2018-04-17 2018-12-28 深圳市道通科技股份有限公司 车载摄像头的标定装置及系统
KR102173334B1 (ko) * 2018-11-28 2020-11-03 아진산업(주) 차량 다중 카메라 교정을 위한 교정판
TWI681166B (zh) * 2018-12-05 2020-01-01 晶睿通訊股份有限公司 資訊量測方法及資訊量測系統
US11212509B2 (en) 2018-12-20 2021-12-28 Snap Inc. Flexible eyewear device with dual cameras for generating stereoscopic images
JP7126963B2 (ja) * 2019-02-13 2022-08-29 株式会社Subaru ステレオカメラの調整システム
US20220349837A1 (en) * 2019-09-13 2022-11-03 Central Glass Company, Limited Method and system for providing optical distortion information of a vehicle glazing
TWI712310B (zh) * 2019-11-15 2020-12-01 大陸商南京深視光點科技有限公司 立體相機之校正品質的檢測方法及檢測系統
US10965931B1 (en) * 2019-12-06 2021-03-30 Snap Inc. Sensor misalignment compensation
JP7321947B2 (ja) * 2020-01-20 2023-08-07 日立Astemo株式会社 画像補正装置及び画像補正方法
US11740078B2 (en) 2020-07-21 2023-08-29 Argo AI, LLC Enhanced sensor alignment
US11587260B2 (en) * 2020-10-05 2023-02-21 Zebra Technologies Corporation Method and apparatus for in-field stereo calibration
CN112529869B (zh) * 2020-12-11 2023-07-21 中国航空工业集团公司金城南京机电液压工程研究中心 一种阀套节流方孔检测方法
US11481926B2 (en) 2021-03-08 2022-10-25 Gm Cruise Holdings Llc Vehicle analysis environment with displays for vehicle sensor calibration and/or event simulation
JP2023061621A (ja) * 2021-10-20 2023-05-02 日立Astemo株式会社 画像処理装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101676686A (zh) * 2008-09-18 2010-03-24 德尔菲技术公司 确定布置在车辆中的照相机的位置和取向的方法
JP2011112401A (ja) * 2009-11-24 2011-06-09 Omron Corp ３次元計測のためのキャリブレーション方法および３次元視覚センサ
JP2012167944A (ja) * 2011-02-10 2012-09-06 Ricoh Co Ltd ステレオカメラ校正方法及び装置
US20120233841A1 (en) * 2008-12-05 2012-09-20 Mobileye Technologies Limited Adjustable camera mount for a vehicle windshield
US20130278755A1 (en) * 2012-03-19 2013-10-24 Google, Inc Apparatus and Method for Spatially Referencing Images
JP2014006179A (ja) * 2012-06-26 2014-01-16 Ricoh Co Ltd ステレオカメラキャリブレーション装置及び方法、並びに距離測定装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6396397B1 (en) 1993-02-26 2002-05-28 Donnelly Corporation Vehicle imaging system with stereo imaging
JP3415974B2 (ja) * 1995-10-16 2003-06-09 富士通株式会社 画像収集装置
US6498972B1 (en) * 2002-02-13 2002-12-24 Ford Global Technologies, Inc. Method for operating a pre-crash sensing system in a vehicle having a countermeasure system
JP4109077B2 (ja) 2002-10-11 2008-06-25 敬二 実吉 ステレオカメラの調整装置およびステレオカメラの調整方法
JP5469894B2 (ja) 2008-07-05 2014-04-16 株式会社トプコン 測量装置及び自動追尾方法
CN201322616Y (zh) 2008-12-26 2009-10-07 刘恩乐 一种测量仪
JP5278819B2 (ja) 2009-05-11 2013-09-04 株式会社リコー ステレオカメラ装置及びそれを用いた車外監視装置
JP5565222B2 (ja) * 2010-09-08 2014-08-06 株式会社明電舎 測定装置
JP5718068B2 (ja) 2011-01-17 2015-05-13 株式会社トプコン 傾斜検出器と傾斜検出装置
WO2012150591A2 (en) * 2011-05-03 2012-11-08 Alon Atsmon Automatic content analysis method and system
CN202304820U (zh) * 2011-10-15 2012-07-04 赵志强 浮筒式水平倾角测量装置
JP6167525B2 (ja) 2012-03-21 2017-07-26 株式会社リコー 距離計測装置及び車両
JP6209833B2 (ja) 2013-03-12 2017-10-11 株式会社リコー 検査用具、検査方法、ステレオカメラの生産方法及びシステム
DE102013017500B3 (de) * 2013-10-17 2015-04-02 Faro Technologies, Inc. Verfahren und Vorrichtung zum optischen Abtasten und Vermessen einer Szene

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101676686A (zh) * 2008-09-18 2010-03-24 德尔菲技术公司 确定布置在车辆中的照相机的位置和取向的方法
US20120233841A1 (en) * 2008-12-05 2012-09-20 Mobileye Technologies Limited Adjustable camera mount for a vehicle windshield
JP2011112401A (ja) * 2009-11-24 2011-06-09 Omron Corp ３次元計測のためのキャリブレーション方法および３次元視覚センサ
JP2012167944A (ja) * 2011-02-10 2012-09-06 Ricoh Co Ltd ステレオカメラ校正方法及び装置
US20130278755A1 (en) * 2012-03-19 2013-10-24 Google, Inc Apparatus and Method for Spatially Referencing Images
JP2014006179A (ja) * 2012-06-26 2014-01-16 Ricoh Co Ltd ステレオカメラキャリブレーション装置及び方法、並びに距離測定装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CARLO DAL MUTTO ET AL: "《Calibration》", 31 December 2012 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110017130A (zh) * 2019-04-19 2019-07-16 刘生平 一种水下钻孔灌注桩验孔器

Also Published As

Publication number Publication date
WO2015115669A1 (en) 2015-08-06
US20160353083A1 (en) 2016-12-01
CN105934648A (zh) 2016-09-07
US10972716B2 (en) 2021-04-06
CN105934648B (zh) 2018-08-10
JP6447055B2 (ja) 2019-01-09
JP2016006406A (ja) 2016-01-14
EP3100002B1 (en) 2020-09-23
EP3100002A1 (en) 2016-12-07
EP3100002A4 (en) 2017-05-03
KR20160103076A (ko) 2016-08-31
US20190208182A1 (en) 2019-07-04
CN108921906B (zh) 2022-09-02
KR101893180B1 (ko) 2018-08-29
US10277887B2 (en) 2019-04-30

Similar Documents

Publication Publication Date Title
CN105934648B (zh) 校准方法和测量工具
CN102305602B (zh) 用于测量反射表面形状的系统及其校准方法
JP6791341B2 (ja) 校正方法、校正装置、及びプログラム
US9612332B2 (en) Calibration method for trigonometric-based ranging systems in multiple media
CN107407558B (zh) 测量工具、校准方法、校准装置和程序
CN106127745A (zh) 结构光3d视觉系统与线阵相机的联合标定方法及装置
CN101308012A (zh) 双单目白光三维测量系统标定方法
CN108063940B (zh) 一种人眼跟踪裸眼3d显示系统的校正系统和方法
CN109839027A (zh) 一种热成像瞄准镜装表精度的测试装置及方法
CN112326206A (zh) Ar模组双目融合检测装置及检测方法
CN102831642B (zh) 一种物体表面重建的系统和方法
CN102867328B (zh) 一种物体表面重建的系统
CN109506562A (zh) 一种用于太阳翼展开锁定深度检测的双目视觉测量装置
CN116563370A (zh) 基于单目计算机视觉的测距方法和测速方法
CN102867329B (zh) 一种物体表面重建的系统和方法
CN105373792A (zh) 车轮定位的方法和设备
JP2010281685A (ja) 位置計測システム及び位置計測方法
CN107290136A (zh) 探测器调试方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant