CN108734741A - 摄像头校正方法、摄像头校正程序以及摄像头校正装置 - Google Patents

摄像头校正方法、摄像头校正程序以及摄像头校正装置 Download PDF

Info

Publication number
CN108734741A
CN108734741A CN201810323035.7A CN201810323035A CN108734741A CN 108734741 A CN108734741 A CN 108734741A CN 201810323035 A CN201810323035 A CN 201810323035A CN 108734741 A CN108734741 A CN 108734741A
Authority
CN
China
Prior art keywords
camera
check point
point
visual angle
length
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810323035.7A
Other languages
English (en)
Inventor
若井信彦
吾妻健夫
登生
登一生
佐藤智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN108734741A publication Critical patent/CN108734741A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Abstract

本公开涉及摄像头校正方法、摄像头校正程序以及摄像头校正装置。摄像头校正方法使用多个校正点算出两个摄像头的摄像头参数，该方法包括：(a1)取得多个校正点的三维坐标和每个摄像头的摄像头图像中的多个校正点的图像坐标；(a2)取得各摄像头的多个摄像头参数；(a3)对于每个校正点，算出与观察校正点的两个摄像头的视角对应的视角对应长度；(a4)对于每个校正点，根据两个摄像头间的校正点的视差，算出与校正点的三维位置对应的测距点的三维位置；(a5)对于每个校正点，使用与校正点对应的视角对应长度，对校正点的三维坐标与对应于校正点的测距点的三维位置间的差异进行加权；(a6)基于加权后的差异，更新摄像头参数。

Description

摄像头校正方法、摄像头校正程序以及摄像头校正装置
技术领域
本公开涉及摄像头(camera)校正方法、摄像头校正程序以及摄像头校正装置。
背景技术
为了进行摄像头参数的算出(计算)、即摄像头的校正，需要基于二维图像上的二维坐标或者三维空间中的三维坐标的摄像头参数的评价函数。二维图像上的二维坐标也被称为图像坐标，三维空间中的三维坐标也被称为世界坐标。上述评价函数表示算出的摄像头参数与成为正解的摄像头参数之间的差异，且在算出的摄像头参数与正解的摄像头参数一致的情况下成为0。在以往的使用评价函数的摄像头的校正中，首先，使用校正装置来准备三维空间中的对象点A0i的世界坐标A1i和与对象点A0i对应的点的图像坐标A2i的组，接着求取将对象点A0i的世界坐标A1i基于摄像头参数投影到图像上所成的点的图像坐标A3i，然后，作为评价值，有时会使用图像坐标A2i与图像坐标A3i间的距离A4i(也称为再投影误差)的总和ΣA4i。另外，也存在使用将对象点用立体摄像头进行测距所得到的长度、与预先计测到的从立体摄像头到对象点的长度之差作为评价值的情况。例如，非专利文献1以及2公开了与使用世界坐标和图像坐标的组的前者有关的技术，专利文献1公开了与使用立体摄像头的后者有关的技术。
现有技术文献
专利文献
专利文献1：日本特开2012-202694号公报
非专利文献
非专利文献1：Roger Y.Tsai,“A Versatile Camera Calibration Techniquefor High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Camerasand Lenses”,Journal of Robotics and Automation,IEEE,1987年8月,Vol.RA-3,No.4,p.323-344
非专利文献2：Zhengyou Zhang,“A Flexible New Technique for CameraCalibration”,IEEE Transactions on Pattern Analysis and Machine Intelligence,IEEE,2000年,Vol.22(11),p.1330-1334
发明内容
在以往的摄像头校正中，使用基于图像上的距离或者窄角摄像头的立体测距的、摄像头参数的评价函数。另一方面，在广角摄像头的立体测距用途下的摄像头的校正中，存在无法在摄像头的视野整体准确地进行校准(calibration)、也就是说校正的情况。
本公开提供能够进行遍及摄像头的视野的广范围的高精度校正的摄像头校正方法、摄像头校正程序以及摄像头校正装置。
本公开的一个技术方案涉及的摄像头校正方法，是使用多个校正点算出两个摄像头的摄像头参数的摄像头校正方法，所述摄像头校正方法包括如下的处理(a1)～处理(a7)，处理(a1)～处理(a7)中的至少一个通过处理器执行，(a1)取得保存于第1存储器的校正点数据，所述校正点数据包含所述多个校正点的三维坐标和所述摄像头各自的摄像头图像中的所述多个校正点的图像坐标；(a2)取得保存于第2存储器的所述摄像头各自的多个摄像头参数；(a3)对于每个所述校正点，基于所述校正点数据和所述摄像头参数，算出视角对应长度，所述视角对应长度与观察所述校正点的所述两个摄像头的视角的大小对应；(a4)对于每个所述校正点，基于所述校正点的图像坐标和所述摄像头参数，根据所述两个摄像头间的所述校正点的视差，算出与所述校正点的三维位置对应的测距点的三维位置；(a5)对于每个所述校正点，利用使用所述校正点算出的所述视角对应长度，对所述校正点的三维坐标与对应于所述校正点的所述测距点的三维位置间的差异进行加权；(a6)基于加权后的所述差异，更新所述摄像头参数；(a7)将更新后的摄像头参数输出。
本公开的一个技术方案涉及的摄像头校正程序，是使计算机执行如下处理的摄像头校正程序：(a1)从第1存储器取得包含多个校正点的三维坐标和图像坐标的校正点数据，在此，所述多个校正点的图像坐标是两个摄像头各自的摄像头图像中的所述多个校正点的图像坐标；(a2)从第2存储器取得所述摄像头各自的多个摄像头参数；(a3)对于每个所述校正点，基于所述校正点数据和所述摄像头参数，算出视角对应长度，所述视角对应长度与观察所述校正点的所述两个摄像头的视角的大小对应；(a4)对于每个所述校正点，基于所述校正点的图像坐标和所述摄像头参数，根据所述两个摄像头间的所述校正点的视差，算出与所述校正点的三维位置对应的测距点的三维位置；(a5)对于每个所述校正点，利用使用所述校正点算出的所述视角对应长度，对所述校正点的三维坐标与对应于所述校正点的所述测距点的三维位置间的差异进行加权；(a6)基于加权后的所述差异，更新所述摄像头参数；(a7)将更新后的摄像头参数输出。
本公开的一个技术方案涉及的摄像头校正装置，具备算出两个摄像头的摄像头参数的处理电路，所述处理电路执行：(a1)从第1存储器取得校正点数据，所述校正点数据包含多个校正点的三维坐标和所述两个摄像头各自的摄像头图像中的所述多个校正点的图像坐标；(a2)从第2存储器取得所述摄像头各自的多个摄像头参数；(a3)对于每个所述校正点，基于所述校正点数据和所述摄像头参数，算出视角对应长度，所述视角对应长度与观察所述校正点的所述两个摄像头的视角的大小对应；(a4)对于每个所述校正点，基于所述校正点的图像坐标和所述摄像头参数，根据所述两个摄像头间的所述校正点的视差，算出与所述校正点的三维位置对应的测距点的三维位置；(a5)对于每个所述校正点，利用使用所述校正点算出的所述视角对应长度，对所述校正点的三维坐标与对应于所述校正点的所述测距点的三维位置间的差异进行加权；(a6)基于加权后的所述差异更新所述摄像头参数；(a7)将更新后的摄像头参数输出。
此外，上述总括性或具体的技术方案既可以通过系统、装置、方法、集成电路、计算机程序或计算机可读取的记录盘等记录介质来实现，也可以通过系统、装置、方法、集成电路、计算机程序和记录介质的任意组合来实现。计算机可读取的记录介质例如包括CD-ROM(Compact Disc-Read Only Memory)等非易失性记录介质。
根据本公开涉及的摄像头校正技术，能够进行遍及摄像头的视野的广范围的高精度校正。从本说明书及附图中可知晓本公开的一个技术方案的附加的益处及优点。该益处和/或优点可以单独地由本说明书及附图所公开的各种实施方式及特征而得到，无需为了获得一个以上益处和/或优点而实施所有的实施方式及特征。
附图说明
图1是例示在通过多只眼的广角摄像头所具备的两个广角摄像头进行立体测距的情况下可能产生的测距误差的图。
图2是表示由鱼眼摄像头获得的格子图形(checker pattern)的拍摄图像的一例的图。
图3是表示具备实施方式1涉及的摄像头校正装置的摄像头系统的构成的一例的框图。
图4是从与透镜的光轴垂直的一个方向观察图3的多眼摄像头而得到的侧视图。
图5是表示图3的多眼摄像头的向汽车的搭载例的俯视图。
图6A是表示实施方式1涉及的摄像头校正装置的构成的一例的框图。
图6B是表示校正点数据的例子的图。
图7是表示实施方式1涉及的摄像头校正装置所使用的视角对应长度的一例的图。
图8是表示实施方式1涉及的摄像头校正装置的工作的流程的一例的流程图。
图9是表示实施方式1涉及的摄像头校正装置所校正的摄像头、校正点、与校正点的测距点之间的关系的一例的图。
图10是表示使用了图9的摄像头的立体测距中的测距误差的一例的图。
图11是表示实施方式2涉及的摄像头校正装置的工作的流程的一例的流程图。
图12是表示实施方式3涉及的摄像头校正装置的工作的流程的一例的流程图。
图13是表示实施方式4涉及的摄像头校正装置的工作的流程的一例的流程图。
图14是表示实施方式5涉及的摄像头校正装置的工作的流程的一例的流程图。
图15是表示实施方式涉及的摄像头校正装置所适用的多眼摄像头的变形例的示意性的立体图。
标号说明
101摄像头校正装置；102校正点数据受理部；103摄像头参数取得部；104视角对应长度算出部；105立体测距值算出部；106摄像头参数更新部；107摄像头参数输出部；109校正点数据库；110摄像头参数数据库。
具体实施方式
[成为本公开的基础的见解]
关于在“背景技术”中记载的摄像头校正技术，本发明人发现在将这些技术使用于广角摄像头的立体测距的情况下会产生以下的问题。
第一，在与摄像头的视野的边缘(端)相当的图像外周部，校准误差极大地影响立体测距的精度，且包括图像外周部在内，无法在宽广的视野范围内使测距误差最小化。
例如参照图1，其示出了在通过多眼广角摄像头1000所具备的两个广角摄像头1001以及1002进行立体测距的情况下可能产生的测距误差的例子。多眼广角摄像头1000具备多个广角摄像头。多个广角摄像头的每一个具备广角透镜。多眼广角摄像头1000具有从正面方向D1延伸到方向D2的宽广的视野角，该正面方向D1是朝向广角摄像头1001的正面的方向并且是朝向摄像头1002的正面的方向，该方向D2与正面方向D1形成大的角度。正面方向D1是沿着广角摄像头1001以及1002的光轴OA的方向、且是从多眼广角摄像头1000延伸到视野角的中央附近的方向。方向D2是从多眼广角摄像头1000延伸到视野角的边缘附近的方向。例如，多眼广角摄像头1000的多个广角摄像头配置为光轴相互平行。广角摄像头1001以及1002的视野角的中央附近的被拍摄对象(被摄物体)位于它们的拍摄图像的中央附近，视野角的边缘附近的被拍摄对象位于拍摄图像的边缘附近、也就是说图像外周部。
广角摄像头1001以及1002中存在校准误差、也就是说校正误差，在使用广角摄像头1001以及1002对被拍摄对象进行立体测距从而获得从广角摄像头1001到被拍摄对象的距离B11、从广角摄像头1002到被拍摄对象的距离B12的情况下，从广角摄像头1001到被拍摄对象的实际的距离B13与距离B11不同，从广角摄像头1002到被拍摄对象的实际的距离B14与距离B12不同。此外，立体测距是在两个摄像头分别拍摄到三维空间中的点B00的情况下根据各自的拍摄图像上的与点B00对应的点的位置的差异、也就是说视差来算出点B00的三维位置的技术，基于三角测量的原理。
例如在广角摄像头1001以及1002对被拍摄对象进行了拍摄的情况下，由于校正误差的影响，广角摄像头1001以及1002各自的透镜上的被拍摄对象的像的入射角相对于设计上的入射角θ而具有角度误差Δφ。此外，广角摄像头1001以及1002的角度误差Δφ有时相同有时不同。例如，广角摄像头1001以及1002对正面方向D1的位置A1的被拍摄对象进行了拍摄的情况下，从广角摄像头1001到位置A1a的距离作为从广角摄像头1001到位置A1的立体测距结果而被输出，从广角摄像头1002到位置A1a的距离作为从广角摄像头1002到位置A1的立体测距结果而被输出。另外，广角摄像头1001以及1002对方向D2的位置A2的被拍摄对象进行了拍摄的情况下，从广角摄像头1001到位置A2a的距离作为从广角摄像头1001到位置A2的立体测距结果而被输出，从广角摄像头1002到位置A2a的距离作为从广角摄像头1002到位置A2的立体测距结果而被输出。位置A2和A2a之间的距离大幅地大于位置A1和A1a之间的距离。如此，关于在沿着与作为广角摄像头1001以及1002排列的面的纸面平行的面的方向上的多眼广角摄像头1000的视野角，相比于视野角的中央附近，在视野角的边缘附近，校正精度对立体测距结果的影响更大。
第二，测距精度作为评价值没有直接被最小化。对其详情进行说明，例如为了进行摄像头校正，需要将三维空间中的着眼点(关注点)、与拍摄着眼点而得到的摄像头图像中的对应于着眼点的点的像素位置相关联。三维空间中的三维坐标也被称为世界坐标。摄像头的位置使用世界坐标来记述。作为二维图像的摄像头图像意味着用摄像头拍摄出的图像，在摄像头图像上定义的二维坐标也被称为图像坐标。需要将摄像头所在的三维空间中的着眼点的三维坐标、与由该摄像头拍摄该三维空间而获得的二维图像中的该着眼点所投影的像素位置(以下称为对应点)相关联。
以往的技术首先用摄像头拍摄校正指标。校正指标例如是格子图形。格子图形具有图案形状，并且特征点、例如格子图形的交点的三维坐标已知。接着，检测拍摄到的图像中的与格子图形的交点对应的点，求取拍摄到的摄像头图像中的特征点所投影的点即像素位置。如此，进行了特征点的三维坐标与在二维图像中特征点所投影的点的像素位置的相关联。
例如参照图2，其示出了将在箱状的被拍摄对象的内侧以一定间隔描画出的格子图形作为校正指标进行拍摄而得到的校正指标的摄像头图像的一例。例如，如图2所示，在图2上以位于摄像头图像C的左上位置的“0”为原点的xy坐标系被设定作为摄像头图像C的图像坐标系。针对这种摄像头图像C，操作人员操作计算机等处理装置，按照图像坐标系，读取格子图形的交点的位置C1等，并取得交点位置C1等的图像坐标。再者，操作人员使处理装置参照预先关联有格子图形的交点位置C1与其三维坐标的规则，取得与摄像头图像中的交点位置C1对应的位置的三维坐标。具体而言，在三维空间中的特定的位置确定世界坐标的原点和X、Y以及Z这三个轴，根据着眼交点C1成为了从原点起的第几个格子图形交点，能够辨认三维坐标。
再者，通过基于摄像头参数的坐标变换，能够将世界坐标系中的点投影到图像坐标系中的点。换言之，使用摄像头参数，能够求取与世界坐标上的点对应的摄像头图像上的计算上的对应点。
再者，根据拍摄校正指标所求得的实际对应着的点的世界坐标(X，Y，Z)与图像坐标(x，y)的组，也能够算出摄像头参数。以使用针孔摄像头的模型为例，将使用摄像头参数的从世界坐标向图像坐标的投影式表示于式1。
该针孔摄像头的模型的摄像头参数包含如下作为要素：摄像头图像的中心的x坐标分量Cx和y坐标分量Cy；焦距f；摄像头的拍摄元件的一个像素中的x轴方向长度d'x和y轴方向长度d'y；表示相对于世界坐标系的基准的摄像头的旋转的3行3列的旋转矩阵R的分量Rij；表示相对于世界坐标系的基准的摄像头的平移距离的平移向量T的X坐标分量TX、Y坐标分量TY和Z坐标分量TZ；以及没有自由度的媒介变量h。在旋转矩阵R的要素Rij中，下标i表示旋转矩阵R的行号，下标j表示旋转矩阵R的列号。例如，作为摄像头的内部参数的Cx、Cy、f、d'x以及d'y具有设计值，能够按照设计值来规定。作为摄像头的外部参数的旋转矩阵R以及平移向量T是与摄像头的姿势以及位置有关的参数，即使具有设计值也存在无法按照设计值规定的情况。因此，也可以对摄像头的内部参数使用设计值并仅算出摄像头的外部参数。
另外，如图2所示，如通过拍摄三维空间的格子图形而产生于摄像头图像的格子图形中那样的变形(畸变)像差等变形能够通过如下述的式2那样使用Φ([x y]T)来表现，Φ([x y]T)表示从没有变形的图像坐标(x，y)向有变形的图像坐标(xd，yd)的变换。
关于以往技术中的摄像头校正技术，下面依次对专利文献以及非专利文献所记载的技术及其问题点进行说明。
专利文献1的技术在摄像头参数的评价函数中使用通过立体测距所算出的特征点间的三维距离(也称为欧氏距离)与预先测定出的上述特征点间的距离之差。立体测距是基于三角测量原理的测距方法，因而作为立体摄像头间、具体而言是两个透镜间的距离的基线长度变得越短，从两个透镜到被拍摄对象的视线所形成的视角则变得越小，测距精度会降低。例如如图1所示，当对在广角摄像头的视野角的边缘附近即图像外周部所拍摄的被拍摄对象(例如位于位置A2的被拍摄对象)进行立体测距的情况下，与对在广角摄像头的视野角的中央附近所拍摄的被拍摄对象(例如位于位置A1的被拍摄对象)进行立体测距的情况相比，测距精度降低。
连接位置A2和摄像头1001的透镜中心的线段与连接位置A2和摄像头1002的透镜中心的线段所成的角度比连接位置A1和摄像头1001的透镜中心的线段与连接位置A1和摄像头1002的透镜中心的线段所成的角度小。在该情况下，实质上会与如下情况产生同样的现象：相对于位置A2的摄像头1001的透镜与摄像头1002的透镜间的基线长度比相对于位置A1的摄像头1001的透镜与摄像头1002的透镜间的基线长度短。如此，专利文献1所记载的技术的评价函数针对广角立体摄像头不能说是最佳的。
也可以如下述这样定义从被拍摄对象观察到的摄像头CA1所包含的透镜CA2与从被拍摄对象观察到的摄像头CB1所包含的透镜CB2在外观上的透镜间距离。“摄像头CA1所包含的透镜CA2与摄像头CB1所包含的透镜CB2在外观上的透镜间距离”具有表示被拍摄对象的点和透镜CA2的中心(具体而言是投影中心)CA3间的线段CA4(即视线CA5)、与表示被拍摄对象的点和透镜CB2的中心(具体而言是投影中心)CB3间的线段CB4(即视线CB5)所成的角即视角作为圆心角，并且是具有经过中心CA3以及/或者中心CB3的圆弧的扇形中的弦的长度。此外，也可以决定为使中心CA3和中心CB3中离被拍摄对象近的一方包含于圆弧。
在本说明书中，将与视角对应并且与视角的大小相关的长度称为视角对应长度，外观的透镜间距离是视角对应长度的一例。
此外，也可以将所着眼的点和摄像头CA1所包含的透镜CA2的中心CA3间的线段CA4(即视线CA5)、与所着眼的点和摄像头CB1所包含的透镜CB2的中心CB3间的线段CB4(即视线CB5)所成的角即视角称为从摄像头CA1和摄像头CB1观察到所着眼的点的情况下的视角、或者从所着眼的点观察时的摄像头CA1和摄像头CB1的视角、或者相对于着眼点的摄像头CA1和摄像头CB1的视角。
将会在后面说明详情，视角对应长度的值与视角的值一对一地对应、也就是说能够根据视角的值唯一地决定。再者，视角对应长度随着视角增大而增大、随着视角减小而减小，因而与视角具有同样的行为且与视角相关。例如若将一个摄像头的透镜的中心与被拍摄对象的距离设为LA，则视角对应长度的一例能够满足视角对应长度＝2LAsin(视角/2)的关系。其中，0≤(视角/2)≤π/2[rad]。另外，在以下的说明中，有时将两个摄像头的距离称为基线长度，但该基线长度是指两个摄像头的透镜的中心间的实际距离。
在非专利文献1的技术中，仅在摄像头参数的评价函数中使用了基于二维图像坐标的再投影误差，因而因三维空间中的测距等的误差没有直接反映于评价函数。因此，针对立体测距等的着眼于三维空间的用途，非专利文献1的评价函数不能说是最佳的。
在非专利文献2的技术中，校正指标一边被移动一边由一个摄像头拍摄以使得具有多个不同的进深(纵深)。由此所取得的多个图像例如平面图像A11i、平面图像A21i的各图像中的点A12i、点A22i与世界坐标系中的基准点A32i相关联。再者，关于世界坐标系中的基准点A32i的世界坐标A33i和与基准点A32i对应的平面图像A11i上的点A12i的图像坐标A13i、以及与基准点A32i对应的平面图像A21i上的点A22i的图像坐标A23i的组(A33i、A13i、A23i)，求取使用摄像头参数将世界坐标的基准点A32i投影到图像坐标系而得到的投影点的图像坐标即平面图像A11i中的投影点的图像坐标A14i、平面图像A21i中的投影点的图像坐标A24i，且算出与基准点对应的点的图像坐标与投影点的图像坐标的距离的平方和|A13i-A14i|2+|A23i-A24i|2。而且，算出与所有基准点有关的上述距离的平方和的总和Σ{|A13i-A14i|2+|A23i-A24i|2}，校正摄像头以使该总和最小化。由此，在非专利文献2中，在评价函数中使用了上述距离的平方和的总和。这种评价函数并非反映了因三维空间中的测距等的误差的评价函数，针对立体测距等的着眼于三维空间的用途，不能说是最佳的。
近年来，为了进行在地上移动的车辆以及在空中移动的无人机等移动体中的周边监视以及驾驶辅助等，正在研究立体摄像头的利用。在这种目的的情况下，广角的摄像头适于立体摄像头。以从移动体的测距为目的而配置并且具有广角的视野的立体摄像头的校正需要将重点放在测距精度上，并且需要包括图像外周部地减小校正误差。于是，本发明人鉴于上述问题，为了校正立体摄像头等多眼摄像头以使得遍及视野的广范围并具有高精度，完成了下述技术。
本公开的一个技术方案涉及的摄像头校正方法，是使用多个校正点算出两个摄像头的摄像头参数的摄像头校正方法，所述摄像头校正方法包括如下的处理(a1)～处理(a7)，处理(a1)～处理(a7)中的至少一个通过处理器执行，(a1)取得保存于第1存储器的校正点数据，所述校正点数据包含所述多个校正点的三维坐标和所述摄像头各自的摄像头图像中的所述多个校正点的图像坐标；(a2)取得保存于第2存储器的所述摄像头各自的多个摄像头参数；(a3)对于每个所述校正点，基于所述校正点数据和所述摄像头参数，算出视角对应长度，所述视角对应长度与观察所述校正点的所述两个摄像头的视角的大小对应；(a4)对于每个所述校正点，基于所述校正点的图像坐标和所述摄像头参数，根据所述两个摄像头间的所述校正点的视差，算出与所述校正点的三维位置对应的测距点的三维位置；(a5)对于每个所述校正点，利用使用所述校正点算出的所述视角对应长度，对所述校正点的三维坐标与对应于所述校正点的所述测距点的三维位置间的差异进行加权；(a6)基于加权后的所述差异，更新所述摄像头参数；(a7)将更新后的摄像头参数输出。此外，第1存储器以及第2存储器既可以是分别的存储器，也可以一起形成一个存储器。
在上述技术方案中，测距点的三维位置与由两个摄像头对校正点进行立体测距所获得的校正点的三维位置相当。在校正点位于摄像头的视野的比中央附近更靠周围的边缘附近的情况下，测距点的三维位置明显受到摄像头参数的误差的影响。这是因为，从两个摄像头到校正点的两条视线所形成的视角在摄像头的视野的边缘附近会较在中央附近减小。另外，视角对应长度随着校正点的位置从摄像头的视野的中央移向边缘而变短。也就是说，即使摄像头参数的误差相同，视角对应长度变得越短，相对于校正点的测距点的三维位置的误差也会变得越大。通过使用如上所述的视角对应长度对校正点与其测距点之间的位置的差异进行加权，能够减低由校正点位于摄像头的视野的中央附近及边缘附近等校正点的位置引起的差异的大小的偏差。再者，关于多个校正点，如上所述那样对差异进行加权。基于这种多个加权后的差异所更新出的各摄像头的摄像头参数能够提高对于设计值等成为目的的值的精度。由此，校正点处于摄像头的视野的任何位置，都能够进行摄像头的高精度校正。因此，能够进行遍及摄像头的视野的广范围的、抑制校正点的位置的影响的摄像头的高精度校正。
另外，在本公开的一个技术方案涉及的摄像头校正方法中，也可以为，在处理(a5)中，将使用所述校正点算出的所述视角对应长度通过使用每个所述校正点算出的所述视角对应长度的总和进行标准化(归一化)后使用于所述差异的加权。根据上述技术方案，标准化后的视角对应长度取0～1之间的值。由此，标准化后的视角对应长度作为不取决于视角对应长度的总和的权重而发挥功能。
另外，在本公开的一个技术方案涉及的摄像头校正方法中，也可以为，在处理(a5)中，仅使用与在比阈值大的所述视角对应长度的算出中所用的所述校正点有关的所述差异。根据上述技术方案，与阈值以下的视角对应长度的校正点对应的测距点被排除。例如在视角对应长度极端短的情况下，相对于校正点的测距点的位置的差异可能会无限大地发散。如此，通过排除如该差异变得过大这样的测距点，能抑制取决于这种差异的偏重的摄像头的校正。
另外，在本公开的一个技术方案涉及的摄像头校正方法中，也可以为，在处理(a5)中，将使用所述校正点算出的所述视角对应长度除以所述校正点与所述摄像头的距离后使用于所述差异的加权。在上述技术方案中，即使相对于校正点的两个摄像头的视角对应长度相同，摄像头与校正点的距离变得越大，从两个摄像头向校正点的视角也会变得越小，因而相对于校正点的测距点的位置的差异会变得越大。由此，对测距点的加权能够降低由视角对应长度造成的影响和由摄像头与校正点的距离造成的影响。
另外，在本公开的一个技术方案涉及的摄像头校正方法中，也可以为，在处理(a5)中，将使用所述校正点算出的所述视角对应长度除以所述校正点与所述摄像头的距离的平方后使用于所述差异的加权。根据上述技术方案，对测距点的加权能够有效地降低由视角对应长度造成的影响和由摄像头与校正点的距离大造成的影响。
另外，在本公开的一个技术方案涉及的摄像头校正方法中，也可以为，在处理(a6)中，算出使用了与每个所述校正点有关的所述差异的总和的评价值，以使所述评价值减小的方式更新所述摄像头参数。根据上述技术方案，通过使用评价值，能够有效地算出校正精度高的摄像头参数。
本公开的一个技术方案涉及的摄像头校正程序，是使计算机执行如下处理的摄像头校正程序：(a1)从第1存储器取得包含多个校正点的三维坐标和图像坐标的校正点数据，在此，所述多个校正点的图像坐标是两个摄像头各自的摄像头图像中的所述多个校正点的图像坐标；(a2)从第2存储器取得所述摄像头各自的多个摄像头参数；(a3)对于每个所述校正点，基于所述校正点数据和所述摄像头参数，算出视角对应长度，所述视角对应长度与观察所述校正点的所述两个摄像头的视角的大小对应；(a4)对于每个所述校正点，基于所述校正点的图像坐标和所述摄像头参数，根据所述两个摄像头间的所述校正点的视差，算出与所述校正点的三维位置对应的测距点的三维位置；(a5)对于每个所述校正点，利用使用所述校正点算出的所述视角对应长度，对所述校正点的三维坐标与对应于所述校正点的所述测距点的三维位置间的差异进行加权；(a6)基于加权后的所述差异，更新所述摄像头参数；(a7)将更新后的摄像头参数输出。此外，第1存储器以及第2存储器既可以是分别的存储器，也可以一起形成一个存储器。根据上述技术方案，能够获得与本公开的一个技术方案涉及的摄像头校正方法同样的效果。
另外，本公开的一个技术方案涉及的摄像头校正程序也可以，在处理(a5)中，将使用所述校正点算出的所述视角对应长度通过使用每个所述校正点算出的所述视角对应长度的总和进行标准化后使用于所述差异的加权。
另外，本公开的一个技术方案涉及的摄像头校正程序也可以，在处理(a5)中，仅使用与在比阈值大的所述视角对应长度的算出中所用的所述校正点有关的所述差异。
另外，本公开的一个技术方案涉及的摄像头校正程序也可以，在处理(a5)中，将使用所述校正点算出的所述视角对应长度除以所述校正点与所述摄像头的距离后使用于所述差异的加权。
另外，本公开的一个技术方案涉及的摄像头校正程序也可以，在处理(a5)中，将使用所述校正点算出的所述视角对应长度除以所述校正点与所述摄像头的距离的平方后使用于所述差异的加权。
另外，本公开的一个技术方案涉及的摄像头校正程序也可以，在处理(a6)中，算出使用了与每个所述校正点有关的所述差异的总和的评价值，以使所述评价值减小的方式更新所述摄像头参数。
本公开的一个技术方案涉及的摄像头校正装置，具备算出两个摄像头的摄像头参数的处理电路，所述处理电路执行：(a1)从第1存储器取得校正点数据，所述校正点数据包含多个校正点的三维坐标和所述两个摄像头各自的摄像头图像中的所述多个校正点的图像坐标；(a2)从第2存储器取得所述摄像头各自的多个摄像头参数；(a3)对于每个所述校正点，基于所述校正点数据和所述摄像头参数，算出视角对应长度，所述视角对应长度与观察所述校正点的所述两个摄像头的视角的大小对应；(a4)对于每个所述校正点，基于所述校正点的图像坐标和所述摄像头参数，根据所述两个摄像头间的所述校正点的视差，算出与所述校正点的三维位置对应的测距点的三维位置；(a5)对于每个所述校正点，利用使用所述校正点算出的所述视角对应长度，对所述校正点的三维坐标与对应于所述校正点的所述测距点的三维位置间的差异进行加权；(a6)基于加权后的所述差异更新所述摄像头参数；(a7)将更新后的摄像头参数输出。此外，第1存储器以及第2存储器既可以是分别的存储器，也可以一起形成一个存储器。根据上述技术方案，能够获得与本公开的一个技术方案涉及的摄像头校正方法同样的效果。
另外，在本公开的一个技术方案涉及的摄像头校正装置中，也可以为，所述处理电路，将使用所述校正点算出的所述视角对应长度通过使用每个所述校正点算出的所述视角对应长度的总和进行标准化后使用于所述差异的加权。
另外，在本公开的一个技术方案涉及的摄像头校正装置中，也可以为，所述处理电路，仅使用与在比阈值大的所述视角对应长度的算出中所用的所述校正点有关的所述差异。
另外，在本公开的一个技术方案涉及的摄像头校正装置中，也可以为，所述处理电路，将使用所述校正点算出的所述视角对应长度除以所述校正点与所述摄像头的距离后使用于所述差异的加权。
另外，在本公开的一个技术方案涉及的摄像头校正装置中，也可以为，所述处理电路，将使用所述校正点算出的所述视角对应长度除以所述校正点与所述摄像头的距离的平方后使用于所述差异的加权。
另外，在本公开的一个技术方案涉及的摄像头校正装置中，也可以为，所述处理电路，算出使用了与每个所述校正点有关的所述差异的总和的评价值，以使所述评价值减小的方式更新所述摄像头参数。
此外，上述总括性或具体的技术方案既可以通过系统、装置、方法、集成电路、计算机程序或计算机可读取的记录盘等记录介质来实现，也可以通过系统、装置、方法、集成电路、计算机程序和记录介质的任意组合来实现。计算机可读取的记录介质例如包括CD-ROM等非易失性记录介质。
以下，参照附图，对实施方式涉及的摄像头校正装置等进行说明。此外，以下所说明的实施方式表示总括性或具体的例子。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置以及连接方式、步骤(工序)、以及步骤的顺序等仅为一例，并非旨在限定本公开。另外，对于以下的实施方式中的构成要素中的、没有记载在表示最上位概念的独立权利要求中的构成要素，作为任意的构成要素进行说明。另外，在以下的实施方式的说明中，有时使用大致平行、大致正交这样的伴有“大致”的表现。例如，大致平行不仅意味着完全平行，也意味着实质上平行，即，例如包括数个百分比程度的差异。其他伴有“大致”的表现也同样如此。
[实施方式1]
[1-1-1.摄像头系统的构成]
参照图3，其示出了具备实施方式1涉及的摄像头校正装置101的摄像头系统1的构成。摄像头系统1具备具有两个以上的透镜的多眼摄像头10以及对多眼摄像头10的摄像头参数进行校正的摄像头校正装置101。多眼摄像头10在一个壳体15中具备多个透镜11以及12。此外，多眼摄像头10也可以包括相互分离的多个摄像头，多个摄像头各自具备透镜。另外，虽不进行限定，但在本实施方式中，多眼摄像头10是立体摄像头，能够对被拍摄对象的位置进行立体测距。这种摄像头系统1也可以搭载于移动体例如车辆、船舶或者飞行器。车辆例如也可以是汽车、卡车、公交车、二轮车、搬运车、铁道(火车)、建筑机械或者装卸机械。飞行器例如也可以是航空机或者无人机。
[1-1-2.多眼摄像头的构成]
参照图3，多眼摄像头10具备两个以上的透镜，虽不进行限定，但在本实施方式中具备两个透镜11以及12。具体而言，多眼摄像头10具备长方体状的壳体15、和从壳体15的一个壁部15a面对外部的两个透镜11以及12。透镜11以及12分别也可以是由多个透镜所形成的透镜群。两个透镜11以及12以使光轴相互平行的方式配置，各自的光轴与壁部15a大致垂直。此外，透镜11以及12的光轴也可以不平行。
再者，各透镜11以及12是广角透镜。广角透镜的一例是具有60°以上的视野角的透镜。虽不进行限定，但在本实施方式中，透镜11以及12的视野角是同一视野角。各透镜11以及12也可以如鱼眼透镜那样具有180°或者180°以上的视野角。各透镜11以及12的光轴从其视野角的大致中央通过。
多眼摄像头10还具备与透镜11以及12分别对应配置的两个拍摄元件(未图示)。各透镜11以及12和与它们对应的拍摄元件形成广角摄像头。各广角摄像头具有以透镜11以及12的光轴为中心的广角的视野角。
这种多眼摄像头10是由两个广角摄像头构成并且具有广角的视野角的多眼摄像头。将包括透镜11和与透镜11对应的拍摄元件的广角摄像头称为摄像头21，将包括透镜12和与透镜12对应的拍摄元件的广角摄像头称为摄像头22。摄像头21以及22作为一体而包含于多眼摄像头，或者各自作为分离的摄像头来使用。
另外，拍摄元件只要是接收经过透镜11以及12中所对应的透镜入射的光并根据接收到的光成像的元件即可，例如可以是CMOS(Complementary Metal-OxideSemiconductor，互补金属氧化物半导体)图像传感器或者CCD(Charge Coupled Device，电荷耦合器件)图像传感器。
参照图4，其示出了从与透镜11以及12的光轴OA垂直的方向观察图3的多眼摄像头10而得的侧视图。如图4所示，作为多眼摄像头10的透镜11以及12的视野的拍摄范围11a以及12a至少局部地重叠。此外，在本实施方式中，透镜11以及12具有同一视野角，因而其拍摄范围11a以及12a各自为同等的形状及尺寸。
例如，如上所述的多眼摄像头10能够如图5所示那样搭载于作为车辆的一例的汽车50，实现汽车50周围的监视、周围障碍物的检测、到周围障碍物的距离的测定、驾驶辅助等功能。在图5中，用俯视图表示了多眼摄像头10的向汽车50的搭载例。4个多眼摄像头10a、多眼摄像头10b、多眼摄像头10c以及多眼摄像头10d分别配置于汽车50的前部50a、后部50b、驾驶席侧旁部50c以及副驾驶席侧旁部50d。均具有广角的视野角的多眼摄像头10a、多眼摄像头10b、多眼摄像头10c以及多眼摄像头10d各自的视野范围10aa、10ba、10ca以及10da与相邻的视野范围局部地重复。由此，多眼摄像头10a、多眼摄像头10b、多眼摄像头10c以及多眼摄像头10d能够无缝地对遍及汽车50周围整体的区域进行监视等。
[1-1-3.摄像头校正装置的构成]
对实施方式1涉及的摄像头校正装置101的构成进行说明。摄像头校正装置101能够适用于具备两个以上的透镜的多眼摄像头以及两个以上的摄像头的组。然而，在本实施方式中，说明针对如上所述具备两个透镜11以及12的多眼摄像头10应用摄像头校正装置101的例子。
参照图6A，用框图示出了实施方式1涉及的摄像头校正装置101的功能性构成的一例。摄像头校正装置101包括校正点数据受理部102、摄像头参数取得部103、视角对应长度算出部104、立体测距值算出部105、摄像头参数更新部106以及摄像头参数输出部107。摄像头校正装置101使用对摄像头所设定的初始摄像头参数和与设定在三维空间内的校正点有关的校正点数据，将摄像头参数更新成最佳的摄像头参数并输出、也就是说将摄像头参数进行校正。初始摄像头参数既可以是摄像头的设计时的摄像头参数，也可以是在使用阶段对摄像头所设定的摄像头参数。摄像头校正装置101能够利用于出厂前的摄像头的校正，也能够利用于摄像头的检查、修理时的摄像头的校正。
此外，在本说明书中，校正摄像头意味着求取实机(实物)摄像头的摄像头参数。这种摄像头校正装置101也被称为摄像头参数算出装置。以下对摄像头校正装置101的各构成要素的详情进行说明。
(校正点数据受理部102)
校正点数据受理部102接收校正点数据，并将其输出给视角对应长度算出部104。例如，校正点数据受理部102从校正点数据库(也称为校正点DB)109接收校正点数据。也可以为，第1存储器保持校正点数据库109。在本实施方式中，校正点数据库109包含于设置在摄像头校正装置101的外部的第1存储器，但也可以包含于摄像头校正装置101所具备的存储器等。或者，校正点数据库109也可以包含于具备摄像头校正装置101的装置或者系统的存储装置，还可以包含于多眼摄像头10所具备的存储装置。存储装置可以通过硬盘或者半导体存储器构成。校正点数据包含表示校正点的位置的三维坐标、和表示通过各摄像头拍摄校正点而得到的二维图像中的与校正点对应的点的像素位置的二维坐标，表示校正点的位置的三维坐标和表示通过各摄像头拍摄校正点而得到的二维图像中的与校正点对应的点的像素位置的二维坐标相关联，所述校正点是成为校正的基准的点。将校正点数据的例子表示于图6B。表示校正点的位置的三维坐标(x1,y1,z1)与二维坐标(x211,y211)相关联，二维坐标(x211,y211)表示通过摄像头21拍摄作为三维坐标(x1,y1,z1)的校正点而得的二维图像中的与作为三维坐标(x1,y1,z1)的校正点对应的点的像素位置。表示校正点的位置的三维坐标(x1,y1,z1)与二维坐标(x221,y221)相关联，二维坐标(x221,y221)表示通过摄像头22拍摄作为三维坐标(x1,y1,z1)的校正点而得的二维图像中的与作为三维坐标(x1,y1,z1)的校正点对应的点的像素位置。
校正点被配置为包含于摄像头21以及22的每一个的视野内。例如也可以使用三维坐标的一点(X，Y，Z)和与该一点对应的二维图像中的图像坐标的一点(mx，ny)的信息来对校正点进行表示。在所述表示的情况下，校正点数据包含多个校正点的信息。此外，m及n分别为整数，二维图像以二维的方式配置有像素，m及n表示二维图像中的x轴方向以及y轴方向的像素位置。
在此，为了制作校正点数据，需要使在多眼摄像头10所在的三维空间中的校正点的三维坐标、和通过多眼摄像头10的摄像头21以及22分别拍摄三维空间中的校正点而得到的二维图像中的与校正点对应的点的图像坐标或者像素位置相关联。为了该目的，以往会执行使用如上所述的图形形状已知的格子图形等校正指标的方法。在本实施方式中，也可以用现存的方法来进行在校正点数据库109所保存的各校正点数据中校正点的三维坐标、和二维图像中的与该校正点对应的点的图像坐标或者像素位置之间的关联。现存的方法也可以是使用图2所说明的方法。这种校正点数据被预先制作，并保存于校正点数据库109。
(摄像头参数取得部103)
摄像头参数取得部103取得作为校正对象的多眼摄像头10的摄像头21以及22各自的初始摄像头参数，并将其输出给视角对应长度算出部104。初始摄像头参数包含摄像头21以及22的内部参数以及外部参数。初始摄像头参数是进行校正前所预先设定的摄像头参数。
初始摄像头参数例如既可以是多眼摄像头10的摄像头21以及22的在设计时所设定的设计参数，也可以是在多眼摄像头10被使用的阶段已经对摄像头21以及22所设定的摄像头参数。初始摄像头参数例如也可以记录于作为摄像头参数的数据库的摄像头参数数据库(DB)110。也可以为，第2存储器保持摄像头参数数据库110。摄像头参数取得部103参照摄像头参数数据库110，取得记录于摄像头参数数据库110的初始摄像头参数。初始摄像头参数的一例是上述的式1所包含的摄像头参数。在本实施方式中，摄像头参数数据库110包含于设置在摄像头校正装置101的外部的第2存储器，但也可以包含于摄像头校正装置101所具备的存储器等。或者，摄像头参数数据库110也可以包含于具备摄像头校正装置101的装置或者系统的存储装置，还可以包含于多眼摄像头10所具备的存储装置。存储装置可以通过硬盘或者半导体存储器构成。
或者，也可以使用Tsai的非专利文献1或者Zhang的非专利文献2中所公开的已知方法来推定初始摄像头参数。这种初始摄像头参数的推定可以通过使用格子图形等校正指标并取得世界坐标的点的坐标和与世界坐标的点相关联的图像坐标的点的坐标的组来进行，由于在此后进行校正，因而推定精度可以是粗略的。此外，在使用非专利文献1(Tsai)的方法的情况和使用专利文献2(Zhang)的方法的情况下，所需的信息不同。
例如，为了使用非专利文献1(Tsai)的方法算出初始摄像头参数，需要13组以上的世界坐标的点的坐标与图像坐标的点的坐标的组。另外，为了使用非专利文献2(Zhang)的方法算出初始摄像头参数，需要3个以上的二维图像、和13组以上的世界坐标的点的坐标与图像坐标的点的坐标的组。
(视角对应长度算出部104)
视角对应长度算出部104对于由校正点数据受理部102接收到的校正点数据所包含的校正点的每一个，基于初始摄像头参数，从各校正点算出相对于多眼摄像头10的成对的摄像头21以及22的视角对应长度。具体而言是算出与校正点的数量相同个数的视角对应长度。
根据“成为本公开的基础的见解”中所述的可知，相对于成对的摄像头21以及22的视角对应长度能够定义为是从两个摄像头观察校正点的情况下的与视角对应并且与视角相关的长度。视角对应长度根据视角的大小而变化。在本实施方式中，视角对应长度是2Lsin(视角/2)。此外，L是两个摄像头中的某一个的透镜的中心位置与校正点之间的距离。
在此，参照图7，关于摄像头21以及22，说明本实施方式的三维空间中的视角对应长度。此外，图7是表示实施方式1涉及的摄像头校正装置101所使用的视角对应长度的一例的图。摄像头21以及22的基线长度是摄像头21以及22的透镜中心间的距离、且是连接摄像头21的透镜中心和摄像头22的透镜的透镜中心的线段L1的长度。此外，所谓透镜中心，也可以考虑为透镜的光轴与透镜表面的两个交点中、靠近校正点一侧的点。所谓“从～到摄像头的距离”，也可以是“从～到摄像头的透镜中心的距离”。所谓“从摄像头到～的距离”，也可以是“从摄像头的透镜中心到～的距离”。在本例中，从校正点P1到摄像头21以及22各自的距离不同，因而相对于从摄像头21以及22观察校正点P1的情况下的视角的摄像头21以及22的视角对应长度与作为摄像头21以及22的基线长度的线L1的长度不同。在从校正点P1到摄像头21的距离与从校正点P1到摄像头22的距离相同的情况下，基线长度与视角对应长度一致。
具体而言，视角对应长度能够设为经过摄像头21的透镜的中心(具体而言是投影中心)的线段L1a的长度或者经过摄像头22的透镜的中心(具体而言是投影中心)的线段L1b的长度。线段L1a经过摄像头21的透镜的中心并且与作为线L2以及L3所形成的内角α的平分线的线L4垂直，并进而将与线L2以及L3的交点作为端点。内角α是从摄像头21以及22观察校正点P1时的摄像头21以及22的视线的视角。线L4经过线段L1a的中点Ma，成为线段L1a的垂直平分线。此外，线L2是连接校正点P1与摄像头21的透镜的中心的线，线L3是连接校正点P1与摄像头22的透镜的中心的线。另外，线段L1b经过摄像头22的透镜的中心并且与线L4垂直，并进而将与线L2以及L3的交点作为端点。线L4经过线段L1b的中点Mb，成为线段L1b的垂直平分线。
线段L1a的长度也是以视角α为圆心角并且具有经过摄像头21的透镜的中心的圆弧的扇形的圆弧的弦的长度。线段L1b的长度也是以线L2和线L3所形成的视角α为圆心角并且具有经过摄像头22的透镜的中心的圆弧的扇形的圆弧的弦的长度。如此，视角对应长度是2Lsin(视角/2)。此外，L是两个摄像头中的某一个的透镜的中心位置与校正点之间的长度。
视角对应长度不限定于线段L1a的长度以及线段L1b的长度。例如，视角对应长度也可以是以视角α为圆心角的扇形的任意弦的长度。例如，视角对应长度也可以是线L1a以及L1b之间的弦的长度。此外，图7中示出的点以及线全部位于同一平面上(纸面)。
另外，视角对应长度也可以通过与其相关的视角α的大小来代用。视角α的变化能够表示视角对应长度的变化，一对一地与视角对应长度的变化对应。具体而言，视角α变大，则视角对应长度变长，视角α变小，则视角对应长度变短。根据视角α、和校正点P1与摄像头21或者22的透镜的中心之间的距离，能够算出视角对应长度。
(立体测距值算出部105)
立体测距值算出部105从校正点数据受理部102取得使用摄像头21以及22拍摄各校正点而得到的结果。具体而言，立体测距值算出部105从校正点数据受理部102接收校正点数据。如图6B所示，校正点数据包含校正点的三维坐标、和通过各摄像头拍摄校正点而得到的二维图像中的与校正点对应的点的像素位置。立体测距值算出部105从校正点数据取得作为摄像头对的摄像头21以及22的拍摄图像各自中的与校正点对应的图像坐标。另外，立体测距值算出部105取得摄像头21以及22各自的摄像头参数。立体测距值算出部105使用摄像头21以及22的摄像头参数、和由摄像头21以及22取得的与校正点对应的点的图像坐标，并通过利用立体测距技术的图像处理，算出与各校正点对应的三维坐标。在以下的说明中，将具有如上所述的与校正点对应的三维坐标的点称为测距点，将测距点的三维坐标也称为立体测距值。例如，摄像头21和摄像头22分别拍摄包含校正点的图像。在此，校正点的三维坐标设为(x2,y2,z2)(参照图6B)。通过对由摄像头21拍摄到的图像、由摄像头22拍摄到的图像、由摄像头21拍摄到的图像中的与该校正点对应的像素坐标(x212,y212)、由摄像头22拍摄到的图像中的与该校正点对应的像素坐标(x222,y222)进行使用后述所示的立体测距技术的图像处理，算出与由三维坐标(x2,y2,z2)确定的校正点对应的测距点。
将摄像头21和摄像头22的摄像头模型设为式1的针孔摄像头模型，对所述立体测距技术进行说明。根据式1，可唯一地确定将世界坐标(X，Y，Z)投影到图像上的图像坐标(x，y)，但无法由图像坐标(x，y)和摄像头参数唯一地算出世界坐标(X，Y，Z)，仅能够算出世界坐标(X，Y，Z)可能存在的直线λ的方向向量(视线向量V)。将摄像头21和摄像头22的所述直线λ分别设为λ21和λ22，将摄像头21和摄像头22的所述视线向量分别设为V21和V22。在摄像头参数和校正点没有误差的情况下，直线λ21与直线λ22在一点交叉，所述交叉的点的三维坐标成为测距点(x2,y2,z2)。另一方面，在存在所述误差的情况下，直线λ21与直线λ22成为扭曲的位置，因而只要算出直线λ21上的点ω21与直线λ22上的点ω22间的距离成为最小的点ω21和点ω22，并将点ω21与点ω22的中点、点ω21或者点ω22设为测距点(x2,y2,z2)即可。在经过点ω21和点ω22的直线λ23与直线λ21和直线λ22均垂直相交的情况下，能够将点ω21与点ω22间的距离成为最小的点ω21和点ω22作为以世界坐标的原点O为基准的位置向量，如式10中所示那样算出。在此，将摄像头21和摄像头22的摄像头位置的世界坐标分别设为P21和P22，P21和P22的世界坐标的X分量、Y分量以及Z分量分别是摄像头21和摄像头22的摄像头参数的TX、TY以及TZ。
除了V21和V22平行的情况，都能够算出式10所包含的逆矩阵。
与每个校正点相对应地，形成一个测距点。此外，上述立体测距技术是根据由两个摄像头拍摄到的两个拍摄图像上的校正点的位置的差异、也就是说视差来算出校正点的三维坐标的立体图像识别技术，可以应用已知的任意技术。
(摄像头参数更新部106)
摄像头参数更新部106从校正点数据受理部102取得各校正点的校正点数据，从摄像头参数取得部103取得摄像头21以及22的初始摄像头参数，从立体测距值算出部105取得与各校正点对应的测距点的三维坐标。摄像头参数更新部106使用所取得的信息，判定是否需要将摄像头21以及22的摄像头参数变更、也就是说更新成新的摄像头参数，在需要更新的情况下，重新算出摄像头21以及22的摄像头参数。在上述判定中，摄像头参数更新部106使用所取得的信息，对于各校正点，算出作为校正点与测距点之间的位置的差异的测距误差，并进而算出使用测距误差的评价值。而且，摄像头参数更新部106基于评价值，判定是否应该更新摄像头参数。将会在后面说明摄像头参数更新部106的详情。
(摄像头参数输出部107)
摄像头参数输出部107将通过摄像头参数更新部106算出的摄像头参数输出。例如，摄像头参数输出部107也可以对摄像头校正装置101所构成的装置等输出摄像头参数。
摄像头校正装置101例如也可以通过由处理器、存储器、接口电路等构成的计算机装置(未图示)来实现。摄像头校正装置101的上述构成要素的一部分或者全部功能例如也可以是通过处理器执行预先记录于存储器的程序而实现的软件功能。另外，摄像头校正装置101也可以通过进行上述的工作的专用的硬件电路(未图示)来实现。程序也可以作为应用(application)，通过经由互联网等通信网的通信、基于移动通信标准的通信等来提供。
另外，摄像头校正装置101不一定需要由单个计算机装置来实现，也可以通过包括终端装置和服务器的分散处理系统(未图示)来实现。作为一例，也可以将校正点数据受理部102、摄像头参数取得部103设置于终端装置，并通过服务器执行视角对应长度算出部104、立体测距值算出部105以及摄像头参数更新部106的一部分或者全部的功能。在该情况下，构成要素间的数据的收发经由与终端装置和服务器连接的通信线路来进行。
[1-2.摄像头校正装置的工作]
参照图8，说明实施方式1涉及的摄像头校正装置101的工作。此外，图8是表示实施方式1涉及的摄像头校正装置101的工作的流程的一例的流程图。具体而言，说明由摄像头校正装置101进行的摄像头参数的算出处理。作为摄像头参数的算出处理的步骤S300的处理由以下的步骤S301～S308的处理构成。
(步骤S301)
首先，摄像头校正装置101的校正点数据受理部102从校正点数据库109取得摄像头校正所使用的校正点的校正点数据，并将其输出给视角对应长度算出部104。在校正点数据库109中，组合并保存有各校正点的三维坐标以及图像坐标。各校正点的图像坐标通过使用多眼摄像头10的各摄像头21以及22对各校正点进行拍摄而预先取得。
(步骤S302)
另外，摄像头校正装置101的摄像头参数取得部103从摄像头参数数据库110取得摄像头校正所使用的多眼摄像头10的摄像头21以及24各自的初始摄像头参数。具体而言，摄像头参数取得部103取得摄像头21以及22的信息作为校正对象的信息，进而，在摄像头参数数据库110中参照所取得的校正对象的摄像头21以及22的信息，取得与该摄像头21以及22相关联的初始摄像头参数。初始摄像头参数通过使用各摄像头21以及22的摄像头参数的设计值、或者利用测试(test)等对各摄像头21以及22的摄像头参数进行计测等来预先取得，并保存于摄像头参数数据库110。如后所述，也存在摄像头参数取得部103从摄像头参数更新部106取得更新后的摄像头参数的情况。
(步骤S303)
在步骤S301以及S302之后，摄像头校正装置101的视角对应长度算出部104对于校正点数据所包含的各校正点，基于摄像头21以及22的初始摄像头参数，算出摄像头21以及22的视角对应长度。此外，在由摄像头参数更新部106进行了更新的情况下，视角对应长度算出部104基于更新后的摄像头参数来算出视角对应长度。
例如在图7的情况下，视角对应长度算出部104取得从多个校正点中选择出的校正点(在本例中为校正点P1)的三维坐标、和作为校正对象的摄像头21以及22的三维坐标。摄像头的三维坐标能够从该摄像头参数的外部参数中取得(式1的情况下，TX、TY以及TZ分别与摄像头的三维坐标的X坐标、Y坐标以及Z坐标对应)，表示摄像头的透镜的中心位置。接下来，视角对应长度算出部104使用校正点P1的三维坐标和摄像头21以及22的三维坐标，求取在由校正点P1的三维坐标和摄像头21以及22的三维坐标所规定的二维平面上形成的三角形。在本例中，摄像头21比摄像头22靠近校正点P1。视角对应长度算出部104在所形成的三角形位于的二维平面上，例如算出基于校正点P1与摄像头21的位置之间的距离的视角对应长度、也就是说线L1a的长度。
(步骤S304)
在步骤S303之后，摄像头校正装置101的立体测距值算出部105基于从校正点数据受理部102取得的校正点数据、和从摄像头参数取得部103取得的摄像头21以及22的初始摄像头参数，进行立体测距处理，取得与各校正点对应的测距点的三维坐标。立体测距值算出部105对于所有校正点，算出测距点的三维坐标、也就是说算出校正点的立体测距值。此外，在由摄像头参数更新部106进行了更新的情况下，立体测距值算出部105基于更新后的摄像头参数进行立体测距处理。
例如参照图9，其示出了每个校正点Pk(k＝1、2、…、N)与每个通过立体测距所取得的校正点Pk的测距点Tk(k＝1、2、…、N)之间的位置关系的一例。此外，图9是表示实施方式1涉及的摄像头校正装置101所校正的摄像头21以及22、校正点Pk、与校正点Pk的测距点Tk之间的关系的一例的图。校正点Pk的位置是由校正点数据所包含的三维坐标确定的三维位置。测距点Tk是由摄像头21以及22对校正点Pk进行立体测距所取得的点。在摄像头21以及22的摄像头参数存在误差的情况下，如图9所示，校正点Pk的三维位置与测距点Tk的三维位置可能不同。
(步骤S305)
在步骤S304之后，摄像头校正装置101的摄像头参数更新部106基于在步骤S301中取得的各校正点的校正点数据、在步骤S303中算出的视角对应长度以及在S304中算出的各测距点的三维坐标，算出与校正点和测距点之间的位置的差异有关的评价值J。此外，评价值J使用如下记的式3所示的函数(称为评价函数)来算出，具体而言，评价值J通过每一对校正点和对应于校正点的测距点中的校正点与测距点的三维距离(欧氏距离)的加权相加来定义。校正点与测距点的三维距离也是测距误差，也被称为立体测距误差。例如，如图9所示，由于摄像头参数的误差等，在校正点Pk的测距点Tk与校正点Pk之间，可能会产生三维距离。此外，在式3中，N是校正点的数量，wk是对校正点Pk和测距点Tk的欧氏距离所赋予的权重。Tk是测距点Tk的三维坐标，Pk是校正点Pk的三维坐标。在本实施方式中，如下记的式4所示，权重wk表示相对于测距点Tk的摄像头21以及22的视角对应长度deff,k。例如w2在图9中是相对于从校正点P2观察时的摄像头21和摄像头22的视角的视角对应长度。
wk＝deff，k …(式4)
(步骤S306)
在步骤S305之后，摄像头参数更新部106根据在步骤S305中的处理的结果，判定是否满足结束摄像头参数的更新的条件。在满足结束条件的情况下(步骤S306：是)，摄像头参数更新部106不变更摄像头参数，而将判定结果等信息输出给摄像头校正装置101的摄像头参数输出部107，前进至步骤S308的处理。在不满足结束条件的情况下(步骤S306：否)，摄像头参数更新部106前进至步骤S307的处理。结束条件可以是满足如下情况中的至少一方：完成预先设定的摄像头参数的搜索范围内的评价值J的算出；评价值J比第一阈值小；以及后述的步骤S302～S307的一系列处理的反复次数大于等于第二阈值。
完成摄像头参数的搜索范围内的评价值J的算出是指，在预先确定的搜索条件下，完成了能够取得的所有搜索条件的试行。例如在仅关于焦距(一个变量)，用0.01mm的步长(step size)以等间隔对其搜索范围1.10～1.30mm进行搜索的情况下(被称为网格搜索)，对21个焦距值计算评价值即可。另外，在搜索多个变量的情况下，需要对多个变量的值能够取得的所有组进行计算。例如在对于3个变量的每一个，搜索范围按步长分成10个的情况下，需要进行113次评价值的计算。
上述一系列处理的反复次数也是摄像头参数的更新次数。上述第一阈值能够基于对于校正点的测距点的三维位置的容许误差等适当地设定。上述第二阈值例如可以考虑摄像头校正装置101整体的处理速度以及经验上的数据等来设定，例如也可以是100次左右。或者，上述第二阈值也可以设为使得能够基于由反复处理而得到的评价值J的变化、也就是说评价值J的梯度来推定为评价值J的变化收敛这样的值。
(步骤S307)
摄像头参数更新部106将摄像头21以及22的摄像头参数在摄像头参数的搜索范围内进行变更、也就是说进行更新。在初次进行步骤S307的处理的情况下，被更新的摄像头参数是初始摄像头参数，在后述的反复处理中，被更新的摄像头参数是在反复处理的过程中被更新后的最新的摄像头参数。例如，摄像头参数更新部106根据评价值J的算出结果的历史记录等，使用非线性最优化法等方法，以使评价值J最小化或者减小的方式变更摄像头参数。而且，摄像头参数更新部106将更新后的摄像头参数输出给摄像头参数取得部103，前进至步骤S302的处理。由此，使用更新后的摄像头参数，再次反复进行步骤S302～S306的处理。如此，通过反复进行步骤S302～S307的处理，以使评价值J最小化也就是说最优化的方式更新摄像头参数。例如能够使用作为公知技术的网格搜索来使评价值J最小化。能够针对作为被认为含有初始摄像头参数的近旁等的最优值的范围的搜索范围，以一定的间隔算出评价值J，从算出的评价值J当中取得评价值J成为最小的摄像头参数。此外，如上述的式1那样，在摄像头参数由两个以上的变量构成的情况下，同样地在以各变量作为轴的多维空间中进行搜索即可。
此外，摄像头参数的搜索范围与在步骤S306中的判定所使用的摄像头参数的搜索范围是同一范围。摄像头参数的搜索范围是预先设定的各摄像头参数能够取得的范围。例如图像中心位置分量Cx和Cy、焦距f、以及拍摄元件长度d'x和d'y的搜索范围分别可以设为设计值的±5％。另外，例如摄像头位置的旋转分量Rx、Ry和Rz的旋转角度的搜索范围可以设为初始值的±10度，摄像头位置的平移移动分量TX、TY和TZ的平移距离的搜索范围可以设为初始值的±0.2m。旋转角度以及平移距离的初始值也可以通过用标尺(scale)等计测摄像头21以及22与多眼摄像头的位置关系来求取。
另外，为了削减步骤S302～步骤S307的反复处理的计算时间，摄像头参数的搜索范围也可以是限定于初始摄像头参数近旁的范围，也可以使用由进行反复处理所得的评价值J的变化的梯度来应用最速下降法等算出。
(步骤S308)
摄像头参数输出部107取得在步骤S305中算出的评价值J、和与该评价值J对应的摄像头21以及22的摄像头参数的组。与评价值J对应的摄像头参数是在该评价值J的算出时最新的摄像头参数，也是在该评价值J的算出处理的过程中所使用的摄像头参数。在没有进行步骤S302～步骤S307的反复处理的情况下，摄像头参数输出部107输出初始摄像头参数。在进行了步骤S302～步骤S307的反复处理的情况下，摄像头参数输出部107根据取得的多组摄像头参数及评价值，选择评价值最小的组的摄像头参数，将选择出的摄像头参数作为最佳摄像头参数进行输出。
上述的步骤S301～S308的一系列处理是算出并输出所校正的摄像头参数的处理，形成摄像头参数算出处理S300。
通过按照这种步骤来校正多眼摄像头10的摄像头21以及22，能够在使用多眼摄像头10进行立体测距的情况下，在视野角的边缘近旁的拍摄图像外周部，降低测距点的测距误差。以下，依次对此进行说明。即，表示视角对应长度与立体测距中的测距误差的大小有关这一情况。
在立体测距中，估算在朝向着眼校正点的摄像头的视线向量中产生了角度误差的情况下的测距误差。测距误差向量的分布在三维空间中非线性地扩展且无法以解析的方式求取，因而在二维平面上进行近似计算。
使用图10，列举多眼摄像头10的摄像头21为例，说明测距点Tk的测距误差。此外，图10是表示使用了图9的摄像头21的立体测距中的测距误差的一例的图。将向校正点Pk的摄像头21的视线向量、与形成摄像头21以及22的视角对应长度的线L1a所成的角φ的角度误差设为Δφ。将角φ变化了角度误差Δφ的情况下的校正点Pk的测距点Tk的位置分别设为点Q以及点R。点Q是角φ因角度误差Δφ而减小的情况下的测距点Tk的位置，点R是角φ因角度误差Δφ而增大的情况下的测距点Tk的位置。以校正点Pk为中心的点Q以及点R的分布在二维平面中扩展，且无法以解析的方式求取校正点Pk与点Q的距离以及校正点Pk与点R的距离，因此，将点Q和点R的距离的一半设为测距点Tk的测距误差ΔL。而且，这种测距误差ΔL能够按照下记的式5算出。
在此，在式5中，L是从摄像头21的线L1a到着眼校正点Pk的距离，也可以作为线段MaPk的长度。此外，点Ma与图7的同样，是线L1a的中点。或者，L也可以作为着眼校正点Pk、与摄像头21以及22间的重心位置之间的距离。deff是摄像头21以及22的视角对应长度。式5的近似计算成立的条件是L＞＞deff、Δφ＜＜0.02[rad]并且φ≠π/2[rad]。φ≠π/2[rad]意味着φ并非在π/2[rad]近旁，例如也可以是φ<4π/9[rad]。关于数学符号“＞＞”以及“＜＜”的范围的例子，在求取的摄像头参数的数值的有效位数内，在L＞＞deff的情况下，是deff/(L×L)≒0成立的范围，在Δφ＜＜0.02[rad]的情况下，是sinφ≒φ成立的范围。
根据式5，测距误差ΔL与角度误差Δφ、着眼校正点Pk的距离L的平方以及视角对应长度deff的倒数成正比。即，视角对应长度与测距点的测距误差的大小有关，具体而言是视角对应长度变得越小，该测距误差变得越大。
根据以上可知，步骤S305中的评价值J与基于视角对应长度而被加权的测距误差之和对应。在这种评价值J中，由于视角对应长度短而增大的测距误差的权重、也就是说比重被降低，因而评价值J在降低了由视角对应长度带来的影响的状态下包含各校正点与其测距点的测距误差。通过使用评价值J，能够不受由位于摄像头的拍摄图像的外周部的校正点引起的相对大的测距误差的影响，评价摄像头参数，并基于其评价结果对摄像头进行校正。另外，由于在评价值J的算出中使用通过在各校正点的测距误差的总和所定义的评价函数，因而能够进行将立体测距中的误差降低的摄像头参数的算出。
[实施方式2]
对实施方式2涉及的摄像头校正装置进行说明。实施方式2涉及的摄像头校正装置的构成与实施方式1是同样的，实施方式2涉及的摄像头校正装置的工作的一部分与实施方式1不同。具体而言，在实施方式1中，将在图8所示的摄像头参数算出处理S300的步骤S305中算出评价值J时所使用的权重wk如上述的式4所示那样设成了视角对应长度，但在实施方式2中，将权重wk设为标准化后的视角对应长度。以下，以与实施方式1的不同之处为中心对实施方式2进行说明。
参照图11，其示出了表示实施方式2涉及的摄像头校正装置的工作的流程的一例的流程图。实施方式2涉及的摄像头校正装置进行摄像头参数算出处理S310。摄像头参数算出处理S310除了取代步骤S305而包含步骤S315的处理之外，与实施方式1的摄像头参数算出处理S300是同样的。
而且，在步骤S315中，摄像头参数更新部106基于各校正点的校正点数据、与各校正点对应的视角对应长度以及与各校正点对应的各测距点的三维坐标，如上述的式3所示那样算出评价值J。这时，摄像头参数更新部106使用下记的式6所示的权重wk作为应用于校正点及其测距点的欧氏距离的权重wk。此外，式6中的权重wk是将视角对应长度通过与各校正点对应的视角对应长度的总和进行标准化而得到的。
具体而言，与校正点Pk与其测距点Tk的欧氏距离对应的权重wk通过将相对于校正点Pk的摄像头21以及22的视角对应长度deff,k除以相对于各校正点的摄像头21以及22的视角对应长度的总和、也就是说进行标准化来取得。视角对应长度的总和既可以由摄像头参数更新部106算出，也可以由视角对应长度算出部104或者立体测距值算出部105算出。另外，在由摄像头参数更新部106进行的评价值J的算出后，与实施方式1同样地，进行步骤S306以后的处理。
根据以上可知，能够将用其总和标准化后的视角对应长度作为不取决于视角对应长度的总和的权重用于评价函数。由此，评价值J成为不取决于视角对应长度的总和的值，能够准确地表示测距误差的状态。
[实施方式3]
对实施方式3涉及的摄像头校正装置进行说明。实施方式3涉及的摄像头校正装置的构成与实施方式1是同样的，实施方式3涉及的摄像头校正装置的工作的一部分与实施方式1不同。具体而言，在实施方式1中，将在图8所示的摄像头参数算出处理S300的步骤S305中算出评价值J时所使用的权重wk如上述的式4所示那样设成了视角对应长度，但在实施方式3中，在视角对应长度比阈值大的情况下将权重wk设为视角对应长度，在视角对应长度小于等于阈值的情况下将权重wk设为0。以下，以与实施方式1的不同之处为中心对实施方式3进行说明。
参照图12，其示出了表示实施方式3涉及的摄像头校正装置的工作的流程的一例的流程图。实施方式3涉及的摄像头校正装置进行摄像头参数算出处理S320。摄像头参数算出处理S320除了取代步骤S305而包含步骤S325的处理之外，与实施方式1的是同样的。
而且，在步骤S325中，摄像头参数更新部106基于各校正点的校正点数据、与各校正点对应的视角对应长度以及与各校正点对应的各测距点的三维坐标，如上述的式3所示那样算出评价值J。这时，摄像头参数更新部106使用下记的式7所示的权重wk作为应用于校正点及其测距点的欧氏距离的权重wk。式7中的权重wk基于与各校正点对应的视角对应长度，在视角对应长度比阈值α大的情况下应用视角对应长度，在小于等于阈值α的情况下应用0。具体而言，根据相对于权重wk所应用的校正点Pk的摄像头21以及22的视角对应长度deff,k是超过了阈值α还是小于等于阈值α，应用视角对应长度deff,k或者0。
作为阈值α的一例，设为立体摄像头的基线长度、也就是说摄像头21以及22的基线长度的10％即可。此外，权重wk也可以如实施方式2那样标准化以使得其总和成为1。
根据以上可知，能够将诸如如上述的式5的视角对应长度与测距点的测距误差之间的关系所示那样由于视角对应长度极端短导致测距误差无限大地发散这样的校正点排除。由此，能够在多眼摄像头10以车载的方式被使用等情况下，提高多眼摄像头10近旁、也就是说车体近旁的测距精度。
[实施方式4]
对实施方式4涉及的摄像头校正装置进行说明。实施方式4涉及的摄像头校正装置的构成与实施方式1是同样的，实施方式4涉及的摄像头校正装置的工作的一部分与实施方式1不同。具体而言，在实施方式1中，将在图8所示的摄像头参数算出处理S300的步骤S305中算出评价值J时所使用的权重wk如上述的式4所示那样设成了视角对应长度，但在实施方式4中，将权重wk设为对视角对应长度除以校正点的纵深而得到的值。以下，以与实施方式1的不同之处为中心对实施方式4进行说明。
参照图13，其示出了表示实施方式4涉及的摄像头校正装置的工作的流程的一例的流程图。实施方式4涉及的摄像头校正装置进行摄像头参数算出处理S330。摄像头参数算出处理S330除了取代步骤S305而包含步骤S335的处理之外，与实施方式1的是同样的。
而且，在步骤S335中，摄像头参数更新部106基于各校正点的校正点数据、与各校正点对应的视角对应长度以及与各校正点对应的各测距点的三维坐标，如上述的式3所示那样算出评价值J。这时，摄像头参数更新部106使用下记的式8所示的权重wk作为应用于校正点及其测距点的欧氏距离的权重wk。式8中的权重wk作为将与各校正点对应的视角对应长度除以该校正点的进深而得到的值来算出。
在此，Lk是第k个校正点Pk的校正点进深。进深Lk与上述的式5中的L同样地，既可以设为从与摄像头21以及22的视角对应长度对应的线到校正点Pk的距离，也可以设为从摄像头21以及22间的重心位置到校正点Pk的距离。另外，进深Lk例如也可以是摄像头21以及22的某一个与校正点Pk的距离。摄像头参数更新部106也可以构成为使用摄像头21以及22的摄像头参数和校正点Pk的三维坐标来算出进深Lk。此外，权重wk也可以如实施方式2那样标准化以使得其总和成为1。
校正点的进深、也就是说校正点与多眼摄像头的距离变得越大，摄像头参数的误差对测距点的测距误差的影响会变得越大。然而，如上所述的权重wk能够减轻测距误差对评价值J的作用偏向于在远处的校正点可能产生的相对大的测距误差的作用更大的状况。由此，能够获得抑制了由校正点的进深引起的影响的评价值J。
[实施方式5]
对实施方式5涉及的摄像头校正装置进行说明。实施方式5涉及的摄像头校正装置的构成与实施方式4是同样的，实施方式5涉及的摄像头校正装置的工作的一部分与实施方式4不同。具体而言，在实施方式4中，将算出评价值J时所使用的权重wk设成了对视角对应长度除以校正点的进深而得到的值，但在实施方式5中，将权重wk设为对视角对应长度除以校正点的进深的平方而得到的值。以下，以与实施方式4的不同之处为中心对实施方式5进行说明。
参照图14，其示出了表示实施方式5涉及的摄像头校正装置的工作的流程的一例的流程图。实施方式5涉及的摄像头校正装置进行摄像头参数算出处理S340。摄像头参数算出处理S340除了取代步骤S335而包含步骤S345的处理之外，与实施方式4的是同样的。
而且，在步骤S345中，摄像头参数更新部106基于各校正点的校正点数据、与各校正点对应的视角对应长度以及与各校正点对应的各测距点的三维坐标，算出评价值J。这时，摄像头参数更新部106使用下记的式9所示的权重wk作为应用于校正点及其测距点的欧氏距离的权重wk。式9中的权重wk作为将与各校正点对应的视角对应长度除以该校正点的进深的平方而得到的值来算出。式9的Lk与式8的相同。此外，权重wk也可以进行标准化以使得其总和成为1。
如上所述的权重wk比实施方式4更能够降低测距点的测距误差对评价值J的贡献偏于在远处的校正点可能产生的相对大的测距误差这一情况。由此，通过实施方式5涉及的摄像头校正装置，能够获得比实施方式4更抑制了由校正点的进深引起的影响的评价值J。
[其他]
以上，基于实施方式说明了本公开的一个或者多个技术方案涉及的摄像头校正装置等，但本公开的技术不限定于这些实施方式。只要不偏离本公开的宗旨，将本领域技术人员想到的各种变形应用于本实施方式而得到的方式、和将不同的实施方式中的构成要素组合而构建的方式也可以包含在本公开的一个或者多个技术方案的范围内。
例如，实施方式1～5中使用于评价值J的权重w不限定于向各实施方式的应用。也可以将把实施方式1～5中所使用的各种权重w适当组合而得到的权重作为评价值J的评价函数中的校正点及测距点的欧氏距离的权重。评价函数的这种权重能够协同地实现各实施方式中的权重的效果。
另外，在实施方式1～5中，将多眼摄像头中的校正对象的摄像头设成了广角摄像头，但实施方式涉及的摄像头校正装置也可以应用于任何视野角的摄像头的校正。通过采用使用视角对应长度的加权，在窄角的摄像头的校正中，实施方式涉及的摄像头校正装置也能够进行遍及摄像头的视野角整体的高精度校正。
另外，在实施方式1～5中，多眼摄像头10构成为具有两个摄像头21以及22，但不限定于此，也可以具有3个以上的摄像头。例如，多眼摄像头也可以如图15所示的多眼摄像头200那样具有3个摄像头21、22以及23。3个摄像头21、22以及23配置为彼此的拍摄范围至少局部地重叠。例如也可以，如图15的例子那样，配置为摄像头21、22以及23的光轴经过正三角形的顶点并且相互平行。
这种多眼摄像头200的摄像头21、22以及23的校正也可以以如下说明的方式进行。首先，从摄像头21、22以及23中选出由两个摄像头构成的摄像头对的组合。具体而言，选出由摄像头21以及22而成的第一摄像头对、由摄像头21以及23而成的第二摄像头对、和由摄像头22以及23而成的第三摄像头对。针对第一摄像头对、第二摄像头对以及第三摄像头对的每一对，按照如实施方式1～5中记载的那样的摄像头参数算出处理S300、S310、S320、S330以及S340，算出摄像头参数。
在第一摄像头对中，算出摄像头21以及22各自的第一摄像头参数、和与第一摄像头参数对应的第一评价值。在第二摄像头对中，算出摄像头21以及23各自的第二摄像头参数、和与第二摄像头参数对应的第二评价值。在第三摄像头对中，算出摄像头22以及23各自的第三摄像头参数、和与第三摄像头参数对应的第三评价值。由此，在摄像头21、22以及23中，算出两个摄像头参数。而且，对于摄像头21、22以及23的每一个，合并两个摄像头参数。
在摄像头21中，将摄像头21的第一摄像头参数以及第二摄像头参数合并。在摄像头22中，将摄像头22的第一摄像头参数以及第三摄像头参数合并。在摄像头23中，将摄像头23的第二摄像头参数以及第三摄像头参数合并。
合并也可以通过两个摄像头参数的平均值来进行。在该情况下，焦距f等摄像头参数的各要素也可以按每个要素进行平均值的算出。或者，也可以在与3对摄像头有关的评价值中，选择与较小的评价值对应的摄像头参数。此时，例如在第一评价值<第二评价值<第三评价值的情况下，根据最小的第一评价值，摄像头21以及22的摄像头参数决定为各自的第一摄像头参数。另外，对于与第一评价值没有关联的摄像头23，根据第2小的第二评价值，决定为第二摄像头参数。
另外，如上所述，本公开的技术既可以通过系统、装置、方法、集成电路、计算机程序或计算机可读取的记录盘等记录介质来实现，也可以通过系统、装置、方法、集成电路、计算机程序和记录介质的任意组合来实现。计算机可读取的记录介质例如包括CD-ROM等非易失性记录介质。
例如，上述实施方式涉及的摄像头校正装置所包含的各处理部典型地作为集成电路即LSI(Large Scale Integration：大规模集成电路)而实现。它们既可以分别地单片化，也可以包括一部分或全部地单片化。
另外，集成电路化不限于LSI，也可以使用专用电路或通用处理器实现。也可以利用能够在LSI制造后编程的FPGA(Field Programmable Gate Array：现场可编程门阵列)、或者能够重构LSI内部的电路单元的连接、设定的可重构处理器。
此外，在上述实施方式中，各构成要素既可以用专用的硬件构成，也可以通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过CPU(Central ProcessingUnit：中央处理单元)或者处理器等程序执行部将记录于硬盘或者半导体存储器等记录介质的软件程序读出并执行来实现。
另外，上述构成要素的一部分或全部也可以由可拆装的IC(Integrated Circuit)卡或单体的模块构成。IC卡或者模块是由微处理器、ROM(Read Only Memory，只读存储器)、RAM等构成的计算机系统。IC卡或者模块也可以包括上述的LSI或者系统LSI。通过使微处理器按照计算机程序工作，IC卡或者模块实现其功能。这些IC卡以及模块可以具有防篡改性能。
本公开的摄像头校正方法也可以通过MPU(Micro Processing Unit)、CPU、处理器、LSI等电路、IC卡或者单体的模块等来实现。
再者，本公开的技术既可以通过软件程序或者由软件程序构成的数字信号来实现，也可以是记录有程序的非瞬时性的计算机可读取的记录介质。另外，毫无疑问也能够经由互联网等传送介质使上述程序流通。
另外，上述所使用的序数、数量等数字全部是用于具体地说明本公开的技术而示例的，本公开不限制于示例出的数字。另外，构成要素间的连接关系是用于具体地说明本公开的技术而示例的，实现本公开的功能的连接关系不限定于此。
另外，框图中的功能模块的分割仅为一例，也可以将多个功能模块作为一个功能模块来实现，或将一个功能模块分割为多个，或将一部分功能移至其他功能模块。另外，也可以为，单一的硬件或者软件并行或者分时地处理具有类似功能的多个功能模块的功能。
本公开的摄像头校正装置等对两眼以上的任何多眼摄像头的摄像头参数的算出是有用的。

Claims (18)

1.一种摄像头校正方法，是使用多个校正点算出两个摄像头的摄像头参数的摄像头校正方法，所述摄像头校正方法包括如下的处理(a1)～处理(a7)，处理(a1)～处理(a7)中的至少一个通过处理器执行，
(a1)取得保存于第1存储器的校正点数据，所述校正点数据包含所述多个校正点的三维坐标和所述摄像头各自的摄像头图像中的所述多个校正点的图像坐标；
(a2)取得保存于第2存储器的所述摄像头各自的多个摄像头参数；
(a3)对于每个所述校正点，基于所述校正点数据和所述摄像头参数，算出视角对应长度，所述视角对应长度与观察所述校正点的所述两个摄像头的视角的大小对应；
(a4)对于每个所述校正点，基于所述校正点的图像坐标和所述摄像头参数，根据所述两个摄像头间的所述校正点的视差，算出与所述校正点的三维位置对应的测距点的三维位置；
(a5)对于每个所述校正点，利用使用所述校正点算出的所述视角对应长度，对所述校正点的三维坐标与对应于所述校正点的所述测距点的三维位置间的差异进行加权；
(a6)基于加权后的所述差异，更新所述摄像头参数；
(a7)将更新后的摄像头参数输出。
2.根据权利要求1所述的摄像头校正方法，
在处理(a5)中，将使用所述校正点算出的所述视角对应长度通过使用每个所述校正点算出的所述视角对应长度的总和进行标准化后使用于所述差异的加权。
3.根据权利要求1所述的摄像头校正方法，
在处理(a5)中，仅使用与在比阈值大的所述视角对应长度的算出中所用的所述校正点有关的所述差异。
4.根据权利要求1所述的摄像头校正方法，
在处理(a5)中，将使用所述校正点算出的所述视角对应长度除以所述校正点与所述摄像头的距离后使用于所述差异的加权。
5.根据权利要求1所述的摄像头校正方法，
在处理(a5)中，将使用所述校正点算出的所述视角对应长度除以所述校正点与所述摄像头的距离的平方后使用于所述差异的加权。
6.根据权利要求1所述的摄像头校正方法，
在处理(a6)中，算出使用了与每个所述校正点有关的所述差异的总和的评价值，以使所述评价值减小的方式更新所述摄像头参数。
7.一种摄像头校正程序，是使计算机执行如下处理的摄像头校正程序：
(a1)从第1存储器取得包含多个校正点的三维坐标和图像坐标的校正点数据，
在此，所述多个校正点的图像坐标是两个摄像头各自的摄像头图像中的所述多个校正点的图像坐标；
(a2)从第2存储器取得所述摄像头各自的多个摄像头参数；
(a3)对于每个所述校正点，基于所述校正点数据和所述摄像头参数，算出视角对应长度，所述视角对应长度与观察所述校正点的所述两个摄像头的视角的大小对应；
(a4)对于每个所述校正点，基于所述校正点的图像坐标和所述摄像头参数，根据所述两个摄像头间的所述校正点的视差，算出与所述校正点的三维位置对应的测距点的三维位置；
(a5)对于每个所述校正点，利用使用所述校正点算出的所述视角对应长度，对所述校正点的三维坐标与对应于所述校正点的所述测距点的三维位置间的差异进行加权；
(a6)基于加权后的所述差异，更新所述摄像头参数；
(a7)将更新后的摄像头参数输出。
8.根据权利要求7所述的摄像头校正程序，
在处理(a5)中，将使用所述校正点算出的所述视角对应长度通过使用每个所述校正点算出的所述视角对应长度的总和进行标准化后使用于所述差异的加权。
9.根据权利要求7所述的摄像头校正程序，
在处理(a5)中，仅使用与在比阈值大的所述视角对应长度的算出中所用的所述校正点有关的所述差异。
10.根据权利要求7所述的摄像头校正程序，
在处理(a5)中，将使用所述校正点算出的所述视角对应长度除以所述校正点与所述摄像头的距离后使用于所述差异的加权。
11.根据权利要求7所述的摄像头校正程序，
在处理(a5)中，将使用所述校正点算出的所述视角对应长度除以所述校正点与所述摄像头的距离的平方后使用于所述差异的加权。
12.根据权利要求7所述的摄像头校正程序，
在处理(a6)中，算出使用了与每个所述校正点有关的所述差异的总和的评价值，以使所述评价值减小的方式更新所述摄像头参数。
13.一种摄像头校正装置，具备算出两个摄像头的摄像头参数的处理电路，
所述处理电路执行：
(a1)从第1存储器取得校正点数据，所述校正点数据包含多个校正点的三维坐标和所述两个摄像头各自的摄像头图像中的所述多个校正点的图像坐标；
(a2)从第2存储器取得所述摄像头各自的多个摄像头参数；
(a3)对于每个所述校正点，基于所述校正点数据和所述摄像头参数，算出视角对应长度，所述视角对应长度与观察所述校正点的所述两个摄像头的视角的大小对应；
(a4)对于每个所述校正点，基于所述校正点的图像坐标和所述摄像头参数，根据所述两个摄像头间的所述校正点的视差，算出与所述校正点的三维位置对应的测距点的三维位置；
(a5)对于每个所述校正点，利用使用所述校正点算出的所述视角对应长度，对所述校正点的三维坐标与对应于所述校正点的所述测距点的三维位置间的差异进行加权；
(a6)基于加权后的所述差异更新所述摄像头参数；
(a7)将更新后的摄像头参数输出。
14.根据权利要求13所述的摄像头校正装置，
所述处理电路，将使用所述校正点算出的所述视角对应长度通过使用每个所述校正点算出的所述视角对应长度的总和进行标准化后使用于所述差异的加权。
15.根据权利要求13所述的摄像头校正装置，
所述处理电路，仅使用与在比阈值大的所述视角对应长度的算出中所用的所述校正点有关的所述差异。
16.根据权利要求13所述的摄像头校正装置，
所述处理电路，将使用所述校正点算出的所述视角对应长度除以所述校正点与所述摄像头的距离后使用于所述差异的加权。
17.根据权利要求13所述的摄像头校正装置，
所述处理电路，将使用所述校正点算出的所述视角对应长度除以所述校正点与所述摄像头的距离的平方后使用于所述差异的加权。
18.根据权利要求13所述的摄像头校正装置，
所述处理电路，算出使用了与每个所述校正点有关的所述差异的总和的评价值，以使所述评价值减小的方式更新所述摄像头参数。
CN201810323035.7A 2017-04-18 2018-04-11 摄像头校正方法、摄像头校正程序以及摄像头校正装置 Pending CN108734741A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-082272 2017-04-18
JP2017082272 2017-04-18

Publications (1)

Publication Number Publication Date
CN108734741A true CN108734741A (zh) 2018-11-02

Family

ID=61972310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810323035.7A Pending CN108734741A (zh) 2017-04-18 2018-04-11 摄像头校正方法、摄像头校正程序以及摄像头校正装置

Country Status (4)

Country Link
US (1) US10664998B2 (zh)
EP (1) EP3392837B1 (zh)
JP (1) JP6967715B2 (zh)
CN (1) CN108734741A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109908497A (zh) * 2019-04-01 2019-06-21 上海联影医疗科技有限公司 坐标校准装置、系统、方法及介质
CN114296313A (zh) * 2022-01-17 2022-04-08 惠州市华阳数码特电子有限公司 摄像头的校准方法及校准装置

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109963059B (zh) 2012-11-28 2021-07-27 核心光电有限公司 多孔径成像系统以及通过多孔径成像系统获取图像的方法
WO2014199338A2 (en) 2013-06-13 2014-12-18 Corephotonics Ltd. Dual aperture zoom digital camera
CN108519655A (zh) 2013-07-04 2018-09-11 核心光电有限公司 小型长焦透镜套件
CN108989649B (zh) 2013-08-01 2021-03-19 核心光电有限公司 具有自动聚焦的纤薄多孔径成像系统及其使用方法
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
US10288840B2 (en) 2015-01-03 2019-05-14 Corephotonics Ltd Miniature telephoto lens module and a camera utilizing such a lens module
CN111175935B (zh) 2015-04-16 2022-02-08 核心光电有限公司 紧凑型折叠式相机中的自动对焦和光学图像稳定
CN112672023B (zh) 2015-08-13 2023-08-01 核心光电有限公司 视频支持和切换/无切换动态控制的双孔径变焦摄影机
CN109889708B (zh) 2015-12-29 2021-07-06 核心光电有限公司 具有自动可调节长焦视场的双孔径变焦数字摄影机
EP3758356B1 (en) 2016-05-30 2021-10-20 Corephotonics Ltd. Actuator
CN112217976B (zh) 2016-06-19 2022-02-08 核心光电有限公司 用于双孔径摄影机中帧同步的系统
US10845565B2 (en) 2016-07-07 2020-11-24 Corephotonics Ltd. Linear ball guided voice coil motor for folded optic
WO2018109828A1 (ja) * 2016-12-13 2018-06-21 株式会社Ｆｕｊｉ 作業ロボットの目的位置補正方法
US11531209B2 (en) 2016-12-28 2022-12-20 Corephotonics Ltd. Folded camera structure with an extended light-folding-element scanning range
CN109417589B (zh) 2017-01-12 2021-10-22 核心光电有限公司 紧凑型折叠式摄影机及其组装方法
WO2018167581A1 (en) 2017-03-15 2018-09-20 Corephotonics Ltd. Camera with panoramic scanning range
US10777018B2 (en) * 2017-05-17 2020-09-15 Bespoke, Inc. Systems and methods for determining the scale of human anatomy from images
US10904512B2 (en) 2017-09-06 2021-01-26 Corephotonics Ltd. Combined stereoscopic and phase detection depth mapping in a dual aperture camera
US10951834B2 (en) 2017-10-03 2021-03-16 Corephotonics Ltd. Synthetically enlarged camera aperture
EP4250695A3 (en) 2017-11-23 2023-11-22 Corephotonics Ltd. Compact folded camera structure
CN110352371B (zh) 2018-02-05 2022-05-13 核心光电有限公司 减少高度容余的折叠摄像装置
CN113467031B (zh) 2018-02-12 2023-07-14 核心光电有限公司 具有光学图像稳定化的折叠摄像机、数字摄像机及方法
US10694168B2 (en) 2018-04-22 2020-06-23 Corephotonics Ltd. System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems
WO2019207464A2 (en) 2018-04-23 2019-10-31 Corephotonics Ltd. An optical-path folding-element with an extended two degree of freedom rotation range
US11363180B2 (en) 2018-08-04 2022-06-14 Corephotonics Ltd. Switchable continuous display information system above camera
WO2020039302A1 (en) 2018-08-22 2020-02-27 Corephotonics Ltd. Two-state zoom folded camera
CN111919057B (zh) 2019-01-07 2021-08-31 核心光电有限公司 具有滑动接头的旋转机构
CN111971956B (zh) * 2019-03-09 2021-12-03 核心光电有限公司 用于动态立体校准的方法及系统
US10399227B1 (en) * 2019-03-29 2019-09-03 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control
US10906184B2 (en) * 2019-03-29 2021-02-02 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control
JP2020190438A (ja) * 2019-05-20 2020-11-26 株式会社リコー 計測装置および計測システム
CN112585644A (zh) 2019-07-31 2021-03-30 核心光电有限公司 在相机摇摄或运动中创建背景模糊的系统及方法
US11659135B2 (en) 2019-10-30 2023-05-23 Corephotonics Ltd. Slow or fast motion video using depth information
US11949976B2 (en) 2019-12-09 2024-04-02 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
CN114641983A (zh) 2019-12-09 2022-06-17 核心光电有限公司 用于获得智能全景图像的系统及方法
EP3855397B1 (en) * 2020-01-24 2021-12-29 Axis AB Imaging system
US11360375B1 (en) 2020-03-10 2022-06-14 Rockwell Collins, Inc. Stereoscopic camera alignment via laser projection
US11475595B2 (en) 2020-03-19 2022-10-18 Sony Corporation Extrinsic calibration of multi-camera system
CN115580780A (zh) 2020-04-26 2023-01-06 核心光电有限公司 摄像机致动器及其移动装置
KR20230020585A (ko) 2020-05-17 2023-02-10 코어포토닉스 리미티드 전체 시야 레퍼런스 이미지 존재 하의 이미지 스티칭
WO2021245488A1 (en) 2020-05-30 2021-12-09 Corephotonics Ltd. Systems and methods for obtaining a super macro image
US11910089B2 (en) 2020-07-15 2024-02-20 Corephotonics Lid. Point of view aberrations correction in a scanning folded camera
US11637977B2 (en) 2020-07-15 2023-04-25 Corephotonics Ltd. Image sensors and sensing methods to obtain time-of-flight and phase detection information
US11311747B2 (en) 2020-07-16 2022-04-26 Uih America, Inc. Systems and methods for isocenter calibration
EP4065934A4 (en) 2020-07-31 2023-07-26 Corephotonics Ltd. LARGE STROKE LINEAR POSITION DETECTION HALL EFFECT SENSOR MAGNET GEOMETRY
CN116626960A (zh) 2020-08-12 2023-08-22 核心光电有限公司 用于光学防抖的方法
US11870973B2 (en) * 2021-07-27 2024-01-09 Deere & Company Camera calibration tool
CN113884104B (zh) * 2021-09-27 2024-02-02 苏州挚途科技有限公司 多传感器联合标定方法、装置及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005322128A (ja) * 2004-05-11 2005-11-17 Rikogaku Shinkokai ステレオ３次元計測用キャリブレーション方法及び３次元位置算出方法
CN102597693A (zh) * 2009-11-13 2012-07-18 富士胶片株式会社 测距装置、测距方法、测距程序及测距系统以及拍摄装置
JP2012202694A (ja) * 2011-03-23 2012-10-22 Canon Inc カメラ校正方法
CN103322983A (zh) * 2012-03-21 2013-09-25 株式会社理光 校准装置、包含校准装置和立体相机的测距系统以及安装测距系统的车辆
EP2887313A1 (en) * 2013-12-19 2015-06-24 Ricoh Company, Ltd. Image processing apparatus, system, image processing method, and computer-readable recording medium
JP2015132540A (ja) * 2014-01-14 2015-07-23 株式会社リコー 測距装置及びロボットピッキングシステム
WO2016189878A1 (ja) * 2015-05-27 2016-12-01 京セラ株式会社 演算装置、カメラ装置、車両及びキャリブレーション方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE1073999B (de) * 1955-01-05 1960-01-28 The American Laundry Machmeiy Company Cmcmnatti Ohio (V St A) FaIt und Stapelvor richtung fur Waschestucke
JPH05265547A (ja) * 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
JP4285618B2 (ja) * 1999-03-31 2009-06-24 富士重工業株式会社 ステレオカメラの自己診断装置
JP2002267441A (ja) * 2001-03-07 2002-09-18 Fuji Heavy Ind Ltd ステレオマッチング方法および監視装置
CN105919939A (zh) * 2009-04-24 2016-09-07 伊休蒂卡有限公司 包封的纳米颗粒在工业规模的制备
JP5545527B2 (ja) * 2010-02-22 2014-07-09 株式会社リコー 距離画像取得装置
JP5838355B2 (ja) * 2012-06-20 2016-01-06 パナソニックＩｐマネジメント株式会社 空間情報検出装置、人位置検出装置
WO2014181581A1 (ja) * 2013-05-07 2014-11-13 日立オートモティブシステムズ株式会社 キャリブレーション装置、キャリブレーションシステム、及び撮像装置
JP6447055B2 (ja) * 2014-01-28 2019-01-09 株式会社リコー 校正方法、校正装置、計測用具及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005322128A (ja) * 2004-05-11 2005-11-17 Rikogaku Shinkokai ステレオ３次元計測用キャリブレーション方法及び３次元位置算出方法
CN102597693A (zh) * 2009-11-13 2012-07-18 富士胶片株式会社 测距装置、测距方法、测距程序及测距系统以及拍摄装置
JP2012202694A (ja) * 2011-03-23 2012-10-22 Canon Inc カメラ校正方法
CN103322983A (zh) * 2012-03-21 2013-09-25 株式会社理光 校准装置、包含校准装置和立体相机的测距系统以及安装测距系统的车辆
EP2887313A1 (en) * 2013-12-19 2015-06-24 Ricoh Company, Ltd. Image processing apparatus, system, image processing method, and computer-readable recording medium
JP2015132540A (ja) * 2014-01-14 2015-07-23 株式会社リコー 測距装置及びロボットピッキングシステム
WO2016189878A1 (ja) * 2015-05-27 2016-12-01 京セラ株式会社 演算装置、カメラ装置、車両及びキャリブレーション方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109908497A (zh) * 2019-04-01 2019-06-21 上海联影医疗科技有限公司 坐标校准装置、系统、方法及介质
CN109908497B (zh) * 2019-04-01 2021-11-30 上海联影医疗科技股份有限公司 坐标校准装置、系统、方法及介质
CN114296313A (zh) * 2022-01-17 2022-04-08 惠州市华阳数码特电子有限公司 摄像头的校准方法及校准装置

Also Published As

Publication number Publication date
EP3392837B1 (en) 2020-06-10
JP6967715B2 (ja) 2021-11-17
US10664998B2 (en) 2020-05-26
US20180300901A1 (en) 2018-10-18
EP3392837A1 (en) 2018-10-24
JP2018179981A (ja) 2018-11-15

Similar Documents

Publication Publication Date Title
CN108734741A (zh) 摄像头校正方法、摄像头校正程序以及摄像头校正装置
CN108734740A (zh) 摄像头校正方法、摄像头校正程序以及摄像头校正装置
JP5746477B2 (ja) モデル生成装置、３次元計測装置、それらの制御方法及びプログラム
EP1596330B1 (en) Estimating position and orientation of markers in digital images
CN110456330B (zh) 一种相机与激光雷达之间外参无目标自动标定方法及系统
JP2018189636A (ja) 撮像装置、画像処理方法及びプログラム
US10645365B2 (en) Camera parameter set calculation apparatus, camera parameter set calculation method, and recording medium
WO2021140886A1 (ja) 三次元モデル生成方法、情報処理装置およびプログラム
CN107316325A (zh) 一种基于图像配准的机载激光点云与影像配准融合方法
JP2011179910A (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
CN107025663A (zh) 视觉系统中用于3d点云匹配的杂波评分系统及方法
Hastedt et al. Investigations on the quality of the interior orientation and its impact in object space for UAV photogrammetry
CN110044374A (zh) 一种基于图像特征的单目视觉测量里程的方法及里程计
CN110675436A (zh) 基于3d特征点的激光雷达与立体视觉配准方法
CN113034605B (zh) 目标对象的位置确定方法、装置、电子设备及存储介质
CN109341588B (zh) 一种双目结构光三系统法视角加权的三维轮廓测量方法
CN112712566B (zh) 基于结构参数在线校正的双目立体视觉传感器测量方法
JP2014092922A (ja) 検出装置、検出方法及び検出プログラム
CN113052974B (zh) 物体三维表面的重建方法和装置
Heide et al. UCSR: registration and fusion of cross-source 2D and 3D sensor data in unstructured environments
CN113503830B (zh) 一种基于多相机的非球面面形测量方法
Zheng et al. An efficient and practical calibration method for roadside camera using two vanishing points
Kapusi et al. Simultaneous geometric and colorimetric camera calibration
Schulz et al. Vision-based autonomous landing for small UAVs-First experimental results
Jin et al. A Stereo Vision-Based Flexible Deflection Measurement System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181102