CN107809610A - 摄像头参数集算出装置、摄像头参数集算出方法以及程序 - Google Patents

摄像头参数集算出装置、摄像头参数集算出方法以及程序 Download PDF

Info

Publication number
CN107809610A
CN107809610A CN201710584189.7A CN201710584189A CN107809610A CN 107809610 A CN107809610 A CN 107809610A CN 201710584189 A CN201710584189 A CN 201710584189A CN 107809610 A CN107809610 A CN 107809610A
Authority
CN
China
Prior art keywords
camera
parameter set
pixel
image
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710584189.7A
Other languages
English (en)
Other versions
CN107809610B (zh
Inventor
登生
登一生
若井信彦
吾妻健夫
佐藤智
丸山亚矢子
中田干也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2017057506A external-priority patent/JP6803570B2/ja
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN107809610A publication Critical patent/CN107809610A/zh
Application granted granted Critical
Publication of CN107809610B publication Critical patent/CN107809610B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/2433—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures for measuring outlines by shadow casting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

本公开涉及摄像头参数集算出装置、摄像头参数集算出方法以及程序。摄像头参数集算出装置具备：三维点群算出器(902)，其基于由第1、第2摄像头拍摄到的第1、第2图像和第1、第2摄像头的第1、第2摄像头参数集，算出多个三维坐标；评价值算出器(903)，其基于所述多个三维坐标和所述第2摄像头参数集来决定所述第2图像中的多个第2像素坐标，基于所述多个三维坐标和第3摄像头的第3摄像头参数集来决定由所述第3摄像头拍摄到的第3图像中的多个第3像素坐标，基于所述多个第2、第3像素坐标处的所述第2、第3图像中的多个像素值来算出评价值；以及摄像头参数集决定器(904)，其基于所述评价值来决定所述第3摄像头的第4摄像头参数集。

Description

摄像头参数集算出装置、摄像头参数集算出方法以及程序
技术领域
本公开涉及在复眼摄像头的自校正中算出摄像头参数集的技术。
背景技术
在汽车的安全驾驶辅助系统、移动机器人的远程操作系统或者检测可疑人员等的监视摄像头系统等中，为了供用户以及系统进行判断和/或控制，需要系统周边的图像和三维坐标的信息。
已知从由复眼摄像头拍摄到的图像中，使用各摄像头的摄像头参数集，通过立体视来取得被拍摄对象的三维坐标的各种技术(例如，参照专利文献1～4、非专利文献1)。将算出摄像头参数集称为摄像头校正。在专利文献4以及非专利文献1中记载有关于摄像头校正的详细说明。
现有技术文献
专利文献1：日本特开2001-285692号公报
专利文献2：日本特开平6-167564号公报
专利文献3：日本特开2007-24647号公报
专利文献4：日本特表2003-528304号公报
非专利文献1：Roger Y.Tsai.A versatile camera calibration technique forhigh-accuracy 3D machine vision metrology using off-the-shelf TV cameras andlenses.IEEE Journal of Robotics and Automation.Vol.3，pp.323-344，1987
发明内容
然而，在现有的校正技术中，存在如下问题：在校正目标的三维坐标因历时变化和/或外力等而发生了变化的情况下，无法正确地进行校正。
本公开的目的在于，提供一种不使用事先获得的三维坐标而能够进行复眼摄像头的自校正的摄像头参数集算出装置。
本公开的一个技术方案涉及的摄像头参数集算出装置，具备：受理器，其受理由第1摄像头拍摄到的第1图像、由第2摄像头拍摄到的第2图像、由第3摄像头拍摄到的第3图像、所述第1摄像头的第1摄像头参数集、所述第2摄像头的第2摄像头参数集和所述第3摄像头的第3摄像头参数集，所述第1摄像头参数集包含所述第1摄像头的一个或多个摄像头参数，所述第2摄像头参数集包含所述第2摄像头的一个或多个摄像头参数，所述第3摄像头参数集包含所述第3摄像头的一个或多个摄像头参数；三维点群算出器，其基于所述第1图像、所述第2图像、所述第1摄像头参数集和所述第2摄像头参数集，算出多个三维坐标；评价值算出器，其基于所述多个三维坐标和所述第2摄像头参数集来决定所述第2图像中的多个第2像素坐标，基于所述多个三维坐标和所述第3摄像头参数集来决定所述第3图像中的多个第3像素坐标，基于所述多个第2像素坐标处的所述第2图像的多个像素值和所述多个第3像素坐标处的所述第3图像的多个像素值来算出评价值，所述多个三维坐标与所述多个第2像素坐标一一对应，并且，所述多个三维坐标与所述多个第3像素坐标一一对应；摄像头参数集决定器，其基于由评价值算出器算出的评价值，决定所述第3摄像头的第4摄像头参数集，所述第4摄像头参数集包含一个或多个摄像头参数；以及摄像头参数集输出器，其输出所述第4摄像头参数集。
此外，该总括性或具体的技术方案既可以通过系统、集成电路、计算机程序或计算机可读取的记录介质来实现，也可以通过装置、系统、方法、集成电路、计算机程序和记录介质的任意组合来实现。计算机可读取的记录介质例如包括CD-ROM(Compact Disc-ReadOnly Memory)等非易失性记录介质。根据本公开，在复眼摄像头中的第1和第2摄像头的摄像头参数集正确的情况下，使用第1和第2摄像头的摄像头参数集，能够算出拍摄空间内的适宜物体的三维坐标，并使用所算出的三维坐标来校正第3摄像头。
因此，在构成复眼摄像头的两个以上的摄像头的参数正确的情况下，能够对复眼摄像头的其他摄像头的摄像头参数集进行校正。进而，由于不需要已知三维坐标与像素坐标的对应的基准点，因此也就不需要校正指标等设备。
换言之，由于不使用事先获得的三维坐标，因此即使在基准点因历时变化和/或外力等而发生了变化的情况下，也能够正确地校正复眼摄像头。
从本说明书及附图中可知晓本公开的一个技术方案的附加的益处及优点。该益处和/或优点可以单独地由本说明书及附图所公开的各种实施方式及特征而得到，无需为了获得一个以上益处和/或优点而实施所有的实施方式及特征。
附图说明
图1是表示实施方式的复眼摄像头系统的构成的框图。
图2A是表示实施方式的拍摄器的构成的示意图。
图2B是表示实施方式的拍摄器的构成的示意图。
图3是将复眼摄像头系统的图像处理器由计算机构成的框图。
图4是表示实施方式的图像处理器的图像生成时的工作步骤的流程图。
图5A是表示实施方式的复眼摄像头系统的设置例的示意图。
图5B是表示实施方式的拍摄状况的例子的示意图。
图6A是表示实施方式的拍摄器的摄像头的配置例的示意图。
图6B是表示实施方式的拍摄图像的例子的示意图。
图6C是表示实施方式的拍摄图像的遮挡信息的例子的示意图。
图7A是表示实施方式的图像的例子的示意图。
图7B是表示实施方式的位置信息的例子的示意图。
图8是表示实施方式的从图像生成器输出的合成图像的例子的示意图。
图9是表示实施方式的自校正器的详细结构的示意图。
图10是表示实施方式的图像处理器的自校正时的工作步骤的流程图。
图11A是自校正的实验例中的输入图像的例子。
图11B是自校正的实验例中的输入图像的例子。
图11C是自校正的实验例中的输入图像的例子。
图11D是自校正的实验例中的输入图像的例子。
图12A是自校正的实验例中的参数和评价值的例子。
图12B是自校正的实验例中的参数和评价值的例子。
图12C是自校正的实验例中的参数和评价值的例子。
图12D是自校正的实验例中的参数和评价值的例子。
图13A是自校正的实验例中的参数和评价值的例子。
图13B是自校正的实验例中的参数和评价值的例子。
图13C是自校正的实验例中的参数和评价值的例子。
图14A是自校正的实验例中的参数和评价值的例子。
图14B是自校正的实验例中的参数和评价值的例子。
图14C是自校正的实验例中的参数和评价值的例子。
图15A是表示实施方式的变形例的图像处理器的自校正时的工作步骤的流程图。
图15B是表示实施方式的变形例的图像处理器的自校正时的工作步骤的流程图。
图16A是表示现有的复眼拍摄装置的例子的示意图。
图16B是表示现有的复眼拍摄装置的例子的示意图。
图17是表示现有的校正指标的例子的示意图。
标号说明
10复眼摄像头系统；100拍摄器；101、101a～101d摄像头；110图像处理器；111自校正器；112位置算出器；113图像生成器；114摄像头参数保存器；130显示器；300计算机；301CPU；302ROM；303RAM；304HDD；305视频输入I/F；306视频卡；901受理器；902三维点群算出器；903评价值算出器；904摄像头参数集决定器；905摄像头参数集输出器。
具体实施方式
(成为本公开的基础的见解)
本发明人对于在背景技术一栏中记载的摄像头校正，发现会产生以下的问题。
在汽车的安全驾驶辅助系统、移动机器人的远程操作系统或者检测可疑人员等的监视摄像头系统等中，为了供用户以及系统进行判断和/或控制，需要系统周边的图像和三维坐标的信息。特别是在人和/或车等监视对象进行移动的情况下或在进一步汽车、机器人等系统自身进行移动的情况下，重要的是取得更广视角的图像和三维坐标。
作为取得图像和三维坐标的手段，通常是如下的所谓立体视：将两个摄像头以使得视野重叠的方式配置于互不相同的视点来取得图像，算出图像间的对应点，使用对应点和预先求出的摄像头的位置和/或朝向的信息，计算对应点的三维坐标。
在立体视中，在连接两个摄像头的视点的直线上及其附近，由于从两个视点出发的方向之差即视差为0或接近0，因此无法计算三维坐标。特别是，在使用视角为180度以上的摄像头的情况下，由于视差为0而无法计算三维坐标的区域一定会包含在视野内。因此，作为取得广角的图像和三维坐标的方法，公开了如下方法：将构成视角比180度窄的立体视的多个摄像头作为一组并使用多组的方法；使用三个以上的具有180度以上的鱼眼透镜的摄像头的方法。
(三眼以上的复眼摄像头的例子)
在专利文献1中，公开了如下构成的装置：以取得全方向(球状)的三维坐标为目的，在同一部件上设置视角比180度窄的多个摄像头，将该多个摄像头作为一组立体摄像头，在多面体的各面各设置一组(图16A)。
在专利文献2、3中，公开了能够通过较少摄像头取得大范围的图像和三维坐标的方法。在专利文献2中，公开了如下装置：以跟随(跟踪)在视野内高速移动的物体或同时跟随多个目标物为目的，使用具有视角广的鱼眼透镜的摄像头C1、C2、C3(图16B)。在专利文献2的技术中，通过具有鱼眼透镜的摄像头，取得广视角的鱼眼图像，并且从各鱼眼图像中检测移动物并算出经过各移动物的直线方程式，针对各移动物求出以多个直线方程式为一组的直线方程式组，由此决定三维坐标。通过使用三个以上的摄像头，能够将通过某两个摄像头无法计测三维坐标的区域通过其他的摄像头来补充，因此能够以180度的视角(半球状)计算三维坐标。
(校正技术的现有例)
为了从由复眼摄像头拍摄到的图像中，通过立体视来取得被拍摄对象的三维坐标，需要各摄像头的摄像头参数集。摄像头参数集是表示拍摄空间内的某点的三维坐标与通过拍摄得到的图像上的该点的二维坐标(像素坐标)之间的关系的、摄像头的模型和与该模型相应的多个参数。将算出该摄像头参数集称为摄像头校正。
更详细而言，摄像头参数集由外部参数集和内部参数集这两个摄像头参数集构成，所述外部参数集表示以摄像头的拍摄空间为基准而确定的世界坐标系与以摄像头为基准而确定的摄像头坐标系之间的位置关系，所述内部参数集表示摄像头坐标系中的被拍摄对象的三维坐标与由该摄像头拍摄到的图像上的该被拍摄对象的位置之间的关系。
非专利文献1公开了如下的摄像头校正技术：准备多组点的三维坐标与像素坐标的组(基准点)，将该多组作为输入，算出使利用摄像头参数将三维坐标投影到图像上的点与对应的像素坐标之间的距离(再投影误差)的总和最小化的摄像头参数集。
为了获得基准点的三维坐标与像素坐标的组，通常使用特定图案的校正指标。图17中示出校正指标的例子。图17的例子中，将格子状的图案以一定间隔配置在箱状的被拍摄对象的内侧。以格子点(角)作为基准点，保持有格子点的三维坐标的设计值或在设置后所计测出的值。进而，通过由摄像头拍摄格子点并通过图像处理来推定格子点的像素坐标，能够获得三维坐标与像素坐标的组的信息。对于使用这样的校正指标的校正技术，虽然需要校正指标等设备，但能够实现高精度的校正，所以对于摄像头制造后的工厂中的校正等是有效的。
另一方面，对于摄像头校正，除了制造时的校正之外，在装置正在工作的状态下因历时变化和/或受到外力时的变形等而导致摄像头参数集发生了变化的情况下也是需要的。在汽车的安全驾驶辅助系统、移动机器人的远程操作系统或者检测可疑人员等的监视摄像头系统等中，优选采用不需要校正指标等设备且不需要人工操作的校正方法。将系统自动地更新摄像头参数集称为自校正。
专利文献4中公开了系统自动地校正设置于车辆的立体摄像头的自校正技术。在专利文献4中，取代使用格子等特定图案的校正指标而将位于摄像头的视野内的静止物存储为校正目标，在校正目标的位置发生了变化的情况下，使用校正目标的三维坐标的信息来进行摄像头的自校正。
然而，在现有的校正技术中，存在如下问题：由于假定为校正目标的三维坐标是事先获得而不变化的，因此在校正目标的三维坐标因历时变化和/或外力等发生了变化的情况下，无法正确地进行校正。
因此，本公开的目的在于，提供一种不使用事先获得三维坐标而能够进行复眼摄像头的自校正的摄像头参数集算出装置。
本公开的一个技术方案涉及的摄像头参数集算出装置，具备：受理器，其受理由第1摄像头拍摄到的第1图像、由第2摄像头拍摄到的第2图像、由第3摄像头拍摄到的第3图像、所述第1摄像头的第1摄像头参数集、所述第2摄像头的第2摄像头参数集和所述第3摄像头的第3摄像头参数集，所述第1摄像头参数集包含所述第1摄像头的一个或多个摄像头参数，所述第2摄像头参数集包含所述第2摄像头的一个或多个摄像头参数，所述第3摄像头参数集包含所述第3摄像头的一个或多个摄像头参数；三维点群算出器，其基于所述第1图像、所述第2图像、所述第1摄像头参数集和所述第2摄像头参数集，算出多个三维坐标；评价值算出器，其基于所述多个三维坐标和所述第2摄像头参数集来决定所述第2图像中的多个第2像素坐标，基于所述多个三维坐标和所述第3摄像头参数集来决定所述第3图像中的多个第3像素坐标，基于所述多个第2像素坐标处的所述第2图像的多个像素值和所述多个第3像素坐标处的所述第3图像的多个像素值来算出评价值，所述多个三维坐标与所述多个第2像素坐标一一对应，并且，所述多个三维坐标与所述多个第3像素坐标一一对应；摄像头参数集决定器，其基于由评价值算出器算出的评价值，决定所述第3摄像头的第4摄像头参数集，所述第4摄像头参数集包含一个或多个摄像头参数；以及摄像头参数集输出器，其输出所述第4摄像头参数集。
根据该构成，在复眼摄像头中的第1和第2摄像头的摄像头参数集正确的情况下，使用第1和第2摄像头的摄像头参数集，能够算出拍摄空间内的适宜物体的三维坐标，并使用所算出的三维坐标来校正第3摄像头。
因此，在构成复眼摄像头的两个以上的摄像头的参数正确的情况下，能够对复眼摄像头的其他摄像头的摄像头参数集进行校正。进而，由于不需要已知三维坐标与像素坐标的对应的基准点，因此也就不需要校正指标等设备。
换言之，由于不使用事先获得的三维坐标，因此能够与基准点因历时变化和/或外力等产生的变化无关地，正确地校正复眼摄像头。
另外，所述评价值算出器也可以通过使用所述第2摄像头参数集所包含的一个或多个摄像头参数对所述多个三维坐标进行坐标变换，决定所述多个第2像素坐标，通过使用所述第3摄像头参数集所包含的一个或多个摄像头参数对所述多个三维坐标进行坐标变换，决定所述多个第3像素坐标。
根据该构成，例如通过以与针孔摄像头模型等摄像头模型相应的摄像头参数为媒介的坐标变换的一定形式的步骤，能够根据所述三维坐标决定所述第2像素坐标以及所述第3像素坐标。
另外，所述评价值算出器也可以基于多个差来算出所述评价值，所述多个差的各个差是与所述多个三维坐标中的一个三维坐标对应、且所述多个第2像素坐标所包含的像素坐标处的所述第2图像所包含的像素值和与所述一个三维坐标对应、且所述多个第3像素坐标所包含的像素坐标处的所述第3图像所包含的像素值之差。所述多个差的各个差既可以是所述像素值之差的绝对值，也可以是所述像素值之差的平方值。
根据该构成，能够基于所述像素值之差来设定评价函数，在使该评价函数减小的方向上更新所述第3摄像头参数集，所述评价函数例如是所述像素值之差的绝对值的总和或所述像素值之差的平方值的总和等表示所述第3摄像头的摄像头参数集所包含的一个或多个摄像头参数的误差的函数。由此，能够决定与所述第3摄像头参数集相比包含误差更小的摄像头参数的所述第4摄像头参数集。
另外，也可以为，所述评价值算出器基于所述多个三维坐标和所述第1摄像头参数集来决定所述第1图像中的多个第1像素坐标，所述多个三维坐标与所述多个第1像素坐标一一对应，所述评价值算出器基于多个差来算出所述评价值，所述多个差的各个差是平均值和与所述多个三维坐标中的一个三维坐标对应、且所述多个第3像素坐标所包含的像素坐标处的所述第3图像所包含的像素值之差，所述平均值是与所述一个三维坐标对应、且所述多个第1像素坐标所包含的像素坐标处的所述第1图像所包含的像素值和与所述一个三维坐标对应、且所述多个第2像素坐标所包含的像素坐标处的所述第2图像所包含的像素值的平均值。所述多个差的各个差既可以是所述像素值之差的绝对值，或者也可以是所述像素值之差的平方值。
另外，也可以为，所述评价值算出器基于所述多个三维坐标和所述第1摄像头参数集来决定所述第1图像中的多个第1像素坐标，所述多个三维坐标与所述多个第1像素坐标一一对应，所述评价值算出器基于多个差来算出所述评价值，所述多个差的各个差包括第1差和第2差，所述第1差是与所述多个三维坐标中的一个三维坐标对应、且所述多个第1像素坐标所包含的像素坐标处的所述第1图像所包含的像素值和与所述一个三维坐标对应、且所述多个第3像素坐标所包含的像素坐标处的所述第3图像所包含的像素值之差，所述第2差是与所述多个三维坐标中的一个三维坐标对应、且所述多个第2像素坐标所包含的像素坐标处的所述第2图像所包含的像素值和与所述一个三维坐标对应、且所述多个第3像素坐标所包含的像素坐标处的所述第3图像所包含的像素值之差。所述多个差的各个差可以说所述像素值之差的绝对值，也可以是所述像素值之差的平方值。
根据这些构成，在所述评价值中，不仅考虑与所述三维坐标对应的第2像素坐标处的所述第2图像所包含的像素值，也考虑与所述三维坐标对应的第1像素坐标处的所述第1图像所包含的像素值。因此，通过将所述第1图像和所述第2图像中的一方所包含的噪声由另一方的平常值来缓和，可促进评价函数的收敛，能够期待获得包含误差小的摄像头参数的第4摄像头参数集。
另外，所述评价值算出器也可以判定所述多个三维坐标的各个三维坐标是否处于所述第3摄像头的不可视区域，不将与被判定为处于不可视区域的三维坐标对应的第2像素坐标处的所述第2图像的像素值和与被判定为处于不可视区域的三维坐标对应的第3像素坐标处的所述第3图像的像素值用于所述评价值的算出。
关于所述多个三维坐标中的处于所述第3摄像头的不可视区域的三维坐标，所述第2图像的像素值与所述第3图像的像素值之差不为0而成为评价值的误差。与此相对，根据该构成，将多个三维坐标中的至少未被所述第3摄像头拍到(即，位于所述第3摄像头的不可视区域)的三维坐标从评价值的算出中排除，因此能够起到可减小评价值的误差这一效果。
另外，所述评价值算出器也可以在基于所述第1摄像头参数集而与所述多个三维坐标中的一个三维坐标对应的所述第1图像的像素坐标处的辉度梯度小于预定阈值、或者基于所述第2摄像头参数集而与所述一个三维坐标对应的所述第2图像的像素坐标处的辉度梯度小于预定阈值的情况下，不将所述一个三维坐标用于所述评价值的算出。
在与某三维坐标对应的像素坐标处的辉度梯度为0的情况下，通过使摄像头参数发生微小变化，即使与该三维坐标对应的像素坐标发生微小变化，该像素坐标的辉度差也不会变化。换言之，评价值不会变化。因此，存在如下效果：即使除去了这样的三维坐标也不会对评价值产生影响，并且，由于用于计算的三维坐标的数量减少，因此能够减低评价值的算出所需的计算量。
另外，也可以为，所述摄像头参数集算出装置适用于由三个以上的多个摄像头构成的复眼摄像头系统，所述受理器受理由所述多个摄像头拍摄到的多个图像和所述多个摄像头的多个摄像头参数集，所述三维点群算出器，针对由所述多个摄像头中的两个摄像头构成的多个摄像头组的各组，基于由该摄像头组所包含的一方的摄像头拍摄到的第4图像、由另一方的摄像头拍摄到的第5图像、该一方的摄像头的第5摄像头参数集和该另一方的摄像头的第6摄像头参数集来算出多个三维坐标，基于所述多个三维坐标和所述第5摄像头参数集来决定所述第4图像中的多个第4像素坐标，基于所述多个三维坐标和所述第6摄像头参数集来决定所述第5图像中的多个第5像素坐标，所述多个三维坐标与所述多个第4像素坐标一一对应，并且，所述多个三维坐标与所述多个第5像素坐标一一对应，基于所述多个第4像素坐标处的所述第4图像的多个像素值和所述第5像素坐标处的所述第5图像的多个像素值来算出评价值，基于针对所述多个摄像头组的各组算出的评价值，从所述多个摄像头组中选择一个摄像头组，所述评价值算出器将所选择出的摄像头组所包含的两个摄像头作为所述第1摄像头以及所述第2摄像头并将其他摄像头中的一个摄像头作为所述第3摄像头来算出所述评价值。
根据该构成，能够确定构成复眼摄像头系统的多个摄像头中的摄像头参数集的误差小的摄像头组，从由该摄像头组拍摄到的图像中获得多个三维坐标，基于该多个三维坐标来校正其他的摄像头。
另外，也可以为，所述三维点群算出器基于多个差来算出所述评价值，所述多个差的各个差是与所述多个三维坐标中的一个三维坐标对应的第4像素坐标处的所述第4图像所包含的像素值和与该三维坐标对应的第3像素坐标处的所述第3图像所包含的像素值之差。
根据该构成，能够设定评价函数，并根据该评价函数的大小来确定摄像头参数集的误差小的摄像头组，所述评价函数例如是所述像素值之差的绝对值的总和或所述像素值之差的平方值的总和等表示各摄像头组的摄像头参数集的误差的函数。由此，能够使用从所确定出的摄像头组获得的精度较高的三维坐标来校正其他的摄像头。
此外，这些全面或具体的技术方案既可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现，也可以通过系统、方法、集成电路、计算机程序和记录介质的任意组合来实现。
(实施方式)
以下，参照附图对本公开的实施方式进行说明。在实施方式中，对使用了本公开涉及的摄像头参数集算出装置的车载用复眼摄像头系统进行说明。以下，使用附图对实施方式进行说明。
图1是表示实施方式的复眼摄像头系统10的构成的框图。
如图1所示，复眼摄像头系统10具备拍摄器100、图像处理器110、显示器130。拍摄器100具备分别具有鱼眼透镜的三个以上(图1的例子中为四个)的摄像头101a～101d，图像处理器110具备自校正器111、位置算出器112、图像生成器113、摄像头参数集保存器114。此外，为了对相同部件进行区分而使用后缀a～d，但以下在不对它们进行特别区分的情况下，仅使用去掉了后缀的标号。
图2A是表示复眼摄像头系统10的拍摄器100的构造的一例的示意图。图2A针对将四个摄像头101固定为一体而构成的拍摄器的例子，示出了(a)俯视图以及(b)侧视图。设为构成拍摄器100的四个摄像头101的透镜是鱼眼透镜。
此外，在复眼摄像头系统10中，拍摄器100由四个摄像头构成，但并不限定于四个，是具有三个(三眼)以上的摄像头的结构即可。例如，图2B针对取代使用四个摄像头101而将三个摄像头101固定为一体的结构的另一拍摄器100的例子，示出了(a)俯视图以及(b)侧视图。也可以使用这样的具有三个摄像头的拍摄器100。
在图2A、图2B中，将相邻的摄像头的光轴间的距离称为基线长度，在各摄像头的光轴上设有拍摄元件。
本公开涉及的摄像头参数集算出装置相当于图1所示的结构中的自校正器111。
复眼摄像头系统10主要进行图像生成和自校正这两种工作。
在图像生成时，拍摄器100拍摄图像，图像处理器110根据所拍摄到的图像算出三维坐标，基于所算出的三维坐标生成图像，将其输出并显示于显示器130。
在自校正时，拍摄器100拍摄图像，图像处理器110的自校正器111对摄像头参数集保存器114所保存的摄像头参数集进行更新。
此外，图像生成和自校正这两种工作既可以同时进行，也可以分开进行。
拍摄器100由具有视角约为180度的鱼眼透镜的四个摄像头101a～101d构成。四个摄像头101a～101d如图2A所示那样配置，分别拍摄视野内的图像并输出四个图像(以下，将该图像称为摄像头图像)。
图像处理器110由自校正器111、位置算出器112、图像生成器113、摄像头参数集保存器114构成。
摄像头参数集保存器114针对四个摄像头101至少预先保存有摄像头的位置和/或朝向等外部参数集、透镜的畸变和/或焦距等内部参数集、以及包含摄像头图像中的被本拍摄装置遮挡的区域即遮挡信息的摄像头参数。
自校正器111使用由四个摄像头101拍摄到的图像，并使用摄像头参数集保存器114所存储的摄像头参数集作为初始摄像头参数集，对摄像头参数集保存器114的摄像头参数集进行更新。
位置算出器112按以从四个摄像头101输出的四个摄像头图像中的两个图像为1组的6组图像组的各组图像组，推定两图像间的视差。并且，从摄像头参数集保存器读出四个摄像头101的摄像头参数集，基于所推定出的6组的两图像间的视差和摄像头参数集所包含的外部参数集及内部参数集，算出被拍到两图像这两方中的多个三维物体的三维坐标，并作为位置信息进行输出。
图像生成器113基于摄像头图像和由位置算出器112算出的位置信息来生成图像(特别是拍摄空间内的三维物体的、基于该三维物体的三维坐标的合成图像)并输出。
显示器130对从图像生成器113输出的图像进行显示。
图1的复眼摄像头系统10中的构成图像处理器110的各构成要素，既可以通过电子电路或集成电路等硬件来实现，也可以通过在计算机上执行的程序等软件来实现。
图3是表示由计算机构成的复眼摄像头系统10的硬件结构的图。在图3中，拍摄器100拍摄图像并输出，计算机300作为图像处理器110进行工作，由此生成图像并输出。显示器130对由计算机300生成的图像进行显示。
拍摄器100可使用三个以上(例如四个)的摄像头101a、101b、101c、101d。
计算机300包括CPU(Central Processing Unit，中央处理单元)301、ROM(ReadOnly Memory，只读存储器)302、RAM(Random Access Memory，随机存取存储器)303、HDD(Hard Disk Drive，硬盘驱动器)304、视频输入I/F(接口)305以及视频卡(video card)306。
使计算机300工作的程序被预先保持在ROM302或HDD304中。程序通过作为处理器的CPU301从ROM302或HDD304读出并展开到RAM303中。
CPU301执行已展开在RAM303中的程序中的代码化的各命令。视频输入I/F305根据程序的执行，将由拍摄器100拍摄到的图像放入RAM303。视频卡306输出与程序的执行相应地生成的图像，显示器130显示该图像。
此外，计算机程序不限于保存在作为半导体装置的ROM302或HDD304中，例如也可以保存在CD-ROM中。另外，也可以经由有线和/或无线的网络、广播等进行传输，被放入计算机300的RAM303中。
以下，依次说明复眼摄像头系统10中的图像生成时的工作和自校正时的工作。
(图像生成时的工作)
以下，使用图4对复眼摄像头系统10的图像生成时的工作进行说明。
图4是表示复眼摄像头系统10的图像处理器110的图像生成时的工作的流程图。如图4所示，图像生成时的工作包括摄像头参数集读出步骤S401、位置算出步骤S402和图像生成步骤S403。图4的工作也可以由图3的计算机300执行。
以下，说明如下情况的例子：复眼摄像头系统10被设置于汽车，取得汽车后方的图像和三维坐标并检测障碍物，将其结果显示于设置在汽车内的显示器，由此向作为利用者的驾驶员提示车辆后方的状况。
图5A是表示对汽车设置复眼摄像头系统10的设置例的图。拍摄器100以使摄像头101的光轴大致与车辆后方一致的方式设置于车体后部，图像处理器110、显示器130分别设置在驾驶员可见的车室内。
图5B是表示由搭载于车辆的复眼摄像头系统10进行拍摄的状况的例子的图。
拍摄器100的四个摄像头101a～101d互相同步地以一定时间间隔拍摄图像并进行输出。
图6A是表示拍摄器100的四个摄像头101a～101d的配置例的(a)俯视图以及(b)仰视图。
图6B示出了在图5B的拍摄状况下由四个摄像头101a～101d拍摄的图像的例子，可知视角约为180度，在四个摄像头的各视野内的大半拍到了共同的被拍摄对象。
图6C表示四个摄像头101a～101d的遮挡信息的例子。遮挡信息是表示在拍摄图像中映入了透镜和/或摄像头本体而遮挡了其后方的被拍摄对象的区域的信息。遮挡信息用三个数值来表示拍摄图像的各像素是“被拍摄对象区域”、“遮挡区域”、“视野外区域”这三个中的哪一个。在以下的说明中，将“遮挡区域”和“视野外区域”统称为“不可视区域”。图6C是被拍摄对象区域用白色、遮挡区域用斜线、视野外区域用黑色来分别表示各像素的三个状态的图。该遮挡信息通过事先由摄像头101拍摄图像并以人工方式判定各像素属于哪个区域来制作好。
在计算机300中，与拍摄器100的工作并行地，执行预先确定的程序，由此进行图4的S401～S403的工作。
以下，使用图6A～图11D来说明由计算机300执行的步骤S401～S403的详细工作。
在摄像头参数集读出步骤S401中，位置算出器112从摄像头参数集保存器114中读出预先保存在摄像头参数保存器114中的包含摄像头101a～101d的内部参数集、外部参数集在内的摄像头参数集以及遮挡信息。
式1、式2中示出摄像头的外部参数集M与三维坐标的关系以及摄像头的内部参数集(f，dpx，dpy，cu，cv)、三维坐标与像素坐标的关系。
在此，外部参数集M是表示世界坐标系中的摄像头坐标系的位置的外部参数集，用将世界坐标系的三维坐标(xw，yw，zw)变换成摄像头坐标系的三维坐标(xe，ye，ze)的4×4的矩阵来表示。(式2)示出摄像头坐标系的三维坐标(xe，ye，ze)与像素坐标(u，v)的关系。内部参数集的f是焦距，dpx和dpy是拍摄元件的x方向和y方向的像素尺寸，(cu，cv)是摄像头坐标系的z轴与拍摄面的交点的像素坐标。此外，在将数字图像想成“二维的格子点(即，像素坐标)处的值(即像素值)”的集合的情况下，将图像上的像素的位置用二维的像素坐标来表现。
外部参数集M和/或内部参数集(f，dpx，dpy，cu，cv)通过前述的现有技术的摄像头校正方法来预先求出。此外，要算出dpx、dpy、f，仅根据(式1)和(式2)，约束条件并不够。因此，dpx、dpy、f的某一方使用设计值，通过现有技术的摄像头校正方法来算出其余的两个参数。
此外，(式2)使用了透视投影模型(针孔摄像头模型)来作为透镜的投影模型，但并不限定投影模型，也可以使用等距离投影、立体投影、等立体角投影等其他的投影模型。例如，在等距离投影模型的情况下，取代(式2)的内部参数集而使用(式3)的内部参数集。
以下，为了简化说明，将表示两个摄像头i和j的位置关系的外部参数集Mi、Mj示出在(式4)中。
在位置算出步骤S402中，输入由拍摄器100的摄像头101a～101d拍摄到的多个图像。并且，将所输入的多个图像中的两个以上图像作为1组，构成多组的图像组。接着，在各图像组中，使用通过摄像头参数集读出步骤S401读出的摄像头参数集，通过立体视算出图像中的多个点的三维坐标。最后，将从多组的图像组算出的位置信息变换成与一个图像对应的位置信息并进行输出。
以下，对位置算出步骤S402的详细工作进行说明。
若将由摄像头101a、101b、101c、101d拍摄到的四个图像分别设为Ia、Ib、Ic、Id，则在位置算出步骤S402中，针对由两个图像构成的6组图像组(Ia，Ib)、(Ia，Ic)、(Ia，Id)、(Ib，Ic)、(Ib，Id)、(Ic，Id)的各图像组，检测在两个图像中表现同一被拍摄对象的对应点的组。更详细而言，对于在两个图像中的一方的图像中表现该被拍摄对象的点的像素坐标与在另一方的图像中表现该被拍摄对象的点的像素坐标的组，例如基于图像的相似等来检测出多组。
例如，在图像的组为(Ia，Ib)的情况下，针对图像Ia上的所有像素，检测该像素的像素坐标(uan，van)和表现与被该像素表现的被拍摄对象相同的被拍摄对象的图像Ib上的对应点的像素坐标(ubn，vbn)。关于以实数精度算出两图像间的对应点的像素坐标的对应点搜索方法和运动推定方法，在非专利文献2等中已详细记载，因此在此省略详细说明。
非专利文献2：C.Zach，T.Pock，and H.Bischof，”A duality based approachforrealtime TV-L1optical flow，”In Proceedings of the 29th DAGM conference onPattern recognition，pp214-223，2007
接着，针对各对应点，使用对应点的坐标(uan，van)、(ubn，vbn)和预先求出的摄像头101a、101b的外部参数集以及内部参数集，算出对应点的三维坐标(xan，yan，zan)。三维坐标设为摄像头101a的摄像头坐标系的坐标值。
关于根据两图像间的对应点和两个摄像头位置算出三维坐标的两眼立体方法和两个三维坐标系间的坐标值的变换，在非专利文献3等中已详细记载，因此在此省略详细说明。
非专利文献3：松山隆司等编，“コンピュ一夕ビジョン”，株式会社新技術コミュニケ一ションズ，pp123～137.
进而，针对其他的5组图像组，也同样地进行三维坐标的算出。
将某图像组的两个图像用Ii、Ij(后缀i和j)来表示，将两个图像Ii、Ij间的Ni个对应点的位置信息pi，j，n的集合即Pi，j用式5来表示。另外，将所有的图像组的位置信息表示为{Pi，j}。
对于通过(式5)得到的位置信息{Pi，j}，成为像素坐标的基准的图像以及成为三维坐标的基准的摄像头坐标系按各个图像组而不同。因此，在位置算出步骤S402中，将6组图像组的位置信息{Pi，j}变换成某一个摄像头a的像素坐标和摄像头a的三维坐标系的位置信息{Pa i，j}并进行输出(式6a)。
在此，Mi，a是摄像头i和摄像头a的外部参数。根据从由摄像头i和摄像头j拍摄到的图像组Ii、Ij算出的摄像头i的坐标系的三维坐标(xi，yi，zi)，算出摄像头a的坐标系的三维坐标(xa，ya，za)，进而算出由摄像头a拍摄到的图像Ia的像素坐标(ua，va)(式6b)。
通过以上的位置算出步骤S402的详细工作，针对6组图像，算出多个各个两图像间的对应点和其三维坐标，输出已变换到摄像头a的坐标系的位置信息{Pa i，j}。
由此，例如，得到图7A所示的补足图像和图7B所示那样的用浓淡来表示距摄像头的距离的距离图像。图7A的补足图像是将图6B的摄像头101a的图像中的被相邻的摄像头的透镜遮挡住的像素的像素值使用位置信息{Pa i，j}替换成与该像素对应的其他摄像头的像素的像素值而得到的图像。同样地，图7B的距离图像也是将位置信息{Pa i，j}中的被相邻的摄像头的透镜遮挡住的像素的三维坐标用其他摄像头的像素的三维坐标进行了替换而得到的距离图像。使用图6C的遮挡信息来判定某像素是否是被透镜等遮挡住的像素。
最后，在图像生成步骤S403中，输入图像Ia和位置信息{Pa i，j}，检测障碍物，在与检测到的障碍物的位置对应的补足图像上的区域，重叠地合成表示关注区域的框，作为合成图像进行输出。
对于检测障碍物的方法，例如基于多个三维点的各三维点的三维坐标(xa，ya，za)，在三维点与摄像头a的距离d小于预先确定的距离dth、且高于水平面的情况(za>0)下，将该三维点检测为障碍物上的点。进而，将作为障碍物而检测出的三维点在摄像头图像上的对应点的集合的外接矩形重叠于图像Ia，作为合成图像进行输出，并显示于显示器130。
通过以上的由计算机300执行的步骤S401～S403的图像生成时的工作，根据由拍摄器100拍摄到的四个图像，在图像处理器110中生成图像和位置信息并进行输出。进而，拍摄器100以及计算机300也可以反复进行上述的工作。
图8中示出通过图像生成步骤S403生成的合成图像的例子。根据图8，对位于靠近车辆后方的摄像头的场所的障碍物(在该例中为行人和停止车辆)显示引起注意的框，因此能够让驾驶员容易地认识到存在很可能会接触的障碍物。另外，特别是，在复眼摄像头系统10中，因为各摄像头使用了鱼眼透镜，所以能够取得180度的图像和三维坐标。进而，因为是具有四个摄像头的结构，所以能够减少在两眼立体的情况下所产生的遮挡区域。
如上所述，复眼摄像头系统10的拍摄器100、由计算机300实现的图像处理器110的工作的结果是，能够根据由四个摄像头拍摄到的图像算出三维坐标，并取得约180度的视野内的图像和位置信息，因此能够检测并显示180度的视野内的障碍物。其结果是，搭载有复眼摄像头系统10的车辆的驾驶员能够容易地掌握障碍物。
上述的复眼摄像头系统使用预先记录好的摄像头参数集进行被拍摄对象的三维坐标的算出。另一方面，该摄像头参数集有时会因历时变化和/或受到外力时的变形等而发生变化，在该情况下，需要进行摄像头的校正。
(自校正时的工作)
以下，使用图9、图10对复眼摄像头系统10的自校正时的工作进行说明。
图9是表示图1的复眼摄像头系统10的自校正器111的详细结构的构成图。
图10是表示复眼摄像头系统10的图像处理器110中的自校正时的工作S111的流程图。在图10中，7个步骤S1001～S1007由图3的计算机300执行。
此外，图10的各步骤也可以由图9的自校正器111的构成要素来执行。作为不受限定的一例，也可以是：由受理器901执行步骤S1001和步骤S1002，由三维点群算出器902执行步骤S1003。另外，也可以是：由评价值算出器903执行步骤S1004，由摄像头参数集决定器904执行步骤S1005和步骤S1006，由摄像头参数集输出器905执行步骤S1007。
(自校正时的工作1)
在自校正时的工作1中，为了易于说明，设为异常摄像头通过用户来确定，通过用户按下开关等的外部输入来开始工作。
以下，说明在三个摄像头101a、摄像头101b、摄像头101c中通过用户确定为摄像头101a和摄像头101b正常且摄像头101c异常的情况下对摄像头101c的摄像头参数集进行校正的工作。
图10是表示自校正时的工作1的流程图。在步骤S1001中，取得由构成复眼摄像头的多个摄像头拍摄到的图像，提取由摄像头101a、101b、101c各自拍摄到的摄像头图像。以下，将所提取出的摄像头101a、101b、101c的摄像头图像分别称为第1摄像头图像、第2摄像头图像、第3摄像头图像。
在步骤S1002中，从摄像头参数集保存器114中读取摄像头101a、101b、101c各自的初始摄像头参数集。
在此，初始摄像头参数集是指预先保存在摄像头参数集保存器114中的摄像头101a、101b、101c各自的摄像头参数集。“预先”也可以意味着“在用户通过外部输入发出自校正的指示之前”。
在步骤S1003中，使用第1摄像头图像、第2摄像头图像、摄像头101a的初始摄像头参数集、摄像头101b的初始摄像头参数集，通过立体法算出多个三维坐标并进行输出。在此，设为算出N点三维坐标，将N点中的第k个三维坐标用世界坐标(xwk，ywk，zwk)来表示。
在步骤S1004中，使用所算出的多个三维坐标、第2摄像头图像、第3摄像头图像、摄像头101b的初始摄像头参数集、摄像头101c的初始摄像头参数集，算出评价值J(式7)，所述评价值J由与多个三维坐标的各三维坐标对应的第2摄像头图像中的像素坐标处的像素值和第3摄像头图像中的像素坐标处的像素值之差的绝对值和来定义。
在此，N是通过步骤S1003算出的三维坐标的总数，k是指定N个三维坐标中的一个三维坐标的索引。
(ubk，vbk)和(uck，vck)是在第2摄像头图像和第3摄像头图像的各摄像头图像中与第k个三维坐标对应的像素坐标。(ubk，vbk)根据三维坐标(xwk，ywk，zwk)和摄像头101b的初始摄像头参数，使用(式1)以及(式2)来算出。(uck，vck)根据三维坐标(xwk，ywk，zwk)和摄像头101c的初始的摄像头参数，使用(式1)以及(式2)来算出。
Ib(ubk，vbk)是第2摄像头图像中的像素坐标(ubk，vbk)处的像素值，Ic(uck，vck)是第3摄像头图像中的坐标(uck，vck)处的像素值。在此，作为像素值，使用辉度值。对于实数精度的像素坐标，像素值通过双三次插值来算出。
此外，在(式7)中，像素值并不限定于辉度值，也可以取代辉度值而使用RGB值。另外，关于与实数精度的像素坐标对应的像素值的算出方法，并不限定于双三次插值，也可以是双线性插值等其他插值方法。另外，在评价值J的计算中的算出N点的像素值之差的绝对值之和时，也可以对像素值之差的绝对值进行加权。例如，使被拍摄对象的颜色连续变化的点群的权重加重，或者，使物体的表面的凹凸大的点群的权重减轻。通过这些加权，能够使评价值J的变化相对于摄像头参数的连续变化而言变得平滑，能够期待易于使评价值J最小化的效果。
在步骤S1005中，在完成在所提供的搜索范围内搜索摄像头参数或评价值小于阈值的情况下，结束反复计算。
另一方面，在通过S1005而继续反复计算的情况下，即，在未完成在所述所提供的搜索范围内搜索摄像头参数且评价值为所述阈值以上的情况下，在步骤S1006中，将摄像头101c的摄像头参数M、f、dpx、dpy、cu、cv在所提供的搜索范围内进行变更。对于摄像头参数的搜索范围，预先设定有各摄像头参数可取的范围。例如，设为所有初始摄像头参数的±5％即可。
在步骤S1007中，从通过上述的步骤S1004～步骤S1006的反复计算而算出的摄像头参数集和与该摄像头参数集对应的评价值J的多个组中，选择使评价值J成为最小的摄像头参数集。并且，在与所选择出的摄像头参数集对应的评价值J小于与初始摄像头参数集对应的评价值J的情况下，用所选择出的摄像头参数集来替换预先存储在摄像头参数集保存器114中的摄像头101c的摄像头参数集。
如上所述，通过复眼摄像头系统10的自校正时的工作1，根据摄像头101a、101b的图像算出多个三维坐标，基于与多个三维坐标的各个三维坐标对应的第2摄像头图像中的像素坐标处的像素值和第3摄像头图像中的像素坐标处的像素值之差来算出评价值，算出使该评价值成为最小的摄像头101c的摄像头参数集并进行更新，由此能够得到误差更小的摄像头参数集。
(自校正的效果)
以下，基于模拟的实验结果来说明如下情况：通过上述的图像处理器110的步骤S1003～步骤S1007的工作，使用摄像头101a、101b、101c的三个图像和初始摄像头参数，能够算出摄像头101c的更准确的摄像头参数并进行更新。
为了基于(式7)的评价函数J来算出误差更小的摄像头参数，需要(式7)的评价函数满足以下的两个条件。
·在摄像头参数是正解值的情况下，评价值也最小
·在摄像头参数的正解值的附近，评价函数向下凸
以下，以作为由摄像头101a、101b、101c拍摄到的图像而输入了图11A、图11B、图11C的图像的情况为例，示出了(式7)的评价函数J满足上述的两个条件。
在各摄像头的摄像头参数集中，内部参数集根据(式3)的等距离投影模型而包括光轴中心的像素坐标cu、cv、焦距f、拍摄元件1个像素的u方向和v方向的长度dpx、dpy。外部参数集M与(式1)相同，作为摄像头坐标系相对于世界坐标系的具体的位移量，包含绕X、Y、Z的各轴旋转的旋转量Rx、Ry、Rz和X、Y、Z的各轴方向的平移量Tx、Ty、Tz(式8)。
在此，dpy利用设计值。由此，评价值J成为以cu、cv、f、dpx、Rx、Ry、Rz、Tx、Ty、Tz这10个摄像头参数为变量的函数。
图11A、图11B、图11C是停车场的场景的例子，通过计算机图形(CG)而生成。图11A、图11B、图11C分别是摄像头101a、101b、101c的图像。图11D是表示根据摄像头101a、101b算出的三维坐标的图像，是将三维坐标变换成距摄像头的距离并作为包含与距离成比例的像素值的图像进行了显示的图像。三维坐标利用了停车场的场景的CG数据来作为正解值。
在将摄像头101a、101b、101c的所有的摄像头参数设定为作为正解值的设计值之后，算出了仅改变了摄像头101c的一个摄像头参数时的评价值J。关于10个摄像头参数，在图12A～图14C中算出正解值附近的评价函数的值。图中的横轴设为各摄像头参数，纵轴设为评价值J。对于使得变化的摄像头参数，在图12A中为cu，在图12B中为cv，在图12C中为f，在图12D中为dpx，在图13A中为Rx，在图13B中为Ry，在图13C中为Rz，在图14A中为Tx，在图14B中为Ty，在图14C中为Tz。另外，对于各摄像头参数的正解值，cu为640pixel(像素)，cv为480pixel，f为1.12mm，dpx为2.75μm，Rx为90°，Ry为0°，Rz为0°，Tx为0mm，Ty为0mm，Tz为0mm。
无论在图12A～图14C的哪个图中，都可知：在摄像头参数的正解值的附近，评价值向下凸，并且，评价值成为极小的摄像头参数与正解值一致。据此，可以说在图12A～图14C中示出的摄像头参数的范围内，能够算出评价值J成为最小的摄像头参数。换言之，能够进行本方式的摄像头校正。
根据以上所述，通过自校正时的工作1得到的使(式7)的评价函数J成为最小的摄像头参数，在至少评价函数J满足前述的两个条件的情况下，可以说是正解值或误差更小的摄像头参数。即，具有如下效果：通过图像处理器110的步骤S1003～步骤S1007的工作，使用摄像头101a、101b、101c的三个图像和初始摄像头参数集，能够算出摄像头101c的更准确的摄像头参数并进行更新。
在现有的校正技术中，由于使用已知三维坐标与像素坐标的对应的多个基准点，因此需要校正指标等设备。与此相对，在复眼摄像头系统10中，使用正常的摄像头组算出基准点的三维坐标，进一步使用三维坐标算出校正对象摄像头的像素坐标。由此，可获得如下效果：即使没有已知三维坐标与像素坐标的对应的基准点即校正指标等设备，也能够进行摄像头的校正。
(自校正时的工作2)
在自校正时的工作1中，设为了异常摄像头即摄像头参数的误差大的摄像头通过用户来确定，通过用户按下开关等的外部输入来开始校正工作。
作为自校正时的工作2，对不需要用户确定异常摄像头的工作进行说明。在自校正时的工作2中，确定构成复眼摄像头系统的多个摄像头中的摄像头参数集的误差小的摄像头组，根据由该摄像头组拍摄到的图像获得多个三维坐标，基于该多个三维坐标来校正其他摄像头。
摄像头组的摄像头参数集的误差定义为如下。两个摄像头的摄像头参数集各自所包含的一个或多个摄像头参数偏离正解值的误差整体越小，则根据评价函数(式7)算出的评价值J就越小。反过来，在评价值大的情况下，在两个摄像头参数集中的某一方或两方的摄像头的摄像头参数集中包含偏离正解值的误差大的摄像头参数。
因此，作为一例，基于由摄像头组所包含的两个摄像头拍摄到的图像以及该两个摄像头的摄像头参数集来算出三维坐标，将使用该三维坐标通过(式7)算出的评价值定义为该摄像头组的摄像头参数集的误差。
以下，再次参照图10对自校正时的工作2的详细情况进行说明。摄像头参数校正的工作的流程图与自校正时的工作1相同，不同的是各步骤中的详细工作。
自校正时的工作2设为在复眼摄像头系统的电源接通后实施一次。此外，也可以取代在电源接通后实施而每一定时间来进行实施，还可以在因事故等对搭载有复眼摄像头系统的车辆施加了强烈冲击的情况下进行实施。
在步骤S1001中，受理器901受理由摄像头101a～101d的各摄像头拍摄到的图像。在步骤S1002中，受理器901从摄像头参数集保存器114中读出摄像头101a～101d的摄像头参数集来作为摄像头101a～101d的初始摄像头参数集。
在步骤S1003中，三维点群算出器902针对由摄像头101a～101d中的两个摄像头构成的多个摄像头组的各个摄像头组，使用由该摄像头组所包含的一方的摄像头拍摄到的图像即第4图像、由另一方的摄像头拍摄到的图像即第5图像、该一方的摄像头的初始摄像头参数集即第5摄像头参数集、和该另一方的摄像头的初始摄像头参数集即第6摄像头参数集，通过立体法来算出多个三维坐标。
并且，基于所述多个三维坐标和所述第5摄像头参数集来决定所述第4图像中的多个第4像素坐标，基于所述多个三维坐标和所述第6摄像头参数集来决定所述第5图像中的多个第5像素坐标。在此，所述多个三维坐标与所述多个第4像素坐标分别对应，并且，所述多个三维坐标与所述多个第5像素坐标分别对应。
进而，使用所述多个第4像素坐标处的所述第4图像的多个像素值和所述第5像素坐标处的所述第5图像的多个像素值，算出(式7)的评价值J。由此，针对所述多个摄像头组的各个摄像头组，算出评价值J。
针对由两个摄像头构成的摄像头组算出评价值J的处理，与在步骤S1004中评价值算出器903针对由摄像头101b、101c构成的摄像头组算出评价值J的处理实质上相同。通过对摄像头101b、101c以外的摄像头组执行与步骤S1004相同的处理，针对所述多个摄像头组的各个摄像头组算出评价值J。三维点群算出器902也可以进行与评价值算出器903相同的工作来算出各摄像头组的评价值J，另外，还可以使评价值算出器903算出各摄像头组的评价值J。
三维点群算出器902基于针对所述多个摄像头组的各个摄像头组算出的评价值J，例如选择算出最小评价值J的摄像头组。此外，在针对所有的摄像头组算出的评价值J都大于阈值的情况下，也可以判断为没有能够在摄像头校正中利用的摄像头组，中止自校正时的工作2。
在步骤S1004～S1007中，使用所算出的三维坐标，对除了用于算出三维坐标的两个摄像头之外的(NC-2)个摄像头，反复进行以下的处理。为了简化下面的说明，将用于算出三维坐标的两个摄像头设为摄像头a、b，将除此以外的(NC-2)个摄像头中的反复处理的对象摄像头设为摄像头c。
在步骤S1004中，使用所算出的三维坐标、摄像头b的图像和摄像头参数、以及摄像头c的图像和摄像头参数来算出评价函数J(式7)。
在步骤S1005中，评价值J小于第1阈值或反复次数大于第2阈值的情况下，结束反复计算。另一方面，在继续反复计算的情况下，即，在评价值J为所述第1阈值以上且反复次数为所述第2阈值以下的情况下，将摄像头c的摄像头参数在所提供的范围内进行变更(步骤S1006)。
在步骤S1007中，从通过步骤S1004～S1006的反复计算而算出的摄像头参数与评价值的组中，选择评价值最小的摄像头参数，在所选择出的评价值小于初始摄像头参数的评价值的情况下，替换预先存储的摄像头c的初始摄像头参数。
进而，通过将除了用于算出三维坐标的所述两个摄像头a、b以外的(NC-2)个摄像头的各摄像头作为所述摄像头c来执行步骤S1004～S1007的处理，摄像头c的初始摄像头参数集被替换为包含误差更小的摄像头参数的摄像头参数集。
根据以上所述，通过自校正时的工作2，具有如下效果：在构成复眼摄像头系统的多个摄像头中存在误差大的摄像头参数的情况下，能够算出误差更小的摄像头参数并进行更新。特别是，在自校正时的工作2中，也具有如下效果：不需要用户进行自校正工作的启动或指定误差大的摄像头。
复眼摄像头系统10的自校正时的工作2，与自校正时的工作1同样地，具有即使不提供基准点也能够进行摄像头的校正这一效果。因此，具有即时没有校正指标等设备也能够进行校正这一效果。
此外，在复眼摄像头系统10的自校正时的工作1以及自校正时的工作2的步骤S1004中，用于算出评价值J的三维坐标不一定需要是通过步骤S1003算出的所有的三维坐标，也可以是该三维坐标的一部分。例如，也可以设为将三维坐标中的未被两个摄像头中的至少一方的摄像头(具体而言，成为校正对象的摄像头)拍到的三维坐标排除在外。
作为将未被两个摄像头中的至少一方的摄像头拍到的点排除在外的例子，设为：算出与三维坐标对应的两个摄像头的像素坐标(式2)，在2个像素坐标中的某一方位于摄像头图像的不可视区域的情况下，将该三维坐标从评价值J的算出中排除。
作为将未被摄像头拍到的点排除在外的具体例子，也可以使用图6C中说明的遮挡信息。也可以：算出与三维坐标对应的两个摄像头的像素坐标，在两个像素坐标中某一方位于由遮挡信息表示的不可视区域(即，遮挡区域或者视野外区域)的情况下，将该三维坐标从评价值J的算出中排除。
(式7)意味着在同一三维坐标被两个摄像头拍到的情况下摄像头图像的对应点的像素值之差成为0。在某点位于某一个摄像头的拍摄范围外(图6C的视野外区域)、或即使位于拍摄范围内但被其他物体遮挡而未被摄像头拍到(位于图6C的遮挡区域)的情况下，像素值之差不为0而成为评价值的误差。因此，能够期待如下效果：通过将多个三维坐标中的未被至少一方的摄像头拍到(即，位于该摄像头的不可视区域)的三维坐标从该评价值的算出中排除，能够减小评价值的误差。关于三维坐标是否位于摄像头的不可视区域，也可以基于前述的对成为摄像头的拍摄范围外的三维空间的范围进行规定的遮挡信息来判定。
在复眼摄像头系统10的自校正时的工作1以及2的步骤S1005中，设为了在评价值小于阈值或反复次数大于阈值的情况下结束反复计算，但也可以不将反复计算的结束条件限定于此而添加其他的结束条件。例如，也可以在即使使摄像头参数变化评价值也不发生变化的情况下结束。
在复眼摄像头系统10的自校正时的工作中，在评价函数J满足前述的两个条件的情况下，能够算出误差小的摄像头参数并进行更新。然而，在评价函数不满足前述的两个条件的情况下，不一定能够算出误差小的摄像头参数。例如，在摄像头的拍摄范围非常暗且所有的像素值都为0、或被拍摄对象颜色均匀完全没有纹理(texture)的情况下，关于(式7)的评价值，即使改变摄像头参数，该评价值也不会改变而成为恒定值(0)。在输入了这样的图像的情况下，在自校正时的工作1以及2中，在步骤S1005中不会结束直到反复次数超过阈值，评价值恒定而不会被更新。此时，尽管摄像头参数未被更新，但却耗费了计算负荷。与此相对，通过设为在即使使摄像头参数变化评价值也不会变化的情况下结束，具有能够减低计算负荷这一效果。
(评价函数的变形)
此外，在前述的自校正时的工作1以及2中，作为在图像处理器110的自校正时的工作中使用的评价函数J，使用了基于像素值之差的绝对值和的评价值(式7)，但不限定于(式7)，只要是基于与三维坐标对应的两个以上的图像的像素值之差，也可以是其他公式。例如，也可以是基于两个像素值差的平方和的评价值，还可以在各像素值的算出中使用三个以上的图像的差分。
更具体而言，将由涉及多个三维点的摄像头b、c的图像的对应点的像素值之差的平方和定义的评价函数的例子示出在(式9)中。
对于根据基于像素值之差的绝对值和的评价值(式7)而算出的摄像头参数，可以期待如下效果：在像素值的误差为拉普拉斯分布的情况下，接近于真值(误差小)。
与此相对，对于根据基于像素值之差的平方和的评价值(式9)而算出的摄像头参数，可以期待如下效果：在像素值的误差为高斯分布的情况下，接近于真值(误差小)。
进而，例如，将使用三个以上的图像的差分的评价函数的例子示出在(式10)～(式13)中。
在(式7)、(式9)中，未使用摄像头a的像素值，而在(式10)～(式13)中，摄像头a的像素值与摄像头c的像素值之差也被考虑在评价值中。若使用这样的(式10)～(式13)，在摄像头a、b的像素值包含误差(噪声)的情况下，能够得到与(式7)相比误差小的评价值。其结果是，可以期待与(式7)相比误差小的摄像头参数。
此外，在前述的自校正时的工作1以及2中，关于三个摄像头a、b、c，设为了摄像头a和b正常而摄像头c异常，但摄像头的个数不限定于三个，只要是三个以上，多少个都可以。例如，针对NC个(NC≥3)摄像头，也可以设为(NC-1)个摄像头正常而一个摄像头异常。在该情况下，通过将评价函数的(式10)～(式13)的两个摄像头a、b变更为(NC-1)个摄像头，能够获得与自校正时的工作1同样的效果。
此外，在前述的说明中，设为了拍摄器100由四个摄像头101a～d构成，但摄像头的个数不限定于四个。为了进行本公开的自校正，有至少三个摄像头即可，只要是三个以上，多少个都可以。
以上，基于实施方式说明了本公开的一个或多个技术方案涉及的摄像头参数算出装置以及摄像头参数算出装置方法，但本公开不限定于该实施方式。在不脱离本公开的主旨的范围内，在本实施方式中实施本领域技术人员能想到的各种变形而得到的方式或组合不同实施方式中的构成要素而得到的方式，也可以包含在本公开的一个或多个技术方案的范围内。
(实施方式的变形)
在前述的实施方式中，图1以及图9的拍摄器100、图像处理器110以及显示器130都搭载于车辆，构成图像处理器110的自校正器111也搭载于车辆，但并不限定图像处理器110的结构，例如，自校正器111也可以由设置在通过网络与车辆连接的其他场所的计算机来构成。
对于自校正器111中的摄像头参数的校正处理S111，因为计算负荷大，所以与在搭载于车辆的计算能力受制约的计算机上实施相比，通过在服务器等计算能力高的计算机上实施，具有能够以较短计算时间算出精度较高的参数的效果。
(自校正时的工作3)
在自校正时的工作1以及自校正时的工作2中，示出了在通过步骤S1003算出了N点的三维坐标的情况下，在步骤S1004中使用所算出的N点的三维坐标来算出评价值J的例子，但在评价值J的算出中不需要使用全部N点的三维坐标。
在自校正时的工作3中，将通过立体法算出的N点的三维坐标中的、在摄像头图像的对应的像素坐标的附近没有辉度梯度或者辉度梯度十分小的三维坐标不用于评价值J的算出，由此减少评价值J的算出中的计算量。
图15A是表示自校正时的工作3的一例的流程图。在图15A所示的自校正时的工作S112中，相比于图10的自校正时的工作S111，追加了点群选择屏蔽(mask)制作处理S1010。用于执行自校正时的工作S112的复眼摄像头系统的结构，与图9所示的复眼摄像头系统10实质上相同，因此省略其说明。
在自校正时的工作S112中，在步骤S1003中，使用第1摄像头图像、第2摄像头图像、摄像头101a的初始摄像头参数集、摄像头101b的初始摄像头参数集，通过立体法算出N点的三维坐标(xwk，ywk，zwk)。
在步骤S1010中，基于通过步骤S1001取得的摄像头图像的辉度梯度，制作点群选择屏蔽。对于点群选择屏蔽，针对摄像头图像中的各像素，取表示该像素是有效像素和无效像素的哪一方的二值，该点群选择屏蔽被参照来用于判定是否将通过步骤S1003算出的N点的三维坐标的各点三维坐标用于评价值的算出。点群选择屏蔽也可以根据第1摄像头图像和第2摄像头图像的任一方来制作。
图15B是表示点群选择掩模制作处理S1010的详细情况的一例的流程图。
在点群选择屏蔽制作处理S1010中，设像素索引为i，进行一边依次选择摄像头图像中的像素i、一边确定所选择出的像素i是有效像素还是无效像素的循环处理(S1011～S1016)。
根据以像素i为中心的附近像素来算出像素i处的辉度梯度Gi(S1012)。作为辉度梯度的一例，式14中示出基于以像素i为中心的相邻像素的辉度梯度Gi。
fx(ui，vi)＝I(ui+1，vi)-I(ui-1，vi)
fy(ui，vi)＝I(ui，vi+1)-I(ui，vi-1)…(式14)
在此，I(u，v)是像素坐标(u，v)处的辉度值。
对辉度梯度Gi与阈值进行比较(S1013)，在辉度梯度Gi大于阈值的情况下，在点群选择屏蔽中将像素i设定为有效像素(S1014)。另外，在辉度梯度Gi为阈值以下的情况下，在点群选择屏蔽中将像素i设定为无效像素(S1015)。作为一例，所述阈值也可以是图像整体的平均辉度梯度的常数倍。
再次参照图15A，在步骤S1004中，将由通过步骤S1003取得的三维点群数据表示的N点的三维坐标中的、位于摄像头图像上的对应的像素坐标的像素被通过步骤S1010制作出的点群选择屏蔽表示为无效像素的三维坐标除去，算出评价函数J(例如，式3)。
在与某三维坐标(xwk，ywk，zwk)对应的像素坐标(uak，vak)的周围的辉度梯度为0的情况下，通过使摄像头参数发生微小变化，即使与该三维坐标对应的像素坐标(uck，vck)发生微小变化，该像素坐标的辉度差Ic(uck，vck)也不会变化。换言之，评价值J不会变化。因此，即使除去了这样的三维坐标，也不会对评价值J产生影响，并且，用于计算的三维坐标的数量减少，因此具有能够减低从步骤S1004到S1007的计算量这一效果。
本公开涉及的摄像头参数算出装置以及摄像头参数算出装置方法，例如能够利用于对车载用复眼摄像头系统等所有的复眼摄像头系统进行自校正的场合。

Claims (17)

1.一种摄像头参数集算出装置，具备：
受理器，其受理由第1摄像头拍摄到的第1图像、由第2摄像头拍摄到的第2图像、由第3摄像头拍摄到的第3图像、所述第1摄像头的第1摄像头参数集、所述第2摄像头的第2摄像头参数集和所述第3摄像头的第3摄像头参数集，所述第1摄像头参数集包含所述第1摄像头的一个或多个摄像头参数，所述第2摄像头参数集包含所述第2摄像头的一个或多个摄像头参数，所述第3摄像头参数集包含所述第3摄像头的一个或多个摄像头参数；
三维点群算出器，其基于所述第1图像、所述第2图像、所述第1摄像头参数集和所述第2摄像头参数集，算出多个三维坐标；
评价值算出器，其基于所述多个三维坐标和所述第2摄像头参数集来决定所述第2图像中的多个第2像素坐标，基于所述多个三维坐标和所述第3摄像头参数集来决定所述第3图像中的多个第3像素坐标，基于所述多个第2像素坐标处的所述第2图像的多个像素值和所述多个第3像素坐标处的所述第3图像的多个像素值来算出评价值，所述多个三维坐标与所述多个第2像素坐标一一对应，并且，所述多个三维坐标与所述多个第3像素坐标一一对应；
摄像头参数集决定器，其基于由评价值算出器算出的评价值，决定所述第3摄像头的第4摄像头参数集，所述第4摄像头参数集包含一个或多个摄像头参数；以及
摄像头参数集输出器，其输出所述第4摄像头参数集。
2.根据权利要求1所述的摄像头参数集算出装置，
所述评价值算出器，
通过使用所述第2摄像头参数集所包含的一个或多个摄像头参数对所述多个三维坐标进行坐标变换，决定所述多个第2像素坐标，
通过使用所述第3摄像头参数集所包含的一个或多个摄像头参数对所述多个三维坐标进行坐标变换，决定所述多个第3像素坐标。
3.根据权利要求1或2所述的摄像头参数集算出装置，
所述评价值算出器基于多个差来算出所述评价值，
所述多个差的各个差是与所述多个三维坐标中的一个三维坐标对应、且所述多个第2像素坐标所包含的像素坐标处的所述第2图像所包含的像素值和与所述一个三维坐标对应、且所述多个第3像素坐标所包含的像素坐标处的所述第3图像所包含的像素值之差。
4.根据权利要求3所述的摄像头参数集算出装置，
所述多个差的各个差是所述像素值之差的绝对值。
5.根据权利要求3所述的摄像头参数集算出装置，
所述多个差的各个差是所述像素值之差的平方值。
6.根据权利要求1或2所述的摄像头参数集算出装置，
所述评价值算出器，
基于所述多个三维坐标和所述第1摄像头参数集来决定所述第1图像中的多个第1像素坐标，
所述多个三维坐标与所述多个第1像素坐标一一对应，
所述评价值算出器基于多个差来算出所述评价值，
所述多个差的各个差是平均值和与所述多个三维坐标中的一个三维坐标对应、且所述多个第3像素坐标所包含的像素坐标处的所述第3图像所包含的像素值之差，所述平均值是与所述一个三维坐标对应、且所述多个第1像素坐标所包含的像素坐标处的所述第1图像所包含的像素值和与所述一个三维坐标对应、且所述多个第2像素坐标所包含的像素坐标处的所述第2图像所包含的像素值的平均值。
7.根据权利要求6所述的摄像头参数集算出装置，
所述多个差的各个差是所述平均值与所述像素值之差的绝对值。
8.根据权利要求6所述的摄像头参数集算出装置，
所述多个差的各个差是所述平均值与所述像素值之差的平方值。
9.根据权利要求1或2所述的摄像头参数集算出装置，
所述评价值算出器基于所述多个三维坐标和所述第1摄像头参数集来决定所述第1图像中的多个第1像素坐标，
所述多个三维坐标与所述多个第1像素坐标一一对应，
所述评价值算出器基于多个差来算出所述评价值，
所述多个差的各个差包括第1差和第2差，
所述第1差是与所述多个三维坐标中的一个三维坐标对应、且所述多个第1像素坐标所包含的像素坐标处的所述第1图像所包含的像素值和与所述一个三维坐标对应、且所述多个第3像素坐标所包含的像素坐标处的所述第3图像所包含的像素值之差，
所述第2差是与所述多个三维坐标中的一个三维坐标对应、且所述多个第2像素坐标所包含的像素坐标处的所述第2图像所包含的像素值和与所述一个三维坐标对应、且所述多个第3像素坐标所包含的像素坐标处的所述第3图像所包含的像素值之差。
10.根据权利要求9所述的摄像头参数集算出装置，
在所述多个差的各个差中，所述第1差和所述第2差都是所述像素值之差的绝对值。
11.根据权利要求9所述的摄像头参数集算出装置，
在所述多个差的各个差中，所述第1差和所述第2差都是所述像素值之差的平方值。
12.根据权利要求1所述的摄像头参数集算出装置，
所述评价值算出器判定所述多个三维坐标的各个三维坐标是否处于所述第3摄像头的不可视区域，不将与被判定为处于不可视区域的三维坐标对应的第2像素坐标处的所述第2图像的像素值和与被判定为处于不可视区域的三维坐标对应的第3像素坐标处的所述第3图像的像素值用于所述评价值的算出。
13.根据权利要求1所述的摄像头参数集算出装置，
所述评价值算出器在基于所述第1摄像头参数集而与所述多个三维坐标中的一个三维坐标对应的所述第1图像的像素坐标处的辉度梯度小于预定阈值、或者基于所述第2摄像头参数集而与所述一个三维坐标对应的所述第2图像的像素坐标处的辉度梯度小于预定阈值的情况下，不将所述一个三维坐标用于所述评价值的算出。
14.根据权利要求1所述的摄像头参数集算出装置，
所述摄像头参数集算出装置适用于由三个以上的多个摄像头构成的复眼摄像头系统，
所述受理器受理由所述多个摄像头拍摄到的多个图像和所述多个摄像头的多个摄像头参数集，
所述三维点群算出器，
针对由所述多个摄像头中的两个摄像头构成的多个摄像头组的各组，
基于由该摄像头组所包含的一方的摄像头拍摄到的第4图像、由另一方的摄像头拍摄到的第5图像、该一方的摄像头的第5摄像头参数集和该另一方的摄像头的第6摄像头参数集来算出多个三维坐标，
基于所述多个三维坐标和所述第5摄像头参数集来决定所述第4图像中的多个第4像素坐标，基于所述多个三维坐标和所述第6摄像头参数集来决定所述第5图像中的多个第5像素坐标，
所述多个三维坐标与所述多个第4像素坐标一一对应，并且，所述多个三维坐标与所述多个第5像素坐标一一对应，
基于所述多个第4像素坐标处的所述第4图像的多个像素值和所述第5像素坐标处的所述第5图像的多个像素值来算出评价值，
基于针对所述多个摄像头组的各组算出的评价值，从所述多个摄像头组中选择一个摄像头组，
所述评价值算出器将所选择出的摄像头组所包含的两个摄像头作为所述第1摄像头以及所述第2摄像头并将其他摄像头中的一个摄像头作为所述第3摄像头来算出所述评价值。
15.根据权利要求14所述的摄像头参数集算出装置，
所述三维点群算出器基于多个差来算出所述评价值，
所述多个差的各个差是与所述多个三维坐标中的一个三维坐标对应、且所述多个第4像素坐标所包含的像素坐标处的所述第4图像所包含的像素值和与所述一个三维坐标对应、且所述多个第5像素坐标所包含的像素坐标处的所述第5图像所包含的像素值之差。
16.一种摄像头参数集算出方法，包括：
受理步骤，受理由第1摄像头拍摄到的第1图像、由第2摄像头拍摄到的第2图像、由第3摄像头拍摄到的第3图像、所述第1摄像头的第1摄像头参数集、所述第2摄像头的第2摄像头参数集和所述第3摄像头的第3摄像头参数集，所述第1摄像头参数集包含所述第1摄像头的一个或多个摄像头参数，所述第2摄像头参数集包含所述第2摄像头的一个或多个摄像头参数，所述第3摄像头参数集包含所述第3摄像头的一个或多个摄像头参数；
三维点群算出步骤，基于所述第1图像、所述第2图像、所述第1摄像头参数集和所述第2摄像头参数集，算出多个三维坐标；
评价值算出步骤，基于所述多个三维坐标和所述第2摄像头参数集来决定所述第2图像中的多个第2像素坐标，基于所述多个三维坐标和所述第3摄像头参数集来决定所述第3图像中的多个第3像素坐标，基于所述多个第2像素坐标处的所述第2图像的多个像素值和所述多个第3像素坐标处的所述第3图像的多个像素值来算出评价值，所述多个三维坐标与所述多个第2像素坐标一一对应，并且，所述多个三维坐标与所述多个第3像素坐标一一对应；
摄像头参数集决定步骤，基于通过评价值算出步骤算出的评价值，决定所述第3摄像头的第4摄像头参数集，所述第4摄像头参数集包含一个或多个摄像头参数；以及
摄像头参数集输出步骤，输出所述第4摄像头参数集。
17.一种程序，用于使计算机执行：
受理步骤，受理由第1摄像头拍摄到的第1图像、由第2摄像头拍摄到的第2图像、由第3摄像头拍摄到的第3图像、所述第1摄像头的第1摄像头参数集、所述第2摄像头的第2摄像头参数集和所述第3摄像头的第3摄像头参数集，所述第1摄像头参数集包含所述第1摄像头的一个或多个摄像头参数，所述第2摄像头参数集包含所述第2摄像头的一个或多个摄像头参数，所述第3摄像头参数集包含所述第3摄像头的一个或多个摄像头参数；
三维点群算出步骤，基于所述第1图像、所述第2图像、所述第1摄像头参数集和所述第2摄像头参数集，算出多个三维坐标；
评价值算出步骤，基于所述多个三维坐标和所述第2摄像头参数集来决定所述第2图像中的多个第2像素坐标，基于所述多个三维坐标和所述第3摄像头参数集来决定所述第3图像中的多个第3像素坐标，基于所述多个第2像素坐标处的所述第2图像的多个像素值和所述多个第3像素坐标处的所述第3图像的多个像素值来算出评价值，所述多个三维坐标与所述多个第2像素坐标一一对应，并且，所述多个三维坐标与所述多个第3像素坐标一一对应；
摄像头参数集决定步骤，基于通过评价值算出步骤算出的评价值，决定所述第3摄像头的第4摄像头参数集，所述第4摄像头参数集包含一个或多个摄像头参数；以及
摄像头参数集输出步骤，输出所述第4摄像头参数集。
CN201710584189.7A 2016-09-08 2017-07-18 摄像头参数集算出装置、摄像头参数集算出方法以及记录介质 Active CN107809610B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2016-175935 2016-09-08
JP2016175935 2016-09-08
JP2017057506A JP6803570B2 (ja) 2016-09-08 2017-03-23 カメラパラメタセット算出装置、カメラパラメタセット算出方法、および、プログラム
JP2017-057506 2017-03-23

Publications (2)

Publication Number Publication Date
CN107809610A true CN107809610A (zh) 2018-03-16
CN107809610B CN107809610B (zh) 2021-06-11

Family

ID=61282225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710584189.7A Active CN107809610B (zh) 2016-09-08 2017-07-18 摄像头参数集算出装置、摄像头参数集算出方法以及记录介质

Country Status (2)

Country Link
US (2) US10602125B2 (zh)
CN (1) CN107809610B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021103297A1 (zh) * 2019-11-26 2021-06-03 中国科学院上海微系统与信息技术研究所 复眼摄像装置及复眼系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016046642A (ja) * 2014-08-21 2016-04-04 キヤノン株式会社 情報処理システム、情報処理方法及びプログラム
CN110345875B (zh) * 2018-04-04 2021-04-27 灵动科技（北京）有限公司 标定及测距方法、装置、电子设备及计算机可读存储介质
CN110443853B (zh) * 2019-07-19 2022-01-28 广东虚拟现实科技有限公司 基于双目摄像头的标定方法、装置、终端设备及存储介质
CN114765667A (zh) * 2021-01-13 2022-07-19 安霸国际有限合伙企业 用于多视图拼接的固定图案校准
CN113418472B (zh) * 2021-08-24 2021-11-16 深圳市华汉伟业科技有限公司 三维测量方法和系统
WO2023079565A1 (en) * 2021-11-08 2023-05-11 Foresight Automotive Ltd. System and method for stereoscopic image analysis

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101680756A (zh) * 2008-02-12 2010-03-24 松下电器产业株式会社 复眼摄像装置、测距装置、视差算出方法以及测距方法
US20110229013A1 (en) * 2010-03-18 2011-09-22 Kuo-Tang Huang Method and system for measuring object
CN104717481A (zh) * 2013-12-13 2015-06-17 松下知识产权经营株式会社 摄像装置、图像处理装置、摄像方法
CN105096296A (zh) * 2014-05-05 2015-11-25 富士通株式会社 立体相机成像的校正装置、方法及电子设备
CN105118055A (zh) * 2015-08-11 2015-12-02 北京电影学院 摄影机定位修正标定方法及系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2611173B2 (ja) 1992-06-11 1997-05-21 運輸省船舶技術研究所長 魚眼レンズを用いた測位方法およびその装置
JP4849757B2 (ja) 2000-03-23 2012-01-11 スナップ − オン テクノロジーズ，インコーポレイテッド 自己校正するマルチカメラ機械視覚測定システム
JP3827912B2 (ja) 2000-03-31 2006-09-27 山本 和彦 全方向ステレオ画像撮影装置及びステレオ画像撮影装置
JP4035978B2 (ja) 2001-10-05 2008-01-23 コニカミノルタホールディングス株式会社 ３次元形状モデルの評価方法および生成方法並びに装置
JP4825971B2 (ja) 2005-07-14 2011-11-30 国立大学法人岩手大学 距離算出装置、距離算出方法、構造解析装置及び構造解析方法。
JP4906683B2 (ja) 2007-11-12 2012-03-28 日本放送協会 カメラパラメータ推定装置およびカメラパラメータ推定プログラム
JP5588812B2 (ja) 2010-09-30 2014-09-10 日立オートモティブシステムズ株式会社 画像処理装置及びそれを用いた撮像装置
US10547825B2 (en) * 2014-09-22 2020-01-28 Samsung Electronics Company, Ltd. Transmission of three-dimensional video
US9965870B2 (en) * 2016-03-29 2018-05-08 Institut National D'optique Camera calibration method using a calibration target
DE102016211453A1 (de) * 2016-06-27 2017-12-28 Conti Temic Microelectronic Gmbh Verfahren und Fahrzeugsteuersystem zum Erzeugen von Abbildungen eines Umfeldmodells und entsprechendes Fahrzeug

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101680756A (zh) * 2008-02-12 2010-03-24 松下电器产业株式会社 复眼摄像装置、测距装置、视差算出方法以及测距方法
US20110229013A1 (en) * 2010-03-18 2011-09-22 Kuo-Tang Huang Method and system for measuring object
CN104717481A (zh) * 2013-12-13 2015-06-17 松下知识产权经营株式会社 摄像装置、图像处理装置、摄像方法
CN105096296A (zh) * 2014-05-05 2015-11-25 富士通株式会社 立体相机成像的校正装置、方法及电子设备
CN105118055A (zh) * 2015-08-11 2015-12-02 北京电影学院 摄影机定位修正标定方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021103297A1 (zh) * 2019-11-26 2021-06-03 中国科学院上海微系统与信息技术研究所 复眼摄像装置及复眼系统

Also Published As

Publication number Publication date
US20180070074A1 (en) 2018-03-08
US11233983B2 (en) 2022-01-25
CN107809610B (zh) 2021-06-11
US20200177867A1 (en) 2020-06-04
US10602125B2 (en) 2020-03-24

Similar Documents

Publication Publication Date Title
CN107809610A (zh) 摄像头参数集算出装置、摄像头参数集算出方法以及程序
US10846885B2 (en) Methods and computer program products for calibrating stereo imaging systems by using a planar mirror
CN102737406B (zh) 三维建模装置及方法
KR101192893B1 (ko) 촬영 장치, 컴퓨터 판독 가능한 기록 매체, 및 제어 방법
JP6754992B2 (ja) 三次元再構成方法
US20090153669A1 (en) Method and system for calibrating camera with rectification homography of imaged parallelogram
KR20170017586A (ko) 3차원 디스플레이 장치의 파라미터 추정 방법 및 그 방법을 이용한 3차원 디스플레이 장치
US20100245544A1 (en) Imaging apparatus, imaging control method, and recording medium
CN107545586B (zh) 基于光场极线平面图像局部的深度获取方法及系统
CN104881869A (zh) 一种移动平台上的实时全景跟踪与拼接方法
CN101916455A (zh) 一种高动态范围纹理三维模型的重构方法及装置
JP6198223B2 (ja) 三次元モデル作成システム
CN109373912A (zh) 一种基于双目视觉的非接触式六自由度位移测量方法
JP6803570B2 (ja) カメラパラメタセット算出装置、カメラパラメタセット算出方法、および、プログラム
US11694349B2 (en) Apparatus and a method for obtaining a registration error map representing a level of sharpness of an image
JPH05303629A (ja) 形状合成方法
JP2007025863A (ja) 撮影システム、撮影方法及び画像処理プログラム
KR20220121533A (ko) 어레이 카메라를 통해 획득된 영상을 복원하는 영상 복원 방법 및 영상 복원 장치
Neumann et al. Eyes from eyes: analysis of camera design using plenoptic video geometry
Kurz et al. Bundle adjustment for stereoscopic 3d
JP2016114445A (ja) ３次元位置算出装置およびそのプログラム、ならびに、ｃｇ合成装置
JP2009271895A (ja) 独立偏位修正画像セットおよび方法
KR101673144B1 (ko) 부분 선형화 기반의 3차원 영상 정합 방법
CN108510537B (zh) 3d建模方法和装置
JP2005275789A (ja) 三次元構造抽出方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant