CN108734742B - 摄像头参数组算出方法、程序及装置 - Google Patents

摄像头参数组算出方法、程序及装置 Download PDF

Info

Publication number
CN108734742B
CN108734742B CN201810324184.5A CN201810324184A CN108734742B CN 108734742 B CN108734742 B CN 108734742B CN 201810324184 A CN201810324184 A CN 201810324184A CN 108734742 B CN108734742 B CN 108734742B
Authority
CN
China
Prior art keywords
camera
image
parameter set
camera parameter
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810324184.5A
Other languages
English (en)
Other versions
CN108734742A (zh
Inventor
登一生
若井信彦
佐藤智
吾妻健夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN108734742A publication Critical patent/CN108734742A/zh
Application granted granted Critical
Publication of CN108734742B publication Critical patent/CN108734742B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本公开涉及摄像头参数组算出方法，包括：(a1)取得第1摄像头的第1图像和第2摄像头的第2图像；(a2)取得所述第1摄像头以及所述第2摄像头的摄像头参数组；(a3)基于所述第1图像、所述第2图像、所述第1摄像头参数组以及所述第2摄像头参数组，算出三维坐标；(a4)决定将所述三维坐标投影到所述第1图像而得到的第1像素坐标以及将所述三维坐标投影到所述第2图像而得到的第2像素坐标；(a5)基于所述第1像素坐标处的所述第1图像的像素值和所述第2像素坐标处的所述第2图像的像素值，算出评价值；以及(a6)基于所述评价值，更新所述摄像头参数组。

Description

摄像头参数组算出方法、程序及装置
技术领域
本公开涉及摄像头参数组算出方法、摄像头参数组算出程序及摄像头参数组算出装置。
背景技术
在汽车的安全驾驶辅助系统、移动机器人的远程操作系统、或检测可疑人员等的监视摄像头系统等中，用户和系统为了进行判断及控制，会需要系统的周边的图像以及与图像对应的三维坐标的信息。已知从多目摄像头的各摄像头所拍摄到的图像，通过立体视觉取得被拍摄对象的三维坐标的各种技术(例如，参照专利文献1～4以及非专利文献1)。为了通过立体视觉取得被拍摄对象的三维坐标，需要各摄像头的各种摄像头参数的组即摄像头参数组，将算出该摄像头参数组称为摄像头校准。在专利文献4以及非专利文献1中记载了关于摄像头校准的详细的说明。
例如，在非专利文献1所公开的摄像头校准技术中，准备多组成为校准的基准的基准点的三维坐标和该基准点的像素坐标的组，将这些组输入，进而利用摄像头参数算出将三维坐标的基准点投影到图像上的点和与该基准点对应的像素坐标的距离(也称为重投影误差)。进而，算出使各基准点的重投影误差的总和最小化的摄像头参数组。
现有技术文献
专利文献
专利文献1：日本特开2001-285692号公报
专利文献2：日本特开平6-167564号公报
专利文献3：日本特开2007-24647号公报
专利文献4：日本特表2003-528304号公报
非专利文献
非专利文献1：Roger Y.Tsai，“A Versatile Camera Calibration Techniquefor High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Camerasand Lenses”，Journal of Robotics and Automation，IEEE，1987年8月，Vol.RA-3，No.4，p.323-344
非专利文献2：C.Zach，T.Pock以及H.Bischof，“A duality based approach forrealtime TV-L1optical flow”，In Proceedings of the 29th DAGM conference onPattern recognition，2007年，p214-223
非专利文献3：松山隆司、ほか編、「コンピュータビジョン」、株式会社新技術コミュニケーションズ、p123-137
发明内容
在以往的校准技术中，需要基准点即基准点的三维坐标以及像素坐标的组。但是，存在基准点的三维位置因历时变化、外力或温度变化等影响而变化，在变化后的三维坐标未知的情况下无法正确地进行校准这一问题。
本公开提供能够不事先赋予基准点的三维坐标地进行摄像头的自身校准的摄像头参数组算出方法、摄像头参数组算出程序以及摄像头参数组算出装置。
本公开的一个技术方案涉及的摄像头参数组算出方法包括：(a1)取得由第1摄像头拍摄到的第1图像和由第2摄像头拍摄到的第2图像；(a2)取得包含所述第1摄像头的1个以上的摄像头参数的第1摄像头参数组和包含所述第2摄像头的1个以上的摄像头参数的第2摄像头参数组；(a3)基于所述第1图像、所述第2图像、所述第1摄像头参数组以及所述第2摄像头参数组，算出映现到所述第1图像和所述第2图像的被拍摄对象上的多个三维坐标；(a4)基于所述第1摄像头参数组决定将所述多个三维坐标投影到所述第1图像而得到的多个第1像素坐标，基于所述第2摄像头参数组决定将所述多个三维坐标投影到所述第2图像而得到的多个第2像素坐标；(a5)基于所述第1图像中的所述多个第1像素坐标处的多个像素值和所述第2图像中的所述多个第2像素坐标处的多个像素值，算出评价值；(a6)基于所述评价值，更新所述第1摄像头参数组以及所述第2摄像头参数组；以及(a7)输出更新后的所述第1摄像头参数组以及所述第2摄像头参数组，处理(a1)～处理(a7)中的至少一个处理通过处理器执行。
本公开的一个技术方案涉及的摄像头参数组算出程序使计算机执行如下步骤：(a1)取得由第1摄像头拍摄到的第1图像和由第2摄像头拍摄到的第2图像；(a2)取得包含所述第1摄像头的1个以上的摄像头参数的第1摄像头参数组和包含所述第2摄像头的1个以上的摄像头参数的第2摄像头参数组；(a3)基于所述第1图像、所述第2图像、所述第1摄像头参数组以及所述第2摄像头参数组，算出映现到所述第1图像和所述第2图像的被拍摄对象上的多个三维坐标；(a4)基于所述第1摄像头参数组决定将所述多个三维坐标投影到所述第1图像而得到的多个第1像素坐标，基于所述第2摄像头参数组决定将所述多个三维坐标投影到所述第2图像而得到的多个第2像素坐标；(a5)基于所述第1图像中的所述多个第1像素坐标处的多个像素值和所述第2图像中的所述多个第2像素坐标处的多个像素值，算出评价值；(a6)基于所述评价值，更新所述第1摄像头参数组以及所述第2摄像头参数组；以及(a7)输出更新后的所述第1摄像头参数组以及所述第2摄像头参数组。
本公开的一个技术方案涉及的摄像头参数组算出装置是包括处理电路的摄像头参数组算出装置，所述处理电路，(a1)取得由第1摄像头拍摄到的第1图像和由第2摄像头拍摄到的第2图像；(a2)取得包含所述第1摄像头的1个以上的摄像头参数的第1摄像头参数组和包含所述第2摄像头的1个以上的摄像头参数的第2摄像头参数组；(a3)基于所述第1图像、所述第2图像、所述第1摄像头参数组以及所述第2摄像头参数组，算出映现到所述第1图像和所述第2图像的被拍摄对象上的多个三维坐标；(a4)基于所述第1摄像头参数组决定将所述多个三维坐标投影到所述第1图像而得到的多个第1像素坐标，基于所述第2摄像头参数组决定将所述多个三维坐标投影到所述第2图像而得到的多个第2像素坐标；(a5)基于所述第1图像中的所述多个第1像素坐标处的多个像素值和所述第2图像中的所述多个第2像素坐标处的多个像素值，算出评价值；(a6)基于所述评价值，更新所述第1摄像头参数组以及所述第2摄像头参数组；以及(a7)输出更新后的所述第1摄像头参数组以及所述第2摄像头参数组。
此外，上述的总括性或者具体的技术方案既可以通过系统、装置、方法、集成电路、计算机程序或者计算机可读取的记录盘等记录介质来实现，也可以通过系统、装置、方法、集成电路、计算机程序以及记录介质的任意的组合来实现。计算机可读取的记录介质例如包括CD-ROM(Compact Disc-Read Only Memory)等非易失性记录介质。
根据本公开的摄像头参数组算出技术，能够不事先赋予基准点的三维坐标地进行摄像头的自身校准。
从本说明书及附图中可知晓本公开的一个技术方案的附加的益处及优点。该益处和/或优点可以单独地由本说明书及附图所公开的各种实施方式及特征提供而得到，无需为了获得一个以上的益处和/或优点而实施所有的实施方式及特征。
附图说明
图1是示出以往的校准标记的例子的示意图。
图2是示出实施方式涉及的多目摄像头系统的功能性构成的框图。
图3A是示出实施方式涉及的拍摄部的构成的一例的示意图。
图3B是示出实施方式涉及的拍摄部的构成的另一例的示意图。
图4是利用计算机构成实施方式涉及的多目摄像头系统的图像处理部的框图。
图5是示出实施方式涉及的图像处理部的图像生成时的工作的流程的一例的流程图。
图6A是示出实施方式涉及的多目摄像头系统的设置的例子的示意图。
图6B是示出实施方式中的拍摄状况的例子的示意图。
图7A是示出实施方式涉及的拍摄部的构成的一例的示意图。
图7B是示出实施方式中的拍摄图像的例子的示意图。
图8A是示出实施方式中的图像的例子的示意图。
图8B是示出实施方式中的位置信息的例子的示意图。
图9是示出从实施方式中的图像生成部输出的合成图像的例子的示意图。
图10是示出实施方式涉及的摄像头参数组算出装置的详细的功能性构成的示意图。
图11是示出实施方式涉及的图像处理部的自身校准时的工作的流程的一例的流程图。
图12A是自身校准的实验例中的输入图像的例子。
图12B是自身校准的实验例中的输入图像的例子。
图13A是自身校准的实验条件1的实验例中的摄像头参数和评价值的关系的例子。
图13B是自身校准的实验条件1的实验例中的摄像头参数和评价值的关系的例子。
图13C是自身校准的实验条件1的实验例中的摄像头参数和评价值的关系的例子。
图13D是自身校准的实验条件1的实验例中的摄像头参数和评价值的关系的例子。
图14A是自身校准的实验条件1的实验例中的摄像头参数和评价值的关系的例子。
图14B是自身校准的实验条件1的实验例中的摄像头参数和评价值的关系的例子。
图14C是自身校准的实验条件1的实验例中的摄像头参数和评价值的关系的例子。
图15A是自身校准的实验条件1的实验例中的摄像头参数和评价值的关系的例子。
图15B是自身校准的实验条件1的实验例中的摄像头参数和评价值的关系的例子。
图16A是自身校准的实验条件2的实验例中的试行次数和评价值的关系的例子。
图16B是自身校准的实验条件2的实验例中的试行次数和重投影误差的关系的例子。
图17是示出变形例1涉及的多目摄像头系统的构成的框图。
标号的说明
10多目摄像头系统；100拍摄部；101、101a、101b摄像头；110图像处理部；111摄像头参数组算出装置；112位置算出部；113图像生成部；114摄像头参数存储部；120显示器；300计算机；301CPU；302ROM；303RAM；304HDD；305视频输入I/F；306视频卡；901取得部；902对应点算出部；903评价值算出部；904摄像头参数决定部；905摄像头参数输出部
具体实施方式
[成为本公开的基础的见解]
本发明人们发现了关于在“背景技术”一栏中记载的摄像头校准，存在以下的问题。具体而言，在汽车的安全驾驶辅助系统、移动机器人的远程操作系统或检测可疑人员等的监视摄像头系统等中，用户和系统为了进行判断以及控制，需要系统的周边的图像以及与图像对应的三维坐标的信息。尤其是，在如人以及车等那样监视对象移动的情况下、以及系统自身与搭载系统的汽车、机器人等一起移动的情况下，更广的视场角的图像和与图像对应的三维坐标的取得是十分重要的。
作为取得图像以及与图像对应的三维坐标的方法，通常是所谓的立体视觉。在立体视觉中，使用配置成位于相互不同的视点且视场重复的2台摄像头来取得2个图像，推定2个图像间的对应点组，使用对应点组和预先求出的摄像头的位置以及朝向等信息，计算与对应点组对应的被拍摄对象上的点的三维坐标。
(校准技术的以往例)
例如，为了从由多目摄像头拍摄到的图像，通过立体视觉取得被拍摄对象的三维坐标，需要各摄像头的摄像头参数组。摄像头参数组是指摄像头的模型以及与该模型相应的多个参数。摄像头的模型以及与该模型相应的多个参数，表示拍摄空间内的某点的三维坐标和通过拍摄得到的图像上的该点的二维坐标(也被称为像素坐标)的关系。将算出该摄像头参数组称为摄像头校准。
更详细而言，摄像头参数组由外部参数组以及内部参数组这2个摄像头参数组构成。外部参数组表示将摄像头的拍摄空间确定为基准的三维的世界坐标系和将摄像头确定为基准的三维的摄像头坐标系之间的位置关系。内部参数组表示摄像头坐标系中的被拍摄对象的三维坐标和由该摄像头拍摄到的图像上的该被拍摄对象的位置的关系。
在非专利文献1公开的摄像头校准技术中，准备多组基准点的三维坐标以及该基准点的像素坐标的组，将这些作为输入要素，使用摄像头参数来算出使将三维坐标的基准点投影到图像上的点和与该基准点对应的像素坐标的距离(重投影误差)的总和最小化的摄像头参数组。
为了得到基准点的三维坐标以及该基准点的像素坐标的组，通常使用特定图案的校准标记。校准标记的例子在图1中示出。在图1的例子中，在箱状的被拍摄对象的内侧以一定间隔配置有网格状的图案。保存以网格点即图案的角作为基准点的、与基准点对应的网格点的三维坐标的设计值、或在基准点的设置后计测出的基准点的三维坐标。进而，用摄像头拍摄基准点，用图像处理推定与基准点对应的网格点的像素坐标，由此得到基准点的三维坐标以及像素坐标的组的信息。使用这样的校准标记的校准技术会需要具备校准标记的设备等，但另一方面能够进行高精度的校准，因此在摄像头制造后的工厂等的校准中是有效的。
另一方面，关于摄像头校准，除了制造时的校准以外，在搭载摄像头的装置运转的状态下由于历时变化、因外力导致的变形或温度变化等的影响而摄像头参数组变化了的情况下也会需要。在汽车的安全驾驶辅助系统、移动机器人的远程操作系统以及监视摄像头系统等中，优选校准方法不需要具备校准标记的设备等，并且不需要人手的操作。即，优选借助于自身校准的校准方法。在此，将具备摄像头的系统自动地对摄像头参数组进行更新称为自身校准。
专利文献4中公开了系统自动地对设置于车辆的立体摄像头进行校准的自身校准技术。在专利文献4的技术中，取代使用网格等特定图案的校准标记，将位于摄像头的视场内的静止物体作为校准目标来存储，在校准目标的位置变化了的情况下，使用校准目标的三维坐标的信息进行摄像头的自身校准。
但是，在以往的校准技术中，校准目标的三维坐标是事先得到的，且假定为校准目标的三维坐标不变化，因此，存在在校准目标的三维坐标因历时变化、外力或温度变化等的影响而变化了的情况下无法正确地进行校准这一问题。于是，本发明人们，如下述那样研究出了能够不事先赋予校准基准点的三维坐标地进行摄像头的自身校准的技术。
本公开的一个技术方案涉及的摄像头参数组算出方法包括：(a1)取得由第1摄像头拍摄到的第1图像和由第2摄像头拍摄到的第2图像；(a2)取得包含所述第1摄像头的1个以上的摄像头参数的第1摄像头参数组和包含所述第2摄像头的1个以上的摄像头参数的第2摄像头参数组；(a3)基于所述第1图像、所述第2图像、所述第1摄像头参数组以及所述第2摄像头参数组，算出映现到所述第1图像和所述第2图像的被拍摄对象上的多个三维坐标；(a4)基于所述第1摄像头参数组决定将所述多个三维坐标投影到所述第1图像而得到的多个第1像素坐标，基于所述第2摄像头参数组决定将所述多个三维坐标投影到所述第2图像而得到的多个第2像素坐标；(a5)基于所述第1图像中的所述多个第1像素坐标处的多个像素值和所述第2图像中的所述多个第2像素坐标处的多个像素值，算出评价值；(a6)基于所述评价值，更新所述第1摄像头参数组以及所述第2摄像头参数组；以及(a7)输出更新后的所述第1摄像头参数组以及所述第2摄像头参数组，处理(a1)～处理(a7)中的至少一个处理通过处理器执行。
根据上述技术方案，能够算出基于评价值的第1摄像头以及第2摄像头的摄像头参数组。用于评价值的算出的像素坐标不是预先设定的基准。因此，在摄像头参数组的算出过程中，不需要具备包含已知的基准点的校准标记的设备。换言之，本技术方案不使用事先得到的基准点的三维坐标，因此，能够与因历时变化、外力、温度变化等的影响而导致的基准点的变化没有关系地对摄像头正确地进行自身校准。
例如，在第1摄像头参数组以及第2摄像头参数组正确的情况下，与某点的三维坐标对应的第1像素坐标处的第1图像的像素值以及第2像素坐标处的第2图像的像素值相互相等，第1摄像头参数组或第2摄像头参数组离正解值越远、即包含误差越多，则第1图像的像素值与第2图像的像素值之间越产生差异。因此，在第1摄像头参数组或第2摄像头参数组包含误差的情况下，基于第1图像的像素值与第2图像的像素值的差异，例如按照使差异为最小的方式变更第1摄像头参数组以及第2摄像头参数组，由此能够得到正确的摄像头参数组。即，能够对第1以及第2摄像头进行校准。
另外，在本公开的一个技术方案涉及的摄像头参数组算出方法中，也可以是，在处理(a5)中，通过使用所述第1摄像头参数组所包含的1个以上的摄像头参数对所述多个三维坐标中的各三维坐标进行坐标变换，决定所述多个第1像素坐标，通过使用所述第2摄像头参数组所包含的1个以上的摄像头参数对所述多个三维坐标中的各三维坐标进行坐标变换，决定所述多个第2像素坐标。
根据上述技术方案，能够容易地进行与三维坐标对应的第1像素坐标的算出以及与三维坐标对应的第2像素坐标的算出。
另外，在本公开的一个技术方案涉及的摄像头参数组算出方法中，也可以是，所述多个三维坐标是(x1，y1，z1)～(xi，yi，zi)～(xn，yn，zn)，所述多个第1像素坐标是(u11，v11)～(u1i，v1i)～(u1n，v1n)，所述多个第2像素坐标是(u21，v21)～(u2i，v2i)～(u2n，v2n)，所述i和所述n是自然数且1<i≤n，所述(xi，yi，zi)和所述(u1i，v1i)对应，所述(xi，yi，zi)和所述(u2i，v2i)对应，所述(u1i，v1i)处的像素值是I1(u1i，v1i)，所述(u2i，v2i)处的像素值是I2(u2i，v2i)，在处理(a6)中，基于所述I1(u1i，v1i)和所述I2(u2i，v2i)的差异Di算出所述评价值。
根据上述技术方案，在第1像素坐标处的第1图像的像素值与第2像素坐标处的第2图像的像素值之间存在差异的情况下，能够判定为在第1摄像头参数组以及第2摄像头参数组中存在相对于真值的误差。因此，容易判定第1摄像头参数组以及第2摄像头参数组是否正确。进而，例如，通过以使上述差异变小的方式变更即更新第1摄像头参数组以及第2摄像头参数组，能够使第1摄像头参数组以及第2摄像头参数组恰当。
另外，在本公开的一个技术方案涉及的摄像头参数组算出方法中，也可以是，在处理(a6)中，基于算出所述评价值。
根据上述技术方案，通过使用多个差异，评价值的精度提高。进而，例如，通过以使多个差异的和变小的方式更新第1摄像头参数组以及第2摄像头参数组，能够使第1摄像头参数组以及第2摄像头参数组最佳。
另外，在本公开的一个技术方案涉及的摄像头参数组算出方法中，也可以是，在处理(a6)中，基于算出所述评价值。
根据上述技术方案，通过使用差异的绝对值，能够在评价值的算出时，抑制差异彼此相互抵消。因此，会能够算出正确的评价值。
另外，在本公开的一个技术方案涉及的摄像头参数组算出方法中，也可以是，在处理(a6)中，基于算出所述评价值。
根据上述技术方案，由于差异的平方始终是正的值，因此，能够抑制在评价值的算出时差异彼此相互抵消。另外，在评价值中，更大的差异可能被反映得更大，更小的差异可能被反映得更小。因此，评价值能够强调差异的大小地反映。
另外，在本公开的一个技术方案涉及的摄像头参数组算出方法中，也可以包括：(b1)在处理(a1)～(a8)之前，从温度传感器取得检测温度信息，(b2)基于所取得的所述检测温度信息，开始处理(a1)～(a8)。
根据上述技术方案，在摄像头中发生了温度的变化那样的对摄像头参数组可能产生影响的事件的情况下，会能够自动地更新摄像头参数组，对摄像头进行校准。
另外，在本公开的一个技术方案涉及的摄像头参数组算出方法中，也可以包括：(c1)在处理(a1)～(a8)之前，取得冲击传感器的检测冲击信息，(c2)基于所取得的所述检测冲击信息，开始处理(a1)～(a8)。
根据上述技术方案，在摄像头中发生了冲击那样的可能对摄像头参数组产生影响的事件的情况下，会能够自动地更新摄像头参数组，校准摄像头。
另外，在本公开的一个技术方案涉及的摄像头参数组算出方法中，也可以包括：(d1)在处理(a1)～(a8)之前，取得计时器的检测时刻信息，(d2)基于所取得的所述检测时刻信息，开始处理(a1)～(a8)。
根据上述技术方案，在发生了摄像头的历时的变化那样的可能对摄像头参数组造成影响的事件的情况下，会能够自动地更新摄像头参数组，校准摄像头。
本公开的一个技术方案涉及的摄像头参数组算出方法，包括：(a1)取得由第1摄像头拍摄到的第1图像和由第2摄像头拍摄到的第2图像；(a2)取得包含所述第1摄像头的1个以上的摄像头参数的第1摄像头参数组和包含所述第2摄像头的1个以上的摄像头参数的第2摄像头参数组；(a3)从所述第1图像以及所述第2图像中的各图像推定多组所述第1图像以及所述第2图像之间的对应点组；(a4)基于所述第1图像、所述第2图像、所述第1摄像头参数组以及所述第2摄像头参数组，算出与所述多组对应点组中的各对应点组对应的三维坐标；(a5)基于所述第1摄像头参数组决定将所述多个三维坐标投影到所述第1图像而得到的多个第1像素坐标，基于所述第2摄像头参数组决定将所述多个三维坐标投影到所述第2图像而得到的多个第2像素坐标；(a6)基于所述第1图像中的所述多个第1像素坐标处的多个像素值和所述第2图像中的所述多个第2像素坐标处的多个像素值，算出评价值；(a7)基于所述评价值，更新所述第1摄像头参数组以及所述第2摄像头参数组；以及(a8)输出更新后的所述第1摄像头参数组以及所述第2摄像头参数组，处理(a1)～处理(a8)中的至少一个处理通过处理器执行。
本公开的一个技术方案涉及的摄像头参数组算出程序，使计算机执行如下步骤：(a1)取得由第1摄像头拍摄到的第1图像和由第2摄像头拍摄到的第2图像；(a2)取得包含所述第1摄像头的1个以上的摄像头参数的第1摄像头参数组和包含所述第2摄像头的1个以上的摄像头参数的第2摄像头参数组；(a3)基于所述第1图像、所述第2图像、所述第1摄像头参数组以及所述第2摄像头参数组，算出映现到所述第1图像和所述第2图像的被拍摄对象上的多个三维坐标；(a4)基于所述第1摄像头参数组决定将所述多个三维坐标投影到所述第1图像而得到的多个第1像素坐标，基于所述第2摄像头参数组决定将所述多个三维坐标投影到所述第2图像而得到的多个第2像素坐标；(a5)基于所述第1图像中的所述多个第1像素坐标处的多个像素值和所述第2图像中的所述多个第2像素坐标处的多个像素值，算出评价值；(a6)基于所述评价值，更新所述第1摄像头参数组以及所述第2摄像头参数组；以及(a7)输出更新后的所述第1摄像头参数组以及所述第2摄像头参数组。根据上述技术方案，可以得到与本公开的一个技术方案涉及的摄像头参数组算出方法同样的效果。
本公开的一个技术方案涉及的摄像头参数组算出装置，是包括处理电路的摄像头参数组算出装置，所述处理电路，(a1)取得由第1摄像头拍摄到的第1图像和由第2摄像头拍摄到的第2图像；(a2)取得包含所述第1摄像头的1个以上的摄像头参数的第1摄像头参数组和包含所述第2摄像头的1个以上的摄像头参数的第2摄像头参数组；(a3)基于所述第1图像、所述第2图像、所述第1摄像头参数组以及所述第2摄像头参数组，算出映现到所述第1图像和所述第2图像的被拍摄对象上的多个三维坐标；(a4)基于所述第1摄像头参数组决定将所述多个三维坐标投影到所述第1图像而得到的多个第1像素坐标，基于所述第2摄像头参数组决定将所述多个三维坐标投影到所述第2图像而得到的多个第2像素坐标；(a5)基于所述第1图像中的所述多个第1像素坐标处的多个像素值和所述第2图像中的所述多个第2像素坐标处的多个像素值，算出评价值；(a6)基于所述评价值，更新所述第1摄像头参数组以及所述第2摄像头参数组；以及(a7)输出更新后的所述第1摄像头参数组以及所述第2摄像头参数组。根据上述技术方案，可以得到与本公开的一个技术方案涉及的摄像头参数组算出方法同样的效果。
本公开的一个技术方案涉及的摄像头参数组算出装置，是包括处理电路的摄像头参数组算出装置，所述处理电路，(a1)取得由第1摄像头拍摄到的第1图像和由第2摄像头拍摄到的第2图像；(a2)取得包含所述第1摄像头的1个以上的摄像头参数的第1摄像头参数组和包含所述第2摄像头的1个以上的摄像头参数的第2摄像头参数组；(a3)从所述第1图像以及所述第2图像中的各图像推定多组所述第1图像以及所述第2图像之间的对应点组；(a4)基于所述第1图像、所述第2图像、所述第1摄像头参数组以及所述第2摄像头参数组，算出与所述多组对应点组中的各对应点组对应的三维坐标；(a5)基于所述第1摄像头参数组决定将所述多个三维坐标投影到所述第1图像而得到的多个第1像素坐标，基于所述第2摄像头参数组决定将所述多个三维坐标投影到所述第2图像而得到的多个第2像素坐标；(a6)基于所述第1图像中的所述多个第1像素坐标处的多个像素值和所述第2图像中的所述多个第2像素坐标处的多个像素值，算出评价值；(a7)基于所述评价值，更新所述第1摄像头参数组以及所述第2摄像头参数组；以及(a8)输出更新后的所述第1摄像头参数组以及所述第2摄像头参数组。
此外，上述的总括性或者具体的技术方案既可以通过系统、装置、方法、集成电路、计算机程序或者计算机可读取的记录盘等记录介质来实现，也可以通过系统、装置、方法、集成电路、计算机程序以及记录介质的任意组合来实现。计算机可读取的记录介质例如包括CD-ROM等非易失性的记录介质。
以下，参照附图对实施方式涉及的摄像头参数组算出装置等进行说明。此外，以下要说明的实施方式示出概括性或具体的例子。以下的实施方式中示出的数值、形状、材料、构成要素、构成要素的配置位置以及连接形态、步骤(工序)以及步骤的顺序等都是一例，并不旨在限定本公开。另外，以下的实施方式中的构成要素中的未记载于表示最上位概念的独立权利要求的构成要素，作为任意的构成要素来说明。另外，在以下的实施方式的说明中，存在使用大致平行、大致正交那样的带有“大致”的表达的情况。例如，大致平行是指不仅意味着完全地平行，也包含实质上平行即有例如几％左右的差异。其他的带有“大致”的表达也同样。
[实施方式]
[1.多目摄像头系统的构成]
[1-1.多目摄像头系统的整体构成]
对具备本公开的实施方式涉及的摄像头参数组算出装置111的多目摄像头系统10进行说明。在本实施方式中，设为多目摄像头系统10是使用了摄像头参数组算出装置111的车载用的多目摄像头系统，并进行说明，但不限定于此。参照图2，示出表示具备实施方式涉及的摄像头参数组算出装置111的多目摄像头系统10的功能性构成的框图。如图2所示，多目摄像头系统10具备拍摄部100、图像处理部110和显示器120。
拍摄部100拍摄并取得图像，并向图像处理部110输出。拍摄部100具备2个以上的摄像头101，在本实施方式中，具备2个摄像头101a以及101b。图像处理部110对通过拍摄部100拍摄到的图像进行处理，将该处理结果向显示器120等输出。图像处理部110具备摄像头参数组算出装置111、位置算出部112、图像生成部113、摄像头参数存储部114。也可以将摄像头参数组算出装置111称为自身校准部。另外，显示器120显示从图像处理部110输出的图像等。显示器120也可以由液晶面板、有机或无机EL(ElectroLuminescence)等显示面板构成。此外，为了区别同样的构成要素使用了角标a～d，但在以下，在不特别区别这些构成要素的情况下，有时仅使用除去了角标的标号。
多目摄像头系统10主要进行图像生成和自身校准这2种类的工作。在图像生成时，拍摄部100拍摄图像并向图像处理部110输出，图像处理部110从所输入的图像算出被拍摄对象的三维坐标，基于所算出的三维坐标生成图像并输出，而显示于显示器120。在自身校准时，拍摄部100拍摄图像并向图像处理部110输出，图像处理部110的摄像头参数组算出装置111对摄像头参数存储部114所保存的摄像头参数组进行更新。此外，图像生成和自身校准这2种类的工作既可以同时进行，也可以分别地进行。
[1-2.拍摄部的构成]
参照图3A，示意性地示出多目摄像头系统10的拍摄部100的构成的一例。在图3A中，示出将2个摄像头101作为一体而固定后的构成的拍摄部100的例子。在图3A中，拍摄部100通过(a)的主视图、(b)的侧视图以及(c)的截面图示出。上述截面图是通过拍摄部100的2个摄像头101的2个透镜的中心且截断拍摄部100的图。设为构成拍摄部100的2个摄像头101各自的透镜是鱼眼透镜。
此外，在本实施方式涉及的多目摄像头系统10中，拍摄部100设为由2个摄像头构成的双目摄像头，但是构成拍摄部100的摄像头不限于2个，也可以是3个以上。即，拍摄部100也可以构成为具备2个以上的摄像头。例如，如图3B所示，拍摄部100也可以是由3个摄像头101构成的三目摄像头。这样的拍摄部100，取代具备2个摄像头101，而具有将3个摄像头101固定为一体的构成。在图3B中，拍摄部100用(a)的主视图以及(b)的侧视图示出。此外，如图3A以及图3B所示，相邻的摄像头101的光轴间的距离被称为基线长度，在拍摄部100中，在各摄像头101的光轴上配置有拍摄元件。另外，在拍摄部100中，各摄像头101也可以不形成为一体化，也可以独立地配置。此外，独立地配置的摄像头101也可以不相互接近。
拍摄元件只要是具有接收通过摄像头101的透镜而入射的光、从所接收到的光形成像的构成即可，例如，也可以是CMOS(Complementary Metal-Oxide Semiconductor)图像传感器或CCD(Charge Coupled Device)图像传感器等图像传感器。
拍摄部100由具有视场角大概180度的鱼眼透镜的2个摄像头101a以及101b构成。2个摄像头101a以及101b如图3A所示那样配置，分别拍摄视场内的图像而输出2个图像(以后，也将该图像称为摄像头图像)。
[1-3.图像处理部的构成]
参照图2说明图像处理部110的构成。如上所述，图像处理部110具备摄像头参数组算出装置111、位置算出部112、图像生成部113以及摄像头参数存储部114。
摄像头参数存储部114至少预先保存有摄像头101a以及101b各自的摄像头参数组和摄像头图像中的被拍摄部100遮蔽的区域的信息即遮蔽信息。摄像头101a以及101b的摄像头参数组可能包含各摄像头的位置以及朝向等外部参数组和各摄像头的透镜的失真以及焦距等内部参数组。
作为自身校准部的摄像头参数组算出装置111，使用由摄像头101a以及101b拍摄到的图像和存储于摄像头参数存储部114的摄像头101a以及101b的初始摄像头参数组，更新摄像头参数存储部114的摄像头参数组。初始摄像头参数组也可以是已经存储于摄像头参数存储部114的摄像头101a以及101b的摄像头参数组。例如，初始摄像头参数组，既可以是摄像头101a以及101b的设计时的摄像头参数组，也可以是在使用阶段中设定于摄像头101a以及101b的摄像头参数组。
位置算出部112使用从摄像头101a以及101b输出的2个摄像头图像，推定2个摄像头图像间的对应点组。在2个摄像头图像中映现了同一被拍摄对象的情况下，即，一方的摄像头图像的被拍摄对象上的点也被映现到另一方的摄像头图像的情况下，将这2个点分别称为对应点，将这2个点的组称为对应点组。具体而言，推定对应点组是算出对应点组的各个对应点的像素坐标。进而，位置算出部112从摄像头参数存储部114读出摄像头101a以及101b各自的摄像头参数组。位置算出部112基于对应点组和各摄像头参数组所包含的外部参数组以及内部参数组，算出映现于2个摄像头图像双方的三维物体上的点、即被拍摄对象上的点的三维坐标。并且，位置算出部112将所算出的三维坐标和对应点的像素坐标的组合起来作为三维物体上的点、即被拍摄对象上的点的位置信息而输出。
图像生成部113基于2个摄像头图像和通过位置算出部112算出的三维物体的位置信息，生成合成图像并输出。生成的合成图像具体而言是拍摄空间内的三维物体的图像，是基于该三维物体的三维坐标的合成图像。
图2的多目摄像头系统10中的构成图像处理部110的各构成要素，既可以用电子电路或集成电路等硬件来实现，也可以用在计算机上执行的程序等软件来实现。
参照图4说明图像处理部110的硬件构成的一例。此外，图4是示出多目摄像头系统10的硬件构成的一例的图。多目摄像头系统10具备拍摄部100、与图像处理部110对应的计算机300和显示器120。在多目摄像头系统10中，拍摄部100拍摄图像并输出，计算机300作为图像处理部110工作，由此生成图像并输出。显示器120显示由计算机300生成的图像。
计算机300包括CPU(Central Processing Unit)301、ROM(Read Only Memory)302、RAM(Random Access Memory)303、HDD(Hard Disk Drive)304、视频输入I/F(接口)305以及视频卡306。
使计算机300工作的程序，预先保持于ROM302或HDD304。程序通过作为处理器的CPU301从ROM302或HDD304读出到RAM303并被展开。
CPU301执行在RAM303中展开的程序中的编码化的各命令。视频输入I/F305与程序的执行相应地将由拍摄部100拍摄到的图像取入到RAM303。视频卡306对与程序的执行相应地生成的图像进行处理，并向显示器120输出，显示器120显示该图像。
此外，计算机程序不限于保存于作为半导体装置的ROM302或HDD304，例如也可以保存于CD-ROM等记录介质。另外，计算机程序也可以经由有线网络、无线网络或播放等被传送，被取入计算机300的RAM303。
[2.多目摄像头系统的工作]
对多目摄像头系统10的工作进行说明。具体而言，依次说明多目摄像头系统10中的图像生成时的工作和自身校准时的工作。
[2-1.图像生成时的工作]
使用图5说明多目摄像头系统10中的图像生成时的工作。此外，图5是表示多目摄像头系统10的图像处理部110中的图像生成时的工作的一例的流程图。如图5所示，图像生成时的工作包括：摄像头参数组读出的步骤S401的处理、位置算出的步骤S402的处理和图像生成的步骤S403的处理。图5所示的各工作也可以由图4的计算机300执行。
在本实施方式中，说明多目摄像头系统10设置于汽车的例子，但不限定于此。具体而言，多目摄像头系统10取得汽车的后方的摄像头图像和该摄像头图像的三维坐标来检测障碍物，将该结果显示于设置在汽车内的显示器，由此，将车体后方的状况提示给作为利用者的驾驶员。
参照图6A，示出表示多目摄像头系统10向汽车设置的设置例的俯视图。拍摄部100在车体后部朝向车体后方地设置成摄像头101的光轴大致与汽车的前后方向一致。图像处理部110以及显示器120分别设置于驾驶员可看到的车厢内。另外，参照图6B，以俯视图示出由搭载于汽车的多目摄像头系统10进行拍摄的状况的例子。在本实施方式中，拍摄部100的2个摄像头101a以及101b相互同步地以一定时间间隔对图像进行拍摄并输出，但不限定于此。
参照图7A，拍摄部100中的2个摄像头101a以及101b的配置的例子通过主视图的(a)以及后视图的(b)示出。另外，参照图7B，示出在图6B的拍摄状况下由图7A的2个摄像头101a以及101b拍摄到的图像的例子。摄像头101a以及101b各自的视场角大概为180度。可知在摄像头101a以及101b的各视场内的大半中映现了共同的被拍摄对象。
计算机300与拍摄部100的工作并行地执行预先确定的程序，由此进行图5的步骤S401～S403的处理。以后，使用图7A～图12B说明由计算机300执行的步骤S401～S403的详细的处理。
在步骤S401中，位置算出部112从摄像头参数存储部114中读出预先保存于摄像头参数存储部114的包含摄像头101a以及101b的内部参数组以及外部参数组在内的摄像头参数组和遮蔽信息。
摄像头的外部参数组M和三维坐标的关系以及摄像头的内部参数组(f，dpx，dpy，cu，cv)、三维坐标和像素坐标的关系在下述的式1以及式2中示出。
/>
在此，上述的式1中的外部参数组M，是表示世界坐标系与摄像头坐标系的位置关系的外部参数组，用将世界坐标系的三维坐标(xw，yw，zw)变换为摄像头坐标系的三维坐标(xe，ye，ze)的4×4的矩阵表示。上述的式2表示摄像头坐标系的三维坐标(xe，ye，ze)与像素坐标(u，v)的关系。内部参数组的f是摄像头的焦距，dpx以及dpy分别是摄像头的拍摄元件的x方向以及y方向的像素尺寸，(cu，cv)是摄像头坐标系的ze轴与摄像头的拍摄面的交点的像素坐标。此外，在将数字图像考虑为“二维的网格点(即像素坐标)中的值(即像素值)”的集合的情况下，用二维的像素坐标表现图像上的像素的位置。
外部参数组M以及内部参数组(f，dpx，dpy，cu，cv)通过上述的以往技术的摄像头校准方法预先求出。此外，对dpx、dpy以及f的算出，仅利用上述的式1以及式2，约束条件不足。于是，也可以是，dpx、dpy以及f中的任一个使用设计值，其余的2个参数通过以往技术的摄像头校准方法算出。
此外，在上述的式2中，作为透镜的投影模型，使用了透视投影模型(也称为针孔摄像头模型)，但是这并不限定投影模型，也可以使用等距离投影模型、立体投影模型以及等立体角投影模型等其他的投影模型。例如，在等距离投影模型的情况下，取代上述的式2的内部参数组，使用下述的式3所示的内部参数组。
以后，为了使说明简单，有时将摄像头101a以及101b分别记载为摄像头i以及j。在该情况下，能够将表示摄像头i以及j的位置关系的外部参数组Mi以及Mj如下述的式4那样表示。
另外，用下述的式5所示那样的Ca表示综合了摄像头101a的内部参数组以及外部参数组的摄像头参数组。用下述的式6所示那样的Cb表示综合了摄像头101b的内部参数组以及外部参数组的摄像头参数组。
Ca＝(fa，dpxa，dpya，cua，cva，Ma) (式5)
Cb＝(fb，dpxb，dpyb，cub，cvb，Mb) (式6)
在步骤S402中，位置算出部112取得用拍摄部100的摄像头101a以及101b拍摄相同被拍摄对象而得到的2个摄像头图像。并且，位置算出部112使用所取得的2个摄像头图像和在步骤S401中读出的摄像头101a以及101b的摄像头参数组，通过立体视觉算出与2个摄像头图像间的对应点组对应的被拍摄对象上的点的三维坐标。具体而言，位置算出部112推定并提取摄像头101a的摄像头图像和摄像头101b的摄像头图像各自所包含的且相互对应的点的组、即对应点组。进而，位置算出部112从与对应点组所包含的2点对应的被拍摄对象上的点的视差，使用三角测量的原理，算出与对应点组对应的被拍摄对象上的点的三维坐标。由此，算出与摄像头图像所包含的点对应的被拍摄对象上的点的三维坐标。此外，位置算出部112提取多组对应点组，算出与多组对应点组中的各对应点组对应的被拍摄对象上的点的多个三维坐标。最后，位置算出部112输出包含所算出的多个三维坐标的位置信息。
在此，说明步骤S402中的位置算出部112的处理的详细内容。将由摄像头101a以及101b拍摄到的2个摄像头图像分别设为Ia以及Ib。位置算出部112，基于例如图像的类似、后述的辉度约束、平滑度约束等，推定并算出拍摄摄像头图像Ia所包含的被拍摄对象上的点Pn而得的点的像素坐标Qan和拍摄摄像头图像Ib所包含的该被拍摄对象上的同一点Pn而得的点的像素坐标Qbn。即算出对应的像素坐标的组(Qan，Qbn)。像素坐标的组(Qan，Qbn)是2个摄像头图像各自所包含的像素坐标并且相互对应的像素坐标的组。此外，在摄像头图像Ia所包含的点与摄像头图像Ib所包含的点相互对应的情况下，也可以用摄像头图像Ia所包含的点的像素坐标和摄像头图像Ib所包含的点的像素坐标的组表现该对应点组。
例如，位置算出部112关于摄像头图像Ia所包含的多个像素中的第n个像素取得该像素的像素坐标(uan，van)。进而，位置算出部112在摄像头图像Ib上推定与该像素表示的被拍摄对象相同的被拍摄对象上的对应点，并算出该对应点的像素坐标(ubn，vbn)。
2个摄像头图像间的对应点组，是在2个摄像头图像中映现了同一被拍摄对象的情况下即映现于一方的摄像头图像的被拍摄对象上的点也映现于另一方的摄像头图像的情况下的该2个摄像头图像上的点的组。在此，用像素坐标的组表示对应点组。例如，在摄像头图像的组为Ia以及Ib的情况下，算出与摄像头图像Ia上的像素坐标(uan，van)对应的、摄像头图像Ib上的像素坐标(ubn，vbn)作为2图像间的对应点组。该像素坐标的组的算出对于摄像头图像Ia所包含的所有的像素执行。
在摄像头图像Ia的像素坐标(uan，van)和摄像头图像Ib的像素坐标(ubn，vbn)是对应点组所包含的2个对应点的像素坐标的情况下，2个对应点即2个像素坐标处的像素值Ia(uan，van)以及Ib(ubn，vbn)相等。将此称为辉度约束。另外，由于某1个被拍摄对象占据摄像头图像中的多个相邻的像素，因此，与由相邻于摄像头图像Ia的像素坐标(uan，van)的像素确定的点对应的摄像头图像Ib所包含的点，位于由摄像头图像Ib的像素坐标(ubn，vbn)确定的点的附近的可能性较高。将此称为平滑度约束。摄像头图像Ia以及Ib间的对应点组，通过推定最好地满足上述的辉度约束和平滑度约束这2个条件的像素坐标(uan，van)以及(ubn，vbn)的组的集合而能够得到。
以实数精度推定对应点组的像素坐标的组的对应点搜索手法或移动推定手法，例如在上述的非专利文献2等中详细地进行了记载，由于是已知的技术，因此省略其详细的说明。
接着，位置算出部112对于各对应点组，使用摄像头图像Ia以及Ib各自的对应点组的像素坐标的组[(uan，van)，(ubn，vbn)]和预先求出的摄像头101a以及101b的摄像头参数组Ca以及Cb，通过对关于2个摄像头101a以及101b的式1和式2联立地求解，算出与对应点组对应的被拍摄对象上的点的三维坐标(xan，yan，zan)。三维坐标设为摄像头101a的摄像头坐标系的坐标值。
此外，使用对应点组和2个摄像头的摄像头参数组算出与对应点组对应的被拍摄对象上的点的三维坐标的双目立体视觉手法，不限定于上述的方法，也可以是其他的方法。其他的双目立体视觉手法例如详细地记载于上述的非专利文献3等，但由于是已知的技术，省略其详细的说明。
为了使以后的说明简单，用下述的式7所示的函数T表示从摄像头图像Ia以及Ib算出对应点组各个对应点的像素坐标(uan，van)以及(ubn，vbn)的处理。进而，用下述的式8所示的函数F表示使用对应点组的像素坐标(uan，van)以及(ubn，vbn)和摄像头101a以及101b的摄像头参数组Ca以及Cb，通过上述的式1以及式2算出与对应点组对应的被拍摄对象上的点的三维坐标的处理。
(uan，van，ubn，vbn)＝T(Ia，Ib) (式7)
(xan，yan，zan)＝F(uan，van，ubn，vbn，Ca，Cb) (式8)
将摄像头图像Ia以及Ib间的第n个对应点组的像素坐标的组和与该对应点组对应的被拍摄对象上的点的三维坐标合在一起，用第n个位置信息pa，b，n表示。另外，N个位置信息pa，b，n的集合用Pa，b表示(式9)。位置信息pa，b，n包含摄像头图像Ia所包含的对应点的像素坐标(uan，van)以及摄像头图像Ib所包含的对应点的像素坐标(ubn，vbn)和与该对应点组对应的点的三维坐标(xan，yan，zan)。
如上所述，位置算出部112，算出多组对应点组，算出分别与多个对应点组对应的多个被拍摄对象上的点的三维坐标，作为包含多组“‘对应点组所包含的像素坐标的组’和‘与对应点组对应的被拍摄对象上的点的三维坐标’的组”的位置信息Pa，b输出。由此，例如，能够得到图8A以及图8B所示那样的用浓淡表示距离摄像头的距离的距离图像。此外，图8A示出摄像头图像的一例，图8B示出该摄像头图像的距离图像的一例。在距离图像中，从摄像头到对象点的距离用像素的辉度表现。
最后，在步骤S403中，图像生成部113取得作为摄像头图像Ia以及Ib中的一方的摄像头图像、例如摄像头图像Ia和包含多组“‘对应点组所包含的像素坐标的组’和‘与对应点组对应的被拍摄对象上的点的三维坐标’的组”的位置信息{Pa，b}。进而，图像生成部113在摄像头图像Ia内检测由多个对应点表示的障碍物等三维物体。并且，例如图9所示那样，图像生成部113，在与检测到的三维物体的位置对应的摄像头图像上的区域重叠地合成表示注视区域的框而作为合成图像输出。此外，图9是表示从实施方式中的图像生成部113输出的合成图像的例子的示意图。
在图像生成部113中，作为从位置信息检测障碍物等三维物体的方法，在本实施方式中从位置信息所包含的多个点的三维坐标提取位于各个点与摄像头101的距离比预先确定的距离dth小且比地面高的位置的点，将所提取出的多个点设为三维物体。具体而言，图像生成部113根据Pa，b所包含的第n个位置信息pa，b，n所包含的三维坐标(xan，yan，zan)，算出三维坐标(xan，yan，zan)与摄像头101a的距离dn和与三维坐标(xan，yan，zan)对应的世界坐标系的三维坐标(xwn，ywn，zwn)。并且，在距离dn比预先确定的距离dth小(dn<dth)且世界坐标系的三维坐标的高度比地面高的情况下(zwn>0)，提取用该位置信息pa，b，n所包含的三维坐标(xan，yan，zan)确定的三维空间中的点作为三维物体上的点。进而，图像生成部113，提取将作为三维物体上的点检测到的多个位置信息所包含的三维坐标值投影到摄像头图像Ia而得的投影点的集合，将与所提取出的投影点的集合外接的矩形形状等的框重叠于摄像头图像Ia，而生成合成图像。并且，图像生成部113输出合成图像，并在显示器120显示。
如以上那样，通过由计算机300执行的步骤S401～S403的处理，图像处理部110从由拍摄部100拍摄到的2个摄像头图像生成三维物体的图像和与三维物体相关的位置信息并输出。进而，拍摄部100以及计算机300也可以重复上述的处理。
图9中示出通过步骤S403的处理生成的合成图像的例子。由于显示引起对位于靠近车体后方的摄像头的位置的障碍物、例如在图9的例子中步行者以及停止车辆的注意的框，因此，驾驶者能够容易地认知要接触的可能性高的障碍物的存在。另外，尤其是由于在多目摄像头系统10中，各摄像头使用鱼眼透镜，因此，可以取得180度的摄像头图像和与摄像头图像对应的三维坐标。
如以上那样，多目摄像头系统10的拍摄部100以及由计算机300实现的图像处理部110，作为它们的工作的结果，从由2个摄像头拍摄到的摄像头图像中算出与摄像头图像所包含的点对应的被拍摄对象上的点的三维坐标。进而，图像处理部110能够基于“对应点组所包含的像素坐标的组”和“与对应点组对应的被拍摄对象上的点的三维坐标”的组，检测并显示摄像头的视场内的障碍物等三维物体。其结果，搭载了多目摄像头系统10的汽车的驾驶者，能够容易地掌握汽车的周围的障碍物等三维物体。
[2-2.自身校准工作]
上述的多目摄像头系统10，使用预先记录的摄像头参数组进行被拍摄对象的三维坐标的算出。另一方面，该摄像头参数组存在受到了历时变化、外力或温度变化等影响的情况、产生变形等而变化的情况。在这样的情况下，会需要进行摄像头的校准。以下，对于多目摄像头系统10中的自身校准时的工作，使用图10以及图11进行说明。此外，图10是示出了图2的多目摄像头系统10的摄像头参数组算出装置111的详细的构成的功能性构成图。图11是表示实施方式涉及的多目摄像头系统10的图像处理部110中的自身校准处理S111的一例的流程图。
如图10所示，进行自身校准处理S111的摄像头参数组算出装置111包括取得部901、对应点算出部902、评价值算出部903、摄像头参数决定部904、摄像头参数输出部905。取得部901、对应点算出部902、评价值算出部903、摄像头参数决定部904、摄像头参数输出部905的各构成要素，也可以具有与图像处理部110的各构成要素同样的构成。
取得部901从拍摄部100取得通过摄像头101a以及101b分别拍摄到的摄像头图像Ia以及Ib。取得部901也可以取得保存于拍摄部100或图像处理部110等具有的未图示的存储器等存储装置的摄像头图像Ia以及Ib。各摄像头图像Ia以及Ib包含成为校准的基准的同一对象。另外，取得部901从摄像头参数存储部114取得由在摄像头101a以及101b中当前被设定的摄像头参数构成的初始摄像头参数组。
对应点算出部902，在摄像头图像Ia以及Ib中，提取相互对应的点的组即对应点组，算出摄像头图像Ia以及Ib各自中的对应点的像素坐标。
评价值算出部903基于对应点的像素坐标以及初始摄像头参数组，使用上述的立体测距技术，算出与对应点组对应的被拍摄对象上的点的三维坐标。在以后的说明中，也将与对应点组对应的被拍摄对象上的点称为测距点。
另外，评价值算出部903基于将测距点的三维坐标分别投影到摄像头图像Ia以及Ib而得的点的像素值，算出摄像头参数组的评价值。在以后的说明中，将把测距点的三维坐标投影到2个摄像头图像而得到的该2个摄像头图像上的点分别称为投影点。也可以将把基于由摄像头1拍摄被拍摄对象而得到的摄像头图像Ia以及由摄像头2拍摄被拍摄对象而得到的摄像头图像Ib取得的测距点投影到摄像头图像Ia而得的投影点称为第1投影点，将把同一测距点投影到摄像头图像Ib而得的投影点称为第2投影点。
摄像头参数决定部904，基于通过评价值算出部903算出的评价值，判定当前是否应变更设定于摄像头101a以及101b的摄像头参数组。摄像头参数决定部904基于判定结果对摄像头参数组进行变更即更新。这样，摄像头参数决定部904决定摄像头参数组。摄像头参数输出部905取得由摄像头参数决定部904决定的摄像头参数组，并输出给摄像头参数存储部114等。
如图11所示，摄像头参数组算出装置111通过进行包含步骤S1001～S1007在内的自身校准处理S111，对设定于摄像头101a以及101b的摄像头参数的组、即初始摄像头参数组进行校准。在自身校准处理S111中，摄像头参数组算出装置111自动地进行校准处理。摄像头参数组算出装置111，若经由开关、触摸板、键盘等未图示的输入装置由用户向多目摄像头系统10输入校准指示，则开始摄像头101a以及101b的自身校准处理。例如，用户既可以在确认出摄像头101a或101b的异常的情况下输入校准指示，又可以在摄像头101a以及101b的制造完成后的出厂前输入校准指示。另外，摄像头参数组算出装置111也可以在预先设定的时期自动地开始自身校准处理。
在摄像头参数组算出装置111的自身校准处理S111开始后，在步骤S1001中，取得部901取得通过摄像头101a以及101b拍摄到的摄像头图像Ia以及Ib。进而，在步骤S1002中，取得部901读入预先保存于摄像头参数存储部114的摄像头101a以及101b各自的初始摄像头参数组Ca0以及Cb0。在此，“预先”也可以指“摄像头参数组算出装置111开始自身校准处理前”。
在步骤S1003中，对应点算出部902使用所取得的摄像头101a以及101b的摄像头图像Ia以及Ib，通过与图5所示的步骤S402相同的对应点搜索手法，推定2个摄像头图像Ia、Ib间的多组对应点组。进而，对应点算出部902算出摄像头图像Ia所包含的对应点的像素坐标(uan，van)、摄像头图像Ib所包含的对应点的像素坐标(ubn，vbn)并输出。此外，n取1～N的值，第n个对应点组包含对应点Pan、对应点Pbn。
在此，步骤S1004～S1006根据在步骤S1005中的判定结果而被重复。并且，每当重复时，更新摄像头101a以及101b各自的摄像头参数组。因此，将第r次的重复时的摄像头101a以及101b各自的摄像头参数组表示为摄像头参数组Car以及Cbr。在初始摄像头参数组的情况下，r＝0。
在步骤S1004中，评价值算出部903使用N个对应点组各自所包含的对应点的像素坐标和摄像头101a以及101b各自的摄像头参数组Car以及Cbr，通过使用了立体测距技术的下述的式10，算出并输出与N个对应点组对应的点的三维坐标(xarn，yarn，zarn)。即，评价值算出部903算出N个测距点的三维坐标。
(xarn，yarn，zarn)＝F(uan，van，ubn，vbn，Car，Cbr)r＝0...R，n＝1...N (式10)
进而，评价值算出部903使用N个测距点的三维坐标和摄像头101a以及101b的摄像头参数组Car以及Cbr，将各测距点投影于摄像头101a以及101b的摄像头图像Ia以及Ib。并且，评价值算出部903关于各测距点算出投影测距点而得到的摄像头图像Ia上的第1投影点以及摄像头图像Ib上的第2投影点。“将测距点投影于摄像头图像”是指评价值算出部903通过下述的式11以及式12将各测距点的三维坐标进行坐标变换，而变换为摄像头图像Ia以及Ib的像素坐标。由此，评价值算出部903关于与各测距点对应的第1投影点和第2投影点，算出摄像头图像Ia中的像素坐标(uarn，varn)以及摄像头图像Ib中的像素坐标(ubrn，vbrn)。式11中的函数G表示基于上述式1、式2以及式4的从测距点的三维坐标向摄像头图像Ia的像素坐标的坐标变换，式12中的函数H表示基于上述式1、式2以及式4的从测距点的三维坐标向摄像头图像Ib的像素坐标的坐标变换。
(uarn，varn)＝G(xarn，yarn，zarn，Car) r＝0...R，n＝1...N (式11)
(ubrn，vbrn)＝H(xarn，yarn，zarn，Car，Cbr) r＝0...R，H＝1...N (式12)
进而，评价值算出部903使用摄像头图像Ia以及Ib和摄像头参数组Car以及Cbr，算出将测距点投影到摄像头图像Ia的第1投影点的像素值iar和将同一测距点投影到摄像头图像Ib的第2投影点的像素值ibr。例如，若将第1投影点的像素坐标设为(uarn，varn)，将第2投影点的像素坐标设为(ubrn，vbrn)，则第1投影点的像素值iar表示为Ia(uarn，varn)，第2投影点的像素值ibr表示为Ib(ubrn，vbrn)。此外，评价值算出部903算出对于各个测距点的第1投影点的像素值和第2投影点的像素值。并且，评价值算出部903基于下述的式13所示的评价函数算出用第1投影点的像素值iar以及第2投影点的像素值ibr的差的绝对值的总和定义的评价值J。此外，在式13中，N是测距点的数量。
另外，在本实施方式中，像素值是像素的辉度值。对于实数精度的像素坐标，像素值用双三次插值(Bicubic interpolation)算出。此外，像素值不限定于辉度值，也可以取代辉度值而使用RGB值。另外，对于实数精度的像素坐标的像素值的算出方法，不限定于双三次插值，也可以是双线性插值(Bilinear interpolation)等其他的插值方法。另外，在评价值J的计算中的算出与N个测距点对应的第1投影点的像素值与第2投影点的像素值的差的绝对值的和时，也可以在像素值的差的绝对值上附加权重。例如，既可以增加被拍摄对象的颜色连续地变化的点群的权重，又可以减小被拍摄对象的表面的凹凸大的点群的权重。这些权重附加能够期待相对于摄像头参数的连续的变化，使评价值J的变化平滑，使得评价值J容易最小化的效果。
接着，在步骤S1005中，摄像头参数决定部904判定是否满足摄像头101a以及101b的摄像头参数组Car以及Cbr的更新的结束条件。在不满足结束条件的情况下(步骤S1005中“否”)，摄像头参数决定部904为了变更摄像头参数组Car以及Cbr而进入步骤S1006的处理。在满足结束条件的情况下(步骤S1005中“是”)，摄像头参数决定部904结束摄像头参数组的更新，将更新后的最新的状态的摄像头参数组Car以及Cbr决定为摄像头101a以及101b的摄像头参数组并输出，进入步骤S1007的处理。此外，结束条件，是摄像头参数的所给的搜索范围内的搜索完成、评价值J小于第一阈值、以及步骤S1004～S1006的重复次数r比第二阈值大中的至少一个。
在步骤S1006中，摄像头参数决定部904进行第r+1次的摄像头参数组的变更、即更新。具体而言，摄像头参数决定部904在所赋予的范围内变更摄像头101a以及101b的摄像头参数组Car以及Cbr，算出新的摄像头参数组Car+1以及Cbr+1。摄像头参数决定部904输出摄像头参数组Car+1以及Cbr+1，进入步骤S1004的处理。由此，进行步骤S1004～S1006的第r+1次的一系列的反复处理。此外，摄像头参数的搜索范围也可以是预先设定的各摄像头参数可取的范围。例如，搜索范围也可以是所有的初始摄像头参数的±5％。
在步骤S1007中，摄像头参数输出部905取得通过上述的步骤S1004～步骤S1006的反复处理算出的摄像头参数组和与该摄像头参数组对应的评价值J的多个组。与摄像头参数组对应的评价值J是使用该摄像头参数组算出的评价值。摄像头参数输出部905从多组的摄像头参数组以及评价值J中选择评价值J为最小的组的摄像头参数组。进而，摄像头参数输出部905，在与所选择出的摄像头参数组对应的评价值J比与初始摄像头参数组对应的评价值J小的情况下，用所选择出的摄像头参数组置换存储于摄像头参数存储部114的初始摄像头参数组。这样，摄像头参数组被更新为最佳的摄像头参数组。另外，能够将上述的步骤S1002～S1007的工作表示为下述的式14。此外，步骤S1001～S1007的处理也可以在图4的计算机300中执行。
如以上那样，摄像头参数组算出装置111，通过自身校准处理S111，从摄像头101a以及101b的摄像头图像通过立体测距算出与多个对应点组分别对应的测距点的三维坐标。进而，摄像头参数组算出装置111算出将测距点投影到摄像头图像Ia而得的第1投影点的像素坐标以及将同一测距点投影到摄像头图像Ib而得的第2投影点的像素坐标，基于第1投影点的像素值与第2投影点的像素值的差算出评价值。摄像头参数组算出装置111，算出使该评价值为最小的摄像头101a以及101b的摄像头参数组Car以及Cbr，由此能够得到正解值或与正解值的误差小的摄像头参数组。
[2-3.自身校准的效果的验证]
以下，基于模拟的实验结果来验证并说明上述的摄像头参数组算出装置111的自身校准处理S111能够正确地算出摄像头101a以及101b的摄像头参数。
为了基于上述的式13所示的评价值J的评价函数，算出使相对于摄像头参数的正解值的误差小的摄像头参数，式13的评价函数需要满足以下的2个条件。
(i)在摄像头参数是正解值的情况下，评价值J也是最小
(ii)在摄像头参数的正解值的附近，评价函数形成向下凸的线形
以作为由摄像头101a以及101b拍摄的摄像头图像，输入了图12A以及图12B的摄像头图像的情况为例，通过以下的实验结果表示式13的评价值J的评价函数满足上述的2个条件(i)以及(ii)。
(实验条件1)
在实验条件1中，进行了变更摄像头的摄像头参数的1个参数并算出评价值，将评价值的算出结果和作为预先已知的摄像头参数的正解值进行比较的实验。各摄像头101a以及101b的摄像头参数组中的内部参数组，根据上述的式3的等距离投影模型，包含摄像头的光轴中心的像素坐标(cu，cv)、摄像头的焦距f、摄像头的拍摄元件1个像素的量的x方向以及y方向各自的长度dpx以及dpy共计5个参数。外部参数组M如与上述的式1同样的下述的式15那样示出。外部参数组M，作为摄像头坐标系相对于世界坐标系的具体的移位量，包含绕X、Y以及Z各轴的旋转量RX、RY以及RZ和X、Y以及Z的各轴方向的平移量TX、TY以及TZ共计6个参数。在2个摄像头101a和101b的摄像头参数组中，包含合计22个参数。此外，X轴、Y轴以及Z轴是世界坐标系的基准轴。
在此，dpx和f以及dpy和f，由于尺度的不确定性而无法唯一地求出，因此，将dpy设为设计值(固定)。另外，在使用如图7A所示那样设置的2个摄像头的摄像头图像的情况下，2个摄像头的摄像头参数中的基线长度方向(例如，X轴方向)的平行移动量TX，也由于尺度的不确定性而无法唯一地求出，因此，Tx设为设计值(固定)。由此，评价值J成为将cu、cv、f、dpx、RX、RY、RZ、TY以及TZ的各摄像头中的9个摄像头参数设为变量的函数。
用于实验的图像在图12A以及图12B中示出。图12A以及图12B是停车场的场景的摄像头图像的例子，通过计算机图形学(CG)生成。图12A所示的图像以及图12B所示的图像分别是摄像头101a以及101b的摄像头图像。在本实验中，取代通过对应点算出部902算出图12A的摄像头图像和图12B的摄像头图像的对应点组，而使用了作为预先已知的对应点组的正解值。
将对应点组的正解值作为输入值，并将摄像头101a以及101b的所有的摄像头参数设定为作为正解值的设计值后，算出了在仅改变了摄像头101b的1个摄像头参数的情况下的评价值J。
(实验结果1)
说明上述的实验条件1的实验结果1。具体而言，关于9个摄像头参数，如图13A～图15B所示那样得到了正解值附近的评价值。各图中的横轴表示各摄像头参数的值，纵轴表示评价值J。使其变化的摄像头参数分别在图13A中为cu，在图13B中为cv，在图13C中为f，在图13D中为dpx，在图14A中为RX，在图14B中为RY，在图14C中为RZ，在图15A中为TY，在图15B中为TZ。
另外，各摄像头参数的正解值，cu为640pixel(像素)，cv为480pixel，f为1.12mm，dpx为2.75μm，RX为0°，RY为0°，RZ为0°，TY为0mm，TZ为0mm。各图中的横轴的中央部是摄像头参数的正解值。
在图13A～图15B中的任一图中，在摄像头参数的正解值的附近(横轴的中央部)，评价函数绘制出向下凸的线形，并且，可知评价值成为最小的摄像头参数与正解值一致。由此，可以说在图13A～图15B中示出的摄像头参数的范围内，能够算出评价值J成为最小的摄像头参数。换言之，能够实现本方式的摄像头校准。
例如，关于图13A，在cu的634～646pixsel的范围内，一边以一定的间隔或随机的间隔使cu增减，一边算出评价值。进而，在所算出的评价值中，评价值成为最小的摄像头参数cu或评价值十分小的参数cu被决定为最佳值。这样决定出的摄像头参数cu是作为正解值的摄像头参数或与正解值的误差小的摄像头参数。
由于上述原因，式13的评价函数在正解值的附近满足上述的2个条件(i)以及(ii)，通过实验条件1的实验例示出。
(实验条件2)
在实验条件2中，使用本公开的摄像头参数组算出装置111实施自身校准处理S111，由此以使误差小的方式算出摄像头参数，并进行了验证算出结果的实验。
在本实验中，图12A以及图12B所示的摄像头图像被输入摄像头参数组算出装置111，对2个摄像头图像间的对应点组，与实验条件1同样地使用了作为预先已知的正解值。另外，将摄像头101a以及101b的全部的摄像头参数设定为作为正解值的设计值后，对摄像头101b的9个摄像头参数加上预定范围内的随机噪声，将相加后的摄像头参数设为初始摄像头参数。在预定范围内一边使摄像头101b的9个参数中的仅1个参数变化，一边评价值，在所算出的评价值中，将评价值成为最小的摄像头参数决定为最佳值。将对9个摄像头参数依次重复该处理的处理作为1次试行，进而重复了多次试行。
(实验结果2)
说明上述的实验条件2的实验结果2。具体而言，如图16A以及图16B所示那样得到了实验结果2的例子。在图16A中，横轴表示试行次数，纵轴表示式13的评价值J。即，图16A中，用纵轴的值表示了使用实施横轴的次数的试行而得到的摄像头参数来算出的评价值。在图16B中，横轴表示试行次数，纵轴表示重投影误差的RMS值。重投影误差是指表示所算出的摄像头参数满足式1和式2的程度。具体而言，在映现到摄像头101b的摄像头图像Ib的被拍摄对象上的三维坐标和该像素坐标的组的正解值是已知的情况下，使用所算出的摄像头101b的摄像头参数，算出将正解的三维坐标投影到摄像头图像Ib上的像素坐标，将所算出的像素坐标与正解的像素坐标的差称为重投影误差。即，重投影误差越小，则表示是满足式1以及式2那样的与正解的误差越小的摄像头参数。在图16A以及图16B中的任一图中，试行次数越增加，评价值会越小。因此，2个摄像头图像的投影点处的像素值的差会变小。同时，试行次数越增加，重投影误差也会变得越小。
根据上述可以说，通过由本公开的摄像头参数组算出装置111执行的自身校准处理S111，能够算出重投影误差小、即充分地满足式1以及式2且与正解值的误差小的摄像头参数。
根据上述可以说，通过自身校准处理S111得到的使上述的式13的评价值J为最小的摄像头参数，至少在评价值J的评价函数满足上述的2个条件(i)以及(ii)的情况下是正解值或误差小的摄像头参数。即，具有通过由摄像头参数组算出装置111执行的步骤S1001～步骤S1007的处理，能够使用摄像头101a以及101b的2个摄像头图像和初始摄像头参数组，算出摄像头101a以及101b的正确的摄像头参数并更新这一效果。
在以往的校准技术中，使用三维坐标与像素坐标的对应是已知的多个基准点，因此，会需要具备校准标记的设备等。与此相对，本实施方式涉及的摄像头参数组算出装置111使用2个摄像头的摄像头图像提取对应点组，算出与所提取的对应点组对应的被拍摄对象上的点的三维坐标，进而使用三维坐标算出各摄像头的摄像头图像中的对应点组所包含的对应点的投影点。在摄像头参数正确的情况下，2个摄像头图像的投影点的像素值一致，摄像头参数的误差越大则2个摄像头图像的投影点的像素值的差会越大。于是，摄像头参数组算出装置111通过算出使2个摄像头图像的投影点的像素值的差最小的摄像头参数，来算出最佳即正解的摄像头参数。由此，摄像头参数组算出装置111可以实现即便没有具备三维坐标与像素坐标的对应已知的基准点、即校准标记的设备等也能够对摄像头进行校准这一效果。
[2-4.自身校准工作的变形例1]
实施方式涉及的摄像头参数组算出装置111，将用户的输入作为自身校准处理S111开始的触发，但是不限定于此。摄像头参数组算出装置111也可以通过其他的触发自动地开始执行自身校准处理S111的开始。例如，摄像头参数组算出装置111也可以将来自温度传感器、冲击传感器、计时器等传感器的输入作为触发，自动地开始进行自身校准。例如，参照图17，示出了表示具备传感器部130的多目摄像头系统10的构成的框图。多目摄像头系统10除了实施方式之外还具备包括温度传感器131、冲击传感器132以及计时器133的传感器部130，摄像头参数组算出装置111除了实施方式之外还具备从传感器部130取得检测信息并输出自身校准处理S111的开始指令的传感器信息取得部906。
摄像头参数组算出装置111，也可以在刚接通多目摄像头系统10的电源后，实施1次自身校准处理S111。此外，取代上述的电源接通后的实施，摄像头参数组算出装置111既可以基于从传感器部130的计时器133的输入实施自身校准处理S111，又可以基于从传感器部130的冲击传感器132的输入实施自身校准处理S111，还可以基于传感器部130的温度传感器131的输入实施自身校准处理S111。基于来自计时器133的输入的实施，也可以每隔由计时器133检测的一定时间来实施。基于来自冲击传感器132的输入的实施，也可以在冲击传感器132检测到因事故等对多目摄像头系统10所搭载的汽车施加的强的冲击的情况下执行。此外，冲击传感器132也可以由加速度传感器构成。基于温度传感器131的输入的实施，也可以在温度传感器131检测到多目摄像头系统10的周围的温度成为预定的温度的情况下执行。
[2-5.自身校准工作的变形例2]
实施方式涉及的摄像头参数组算出装置111，在自身校准处理S111中，在步骤S1003中，提取摄像头图像Ia以及Ib间的N组对应点组，在步骤S1004中，通过立体测距技术算出与所提取出的N组对应点组中的各对应点组对应的被拍摄对象上的点的三维坐标，进而，使用所算出的三维坐标算出了评价值J。但是，评价值J的算出无需使用与N组对应点组中的各对应点组对应的被拍摄对象上的点的所有的三维坐标。
在本变形例中，摄像头参数组算出装置111从与通过立体测距算出的N个对应点组中的各对应点组对应的被拍摄对象上的点、即测距点的三维坐标中除去没有图像的辉度梯度或图像的辉度梯度十分小的测距点的三维坐标。由此，摄像头参数组算出装置111可以减少用于评价值J的算出的测距点，降低评价值J的算出中的计算量。
本变形例涉及的摄像头参数组算出装置111的自身校准处理S111，除了步骤S1004的工作，与实施方式同样。因此，说明本变形例涉及的步骤S1004的工作，省略其它的说明。
在步骤S1004中，摄像头参数组算出装置111的评价值算出部903，使用所算出的N组对应点组所包含的对应点的像素坐标和摄像头101a以及101b各自的摄像头参数组Car以及Cbr，通过上述的式10，算出并输出与N组对应点组对应的被拍摄对象上的点即测距点的三维坐标(xarn，yarn，zarn)。
进而，评价值算出部903使用N个测距点的三维坐标和摄像头101a以及摄像头101b的摄像头参数组Car以及Cbr，通过上述的式11以及式12，将各测距点投影到摄像头101a以及101b的摄像头图像Ia以及Ib。具体而言，算出与各测距点的三维坐标对应的摄像头图像Ia以及Ib各自的像素坐标(uarn，varn)以及(ubrn，vbrn)。
并且，评价值算出部903从N个测距点中，除去将测距点投影到摄像头图像Ia而得的投影点的像素坐标(uarn，varn)中的像素值的辉度梯度为0或十分小的M个测距点，选择N-M个(M>0或M＝0)测距点的三维坐标。
在与测距点的三维坐标(xarn，yarn，zarn)对应的像素坐标(uarn，varn)的周围的像素值的辉度梯度为0的情况下，通过使摄像头参数微小变化，即便与该测距点对应的像素坐标(uarn，varn)发生微小变化，该像素坐标的像素值Ia(uarn，varn)也不会变化。换言之，评价值J不变化。因此，即便除去了这样的测距点，对评价值J也没有影响并且测距点的数减少，因此，具有能够降低步骤S1004的计算量这一效果。
此外，用于步骤S1004中的评价值J的算出的测距点的删减，也可以使用其他的手法。例如，也可以从测距点中除去未映现到2个摄像头101a以及101b中的一方的摄像头的测距点。在该情况下，也可以是，算出与测距点的三维坐标对应的摄像头图像Ia中的第1投影点的像素坐标和与同一测距点的三维坐标对应的摄像头图像Ib中的第2投影点的像素坐标，在2个像素坐标中的任一方位于摄像头图像的不可见区域的情况下，从评价值J的算出中除去该测距点。
上述的式13意味着在同一测距点映现于2个摄像头图像Ia以及Ib的情况下，将测距点投影到摄像头图像Ia而得的投影点的像素值和将同一测距点投影到摄像头图像Ib而得的投影点的像素值的差成为0。另一方面，将测距点投影到摄像头图像Ia而得的第1投影点以及将同一测距点投影到摄像头图像Ib而得的第2投影点中的任一个位于摄像头101a以及101b的遮蔽区域的情况，意味着即便位于拍摄范围内也被其他的物体遮蔽而未映现到摄像头图像、即第1投影点和第2投影点不是同一测距点，存在测距点以及投影点中包含错误的可能性。这样的第1投影点和第2投影点，在摄像头参数正确的情况下，第1投影点的像素值与第2投影点的像素值的差也不会成为0，因此，会成为评价值的误差。于是，作为删减用于步骤S1004中的评价值J的算出的测距点的方法，也可以从评价值的算出中除去多个测距点中的、其投影点未映现于至少一方的摄像头即位于该摄像头的不可见区域的测距点。这样一来，能够期待可以使评价值的误差小这一效果。测距点的投影点是否位于摄像头的不可见区域，也可以基于上述那样的规定成为摄像头的拍摄范围外的三维空间的范围的遮蔽信息来判定。
此外，在摄像头参数组算出装置111的自身校准处理S111的步骤S1005中，设为基于评价值J比第一阈值小以及处理的重复次数r比第二阈值大等结束条件，结束反复计算，但是，反复计算的结束条件不限于此。例如，也可以增加其他的结束条件。例如，也可以将即便使摄像头参数组变化评价值J也不变化的情况作为结束条件。
此外，关于摄像头参数组算出装置111的自身校准处理S111，在评价值J的评价函数满足上述的2个条件的情况下，能够算出评价值J小即正解值与摄像头参数的差小、换言之误差小的摄像头参数并进行更新。但是，在评价函数不满足上述的2个条件的情况下，不一定能够算出误差小的摄像头参数。例如，在摄像头的拍摄范围极其暗且所有的像素值为0的情况下、以及被拍摄对象颜色均匀、完全没有纹理的情况下，关于上述的式13的评价值J，即便改变摄像头参数，其值也不变，而成为固定值(例如，0)。在摄像头参数组算出装置111取得了这样的摄像头图像的情况下，在自身校准处理S111中，在步骤S1004～S1006的反复次数r成为第二阈值以上之前不结束反复处理，评价值保持固定而不更新。此时，即便不更新摄像头参数，处理中也要承受计算负担。与此相对，在使摄像头参数变化评价值也不变化的情况下，通过结束反复处理，可实现能够降低计算负担这一效果。
[3.评价函数的变分(Variation)]
在实施方式以及变形例涉及的自身校准处理中，如上述的式13所示那样，对在摄像头参数组算出装置111的自身校准处理S111中使用的评价值J，应用了基于与多个测距点中的各测距点对应的像素值的差的绝对值的和的评价函数。但是，评价函数不限定于上述的函数，只要是基于与测距点对应的2个摄像头图像的像素值的差的函数即可，也可以是其他的函数。例如，评价函数也可以是使用与多个测距点中的各测距点对应的2个摄像头图像的2个像素值的差的平方的总和的评价函数。具体而言，对各测距点求出将测距点投影到摄像头图像Ia而得的第1投影点的像素值和将同一测距点投影到摄像头图像Ib而得的第2投影点的像素值的差的平方，将所求出的值相加的评价函数的例子，在下述的式16中示出。
关于基于用上述的式13所示那样的像素值的差的绝对值和来定义的评价值算出的摄像头参数，能够期待在像素值的差为拉普拉斯分布的情况下接近真值、即相对于真值的误差小这一效果。
与此相对，关于基于用上述式16所示那样的像素值的差的平方和来定义的评价值算出的摄像头参数，能够期待在像素值的误差为高斯分布的情况下接近真值、即相对于真值的误差小这一效果。
[其它]
以上，对于本公开的1个以上的技术方案涉及的摄像头参数组算出装置等，基于实施方式进行了说明，但是本公开不限定于实施方式。只要不脱离本公开的主旨，本领域技术人员所能想到的各种变形在本实施方式中实施后的技术方案、将不同的实施方式中的构成要素组合地构筑的技术方案也包含于本公开的1个以上的技术方案的范围内。
在实施方式以及变形例中，拍摄部100由2个摄像头101a以及101b构成，但是摄像头的数量不限定于2个。为了进行本公开的自身校准，拍摄部100具备至少2个摄像头即可，摄像头只要是2个以上，是几个都可以。另外，摄像头彼此既可以被一体化，又可以独立地配置。
在实施方式以及变形例中设为多目摄像头系统10的拍摄部100、图像处理部110以及显示器120都搭载于汽车，构成图像处理部110的摄像头参数组算出装置111也搭载于汽车，但是不限定于此。例如，拍摄部100、图像处理部110以及显示器120也可以搭载于汽车以外的某种移动体。移动体也可以是汽车以外的车辆、船舶或飞行器等。汽车以外的车辆也可以是货车、公交车、二轮车，输送车，铁轨，工程机械，装卸机械等。飞行器也可以是飞机、无人机等。
另外，摄像头参数组算出装置111，也可以由通过网络与汽车连接的设置在其他的场所的计算机构成。关于摄像头参数组算出装置111中的摄像头参数的自身校准处理S111，由于计算负担大，因此，与在搭载于汽车的计算能力受制约的计算机上实施相比，通过由服务器等计算能力高的计算机进行实施，有计算时间更短、能够进行精度更高的参数的算出这一效果。
另外，如上所述，本公开的技术既可以通过系统、装置、方法、集成电路、计算机程序或计算机可读取的记录盘等记录介质来实现，也可以通过系统、装置、方法、集成电路、计算机程序以及记录介质的任意的组合来实现。计算机可读取的记录介质例如包括CD-ROM等非易失性的记录介质。
例如，上述实施方式涉及的多目摄像头系统所包含的各构成要素典型地作为集成电路即LSI(Large Scale Integration：大规模集成电路)来实现。它们既可以独立地单芯片化，也可以以包含一部分或全部的方式单芯片化。
另外，集成电路化不限定于LSI，也可以通过专用电路或通用处理器来实现。也可以利用能够在LSI制造后编程的FPGA(Field Programmable Gate Array)或能够重构LSI内部的电路单元的连接、设定的可重构处理器。
此外，在上述实施方式中，各构成要素可以由专用的硬件构成或通过执行适于各构成要素的软件程序来实现。各构成要素通过CPU或处理器等程序执行部读出并执行记录于硬盘或半导体存储器等记录介质的软件程序来实现。
另外，上述构成要素的一部分或全部也可以由能够拆装的IC(IntegratedCircuit)卡或单体的模块构成。IC卡或模块是由微处理器、ROM、RAM等构成的计算机系统。也可以设为IC卡或模块包含上述的LSI或系统LSI。微处理器根据计算机程序工作，由此IC卡或模块实现其功能。也可以设为这些IC卡以及模块具有抗篡改性。
本公开的摄像头参数组算出方法也可以通过MPU(Micro Processing Unit)、CPU、处理器、LSI等电路、IC卡或单体的模块等来实现。
进而，本公开的技术既可以通过软件程序或由软件程序构成的数字信号实现，也可以是记录有程序的非瞬时性的计算机可读的记录介质。另外，上述程序当然也可以经由因特网等传送媒介来流通。
另外，在上述使用的序数、数量等数字，都是用于具体地说明本公开的技术的例示，本公开不限制于所例示的数字。另外，构成要素间的连接关系是用于具体地说明本公开的技术的例示，实现本公开的功能的连接关系不限定于此。
另外，框图中的功能块的分割仅是一例，可以将多个功能块作为1个功能块实现、或将1个功能块分割成多个、或将一部分的功能移到其他的功能块。另外，也可以由单一的硬件或软件并行或分时地对具有类似的功能的多个功能块的功能进行处理。
本公开涉及的摄像头参数算出装置等，在双目以上的任意的多目摄像头的摄像头参数的算出中是有用的。

Claims (12)

1.一种摄像头参数组算出方法，包括：
(a1)取得由第1摄像头拍摄到的第1图像和由第2摄像头拍摄到的第2图像；
(a2)取得包含所述第1摄像头的1个以上的摄像头参数的第1摄像头参数组和包含所述第2摄像头的1个以上的摄像头参数的第2摄像头参数组；
(a3)基于所述第1图像、所述第2图像、所述第1摄像头参数组以及所述第2摄像头参数组，算出映现到所述第1图像和所述第2图像的被拍摄对象上的多个三维坐标；
(a4)基于所述第1摄像头参数组决定将所述多个三维坐标投影到所述第1图像而得到的多个第1像素坐标，基于所述第2摄像头参数组决定将所述多个三维坐标投影到所述第2图像而得到的多个第2像素坐标；
(a5)基于所述第1图像中的所述多个第1像素坐标处的多个像素值和所述第2图像中的所述多个第2像素坐标处的多个像素值，算出评价值；
(a6)基于所述评价值，更新所述第1摄像头参数组以及所述第2摄像头参数组；以及
(a7)输出更新后的所述第1摄像头参数组以及所述第2摄像头参数组，
处理(a1)～处理(a7)中的至少一个处理通过处理器执行，
所述多个三维坐标是(x1，y1，z1)～(xi，yi，zi)～(xn，yn，zn)，所述多个第1像素坐标是(u11，v11)～(u1i，v1i)～(u1n，v1n)，所述多个第2像素坐标是(u21，v21)～(u2i，v2i)～(u2n，v2n)，所述i和所述n是自然数且1<i≤n，所述(xi，yi，zi)和所述(u1i，v1i)对应，所述(xi，yi，zi)和所述(u2i，v2i)对应，所述(u1i，v1i)处的像素值是I1(u1i，v1i)，所述(u2i，v2i)处的像素值是I2(u2i，v2i)，
在处理(a5)中，基于所述I1(u1i，v1i)和所述I2(u2i，v2i)的差异Di算出所述评价值。
2.根据权利要求1所述的摄像头参数组算出方法，
在处理(a4)中，通过使用所述第1摄像头参数组所包含的1个以上的摄像头参数对所述多个三维坐标中的各三维坐标进行坐标变换，决定所述多个第1像素坐标，通过使用所述第2摄像头参数组所包含的1个以上的摄像头参数对所述多个三维坐标中的各三维坐标进行坐标变换，决定所述多个第2像素坐标。
3.根据权利要求1所述的摄像头参数组算出方法，
在处理(a5)中，基于算出所述评价值。
4.根据权利要求1所述的摄像头参数组算出方法，
在处理(a5)中，基于算出所述评价值。
5.根据权利要求1所述的摄像头参数组算出方法，
在处理(a5)中，基于算出所述评价值。
6.根据权利要求1所述的摄像头参数组算出方法，包括：
(b1)在处理(a1)～(a7)之前，从温度传感器取得检测温度信息，
(b2)基于所取得的所述检测温度信息，开始处理(a1)～(a7)。
7.根据权利要求1所述的摄像头参数组算出方法，包括：
(c1)在处理(a1)～(a7)之前，取得冲击传感器的检测冲击信息，
(c2)基于所取得的所述检测冲击信息，开始处理(a1)～(a7)。
8.根据权利要求1所述的摄像头参数组算出方法，包括：
(d1)在处理(a1)～(a7)之前，取得计时器的检测时刻信息，
(d2)基于所取得的所述检测时刻信息，开始处理(a1)～(a7)。
9.一种摄像头参数组算出方法，包括：
(a1)取得由第1摄像头拍摄到的第1图像和由第2摄像头拍摄到的第2图像；
(a2)取得包含所述第1摄像头的1个以上的摄像头参数的第1摄像头参数组和包含所述第2摄像头的1个以上的摄像头参数的第2摄像头参数组；
(a3)从所述第1图像以及所述第2图像中的各图像推定多组所述第1图像以及所述第2图像之间的对应点组；
(a4)基于所述第1图像、所述第2图像、所述第1摄像头参数组以及所述第2摄像头参数组，算出与所述多组对应点组中的各对应点组对应的三维坐标；
(a5)基于所述第1摄像头参数组决定将所述多个三维坐标投影到所述第1图像而得到的多个第1像素坐标，基于所述第2摄像头参数组决定将所述多个三维坐标投影到所述第2图像而得到的多个第2像素坐标；
(a6)基于所述第1图像中的所述多个第1像素坐标处的多个像素值和所述第2图像中的所述多个第2像素坐标处的多个像素值，算出评价值；
(a7)基于所述评价值，更新所述第1摄像头参数组以及所述第2摄像头参数组；以及
(a8)输出更新后的所述第1摄像头参数组以及所述第2摄像头参数组，
处理(a1)～处理(a8)中的至少一个处理通过处理器执行，
所述多个三维坐标是(x1，y1，z1)～(xi，yi，zi)～(xn，yn，zn)，所述多个第1像素坐标是(u11，v11)～(u1i，v1i)～(u1n，v1n)，所述多个第2像素坐标是(u21，v21)～(u2i，v2i)～(u2n，v2n)，所述i和所述n是自然数且1<i≤n，所述(xi，yi，zi)和所述(u1i，v1i)对应，所述(xi，yi，zi)和所述(u2i，v2i)对应，所述(u1i，v1i)处的像素值是I1(u1i，v1i)，所述(u2i，v2i)处的像素值是I2(u2i，v2i)，
在处理(a6)中，基于所述I1(u1i，v1i)和所述I2(u2i，v2i)的差异Di算出所述评价值。
10.一种计算机可读的记录介质，存储有摄像头参数组算出程序，所述摄像头参数组算出程序使计算机执行：
(a1)取得由第1摄像头拍摄到的第1图像和由第2摄像头拍摄到的第2图像；
(a2)取得包含所述第1摄像头的1个以上的摄像头参数的第1摄像头参数组和包含所述第2摄像头的1个以上的摄像头参数的第2摄像头参数组；
(a3)基于所述第1图像、所述第2图像、所述第1摄像头参数组以及所述第2摄像头参数组，算出映现到所述第1图像和所述第2图像的被拍摄对象上的多个三维坐标；
(a4)基于所述第1摄像头参数组决定将所述多个三维坐标投影到所述第1图像而得到的多个第1像素坐标，基于所述第2摄像头参数组决定将所述多个三维坐标投影到所述第2图像而得到的多个第2像素坐标；
(a5)基于所述第1图像中的所述多个第1像素坐标处的多个像素值和所述第2图像中的所述多个第2像素坐标处的多个像素值，算出评价值；
(a6)基于所述评价值，更新所述第1摄像头参数组以及所述第2摄像头参数组；以及
(a7)输出更新后的所述第1摄像头参数组以及所述第2摄像头参数组，
所述多个三维坐标是(x1，y1，z1)～(xi，yi，zi)～(xn，yn，zn)，所述多个第1像素坐标是(u11，v11)～(u1i，v1i)～(u1n，v1n)，所述多个第2像素坐标是(u21，v21)～(u2i，v2i)～(u2n，v2n)，所述i和所述n是自然数且1<i≤n，所述(xi，yi，zi)和所述(u1i，v1i)对应，所述(xi，yi，zi)和所述(u2i，v2i)对应，所述(u1i，v1i)处的像素值是I1(u1i，v1i)，所述(u2i，v2i)处的像素值是I2(u2i，v2i)，
在处理(a5)中，基于所述I1(u1i，v1i)和所述I2(u2i，v2i)的差异Di算出所述评价值。
11.一种摄像头参数组算出装置，是包括处理电路的摄像头参数组算出装置，
所述处理电路，
(a1)取得由第1摄像头拍摄到的第1图像和由第2摄像头拍摄到的第2图像；
(a2)取得包含所述第1摄像头的1个以上的摄像头参数的第1摄像头参数组和包含所述第2摄像头的1个以上的摄像头参数的第2摄像头参数组；
(a3)基于所述第1图像、所述第2图像、所述第1摄像头参数组以及所述第2摄像头参数组，算出映现到所述第1图像和所述第2图像的被拍摄对象上的多个三维坐标；
(a4)基于所述第1摄像头参数组决定将所述多个三维坐标投影到所述第1图像而得到的多个第1像素坐标，基于所述第2摄像头参数组决定将所述多个三维坐标投影到所述第2图像而得到的多个第2像素坐标；
(a5)基于所述第1图像中的所述多个第1像素坐标处的多个像素值和所述第2图像中的所述多个第2像素坐标处的多个像素值，算出评价值；
(a6)基于所述评价值，更新所述第1摄像头参数组以及所述第2摄像头参数组；以及
(a7)输出更新后的所述第1摄像头参数组以及所述第2摄像头参数组，
所述多个三维坐标是(x1，y1，z1)～(xi，yi，zi)～(xn，yn，zn)，所述多个第1像素坐标是(u11，v11)～(u1i，v1i)～(u1n，v1n)，所述多个第2像素坐标是(u21，v21)～(u2i，v2i)～(u2n，v2n)，所述i和所述n是自然数且1<i≤n，所述(xi，yi，zi)和所述(u1i，v1i)对应，所述(xi，yi，zi)和所述(u2i，v2i)对应，所述(u1i，v1i)处的像素值是I1(u1i，v1i)，所述(u2i，v2i)处的像素值是I2(u2i，v2i)，
在处理(a5)中，基于所述I1(u1i，v1i)和所述I2(u2i，v2i)的差异Di算出所述评价值。
12.一种摄像头参数组算出装置，是包括处理电路的摄像头参数组算出装置，
所述处理电路，
(a1)取得由第1摄像头拍摄到的第1图像和由第2摄像头拍摄到的第2图像；
(a2)取得包含所述第1摄像头的1个以上的摄像头参数的第1摄像头参数组和包含所述第2摄像头的1个以上的摄像头参数的第2摄像头参数组；
(a3)从所述第1图像以及所述第2图像中的各图像推定多组所述第1图像以及所述第2图像之间的对应点组；
(a4)基于所述第1图像、所述第2图像、所述第1摄像头参数组以及所述第2摄像头参数组，算出与所述多组对应点组中的各对应点组对应的三维坐标；
(a5)基于所述第1摄像头参数组决定将所述多个三维坐标投影到所述第1图像而得到的多个第1像素坐标，基于所述第2摄像头参数组决定将所述多个三维坐标投影到所述第2图像而得到的多个第2像素坐标；
(a6)基于所述第1图像中的所述多个第1像素坐标处的多个像素值和所述第2图像中的所述多个第2像素坐标处的多个像素值，算出评价值；
(a7)基于所述评价值，更新所述第1摄像头参数组以及所述第2摄像头参数组；以及
(a8)输出更新后的所述第1摄像头参数组以及所述第2摄像头参数组，
所述多个三维坐标是(x1，y1，z1)～(xi，yi，zi)～(xn，yn，zn)，所述多个第1像素坐标是(u11，v11)～(u1i，v1i)～(u1n，v1n)，所述多个第2像素坐标是(u21，v21)～(u2i，v2i)～(u2n，v2n)，所述i和所述n是自然数且1<i≤n，所述(xi，yi，zi)和所述(u1i，v1i)对应，所述(xi，yi，zi)和所述(u2i，v2i)对应，所述(u1i，v1i)处的像素值是I1(u1i，v1i)，所述(u2i，v2i)处的像素值是I2(u2i，v2i)，
在处理(a6)中，基于所述I1(u1i，v1i)和所述I2(u2i，v2i)的差异Di算出所述评价值。
CN201810324184.5A 2017-04-20 2018-04-12 摄像头参数组算出方法、程序及装置 Active CN108734742B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017083889 2017-04-20
JP2017-083889 2017-04-20

Publications (2)

Publication Number Publication Date
CN108734742A CN108734742A (zh) 2018-11-02
CN108734742B true CN108734742B (zh) 2023-07-21

Family

ID=63854745

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810324184.5A Active CN108734742B (zh) 2017-04-20 2018-04-12 摄像头参数组算出方法、程序及装置

Country Status (3)

Country Link
US (1) US10484665B2 (zh)
JP (1) JP7038345B2 (zh)
CN (1) CN108734742B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10666926B1 (en) * 2017-07-18 2020-05-26 Edge 3 Technologies, Inc. Residual error mitigation in multiview calibration
JP7054803B2 (ja) * 2017-07-21 2022-04-15 パナソニックＩｐマネジメント株式会社 カメラパラメタセット算出装置、カメラパラメタセット算出方法及びプログラム
US11361466B2 (en) * 2018-11-30 2022-06-14 Casio Computer Co., Ltd. Position information acquisition device, position information acquisition method, recording medium, and position information acquisition system
US10399227B1 (en) 2019-03-29 2019-09-03 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control
US10906184B2 (en) 2019-03-29 2021-02-02 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control
JP7240258B2 (ja) * 2019-05-30 2023-03-15 キヤノン株式会社 画像処理装置、画像処理装置の制御方法及びプログラム
JP2021082181A (ja) * 2019-11-22 2021-05-27 パナソニックＩｐマネジメント株式会社 位置推定装置、車両、位置推定方法、及び位置推定プログラム
TWI720869B (zh) * 2020-04-15 2021-03-01 致伸科技股份有限公司 相機模組之對位方法
CN112815911B (zh) * 2020-12-30 2022-01-04 河海大学 基于三目视觉的输电线路交跨距离测量方法
CN112967343B (zh) * 2021-01-20 2023-01-06 深圳视觉龙智能传感器有限公司 一种实现2d相机引导2.5d贴装的算法
US11436708B1 (en) * 2021-08-19 2022-09-06 Unity Technologies Sf Removing moving objects from a video scene captured by a moving camera
CN117576228B (zh) * 2024-01-16 2024-04-16 成都合能创越软件有限公司 基于实时场景的相机坐标标定方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05284485A (ja) * 1992-04-02 1993-10-29 Matsushita Electric Ind Co Ltd 画像補正装置
CN105118055A (zh) * 2015-08-11 2015-12-02 北京电影学院 摄影机定位修正标定方法及系统
CN106228564A (zh) * 2016-07-29 2016-12-14 国网河南省电力公司郑州供电公司 多目相机的外参数两步联合在线标定方法及系统

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2611173B2 (ja) 1992-06-11 1997-05-21 運輸省船舶技術研究所長 魚眼レンズを用いた測位方法およびその装置
JP3486461B2 (ja) 1994-06-24 2004-01-13 キヤノン株式会社 画像処理装置及び方法
JP4374625B2 (ja) * 1998-05-08 2009-12-02 ソニー株式会社 画像生成装置及び方法
JP3286306B2 (ja) 1998-07-31 2002-05-27 松下電器産業株式会社 画像生成装置、画像生成方法
JP2002135765A (ja) 1998-07-31 2002-05-10 Matsushita Electric Ind Co Ltd カメラキャリブレーション指示装置及びカメラキャリブレーション装置
EP1266188B1 (en) 2000-03-23 2006-05-17 Snap-on Incorporated Apparatus and method for calibrating the relative position between two measuring devices of a measuring system
JP3827912B2 (ja) 2000-03-31 2006-09-27 山本 和彦 全方向ステレオ画像撮影装置及びステレオ画像撮影装置
JP4359084B2 (ja) * 2002-06-26 2009-11-04 Ｈｏｙａ株式会社 測量システム
JP4038726B2 (ja) * 2003-09-03 2008-01-30 株式会社日立プラントテクノロジー 画像対応付け方法
JP2006250722A (ja) * 2005-03-10 2006-09-21 Toshiba Corp キャリブレーション装置及びその方法、キャリブレーション用プログラム
JP4825971B2 (ja) 2005-07-14 2011-11-30 国立大学法人岩手大学 距離算出装置、距離算出方法、構造解析装置及び構造解析方法。
US8218855B2 (en) * 2007-10-04 2012-07-10 Samsung Electronics Co., Ltd. Method and apparatus for receiving multiview camera parameters for stereoscopic image, and method and apparatus for transmitting multiview camera parameters for stereoscopic image
JP2011047739A (ja) * 2009-08-26 2011-03-10 Kddi Corp カメラパラメータのキャリブレーション装置及びプログラム
TWI420066B (zh) * 2010-03-18 2013-12-21 Ind Tech Res Inst 物件量測方法與系統
JP5331047B2 (ja) 2010-04-01 2013-10-30 日本電信電話株式会社 撮像パラメータ決定方法、撮像パラメータ決定装置、撮像パラメータ決定プログラム
WO2011132552A1 (ja) * 2010-04-22 2011-10-27 コニカミノルタホールディングス株式会社 情報処理装置、プログラム、情報処理方法、および情報処理システム
JP2012177676A (ja) * 2011-01-31 2012-09-13 Sony Corp 画像処理装置および方法、並びにプログラム
JP2012202694A (ja) 2011-03-23 2012-10-22 Canon Inc カメラ校正方法
KR102114386B1 (ko) * 2013-11-21 2020-05-22 현대모비스 주식회사 차량용 미러리스 시스템
JP2016057108A (ja) * 2014-09-08 2016-04-21 株式会社トプコン 演算装置、演算システム、演算方法およびプログラム
US10146331B2 (en) * 2014-11-28 2018-12-04 Ricoh Company, Ltd. Information processing system for transforming coordinates of a position designated by a pointer in a virtual image to world coordinates, information processing apparatus, and method of transforming coordinates
JP7002007B2 (ja) * 2017-05-01 2022-01-20 パナソニックＩｐマネジメント株式会社 カメラパラメタセット算出装置、カメラパラメタセット算出方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05284485A (ja) * 1992-04-02 1993-10-29 Matsushita Electric Ind Co Ltd 画像補正装置
CN105118055A (zh) * 2015-08-11 2015-12-02 北京电影学院 摄影机定位修正标定方法及系统
CN106228564A (zh) * 2016-07-29 2016-12-14 国网河南省电力公司郑州供电公司 多目相机的外参数两步联合在线标定方法及系统

Also Published As

Publication number Publication date
JP7038345B2 (ja) 2022-03-18
JP2018179990A (ja) 2018-11-15
US10484665B2 (en) 2019-11-19
CN108734742A (zh) 2018-11-02
US20180309978A1 (en) 2018-10-25

Similar Documents

Publication Publication Date Title
CN108734742B (zh) 摄像头参数组算出方法、程序及装置
JP7054803B2 (ja) カメラパラメタセット算出装置、カメラパラメタセット算出方法及びプログラム
JP7016058B2 (ja) カメラパラメタセット算出方法、カメラパラメタセット算出プログラム及びカメラパラメタセット算出装置
JP7002007B2 (ja) カメラパラメタセット算出装置、カメラパラメタセット算出方法及びプログラム
JP4814669B2 (ja) ３次元座標取得装置
JP7018566B2 (ja) 撮像装置、画像処理方法及びプログラム
US10681269B2 (en) Computer-readable recording medium, information processing method, and information processing apparatus
US11233983B2 (en) Camera-parameter-set calculation apparatus, camera-parameter-set calculation method, and recording medium
JP2017078923A (ja) キャリブレーション装置、キャリブレーション方法、及び、キャリブレーションプログラム
CN107808398B (zh) 摄像头参数算出装置以及算出方法、程序、记录介质
JP6526955B2 (ja) センサ情報統合方法、及びその装置
JP6803570B2 (ja) カメラパラメタセット算出装置、カメラパラメタセット算出方法、および、プログラム
CN111899282A (zh) 基于双目摄像机标定的行人轨迹跟踪方法及装置
JP6091658B2 (ja) 情報処理装置及び情報処理方法及びプログラム
CN110419208B (zh) 成像系统、成像控制方法、图像处理设备和计算机可读介质
US20220215582A1 (en) Conversion parameter calculation method, displacement amount calculation method, conversion parameter calculation device, and displacement amount calculation device
JP2011024079A (ja) 周辺表示装置
WO2022141262A1 (en) Object detection
CN114879168A (zh) 一种激光雷达与imu标定方法及系统
WO2021014538A1 (ja) テンプレート作成装置、物体認識処理装置、テンプレート作成方法、物体認識処理方法及びプログラム
JP2019087858A (ja) カメラ校正装置、カメラ校正システム、カメラ校正方法及びプログラム
Audu et al. Scene Reconstruction from Multiple Images with Single Centre of Projection
CN116529758A (zh) 图像和/或图像点的矫正方法，基于摄像装置的系统和车辆
Liu et al. Field calibration method of camera for measuring the dimensions of large forging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant