CN105474634A - 摄像机校准装置、摄像机校准系统及摄像机校准方法 - Google Patents

摄像机校准装置、摄像机校准系统及摄像机校准方法 Download PDF

Info

Publication number
CN105474634A
CN105474634A CN201480045455.3A CN201480045455A CN105474634A CN 105474634 A CN105474634 A CN 105474634A CN 201480045455 A CN201480045455 A CN 201480045455A CN 105474634 A CN105474634 A CN 105474634A
Authority
CN
China
Prior art keywords
camera
video camera
image
projection matrix
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480045455.3A
Other languages
English (en)
Inventor
坂野盛彦
佐藤启二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Publication of CN105474634A publication Critical patent/CN105474634A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Mechanical Engineering (AREA)

Abstract

本发明提供一种能够大幅减轻伴随校准作业时的校准图案的搬运或设置作业而给作业者带来的负担，且使校准图案的保管场所显著地小型化的摄像机校准装置和摄像机校准系统。包括：基于根据各摄像机的初始参数变换成俯瞰视点的投影矩阵，变换由各摄像机拍摄的图像，生成变换图像的图像变换部(141)；计算该变换图像中的从多个摄像机选择的基准摄像机所得到的变换图像与基准摄像机以外的摄像机所得到的变换图像的误差的误差评价部(142)；基于该误差更新投影矩阵，使各摄像机的公共摄像区域的影像一致的投影矩阵更新部(143)；基于更新后的投影矩阵，计算包含关于各摄像机相对于地面的姿态的外部参数的摄像机参数的摄像机参数计算部(145)。

Description

摄像机校准装置、摄像机校准系统及摄像机校准方法
技术领域
本发明涉及摄像机校准装置、摄像机校准系统及摄像机校准方法。
背景技术
目前，为了提高例如车辆后退时的可视性，已知如下装置：将由车载摄像机拍摄了的车辆后方的图像显示于车载监视器，使对驾驶员来说是视野死角的车辆后方附近的状况作为显示于车载监视器的图像进行视认。
在这种装置中，为了适当校准(校正)显示于车载监视器的图像，在车辆后方设置校准用标识，一边观察车载监视器所映照的校准用标识的图像，一边调整车载摄像机的安装状态，以使得在车载监视器上适当映照该校准用标识的图像。另外，还通过对从车载摄像机得到的图像实施基于校准用标识的图像的规定的运算处理，适当校准显示于车载监视器的图像。
近年来，为了使驾驶员等能够看到车辆周围的状况，利用多个车载摄像机拍摄车辆的整个周围，将从各车载摄像机得到的多个图像分别变换成从正上方俯视车辆那样的图像(俯瞰图像)，并且进行调整了各图像间的位置的绘图，由此，获得单一视点变换合成图像的装置也能够实用化。
在这种装置中，需要在例如相邻的两个图像间细致地进行对位，因此，期望精度更高的校准技术。
但是，在现有的校准方法中，需要严格规定校准用标识与车辆的相对的位置关系，需要在将车辆设置于规定位置后，对该车辆细致地设置校准用标识，或者，在将校准用标识设置于规定位置后，对该校准用标识细致地设置车辆。因此，例如为了在车辆的生产线上提高车辆与校准用标识的对位精度，需要花费巨额的费用改造设备。另外，例如在一旦从生产现场出库后，在销售、服务公司的维修保养部门等变更校准的情况下(在修理的情况下或在追加车载摄像机的情况下等)，需要每次对车辆细致地设置校准用标识，从而存在校准的作业工序复杂的问题。
对于这种问题，专利文献1中公开了一种有助于简化校准环境的维修保养的摄像机校准装置。
在专利文献1所公开的摄像机校准装置中，求取用于将来自N台摄像机的各拍摄图像投影在规定面上进行合成的参数的参数导出单元，基于配置于各公共拍摄区域内的校准图案的各摄像机的拍摄结果，求取上述参数，各校准图案相互独立地配置。
现有技术文献
专利文献
专利文献1：日本特开2008－187566号公报
发明内容
发明要解决的技术问题
根据专利文献1公开的摄像机校准装置，通过利用配置于各公共拍摄区域内的校准图案的拍摄结果，可以在共有公共拍摄区域的多个摄像机间进行图像的对位，可以导出用于合成各拍摄图像的参数。另外，各校准图案相互独立地配置，因此，可以简化校准环境的维修保养。
但是，在专利文献1公开的摄像机校准装置中，需要利用配置于各公共拍摄区域内的校准图案的拍摄结果，在应用于例如公共汽车或卡车、大型的建设用机械等之类的大型车辆的情况下，摄像机的设置位置通常变高，据此，在图像上较小地映照校准图案，因此，不易细致地设定图像上的特征点(校准图案)的位置。因此，需要准备与车辆的体格对应的校准图案，在例如建设机械等大型车辆中，需要准备1～3米左右大小的校准图案。而且，这样校准图案变大时，会发生操作员不易进行校准作业时的校准图案的搬运或设置作业的问题和需要准备用于校准图案的较大的保管场所的问题。
本发明是鉴于上述问题而完成的，其目的在于，提供一种摄像机校准装置、摄像机校准系统及摄像机校准方法，其能够大幅减轻伴随校准作业时的校准图案的搬运或设置作业而给作业者带来的负担，且能够使校准图案的保管场所显著地小型化。
用于解决问题的技术方案
为了解决上述问题，本发明提供一种摄像机校准装置，其对具有配置有至少两个校准图案的公共摄像区域的多个摄像机拍摄的图像彼此进行校准，其特征在于，包括：图像变换部，其基于根据各摄像机的初始参数变换成俯瞰视点(俯视)的投影矩阵，变换各摄像机拍摄的图像，生成变换图像；误差评价部，其计算上述变换图像中的从所述多个摄像机选择的基准摄像机所得到的变换图像与上述基准摄像机以外的摄像机所得到的变换图像的误差；投影矩阵更新部，其基于所述误差更新投影矩阵，使各摄像机的公共摄像区域的影像一致；摄像机参数计算部，其基于更新后的投影矩阵，计算包含关于各摄像机相对于地面的姿态(朝向)的外部参数的摄像机参数。
本发明还提供一种摄像机校准系统，其特征在于，包括：所述摄像机校准装置；具有公共摄像区域的多个摄像机；合成图像生成装置，其使用从所述摄像机校准装置得到的各摄像机的摄像机参数，对由所述多个摄像机拍摄的图像彼此进行校准，生成合成图像；显示所述合成图像的显示装置。
本发明还提供一种摄像机校准方法，其对具有配置有至少两个校准图案的公共摄像区域的多个摄像机拍摄的图像彼此进行校准，其特征在于，基于根据各摄像机的初始参数变换成俯瞰视点的投影矩阵，变换由各摄像机拍摄的图像，生成变换图像，计算所述变换图像中的从所述多个摄像机选择的基准摄像机所得到的变换图像与所述基准摄像机以外的摄像机所得到的变换图像的误差，基于所述误差更新投影矩阵，使各摄像机的公共摄像区域的影像一致，基于更新后的投影矩阵，计算包含与各摄像机相对于地面的姿态相关的外部参数的摄像机参数。
发明效果
根据本发明，在摄像机图像的校准时不需要使用公共摄像区域中的校准图案的特征点的配置关系，能够将该校准图案的数量及尺寸抑制为最低需要限度，因此，能够大幅减轻伴随校准作业时的校准图案的搬运或设置作业而给作业者带来的负担，并且能够使得用于校准作业的校准图案的保管场所显著地小型化。
上述以外的技术问题、结构和效果能够通过以下实施方式的说明进一步明确。
附图说明
图1是表示本发明的摄像机校准系统的实施方式的整体结构的图。
图2是示意性地表示各摄像机的设置位置和摄像区域的俯视图。
图3是说明图1所示的摄像机校准装置进行的摄像机的校准运算处理的图，是示意性地表示配置于校准目标的车辆和校准图案的俯视图。
图4是表示图1所示的摄像机校准装置的基本结构的基本结构图。
图5是说明图1所示的摄像机校准系统进行的摄像机校准方法的流程图。
具体实施方式
以下，参照附图说明本发明的摄像机校准装置及摄像机校准系统的实施方式。此外，以下主要说明对由搭载于车辆的车载摄像机拍摄的图像彼此进行校准(校正)的情况，但本实施方式的摄像机校准装置和摄像机校准系统也可以适用于对由安装于车辆以外的设备上的多个摄像机拍摄的图像彼此进行校准的情况。另外，以下，对使用4台摄像机且相邻的两台摄像机彼此具有公共摄像区域的情况进行说明，但系统整体的摄像机的台数及拍摄公共摄像区域的摄像机的台数可以根据使用者等要求进行适当变更。另外，如以下说明，除了使用校准目标进行校准以外，也可以不使用校准目标而使用存在于公共摄像区域的特征物体来进行校准。
＜摄像机校准系统的实施方式＞
图1是表示本发明的摄像机校准系统的实施方式的整体结构的图。图示的摄像机校准系统100主要包括：具有4台摄像机111～114的摄像装置101、摄像机接口102、图像存储装置(RAM)104、参数存储装置(ROM)105、输入装置106、具有摄像机校准装置108和合成图像生成装置109的运算装置103、显示装置107。
构成摄像装置101的各摄像机111～114分别如图2所示，设置于例如车辆1的前后左右，利用该4台摄像机111～114拍摄包含校准目标R的车辆1的周围的图像。
校准目标R具有后述的作为校准用标识的校准图案(参照图3)等的摄像机的校准所需要的信息，各摄像机111～114分别在摄像机图像的校准时拍摄校准目标R，且将拍摄的图像经由摄像机接口102发送至运算装置103。此外，图2中的虚线表示各摄像机111～114的拍摄区域，为了细致地校准摄像机图像，相邻的摄像机具有重复部分，即被双方的摄像机共同地拍摄的区域(以下，称为“公共摄像区域”。)RK1～RK4。运算装置103利用摄像机校准装置108计算用于对各摄像机111～114拍摄的图像彼此进行校准的摄像机参数。
利用摄像机校准装置108计算出摄像机参数后，该摄像机参数被发送至合成图像生成装置109。另外，由摄像机111～114拍摄的图像经由摄像机接口102被发送至运算装置103，由运算装置103中的合成图像生成装置109利用上述摄像机参数进行视点变换、合成后，被发送至显示装置107，经由显示装置107作为从正上方俯视车辆1的图像(俯瞰图像)提示给使用者等。此外，本实施方式中，由于对从各摄像机111～114得到的图像进行视点变换、合成，生成车辆1的周围的俯瞰图像，因此优选各摄像机111～114采用例如魚眼摄像机等的可拍摄大角度的摄像机。
如上所述，摄像机接口102将各摄像机111～114发送来的图像信号适当采样后，发送至运算装置103。
图像存储装置(RAM)104中储存各摄像机111～114拍摄的图像和运算装置103运算的各种运算结果。
另外，在参数存储装置(ROM)105中例如写入储存有：关于各摄像机111～114的设置位置、姿态(设置角度，朝向)的设计值等(将它们称为外部参数)；关于各摄像机111～114的焦点距离、像素尺寸、光轴中心、失真函数的设计值等(将它们称为内部参数)之类的摄像机参数的、摄像机图像的校准所需要的预先的信息(摄像机参数初始值)。
另外，输入装置106基于使用者等的操作而接收摄像机的校准所需要的信息等的输入信息，并将该输入信息发送至运算装置103。
运算装置103与摄像机接口102、图像存储装置(RAM)104、参数存储装置(ROM)105、输入装置106、显示装置107等联合，实施上述那样的包含摄像机图像校准时的运算的各种运算。具体而言，运算装置103将摄像机接口102发送来的图像信号储存至图像存储装置104，或者，读出储存于参数存储装置105的摄像机参数初始值和储存于图像存储装置104的图像，对该图像进行视点变换、合成(合成图像生成装置109)，实施使视点变换、合成后的图像显示于显示装置107的处理等。另外，实施计算摄像机的设置位置和设置姿态的校准运算(摄像机校准装置108)，或者实施将输入装置106中的从使用者等接收到的输入信息活用于校准运算的处理等，使得视点变换、合成而生成的俯瞰图像成为从正上方俯视车辆1的图像。另外，以后叙述该摄像机图像的校准运算处理。
显示装置107基于从运算装置103发送的指示，显示从各摄像机111～114得到的图像。例如，显示装置107根据从运算装置103发送的指示，仅将朝向后方的摄像机112的图像不变换地显示并向使用者等提示，或显示对从摄像机111～114得到的图像进行视点变换、合成而生成的俯瞰图像。
＜摄像机校准装置的实施方式＞
接着，参照图3、4详细叙述图1所示的运算装置103的摄像机校准装置108(本发明的摄像机校准装置的实施方式)形成的摄像机图像的校准运算处理，即摄像机校准装置108形成的各摄像机111～114的摄像机参数的运算处理。
如图3所示，在摄像机校准装置108进行的摄像机图像的校准运算处理中使用的校准目标R配置车辆1，在该车辆1的周围且至少相邻的摄像机的公共摄像区域RK1～RK4配置作为校准用标识的校准图案P1～P16。该校准图案P1～P16由例如具有平面的圆板状或正方形状等多边形状等的板构成，且具有在被各摄像机111～114拍摄时在图像上能够视认的程度的大小。此外，如果在校准图案P1～P16由圆形的板构成的情况下，其中心部具有成为唯一限定各校准图案的标记的部位，如果在校准图案P1～P16由正方形状的板构成的情况下，其板的角部等具有成为唯一限定各校准图案的标记的部位，则其形状可以适当选择。另外，各公共摄像区域内的校准图案可以是相同形状，也可以是不同形状。
图3所示的方式中，在摄像机111和摄像机114的公共摄像区域RK1设置有4个校准图案P1～P4，在摄像机111和摄像机113的公共摄像区域RK2设置有4个校准图案P5～P8，在摄像机113和摄像机112的公共摄像区域RK3设置有4个校准图案P9～P12，在摄像机112和摄像机114的公共摄像区域RK4设置有4个校准图案P13～P16。此外，这些校准图案在各公共摄像区域内可设置于任意位置，但优选各校准图案的间隔较大。另外，配置于各公共摄像区域内的校准图案的数量可以根据例如校准精度等适当变更。
另外，校准图案的数量越多越能提高校准精度，但这些图案是在摄像机图像的校准时使用的辅助的校准用标识。摄像机图像的校准中，原理上，即使不存在校准图案等的点，但只要在成为背景的平面上描绘纹理图案，就可以进行。
但是，为了唯一限定摄像机的高度，需要本实施方式所示的16个校准图案中的至少两个(例如，图3中，P1和P5)，该两个校准图案的间隔由操作员等测定，经由输入装置106预先输入至摄像机参数计算部145。
具体而言，由操作员等输入的两个校准图案的间隔用于决定1个像素所对应的距离。在多个摄像机间实施校准，在与1个像素对应的距离未知的状态下生成俯瞰视点图像后，利用由操作员等输入的两个校准图案的间隔，计算1个像素的尺寸与多少距离或比例(scale)相当，生成最终的俯瞰图像。
此外，在校准图案为1个的情况下，虽然可实施直到生成俯瞰视点的图像的校准，但不能决定影像的1个像素的尺寸实际上相当于多少距离(相当于几mm)，因此不允许这种場合。
另外，上述校准图案只要是由4台摄像机的任一摄像机拍摄的范围，就可以设置于任意的位置。但是，优选该校准图案设置于公共摄像区域。这是因为，在本实施方式中，通过拍摄有各公共摄像区域的两个图像的对位来实施校准，如果将校准图案设置于公共摄像区域，则可以设为实施两个图像的对位时的标记。即，图像对位的标记越多，图像的对位变得越容易，因此，优选校准图案较多地设置在公共摄像区域中。
但是，即使没有这种标记，如果在公共摄像区域的图像中包含纹理图案，则可以利用例如该纹理图案的亮度等信息，实施图像的对位，因此，校准图案不必一定位于公共摄像区域中。因此，如果在由4台摄像机的任意摄像机拍摄的范围内设置两个校准图案，则也可以是在4个公共摄像区域中均不设置校准图案的情况。
此外，即使是不存在为了进行校准而配置的校准用标识的情况，在具有可用于校准的点(即，特征点)的物体(特征物体)存在于公共摄像区域的情况下，可以使用这样的物体的特征点进行校准。这样的物体不仅可以是立体物，而且也可以是花纹或纹理等平面的物体，例如也可以是沙地或沥青等。在使用存在于公共摄像区域的物体的特征点进行校准的情况下，需要判断该物体是否包含于成为对象的公共摄像区域。作为判断物体是否包含于公共摄像区域的方法，例如可以利用公共摄像区域内的亮度值的标准偏差，例如，如果计算出的标准偏差的值为预定的阈值以上，则可以判断为存在可以成为可用于校准的特征点的物体，如果低于阈值，则可以判断为不存在物体。在判断为不存在物体的情况下，需要校准图案，因此，将应设置校准图案的情况经由显示装置107通知给作业者。
使用了上述的校准目标R的摄像机校准装置108进行的摄像机图像的校准运算处理，利用关于地面(平面)的投影矩阵来实施。在此，在与某个公共摄像区域对应的两个摄像机的图像中分别映照有地面(平面)，这些图像相同。拍摄对象为平面，因此，通过使用了投影矩阵的几何变换，可以变换成相同的图像(将从一个摄像机的视点观察的图像变换成从另一视点观察的图像)。在此，投影矩阵是指，表示在与某个公共摄像区域对应的两个摄像机图像中映照的平面的投影关系的矩阵，该投影矩阵包含两个摄像机间的相对的外部参数和图像中的平面的法线向量。通过对该投影矩阵使用奇异值分解，可以提取两个摄像机间的外部参数和平面的法线向量。此外，对投影矩阵的奇异值分解为公知的技术，因此，省略其详细的说明。而且，如果知道各摄像机的平面的法线向量，则可以将各摄像机的图像视点变换成从正上方俯视车辆1的俯瞰图像，如果知道摄像机间的外部参数，则可以将与公共摄像区域对应的两个摄像机的俯瞰图像无偏差地合成并生成合成图像。
另外，在摄像机图像的校准运算处理中利用的投影矩阵基于例如迭代法计算。该迭代法是反复实施更新投影矩阵的顺序以求得当前的误差并减少误差的方法，例如可举出：最快下降法；或高斯-牛顿法、列文伯格-马夸尔特法等基于微分的方法；或不使用粒子滤波或遗传算法等微分的方法等。这种迭代法中，例如最快下降法，是将对误差函数进行微分，求取误差函数的减少方向，在该减少方向上微小地更新参数的流程被反复实施，直到误差的减少停止的方法。
另一方面，摄像机校准装置108为了推测用于生成没有偏差的俯瞰影像的摄像机参数，如图4所示，包括校准部144和摄像机参数计算部145，校准部144具有图像变换部141、误差评价部142和投影矩阵更新部143。
校准部144计算与各个公共摄像区域对应的摄像机间的投影矩阵，对与4个公共摄像区域RK1～RK4各自对应的两个图像，分别实施图像变换部141进行的图像变换处理、误差评价部142进行的误差评价处理、投影矩阵更新部143进行的更新处理。即，校准部144对与公共摄像区域RK1对应的摄像机111和摄像机114的两个图像、与公共摄像区域RK2对应的摄像机111和摄像机113的两个图像、与公共摄像区域RK3对应的摄像机112和摄像机113的两个图像、与公共摄像区域RK4对应的摄像机112和摄像机114的两个图像，分别实施图像变换部141进行的图像变换处理、误差评价部142进行的误差评价处理、投影矩阵更新部143进行的更新处理。
更具体而言，校准部144的图像变换部141从图像存储部104接收摄像机111～114的图像，主要使用投影矩阵更新部143中得到的投影矩阵进行与各个公共摄像区域对应的两个图像的视点变换，并将该视点变换后的变换图像发送至误差评价部142。该视点变换中使用的投影矩阵是在对例如与公共摄像区域RK1对应的两个摄像机111、114的图像实施处理的情况下，用于进行使包含由摄像机114拍摄的校准图案P1～P4的地面(平面)的图像与包含被摄像机111拍摄的校准图案P1～P4的地面的图像一致的变换的矩阵。此外，实际上在两个图像间必然含有误差，因此，即使使用上述投影矩阵，也不会成为完全一致的图像，但映照于摄像机114的图像成为接近映照于摄像机111的图像的图像。
此外，图像变换部141进行的最初的校准时的图像变换处理中，由于不能够从投影矩阵更新部143得到投影矩阵，因此，基于预先存储于参数存储部105的关于各摄像机111～114的姿态的设计值(初始参数)，计算用于进行使与各个公共摄像区域对应的两个摄像机拍摄的地面(平面)的图像一致的变换的投影矩阵(初始投影矩阵)，实施图像变换。接着，在第二次以后的校准时的图像变换处理中，使用投影矩阵更新部143中得到的投影矩阵，实施与各个公共摄像区域对应的两个摄像机的图像的视点变换。
本实施方式中，作为校准目标的特征点，在各个公共摄像区域中配置有4个校准图案。这样，在各个公共摄像区域中配置有作为校准用标识的4个校准图案的情况下，通过解开针对与公共摄像区域对应的两个摄像机拍摄的图像中的4个校准图案而制作的联立方程式，可以唯一计算出将一个摄像机的图像中的4个校准图案的坐标位置变化成另一个摄像机的图像中的4个校准图案的坐标位置的投影矩阵。即，在各个公共摄像区域中配置4个以上的校准图案的情况下，图像变换部141可以将由针对这种校准图案而制作的联立方程式得到的投影矩阵，用作图像变换部141进行的最初的图像变换处理中利用的初始投影矩阵来实施图像变换。
误差评价部142对由图像变换部141进行了图像变换的与各个公共摄像区域对应的两个摄像机的图像评价误差，将该两个摄像机的图像间的误差发送至投影矩阵更新部143。例如，在对与公共摄像区域RK1对应的两个摄像机111、114的图像实施处理的情况下，利用图像变换部141进行变换，使得映照于摄像机114的图像与映照于摄像机111的图像一致，但在例如图像变换部141进行的最初的图像变换处理中，基于预先存储于参数存储部105的设计值来变换图像，因此，即使基于实际的摄像机的安装误差等，进行基于设计值的图像变换，映照于摄像机114的图像与映照于摄像机111的图像也不完全一致，在两个图像间必然产生误差。误差评价部142评价这样的两个摄像机的图像间的误差量。此外，误差评价部142将图像变换部141中输出的投影矩阵发送至摄像机参数计算部145。
在此，作为由误差评价部142评价的两个摄像机的图像间的误差量，例如可举出：对应的校准图案彼此距离的平方和；对应的像素的亮度差的平方和；或将距离的平方和与亮度差的平方和相加的值等。
此外，在为了进行校准，未配置校准用标识，而使用存在于公共摄像区域的物体进行校准的情况下，将公共摄像区域对应的像素中的物体的特征量之差设为误差量。优选物体的特征量不受到摄像机间的灵敏度的不同或入射光量的不同的影响，例如可使用边缘方向特征量等。该边缘方向特征量表示各像素中的局部亮度的增加方向，因此，可以基于该边缘方向特征量在图像中的分布或每个物体的边缘方向特征量的统计量(例如平均值)来判别特征物体。在利用拍摄公共摄像区域的摄像机拍摄同一物体的情况下，期望对应像素中的特征量一致。因此，通过将该特征量的一致度作为误差函数，实施最佳化以使得误差最小，可以求得图像间的投影矩阵。
投影矩阵更新部143基于误差评价部142取得的误差和从校准部144向摄像机参数计算部145发送的更新前的投影矩阵，使用迭代法来更新投影矩阵以减少该误差，将更新后的投影矩阵发送至图像变换部141。例如，投影矩阵更新部143求取当前的摄像机参数中的误差函数的偏微分，在与误差函数的偏微分所示的向量相反的方向上微小地更新摄像机参数，由此，更新投影矩阵。
如上所述，校准部144在摄像机图像的校准时，对与各个公共摄像区域对应的摄像机的两个图像各自，反复进行图像变换部141进行的图像变换处理、误差评价部142进行的误差评价处理、投影矩阵更新部143进行的更新处理，由此，计算为了使与公共摄像区域对应的两个摄像机的图像变得相等(误差成为零)而变换的投影矩阵，将该计算结果发送至摄像机参数计算部145。
摄像机参数计算部145使用奇异值分解等分解校准部144中得到的与4个摄像机111～114对应的投影矩阵，提取地面(平面)的法线向量和摄像机间的相对的外部参数，并将根据该摄像机间的外部参数计算出的摄像机参数(特别是与摄像机相对于平面(地面)的姿态相关的外部参数)发送至合成图像生成装置109。具体而言，摄像机间的外部参数以摄像机114相对于摄像机111的外部参数、摄像机113相对于摄像机111的外部参数、摄像机112相对于摄像机114的外部参数、摄像机112相对于摄像机113的外部参数之类的形式得到，因此，对这些参数进行再计算，以使其成为从摄像机111～114选择的作为基准的相对于摄像机(基准摄像机)的外部参数，对于基准摄像机，根据相对于平面(地面)的法线向量来计算相对于平面(地面)的姿态，由此，计算关于全部摄像机相对于平面(地面)的姿态的外部参数。此外，摄像机参数计算部145也可以根据需要，推测例如关于各摄像机的焦点距离、像素尺寸、光轴中心、失真函数等的内部参数。
从摄像机参数计算部145输出的摄像机参数，在制作利用合成图像生成装置109生成俯瞰图像的映射表(mappingtable)时利用。映射表描述合成俯瞰图像的各像素与摄像机111～114的各图像中的像素的对应关系，基于该对应关系对亮度值进行绘图，由此可以得到最终的合成俯瞰图像。
这样，根据本实施方式的摄像机校准装置108，利用关于地面(平面)的投影矩阵，对由各摄像机拍摄的图像彼此进行校准，由此，在摄像机图像的校准时，不需要使用公共摄像区域中的校准图案等特征点的配置关系，能够将该校准图案的数量及尺寸抑制为最低需要限度，因此，能够大幅减轻伴随校准作业时的校准图案的搬运或设置作业而给作业者带来的负担，并且能够使校准作业中使用的校准图案的保管场所显著地小型化。
此外，在对各摄像机拍摄的图像彼此进行校准时，求取向俯瞰视点进行视点变换的投影矩阵，使得包含作为校准用标识的校准图案的图像在与公共摄像区域对应的摄像机间一致。此时，虽然求取满足与公共摄像区域对应的两个摄像机的图像一致的条件的投影矩阵，但在纹理信息不足的情况下，仅与公共摄像区域对应的两个摄像机的图像一致的条件，有时不能实施充分的对位。在这种情况下，提取校准目标、特别是校准目标所包含的公共摄像区域的特征点，将该特征点的坐标输入校准部144的图像变换部141，并附加特征点的坐标一致的条件，求取进行视点变换的投影矩阵，由此，可以提高该投影矩阵的计算精度。此外，特征点的坐标也可以通过图像识别来进行提取，也可以经由显示装置107等向使用者等提示图像，使用者等经由鼠标等输入装置106指定图像上的特征点坐标(图4中，由虚线表示的信息输入)。
另外，实施方式的摄像机校准装置108中得到的信息，是各摄像机相对于平面(地面)的摄像机姿态与摄像机间的相对的位置及姿态的关系。因此，原则上不能求取车辆1相对于地面的相对的旋转量(车辆1的偏转方向的旋转量)。但是，在摄像机的初始设置位置的误差较小的情况下，车辆1相对于地面的相对的旋转量，能够通过利用摄像机的安装位置信息，根据车辆1的车轴方向来推测。另一方面，在假定摄像机的初始设置位置的误差较大的情况下，难以根据摄像机的安装位置信息来推测车辆1相对于地面的相对的旋转量。在这种情况下，例如在车辆1的周围设置用于识别地面与车辆1的关系的标记(例如，与车辆1平行地配置棒)，设置修改车辆1相对于地面的相对的旋转量的单元，由此，能够推测车辆1相对于地面的相对的旋转量。例如，也可以经由显示装置107等向使用者等提示图像，使用者等一边经由输入装置106进行微调整一边输入旋转量(图4中，由点划线表示的信息输入)，以使得用于识别地面与车辆1的关系的标记成为规定的视觉图像。此外，被输入了的输入结果立即反映于图像中，因此，使用者等可以一边确认图像，一边调整车辆1相对于地面的相对的旋转量。
＜摄像机校准方法的实施方式＞
以下，参照图5说明摄像机图像的校准运算处理的一连串的流程。关于图1所示的运算装置103的摄像机校准装置108(本发明的摄像机校准装置的实施方式)进行的摄像机图像的校准运算处理，即摄像机校准装置108进行的各摄像机111～114的摄像机参数的运算处理，该校准运算处理流程包括图像取得处理S501、初始投影矩阵生成处理S502、图像变换处理S503、误差评价处理S504、投影矩阵更新处理S505、收敛判断处理S508、比例修改处理S509，投影矩阵更新处理S505包括更新量计算处理506和投影矩阵计算处理507。首次的校准时，按照图像取得处理S501、图像变换处理S503、误差评价处理S504、收敛判断处理S508、投影矩阵更新处理S505的顺序实施，以后，反复实施图像变换处理S503、误差评价处理S504、收敛判断处理S508、投影矩阵更新处理S505。此外，在收敛判断处理S508中评价误差评价值，如果判断为误差评价值收敛了，则该处理停止。
首先，实施图像取得处理S501，从图像存储装置104读出由各摄像机拍摄的图像。本实施方式中，例如输入包含校准图案的与拍摄了地面的4台摄像机相当的4个图像。
接着，对于影像取得处理S501中取得的图像，利用图4所示的图像变换部141实施图像变换处理S503。该图像变换处理S503使用投影矩阵来实施。在此，首次校准时的投影矩阵通过初始投影矩阵生成处理S502来计算，在初始投影矩阵生成处理S502中，从参数存储装置105接收由摄像机姿态、位置构成的初始摄像机参数，并计算与初始摄像机参数对应的投影矩阵。得到的初始投影矩阵在图像变换处理S503的首次处理中被利用，在以后的图像变换处理S503中，使用投影矩阵更新处理S505中输出的投影矩阵实施。
接着，利用图4所示的误差评价部142实施误差评价处理S504，在该误差评价处理S504中，接收图像变换处理S503的输出，对于与各公共摄像区域对应的两个摄像机图像，计算表示一个摄像机图像中的公共摄像区域部分的图像相对于另一个摄像机图像中的公共摄像区域部分的图像偏离多少的误差量，并将其输出。
接着，在比较误差评价处理S504中输出的误差量与规定的判断阈值，实施收敛判断处理S508。在该收敛判断处理S508中，实施误差评价处理S504中输出的误差量的收敛判断，在判断为误差没有收敛的情况下，利用图4所示的投影矩阵更新部143实施投影矩阵更新处理S505。该投影矩阵更新处理S505包括更新量计算处理S506和投影矩阵计算处理S507，在更新量计算处理S506中，计算摄像机姿态和位置等摄像机参数的更新量。在此，更新量成为为了减少表示一个摄像机图像中的公共摄像区域部分的图像与另一个摄像机图像中的公共摄像区域部分的图像一致到什么程度的误差量，而微小修改摄像机姿态和位置等摄像机参数的量。具体而言，更新量可以通过例如求取当前的摄像机参数中的误差函数的偏微分来计算。在更新量计算处理S506中，输出摄像机参数微小修改后的值，在投影矩阵计算处理S507中，接收更新量计算处理S506的输出值，计算与该摄像机参数相当的投影矩阵，并将其输出。
本实施方式中，反复实施图像变换处理S503、误差评价处理S504、投影矩阵更新处理S505，直到误差评价处理S504中的输出值收敛为止。评价每次实行的误差评价处理S504中输出的误差量，如果该误差量极小，则判断为误差进行了收敛并结束处理。这样反复实施图像变换处理S503、误差评价处理S504、投影矩阵更新处理S505的处理，由此，可以使一个摄像机图像中的公共摄像区域部分的图像与另一个摄像机图像中的公共摄像区域部分的影像一致，据此，得到公共摄像区域的法线向量，由此能够知道各图像没有偏离地连接，进而知道摄像机与平面的关系，因此能够根据多个摄像机的图像实现俯瞰图像的生成。
但是，在该上述处理中，虽然使图像连接而成为从上方俯视的图像，但1个像素的尺寸相当于多少距离是未知的，因而没有被修改。因此，实施比例修改处理S509，对其进行修改。比例修改处理S509中，由操作员等进行测定，利用经由输入装置106输入的关于校准图案的间隔的距离信息，修改摄像机参数，生成最终的俯瞰图像。作为该处理，基于俯瞰视点的摄像机的外部参数，计算在俯瞰图像中必须以多少像素观察校准图案的间隔，修改摄像机参数，使得俯瞰图像中的校准图案的间隔为实际计算出的像素间隔。通过实施以上的处理，可以实现摄像机的校准。
此外，本发明不限定于上述的实施方式，包含各种变形方式。例如，为了易于理解地说明本发明，而对上述实施方式进行了详细地说明，但并没有限定于包括以上说明中的全部结构。另外，可以将某实施方式的结构的一部分置换成另一实施方式的结构，另外，也可以对某实施方式的结构追加另一实施方式的结构。另外，可以对实施方式的结构的一部分进行其它结构的追加、删除、置换。
另外，控制线和信息线表示说明上需要的线，产品上没有限定于必须表示全部的控制线和信息线。实际上也可以认为几乎全部的结构相互连接。
符号的说明
1车辆
100摄像机校准系统
101拍摄装置
102摄像机接口
103运算装置
104图像存储装置(RAM)
105参数存储装置(ROM)
106输入装置
107显示装置
108摄像机校准装置
109合成图像生成装置
111～114摄像机
141图像变换部
142误差评价部
143投影矩阵更新部
144校准部
145摄像机参数计算部
P1～P16校准图案
R校准目标
RK1～RK4公共摄像区域
S501影像取得处理
S502初始投影矩阵生成处理
S503图像变换处理
S504误差评价处理
S505投影矩阵更新处理
S506更新量计算处理
S507投影矩阵计算处理
S508收敛判断处理
S509比例修改处理。

Claims (6)

1.一种摄像机校准装置，其对搭载于车辆且拍摄包含地面的车辆周围并且具有公共摄像区域的多个摄像机，使用配置于所述公共摄像区域中的至少3个校准图案来进行校准，该摄像机校准装置的特征在于，包括：
图像变换部，其基于规定的投影矩阵，将各摄像机拍摄的图像变换成俯瞰视点的图像；
误差评价部，其计算所述多个摄像机中的规定的摄像机拍摄的所述校准图案的变换图像与其它摄像机拍摄的所述校准图案的变换图像的误差，其中，所述其它摄像机与该规定的摄像机之间具有公共摄像区域；
投影矩阵更新部，其基于所述误差来更新所述规定的投影矩阵；
距离信息输入部，其输入所述校准图案中的任意两个校准图案之间的距离信息；和
摄像机参数计算部，其将所述误差评价部计算出的所述误差成为零的投影矩阵，分解为变换图像中的地面的法线向量和摄像机间的相对的外部参数，根据所述地面的法线向量和摄像机间的相对的外部参数以及从所述距离信息输入部输入的距离信息，计算包含关于各摄像机相对于地面的姿态的外部参数的摄像机参数。
2.如权利要求1所述的摄像机校准装置，其特征在于：
还包括输入所述车辆相对于所述地面的相对的旋转量的旋转量输入部，
所述摄像机参数计算部还追加使用从所述旋转量输入部输入的所述旋转量来计算所述摄像机参数。
3.一种摄像机校准装置，其对搭载于车辆且拍摄包含地面的车辆周围并且具有公共摄像区域的多个摄像机，使用存在于所述公共摄像区域中的物体的特征点来进行校准，该摄像机校准装置的特征在于，包括：
图像变换部，其基于规定的投影矩阵，将各摄像机拍摄的图像变换成俯瞰视点的图像；
误差评价部，其计算所述多个摄像机中的规定的摄像机拍摄的所述物体的变换图像与其它摄像机拍摄的所述物体的变换图像的误差，其中，所述其它摄像机与该规定的摄像机之间具有公共摄像区域；
投影矩阵更新部，其基于所述误差来更新所述规定的投影矩阵；
距离信息输入部，其输入所述物体中的任意两点之间的距离信息；和
摄像机参数计算部，其将所述误差评价部计算出的所述误差成为零的投影矩阵，分解为变换图像中的地面的法线向量和摄像机间的相对的外部参数，根据所述地面的法线向量和摄像机间的相对的外部参数以及从所述距离信息输入部输入的距离信息，计算包含关于各摄像机相对于地面的姿态的外部参数的摄像机参数。
4.如权利要求3所述的摄像机校准装置，其特征在于：
还包括输入所述车辆相对于所述地面的相对的旋转量的旋转量输入部，
所述摄像机参数计算部还追加使用从所述旋转量输入部输入的所述旋转量来计算所述摄像机参数。
5.一种摄像机校准方法，其对搭载于车辆且拍摄包含地面的车辆周围并且具有公共摄像区域的多个摄像机，使用配置于所述公共摄像区域中的至少3个校准图案来进行校准，其特征在于，包括：
基于规定的投影矩阵，将各摄像机拍摄的图像变换成俯瞰视点的图像的步骤；
计算所述多个摄像机中的规定的摄像机拍摄的所述校准图案的变换图像与其它摄像机拍摄的所述校准图案的变换图像的误差的步骤，其中，所述其它摄像机与该规定的摄像机之间具有公共摄像区域；
基于所述误差来更新所述规定的投影矩阵的步骤；和
将所述误差成为零的投影矩阵分解为变换图像中的地面的法线向量和摄像机间的相对的外部参数，根据所述地面的法线向量和摄像机间的相对的外部参数以及所述校准图案中的任意两个校准图案之间的距离信息，计算包含关于各摄像机相对于地面的姿态的外部参数的摄像机参数。
6.一种摄像机校准方法，其对搭载于车辆且拍摄包含地面的车辆周围并且具有公共摄像区域的多个摄像机，使用存在于所述公共摄像区域中的特征物体来进行校准，其特征在于，包括：
基于规定的投影矩阵，将各摄像机拍摄的图像变换成俯瞰视点的图像的步骤；
计算所述多个摄像机中的规定的摄像机拍摄的所述特征物体的变换图像与其它摄像机拍摄的所述特征物体的变换图像的误差的步骤，其中，所述其它摄像机与该规定的摄像机之间具有公共摄像区域；
基于所述误差来更新所述规定的投影矩阵的步骤；和
将所述误差成为零的投影矩阵分解为变换图像中的地面的法线向量和摄像机间的相对的外部参数，根据所述地面的法线向量和摄像机间的相对的外部参数以及所述特征物体中的任意两点之间的距离信息，计算包含关于各摄像机相对于地面的姿态的外部参数的摄像机参数。
CN201480045455.3A 2013-08-30 2014-08-25 摄像机校准装置、摄像机校准系统及摄像机校准方法 Pending CN105474634A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013180212 2013-08-30
JP2013-180212 2013-08-30
PCT/JP2014/072119 WO2015029934A1 (ja) 2013-08-30 2014-08-25 カメラ校正装置、カメラ校正システム、及びカメラ校正方法

Publications (1)

Publication Number Publication Date
CN105474634A true CN105474634A (zh) 2016-04-06

Family

ID=52586492

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480045455.3A Pending CN105474634A (zh) 2013-08-30 2014-08-25 摄像机校准装置、摄像机校准系统及摄像机校准方法

Country Status (5)

Country Link
US (1) US20160176343A1 (zh)
EP (1) EP3041228A4 (zh)
JP (1) JP6154905B2 (zh)
CN (1) CN105474634A (zh)
WO (1) WO2015029934A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018068678A1 (zh) * 2016-10-12 2018-04-19 杭州海康威视数字技术股份有限公司 一种立体摄像机外部参数的确定方法及装置
CN108367710A (zh) * 2016-06-15 2018-08-03 Jvc 建伍株式会社 姿势变化判定装置、俯瞰影像生成装置、俯瞰影像生成系统、姿势变化判定方法以及程序
CN108616734A (zh) * 2017-01-13 2018-10-02 株式会社东芝 图像处理装置以及图像处理方法
CN110022459A (zh) * 2018-01-08 2019-07-16 联发科技股份有限公司 用于车辆的全景监控系统和全景监控校准方法
US10593016B2 (en) 2015-06-19 2020-03-17 Sony Corporation Image processing unit, image processing method, and projection system
CN111670572A (zh) * 2018-02-09 2020-09-15 索尼公司 校准装置、校准方法和程序
CN112184827A (zh) * 2019-07-01 2021-01-05 威达斯高级驾驶辅助设备有限公司 校准多个摄像机的方法及装置
CN112399172A (zh) * 2019-08-13 2021-02-23 威达斯高级驾驶辅助设备有限公司 校准多个摄像机的方法及装置
CN113396580A (zh) * 2019-02-18 2021-09-14 三菱电机株式会社 图像处理装置、图像处理方法和图像处理程序
CN112184827B (zh) * 2019-07-01 2024-06-04 Nc&有限公司 校准多个摄像机的方法及装置

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112016019589B1 (pt) * 2014-02-24 2022-06-14 Nissan Motor Co. Ltd Dispositivo de cálculo de autolocalização e método de cálculo de autolocalização
WO2016077057A2 (en) * 2014-10-24 2016-05-19 Bounce Imaging, Inc. Imaging systems and methods
EP3213497B1 (en) * 2014-10-31 2020-09-30 Hewlett-Packard Development Company, L.P. Cross-calibration of imagers
JP6540155B2 (ja) * 2015-03-27 2019-07-10 沖電気工業株式会社 画像処理装置、方法及びプログラム、並びに画像処理システム
DE102016206493A1 (de) * 2015-06-23 2016-12-29 Robert Bosch Gmbh Verfahren und Kamerasystem zur Entfernungsbestimmung von Objekten zu einem Fahrzeug
KR101699414B1 (ko) * 2015-10-15 2017-01-24 서울시립대학교 산학협력단 이온트랩 기반의 양자역학적 인공 시각 시스템 및 연산 방법
TWI555378B (zh) * 2015-10-28 2016-10-21 輿圖行動股份有限公司 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
US9950669B2 (en) 2015-11-12 2018-04-24 Robert Bosch Gmbh Vehicle camera system with multiple-camera alignment
US10453217B2 (en) 2016-03-24 2019-10-22 Magna Electronics Inc. Targetless vehicle camera calibration system
KR102597435B1 (ko) * 2016-04-20 2023-11-03 엘지이노텍 주식회사 영상 취득 장치 및 그 방법
JP6723820B2 (ja) * 2016-05-18 2020-07-15 株式会社デンソーテン 画像生成装置、画像表示システムおよび画像表示方法
US10165256B2 (en) * 2016-09-14 2018-12-25 Amazon Technologies, Inc. Aerial vehicle optical sensor configuration
WO2018087856A1 (ja) * 2016-11-10 2018-05-17 三菱電機株式会社 映像合成装置及び映像合成方法
US10504241B2 (en) 2016-12-19 2019-12-10 Magna Electronics Inc. Vehicle camera calibration system
US10466027B2 (en) 2017-06-21 2019-11-05 Fujitsu Ten Corp. Of America System and method for marker placement
JP7054803B2 (ja) 2017-07-21 2022-04-15 パナソニックＩｐマネジメント株式会社 カメラパラメタセット算出装置、カメラパラメタセット算出方法及びプログラム
CN111033555B (zh) 2017-08-25 2024-04-26 株式会社索思未来 修正装置、修正程序以及记录介质
US10504244B2 (en) * 2017-09-28 2019-12-10 Baidu Usa Llc Systems and methods to improve camera intrinsic parameter calibration
US10636173B1 (en) 2017-09-28 2020-04-28 Alarm.Com Incorporated Dynamic calibration of surveillance devices
US11012683B1 (en) 2017-09-28 2021-05-18 Alarm.Com Incorporated Dynamic calibration of surveillance devices
DE112019001358T5 (de) * 2018-03-15 2020-12-31 Murakami Corporation Vorrichtung zur erstellung zusammengesetzter videobilder, verfahren zur erstellung zusammengesetzter videobilder und programm zur erstellung zusammengesetzter videobilder
KR102477480B1 (ko) * 2018-03-20 2022-12-14 주식회사 에이치엘클레무브 어라운드뷰 카메라의 캘리브레이션 장치 및 그 방법
JP2019180016A (ja) * 2018-03-30 2019-10-17 パナソニックＩｐマネジメント株式会社 画像合成装置、画像合成方法及びプログラム
JP7314486B2 (ja) * 2018-09-06 2023-07-26 株式会社アイシン カメラキャリブレーション装置
US10904434B2 (en) 2018-09-28 2021-01-26 Bounce Imaging, Inc. Panoramic camera and image processing systems and methods
KR102559203B1 (ko) * 2018-10-01 2023-07-25 삼성전자주식회사 포즈 정보를 출력하는 방법 및 장치
KR102525030B1 (ko) * 2018-12-11 2023-04-24 삼성전자주식회사 포인트 클라우드를 생성하는 방법 및 장치
JP2020098575A (ja) * 2018-12-13 2020-06-25 富士通株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
CN109636874B (zh) * 2018-12-17 2023-05-26 浙江科澜信息技术有限公司 一种三维模型透视投影方法、系统及相关装置
CN109903341B (zh) * 2019-01-25 2023-09-08 东南大学 一种车载摄像机外参动态自标定方法
KR20200126540A (ko) * 2019-04-30 2020-11-09 주식회사 만도 카메라 보정 시스템 및 그 방법
KR102274026B1 (ko) * 2019-05-22 2021-07-09 (주)베이다스 차량용 카메라 캘리브레이션 장치 및 그 방법
JP2020174363A (ja) * 2020-06-23 2020-10-22 株式会社リコー 撮影システム、方法およびプログラム
WO2022250238A1 (ko) * 2021-05-25 2022-12-01 (주) 이즈커뮤니케이션즈 컴퓨터에의 정보 입력 시스템 및 이 정보 입력 시스템을 이용한 입력 정보의 좌표 산출 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120224064A1 (en) * 2008-10-24 2012-09-06 Magna Electronics Europe Gmbh & Co. Kg Method for calibrating a vehicular camera system
CN102982526A (zh) * 2011-06-01 2013-03-20 哈曼贝克自动系统股份有限公司 标定车辆视觉系统的方法和车辆视觉系统
CN103035005A (zh) * 2012-12-13 2013-04-10 广州致远电子股份有限公司 一种全景泊车的标定方法，及装置，一种自动标定方法
CN103196678A (zh) * 2013-03-26 2013-07-10 北京嘉悦和汽车科技有限公司 基于dsp的四轮定位仪输入图像实时校正装置和方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008187566A (ja) 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
JP2008187564A (ja) * 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
JP5523730B2 (ja) * 2009-04-07 2014-06-18 アルパイン株式会社 車載周辺画像表示装置
JP5299231B2 (ja) * 2009-11-17 2013-09-25 富士通株式会社 キャリブレーション装置
JP5491235B2 (ja) * 2010-03-02 2014-05-14 東芝アルパイン・オートモティブテクノロジー株式会社 カメラキャリブレーション装置
JP5552892B2 (ja) * 2010-05-13 2014-07-16 富士通株式会社 画像処理装置および画像処理プログラム
KR101113679B1 (ko) * 2010-05-24 2012-02-14 기아자동차주식회사 카메라 시스템의 영상 보정 방법
JP5444139B2 (ja) * 2010-06-29 2014-03-19 クラリオン株式会社 画像のキャリブレーション方法および装置
WO2012143036A1 (en) * 2011-04-18 2012-10-26 Connaught Electronics Limited Online vehicle camera calibration based on continuity of features
JP5804892B2 (ja) * 2011-10-25 2015-11-04 セコム株式会社 カメラ姿勢算出装置
WO2013074604A2 (en) * 2011-11-15 2013-05-23 Magna Electronics, Inc. Calibration system and method for vehicular surround vision system
JP5898475B2 (ja) * 2011-11-28 2016-04-06 クラリオン株式会社 車載カメラシステム及びその較正方法、及びその較正プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120224064A1 (en) * 2008-10-24 2012-09-06 Magna Electronics Europe Gmbh & Co. Kg Method for calibrating a vehicular camera system
CN102982526A (zh) * 2011-06-01 2013-03-20 哈曼贝克自动系统股份有限公司 标定车辆视觉系统的方法和车辆视觉系统
CN103035005A (zh) * 2012-12-13 2013-04-10 广州致远电子股份有限公司 一种全景泊车的标定方法，及装置，一种自动标定方法
CN103196678A (zh) * 2013-03-26 2013-07-10 北京嘉悦和汽车科技有限公司 基于dsp的四轮定位仪输入图像实时校正装置和方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10593016B2 (en) 2015-06-19 2020-03-17 Sony Corporation Image processing unit, image processing method, and projection system
CN108367710A (zh) * 2016-06-15 2018-08-03 Jvc 建伍株式会社 姿势变化判定装置、俯瞰影像生成装置、俯瞰影像生成系统、姿势变化判定方法以及程序
CN107945234A (zh) * 2016-10-12 2018-04-20 杭州海康威视数字技术股份有限公司 一种立体摄像机外部参数的确定方法及装置
WO2018068678A1 (zh) * 2016-10-12 2018-04-19 杭州海康威视数字技术股份有限公司 一种立体摄像机外部参数的确定方法及装置
US11010924B2 (en) 2016-10-12 2021-05-18 Hangzhou Hikvision Digital Technology Co., Ltd. Method and device for determining external parameter of stereoscopic camera
CN108616734A (zh) * 2017-01-13 2018-10-02 株式会社东芝 图像处理装置以及图像处理方法
CN110022459A (zh) * 2018-01-08 2019-07-16 联发科技股份有限公司 用于车辆的全景监控系统和全景监控校准方法
CN111670572A (zh) * 2018-02-09 2020-09-15 索尼公司 校准装置、校准方法和程序
CN111670572B (zh) * 2018-02-09 2022-01-28 索尼公司 校准装置、校准方法和计算机可读存储介质
CN113396580A (zh) * 2019-02-18 2021-09-14 三菱电机株式会社 图像处理装置、图像处理方法和图像处理程序
CN112184827A (zh) * 2019-07-01 2021-01-05 威达斯高级驾驶辅助设备有限公司 校准多个摄像机的方法及装置
CN112184827B (zh) * 2019-07-01 2024-06-04 Nc&有限公司 校准多个摄像机的方法及装置
CN112399172A (zh) * 2019-08-13 2021-02-23 威达斯高级驾驶辅助设备有限公司 校准多个摄像机的方法及装置
CN112399172B (zh) * 2019-08-13 2024-06-04 Nc&有限公司 校准多个摄像机的方法及装置

Also Published As

Publication number Publication date
JPWO2015029934A1 (ja) 2017-03-02
EP3041228A4 (en) 2017-06-28
JP6154905B2 (ja) 2017-06-28
US20160176343A1 (en) 2016-06-23
EP3041228A1 (en) 2016-07-06
WO2015029934A1 (ja) 2015-03-05

Similar Documents

Publication Publication Date Title
CN105474634A (zh) 摄像机校准装置、摄像机校准系统及摄像机校准方法
CN103686143B (zh) 照相机的校准方法以及装置
JP6034775B2 (ja) カメラ校正装置
CN105157608B (zh) 一种超限车辆的检测方法、装置及系统
CN108475437B (zh) 具有角落放置摄像机的车辆360°环视系统，校准系统和方法
US10171802B2 (en) Calibration method and calibration device
JP5898475B2 (ja) 車載カメラシステム及びその較正方法、及びその較正プログラム
WO2017135081A1 (ja) 車載カメラ用校正システム
JP7002007B2 (ja) カメラパラメタセット算出装置、カメラパラメタセット算出方法及びプログラム
KR20090078463A (ko) 왜곡 영상 보정 장치 및 방법
JP4681432B2 (ja) 車載周辺画像表示装置
US10687052B2 (en) Camera parameter calculation method, recording medium, camera parameter calculation apparatus, and camera parameter calculation system
JP6060682B2 (ja) 路面画像生成システム並びに影除去装置、方法及びプログラム
JP6151535B2 (ja) パラメータ取得装置、パラメータ取得方法及びプログラム
CN108596982A (zh) 一种简易的车载多目摄像机环视系统标定方法及装置
CN103426160B (zh) 数据导出装置及数据导出方法
Hugemann Correcting lens distortions in digital photographs
CN106488204B (zh) 具备自身校准的深度摄影装置以及自身校准方法
WO2013154085A1 (ja) キャリブレーション方法および装置
KR102173315B1 (ko) 차량 어라운드 뷰 생성을 위한 다중 카메라 교정 방법
CN113052974A (zh) 物体三维表面的重建方法和装置
JP4311107B2 (ja) 三次元物体認識装置およびその設定方法
US20200265588A1 (en) Road surface area detection device
JP2022018583A (ja) 処理装置及び車載カメラ装置
JP2021140262A (ja) カメラキャリブレーション装置、カメラキャリブレーション方法、およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20190326