CN106233711B - 摄像机校准装置以及摄像机校准系统 - Google Patents

摄像机校准装置以及摄像机校准系统 Download PDF

Info

Publication number
CN106233711B
CN106233711B CN201580020606.4A CN201580020606A CN106233711B CN 106233711 B CN106233711 B CN 106233711B CN 201580020606 A CN201580020606 A CN 201580020606A CN 106233711 B CN106233711 B CN 106233711B
Authority
CN
China
Prior art keywords
vehicle
camera
image
calibration
video camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580020606.4A
Other languages
English (en)
Other versions
CN106233711A (zh
Inventor
坂野盛彦
佐藤启二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Publication of CN106233711A publication Critical patent/CN106233711A/zh
Application granted granted Critical
Publication of CN106233711B publication Critical patent/CN106233711B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

提供一种摄像机校准装置以及摄像机校准系统，即使在车辆的装载状态发生变化的状况下也能够实施校准，并且不利用例如车辆与白线的平行性，就能够精密地推定所有摄像机参数，实施校准。基于从影像提取的预定特征量来推定车辆的姿势，基于从产品出厂时等过去实施的校准而得到的信息来校正摄像机的相对于地面的平移方向的位置，基于该车辆的姿势和摄像机的相对于地面的平移方向的位置，来计算摄像机的相对于地面的姿势所相关的摄像机参数。

Description

摄像机校准装置以及摄像机校准系统
技术领域
本发明涉及摄像机校准装置以及摄像机校准系统。
背景技术
以往，出于辅助驾驶员对周围的确认的目的，推进了车载摄像机的普及。另外，近年来，推进了下述系统的实用化，该系统对由安装于车辆周围的多个摄像机拍摄的各影像进行视点变换，将合成该影像而生成的车辆周围的俯瞰影像(从正上方向下观察车辆这样的影像)提供显示给驾驶员。
为了如上述那样将由各摄像机拍摄的影像变换为俯瞰视点而生成合成影像，需要焦距、透镜畸变(镜头畸变)等光学特性、拍摄元件大小等摄像机固有信息(内部参数)、以及各摄像机的安装位置、角度的相关信息(外部参数)。使用合计了这样的内部参数和外部参数的摄像机参数，来进行各摄像机所拍摄的影像的俯瞰视点变换，对从该影像得到的俯瞰影像进行合成，从而能够假想地生成从俯瞰视点拍摄出的影像。
然而，虽然各摄像机按照基于设计值的位置、角度安装于车辆，但是当时必然会产生误差。在尽管存在这样的误差但仍然基于设计值来生成俯瞰影像的情况下，必然不会成为从俯瞰视点拍摄出的影像，而是生成存在与误差相应的偏移的影像。尤其是在对多个影像进行合成的情况下，该偏移的影响在合成图像中的各摄像机的图像的交界区域明显显现出来，外观上受到的影响比单一摄像机的情况大。为了解决这样的问题，进行被称作校准或者校正的基于摄像机参数的设计值的误差校正。
该校准要求极高精度地校正所述误差，因此并非采用机械调整摄像机的装设状态的方法，而是采用从拍摄出的影像来推定当前装设状态的方法。作为从拍摄出的影像来推定装设状态的方法，通常采用这样的方法：将打印在纸、板等上的图案(校准图表)精密地设置在预先决定的位置后进行拍摄，以实际拍摄出的影像与利用按设计值制造/设置的摄像机进行拍摄的情况下的影像一致的方式修正摄像机参数，此时，不是调整摄像机的安装状态本身，而是借助图像变化来修正摄像机的安装位置、角度的相关程序中的数值。
另外，车辆出厂时在工厂的生产线等进行校准时，对没人乘坐的空车状态或者驾驶员乘坐于司机座位的情况等特定的装载状态进行再现，来实施校准。因而，在空车状态或者特定的装载状态等这样的与实际进行了校准的状态相同的状态下，影像不会发生偏移。
然而，实际上使用者使用车辆时，乘车的人数、坐人位置、载置物品的装载状态等会有各种各样的变化。于是，当车辆的装载状态发生变化时，车辆的姿势也发生变化，随之，摄像机的相对于地面的装设状态也发生变化。即，存在这样的问题：摄像机参数发生变化而产生误差，由于该摄像机参数的误差，影像产生偏移。
针对这样的问题，专利文献1、2公开了在车辆的行驶中校正摄像机参数的技术。
专利文献1公开的车辆用摄像机的在线校准方法为这样的方法：利用至少两个摄像机拍摄路面的相邻部分，在图像框架内确定长度方向的道路特征，以与两个图像框架间的单一的线一致的方式选择由两个摄像机拍摄出的至少两个图像框架内所确定的长度方向的道路特征，分析单一的线的一致度，决定两个图像框架间的线的偏离，为了摄像机的校准而应用决定好的线的偏离。
另外，专利文献2公开的车辆用摄像机的在线校准方法为这样的方法：利用摄像机拍摄路面的一部分，在图像框架内确定长度方向的道路特征，沿着确定出的长度方向的道路特征来提取点，并且利用考虑了预先已知的摄像机参数的透视映射来将该提取点转换到假想道路平面上，相对于车辆分析转换后的提取点,决定该点相对于与车辆平行的线的偏差，为了定义摄像机的偏离校正而使用测定出的偏差。
现有技术文献
专利文献
专利文献1：国际公开第2012/143036号
专利文献2：国际公开第2012/139660号
发明内容
发明要解决的课题
但是，在专利文献1公开的车辆用摄像机的在线校准方法中，想要仅使用长度方向的特征量实现校准，因此无法准确地推定特定的外部参数，通过本发明人进行解析而确认了该点。
另外，专利文献2公开的车辆用摄像机的在线校准方法中，想要利用车辆的与白线的平行性来实现校准，因此存在只有该车辆与白线平行的情况下才能实施校准这样的问题。另外，为了保证车辆的与白线的平行性，存在这样的问题：只能在车辆的速度为某速度(50km)以上的情况下实施校准，例如在市内等低速行驶的情况下，无法实施校准。
本发明是鉴于所述问题而做成的，其目的在于提供一种摄像机校准装置以及摄像机校准系统，即使在车辆的装载状态发生变化的状况下也能够实施校准，并且不利用例如车辆的与白线的平行性，就能够精密地推定所有摄像机参数，实施校准。
用于解决课题的手段
为了解决上述问题，本发明的摄像机校准装置对搭载于车辆、拍摄所述车辆的周围环境的多个摄像机实施校准，其特征在于，包括：影像取得部，其取得由所述摄像机拍摄出的影像；特征提取部，其从所述影像提取预定的特征量；姿势推定部，其基于所述预定的特征量来推定所述车辆的姿势；平移校正部，其基于从过去实施的校准得到的信息来校正摄像机的相对于地面的平移方向的位置；摄像机参数计算部，其基于所述车辆的姿势和所述摄像机的相对于地面的平移方向的位置来计算摄像机的相对于地面的姿势所相关的摄像机参数。
另外，本发明的摄像机校准系统的特征在于，具备：所述摄像机校准装置；所述多个摄像机，其以拍摄的影像的一部分重叠或者相邻的方式搭载于所述车辆；合成影像生成装置，其使用从所述摄像机校准装置获得的各摄像机的摄像机参数来校正由所述多个摄像机拍摄出的影像而生成合成影像；以及显示装置，其显示所述合成影像。
发明的效果
采用本发明，即使在车辆的装载状态发生变化的状况下也能够实施校准，并且不利用例如车辆的与白线的平行性，就能够精密地推定所有摄像机参数，实施校准，因此能够在所有状况下生成与车辆的装载状态相应的高精度的俯瞰影像。
通过以下实施方式的说明能够了解上述以外的技术问题、特征以及效果。
附图说明
图1是表示本发明的摄像机校准系统的实施方式的整体结构的系统结构图。
图2是说明到实施产品出厂时以及使用时校准为止的步骤的流程图。
图3是表示使用时校准实施前的俯瞰影像的一例的图。
图4是表示使用时校准实施过程中的俯瞰影像的一例的图。
图5是表示使用时校准实施后的俯瞰影像的一例的图。
图6是表示图1所示的摄像机校准装置的内部结构的一例的结构图。
图7是说明图6所示的摄像机校准装置的校准处理的流程图。
图8是表示图1所示的摄像机校准装置的内部结构的另一例的结构图。
图9是说明图8所示的摄像机校准装置的校准处理的流程图。
图10是表示图1所示的摄像机校准装置的内部结构的又一例的结构图。
图11是说明图10所示的摄像机校准装置的校准处理的流程图。
具体实施方式
以下，参照附图说明本发明的摄像机校准装置以及摄像机校准系统的实施方式。以下，说明使用四台摄像机、相邻的两台摄像机所拍摄出的影像的一部分重叠或者相邻的情况，但是整个系统的摄像机的台数、拍摄重叠或者相邻部分的摄像机的台数可以根据使用者等的要求适当变更。
＜摄像机校准系统的实施方式＞
图1是表示实现了本发明的摄像机校准系统的实施方式的系统结构的图。图示的摄像机校准系统100主要具备：四台摄像机111～114、运算装置101、RAM102、ROM103、显示装置104、车速传感器105、转向角传感器106、偏航率传感器107、输入装置108以及通信装置109。
各摄像机111～114搭载于车辆1，例如设置于该车辆1的前后左右。例如，设置在前后的摄像机安装于牌照附近的车体，设置在左右的摄像机安装于侧后视镜的下部等。这里，将摄像机111安装于车辆1的前侧，摄像机112安装于车辆1的后侧，摄像机113安装于车辆1的左侧，摄像机114安装于车辆1的右侧(参照图3)。各摄像机111～114安装为光轴朝向相对于与地面平行的水平面从平行朝向铅垂下方的方向。各摄像机111～114按照事先决定的已知的设计信息来安装，但实际上会产生安装误差，该误差是未知的。另外，各摄像机111～114采用广角的鱼眼摄像机，以能够取得车辆1整周的影像。鱼眼摄像机为了取得广角的影像，基于已知的失真函数来使图像失真。由各摄像机111～114拍摄出的四个影像被发送到运算装置101。
车速传感器105、转向角传感器106以及偏航率传感器107分别为观测车速、转向角、偏航率的传感器，由各传感器观测到的传感器信息被发送到运算装置101，在运算装置101的运算处理中被利用。
输入装置108是例如开关、按钮等这样的接受使用者的操作的装置，用于校准功能的开/闭、校准结果的初始化、校准方法的变更等。通过使用者的操作而输入到该输入装置108的各种信息被发送给运算装置101。
通信装置109是用于与未图示的外部设备之间的通信的装置，运算装置101借助该通信装置109从外部设备接收各种信息，并将由运算装置101运算出的各种信息向外部设备发送。
向RAM102中写入运算装置101的运算处理过程所需要的数值数据、与运算处理途中的处理结果相对应的程序变量等。并且，在运算装置101的运算处理过程中根据需要而适当读出被写入的数据，来用于运算处理。另外，RAM102中还能存储由各摄像机111～114拍摄出的影像数据等。
ROM103中事先存储有例如执行校准的程序、程序所需要的信息中的不会被更新地利用的信息。例如，存储有各摄像机的设置位置、角度的设计值(外部参数)、各摄像机的焦距、像素大小、光轴中心、失真函数等(内部参数)摄像机参数。
运算装置101是这样的装置：接受从各摄像机111～114、车速传感器105、转向角传感器106、偏航率传感器107、输入装置108、通信装置109等发送出的各种信息，基于程序等来实施计算处理。运算装置101例如实施这样的计算处理：对从各摄像机111～114输入的影像进行视点变换合成，生成从上方向下观察地面这样的影像(俯瞰影像)。详细而言，对于由鱼眼摄像机构成的各摄像机111～114所拍摄出的影像，生成使用事先存储于ROM103等的已知的失真函数而除去了影像的失真的影像，基于事先存储于ROM103等的已知的与摄像机安装相关的设计值等，将除去了失真的各影像视点变换合成为从俯瞰视点看到的影像(合成影像生成装置115)。这样的视点变换合成处理通过以下方式实现：使用公知的摄像机的几何变换式，计算俯瞰视点影像的特定像素和与其相应的各摄像机111～114的特定像素，将该像素的亮度值分配给俯瞰视点影像的像素。在对应的像素含有小数点，没有符合的像素的情况下，进行这样的处理：利用公知的亮度的插补处理来分配周围像素的中间亮度。并且，运算装置101使用车速传感器105、转向角传感器106、偏航率传感器107、通信装置109的输出结果来执行运算处理，或者按照输入装置108的输入结果，来执行动作程序的切换处理。
另外，运算装置101中内置有摄像机校准装置116，摄像机校准装置116实施摄像机的校准(校正处理)，以使经视点变换合成而生成的俯瞰影像成为从正上方向下观察车辆1的影像。
显示装置104接收运算装置101的处理结果，使用显示器等向使用者提供显示该处理结果。例如，向驾驶员显示将各摄像机111～114的四个影像进行视点变换合成而生成的俯瞰影像。另外，显示装置104也可以仅显示拍摄车辆1的后方的摄像机112的影像等，按照运算装置101的输出，切换显示内容。
图2是说明到实施产品出厂时以及使用时校准为止的步骤的流程图。如图所示，例如在摄像机安装S201、乘车状态再现S202、位置调整S203、校准图表拍摄S204之后实施产品出厂时的校准S205。
在摄像机安装S201中，向车体安装各摄像机111～114，在乘车状态再现S202中，再现车辆1中乘坐有乘坐人员的状态。例如，在司机座位实际乘坐体重60千克的驾驶员，或者搭载与其相当的载置物品等，再现实际上会发生的乘车状态。实施该乘车状态再现S202的理由在于，根据乘车状态的不同，车辆1的姿势发生变化，随之，摄像机111～114的相对于地面的角度等发生变动。在摄像机111～114的角度、位置与设计好的安装状态不同的情况下，合成影像中的由各摄像机拍摄的影像彼此之间的交界(以下，称为图像交界)处产生偏移，因此需要在考虑该变动的角度等的基础上实施校准，所以通过该乘车状态再现S202，再现与其相应的摄像机安装状态。
在位置调整S203中，将车辆1与校准图表调整成为预先决定好的位置关系。在通常的校准中，在校准图表与摄像机的位置关系成为规定的位置关系之后，实施校准。
在校准图表拍摄S204中，利用安装于车辆1的摄像机111～114来拍摄校准图表。
然后，在产品出厂时的校准S205中，使用由各摄像机111～114拍摄出的影像来实施校准。此时，例如，使用公知的技术来实施校准。即，在摄像机111～114按照设计被安装且校准图表被设置在规定位置的情况下，计算校准图表应该显现的位置，调整程序中的用于图像变换的摄像机参数，以使实际上拍摄出的影像中的校准图表位于其应该显现位置。关于该校准S205，例如，也可以利用公知技术即即使校准图表与车辆1的位置关系不定也能够实施校准的技术，该情况下，不需要位置调整S203的步骤。
另外，在利用这样的步骤实施校准的情况下，如在乘车状态再现S202中所实施的那样，在模拟特定的乘车状态的基础上实施校准，若乘车状态与产品出厂时实施的校准时不同，则在俯瞰影像中的影像交界处会产生偏移。因而，仅在特定的乘车状态下实施校准是不够的，例如需要每次根据乘车状态实施校准。因此，在产品出厂后的包括行驶中、停车中等在内的使用时也实施根据当时的乘车状态的校准。即，如图2所示，在实施了产品出厂时的校准S205后，实施使用时的校准S206。
在使用时的校准S206中，为了应对上述问题，利用内置于运算装置101的摄像机校准装置116，使用在行驶中或停车中等车辆1的使用时能由各摄像机111～114拍摄的周围环境的信息，根据乘车状态实施每次的校准。本实施方式以利用例如图2所示的步骤在工厂等实施过一次校准的状态为前提，但是实现了不需要车辆的与白线的平行性、即白线与车辆的相对关系，就能够推定针对所有摄像机111～114的摄像机参数的方式。通常，兼顾由摄像机拍摄的影像的品质确认等，在工厂出厂时实施校准，因此，即使作为制约条件，以实施过一次校准为前提，也是获得的优点多。
参照图3～图5，概述上述摄像机校准装置116进行的使用时的校准S206。
图3是表示使用时校准实施前的俯瞰影像的一例的图，表示：在实施了图2的S201～S205的处理等的在工厂的产品出厂时的校准之后，使用时的车辆的装载状态与在产品出厂时校准中设想的装载状态相比发生了变化时的俯瞰影像的一例。如图3所示，该俯瞰影像中显示有道路的白线，因为车辆1的装载状态与事先设想的装载状态不同，所以各摄像机111～114的相对于地面的姿势(角度、位置)发生了变化，在各摄像机111～114的影像交界处，白线发生了偏移。
因此，在使用时校准中，在这种状况下，以对俯瞰影像进行校正而不存在白线等的偏移的方式实施校准。在本实施方式中，为了使用尽可能多的镜头来实施校准且实施稳定的校准，例如使用拍摄出了白线等的长度方向的直线的特征量(具有直线状的特征量)的影像来实施校准。此时，如图3所示，在车辆1的两侧拍摄到直线构造物(直线的特征量，图示例中为白线)，至少需要摄像机111拍摄到两条、摄像机112拍摄到两条、摄像机113拍摄到一条、摄像机114拍摄到一条的直线构造物，并且，需要映入摄像机111以及摄像机112的两条直线构造物分别相互平行，但是不需要车辆1与直线构造物的相对角度、到直线构造物的距离等这样的、车辆1与直线构造物的相对关系。
更详细而言，在该使用时校准中，不直接推定摄像机111～114的参数，而是推定车辆1的姿势、即表示车辆1的姿势的参数，从表示车辆1的姿势的参数来推定各摄像机111～114的摄像机参数，而实施上述校准。推定车辆1的姿势的步骤划分为推定车辆1的纵倾角(pitch angle)的步骤、以及同时推定车辆1的侧倾角和高度的步骤。在推定车辆1的纵倾角的步骤中，基于由设置在车辆1的前后的摄像机111以及摄像机112拍摄的平行的直线的平行性来进行车辆1的纵倾角的推定。当推定车辆1的纵倾角来实施摄像机参数的校正时，则能够得到图4所示那样的俯瞰影像。这里，以映入摄像机111以及摄像机112的平行直线在俯瞰影像上为平行的方式来校正摄像机参数。之后，在同时推定车辆1的侧倾角和高度的步骤中，以俯瞰影像的影像交界处直线不发生偏移的方式推定车辆1的侧倾角以及高度。像这样推定车辆1的侧倾角以及高度来实施摄像机参数的校正，推定伴随着车辆姿势的变动的所有摄像机的摄像机参数来实施校准的结果为，如图5所示，得到在影像交界处没有偏移的俯瞰影像。
＜摄像机校准装置的实施方式1＞
图6是表示图1所示的摄像机校准装置的内部结构的一例(实施方式1)的图，表示能够实现上述使用时校准的摄像机校准装置的内部构成。另外，图7是说明图6所示的摄像机校准装置的校准处理的流程图。另外，装载预先存储于ROM103的程序后实施图6所示的摄像机校准装置的校准处理。
图6所示的摄像机校准装置116主要具备：校准实施判断部201、影像取得部202、特征提取部203以及校准部204。
摄像机校准装置116的校准实施判断部201判断是否需要实施摄像机的校准(图7的S701)。例如，关于由各摄像机111～114拍摄出的构成俯瞰影像的四个影像全都映入有白线的镜头，判断俯瞰影像的各影像交界处白线是否发生偏移，由此自动判断是否需要实施摄像机的校准。这里，白线是否发生偏移例如能够这样进行判断：使用公知的技术从影像识别白线，算出其在影像中的位置，测定在预先指定的影像交界位置的位置偏移量，判断该偏移量是否超过了预先指定的阈值。另外，也可以使用下述方法，即：使用例如陀螺传感器等这样的直接推定车辆的姿势变化的传感器，来检测车辆的装载状况的变化，由此判断是否需要实施校准等方法。另外，还可以使用下述方法，即：利用由后述的特征提取部203提取出的直线的特征量(例如临时存储于RAM102的、包含虚线在内的白线、路缘石、道路端交界等的相关信息)等，使用俯瞰影像的各影像交界处的直线的特征量的偏移量以及影像中的车辆的两侧(周围)的相互平行的直线的特征量的平行性，来来判断是否需要实施摄像机的校准等方法。
在由校准实施判断部201判断为需要实施摄像机的校准的情况下，影像取得部202从RAM102取得由安装于车辆1的四个摄像机111～114拍摄的影像(图7的S702)。另外，若由各摄像机111～114拍摄出的影像存在同步偏移，则由于其作为校准的误差而表现出来，因此优选在RAM102中完全同步地保存由各摄像机111～114拍摄出的影像，或者，具有能够取得影像的偏移时间的结构。另外，也可以是，影像取得部202从各摄像机111～114直接取得影像。
特征提取部203提取由影像取得部202取得的由各摄像机111～114拍摄出的影像中的用于校准的预定特征量、尤其是长度方向(即，车辆的前后方向)上的直线的特征量(例如，包括虚线在内的白线、路缘石、道路端交界等)(图7的S703)。该直线的特征量能够利用以下方法提取，即：例如，在各摄像机111～114中生成通过使用设计好的失真函数而除去了鱼眼摄像机的失真的影像，在该影像中实施公知的边缘提取，关于边缘特征，使用公知的霍夫变换的方法等。
校准部204利用由特征提取部203得到的特征量等来实施摄像机的校准。该校准部204的校准处理虽然以在工厂等实施过一次校准的状态为前提，但是不需要车辆的相对于长度方向的特征量的平行性、即长度方向的特征量与车辆的相对关系，能够仅凭长度方向的特征量来推定所有摄像机参数。在该校准处理中，不是直接推定各摄像机111～114的摄像机参数，而是推定车辆1的姿势，通过该车辆1的姿势来推定所有摄像机参数。由于各摄像机设于作为刚性体的车体，因此在车体的姿势发生了变化的情况下，与之相联动地，各摄像机的角度、位置也发生变动。例如，车辆1的前侧的座席上乘坐有乘坐人员，如果车辆1的前侧下沉，则安装于车辆1的前侧的摄像机111的角度变得向下，安装于车辆1的后侧的摄像机112变得以相同量的角度向上。车辆1的右侧的座席乘坐有乘坐人员，如果车辆1的右侧下沉，则安装于车辆1的右侧的摄像机114的角度变得向下，安装于车辆1的左侧的摄像机113的角度变得以相同量向上。并且，此时，安装于车辆1的前侧的摄像机111与安装于车辆1的后侧的摄像机112相对于光轴稍微向右侧旋转。这样，各摄像机111～114的变动与车体姿势的变动相联动。并且，能够唯一确定出相对于车体姿势的变动的这些摄像机111～114的变动的情况。为了一边考虑这样的各摄像机111～114与车体的联动性一边推定摄像机参数，在该校准部204的校准处理中，不是单个地推定各摄像机111～114的摄像机参数，而是实施车辆1的姿势的推定，根据推定出的车辆1的姿势来计算各摄像机参数。
更详细而言，在仅使用影像中的长度方向的直线来实施校准的情况下，若各摄像机111～114单个地推定摄像机参数，则存在不能推定的参数。例如，在假设使用车辆1与直线的平行性来实施校准的情况下，安装于车辆1的前侧的摄像机111的侧倾角(roll angle)能够通过校正为影像中的白线完全朝向纵向而求出。并且，安装于车辆1的前侧的摄像机111的纵倾角也能够通过以下方式来推定：若拍摄有多条直线，则为了使这些直线都与车辆1平行，且直线彼此也平行，而以满足该直线的平行性的方式进行校正。然而，对于安装于车辆1的前侧的摄像机111的偏航角，即使偏航角发生变动，直线的平行性、影像中的直线的角度也不发生变动，因此用于校正的特征不足，无法唯一地决定。因此，无法推定摄像机参数，无法生成完全没有偏移的俯瞰影像。
相对于此，在借助行驶中等使用中的车辆1的姿势推定来实施校准的情况下，即使没有长度方向的直线与车辆的相对关系的情况下，仅使用长度方向的直线也能推定出所有摄像机参数。为了推定某摄像机参数，针对该摄像机参数的变动，必须显现(表现)出某些可观测到的变化，在车辆姿势的参数发生变动的情况下，可观测到的长度方向的直线表现出变化。具体而言，车辆1的纵倾角发生了变动的情况下，俯瞰影像的长度方向的直线的平行性发生变化。另外，车辆1的侧倾角发生了变动的情况下，在俯瞰影像的影像交界的长度方向的直线发生偏移。另外，车辆1的高度发生了变动的情况下，在俯瞰影像的影像交界处发生与车辆1的侧倾角发生变动的情况不同的长度方向的直线的偏移。因而，仅凭影像中的长度方向的直线就能够推定车辆姿势的参数，确定了车辆姿势，则能够计算被安装于车辆1的各摄像机111～114的位置、角度，因此仅凭影像中的长度方向的直线就能够推定所有摄像机参数。
但是，该校准处理需要在工厂出厂时等预先实施校准。在工厂出厂时完成了校准的情况下，在该校准时设想的装载状态成为俯瞰影像没有偏移的状态。俯瞰影像中的偏移的发生是因为伴随着车辆1的装载状态的变化的车辆姿势的变动，因此若消除伴随着该车辆姿势的变动的摄像机姿势的变动，则能够回到原来的没有偏移的俯瞰影像。因而，通过推定车辆姿势，计算伴随着该变动的摄像机的角度、位置，能够生成没有偏移的俯瞰影像。反言之，在未预先实施过校准的情况下，即使实施与车辆姿势的变动相应的摄像机角度、位置的校正，也只是返回初始的未校准状态，仍然为留有影像的偏移的状态，因此不能生成没有偏移的俯瞰影像。因此，该校准处理需要事先实施过校准。
具体而言，校准部204具有姿势推定部301、平移校正部304以及摄像机参数算出部305，姿势推定部301由纵倾角推定部302和侧倾角/高度/旋转中心推定部303构成。
姿势推定部301的纵倾角推定部302例如使用由安装于车辆1的前后的摄像机111、112拍摄出的影像中的长度方向的直线(直线的特征量)的平行性，来实施车辆1的纵倾角推定(图7的S704)。在行驶中拍摄下被绘于道路的白线或者白线与道路端交界等这样的平行的直线的情况下，在理想的俯瞰视点影像中，该平行的直线应该显示为平行。但是，在车辆1的纵倾角有变动的情况下，俯瞰视点影像中的该平行的直线显示为“日文ハ字”状，变得不平行。在将摄像机111、112变换为俯瞰视点的情况下，以该直线成为平行的方式推定车辆1的纵倾角。详细而言，基于摄像机111、112各自的直线方程式的平行性，例如以直线向量的内积为评价函数，以该内积对于摄像机111、112都为尽可能接近1的值的方式实施车辆1的纵倾角的最优化。这里使用的直线(直线的特征量)由上述特征提取部203取得。另外，使用最速下降法等公知的技术能够实现上述最优化。即，例如，求出车辆1的纵倾角的相关评价函数，以评价函数接近目的值的方式反复实施使车辆1的纵倾角微小变化的处理即可。
姿势推定部301的侧倾角/高度/旋转中心推定部303以俯瞰影像的在影像交界处表现出的长度方向的直线(直线的特征量)的偏移消失的方式，推定车辆1的侧倾角、车辆1的高度、车辆1的旋转中心(图7的S705)。这里，车辆1的纵倾角固定为由纵倾角推定部302得到的纵倾角。详细而言，设计表示俯瞰影像的在影像交界处表现出的长度方向的直线的偏移的评价函数，以该评价函数成为最小的方式，对车辆1的侧倾角、车辆1的高度、车辆1的旋转中心的相关各参数进行最优化。这里，对于评价函数，例如在摄像机111与摄像机113的影像交界、摄像机111与摄像机114的影像交界、摄像机112与摄像机113的影像交界、摄像机112与摄像机114的影像交界分别算出俯瞰影像的影像交界处的直线偏移，评价函数为取得这些的总和的函数。这里使用的直线(直线的特征量)由上述特征提取部203取得。另外，能够使用公知的技术来实施上述最优化，但是由于推定的参数有多个，因此不优选基于最速下降法等那样的梯度法，而是选择全局优化方法。以使表示俯瞰影像的影像交界处的直线的偏移的评价函数最小化的方式反复实施使车辆1的侧倾角、车辆1的高度、车辆1的旋转中心微小变化的处理。另外，这里，考虑到由于车辆1的旋转中心而各摄像机参数不同，包括车辆1的旋转中心在内实施最优化。
平移校正部304基于从过去实施的校准取得的信息等，来校正与车辆1的相对于地面的平移(向与地面平行的方向的移动)相当的参数(平移参数)，即，摄像机的除了高度之外的平移方向的位置(平面图中(俯视)的位置)(图7的S706)。这里，没有测量表示地面与摄像机的绝对距离的信息，因此无法推定摄像机的相对于地面的位置，但是，在实际会发生的车体姿势的变动范围内，摄像机的平移方向的偏移极小，因此利用例如ROM103等中保存的产品出厂时实施校准时的值。摄像机彼此之间的相对位置由侧倾角/高度/旋转中心推定部303取得，因此选定一个作为基准的摄像机(基准摄像机)(例如摄像机111)，以消除摄像机111的产品出厂时校准的值与目前值的平移方向的误差的方式，平移校正摄像机111～114的所有位置。
摄像机参数算出部305根据由姿势推定部301得到的车辆1的姿势和由平移校正部304得到的参数来算出与该车辆1的姿势相应的各摄像机111～114的姿势的相关摄像机参数(图7的S707)。另外，通过坐标变换，能够唯一地计算出相应的各摄像机111～114的摄像机参数。
通过采用这样的构成，不需要车辆的相对于长度方向的特征量的平行性，即，长度方向的特征量与车辆的相对关系，仅凭长度方向的特征量就能精密且高效地推定所有摄像机的摄像机参数，使用该摄像机参数，能够生成与车辆的装载状态相应的高精度的俯瞰影像
＜摄像机校准装置的实施方式2＞
在实施上述使用时校准时，例如，为了从影像可靠地提取长度方向的直线的特征量，优选在该车辆在直线路径上行驶的状态(稳定行驶状态)下实施校准。
图8是表示图1所示的摄像机校准装置的内部结构的另一例(实施方式2)的图。并且，图9是说明图8所示的摄像机校准装置的校准处理的流程图。图8所示的形态的摄像机校准装置116A相对于图6所示的摄像机校准装置116不同之处主要在于追加有传感器信息取得部、稳定行驶判断部以及数据利用可否判断部，其他构成几乎一样。因而，以下，仅详述与图6所示的摄像机校准装置116不同的构成，对与摄像机校准装置116同样的构成标注同样的附图标记，省略其详细说明。
图8所示的摄像机校准装置116A主要具备：校准实施判断部201A、影像取得部202A、特征提取部203A、以及校准部204A，并且还具备：传感器信息取得部205A、稳定行驶状态判断部206A以及数据利用可否判断部207A。
校准实施判断部201A判断是否需要实施摄像机的校准(图9的S901)，在判断为需要实施摄像机的校准的情况下，影像取得部202A从RAM102取得由安装于车辆1的四个摄像机111～114拍摄的影像(图9的S902)。并且，传感器信息取得部205A取得车速传感器105、转向角传感器106、偏航率传感器107等各种传感器的传感器信息(图9的S903)。这里，优选这些传感器信息与影像同步取得。另外，图9所示的S902和S903可以同时实施，也可以在S903之后实施S902。
稳定行驶状态判断部206A判断车辆是否为稳定行驶状态(图9的S904)。这里，稳定行驶状态是指没有因加减速、旋转导致的车辆姿势的变化，在直线路径行驶的状态。判断没有因加减速、旋转导致的车辆姿势的变化，在直线路径行驶的理由在于，车辆姿势不同时的影像的各摄像机参数不同，无法作为实施校准时的特征量同时利用，另外，作为用于车辆姿势推定等的特征量使用长度方向的直线的特征量(例如，包括虚线在内的白线、路缘石、道路端交界等)，因此将转弯行驶中等的无法取得校准所需要的信息的镜头的影像排除。没有因加减速、旋转导致的车辆姿势的变化的情况中，例如，没有加减速的情况能够通过下述方式判断：基于从车速传感器105取得的信息，以一定车速持续了一定时间等。没有因旋转导致的变化的情况例如能够通过下述方式判断：从偏航率传感器107取得的信息的绝对值小于接近零的预先决定的一定的阈值等。另外，在以一定以上的速度且转向角(从转向角传感器106取得的信息)为小于接近零的预先决定的一定的阈值的值的情况下，根据驾驶员的操作状况，也能视为在直线上行驶。
在由稳定行驶状态判断部206A判断为车辆是稳定行驶状态的情况下，特征提取部203A从由各摄像机111～114拍摄出的影像提取校准用的预定特征量(图9的S905)。另一方面，在判断为车辆不是稳定行驶状态的情况下，由各摄像机111～114拍摄出的影像无法用于校准，因此弃掉，取得接下来的镜头的影像、各种传感器的传感器信息。
数据利用可否判断部207A判断由各摄像机111～114拍摄出的影像是否映入有可用于校准的平行的白线(直线的特征量)(图9的S906)。详细而言，数据利用可否判断部207A对映入摄像机111～114的白线(直线的特征量)进行图像识别，判断由特征提取部203A提取的特征量是否满足呈直线状排列以及过去拍摄出的影像与当前时刻拍摄出的白线的显现的差异(差量)较小这两者。由特征提取部203A提取的特征量是否呈直线状排列能够通过测量该白线的直线度来判断。例如，对白线的各边缘点进行直线拟合(fitting)，在拟合误差为预先设定的某一定值以下的情况下，可以视为是直线，在拟合误差大于预先设定的某一定值的情况下，可以视为不是直线。另外，对于过去拍摄出的影像与当前时刻拍摄出的白线的显现的差异是否较小，例如，与车辆纵倾角推定处理同样地算出白线成为平行的角度，在相对于过去算出的角度的平均值的角度误差为预先设定的某一定值以下的情况下，可以视为差异较小，在角度误差大于预先设定的某一定值的情况下，可以视为差异较大。
在通过数据利用可否判断部207A判断为数据可用的情况下，校准部204A与上述同样地，利用由特征提取部203A取得的特征量等，来算出各摄像机的各摄像机参数，实施校准(图9的S907～S910)。另一方面，在判断为数据不可用的情况下，由各摄像机111～114拍摄出的影像无法用于校准因此弃掉，取得接下来的镜头的影像、各种传感器的传感器信息。
采用这样的构成，不需要车辆的相对于长度方向的特征量的平行性、即长度方向的特征量与车辆的相对关系，仅凭长度方向的特征量就能更精密且高效地推定所有摄像机的摄像机参数，使用该摄像机参数，能够生成与车辆的装载状态相应的更高精度的俯瞰影像。
＜摄像机校准装置的实施方式3＞
另外，在实施上述使用时校准时，在相同位置拍摄的直线的特征量作为数据没有意义，因此优选在对聚集了多个在影像中的不同位置拍摄出的直线的特征量进行了确认之后实施校准。
图10是表示图1所示的摄像机校准装置的内部构成的又一例(实施方式3)的图。并且，图11是说明图10所示的摄像机校准装置的校准处理的流程图。图10所示形态的摄像机校准装置116B相对于图8所示的摄像机校准装置116A不同之处主要在于追加有数据蓄积判断部，其他构成几乎一样。因而，以下，仅详述与图8所示的摄像机校准装置116A不同的构成，对与摄像机校准装置116A同样的构成标注同样的附图标记，省略其详细说明。
图10所示的摄像机校准装置116B主要具备：校准实施判断部201B、影像取得部202B、特征提取部203B、校准部204B、传感器信息取得部205B、稳定行驶状态判断部206B、以及数据利用可否判断部207B，并且还具备数据蓄积判断部208B。
校准实施判断部201B判断是否需要实施摄像机的校准(图11的S1101)，在判断为需要实施摄像机的校准的情况下，影像取得部202B从RAM102取得由安装于车辆1的四个摄像机111～114拍摄出的影像(图11的S1102)，并且传感器信息取得部205B取得各种传感器的传感器信息(图11的S1103)。
稳定行驶状态判断部206B基于由传感器信息取得部205B得到的传感器信息等，来判断车辆是否为稳定行驶状态(图11的S1104)，在判断为车辆是稳定行驶状态的情况下，特征提取部203B从由各摄像机111～114拍摄出的影像提取校准用的预定特征量(图11的S1105)。并且，数据利用可否判断部207B基于由特征提取部203B提取的提取数据等，来判断该提取数据是否可用于校准判断(图11的S1106)，在判断为数据可用的情况下，将该提取数据保存蓄积于作为数据蓄积部的RAM102等(图11的S1107)。例如，特征提取部203B保存表示由该特征提取部203B获得的直线的方程式的系数。
数据蓄积判断部208B判断是否蓄积了校准所需要足够的量的数据且数据蓄积完成(图11的S1108)。对于安装于车辆1的各个摄像机111～114，对相同位置拍摄到的直线的特征量(例如，包括虚线在内的白线、路缘石、道路端交界等)作为数据没有意义，因此需要聚集多个拍摄不同位置(车辆1的周围的前后左右等)的直线的特征量。因此，数据蓄积判断部208B例如判断是否针对各个摄像机111～114预先设定了若干个区域并且通过各区域的直线数据在整个区域内能够毫无遗漏地获得，判断是否积蓄了校准所需要的量的数据。
在由数据蓄积判断部208B判断为蓄积了校准所需要的量的数据的情况下，校准部204B利用作为数据蓄积部的RAM102等中蓄积的特征量等，来算出各摄像机的各摄像机参数，实施校准(图11的S1109～S1112)。
通过采用这样的构成，不需要车辆的相对于长度方向的特征量的平行性，即，长度方向的特征量与车辆的相对关系，仅凭长度方向的特征量就能更精密且高效地推定所有摄像机的摄像机参数，使用该摄像机参数，能够生成与车辆的装载状态相应的更高精度的俯瞰影像。
像这样，采用本实施方式，基于从影像提取的预定特征量，尤其是直线的特征量来推定车辆的姿势，基于从产品出厂时等过去实施的校准得到的信息来校正摄像机的相对于地面的平移方向的位置，基于该车辆的姿势和摄像机的相对于地面的平移方向的位置，来算出摄像机的相对于地面的姿势的相关摄像机参数，从而，即使在车辆的装载状态发生变化的状况下也能够实施校准，并且不设置例如利用车辆的与白线的平行性这样的制约，就能够精密地推定所有摄像机参数，实施校准，因此，能够在所有状况下生成与车辆的装载状态相应的高精度的俯瞰影像。
本发明不局限于上述实施方式，包含各种变形方式。例如，上述实施方式是为了便于理解本发明地说明而详细地进行了说明，并非一定要局限于具有说明的所有构成。另外，某实施方式的构成的一部分能够置换为其他实施方式的构成，此外，也能够在某实施方式的构成的基础上增加其他实施方式的构成。另外，对于实施方式的构成的一部分，能够进行其他构成的追加、删除、置换。
另外，控制线、信息线显示了认为说明上需要的内容，不局限于产品上必须显示所有的控制线、信息线。也可以认为实际上几乎所有的构成相互连接。附号说明
1 车辆、
100 摄像机校准系统、
101 运算装置、
102 RAM(数据蓄积部)、
103 ROM、
104 显示装置、
105 车速传感器、
106 转向角传感器、
107 偏航率传感器、
108 输入装置、
109 通信装置、
111～114 摄像机、
115 合成影像生成装置、
116 摄像机校准装置、
201 校准实施判断部、
202 影像取得部、
203 特征提取部、
204 校准部、
205A 传感器信息取得部、
206A 稳定行驶状态判断部、
207A 数据利用可否判断部、
208B 数据蓄积判断部、
301 姿势推定部、
302 纵倾角推定部、
303 侧倾角/高度/旋转中心推定部、
304 平移推定部、
305 摄像机参数算出部。

Claims (10)

1.一种摄像机校准装置，其实施搭载于车辆而拍摄所述车辆的周围环境的多个摄像机的校准，该摄像机校准装置的特征在于，具备：
校准实施判断部，其判断是否实施校准；
影像取得部，其取得由所述摄像机拍摄到的影像；
特征提取部，其从所述影像中提取预定特征量；
姿势推定部，其根据所述预定特征量来推定所述车辆的姿势；
平移校正部，其根据从过去实施的校准得到的信息来校正摄像机的相对于地面的平移方向的位置；以及
摄像机参数算出部，其根据所述车辆的姿势和所述摄像机的相对于地面的平移方向的位置，来算出与摄像机的相对于地面的姿势相关的摄像机参数；
其中，所述特征提取部从所述影像中提取具有直线状的直线特征量，并且
所述校准实施判断部根据所述影像中的位于所述车辆的周围的相互平行的直线特征量的平行性、以及从所述影像生成的合成影像中的由各摄像机拍摄到的影像的交界处的偏移量，来判断是否实施校准；
其中，所述平移校正部根据从所述多个摄像机中选择的基准摄像机的相对于地面的平移方向的位置和所述车辆的姿势，来校正各摄像机的相对于地面的平移方向的位置。
2.根据权利要求1所述的摄像机校准装置，其特征在于，
所述姿势推定部具有：
纵倾角推定部，其根据所述预定特征量来推定所述车辆的纵倾角；以及
侧倾角/高度/旋转中心推定部，其根据所述预定特征量来推定所述车辆的侧倾角、高度以及旋转中心。
3.根据权利要求1所述的摄像机校准装置，其特征在于，
所述姿势推定部根据所述影像中的位于所述车辆的周围的相互平行的直线特征量的平行性、以及从所述影像生成的合成影像中的由各摄像机拍摄到的影像的交界处的偏移量，来推定所述车辆的姿势。
4.根据权利要求1所述的摄像机校准装置，其特征在于，
所述摄像机校准装置还具备：稳定行驶状态判断部，其根据从所述车辆的速度、转向角、以及偏航率中选择的至少一个，来判断所述车辆是否为稳定行驶状态。
5.根据权利要求1所述的摄像机校准装置，其特征在于，
所述摄像机校准装置还具备：数据利用可否判断部，其判断所述影像中是否映入有能够在校准中利用的特征量。
6.根据权利要求5所述的摄像机校准装置，其特征在于，
所述数据利用可否判断部根据由所述特征提取部从所述影像中提取出的直线状的直线特征量，来判断所述影像中是否映入有能够在校准中利用的特征量。
7.根据权利要求1所述的摄像机校准装置，其特征在于，
所述摄像机校准装置还具备：
数据蓄积部，其蓄积所述预定特征量；以及
数据蓄积判断部，其判断所述数据蓄积部中的数据蓄积是否完成。
8.根据权利要求7所述的摄像机校准装置，其特征在于，
所述数据蓄积判断部根据在所述影像中映入所述直线特征量的位置来判断数据蓄积是否完成。
9.根据权利要求7所述的摄像机校准装置，其特征在于，
所述姿势推定部根据所述数据蓄积部中蓄积的所述预定特征量来推定所述车辆的姿势。
10.一种摄像机校准系统，其特征在于，具备：权利要求1所述的摄像机校准装置；
所述多个摄像机，其以拍摄的影像的一部分重叠或者相邻的方式搭载于所述车辆；
合成影像生成装置，其使用从所述摄像机校准装置得到的各摄像机的摄像机参数来校正由所述多个摄像机拍摄到的彼此的影像，生成合成影像；以及
显示装置，其显示所述合成影像。
CN201580020606.4A 2014-09-30 2015-09-29 摄像机校准装置以及摄像机校准系统 Active CN106233711B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014-201547 2014-09-30
JP2014201547A JP6371185B2 (ja) 2014-09-30 2014-09-30 カメラキャリブレーション装置及びカメラキャリブレーションシステム
PCT/JP2015/077517 WO2016052505A1 (ja) 2014-09-30 2015-09-29 カメラキャリブレーション装置及びカメラキャリブレーションシステム

Publications (2)

Publication Number Publication Date
CN106233711A CN106233711A (zh) 2016-12-14
CN106233711B true CN106233711B (zh) 2019-08-02

Family

ID=55630532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580020606.4A Active CN106233711B (zh) 2014-09-30 2015-09-29 摄像机校准装置以及摄像机校准系统

Country Status (5)

Country Link
US (1) US10594943B2 (zh)
EP (1) EP3203724B1 (zh)
JP (1) JP6371185B2 (zh)
CN (1) CN106233711B (zh)
WO (1) WO2016052505A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9884623B2 (en) * 2015-07-13 2018-02-06 GM Global Technology Operations LLC Method for image-based vehicle localization
EP3358295B1 (en) * 2015-09-28 2020-10-07 Kyocera Corporation Image processing device, stereo camera device, vehicle, and image processing method
KR102457264B1 (ko) * 2016-05-02 2022-10-20 현대모비스 주식회사 어라운드 뷰 모니터링 시스템 및 이의 카메라 자동 공차 보정 방법
JP6614042B2 (ja) * 2016-06-15 2019-12-04 株式会社Ｊｖｃケンウッド 姿勢変化判定装置、俯瞰映像生成装置、俯瞰映像生成システム、姿勢変化判定方法およびプログラム
KR102528003B1 (ko) * 2016-07-27 2023-05-02 현대모비스 주식회사 차량용 카메라 공차 보정 방법 및 그 장치
JP2018157496A (ja) * 2017-03-21 2018-10-04 クラリオン株式会社 キャリブレーション装置
JP6724834B2 (ja) * 2017-03-23 2020-07-15 日産自動車株式会社 表示装置の制御方法および表示装置
JP6798926B2 (ja) * 2017-04-13 2020-12-09 クラリオン株式会社 車載カメラのキャリブレーション装置
JP6897442B2 (ja) 2017-09-12 2021-06-30 株式会社Ｊｖｃケンウッド 車両用装置、キャリブレーション結果判定システム、および、キャリブレーション結果判定方法、ならびに、プログラム
KR102326184B1 (ko) * 2017-11-27 2021-11-15 현대모비스 주식회사 후방카메라의 캘리브레이션 장치 및 방법
CN107945136B (zh) * 2017-12-04 2021-09-24 深圳市路畅科技股份有限公司 一种鱼眼图像矫正方法、系统、设备及计算机存储介质
JP7064163B2 (ja) * 2017-12-07 2022-05-10 コニカミノルタ株式会社 ３次元情報取得システム
JP7244488B2 (ja) * 2018-03-15 2023-03-22 株式会社村上開明堂 合成映像作成装置および合成映像作成方法並びに合成映像作成プログラム
JP2019180016A (ja) 2018-03-30 2019-10-17 パナソニックＩｐマネジメント株式会社 画像合成装置、画像合成方法及びプログラム
CN110570475A (zh) * 2018-06-05 2019-12-13 上海商汤智能科技有限公司 车载摄像头自标定方法及装置和车辆驾驶方法及装置
JP7314486B2 (ja) * 2018-09-06 2023-07-26 株式会社アイシン カメラキャリブレーション装置
JP7162489B2 (ja) * 2018-10-10 2022-10-28 フォルシアクラリオン・エレクトロニクス株式会社 キャリブレーション装置及びキャリブレーション方法
JP7148064B2 (ja) * 2018-10-25 2022-10-05 株式会社アイシン カメラパラメータ推定装置、カメラパラメータ推定方法、およびカメラパラメータ推定プログラム
JP7188228B2 (ja) * 2019-03-27 2022-12-13 株式会社デンソーテン 画像生成装置
US10997737B2 (en) * 2019-05-02 2021-05-04 GM Global Technology Operations LLC Method and system for aligning image data from a vehicle camera
JP7251310B2 (ja) * 2019-05-22 2023-04-04 株式会社Ｊｖｃケンウッド カメラ位置検出装置、カメラユニット、カメラ位置検出方法、及びプログラム
EP3991402A4 (en) * 2019-06-25 2023-06-28 Snap Inc. Vanishing point stereoscopic image correction
DE102019211459B4 (de) * 2019-07-31 2021-02-18 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Überprüfen einer Kalibrierung von Umfeldsensoren
US11885893B2 (en) * 2019-08-12 2024-01-30 Motional Ad Llc Localization based on predefined features of the environment
JP7065068B2 (ja) * 2019-12-13 2022-05-11 本田技研工業株式会社 車両周囲監視装置、車両、車両周囲監視方法およびプログラム
JP2023028939A (ja) * 2021-08-20 2023-03-03 本田技研工業株式会社 船舶用支援装置、船舶用支援方法、およびプログラム
CN116328278A (zh) * 2023-03-06 2023-06-27 浙江大沩人工智能科技有限公司 一种多人跑步的实时测速方法、系统、装置和介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012143036A1 (en) * 2011-04-18 2012-10-26 Connaught Electronics Limited Online vehicle camera calibration based on continuity of features
WO2012145822A1 (en) * 2011-04-25 2012-11-01 Magna International Inc. Method and system for dynamically calibrating vehicular cameras
CN103136747A (zh) * 2011-11-28 2013-06-05 歌乐株式会社 车载摄像系统及其校准方法和校准程序
CN103686143A (zh) * 2012-09-24 2014-03-26 歌乐株式会社 照相机的校准方法以及装置
WO2014054223A1 (ja) * 2012-10-02 2014-04-10 株式会社デンソー キャリブレーション方法、及びキャリブレーション装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4832321B2 (ja) * 2007-01-26 2011-12-07 三洋電機株式会社 カメラ姿勢推定装置、車両、およびカメラ姿勢推定方法
JP5064601B2 (ja) * 2009-06-29 2012-10-31 パナソニック株式会社 車載用映像表示装置
WO2012139660A1 (en) 2011-04-15 2012-10-18 Connaught Electronics Limited Online vehicle camera calibration based on road marking extractions
JP2014074632A (ja) * 2012-10-03 2014-04-24 Isuzu Motors Ltd 車載ステレオカメラの校正装置及び校正方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012143036A1 (en) * 2011-04-18 2012-10-26 Connaught Electronics Limited Online vehicle camera calibration based on continuity of features
WO2012145822A1 (en) * 2011-04-25 2012-11-01 Magna International Inc. Method and system for dynamically calibrating vehicular cameras
CN103136747A (zh) * 2011-11-28 2013-06-05 歌乐株式会社 车载摄像系统及其校准方法和校准程序
CN103686143A (zh) * 2012-09-24 2014-03-26 歌乐株式会社 照相机的校准方法以及装置
WO2014054223A1 (ja) * 2012-10-02 2014-04-10 株式会社デンソー キャリブレーション方法、及びキャリブレーション装置

Also Published As

Publication number Publication date
CN106233711A (zh) 2016-12-14
EP3203724A1 (en) 2017-08-09
WO2016052505A1 (ja) 2016-04-07
JP2016070814A (ja) 2016-05-09
US10594943B2 (en) 2020-03-17
EP3203724A4 (en) 2018-03-28
EP3203724B1 (en) 2020-02-19
JP6371185B2 (ja) 2018-08-08
US20170061622A1 (en) 2017-03-02

Similar Documents

Publication Publication Date Title
CN106233711B (zh) 摄像机校准装置以及摄像机校准系统
EP3367677B1 (en) Calibration apparatus, calibration method, and calibration program
US8704881B2 (en) Stereoscopic image display apparatus
JP5049300B2 (ja) 障害物検出表示装置
KR101132099B1 (ko) 차량용 주변 감시 장치 및 차량용 주변 감시 방법
JP4876080B2 (ja) 環境認識装置
JP4857885B2 (ja) 表示装置
KR20170139521A (ko) 화상 처리 장치 및 화상 처리 시스템
US11794667B2 (en) Image processing apparatus, image processing method, and image processing system
JP7444073B2 (ja) 画像処理装置、画像処理方法および画像処理システム
JP2009212734A (ja) 自動校正単眼ステレオ視装置
JP7494735B2 (ja) 画像処理装置、画像処理方法および画像処理システム
KR20210100608A (ko) 화상 처리 장치, 화상 처리 방법 및 화상 처리 시스템
KR101634225B1 (ko) 다시점 입체 영상 보정 장치 및 방법
KR100671497B1 (ko) 일그러짐 보정 및 왜곡 보상을 통한 항공사진 화상의보정방법
JP6327144B2 (ja) 画像処理システム及び画像処理装置
JP6136748B2 (ja) ２次元３次元表示装置
WO2024150626A1 (ja) 情報処理装置および方法
JP2023096279A (ja) カメラの校正方法およびステレオカメラ装置
CN116193097A (zh) 图像处理设备、摄像设备、图像处理方法和存储介质
JP2021148906A (ja) 車両表示システムおよび表示装置
JP2017076902A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant