CN101836451A - 照相机校正装置及方法、以及车辆 - Google Patents

照相机校正装置及方法、以及车辆 Download PDF

Info

Publication number
CN101836451A
CN101836451A CN200880109616A CN200880109616A CN101836451A CN 101836451 A CN101836451 A CN 101836451A CN 200880109616 A CN200880109616 A CN 200880109616A CN 200880109616 A CN200880109616 A CN 200880109616A CN 101836451 A CN101836451 A CN 101836451A
Authority
CN
China
Prior art keywords
camera
correcting pattern
images
image
camera images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200880109616A
Other languages
English (en)
Inventor
浅利圭介
石井洋平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Publication of CN101836451A publication Critical patent/CN101836451A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种照相机校正装置及方法、以及车辆。所述照相机校正装置基于应配置在多个照相机的公共拍摄区域上的校正图案在各照相机中的拍摄结果来进行照相机校正，其中所述照相机校正用于将来自所述多个照相机的多个照相机图像投影到规定面上并合成。照相机校正装置基于所述拍摄结果判断所述校正图案是否被所述多个照相机观测，并在判断出未被观测的情况下，基于所述拍摄结果生成用于使所述校正图案包含于所述公共拍摄区域内并使所述多个照相机进行观测的指示内容，并向进行校正图案的配置作业的作业者通知该指示内容。

Description

照相机校正装置及方法、以及车辆
技术领域
本发明涉及一种照相机校正装置及照相机校正方法，实现为了将来自多个照相机的照相机图像投影在规定面上并进行合成所需的照相机校正处理，另外还涉及利用了该照相机校正装置及照相机校正方法的车辆。
背景技术
近年来随着安全意识的提高，多在汽车等车辆上搭载照相机(车载照相机)。而且，不仅对照相机的影像进行显示，而且还利用图像处理技术进行使人们看到更优质的影像的研究。其中之一的研究，通过对拍摄到的图像进行坐标变换，来生成并显示如从地面的上方观看的鸟瞰图图像。通过显示该鸟瞰图图像，驾驶员极易掌握车辆周边的状况。
而且，还开发了如下的运行支援系统：通过将来自多个照相机的多个照相机图像投影到地面上并进行合成，来生成全周鸟瞰图图像并将其显示到显示装置上(例如，参照下述专利文献1～3)。在该运行支援系统中，由于能够将车辆全周的状态作为从上空观看的影像提供给驾驶员，故其具有能够360度无死角地覆盖车辆的周边的优点。
图21示出应用了这种运行支援系统的车辆的俯视图，图22示出从左斜前方观看该车辆的图。在车辆的前后左右设置有作为前照相机的照相机1F、作为后照相机的照相机1B、作为左照相机的照相机1L及作为右照相机的照相机1R。在图22中，照相机1F和1L的各拍摄区域标记为斜线区域。在该运行支援系统中，通过利用坐标变化将来自各照相机的照相机图像投影到地面上并进行合成，来生成并显示作为合成图像的全周鸟瞰图图像。图23示出所显示的全周鸟瞰图图像的示意图。在图23的全周鸟瞰图图像中，在车辆的前侧、右侧、左侧及后侧分别描绘了基于照相机1F、1R、1L及1B的照相机图像的鸟瞰图图像。
作为将照相机的拍摄图像面投影到地面的方法，有基于透视投影变换的方法和基于平面射影变换的方法。
在透视投影变换中，基于照相机的安装角度及照相机的设置高度等照相机外部信息和照相机的焦距(或视场角)等照相机内部信息，来计算用于将照相机图像投影到设定平面(路面等)上的变换参数。因此，为了高精度地进行坐标变化而需要准确地掌握照相机外部信息。虽然多在事先设置了照相机的安装角度及照相机的设置高度等，但是由于在这些设计值与实际设置在车辆上时的值之间存在误差，故坐标变换的精度劣化。结果，出现无法在合成图像的接合部分平滑地接合各鸟瞰图图像的问题。
另一方面，在平面射影变换中，进行如下的校正作业：在拍摄区域内配置校正图案，并基于所拍摄到的校正图案求出表示照相机图像上的各点的坐标值和鸟瞰图图像上的各点的坐标值的对应关系的变换矩阵。该变换矩阵一般被称为单应性(homography)矩阵。根据平面射影变换，由于不需要照相机外部信息或照相机内部信息，而基于实际所拍摄到的校正图案指定照相机图像与鸟瞰图图像之间的对应坐标，故未受到(或不易受到)照相机设置误差的影响。
虽然用于将照相机图像射影到地面上的单应性矩阵可基于坐标值已知的四个以上的特征点计算，但是为了将来自多个照相机的多个照相机图像射影到共同的平面上，需要将各照相机中利用的特征点预先设置在共同的坐标面上。即，需要定义如图24所示的针对所有照相机通用的二维坐标系，并在该二维坐标系上按每个照相机指定四个以上的特征点的坐标值。
因此，在将多个照相机设置在卡车等车辆上，为了得到全周鸟瞰图图像而进行照相机校正的情况下，需要准备如覆盖各照相机的全部拍摄区域的非常大的校正图案。在图24所示的例子中，在车辆周边设置覆盖各照相机的全部拍摄区域的棋盘格状的校正图案，并将棋盘格的交点作为特征点加以利用。由于这种校正图案的尺寸例如为车辆的纵横尺寸的2倍的大小，故在校正作业时会占据较大的场所并且校正环境的准备需要花费时间和劳力，从而整体校正作业的负担增大。为了提高校正作业的效率，谋求一种更简单的校正方法。
专利文献1：日本专利第3372944号公报
专利文献2：日本特开2004-235986号公报
专利文献3：日本特开2006-287892号公报
发明内容
因此，本发明的目的在于提供一种有助于简化校正作业的照相机校正装置及照相机校正方法。另外，本发明的目的在于提供一种利用了该照相机校正装置及照相机校正方法的车辆。
为了达成上述目的，本发明的照相机校正装置基于应配置于多个照相机的公共拍摄区域内的校正图案在各照相机中的拍摄结果，进行用于将来自所述多个照相机的多个照相机图像投影到规定面上并合成的照相机校正，该照相机校正装置的特征在于，具备：判断单元，其基于所述拍摄结果，判断向所述公共拍摄区域配置所述校正图案的配置状态；和通知用信号输出单元，其输出通知用信号，该通知用信号用于向外部通知与所述判断单元的判断结果相应的信息。
由此，进行校正图案配置的作业者能够接收与校正图案的配置状态相关的通知后进行配置作业，故能准确且容易地进行校正图案的配置。
具体地说，例如在将进行照相机校正时从各照相机得到的照相机图像称为校正用照相机图像的情况下，所述判断单元基于所述校正用照相机图像来判断所述校正图案是否被所述多个照相机观测。
并且，具体地说，例如在所述判断单元判断为所述校正图案未被所述多个照相机观测的情况下，基于所述校正用照相机图像，生成用于使所述校正图案包含在所述公共拍摄区域内并使所述多个照相机进行观测的指示内容，所述通知用信号输出单元输出用于向外部通知作为所述信息的所述指示内容的信号，来作为所述通知用信号。
另外，例如，所述通知用信号被提供给声音输出装置，通过声音输出来进行所述信息的通知。
或者，例如，所述通知用信号被提供给影像显示装置，通过影像显示来进行所述信息的通知。
进而，例如，该照相机校正装置还具备无线传输单元，所述无线传输单元将所述通知用信号通过无线方式传输到便携式终端装置，在所述便携式终端装置上，通过声音输出及影像显示中的至少一个来进行所述信息的通知。
为了达成上述目的，本发明的车辆设置有：多个照相机；图像合成单元，其生成将来自所述多个照相机的多个照相机图像投影到规定面上并合成后的图像；和影像显示装置，其显示所述合成后的图像；该车辆的特征在于，所述图像合成单元利用权利要求1～3中任一项所述的照相机校正装置进行的照相机校正的结果，进行所述多个照相机图像的投影及合成。
为了达成上述目的，本发明的照相机校正方法基于应配置于多个照相机的公共拍摄区域内的校正图案在各照相机中的拍摄结果，进行用于将来自所述多个照相机的多个照相机图像投影到规定面上并合成的照相机校正，该照相机校正方法的特征在于，基于所述拍摄结果判断向所述公共拍摄区域配置所述校正图案的配置状态，并向外部通知与该判断结果相应的信息。
(发明效果)
根据本发明，能提供一种有助于简化校正作业的照相机校正装置及照相机校正方法。
本发明的意义及效果通过以下所述的实施方式的说明变得更清楚。其中，以下的实施方式只是一个例子，本发明及各构成要件的术语的意义并不限定于以下的实施方式所述的内容。
附图说明
图1是从上方观看应用本发明实施方式的运行支援系统的车辆的俯视图，是表示向该车辆设置各照相机的设置状态的图。
图2是表示从左斜前方观看图1的车辆的图。
图3(a)～(d)是表示设置在图1的车辆上的各照相机的拍摄区域的图。
图4是集中表示设置在图1的车辆上的各照相机的拍摄区域的图。
图5是本发明实施方式的运行支援系统的构成框图。
图6是表示配置有各校正图案的状态的图1的车辆周边的俯视图。
图7是形成校正图案的薄板(plate)的俯视图。
图8是表示与来自图1的各照相机的照相机图像对应的鸟瞰图图像的图。
图9是表示由图5的主控制部10生成的全周鸟瞰图图像的图。
图10是表示本发明实施方式的照相机校正步骤的流程图。
图11是表示本发明第一实施例的确定校正图案的配置位置的处理的流程的流程图。
图12(a)～(d)是表示在校正图案的配置位置的调整阶段所得到的各照相机图像的图。
图13是表示从一个照相机图像中检测出校正图案及特征点的状态的图。
图14是在同一平面上示出一个照相机图像(校正用照相机图像)、从该照相机图像中检测出的特征点和从该照相机图像中未检测出的特征点的图。
图15是表示本发明第一实施例的进行针对校正图像的配置位置的通知的状态的概念图。
图16是表示图12(a)的照相机图像的变形例的图。
图17是表示图12(a)的照相机图像的另一变形例的图。
图18是表示本发明第二实施例的在照相机较正时作业者应携带的便携式终端装置的外观平面图。
图19是本发明第三实施例的进行校正图案的配置位置的确定处理的部分的框图。
图20是本发明第三实施例的进行校正图案的配置位置的确定处理的部分的另一框图。
图21是现有技术涉及的应用运行支援系统的车辆的俯视图。
图22是从左斜前方观看图21的车辆的图。
图23是表示由现有技术涉及的运行支援系统所显示的全周鸟瞰图图像的状态的图。
图24是用于说明与以往的平面射影变换对应的校正处理的图，是表示在多个照相机间公共定义的坐标系(或校正图案)的图。
图中：1-主控制部，11-显示装置，31-校正图案/特征点检测部，32-观测状态判断部，33-指示内容生成部，34、34a-通信用信号输出部，35-声音输出装置，36-无线通信部，100-车辆，A1～A4-校正图案，1F、1R、1L、1B-照相机，2F、2R、2L、2B-拍摄区域，3FR、3FL、3BR、3BL-公共拍摄区域，50F、50R、50L、50B-鸟瞰图图像。
具体实施方式
以下，参照附图对本发明的实施方式进行具体地说明。在所参照的各图中，对同一部分附同一符号，原则上省略与同一部分相关的重复说明。在后面对第一～第三实施例进行说明，首先对各实施例公共的事项或各实施例所参照的事项进行说明。
图1是从上方观看应用本实施方式的运行支援系统的车辆100的俯视图，表示向该车辆100设置照相机的设置状态。图2是从左斜前方观看车辆100的图。虽然在图1及图2中作为车辆100而示出了卡车，但是该车辆100也可以是卡车以外的车辆(普通乘用车等)。另外，车辆100被配置在地面(例如，路面)上。此外，在以下的说明中，地面表示处于水平面上的面，“高度”表示以地面为基准的高度。
如图1所示，在车辆100的前部、右侧部、左侧部及后部分别安装有照相机(摄像装置)1F、1R、1L及1B。另外，在本实施方式中也存在不区分照相机1F、1R、1L及1B而仅称为照相机或各照相机的情况。
另外，如图2所示，照相机1F例如被设置在车辆100的后视镜上部，照相机1L例如被设置在车辆100的左侧面的最上部。在图2中未示出，但是照相机1B例如设置在车辆100的后部的最上部，照相机1R例如设置在车辆100的右侧面的最上部。
在车辆100中设置照相机1F、1R、1L及1B时，使照相机1F的光轴方向为车辆100的前方斜下方向，使照相机1B的光轴方向为车辆100的后方斜下方向，使照相机1L的光轴方向为车辆100的左方斜下方向，使照相机1R的光轴方向为车辆100的右方斜下方向。
在图2中示出各照相机的视野即各照相机的拍摄区域。分别用2F、2R、2L及2B表示照相机1F、1R、1L及1B的拍摄区域。此外，关于拍摄区域2R及2B而言，在图2中只示出一部分。在图3(a)～(d)中表示从上方观看拍摄区域2F、2L、2B及2R即地面上的拍摄区域2F、2L、2B及2R。另外，在图4中示出将图3(a)～(d)所示的各拍摄区域汇总到一起后的图(关于斜线区域在后面描述)。
照相机1F拍摄位于车辆100前方的规定区域内的被摄物体(包括路面)。照相机1R拍摄位于车辆100右侧的规定区域内的被摄物体。照相机1L拍摄位于车辆100左侧的规定区域内的被摄物体。照相机1B拍摄位于车辆100后方的规定区域内的被摄物体。
照相机1F和1L共同拍摄车辆100的左斜前方的规定区域。即，拍摄区域2F及2L在车辆100的左斜前方的规定区域中重叠。将两个照相机的拍摄区域重叠的部分称为公共拍摄区域，并用3FL表示照相机1F和1L的拍摄区域重叠的部分(即，照相机1F与1L之间的公共拍摄区域)。在图4中，公共拍摄区域用斜线区域表示。
同样，如图4所示，拍摄区域2F与2R在车辆100的右斜前方的规定区域重叠并形成二者的公共拍摄区域3FR，拍摄区域2B与2L在车辆100的左斜后方的规定区域重叠并形成有二者的公共拍摄区域3BL，拍摄区域2B与2R在车辆100的右斜后方的规定区域重叠并形成有二者的公共拍摄区域3BR。
在图5中示出本发明实施方式的运行支援系统的构成框图。各照相机(1F、1R、1L及1B)进行拍摄，并将表示由拍摄得到的图像(以下也称为照相机图像)的信号发送到包括图像处理装置的主控制部10中。主控制部10通过视点变换将各照相机图像变换为鸟瞰图图像，并合成各鸟瞰图图像来生成一张全周鸟瞰图图像。显示装置(影像显示装置)11将该全周鸟瞰图图像作为影像来显示。
其中，对成为鸟瞰图图像的基础的照相机图像实施透镜畸变修正等图像处理，并将该图像处理后的照相机图像变换为鸟瞰图图像。另外，在求出了后述的变换参数之后，由于能将各照相机图像上的各点一次变换为全周鸟瞰图图像上的各点，故也可省略各鸟瞰图图像的生成(其中，也可以通过向鸟瞰图图像的变换来进行全周鸟瞰图图像的生成)。在通过图像合成而生成全周鸟瞰图图像时，与公共拍摄区域对应的图像是通过对所合成的图像间的像素值进行平均化而生成的，或者是通过将以定义的合成边界线为边界所合成的图像贴合而生成的。总之，以各鸟瞰图图像在接合部分平滑地接合的方式进行图像合成。
鸟瞰图图像是将由实际照相机(例如照相机1F)拍摄所得到的照相机图像，变换为从铅直方向俯视地面的假想照相机的视点(假想视点)观看的图像而得到的图像。这种图像变换一般被称为视点变换。鸟瞰图图像相当于将照相机图像投影到地面上的图像。通过显示与这种鸟瞰图图像的合成图像相当的全周鸟瞰图图像，从而支援驾驶员的视野且车辆周边的安全确认变得容易。
作为照相机1F、1R、1L及1B，例如使用利用了CCD(Charge CoupledDevices)的照相机、或CMOS(Complementary Metal Oxide Semiconductor)图像传感器的照相机。主控制部10例如由集成电路形成。显示装置11由液晶显示面板等形成。也可以将车载导航系统等中所包括的显示装置挪用于运行支援系统中的显示装置11。另外，主控制部10也能作为车载导航系统的一部分进行组装。主控制部10及显示装置11例如设置在车辆100的驾驶座附近。
为了支援宽视野的安全确认，各照相机的视场角为广角。因此，各照相机的拍摄区域在地面上例如具有5m×10m(米)左右的大小。
为了生成全周鸟瞰图图像，需要用于从各照相机图像生成全周鸟瞰图图像的变换参数。主控制部10通过在实际运行前进行的照相机校正来校正变换参数(换言之，求出变换参数)。在实际运行时，利用校正后的变换参数从各照相机图像生成全周鸟瞰图图像。
进行照相机校正时，在各公共拍摄区域内配置比各照相机的拍摄区域的大小小的校正图案。图6是表示配置有各校正图案的状态的车辆100周边的俯视图。
如图6所示，在公共拍摄区域3FR、3FL、3BR及3BL内配置有平面状的(二维的)校正图案A 1、A2、A3及A4。校正图案A1～A4配置在地面上。
校正图案A1～A4分别具有正方形形状，该正方形的一边的长度为1m～1.5m左右。虽然不一定需要将校正图案A1～A4全部设为相同形状，但是为了便于说明，这些形状全部相同。这里的形状是也包括大小的概念。因此，校正图案A1～A4全部都相同。在鸟瞰图图像上，各校正图案的形状理想应为正方形。
由于各校正图案是正方形形状，故具有四个特征点。在该例中，四个特征点相当于形成正方形的四个顶点。主控制部10预先识别各校正图案的形状作为校正图案形状信息。根据该校正图案形状信息，确定全周鸟瞰图图像上及鸟瞰图图像上的理想校正图案(A1、A2、A3及A4)的四个特征点间的相对位置关系。
所谓校正图案的形状是指通过连接该校正图案所包括的特征点而形成的图案的形状。图7是形成某一个校正图案的薄板150的俯视图。在图7的例子中，通过在具有正方形形状的板状的薄板150上描绘图样而形成校正图案。位于图7的校正图案(及薄板150)的4角的点151～154作为特征点起作用。图样是为了容易检测校正图案而设置的。例如，将薄板150的表面的整个区域分为四个区域即右上区域、右下区域、左下区域及左上区域，将右上区域及左下区域的配色设为白色，将左上区域及右下区域的配色设为黑色。
通过适当选择薄板自身的颜色和在薄板上所绘的图样的颜色，从而主控制部10能够通过边缘提取处理等与路面等明确地区分识别出校正图案的各特征点。在本实施方式中，以下忽略薄板的存在而只关注校正图案。
在照相机校正时，各校正图案虽然配置为包含在各公共拍摄区域内，但各校正图案在公共拍摄区域内的配置位置却是自由的。即，例如，只要校正图案A1在公共拍摄区域3FR内则校正图案A1的配置位置就可以是任意的，且能够与校正图案A2～A4的配置位置无关地独立确定公共拍摄区域3FR内的校正图案A1的配置位置。对于校正图案A2～A4而言也是同样的。因此，在进行照相机校正时，作业者不会特意考虑配置位置只要将各校正图案适当地配置在各公共拍摄区域内即可。因此，与图24对应的现有方法相比，校正作业变得非常容易。
(全周鸟瞰图图像的生成方法及照相机校正方法)
接着，对全周鸟瞰图图像的生成方法进行更具体的说明并且对照相机校正方法进行说明。其中，对照相机图像上的各点、鸟瞰图图像上的各点及全周鸟瞰图图像上的各点的对应关系进行说明。
分别用(x1，y1)、(x2，y2)、(x3，y3)及(x4，y4)表示照相机1F、1R、1L及1B的照相机图像上的各点的坐标值。图8示出与各照相机的照相机图像对应的鸟瞰图图像。分别用50F、50R、50L及50B表示与照相机1F、1R、1L及1B的照相机图像对应的鸟瞰图图像。在图8所示的各鸟瞰图图像中示出了各鸟瞰图图像上的校正图案(A1～A4)。此外，为了防止图示的复杂化，在图8中省略了校正图案的图样的图示。
分别用(X1，Y1)、(X2，Y2)、(X3，Y3)及(X4，Y4)表示鸟瞰图图像50F、50R、50L及50B上的各点的坐标值。照相机图像上的坐标值(xn，yn)与鸟瞰图图像上的坐标值(Xn，Yn)的关系利用单应性矩阵Hn如下式(1)所示。在此，n为1、2、3或4，表示照相机的编号。单应性矩阵Hn能利用平面摄影变换或透视投影变换求出。单应性矩阵Hn是3行3列的矩阵，并用hn1～hn9表示单应性矩阵Hn的各要素。而且，设hn9＝1(以hn9＝1的方式将矩阵标准化)。另外，根据式(1)，坐标值(xn，yn)与坐标值(Xn，Yn)的关系也能通过下式(2a)及(2b)表示。
【公式1】
X n Y n 1 = H n x n y n 1 = h n 1 h n 2 h n 3 h n 4 h n 5 h n 6 h n 7 h n 8 h n 9 x n y n 1 . . . ( 1 )
= h n 1 h n 2 h n 3 h n 4 h n 5 h n 6 h n 7 h n 8 1 x n y n 1
【公式2】
X n = h n 1 x n + h n 2 y n + h n 3 h n 7 x n + h n 8 y n + 1 . . . ( 2 a )
Y n = h n 4 x n + h n 5 y n + h n 6 h n 7 x n + h n 8 y n + 1 . . . ( 2 b )
在合成各鸟瞰图图像时，对各鸟瞰图图像进行刚体变换。该刚体变换以在全周鸟瞰图图像上对应的校正图案的位置大致一致的方式进行。即，例如按照使鸟瞰图图像50F上的校正图案A1和鸟瞰图图像50R上的校正图案A1重叠的方式，通过刚体变换使鸟瞰图图像50F和50R对位(参照图8)。刚体变换通过平行移动和旋转来实现。
在图8中，曲线201、202、203及204表示校正图案的鸟瞰图图像间的对应关系并且表示各刚体变换的图像。主控制部10预先识别由不同的照相机捕获到的校正图案及特征点的对应关系。即，例如，预先识别照相机1F的照相机图像中所包括的各校正图案及各特征点对应于照相机1R(或1L)的照相机图像中所包括的哪个校正图案及特征点。对于其他的照相机之间也同样。因此，能进行上述的刚体变换。
表示相对于鸟瞰图图像50F、50R、50L及50B的平行移动的平行移动矩阵分别由T1、T2、T3及T4表示，表示相对于鸟瞰图图像50F、50R、50L及50B的旋转的旋转矩阵分别由R1、R2、R3及R4表示。
这样，在用(X’，Y’)表示全周鸟瞰图图像上的各点的坐标值的情况下，照相机图像上的各点的坐标值(xn，yn)利用单应性矩阵Hn’根据下式(3a)及(3b)而被变换为全周鸟瞰图图像上的坐标值(X’，Y’)。另外，平行移动矩阵Tn及旋转矩阵Rn通过下式(4a)及(4b)表示。另外，单应性矩阵Hn’的各要素通过下式(5)表示。
【公式3】
X ′ Y ′ 1 = H n ′ x n y n 1 . . . ( 3 a )
Hn′＝TnRnHn    …(3b)
【公式4】
T n = 1 0 t n 1 0 1 t n 2 0 0 1 . . . ( 4 a )
R n = r n 1 r n 2 0 r n 3 r n 4 0 0 0 1 . . . ( 4 b )
【公式5】
H n ′ = h n 1 ′ h n 2 ′ h n 3 ′ h n 4 ′ h n 5 ′ h n 6 ′ h n 7 ′ h n 8 ′ 1 . . . ( 5 )
单应性矩阵Hn’是用于生成全周鸟瞰图图像的变换参数，全周鸟瞰图图像相当于将各照相机图像投影到路面上并合成后的图像。在求出单应性矩阵Hn’之后，若根据式(3a)将各照相机图像上的点的坐标值(xn，yn)变换为全周鸟瞰图图像上的点的坐标值(X’，Y’)，则能够得到全周鸟瞰图图像。在图9中示出得到的全周鸟瞰图图像的例子。如图9所示，在图5的显示装置11上显示在得到的全周鸟瞰图图像中嵌入了车辆100的影像后的图像。
在图10中示出照相机校正的顺序即用于求出单应性矩阵Hn’的步骤。图10是表示该顺序的流程图。照相机校正是通过进行步骤S1～S4的处理而实现的。步骤S1的处理通过各照相机和主控制部10实现，步骤S2～S4的处理通过主控制部10执行。
首先，在步骤S1中，如上述(参照图6)，在将各校正图案配置到各公共拍摄区域内的状态下使各照相机进行拍摄，主控制部10从各照相机取得照相机图像。
接着，在步骤S2中，求出用于对照相机图像进行鸟瞰图变换的单应性矩阵Hn。所谓鸟瞰图变换是指将照相机图像变换为鸟瞰图图像的处理。以下，对求出单应性矩阵H1的方法进行说明。
主控制部10通过对步骤S1中得到的照相机1F的照相机图像实施边缘提取处理等，检测该照相机图像上的校正图案A1的四个特征点，并确定该四个特征点的坐标值。将确定出的四个坐标值设为(xA1a，yA1a)、(xA1b，yA1b)、(xA1c，yA1c)及(xA1d，yA1d)。另外，根据预先识别的校正图案形状信息，确定与照相机1F对应的鸟瞰图图像上的校正图案A1的四个特征点的坐标值。将确定出的四个坐标值设为(XA1a，YA1a)、(XA1b，YA1b)、(XA1c，YA1c)及(XA1d，YA1d)。由于校正图案A1的形状是正方形，故例如能将坐标值(XA1a，YA1a)、(XA1b，YA1b)、(XA1c，YA1c)及(XA1d，YA1d)定义为(0，0)、(1，0)、(0，1)及(1，1)。
若已知照相机图像与鸟瞰图图像之间的四个点的坐标值对应关系，则能求出单应性矩阵H1。由于基于该四个点的坐标值对应关系求出单应性矩阵(射影变换矩阵)的方法是公知的，故省略其详细说明。例如，可以利用日本特开2004-342067号公报所述的方法(特别是该文献的第[0059]～[0069]段所述的方法)。此外，也可以根据校正图案A2的四个特征点的坐标值求出单应性矩阵H1。
虽然关注于H1并对单应性矩阵的计算方法进行了说明，但是对于其他的单应性矩阵H2～H4而言也能同样地计算。若求出了单应性矩阵Hn，则能根据上式(2a)及(2b)将照相机图像上的任意点变换为鸟瞰图图像上的点。
在步骤S2接下来的步骤S3中，通过利用步骤S2中求出的单应性矩阵Hn对步骤S1中取得的各照相机图像进行鸟瞰图变换来生成鸟瞰图图像(合计四个鸟瞰图图像)。
然后，在步骤S4中，通过刚性变换(平行移动和旋转)，按照使对应的校正图案的坐标值一致的方式对步骤S3中得到的各鸟瞰图图像进行对位。通过对步骤S1中取得的照相机1F、1R、1L及1B的照相机图像进行鸟瞰图变换而得到的鸟瞰图图像，分别是图8所示的鸟瞰图图像50F、50R、50L及50B。
具体地说，例如，以鸟瞰图图像50F为基准，按照使鸟瞰图图像50F上的校正图案A1和鸟瞰图图像50R上的校正图案A1重叠的方式对鸟瞰图图像50R进行刚体变换，并且按照使鸟瞰图图像50F上的校正图案A2和鸟瞰图图像50L上的校正图案A2重叠的方式对鸟瞰图图像50L进行刚体变换。然后，按照使鸟瞰图图像50B上的校正图案A3及A4和刚体变换后的鸟瞰图图像50R及50L上的校正图案A3及A4重叠的方式，对鸟瞰图图像50B进行刚体变换。并且，利用各刚体变换中利用的移动平行矩阵Tn及旋转矩阵Rn和步骤S2中求出的单应性矩阵Hn，基于上式(3b)求出单应性矩阵Hn’。
通过步骤S1～S4求出了单应性矩阵Hn’，但是在将照相机图像投影到地面上以生成鸟瞰图图像的过程中，多产生由各种误差因素引起的投影误差(与理想投影位置之间的位置误差)。因此，在步骤S4的处理后，也可以进行最优化处理以求出最终的单应性矩阵Hn’。最优化处理例如通过使各特征点的投影误差的总和最小化而进行。
在求出单应性矩阵Hn’之后，根据上式(3a)能够从各照相机图像中生成全周鸟瞰图图像。实际中，例如根据单应性矩阵Hn’生成表示照相机图像上的各坐标值(xn，yn)和全周鸟瞰图图像上的各坐标值(X’，Y’)的对应关系的表数据，并预先存储在未图示的存储器(查找表)中。并且，在照相机校正后的实际运行时，利用该表数据从各照相机图像生成全周鸟瞰图图像。
如上述，虽然能够求出单应性矩阵Hn’，但是在求出该矩阵时需要准确地将校正图案配置在相邻照相机的公共拍摄区域内。该配置作业由进行照相机校正的作业者进行。
作为配置作业的一个方法考虑如下的方法：作业者反复尝试进行校正图案的配置和确认是否在由对应的照相机观测校正图案。虽然观看各照相机的方向就能大致掌握公共拍摄区域位于什么区域附近，但是难以准确地掌握该区域，故大多需要上述的反复作业。该反复作业会增大对作业者的负担。特别是，在对大型车辆进行照相机校正的情况下，校正作业变得繁杂。
为了减轻该校正作业的劳力和时间，图5的主控制部10向作业者通知：校正图案是否配置在对应的公共拍摄区域内并由对应的两个照相机观测，以及未被观测时使校正图案从当前的配置位置如何移动。作为对用于实现该功能的处理或构成进行说明的实施例，以下说明第一～第三实施例。
《第一实施例》
首先，对第一实施例进行说明。图11是表示确定校正图案的配置位置的处理的流程的流程图。在第一实施例中，通过声音通知来支援校正图案的配置作业。图11的步骤S11的处理通过各照相机和主控制部10执行，步骤S12～S14的处理通过主控制部10执行。进行步骤S15及S16的处理的主体见后述。步骤S11～S16的处理在进行图10的步骤S2的处理之前执行，进行到步骤S16之后执行图10的步骤S2～S4的处理(或步骤S1～S4的处理)。
对图11所示的各步骤的处理内容进行说明。首先，作业者将各校正图像配置在车辆100的周边之后移行至步骤S11。此时，作业者考虑各照相机的方向等，以校正图案A1、A2、A3及A4分别包含于公共拍摄区域3FR、3FL、3BR及3BL内的方式配置各校正图像(参照图6)。其中，在实际中，在各阶段中各校正图案未包含于对应的公共拍摄区域内的情况较多。
在步骤S11中，各照相机进行拍摄，主控制部10从各照相机得到照相机图像。在此，将所得到的照相机图像称为校正用照相机图像。校正用照相机图像的取得以规定的周期依次进行。此外，考虑作业者听到声音通知后移动校正图案的作业的时间，在这里取得周期不必要是一般的视频速率(30帧/秒)。
现在，假设得到图12(a)、(b)、(c)及(d)所示的校正用照相机图像的情况。图12(a)、(b)、(c)及(d)所示的图像300F、300L、300B及300R分别是作为前照相机的照相机1F的校正用照相机图像、作为左照相机的照相机1L的校正用照相机图像、作为后照相机的照相机1B的校正用照相机图像及作为右照相机的照相机1R的校正用照相机图像。图像300F、300L、300B及300R中的斜线区域是车辆100的车体的描绘区域。在校正用照相机图像300L、300B及300R中分别准确地描绘了两个校正图案的整体。其中，在校正用照相机图像300F中描绘了校正图案A1的整体，却未描绘出校正图案A2的一部分。此外，在包括校正用照相机图像的照相机图像上，作为各校正图像的外形的正方形发生了变形。
在步骤S11之后的步骤S12中，通过利用边缘提取或模式匹配等从各校正用照相机图像中检测出校正图案及特征点。
以检测校正用照相机图像300F内的校正图案及特征点的情况为例，对步骤S12中的处理方法进行补充说明。参照图13。在图11所示的各处理执行之前，作为背景图像而取得各校正图像未配置到车辆100的周边的情况下的各照相机的照相机图像，并将该背景图像的图像数据预先保存在运行支援系统内的存储器(未图示)中。图13的图像301F表示照相机1F的背景图像。在步骤S12中，通过计算校正用照相机图像300F和背景图像301F的差分来生成两图像的差分图像302F。图13所示的差分图像302F是二值化后的差分图像，将浓度值为0的区域用黑色表示，将浓度值不为0的区域用白色表示。通过推断该浓度值不为0的区域是校正图案的描绘区域，从而检测出校正用照相机图像300F内的校正图案的位置。其后，通过以检测出的校正图案的位置为基准对校正照相机图像300F实施边缘提取或模式匹配等的图像处理，来检测校正用照相机图像300F上的校正图案中的各特征点。即，检测校正用照相机图像300F上的各特征点的坐标值。
现在，如图13所示，假设以下的情况：从校正用照相机图像300F中检测出的校正图案A1上的特征点的总数为4，另一方面从校正用照相机图像300F中检测出的校正图案A2上的特征点的总数为2。将从校正用照相机图像300F中检测出的校正图案A1上的四个特征点称为特征点321～324。连接特征点321和322的线段、连接特征点322和323的线段、连接特征点323和324的线段及连接特征点324和321的线段，相当于作为校正图案A1的外形的正方形的4边。将从校正用照相机图像300F中检测出的校正图案A2上的两个特征点称为特征点311及312。连接特征点311和312的线段相当于作为校正图案A2的外形的正方形的一边。
对其他校正用照相机图像也进行同样的处理，检测校正用照相机图像300L、300B及300R上的各特征点。从校正用照相机图像300L中检测出校正图案A2及A4的共8个特征点，从校正用照相机图像300B中检测出校正图案A3及A4的共8个特征点，从校正用照相机图像300R中检测出校正图案A1及A3的共8个特征点。
在图11的步骤S12的处理之后移行至步骤S13。在步骤S13中，基于各校正用照相机图像，判断是否由相邻的照相机共同观测着对应的校正图案。该判断对全部的校正图案进行。相邻的照相机是指共有公共拍摄区域的两个照相机。大致确定各照相机相对于车辆100的设置位置，并且运行支援系统根据各照相机的位置关系等预先识别在各校正用照相机图像上的何处附近存在哪个校正图像。例如，运行支援系统识别出从校正用照相机图像300F的左半部分的区域内检测出的特征点是校正图案A2上的特征点，识别出从校正用照相机图像300F的右半部分的区域内检测出的特征点是校正图案A1上的特征点。
步骤S13的判断，通过比较由相邻的照相机共同观测到的特征点的个数和本来应观测到的个数而进行。在本实施方式中，本来应观测到的个数是一个校正图案上的特征点的总数(即四个)。更具体地说，判断是否满足下述的第一～第四条件。
第一条件：从校正用照相机图像300F及300R中检测出的校正图案A1的特征点的个数都为四个；
第二条件：从校正用照相机图像300F及300L中检测出的校正图案A2的特征点的个数都为四个；
第三条件：从校正用照相机图像300B及300R中检测出的校正图案A3的特征点的个数都为四个；
第四条件：从校正用照相机图像300B及300L中检测出的校正图案A4的特征点的个数都为四个。
并且，在满足第一～第四条件的全部的情况下，从步骤S13移行至步骤S 16，并通过声音向作业者通知校正图案的配置已完成(参照图11)。其后，执行图10的步骤S2～S4的处理(或步骤S1～S4的处理)。
另一方面，在不满足第一～第四条件的任一个条件的情况下，从步骤S13移行至步骤S14(参照图11)。在图12(a)～(b)及图13所示的例子中，虽然满足第一、第三及第四条件但是由于未满足第二条件，故移行至步骤S14。此外，步骤S16及后述的步骤S15中的声音输出通过设置在运行支援系统内或运行支援系统外的声音输出装置(未图示)而进行。该声音输出装置由主控制部10控制。
在步骤S14中，为了通过相邻的照相机共同观测对应的校正图案，导出应移动校正图案的方向及距离。导出的方向及距离是实际空间上的方向及距离。该导出是基于校正用照相机图像进行的。以下，将在步骤S12中从校正用照相机图像中检测出的特征点称为“检测特征点”，将本来应检测却在步骤S12中未从校正用照相机图像中检测到的特征点称为“未检测特征点”。
在步骤S14中，利用未能观测校正图案整体的照相机的校正用照相机图像，并基于该校正用照相机图像的检测特征点的位置来推断应存在未检测特征点的位置。并且，基于该推断出的位置导出应移动校正图像的方向及距离。在当前的例子中，照相机1F未能观测校正图案A2的整体。因此，利用照相机1F的校正用照相机图像300F来导出应移动校正图案A2的方向及距离。
参照图14对该导出方法进行具体说明。图14是对校正用照相机图像300F追加了作为未检测特征点的特征点313及314后的图。特征点313及314是未包括在校正用照相机图像300F中的特征点，但认为特征点313及314和校正用照相机图像300F配置在同一平面上。连接特征点311和312的线段、连接特征点312和313的线段、连接特征点313和314的线段及连接特征点314和311的线段分别称为线段u1、u2、u3及u4。线段u1～u4相当于作为校正图案A2的外形的正方形的4边。
在线段u2及u4均与线段u1正交且特征点313及314位于校正用照相机图像300F外的约束条件下，推断特征点313及314的位置。
例如，求出校正用照相机图像300F上的特征点311与312的距离dA，推断在与特征点312相距dA的位置存在特征点313，并推断在与特征点311相距dA的位置存在特征点314。
或者，在一定程度上确定了各照相机的设置条件(设置高度或俯角)的情况下，根据该设置条件、各照相机的特征及实际空间上的校正图案的一边的长度来推断校正用照相机图像300F上的线段u2及u4的长度。若组合该推断结果和上述约束条件，则可求出特征点313及314的位置。
或者，也可以求出校正用照相机图像300F上的特征点323与324的距离dB，推断在与特征点312相距dB的位置存在特征点313，并推断在与特征点311相距dB的位置存在特征点314。
其后，基于推断出的特征点313及314的位置，导出应移动校正图案A2的方向及距离。方向是从特征点313向特征点312的方向，由于不区分阶段地求取应移动的方向，即使通知给作业者也很难懂，故例如以前后左右方向四个阶段将从特征点313向特征点312的方向量化。在当前的例子中，从特征点313向特征点312的方向是右方向。此外，所谓前后左右方向是从车辆100的驾驶座观看的地面上的前后左右方向。运行支援系统预先识别其前后左右方向与照相机图像上的方向的对应关系。此外，也可以将方向的量化数设为4以外的数(例如8)。
求出特征点313及314和校正用照相机图像300F的外周的距离(图像上的距离)，根据该距离，导出为了使校正图案A2的整体包含于照相机1F的拍摄区域内而在实际空间上应移动校正图案A2的距离。此时，利用将图像上的距离变换为实际空间上的距离的变换系数。虽然也可以将该变换系数预先赋予运行支援系统，但是也可以基于校正图案形状信息及特征点311与312的距离dA(或特征点323与324的距离dB)来求出该变换系数。如上述，根据校正图案形状信息规定实际空间上的校正图案的形状(包括大小)。
在步骤14之后的步骤S15中，通过声音将步骤S14中求出的应移动距离及方向和校正图案的名称一起通知给作业者，然后返回到步骤S11。若在步骤S14中求出的距离及方向分别为50cm及向右方向且应移动的校正图案是A2，则例如通过声音将“将左前的图案向右移动50cm”这一指示内容通知给作业者。图15中示出将声音内容视觉化后的步骤S15的处理的概念图。反复执行步骤S11～S15的循环处理以定期进行这种通知。
由此，作业者无需确认照相机图像就能准确且容易地完成校正图案的配置，因此能减轻校正作业的时间及劳力。
此外，在图14所示的例子中，虽然在校正用照相机图像300F上示出了校正图案A2的两个特征点311及312，但是在从校正用照相机图像300F中检测出的校正图案A2的特征点只有图16所示的特征点311的情况下，无法高精度地推断作为未检测特征点的特征点312～314的位置。但是，由于了解校正图案的形状，故检测出一个特征点就能大致推断剩余的三个特征点存在的方向。即，如图16所示，若在校正用照相机图像300F内的左端部分检测出一个特征点，则剩余的三个特征点应位于照相机1F的拍摄区域的左外侧。另外，若从校正图案A2中仅检测出一个特征点311，则推断出该校正图案A2的大半位于照相机1F的拍摄区域外，故应移动校正图案A2的距离也可以设为在实际空间上的校正图案A2的一边的长度。
因此，此时，将应在步骤S 14中求出的方向设为右方向，将应在步骤S14中求出的距离作为在实际空间上的校正图案A2的一边的长度左右即可。
进而，根据情况假设校正用照相机图像300L中出现了校正图案A2(参照图12(b))，但是如图17所示校正图案A2的特征点均未从校正用照相机图像300F中检测出的情况。此时，根据照相机1F和1L的位置关系来推断应移动校正图案A2的方向即可。若以图6所示的位置关系设置照相机1F和1L且仅在校正用照相机300L内出现了校正图案A2，则使校正图案A2在向上方向或向右斜上方向上移动时，校正图案A2的一部分或全部包含于照相机1F的拍摄区域内的可能性高。因此，该情况下将应在步骤S14中求出的方向设为向右方向或向右斜上方向。由于难以推断应移动校正图案A2的距离，故例如将在步骤S14中应求出的距离设为规定的一定距离(50cm等)。
《第二实施例》
也可不通过声音输出来实现步骤S15及S16中进行的通知，而是通过影像显示来实现该通知。该影像显示可在图5的显示装置11或其他任意显示装置中进行。将实现这种影像显示的通知的实施例作为第二实施例。第二实施例在进行用于确定校正图案的配置位置的作业时利用影像显示这一点上与第一实施例不同，其他均与第一实施例相同。因此，仅对与第一实施例不同点进行说明。
图18是在照相机校正时作业者应携带的便携式终端装置20的外观平面图。在便携式终端装置20中设置了由液晶显示面板等构成的显示装置(影像显示装置)，符号21表示该显示装置的显示画面。便携式终端装置20具备显示装置且是具有无线通信功能的任意便携式终端装置，例如移动电话或便携式信息终端(Personal Data Assistance)。作业者既能进行校正图案的配置作业又能在视觉上识别便携式终端装置20的显示装置的显示画面21。
图5的主控制部10可与便携式终端装置20之间进行无线通信。主控制部10将在图11的步骤S11中取得的各校正用照相机图像的图像数据无线发送到便携式终端装置20中，便携式终端装置20将各校正用照相机图像显示在显示画面21上。在图18所示的例子中，以车辆100的图像为中心，在显示画面21上排列显示来自各照相机的共四个校正用照相机图像。如上述，校正用照相机图像的取得是以规定的周期进行的，显示画面21的显示内容也被定期地更新。
主控制部10执行图11的步骤S12～S14的处理，在显示画面21上能在视觉上识别步骤S15中应通知的校正图案的移动所相关的指示内容。即，主控制部10将必要的数据无线发送到便携式终端装置20中，以使在显示画面21上能够在视觉上识别将哪个校正图案在哪个方向上移动多少程度的距离。例如，若在步骤S14中求出的距离及方向分别是50cm及右方向且应移动的校正图案是A2，则主控制部将必要的数据无线发送到便携式终端装置20中以使在显示画面21上显示“将左前的图案向右移动50cm”这一语句。此时，如图18所示，也可以重叠显示用于在视觉上区分显示画面21上的校正图案A2与其他校正图案的标记。在图18所示的例子中，通过虚线圆框包围显示画面21上的校正图案A2。另外，表示应移动校正图案的方向的箭头22也可以重叠显示在显示画面21上。
在根据图11的步骤S11～S15构成的循环处理的反复执行而指示内容变化的情况下，显示于显示画面21上的指示内容也被更新。
另外，在从图11的步骤S13执行到步骤S16的情况下，在显示画面21上进行配置结束通知。即，在步骤S16中，主控制部10将必要的数据无线发送到便携式终端装置20中，以使在显示画面21上显示用于使作业者了解校正图案的配置结束的语句。
由此，通过利用便携式终端装置20，作业者能一边进行校正图案的配置作业，一边与照相机图像的位置关系一起辨别应移动校正图案的方向及距离。因此，能提高校正图案的配置作业的效率且减轻校正作业的劳力及时间。
此外，在便携式终端装置20中具备可输出声音的声音输出装置(未图示)的情况下，也可以与声音输出并用地进行步骤S15及S16的通知。即，例如若在步骤S14中求出的距离及方向分别是50cm及右方向且应移动的校正图案为A2，则在步骤S15中主控制部10将必要的数据无线发送到便携式终端装置20中，以使显示画面21上显示“将左前的图案向右移动50cm”这一语句且通过上述声音输出装置对同样的语句进行声音输出。同样地，在步骤S16中主控制部10将必要的数据无线发送到便携式终端装置20中，以使在显示画面21上显示用于使作业者了解校正图案的配置结束的语句且通过上述声音输出装置对同样的语句进行声音输出。
另外，也可以不进行影像输出而只通过来自便携式终端装置20的声音输出来进行步骤S15及S16的通知。
《第三实施例》
接着，对第三实施例进行说明。在第三实施例中示出进行校正图案的配置位置的确定处理的部分的框图。
图19是与第一实施例对应的进行校正图案的配置位置的确定处理的部分的框图。符号31～34所参照的各部分被设置在图5的主控制部10中。也可以将声音输出装置35作为运行支援系统内的装置，还可以将声音输出装置35作为运行支援系统外的装置。可以认为由符号31～34所参照的各部分形成照相机校正装置。可以将声音输出装置35作为照相机校正装置内的装置，也可以将声音输出装置35作为照相机校正装置外的装置。
校正图案/特征点检测部31基于图11的步骤S11中取得的各校正用照相机图像来执行步骤S12的处理。即，从各校正用照相机图像中检测校正图案及特征点。观测状态判断部32基于校正图案/特征点检测部31的检测结果执行步骤S13的处理，并判断各照相机的校正图案的观测状况。
指示内容生成部33基于校正图案/特征点检测部31的检测结果及观测状况判断部32的判断结果(即，步骤S12及S13的处理结果)，与通知用信号输出部34及声音输出装置35联动地进行步骤S14及S15的处理或S16的处理。在某一校正图案未被应共同观测该校正图案的两个照相机观测的情况下，指示内容生成部33进行步骤S14的处理，生成用于使该校正图案包含于对应的公共拍摄区域内并使两个照相机共同进行观测的指示内容。该指示内容包括应移动校正图案的方向及距离。通信用信号输出部34生成用于向作业者通知该指示内容的通知用信号，并将该信号提供给声音输出装置35。其中的通信用信号是声音信号，通过由扬声器等构成的声音输出装置35来声音输出指示内容。在进行S16的处理的情况下，指示内容生成部33使通知用信号输出部34输出用于向作业者通知校正图案配置结束的意思的通信用信号(声音信号)。由此，通过声音输出部35来将该意思声音输出。
图20是与第二实施例对应的进行校正图案的配置位置的确定处理的部分的框图。符号31～33、34a及36所参照的各部分被设置在图5的主控制部10中。符号31～33所参照的各部分与图19所示的相同。可以认为通过符号31～33、34a及36所参照的各部分形成照相机校正装置。
指示内容生成部33基于校正图案/特征点检测部31的检测结果及观测状况判断部32的判断结果(即，步骤S12及S13的处理结果)，与通知用信号输出部34a及无线通信部36以及图18的便携式终端装置20联动地进行步骤S14及S15的处理或S16的处理。通信用信号输出部34a生成用于向作业者通知指示内容生成部33生成的指示内容的通知用信号，无线通信部(无线传输部)36将该通知用信号变换为无线信号以向便携式终端装置20无线发送。由此，在便携式终端装置20上进行在第二实施例中所述的通知。
《变形等》
在上述的说明中所示的具体的数值只是单纯的例示，当然可以将这些数值变更为各种数值。作为上述实施方式的变形例或注释事项，以下记为注释1～注释4。各注释中所述的内容只要不相互矛盾就能进行任意组合。
(注释1)
在进行平面摄影变换时，在变换前图像与变换后图像之间需要四个特征点。考虑此，在上述的实施方式中，将具有四个特征点的正方形作为校正图案的形状例加以采用。但是不一定需要将校正图案的形状设为正方形。
(注释2)
上述的鸟瞰图图像相当于将照相机图像投影到地面上的图像。也就是说，在上述的实施方式中，通过将各照相机图像投影到地面上并进行合成来生成全周鸟瞰图图像，但是也可以将应投影各照相机图像的面作为地面以外的任意规定面(例如，规定平面)。
(注释3)
虽然以利用了作为车载照相机的照相机1F、1R、1L及1B的运行支援系统为例对本发明的实施方式进行了说明，但是也可以将应与主控制部10连接的各照相机设置在车辆以外。也就是说，例如对于设置在建筑物等上的监视系统而言，也能应用本发明。即使在这种监视系统中，也能与上述实施方式同样地将来自多个照相机的照相机图像投影在规定面上并合成，从而在显示装置中显示合成图像。为了进行该投影及合成，可应用本发明的照相机校正方法。
(注释4)
图5的主控制部10的功能可通过硬件、软件或硬件与软件的组合来实现。也可以将主控制部10所实现的功能的全部或一部分作为程序来记述，并在计算机上执行该程序来实现其功能的全部或一部分。特别是，图19或图20的符号31～33所参照的各部分的功能可通过硬件、软件或硬件与软件的组合来实现，也可以将这些功能的全部或一部分作为程序来记述，并在计算机上执行该程序来实现该功能的全部或一部分。

Claims (8)

1.一种照相机校正装置，基于应配置于多个照相机的公共拍摄区域内的校正图案在各照相机中的拍摄结果，进行用于将来自所述多个照相机的多个照相机图像投影到规定面上并合成的照相机校正，该照相机校正装置的特征在于，具备：
判断单元，其基于所述拍摄结果，判断向所述公共拍摄区域配置所述校正图案的配置状态；和
通知用信号输出单元，其输出通知用信号，该通知用信号用于向外部通知与所述判断单元的判断结果相应的信息。
2.根据权利要求1所述的照相机校正装置，其特征在于，
在将进行照相机校正时从各照相机得到的照相机图像称为校正用照相机图像的情况下，所述判断单元基于所述校正用照相机图像来判断所述校正图案是否被所述多个照相机观测。
3.根据权利要求2所述的照相机校正装置，其特征在于，
在所述判断单元判断为所述校正图案未被所述多个照相机观测的情况下，基于所述校正用照相机图像，生成用于使所述校正图案包含在所述公共拍摄区域内并使所述多个照相机进行观测的指示内容，
所述通知用信号输出单元输出用于向外部通知作为所述信息的所述指示内容的信号，来作为所述通知用信号。
4.根据权利要求1～3中任一项所述的照相机校正装置，其特征在于，
所述通知用信号被提供给声音输出装置，通过声音输出来进行所述信息的通知。
5.根据权利要求1～3中任一项所述的照相机校正装置，其特征在于，
所述通知用信号被提供给影像显示装置，通过影像显示来进行所述信息的通知。
6.根据权利要求1～3中任一项所述的照相机校正装置，其特征在于，
还具备无线传输单元，所述无线传输单元将所述通知用信号通过无线方式传输到便携式终端装置，
在所述便携式终端装置上，通过声音输出及影像显示中的至少一个来进行所述信息的通知。
7.一种车辆，设置有：多个照相机；图像合成单元，其生成将来自所述多个照相机的多个照相机图像投影到规定面上并合成后的图像；和影像显示装置，其显示所述合成后的图像；该车辆的特征在于，
所述图像合成单元利用权利要求1～3中任一项所述的照相机校正装置进行的照相机校正的结果，进行所述多个照相机图像的投影及合成。
8.一种照相机校正方法，基于应配置于多个照相机的公共拍摄区域内的校正图案在各照相机中的拍摄结果，进行用于将来自所述多个照相机的多个照相机图像投影到规定面上并合成的照相机校正，该照相机校正方法的特征在于，
基于所述拍摄结果判断向所述公共拍摄区域配置所述校正图案的配置状态，并向外部通知与该判断结果相应的信息。
CN200880109616A 2007-10-18 2008-09-24 照相机校正装置及方法、以及车辆 Pending CN101836451A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007271193A JP2009100342A (ja) 2007-10-18 2007-10-18 カメラ校正装置及び方法、並びに、車両
JP2007-271193 2007-10-18
PCT/JP2008/067151 WO2009050987A1 (ja) 2007-10-18 2008-09-24 カメラ校正装置及び方法、並びに、車両

Publications (1)

Publication Number Publication Date
CN101836451A true CN101836451A (zh) 2010-09-15

Family

ID=40567260

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880109616A Pending CN101836451A (zh) 2007-10-18 2008-09-24 照相机校正装置及方法、以及车辆

Country Status (5)

Country Link
US (1) US20100194886A1 (zh)
EP (1) EP2200311A4 (zh)
JP (1) JP2009100342A (zh)
CN (1) CN101836451A (zh)
WO (1) WO2009050987A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102547065A (zh) * 2010-12-16 2012-07-04 伟诠电子股份有限公司 自动校正环车图像的校正电路及其方法
CN102842127A (zh) * 2011-05-10 2012-12-26 哈曼贝克自动系统股份有限公司 环景显示系统摄像机仅对外参数的自动标定
CN103155551A (zh) * 2010-11-16 2013-06-12 住友重机械工业株式会社 图像生成装置及操作支援系统
CN103646385A (zh) * 2013-11-21 2014-03-19 江西好帮手电子科技有限公司 一种全景泊车图像的自动拼接方法及其系统
CN103871070A (zh) * 2014-04-03 2014-06-18 深圳市德赛微电子技术有限公司 车载全景成像系统的自动标定方法
CN105594203A (zh) * 2013-09-30 2016-05-18 株式会社电装 车辆周边图像显示装置以及照相机的调整方法
CN106254763A (zh) * 2015-06-10 2016-12-21 富士通天株式会社 图像处理装置和图像处理方法
CN106331694A (zh) * 2015-06-30 2017-01-11 财团法人工业技术研究院 车用环景系统调校方法
CN103685911B (zh) * 2012-09-06 2017-03-01 卡西欧计算机株式会社 图像处理装置及图像处理方法
CN106791325A (zh) * 2017-01-06 2017-05-31 寅家电子科技（上海）有限公司 全景环视系统的色差测光区自动识别系统及自动识别方法
CN109379521A (zh) * 2018-11-30 2019-02-22 Oppo广东移动通信有限公司 摄像头标定方法、装置、计算机设备和存储介质
CN110312120A (zh) * 2018-03-20 2019-10-08 株式会社东芝 图像处理装置、驾驶辅助系统及图像处理方法
CN111193862A (zh) * 2018-11-14 2020-05-22 发那科株式会社 照相机校正装置以及照相机校正方法

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9030532B2 (en) * 2004-08-19 2015-05-12 Microsoft Technology Licensing, Llc Stereoscopic image display
JP2010141836A (ja) * 2008-12-15 2010-06-24 Sanyo Electric Co Ltd 障害物検知装置
JP5068779B2 (ja) * 2009-02-27 2012-11-07 現代自動車株式会社 車両周囲俯瞰画像表示装置及び方法
US8199186B2 (en) * 2009-03-05 2012-06-12 Microsoft Corporation Three-dimensional (3D) imaging based on motionparallax
JP4690476B2 (ja) * 2009-03-31 2011-06-01 アイシン精機株式会社 車載カメラの校正装置
US8289189B2 (en) * 2009-05-11 2012-10-16 Robert Bosch Gmbh Camera system for use in vehicle parking
KR101039248B1 (ko) 2009-07-09 2011-06-07 엠텍비젼 주식회사 차량용 영상 저장 장치 및 그 설치 상태 통지 방법
JP5483945B2 (ja) * 2009-07-27 2014-05-07 アルパイン株式会社 カメラ調整方法及び装置
US8489319B2 (en) * 2009-10-28 2013-07-16 Telenav, Inc. Navigation system with video and method of operation thereof
TWI392366B (zh) * 2009-12-31 2013-04-01 Ind Tech Res Inst 全周鳥瞰影像距離介面產生方法與系統
JP5707185B2 (ja) * 2011-03-14 2015-04-22 株式会社トプコン マルチカメラのキャリブレーション用全周フィールド
EP2511137B1 (en) 2011-04-14 2019-03-27 Harman Becker Automotive Systems GmbH Vehicle Surround View System
EP2530647A1 (en) 2011-06-01 2012-12-05 Harman Becker Automotive Systems GmbH Method of calibrating a vehicle vision system and vehicle vision system
WO2012172923A1 (ja) * 2011-06-16 2012-12-20 アイシン精機株式会社 車両周辺監視装置
KR101265667B1 (ko) * 2011-06-21 2013-05-22 ㈜베이다스 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법
EP2541498B1 (en) 2011-06-30 2017-09-06 Harman Becker Automotive Systems GmbH Method of determining extrinsic parameters of a vehicle vision system and vehicle vision system
EP2554434B1 (en) 2011-08-05 2014-05-21 Harman Becker Automotive Systems GmbH Vehicle surround view system
WO2013043661A1 (en) 2011-09-21 2013-03-28 Magna Electronics, Inc. Vehicle vision system using image data transmission and power supply via a coaxial cable
US20150009329A1 (en) * 2011-10-18 2015-01-08 Hitachi Construction Machinery Co., Ltd. Device for monitoring surroundings of machinery
WO2013074604A2 (en) * 2011-11-15 2013-05-23 Magna Electronics, Inc. Calibration system and method for vehicular surround vision system
EP2808455B1 (en) * 2012-01-27 2018-05-30 Doosan Infracore Co., Ltd. Operational stability enhancing device for construction machinery
JP5940393B2 (ja) * 2012-07-02 2016-06-29 Kddi株式会社 点検補助装置及び方法
JP5799928B2 (ja) * 2012-09-28 2015-10-28 カシオ計算機株式会社 閾値設定装置、被写体検出装置、閾値設定方法及びプログラム
JP6009894B2 (ja) * 2012-10-02 2016-10-19 株式会社デンソー キャリブレーション方法、及びキャリブレーション装置
KR102001659B1 (ko) * 2012-11-19 2019-07-19 한국전자통신연구원 차량용 카메라 캘리브레이션 장치 및 방법
JP6107081B2 (ja) * 2012-11-21 2017-04-05 富士通株式会社 画像処理装置、画像処理方法及びプログラム
US9674490B2 (en) 2013-04-18 2017-06-06 Magna Electronics Inc. Vision system for vehicle with adjustable cameras
US10567705B2 (en) 2013-06-10 2020-02-18 Magna Electronics Inc. Coaxial cable with bidirectional data transmission
JP6106754B2 (ja) * 2013-08-26 2017-04-05 日立建機株式会社 作業機械の周囲監視装置
JP6034775B2 (ja) 2013-11-29 2016-11-30 クラリオン株式会社 カメラ校正装置
WO2015110847A1 (en) 2014-01-27 2015-07-30 Xylon d.o.o. Data-processing system and method for calibration of a vehicle surround view system
EP3111299A4 (en) 2014-02-28 2017-11-22 Hewlett-Packard Development Company, L.P. Calibration of sensors and projector
DE102014217939A1 (de) * 2014-09-08 2016-03-10 Continental Automotive Gmbh Kalibration von Surround-View-Systemen
KR101596751B1 (ko) * 2014-09-26 2016-02-23 현대자동차주식회사 운전자 맞춤형 사각 영역 표시 방법 및 장치
KR101666959B1 (ko) * 2015-03-25 2016-10-18 ㈜베이다스 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
US11285878B2 (en) 2015-12-17 2022-03-29 Magna Electronics Inc. Vehicle vision system with camera line power filter
CN106897655A (zh) * 2015-12-18 2017-06-27 富士通株式会社 停车位的检测装置、方法以及图像处理设备
JP6736414B2 (ja) * 2016-08-10 2020-08-05 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
DE102016218852A1 (de) 2016-09-29 2018-03-29 Conti Temic Microelectronic Gmbh Detektion von Objekten aus Bildern einer Kamera
DE102016218853A1 (de) * 2016-09-29 2018-03-29 Conti Temic Microelectronic Gmbh Detektion und Validierung von Objekten aus Bildern einer Kamera
DE102016218849A1 (de) 2016-09-29 2018-03-29 Conti Temic Microelectronic Gmbh Detektion und Tracking von Objekten aus Bildern einer Kamera
JP6662762B2 (ja) * 2016-12-19 2020-03-11 株式会社クボタ 作業車
US10911745B2 (en) 2016-12-28 2021-02-02 Texas Instruments Incorporated Calibration of a surround view camera system
US20180213217A1 (en) * 2017-01-23 2018-07-26 Multimedia Image Solution Limited Equipment and method for promptly performing calibration and verification of intrinsic and extrinsic parameters of a plurality of image capturing elements installed on electronic device
EP3605456B1 (en) * 2017-03-30 2022-03-30 FUJIFILM Corporation Image processing device and image processing method
JP6764533B2 (ja) * 2017-06-20 2020-09-30 株式会社ソニー・インタラクティブエンタテインメント キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
US10089753B1 (en) * 2017-07-05 2018-10-02 Almotive Kft. Method, system and computer-readable medium for camera calibration
WO2019050417A1 (en) * 2017-09-06 2019-03-14 Auckland Uniservices Limited METHOD FOR CALIBRATING STEREOSCOPIC SYSTEM
CN111712686B (zh) 2017-12-20 2023-04-18 罗伯特·博世有限公司 用于车辆传感器校准的便携式设备
US10764562B2 (en) 2018-01-28 2020-09-01 Eys3D Microelectronics, Co. Depth generation system with adjustable light intensity
EP3534333A1 (en) * 2018-02-28 2019-09-04 Aptiv Technologies Limited Method for calibrating the position and orientation of a camera relative to a calibration pattern
DE102018111776B4 (de) * 2018-05-16 2024-01-25 Motherson Innovations Company Limited Kalibriervorrichtung, Verfahren zur Ermittlung von Kalibrierdaten, Vorrichtung zur Ausführung des Verfahrens, Kraftfahrzeug umfassend eine solche Vorrichtung und Verwendung der Kalibriervorrichtung für das Verfahren sowie das Kraftfahrzeug
US11582402B2 (en) 2018-06-07 2023-02-14 Eys3D Microelectronics, Co. Image processing device
JP6633140B2 (ja) * 2018-06-20 2020-01-22 株式会社フォーディーアイズ 常時キャリブレーションシステム及びその方法
EP3776485B1 (en) * 2018-09-26 2022-01-26 Coherent Logix, Inc. Any world view generation
US10735716B2 (en) * 2018-12-04 2020-08-04 Ford Global Technologies, Llc Vehicle sensor calibration
KR102577448B1 (ko) * 2019-01-22 2023-09-12 삼성전자 주식회사 핸드 아이 캘리브레이션 방법 및 시스템
EP3716211A1 (de) * 2019-03-26 2020-09-30 Hella Gutmann Solutions GmbH Verfahren, vorrichtung, server und system zur kalibrierung mindestens einer kamera eines fahrerassistenzsystems
DE102019219386A1 (de) 2019-12-11 2021-06-17 Robert Bosch Gmbh Verfahren zum Kalibrieren von Bilddaten eines bildgebenden Systems für ein Fahrzeuggespann
CN111667538B (zh) * 2020-04-20 2023-10-24 长城汽车股份有限公司 一种全景环视系统的标定方法、装置及系统
US11653587B2 (en) * 2020-09-17 2023-05-23 Deere & Company System and method for presenting the surroundings of an agricultural implement
US11640715B2 (en) 2021-06-21 2023-05-02 Caterpillar Paving Products Inc. Birds eye view camera for an asphalt paver
EP4287072A1 (en) * 2022-05-30 2023-12-06 Deeping Source Inc. Methods for performing multi-view object detection by using homography attention module and devices using the same

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3287117B2 (ja) * 1994-07-05 2002-05-27 株式会社日立製作所 撮像装置を用いた車両用の環境認識装置
JP3653783B2 (ja) * 1995-04-03 2005-06-02 スズキ株式会社 車載用画像処理装置及び画像表示システム
JP2002135765A (ja) * 1998-07-31 2002-05-10 Matsushita Electric Ind Co Ltd カメラキャリブレーション指示装置及びカメラキャリブレーション装置
JP3387911B2 (ja) * 2000-01-27 2003-03-17 松下電器産業株式会社 キャリブレーションシステムおよびキャリブレーション方法
JP3372944B2 (ja) 2000-07-19 2003-02-04 松下電器産業株式会社 監視システム
US20040104935A1 (en) * 2001-01-26 2004-06-03 Todd Williamson Virtual reality immersion system
DE10229336A1 (de) 2002-06-29 2004-01-15 Robert Bosch Gmbh Verfahren und Vorrichtung zur Kalibrierung von Bildsensorsystemen
JP2004235986A (ja) 2003-01-30 2004-08-19 Matsushita Electric Ind Co Ltd 監視システム
JP3977776B2 (ja) * 2003-03-13 2007-09-19 株式会社東芝 ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置
JP2005257510A (ja) * 2004-03-12 2005-09-22 Alpine Electronics Inc 他車検出装置及び他車検出方法
JP4744823B2 (ja) * 2004-08-05 2011-08-10 株式会社東芝 周辺監視装置および俯瞰画像表示方法
JP4681856B2 (ja) * 2004-11-24 2011-05-11 アイシン精機株式会社 カメラの校正方法及びカメラの校正装置
JP3887403B2 (ja) * 2004-12-21 2007-02-28 松下電器産業株式会社 カメラ端末および撮影領域調整装置
JP4596978B2 (ja) 2005-03-09 2010-12-15 三洋電機株式会社 運転支援システム
JP4934308B2 (ja) * 2005-10-17 2012-05-16 三洋電機株式会社 運転支援システム
JP4879031B2 (ja) * 2007-01-11 2012-02-15 三洋電機株式会社 運転支援システム、画像処理装置及びずれ検出方法
JP2008187566A (ja) * 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
US20110115912A1 (en) * 2007-08-31 2011-05-19 Valeo Schalter Und Sensoren Gmbh Method and system for online calibration of a video system
US8254635B2 (en) * 2007-12-06 2012-08-28 Gideon Stein Bundling of driver assistance systems

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103155551B (zh) * 2010-11-16 2016-05-04 住友重机械工业株式会社 图像生成装置及操作支援系统
CN103155551A (zh) * 2010-11-16 2013-06-12 住友重机械工业株式会社 图像生成装置及操作支援系统
CN102547065A (zh) * 2010-12-16 2012-07-04 伟诠电子股份有限公司 自动校正环车图像的校正电路及其方法
CN102842127A (zh) * 2011-05-10 2012-12-26 哈曼贝克自动系统股份有限公司 环景显示系统摄像机仅对外参数的自动标定
CN103685911B (zh) * 2012-09-06 2017-03-01 卡西欧计算机株式会社 图像处理装置及图像处理方法
CN105594203A (zh) * 2013-09-30 2016-05-18 株式会社电装 车辆周边图像显示装置以及照相机的调整方法
CN105594203B (zh) * 2013-09-30 2018-09-04 株式会社电装 车辆周边图像显示装置以及照相机的调整方法
CN103646385A (zh) * 2013-11-21 2014-03-19 江西好帮手电子科技有限公司 一种全景泊车图像的自动拼接方法及其系统
CN103871070A (zh) * 2014-04-03 2014-06-18 深圳市德赛微电子技术有限公司 车载全景成像系统的自动标定方法
CN106254763B (zh) * 2015-06-10 2019-04-23 富士通天株式会社 图像处理装置和图像处理方法
CN106254763A (zh) * 2015-06-10 2016-12-21 富士通天株式会社 图像处理装置和图像处理方法
CN106331694A (zh) * 2015-06-30 2017-01-11 财团法人工业技术研究院 车用环景系统调校方法
CN106331694B (zh) * 2015-06-30 2018-08-24 财团法人工业技术研究院 车用环景系统调校方法
CN106791325A (zh) * 2017-01-06 2017-05-31 寅家电子科技（上海）有限公司 全景环视系统的色差测光区自动识别系统及自动识别方法
CN106791325B (zh) * 2017-01-06 2022-08-23 上海寅家电子科技股份有限公司 全景环视系统的色差测光区自动识别系统及自动识别方法
CN110312120A (zh) * 2018-03-20 2019-10-08 株式会社东芝 图像处理装置、驾驶辅助系统及图像处理方法
CN111193862A (zh) * 2018-11-14 2020-05-22 发那科株式会社 照相机校正装置以及照相机校正方法
CN111193862B (zh) * 2018-11-14 2022-06-07 发那科株式会社 照相机校正装置以及照相机校正方法
US11403780B2 (en) 2018-11-14 2022-08-02 Fanuc Corporation Camera calibration device and camera calibration method
CN109379521A (zh) * 2018-11-30 2019-02-22 Oppo广东移动通信有限公司 摄像头标定方法、装置、计算机设备和存储介质
CN109379521B (zh) * 2018-11-30 2021-03-02 Oppo广东移动通信有限公司 摄像头标定方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
WO2009050987A1 (ja) 2009-04-23
JP2009100342A (ja) 2009-05-07
EP2200311A1 (en) 2010-06-23
US20100194886A1 (en) 2010-08-05
EP2200311A4 (en) 2011-03-02

Similar Documents

Publication Publication Date Title
CN101836451A (zh) 照相机校正装置及方法、以及车辆
US8446471B2 (en) Method and system for generating surrounding seamless bird-view image with distance interface
EP3368373B1 (en) Filling in surround view areas blocked by mirrors or other vehicle parts
US8242895B2 (en) Method and system for forming surrounding seamless bird-view image
US6404902B1 (en) Image processing apparatus
EP1968011A2 (en) Method and apparatus for camera calibration, and vehicle
US7110021B2 (en) Vehicle surroundings monitoring device, and image production method/program
US20150042799A1 (en) Object highlighting and sensing in vehicle image display systems
US20140114534A1 (en) Dynamic rearview mirror display features
EP4156125A1 (en) Image processing system, mobile object, image processing method, and storage medium
CN102782741A (zh) 车辆周围监测装置
CN101861255A (zh) 图像处理装置和方法、驾驶支持系统、车辆
US20090303024A1 (en) Image Processing Apparatus, Driving Support System, And Image Processing Method
CN103999122A (zh) 用于改进多摄像机系统中的对象探测的方法
DE112017002774T5 (de) Bildverarbeitungseinrichtung und Bildverarbeitungsverfahren, und Lerneinrichtung und Lernverfahren
CN113362232A (zh) 车辆全景环视图像生成方法和系统
EP4344953A1 (en) Movable apparatus and installation method for imaging device
EP4156127A1 (en) Image processing system, mobile object, image processing method, and storage medium
KR102164702B1 (ko) 자동 주차 장치 및 자동 주차 방법
EP4155817A1 (en) Camera unit installing method, mobile object, image processing system, image processing method, and storage medium
JP6187322B2 (ja) 画像表示装置、画像表示システム
JP2023047495A (ja) 移動体、画像処理方法、およびコンピュータプログラム
JP2023046511A (ja) 画像処理システム、画像処理方法、およびコンピュータプログラム
US12028603B2 (en) Image processing system, image processing method, storage medium, image pickup apparatus, and optical unit
EP4286223A1 (en) Movable apparatus, control method for movable apparatus, and storage medium

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20100915

C20 Patent right or utility model deemed to be abandoned or is abandoned