CN105594203B - 车辆周边图像显示装置以及照相机的调整方法 - Google Patents

车辆周边图像显示装置以及照相机的调整方法 Download PDF

Info

Publication number
CN105594203B
CN105594203B CN201480053525.XA CN201480053525A CN105594203B CN 105594203 B CN105594203 B CN 105594203B CN 201480053525 A CN201480053525 A CN 201480053525A CN 105594203 B CN105594203 B CN 105594203B
Authority
CN
China
Prior art keywords
image
camera
pattern
correcting pattern
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480053525.XA
Other languages
English (en)
Other versions
CN105594203A (zh
Inventor
田中仁
松本宗昭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of CN105594203A publication Critical patent/CN105594203A/zh
Application granted granted Critical
Publication of CN105594203B publication Critical patent/CN105594203B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Mechanical Engineering (AREA)
  • Studio Devices (AREA)

Abstract

提供一种能够容易地对调整对象照相机的变换规则进行调整的技术。在一个实施方式中，利用具备图案A和图案B的校正片(31)，将图案A配置于作为调整对象照相机的前置照相机(5)的拍摄范围SF，将图案B配置于作为基准照相机的左置照相机(7)的拍摄范围SL。两个图案A、B不配置于两个照相机(5、7)的重复范围SFL。此时，能够由前置照相机(5)拍摄图案A，能够根据图案A计算图案B’。因此，能够变更前置照相机(5)的变换规则，以便图案B’的坐标与图案B的坐标一致。

Description

车辆周边图像显示装置以及照相机的调整方法
技术领域
本申请以2013年9月30日提出的日本国专利申请2013－204474号为基础主张优先权，在此通过参照来引用其记载内容。
本公开涉及对车辆周边的图像进行显示的车辆周边图像显示装置以及车辆周边图像显示装置所采用的照相机的调整方法。
背景技术
以往，已知有一种将由车载照相机拍摄(摄像)到的图像变换成表示车辆周边(即表示从车辆上方观察车辆周边的状态)的投影图像(鸟瞰图图像)的技术。
另外，近年来公开了一种在更换了照相机、控制照相机的电子控制装置的情况下、或在使用过程中照相机发生了位置、姿势的偏移的情况下，进行照相机的校准(校正：调整)的技术。
即，公开了将用于把由照相机拍摄到的图像变换成投影图像的变换规则(参数)因照相机等的更换、照相机的位置、姿势的偏移而变得不适当的照相机作为调整对象照相机，来修正该变换规则的技术。
作为该修正变换规则的技术，已知有下述的方法。
具体而言，当在工厂中调整照相机的变换规则的情况下，规定的形状以及大小的校正图案被喷涂在工厂内的地面的决定的位置。而且，为了调整照相机的变换规则，使车辆移动到规定的场所。由此，由于通过决定校正图案与车辆的位置关系，使得校正图案与设置于车辆的照相机的位置关系被决定，所以通过算术来调整照相机的变换规则。
另外，当在如汽车经销商那样用于调整照相机的变换规则的专用场所不能确保的地方对照相机的变换规则进行调整时，如下述专利文献1所记载那样，公开了一种将1个校正图案配置到和与调整对象照相机的拍摄范围邻接的(不需要调整的)基准照相机的拍摄范围局部重复的范围，依据对基准照相机规定的变换规则调整针对调整对象照相机决定的变换规则，以便与投影变换后的图像空间上的校正图案的影像的坐标一致的技术。
然而，当在汽车经销商处为了调整照相机的变换规则而将校正图案放置到任意的场所的情况下，若调整对象照相机的拍摄范围与可成为基准照相机的照相机的拍摄范围重复，且未将校正图案放置于该重复的范围，则难以调整针对调整对象照相机决定的变换规则。
另外，也存在拍摄校正图案所得到的图像的精度因配置校正图案的位置而较差，不能高精度地进行调整的情况。
专利文献1：日本特开2010－244326号公报
发明内容
本公开是鉴于上述情况而提出的，其目的在于，提供一种例如即便在将校正图案放置到调整对象照相机的拍摄范围与基准照相机的拍摄范围不重复的范围的情况下，也能够容易地对调整对象照相机的变换规则进行调整的车辆周边图像显示装置以及照相机的调整方法。
本公开的一例所涉及的车载周边图像显示装置是被搭载于汽车的车载周边图像显示装置，具有车辆周边图像生成部和调整部。车辆周边图像生成部对搭载于汽车来对该汽车的周围进行拍摄的多个照相机拍摄而得到的各图像，实施遵照对拍摄该图像的每个照相机决定的变换规则的投影变换，并在单一的图像空间上进行合成，生成表示从规定的视点观测了上述汽车的周围的样子的车辆周边图像。车辆周边图像生成部与显示该车辆周边图像的显示装置进行通信。调整部调整针对上述每个照相机决定的上述变换规则。在以规定的位置关系配置有多个规定的大小以及形状的校正图案的校正用部件被配置于所述汽车的周围、且规定的所述校正图案被配置于成为所述变换规则的调整的基准的基准照相机的拍摄区域，并且其他的所述校正图案被配置于成为所述变换规则的调整的对象的调整对象照相机的拍摄区域的状态下，所述调整部对由所述基准照相机拍摄所述校正用部件的规定的所述校正图案而得到的图像，遵照对所述基准照相机决定的所述变换规则进行投影变换，来检测基准校正图案的图像的坐标，对由所述调整对象照相机拍摄所述校正用部件的其他的所述校正图案而得到的图像，遵照对所述调整对象照相机决定的所述变换规则进行投影变换，来检测调整校正图案的图像的坐标，基于该调整校正图案的图像的坐标与所述两个校正图案的位置关系，来检测与所述基准校正图案对应的临时的基准校正图案的图像的坐标，或者，基于所述基准校正图案的图像的坐标与所述两个校正图案的位置关系，来检测与所述调整校正图案对应的临时的调整校正图案的图像的坐标，调整对所述调整对象照相机决定的所述变换规则，以便所述临时的基准校正图案的图像的坐标与所述基准校正图案的图像的坐标一致，或者，所述临时的调整校正图案的图像的坐标与所述调整校正图案的图像的坐标一致。
本公开的一例所涉及的照相机的调整方法是对具有车辆周边图像生成部的车载周边图像显示装置进行照相机的变换规则的调整的照相机的调整方法，所述车辆周边图像生成部对搭载于汽车来对该汽车的周围进行拍摄的多个所述照相机拍摄到的各图像，实施遵照对拍摄该图像的每个照相机决定变换规则的投影变换，并在单一的图像空间上进行合成，生成表示从规定的视点观测了上述汽车的周围的样子的车辆周边图像，并且该车辆周边图像生成部与显示该车辆周边图像的显示装置进行通信。照相机的调整方法具有：在以规定的位置关系配置有多个规定的大小以及形状的校正图案的校正用部件被配置于所述汽车的周围、且规定的所述校正图案被配置于成为所述变换规则的调整的基准的基准照相机的拍摄区域，并且其他的所述校正图案被配置于成为所述变换规则的调整的对象的调整对象照相机的拍摄区域的状态下，对由所述基准照相机拍摄所述校正用部件的规定的所述校正图案而得到的图像，遵照对所述基准照相机决定的所述变换规则进行投影变换，来检测基准校正图案的图像的坐标的工序；对由所述调整对象照相机拍摄所述校正用部件的其他的所述校正图案而得到的图像，遵照对所述调整对象照相机决定的所述变换规则进行投影变换，来检测调整校正图案的图像的坐标的工序；基于该调整校正图案的图像的坐标与所述两个校正图案的位置关系，来检测与所述基准校正图案对应的临时的基准校正图案的图像的坐标，或者，基于所述基准校正图案的图像的坐标与所述两个校正图案的位置关系，来检测与所述调整校正图案对应的临时的调整校正图案的图像的坐标的工序；以及调整对所述调整对象照相机决定的所述变换规则，以便所述临时的基准校正图案的图像的坐标与所述基准校正图案的图像的坐标一致，或者，所述临时的调整校正图案的图像的坐标与所述调整校正图案的图像的坐标一致的工序。
这样，在本公开的车载周边图像显示装置以及照相机的调整方法中，即便在照相机的拍摄范围不重复的情况下，通过将校正图案配置于各拍摄范围来进行上述处理，也能够容易地进行调整对象照相机的校正(校准)。
另外，即便在如以往那样，(单一的)校正图案非常小地映现在画面上的情况下，也由于在本公开车载周边图像显示装置以及照相机的调整方法中，通过利用具备被配置于不同的照相机的拍摄范围的不同的校正图案的校正用部件，使得由各照相机检测校正图案的精度提高，所以具有通过进行上述的处理，能够高精度地校正这一效果。
本公开的其他例子所涉及的车载周边图像显示装置是被搭载于汽车的车载周边图像显示装置，具有车辆周边图像生成部和调整部。车辆周边图像生成部对搭载于汽车来对该汽车的周围进行拍摄的多个照相机拍摄到的各图像，实施遵照对拍摄该图像的每个照相机决定的变换规则的投影变换，并在单一的图像空间上进行合成，生成表示从规定的视点观测了上述汽车的周围的样子的车辆周边图像。车辆周边图像生成部与显示该车辆周边图像的显示装置进行通信。调整部调整对上述每个照相机决定的上述变换规则。在以规定的位置关系配置有多个规定的大小以及形状的校正图案的校正用部件被配置于所述汽车的周围、且规定的所述校正图案被配置于规定的照相机的拍摄区域，并且其他的所述校正图案被配置于其他的照相机的拍摄区域的状态下，上述调整部将能够对规定的所述校正用部件中的2个校正图案个别地进行拍摄的2个调整对象照相机设为1组，并将其中一个调整对象照相机设为临时基准照相机、将另一个照相机设为调整对象照相机，对由所述临时基准照相机拍摄所述校正用部件的规定的所述校正图案而得到的图像，遵照对所述临时基准照相机决定的所述变换规则进行投影变换，来检测临时基准校正图案的图像的坐标，对由所述调整对象照相机拍摄所述校正用部件的其他的所述校正图案而得到的图像，遵照对所述调整对象照相机决定的所述变换规则进行投影变换，来检测调整校正图案的图像的坐标，基于所述调整校正图案的图像的坐标与所述两个校正图案的位置关系，来检测与所述临时基准校正图案对应的临时的临时基准校正图案的图像的坐标，或者，基于所述临时基准校正图案的图像的坐标与所述两个校正图案的位置关系，来检测与所述调整校正图案对应的临时的调整校正图案的图像的坐标，调整对所述调整对象照相机决定的所述变换规则，以便所述临时的临时基准校正图案的图像的坐标与所述基准校正图案的图像的坐标一致，或者，所述临时的调整校正图案的图像的坐标与所述调整校正图案的图像的坐标一致，并且对所有照相机进行每个所述组的所述变换规则的调整。
本公开的其他例子所涉及的照相机的调整方法是对具有车辆周边图像生成部的车载周边图像显示装置进行照相机的变换规则的调整的照相机的调整方法，所述车辆周边图像生成部对搭载于汽车来对该汽车的周围进行拍摄的多个所述照相机拍摄到的各图像，实施遵照对拍摄该图像的每个照相机决定变换规则的投影变换，并在单一的图像空间上进行合成，生成表示从规定的视点观测了上述汽车的周围的样子的车辆周边图像，并且该车辆周边图像生成部与显示该车辆周边图像的显示装置进行通信。照相机的调整方法具有：在以规定的位置关系配置有多个规定的大小以及形状的校正图案的校正用部件被配置于所述汽车的周围、且规定的所述校正图案被配置于规定的照相机的拍摄区域，并且其他的所述校正图案被配置于其他的照相机的拍摄区域的状态下，将能够对规定的所述校正用部件中的2个校正图案个别地进行拍摄的2个调整对象照相机设为1组，并将其中一个调整对象照相机设为临时基准照相机、将另一个照相机设为调整对象照相机，对由所述临时基准照相机拍摄所述校正用部件的规定的所述校正图案而得到的图像，遵照对所述临时基准照相机决定的所述变换规则进行投影变换，来检测临时基准校正图案的图像的坐标的工序；对由所述调整对象照相机拍摄所述校正用部件的其他的所述校正图案而得到的图像，遵照对所述调整对象照相机决定的所述变换规则进行投影变换，来检测调整校正图案的图像的坐标的工序；基于所述调整校正图案的图像的坐标与所述两个校正图案的位置关系，来检测与所述临时基准校正图案对应的临时的临时基准校正图案的图像的坐标，或者，基于所述临时基准校正图案的图像的坐标与所述两个校正图案的位置关系，来检测与所述调整校正图案对应的临时的调整校正图案的图像的坐标的工序；以及调整对所述调整对象照相机决定的所述变换规则，以便所述临时的临时基准校正图案的图像的坐标与所述基准校正图案的图像的坐标一致，或者，所述临时的调整校正图案的图像的坐标与所述调整校正图案的图像的坐标一致的工序，对所有照相机进行每个所述组的所述变换规则的调整。
这样，在本公开的车载周边图像显示装置以及照相机的调整方法中，例如在因电子控制装置的更换等而进行所有的照相机的调整之际，即便在照相机的拍摄范围不重复的情况下，通过将校正图案配置于各拍摄范围，来进行上述的处理，也能够容易地进行调整对象照相机的校正(校准)。
另外，即便在如以往那样，(单一的)校正图案非常小地映现在画面上的情况下，也由于在本公开车载周边图像显示装置以及照相机的调整方法中，通过利用具备被配置于不同的照相机的拍摄范围的不同的校正图案的校正用部件，使得由各照相机检测校正图案的精度提高，所以具有通过进行上述的处理，能够高精度地校正这一效果。
附图说明
图1是表示实施例1的车辆周边图像显示装置的构成的框图。
图2是表示具备图案A以及图案B的校正片的俯视图。
图3是(以从车辆的上方观察的状态)表示实施例1中的校正片的配置的说明图。
图4是表示实施例1的照相机的校准方法的流程图。
图5A是表示对广角照相机的图像进行了失真修正后的状态的说明图。
图5B是图5A的线条画。
图6是表示车辆坐标系与照相机的参数的例子的说明图。
图7是表示实施例1的校准方法中的、Roll、Pitch、Z的更新方法的流程图。
图8是(以从车辆的上方观察的状态)表示实施例2中的校正片的配置的说明图。
图9是表示实施例2的照相机的校准方法的流程图。
图10是(以从车辆的上方观察的状态)表示实施例3中的校正片的配置的说明图。
图11是(以从车辆的上方观察的状态)表示实施例4中的校正片的配置的说明图。
图12A是表示在实施例4中对由左置照相机拍摄到的图像进行了失真修正后的图像的图。
图12B是表示将图12A中的图案A的区域放大了的图像的图。
图12C是表示将图12A中的图案B的区域放大了的图像的图。
图12D是图12A的线图。
图12E是图12B的线图。
图12F是图12C的线图。
图13是(以从车辆的上方观察的状态)表示在实施例5中配置校正片的例子的说明图。
图14是(以从车辆的上方观察的状态)表示实施例6中的校正片的配置的说明图。
图15A是表示实施例6的照相机的校准方法的前一半的流程图。
图15B是表示实施例6的照相机的校准方法的后一半的流程图。
图16是(以从车辆的上方观察的状态)表示虚拟的基准照相机坐标系与车辆坐标系的关系的说明图。
图17A是表示向车辆坐标系变换的方法并(以从车辆的上方观察的状态)表示θ1的求取方法的说明图。
图17B是表示向车辆坐标系变换的方法并(以从车辆的上方观察的状态)表示θ2的求取方法的说明图。
图18A是表示向车辆坐标系变换的方法并(以从车辆的上方观察的状态)表示将虚拟的基准照相机坐标系的原点作为中心使坐标旋转的方法的说明图。
图18B是表示向车辆坐标系变换的方法并(以从车辆的上方观察的状态)表示OFFSET＿X、OFFSET＿Y的求取方法的说明图。
图19A是表示使用图案A来推定图案B的手法的说明图。
图19B是表示使用实施例7的图案A、C来推定图案B的方法的说明图。
具体实施方式
接着，结合附图对本公开的车辆周边图像显示装置1的实施例进行说明。车辆周边图像显示装置1是车载周边图像显示装置的一个例子。
(实施例1)
本实施例的车辆周边图像显示装置1通过调整由搭载于汽车的照相机(车载照相机)拍摄到的图像的投影变换的变换规则，来进行照相机的校准(校正：调整)。
a)首先，基于图1对本实施例的车辆周边图像显示装置1的基本构成进行说明。
如图1所示，本实施例的车辆周边图像显示装置1是被搭载于车辆(汽车)来显示拍摄本车辆的周围而得到的图像的装置，具备：具有周知的微机等的电子控制装置(ECU)3、配置于车辆前部的前置照相机5、配置于车辆左侧的左置照相机7、配置于车辆右侧的右置照相机9、配置于车辆后部的后置照相机11、以及进行图像的显示等的显示装置13。
作为这4台照相机5～11，都使用广角照相机。这是为了将由4台照相机5～11拍摄到的图像变换成投影图像(从本车辆的上方观察本车辆的鸟瞰图图像)，并在单一画面空间上进行合成，成为能够覆盖车辆周边的整周的图像。
其中，前置照相机5被埋设在车辆前部的车宽方向的中心位置，以便能够拍摄车辆的前方。
左置照相机7被埋设在车辆左侧的车辆的长边方向的中心或者比中心靠前方的位置，以便能够拍摄车辆的左侧方。
右置照相机9被埋设在车辆右侧的车辆的长边方向的中心或者比中心靠前方的位置，以便能够拍摄车辆的右侧方。
后置照相机11被埋设在车辆后部的车宽方向的中心位置，以便能够拍摄车辆的后方。
另外，上述ECU3具备电源15、图像输入信号处理部17、输入信号处理部19、图像处理部21、存储器23、以及图像输出信号处理部25。其中，电源15用于对ECU3供电。
图像输入信号处理部17将来自照相机5～11的模拟的拍摄数据分离而取出影像信号，并向图像处理部21输出。
输入信号处理部19处理被输入的换档信息、车速信息、舵角信息、以及来自诊断工具27的信号，将前进或者后退的换档信息、低速或者高速的车速信息、方向盘的转向角的右转弯或左转弯或者转弯角度的信息、以及来自诊断工具的指示向图像处理部21输出。
图像处理部21将影像信号从模拟信号变换成数字信号。另外，需要的信息借助存储器23来执行，如后面详述那样，通过与作为校正用部件的校正片31(图2参照)相关的图像处理求出需要的数据，并将该数据(数字信号)向图像输出信号处理部25输出。
其中，对于校正片31的图像处理将在后面详述，是检测校正片31的一个端部的校正图案A(以下仅记为图案)，并从该图案A的数据检测(与图案A具有规定的被决定的位置关系的)图案B的处理。
另外，上述图像处理部21根据来自输入信号处理部19的信息，例如在低速的情况下，将影像信号变换成顶视图(top view)影像。详细而言，图像处理部21对多个照相机拍摄到的各图像实施遵照对拍摄了该图像的每个照相机规定的变换规则的投影变换，而在单一的图像空间上进行合成，生成表示从规定的视点观测了汽车周围的样子的车辆周边图像。图像处理部21是车辆周边图像生成部以及车辆周边图像生成单元的一个例子。
存储器23保存来自图像处理部21的影像信号、作为图案A、图案B等的特征点的顶点CT(参照图2)的坐标信息等。
图像输出信号处理部25将从图像处理部21输入的影像信号的数字信号变换成模拟信号，并向显示装置13输出。
显示装置13是显示由图像输出信号处理部25输入的影像信号(因此是图像)的例如液晶显示器等显示装置。
其中，上述的输入信号处理部19、图像处理部21例如通过微机的处理来实现。
b)接着，对本实施例1的照相机的校准所采用的校正片31进行说明。
＜校正片31的构成＞
首先，对校正片31的构成进行说明。
如图2所示，校正片31例如是长4700mm×宽900mm×厚5mm的能够卷起的片材，在其长边方向的两端形成有外径为900mm的正方形的(相同形状)图案A与图案B。
作为该校正片31的材料，优选采用难以因温度、湿度的变化而伸缩的材质(例如优选对校正不产生影响的程度的难以伸缩的材质)。具体而言，优选是布，尤其是难以伸缩的化学纤维。
上述图案A、B通过印刷等被着色于校正片31的布等表面。对该图案A、B而言，例如在黑色的正方形(基准标志)的中央设置有一边为500mm的例如白色的正方形的校准标记33、35。即，以包围正方形的白色校准标记33、35的周围的方式，形成有黑色的正方形的框部34、36。
该黑色与白色的对比是为了能够根据图案A、B的图像数据的亮度差(通过周知的图像处理)检测校准标记33、35的4个顶点CT(边缘)。这里，考虑到对比，使图案A、B之间的中间部分37例如为红色。此外，虽然描述了框部34、36是黑色，中间部分37是红色，但也可以统一于任意一方，使两者都为黑色或者红色。
另外，沿着校正片31的轴向的端部、即图案A、B的轴向的外周侧的边(短变)安装有长度950mm的棒状的重物(端部配重)39、41。
该端部配重39、41是配置了校正片31的情况下难以错位的重物。因此，优选端部配重39、41具有不易受到风等的影响的树脂(例如ABS)、金属(例如铁)等的重量。
此外，如果图案A、B是以指定的尺寸被规定的图案，则作为校正片31，也可以不是片状地被喷涂在路面上。
另外，由于求出校准标记33、35的顶点CT即可，所以作为图案A、B，不限定于正方形，能够采用长方形、三角形等多边形。
＜校正片31的配置＞
接着，对校正片31的配置进行说明。
这里，对如图3所示，在前置照相机5的车辆前方的拍摄范围SF(该图用虚线表示的横向长的四边形的范围)与左置照相机7的车辆左侧方的拍摄范围SL(该图用虚线表示的纵向长的四边形的范围)一部分(在该图左上方)重叠的情况下，以遍及拍摄范围SF和拍摄范围SL的方式配置了校正片31的情况进行说明。其中，将两个拍摄范围SF、SL重叠的范围称为重复范围SFL。
详细而言，设置于校正片31的一端的图案A被配置在(重复范围SFL以外的)拍摄范围SF，设置于校正片31的另一端的图案B被配置在(重复范围SFL以外的)拍摄范围SL。
c)接着，对本实施例1的校准方法进行说明。
其中，例如根据来自诊断工具27的信号来设定将哪个照相机设为基准照相机(即不需要校准的正确的位置、朝向的照相机)、将哪个照相机设为调整对象的照相机(即因位置、朝向的偏移或者更换等而需要校准的照相机)。该调整的内容是指调整照相机的投影变换的变换规则(参数)。这里，举例说明将左置照相机7设为基准照相机，并将前置照相机5设为调整对象照相机的情况。
校准的实施例如根据来自诊断工具27的信号而开始。即，接收来自诊断工具27的信号，在相当于调整部以及调整单元的一例的ECU3(例如图像处理部21)中，如以下所示那样，执行调整变换规则的校准处理程序。
如图4所示，若根据来自诊断工具27的信号而开始校准处理程序，则首先在步骤100，取得基准照相机与调整对象照相机的信息。
在接下来的步骤110中，基于作为调整对象照相机的前置照相机5实施拍摄(摄像)。由此，得到包括作为校正图案的图案A的前置照相机5的拍摄范围SF的图像数据。其中，该拍摄数据被输入至图像输入信号处理部17。
接着在步骤120中，对由前置照相机5拍摄到的拍摄区域SF的图像进行图像处理，如以下所示那样，检测图案A(详细而言，检测作为与实际的图案A对应的图像的图案A)。
此外，虽然通过该图像处理得到的图像是调整校正图案GA，但以下使用实际的图案A、B来表示作为图像数据的各图案GA、GB(其他的图案也是同样的)。
即，由图像输入信号处理部17将被输入的模拟信号分离并取出影像信号(包含亮度的信息的信号)，接着，在由图像处理部21将影像信号从模拟信号变换成数字信号之后，检测图案A。
具体而言，首先使用被数字化的影像信号，来对拍摄到的图像进行周知的失真修正。
即，由于拍摄到的图像是由广角镜头拍摄的图像，所以图像中存在失真(参照图5A、图5B的上部)，例如由于虽然是直线但被显示成弯曲，所以对该失真进行修正(因此，直线被修正成笔直的直线：参照图5A、图5B的下部)。其中，由于该失真修正是周知的，所示省略说明。
在失真修正后，比较影像信号的亮度，根据亮度差(根据直线的交叉部分)检测与图案A的顶点CT对应的边缘。即，在被检测到的边缘中，找到与被图案A的黑色框状的区域包围的内侧的白色图形(校准标记35)的边缘(角)对应的边缘，将其检测为与图案A对应的4个顶点CT。然后，4个顶点CT(坐标)的检测结果被存储于存储器23。
其中，在该阶段中，由于图像仅被进行了失真修正，所以通常图案A的形状并非正方形，而是例如梯形等那样的四边形。
接着在步骤130中，由图像处理部21基于存储于存储器23的图案A的图像数据，来检索(计算)作为前置照相机5的变换规则的参数，并进行修正。
具体而言，检索(计算)前置照相机5的参数X、Y、Z、Roll(旋转)、Pitch(俯仰)、Yaw(偏航)中的、Roll、Pitch、Z并进行修正，以便图案A的形状和大小为正方形并且1边为500mm。
这里，通过决定Roll和Pitch来确定图形的形状，通过决定Z来确定图形的大小。
其中，在图6中表示了车辆坐标系(即将车辆的前端中央正下方的地面的点作为基准(原点)的坐标系)，X表示X轴向(车辆的前后方向：前方为+)上的距离，Y表示Y轴向(车辆的左右方向：左侧为+)上的距离，Z表示Z轴向(垂直方向：上方为+)上的距离。例如，车辆坐标系中的左置照相机7的各参数如图6所示。
这里，基于图7，说明Roll、Pitch、Z的计算方法。
首先，在图7的步骤200中，进行Roll、Pitch、Z的更新处理。
例如将各参数的范围分成微小范围(微小值)，并逐个微小值地依次更新各参数。
例如，若Roll可取的范围以基准值作为中心为－3°～+3°的范围，则以0.1°的刻度依次变更Roll的值。其中，对Pitch、Z也是同样的。
在接下来的步骤210中，使用这些参数(即依次变更后的Roll、Pitch、Z、以及未变更的X、Y、Yaw)，根据图像数据求出投影图像(鸟瞰图图像：顶视图)。其中，由于使用各参数来求出投影图像的方法是周知的，所以省略说明。
在接下来的步骤220中，判定投影图像中的图案A(详细而言为校准标记35)的正方形相似度。即，根据图案A的内侧的校准标记35的4个顶点CT的坐标，求出最近似正方形的图形(与1边为500mm的正方形的图像最近似的图像)。
例如求出正确的正方形的顶点的坐标与上述投影图像中的四边形的顶点的坐标，将对应的顶点间的距离的合计值为最小的图形作为最近似正方形的图形。其中，该方法是例如日本专利第4555876号公报(参照图7)所记载那样周知的方法。
然后，一边如上述那样更新参数的值、一边重复上述步骤200～220的处理，来求出最近似正方形的图形，将求取该图形时使用的参数决定为前置照相机5的正确的Roll、Pitch、Z的参数的值而存储于存储器23。
另外，将上述那样求出的图案A的最近似正方形的图形中的校准标记35的顶点CT的坐标存储于存储器23。
接着，返回到上述图4，在步骤130中，根据存储于存储器23的图案A的校准标记35的最近似正方形的图形的顶点CT的坐标，求出临时的图案B’的校准标记33的顶点CT的坐标。
即，由于知晓校正片31的各尺寸，所以根据上述图案A的顶点CT的坐标与校正片31的各尺寸，能够求出临时的图案B’的顶点CT的坐标。
下面，为了方便说明，对计算出的临时的图案，在图案的英文字后添加“’”。
在接下来的步骤150中，由作为不需要调整变换规则的基准照相机的左置照相机7拍摄图案B。
在接下来的步骤160中，图案B的拍摄数据被输入至图像输入信号处理部17，接着，通过图像处理部21，与上述图案A的检测同样地检测出图案B。其中，通过该图像处理得到的图像如上述那样是与实际的图案B对应的基准校正图案GB。
具体而言，由于图案B是正方形，所以检测正方形的图案B的校准标记33的4个顶点CT。
其中，由该基准照相机得到的图像数据(按照正确的变换规则)被变换而得到的投影图像的坐标数据是车辆坐标系中的坐标数据。
在接下来的步骤170中，使用临时的图案B’与图案B的图像数据，使临时的图案B’接近于图案B、即使临时的图案B’与图案B的各校准标记的各顶点CT对应，以使临时的图案B’与图案B的对应的各顶点CT接近，来检索(计算)前置照相机5的参数并进行修正，以便位置误差为最小。
即，通过调整临时的图案B’的朝向和位置，来检索(计算)参数X、Y、Z、Roll、Pitch、Yaw中的Yaw、X、Y并进行修正，以便位置误差(即对应的各顶点CT间的距离的合计)为最小。
另外，计算Yaw、X、Y的方法与上述图7所示的Z、Roll、Pitch的计算方法相同。
这里，通过决定Yaw、X、Y，能够设定图形在平面中的位置与旋转角度。
其中，由于使对应的2个图形间的位置误差最小的方法是周知的，所以不做说明，例如在日本专利第4555876号公报等中有详细的说明。
在接下来的步骤180中，将前置照相机5的检索(计算)后的各参数X、Y、Z、Roll、Pitch、Yaw存储于存储器23，并暂且结束本处理。
因此，能够确认使用前置照相机5的调整后的参数正确地进行了调整。
具体而言，首先由前置照相机5、左置照相机7、右置照相机9、后置照相机11拍摄到的影像被输入至图像输入信号处理部17。接着，通过图像处理部21将由4个照相机拍摄到的图像变换成投影图像，并在单一画面空间(车辆坐标系的空间)上进行合成。接着，该投影图像数据在由图像输出信号处理部25恢复为模拟信号后被输出而显示在显示装置13，由此能够确认图像。
其中，在ECU3内的处理中，需要的信息被保存在存储器23，并经由存储器23由图像处理部21依次执行。
其中，能够根据对输入信号处理部19输入的换档、车速、舵角，来决定成为从哪个视点注视空间的画面。例如，是在低速时切换成顶视图画面(即、从车辆的上方观察车辆的周围那样的鸟瞰图图像)这一情况。
d)接着，对本实施例的效果进行说明。
这样，在本实施例1中，使用具备2个图案A以及图案B的校正片31，将图案A配置在作为调整对象照相机的前置照相机5的拍摄范围SF，将图案B配置在作为基准照相机的左置照相机7的拍摄范围SL。此时，两个图案A、B不配置在两个照相机5、7的重复范围SFL。
然后，通过在该状态下进行上述的校准，能够进行作为调整对象照相机的前置照相机5的调整。
例如，在图3的位置关系中存在作为校正图案的图案A、图案B，当基准照相机是左置照相机7、调整对象照相机是前置照相机5时，能够用基准照相机的左置照相机7拍摄图案B，但不能用调整对象照相机的前置照相机5进行拍摄。
但是，由于能够用前置照相机5拍摄图案A，并且，图案A和图案B的位置关系是已知的，所以能够根据图案A计算出(作为图案B的预测位置)临时的图案B’。因此，通过使临时的图案B’的坐标与图案B的坐标一致，能够设定前置照相机5的参数(即变更变换规则)。
这样，在本实施例1中，即便在照相机5、7的拍摄范围不重复的情况下，通过将图案A、B配置在各拍摄范围SF、SL，来进行上述的处理，也能够容易地进行作为调整对象照相机的前置照相机5的校准(校正)。
另外，即便在如以往那样(单一的)图案A(或者B)非常小地映现在画面上的情况下，也在本实施例1中，由于通过使用具备在不同的照相机5、7的拍摄范围SF、SL配置的不同的图案A、B的校正片31，其中图案A、B配置于，使得由各照相机5、7检测图案A、B的精度提高，所以通过进行上述的处理，具有能够高精度校正这一效果。
另外，在本实施例1中，由于校正片31是长条(长方形)的部件，并在其长边方向的两端部形成有图案A、B，所以即便在各照相机的拍摄范围分离的情况下，也能够容易地将各图案A、B配置在各拍摄范围。
并且，在本实施例中，由于校正片31由即使湿度、温度变化伸缩性也几乎不变化的材料的布(纤维)构成，所以即便环境变化，也能够总是高精度地进行校正。
另外，由于校正片31可卷成卷轴状，所以具有保管不受场所限制、使用方便这一优点。
并且，由于在校正片31的长边方向的两端(比图案A、B靠外侧)带有棒状的重物、即端部配重39、41，所以能够稳定地配置校正片31。
其中，作为重物的材料，能够使用树脂(例如ABS)或金属(例如铁)。
(实施例2)
接着，对实施例2进行说明，但省略或者简化与上述实施例1同样的内容的说明。其中，各构成的编号使用与实施例1相同的编号(以下，其他的实施例也同样)。
在上述实施例1中，根据图案A计算出图案B的坐标，但在本实施例2中，如图8所示，根据图案B计算出图案A的坐标。
其中，基准照相机(左置照相机7)、调整对象照相机(前置照相机5)、校正片31的形状及其配置与上述实施例1是同样的。
如图9所示，在本实施例2中，在步骤300中基于来自诊断工具27的信号，来取得基准照相机与调整对象照相机的信息。
在接下来的步骤310中，基于作为调整对象照相机的前置照相机5实施拍摄。
在接下来的步骤320中，与上述实施例1的步骤120同样地检测图案A。
在接下来的步骤330中，与上述实施例1的步骤130同样地基于图案A检索(计算)前置照相机5的参数并进行修正。具体而言，检索(计算)图案A(详细而言为其校准标记35)的形状和大小为正方形且1边为500mm那样的参数X、Y、Z、Roll、Pitch、Yaw中的、Roll、Pitch、Z并进行修正。
在接下来的步骤340中，由(不需要调整变换规则的)作为基准照相机的左置照相机7拍摄图案B。
在接下来的步骤350中，根据拍摄到的图像来检测图案B。具体而言，由于图案B是正方形，所以检测其校准标记33的正方形的4个顶点CT。
在接下来的步骤360中，由于知道校正片31的尺寸，所以根据图案B(详细而言为其校准标记33)的4个顶点CT的坐标，来计算与图案A(详细而言为其校准标记35)的4个顶点CT的坐标对应的临时的图案A’(详细而言为其校准标记)的坐标。
在接下来的步骤370中，使临时的图案A’接近于图案A(详细而言，使各校准标记接近)，检索(计算)前置照相机5的参数并进行修正，以使位置误差为最小。具体而言，通过调整临时的图案A’的朝向和位置，使图案A’接近于图案A，检索(计算)参数X、Y、Z、Roll、Pitch、Yaw中的、Yaw、X、Y并进行修正，以使位置误差为最小。
在接下来的步骤380中，最后将前置照相机5的检索(计算)后的参数X、Y、Z、Roll、Pitch、Yaw存储于存储器23，暂且结束本处理。
在本实施例2中，也起到与上述实施例1同样的效果。
(实施例3)
接着，对实施例3进行说明，但省略或者简化与上述实施例1同样的内容的说明。
在本实施例3中，对如图10所示，变换规则的调整对象照相机的拍摄范围与不需要调整的基准照相机的拍摄范围不邻接而远离，以将该不重复的各拍摄范围连接的方式配置校正片31的情况进行说明。其中，这里调整对象照相机是前置照相机5，基准照相机是后置照相机11。
以下，对本实施例3的校准方法依次进行说明。
首先，如图10所示，将校正片31配置在地上。具体而言，将校正片31的图案A配置在前置照相机5的拍摄范围SF，并且将图案B配置在后置照相机11的拍摄范围SB。
接着，与实施例1同样地由前置照相机5对校正片31的图案A进行拍摄。
接着，与实施例1同样地从拍摄到的图像中检测图案A。即，检测图案A的校准标记35的顶点CT。
接着，与实施例1同样地基于图案A检索(计算)前置照相机5的参数并进行修正。具体而言，检索(计算)参数X、Y、Z、Roll、Pitch、Yaw中的、Roll、Pitch、Z并进行修正，以便图案A(详细而言为其校准标记35)的形状和大小为正方形且1边为500mm。
接着，与实施例1同样地利用校正片31的各尺寸，根据图案A(详细而言为其校准标记35)的4个顶点CT的坐标，计算与图案B(详细而言为其校准标记33)对应的临时的图案B’(详细而言为其校准标记)。
接着，与实施例1同样地由作为基准照相机的后置照相机11拍摄图案B。
接着，与实施例1同样地从拍摄到的图像中检测图案B。即，由于图案B(以及校准标记33)是正方形，所以检测校准标记35的正方形的4个顶点CT。
接着，与实施例1同样地使临时的图案B’接近于图案B(详细而言，使各校准标记接近)，检索(计算)前置照相机5的参数并进行修正，以便位置误差为最小。
具体而言，通过调整图案B’(详细而言为其校准标记)的朝向和位置，使图案B’接近于图案B(详细而言为其校准标记)，检索(计算)参数X、Y、Z、Roll、Pitch、Yaw中的、Yaw、X、Y并进行修正，以便位置误差为最小。
接着，存储前置照相机5的检索(计算)后的参数X、Y、Z、Roll、Pitch、Yaw。
因此，在本实施例3中，也起到与上述实施例1同样的效果。
尤其在本实施例3中，具有即便在没有侧面照相机7、9的情况下，也能够进行前置照相机5、后置照相机11的调整这一优点。即，即便在拍摄范围不重复而分离的情况下，也能够容易地进行调整。
(实施例4)
接着，对实施例4进行说明，省略或者简化与上述实施例1同样的内容的说明。
在本实施例4中，如图11所示，变换规则的调整对象照相机的拍摄范围与不需要调整的基准照相机的拍摄范围一部分重叠。其中，这里调整对象照相机是左置照相机7，基准照相机是后置照相机11。
尤其在图11所示那样的位置的左置照相机7中，由于在图像上图案B如在图12A以及图12D中表示失真修正后的图像那样非常小地映现，另外，如图12B以及图12E所示，即使进行失真修正也影像模糊，所以不能够高精度地检测顶点CT，但在本实施例4中，通过以下描述的方法来高精度地检测顶点CT。
其中，如后述那样，在本实施例4中，由于如图12C以及图12F所示，图案A具有足够的大小，映现清楚的图像，并且校正片31的尺寸是已知的，所以能够根据图案A的位置来计算图案B的位置。
以下，对本实施例4的校准方法依次进行说明。
首先，如上述图11所示，将校正片31配置在地上。具体而言，将校正片31的图案A配置在左置照相机7的拍摄范围SL，并且将图案B配置在后置照相机11的拍摄范围SB。其中，图案A不进入左置照相机7的拍摄范围SL与后置照相机11的拍摄范围SB的重复范围SLB，另一方面，图案B进入重复范围SLB。
接着，(虽然照相机不同但)与实施例1同样地由左置照相机7对校正片31的图案A进行拍摄。
接着，与实施例1同样地从拍摄到的图像中检测图案A。即，检测图案A的校准标记35的顶点CT。
接着，与实施例1同样地检索(计算)左置照相机7的参数并进行修正。具体而言，检索(计算)参数X、Y、Z、Roll、Pitch、Yaw中的、Roll、Pitch、Z并进行修正，以便图案A(详细而言为其校准标记35)的形状和大小为正方形且1边为500mm。
接着，与实施例1同样地利用校正片31的各尺寸，根据图案A(详细而言为其校准标记35)的4个顶点CT的坐标，计算出与图案B(详细而言为其校准标记33)对应的图案B’(详细而言为其校准标记)。
接着，与实施例1同样地由作为基准照相机的后置照相机11拍摄图案B。
接着，与实施例1同样地从拍摄到的图像中检测图案B。即，由于图案B(以及校准标记33)是正方形，所以检测校准标记35的正方形的4个顶点CT。
接着，与实施例1同样地使图案B’接近于图案B(详细而言，使各校准标记接近)，检索(计算)左置照相机7的参数并进行修正，以便位置误差为最小。
具体而言，通过调整图案B’(详细而言，其校准标记)的朝向和位置，使得图案B’接近于图案B(详细而言，其校准标记33)，检索(计算)参数X、Y、Z、Roll、Pitch、Yaw中的、Yaw、X、Y并进行修正，以便位置误差为最小。
接着，存储左置照相机7的检索(计算)后的参数X、Y、Z、Roll、Pitch、Yaw。
因此，在本实施例4中，也能够与上述实施例1同样地良好进行作为调整对象照相机的左置照相机7的校准。
尤其在本实施例4中，由于即便在由左置照相机7拍摄到的图案B的精度较差的情况下，图案A具有足够的大小，映现清楚的图像，并且校正片31的尺寸是已知的，所以也具有能够根据图案A的位置来计算图案B的位置这一优点。
其中，在本实施例4中，将图案B配置在左置照相机7与后置照相机11的重复范围SLB，但也可以将图案B配置在后置照相机11的非重复的拍摄范围SB而与上述实施例1同样地进行校准。
(实施例5)
接着，对实施例5进行说明，省略或者简化与上述实施例1同样的内容的说明。
本实施例如图13所示，对例如通过变更1个校正片31的位置等来进行1～3台照相机的校准的方法集中进行说明。
a)首先，对调整对象照相机是前置照相机5的情况下的校正片31的配置例进行说明。其中，其他的照相机是基准照相机。
如图13的前栏的左图所示，在前置照相机5以及左置照相机7的拍摄范围不重复的地方，将图案A配置在前置照相机5的拍摄范围，并且将图案B配置在左置照相机7的拍摄范围。
或者，如图13的前栏的右图所示，在前置照相机5以及右置照相机9的拍摄范围不重复的地方，将图案A配置在前置照相机5的拍摄范围，并且将图案B配置在右置照相机9的拍摄范围。
然后，与上述实施例1同样地利用图案A和图案B的数据，来进行校准。
b)接着，对调整对象照相机是后置照相机11的情况下的校正片31的配置例进行说明。其中，其他的照相机是基准照相机。
如图13的后栏的左图所示，在左置照相机7以及后置照相机7的拍摄范围不重复的地方，将图案B配置在左置照相机7的拍摄范围，并且将图案A配置在后置照相机11的拍摄范围。
或者，如图13的后栏的右图所示，在右置照相机9以及后置照相机11的拍摄范围不重复的地方，将图案B配置在右置照相机9的拍摄范围，并且将图案A配置在后置照相机11的拍摄范围。
然后，与上述实施例1同样地利用图案A与图案B的数据，来进行校准。
c)接着，对调整对象照相机是左置照相机7的情况下的校正片31的配置例进行说明。其中，其他的照相机是基准照相机。
如图13的左栏的左图所示，在前置照相机5以及左置照相机7的拍摄范围不重复的地方，将图案B配置在前置照相机5的拍摄范围，并且将图案A配置在左置照相机7的拍摄范围。
或者，如图13的左栏的右图所示，在左置照相机7以及后置照相机11的拍摄范围不重复的地方，将图案A配置在左置照相机7的拍摄范围，并且将图案B配置在后置照相机11的拍摄范围。
然后，与上述实施例1同样地利用图案A和图案B的数据，来进行校准。
d)接着，对调整对象照相机是右置照相机9的情况下的校正片31的配置例进行说明。其中，其他的照相机是基准照相机。
如图13的右栏的左图所示，在前置照相机5以及右置照相机9的拍摄范围不重复的地方，将图案B配置在前置照相机5的拍摄范围，并且将图案A配置在右置照相机9的拍摄范围。
或者，如图13的右栏的右图所示，在右置照相机9以及后置照相机11的拍摄范围不重复的地方，将图案A配置在右置照相机9的拍摄范围，并且将图案B配置在后置照相机11的拍摄范围。
然后，与上述实施例1同样地利用图案A和图案B的数据，来进行校准。
e)另外，在调整对象照相机有2台的情况下，能够使用与各调整对象照相机相邻的基准照相机，与上述实施例1同样地进行各调整对象照相机的校准。
f)并且，在调整对象照相机有3台的情况下，能够使用1台基准照相机，与上述实施例1同样地依次进行各调整对象照相机的校准。
例如在基准照相机是前置照相机5，调整对象照相机是左置照相机7、右置照相机9、后置照相机11的情况下，例如首先使用前置照相机5来进行左置照相机7的校准。由此，左置照相机7成为基准照相机。
接着，使用成为基准照相机的左置照相机7来进行后置照相机11的校准。
接着，使用成为基准照相机的后置照相机11来进行右置照相机9的校准。
这样，能够进行3台调整对象照相机的校准。
(实施例6)
接着，对实施例6进行说明，省略或者简化与上述实施例1同样的内容的说明。
在本实施例6中，对如更换了所有4台照相机的情况或者更换了ECU3的情况那样所有的照相机是(需要调整投影变换的变换规则的)调整对象照相机时的校准方法进行说明。
a)首先，对校正片31的配置方法进行说明。
在本实施例6中，如图14所示，配置4个校正片31(第一～第四校正片31a～31d)。
其中，在配置4个校正片31时，各校正图案A～H不会从各照相机5～11的光轴过过度离开而导致影像模糊。
首先(第一次)，在前置照相机5以及左置照相机7的拍摄范围SF、SL不重复的地方、且仅在前置照相机5的拍摄范围SF(即，不是其他照相机的拍摄范围的范围)配置第一校正片31a的图案A，另一方面，在前置照相机5以及左置照相机7的拍摄范围SF、SL不重复的地方、且仅在左置照相机7的拍摄范围SL配置第一校正片31a的图案B。
接着(第二次)，在左置照相机7以及后置照相机11的拍摄范围SL、SB不重复的地方、且仅在左置照相机7的拍摄范围SL配置第二校正片31b的(与图案A同样的)图案C，另一方面，在左置照相机7以及后置照相机11的拍摄范围SL、SB不重复的地方、且仅在后置照相机11拍摄范围SB配置第二校正片31b的(与图案B同样的)图案D。
接着(第三次)，在后置照相机11以及右置照相机9的拍摄范围SB、SR不重复的地方、且仅在后置照相机11的拍摄范围SB配置第三校正片31c的(与图案A同样的)图案E，另一方面，在后置照相机11以及右置照相机9的拍摄范围SB、SR不重复的地方、且仅在右置照相机9的拍摄范围SR配置第三校正片31c的(与图案B同样的)图案F。
最后(第四次)，在右置照相机9以及前置照相机5的拍摄范围SR、SF不重复的地方、且仅在右置照相机9的拍摄范围SR配置第四校正片31d的(与图案A同样的)图案G，另一方面，在右置照相机9以及前置照相机5的拍摄范围SR、SF不重复的地方、且仅在前置照相机5的拍摄范围SF配置第四校正片31d的(与图案B同样的)图案H。
其中，在本实施例6中，为了方便起见以上述的顺序配置了各校正片31，但并不限制于该顺序。
b)接着，对本实施例6的校准方法进行说明。
其中，虽然进行拍摄的顺序不受限制，但这里对按照前置照相机5、左置照相机7、后置照相机11、右置照相机9的顺序拍摄的情况进行说明。
如图15A以及图15B所示，首先在步骤400中，根据来自诊断工具27的信号，接收进行所有4台照相机5～11的校准的指令。
在接下来的步骤410中，由前置照相机5对第一校正片31a的图案A与第四校正片31d的图案H进行拍摄。
在接下来的步骤420中，与上述实施例1同样地从拍摄到的图像中检测图案A和图案H。
在接下来的步骤430中，与上述实施例1同样地基于图案A和图案H，检索(计算)前置照相机5的参数并进行修正。
具体而言，检索(计算)参数X、Y、Z、Roll、Pitch、Yaw中的、Roll、Pitch、Z并进行修正，以使图案A以及图案H(详细而言为它们的校准图案)的形状和大小是正方形并且1边是500mm。
在接下来的步骤440中，由于知道第一校正片31a以及第四校正片31d的尺寸，所以根据图案A以及图案H(详细而言为它们的校准图案)的正方形的4个顶点的坐标计算与图案B以及图案G(详细而言为它们的校准图案)的正方形的4个顶点对应的坐标，分别作为临时的图案B’以及临时的图案G’(详细而言为它们的校准图案)。
在接下来的步骤450中，由左置照相机7拍摄图案B和图案C。
在接下来的步骤460中，与上述步骤420同样地检测图案B和图案。
在接下来的步骤470中，与上述步骤430同样地基于图案B和图案C，检索(计算)左置照相机7的参数并进行修正。
具体而言，检索(计算)参数X、Y、Z、Roll、Pitch、Yaw中的、Roll、Pitch、Z并进行修正，以便图案B以及图案C(详细而言为它们的校准图案)的形状和大小是正方形并且1边是500mm。
在接下来的步骤480中，由于知道第一校正片31a以及第二校正片31b的尺寸，所以根据图案B以及图案C(详细而言为它们的校准图案)的正方形的4个顶点的坐标来计算与图案A以及图案D(详细而言为它们的校准图案)的正方形的4个顶点对应的坐标，分别作为临时的图案A’以及临时的图案D’(详细而言为它们的校准图案)。
在接下来的步骤490中，由后置照相机11拍摄图案D和图案E。
在接下来的步骤500中，与上述步骤420同样地检测图案D和图案E。
在接下来的步骤510中，基于图案D和图案E来检索(计算)后置照相机11的参数并进行修正。
具体而言，检索(计算)参数X、Y、Z、Roll、Pitch、Yaw中的、Roll、Pitch、Z并进行修正，以便图案D以及图案E(详细而言为它们的校准图案)的形状和大小是正方形并且一边为500mm。
在接下来的步骤520中，由于知道第二校正片31b以及第三校正片31c的尺寸，所以根据图案D以及图案E(详细而言为它们的校准图案)的正方形的4个顶点的坐标，计算与图案C以及图案F(详细而言为它们的校准图案)的正方形的4个顶点对应的坐标，分别作为图案C’以及图案F’(详细而言为它们的校准图案)。
在接下来的步骤530中，由右置照相机9拍摄图案F和图案G。
在接下来的步骤540中，与上述步骤420同样地检测图案F和图案G。
在接下来的步骤550中，基于图案F和图案G来检索(计算)右置照相机9的参数并进行修正。
具体而言，检索(计算)参数X、Y、Z、Roll、Pitch、Yaw中的、Roll、Pitch、Z并进行修正，以便图案F以及图案G(详细而言为它们的校准图案)的形状和大小是正方形并且1边为500mm。
在接下来的步骤560中，由于知道第三校正片31c以及第四校正片31d的尺寸，所以根据图案F以及图案G(详细而言为它们的校准图案)的正方形的4个顶点的坐标，计算与图案E以及图案H(详细而言为它们的校准图案)的正方形的4个顶点对应的坐标，分别作为图案E’以及图案H’(详细而言为它们的校准图案)。
其中，在本实施例6中，按每2个图案地计算出正方形的4个顶点的坐标，但也可以按每1个图案求取。
在接下来的步骤570中，使图案A’、图案B’、图案C’、图案D’、图案E’、图案F’、图案G’、图案H’(详细而言为它们的校准图案)分别接近于图案A、图案B、图案C、图案D、图案E、图案F、图案G、图案H(详细而言为它们的校准图案)，检索(计算)前置照相机5、左置照相机7、右置照相机9、后置照相机11的参数并进行修正，以便位置误差为最小。
具体而言，通过与上述实施例1同样地调整图案A’、图案B’、图案C’、图案D’、图案E’、图案F’、图案G’、图案H’(详细而言为它们的校准图案)的朝向和位置，来使图案A’、图案B’、图案C’、图案D’、图案E’、图案F’、图案G’、图案H’分别接近于图案A、图案B、图案C、图案D、图案E、图案F、图案G、图案H(详细而言为它们的校准图案)，检索(计算)各照相机5～11的参数X、Y、Z、Roll、Pitch、Yaw中的、Yaw、X、Y并进行修正，以便位置误差为最小。
这里，修正的顺序例如能够如下述那样进行。
其中，基本上如上述实施例1(或者实施例2)那样，依次反复执行使用1个校正片31来进行相邻的照相机的调整的处理。其中，例如可以如实施例1那样使临时调整校正图案(例如图案B’)的坐标与调整校正图案(例如图案B)的坐标一致，也可以如实施例2那样，使临时的临时基准校正图案(例如图案A’)的坐标与临时基准校正图案(例如图案A)的坐标一致。
另外，以下针对各图案，有时省略“详细而言为它们的校准图案”的说明。
具体而言，首先将前置照相机5设为临时基准照相机，通过使根据图案B计算出的图案A’接近于图案A，位置误差为最小，由此检索(计算)左置照相机7的Yaw、X、Y并进行修正。
接着，将左置照相机7设为临时基准照相机，通过使根据图案D计算出的图案C’接近于图案C，位置误差为最小，由此检索(计算)后置照相机11的Yaw、X、Y并进行修正。
接着，将后置照相机11设为临时基准照相机，通过使根据图案F计算出的图案E’接近于图案E，位置误差为最小，由此检索(计算)右置照相机9的Yaw、X、Y并进行修正。
最后，将右置照相机9设为临时基准照相机，通过使根据图案H计算出的图案G’接近于图案G，位置误差为最小，由此检索(计算)前置照相机5的Yaw、X、Y并进行修正。
以上，通过反复执行检索(计算)从左置照相机7到前置照相机5的全部4个照相机5～11的Yaw、X、Y并进行修正的循环，调整图案A～图案H的朝向和位置，进一步使位置误差为最小，由此检索(计算)各照相机5～11的Yaw、X、Y并进行修正。
其中，修正的顺序只是1个实施例，并不受该顺序限制。
最后，在步骤580中，将前置照相机5、左置照相机7、右置照相机9、后置照相机11的检索(计算)后的参数X、Y、Z、Roll、Pitch、Yaw存储于存储器23，并暂且结束本处理。
c)接着，对之后的处理(后处理)进行说明。
该后处理是用于将4台照相机5～11的坐标系变换成车辆坐标系的处理。
即，由于上述的步骤400～580中所示的处理是以临时的基准照相机(例如前置照相机5)为基准的参数调整的处理，所以若该调整的处理结束，则以临时的基准照相机作为基准可知4个照相机5～11的位置关系。即，知道图16所示那样的临时的基准照相机坐标系中的坐标等的参数。但是，由于在校准中想要求取的是车辆坐标系中的参数而不是以临时的基准照相机作为基准的值，所以需要向车辆坐标系变换。
因此，以下如步骤1～3所示，逐步对作为该后处理的向车辆坐标系变换的处理进行说明。
＜步骤1＞
首先，如图17A所示，使用照相机位置(例如前置照相机5和后置照相机11的位置)的设计值(x1、y1)、(x2、y2)，来求出车辆坐标系中的前后的照相机5、11所成的角θ1。其中，这里由虚线表示的线是表示(通过照相机11的位置的)车辆的前后方向的线。
接着，如图17B(表示临时的基准照相机坐标系)所示那样，使用临时的基准照相机坐标系中的前后的照相机5、11的位置(x1’、y1’)、(x2’、y2’)，来求出临时的基准照相机坐标系中的前后照相机5、11所成的角θ2。其中，这里由虚线表示的线是照相机5的光轴的线。
接着，根据下述公式(1)来求取旋转角R。
R＝θ1－θ2···(1)
＜步骤2＞
接着，如图18A(表示临时的基准照相机坐标系)所示那样，使用根据上述公式(1)而求出的旋转角R，以临时的基准照相机坐标系的原点作为基准，使(x2’、y2’)旋转，将旋转后的坐标设为(x2”、y2”)。
接着，如图18B(将车辆坐标系和临时的基准照相机坐标系重叠)所示那样，若将(x1、y1)、(x2、y2)的中点设为M，并将(x1’、y1’)、(x2”、y2”)的中点设为M’，则求出M、M’的X方向的距离与Y方向的距离，并分别设为OFFSET＿X、OFFSET＿Y。
＜步骤3＞
接着，将在步骤1、2中求出的旋转角R、OFFSET＿X、OFFSET＿Y分别与以临时的基准照相机为基准的各照相机5～11的Yaw、X、Y的值相加。由此，向车辆坐标系的变换完成。
如以上详述那样，在本实施例6中，即便在将4台照相机5～11全部更换的情况下、或更换ECU3的情况下，也能够进行全部的照相机5～11的校准。
(实施例7)
接着，对实施例7进行说明，省略或者简化与上述实施例1同样的内容的说明。
本实施例7是利用在1个校正片设置有3个图案A、B、C(因此为各校准标记)的校正片来进行校准的实施例。
如图19A所示，作为根据图案A来推定图案B的方法，存在一种通过利用图案A的校准标记的4个顶点CT，来求出2条直线L1、L2，并沿着该方向前进既定距离，由此求取图案B的校准标记的顶点CT这一方法(实施例1也是同样的手法)。
此时，直线L1、L2的精度依赖于图案A(因此为其校准标记的顶点CT)的精度。
与此相对，在本实施例7中，如图19B所示，利用沿着长边方向设置有图案A、(与图案A同样的形状的)图案C、图案B的校正片。
其中，图案C是沿着校正片31的长边方向将图案A向图案B侧平行移动了的图形，其位置例如是图案A与图案B的中间。
即，通过不仅利用图案A还利用图案C(详细而言为各校准标记の顶点CT)，能够使直线L1、L2的精度提高。结果，能够使图案B的推定精度进一步提高。
其中，作为求取直线L1、L2的方法，可以利用相对于直线L1(或者直线L2)使分别对应的图案A以及图案C的校准标记的顶点CT的距离最小的周知的最小二乘法等。
此外，本公开的实施方式并不限定于上述的各实施方式，当然可以具有各种方式的实施方式。
例如在上述各实施例中，例如可以将1个构成要素所具有的功能分散于多个构成要素，或者将多个构成要素所具有的功能合并于1个构成要素。另外，也可以将实施例的构成的至少一部分置换成具有同样功能的公知的构成。并且，也可以对其他的实施例的构成添加、置换等实施例的构成的至少一部分。
作为上述校正片，除了能够卷起的校正片以外，还可以使用例如板状等不能卷起的校正用部件、或能够折弯的板状等校正用部件。
关于上述校正片的颜色，如果能够进行上述的校准，则没有特别限定。
对于端部配重，如果能够进行上述的校准，则也可以省略。
本公开的一例所涉及的车载周边图像显示装置是被搭载于汽车的车载周边图像显示装置，具有车辆周边图像生成部和调整部。车辆周边图像生成部针对搭载于汽车来对该汽车的周围进行拍摄的多个照相机所拍摄到的各图像，实施遵照对拍摄该图像的每个照相机决定的变换规则的投影变换，并在单一的图像空间上进行合成，生成表示从规定的视点观测上述汽车的周围的样子的车辆周边图像。车辆周边图像生成部与显示该车辆周边图像的显示装置进行通信。调整部调整对上述每个照相机决定的上述变换规则。在多个规定的大小以及形状的校正图案以规定的位置关系配置的校正用部件被配置于上述汽车的周围、且规定的上述校正图案被配置于成为上述变换规则的调整的基准的基准照相机的拍摄区域，并且其他的上述校正图案被配置于成为上述变换规则的调整的对象的调整对象照相机的拍摄区域的状态下，上述调整部对由上述基准照相机拍摄上述校正用部件的规定的上述校正图案而得到的图像遵照对上述基准照相机决定的上述变换规则进行投影变换，来检测基准校正图案的图像的坐标；对由上述调整对象照相机拍摄上述校正用部件的其他的上述校正图案而得到的图像遵照对上述调整对象照相机决定的上述变换规则进行投影变换，来检测调整校正图案的图像的坐标；基于该调整校正图案的图像的坐标与上述两个校正图案的位置关系，来检测与上述基准校正图案对应的临时的基准校正图案的图像的坐标；或者，基于上述基准校正图案的图像的坐标与上述两个校正图案的位置关系，来检测与上述调整校正图案对应的临时的调整校正图案的图像的坐标；调整对上述调整对象照相机决定的上述变换规则，以便上述临时的基准校正图案的图像的坐标与上述基准校正图案的图像的坐标一致，或者，上述临时的调整校正图案的图像的坐标与上述调整校正图案的图像的坐标一致。
本公开的一例所涉及的照相机的调整方法是对具有车辆周边图像生成部的车载周边图像显示装置进行照相机的变换规则的调整的照相机的调整方法，所述车辆周边图像生成部针对搭载于汽车来对该汽车的周围进行拍摄的多个照相机拍摄而得到的各图像，实施遵照对拍摄该图像的每个照相机决定的变换规则的投影变换，并在单一的图像空间上进行合成，生成表示从规定的视点观测了上述汽车的周围的样子的车辆周边图像，并且与显示该车辆周边图像的显示装置进行通信。照相机的调整方法具有：在多个规定的大小以及形状的校正图案以规定的位置关系配置的校正用部件被配置于上述汽车的周围、且规定的上述校正图案被配置于成为上述变换规则的调整的基准的基准照相机的拍摄区域，并且其他的上述校正图案被配置于成为上述变换规则的调整的对象的调整对象照相机的拍摄区域的状态下，对由上述基准照相机拍摄上述校正用部件的规定的上述校正图案而得到的图像遵照对上述基准照相机决定的上述变换规则进行投影变换，来检测基准校正图案的图像的坐标的工序；对由上述调整对象照相机拍摄上述校正用部件的其他的上述校正图案而得到的图像遵照对上述调整对象照相机决定的上述变换规则进行投影变换，来检测调整校正图案的图像的坐标的工序；基于该调整校正图案的图像的坐标与上述两个校正图案的位置关系，检测与上述基准校正图案对应的临时的基准校正图案的图像的坐标，或者基于上述基准校正图案的图像的坐标与上述两个校正图案的位置关系，检测与上述调整校正图案对应的临时的调整校正图案的图像的坐标的工序；和调整对上述调整对象照相机决定的上述变换规则，以便上述临时的基准校正图案的图像的坐标与上述基准校正图案的图像的坐标一致，或者上述临时的调整校正图案的图像的坐标与上述调整校正图案的图像的坐标一致。
例如可以如图3例示那样，将在规定的位置配置有2个以上校正图案的校正用部件配置成各校正图案位于基准照相机与调整对象照相机的拍摄范围。然后，可以从由基准照相机拍摄到的图像检测基准校正图案(B)的图像的坐标，从由调整对象照相机拍摄到的图像检测调整校正图案(A)的图像。
而且，在基于调整校正图案(A)的图像的坐标与两个校正图案(A、B)的位置关系，来检测与基准校正图案(B)对应的临时的基准校正图案(B’)的图像的坐标的情况下，可以调整对调整对象照相机决定的上述变换规则，以便临时的基准校正图案(B’)的图像的坐标与基准校正图案(B)的图像的坐标一致。
或者，在基于基准校正图案(B)的图像的坐标与两个校正图案(A、B)的位置关系，来检测与调整校正图案(A)对应的临时的调整校正图案(A’)的图像的坐标的情况下，也可以调整对调整对象照相机决定的变换规则，以便临时的调整校正图案(A’)的图像的坐标与调整校正图案(B)的图像的坐标一致。
这样，在本公开的车载周边图像显示装置以及照相机的调整方法中，即便在照相机的拍摄范围不重复的情况下，通过将校正图案配置于各拍摄范围，来进行上述的处理，也能够容易地进行调整对象照相机的校正(校准)。
另外，即便在如以往那样(单一的)校正图案非常小地映现在画面上的情况下，由于在本公开车载周边图像显示装置以及照相机的调整方法中，通过利用具备被配置于不同的照相机的拍摄范围的不同的校正图案的校正用部件，使得由各照相机检测校正图案的精度提高，所以具有通过进行上述的处理，能够高精度地校正这一效果。
本公开的其他例子所涉及的车载周边图像显示装置是被搭载于汽车的车载周边图像显示装置，具有车辆周边图像生成部和调整部。车辆周边图像生成部针对搭载于汽车来对该汽车的周围进行拍摄的多个照相机拍摄而得到的各图像，实施遵照对拍摄该图像的每个照相机决定的变换规则的投影变换，并在单一的图像空间上进行合成，生成表示从规定的视点观测了上述汽车的周围的样子的车辆周边图像。车辆周边图像生成部与显示该车辆周边图像的显示装置进行通信。调整部调整对上述每个照相机决定的上述变换规则。在多个规定的大小以及形状的校正图案以规定的位置关系配置的校正用部件被配置于上述汽车的周围、且规定的上述校正图案被配置于规定的照相机的拍摄区域，并且其他的上述校正图案被配置于其他的照相机的拍摄区域的状态下，上述调整部将能够对规定的上述校正用部件中的2个校正图案个别地进行拍摄的2个调整对象照相机设为1组，将其中一个调整对象照相机设为临时基准照相机，将另一个照相机设为调整对象照相机，对由上述临时基准照相机拍摄上述校正用部件的规定的上述校正图案而得到的图像，遵照对上述临时基准照相机决定的上述变换规则进行投影变换，来检测临时基准校正图案的图像的坐标，对由上述调整对象照相机拍摄上述校正用部件的其他的上述校正图案而得到的图像，遵照对上述调整对象照相机决定的上述变换规则进行投影变换，来检测调整校正图案的图像的坐标，基于上述调整校正图案的图像的坐标与上述两个校正图案的位置关系，来检测与上述临时基准校正图案对应的临时的临时基准校正图案的图像的坐标，或者基于上述临时基准校正图案的图像的坐标与上述两个校正图案的位置关系，来检测与上述调整校正图案对应的临时的调整校正图案的图像的坐标，调整对上述调整对象照相机决定的上述变换规则，以便上述临时的临时基准校正图案的图像的坐标与上述临时基准校正图案的图像的坐标一致，或者，上述临时的调整校正图案的图像的坐标与上述调整校正图案的图像的坐标一致，并且对所有的照相机进行每个所述组的上述变换规则的调整。
本公开的其他例子所涉及的照相机的调整方法是对具有车辆周边图像生成部的车载周边图像显示装置进行照相机的变换规则的调整的照相机的调整方法，所述车辆周边图像生成部对搭载于汽车来对该汽车的周围进行拍摄的多个照相机拍摄到的各图像，遵照对拍摄该图像的每个照相机决定的变换规则进行投影变换，并在单一的图像空间上进行合成，生成表示从规定的视点观测了上述汽车的周围的样子的车辆周边图像，并且该车辆周边图像生成部与显示该车辆周边图像的显示装置进行通信。照相机的调整方法具有：在多个规定的大小以及形状的校正图案以规定的位置关系配置的校正用部件被配置于上述汽车的周围、且规定的上述校正图案被配置于规定的照相机的拍摄区域，并且其他的上述校正图案被配置于其他的照相机的拍摄区域的状态下，将能够对规定的上述校正用部件中的2个校正图案个别地进行拍摄的2个调整对象照相机设为1组，并将其中一个调整对象照相机设为临时基准照相机、将另一个照相机设为调整对象照相机，对由上述临时基准照相机拍摄上述校正用部件的规定的上述校正图案而得到的图像遵照对上述临时基准照相机决定的上述变换规则进行投影变换，来检测临时基准校正图案的图像的坐标的工序；对由上述调整对象照相机拍摄上述校正用部件的其他的上述校正图案而得到的图像遵照对上述调整对象照相机决定的上述变换规则进行投影变换，来检测调整校正图案的图像的坐标的工序；基于上述调整校正图案的图像的坐标和上述两个校正图案的位置关系，来检测与上述临时基准校正图案对应的临时的临时基准校正图案的图像的坐标，或者，基于上述临时基准校正图案的图像的坐标与上述两个校正图案的位置关系，来检测与上述调整校正图案对应的临时的调整校正图案的图像的坐标的工序；以及调整对上述调整对象照相机决定的上述变换规则，以便上述临时的临时基准校正图案的图像的坐标与上述临时基准校正图案的图像的坐标一致，或者，上述临时的调整校正图案的图像的坐标与上述调整校正图案的图像的坐标一致的工序，针对所有的照相机，进行每个所述组的上述变换规则的调整。
例如也可以在如图14例示那样，以规定的位置关系配置有多个规定的大小以及形状的校正图案(A～H)的校正用部件被配置于上述汽车的周围、且规定的上述校正图案(A～H)被配置在规定的照相机的拍摄区域，并且其他的上述校正图案(A～H)被配置于其他的照相机的拍摄区域的状态下，将能够对校正用部件的2个校正图案个别地进行拍摄的2个调整对象照相机设为1组，并将其中一个调整对象照相机设为临时基准照相机、将另一个照相机设为调整对象照相机，按照以下的顺序对所有的照相机进行每组的变换规则的调整。
首先，可以从由临时基准照相机拍摄到的图像，检测临时基准校正图案(B)的图像的坐标，从由调整对象照相机拍摄到的图像，检测调整校正图案(A)的图像的坐标。
并且，在基于调整校正图案(B)的图像的坐标与两个校正图案(A、B)的位置关系来检测临时的临时基准校正图案(A’)的图像的坐标的情况下，可以调整对调整对象照相机决定变换规则，以便临时的临时基准校正图案(A’)的图像的坐标与临时基准校正图案(A)的图像的坐标一致。
或者，也可以在基于临时基准校正图案(A)的图像的坐标与两个校正图案(A、B)的位置关系，来检测临时的调整校正图案(B’)的图像的坐标的情况下，调整对调整对象照相机决定上述变换规则，以便临时的调整校正图案(B’)的图像的坐标与调整校正图案(B)的图像的坐标一致。
这样，在本公开的车载周边图像显示装置以及照相机的调整方法中，例如在因电子控制装置的更换等而进行所有照相机的调整之际，即便在照相机的拍摄范围不重复的情况下，通过将校正图案配置于各拍摄范围，来进行上述的处理，也能够容易地进行调整对象照相机的校正(校准)。
另外，即便在如以往那样，(单一的)校正图案非常小地映现在画面上的情况下，也由于在本公开的车载周边图像显示装置以及照相机的调整方法中，通过利用具备配置于不同的照相机的拍摄范围的不同的校正图案的校正用部件，使得由各照相机检测校正图案的精度提高，所以具有通过进行上述的处理，能够高精度地校正这一效果。

Claims (17)

1.一种车载周边图像显示装置，是被搭载于汽车的车载周边图像显示装置，具有：
被搭载于汽车来对该汽车的周围进行拍摄的多个照相机；
车辆周边图像生成部，对所述多个照相机拍摄到的各图像，实施遵照对拍摄该图像的每个照相机决定的变换规则的投影变换，并在单一的图像空间上进行合成，生成表示从规定的视点观测了所述汽车的周围的样子的车辆周边图像；
显示装置，显示所述车辆周边图像生成部生成的所述车辆周边图像；以及
调整部，调整对所述每个照相机决定的所述变换规则，
在所述多个照相机中设定基准照相机和调整对象照相机，
所述调整部在以规定的位置关系而设置有具有规定的大小以及形状的第一校正图案以及第二校正图案的校正用部件被配置于所述汽车的周围、且所述第一校正图案被配置于成为所述变换规则的调整的基准的基准照相机的拍摄区域，并且所述第二校正图案被配置于成为所述变换规则的调整的对象的调整对象照相机的拍摄区域的状态下，
对由所述基准照相机拍摄所述校正用部件的所述第一校正图案而得到的图像，遵照对所述基准照相机决定的所述变换规则进行投影变换，来作成基准校正图案的图像，并且检测该基准校正图案的图像的坐标，
对由所述调整对象照相机拍摄所述校正用部件的所述第二校正图案而得到的图像，遵照对所述调整对象照相机决定的所述变换规则进行投影变换，来作成调整校正图案的图像，并且检测该调整校正图案的图像的坐标，
基于该调整校正图案的图像的坐标与所述第一校正图案以及所述第二校正图案的位置关系，来检测与所述基准校正图案对应的临时的基准校正图案的图像的坐标，或者，基于所述基准校正图案的图像的坐标与所述第一校正图案以及所述第二校正图案的位置关系，来检测与所述调整校正图案对应的临时的调整校正图案的图像的坐标，
并调整对所述调整对象照相机决定的所述变换规则，以便所述临时的基准校正图案的图像的坐标与所述基准校正图案的图像的坐标一致，或者，所述临时的调整校正图案的图像的坐标与所述调整校正图案的图像的坐标一致。
2.根据权利要求1所述的车载周边图像显示装置，其中，
所述校正用部件是片状。
3.根据权利要求1所述的车载周边图像显示装置，其中，
所述校正用部件是长条的部件，在其长边方向的两端部分别形成有所述第一校正图案与所述第二校正图案。
4.根据权利要求1所述的车载周边图像显示装置，其中，
所述校正用部件的平面形状是四边形形状。
5.根据权利要求1所述的车载周边图像显示装置，其中，
所述校正用部件由相对于温度或者湿度具有规定以下的伸缩性的纤维形成。
6.根据权利要求1所述的车载周边图像显示装置，其中，
所述校正用部件是可卷成卷轴状的部件。
7.根据权利要求1至6中任意一项所述的车载周边图像显示装置，其中，
所述校正用部件是长条的部件，在其长边方向的两端部安装有棒状的重物。
8.根据权利要求7所述的车载周边图像显示装置，其中，
所述重物的材质由树脂或者金属构成。
9.一种车载周边图像显示装置，是被搭载于汽车的车载周边图像显示装置，具有：
被搭载于汽车来对该汽车的周围进行拍摄的多个照相机；
车辆周边图像生成部，对所述多个照相机拍摄到的各图像，实施遵照对拍摄该图像的每个照相机决定的变换规则的投影变换，并在单一的图像空间上进行合成，生成表示从规定的视点观测了所述汽车的周围的样子的车辆周边图像；
显示装置，显示所述车辆周边图像生成部生成的所述车辆周边图像；以及
调整部，调整对所述每个照相机决定的所述变换规则，
在所述多个照相机中设定多个包含设为临时基准照相机和设为调整对象照相机的组，
所述调整部在以规定的位置关系而设置有具有规定的大小以及形状的第一校正图案以及第二校正图案的多个校正图案的校正用部件被配置于所述汽车的周围、且所述第一校正图案被配置于每个所述组中的所述临时基准照相机的拍摄区域，并且所述第二校正图案被配置于每个所述组中的所述调整对象照相机的拍摄区域，而能够对所述多个校正用部件中每一个的所述第一校正图案和所述第二校正图案个别地进行拍摄的状态下，
对由所述临时基准照相机拍摄所述多个校正用部件中每一个的所述第一校正图案而得到的图像，遵照对所述临时基准照相机决定的所述变换规则进行投影变换，来作成临时基准校正图案的图像，并且检测该临时基准校正图案的图像的坐标，
对由所述调整对象照相机拍摄所述多个校正用部件中每一个的所述第二校正图案而得到的图像，遵照对所述调整对象照相机决定的所述变换规则进行投影变换，来作成调整校正图案的图像，并检测该调整校正图案的图像的坐标，
基于所述调整校正图案的图像的坐标与所述第一校正图案以及所述第二校正图案的位置关系，来检测与所述临时基准校正图案对应的临时的临时基准校正图案的图像的坐标，或者，基于所述临时基准校正图案的图像的坐标与所述第一校正图案以及所述第二校正图案的位置关系，来检测与所述调整校正图案对应的临时的调整校正图案的图像的坐标，
调整对所述调整对象照相机决定的所述变换规则，以便所述临时的临时基准校正图案的图像的坐标与所述基准校正图案的图像的坐标一致，或者，所述临时的调整校正图案的图像的坐标与所述调整校正图案的图像的坐标一致，
并且，对所有照相机进行每个所述组的所述变换规则的调整。
10.根据权利要求9所述的车载周边图像显示装置，其中，
所述校正用部件是长条的部件，在其长边方向的两端部安装有棒状的重物。
11.根据权利要求10所述的车载周边图像显示装置，其中，
所述重物的材质由树脂或者金属构成。
12.一种照相机的调整方法，是对车载周边图像显示装置进行照相机的变换规则的调整的照相机的调整方法，所述车载周边图像显示装置具有：
被搭载于汽车来对该汽车的周围进行拍摄的多个照相机；
车辆周边图像生成部，对所述多个照相机拍摄到的各图像，实施遵照对拍摄该图像的每个照相机决定的变换规则的投影变换，并在单一的图像空间上进行合成，生成表示从规定的视点观测了所述汽车的周围的样子的车辆周边图像；以及
显示装置，显示所述车辆周边图像生成部生成的所述车辆周边图像，该照相机的调整方法具有：
在所述多个照相机中设定基准照相机和调整对象照相机，
在以规定的位置关系而设置有具有规定的大小以及形状的第一校正图案以及第二校正图案的校正用部件被配置于所述汽车的周围、且所述第一校正图案被配置于成为所述变换规则的调整的基准的基准照相机的拍摄区域，并且所述第二校正图案被配置于成为所述变换规则的调整的对象的调整对象照相机的拍摄区域的状态下，
对由所述基准照相机拍摄所述校正用部件的所述第一校正图案而得到的图像，遵照对所述基准照相机决定的所述变换规则进行投影变换，来作成基准校正图案的图像，并检测该基准校正图案的图像的坐标的工序；
对由所述调整对象照相机拍摄所述校正用部件的所述第二校正图案而得到的图像，遵照对所述调整对象照相机决定的所述变换规则进行投影变换，来作成调整校正图案的图像，并检测该调整校正图案的图像的坐标的工序；
基于该调整校正图案的图像的坐标与所述第一校正图案以及所述第二校正图案的位置关系，来检测与所述基准校正图案对应的临时的基准校正图案的图像的坐标，或者，基于所述基准校正图案的图像的坐标与所述第一校正图案以及所述第二校正图案的位置关系，来检测与所述调整校正图案对应的临时的调整校正图案的图像的坐标的工序；以及
调整对所述调整对象照相机决定的所述变换规则，以便所述临时的基准校正图案的图像的坐标与所述基准校正图案的图像的坐标一致，或者，所述临时的调整校正图案的图像的坐标与所述调整校正图案的图像的坐标一致的工序。
13.一种照相机的调整方法，是对车载周边图像显示装置进行照相机的变换规则的调整的照相机的调整方法，所述车载周边图像显示装置具有：
被搭载于汽车来对该汽车的周围进行拍摄的多个照相机；
车辆周边图像生成部，对所述多个照相机拍摄到的各图像，实施遵照对拍摄该图像的每个照相机决定的变换规则的投影变换，并在单一的图像空间上进行合成，生成表示从规定的视点观测了所述汽车的周围的样子的车辆周边图像；以及
显示装置，显示所述车辆周边图像生成部生成的所述车辆周边图像，
该照相机的调整方法具有：
在所述多个照相机中设定多个包含设为临时基准照相机和设为调整对象照相机的组，
在以规定的位置关系设置有具有规定的大小以及形状的第一校正图案以及第二校正图案的多个校正用部件被配置于所述汽车的周围、且所述第一校正图案被配置于每个所述组中的所述临时基准照相机的拍摄区域，并且所述第二校正图案被配置于每个所述组中的所述调整对象照相机的拍摄区域，而能够对所述多个校正用部件中每一个的所述第一校正图案和所述第二校正图案个别地进行拍摄的状态下，
对由所述临时基准照相机拍摄所述多个校正用部件中每一个的所述第一校正图案而得到的图像，遵照对所述临时基准照相机决定的所述变换规则进行投影变换，来作成临时基准校正图案的图像，并检测该临时基准校正图案的图像的坐标的工序；
对由所述调整对象照相机拍摄所述多个校正用部件中每一个的所述第二校正图案而得到的图像，遵照对所述调整对象照相机决定的所述变换规则进行投影变换，来作成调整校正图案的图像，并检测该调整校正图案的图像的坐标的工序；
基于所述调整校正图案的图像的坐标与所述第一校正图案以及所述第二校正图案的位置关系，来检测与所述临时基准校正图案对应的临时的临时基准校正图案的图像的坐标，或者，基于所述临时基准校正图案的图像的坐标与所述第一校正图案以及所述第二校正图案的位置关系，来检测与所述调整校正图案对应的临时的调整校正图案的图像的坐标的工序；以及
调整对所述调整对象照相机决定的所述变换规则，以便所述临时的临时基准校正图案的图像的坐标与所述临时基准校正图案的图像的坐标一致，或者，所述临时的调整校正图案的图像的坐标与所述调整校正图案的图像的坐标一致的工序，
对所有照相机进行每个所述组的所述变换规则的调整。
14.一种车载周边图像显示装置，是被搭载于汽车的车载周边图像显示装置，具有：
车辆周边图像生成部，该车辆周边图像生成部对被搭载于汽车来对该汽车的周围进行拍摄的多个照相机拍摄到的各图像，实施遵照对拍摄该图像的每个照相机决定的变换规则的投影变换，并在单一的图像空间上进行合成，生成表示从规定的视点观测了所述汽车的周围的样子的车辆周边图像，且该车辆周边图像生成部与显示该车辆周边图像的显示装置进行通信；和
调整部，调整对所述每个照相机决定的所述变换规则，在所述多个照相机中设定基准照相机和调整对象照相机，
所述调整部在以规定的位置关系设置有具有规定的大小以及形状的第一校正图案以及第二校正图案的校正用部件被配置于所述汽车的周围、且所述第一校正图案被配置于成为所述变换规则的调整的基准的基准照相机的拍摄区域，并且所述第二校正图案被配置于成为所述变换规则的调整的对象的调整对象照相机的拍摄区域的状态下，
对由所述基准照相机拍摄所述校正用部件的所述第一校正图案而得到的图像，遵照对所述基准照相机决定的所述变换规则进行投影变换，来作成基准校正图案的图像，并检测该基准校正图案的图像的坐标，
对由所述调整对象照相机拍摄所述校正用部件的所述第二校正图案而得到的图像，遵照对所述调整对象照相机决定的所述变换规则进行投影变换，来作成调整校正图案的图像，并检测该调整校正图案的图像的坐标，
基于该调整校正图案的图像的坐标与所述第一校正图案以及所述第二校正图案的位置关系，来检测与所述基准校正图案对应的临时的基准校正图案的图像的坐标，或者，基于所述基准校正图案的图像的坐标与所述第一校正图案以及所述第二校正图案的位置关系，来检测与所述调整校正图案对应的临时的调整校正图案的图像的坐标，
调整对所述调整对象照相机决定的所述变换规则，以便所述临时的基准校正图案的图像的坐标与所述基准校正图案的图像的坐标一致，或者，所述临时的调整校正图案的图像的坐标与所述调整校正图案的图像的坐标一致。
15.一种车载周边图像显示装置，是被搭载于汽车的车载周边图像显示装置，具有：
车辆周边图像生成部，该车辆周边图像生成部对被搭载于汽车来对该汽车的周围进行拍摄的多个照相机拍摄到的各图像，实施遵照对拍摄该图像的每个照相机决定的变换规则的投影变换，并在单一的图像空间上进行合成，生成表示从规定的视点观测了所述汽车的周围的样子的车辆周边图像，且该车辆周边图像生成部与显示该车辆周边图像的显示装置进行通信；和
调整部，调整对所述每个照相机决定的所述变换规则，
在所述多个照相机中设定多个包含设为临时基准照相机和设为调整对象照相机的组，
所述调整部在以规定的位置关系设置有具有规定的大小以及形状的第一校正图案以及第二校正图案的多个校正用部件被配置于所述汽车的周围、且所述第一校正图案被配置于每个所述组中的所述临时基准照相机的拍摄区域，并且所述第二校正图案被配置于每个所述组中的所述调整对象照相机的拍摄区域，而能够对所述多个校正用部件中每一个的所述第一校正图案和所述第二校正图案个别地进行拍摄的状态下，
对由所述临时基准照相机拍摄所述多个校正用部件中每一个的所述第一校正图案而得到的图像，遵照对所述临时基准照相机决定的所述变换规则进行投影变换，来作成临时基准校正图案，并检测该临时基准校正图案的图像的坐标，
对由所述调整对象照相机拍摄所述多个校正用部件中每一个的所述第二校正图案而得到的图像，遵照对所述调整对象照相机决定的所述变换规则进行投影变换，来作成调整校正图案的图像，并检测该调整校正图案的图像的坐标，
基于所述调整校正图案的图像的坐标与所述第一校正图案以及所述第二校正图案的位置关系，来检测与所述临时基准校正图案对应的临时的临时基准校正图案的图像的坐标，或者，基于所述临时基准校正图案的图像的坐标与所述第一校正图案以及所述第二校正图案的位置关系，来检测与所述调整校正图案对应的临时的调整校正图案的图像的坐标，
调整对所述调整对象照相机决定的所述变换规则，以便所述临时的临时基准校正图案的图像的坐标与所述基准校正图案的图像的坐标一致，或者，所述临时的调整校正图案的图像的坐标与所述调整校正图案的图像的坐标一致，
并且，对所有照相机进行每个所述组的所述变换规则的调整。
16.一种照相机的调整方法，是对车载周边图像显示装置进行照相机的变换规则的调整的照相机的调整方法，所述车载周边图像显示装置具有车辆周边图像生成部，该车辆周边图像生成部对被搭载于汽车来对该汽车的周围进行拍摄的多个照相机拍摄到的各图像，实施遵照对拍摄该图像的每个照相机决定的变换规则的投影变换，并在单一的图像空间上进行合成，生成表示从规定的视点观测了所述汽车的周围的样子的车辆周边图像，并且该车辆周边图像生成部与显示该车辆周边图像的显示装置进行通信，
该照相机的调整方法具有：
在所述多个照相机中设定基准照相机和调整对象照相机，
在以规定的位置关系设置有具有规定的大小以及形状的第一校正图案以及第二校正图案的校正用部件被配置于所述汽车的周围、且所述第一校正图案被配置于成为所述变换规则的调整的基准的基准照相机的拍摄区域，并且所述第二校正图案被配置于成为所述变换规则的调整的对象的调整对象照相机的拍摄区域的状态下，
对由所述基准照相机拍摄所述校正用部件的所述第一校正图案而得到的图像，遵照对所述基准照相机决定的所述变换规则进行投影变换，来作成基准校正图案的图像，并检测该基准校正图案的图像的坐标的工序；
对由所述调整对象照相机拍摄所述校正用部件的所述第二校正图案而得到的图像，遵照对所述调整对象照相机决定的所述变换规则进行投影变换，来作成调整校正图案的图像，并检测该调整校正图案的图像的坐标的工序；
基于该调整校正图案的图像的坐标与所述第一校正图案以及所述第二校正图案的位置关系，来检测与所述基准校正图案对应的临时的基准校正图案的图像的坐标，或者，基于所述基准校正图案的图像的坐标与所述第一校正图案以及所述第二校正图案的位置关系，来检测与所述调整校正图案对应的临时的调整校正图案的图像的坐标的工序；以及
调整对所述调整对象照相机决定的所述变换规则，以便所述临时的基准校正图案的图像的坐标与所述基准校正图案的图像的坐标一致，或者，所述临时的调整校正图案的图像的坐标与所述调整校正图案的图像的坐标一致的工序。
17.一种照相机的调整方法，是对车载周边图像显示装置进行照相机的变换规则的调整的照相机的调整方法，所述车载周边图像显示装置具有车辆周边图像生成部，该车辆周边图像生成部对被搭载于汽车来对该汽车的周围进行拍摄的多个照相机拍摄到的各图像，实施遵照对拍摄该图像的每个照相机决定的变换规则的投影变换，并在单一的图像空间上进行合成，生成表示从规定的视点观测了所述汽车的周围的样子的车辆周边图像，并且该车辆周边图像生成部与显示该车辆周边图像的显示装置进行通信，
该照相机的调整方法具有：
在所述多个照相机中设定多个包含设为临时基准照相机和设为调整对象照相机的组，
在以规定的位置关系设置有具有规定的大小以及形状的第一校正图案以及第二校正图案的多个校正用部件被配置于所述汽车的周围、且所述第一校正图案被配置于每个所述组中的所述临时基准照相机的拍摄区域，并且所述第二校正图案被配置于每个所述组中的所述调整对象照相机的拍摄区域，而能够对所述多个校正用部件中每一个的所述第一校正图案和所述第二校正图案个别地进行拍摄的状态下，
对由所述临时基准照相机拍摄所述多个校正用部件中每一个的所述第一校正图案而得到的图像，遵照对所述临时基准照相机决定的所述变换规则进行投影变换，来作成临时基准校正图案的图像，并检测该临时基准校正图案的图像的坐标的工序；
对由所述调整对象照相机拍摄所述多个校正用部件中每一个的所述第二校正图案而得到的图像，遵照对所述调整对象照相机决定的所述变换规则进行投影变换，来作成调整校正图案的图像，并检测该调整校正图案的图像的坐标的工序；
基于所述调整校正图案的图像的坐标与所述第一校正图案以及所述第二校正图案的位置关系，来检测与所述临时基准校正图案对应的临时的临时基准校正图案的图像的坐标，或者，基于所述临时基准校正图案的图像的坐标与所述第一校正图案以及所述第二校正图案的位置关系，来检测与所述调整校正图案对应的临时的调整校正图案的图像的坐标的工序；以及
调整对所述调整对象照相机决定的所述变换规则，以便所述临时的临时基准校正图案的图像的坐标与所述临时基准校正图案的图像的坐标一致，或者，所述临时的调整校正图案的图像的坐标与所述调整校正图案的图像的坐标一致的工序，
对所有照相机进行每个所述组的所述变换规则的调整。
CN201480053525.XA 2013-09-30 2014-09-17 车辆周边图像显示装置以及照相机的调整方法 Active CN105594203B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013204474A JP6277652B2 (ja) 2013-09-30 2013-09-30 車両周辺画像表示装置及びカメラの調整方法
JP2013-204474 2013-09-30
PCT/JP2014/004768 WO2015045329A1 (ja) 2013-09-30 2014-09-17 車両周辺画像表示装置及びカメラの調整方法

Publications (2)

Publication Number Publication Date
CN105594203A CN105594203A (zh) 2016-05-18
CN105594203B true CN105594203B (zh) 2018-09-04

Family

ID=52742502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480053525.XA Active CN105594203B (zh) 2013-09-30 2014-09-17 车辆周边图像显示装置以及照相机的调整方法

Country Status (5)

Country Link
US (1) US10358086B2 (zh)
JP (1) JP6277652B2 (zh)
CN (1) CN105594203B (zh)
DE (1) DE112014004506B4 (zh)
WO (1) WO2015045329A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6277652B2 (ja) 2013-09-30 2018-02-14 株式会社デンソー 車両周辺画像表示装置及びカメラの調整方法
JP6458439B2 (ja) * 2014-10-09 2019-01-30 株式会社デンソー 車載カメラ較正装置、画像生成装置、車載カメラ較正方法、画像生成方法
EP3125196B1 (en) * 2015-07-29 2018-02-21 Continental Automotive GmbH Drive-by calibration from static targets
JP6413974B2 (ja) 2015-08-05 2018-10-31 株式会社デンソー キャリブレーション装置、キャリブレーション方法、及びプログラム
JP6536529B2 (ja) * 2016-10-17 2019-07-03 株式会社デンソー 車載カメラのキャリブレーション装置及び車載カメラのキャリブレーション方法
GB2560948B (en) * 2017-03-29 2020-12-30 Imagination Tech Ltd Camera Calibration
KR101928979B1 (ko) * 2017-07-04 2019-03-12 주식회사 티에스리 차량의 주변에 설치가 용이한 캘리브레이션 장치 및 그 설치방법
DE102018203003A1 (de) * 2017-12-20 2019-06-27 Continental Automotive Gmbh Verfahren und Vorrichtung zum Betreiben eines Kamera-Monitor-Systems für ein Kraftfahrzeug
DE102018111776B4 (de) * 2018-05-16 2024-01-25 Motherson Innovations Company Limited Kalibriervorrichtung, Verfahren zur Ermittlung von Kalibrierdaten, Vorrichtung zur Ausführung des Verfahrens, Kraftfahrzeug umfassend eine solche Vorrichtung und Verwendung der Kalibriervorrichtung für das Verfahren sowie das Kraftfahrzeug
JP7314486B2 (ja) * 2018-09-06 2023-07-26 株式会社アイシン カメラキャリブレーション装置
KR20200067641A (ko) 2018-12-04 2020-06-12 삼성전자주식회사 3차원 증강 현실을 위한 캘리브레이션 방법 및 그 장치
JP7056540B2 (ja) * 2018-12-18 2022-04-19 株式会社デンソー センサ校正方法およびセンサ校正装置
US11146783B2 (en) * 2019-08-16 2021-10-12 GM Cruise Holdings, LLC Partial calibration target detection for improved vehicle sensor calibration
US20210262804A1 (en) * 2020-02-21 2021-08-26 Canon Kabushiki Kaisha Information processing device, information processing method, and storage medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101236654A (zh) * 2007-01-31 2008-08-06 三洋电机株式会社 照相机校正装置和方法、以及车辆
CN101236655A (zh) * 2007-02-01 2008-08-06 三洋电机株式会社 摄像机校正装置以及方法和车辆
CN101340566A (zh) * 2007-07-02 2009-01-07 日产自动车株式会社 图像处理系统和方法
CN101836451A (zh) * 2007-10-18 2010-09-15 三洋电机株式会社 照相机校正装置及方法、以及车辆

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7248284B2 (en) * 2002-08-12 2007-07-24 Edward Alan Pierce Calibration targets for digital cameras and methods of using same
KR100899742B1 (ko) * 2006-09-30 2009-05-27 삼성전자주식회사 통신 시스템에서 단말기 정보 이용 시스템 및 방법
JP2008187564A (ja) * 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
JP4555876B2 (ja) * 2008-05-30 2010-10-06 株式会社日本自動車部品総合研究所 車載カメラのキャリブレーション方法
US8872920B2 (en) * 2009-03-26 2014-10-28 Aisin Seiki Kabushiki Kaisha Camera calibration apparatus
JP2010245803A (ja) * 2009-04-06 2010-10-28 Sanyo Electric Co Ltd 画像処理装置
JP5523730B2 (ja) * 2009-04-07 2014-06-18 アルパイン株式会社 車載周辺画像表示装置
JP2010258691A (ja) * 2009-04-23 2010-11-11 Sanyo Electric Co Ltd 操縦支援装置
JP5108840B2 (ja) * 2009-07-29 2012-12-26 クラリオン株式会社 車両用周辺監視装置および車両用周辺画像表示方法
JP5491235B2 (ja) * 2010-03-02 2014-05-14 東芝アルパイン・オートモティブテクノロジー株式会社 カメラキャリブレーション装置
JP5444139B2 (ja) * 2010-06-29 2014-03-19 クラリオン株式会社 画像のキャリブレーション方法および装置
JP2012147149A (ja) * 2011-01-11 2012-08-02 Aisin Seiki Co Ltd 画像生成装置
EP2523163B1 (en) * 2011-05-10 2019-10-16 Harman Becker Automotive Systems GmbH Method and program for calibrating a multicamera system
JP6058256B2 (ja) * 2011-06-13 2017-01-11 アルパイン株式会社 車載カメラ姿勢検出装置および方法
KR101265667B1 (ko) * 2011-06-21 2013-05-22 ㈜베이다스 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법
JP6277652B2 (ja) 2013-09-30 2018-02-14 株式会社デンソー 車両周辺画像表示装置及びカメラの調整方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101236654A (zh) * 2007-01-31 2008-08-06 三洋电机株式会社 照相机校正装置和方法、以及车辆
CN101236655A (zh) * 2007-02-01 2008-08-06 三洋电机株式会社 摄像机校正装置以及方法和车辆
CN101340566A (zh) * 2007-07-02 2009-01-07 日产自动车株式会社 图像处理系统和方法
CN101836451A (zh) * 2007-10-18 2010-09-15 三洋电机株式会社 照相机校正装置及方法、以及车辆

Also Published As

Publication number Publication date
US20160236619A1 (en) 2016-08-18
DE112014004506B4 (de) 2021-04-29
CN105594203A (zh) 2016-05-18
WO2015045329A1 (ja) 2015-04-02
JP6277652B2 (ja) 2018-02-14
JP2015070512A (ja) 2015-04-13
DE112014004506T5 (de) 2016-07-21
US10358086B2 (en) 2019-07-23

Similar Documents

Publication Publication Date Title
CN105594203B (zh) 车辆周边图像显示装置以及照相机的调整方法
US20090299684A1 (en) Method for calibrating cameras installed on vehicle
US20210268962A1 (en) Vehicular vision system that dynamically calibrates a vehicular camera
CN108805934A (zh) 一种车载摄像机的外部参数标定方法及装置
CN104641394B (zh) 图像处理装置及图像处理方法
CN105141945B (zh) 环景摄像机系统(vpm)在线校准
JP5124147B2 (ja) カメラ校正装置及び方法並びに車両
US8368761B2 (en) Image correction method for camera system
JP2010103730A (ja) 車載カメラのキャリブレーション装置およびキャリブレーション方法
JP2013115540A (ja) 車載カメラシステム及びその較正方法、及びその較正プログラム
JP2007256030A (ja) 車載カメラのキャリブレーション装置およびキャリブレーション方法
CN107993264A (zh) 一种汽车环视全景的标定方法
JP5783829B2 (ja) 映像の歪みを補正する方法、映像の歪みを補正する装置、模擬視界表示装置及び操縦訓練のためのシミュレータ
CN107492125A (zh) 汽车鱼眼镜头环视图像的处理方法
CN106060427A (zh) 基于单摄像头的全景成像方法及其装置
CN107967700A (zh) 大视场宽工作距双目相机的在轨几何校正及精度验证方法
US20160121806A1 (en) Method for adjusting output video of rear camera for vehicles
US10083509B2 (en) Image calibration
JP4855278B2 (ja) カメラパラメータ取得装置
JP5827095B2 (ja) キャリブレーションシステム、パラメータ取得装置、標識体、及び、パラメータ取得方法
CN112419423A (zh) 一种标定方法、装置、电子设备及存储介质
CN109523489B (zh) 一种生成俯视无畸变倒车影像的方法
WO2013154085A1 (ja) キャリブレーション方法および装置
CN110503683B (zh) 一种基于单目测距的狭窄车位倒车入库引导方法和系统
CN112880970A (zh) 一种新能源汽车的风挡式hud投影质量的检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant