CN107852482B - 校准装置、校准方法以及计算机能够读取的记录介质 - Google Patents

校准装置、校准方法以及计算机能够读取的记录介质 Download PDF

Info

Publication number
CN107852482B
CN107852482B CN201680045014.2A CN201680045014A CN107852482B CN 107852482 B CN107852482 B CN 107852482B CN 201680045014 A CN201680045014 A CN 201680045014A CN 107852482 B CN107852482 B CN 107852482B
Authority
CN
China
Prior art keywords
vehicle
camera
image
cameras
imaging target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680045014.2A
Other languages
English (en)
Other versions
CN107852482A (zh
Inventor
田中仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of CN107852482A publication Critical patent/CN107852482A/zh
Application granted granted Critical
Publication of CN107852482B publication Critical patent/CN107852482B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P1/00—Details of instruments
    • G01P1/07—Indicating devices, e.g. for remote indication
    • G01P1/08—Arrangements of scales, pointers, lamps or acoustic indicators, e.g. in automobile speedometers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

校准装置获取对位于车辆的前方的拍摄目标进行拍摄所得到的图像。另外，获取在对位于车辆的后方的拍摄目标进行拍摄所得到的图像中与对前方拍摄时获取到的图像不同的图像(S280，S290)。此时，拍摄目标的形状和大小是已知的。校准装置对获取到的各图像的重叠区域中映出的拍摄目标进行射影变换，并确定拍摄相机的侧倾、俯仰以及高度，以使变换结果与拍摄目标的形状和大小一致(S380)。另外，确定拍摄相机的x坐标、y坐标以及横摆，以使虚拟链接结构中的一个链接角最小(S390)。

Description

校准装置、校准方法以及计算机能够读取的记录介质
技术领域
本公开涉及导出搭载于车辆的相机的姿势参数的技术。
背景技术
以往，已知有一种校准装置，其执行导出搭载于汽车的相机的姿势参数的校准(参照专利文献1)。
在专利文献1所记载的校准装置中，对图像中映出的默认校正目标进行鸟瞰图变换。而且，探索并确定变换结果最近似实际的默认目标的形状和大小的侧倾(以前后方向为轴的旋转)、俯仰(以左右方向为轴的旋转)以及高度。这里所说的默认校正目标是指形状和大小已知、并且配置在规定的地点的拍摄对象物。
进一步，在校准装置中，从检测本车辆的车速的车速传感器和检测围绕与水平面正交的轴的本车辆的旋转角的旋转角传感器来获取车速和旋转角。然后，基于获取到的车速和旋转角，来探索并确定在不同的地点拍摄到的图像中映出的固定物体的位置的差异和旋转的差异最小的x坐标、y坐标以及横摆(以上下方向为轴的旋转)。
专利文献1：日本特开2014－48803号公报
在专利文献1所记载的校准装置中，为了确定姿势参数中的x坐标、y坐标以及横摆，必须从搭载于本车辆的车速传感器和旋转角传感器中获取本车辆的车速和旋转角。
然而，对于校准来说，多数情况在车辆的制造阶段、由汽车经销商进行的维修阶段实施。特别是，在这样的现场中，为了实现作业效率，需要提高搭载于车辆的设备的设置顺序的自由度。由此，在实施校准时，车速传感器、旋转角传感器有可能未安装于车辆。
在该情况下，在专利文献1所记载的校准装置中，产生不能实施校准的课题。换句话说，在导出相机的姿势参数的技术中，需要进一步提高实施校准的自由度。
发明内容
本公开的目的在于在导出相机的姿势参数的技术中，进一步提高实施校准的自由度。
本公开涉及确定搭载于车辆的多个相机(10)各自的姿势参数的校准装置(20)。
多个相机搭载于车辆，以便对在车辆的周边规定的相互不同的区域且具有彼此的区域部分重叠的重叠区域的规定区域进行拍摄。多个相机包含拍摄车辆的前方的第一相机(10A)、拍摄车辆的右侧方的第二相机(10B)、拍摄车辆的后方的第三相机(10C)、以及拍摄车辆的左侧方的第四相机(10D)。
而且，本公开的校准装置具备图像获取部(20、S140～S370)、第一确定部(20、S380)以及第二确定部(20、S390)。
图像获取部获取由多个相机各自拍摄到的各图像。第一确定部对由图像获取部获取到的各图像的重叠区域中映出的拍摄目标进行射影变换，并确定多个相机各自的姿势参数中的侧倾、俯仰以及高度，以使变换结果与拍摄目标的形状和大小一致。
拍摄目标是形状和大小已知的部件。侧倾表示围绕相机的透镜中心轴的旋转角。俯仰表示围绕相机的水平轴的旋转角。高度是沿着车辆的车高方向的坐标。
第二确定部确定多个相机各自的姿势参数中的x坐标、y坐标以及横摆，以使虚拟链接结构中的一个链接角最小。
虚拟链接结构是如下的结构：将虚拟地连接由图像获取部获取到的各图像中映出的拍摄目标的代表点的线段作为链接而形成，且映出在相互不同的图像的重叠区域中，并使位于同一地点的拍摄目标的代表点一致。另外，x坐标是沿着车辆的全长方向的坐标。y坐标是沿着车辆的车宽度方向的坐标。横摆表示围绕车辆与水平面正交的轴的旋转角。
图像获取部具备第一获取部(20、S160、S170)和第二获取部(20、S280、S290)。
第一获取部获取利用第一相机、第二相机以及第四相机对位于车辆的前方的拍摄目标拍摄所得到的各图像。
第二获取部获取利用第二相机、第三相机以及第四相机对位于车辆的后方的拍摄目标拍摄所得到的各图像中与由第一获取部获取到的图像不同的图像。
然后，第一确定部和第二确定部将通过第一获取部获取到的图像和通过第二获取部获取到的图像作为通过图像获取部获取到的各图像，来确定多个相机各自的姿势参数。
在这样的结构的校准装置中，用于确定相机的姿势参数中的x坐标、y坐标以及横摆的信息仅是由相机拍摄到的图像即可，无需车辆的车速、旋转角。
换句话说，在本公开的校准装置中，即使在车辆中未安装有车速传感器、旋转角传感器的情况下，也能够实施校准。像这样，对于本公开的技术而言，在导出相机的姿势参数的技术中，能够进一步提高实施校准的自由度。
此外，在本公开的技术中，确定姿势参数所使用的图像(多个相机各自的拍摄图像)也可以是通过如下的方法拍摄到的图像。例如，由第一相机、第二相机以及第四相机拍摄到的各图像也可以是在未使车辆移动而停止的状态下，对配置于车辆的前方的拍摄目标进行拍摄所得到的图像。另外，由第二相机、第三相机以及第四相机拍摄到的各图像也可以是使与配置于车辆的前方的拍摄目标相同的拍摄目标向车辆的后方移动，在未使车辆移动而停止的状态下，对配置于车辆的后方的拍摄目标进行拍摄所得到的图像。
像这样，在本公开的技术中，利用上述的方法来获取确定姿势参数所使用的图像，从而能够使为了确定姿势参数所需要的作业区域的面积(作业空间的宽度)成为最小限度。由此，在本公开的技术中，能够容易地确保车辆的制造阶段、由汽车经销商进行的维修阶段中的确定姿势参数所需要的作业区域。
本公开的技术的一个方式并不限于校准装置。具体而言，也可以是确定相机的姿势参数的校准方法，也可以是搭载于车辆的计算机所执行的程序。
在像这样的作为本公开的技术方面之一的校准方法中，与校准装置相同，可得到上述的效果。作为本公开的技术方面之一的程序，能够根据需要，从记录介质加载到计算机并使其起动。另外，本程序能够经由通信线路获取到计算机中并使其起动。而且，本程序能够被计算机按照规定的处理步骤来执行，从而使该计算机作为校准装置发挥功能。
记录介质例如包含DVD－ROM、CD－ROM、硬盘等计算机能够读取的电子介质。
此外，“发明内容”的项目中所记载的括号内的附图标记表示与作为本公开的技术方面之一后述的实施方式中所记载的具体的单元的对应关系。因此，并不对本公开的技术的范围进行限定。
附图说明
图1是对校准系统的简要结构进行说明的框图。
图2是表示相机的配置和拍摄范围的图。
图3A是表示拍摄目标的例子的图。
图3B是表示拍摄目标的例子的图。
图4是表示校准处理的步骤的流程图。
图5A是对车辆到达2个拍摄目标之间前拍摄的图像进行说明的图。
图5B是对车辆通过2个拍摄目标之间后拍摄的图像进行说明的图。
图6A是对探索范围的设定方法进行说明的图。
图6B是对探索范围内映出的拍摄目标的探索方法进行说明的图。
图7是表示校准处理的步骤的流程图。
图8是对链接结构的确定方法进行说明的图。
具体实施方式
以下，参照附图对作为本公开的技术方面之一的实施方式进行说明。
[第一实施方式]
＜校准系统＞
如图1所示，本实施方式的校准系统1确定搭载于车辆5(参照图2)的多个相机10各自的姿势参数。此外，本实施方式的车辆5是汽车。
校准系统1具备多个相机10、输入装置14、校准装置20以及显示装置40。多个相机10的每一个经由广角镜头对在车辆5的周围规定的规定区域进行拍摄。此外，广角镜头的视场角较宽(例如60度以上)，焦距较短。作为广角镜头的一个例子，可举出鱼眼镜头(例如视场角为180度以上的透镜)等。
另外，如图2所示，上述规定区域是在车辆5的周边规定的相互不同的区域A1～A4，并且，具有彼此的区域部分重叠的区域O1～O4(以下称为“重叠区域”)。
在本实施方式中，多个相机10包含第一相机10A、第二相机10B、第三相机10C以及第四相机10D。
第一相机10A(前置相机)设置于车辆5的前端部，以拍摄在车辆5的前方规定的区域A1(以下称为“前方规定区域A1”)。第二相机10B(右侧相机)设置于车辆5的右侧面，以拍摄在车辆5的右侧方规定的区域A2(以下称为“右规定区域A2”)。第三相机10C(后置相机)设置于车辆5的后端部，以拍摄在车辆5的后方规定的区域A3(以下称为“后方规定区域A3”)。第四相机10D(左侧相机)设置于车辆5的左侧面，以拍摄在车辆5的左侧方规定的区域A4(以下称为“左规定区域A4”)。
另外，在像这样设置多个相机10的每一个的情况下，规定区域A1～A4中包含如下的重叠区域。具体而言，前方规定区域A1包含与右规定区域A2重叠的重叠区域O1和与左规定区域A4重叠的重叠区域O4。右规定区域A2包含与前方规定区域A1重叠的重叠区域O1和与后方规定区域A3重叠的重叠区域O2。后方规定区域A3包含与右规定区域A2重叠的重叠区域O2和与左规定区域A4重叠的重叠区域O3。左规定区域A4包含与后方规定区域A3重叠的重叠区域O3和与前方规定区域A1重叠的重叠区域O4。
输入装置14经由接口受理信息的输入。在本实施方式中，输入装置14包含键盘、指示设备、开关等各种输入设备。另外，指示设备包含如触摸板、触摸面板等那样的指定画面上的输入位置、坐标的输入设备。
进一步，在本实施方式中，输入装置14也可以作为校准装置20的诊断工具(diagnostic tool)发挥功能。诊断工具与校准装置20之间进行信息的输入输出，并且对从校准装置20获取到的信息进行解析，并根据该解析结果进行故障等的诊断。
显示装置40在画面上显示图像。作为显示装置40的一个例子，可举出液晶显示器等。
＜校准装置＞
校准装置20执行基于由多个相机10的每一个拍摄到的各图像的校准处理。具体而言，校准装置20基于拍摄到的图像，来执行确定相机10A～10D的各姿势参数的处理。校准装置20具备参数存储部22和控制部24。
参数存储部22是非易失性的存储装置。作为参数存储部22的一个例子，可举出硬盘驱动器、闪存等。
在参数存储部22中，存储有表示车辆空间上的多个相机10各自的设置位置(车辆空间上的位置)和设置姿势的各种参数(以下称为“姿势参数”)。
在本实施方式中，姿势参数包含x坐标、y坐标、高度z、俯仰Θ、侧倾Φ以及横摆Ψ。x坐标是设置有多个相机10各自的车辆空间上的坐标，且是沿着车辆5的全长方向(前后方向)的坐标。y坐标是设置有多个相机10各自的车辆空间上的坐标，且是沿着车辆5的车宽度方向(左右方向)的坐标。高度z是设置有多个相机10各自的车辆空间上的坐标，且是沿着车辆5的车高方向(上下方向)的坐标。
另外，俯仰Θ表示围绕多个相机10的每一个的水平轴的旋转角。水平轴是与车辆5中的水平面平行的轴。侧倾Φ表示围绕多个相机10的每一个的透镜中心轴的旋转角。透镜中心轴是用通过2个球面的中心的直线表示的光轴。横摆Ψ表示围绕与车辆5中的水平面正交的轴的旋转角。与水平面正交的轴是与水平轴正交的轴。
控制部24是以具备ROM26、RAM28等存储器以及CPU30的微型计算机为主要的构成要素的控制装置。ROM26存储即使切断电源也需要保持存储内容的数据、程序。RAM28存储暂时保持存储内容即可的数据。CPU30例如根据ROM26所存储的程序来执行处理。
校准装置20与检测车辆5的车轮速度的车轮速度传感器连接。控制部24通过基于来自车轮速度传感器的车轮速度信号的公知的计算方法，来计算车辆5的行驶速度。
ROM26中存储有下述程序，该程序用于控制部24执行基于由多个相机10的每一个对拍摄目标50(参照图3A和图3B)进行拍摄所得到的各图像来确定相机10A～10D的各姿势参数的校准处理。
进一步，ROM26中存储有表示拍摄目标50的形状和大小的目标信息。即，在本实施方式中，对于拍摄目标50而言，至少形状和大小这2个信息是已知的。
在本实施方式中，拍摄目标50形成为具有至少3个以上顶点的多边形。换句话说，本实施方式的拍摄目标50只要是具有3个以上顶点的多边形，也可以是任意的形状。具体而言，拍摄目标50的形状可以如图3A所示，为三角形，也可以如图3(B)所示，为四边形。另外，拍摄目标50的形状也可以是具有5个以上顶点的多边形。
在本实施方式中，拍摄目标50是在多个相机10各自的拍摄图像中能够确定顶点的坐标的部件。换句话说，本实施方式的拍摄目标50只要在拍摄图像中能够确定顶点，也可以是任意的部件。作为拍摄目标50的一个例子，如图3A、图3B所示，可举出将形成为大小和颜色不同的多边形的2个板状的部件固定为同芯状的结构等。
在本实施方式中，目标信息包含表示拍摄目标50是几边形的信息(拍摄目标50中的顶点的个数和顶点的相对的位置关系)、拍摄目标50的各边的长度以及拍摄目标50的各顶点的内角(或者外角)的大小等。
＜校准处理＞
首先，对本实施方式的校准处理的起动条件(起动前的准备)进行说明。
在本实施方式中，作为起动校准处理的前阶段的准备，如下配置拍摄目标50。具体而言，将2个拍摄目标50配置为成为相对的位置关系被固定的状态。此时，2个拍摄目标50被配置为距离车辆5的宽度空出间隔。相对的位置关系例如通过2个拍摄目标50的相对距离来表示。
而且，在本实施方式中，若受理起动指令的输入，则起动校准处理。起动指令是用于起动校准处理的指令。起动指令也可以从输入装置14的诊断工具输入至校准装置20所具备的控制部24，也可以通过其他的方法来输入。
接下来，对本实施方式的校准处理的起动后进行说明。
在本实施方式中，若起动校准处理，则如下配置搭载有校准系统1的车辆5。具体而言，使车辆5行驶，使其从2个拍摄目标50的近前通过这2个拍摄目标50之间。而且，在本实施方式中，在使车辆5行驶期间，基于由多个相机10拍摄到的各图像，来执行校准处理。
具体而言，校准装置20所具备的控制部24执行如下的处理。如图4所示，控制部24获取车辆5的行驶速度(S110)。此时，控制部24通过基于来自车轮速度传感器的车轮速度信号的公知的计算方法，来计算车辆5的行驶速度。
接着，控制部24判定通过步骤S110的处理获取到的行驶速度的值是否为预先规定的速度阈值以下(S120)。速度阈值是表示车辆5以包含徐行在内的低速行驶的状态的行驶速度的值，且是用于高精度地实施校准的规定速度值。
控制部24在判定为行驶速度的值大于速度阈值的情况下(S120：否)，将第一错误信号输出至显示装置40(S130)。其结果，显示装置40显示基于第一错误信号的规定的错误信息，对作业者报告所产生的错误(报告错误)。第一错误信号是表示由于行驶速度比规定速度快所以校准的精度降低的可能性较高的意思的信号。显示装置40基于输入的第一错误信号，来显示规定的错误信息，对作业者报告所产生的错误(报告错误)。具体而言，显示装置40显示报告行驶速度比规定速度快的意思的错误信息。显示装置40的显示内容并不限于此。例如，也可以是报告校准的精度降低的可能性较高的意思的显示内容。
此外，所谓的上述校准，是确定相机10A～10D的各姿势参数的处理。具体而言，是参照图7的后述的步骤S380和S390的处理。
控制部24若将第一错误信号输出至显示装置40，则再次执行步骤S110的处理。另一方面，控制部24在判定为行驶速度的值为速度阈值以下的情况下(S120：是)，设定前方拍摄图像中的探索范围亦即前端探索范围(以下称为“第一相机10A的前端探索范围”)(S140)。
前方拍摄图像是通过第一相机10A对图5A所示的前方规定区域A1进行拍摄所得到的图像。另外，第一相机10A的前端探索范围是如下的区域。具体而言，在车辆5的前端到达2个拍摄目标50之间前，利用第一相机10A拍摄前方规定区域A1。而且，是对所得到的前方拍摄图像执行是否分别映出拍摄目标50(是否包含有拍摄目标50)的判定的对象区域。
在本实施方式中，第一相机10A的前端探索范围分别设置于前方拍摄图像中的左右的端部。具体而言，控制部24通过执行步骤S140的处理，将第二相机10B和第四相机10D的拍摄图像与前方拍摄图像的重叠区域O1、O4中的规定的区域设定为第一相机10A的前端探索范围。即，通过步骤S140的处理设定的第一相机10A的前端探索范围是映出拍摄目标50的可能性较高的区域(包含拍摄目标50的可能性较高的区域)。
接着，控制部24设定右拍摄图像和左拍摄图像中的前方探索范围(以下称为“第二相机10B的前方探索范围”和“第四相机10D的前方探索范围”)(S150)。右拍摄图像是利用第二相机10B对图5A所示的右规定区域A2进行拍摄所得到的图像。另外，左拍摄图像是利用第四相机10D对图5A所示的左规定区域A4进行拍摄所得到的图像。
第二相机10B和第四相机10D的前方探索范围是如下的区域。具体而言，在车辆5的前端到达2个拍摄目标50之间前，利用第二相机10B对右规定区域A2进行拍摄，并利用第四相机10D对左规定区域A4进行拍摄。而且，是对所得到的右拍摄图像和左拍摄图像分别执行是否映出拍摄目标50的判定的对象区域。
在本实施方式中，第二相机10B和第四相机10D的前方探索范围设置于右拍摄图像中的车辆前方的端部、以及左拍摄图像中的车辆前方的端部。具体而言，控制部24通过执行步骤S150的处理，将右拍摄图像和左拍摄图像分别与前方拍摄图像的重叠区域O1、O4中的规定的区域设定为第二相机10B和第四相机10D的前方探索范围。
接着，控制部24将拍摄图像的拍摄指令输出至第一相机10A(S160)。其结果，第一相机10A基于拍摄指令，拍摄前方拍摄图像。第一相机10A将拍摄到的前方拍摄图像输出至控制部24。
进一步，控制部24将拍摄图像的拍摄指令输出至第二相机10B和第四相机10D(S170)。其结果，第二相机10B基于拍摄指令，拍摄右拍摄图像。第二相机10B将拍摄到的右拍摄图像输出至控制部24。同样地，第四相机10D拍摄左拍摄图像，并将拍摄到的左拍摄图像输出至控制部24。
接着，控制部24从通过步骤S160的处理拍摄到的前方拍摄图像中的第一相机10A的前端探索范围(设置于左右的端部的各个区域)中，检测拍摄目标50(S180)。此时，控制部24判定在如图6A所示的前方拍摄图像中的第一相机10A的前端探索范围SR内是否映出拍摄目标50。是否映出拍摄目标50的判定例如可以通过图6B所示的方法来实施。具体而言，根据预先规定的2个方向以上的检测方向，来检索第一相机10A的前端探索范围SR，并检测该前端探索范围SR内的拍摄目标50的顶点的有无。而且，若检测出的各顶点的位置关系与拍摄目标50的形状不矛盾，则可以判定为在第一相机10A的前端探索范围SR内映出拍摄目标50。另一方面，若检测出的各顶点的位置关系与拍摄目标50的形状相矛盾，则可以判定为在第一相机10A的前端探索范围SR内未映出拍摄目标50。
此外，作为检测图像中映出的拍摄目标50的顶点的方法，考虑各种公知的检测方法。因此，省略这里的详细说明。此外，在本实施方式中，例如，根据预先规定的2个方向的检测方向，来实施公知的边缘检测处理。而且，在该边缘检测处理中，也可以将在检测方向双方作为边缘检测出的像素作为拍摄目标50的顶点。
另外，检测出的各顶点的位置关系与拍摄目标50的形状是否矛盾的判定也可以通过如下的方法来实施。具体而言，也可以判定各顶点的位置与作为拍摄目标50的形状存储的形状的位置是否一致。即，也可以在检测出的各顶点的位置在一直线上的情况下、检测出的顶点的个数比拍摄目标50的顶点的个数多的情况下，判定为各顶点的位置关系与拍摄目标50的形状相矛盾。
控制部24判定是否能够从前方拍摄图像中的第一相机10A的前端探索范围SR中检测出拍摄目标50(S190)。其结果，控制部24在前方拍摄图像中的第一相机10A的前端探索范围SR内未映出拍摄目标50，而判定为检测失败的情况下(S190：否)，使校准处理移至后述的步骤S240的处理。此外，作为在前方拍摄图像中的第一相机10A的前端探索范围SR内未映出拍摄目标50的状况(无法检测的状况)，例如，可考虑车辆5未到达能够拍摄拍摄目标50的位置的状况。
另一方面，控制部24在判定为从前方拍摄图像中的第一相机10A的前端探索范围SR中成功检测出拍摄目标50的情况下(S190：是)，使校准处理移至步骤S200的处理。
控制部24从通过步骤S170的处理拍摄到的左拍摄图像中的第四相机10D的前方探索范围中，检测拍摄目标50(S200)。此时，控制部24判定在左拍摄图像中的第四相机10D的前方探索范围内是否映出拍摄目标50。判定是否映出拍摄目标50的方法，与上述的步骤S180的处理中的方法相同。因此，省略这里的详细说明。
控制部24判定是否能够从左拍摄图像中的第四相机10D的前方探索范围中检测出拍摄目标50(S210)。其结果，控制部24在左拍摄图像中的第四相机10D的前方探索范围内未映出拍摄目标50，而判定为检测失败的情况下(S210：否)，移至后述的步骤S240的处理。另一方面，控制部24在判定为从左拍摄图像中的第四相机10D的前方探索范围中成功检测出拍摄目标50的情况下(S210：是)，使校准处理移至步骤S220的处理。
控制部24从通过步骤S170的处理拍摄到的右拍摄图像中的第二相机10B的前方探索范围中，检测拍摄目标50(S220)。此时，控制部24判定右拍摄图像中的第二相机10B的前方探索范围内是否映出拍摄目标50。判定是否映出拍摄目标50的方法与上述的步骤S180的处理中的方法相同。因此，省略这里的详细说明。
控制部24判定是否能够从右拍摄图像中的第二相机10B的前方探索范围中检测出拍摄目标50(S230)。其结果，控制部24在判定为从右拍摄图像中的第二相机10B的前方探索范围中成功检测出拍摄目标50的情况下(S230：是)，使校准处理移至参照图7后述的步骤S260的处理。另一方面，控制部24在右拍摄图像中的第二相机10B的前方探索范围内未映出拍摄目标50，而判定为检测失败的情况下(S230：否)，移至步骤S240的处理。
控制部24判定从开始步骤S160的处理起的经过时间是否经过了预先规定的第一规定时间(S240)。第一规定时间被规定为以速度阈值以下的行驶速度行驶的车辆5的前端从在2个拍摄目标50的近前规定的地点到通过2个拍摄目标50之间所需要的时间长度。
控制部24在判定为经过第一规定时间的情况下(S240：是)，结束本校准处理。在经过了第一规定时间的情况下，如上所述，由于车辆5的前端通过2个拍摄目标50之间，所以之后没有从拍摄图像中检测出拍摄目标50的可能性。具体而言，没有从前方拍摄图像中的第一相机10A的前端探索范围SR、右拍摄图像中的第二相机10B的前方探索范围以及左拍摄图像中的第四相机10D的前方探索范围中检测出拍摄目标50的可能性。因此，在本实施方式中，在没有检测出拍摄目标50的可能性的情况下，结束校准处理并再次执行。
另一方面，控制部24在判定为未经过第一规定时间的情况下(S240：否)，将第二错误信号输出至显示装置40(S250)。其结果，显示装置40显示基于第二错误信号的规定的错误信息，来对作业者报告所产生的错误(报告错误)。第二错误信号是表示在前方拍摄图像、左拍摄图像以及右拍摄图像中的至少一个图像上未映出拍摄目标50的意思(无法从拍摄图像中检测拍摄目标50的意思)的信号。显示装置40基于输入的第二错误信号，显示规定的错误信息，来对作业者报告所产生的错误(报告错误)。具体而言，显示装置40显示报告在前方拍摄图像、左拍摄图像以及右拍摄图像中的至少一个图像上未映出有拍摄目标50的意思的错误信息。
控制部24若将第二错误信号输出至显示装置40，则再次执行步骤S160的处理。由此，控制部24再次将拍摄指令输出至第一相机10A(S160)，并反复执行步骤S170以下的处理。
如图7所示，控制部24在从右拍摄图像中的第一相机10A的前方探索范围中成功检测出拍摄目标50的情况下(S230：是)，设定后方拍摄图像中的探索范围亦即后端探索范围(以下称为“第三相机10C的后端探索范围”)(S260)。
后方拍摄图像是利用第三相机10C对图5B所示的后方规定区域A3进行拍摄所得到的图像。另外，第三相机10C的后端探索范围是如下的区域。具体而言，在车辆5的后端通过2个拍摄目标50之间后，利用第三相机10C拍摄后方规定区域A3。而且，是对所得到的后方拍摄图像执行是否分别映出拍摄目标50的判定的对象区域。
在本实施方式中，第三相机10C的后端探索范围分别设置于后方拍摄图像中的左右的端部。具体而言，控制部24通过执行步骤S260的处理，将右拍摄图像和左拍摄图像分别与后方拍摄图像的重叠区域O2、O3中的规定的区域设定为第三相机10C的后端探索范围。即，通过步骤S260的处理设定的第三相机10C的后端探索范围是映出拍摄目标50的可能性较高的区域。
接着，控制部24设定右拍摄图像和左拍摄图像中的探索范围亦即后方探索范围(以下称为“第二相机10B的后方探索范围、以及第四相机10D的后方探索范围”)(S270)。第二相机10B和第四相机10D的后方探索范围是如下的区域。具体而言，在车辆5的后端通过2个拍摄目标50之间后，利用第二相机10B拍摄右规定区域A2，并利用第四相机10D拍摄左规定区域A4。而且，是对所得到的右拍摄图像和左拍摄图像分别执行是否映出拍摄目标50的判定的对象区域。
在本实施方式中，第二相机10B和第四相机10D的后方探索范围设置于右拍摄图像中的车辆后方的端部以及左拍摄图像中的车辆后方的端部。具体而言，控制部24通过执行步骤S270的处理，将右拍摄图像和左拍摄图像分别与后方拍摄图像的重叠区域O2、O3中的规定的区域设定为第二相机10B和第四相机10D的后方探索范围。
接着，控制部24将拍摄图像的拍摄指令输出至第三相机10C(S280)。其结果，第三相机10C基于拍摄指令，拍摄后方拍摄图像。第三相机10C将拍摄到的后方拍摄图像输出至控制部24。
进一步，控制部24将拍摄图像的拍摄指令输出至第二相机10B和第四相机10D(S290)。其结果，第二相机10B基于拍摄指令，拍摄右拍摄图像。第二相机10B将拍摄到的右拍摄图像输出至控制部24。同样地，第四相机10D拍摄左拍摄图像，并将拍摄到的左拍摄图像输出至控制部24。
接着，控制部24从通过步骤S280的处理拍摄到的后方拍摄图像中的第三相机10C的后端探索范围(设置于左右的端部的各个区域)中，检测拍摄目标50(S300)。此时，控制部24判定在后方拍摄图像中的第三相机10C的后端探索范围中是否映出拍摄目标50。判定是否映出拍摄目标50的方法与上述的步骤S180的处理中的方法相同。因此，省略这里的详细说明。
控制部24判定是否能够从后方拍摄图像中的第三相机10C的后端探索范围中检测出拍摄目标50(S310)。其结果，控制部24在后方拍摄图像中的第三相机10C的后端探索范围内未映出拍摄目标50，而判定为检测失败的情况下(S310：否)，使校准处理移至后述的步骤S360的处理。此外，作为在后方拍摄图像中的第三相机10C的后端探索范围内未映出拍摄目标50的状况(无法检测的状况)，可考虑车辆5的后端未通过拍摄目标50之间的状况。
另一方面，控制部24在从后方拍摄图像中的第三相机10C的后端探索范围中成功检测出拍摄目标50的情况下(S310：是)，使校准处理移至步骤S320的处理。
控制部24从通过步骤S290的处理拍摄到的左拍摄图像中的第四相机10D的后方探索范围中，检测拍摄目标50(S320)。此时，控制部24判定在左拍摄图像中的第四相机10D的后方探索范围中是否映出有拍摄目标50。判定是否映出拍摄目标50的方法与上述的步骤S180的处理中的方法相同。因此，省略这里的详细说明。
控制部24判定是否能够从左拍摄图像中的第四相机10D的后方探索范围中检测出拍摄目标50(S330)。其结果，控制部24在左拍摄图像中的第四相机10D的后方探索范围内未映出拍摄目标50，而判定为检测失败的情况下(S330：否)，移至后述的步骤S360的处理。另一方面，控制部24在判定为从左拍摄图像中的第四相机10D的后方探索范围中成功检测出拍摄目标50的情况下(S330：是)，使校准处理移至步骤S340的处理。
控制部24从通过步骤S290的处理拍摄到的右拍摄图像中的第二相机10B的后方探索范围中，检测拍摄目标50(S340)。此时，控制部24判定在右拍摄图像中的第二相机10B的后方探索范围中是否映出拍摄目标50。判定是否映出拍摄目标50的方法与上述的步骤S180的处理中的方法相同。因此，省略这里的详细说明。
控制部24判定是否能够从右拍摄图像中的第二相机10B的后方探索范围中检测出拍摄目标50(S350)。其结果，控制部24在判定为从右拍摄图像中的第二相机10B的后方探索范围中成功检测出拍摄目标50的情况下(S350：是)，使校准处理移至后述的步骤S380的处理。另一方面，控制部24在右拍摄图像中的第二相机10B的后方探索范围内未映出拍摄目标50，而判定为检测失败的情况下(S350：否)，移至步骤S360的处理。
控制部24判定从开始步骤S280的处理起的经过时间是否经过了预先规定的第二规定时间(S360)。第二规定时间被规定为从车辆5的前端到达2个拍摄目标50之间到以速度阈值以下的行驶速度行驶的车辆5的后端通过2个拍摄目标50之间所需要的时间长度。
控制部24在判定为经过第二规定时间的情况下(S360：是)，结束本校准处理。在经过了第二规定时间的情况下，如上所述，由于车辆5的后端通过2个拍摄目标50之间，所以后没有从拍摄图像中检测出拍摄目标50的可能性。具体而言，没有从后方拍摄图像中的第三相机10C的后端探索范围、右拍摄图像中的第二相机10B的后方探索范围以及左拍摄图像中的第四相机10D的后方探索范围中，检测出拍摄目标50的可能性。因此，在本实施方式中，在没有检测出拍摄目标50的可能性的情况下，结束校准处理并再次执行。
另一方面，控制部24在判定为未经过第二规定时间的情况下(S360：否)，将第三错误信号输出至显示装置40(S370)。其结果，显示装置40显示基于第三错误信号的规定的错误信息，并对作业者报告所产生的错误(报告错误)。第三错误信号是表示后方拍摄图像、左拍摄图像以及右拍摄图像中的至少一个图像中未映出拍摄目标50的意思(无法从拍摄图像中检测出拍摄目标50的意思)的信号。显示装置40显示报告后方拍摄图像、左拍摄图像以及右拍摄图像中的至少一个图像中未映出拍摄目标50的意思的错误信息。
控制部24若将第三错误信号输出至显示装置40，则再次执行步骤S280的处理。由此，控制部24再次将拍摄指令输出至第三相机10C(S280)，并反复执行步骤S290以下的处理。
控制部24在从各拍摄图像的探索范围中成功检测出拍摄目标50的情况下(S350：是)，确定多个相机10各自的姿势参数中的俯仰Θ、侧倾Φ以及高度z。然后，控制部24将确定出的姿势参数(俯仰Θ、侧倾Φ以及高度z)存储至参数存储部22(S380)。
确定俯仰Θ、侧倾Φ以及高度z的方法例如日本专利第5299231号中所记载的那样是公知的。因此，省略这里的详细说明。
在本实施方式中，在步骤S380的处理中，也可以通过如下的方法来确定姿势参数(俯仰Θ、侧倾Φ以及高度z)。具体而言，控制部24对各拍摄图像进行射影变换。此外，在本实施方式中，射影变换为鸟瞰图变换。控制部24确定各相机10A、10B、10C、10D的俯仰Θ和侧倾Φ，以使在经过该射影变换(以下，为了方便称为“鸟瞰图变换”)后的图像中映出的拍摄目标50的形状与实际的拍摄目标50的形状一致。另外，控制部24确定各相机10A、10B、10C、10D的高度z，以使在鸟瞰图变换后的图像中映出的拍摄目标50中，与实际的拍摄目标50的形状一致的拍摄目标的大小与实际的拍摄目标50的大小一致。
接着，控制部24确定多个相机10各自的姿势参数中的x坐标、y坐标以及横摆Ψ。然后，控制部24将确定出的姿势参数(x坐标、y坐标以及横摆Ψ)存储至参数存储部22(S390)。
在本实施方式中，在步骤S390的处理中，也可以通过如下的方法来确定姿势参数(x坐标、y坐标以及横摆Ψ)。控制部24执行确定在各拍摄图像中映出的拍摄目标50的代表点的坐标的[步骤1]。代表点是在各拍摄图像中映出的拍摄目标50的代表性的位置。此外，在本实施方式中，将重心作为代表点。
然后，控制部24执行使用通过[步骤1]确定出的坐标，来计算如拍摄目标50的代表点的坐标一致的虚拟链接结构的[步骤2]。虚拟链接结构是将虚拟地连接在各拍摄图像中映出的拍摄目标50的代表点的线段作为链接而形成的结构。
进一步，控制部24执行在通过[步骤2]计算出的虚拟链接结构中，确定评价函数的评价值最小的链接角α的[步骤3]。然后，控制部24执行使用通过[步骤3]确定出的链接角α，来确定多个相机10各自的姿势参数中的x坐标、y坐标以及横摆Ψ的[步骤4]。
在[步骤1]中，作为确定在拍摄图像中映出的拍摄目标50的代表点的坐标的方法的一个例子，可举出使用在日本专利第5299231号中所记载的方法的方法。
以下参照图8详细叙述。首先，在以下的说明中，将以下的内容作为前提。在本说明中，将拍摄图像中映出的拍摄目标50的代表点中的在车辆5的前端到达2个拍摄目标50之间前由第一相机10A和第四相机10D双方拍摄的拍摄图像中映出的拍摄目标50的代表点设为M1。另外，在本说明中，将在拍摄图像中映出的拍摄目标50的代表点中的在车辆5的前端到达2个拍摄目标50之间前由第一相机10A和第二相机10B双方拍摄的拍摄图像中映出的拍摄目标50的代表点设为M2。
另外，在本说明中，将在拍摄图像中映出的拍摄目标50的代表点中的在车辆5的后端通过2个拍摄目标50之间后由第三相机10C和第二相机10B双方拍摄的拍摄图像中映出的拍摄目标50的代表点设为M3。另外，在本说明中，将在拍摄图像中映出的拍摄目标50的代表点中的在车辆5的后端通过2个拍摄目标50之间后由第三相机10C和第四相机10D双方拍摄的拍摄图像中映出的拍摄目标50的代表点设为M4。
而且，在本实施方式的校准处理中，通过以下的(1)式～(6)式求出M4。此外，在求M1～M4的过程中，沿着时间轴最后执行M4的导出。
[式1]
Figure GDA0002333256580000171
在这里，上述(1)式中的向量M4和向量M3分别是从多个相机10中的特定的相机的原点朝向M4、M3的向量。另外，向量M3M4是以M3为基点朝向M4的向量。
在本实施方式中，2个拍摄目标50以相对的位置关系固定的方式配置。因此，M3和M4的相对的位置关系与M1和M2的相对的位置关系相同。由此，能够将上述(1)式转换为下述(2)式。
[式2]
Figure GDA0002333256580000181
符号δ是向量M3M4和向量M2M1所成的角度。另外，向量M2M1是以M2为基点朝向M1的向量。
上述(2)式若将向量M4分为x成分和y成分，则用以下的(3)式和(4)式来表示。
[式3]
M4x＝M3x+cos(δ)(M1x-M2x)-sin(δ)(M1y-M2y) (3)
M4y＝M3y+sin(δ)(M1x-M2x)+cos(δ)(M1y-M2y) (4)
若用向量来表示在车辆5的前端到达2个拍摄目标50之间前的拍摄图像中映出的拍摄目标50中的2个顶点P1、P2，则为向量P1P2。另外，若用向量来表示与该拍摄目标50配置于相同的地点，在车辆5的后端通过2个拍摄目标50之间后的拍摄图像中映出的拍摄目标50中的2个顶点Q1、Q2，则为向量Q1Q2。
而且，符号δ与向量P1P2和向量Q1Q2所成的角相同。因此，COS(δ)通过下述(5)式来表示，SIN(δ)通过下述(6)式来表示。其中，下述(5)式中的符号L是一个拍摄目标50中的2个顶点间的长度。
[式4]
Figure GDA0002333256580000182
Figure GDA0002333256580000183
而且，若将通过上述(5)式表示的COS(δ)和通过上述(6)式表示的SIN(δ)代入上述(2)式，不用执行三角函数的运算，就能够导出M4。
在本实施方式中，[步骤2]、[步骤3]以及[步骤4]也可以使用公知的方法来实现。作为[步骤2]、[步骤3]以及[步骤4]的一个例子，可举出使用日本专利第5299231号所记载的方法的方法。
如以上那样，控制部24结束确定多个相机10各自的姿势参数(俯仰Θ、侧倾Φ、横摆Ψ、x坐标、y坐标、高度z)的校准处理。
[实施方式的效果]
在作为本公开的技术方面之一的本实施方式的校准处理中，起到如下的效果。
在本实施方式的校准处理中，能够在车辆5通过2个拍摄目标50之间前，获取由第一相机10A、第二相机10B以及第四相机10D拍摄到的每一个图像作为用于确定姿势参数的图像。进一步，在校准处理中，能够在车辆5通过2个拍摄目标50之间后，获取由第二相机10B、第三相机10C以及第四相机10D拍摄到的每一个图像作为用于确定姿势参数的图像。
即，在本实施方式的校准处理中，能够通过使车辆5行驶一定的距离(规定时间)这样的简易的方法，来获取校准的实施所需要的图像。
进一步，在校准处理中，用于实施校准的信息只是由相机10拍摄到的图像即可，无需车辆5的旋转角等其他信息。
换句话说，在本实施方式的校准处理中，即使在车辆5未安装旋转角传感器的情况下，也能够实施校准。
像这样，对于本公开的技术而言，在导出相机10的姿势参数的技术中，能够进一步提高实施校准的自由度。
另外，在本实施方式的校准处理中，在无法从拍摄图像中检测出拍摄目标50的情况下，报告该意思。
换句话说，在校准处理中，能够向利用校准装置20的作业者报告无法获取实施校准所需要的图像。由此，作业者能够意识到实施校准所需要的信息不足的问题，并能够提早应对该问题。
进一步，在本实施方式的校准处理中，对各拍摄图像设定规定有探索的范围的规定的探索范围。而且，在校准处理中，仅探索对各拍摄图像设定的探索范围，并执行是否映出拍摄目标50(是否包含有拍摄目标50)的判定。
由此，在本实施方式的校准处理中，能够减轻在各拍摄图像上是否映出拍摄目标50的判定所需要的处理量。
另外，在本实施方式的校准处理中，仅在行驶速度为规定速度以下的情况下(行驶速度的值为速度阈值以下的情况下)，判定在多个相机10各自的拍摄图像上是否映出拍摄目标50。
换句话说，在校准处理中，能够在车辆5以低速行驶的情况下获取拍摄图像并实施校准。由此，在本实施方式的校准处理中，能够提高校准的精度。
另外，在本实施方式的校准处理中，在行驶速度比规定速度快的情况下(行驶速度的值大于速度阈值的情况下)，报告该意思。由此，本实施方式的校准装置20的利用者(作业者)能够意识到由于行驶速度比规定速度快，所以无法高精度地实施校准的问题，并能够提早应对该问题。
另外，在本实施方式的校准处理中，在步骤S390的处理中，不用执行三角函数的运算，来实现拍摄目标50的代表点M4的导出。
由此，在本实施方式的校准处理中，能够减轻在拍摄图像中映出的拍摄目标50的代表点M4的导出所需要的处理量。
[其他实施方式]
以上，对作为本公开的技术方面之一的实施方式进行了说明，但本公开并不限定于上述实施方式。本公开的技术能够在不脱离本公开的主旨的范围内，以各种方式来实施。
例如，在上述实施方式中，将在车辆5行驶在配置为距离车辆5的宽度空出间隔的2个拍摄目标50之间期间所拍摄到的图像作为为了实施校准所需要的图像。为了实施校准所需要的图像并不限于此。
确定姿势参数所使用的图像也可以是通过如下的方法拍摄到的图像。例如，利用第一相机10A、第二相机10B以及第四相机10D对位于车辆5的前方的拍摄目标50进行拍摄所得到的各图像也可以是在不使车辆5移动停止的状态下，对配置于车辆5的前方的拍摄目标50进行拍摄所得到的图像。另外，利用第二相机10B、第三相机10C以及第四相机10D对位于车辆5的后方的拍摄目标50进行拍摄所得到的各图像也可以是在使与配置于车辆5的前方的拍摄目标50相同的拍摄目标50向车辆5的后方移动，并在不使车辆5移动停止的状态下，对配置于车辆5的后方的拍摄目标进行拍摄所得到的图像。此外，在使拍摄目标50从车辆5的前方向后方移动的情况下，优选2个拍摄目标50的相对的位置关系与配置于车辆5的前方的情况下的相对的位置关系相同。
像这样，通过利用上述的方法，获取确定姿势参数所使用的图像，能够使为了确定姿势参数所需要的作业区域的面积(作业空间的宽度)成为最小限度。即，首先，利用第一相机10A、第二相机10B以及第四相机10D对位于车辆5的前方的拍摄目标50进行拍摄。然后，使车辆5前进到配置有拍摄目标50的位置。而且，将拍摄目标50配置于车辆5的后方。利用第二相机10B、第三相机10C以及第四相机10D对位于车辆5的后方的拍摄目标50进行拍摄。由此，能够容易地确保在车辆5的制造阶段、由汽车经销商进行的维修阶段确定姿势参数所需要的水平面方向上的作业区域。
另外，在上述实施方式中，在校准处理中，执行确认车辆5的行驶速度的处理(步骤S110至S130的处理)。在校准处理中，也可以省略确认车辆5的行驶速度的处理。
此外，省略了上述实施方式的结构的一部分的方式也是本公开的技术方面的一个实施方式。另外，对上述实施方式和变形例适当地进行组合而构成的方式也是本公开的技术方面的一个实施方式。另外，根据本公开的目的确定的技术思想(技术范围)所包含的所有的方式也是本公开的技术方面的一个实施方式。
附图标记说明
1…校准系统；5…车辆；10…相机(10A：第一相机，10B：第二相机，10C：第三相机，10D：第四相机)；14…输入装置；20…校准装置；22…参数存储部；24…控制部；26…ROM；28…RAM；30…CPU；40…显示装置；50…拍摄目标。

Claims (9)

1.一种校准装置，是确定搭载于车辆的多个相机(10)各自的姿势参数的校准装置(20)，
上述多个相机搭载于上述车辆，以便对在上述车辆的周边规定的相互不同的区域且具有彼此的区域部分重叠的重叠区域的规定区域进行拍摄，
上述多个相机包含拍摄上述车辆的前方的第一相机(10A)、拍摄上述车辆的右侧方的第二相机(10B)、拍摄上述车辆的后方的第三相机(10C)以及拍摄上述车辆的左侧方的第四相机(10D)，
上述校准装置(20)具备：
图像获取部(20、S140～S370)，获取由上述多个相机各自拍摄到的各图像；
第一确定部(20、S380)，将形状和大小已知的部件作为拍摄目标(50)，并对由上述图像获取部获取到的各图像的上述重叠区域中映出的上述拍摄目标进行射影变换，并确定上述多个相机各自的姿势参数中的表示围绕该相机的透镜中心轴的旋转角的侧倾、表示围绕该相机的水平轴的旋转角的俯仰以及沿着上述车辆的车高方向的坐标亦即高度，以使变换结果与上述拍摄目标的形状和大小一致；以及
第二确定部(20、S390)，确定上述多个相机各自的姿势参数中的沿着上述车辆的全长方向的坐标亦即x坐标、沿着上述车辆的车宽度方向的坐标亦即y坐标以及表示围绕与上述车辆的水平面正交的轴的旋转角的横摆，以使虚拟链接结构中的一个链接角最小，上述虚拟链接结构是如下的结构：将虚拟地连接由上述图像获取部获取到的各图像中映出的上述拍摄目标的代表点的线段作为链接而形成，且映出在相互不同的图像的上述重叠区域中，并使位于同一地点的上述拍摄目标的代表点一致，
上述图像获取部具备：
第一获取部(20、S160、S170)，在上述车辆的行驶速度的值为预先规定的速度阈值以下的情况下，获取利用上述第一相机、上述第二相机以及上述第四相机对位于上述车辆的前方的上述拍摄目标进行拍摄所得到的各图像；和
第二获取部(20、S280、S290)，在上述车辆的行驶速度的值为预先规定的速度阈值以下的情况下，获取利用上述第二相机、上述第三相机以及上述第四相机对位于上述车辆的后方的上述拍摄目标进行拍摄所得到的各图像中与通过上述第一获取部获取到的图像不同的图像，
上述第一确定部和上述第二确定部将通过上述第一获取部获取到的图像和通过上述第二获取部获取到的图像作为通过上述图像获取部获取到的各图像，来确定上述多个相机各自的姿势参数。
2.根据权利要求1所述的校准装置，其中，
上述拍摄目标被配置为比上述车辆的宽度还空出间隔，
上述第一获取部在上述车辆通过上述拍摄目标之间前，获取通过上述第一相机、上述第二相机以及上述第四相机拍摄到的各图像，
上述第二获取部在上述车辆通过上述拍摄目标之间后，获取通过上述第二相机、上述第三相机以及上述第四相机拍摄到的各图像。
3.根据权利要求1或者2所述的校准装置，其中，
上述图像获取部具备：
第一判定部(20、S180～S230、S300～S350)，判定在由上述多个相机各自拍摄到的各图像中是否映出上述拍摄目标；和
第一报告部(20、S250、S370)，在通过上述第一判定部判定为未映出上述拍摄目标的情况下，报告未映出上述拍摄目标的意思。
4.根据权利要求3所述的校准装置，其中，
具备范围设定部(20、S140、S150、S260、S270)，设定执行作为在上述多个相机各自的拍摄图像中是否映出上述拍摄目标的判定的对象区域的探索范围，
上述第一判定部判定在由上述范围设定部设定的探索范围内是否映出上述拍摄目标。
5.根据权利要求3所述的校准装置，其中，具备：
速度获取部(20、S110)，获取上述车辆的行驶速度；和
第二判定部(20、S120)，判定由上述速度获取部获取到的行驶速度的值是否为预先规定的上述速度阈值以下，
在通过上述第二判定部判定为上述行驶速度的值为上述速度阈值以下的情况下，上述第一判定部判定在由上述多个相机各自拍摄到的各图像中是否映出上述拍摄目标。
6.根据权利要求5所述的校准装置，其中，
具备第二报告部(20、S130)，在通过上述第二判定部判定为上述行驶速度的值大于上述速度阈值的情况下，报告上述行驶速度的值大于上述速度阈值的意思。
7.根据权利要求1或2所述的校准装置，其中，
作为由上述第一获取部获取的图像的拍摄对象的上述拍摄目标和作为由上述第二获取部获取的图像的拍摄对象的上述拍摄目标相互被配置为同一位置关系，
上述第二确定部依次确定在由上述图像获取部获取到的各图像的上述重叠区域中映出的上述拍摄目标各自的代表点的位置，
使确定出的代表点与位于同一地点的上述拍摄目标一致来形成上述虚拟链接结构，
在确定在上述重叠区域中映出的上述拍摄目标各自的代表点中的沿着时间轴最后的拍摄目标的代表点的位置的情况下，基于该最后的拍摄目标的代表点的位置，来确定上述多个相机各自的姿势参数中的上述x坐标、上述y坐标以及上述横摆。
8.一种校准方法，是确定搭载于车辆的多个相机(10)各自的姿势参数的校准装置(20)执行的校准方法，
上述多个相机搭载于上述车辆，以便对在上述车辆的周边规定的相互不同的区域且具有彼此的区域部分重叠的重叠区域的规定区域进行拍摄，
上述多个相机包含拍摄上述车辆的前方的第一相机(10A)、拍摄上述车辆的右侧方的第二相机(10B)、拍摄上述车辆的后方的第三相机(10C)以及拍摄上述车辆的左侧方的第四相机(10D)，
上述校准方法包括：
图像获取步骤(S140～S350)，获取由上述多个相机各自拍摄到的各图像；
第一确定步骤(S380)，将形状和大小已知的部件作为拍摄目标(50)，并对通过上述图像获取步骤获取到的各图像的上述重叠区域中映出的上述拍摄目标进行射影变换，并确定上述多个相机各自的姿势参数中的表示围绕该相机的透镜中心轴的旋转角的侧倾、表示围绕该相机的水平轴的旋转角的俯仰以及沿着上述车辆的车高方向的坐标亦即高度，以使变换结果与上述拍摄目标的形状和大小一致；以及
第二确定步骤(S390)，确定上述多个相机各自的姿势参数中的沿着上述车辆的全长方向的坐标亦即x坐标、沿着上述车辆的车宽度方向的坐标亦即y坐标以及表示围绕与上述车辆的水平面正交的轴的旋转角的横摆，以使虚拟链接结构中的一个链接角最小，上述虚拟链接结构是如下的结构：将虚拟地连接通过上述图像获取步骤获取到的各图像中映出的上述拍摄目标的代表点的线段作为链接而形成，且映出在相互不同的图像的上述重叠区域中，并使位于同一地点的上述拍摄目标的代表点一致，
上述图像获取步骤包含：
第一获取步骤(S160、S170)，在上述车辆的行驶速度的值为预先规定的速度阈值以下的情况下，获取利用上述第一相机、上述第二相机以及上述第四相机对位于上述车辆的前方的上述拍摄目标进行拍摄所得到的图像；和
第二获取步骤(S280、S290)，在上述车辆的行驶速度的值为预先规定的速度阈值以下的情况下，获取在利用上述第二相机、上述第三相机以及上述第四相机对位于上述车辆的后方的上述拍摄目标进行拍摄所得到的各图像中，与通过上述第一获取步骤获取到的图像不同的图像，
上述第一确定步骤和上述第二确定步骤将通过上述第一获取步骤获取到的各图像和通过上述第二获取步骤获取到的各图像作为通过上述图像获取步骤获取到的各图像，来确定上述多个相机各自的姿势参数。
9.一种记录介质，是计算机能够读取的记录介质，
在确定搭载于车辆的多个相机(10)各自的姿势参数的校准方法中，
上述多个相机搭载于上述车辆，以便对在上述车辆的周边规定的相互不同的区域且具有彼此的区域部分重叠的重叠区域的规定区域进行拍摄，
上述多个相机包含拍摄上述车辆的前方的第一相机(10A)、拍摄上述车辆的右侧方的第二相机(10B)、拍摄上述车辆的后方的第三相机(10C)以及拍摄上述车辆的左侧方的第四相机(10D)，
上述校准方法包括：
图像获取步骤(S140～S350)，获取由上述多个相机各自拍摄到的各图像；
第一确定步骤(S380)，将形状和大小已知的部件作为拍摄目标(50)，并对通过上述图像获取步骤获取到的各图像的上述重叠区域中映出的上述拍摄目标进行射影变换，并确定上述多个相机各自的姿势参数中的表示围绕该相机的透镜中心轴的旋转角的侧倾、表示围绕该相机的水平轴的旋转角的俯仰以及沿着上述车辆的车高方向的坐标亦即高度，以使变换结果与上述拍摄目标的形状和大小一致；以及
第二确定步骤(S390)，确定上述多个相机各自的姿势参数中的沿着上述车辆的全长方向的坐标亦即x坐标、沿着上述车辆的车宽度方向的坐标亦即y坐标以及表示围绕与上述车辆的水平面正交的轴的旋转角的横摆，以使虚拟链接结构中的一个链接角最小，上述虚拟链接结构是如下的结构：将虚拟地连接通过上述图像获取步骤获取到的各图像中映出的上述拍摄目标的代表点的线段作为链接而形成，且映出在相互不同的图像的上述重叠区域中，并使位于同一地点的上述拍摄目标的代表点一致，
上述图像获取步骤包括：
第一获取步骤(S160、S170)，在上述车辆的行驶速度的值为预先规定的速度阈值以下的情况下，获取利用上述第一相机、上述第二相机以及上述第四相机对位于上述车辆的前方的上述拍摄目标进行拍摄所得到的图像；和
第二获取步骤(S280、S290)，在上述车辆的行驶速度的值为预先规定的速度阈值以下的情况下，获取利用上述第二相机、上述第三相机以及上述第四相机对位于上述车辆的后方的上述拍摄目标进行拍摄所得到的各图像中与通过上述第一获取步骤获取到的图像不同的图像，
在上述校准方法中，上述第一确定步骤和上述第二确定步骤将通过上述第一获取步骤获取到的各图像和通过上述第二获取步骤获取到的各图像作为通过上述图像获取步骤获取到的各图像，来确定上述多个相机各自的姿势参数，
上述记录介质存储有用于使计算机执行上述校准方法的步骤的程序。
CN201680045014.2A 2015-08-05 2016-07-15 校准装置、校准方法以及计算机能够读取的记录介质 Active CN107852482B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-155037 2015-08-05
JP2015155037A JP6413974B2 (ja) 2015-08-05 2015-08-05 キャリブレーション装置、キャリブレーション方法、及びプログラム
PCT/JP2016/070939 WO2017022452A1 (ja) 2015-08-05 2016-07-15 キャリブレーション装置、キャリブレーション方法、及び、キャリブレーションプログラム

Publications (2)

Publication Number Publication Date
CN107852482A CN107852482A (zh) 2018-03-27
CN107852482B true CN107852482B (zh) 2020-03-31

Family

ID=57942931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680045014.2A Active CN107852482B (zh) 2015-08-05 2016-07-15 校准装置、校准方法以及计算机能够读取的记录介质

Country Status (5)

Country Link
US (1) US10546380B2 (zh)
JP (1) JP6413974B2 (zh)
CN (1) CN107852482B (zh)
DE (1) DE112016003549T5 (zh)
WO (1) WO2017022452A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6536529B2 (ja) * 2016-10-17 2019-07-03 株式会社デンソー 車載カメラのキャリブレーション装置及び車載カメラのキャリブレーション方法
US10911745B2 (en) * 2016-12-28 2021-02-02 Texas Instruments Incorporated Calibration of a surround view camera system
DE102018208512A1 (de) * 2018-05-29 2019-12-05 Siemens Aktiengesellschaft Kalibrierungsverfahren und Kalibrierungssystem für eine Bahnfahrzeugkamera und Bahnfahrzeug mit Bahnfahrzeugkamera
JP7098493B2 (ja) * 2018-09-25 2022-07-11 本田技研工業株式会社 センサ軸調整方法
KR102613098B1 (ko) * 2019-01-23 2023-12-12 한화비전 주식회사 이미지 센서 모듈
JP7251310B2 (ja) * 2019-05-22 2023-04-04 株式会社Ｊｖｃケンウッド カメラ位置検出装置、カメラユニット、カメラ位置検出方法、及びプログラム
JP7243478B2 (ja) * 2019-06-24 2023-03-22 トヨタ自動車株式会社 車両用情報記録装置
CN110296691B (zh) * 2019-06-28 2020-09-22 上海大学 融合imu标定的双目立体视觉测量方法与系统
KR102297683B1 (ko) * 2019-07-01 2021-09-07 (주)베이다스 복수의 카메라들을 캘리브레이션하는 방법 및 장치
CN110443854A (zh) * 2019-08-05 2019-11-12 兰州交通大学 基于固定靶标的无公共视场相机间相对位姿标定方法
KR102277828B1 (ko) * 2019-08-13 2021-07-16 (주)베이다스 복수의 카메라들을 캘리브레이션하는 방법 및 장치
CN112446904B (zh) * 2019-08-30 2024-04-09 西安诺瓦星云科技股份有限公司 图像对齐方法、装置和系统
CN113379834A (zh) * 2021-06-29 2021-09-10 深圳中科飞测科技股份有限公司 检测设备的校准方法、装置、设备及计算机可读存储介质

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3968375B2 (ja) * 2005-02-15 2007-08-29 松下電器産業株式会社 周辺監視装置および周辺監視方法
US7576639B2 (en) * 2006-03-14 2009-08-18 Mobileye Technologies, Ltd. Systems and methods for detecting pedestrians in the vicinity of a powered industrial vehicle
US8004394B2 (en) * 2006-11-07 2011-08-23 Rosco Inc. Camera system for large vehicles
JP2009294109A (ja) * 2008-06-05 2009-12-17 Fujitsu Ltd キャリブレーション装置
JP5299231B2 (ja) * 2009-11-17 2013-09-25 富士通株式会社 キャリブレーション装置
DE102009055776A1 (de) * 2009-11-25 2011-05-26 Conti Temic Microelectronic Gmbh Verfahren zur Schätzung des Rollwinkels in einem fahrenden Fahrzeug
JP5491235B2 (ja) * 2010-03-02 2014-05-14 東芝アルパイン・オートモティブテクノロジー株式会社 カメラキャリブレーション装置
JP2011217233A (ja) * 2010-04-01 2011-10-27 Alpine Electronics Inc 車載カメラ校正システム及びコンピュータプログラム
TW201226237A (en) * 2010-12-16 2012-07-01 Weltrend Semiconductor Inc Calibration circuit for automatically calibrating a view image around a car and method thereof
JP5858045B2 (ja) * 2011-09-13 2016-02-10 トヨタ自動車株式会社 車載カメラの光軸把握装置
JP5971939B2 (ja) * 2011-12-21 2016-08-17 アルパイン株式会社 画像表示装置、画像表示装置における撮像カメラのキャリブレーション方法およびキャリブレーションプログラム
JP5915268B2 (ja) * 2012-03-05 2016-05-11 富士通株式会社 パラメータ算出方法、情報処理装置及びプログラム
JP5820787B2 (ja) * 2012-08-30 2015-11-24 株式会社デンソー 画像処理装置、及びプログラム
JP6009894B2 (ja) * 2012-10-02 2016-10-19 株式会社デンソー キャリブレーション方法、及びキャリブレーション装置
US9723272B2 (en) * 2012-10-05 2017-08-01 Magna Electronics Inc. Multi-camera image stitching calibration system
US10179543B2 (en) * 2013-02-27 2019-01-15 Magna Electronics Inc. Multi-camera dynamic top view vision system
CN103200392A (zh) * 2013-03-29 2013-07-10 天津大学 一种基于视角变换的车载视频稳像方法
JP6349637B2 (ja) * 2013-07-11 2018-07-04 株式会社デンソー 車両用画像合成装置
JP6277652B2 (ja) 2013-09-30 2018-02-14 株式会社デンソー 車両周辺画像表示装置及びカメラの調整方法
JP6232994B2 (ja) * 2013-12-16 2017-11-22 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
DE112014006597T5 (de) * 2014-04-17 2017-04-06 Mitsubishi Electric Corporation Fahrzeugmontierte Vorrichtung
US20160191795A1 (en) * 2014-12-30 2016-06-30 Alpine Electronics, Inc. Method and system for presenting panoramic surround view in vehicle

Also Published As

Publication number Publication date
DE112016003549T5 (de) 2018-04-19
US10546380B2 (en) 2020-01-28
CN107852482A (zh) 2018-03-27
WO2017022452A1 (ja) 2017-02-09
JP2017032483A (ja) 2017-02-09
JP6413974B2 (ja) 2018-10-31
US20180232893A1 (en) 2018-08-16

Similar Documents

Publication Publication Date Title
CN107852482B (zh) 校准装置、校准方法以及计算机能够读取的记录介质
US9672630B2 (en) Contour line measurement apparatus and robot system
JP6594039B2 (ja) 画像処理装置、方法及びプログラム
JP2006252473A (ja) 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
JP4958279B2 (ja) 物体検出装置
JP2006071471A (ja) 移動体高さ判別装置
WO2012086188A1 (ja) カメラ装置、画像処理システム、画像処理方法および画像処理プログラム
JP7077910B2 (ja) 区画線検出装置及び区画線検出方法
US20180150969A1 (en) Information processing device, measuring apparatus, system, calculating method, storage medium, and article manufacturing method
US11625842B2 (en) Image processing apparatus and image processing method
JP5783567B2 (ja) 直線検出装置、直線検出方法、直線検出プログラム及び撮影システム
JP5828024B2 (ja) ３次元測定装置
WO2021111531A1 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP4853444B2 (ja) 移動物体検出装置
JP5858773B2 (ja) ３次元計測方法、３次元計測プログラム及びロボット装置
JP2009216503A (ja) 三次元位置姿勢計測方法および装置
EP3640585B1 (en) Stereo camera device
JP6536529B2 (ja) 車載カメラのキャリブレーション装置及び車載カメラのキャリブレーション方法
US11571125B2 (en) Line-of-sight measurement device
JP2021110630A (ja) 検出器の姿勢・位置検出システムおよび検出器の姿勢・位置検出方法
JP4026641B2 (ja) 物体検出装置、および物体検出方法
JP2021033605A (ja) 画像処理装置、および、画像処理方法
JP6241083B2 (ja) 撮像装置及び視差検出方法
CN110570680A (zh) 利用地图信息确定对象位置的方法和系统
JP7311407B2 (ja) 姿勢推定装置、および、姿勢推定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant