CN104641394B - 图像处理装置及图像处理方法 - Google Patents

Abstract

图像处理装置包括拍摄图像输入部(S135)、校正对象确定部(S145)、车辆信息输入部(S140)、计算部(S160)和存储控制部(S165)。上述拍摄图像输入部输入由搭载于车辆的照相机拍摄的多个图像。上述校正对象确定部确定在车辆行驶的两地点拍摄的第1拍摄图像和第2拍摄图像中包含的相同的校正对象。上述车辆信息输入部输入能够确定上述车辆的行驶距离及朝向变化的信息。上述计算部将上述第1拍摄图像和上述第2拍摄图像分别变换为第1俯瞰图像和第2俯瞰图像，使变换后的各俯瞰图像反映各自的拍摄位置及拍摄方向而配置到共通的坐标系上，计算上述照相机的至少1个姿态参数的值，以使得第1俯瞰图像和第2俯瞰图像的位置差及旋转差变小。上述存储控制部使存储部存储上述姿态参数的值。

Description

图像处理装置及图像处理方法

相关申请的交叉引用

本申请基于2012年8月30日申请的日本国申请号2012－190056号，此处引用其记载内容。

技术领域

本申请涉及进行有关在车辆中使用的照相机的设置的校准的图像处理装置和包含用来进行校准的命令的存储介质。

背景技术

以往，作为进行有关搭载在车上的照相机的设置的校准的技术，已知有以下的技术。即，已知有从由照相机拍摄的两个图像帧中提取表示相同的地点的特征点、计算照相机的姿态以使该特征点表示的地点的世界坐标系上的移动量相对于根据本车的车速计算出的本车的移动量的误差为最小的技术(例如专利文献1)。

但是，上述技术在两个方面存在问题。第一个是上述技术没有考虑到车辆的偏转(偏摆、偏航)方向的移动，所以测量者必须正确地使车辆直线前进，有给测量者强加负担的问题。第二个是作为执行校准的场所，必须是能够取得充分的直线距离的场所、所以存在对于能够执行校准的场所有限制的问题。

现有技术文献

专利文献

专利文献1：特开2011－217233号公报

发明内容

本申请是鉴于上述问题点而做出的，其目的是提供一种即使不使车辆直线前进也能够计算出照相机的姿态参数的值的图像处理装置和存储介质。

本申请的第一方式的图像处理装置包括拍摄图像输入部、校正对象确定部、车辆信息输入部、计算部和存储控制部。上述拍摄图像输入部输入由搭载在车辆上的照相机拍摄的多个图像。上述校正对象确定部在由上述拍摄图像输入部输入的、在车辆行驶的至少两地点拍摄的第1拍摄图像和第2拍摄图像中，确定共同地包含的相同的校正对象。上述车辆信息输入部输入能够确定上述车辆的行驶距离及朝向变化的信息。上述计算部将包含上述校正对象的第1拍摄图像和第2拍摄图像分别变换为第1俯瞰(鸟瞰)图像和第2俯瞰(鸟瞰)图像，使变换后的各俯瞰图像反映根据上述车辆信息输入部输入的信息所确定的上述第1拍摄图像和上述第2拍摄图像各自的拍摄位置及拍摄方向而配置到共同的坐标系上，以使在上述第1俯瞰图像和上述第2俯瞰图像中上述校正对象的位置差及旋转差变小的方式计算上述照相机的至少1个姿态参数的值。上述存储控制部使存储部存储由上述计算部计算出的上述姿态参数的值。

根据上述装置，即使在车辆的移动中包含旋转，也计算出反映车辆的移动中包含旋转的照相机的姿态参数的值。即，在测量时既可以使车辆转弯也可以使其直线前进，因此能够容易地进行测量。

本申请的第二方式的图像处理方法，包括以下步骤：输入由搭载在车辆上的照相机拍摄的多个图像；在车辆行驶的至少两地点拍摄的第1拍摄图像和第2拍摄图像中，确定共同地包含的相同的校正对象；输入能够确定上述车辆的行驶距离及朝向变化的信息；将包含上述校正对象的上述第1拍摄图像和上述第2拍摄图像分别变换为第1俯瞰图像和第2俯瞰图像；使各俯瞰图像反映根据能够确定上述车辆的行驶距离及朝向变化的信息所确定的上述第1拍摄图像和上述第2拍摄图像各自的拍摄位置及拍摄方向而配置到共同的坐标系上；以使在上述第1俯瞰图像和上述第2俯瞰图像中上述校正对象的位置差及旋转差变小的方式计算上述照相机的至少1个姿态参数的值；将上述计算出的上述姿态参数的值存储。

根据上述存储介质，即使在车辆的移动中包含旋转，也计算出反映车辆的移动中包含旋转的照相机的姿态参数的值。即，在测量时既可以使车辆转弯也可以使其直线前进，因此能够容易地进行测量。

本申请的第三方式的图像处理装置包括拍摄图像输入部、校正对象确定部、车辆信息输入部、位置关系取得部、计算部和存储控制部。拍摄图像输入部将由搭载在车辆上的照相机拍摄的第1拍摄图像、和在第1拍摄图像被拍摄且车辆行驶后所拍摄的第2拍摄图像输入至图像处理装置。校正对象确定部确定由拍摄图像输入部输入的第1拍摄图像中所包含的第1校正对象、和包含在第2拍摄图像中、与第1校正对象相同形状的第2校正对象。车辆信息输入部输入能够确定将第1拍摄图像拍摄的地点和将第2拍摄图像拍摄的地点间的车辆的行驶距离及朝向变化的信息。位置关系取得部取得第1校正对象和第2校正对象的相对的位置关系。计算部将第1拍摄图像和第2拍摄图像分别变换为第1俯瞰图像和第2俯瞰图像，使变换后的各俯瞰图像反映根据车辆信息输入部输入的信息所确定的第1拍摄图像和第2拍摄图像各自的拍摄位置及拍摄方向而配置到共同的坐标系上。然后，计算部基于位置关系取得部取得的第1校正对象和第2校正对象的相对的位置关系，以使在共同的坐标系中第1校正对象与第2校正对象重合、第1校正对象与第2校正对象的位置差及旋转差变小的方式计算照相机的至少1个姿态参数的值。存储控制部使存储部存储由计算部计算出的姿态参数的值。

根据上述装置，即使在车辆的移动中包含旋转，也计算反映车辆的移动中包含旋转的照相机的姿态参数的值。即，在测量时既可以使车辆转弯也可以使其直线前进，因此能够容易地进行测量。

附图说明

关于本申请的上述目的及其他目的、特征及优点一边参照附图一边通过下述详细的记述会变得更明确。其附图如下。

图1是表示实施方式的图像处理系统的概略结构的框图。

图2中(A)是表示照相机对车辆的安装位置的说明图，图2中(B)是用来说明照相机的安装位置的坐标及照相机的光轴的方向的说明图。

图3是用来说明姿态参数决定处理的流程图。

图4中(A)是拍摄的既定校正对象的俯瞰图像，图4中(B)是理想的既定校正对象。

图5中(A)是第一时点的疑似校正对象的俯瞰图像，图5中(B)是第二时点的疑似校正对象的俯瞰图像，图5中(C)是将第一时点的疑似校正对象的俯瞰图像和第二时点的疑似校正对象的俯瞰图像配置到世界坐标系上的图像。

具体实施方式

以下，使用附图说明适用了本申请的实施方式。

[结构的说明]

如图1所示，本实施方式的图像处理系统(IMAG PROC SYS)5具备车载照相机(VHCAMERA、VH照相机)11、图像处理装置(IMAG PROC)21和显示装置(DISPLAY、显示器)31。

车载照相机11具有搭载于车辆的电荷结合元件(CCD)及互补性金属氧化膜半导体(CMOS)等的摄像元件，拍摄车辆周边，将该拍摄图像以规定频度(例如1秒60帧)向图像处理装置21输出。在本实施方式中，如图2中(A)所示，设置在车辆7的后端的上部，设置为，能够拍摄车辆的后方周边。虽然后面进行了叙述，但也可以是追加或替换地设置拍摄车辆的前方周边的照相机或拍摄侧方周边的照相机。

这里，使用图2中(A)对在本实施方式中使用的世界坐标系进行说明。本实施方式的世界坐标系的原点以在以下说明的姿态参数决定处理的S150中选择的两个拍摄图像中的在较早的时间所拍摄的拍摄图像的拍摄时点的车载照相机11的位置为基准。即，将从该拍摄时点的车载照相机11的未图示的摄像元件的中央位置R(照相机视点R)向地表面引下的垂线与地表面的交点作为原点Q，将车辆后方设定为y方向，将车辆上方设定为z方向，在从车辆中央观察车辆后方的情况下将右方向设定为x方向。

接着，使用图2中(B)对车载照相机11的姿态参数进行说明。设定以上述照相机视点R为原点R的照相机坐标系(x1，y1，z1)，关于该照相机坐标系，设绕世界坐标的x轴的旋转角为Ax，设绕世界坐标的y轴的旋转角为Ay(未图示)，设绕世界坐标的z轴的旋转角为Az(未图示)。另外，Ax对应于俯仰角(pitch angle)，Ay对应于横滚角(roll angle)，Az对应于偏转角(yaw angle)。

即，车载照相机11的姿态参数以世界坐标系为基准，包括照相机坐标系的原点R的坐标(在测量开始时点是(0，0，H))、俯仰角Ax、横滚角Ay和偏转角Az。将以世界坐标系为基准的照相机坐标系的原点R的x方向的位置或y方向的位置的至少某一个也称作照相机11的水平方向的安装位置。将以世界坐标系为基准的照相机坐标系的原点R的z方向位置也称作铅直方向的安装位置。此外，姿态参数的俯仰角Ax也称作安装俯仰角，横滚角Ay也称作安装横滚角，偏转角Az也称作安装偏转角。安装偏转角表示车载照相机11的水平方向的摆头角(日语：首振角)，安装俯仰角表示铅直方向的摆头角。并且，使用通过过去的测量而清楚的这些值(坐标及角度)进行以下说明的处理，将这些值校正。

将说明返回至图1，显示装置31由液晶显示器或有机EL显示器构成，能够基于由车载照相机11拍摄的拍摄图像将由图像处理装置21处理的图像显示。

图像处理装置21具备图像存储部(IMAG STOR)22、传感器信息输入部(SENS INFOINPUT)23、操作部(OPERATE)24、存储部(STORAGE)25及控制部(CONTROL)26。

图像存储部22由DRAM等的存储设备构成，将从车载照相机11依次输出的拍摄图像存储规定时间量(例如过去10秒的量)。

传感器信息输入部23是将从车速脉冲传感器等得到的能够掌握车辆的移动距离的移动距离信息、和从转向角传感器或陀螺仪等得到的能够掌握车辆的旋转角的旋转信息输入的输入接口。这些信息(SENS INFO)既可以从对应的传感器直接输入，也可以从别的信息处理装置(ECU)等取得。

操作部24由设在显示装置31的显示面上的触摸面板、和设置在显示装置31的周围等的机械的键开关构成，是能够由驾驶者等输入各种操作指示的设备。

存储部25由闪存存储器等的非易失性的存储设备构成，是用来将车载照相机11的上述姿态参数、控制部26执行的程序、后述的既定校正对象的色彩信息及形状信息存储的设备。另外，使用存储在存储部25中的姿态参数，进行车载照相机11拍摄的影像的处理(例如向俯瞰图像的变换)。此外，该姿态参数也被用于警告因车辆的振动等的理由而使车载照相机11的安装位置或安装角度变得异常时的判断。

控制部26通过由CPU、RAM、ROM及I/O等形成的微型计算机构成，将存储部25存储的程序读入而执行各种处理。

[动作的说明]

接着，对图像处理装置21的动作进行说明。以下，以关于本申请的处理为中心进行说明，对于以往以来周知的用来使显示装置将该手的车载照相机11拍摄的拍摄图像显示的处理(例如为了辅助车入库而将拍摄图像变换为俯瞰图像、将车轮的预测轨跡等合成而使显示装置显示的处理等)省略说明。

使用图3对图像处理装置21的控制部26执行的姿态参数决定处理进行说明。姿态参数决定处理在车辆停止的状态下测量者将操作部24操作而输入了意味着姿态参数的更新的指示时、从存储部25将程序读入到控制部26中而开始执行。另外，在测量者指示时，可以选择将全部的姿态参数更新(完全更新)，或将一部分更新(一部分更新)。在选择全部更新的情况下，必须事前将既定校正对象设置到车载照相机11的拍摄范围中而输入执行指示。作为既定校正对象，是以在测量中使用为目的的对象，例如可以举出几十厘米边长的正方形状的面板(panel)。

控制部26如果开始姿态参数决定处理的执行，则首先在姿态参数决定处理的开始时，根据是否被从测量者指示了完全更新而将处理分支(S105)。在被指示了完全更新的情况下将处理向S110转移，在被指示了一部分更新的情况下将处理向S125转移。

在被指示了完全更新的情况下前进到的S110中，控制部26使车载照相机11所拍摄的拍摄图像且图像存储部22所存储的包含既定校正对象的最新的拍摄图像输入1帧。包含该既定校正对象的图像也称作第3拍摄图像。

接着，控制部26决定上述姿态参数中的俯仰角、横滚角及照相机视点的坐标的高度H(z坐标)，以使在S110中读入的拍摄图像中包含的既定校正对象的变形变少(优选的是最小)(S115)。有关该决定将详细地说明。

控制部26首先将在S110中输入的图像变换为俯瞰图像。该变换方法是周知的，例如在特开平10－211849号中有详细描述。即，将图2中(B)中的屏幕平面T上的坐标变换为地表面上的坐标。在图2中(B)中，xs方向是与屏幕平面T的水平方向平行的方向，ys方向是在屏幕平面T中与xs方向垂直的方向。另外，在图2中(B)的例子中，关于绕世界坐标系的轴的旋转，仅为绕x轴，但也考虑绕y轴及绕z轴的旋转而进行变换。此外，变换使用存储在存储部25中的姿态参数的值进行。

控制部26如果结束向俯瞰图像的变换，则确定包含在该俯瞰图像中的既定校正对象。既定校正对象的确定使用存储在存储部25中的既定校正对象的色彩信息及形状信息而进行。

接着，控制部26关于姿态参数中的俯仰角、横滚角及照相机视点的坐标的高度H(z坐标)，探索拍摄图像中的既定校正对象的俯瞰变换后的形状最接近于理想的形状(根据存储在存储部25中的既定校正对象的形状信息而确定的形状)的数值。探索方法例如可以考虑以存储在存储部25中的上次执行时的姿态参数的值为中心值使各参数的值依次增减、将拍摄图像俯瞰变换并与理想的形状比较来探索的方法，但并不限定于此。存储部25也作为既定校正对象存储部发挥功能。

即，探索姿态参数中的俯仰角、横滚角及照相机视点的坐标的高度H(z坐标)，以使图4中(A)所例示的拍摄的两个既定校正对象61a、61b的俯瞰图像接近于图4中(B)所例示的理想的形状的既定校正对象62(俯瞰观察者)。另外，在正方形状的既定校正对象变形为梯形的情况、或既定校正对象的面积不同的情况下，俯仰角、横滚角及照相机视点的坐标的高度H(z坐标)的影响较大。

将说明回到图3的流程图，控制部26如果在S115中决定了姿态参数的俯仰角、横滚角及照相机视点的坐标的高度H(z坐标)，则根据这些决定的值，将存储在存储部25中的姿态参数的值更新(S120)。即，将姿态参数中的俯仰角、横滚角及照相机视点的坐标的高度H(z坐标)更新为最新的值。

接着，控制部26报告通知了使车辆移动的情况(S125)。具体而言，通过使显示装置31显示字符来实现。

接着，控制部26开始车载照相机11所拍摄的拍摄图像且由图像存储部22所存储的最新的拍摄图像的依次输入(S135)。

接着，控制部26经由传感器信息输入部23开始根据车速脉冲传感器的有关车辆的行驶距离的移动距离信息、以及根据转向角传感器的有关车辆的朝向的旋转信息的依次输入(S140)。将输入的这些信息与在S135中输入的各拍摄图像建立对应而存储到控制部26内的RAM中。例如，对于以等间隔连续的各拍摄图像，分别与从之前的拍摄了拍摄图像的场所的车辆的移动距离及旋转角建立对应。另外，也可以从导航装置等的掌握了车辆的位置及旋转角的装置取得表示移动距离及旋转角的信息。

接着，控制部26对在S135中输入的拍摄图像进行解析，从图像中决定疑似校正对象(S145)。疑似校正对象不是以用于测量为目的被配置的物体，而是处于车辆的行驶路的周边的地表面附近的固定物体(也包括白线等的不移动的物体)，是具有一定以上的大小且能够识别旋转状况的物体(从上方观察的情况下不是正圆的物体)。作为具体例，可以考虑道路上的白线、黄线、路沿石、反射板、路面的图案(模式、形态)、人行道的盲文块(brailleblock on a sidewalk)等存在于地表附近的各种各样的物体。此外，疑似校正对象既可以从拍摄图像中仅选择一个而决定也可以选择多个。另外，控制部26执行S145直到能够决定适当的疑似校正对象。疑似校正对象也称作校正对象。

接着，控制部26从在S135中输入的拍摄图像中，选择包含在S145中决定的相同的疑似校正对象的两个时点的图像(从不同的两个地点拍摄的图像)(S150)。作为两个时点的间隔，车辆移动几米左右的间隔是适当的。在第1时点拍摄的图像称作第1拍摄图像，在第2时点拍摄的图像称作第2拍摄图像。

接着，控制部26基于在S140中输入并与各图像建立了对应的车辆的移动距离信息及旋转信息，计算对在S150中选择的图像进行的两个时点间(2地点间)的车辆的移动距离及旋转角(S155)。

接着，控制部26决定上述姿态参数中的照相机视点的坐标的x、y及偏转角，以使世界坐标系上的两个时点的疑似校正对象的位置差及旋转差变小(优选的是最小)(S160)。关于该决定将详细地说明。

控制部26首先将在S150中选择的两个时点的拍摄图像分别变换为俯瞰图像。详细地讲，将第1拍摄图像变换为第1俯瞰图像，将第2拍摄图像变换为第2俯瞰图像。此时，使用存储在存储部25中的姿态参数的值进行变换。

接着，控制部26探索姿态参数中的照相机视点的坐标的x、y及偏转角，以使分别包含在变换后的两个俯瞰图像中的疑似校正对象的位置及旋转的差异(偏差)在世界坐标系上变小。探索方法例如可以考虑以存储在存储部25中的上次执行时的姿态参数的值为中心值使各参数的值依次增减、通过将拍摄图像俯瞰变换并评价上述差异来探索的方法，但并不限定于此。

这里，使用图5，例示疑似校正对象的位置差(位置的偏差)及旋转差(旋转的偏差)。图5中(A)是将在S150中选择的第一时点的疑似校正对象71、72的拍摄图像变换为俯瞰图像后的图像，是疑似校正对象71、72附近的图像。在该图中，正方形状的两个疑似校正对象71、72左右排列，与后述的图5中(B)比较，变换为顺时针和逆时针稍稍旋转的状态。

图5中(B)是将在S150中选择的第二时点的疑似校正对象71、72的拍摄图像变换为俯瞰图像后的图像，是与图5中(A)的疑似校正对象相同的疑似校正对象71、72附近的图像。在该图中，正方形状的两个疑似校正对象71、72左右排列，被变换为相比图5中(A)向逆时针稍稍旋转的状态(在图上是整齐排列的状态)。

图5中(C)是将图5中(A)和图5中(B)使坐标系一致而配置的图像。即，是将疑似校正对象71、72配置到世界坐标系上的图像。根据该图可知，在第一时点的疑似校正对象71、72和第二时点的疑似校正对象71、72中，存在位置的差异(偏差)和旋转的差异(偏差)。探索姿态参数中的照相机视点的坐标的x、y及偏转角，以使该差异尽可能变小。另外，疑似校正对象的位置的差异及旋转的差异由照相机视点的坐标的x、y及偏转角的影响带来的影响较大。

将说明返回到图3的流程图，如果在S160中决定了姿态参数中的照相机视点的坐标的x、y及偏转角，则根据这些决定的值，将存储在存储部25中的姿态参数的值更新(S165)。即，将姿态参数中的照相机视点的坐标的x、y及偏转角更新为最新的值。

接着，控制部26向测量者报告姿态参数的更新完成(S170)。具体而言，通过使显示装置31显示字符来实现。控制部26如果结束报告，则结束本处理(姿态参数决定处理)。

根据这样的图像处理装置21，即使在车辆的移动中包含旋转，也计算反映了车辆的移动中包含旋转的照相机11的姿态参数值。即，在测量时既可以使车辆转弯，也可以使其直线前进，所以测量较容易。

另外，作为校正对象，也可以将以测量为目的设置在车辆的周边的标记或面板(panel)等(既定校正对象)确定为疑似校正对象，但也可以将不是以用于测量为目的配置的物体、即存在于地表面附近的物体且能够与路面区别的物体确定为疑似校正对象。即，作为既定校正对象，只要是色彩信息或形状信息预先存储在存储部25中的物体就可以，并不一定限定于设置在车辆的周边的标记或面板。例如如果事前知道路面的白线的色彩信息或形状信息，则能够作为既定校正对象。

如果是这样的图像处理装置21，则能够不在测量前准备标记等的既定校正对象而计算照相机11的姿态参数值。

另外，在S160中计算的姿态参数的值是照相机11的水平方向的安装位置或照相机11的安装偏转角(水平方向的摆头角)的至少某一个。作为照相机11的水平方向的安装位置，例如可以举出水平面上的正交坐标轴的一方(X或Y)或两方(X及Y)的方向。

如果是这样的姿态参数，则能够将其值在S160中精度良好地计算。

另外，也可以预先存储能够确定既定的校正对象的本来的形状的形状信息，将拍摄了既定校正对象的拍摄图像(第3拍摄图像)变换为第3俯瞰图像，在S115中计算在S160中计算的姿态参数以外的种类的姿态参数的值，以使在该第3俯瞰图像中包含的既定校正对象的形状与由存储在存储部25中的形状信息所确定的既定的校正对象的本来的形状的差异变少。使在S115中计算出的姿态参数的值也存储到存储部25中。所谓形状的差异，例如可以举出大小及变形等。

通过利用由这样的图像处理装置21计算出的参数的值，能够更适当地实现校准。

另外，在S115中计算出的参数的值是照相机11的安装俯仰角(铅直方向的摆头角)、安装横滚角或铅直方向的安装位置的至少某一个。

根据这样的姿态参数，能够将该值在S115中精度良好地计算。

在本实施方式的图3中，控制部26在S135中进行的处理作为拍摄图像输入部(拍摄图像输入机构)发挥功能，控制部26在S145中进行的处理作为校正对象确定部(校正对象确定机构)发挥功能，控制部26在S140中进行的处理作为车辆信息输入部(车辆信息输入机构)发挥功能，控制部26在S135中进行的处理作为拍摄图像输入部(拍摄图像输入机构)发挥功能，控制部26在S160中进行的处理作为第1计算部(第1计算机构)发挥功能，控制部26在S115中进行的处理作为第2计算部(第2计算机构)发挥功能，控制部26在S165中进行的处理作为存储控制部(存储控制机构)发挥功能。

(变形例)

上述实施方式的变形例的图像处理装置21包括拍摄图像输入部(S135)、校正对象确定部(S145)、车辆信息输入部(S140)、位置关系取得部、计算部(S160)和存储控制部(S165)。拍摄图像输入部(S135)将由搭载在车辆上的照相机11所拍摄的第1拍摄图像、和在第1拍摄图像被拍摄并且车辆行驶后所拍摄的第2拍摄图像输入至图像处理装置21。校正对象确定部(S145)确定在由拍摄图像输入部(S135)输入的第1拍摄图像中包含的第1校正对象、和包含在第2拍摄图像中且与第1校正对象相同形状的第2校正对象。车辆信息输入部(S140)输入能够确定拍摄了第1拍摄图像的地点与拍摄了第2拍摄图像的地点间的车辆的行驶距离及朝向变化的信息。位置关系取得部取得第1校正对象与第2校正对象的相对的位置关系。计算部(S160)将第1拍摄图像和第2拍摄图像分别变换为第1俯瞰图像和第2俯瞰图像，使变换后的各俯瞰图像反映由车辆信息输入部(S140)输入的信息所确定的第1拍摄图像和第2拍摄图像的各自的拍摄位置及拍摄方向而配置到共通的坐标系上。然后，计算部(S160)基于位置关系取得部取得的第1校正对象与第2校正对象的相对的位置关系，计算照相机11的至少1个姿态参数的值，以使得在共通的坐标系中第1校正对象与第2校正对象重合、第1校正对象与第2校正对象的位置差及旋转差变小。存储控制部(S165)使由计算部(S160)计算出的姿态参数的值存储到存储部25中。第1校正对象和第2校正对象也可以是位于不同的位置的具有相同形状的对象。

[实施方式的效果]

总之，以上那样的图像处理装置21将从不同的两地点拍摄的相同的疑似校正对象反映车辆的移动及旋转而分别配置到作为共通的坐标系的世界坐标系上的地平面上。并且，将由车载照相机11的姿态参数中的作为第1种姿态参数的照相机视点的坐标的x、y表示的水平方向的安装位置及安装偏转角的值重新检讨，以使该配置的疑似校正对象在从上方观察的情况下的位置偏差及旋转偏差变小。因此，由于也反映车辆的旋转移动而计算出姿态参数的值，所以也可以在测量时使车辆转弯。

此外，图像处理装置21将疑似校正对象从存在于车辆的周边的地表附近的各种各样的物体中选择来决定。因此，能够不用将标记等的既定校正对象在测量前配置到车辆的周围，而是通过使车辆在疑似校正对象的附近行驶，从而将姿态参数中的照相机视点的坐标的x、y及偏转角的值重新检讨。

此外，在计算车载照相机11的姿态参数中的照相机视点的坐标的x、y及偏转角的值之前，可以根据俯瞰图像中包含的既定校正对象(不是疑似校正对象的校正对象)的变形(失真)状况，将车载照相机11的姿态参数中的作为第2种姿态参数的安装俯仰角、安装横滚角及照相机视点的坐标的高度H(由z坐标表示的铅直方向的安装位置)的值重新检讨。因此，能够提高计算姿态参数中的照相机视点的坐标的x、y及偏转角的值时的精度，并且结果能够计算车载照相机11的全部种类的姿态参数(x、y、z、俯仰角、横滚角及偏转角)。

(其他实施方式)

(1)在上述实施方式中，选择包含相同的疑似校正对象的两时点的图像(从不同的两地点拍摄的图像)(S150)，但也可以选择包含相同的疑似校正对象的三个以上的时点的图像(从不同的三地点拍摄的图像)，进行以后的处理。如果这样，则能够计算精度更高的姿态参数。

(2)上述实施方式是作为对车辆7的后方周边进行拍摄的照相机而设置了1台车载照相机11的实施方式，但也可以在车辆7中设置多台照相机。这些多台照相机可以设置为，能够分别对车辆的前方、后方或侧方进行拍摄。在设置了多台照相机的情况下，可以将上述姿态参数决定处理按照每个照相机进行。

(4)在上述实施方式中，图像处理装置21的控制部26进行姿态参数决定处理的全部步骤，但也可以使一部分的步骤由其他信息处理装置进行。即，也可以通过控制部26将一部分的步骤的执行所需要的数据向其他信息处理装置发送、控制部26从该信息处理装置接收结果的数据来实现姿态参数决定处理。另外，其他信息处理装置既可以是车载的信息处理装置，也可以是能够经由通信网络通信的非车载的信息处理装置。如果这样使一部分的步骤由其他信息处理装置进行，则能够抑制图像处理装置21的处理负荷，还能够使硬件结构变简单。

(5)在上述实施方式的姿态参数决定处理中，在S145～S160中使用疑似校正对象，但也可以使用既定校正对象(以测量为目的设置在车辆的周边的面板等)。即，也可以事前在车辆的行驶路的周围配置既定校正对象，使车辆在其附近行驶，控制部26使用它进行S145～S160的处理。

此外，本申请也可以是包含用于由控制部26实施的图像处理的命令、计算机可读取的非暂时性且有形的存储介质。

本申请遵照实施例而进行了记述，但应理解为本申请并不限定于该实施例或构造。本申请还包括各种变形例或等同范围内的变形。除此以外，各种组合或方式、以及对其包含仅一要素、其以上或以下的其他组合或方式也都包含在本申请的范畴或思想范围内。

Claims (9)

1.一种图像处理装置，具备：

拍摄图像输入部，输入由搭载于车辆的照相机所拍摄的多个图像；

校正对象确定部，确定在由上述拍摄图像输入部输入的、在车辆行驶的至少两个地点拍摄的第1拍摄图像和第2拍摄图像中、共同地包含的相同的校正对象；

车辆信息输入部，输入能够确定上述车辆的行驶距离及朝向变化的信息；

计算部，将包含上述校正对象的上述第1拍摄图像和上述第2拍摄图像分别变换为第1俯瞰图像和第2俯瞰图像，使变换后的各俯瞰图像反映根据上述车辆信息输入部输入的信息所确定的上述第1拍摄图像和上述第2拍摄图像各自的拍摄位置及拍摄方向而配置到共同的坐标系上，以使得在上述第1俯瞰图像和上述第2俯瞰图像中上述校正对象的位置差及旋转差变小的方式计算上述照相机的至少1个姿态参数的值；以及

存储控制部，使存储部存储由上述计算部计算出的上述姿态参数的值。

2.如权利要求1所述的图像处理装置，

上述校正对象确定部确定存在于地表面附近的能够与路面区别的物体作为上述校正对象。

3.如权利要求1所述的图像处理装置，

上述至少1个姿态参数的值是上述照相机的水平方向的安装位置或上述照相机的安装偏转角的至少某一个。

4.如权利要求1～3中任一项所述的图像处理装置，

还具备：

既定校正对象存储部，存储能够确定与上述校正对象不同的既定校正对象的本来的形状的形状信息；

上述计算部是指第1计算部，上述姿态参数是指第1种姿态参数；

第2计算部，计算与上述第1种姿态参数不同的至少1个第2种姿态参数的值；

上述第2计算部，

将由上述拍摄图像输入部输入的由上述照相机拍摄并包含上述既定校正对象的第3拍摄图像变换为第3俯瞰图像，

计算上述第2种姿态参数的值，以使包含在上述第3俯瞰图像中的上述既定校正对象的形状、与由存储在上述既定校正对象存储部中的上述形状信息所确定的上述既定校正对象的本来的形状的差异变小；

上述存储控制部使上述存储部也存储由上述第2计算部计算出的上述第2种姿态参数的值。

5.如权利要求4所述的图像处理装置，

上述至少1个第2种姿态参数的值是上述照相机的安装俯仰角、安装横滚角或铅直方向的安装位置的至少某一个。

6.如权利要求4所述的图像处理装置，

上述第1计算部基于由上述第2计算部计算并存储在上述存储部中的上述第2种姿态参数的值，将上述第1拍摄图像和第2拍摄图像分别变换为第1俯瞰图像和第2俯瞰图像。

7.如权利要求4所述的图像处理装置，

上述校正对象至少包括道路上的白线、黄线、路沿石、反射板、路面的图案、人行道的盲文块中的1个；

上述既定校正对象是以用于测量为目的的对象，至少包括设置在车辆的周边的标记和面板中的1个。

8.一种图像处理方法，包括以下步骤：

输入由搭载于车辆的照相机拍摄的多个图像；

确定在车辆行驶的至少两个地点拍摄并被输入的第1拍摄图像和第2拍摄图像中、共同地包含的相同的校正对象；

输入能够确定上述车辆的行驶距离及朝向变化的信息；

将包含上述校正对象的上述第1拍摄图像和上述第2拍摄图像分别变换为第1俯瞰图像和第2俯瞰图像；

使各俯瞰图像反映根据能够确定上述车辆的行驶距离及朝向变化的信息所确定的上述第1拍摄图像和上述第2拍摄图像各自的拍摄位置及拍摄方向而配置到共同的坐标系上；

计算上述照相机的姿态参数的值，以使得在上述第1俯瞰图像和上述第2俯瞰图像中上述校正对象的位置差及旋转差变小；以及

将上述计算出的上述姿态参数的值存储。

9.一种图像处理装置，具备：

拍摄图像输入部，输入由搭载于车辆的照相机拍摄的第1拍摄图像、和在上述第1拍摄图像被拍摄且上述车辆行驶后所拍摄的第2拍摄图像；

校正对象确定部，确定由上述拍摄图像输入部输入的、上述第1拍摄图像中包含的第1校正对象、和上述第2拍摄图像中包含的与上述第1校正对象相同形状的第2校正对象；

车辆信息输入部，输入能够确定拍摄了上述第1拍摄图像的地点和拍摄了上述第2拍摄图像的地点间的上述车辆的行驶距离及朝向变化的信息；

位置关系取得部，取得上述第1校正对象和上述第2校正对象的相对的位置关系；

计算部，将上述第1拍摄图像和上述第2拍摄图像分别变换为第1俯瞰图像和第2俯瞰图像，使变换后的各俯瞰图像反映根据上述车辆信息输入部输入的信息所确定的上述第1拍摄图像和上述第2拍摄图像各自的拍摄位置及拍摄方向而配置到共同的坐标系上，基于上述位置关系取得部取得的上述第1校正对象和上述第2校正对象的相对的位置关系，计算上述照相机的至少1个姿态参数的值，以使得在上述共同的坐标系中上述第1校正对象与上述第2校正对象重合、上述第1校正对象与上述第2校正对象的位置差及旋转差变小；以及

存储控制部，使存储部存储由上述计算部计算出的上述姿态参数的值。