CN101868812A - 驾驶辅助系统、车辆及立体物区域推定方法 - Google Patents

Abstract

本发明提供一种驾驶辅助系统、车辆及立体物区域推定方法。该驾驶辅助系统从设置在车辆上的照相机获取时刻t1以及t2的照相机图像，将它们转换为时刻t1以及t2的俯视图图像。从时刻t1的照相机图像提取多个特征点，并检测第1以及第2照相机图像之间的各特征点的移动向量，将各特征点和各移动向量映射在俯视图坐标面上。关注俯视图图像上的2个以上的特征点，通过将该关注特征点的位置以及移动向量代入地面特征点应该满足的限定式，判断关注特征点是否是地面特征点。然后，从被判断为地面特征点的2个以上的特征点的位置信息以及移动向量信息求出车辆的移动信息，利用该移动信息，通过取时刻t1以及t2的俯视图图像的差分，推定立体物区域。

Description

驾驶辅助系统、车辆及立体物区域推定方法

技术领域

本发明涉及驾驶辅助系统。特别涉及由安装在移动体上的照相机的拍摄结果推定描绘了立体物的立体物区域的技术。另外，本发明涉及利用该驾驶辅助系统的车辆。

背景技术

位于路面上的立体物会成为车辆的障碍物，有时会发生由于驾驶者没有看到该立体物而引起的碰撞事故。这种碰撞事故特别是在驾驶者的死角区域经常发生。因此，有人提出了在车辆上安装照相机用来监视容易成为驾驶者的死角的区域，并将从照相机获得的图像显示在配置在驾驶席旁的显示装置上的方案。另外，将从照相机获得的照相机图像转换为俯视图图像进行显示的技术也在开发中。俯视图图像是从上空眺望车辆的图像，因此，根据俯视图图像的显示，对于驾驶者来说，就变得很容易掌握与立体物的距离感。

另外，使用图像处理技术和传感器，检测车辆周围的立体物的方法也在开发中。如果可以检测出车辆周围的立体物，则根据该检测结果，可以在显示装置上提醒立体物的存在，或发出警报，因此，非常有用。

作为检测车辆周围的立体物的方法，有人提出了使用立体照相机的方法。但是，由于立体照相机是由2个照相机形成的，因此，其本身的使用就导致成本提高。另外，对2个照相机的安装位置或安装角度需要进行精确度极高的调整，因此该技术的导入很繁杂。

鉴于此，在例如下列专利文献1中公开了使用单视野照相机检测车辆周围的立体物的方法。在该方法中，利用路面上的5个点以上的特征点信息，通过最小二乘法求出照相机运动参数，根据所求出的照相机运动参数，将相邻帧之间的俯视图图像重合，由此，在图像上检测出从路面上浮现的立体物。

专利文献1：JP特开2003-44996号公报

为了按照专利文献1的方法检测出立体物，必须辨别出路面上的特征点。虽然在从照相机获得的图像中提取的多个特征点中包含路面上的特征点，但实际情况是，并没有人提出判断从图像中提取的各特征点是路面上的特征点还是立体物上的特征点的方案。因此，通过该专利文献1的方法不能很好地推定图像中的立体物区域。另外，利用路面上的5个点以上的特征点信息，通过最小二乘法求出照相机运动参数的计算非常复杂，阻碍了系统构成的简单化。

发明内容

因此，本发明的目的是提供一种可以根据从照相机获得的图像很好地推定立体物区域的驾驶辅助系统以及立体物区域推定方法。另外，本发明的目的还在于提供一种利用该系统以及方法的车辆。

本发明的驾驶辅助系统具有安装在移动体上对上述移动体的周围进行拍摄的照相机，且根据从上述照相机获得的照相机坐标面上的照相机图像，推定基于上述照相机图像的图像中的立体物区域，上述驾驶辅助系统中具有：图像获取单元，其获取在上述移动体的移动中的彼此不同的第1以及第2时刻由上述照相机拍摄到的第1以及第2照相机图像；移动向量检测单元，其从上述第1照相机图像提取n个特征点(n为2以上的整数)，并且对上述第1和第2照相机图像之间的上述照相机坐标面上的各特征点的移动向量进行检测；俯视转换单元，其通过将各照相机图像和上述照相机坐标面上的各特征点以及各移动向量投影到与地面平行的俯视图坐标面上，将上述第1以及第2照相机图像转换为第1以及第2俯视图图像，并且对上述第1俯视图图像上的各特征点的位置以及上述第1和第2俯视图图像之间的上述俯视图坐标面上的各特征点的移动向量进行检测；判断单元，其使用位于地面上的地面特征点应该满足的限制条件，判断在上述第1俯视图图像上关注的特征点是否是上述地面特征点；移动信息推定单元，其根据被判断为是上述地面特征点的2个以上的特征点在上述第1俯视图图像上的位置以及上述俯视图坐标面上的移动向量，推定上述第1和第2时刻之间的上述移动体的移动信息；和立体物区域推定单元，其根据上述第1以及第2俯视图图像和上述移动信息，推定上述立体物区域。

由此，检测出地面特征点成为可能，因此，可以期待能进行很好的立体物区域的推定。

具体而言，例如，上述限制条件规定：上述第1和第2时刻之间的上述移动体的旋转角以及平行移动量、与上述地面特征点在上述第1俯视图图像上的位置以及上述俯视图坐标面上的移动向量应该满足的关系。

另外，例如，上述判断单元从上述第1俯视图图像上的上述n个特征点中提取2个以上的特征点作为关注特征点，并且通过判断这些关注特征点是否符合上述限制条件，来判断上述关注特征点是否是上述地面特征点。

更具体而言，例如，上述判断单元从上述第1俯视图图像上的上述n个特征点中提取2个以上的特征点作为关注特征点，假设上述2个以上的关注特征点为上述地面特征点，并代入上述关系，由此求出每2个以上的上述旋转角的推定值以及上述平行移动量的推定值，根据上述旋转角的推定值的偏差以及上述平行移动量的推定值的偏差，判断上述关注特征点是否是上述地面特征点。

另外，例如，上述移动信息包括表示上述移动体的旋转角以及平行移动量的信息。

另外，具体而言，例如，上述立体物区域推定单元根据上述移动信息，校正由第1和第2时刻之间的上述移动体的移动引起的上述第1和第2俯视图图像间的位置偏移，根据校正后的上述第1和第2俯视图图像的对比结果，推定上述立体物区域。

另外，具体而言，例如，被推定的上述立体物区域与上述第1照相机图像、上述第2照相机图像、上述第1俯视图图像或上述第2俯视图图像内的立体物的描绘区域对应。

本发明的车辆中设置了上述任意一项中所述的驾驶辅助系统。

本发明的立体物区域推定方法根据从安装在移动体上对上述移动体的周围进行拍摄的照相机获得的照相机坐标面上的照相机图像，推定基于上述照相机图像的图像中的立体物区域，上述立体物区域推定方法具有：图像获取步骤，获取在上述移动体的移动中的彼此不同的第1以及第2时刻由上述照相机拍摄到的第1以及第2照相机图像；移动向量检测步骤，从上述第1照相机图像提取n个特征点(n为2以上的整数)，并且对上述第1和第2照相机图像之间的上述照相机坐标面上的各特征点的移动向量进行检测；俯视转换步骤，通过将各照相机图像和上述照相机坐标面上的各特征点以及各移动向量投影到与地面平行的俯视图坐标面上，将上述第1以及第2照相机图像转换为第1以及第2俯视图图像，并且对上述第1俯视图图像上的各特征点的位置以及上述第1和第2俯视图图像之间的上述俯视图坐标面上的各特征点的移动向量进行检测；判断步骤，使用位于地面上的地面特征点应该满足的限制条件，判断在上述第1俯视图图像上的所关注的特征点是否是上述地面特征点；移动信息推定步骤，根据被判断为是上述地面特征点的2个以上的特征点在上述第1俯视图图像上的位置以及上述俯视图坐标面上的移动向量，推定上述第1和第2时刻之间的上述移动体的移动信息；以及立体物区域推定步骤，根据上述第1以及第2俯视图图像和上述移动信息，推定上述立体物区域。(发明效果)

根据本发明，可以基于从照相机获得的图像很好地推定立体物区域。

通过对以下所示的实施方式进行说明，本发明的意义以及效果会更加明确。不过，以下的实施方式仅仅是本发明的一个实施方式，本发明以及各技术特征中的用词的含义不受以下实施方式中所记载的内容限制。

附图说明

图1是本发明的实施方式中的驾驶辅助系统的构成框图。图2是应用图1的驾驶辅助系统的车辆的外观侧视图。图3是表示照相机的光学中心与定义照相机图像的照相机坐标面之间的关系的图。图4是表示照相机坐标面与俯视图坐标面之间的关系的图。图5是表示根据图1的驾驶辅助系统进行的立体物区域的推定操作步骤的流程图。图6(a)以及(b)是表示时刻t1以及t2的照相机图像的例子的图。图7是与图6(a)以及(b)对应的图，表示照相机坐标面上的、时刻t1-t2之间的特征点的移动向量。图8(a)以及(b)是表示时刻t1以及t2的俯视图图像的例子的图。图9是与图8(a)以及(b)对应的图，表示俯视图坐标面上的、在时刻t1-t2之间的特征点的移动向量。图10(a)是在车辆径直向后移动时获得的照相机图像上，将照相机坐标面上的移动向量组重叠显示的图；(b)是在俯视图图像上，将在该移动向量组的俯视图坐标面上的投影结果重叠显示的图。图11(a)是在车辆一边转弯一边向后行驶时获得的照相机图像上，将照相机坐标面上的移动向量组重叠显示的图；(b)是在俯视图图像上，将在该移动向量组的俯视图坐标面上的投影结果重叠显示的图。图12是表示在时刻t1-t2之间的车辆移动情况的平面图。图13是表示时刻t1的俯视图坐标系和时刻t2的俯视图坐标系的空间配置关系的图。图14是与图15的步骤S16对应的、地面特征点的提取处理的详细流程图图15是表示在图14的地面特征点的提取处理中关注的2个特征点的关系的图。图16(a)-(d)分别是：时刻t1的俯视图图像；为了消除时刻t1以及t2的俯视图图像之间的位置偏移，而将时刻t1的俯视图图像进行几何学转换后获得的参照图像；时刻t2的俯视图图像；以及表示时刻t2的俯视图图像与参照图像的差分图像的图。图17是表示图16(d)的差分图像的二进制图像的图。图18是表示从图17的二进制图像提取的立体物区域的图。图19是表示在图1的显示装置中显示的图像例的图。图20涉及本发明的第2实施例，是表示图像的整体区域被分割为多个小块的情况的图。图21(a)以及(b)涉及本发明的第2实施例，是表示各小块的色彩空间度数分布的图。图22(a)以及(b)涉及本发明的第2实施例，是表示各小块的边缘强度度数分布图的图。图23(a)以及(b)涉及本发明的第2实施例，是表示各小块的边缘方向度数分布图的图。图24(a)是表示本发明的第2实施例所涉及的差分图像的图，(b)是将作为立体物区域的构成要素的候补的要素块在图16(c)的图像上重叠显示的图。图25是本发明的第3实施例中的驾驶辅助系统的功能框图。符号说明：

1 照相机2 图像处理装置3 显示装置11 图像获取部12 移动检测部13 俯视转换部14 地面特征点提取部15 车辆移动信息生成部16 立体物区域推定部17 显示用图像生成部100 车辆

具体实施方式

下面，针对本发明的实施方式，参照附图进行具体说明。在所参照的各图中，对相同部分赋予相同的符号，原则上对有关相同部分的重复说明进行省略。后面虽然是对第1～第3实施例进行说明，但首先，对各实施例所共通的内容或通过各实施例所参照的内容进行说明。

图1表示本发明的实施方式中的驾驶辅助系统的构成框图。图1的驾驶辅助系统具备：作为单视野照相机的照相机1；图像处理装置2和显示装置3。照相机1进行拍摄，将表示通过拍摄得到的图像的信号输出给图像处理装置2。图像处理装置2通过从照相机1得到的图像生成显示用图像。图像处理装置2将表示所生成的显示用图像的影像信号输出给显示装置3，显示装置3按照获得的影像信号将显示用图像作为影像进行显示。

将通过照相机1的拍摄所获取的图像称为照相机图像。通过照相机1的输出信号本身所显示的照相机图像受到透镜畸变的影响的情况很多。因此，图像处理装置2针对通过照相机1的输出信号本身所显示的照相机图像实施透镜畸变校正，根据透镜畸变校正后的照相机图像进行显示用图像的生成。以下所述的照相机图像是指透镜畸变校正后的照相机图像。不过，根据照相机1特性，有时也会省略透镜畸变校正处理。

图2是应用了图1的驾驶辅助系统的车辆100的外观侧面图。如图2所示，在车辆100的后部，后方斜向下地配置照相机1。车辆100例如是汽车。水平面和照相机1的光轴所成的角度中，有图2中用θ_A所表示的角度和用θ_B所表示的角度。角度θ_B一般为俯视角或被称为俯角。现在，将角度θ_A作为相对于水平面的照相机1的倾斜角度。90°＜θ_A＜180°并且θ_A+θ_B＝180°成立。

照相机1拍摄车辆100的周围。特别地，照相机1设置在车辆100上以便在车辆100的后方一侧具有视野。照相机1的视野包括位于车辆100的后方一侧的路面。并且，在以下的说明中，地面是指位于水平面上的地面，“高度”是表示以地面为基准的高度。另外，在本实施方式中，地面和路面同义。

作为照相机1，使用了利用CCD(Charge Coupled Devices)或CMOS(Complementary Metal Oxide Semiconductor)图像传感器等的固体拍摄元件的照相机。图像处理装置2由例如集成电路形成。显示装置3由液晶显示面板等形成。也可以沿用汽车导航系统等中所包含的显示装置作为驾驶辅助系统中的显示装置3。另外，图像处理装置2可以作为汽车导航系统的一部分进行组装。图像处理装置2以及显示装置3设置在例如车辆100的驾驶席附近。

图像处理装置2使用坐标转换，通过将照相机图像从虚拟的照相机的视点转换成所看到的图像，生成俯视图图像。将用于从照相机图像生成俯视图图像的坐标转换称为“俯视转换”。

将与照相机1的光轴方向正交的面作为照相机坐标面。在图3中，用面P_bu表示照相机坐标面。照相机坐标面为与固体拍摄元件的拍摄面平行的照相机图像的投影面，照相机图像是通过二维排列在照相机坐标面上的各像素形成的。另外，用○表示照相机1的光学中心，并且将通过光学中心○且与照相机1的光轴方向平行的轴作为Z轴。将Z轴与照相机坐标面的交点作为照相机图像的原点，将在原点正交的、照相机坐标面上的坐标轴设为X_bu轴以及Y_bu轴。X_bu轴以及Y_bu轴分别与照相机图像的水平方向以及垂直方向平行。并且，用坐标值(x_bu，y_bu)表示照相机图像上的某个像素的位置。x_bu以及y_bu分别表示该像素的、照相机图像上的水平位置以及垂直位置。

另外，将与地面平行的面设为俯视图坐标面。图4同时显示了表示照相机坐标面的面P_bu和表示俯视图坐标面的面P_au。俯视图图像是通过在俯视图坐标面上二维排列的各像素形成的。将俯视图坐标面上的正交坐标轴设为X_au轴以及Y_au轴。X_au轴以及Y_bu轴分别与俯视图图像的水平方向以及垂直方向平行。并且，用坐标值(x_au，y_au)表示俯视图图像上的某个像素的位置。x_au以及y_au分别表示该像素的、俯视图图像上的水平位置以及垂直位置。

俯视图图像相当于将在照相机坐标面上被定义的照相机图像投影在俯视图坐标面上的图像，可以通过公知的坐标转换实现用于进行该投影的俯视转换。例如，在使用透视投影转换的情况下，可以通过将照相机图像上的各像素的坐标值(x_bu，y_bu)按照下列公式(A-1)转换成俯视图图像上的坐标值(x_au，y_au)，生成俯视图图像。其中，f、h以及H是照相机1的焦距、照相机1的设置高度以及上述虚拟照相机的设置高度。并且，图像处理装置2是预先辨别了f、h、H以及θ_A(参照图2)的各值的装置。

(公式1) $\left(\begin{array}{c}{x}_{\mathrm{au}}\\ y_{\mathrm{au}}\end{array}\right)=\left(\begin{array}{c}\frac{x_{\mathrm{bu}}({\mathrm{fh}\sin \mathrm{\θ}}_A+H{y}_{\mathrm{au}}{\cos \mathrm{\θ}}_A)}{\mathrm{fH}}\\ \frac{\mathrm{fh}(f\cos {\mathrm{\θ}}_A-y_{\mathrm{bu}}\sin {\mathrm{\θ}}_A)}{H(f\sin {\mathrm{\θ}}_A+y_{\mathrm{bu}}\cos {\mathrm{\θ}}_A)}\end{array}\right)...(A-1)$

实际上，按照公式(A-1)，制成表示照相机图像上的各像素的坐标值(x_bu，y_bu)和俯视图图像上的各像素的坐标值(x_au，y_au)的对应关系的表数据，通过将其预先保存在图中没有显示的存储器中，形成查找表(以下称为“俯视转换用LUT”)。然后，使用该俯视转换用LUT，将照相机图像转换成俯视图图像。当然，也可以每当获取照相机图像时，进行根据公式(A-1)的坐标转换计算，生成俯视图图像。

以下，作为详细说明图1的驾驶辅助系统的操作内容或构成的实施例，对第1～第3实施例进行说明。各实施例中记载的内容只要不矛盾，也适用于其他实施例。

《第1实施例》首先，对第1实施例进行说明。图1的图像处理装置2按照规定的周期从照相机1获取照相机图像，从依次获得的照相机图像中按顺序生成显示用图像，将最新的显示用图像输出给显示装置3。由此，在显示装置3中更新显示最新的显示用图像。

图像处理装置2具有推定图像内的立体物区域的功能。立体物区域是指描绘了立体物的区域。立体物是指人物等具有高度的物体。形成地面的路面等由于没有高度因此不是立体物。立体物对于车辆100的行驶而言成为障碍物。

在俯视转换中，进行坐标转换，以便俯视图图像在地表面上具有连续性。因此，当在彼此不同的2个视点拍摄同一个立体物而得到2个俯视图图像的情况下，从原理上讲，在两个俯视图图像之间，路面的图像一致而立体物的图像不一致(例如，参照特开2006-268076号公报)。在本实施例中，利用该特性，推定立体物区域。

参照图5对立体物区域的推定方法进行说明。图5是表示该推定步骤的流程图。图5所示的步骤S11～S18的各处理由图1的图像处理装置2执行。

为了推定立体物区域，需要在不同的时刻拍摄的多个照相机图像。因此，在步骤S11中，图像处理装置2获取在不同时刻拍摄到的多个照相机图像。获取的多个照相机图像包括：通过在时刻t1的拍摄得到的照相机图像(以下，也称为时刻t1的照相机图像)；和通过在时刻t2的拍摄得到的照相机图像(以下，也称为时刻t2的照相机图像)。另外，以下，时刻t1以及时刻t2的照相机图像分别用照相机图像I1以及I2来表示。时刻t2出现在时刻t1之后。严格地讲，例如，时刻t1表示照相机图像I1的曝光期间的中间时刻；时刻t2表示照相机图像I2的曝光期间的中间时刻。另外，在时刻t1-t2之间，车辆100是在移动的。因此，时刻t1的照相机1的视点和时刻t2的照相机1的视点不同。

在获得照相机图像I1以及I2之后，在步骤S12中，从照相机图像I1提取多个特征点(例如1000个)。特征点就是可以和周围的点进行区别，容易追踪的点。这种特征点可以使用检测在水平以及垂直方向的浓淡变化量变大的像素的、众所周知的特征点提取器(图中没有显示)来自动提取。特征点提取器是例如Harris的角点检测器，SUSAN的角点检测器。作为应该被提取的特征点，可以考虑的有：例如在路面上画出的白线的交点或端点、或路面上的污渍或龟裂、以及立体物的端部或污渍等。

在紧接着步骤S12的步骤13中，通过对比照相机图像I1和照相机图像I2，求出在步骤S12提取的各特征点的移动向量。在此求出的移动向量是在照相机图像I1和照相机图像I2之间(换言之，在时刻t1～t2之间)的、照相机坐标面上的移动向量。在2个图像之间的某个特征点的移动向量表示在该2个图像之间的该特征点的移动方向和大小。在此，使用可对应大的移动量的众所周知的Lucas&Kanade光流算法求出移动向量。当然，也可以使用块匹配法或梯度法求出移动向量。并且，移动向量一般也被称为光学流或移动向量。

在步骤S13接下来的步骤S14中，将在步骤S11获取的各照相机图像按照基于上述公式(A-1)的俯视转换用LUT转换成俯视图图像。将基于照相机图像I1以及I2的俯视图图像分别称为时刻t1以及时刻t2的俯视图图像，并且，分别用俯视图图像TI1以及TI2来表示时刻t1以及时刻t2的俯视图图像。俯视图图像TI1以及TI2分别相当于将照相机图像I1以及I2投影在俯视图坐标面上的图像。

在步骤S14之后的步骤S15中，将在步骤S12从照相机图像I1中提取的各特征点和在步骤S13计算出的各移动向量映射到俯视图坐标面上(换言之，投影到俯视图坐标面上)。该映射也按照基于上述公式(A-1)的俯视转换用LUT(或公式(A-1)本身)进行。通过该映射，照相机图像I1上的各特征点被映射到俯视图图像TI1上，求出俯视图图像TI1上的各特征点的位置(即，各特征点的坐标值(x_bu，y_bu))，并且，照相机坐标面上的各移动向量被映射到俯视图坐标面上，求出俯视图坐标面上的各特征点的移动向量。毋庸置疑，在此求出的移动向量是俯视图图像TI1与俯视图图像TI2之间(换言之，在时刻t1-t2之间)的移动向量。

图6(a)的图像210以及图6(b)的图像220，分别表示照相机图像I1以及照相机图像I2的例子，图像210中的点211～214表示在步骤S12中从图像210中提取的第1～第4特征点。特征点211～214相当于在路面上画出的正方形的白线的4个角。另外，图像220中的点221～224表示与特征点211～214对应的、图像220中的特征点。在取得图像210以及图像220时，车辆100设为径直向后方移动。图7表示从作为照相机图像I1以及I2的图像210以及220的对比求出的、照相机坐标面上的第1～第4特征点的移动向量231～234。并且，在图7中，用虚线将图像210中的白线，并且用实线将图像220中的白线重叠显示(后面提到的图9也一样)。

图8(a)以及(b)的图像210a以及图像220a，分别是基于图6(a)以及(b)的图像210以及220的俯视图图像，图9的移动向量251～254是将图7的移动向量231～234映射(换言之，投影)到俯视图座标面上的向量。

由图7也可以看出，尽管车辆100径直向后方移动，地面上的各特征点的移动向量的大小以及方向在照相机座标面上并不整齐。相比之下，它们在俯视图座标面上很整齐(参照图9)。

在图10(a)和(b)以及图11(a)和(b)中，举例表示基于实际的照相机图像的图像。图10(a)的图像301是将照相机座标面上的移动向量群重叠显示在车辆100径直向后方移动时获得的照相机图像上的图像。图10(b)的图像302是将该移动向量群的在俯视图座标面上的投影结果重叠显示在俯视图图像上的图像。并且，在图像301的下方描绘了车辆100的行李箱部分。从图10(a)以及(b)也可以看出图7以及图9所示的移动向量的均等性的不同。另外，图11(a)的图像311是将照相机座标面上的移动向量群重叠显示在当车辆100一边转弯一边向后方行驶时所得到的照相机图像上的图像；图11(b)的图像312是将该移动向量群的在俯视图座标面上的投影结果重叠显示在俯视图图像上的图像。

如上所述，如果关注的某2个特征点是位于地面上的特征点，则这2个特征点的俯视图座标面上的移动向量均等。不过，这些特征点如果位于立体物上，则原则上其均等性失去。在步骤S15之后的步骤S16中，利用该特性提取位于地面上的特征点。以下，将位于地面上的特征点称为地面特征点，将位于立体物上的特征点称为立体物特征点。在实际空间中，地面特征点的位置高度为0(或者实质上为0)，没有被分类到地面特征点的特征点全部为立体物特征点。

对步骤S16的处理原理进行说明。并且，在本说明书的以下说明中，如果不加以特别说明，移动向量表示时刻t1-t2之间的俯视图座标面上的移动向量。

现在，关注一个地面特征点，用(x₁，y₁)以及(x₂，y₂)分别表示该地面特征点的、俯视图图像TI1以及TI2上的座标值(x_au，y_au)。另外，用(f_x，f_y)表示该关注的地面特征点的移动向量。f_x以及f_y分别为该移动向量的水平分量(即，X轴分量)以及垂直分量(即，Y轴分量)(参照图4)。这样一来，下列公式(B-1)成立。

(公式2) $\left(\begin{array}{c}{f}_x\\ f_y\end{array}\right)=\left(\begin{array}{c}{x}_2\\ y_2\end{array}\right)-\left(\begin{array}{c}{x}_1\\ y_1\end{array}\right)...(B-1)$

另外，假设如图12所示，在时刻t1-t2之间，车辆100一边转弯一边移动，用θ表示该移动中的车辆100的旋转角。旋转角θ等于时刻t1的照相机1的光轴与时刻t2的照相机1的光轴所成的角度。车辆100的移动由平行移动分量和用旋转角θ表示的旋转分量形成。图12是从上方看车辆100时的俯视图，用虚线100a画出的车辆表示时刻t1时的车辆100，用实线100b画出的车辆表示时刻t2的车辆100。由于照相机1被固定在车辆100的特定部位，所以，随着车辆100的移动，照相机1也进行同样的移动。

另一方面，考虑将照相机1的光学中心作为原点的三维正交坐标系。图13显示时刻t1的三维正交坐标系与时刻t2的三维正交坐标系之间的空间配置关系。时刻t1的三维正交坐标系以彼此正交的轴351、352以及353作为座标轴，以轴351、352以及353交叉的原点350作为时刻t1的照相机1的光学中心。时刻t2的三维正交座标系以彼此正交的轴361、362以及363为座标轴，以轴361、362以及363交叉的原点360作为时刻t2的照相机1的光学中心。轴351、352、361以及362与路面平行，轴353以及363与路面正交。由于在时刻t1-t2之间的车辆100的移动，三维正交坐标系的3个坐标轴从轴351、352以及353向轴361、362以及363变化。

图13的点371表示固定在世界坐标系上的所关注的地面特征点。实际空间上的地面特征点的在俯视图座标面上的投影点成为俯视图图像上的地面特征点。虚线箭头370表示在时刻t1-t2之间的车辆100以及照相机1的平行移动量。该平行移动量为二维的向量，也可以将其称为平行移动向量。使时刻t1的三维正交坐标系平行移动该平行移动量，并且将与路面正交的轴作为旋转轴而旋转旋转角θ的是时刻t2的三维正交坐标系。将伴随着时刻t1-t2之间的车辆100的移动的、俯视图座标面上的地面特征点的平行移动量用(T_x，T_y)表示。T_x以及T_y分别为俯视图座标面上的地面特征点的平行移动量的水平分量(即，X轴分量)以及垂直分量(即，Y轴分量)。

如果使用上述的旋转角θ以及平行移动量(T_x，T_y)，则可以得到下列公式(B-2)的关系式。

(公式3) $\left(\begin{array}{c}{x}_2\\ y_2\end{array}\right)=\left(\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right)\left(\begin{array}{c}{x}_1\\ y_1\end{array}\right)+\left(\begin{array}{c}{T}_x\\ T_y\end{array}\right)...(B-2)$

通常，照相机图像I1以及I2利用时间上相邻的2个帧连续获得。因此，在车辆100低速行驶的情况下或者帧率足够高的情况下，可以近似为

并且

如果将该近似应用到公式(B-2)中，则可以得到公式(B-3)。

(公式4) $\left(\begin{array}{c}{x}_2\\ y_2\end{array}\right)=\left(\begin{array}{cc}1& -\mathrm{\θ}\\ \mathrm{\θ}& 1\end{array}\right)\left(\begin{array}{c}{x}_1\\ y_1\end{array}\right)+\left(\begin{array}{c}{T}_x\\ T_y\end{array}\right)...(B-3)$

如果进一步将上述公式(B-1)代入公式(B-3)进行变形，则得到公式(B-4)。

(公式5) $\mathrm{\θ}\left[\begin{array}{c}{y}_1\\ -x_1\end{array}\right]$

其中，f_x，f_y、y₁以及(-x₁)的各个值可以从图5的步骤S15的处理结果得到。另一方面，θ、T_x以及T_y的各值为未知。假设，与地面特征点的位置以及移动向量有关的信息有2组，则可以求出这3个未知数。因为对于一方的地面特征点的θ、T_x以及T_y，与对于另一方的地面特征点的θ、T_x以及T_y应该相同。

因此，关注俯视图图像TI1上的不同的第1以及第2地面特征点。将在俯视图图像TI1上的、第1以及第2的地面特征点的坐标值(x_au，y_au)分别设为(x₁₁，y₁₁)以及(x₁₂，y₁₂)。而且，将其第1以及第2地面特征点的移动向量设为分别用(f_x1，f_y1)以及(f_x2，f_y2)表示。这样一来，由上述公式(B-4)可以得到下列公式(B-5a)以及(B-5b)。另外，从公式(B-5a)与公式(B-5b)之差可以得到公式(B-6)，进一步，从公式(B-6)可以得到公式(B-7a)以及(B-7b)。

(公式6) $\mathrm{\θ}\left(\begin{array}{c}{y}_{11}\\ {-x}_{11}\end{array}\right)-\left(\begin{array}{c}{T}_x\\ T_y\end{array}\right)+\left(\begin{array}{c}{f}_{x1}\\ f_{y1}\end{array}\right)=0...(B-5a)$ $\mathrm{\θ}\left(\begin{array}{c}{y}_{12}\\ {-x}_{12}\end{array}\right)-\left(\begin{array}{c}{T}_x\\ T_y\end{array}\right)+\left(\begin{array}{c}{f}_{x2}\\ f_{y2}\end{array}\right)=0...(B-5b)$ (公式7) $\mathrm{\θ}\left(\begin{array}{c}{y}_{11}-y_{12}\\ -x_{11}+x_{12}\end{array}\right)+\left(\begin{array}{c}{f}_{x1}-f_{x2}\\ f_{y1}-f_{y2}\end{array}\right)=0...(B-6)$ (公式8) $\mathrm{\θ}=\frac{f_{x2}-f_{x1}}{y_{11}-y_{12}}...(B-7a)$ $\mathrm{\θ}=\frac{f_{y2}-f_{y1}}{x_{12}-x_{11}}...(B-7b)$

根据公式(B-7a)以及(B-7b)，计算出2个旋转角θ的值，如果将这2个旋转角θ的值分别代入公式(B-5a)以及(B-5b)，则也计算出2个平行移动量(T_x，T_y)的值。(x₁₁，y₁₁)和(x₁₂，y₁₂)以及(f_x1，f_y1)和(f_x2，f_y2)的各个值如果真是与地面特征点相关的值，则计算出的2个旋转角θ的值完全一致或实质上一致，并且，计算出的2个平行移动量(T_x，T_y)的值完全一致或者实质上一致。因此，如果针对俯视图图像TI1上的任意2个特征点，验证其一致性，则可以判断这2个特征点是否为地面特征点。

具体而言，如下所述进行图5的步骤S16的处理。图14表示步骤S16的详细流程。步骤S16的处理由图14的步骤S31～S37的各处理形成。

首先，在步骤S31中，从通过图5的步骤S15的映射在俯视图图像TI1上形成的多个特征点中选择2个特征点。其中，将选择的2个特征点称为关注特征点。例如，在俯视图图像TI1上，选择相隔某一基准距离以上的2个特征点。

另外，如图15所示，用(x_L1，y_L1)以及(x_L2，y_L2)表示2个关注特征点的、俯视图图像TI1上的坐标值(x_au，y_au)，并且，用VEC1以及VEC2表示2个关注特征点的移动向量。而且，将移动向量VEC1的水平分量以及垂直分量设为f_Lx1，f_Ly1，将移动向量VEC2的水平分量以及垂直分量设为f_Lx2，f_Ly2。

在接下来的步骤S32中，判断2个关注特征点的移动向量VEC1以及VEC2是否类似。类似性是针对向量大小和方向两者进行评价的。用|VEC1|以及|VEC2|分别表示向量VEC1以及VEC2的大小。另外，如图15所示，用Φ₁表示移动向量VEC1和水平线所成的角度，并且，用Φ₂表示移动向量VEC2和水平线所成的角度。但是，角度Φ₁与Φ₂设为观察从水平线向逆时针旋转方向移动的向量时的角度。并且，在例如(|VEC1|-|VEC2|)的绝对值是规定的正的阈值VEC_TH以下，并且|Φ₁-Φ₂|是规定的正的阈值Φ_TH以下的情况下，判断为移动向量VEC1以及VEC2类似，转移到步骤S33，如果不是，则判断为不类似，返回到步骤31，重新选择特征点。这是因为如果两个向量不类似，则可推测出在2个关注特征点内至少有一个不是地面特征点。

在步骤S33中，将关注特征点的特征点信息代入到公式(B-7a)以及(B-7b)中。在此，关注特征点的特征点信息为表示关注特征点的坐标值(例如(x_L1，y_L1))和移动向量的信息。即，在步骤S33中，将x_L1、y_L1、x_L2、y_L2、f_Lx1、f_Ly1、f_Lx2以及f_Ly2代入到公式(B-7a)以及(B-7b)的x₁₁、y₁₁、x₁₂、y₁₂、f_x1、f_y1、f_x2以及f_y2。并且，其代入的结果是，将由公式(B-7a)以及(B-7b)得到的θ分别设为θ₁以及θ₂。该θ₁以及θ₂可称为是在假设2个关注特征点为地面特征点的基础上得到的、旋转角θ的推定值。

在步骤S33之后的步骤S34中，判断θ₁与θ₂之差的绝对值Δθ(＝|θ₁-θ₂|)是否比规定的正的标准角度θ_TH大，在Δθ＞θ_TH成立的情况下，推测为2个关注特征点中的至少一个不是地面特征点，返回到步骤31，重新选择特征点。另一方面，在Δθ＞θ_TH不成立的情况下，进入步骤S35，通过将θ₁以及θ₂作为θ分别代入公式(B-5a)以及(B-5b)，求出平行移动量(T_x，T_y)。此时，将关注特征点的特征点信息代入公式(B-5a)以及(B-5b)。即，将x_L1、y_L1、x_L2、y_L2、f_Lx1、f_Ly1、f_Lx2以及f_Ly2代入到公式(B-5a)以及(B-5b)的x₁₁、y₁₁、x₁₂、y₁₂、f_x1、f_y1、f_x2以及f_y2。将由公式(B-5a)求出的(T_x，T_y)设为(T_x1，T_y1)，并且，将由公式(B-5b)求出的(T_x，T_y)设为(T_x2，T_y2)。在假设2个关注特征点为地面特征点的基础上得到的(T_x1，T_y1)以及(T_x2，T_y2)，可以称为平行移动量(T_x，T_y)的推定值。

然后，在步骤S36中，计算出ΔL＝(T_x1-T_x2)²+(T_y1-T_y2)²，判断ΔL是否比规定的正的阈值L_TH大。然后，在ΔL＞L_TH成立的情况下，推测出2个关注特征点中的至少一个不是地面特征点，并返回到步骤31，重新选择特征点。另一方面，在ΔL＞L_TH不成立的情况下，进入步骤S37，判断为在该时间点所选择的2个关注特征点为地面特征点。

如果通过步骤S37检测出2个地面特征点，则从图5的步骤S16进入到步骤S17，根据地面特征点信息，生成表示旋转角θ以及平行移动量(T_x，T_y)的车辆移动信息。地面特征点信息是表示被判断为地面特征点的特征点的坐标值和移动向量的信息。当然，该坐标值是俯视图图像TI1上的坐标值。如上所述，当在步骤S31设定2个关注特征点的情况下，根据2个点的地面特征点信息生成车辆移动信息。实际上，通过将根据2个点的地面特征点信息已经在图14的步骤S33中得到的、旋转角θ的2个推定值θ₁以及θ₂平均化，并且将根据2个点的地面特征点信息已经在图14的步骤S35中得到的、平行移动量(T_x，T_y)的2组推定值(T_x1，T_y1)以及(T_x2，T_y2)平均化，从而生成车辆移动信息。即，按照θ＝(θ₁+θ₂)/2、T_x＝(T_x1+T_x2)/2并且T_y＝(T_y1+T_y2)/2生成车辆移动信息。

在上述方法中，虽然将2个特征点作为关注特征点进行选择，但是也可以将3个以上的特征点作为关注特征点进行选择。例如，在图14的步骤S31中，在将4个特征点作为关注特征点选择的情况下，进行如下处理。首先，评估4个关注特征点的移动向量的类似性，在判断为它们彼此不类似的情况下，不进行步骤S33的处理，重新选择特征点。在判断为它们彼此类似的情况下，将4个关注特征点分成分别由2个关注特征点组成的第1组和第2组。然后，将与第1组的关注特征点相关的特征点信息代入公式(B-7a)以及(B-7b)，作为该代入的结果，将从公式(B-7a)以及(B-7b)得到的θ分别设为θ₁以及θ₂。另一方面，将与第2组的关注特征点相关的特征点信息代入公式(B-7a)以及(B-7b)，作为该代入的结果，将从公式(B-7a)以及(B-7b)得到的θ分别设为θ₃以及θ₄。然后，按照下列公式(C-1)计算出Δθ_1-4。即，将针对(i，j)＝(1，2)、(1，3)、(1，4)、(2，3)、(2，4)以及(3，4)的|θ_i-θ_j |的总和设为Δθ_1-4。

(公式9) $\mathrm{\Δ}{\mathrm{\θ}}_{1-4}=\underset{i,j}{\mathrm{\Σ}}|{\mathrm{\θ}}_i-{\mathrm{\θ}}_j|...(c-1)$

然后，在Δθ_1-4比规定的正的阈值大的情况下，返回到步骤S31，重新选择特征点。另一方面，不比阈值大的情况下，分别关注第1以及第2组，求出平行移动量(T_x，T_y)。首先，关注第1组，通过一边将与第1组的关注特征点相关的特征点信息代入公式(B-5a)以及(B-5b)，一边将θ₁以及θ₂设为θ，分别代入公式(B-5a)以及(B-5b)，求出平行移动量(T_x，T_y)。其结果，将由公式(B-5a)求出的(T_x，T_y)设为(T_x1，T_y1)，并且将由公式(B-5b)求出的(T_x，T_y)设为(T_x2，T_y2)。接下来，关注第2组，通过一边将与第2组的关注特征点相关的特征点信息代入公式(B-5a)以及(B-5b)，将θ₃以及θ₄设为θ，分别代入公式(B-5a)以及(B-5b)，求出平行移动量(T_x，T_y)。其结果，将由公式(B-5a)求出的(T_x，T_y)作为(T_x3，T_y4)，并且将由公式(B-5b)求出的(T_x，T_y)作为(T_x4，T_y4)。然后，按照下列公式(C-2)计算出ΔL_1-4。即，将针对(i，j)＝(1，2)、(1，3)、(1，4)、(2，3)、(2，4)以及(3，4)的{(T_xi-T_xj)²+(T_yi-T_yj)²}的总和设为ΔL_1-4。

(公式10) $\mathrm{\Δ}{L}_{1-4}=\underset{i,j}{\mathrm{\Σ}}\{{(T_{\mathrm{xi}}-T_{\mathrm{xj}})}^2+{(T_{\mathrm{yi}}-T_{\mathrm{yj}})}^2\}...(c-2)$

然后，在ΔL_1-4比规定的正阈值大的情况下，返回到步骤S31，重新选择特征点。另一方面，不比阈值大的情况下，进入步骤S37，判断为4个关注特征点为地面特征点，使用基于该4个地面特征点的地面特征点信息的θ₁、T_xi以及T_yi(其中，i＝1，2，3，4)，按照θ＝(θ₁+θ₂+θ₃+θ₄)/4、T_x＝(T_x1+T_x2、+T_x3、+T_x4)/4并且T_y＝(T_y1+T_y2+T_y3+T_y4)/4，生成车辆移动信息。

针对上述地面特征点的提取方法进行考察。上述公式(B-5a)、(B-5b)、(B-7a)以及(B-7b)是规定了旋转角θ和平行移动量(T_x，T_y)、与地面特征点的坐标值(x₁₁，y₁₁)和(x₁₂，y₁₂)以及移动向量(f_x1，f_y1)和(f_x2，f_y2)应该满足的关系的限定式。换言之，它们表示地面特征点应该满足的限定条件。在上述方法中，从俯视图图像TI1上的特征点群中提取2个以上的特征点作为关注特征点，判断这2个以上的关注特征点(以下，总称为关注特征点群)是否符合上述限定条件。然后，只在符合的情况下，判断为各关注特征点是地面特征点。

实际上，通过在假设各关注特征点为地面特征点的基础上，将关于各关注特征点的特征点信息用于各限定公式，求出2个以上的旋转角的推定值(θ₁或θ₂)，并且，求出2个以上的平行移动量的推定值((T_x1，T_y1)或(T_x2，T_y2))。然后，计算出对关于旋转角的推定值的偏差进行表示的指标(上述的Δθ或Δθ_1-4)以及对关于平行移动量的推定值的偏差进行表示的指标(上述的ΔL或ΔL_1-4。)，根据这些偏差的程度判断限定条件的符合/不符合。仅在关于旋转角的推定值的偏差和关于平行移动量的推定值的偏差双方都比较小的情况下，判断为符合限定条件，到达图14的步骤S37。

并且，在上述方法中，假设车辆100一边旋转(即一边转弯)一边行驶，并进行着地面特征点的提取以及车辆移动信息的生成。在车辆100直行的情况下，所得到的旋转角θ结果为0。直行状态可以理解为旋转角θ为0的旋转状态。

再次参照图5。如果在步骤S17生成车辆移动信息，则进入步骤S18。由于在时刻t1-t2之间的车辆100的移动，俯视图坐标面上的地面特征点发生移动。在该地面特征点的移动中的旋转角以及平行移动量是车辆移动信息所表示的旋转角θ以及平行移动量(T_x，T_y)本身，并且，还表示由于时刻t1-t2之间的车辆100的移动导致的俯视图图像TI1与俯视图图像TI2之间的位置偏离(地面上的位置偏离)。因此，在步骤S18中，根据车辆移动信息校正了该位置偏离后，生成两个图像的差分图像DI。然后，根据在不同视点拍摄到的2个俯视图图像之间路面的图像虽然一致而立体物的图像不一致的这一原理，从差分图像DI提取立体物区域。

具体而言，通过对俯视图图像TI1实施使用了旋转角θ以及平行移动量(T_x，T_y)的几何学转换，生成参照图像TS1。该几何学转换是按照与上述公式(B-3)对应的下列公式(D-1)进行的。在俯视图图像TI1上，位于坐标值(x_au，y_au)的像素，通过该几何学转换，被转换成位于坐标值(x_au’，y_au’)上的像素，由转换后的各像素形成参照图像TS1。参照图像TS1相当于在俯视图坐标面上，将俯视图图像TI1以旋转角θ旋转，并且以平行移动量(T_x，T_y)平行移动后的图像(实际上，使用

的近似)。

(公式11) $\left(\begin{array}{c}{x_{\mathrm{au}}}^{\′}\\ {y_{\mathrm{au}}}^{\′}\end{array}\right)=\left(\begin{array}{cc}1& -\mathrm{\θ}\\ \mathrm{\θ}& 1\end{array}\right)\left(\begin{array}{c}{x}_{\mathrm{au}}\\ y_{\mathrm{au}}\end{array}\right)+\left(\begin{array}{c}{T}_x\\ T_y\end{array}\right)...(D-1)$

图16(a)、(b)、(c)以及(d)的图像401、402、403以及404分别表示俯视图图像TI1、参照图像TS1、俯视图图像TI2以及差分图像DI的例子。在图像401～403的中央附近，在路面上出现了站立着的人物。并且，在图16(b)以及(d)中显示了与图像401的外框对应的虚线框(后面提到的图17也一样)。

例如，可以使用一般的帧间差分生成差分图像DI。即，在参照图像TS1和俯视图图像TI2之间，针对每个像素计算出同一坐标值上的像素的像素值的差分值，并将该差分值作为各像素的像素值，将所具有的图像作为差分图像DI。在图16(d)中，将差分值小的像素用黑色表示、将差分值大的像素用白色表示。

在步骤S18中，进一步通过将差分图像DI的各像素值二进制化，生成二进制差分图像。即，将差分图像DI的各像素的像素值(即，上述的差分值)与规定的阈值进行比较，将具有比该阈值大的像素值的像素(以下，称为差别像素)的像素值设为1，另一方面，将具有不比该阈值大的像素值的像素(以下称为非差别像素)的像素值设为0。图17的图像420表示二进制差分图像的例子。在图17中，将差别像素用白色表示，将非差别像素用黑色表示。然后，按照聚集了很多差别像素的区域和聚集了很多非差别像素的区域，对二进制差分图像内进行分类，将包围前者的区域的区域(例如，矩形区域)作为立体物区域提取出来。并且，此时，判断为由数量极小的差别像素群形成的区域来源于局部噪声等，从立体物区域中除去即可。图18表示从二进制差分图像420中提取的立体物区域。标注了附图符号431的虚线框内的区域是被提取出的立体物区域。

在此被提取的立体物区域的位置以及大小，被作为俯视图图像TI2中的立体物区域的位置以及大小来对待。将立体物区域以外的区域推定为描绘了没有高度的路面等的地面区域。然后，例如，如图19所示，生成将用于区别被推定的立体物区域与其他区域、并且可通过目视确认的指标重叠于俯视图图像TI2后的显示用图像，将其显示在显示装置3上。在图19中，图像440为俯视图图像TI2，被重叠显示的虚线四角框441的内部相当于立体物区域。

并且，也可以根据俯视图图像TI2上的立体物区域的位置以及大小，推定俯视图图像TI1、照相机图像I1或照相机图像I2上的立体物区域的位置以及大小。如果将用于从俯视图图像TI1获得参照图像TS1的几何学转换的逆转换实施到俯视图图像TI2上的立体物区域，也可以求出俯视图TI1上的立体物区域的位置以及大小。另外，如果将用于从照相机图像I1以及I2获得俯视图图像TI1以及TI2的几何学转换(上述俯视转换)的逆转换实施到俯视图图像TI1以及TI2上的立体物区域上，也可以求出照相机图像I1以及I2上的立体物区域的位置以及大小。

根据本实施例，可以通过简单的计算处理正确地提取地面特征点，因此，能够以较轻的计算负荷正确地推定车辆移动信息以及立体物区域。通过掌握正确的立体物区域，可以良好地辅助驾驶操作。

《第2实施例》接下来，对第2实施例进行说明。虽然在第1实施例中，在参照图像TS1和俯视图图像TI2之间，通过针对每个像素获取像素值的差分而生成差分图像DI，但是，该方法容易受到局部噪声的影响。在第2实施例中，对很难受到局部噪声的影响的差分图像的形成方法以及立体物区域的推定方法进行说明。第2实施例相当于将第1实施例的一部分变形了的实施例，第1实施例中记载的内容只要不矛盾也可以适用于第2实施例。由于在通过图5的步骤S11～S17的各处理和步骤S18的一部分处理获得俯视图图像TI1和TI2以及参照图像TS1之前的操作与第1实施例相同，因此，仅针对在其之后的处理内容进行说明。

在第2实施例中，将俯视图图像TI2以及参照图像TS1分别作为被计算图像对待。然后，如图20所示，通过将被计算图像的整个区域在水平方向以及垂直方向上分割成多个，在被计算图像内设定多个小块。现在，将水平方向以及垂直方向的分割数分别设为M以及N(M以及N是2以上的整数)。各小块由(k×k)的像素形成(k是2以上的整数，例如k＝8)。另外，作为表示被计算图像内的小块的水平位置以及垂直位置的记号，导入m以及n(m是满足1≤m≤M的整数值，并且n是满足1≤n≤N的整数值)。M越大，其水平位置就越朝向右方向，n越大，其垂直位置就越朝向下方向。将水平位置m和垂直位置n合在一起表示块位置(m，n)。

然后，使俯视图图像TI2内的块位置(m，n)的小块和参照图像TS1内的块位置(m，n)的小块相互对应。并且，在由于从俯视图图像TI1生成参照图像TS1时的旋转以及平行移动，将两个图像重合在相同的俯视图坐标面上的情况下，虽然在端部产生两个图像没有重合的区域(参照图16(b)以及(c))，但现在忽视这种区域的存在。严格来讲，例如，可以将两个图像重合的部分所包含的矩形区域内图像作为被计算图像对待。

在如上所述设定小块后，如下所述形成差分图像。作为差分图像的形成方法的例子，对第1～第3形成方法进行个别说明。

(第1形成方法)对第1形成方法进行说明。在第1形成方法中，求出各小块的色彩空间度数分布。然后，在俯视图图像TI2和参照图像TS1之间，通过对色彩空间度数分布进行比较计算出差别度ε₁。例如，通过将RGB色彩空间分割成Q个，在RGB色彩空间内设置第1～第Q区域，通过根据各像素的色彩信息将各像素映射在RGB色彩空间上，来决定各像素所属的区域(Q为2以上整数)。并且，用于求出色彩空间度数分布的色彩空间也可以是RGB色彩空间以外(例如HSV色彩空间)。差别度ε₁的计算虽然是按照每个块位置进行的，但是在此对所关注的1个块位置的差别度ε₁的计算方法进行说明。

图21(a)表示俯视图图像TI2内的关注块位置上的小块的色彩空间度数分布h_A，图21(b)表示参照图像TS1内的关注块位置上的小块的色彩空间度数分布h_B。在形成前者的小块的像素中，用h_A(q)表示色彩信息属于第q区域的像素的个数；在形成后者的小块的像素中，用h_B(q)表示色彩信息属于第q区域的像素的个数(1≤q≤Q)。这样一来，按照下列公式(E-1)计算出差别度ε₁。

(公式12) ${\mathrm{\ϵ}}_1=\underset{q=1}{\overset{Q}{\mathrm{\Σ}}}{\{h_A\left(q\right)-h_B\left(q\right)\}}^2...(E-1)$

针对各块位置求出这种差别度ε₁，确定差别度ε₁比规定的正的阈值大的块位置，将俯视图图像TI2内的被确定的块位置上的各小块设定为要素块。将俯视图图像TI2内的要素块以外的小块称为非要素块。然后，通过将要素块内的各像素的像素值设为1，将非要素块内的像素的像素值设为0，获得作为二进制图像的差分图像。所获得的差分图像的例子如图24(a)所示。在图24(a)的差分图像中，用白色表示要素块，用黑色表示非要素块。

(第2形成方法)对第2形成方法进行说明。在第2形成方法中，求出各小块的边缘强度度数分布。然后，在俯视图图像TI2和参照图像TS1之间，通过比较边缘强度度数分布，计算出差别度ε₂。

具体而言，通过使用拉普拉斯滤波器等任意的边缘提取滤波器，对俯视图图像TI2以及参照图像TS1的各像素实施边缘提取处理，生成基于俯视图图像TI2的第1边缘提取图像和基于参照图像TS1的第2边缘提取图像。众所周知，形成边缘提取图像的各像素的像素值表示边缘强度。设置应该同属的边缘强度彼此不同的第1～第Q区域，根据边缘提取图像内的各像素的像素值(即，边缘强度)，将各像素分类为第1～第Q区域中的任意一个区域(Q为2以上的整数)。

虽然差别度ε₂的计算是针对每个块位置进行的，但是现在关注1个块位置。图22(a)表示第1边缘提取图像内的关注块位置上的小块的边缘强度度数分布e_A，图22(b)表示第2边缘提取图像内的关注块位置上的小块的边缘强度度数分布e_B。在形成前者的小块的像素内，用e_A(q)表示边缘强度属于第q区域的像素的个数；在形成后者的小块的像素内，用e_B(q)表示边缘强度属于第q区域的像素的个数(1≤q≤Q)。这样一来，就可以按照下述公式(E-2)计算出差别度ε₂。

(公式13) ${\mathrm{\ϵ}}_2=\underset{q=1}{\overset{Q}{\mathrm{\Σ}}}{\{e_A\left(q\right)-e_B\left(q\right)\}}^2...(E-2)$

针对各块位置求出这种差别度ε₂，确定差别度ε₂比规定的正的阈值大的块位置，将俯视图图像TI2内的被确定的块位置上的各小块设定为要素块。将俯视图图像TI2内的要素块以外的小块称为非要素块。然后，通过将要素块内的各像素的像素值设为1，将非要素块内的像素的像素值设为0，得到作为二进制图像的差分图像。

(第3形成方法)对第3形成方法进行说明。在第3形成方法中，求出各小块的边缘方向度数分布。然后，在俯视图图像TI2和参照图像TS1之间，通过比较边缘方向度数分布来计算出差别度ε₃。

具体而言，通过使用拉普拉斯滤波器等任意的边缘提取滤波器，针对俯视图图像TI2以及参照图像TS1的各像素，实施边缘提取处理，从俯视图图像TI2以及参照图像TS1中提取多个边缘，检测被提取的各边缘的边缘方向。所谓边缘是指在图像中亮度突然发生变化的部分；所谓边缘方向是指该亮度突然发生变化的方向。设置应该同属的边缘方向彼此不同的第1～第Q区域，将根据边缘方向面向何方向提取的各边缘分类为第1～第Q区域中的任意一个区域(Q为2以上的整数)。

差别度ε₃的计算虽然是针对每个块位置进行的，但现在关注1个块位置。图23(a)表示俯视图图像TI2内的关注块位置上的小块的边缘方向度数分布d_A；图23(b)表示参照图像TS1内的关注块位置上的小块的边缘方向度数分布d_B。在从前者的小块提取的多个边缘内，用d_A(q)表示边缘方向属于第q区域的边缘的个数，在从后者的小块提取的多个边缘内，用d_B(q)表示边缘方向属于第q区域的边缘的个数(1≤q≤Q)。这样一来，就可以按照下列公式(E-3)计算出差别度ε₃。

(公式14) ${\mathrm{\ϵ}}_3=\underset{q=1}{\overset{Q}{\mathrm{\Σ}}}{\{d_A\left(q\right)-d_B\left(q\right)\}}^2...(E-3)$

针对各块位置求出这种差别度ε₃，确定差别度ε₃比规定的正的阈值大的块位置，将俯视图图像TI2内的被确定的块位置上的各小块设定为要素块。将俯视图图像TI2内的要素块以外的小块称为非要素块。然后，通过将要素块内的各像素的像素值设为1，将非要素块内的像素的像素值设为0，得到作为二进制图像的差分图像。

(立体物区域的推定)在图24(b)中，将使用上述第1～第3形成方法中的任意一个方法所设定的各要素块在作为俯视图图像TI2的图像例的图16(c)的图像403上重叠显示。在图24(b)中，虚线框内的块为要素块。简单地说，可以将被设定的整个要素块的合成区域，或者包围该合成区域的区域(例如矩形区域)，作为俯视图图像TI2上的立体物区域进行推定。

不过，作为优选的方式，可以通过进行区域结合处理以及消去处理，最终确定立体物区域，在该区域结合处理中，将各要素块作为立体物区域的构成要素的候补，结合位于旁边位置上的要素块的集合，形成结合区域；在该消去处理中，将与其他的要素块在空间上不接近的要素块或面积小的结合区域消去。例如，判断某一要素块和其他要素块(或结合区域)是否在空间上彼此相邻，在相邻的情况下，将两者结合，形成新的结合区域。直到不再进行新结合为止，反复进行该处理。然后，评估所获得的各结合区域的大小，将一定大小以下的结合区域以及与其他要素块没有结合的要素块消去，将最终留下来的结合区域或包围该结合区域的区域(例如矩形区域)作为俯视图图像TI2上的立体物区域进行推定。其结果是，对用图18的虚线框431表示的立体物区域进行推定。推定了俯视图图像TI2上的立体物区域后的操作如第1实施例所述。

《第3实施例》接下来，对第3实施例进行说明。在第3实施例中，举例说明与上述各实施例对应的驾驶辅助系统的功能框图。图25是第3实施例中的驾驶辅助系统的功能框图。第3实施例中的驾驶辅助系统包括参照附图符号11～17的各部位，且参照附图符号11～17的部位被设置在图1的图像处理装置2内。

图像获取部11根据照相机1的输出信号依次获取各照相机图像。各照相机图像的图像数据被从图像获取部11发送到移动检测部(移动向量检测单元)12以及俯视转换部13。移动检测部12执行图5的步骤S12以及S13的各处理。即，进行特征点的提取以及特征点的移动向量的计算。俯视转换部13执行图5的步骤S14以及S15的各处理，将各照相机图像转换为俯视图图像，并且，将照相机坐标面上的特征点以及移动向量映射在俯视图坐标面上。地面特征点提取部(判断单元)14进行图5的步骤S16的处理，将地面特征点提取出；车辆移动信息生成部(移动信息推定单元)15进行图5的步骤S17的处理，从关于该地面特征点的地面特征点信息中生成车辆移动信息。立体物区域推定部16进行图5的步骤S18的处理。即，根据时刻t1以及t2的俯视图图像和车辆移动信息，推定上述的立体物区域。显示用图像生成部17根据立体物区域的推定结果，对俯视图图像进行加工以便可通过目视确认立体物区域，从而生成显示用图像。另外，也可以将为了能通过目视确认立体物区域而对照相机图像进行加工的图像作为显示用图像来生成。

《变形例》上述说明书中所示的具体数据仅仅是举例说明，毋庸置疑，可以将这些数值变更为各种各样的数值。作为上述实施方式的变形例或注释事项，以下记载为注释1～注释5。各注释中所记载的内容只要不矛盾可以进行任意的组合。

(注释1)虽然对通过透视投影转换从照相机图像获取俯视图图像的方法进行了说明，但也可以通过平面射影转换从照相机图像获得俯视图图像。在这种情况下，通过预先实施的摄像机定标法求出用于将照相机图像上的各像素的坐标值转换为俯视图图像上的各像素的坐标值的单应性矩阵(平面射影矩阵)。求得单应性矩阵的方法是公知的。另外，在进行图5所示的操作的情况下，根据单应性矩阵将照相机图像转化为俯视图图像即可。在这种情况下，在图5的步骤S15的特征点以及移动向量的俯视图坐标面上的映射也可以根据单应性矩阵进行。

(注释2)另外，虽然上面叙述了在车辆100的后部设置照相机1，以便在车辆100的后方一侧具有视野，但是，也可以将照相机1设置在车辆100的前部或侧部，以便在车辆100的前方一侧具有视野、或在车辆100的侧面具有视野，即使如此设置，也可以进行与包括立体物区域的推定处理的处理相同的处理。

(注释3)在上述实施方式中，虽然将基于从1个照相机获得的照相机图像的显示用图像显示在显示装置3上，但是，也可以基于从设置在车辆100上的多个照相机(图中没有显示)获得的多个照相机图像，生成显示用图像。例如，在车辆100上安装照相机1以外的1台以上的其他照相机，将基于其他照相机的照相机图像的图像与基于照相机1的照相机图像的图像(例如，图19的图像440)合成，也可以最终将通过该合成所获得的合成图像作为针对显示装置3的显示用图像。该合成图像为例如特开2006-287892号公报中也记载的那种全景俯视图图像。

(注释4)在上述的实施方式中，虽然举出了汽车的例子作为车辆的例子，但是对于没有被分类为汽车的车辆本发明也适用，另外，对于没有被分类为车辆的移动体本发明也适用。没有被分类为车辆的移动体例如没有车轮，利用车轮以外的装置移动。例如，对于作为通过远程操作在工厂内移动的移动体的机器人(图中没有显示)，本发明也可以适用。

(注释5)图1的图像处理装置2以及图25的各部位的功能可以通过硬件、软件、另外硬件和软件的组合来实现。将通过图1的图像处理装置2以及图25的各部位实现的功能的全部或一部分表述为程序，可以通过在计算机上执行该程序，实现其功能的全部或一部分。

Claims (9)

1.一种驾驶辅助系统，具有安装在移动体上对上述移动体的周围进行拍摄的照相机，且根据从上述照相机获得的照相机坐标面上的照相机图像，推定基于上述照相机图像的图像中的立体物区域，

上述驾驶辅助系统中具有：

图像获取单元，其获取在上述移动体的移动中的彼此不同的第1以及第2时刻由上述照相机拍摄到的第1以及第2照相机图像；

移动向量检测单元，其从上述第1照相机图像提取n个特征点，并且对上述第1和第2照相机图像之间的上述照相机坐标面上的各特征点的移动向量进行检测，其中n为2以上的整数；

俯视转换单元，其通过将各照相机图像和上述照相机坐标面上的各特征点以及各移动向量投影到与地面平行的俯视图坐标面上，将上述第1以及第2照相机图像转换为第1以及第2俯视图图像，并且对上述第1俯视图图像上的各特征点的位置以及上述第1和第2俯视图图像之间的上述俯视图坐标面上的各特征点的移动向量进行检测；

判断单元，其使用位于地面上的地面特征点应该满足的限制条件，判断在上述第1俯视图图像上的所关注的特征点是否是上述地面特征点；

移动信息推定单元，其根据被判断为是上述地面特征点的2个以上的特征点在上述第1俯视图图像上的位置以及上述俯视图坐标面上的移动向量，推定上述第1和第2时刻之间的上述移动体的移动信息；和

立体物区域推定单元，其根据上述第1以及第2俯视图图像和上述移动信息，推定上述立体物区域。

2.根据权利要求1所述的驾驶辅助系统，其特征为，

上述限制条件规定：上述第1和第2时刻之间的上述移动体的旋转角以及平行移动量、与上述地面特征点在上述第1俯视图图像上的位置以及上述俯视图坐标面上的移动向量应该满足的关系。

3.根据权利要求2所述的驾驶辅助系统，其特征为，

上述判断单元从上述第1俯视图图像上的上述n个特征点中提取2个以上的特征点作为关注特征点，并且通过判断这些关注特征点是否符合上述限制条件，来判断上述关注特征点是否是上述地面特征点。

4.根据权利要求2所述的驾驶辅助系统，其特征为，

上述判断单元

从上述第1俯视图图像上的上述n个特征点中提取2个以上的特征点作为关注特征点，

假设上述2个以上的关注特征点为上述地面特征点，并代入上述关系，由此求出每2个以上的上述旋转角的推定值以及上述平行移动量的推定值，

根据上述旋转角的推定值的偏差以及上述平行移动量的推定值的偏差，判断上述关注特征点是否是上述地面特征点。

5.根据权利要求2～4中任意一项所述的驾驶辅助系统，其特征为，

上述移动信息包括表示上述移动体的旋转角以及平行移动量的信息。

6.根据权利要求1～4中任意一项所述的驾驶辅助系统，其特征为，

上述立体物区域推定单元

根据上述移动信息，校正由第1和第2时刻之间的上述移动体的移动引起的上述第1和第2俯视图图像间的位置偏离，

根据校正后的上述第1和第2俯视图图像的对比结果，推定上述立体物区域。

7.根据权利要求1～4中任意一项所述的驾驶辅助系统，其特征为，

被推定的上述立体物区域与上述第1照相机图像、上述第2照相机图像、上述第1俯视图图像或上述第2俯视图图像内的立体物的描绘区域对应。

8.一种作为移动体的车辆，

其设置了权利要求1～4中任意一项所述的驾驶辅助系统。

9.一种立体物区域推定方法，根据从安装在移动体上对上述移动体的周围进行拍摄的照相机获得的照相机坐标面上的照相机图像，推定基于上述照相机图像的图像中的立体物区域，

上述立体物区域推定方法具有：

图像获取步骤，获取在上述移动体的移动中的彼此不同的第1以及第2时刻由上述照相机拍摄到的第1以及第2照相机图像；

移动向量检测步骤，从上述第1照相机图像提取n个特征点，并且对上述第1和第2照相机图像之间的上述照相机坐标面上的各特征点的移动向量进行检测，其中n为2以上的整数；

俯视转换步骤，通过将各照相机图像和上述照相机坐标面上的各特征点以及各移动向量投影到与地面平行的俯视图坐标面上，将上述第1以及第2照相机图像转换为第1以及第2俯视图图像，并且对上述第1俯视图图像上的各特征点的位置以及上述第1和第2俯视图图像之间的上述俯视图坐标面上的各特征点的移动向量进行检测；

判断步骤，使用位于地面上的地面特征点应该满足的限制条件，判断在上述第1俯视图图像上的所关注的特征点是否是上述地面特征点；

移动信息推定步骤，根据被判断为是上述地面特征点的2个以上的特征点在上述第1俯视图图像上的位置以及上述俯视图坐标面上的移动向量，推定上述第1和第2时刻之间的上述移动体的移动信息；以及

立体物区域推定步骤，根据上述第1以及第2俯视图图像和上述移动信息，推定上述立体物区域。

Images