CN109074651A - 移动体的周围环境识别装置 - Google Patents

Abstract

本发明提供一种即便在看上去某一移动立体物与其他立体物重叠在一起的状况下也能实现该某一移动立体物的早期检测的周围环境识别装置。为此，本发明的移动体的周围环境识别装置具备：摄像部，其按时间序列拍摄多个图像；立体物检测部，其根据距自身设备的距离来检测立体物；向量检测部，其利用所述多个图像来追踪内包所述立体物的规定区域的内部的特征点，由此检测该特征点的运动向量；以及移动立体物检测部，其根据所述向量检测部的检测结果来检测存在于所述区域的内部的移动立体物。

Description

移动体的周围环境识别装置

技术领域

本发明涉及一种检测存在于自身设备的周围的立体物的周围环境识别装置。

背景技术

通过车辆上设置的相机来识别车辆周围环境的应用以及搭载有该应用的装置的产品化日益增加。其中，在利用周围环境的识别结果来防止与物体的接触于未然的预防安全技术、以自主行驶为目标的车辆控制技术上的应用受到业界期待。在这种技术上的应用需要周围环境的识别技术有较高可靠性。

日本专利特开2005-214914号公报(专利文献1)中揭示有如下技术：利用立体相机来获取一对图像，根据从该一对图像获得的距离数据来检测立体物，根据从该一对图像中的一方获得的该立体物的光流(运动向量)来算出该立体物的移动速度。

现有技术文献

专利文献

专利文献1：日本专利特开2005-214914号公报

发明内容

发明要解决的问题

在上述文献那样的基于自身车辆与物体的距离数据的立体物检测中，在距自身车辆相同程度的距离上存在2个立体物而且它们看上去重叠在一起的情况下，该2个立体物有时不会被分离而是被检测为1个立体物。在该情况下，两者看上去分离而过了片刻之后才能判别2个立体物。

因此，例如在行人紧靠自身车辆前方的驻停车辆背后通过而将要横穿自身车辆的行驶路线的情景下，结果是，首先在看上去行人与驻停车辆重叠在一起的期间内将行人和驻停车辆检测为1个立体物，其后在两者看上去分离之后才独立地检测到行人和驻停车辆，发现行人的时刻必定会推迟。由此，以发现行人为触发的控制(例如自身车辆与行人的接触规避控制)的发动也会推迟。

本发明的目的在于，提供一种即便在像行人从驻停车辆的背后等死角区域冒出的状况这样、看上去某一移动立体物与其他立体物近距离地重叠在一起的状况下，也能实现该某一移动立体物的早期检测的周围环境识别装置。

解决问题的技术手段

为了达成上述目的，本发明的周围环境识别装置具备：摄像部，其按时间序列拍摄多个图像；立体物检测部，其根据距自身设备的距离来检测立体物；向量检测部，其利用所述多个图像来追踪内包所述立体物的规定区域的内部的特征点，由此检测该特征点的运动向量；以及移动立体物检测部，其根据所述向量检测部的检测结果来检测存在于所述区域的内部的移动立体物。

发明的效果

根据本发明，在进行基于距离的立体物检测的情景下，能够实现移动立体物的早期检测。

附图说明

图1为车载环境识别装置的概略构成图。

图2为右相机摄像部的概略构成图。

图3为左相机摄像部的概略构成图。

图4为视差图像生成部的概略构成图。

图5为立体物检测部的概略构成图。

图6为运动向量检测部的概略构成图。

图7为物体分离部的概略构成图。

图8为冒出检测部的概略构成图。

图9为警报-控制部的概略构成图。

图10为行人冒出情景的俯瞰图。

图11为行人冒出情景的自身车辆相机拍摄例。

图12为运动向量的分布例以及该情况下的运动向量的分组例。

图13为相同帧率的立体相机中的拍摄时间表。

图14为不同帧率的立体相机(单目高速相机)中的拍摄时间表。

图15为金字塔图像的说明图。

图16为纵向边缘图像和移动探索的说明图。

图17为运动向量分离部的处理的一例。

图18为几何检查部的处理的一例。

图19为行人图案的出现区域和遮蔽区域的说明图。

图20为局部图案匹配的说明图。

图21为冒出行人的预测位置的一例。

图22为与行人的碰撞可能性判定的说明图。

图23为表示每一控制级别的控制内容的控制级别表的一例。

图24为基于预测位置精度和偏移宽度的控制级别决定表的一例。

图25为行人冒出情景的模式的说明图。

图26为冒出检测的处理流程的一例。

图27为另一分布图的说明图。

图28为另一车载环境识别装置的概略构成图。

具体实施方式

下面，使用附图，对本发明的实施例进行说明。再者，各图中对相同部分标注有相同符号。

此处对在汽车上搭载有周围环境识别装置的例子(车载环境识别装置)进行说明，但并不限于汽车，可以运用于施工机械、机器人、农业机械等各种移动体，还可以运用于利用相机图像的监视系统。

＜图1＞

图1表示车载环境识别装置的构成图。车载环境识别装置具备朝向车辆前方而搭载于右侧的右相机(第1相机)中内置的右相机摄像部110、朝向车辆前方而搭载于左侧的左相机(第2相机)中内置的左相机摄像部100、计算机3、搭载于车辆乘坐空间内的显示装置(显示器)5及警报装置6、作为车辆的加速控制装置的节气门(进气控制装置)及喷射器(燃料喷射装置)7、以及制动器8。

计算机3具备未图示的运算控制装置(例如CPU)、存储装置(例如存储器、硬盘、闪存)及通信装置等，以视差图像生成部(距离算出部)200、立体物检测部300、运动向量检测部(向量检测部)400、移动立体物检测部32、警报-控制部700的形式发挥功能。进而，移动立体物检测部32以物体分离部500及冒出检测部600的形式发挥功能。

右相机摄像部110及左相机摄像部100构成了立体相机，分别按时间序列拍摄自身车辆前方的多个图像，由此获取到动态图像。右相机摄像部110(右相机)的摄像帧率比左相机摄像部100(左相机)的摄像帧率高(参考图14)，详情将于后文叙述。

视差图像生成部200利用由右相机摄像部110及左相机摄像部100于同一时刻拍摄到的一对图像来生成视差图像，并根据该视差图像来算出右相机摄像部110及左相机摄像部100(自身设备)到该图像上的各物体的距离。再者，生成视差图像时作为基准的相机可以酌情进行选择。例如，在实施以右相机的图像为基准而探索左相机的图像的匹配部位的立体匹配的情况下，生成基于右相机的视差图像。

立体物检测部300根据距离图像生成部200所算出的距离，在该距离的算出时刻的图像上检测立体物。因此，在相同程度的距离上以前后或左右方式毗连存在多个立体物的情况(例如，在紧靠某一立体物的背后存在其他立体物的情况)下，该多个立体物有时会被立体物检测部300识别为1个立体物。立体物检测部300在左相机的图像上设定内包检测到的立体物的轮廓的规定区域(以下，有时称为“立体区域”)。立体区域也可以设定在右相机的图像上。本实施例是将检测到的立体物的轮廓的外接矩形设定为立体区域(例如参考后文叙述的图11的符号115)，但只要是包含检测到的立体物的整个轮廓的形状(例如，将立体物的轮廓朝外侧扩展或扩大而得的图形等)，便无特别限定。

运动向量检测部400利用右相机的动态图像(具体为构成该动态图像的多个图像)，按时间序列来追踪立体区域内包含的特征点，由此检测表示该特征点的移动方向及移动量的运动向量。加以追踪的特征点的数量无限定，但就移动立体物的检测精度的观点而言，大多是较多的特征点较为有利，优选追踪立体区域内能够检测到且有意义的所有特征点。在追踪特征点时，此处是通过检测纵向边缘的横向移动量来检测运动向量。由此，运动向量的方向被简化为左右。追踪纵向边缘的优点将于后文叙述。再者，除了纵向边缘以外，也可以利用纵向以外的边缘、角部等特征图案。此外，在能够提取立体物检测部300所检测到的立体物的轮廓的情况下，也可追踪该轮廓的内部的特征点或者其一部分的特征点而不是追踪立体区域的内部的特征点，来检测运动向量。

移动立体物检测部32(物体分离部500及冒出检测部600)根据运动向量检测部400的检测结果来检测存在于立体区域的内部的移动立体物。

物体分离部500充分利用来自立体物检测部300的立体物检测结果和来自运动向量检测部400的运动向量，来解析存在于由立体物检测部300检测到的立体区域的内部的特征点的运动向量。在由立体物检测部300检测到的立体物为1个物体的情况下，通常而言，虽然该立体物内部的运动向量包含噪声因素，但除了位于自身车辆正面这样的特殊情况以外，运动向量都在1个方向上。另一方面，设想如下情况：在由立体物检测部300检测到的立体区域的内部存在多个物体，即，有图10、11所示那样的源于身体的一部分被驻停车辆遮掩的状况的冒出行人。在该情况下，如图10的俯瞰图的上部所示，行人与车辆的纵深距离(自身车辆行进方向上的距自身车辆的距离)相对较近，立体物检测部300的立体物检测的结果是行人和车辆不加分离地被检测为一个较大立体物。因此，在将检测到的立体物(检测立体物)的外接矩形作为立体区域的情况下，如图11所示，行人和车辆的外接矩形就成为立体区域115。

图11的立体区域115内的运动向量的解析结果示于图12。在右相机的动态图像上，随着自身车辆接近，驻停车辆看上去在朝左侧移动，因此，驻停车辆的特征点产生了像图12那样去往左方的运动向量。反过来，正要从驻停车辆的背后冒出的行人在右相机的动态图像上是朝图像中央(车辆的前进路线方向)移动，因此，行人的特征点被检测为右方向的向量组。

这样一来，在检测立体物的立体区域115的内部存在移动立体物的情况下，运动向量上会观察到多种分布倾向，因此，通过着眼于运动向量的分布而对特征点进行分组，能够实现该移动立体物的检测和该移动立体物自检测立体物的分离(与移动立体物相关的图像部分的确定)。因而，即便在图像上某一移动立体物与其他立体物以近距离重叠在一起，也能实现该某一移动立体物的早期检测。再者，在检测立体物的立体区域115的内部存在多个立体物的情况下，基于物体分离部500的移动立体物的检测特别有意义。即，在如下情况下特别有意义：检测到在检测立体物的立体区域115的内部存在多个立体物，而且该多个立体物中的至少1个为移动立体物。

冒出检测部600针对由物体分离部500检测到的移动立体物(例如冒出行人候选)而仅利用该移动立体物出现于图像(也可以说成立体区域内)中的部分来进行图案匹配(局部图案匹配)，由此判定该移动立体物的种类(是行人、两轮车还是动物等)。

警报-控制部700根据检测到的结果的位置和速度、自身车辆行为来计算与自身车辆的碰撞危险性、碰撞时刻，并根据到与移动立体物的碰撞为止的时间来实施基于显示装置5及警报装置6的警报、基于制动器8的紧急制动的控制、基于节气门及喷射器7的加速度控制等。

＜图2、图3＞

图2表示右相机摄像部110的构成，图3表示左相机摄像部的构成。作为能够采用的左右相机的构成，有将左右相机设为同一配置、只需要调整左右相机的拍摄时刻的快门控制的构成。在该构成中，如图13所示，在同一拍摄时刻释放左右相机的快门，因此，可以利用从2个视点同时拍摄到的图像来生成视差图像，从而能够生成高精度的视差图像。

本实施例采用控制图14所示那样的左右不对称的快门计时的系统构成。将右相机用作立体匹配中的基准相机，而且利用右相机来提取运动向量。右相机实施左相机的5倍周期的高帧率(此处为100fps)下的拍摄，左相机实施20fps下的拍摄。以左右相机的拍摄时刻一致的20fps实施立体相机，右相机充分利用高帧率的图像来提取运动向量。若充分利用高帧率的图像，则帧之间的图像的变化较少，因此能够实现基于缩小了探索范围的匹配的运动向量的计算，即便是更简单的方法，误匹配也会减少，因此能够高精度且高密度地算出运动向量。

图2中，右相机摄像部110具备快门控制部101、增益调整部102、曝光控制部103、右摄像部104及积分图像生成部105。

图3中，左相机摄像部100具备快门同步部111、增益设定部112、曝光设定部113及左摄像部114。

在右相机摄像部110中，实施右相机的曝光调整、快门控制、摄像。如图14所示，左相机根据右相机的快门计时、以右相机拍摄5次它拍摄1次的快门计时进行拍摄。快门控制部101(参考图2)实施右相机的快门控制，利用快门同步部111(参考图3)、根据该右相机的快门计时来控制左相机的快门。接着，在增益调整部102、曝光控制部103中，以由右摄像部104拍摄到的前一帧图像的曝光区域的平均亮度值为参考来实施增益调整和曝光控制。由于基本上需要以左右相机的亮度值相等的方式拍摄图像，因此，左相机的增益设定部112、曝光设定部113参考右相机中的增益及曝光的设定值而对左相机也设定同样的值。由此，左右相机以20fps同时以同一增益、同一曝光控制、同一时刻释放快门而利用右摄像部104和左摄像部114拍摄图像。由于右相机以高速帧率实施拍摄，因此，可通过利用来自积分图像生成部105的拍摄图像的积分图像来谋求夜间黑暗时的识别性能的提高。尤其是在夜间的通过单眼处理来实施的远方车辆的前灯和尾灯的识别、前灯照射范围外的白线识别、标识检测等当中，可通过利用积分图像来改善图像的对比度。

＜图4＞

图4中，视差图像生成部200具备几何修正部210、亮度修正部220及立体匹配部230。在视差图像生成部200中，利用由左相机摄像部100拍摄到的图像和由右相机摄像部110拍摄到的图像来实施立体匹配。如图14所示，在右相机的拍摄周期比左相机短的情况(帧率高于左相机的情况)下，仅利用右相机与左相机的拍摄周期一致时的图像来实施立体匹配。首先，由左右相机拍摄到的原图像还没有进行图像的畸变的修正、根据图像上的位置而变化的灵敏度的修正。

因此，读入借助作为立体相机的生产过程之一加以实施的、通过拍摄几何图来实施的几何校准而得到的左右相机的透镜畸变以及左右相机图像成为平行的位置关系用的几何修正表，通过几何修正部210来实施左右相机的几何修正。由此，对左右相机的图像进行几何修正而得的图像为左右平行的位置关系，而且是完全没有透镜畸变的图像。由此，能够准备易于在几何上进行匹配的左右图像。接着，在亮度修正部220中，实施利用亮度修正表的亮度修正，所述亮度修正表是作为立体相机的生产过程之一加以实施的、基于灵敏度校准的对根据图像上的位置而变化的灵敏度的程度进行测量的灵敏度校准的结果。由此，实施左右相机的灵敏度一致、而且不论在左右相机的图像上的哪一位置都是以相同亮度加以拍摄这样的修正。由此，在左右相机的立体匹配中，由于左右的灵敏度相同，因此匹配精度上升。通过进行基于该几何修正部210的图像的畸变修正和基于亮度修正部220的亮度修正，对左右相机的图像进行修正，并利用该修正图像在立体匹配部230中实施立体匹配。由此，生成高精度、高密度的视差图像。

＜图5＞

图5中，立体物检测部300具备垂直立体物提取部310、立体物候选提取部320、候选分类部330及简易立体跟踪部340。在立体物检测部300中，利用由视差图像生成部200获取到的视差图像来实施立体物检测。在垂直立体物提取部310中，首先将在视差图像垂直方向上存在于相等纵深距离(自身车辆行进方向上的距自身车辆的距离)的垂直物体检测为块。将该垂直物体当中朝现实世界的铅垂下方而存在于路面的高度或者路面之下的物体从垂直立体物的对象中排除，或者切取路面附近的部分作为垂直立体物候选。接着，在立体物候选提取部320中，沿横向观察垂直立体物的连续，由此，根据立体物的宽度及高度为某一规定值以上的大小来实施立体物候选提取。

接着，在候选分类部330中根据大小对该立体物候选进行候选分类。对有可能是行人的尺寸的立体物候选设置作为行人候选的标记，对有可能是车辆的尺寸的立体物候选设置作为车辆候选的标记。同样地，出于实现各种立体物的判别的观点，也可有两轮车(自行车、摩托车)、卡车、标识、动物(鹿、牛、马等)等候选分类。

接着，在简易立体物跟踪部340中实施立体物候选的跟踪。跟踪时，在考虑自身车辆行为的移动量(即自身车辆速度)的情况下设定探索范围。在立体物的速度不明的情况下，若为行人候选，则以±12km/h以下左右设想行人的移动速度，并利用与自身车辆行为的相对速度加以修正，在所得范围内探索、跟踪过去与当前的立体物的对应关系。此外，在可以根据运动向量检测部400的信息来预测立体物的速度的情况下，综合该速度信息和自身车辆行为信息来决定跟踪探索范围而实施跟踪。

＜图6＞

图6中，运动向量检测部400具备金字塔图像生成部410、边缘提取部420、纵向边缘探索部430及移动量统合算出部440。在运动向量检测部400中，探索图像上的纵向的边缘(也称为纵向边缘)的移动量。光流这样的方法是跟踪成为物体的角这样的点(角部)即特征点的算法，因此，即便图像上的移动量较多，跟丢、跟错的情况也较少。该方法在本实施例中也可以运用。

本实施例的运动向量的算出方法是将只有车载相机才有的、随着车辆的行驶而背景向左右的视野外流去这一特征用作基本概念。由于背景基本上会向画面视野外流去，因此，作为背景的静止立体物基本上会流出至左或右的画面侧面。若利用这一背景沿横向流动的性质，则若为静止立体物，则纵向边缘会向画面外流去。此外，即便是移动立体物，在现实世界的路面上移动的物体在画面上也只会沿左右方向运动。因此，在基于车载相机的图像彼此的匹配的、立体物的移动追踪当中，对各图像中的纵向边缘的移动进行追踪即可，并且，在追踪纵向边缘的移动时，仅沿横向探索纵向边缘即可。但要注意，纵向边缘自身的特征量较少，离得较远的纵向边缘很可能成为误跟踪的因素。

在本实施例中，为了限定在纵向上存在边缘的区域的匹配探索范围，配备有生成分辨率不同的同一图像的集合即金字塔图像的金字塔图像生成部410。在本实施例的金字塔图像生成部410中，生成将来自右相机摄像部110的图像(原始图像)阶段性地缩小至规定分辨率(例如原始的1/2、1/4等)而得的图像(缩小图像)，通过原始图像相同的多个缩小图像来构成金字塔图像。

在向量检测部400的后文叙述的各部420、430、440中，利用由金字塔图像生成部410生成的同分辨率的图像彼此对纵向边缘进行匹配，由此，能够实现该纵向边缘相关的立体物的移动追踪。对于在相机的附近被拍摄的物体(图像上的外观较大的物体)、图像上的横向上的移动量较大的物体，沿横向探索缩小后的图像上的纵向边缘，由此，即便图像上的探索宽度为5像素等固定宽度而且其他时刻的图像也是相同宽度，例如只要能在分辨率为1/2的缩小图像上检测到5像素的移动量，就能检测到全分辨率的图像(原始图像)上的10像素量的移动量。同样地，若在分辨率为1/4的缩小图像上移动量为5像素，则表示在原始图像上能够检测到20像素量的移动量。由于以如此方式减少探索宽度，因此，通过实施利用像图15所示那样由金字塔图像生成部410生成的金字塔图像的纵向边缘的跟踪，即便是特征较少的线，也能实现高精度的跟踪而不会弄错。本次是生成整数分之一的分辨率的金字塔图像，但缩小比例并非必须为整数分之一。

边缘提取部420对由金字塔图像生成部410生成的多分辨率的图像实施纵向边缘提取。针对所生成的各个多分辨率的金字塔图像都生成纵向边缘图像。如图16所示，针对获取到的原图而生成纵向边缘。对由金字塔图像生成部410生成的多分辨率的图像实施该操作。

接着，如图16的下方所示，通过纵向边缘探索部430、利用上一次(例如时刻T的图像)的边缘图像和本次(例如时刻T的1帧后的时刻T+1的图像)的边缘图像对同一分辨率(尺寸)的图像彼此进行比较。继而，以时刻T+1的图像上的小矩形区域(参考图16)为基准，在时刻T的图像上沿图像横向探索具有与该小矩形区域类似的特征的区域。以时刻T+1时的图像上的横向位置为基准而沿左右方向仅探索规定宽度。由此，在图像上运动小到一定程度的物体的情况下，像图16所示那样存在匹配的位置。由此，能在1帧间提取认为该物体发生了移动的图像上的移动量。另一方面，在图像上的物体的运动较大的情况(移动量较多的情况)下，该部分有时不会进入匹配的探索范围(规定宽度内)而无法进行匹配。在这种情况下，在图15所示那样的分辨率1/2、1/4等的金字塔图像内探索该物体。例如，近距离拍摄的物体、高速横向移动的物体在图像上的移动距离较大，1帧间的移动量时常超出规定宽度。在1/2分辨率的图像上探索与原图像相同的规定宽度等于在原图像上探索规定宽度的实质2倍的图像上的移动量。此外，在即便是1/2图像中移动量也较大而无法进行匹配的情况下，利用1/4分辨率等更小的图像等。关于应对应何种速度，可以通过利用对应的冒出移动体的设想速度和其纵深距离、处理周期来算出。

关于图像上的运动量，越是位于远方的物体，运动量越小。因此，利用车道识别、相机的姿态、自身车辆行为等综合地进行判断，原图像的运动提取区域精简到认为是自身车辆将会行进的预测区域周边即可，无须在整个图像内实施。也可在距离越远便越窄的视场角内探索运动向量(缩窄探索范围)，由此减轻处理负荷。

接着，移动量统合算出部440利用从金字塔图像中提取到的纵向边缘探索部430的结果来统合这些多分辨率下的移动量。继而，将多分辨率的图像再次复原为原图像的尺寸，之后在原图像上汇总物体的移动量。由此，能够检测图像上低速度的移动物体到高速度的移动物体的运动向量。

＜图7＞

图7中，物体分离部500具备运动速度分离部510、几何检查部520及出现-遮蔽区域分离部530。在物体分离部500中，判定由立体物检测部300设定的立体区域115的内部是否包含多个立体物，继而，在包含多个立体物的情况下，判定其中是否包含朝自身车辆的前进路线靠近的移动立体物(接近立体物)。在这些判定中充分利用图12所示那样的运动向量检测部400的结果。继而，在立体区域115的内部存在移动立体物的情况下，物体分离部500实施在图像上明确(分离)该移动立体物的范围的处理(有时称为“物体的分离”)。在立体区域115内存在多个立体物但现实世界中各自的运动大致相同的情况下(也包括静止的情况)，立体物的分离较为困难，但在图10、图11所示那样的行人等移动立体物从其他立体物的背后等死角区域朝自身车辆行进方向冒出的情况下，能够在早期准确地检测到该移动立体物，从而能够防止、避免自身车辆与该移动立体物的接触。

运动速度分离部510首先解析存在于由立体物检测部300设定的立体区域115的内部的特征点的运动向量(运动速度)。图17中，由立体物检测部300将车辆及行人检测为一体的立体物，该车辆及行人均包含在立体区域115内。为了解析存在于该立体物的立体区域115的内部的特征点的运动向量，将由运动向量检测部400检测到的运动向量按照其移动方向及/或移动量加以分布图化。所谓运动向量的移动量，是指该运动向量的大小。图17从上方起第2图中，将图像中的左方向的运动向量的符号设为负，将右方向的符号相反地设为正，按照移动方向及移动量将运动向量加以分布图化。该图的图形中，纵轴为向量的个数，横轴为向量的移动方向和移动量(速度)。通过像这样加以图表化，存在于立体区域115内的移动向量的速度分量的分布就变得明确。继而，实施制作好的分布图上频繁出现的值(众数)的探索(分布图的波峰探索)。在图17的例子中，由于立体区域115内部包含朝自身车辆前进路线靠近的行人(冒出行人)和驻停车辆，因此，存在由该行人和该驻停车辆所引起的共计2个众数(图形上的波峰)。图中的左侧的波峰表示随着自身车辆的前进而在图像上看起来朝左方移动的驻停车辆的运动向量，右侧的波峰表示向朝自身车辆的前进路线靠近的方向(右方)移动的行人的运动向量。立体区域内，驻停车辆相关的像素所占的面积较大，因此，驻停车辆的运动向量的个数比行人多，使得驻停车辆相关的左侧的波峰比行人相关的右侧的波峰高。再者，众数(mode)未必是1个，在像图17的例子那样在立体区域115内存在多个立体物等情况下，也会出现多个众数。

此处，将各波峰相关的立体物的图像出现部分(称为“出现区域”)相对于整体像的比例称为“图像出现比例”，将各波峰相关的立体物的出现区域内检测到运动向量的部分的比例称为“向量出现比例”。优选根据向量出现比例的阈值R2来决定是否对分布图中出现的各波峰执行后续的处理。在本实施例中，假定图像上出现了一部分的立体物为行人，设想该立体物的图像出现比例超过了规定阈值R1(例如30％)的情况，决定R2(例如20％)作为各波峰相关的立体物的向量出现比例的阈值。

在向量出现比例为R2以上的情况下，决定执行后续处理。再者，阈值R1相关的立体物的种类可以是假定的，该种类也能酌情变更为上述的行人以外(例如两轮车、动物)。各阈值R1、R2可以变更，R2可以根据设想的立体物的类别进行变更。图像出现比例(例如，行人的全身的百分之几出现在了图像上)可以根据图像内的对象立体物的纵深距离(距自身车辆的距离(Z距离))、图像内的该对象立体物的大小、以及该对象立体物的假定类别等进行预测。当像这样利用阈值R2进行筛选时，噪声得以去除，因此能够谋求计算机3的处理负荷的降低和后续处理的精度的提高。

在向量出现比例为阈值R2以上的情况下，实施确认向量的分布是否是以1个块的形式存在于图像上的处理。如前文所述，在本例中，如图17从上方起第3个图所示，在驻停车辆和冒出行人的移动速度的部分存在2个波峰。各波峰的周围的向量分布设为误差区域，解析存在于图17从上方起第3个图的2个箭头的范围内的运动向量(构成波峰的运动向量)在图像上呈何种分布状况。利用椭圆来表现运动向量的重心和纵横的分布范围，算出构成各波峰的向量的80％以上在内这样的椭圆并设定到图像上。结果，在本实施例中，如图17从上方起第4个图所示，以横向上较长的椭圆171的形式检测到驻停车辆，以浮在该长椭圆171的上方的小椭圆172的形式检测到冒出行人的上半身。其中，在各椭圆171、172内部存在超过30％的自身的波峰的范围外的向量(图17的箭头的范围外的向量)的情况下，该向量为噪声因素引起的分布图的扰乱，视为不存在具有以该波峰为中心的向量的物体。

在本实施例的情况下，表示自身车辆的速度分布的椭圆171是接近立体区域115(立体物的候选)的大小的椭圆。该椭圆171包含构成表示车辆的波峰的运动向量的80％，范围外的向量为30％以下。因此，首先判定分布图解析中最高的波峰(图17的波峰1)表示立体物的存在。继而，根据椭圆内的运动向量的方向及/或移动速度(移动量)来判别该立体物是移动的(移动立体物)还是静止的(静止立体物)。在本实施例中，根据该立体物的运动向量的方向为画面左方(去往画面外的方向)、其移动速度接近自身车辆速度这一情况，判定该立体物为静止立体物。

接着，构成第2高的波峰(图17的波峰2)的运动向量集中分布于立体区域的右上，根据该分布规定的椭圆172包含构成第2高的波峰的运动向量的80％，范围外的向量为30％以下。因此，判定第2高的波峰也表示立体物的存在。继而，根据该立体物的运动向量的方向为画面右方(朝自身车辆前进路线靠近的方向)这一情况，判定该立体物是朝自身车辆的前进路线接近的移动立体物(接近立体物)。进而，还可以根据该立体物的移动速度、尺寸(大小)来假定该立体物的种类。继而，在判定立体区域115内的物体为移动立体物的情况下，物体分离部500实施在图像上明确(分离)该移动立体物(作为接近立体物的行人)的范围的处理。

接着，几何检查部520实施由运动速度分离部510提取到的接近立体物(有时也称为“冒出立体物候选”)的几何检查。首先，几何检查部520以本实施例所设想的最小立体物即行人的全身的30％以上出现于图像中这一内容为最低条件来实施冒出立体物候选的提取。在运动速度分离部510的处理中，已确认向量数超过设想的行人阈值(20％)，而此处是检查运动向量在图像上的分布是否符合行人的全身的30％以上。如图18所示，在本实施例中，椭圆形(接近立体物)占站在与检测立体物相同的纵深距离的路面上的行人的全身的30％以上，若为行人，则能够确认30％以上的图像出现比例。由此，在几何上进行解析也是行人尺寸的物体在向画面内侧移动，从而判定该物体为冒出行人的可能性进一步升高。进而，在该几何检查部520中，在设想冒出行人以外的冒出物体的候选(例如两轮车、动物、车辆等)的情况下，能以与设想行人的情况相同的方式实施画面上是否出现了各冒出物体候选的30％以上的检查。将图像出现比例有30％以上的候选留作冒出候选，若不到30％，则判断是该物体的可能性极低或者即便是该物体也无法通过图案匹配加以确定，从而从冒出候选中排除。由此，能够避免执行不需要的图案匹配，从而能够实现移动立体物的检测精度的提高和计算机3的负荷的减轻。

接着，在出现-遮蔽区域分离部530中，使用图19所示那样的相机几何将生成的设想行人框180的内部分割为出现区域191和遮蔽区域(非出现区域)192。在本实施例中，冒出行人的运动向量的波峰为第2波峰，因此，利用第2波峰的周围的运动向量所存在的部分和这以外的部分来分割设想行人框180，将前一部分设为出现区域191，将后一部分设为遮蔽区域192。在几何检查中，可以掌握候选物体(图18中成为行人候选在图像上的大小的虚线180的框(设想行人框))的整体像的大小。

在本实施例中，如图19所示，以根据运动向量的分布沿XY方向扩大区域这样的标记方式将冒出行人候选分离为出现区域和遮蔽区域。也可为简易地仅沿纵向或横向分割行人候选这样的方式。在这种情况下，沿纵横仅投影右方向(去往自身车辆前进路线方向)的速度向量即可。由此，可以判定在哪一部分进行区域分割是否是可以辨识的区域(出现区域)。

此外，也可不仅将出现区域在整体中所占的比例(图像出现比例)超过阈值(上述例子中为30％)这一内容作为条件，还将出现区域包含容易成为图案匹配的特征的部分(若为行人，则为头部区域或腿部区域)这一内容添加到条件中来谋求后段处理即图案匹配的精度的提高。例如，如图18的下方所示，可以沿纵向以头部、躯干部、腿部来分割行人候选框，将出现区域当中推断为该头部或腿部的部分的50％以上可以辨识这一内容作为图案匹配执行的追加条件。其原因在于，在图案匹配的性质上，即便在接近立体物的图像出现比例超过阈值(30％)的情况下，在其中不包含容易显出物体形状的特征的部分(若为行人，则为腿部、头部)时，即便进行图案匹配，也有无法判定接近立体物的类别而导致图案匹配的精度降低之虞。

因此，若像上述那样添加追加条件，则后续的图案匹配下的接近立体物的类别判定精度将会提高。

＜图8＞

接着，在冒出检测部600中，实施冒出立体候选的图案匹配。图8中，冒出检测部600具备候选选定部610、局部图案匹配部620及位置速度推断部630。在本实施例中，主要是对行人的冒出检测进行说明，但实际上是将接近立体物与行人以外的两轮车、动物、车辆等的图案进行图案匹配而判定该接近立体物的种类。

在候选选定部610中，从由物体分离部500提取到的1个以上的接近立体物当中选定应实施图案匹配的候选，并选定应对该候选进行图案匹配的行人、两轮车、车等的图案。在几何检查部520中已检查了图像上的可以辨识的大小，因此，另外就是确认接近立体物的移动速度(例如作为行人而移动速度是否过快)、时间序列的形状变化的形态(例如作为行人，时间序列变化是否妥当)等，进而在判断材料上也使用是人造物还是像人、动物等，从而选定实施哪一图案匹配。

进而，此处，利用接近立体物的速度和纵深位置，仅对与自身车辆的碰撞可能性较高的立体物实施图案匹配。在位置速度推断部630中，为了算出候选物体(接近立体物、移动立体物)的准确速度，利用由出现-遮蔽区域分离部530获取到的出现区域，仅利用该出现区域内包含的视差图像，由此，对不混杂多物体的状况下的该候选物体的纵深位置(位置)进行再计算。进而，再次算出该出现区域内包含的运动向量的速度分布，并去除极端的离群值，之后算出平均速度，由此，对接近立体物的准确的横向移动速度(速度)进行再计算。由此，能够提高候选物体的位置及速度的精度，利用该位置及速度的后续处理的精度也能提高。例如，在移动速度过快的物体的尺寸达到两轮车候选的情况下，设想标准的两轮车出现，根据两轮车的纵深和移动速度、自身车辆的行为来预测碰撞可能性。在显然在自身车辆到达两轮车的纵深位置之前两轮车便会越过自身车辆的前方的情况下，不实施图案匹配本身。其原因在于，无须以没有碰撞可能性的接近立体物为触发对自身车辆施加制动，此外，接近立体物是两轮车还是行人等就预防安全的观点而言并无关系。此外，在接近立体物的移动速度过慢而在横穿过自身车辆的前进路线之前自身车辆便会越过的可能性较高的情况下，也可以不实施该接近立体物的图案匹配。

再者，有时也可对1个候选实施多个图案(例如行人和两轮车)的匹配。

在局部图案匹配部620中，像图20所示那样实施仅利用识别对象(设想行人框)180的出现区域191的图案匹配。在本实施例中，为了进行具体说明，设想由候选选定部610选定冒出候选为行人候选的情况来进行说明。此处，使学习而得的行人图案240的出现区域241与识别对象180的出现区域191对齐，之后实施图案匹配。图案匹配的结果是在参酌出现区域191的基础上加以分值化。在接近立体物像行人的情况下，设定以1至10分以内的分值参酌出现区域而得的上限分值。其次，在不像行人的情况下，设为0至-10的分值。但也存在出现区域不足时难以利用单一帧来识别确定的情况，还容易受背景的形状的影响。因此，根据即便背景在变化图案匹配也持续高分值这一情况来决定接近立体物的图案(本例中为冒出行人)。例如，要决定为行人，就要满足确定为行人之前的连续3帧为4分以上的匹配分值、和累积所得的匹配分值共计在25分以上这两个条件，据此判定为行人。因此，最短3帧能够实现冒出行人的确定。

＜图9＞

接着，在警报-控制部700中，利用上述的接近立体物检测的信息和自身车辆行为的信息来实施自身车辆的警报、控制。图9中，警报-控制部700具备移动预测部710、自身车辆行为推断部720、碰撞可能性判定部730、警报部740、控制部750及显示部760。

在移动预测部710中，根据识别出的接近立体物(冒出物体)的纵深方向上的移动速度和横向移动速度来推断其移动预测路径。预料随着距当前帧的经过时间的变长，接近立体物的预测位置的偏差会变大。因此，为了实现与接近立体物的碰撞可能性的判断，通过移动预测部710来实施接近立体物的移动预测。下面，以接近立体物为行人的情况为例进行说明。图21中，根据当前的行人位置来推断与当前的行人的移动速度相应的预测位置。在利用运动向量的精度较高的高帧相机等的情况下，可以利用加速度等，对于突然的冒出等也容易应对。但在该情况下，难以预测长时间的加速等，经过长时间后的预测较为困难。接着，推断行人的移动位置的误差。行人位置的误差会随着距当前的经过时间而累积，因此，预测时间越是靠后，预测位置越容易产生误差。因此，图21中展示了预测圆，所述预测圆利用圆来表现考虑了行人的至今为止的移动速度的分散、出现区域191内的运动向量的偏差的行人预测位置的偏差的大小。设想1frm(1帧)后行人进入该圆内的可能性为70％来规定预测圆。

在自身车辆行为推断部720中，利用自身车辆的速度和横摆率来算出自身车辆的预测行驶前进路线。

碰撞可能性判定部730根据由移动预测部710推断出的行人的移动预测路径信息和由自身车辆行为推断部720推断出的自身车辆的预测行驶前进路线信息来提取这2个预测路径的交点，并计算到自身车辆到达该地点为止所需的时间TTC(碰撞富余时间)。在该情况下，不论是否会与行人发生碰撞，都以TTC的形式计算时间。再者，关于未移动的静止行人，将行人位置视为点，仅在自身车辆行驶前进路线的线与行人静止位置的点的距离(偏移宽度α)包含在规定范围内的情况下实施TTC(碰撞富余时间)的计算。如此，在碰撞可能性判定部730中，计算假定与检测到的行人发生碰撞的情况下的TTC。警报-控制的对象之外的物体不实施图案匹配等而已事先从检测候选对象中排除掉了，但是，在根据TTC的计算结果而明确地判明控制-警报对象之外的立体物的混入的情况下，也可在判明的时间点省略其后的详细处理。

＜图21、图22＞

接着，算出预测在上述计算出的TTC秒后会有行人的位置来判定碰撞可能性。图22表示该计算的一例。展示行人要横穿自身车辆前进路线而且行人、自身车辆均直线前进这样的情形。由于已求出到自身车辆到达行人所处的纵深位置为止的时间TTC，因此，推断该TTC秒后的存在行人的可能性较高的预测位置。像图21所示那样以预测圆的形式预测行人的位置。由此，考虑TTC秒后的自身车辆中心位置与行人的偏移宽度α，根据行人位置来判定碰撞的可能性。由于也会考虑行人已跨过自身车辆行驶车道的情况、行人的移动较慢而车辆会先行越过这样的情况，因此，行人的位置和速度信息对于碰撞可能性的判定较为重要。在预测圆的一部分存在于会与车辆发生碰撞的位置这样的情况下，根据碰撞圆的中心是否存在于有碰撞可能的位置或者有碰撞可能的区域占整体的百分之几以上等来变更自身车辆的控制内容。

在根据上述TTC秒后的行人预测位置而判定有碰撞的可能性的情况下，计算TTC秒后的与行人的碰撞可能性，并将与该可能性相应的指令输出至显示装置5、警报装置6、节气门/喷射器7或制动器8。在可能性较高的情况下，例如实施基于制动器8的碰撞规避动作的执行等积极规避碰撞的车辆控制(强车辆控制)，相反，在可能性较低的情况下，若实施不合实际的车辆控制(例如，尽管不会发生碰撞也采取紧急制动等而进行急减速)，则后续车辆的追尾等的可能性会增加，因此，例如优选执行基于节气门/喷射器7的控制的加速抑制等车辆控制(弱车辆控制)，或者不进行车辆控制而仅输出基于警报装置6或显示装置5的警报等。在本实施例中，像后文叙述的图24那样根据碰撞预测时刻下的行人的位置精度和偏移宽度α来算出碰撞可能性。

＜图23、图24＞

使用图23，对行人(接近立体物)接近时的车辆的控制级别和控制内容进行说明。在本实施例中，根据碰撞可能性的增加而提升控制级别来实施更强的控制。在本实施例中，按照图24的表格，根据碰撞预测时刻下的行人的位置精度和偏移宽度α来决定控制级别。认为位置精度越高且偏移宽度α越小，碰撞的可能性便越高，以如此方式提升控制级别。

如图23所示，控制级别1下，不执行所谓的车辆控制，只是在显示装置5(显示器)上无声地显示行人存在于车辆附近这一情况。如果是在行人的检测位置、预测位置有误的情况下，为了不妨碍用户的驾驶，仅限于显示。

接着，控制级别2下，有碰撞的可能，但也会考虑行人的预测位置发生了偏差的可能性、车辆从行人的近距离通过的可能性等，从而抑制车辆的加速、准备紧急制动，但不会进行通常的妨碍驾驶员的驾驶这样的控制内容。

控制级别3下，不会进行紧急制动，但判断碰撞的可能性极高，通过基于警报装置6的警报向用户通知有行人这一情况，而且实施碰撞规避的预先准备。实施用以加快用户操作制动器8的情况下的响应速度的制动器液压上升、用以在行人的位置精度有了上升的情况下使得紧急制动更快工作的液压上升、基于节气门/喷射器7的控制的加速抑制等。

控制级别4下，认为确实会与行人发生碰撞，为了使自身车辆紧急停止，使制动器8工作，而且通过警报装置6的语音向驾驶员告知行人的存在。

根据图23的行人预测位置精度和偏移宽度α来实施控制级别的判定。随着偏移宽度α变长，行人与自身车辆的碰撞可能性降低，因此降低控制级别。此外，行人的预测位置精度也一样，在行人位置含有误差的可能性较高的情况下，判定为降低了控制级别的输出。

碰撞可能性判定部730根据上述每一控制级别的控制内容而对显示装置5、警报装置6、节气门/喷射器7、制动器8输出控制信号。例如，作为显示装置5，例如车载显示器、仪表盘部分较为适合，在它们之上显示行人的存在。也可将行人与车辆的位置关系简易地显示在显示装置5上。警报装置6根据控制信号来发出告知行人碰撞可能性较高这一情况的声音。

＜图25＞

接着，揭示在像图25所示那样存在遮蔽移动立体物(行人)的一部分的立体物的情况下因产生速度差而能够期待发挥本实施例的效果的情景的例子。本次展示的是冒出行人的例子，但也可为两轮车、动物等其他冒出物体。此外，遮蔽物也可为图示物体以外的物体，并不限定于该例。

在上述说明中，以从驻停车辆的背后冒出的行人为例进行了说明，而此处是对其他例子进行说明。首先，设想图25中的A所示的护栏、栅栏等路上结构物的背后的行人。在基于距离的立体物检测中，预料在护栏、栅栏与行人的距离较近的情况下无法顺利分离行人而会检测为1个块(立体物)。另外，也有图25中的B所示的行人存在于路锥的背后的情况。在基于距离的立体物检测中，护栏等路上结构物与行人的独立检测要在行人离开该路上结构物的背后而经过片刻之后才能实现。因此，行人从路上结构物的冒出存在如下问题：即便行人的上半身出现在图像上，只要不离开近处的立体物约1m以上，就难以检测到行人。尤其在现有系统中是一个问题，所述现有系统不仅在其他立体物遮掩了行人的全身这样的情况下、在仅遮掩了行人的下半身这样的情况下也会输出与人的感觉不一样的检测结果(即，检测不到行人)。在本实施例的情况下，在将行人和路上结构物检测为一体的立体物的3帧之后，能够仅切取、检测到冒出行人。由此，以往是只要不离开护栏、栅栏等周边物体1m左右便难以检测，而如果采用本实施例，则在行人的下半身被遮掩状态下就能进行检测。因此，对于有可能从护栏的间隙、栅栏之间、护栏结束地点等冒出的行人，能在已冒出之前检测到，从而在针对冒出行人等的事故防止上发挥效果。再者，图25的A、B展示了路上结构物相较于行人而言位于自身车辆侧的情况，但在两者的位置关系相反的情况即路上结构物位于自身车辆侧的情况下也同样能够实现行人的检测。此外，如图25的E所示，路上结构物的大小也可比行人大。

另外，由于可以通过检测运动向量的差异来进行分离，因此，即便在多个行人重叠行走这样的情景下(例如商业街)，也能实施利用行人的移动目标预测的车辆控制。以往，在像图25的C所示那样的、自身车辆的视线方向上纵深距离较近的多个行人重叠在一起的情况下，常常出现这些人被一体化地检测为1个较大立体物的情况。而根据本实施例，通过解析该立体物的立体区域内部的运动向量的方向分布及/或移动量分布(速度分布)，能够实现多个立体物的分离。尤其是在利用基于图14所示那样的来自高速相机的高帧率图像的运动向量检测的情况下，运动向量的密度、精度较高，即便在多人重叠这样的情况下也能稳定地、独立地加以分离。进而，根据运动向量的解析结果来推断接近立体物的出现区域和遮蔽区域，并实施利用该出现区域的局部图案匹配(仅匹配出现区域而判别立体物的种类)，由此实现了该接近立体物的种类的判别精度的提高。此外，根据出现区域内出现的运动向量来恰当地推断全身的一部分被遮蔽的行人的移动方向和速度，并判断与自身车辆的碰撞可能性，由此来实施基于显示装置5和警报装置6的行人接近的报知和基于制动器8等的车辆控制。

上文中，对其他立体物相较于移动立体物(图25的例子的行人)而言位于自身车辆侧、该移动立体物的“一部分”被该其他立体物遮掩的情况、也就是检测立体物的立体区域由移动立体物和其他立体物构成的情况(其中，移动立体物与其他立体物的前后关系不限)进行了说明。但不仅是该情况，对于从自身车辆观察而在移动立体物的背后存在尺寸比该移动立体物大的其他立体物、该移动立体物的全部包含在该其他立体物的立体区域的内部的情况、也就是检测立体物的立体区域仅由其他立体物构成的情况(其中，限于移动立体物相较于其他立体物而言位于自身车辆侧的情况)也能加以运用。图25的例子D展示了在紧靠比人的尺寸大的结构物(例如墙壁、建筑物、大树等)的前方存在行人的情况。在该情况下也能检测行人的运动向量，从而能够实现基于该运动向量的行人的分离。因此，能在从该结构物冒出之前的阶段检测到行人。

此外，在停止车辆的车门突然打开而挡住自身车辆前进路线的前方、人(上下人员)上下该停止车辆的情景下，该上下人员的一部分会被停止车辆的一部分(通常为打开的车门)遮掩，而该情况下的上下人员的检测能以与图25的A、B的行人相同的方式实现。进而，停止车辆的车门在开闭完成后会被检测为停止立体物，因此结果与基于距离的检测结果(以往的检测结果)无异，但在开闭中，可以通过本实施例而检测为接近立体物(移动立体物)。也就是说，根据本实施例，能在开闭完成前的阶段将车门检测为接近立体物。

＜图26＞

接着，使用图26，利用处理流程对本实施例的概要进行说明。

在S01中，利用左右相机的摄像部100、110来拍摄图像。

在S02中，判定本次的处理时刻是图14所示那样的左右图像一起的拍摄时刻还是仅右图像的拍摄时刻。在S02中，在判定为在当前帧拍摄了左右图像的情况下，使处理转移至S03，在判定为仅拍摄了右图像的情况下，使处理转移至S04。再者，第1帧即流程开始时是拍摄左右图像，因此转移至S03。

在S03中，在视差图像生成部200中实施利用左右图像的视差图像的生成，并转移至S05。

在S05中，在立体物检测部300中实施利用S03的视差图像的立体物检测。从图像中提取立体物候选并加以跟踪，确认在2帧间能以立体物的形式进行跟踪，从而检测为立体物。

在S04中，在运动向量检测部400中利用右图像的过去图像和原图像来实施用以调查S05中检测到的立体物的移动方向和速度的运动向量的更新。通过利用高帧率、金字塔图像而限定运动向量的探索范围来实施探索，即便是更简单的跟踪方法，也能高密度地算出移动方向和速度而不会弄错。

在S06中，利用S05的立体物检测部300中检测到的立体物和S04的运动向量检测部400中检测到的运动向量这两方来判别立体物是否是由具有不同运动的多个物体构成的。将存在于图像上的立体物的立体区域(立体物候选位置)的内部的运动向量的方向和速度(移动量)分布图化，由此解析速度方向和速度的分布，判断立体区域的内部是否存在多个立体物。在速度方向的分布存在多种的情况或者速度方向相同但速度的分布存在多种的情况下，判定存在多个物体而且其中的至少1个为移动立体物，确定(分离)图像上该移动立体物所存在的部分而进入至S07的处理。此时，在利用高帧率或金字塔图像或者两种方法并用的情况下，能够高密度、高精度地算出运动向量，因此移动立体物的分离精度大幅提高。

相反，在观测到单一速度方向分布及单一速度分布的情况下，判定为单一物体或者虽有多个但以等速度沿大致相同的方向移动的物体，从而视为单个立体物而结束对该检测立体物的处理。再者，在以大致等速度沿大致相同的方向移动的多个物体的情况下，即便将S05中检测到的立体物视为单个立体物，后续的自身车辆的警报、控制等当中也不会成为大问题。此外，在多个物体间的间隙较大的情况下，可以简单地检测为不同物体，不会有问题。在该间隙极窄的情况下，有可能被检测为单个立体物，但通常在这种情况下，该间隙是自身车辆不可能穿过的大小，因此，该情况下也不会特别产生大问题。

在S07中，判定存在于图像上的移动立体物的部分的多个运动向量是成群一样的运动向量组还是像噪声一样散乱。进而，利用相机几何，设想行人可以辨识30％以上的情况，判定在移动立体物的区域内是否能够确认阈值以上的运动向量。在前一判定为“散乱”或者后一判定为“无法确认”的情况下，判定S06中分离出的移动立体物为噪声而结束处理。另一方面，若前一判定为“成群”以及后一判定为“能够确认”，则转移至S08。

在S08中，根据S06中确定的移动立体物的存在部分、该移动立体物的纵深位置、以及设想的移动立体物的尺寸(在设想行人的情况下，例如为170cm)，在图像上确定该移动立体物的出现区域和遮蔽区域。这时，也计算出现区域相当于设想的移动立体物的百分之几。在设想为行人而出现区域超过30％的情况下，仍有可能是两轮车、其他移动立体物(例如动物等)。

在S09中，判别应将上述S08中决定的出现区域与行人、两轮车及动物等移动体候选中的哪一方进行图案匹配。在出现区域较大的情况下，也可实施行人、两轮车各自的图案匹配。

在S10、S11、S12中，对S08中在图像上设为出现区域的部分与S09中决定的图案(也可以利用学习而获取到的图案)的出现区域进行对照，实施局部的图案匹配，以图案形式判定符合程度高不高。图案匹配受背景的影响，在行人等情况下还受变形等的影响，因此，利用多帧的判定结果来获得最终的结论。S10表示实施作为行人的图案匹配的情况，S11表示实施作为两轮车的图案匹配的情况，S12表示实施作为其他候选(动物等)的图案匹配的情况。当确定了移动立体物的种类时，转移至S13。

在S13中，遮蔽区域不作参考，利用仅根据出现区域获得的视差和运动向量来实施移动立体物的更准确的位置和速度推断。

在S14中，根据S13的位置及速度来决定控制级别(参考图24)，并执行与决定的控制级别相应的显示、警报、控制。

如上所述，在本实施例中，可以在被立体物遮掩的行人、两轮车等冒出之前的时刻检测到这些物体，进而，可以实施与根据其位置及速度推断的与自身车辆的接触可能性相应的显示、警报、控制。

再者，上文中说明过的处理的顺序只是一例，只要能够获得相同结果，则也可酌情变更顺序。

＜附注＞

用于运动向量的解析的分布图的横轴也可以利用图17的移动量(速度)和简单方向(仅左右)以外的横轴。使用图27对该情况进行说明。首先，作为分布图的横轴，可以设定图27的A所示的“详细方向”。

该分布图优选在运动向量的移动量相同的情况下使用。此外，也可以设定图27的B所示的“仅移动量”。该分布图优选在移动方向相同的情况下使用。进而，也可以设定图27的C所示的“方向及移动量”。

上文中，以分布图的众数为2个的情况(波峰为2个的情况)为例进行了列举，但在像图27的D所示那样众数为3个以上的情况下也能运用本实施例。

在分布图中，在运动向量的方向及/或大小(移动量)的分布上确认到多个众数表示在立体物检测部300所检测到的立体物的立体区域的内部检测到运动方式不一样的2个以上的立体物，且其中的至少1个为移动立体物。根据本实施例，可以在比基于距离的立体物检测早的阶段检测到该至少1个移动立体物。

在检测到多个移动立体物的情况下，虽有应从哪一移动立体物起进行图案匹配这一问题，但有优先对离自身车辆最近的移动立体物进行图案匹配的方法。移动立体物与自身车辆的距离可以根据各移动立体物的移动位置来算出。此外，还有优先对朝自身车辆靠近的移动立体物进行图案匹配的方法。例如，在图27的例子D中，在自身车辆前进路线处于画面的右侧的区域的情况下，优先对位于分布图中的右端的波峰3相关的移动立体物进行图案匹配。

在图1的实施例中，由左相机摄像部100、右相机摄像部110及视差图像生成部200构成距离检测装置4，利用来自左相机摄像部100和右相机摄像部110的图像而由视差图像生成部200制作视差图像，由此算出到立体物的距离。但也可采用如下构成代替该构成：利用获取距自身设备的距离的距离传感器(例如毫米波雷达、激光雷达、超声波传感器等)170代替左相机摄像部100，根据距离传感器170的输出而由构成于计算机3内的距离算出部270算出到立体物的距离。也就是说，也可像图28所示那样由距离传感器170和距离算出部270构成距离检测装置4。在该情况下，根据距离传感器所获取到的距离而由立体物检测部300检测立体物，而且在相机摄像部110的图像中设定立体区域，由运动向量检测部400根据相机摄像部110的动态图像来追踪立体区域内的特征点，由此，能够发挥与图1的构成同样的功能。即，在搭载单眼相机而不是图1那样的立体相机的情况下，也能发挥同样的效果。

再者，本发明包含不脱离其主旨的范围内的各种变形例，并不限定于上述实施方式。例如，本发明不限定于具备上述实施方式中说明过的所有构成，也包含去掉其构成的一部分而得的构成。此外，可以将某一实施方式的构成的一部分追加或替换到其他实施方式的构成中。

此外，关于上述计算机3的各构成、该各构成的功能及执行处理等，可以通过硬件(例如利用集成电路来设计执行各功能的逻辑等)来实现它们的一部分或全部。此外，上述计算机3的构成也可设为通过由运算处理装置(例如CPU)加以读出、执行来实现该控制装置的构成的各功能的程序(软件)。该程序相关的信息例如可以存储至半导体存储器(闪存、SSD等)、磁存储装置(硬盘驱动器等)及记录介质(磁盘、光碟等)等。

符号说明

4 距离检测装置

3 计算机

5 显示装置

6 警报装置

7 节气门/喷射器

8 制动器

32 移动立体物检测部

100 右相机摄像部

110 左相机摄像部

115 立体区域(内包立体物的规定区域)

170 距离传感器

191 出现区域

192 遮蔽区域

200 视差图像生成部

270 距离算出部

300 立体物检测部

400 运动向量检测部

500 物体分离部

600 冒出检测部

700 警报-控制部。

Claims (13)

1.一种移动体的周围环境识别装置，其特征在于，具备：

摄像部，其按时间序列拍摄多个图像；

立体物检测部，其根据距自身设备的距离来检测立体物；

向量检测部，其利用所述多个图像来追踪内包所述立体物的规定区域的内部的特征点，由此检测该特征点的运动向量；以及

移动立体物检测部，其根据所述向量检测部的检测结果来检测存在于所述区域的内部的移动立体物。

2.根据权利要求1所述的移动体的周围环境识别装置，其特征在于，

所述移动立体物检测部根据所述向量检测部的检测结果，来检测所述区域的内部存在多个立体物而且该多个立体物中的至少1个为移动立体物的情况。

3.根据权利要求2所述的移动体的周围环境识别装置，其特征在于，

在根据所述向量检测部的检测结果而获得的所述运动向量的方向分布及/或大小分布的众数存在多个的情况下，所述移动立体物检测部判定所述区域的内部存在多个立体物而且该多个立体物中的至少1个为移动立体物。

4.根据权利要求3所述的移动体的周围环境识别装置，其特征在于，

所述摄像部是具有分别按时间序列拍摄多个图像的第1相机及第2相机的立体相机，

所述立体物检测部根据由来自所述立体相机的一对图像的视差算出的距离来检测所述立体物，

所述向量检测部利用来自所述第1相机的所述多个图像来追踪所述区域的内部的特征点，由此检测该特征点的运动向量。

5.根据权利要求4所述的移动体的周围环境识别装置，其特征在于，

所述第1相机的摄像帧率高于所述第2相机。

6.根据权利要求4所述的移动体的周围环境识别装置，其特征在于，

所述向量检测部通过使缩小到规定分辨率的所述第1相机的多个图像彼此匹配纵向边缘，来检测所述运动向量。

7.根据权利要求4所述的车辆周围环境识别装置，其特征在于，

在所述区域的内部出现所述移动立体物的部分中检测到所述运动向量的部分的比例为规定阈值以上的情况下，所述移动立体物检测部还执行判定所述移动立体物的种类的图案匹配。

8.根据权利要求7所述的移动体的周围环境识别装置，其特征在于，

所述移动立体物检测部在执行判定所述移动立体物的种类的图案匹配的情况下，仅利用所述区域的内部出现有所述移动立体物的部分来进行图案匹配。

9.根据权利要求7所述的移动体的周围环境识别装置，其特征在于，

所述移动立体物检测部在执行判定所述移动立体物的种类的图案匹配的情况下，仅利用所述区域的内部出现有所述移动立体物的部分来对所述移动立体物的位置及速度进行再计算。

10.根据权利要求7所述的移动体的周围环境识别装置，其特征在于，

所述移动立体物检测部能够通过图案匹配来判定种类的立体物包括行人、两轮车或动物。

11.根据权利要求10所述的移动体的周围环境识别装置，其特征在于，

所述移动立体物检测部将所述移动立体物的种类假定为行人，并算出所述区域的内部出现有所述移动立体物的部分相当于行人的整体的百分之几，在该算出值超过阈值而且所述区域的内部出现有所述移动立体物的部分包含推断为头部或腿部的部分的情况下，执行判定所述移动立体物的种类的图案匹配。

12.根据权利要求1所述的移动体的周围环境识别装置，其特征在于，

还具备获取距所述自身设备的距离的距离传感器，

所述立体物检测部根据所述距离传感器所获取到的距离来检测立体物。

13.一种周围环境识别装置，其特征在于，具备：

摄像部，其按时间序列拍摄多个图像；

立体物检测部，其根据来自所述摄像部的距离来检测立体物；

向量检测部，其利用所述多个图像来追踪所述区域的内部的特征点，由此检测该特征点的运动向量；以及

移动立体物检测部，其根据所述向量检测部的检测结果来检测存在于所述区域的内部的移动立体物。