CN103303235A - 车辆周围监测装置 - Google Patents

Abstract

本发明提供一种车辆周围监测装置，由行人头部候选抽出部抽出作为行人头部候选的车灯时，由其他车辆候选检测部在比抽出的作为上述行人头部候选的车灯的水平位置靠下且在规定范围内检测满足以下条件的高辉度区域，所述高辉度区域的面积大于作为上述行人头部候选的车灯并且在水平方向上，此时，由其他车辆判定部判定为作为上述行人头部候选的车灯不是人头而是其他车辆的一部分。

Description

车辆周围监测装置

技术领域

本发明涉及一种车辆周围监测装置，其利用搭载在车辆上的红外线摄像头拍到的图像来监测该车辆的周围情况，该车辆周围监测装置尤其适于夜间或在黑暗场所行车时用。

背景技术

在现有技术中，人们公知一种如日本发明专利公开公报特开2003-284057号（以下称为“JP2003-284057A”）公开的车辆周围监测装置，由其从红外线摄像头拍到的显示自己车辆的周围情况的图像（灰度图像及其二值图像）中，检测出有可能与自己车辆产生触碰的行人等对象物，将检测到的对象物提示给自己车辆的驾驶员。

在JP2003-284057A公开的车辆周围监测装置中，在左右一组的红外线摄像头（立体摄像头）拍到的显示自己车辆的周围情况的图像中，不仅将温度较高的部分检测为上述对象物，还通过计算对象物在左右图像中的视差来求出到该对象物的距离，从该对象物的移动方向或该对象物所处的位置来检测出有可能影响自己车辆的行驶（有可能触碰）的行人等对象物并发出警报（JP2003-284057A的第[0014]、[0018]段）。

但是，使用左右一组的红外线摄像头的车辆周围监测装置，因其价格较贵，所以实际上只使用于一部分高级车上。

为降低成本，在日本专利公报特许第4521642号（以下称为“JP4521642B2”）所述的车辆周围监测装置中，利用搭载在车辆上的单个红外线摄像头至少每隔规定的时间间隔拍摄2次（2帧）车辆周围的对象物。对象物与搭载有车辆周围监测装置的车辆之间的相对速度越大，与之前拍到的图像的大小（尺寸）相比，后拍的拍摄图像中的对象物的图像大小（尺寸）的变化较大。另外，对象物与车辆之间的相对速度越大，存在于该车辆前方的该对象物到达该车辆的时间越短。这样，即使利用单个红外线摄像头，也可根据规定的时间间隔拍到的同一对象物的图像部分的大小变化率来推定到达车辆的时间、即可以推定所谓的TTC（Time To Contact or Time To Collision：触碰剩余时间），从而能监测车辆的周围情况。

在JP4521642B2所述的技术中，在判别不同时刻拍摄的同一对象物是人还是车辆时是这样进行的：预先将对象物、即预先用分别对应于人和车辆的局部区域来划分该对象物，使不同时刻拍摄的关于同一对象物的图像部位的大小相同，上述局部区域的相关度在阈值以上时，判定为是上述人或上述车辆。

搭载有上述JP2003-284057A、JP4521642B2所述的现有技术中的车辆周围监测装置的车辆在夜间行驶时，可通过影像将由红外线摄像头检测到的前方行人，作为驾驶员用眼睛不易看到的监测对象物进行显示。

在夜间等情况下判别人（行人）时，由于人的头部露在外面所以表面温度较高，而且由于呈圆形所以容易从红外线摄像头拍到的图像中判别该头部的形状。

另外，在夜间利用搭载有用于构成车辆周围监测装置的红外线摄像头的车辆，从其他车辆（对面驶来车辆）的前侧拍摄该其他车辆时，易于判别位于车宽方向两端的前大灯，还有，在夜间从其他车辆（前方同向行驶车辆）的后侧拍摄该其他车辆时，易于判别位于车宽方向两端的尾灯。

但是存在这样一个问题：由于其他车辆的前大灯或尾灯距离路面的高度与行人的头部位置所在的高度差距并不是很大，而且该前大灯或尾灯在红外线图像（影像）中的形状与头部的形状相似，因此难以区别其他车辆的前大灯或尾灯和行人的头部。另外，如后所述，还存在这样一个问题：由于有关其他车辆的排气管等的热量向该其他车辆的车身方向扩散，所以有时无法判定其他车辆有2个前大灯或尾灯。

发明内容

鉴于上述技术问题，本发明的目的是提供这样一种车辆周围监测装置，其能精准地区别其他车辆和行人。

为了实现上述目的，本发明技术方案1所述的车辆周围监测装置，不仅利用搭载在车辆上的红外线摄像头拍到的图像来检测出存在于车辆周围的物体，还对检测出的物体的种类进行判定，该车辆周围监测装置具有：行人头部候选抽出部，由其从上述图像中抽出行人头部候选；其他车辆候选检测部，由其在比抽出的上述行人头部候选靠下且在规定范围内检测满足以下条件的高辉度区域，所述高辉度区域的面积大于上述行人头部候选并且在水平方向上的长度在规定宽度以上；其他车辆判定部，当上述其他车辆候选检测部检测出上述高辉度区域时，由所述其他车辆判定部判定为上述行人头部候选不是人头而是其他车辆的一部分。

另外，为了实现上述目的，本发明技术方案2所述的车辆周围监测装置，不仅利用搭载在车辆上的红外线摄像头拍到的图像来检测出存在于车辆周围的物体，还对检测出的物体的种类进行判定，该车辆周围监测装置具有：行人头部候选抽出机构，由其从上述图像中抽出行人头部候选；其他车辆候选检测机构，由其在比抽出的上述行人头部候选靠下且在规定范围内检测满足以下条件的高辉度区域，所述高辉度区域的面积大于上述行人头部候选并且在水平方向上的长度在规定宽度以上；其他车辆判定机构，当上述其他车辆候选检测部检测出上述高辉度区域时，由所述其他车辆判定机构判定为上述行人头部候选不是人头而是其他车辆的一部分。

还有，为了实现上述目的，本发明技术方案3所述的车辆周围监测装置中的物体种类判定方法，是利用搭载在车辆上的红外线摄像头拍到的图像来检测出存在于车辆周围的物体的车辆周围监测装置中的判定上述物体的种类的物体种类判定方法，其具有以下步骤：行人头部候选抽出步骤，从上述图像中抽出行人头部候选；其他车辆候选检测步骤，在比抽出的上述行人头部候选靠下且在规定范围内检测满足以下条件的高辉度区域，所述高辉度区域的面积大于上述行人头部候选并且在水平方向上的长度在规定宽度以上；其他车辆判定步骤，当上述其他车辆候选检测步骤中检测出上述高辉度区域时，在所述其他车辆判定步骤中判定为上述行人头部候选不是人头而是其他车辆的一部分。

由本发明可知，由于在比利用红外线摄像头拍到的图像中抽出的行人头部候选靠下且在规定范围内检测出满足以下条件的高辉度区域，即检测出所述高辉度区域的面积大于上述行人头部候选并且在水平方向上具有规定宽度以上的长度时，判定为上述行人头部候选不是行人头部而是其他车辆的一部分，因此，本发明能精准地区别其他车辆和行人。

此时，上述其他车辆判定部也可这样判定：当上述其他车辆候选检测部从上述图像中的刚性物体（形状不变化的物体）中检测出上述行人头部候选时，由所述其他车辆判定部将上述刚性物体判定为是上述其他车辆。

另外，还可这样判定：由上述其他车辆候选检测部从上述图像中进一步检测出发动机的排气管候选或车轮候选，当上述其他车辆候选检测部在比上述排气管候选或上述车轮候选靠上的位置检测出上述高辉度区域时，由上述其他车辆判定部将包括上述行人头部候选和上述排气管候选的物体、或者将包括上述行人头部候选和上述车轮候选的物体判定为是上述其他车辆。

还有，还可这样判定：当上述其他车辆候选检测部进一步从上述图像中比上述行人头部候选靠上的位置检测出规定面积以上的其他高辉度区域或规定面积以上的低辉度区域时，不论上述其他车辆候选检测部是否检测出面积大于上述行人头部候选并且在上述水平方向上的上述高辉度区域，由上述其他车辆判定部将上述行人头部候选判定为不是人头而是上述其他车辆的一部分。

此时，即使这样判定，也能检测出上述其他车辆：当车外气温在第1温度以上时，判定在上述行人头部候选之上是否存在面积大于所述行人头部候选的低辉度区域，当车外气温在比上述第1温度还低的第2温度以下时，判定在上述行人头部候之上是否存在面积大于上述行人头部候选的高辉度区域。

由本发明可知，在比从红外线摄像头拍到的图像中抽出的行人头部候选靠下且在规定范围内检测满足以下条件的高辉度区域，所述高辉度区域的面积大于上述行人头部候选在水平方向上的面积并且在水平方向上的长度在规定宽度以上，此时判定为上述行人头部候选不是人头而是其他车辆的一部分，因此，本发明能精准地区别其他车辆和行人。

可根据参照附图所说明的下述实施方式来容易地理解上述目的、特征和优点。

附图说明

图1是表示本发明一个实施方式所述的车辆周围监测装置的构成的框图。

图2是模拟表示搭载有图1所示的车辆周围监测装置的车辆的图。

图3是用于说明车辆周围监测装置的图像处理单元所进行的动作的流程图。

图4是模拟表示行人候选的图像的图。

图5是模拟表示有误检为行人候选的可能性的车辆的图像。

图6是模拟表示有误检为行人候选的可能性的车辆的其他图像。

图7是模拟表示其他实施例中的有误检为行人候选的可能性的车辆的图像。

图8中A是模拟表示的当前图像，图8中B是模拟表示的之前图像。

图9是表示当前图像和之前图像的各部分坐标的图表。

图10是模拟表示搭载有变型例中的车辆周围监测装置的车辆的图。

具体实施方式

下面，参照附图说明本发明的实施方式。

图1是表示本发明一个实施方式所述的车辆周围监测装置10的构成的框图。图2是模拟表示搭载有图1所示的车辆周围监测装置10的车辆（也称为自己车辆）12的图。

在图1和图2中，车辆周围监测装置10具有：图像处理单元14，其用于控制该车辆周围监测装置10；单个（单眼）红外线摄像头16（拍摄装置），其连接在上述图像处理单元14上；车速传感器18，其用于检测出车辆12的车速Vs；制动传感器20，其用于检测出驾驶员操作制动踏板的操作量（制动操作量）Br；横向角速度传感器22，其用于检测出车辆12的横向角速度Yr；扬声器24，由其用声音发出警报等；图像显示装置26，其包括HUD（Head Up Display、平视显示器）26a等，该HUD26a用于将触碰危险性较大的行人等对象物（移动对象物、监测对象物）提示给车辆12的驾驶员。

作为图像显示装置26而言，并不局限于使用HUD26a，还可利用搭载在车辆12上的导航系统的用于显示地图等的显示器或者设置在仪表单元内等的用于显示耗油量等的显示器（多信息显示器）。

由图像处理单元14根据显示车辆12的周围情况的红外线图像和表示车辆行驶状态的信号（此处为车速Vs、制动操作量Br和横向角速度Yr）来检测出车辆前方的行人等监测对象物，当判断为与该监测对象物产生触碰的可能性较大时通过扬声器24发出警报（如噼、噼、…声音），还在HUD26a上用黄色或红色等显眼的色框围起以灰度显示的拍摄图像中的监测对象物以进行突出显示，这样使驾驶员引起注意。

这里，图像处理单元14具有：A/D变换电路等输入电路，由A/D变换电路将输入的模拟信号变换为数字信号；图像存储器（存储部14m），其用于存储经数字化的图像信号；CPU（中央处理装置）14c，由其进行各种运算处理；RAM（Random Access Memory）或ROM（ReadOnly Memory）等存储部14m，前者用于存储CPU14c进行运算过程中的数据，后者用于存储CPU14c进行运算时所需的程序或表格、图表以及模板｛行人（人体）形状模板、车辆形状模板等｝；时钟（时钟部）和计时器（计时部）；输出电路，其用于输出扬声器24的驱动信号和图像显示装置26的显示信号等，来自红外线摄像头16、横向角速度传感器22、车速传感器18和制动传感器20的各输出信号被变换为数字信号后输入给CPU14c。

由图像处理单元14的CPU14c读取这些数字信号，一边参照表格、图表和模板、一边执行程序，通过这种方式作为各种功能机构（也称为功能部）实现其功能，向扬声器24、图像显示装置26发出驱动信号（声音信号或显示信号）。上述功能也可通过硬件来实现。

在本实施方式中，图像处理单元14具有其详细情况将在后面叙述的以下的上述功能部：行人头部候选抽出部101、其他车辆候选检测部102、能起到对象物判定部的功能的其他车辆判定部103、触碰可能性判定部106和提示输出信号生成判定部108等。在从红外线摄像头16拍到的图像（拍摄图像）中抽出行人头部候选时，由行人头部候选抽出部101来抽出包含头部候选在内的的行人候选。即，行人头部候选抽出部101也起到行人候选抽出部的功能。

另外，图像处理单元14基本上是通过执行识别（区别）物体的物体识别（区别）处理（物体检测处理）程序进行以下处理。即、将红外线摄像头16拍到的图像与存储部14m中存储的人体形状、动物形状、车辆形状和包含电线杆在内的支柱等人工建造物形状等的形状模板进行比较，通过这种方式对物体进行识别。

如图2所示，红外线摄像头16设置在车辆12的前部保险杠部上，其光轴设置成与车轴平行的状态，该红外线摄像头16具有如下特性：被拍摄对象（物体）的温度越高其输出信号（拍摄信号）越强（辉度变大）。

另外，HUD26a设置成这样：其显示画面显示在车辆12的前挡风玻璃上，并在不影响驾驶员的前方视线的位置。

这里，图像处理单元14具有以下的功能：由其将从红外线摄像头16输出的影像信号，按几十ms、如30帧/秒[ms]的帧与帧之间的时间间隔和周期将模拟数据变换为数字化数据并输入存储部14m（图像存储器）中，对输入存储部14m中的车辆前方的图像进行各种运算处理。

由行人头部候选抽出部101从存储在存储部14m中的车辆前方的上述图像中抽出行人和车辆（其他车辆）等监测对象物的图像部分，根据所抽出的图像部分来抽出规定大小的行人头部候选等。

由其他车辆候选检测部102在比由行人头部候选抽出部101抽出的上述行人头部候选靠下且在规定范围内检测出满足以下条件的高辉度区域（后面叙述）等，所述高辉度区域的面积大于上述行人头部候选并且在水平方向上具有规定宽度以上的长度。

当上述其他车辆候选检测部102检测出上述高辉度区域时，由其他车辆判定部103判定为上述行人头部候选不是人头而是其他车辆的一部分。

由提示输出信号生成判定部108根据上述帧与帧之间的时间间隔和周期（规定时间间隔）求出拍到的图像之间的同一监测对象物的图像部分的大小变化率Rate，而且还利用该变化率Rate来推定监测对象物与车辆12触碰所需要的时间T，并求出监测对象物在实际空间中的位置以求出监测对象物在实际空间中的移动矢量。

监测对象物与车辆12触碰所需要的时间（也称为触碰剩余时间）TTC、换言之为车辆12直至触碰监测对象物的时间TTC，可根据上述变化率Rate（从图像中求出）和作为规定时间间隔的拍摄间隔（帧的时间周期）dT（已知），按照公知方法通过下式（1）来求出。

TTC=dT×Rate/（1－Rate）    …（1）

另外，变化率Rate也可通过监测对象物在上次拍摄时的图像中的宽度或长度W0（分别通过像素数存储即可），和此次拍摄时的图像中的同一监测对象物的宽度或长度W1（像素数）之比（Rate=W0/W1）来求出。

还有，到达监测对象物的距离Z可通过在上式（1）的两边乘以速度Vs的下式（2）来求出。其中，更准确地讲，速度Vs为监测对象物和车辆12之间的相对速度。若监测对象物处于停止状态时，相对速度等于车速Vs。

Z=Rate×Vs×dT/（1－Rate）    …（2）

还有，由提示输出信号生成判定部108求出规定时间间隔拍到的上述图像之间的同一监测对象物的图像部分的位置变化量Δx（水平方向）、Δy（垂直方向），再根据求出的上述触碰剩余时间TTC和求出的位置变化量（移动矢量）Δx、Δy来判定监测对象物和车辆12的触碰可能性。

本发明基本上采用上述构成，而且对于该实施方式中的车辆周围监测装置10在处理时的详细动作，边参照图3的流程边进行说明。

首先，在步骤S1中，由图像处理单元14根据车速传感器18所检测出的车速Vs等来判定车辆12的行驶状态（正在行驶还是处于停车状态），如果处于停车状态（步骤S1的判定结果为：否）则停止处理。

若是正在行驶（步骤S1的判定结果为：是），在步骤S2中，由图像处理单元14来获取作为由红外线摄像头16在每一帧拍摄的车辆前方规定视角范围的各帧的输出信号的红外线图像，既将经过A/D变换的灰度图像存储到图像存储器（存储部14m），还对存储的灰度图像的区域进行二值图像处理。

即，若已获取灰度图像，对其图像信号进行二值图像处理，即，将比用于判别人体辉度的辉度阈值亮的区域作为“1”（白）、暗的区域作为“0”（黑）的处理，对拍到的每一帧获取与灰度图像相对应的二值图像并存储到存储部14m中。

接下来，在步骤S3中，如图4所示，可根据二值处理结果检测出（抽出）由行人Pa的头部候选50、包含胳膊的躯体候选52和腿部候选54构成的行人候选PCX。另外，可以将连接2条腿部候选54的下端的大致呈水平状态的直线作为与路面56的接地点。

由于人的头部的表面温度较高而且呈圆形，所以能容易地从红外线摄像头16拍到的灰度图像的二值图像中抽出头部候选50。二值图像与所对应的帧对应后，以帧为单位存储在存储部14m中。

另外，由于行人候选PCX以挥臂抬腿的方式行走，所以单看各帧的图像时，形状会产生变化，因此在检出时其不会被作为刚性物体而检测出，因为刚性物体在各帧图像中，如其他车辆等的形状是不会产生变化的，这一点请注意。

在步骤S3中，还有，具有距离路面56的高度在规定高度范围内的头部候选50的物体被推定为行人候选PCX，该行人候选PCX可以是游程编码数据，对其标注标签后存储（被标注处理）。此时，作为处理对象图像，可以是比包含行人候选PCX的外接四边形还大的四边形图像，将其存储。还可以根据需要，为易于进行图像处理，将各帧中比包含行人候选PCX的外接四边形还大的四边形图像都变换为相同大小的图像。

另外，如图5所示，在步骤S2中的二值图像处理中，若对象物是其他车辆Car时，由于分别亮灯的前大灯（对面驶来车辆）或尾灯（前方同向行驶车辆）等的左右两端侧的车灯70a、70b，和存在于其他车辆Car的中间下部的前格栅（对面驶来车辆）或排气管72（前方同向行驶车辆），以及左右车轮74a、74b的辉度较大，在图中，该部分的形状以阴影线标出。

其他的车身部分根据环境温度的不同，当环境温度低于车身部分时，用中间空白的形状标出，背景部分为由其他车辆Car的形状区分的区域。

还有，可由连接车轮74a、74b的下端的水平线来检测出路面56。

实际上，在二值图像处理中，当检测出在水平方向上排列的2个高辉度点的车灯70a、70b时，在车灯70a、70b的上方通过上下移动具有规定面积的、在水平方向上延伸的四边形选取框范围｛例如横向宽度大于其他车辆Car的横向宽度（大致从车灯70a的左端到车灯70b的右端的距离），纵向宽度稍大于车灯70a、70b的纵向宽度的范围｝，可以将上述选取框内灰度图像同值连续的部分作为车顶（和车顶边缘）而检测出来。在车灯70a、70b的侧部，可以将在垂直方向上延伸的四边形选取框范围（例如横向宽度大致为车灯70a、70b的横向宽度，纵向宽度大致为车灯70a、70b的纵向宽度的1～2倍）内灰度图像同值连续的部分作为立柱（立柱边缘）或翼子板（翼子板边缘）而检测出来（抽出）。

这样检测出的其他车辆Car，由于其车灯70a、70b距离路面56的高度位于有可能误检为上述头部50的高度范围内，所以暂时也将其推定为行人候选PCY，该行人候选PCY可以是游程编码数据，对其标注标签后存储（步骤S3中的被标注处理）。

此时，作为处理对象图像，可以是比包含行人候选PCY的外接四边形还大的四边形图像，将其存储。还可以根据需要，为易于进行图像处理，将各帧中比包含行人候选PCY的外接四边形还大的四边形图像都变换为相同大小的图像。

步骤S2和步骤S3中的处理为由行人头部候选抽出部101进行的处理。这样，由行人头部候选抽出部101（行人头部候选抽出机构、行人头部候选抽出步骤）抽出包含作为行人头部候选的头部候选50的行人候选PCX（图4）和包含作为行人头部候选被检出的车灯70a、70b的行人候选PCY（图5）等。

接下来，在步骤S4中，通过还能起到对象物判定部功能的其他车辆判定部103，一边使用其他车辆候选检测部102一边对行人候选PCX（图4）和行人候选PCY（图5）进行对象物判定处理，即、判定行人候选PCX（图4）和行人候选PCY（图5）是实际正在行走的行人Pa还是其他车辆Car。

此时，通过解析连续获取的图像，由其他车辆判定部103根据实际上是图5所示的行人候选PCY被检出的其他车辆Car的、即使经过一段时间其在影像（图像）上的形状不变而只是大小变化的刚性物体，以及由较长直线边缘来构成其形状（车顶或翼子板）等的物体判定为是其他车辆Car。

实际上，由其他车辆判定部103对其他车辆Car进行的形状判定（是否是刚性物体），在图像处理中，由于是变换为相同大小的外接四边形后进行解析，所以因车灯70a、70b之间的间隔不产生变化和车轮74a、74b之间的间隔不产生变化等形状不变化的物体，判定为是刚性物体、即其他车辆Car。

另外，实际上不是其他车辆Car而是图4所示的行人候选PCX时，通过能起到对象物判定部功能的其他车辆判定部103检测出横向宽度（躯体52的宽度）和高度（从路面56到头顶部的高度）为人的范围内而且还不是刚性物体，是形状产生变化的物体时判定为是行人Pa。

但是，如图6中的行人候选PCYa所示，步骤S2中变换为二值图像的变换处理和步骤S3中的标注处理的结果，有时会检测出用粗实线框所示的高辉度区域76。该高辉度区域76存在于排气管72或发动机这样能发热的部位，表示热量向车身的一部分传导的用单点划线围起的发热部分78和作为发热部位被检出的车灯70b、排气管72和车轮74b的合成区域（二值图像的或区域）。

有该高辉度区域76发生时，由于难以成对（一对）地检测出车灯70a、70b，所以无法将行人候选PCYa判定为不是行人而是其他车辆Car。

对此，在本实施方式中加入以下处理：在步骤S3中，当行人头部候选抽出部101将车灯70a作为行人头部候选而抽出时，在由其他车辆候选检测部102和其他车辆判定部103进行处理的步骤S4中的对象物判定处理中，由其他车辆候选检测部102在比行人头部候选抽出部101所抽出的、作为上述行人头部候选被检出的车灯70a的水平位置靠下且在规定范围（例如从车灯70a、70b的上端到车轮74a、74b的下端的范围）内检测满足以下条件的高辉度区域76，所述高辉度区域76的面积大于作为上述行人头部候选被检出的车灯70a并且在水平方向上的长度在规定宽度以上，此时，由其他车辆判定部103判定为作为上述行人头部候选被检出的车灯70a不是人头而是其他车辆Car的一部分。

通过加入上述对象物判定处理，即使是不存在发热部分78的图5所示的行人候选PCY，在比作为行人头部候选被检出的车灯70a或车灯70b的水平位置靠下且在规定范围内检测出形成高辉度区域的排气管72，所述形成高辉度区域的排气管72的面积大于作为行人头部候选的车灯70a或车灯70b并且在水平方向上具有规定宽度以上的长度，也能将行人候选PCY判定为是其他车辆Car。

这样，在比从红外线摄像头16拍到的图像中抽出的、作为行人头部候选被检出的车灯70a靠下且在规定范围内，由其他车辆候选检测部102（其他车辆候选检测机构、其他车辆候选检测步骤）检测满足以下条件的高辉度区域76（也包含只有排气管72的情况），该高辉度区域76的面积大于作为行人头部候选被检出的车灯70a并且在水平方向上的长度在规定宽度以上，此时判定为作为行人头部候选被检出的车灯70a不是人头而是其他车辆Car的一部分，因此，本发明能精准地区别其他车辆Car和行人Pa。

还有，若行人候选PCY为图5所示的情况时，也可以这样判定：由其他车辆候选检测部102将作为行人头部候选被检测出的2个车灯70a、70b作为其他车辆候选检测出，其他车辆判定部103根据上述2个车灯70a、70b和形成高辉度区域的排气管72之间的关系，将作为上述行人候选PCY检测出的物体判定为是其他车辆Car。例如也可以这样判定：根据2个车灯70a、70b和形成高辉度区域的排气管72之间的位置关系，或在2个车灯70a、70b的下方形成包含该2个车灯70a、70b的选取框时，检测出具有大于车灯70a、70b的面积的规定面积的高辉度区域时，判定为是其他车辆Car。

另外，其他车辆判定部103还可以这样判定：以形成高辉度区域的排气管72在水平方向上的宽度（横向宽度）Hwb，小于连接作为行人头部候选被检出的2个车灯70a、70b的在水平方向上的宽度（横向宽度）Hwa为条件，将行人候选PCY判定为是其他车辆Car。

还有，如图5所示，还可以这样判定：在能由其他车辆候选检测部102确定或推定（检测出）排气管72的端部73（尾气排出的管端部）时，由其他车辆判定部103根据相对于该端部73的高辉度区域的形状、例如从端部73大致呈同心圆状变大等的基准形状（排气管72的基准形状）之间的相关有关的形状判定为是其他车辆Car。

此时，其他车辆判定部103也可以这样判定：由其他车辆候选检测部102在判定为上述图像中的刚性物体（即使时间变化其形状也不变化的物体）的行人候选PCX的外接四边形之中，检测出作为行人头部候选的2个车灯70a、70b时，将判定为上述刚性物体的行人候选PCY判定为是其他车辆Car。

另外，如上所述，还可以这样判定：由其他车辆候选检测部102从图5所示的上述图像中检测出作为发动机的排气管候选的排气管72和车轮候选的车轮74a、74b（与路面56接触的横向排列的物体）时，由其他车辆判定部103将包含作为作为上述行人头部候选被检出的车灯70a、70b的物体判定为是其他车辆Car。

另外，还可以这样判定：由其他车辆候选检测部102从图6所示的上述图像中，既检测出车灯70a又检测出作为发动机的排气管候选的排气管72或车轮候选的车轮74a、74b时，由其他车辆候选检测部102在比上述排气管72或上述车轮74a、74b靠上的部位，检测出具有比车灯70的面积（规定面积）还大的面积的、包含从排气管72向车身传热的发热部分78的高辉度区域76时，由上述其他车辆判定部103将包含作为上述行人头部候选的被检出车灯70a和高辉度区域76（排气管72）的物体判定为是其他车辆Car。此时，还可以这样判定：由其他车辆候选检测部102在比上述排气管72或上述车轮74a、74b靠上的部位检测出高辉度区域76时，将包含作为上述行人头部候选被检出的车灯70a和车轮74a、74b的物体判定为是其他车辆Car。

还有，作为其他实施例，如图7所示，也可以这样判定：当其他车辆候选检测部102从上述图像中比作为上述行人头部候选被检出的车灯70a和/或车灯70b靠上的位置，检测出具有规定面积以上的其他高辉度区域92h（例如在冬季寒冷地区时其他车辆Car正用空调取暖时的前挡风玻璃等）或规定面积以上的低辉度区域92l（例如在冬季温暖地区时其他车辆Car正用空调制冷时的前挡风玻璃等）的行人候选PCYa时，不论其他车辆候选检测部102在上述水平方向上是否检测出高辉度区域76、发热部分78和排气管72，由其他车辆判定部103将作为上述行人头部候选被检出的车灯70a和/或车灯70b判定为不是人头而是其他车辆Car的一部分。

即，当车外气温在需要进行车内制冷而预先设定的第1温度以上时，例如通过灰度图像来判定在车灯70a和/或车灯70b之上是否存在面积大于车灯70a或车灯70b的低辉度区域92l（较大面积），若存在低辉度区域92l，可以判定为是其他车辆Car。另外，当车外气温在需要进行车内取暖而比上述第1温度还低的第2温度以下时，例如通过灰度图像来判定在车灯70b之上是否存在面积大于车灯70b的高辉度区域92h（较大面积），若存在上述高辉度区域92h，可以判定为是其他车辆Car。

此时，车外气温例如能够以对应于预先检测出的头部50的温度（规定温度）的灰度图像的辉度为基准而检测出来。车外气温也可以通过未图示的车外气温传感器（外界气温传感器）来检测出来。

接下来参照图8中A、图8中B和图9来说明行人头部候选抽出部101、其他车辆候选检测部102和其他车辆判定部103的更具体的车辆判定（其他车辆判定）处理。其中，图8中A、图8中B例示的其他车辆Cara的形状不同于图5～图7所示的其他车辆Car的形状。

图8中A表示当前图像Ipr，图8中B表示之前图像Ips。

图9是用图表90来表示当前图像Ipr和之前图像Ips的、各自的长方形框（图8中A、图8中B）所示的图像中的左下端为原点的横坐标和纵坐标。

在图8中A、图8中B的当前图像Ipr和之前图像Ips中，表示经过二值图像处理的高辉度区域的部分标注有阴影线。即，标注有阴影线的部分为需要处理的热源对象，在图中，只有作为行人头部候选被检测出的车灯70aa和存在于该车灯70aa的下方、面积大于车灯70aa并且在水平方向上的长度在规定宽度以上的高辉度区域76a，呈比用于判别人体辉度的辉度阈值亮的区域“1”（白）。

其他车辆Cara这样检测出来：其为包含作为其他车辆Cara的特征的车顶80的坐标中心的坐标A｛（A1=xA1、yA1），（A0=xA0、yA0）｝的选取框、包含作为左翼子板（左立柱）82的坐标中心的坐标L｛（L1=xL1、yL1），（L0=xL0、yL0）｝的选取框和包含作为右翼子板的坐标中心并包含高辉度区域76a的坐标R｛（R1=xR1、yR1），（R0=xR0、yR0）｝的选取框。

之后，如图9所示，除作为当前图像Ipr和之前图像Ips的对比用的行人头部候选的车灯70aa的坐标T｛（T1=xT1、yT1），（T0=xT0、yT0）｝之外，求出坐标R｛（R1=xR1、yR1），（R0=xR0、yR0）｝、坐标A｛（A1=xA1、yA1），（A0=xA0、yA0）｝、坐标L｛（L1=xL1、yL1），（L0=xL0、yL0）｝。

此时，作为车辆判定条件而具有以下条件1、条件2。

但是，即使是满足了条件1、条件2，关于作为行人头部候选被检出的车灯70aa距离路面56（路面交点）的高度H，在当前图像Ipr的高度H1比之前图像Ips的高度H0高时，由于仍然有可能是行人，所以在以下说明的条件1、2中，并不马上认定为是其他车辆Cara。

条件1：包含作为行人头部候选被检出的车灯70aa，由其他选取框（包含坐标R、A、L的3个选取框）形成的多边形，此时关于四边形84（84pr、84ps），在之前的四边形84ps与当前的四边形84pr大致相似时，将行人候选PCYc判定为是其他车辆Cara并确认为是接近车辆（包含停止车辆）、在前跟行车辆、在前车辆等正在远离的车辆（超车车辆）之一。

条件2：在作为行人头部候选被检出的车灯70aa和其他选取框之一之间、在图8中A、图8中B中为包含坐标R的选取框之间的坐标T（T1，T0）和坐标R（R1，R0）之间形成相连的直线86pr、86ps，对比当前的直线86pr的长度Lpr和之前的直线86ps的长度Lps，如果Lps≥Lpr，即、之前的直线86ps的长度Lps的长度比当前的直线86pr的长度Lpr长时，将其他车辆Cara确认为是在前跟行车辆或在前车辆等正在远离的车辆（超车车辆）。

这样，在结束步骤S4中的对象物判定处理之后，根据步骤S4中的判定结果，在步骤S5中，将被判定为是其他车辆Car、Cara的行人候选PCY（图5）、PCYa（图6）、PCYb（图7）、PCYc（图8中A、图8中B）由于不是行人Pa而在以后的处理对象中被去除（步骤S5的判定结果为：否）。

接下来，对于被视为是行人的图4所示的行人Pa（步骤S5的判定结果为：是），在步骤S6中，由触碰可能性判定部106来判定行人Pa和自己车辆12之间的触碰可能性。

即，如上所述，对于行人Pa，触碰可能性这样判定：考虑到上述式（1）的各触碰剩余时间TTC和行人Pa的各移动矢量（也可再考虑距离Z），再根据作为制动传感器20、车速传感器18和横向角速度传感器22的各输出信号的制动操作量Br、车速Vs、横向角速度Yr来判定车辆12有无触碰行人Pa的可能性，如判定为有触碰的可能性时（步骤S6的判定结果为：是），在步骤S7中，由提示输出信号生成判定部108来生成提示输出信号以提示驾驶员引起注意（向驾驶员提供信息）。具体来讲，不仅用显眼的色框等突出显示灰度图像中的行人并通过HUD26a进行显示，还通过扬声器24发出警报以提示车辆12的驾驶员引起注意。

这里，由提示输出信号生成判定部108生成能进行提示的输出信号，在HUD26a上用红色或黄色等上述显眼的色框围起行人Pa。

还有，本发明并不局限于上述实施方式，可根据该说明书的记载内容进行各种变型。

例如，如图10所示，也可以使用具有搭载在车辆12A上的左右一组的红外线摄像头16R、16L的车辆周围监测装置10A。即、作为立体摄像头的红外线摄像头16R、16L设置在车辆12A的前部保险杠部上，设置位置为相对于车辆12A的车宽方向上的中心部大致对称的位置，2个红外线摄像头16R、16L的光轴相互平行，并且两者被固定成距离路面的高度相等的状态。在该具有左右一组的红外线摄像头16R、16L的车辆周围监测装置中，如人们所知的那样，不仅将左右一组的红外线摄像头16R、16L拍到的自己车辆的周围情况的图像中温度较高的部分作为对象物，还利用左右图像中的同一对象物的视差等根据三角测量原理来求出带上述对象物的距离，根据上述对象物的移动方向（移动矢量）或上述对象物所处的位置检测出有可能影响车辆（自己车辆）12A正常行驶的对象物（有触碰可能性的对象物）并输出提示输出信号。

Claims (5)

1.一种车辆周围监测装置（10、10A），不仅利用搭载在车辆（12、12A）上的红外线摄像头｛16、（16R、16L）｝拍到的图像来检测出存在于车辆周围的物体，还对检测出的物体的种类进行判定，其特征在于，该车辆周围监测装置（10、10A）具有：

行人头部候选抽出部（101），由其从上述图像中抽出行人头部候选（50、70a、70b）；

其他车辆候选检测部（102），由其在比抽出的上述行人头部候选（50、70a、70b）靠下且在规定范围内检测满足以下条件的高辉度区域（72、76、76a、92h），所述高辉度区域（72、76、76a、92h）的面积大于上述行人头部候选（50、70a、70b）并且在水平方向上的长度在规定宽度以上；

其他车辆判定部（103），当上述其他车辆候选检测部（102）检测出上述高辉度区域（72、76、76a、92h）时，由所述其他车辆判定部（103）判定为上述行人头部候选（70a、70b）不是人头而是其他车辆（Car、Cara）的一部分。

2.根据权利要求1所述的车辆周围监测装置，其特征在于，

当上述其他车辆候选检测部（102）从上述图像中的刚性物体（PCY、70a和70b、74a和74b）中检测出上述行人头部候选（70a、70b）时，由上述其他车辆判定部（103）将上述刚性物体（PCY、70a和70b、74a和74b）判定为是上述其他车辆（Car、Cara）。

3.根据权利要求1或2所述的车辆周围监测装置，其特征在于，

由上述其他车辆候选检测部（102）从上述图像中进一步检测出发动机的排气管候选（72）或车轮候选（74a、74b），

当上述其他车辆候选检测部（102）在比上述排气管候选（72）或上述车轮候选（74a、74b）靠上的位置检测出上述高辉度区域（76）时，由上述其他车辆判定部（103）将包括上述行人头部候选（70a、70b）和上述排气管候选（72）的物体、或者将包括上述行人头部候选（70a、70b）和上述车轮候选（74a、74b）的物体判定为是上述其他车辆（Car、Cara）。

4.根据权利要求1或2所述的车辆周围监测装置，其特征在于，

当上述其他车辆候选检测部（102）进一步从上述图像中比上述行人头部候选靠上的位置检测出规定面积以上的其他高辉度区域（92h）或规定面积以上的低辉度区域（92l）时，

不论上述其他车辆候选检测部（102）是否检测出面积大于上述行人头部候选并且在上述水平方向上的上述高辉度区域（72、76、76a），由上述其他车辆判定部（103）将上述行人头部候选判定为不是行人头部而是上述其他车辆（Car、Cara）的一部分。

5.根据权利要求4所述的车辆周围监测装置，其特征在于，

上述其他车辆判定部（103）进行如下判定：当车外气温在第1温度以上时，判定在上述行人头部候选之上是否存在面积大于所述行人头部候选的低辉度区域（92l），当车外气温在比上述第1温度还低的第2温度以下时，判定在上述行人头部候选之上是否存在面积大于上述行人头部候选的辉灰度区域（92h）。

Images