CN104335244A - 对象物识别装置 - Google Patents

Abstract

本发明的对象物识别装置具有二值化处理机构(32)与对象物图像提取机构(35)，其中，二值化处理机构(32)根据二值化用阈值(Yth2(大于Yex))，将红外线摄像头(11R)的拍摄图像中的、除了作为天空的投影像素、辉度值在规定值(Yex)以下的像素之外的各像素分类为低辉度像素与高辉度像素；所述对象物图像提取机构(35)从由低辉度像素构成的图像区域提取对象物的图像部分。

Description

对象物识别装置

技术领域

本发明涉及一种利用红外线摄像头所拍摄的拍摄图像对生物体等监测对象物进行识别(检测)的装置。

背景技术

现有技术中已知有这样一种装置，即，通过配备在车辆上的红外线摄像头获得车辆周围的拍摄图像，对此拍摄图像进行二值化处理，生成二值图像，利用此二值图像，通过提取出监测对象物的图像部分，从而识别红外线摄像头的拍摄区域中存在的监测对象物。

例如，在专利文献1中记载有这样一种技术，即，由上述二值图像中的高辉度区域(由高辉度值像素构成的区域)通过提取出作为监测对象物的人等生物体的图像，从而识别红外线摄像头的拍摄区域中存在的生物体。

现有技术文献

专利文献

专利文献1：日本发明专利公开公报特开2003-284057号

发明内容

在配备在车辆上的红外线摄像头的拍摄区域中存在作为监测对象物的人等生物体时，在通常的环境条件下，一般而言，该生物体的温度相对于其周围(背景)的拍摄物(路面、建筑物的壁面等)而言较高。

此时，在红外线摄像头的拍摄图像中，该生物体的图像比其背景的图像具有较高的辉度(灰度)。因而，在通常的环境条件下，能够从红外线摄像头的拍摄图像的高辉度区域提取出生物体的图像。

然而，在外部气温较高时，生物体的温度有可能比其背景中的拍摄物的温度低。此时，红外线摄像头的拍摄图像中，生物体的图像比其背景的图像的辉度低。

在生物体的温度可能比其背景中的拍摄物的温度低的情况下，为了识别红外线摄像头的拍摄区域中存在的生物体，需要从红外线摄像头的拍摄图像的、由辉度较低的像素构成的低辉度区域提取生物体的图像，就此，本发明的发明人进行了研究。

然而，通过本发明的发明人所做的各种实验以及研究得知，从红外线摄像头的拍摄图像的低辉度区域提取出生物体的图像是很困难的。

即，通常，配备在车辆上的红外线摄像头的拍摄图像中会有拍摄到天空部分的图像区域。天空是不受外部空气温度等影响的低温区域，因而，天空部分的图像区域也是辉度较低的图像区域。

所以，如果用于对拍摄图像进行二值化处理的辉度阈值设定的不恰当的话，比背景温度低的生物体的图像有时会被排除在低辉度区域之外。此时，将不能适当地从该低辉度区域提取出温度相对较低的生物体的图像部分。

有鉴于此，作出了本发明，本发明的目的在于，提供一种能够根据红外线摄像头的拍摄图像适当地识别温度比背景温度低的生物体等对象物的对象物识别装置。

解决技术问题的技术方案

为达成上述目的，本发明的对象物识别装置构成为，其能够根据红外线摄像头的拍摄图像，识别该红外线摄像头的拍摄区域中存在的温度低于背景温度的对象物，该对象物识别装置包括：二值化处理机构，其将所述拍摄图像中的、除了辉度值在规定值以下的像素之外的各像素分类为：辉度值在二值化用阈值以下的低辉度像素与辉度高于该二值化用阈值的高辉度像素，其中，辉度值在规定值以下的像素表示天空部分的像素，二值化用阈值设定为比所述规定值高；对象物图像提取机构，其从所述拍摄图像中的由所述低辉度像素构成的图像区域提取出所述对象物的图像部分(第1技术方案)。

采用该第1技术方案，所述二值化处理机构将所述拍摄图像中的、除了作为天空的投影像素、辉度值在规定值以下的像素之外的各像素分类为：辉度值在二值化用阈值以下的低辉度像素与辉度高于该二值化用阈值的高辉度像素。

此时，由于所述二值化用阈值设定为比所述规定值高，因而，在所述红外线摄像头的拍摄区域中存在温度比背景温度低的对象物时，能够使所述拍摄图像中，该对象物的图像部分(该对象物的全部或者一部分图像)的像素被分类为所述低辉度像素与高辉度像素中的低辉度像素。

因此，在所述红外线摄像头的拍摄区域中存在温度比背景温度相对低的对象物时，所述对象物图像提取机构能够从由所述低辉度像素构成的图像区域(下面也会称为低辉度图像区域)提取出所述对象物的图像部分。从而能够识别红外线摄像头的拍摄区域中存在对象物。

所以，采用第1技术方案，能够恰当地根据红外线摄像头的拍摄图像来识别温度比背景温度低的生物体等的对象物。

另外，虽然红外线摄像头的拍摄图像中的天空部分的图像区域的各像素的辉度值通常是比其他图像区域(其他任何物体被投影所形成的图像区域)的辉度低，但是，由于云的有无等天空状态的不同，天空的图像区域的各像素的辉度值也会产生某种程度的变动。另外，与天空的图像面积较小的情况相比，在拍摄图像中的天空的图像区域面积较大时，天空的图像区域的各像素的辉度容易产生变动。

因而，本发明优选，在上述第1技术方案的基础上，对象物识别装置还包括排除用辉度值设定机构，其用于设定所述规定值，并根据所述拍摄图像中拍摄到天空部分的图像区域的面积或者该图像区域的辉度代表值来改变所述规定值(第2技术方案)。

其中，所述辉度代表值为，拍摄到天空部分的图像区域的辉度的代表值。作为该代表值，例如可以使用红外线摄像头的拍摄图像的上部(推定为天空的图像部分)的辉度的平均值或者最大值等。

采用上述第2技术方案，能够根据天空的图像区域的各像素的辉度的变动来适当地设定所述规定值。

例如，可以是，所述拍摄到天空部分的图像区域的面积越大或者该图像区域的辉度代表值越大，则所述排除用辉度值设定机构将所述规定值设定得越大(第3发明)。从而，能够极大程度地使除了辉度值在规定值以下的像素之外的像素中不包含天空的投影像素。

因而，能够避免，在所述对象物图像提取机构的处理中，即，从所述低辉度图像区域提取所述对象物的图像部分的处理中，不是对象物的图像部分被作为对象物的图像部分提取出来。从而能够提高所述对象物图像提取机构的处理的可靠性。

本发明优选，在第1～第3技术方案的基础上，所述二值化处理机构包括二值化用阈值设定机构，该二值化用阈值设定机构根据直方图来设定所述二值化用阈值，该直方图表示的是，所述拍摄图像中由辉度值在规定值以下的像素之外的像素构成的图像区域的辉度值与像素数的关系(第4技术方案)。

采用该第3技术方案，能够适当地设定所述二值化用阈值，从而使得，在所述红外线摄像头的拍摄区域存在温度低于背景温度的对象物时，能够非常可靠地使所述拍摄图像中的对象物的图像部分的像素被分类为所述低辉度像素与高辉度像素中的低辉度像素。

附图说明

图1为表示配备有本发明的一个实施方式所涉及的对象物识别装置的车辆的图；

图2为表示图1所示对象物识别装置的结构的框图；

图3为表示图1所示对象物监测装置所进行的处理的流程图。

图4为表示图3中步骤2、6、7的处理所使用的直方图的一个例子的图。

图5中A为表示拍摄图像的一个例子的图，B为表示将A所示的拍摄图像二值化后得到的二值图像的例子的图。

具体实施方式

下面参照图1～图5对本发明的对象物识别装置的一个实施方式进行说明。参照图1，本实施方式的对象物识别装置1配备在车辆1上。在车辆1上，除了对象物识别装置10之外，还配备有：两个摄像头11L、11R，其构成立体摄像头，对车辆1周围的规定的监测区域AR0(图1中位于直线L1、L2之间的视角区域)进行拍摄；显示器12，其显示摄像头11L、11R中的一方(例如摄像头11R)的拍摄图像等显示信息，使驾驶员能够看到；扬声器13，其发出声响信息(声音、警报音等)，以报知给车辆1的驾驶员。

显示器12由设置在车辆1车厢内的驾驶席前方的液晶显示器或者将影像投射在车辆1的前玻璃上从而进行显示的平视显示器等构成。另外，显示器12除了显示摄像头11R的拍摄图像之外，还可以适当地显示导航信息(地图等)、音频信息等。

摄像头11L与11R都是在红外范围的波段具有感光能力的红外线摄像头。摄像头11L、11R分别输出影像信号，该影像信号表示的是构成摄像头11L、11R各自的拍摄图像的各像素的辉度。在本实施方式中，摄像头11L、11R所拍摄的监测区域AR0(下面有时也会称为拍摄区域AR0)是位于车辆1的前方侧的区域。为了对该监测区域AR0进行拍摄，摄像头11L、11R被配备在车辆1的前部。

此时，摄像头11L与11R在车宽方向上并列配置，相对于位于车辆1的车宽方向(图1中的X轴方向)中心的中心轴(图1中Z轴)大致对称。而且，摄像头11L与11R以光轴相互平行、从路面起算的高度相等的方式安装在车辆1的前部。

对于拍摄到拍摄图像中的拍摄区域AR0内的所有被拍摄物的温度分布状态，各摄像头11L、11R的影像信号所表示的拍摄图像的辉度具有不同于温度分布状态的如下特性，即，拍摄区域AR0内的任何对象物在图像中的辉度(该对象物的图像区域附近的图像的辉度)并不是对应于该对象物的温度大小的辉度，而是对应于该对象物与其背景(从摄像头11L、11R一侧来看，位于对象物背后的拍摄物(建筑物的壁面、路面等)之间的相对温度差的大小的辉度，下面将此特性称为AC特性。

由于具有该AC特性，对于拍摄区域AR0内的任何对象物而言，其温度比其背景的温度越高，则该对象物在图像中的辉度越高。另外，对象物的温度比其背景的温度越低，则该对象物在图像中的辉度越低。

换言之，在具有上述AC特性的摄像头11L、11R的拍摄图像中，拍摄区域AR0内的所有拍摄物(被拍摄物)中具有较为显著的温度变化(温度的空间性变化)之处所对应的图像部分的辉度变化被加强。另外，在该拍摄图像中，具有均一的温度之处(各部分的温度大致相同)的图像部分的辉度具有大致相同大小的辉度，而与其温度的大小(绝对温度)无关。

本实施方式中的摄像头11L、11R是具有这样的AC特性的摄像头。

作为补充说明，各摄像头11L、11R也可以是本身不具有AC特性的摄像头。即，摄像头11L、11R也可以是具有下面这样的特性的摄像头，即，摄像头输出的影像信号所表示的各像素的辉度对应于拍摄物的温度大小(温度越高，辉度越高)。此时，可以对摄像头11L、11R输出的拍摄图像(影像信号)实施影像滤波处理，从而得到具有上述AC特性的拍摄图像。

另外，将构成立体摄像头的摄像头11L和11R中的一方例如右侧的摄像头11R作为基准摄像头，此时，在下面的说明中，有时会将右侧的摄像头11R称为基准摄像头11R。

对象物识别装置10是由未图示的CPU、存储器、接口电路等构成的电子电路单元。该对象物识别装置10通过CPU执行所安装的程序从而进行规定的控制处理。

具体而言，对象物识别装置10根据摄像头11L、11R的拍摄图像来识别拍摄区域AR0中存在的属于规定种类的监测对象的对象物。该对象物为步行者(人)、野生动物等生物体。

并且，该对象物识别装置10按照规定的控制处理周期检测出车辆1与存在于车辆1前方的对象物之间的距离，并且，对对象物的位置(相对于车辆1的相对位置)进行追踪。另外，在判定对象物是有可能与车辆1发生接触的生物体时，为了提醒车辆1的驾驶员注意该对象物(生物体)，对象物识别装置10执行注意提醒处理，使显示器12进行警报显示，并且，通过扬声器13发出警报音(或者提示声音)。

关于该对象物识别装置10的具体结构，将参照图2进行进一步的说明。摄像头11L、11R的影像信号输入对象物识别装置10中，此外，配备在车辆1上的各种传感器的检测信号也输入该对象物识别装置10中。

在本实施方式中，输入对象物识别装置10中的信号包括：检测车辆1的偏航角速度的偏航角速度传感器21的检测信号、检测车辆1的车速的车速传感器22的检测信号、检测驾驶员进行的制动操作(踏下制动踏板的动作)的制动传感器23的检测信号、检测外部气温的外部气温传感器24的检测信号、检测车辆1的前玻璃上的雨刷(省略图示)的动作状态的雨刷传感器25的检测信号(或者雨刷的操作指令信号)。

另外，对象物识别装置10还与上述显示器12与扬声器13连接。该显示器12的显示以及扬声器13的声响输出受对象物识别装置10控制。

对象物识别装置10具有：拍摄图像取得部31，其取得摄像头11L、11R的拍摄图像(具有上述AC特性的拍摄图像)；二值化处理部32，其进行二值化处理，以使上述拍摄图像二值化；对象物图像提取部35，其利用上述二值化处理所得到的二值图像提取出有可能是生物体的对象物(作为生物体的候选的对象物)的图像部分；避免接触处理部36，其判断由上述对象物图像提取部所提取出的图像部分对应的对象物是否是有可能与车辆1发生接触的生物体，在判断结果为肯定性结果时，执行上述注意提醒处理。对象物识别装置10通过由CPU执行所安装的程序(通过软件)或者通过硬件结构(输入输出电路与运算电路等)来实现具有上述各部的功能。

上述二值化处理部32、对象物图像提取部35分别对应于本发明中的二值化处理机构与对象物图像提取机构。另外，二值化处理部32还包含排除用辉度值设定部33与二值化用阈值设定部34的功能，其中，排除用辉度值设定部33对应于本发明中排除用辉度值设定机构，二值化用阈值设定部34对应于本发明中的二值化用阈值设定机构。

下面参照图3所示的流程来说明对象物识别装置10所进行的处理。对象物识别装置10按照规定的控制周期来执行图3所示的流程，从而识别位于车辆1前方的监测区域(拍摄区域)AR0中存在的对象物。

首先，对象物识别装置10通过拍摄图像取得部31执行STEP(步骤)1的处理。在该处理中，摄像图像取得部31取得摄像头11L、11R的拍摄图像。

再详细一点说，拍摄图像取得部31使各摄像头11L、11R对拍摄区域AR0进行拍摄。并且，拍摄图像取得部31对各摄像头11L、11R进行拍摄从而输出的影像信号进行A/D转换，从而取得每个摄像头的、以数码值表示各像素的辉度值的拍摄图像(具有上述AC特性的拍摄图像)。另外，拍摄图像取得部31将取得的各摄像头11L、11R的拍摄图像存储在图像存储器(省略图示)中。

另外，包含最新的拍摄图像在内，拍摄图像取得部31使图像存储器中存储规定时间以前至现在的期间内的多个拍摄图像。

作为补充说明，在各摄像头11L、11R不具有AC特性时，拍摄图像取得部31对红外线摄像头的影像信号所表示的拍摄图像实施影像滤波处理，从而得到具有AC特性的拍摄图像。

之后，对象物识别装置10通过二值化处理部32以及对象物图像提取部35进行STEP2～STEP4的处理。

STEP2、STEP3是二值化处理部32进行的处理。在STEP2中，二值化处理部32执行二值化用阈值设定部34的处理。在该处理中，二值化用阈值设定部34设定二值化用第1阈值Yth1，该二值化用第1阈值Yth1在对基准摄像头11R的拍摄图像进行二值化处理中使用。此时，二值化用阈值设定部34根据表示基准摄像头11R的拍摄图像的各像素的辉度值与像素数(频度)之间的关系的直方图(下面称为第1辉度直方图)设定二值化用第1阈值Yth1。

该二值化用第1阈值Yth1是设定值，用于在摄像头11L、11R的拍摄区域AR0中存在的、作为监测对象的对象物的人等生物体的温度比作为该生物体的背景的拍摄物的温度高时，使摄像头11L、11R的拍摄图像中的该生物体的图像部分的辉度比二值化用第1阈值Yth1高。

在本实施方式中，根据上述第1辉度直方图，按照所谓的P参数法(Percentile Method)设定二值化用第1阈值Yth1。即，二值化用第1阈值Yth1设定成，在上述第1辉度直方图中，辉度值在该二值化用第1阈值Yth1以上的全部像素数占拍摄图像的总像素数的比例要为规定比例。

例如，在上述第1辉度直方图为图4例示的直方图时，图中的Yth1作为二值化用第1阈值设定。

之后，在STEP3中，二值化处理部32根据如上所设定的二值化用第1阈值Yth1对基准摄像头11R的拍摄图像进行二值化处理，生成第1二值图像。

具体而言，将基准摄像头11R的拍摄图像的像素分为辉度值在Yth1以上的高辉度值像素与辉度值小于Yth1的低辉度值像素这两类，从而对该拍摄图像进行二值化处理。并且，使高辉度值像素为白色的像素，使低辉度值像素为黑色的像素，从而生成第1二值图像。

通过这样生成第1二值图像，从而，在摄像头11L、11R的拍摄区域AR0中存在作为监测对象的对象物的人等生物体并且该生物体的温度比其背景的拍摄物的温度高时(即，通常情况下)，生物体的图像部分在第1二值图像中为一部分白色的区域。

另外，也可以使辉度在Yth1以上的高辉度像素为黑色的像素，使辉度比Yth1低的低辉度值像素为白色的像素，从而生成第1二值图像。

接下来的STEP4是对象物图像提取部35所进行的处理。在该STEP4中，对象物图像提取部35从第1二值图像的白色区域(由白色的像素(辉度值在Yth1以上的高辉度值像素)构成的图像区域)提取出作为生物体的候选的对象物的图像部分。

在该STEP4中，所提取出的图像部分例如是，纵向与横向的尺寸、纵向与横向尺寸的比例、从路面起算的高度、辉度平均值、辉度分散等位于预先设定的范围(设想对象物是人、野生动物等生物体而设定的范围)内的图像部分。

从而，在摄像头11L、11R的拍摄区域AR0中存在作为监测对象的对象物的人等生物体并且该生物体的温度比其背景的拍摄物的温度高时(即，通常情况下)，在STEP4中提取出该生物体的图像部分。

另外，在使辉度在Yth1以上的高辉度像素为黑色的像素、使辉度比Yth1低的低辉度值像素为白色的像素，从而生成第1二值图像时，从第1二值图像中的黑色区域提取作为生物体的候选的对象物的图像部分即可。

之后，对象物识别装置10执行STEP5的判断处理。在该STEP5中，对象物识别装置10判断当前的环境条件。具体而言，该判断处理为，判断当前的外部气温是否在规定温度以上的条件以及当前的天气是否是下雨时的条件这两个条件中的任何一个是否成立。

其中，对象物识别装置10根据外部气温传感器24所检测到的外部气温的检测值来判断外部气温是否在规定温度以上。

另外，对象物识别装置10根据雨刷传感器25的输出信号(或者雨刷的操作指令信号)所表示的雨刷的动作状况来判断是否在下雨。具体而言，在雨刷处于动作中时，对象物识别装置10判断为是下雨，在雨刷没有处于动作中时，对象物识别装置10判断为没有下雨。

另外，也可以使用雨滴传感器进行检测从而判断是否在下雨。或者，也可以通过通信获得天气信息，从而确认是否在下雨。

这里，在通常的环境下(外部气温并不很高的环境下等)，人(步行者)等的生物体的温度比生物体周围的物体的温度高。因而，在作为红外线摄像头的摄像头11L、11R的拍摄图像(具有AC特性的拍摄图像)中拍摄到生物体时，通常，该生物体的图像的辉度比其背景的拍摄物(路面、建筑物的壁面等)的图像的辉度高。

另一方面，有时，在外部气温较高时，或者在下雨时，人(步行者)等生物体的温度比其周围的物体的温度低。此时，在摄像头11L、11R的拍摄图像中，生物体的图像部分的辉度比其背景的拍摄物(路面、建筑物的壁面等)的图像的辉度低。

并且，在此时，在上述第1二值化图像中，该生物体的图像部分是黑色图像(低辉度值图像)，因而，在上述STEP4中，无法提取出该生物体的图像部分。

因而，在上述STEP5的判断结果为肯定性结果时，即，认为在摄像头11L、11R的拍摄区域AR0中存在的生物体的温度比其周围的物体(背景的拍摄物)的温度低时，对象物识别装置10通过二值化处理部32与对象物图像提取部35执行STEP6～STEP9的处理，从而提取出作为生物体的候选的对象物的图像部分。

STEP6～STEP8的处理是二值化处理部32进行的处理。在STEP6中，二值化处理部32执行排除用辉度值设定部33的处理。在该处理中，排除用辉度值设定部33根据基准摄像头11R的拍摄图像设定排除用辉度值Yex，该排除用辉度值Yex用于从二值化的对象中排除天空部分的像素。该排除用辉度值Yex对应于本发明中的“规定值”。

这里，由于摄像头11L、11R的拍摄图像中通常包含天空部分的影像，并且，天空的温度一般会比其他的拍摄物(路面、建筑物、生物体等)低，因而，摄像头11L、11R的拍摄图像中，天空的图像区域的全部或者大部分像素的辉度值是低于某辉度值的低辉度像素。

上述排除用辉度值Yex设定为，基本上使摄像头11L、11R的拍摄图像中的对应于天空的像素的辉度值在Yex以下。

然而，由于云彩的有无或者天空的图像区域的面积等的影响，天空的图像区域的各像素的辉度值会产生某种程度的变动。例如，在天空的图像区域中含有云彩的影像时，会比不含有云彩的影像时的辉度值高。

另外，与天空的图像区域的面积较小时相比，在天空的图像区域的面积较大时，容易出现天空的图像区域的各像素的辉度值的变动性较大的情况。

因而，在本实施方式中，排除用辉度值Yex并非恒定不变的值，而是由排除用辉度值设定部33对其进行调整设定。具体而言，计算出基准摄像头11R的拍摄图像中的靠近上端的部分(推定为天空的图像区域)的辉度的平均值或者最大值，将其作为该部分的辉度代表值。

另外，为求得拍摄图像中的天空部分的天空面积像素数，计算出基准摄像头11R的拍摄图像的上部侧区域的像素中，辉度值在预先设定的既定值以下的像素的个数，该像素的个数基本上代表了拍摄图像中的天空部分面积。或者，也可以通过边界提取等方法，在基准摄像头11R的拍摄图像的上部侧区域中，检测出天空的图像区域与其他拍摄物的图像区域的边界线，计算由该边界线所围成的区域的像素数，将其作为天空面积像素数。

使用上述辉度代表值与天空面积像素数，根据预先设定的既定图表或者算式来设定排除用辉度值Yex。此时，辉度代表值越大，则排除用辉度值Yex设定得越大。另外，天空面积像素数越多(拍摄图像中的天空的投影区域的面积越大)，则排除用辉度值Yex设定得越大。

之后，在STEP7中，二值化处理部32执行二值化阈值设定部34的处理。在该处理中，二值化用阈值设定部34设定二值化用第2阈值Yth2，该二值化用第2阈值Yth2用于使，从基准摄像头11R的拍摄图像中排除了辉度值在排除用辉度值Yex以下的像素(视为天空的像素)的图像(下面称为天空区域排除后图像)二值化。该天空区域排除后图像即是，基准摄像头11R的拍摄图像中的、由辉度值比排除用辉度值Yex高的像素构成的图像。另外，二值化用第2阈值Yth2对应于本发明中的二值化用阈值。

此时，二值化用阈值设定部34根据表示上述天空区域排除后图像的各像素的辉度值与像素数(频度)的关系的直方图(下面称为第2辉度直方图)来设定二值化用第2阈值Yth2。另外，如图4所示，上述第2辉度直方图是从上述第1辉度直方图中除去了辉度值为Yex以下的部分后的部分。

上述二值化用第2阈值Yth2设定为，在摄像头11L、11R的拍摄区域AR0中存在的作为监测对象的对象物的人等生物体的温度比该生物体的背景的拍摄物的温度低时，摄像头11L、11R的拍摄图像中的该生物体的图像部分的辉度比该二值化用第2阈值Yth2低。

在本实施方式中，与二值化用第1阈值Yth1相同，该二值化用第2阈值Yth2也按照P参数法设定。不过，此时，二值化用第2阈值Yth2不是根据第1辉度直方图设定，而是根据第2辉度直方图设定。即，二值化用第2阈值Yth2设定为，在上述第2辉度直方图中，辉度值在该二值化用第2阈值Yth2以下的全部像素数占拍摄图像的总像素数的比例要为规定比例。此时，二值化用第2阈值Yth2的辉度值高于排除用辉度值Yex。

例如，在上述第2辉度直方图为图4所例示的直方图时，图中所示的数值Yth2(＞Yex)被设定为二值化用第2阈值。

之后，在步骤STEP8中，二值化处理部32根据如上所设定的二值化用第2阈值Yth2对上述天空区域排除后图像进行二值化处理，从而生成第2二值图像。

具体而言，将天空区域排除后图像的像素分为辉度值在Yth2以下的低辉度值像素与辉度值大于Yth2的高辉度值像素这两类，对该天空区域排除后图像进行二值化处理。并且，与第1二值图像的情况相反，使低辉度值像素为白色像素，使高辉度值像素为黑色像素，从而生成第2二值图像。

通过这样生成第2二值图像，在STEP5的判断结果为肯定性结果的情况下，如果在摄像头11L、11R的拍摄区域AR0中存在作为监测对象的对象物的人等生物体并且该生物体的温度比背景的拍摄物的温度低时，该生物体的图像部分在第2二值图像中，是一部分白色的区域。

例如，在外部气温高于规定温度的情况下，得到如图5(a)所示的、基准摄像头11R(或者摄像头11L)的拍摄图像。此时，由于拍摄区域AR0中存在的人(步行者)的温度比背景的拍摄物的温度低，因而，如图5中(a)所示，该人的图像部分是辉度较暗的图像。

该拍摄图像中的第1辉度直方图与第2辉度直方图是图4所示的直方图。并且，此时，在STEP8中，利用图4所示的二值化用第2阈值Yth2对天空区域排除后图像进行二值化处理，从而生成图5中(b)所示的第2二值图像。图5中(a)所示的人(步行者)的图像部分在该第2二值图像中，是一部分白色的区域。

另外，在图5中(b)所示的第2二值图像中，辉度值在排除用辉度值Yex以下的像素(视为天空的像素)即拍摄图像中除了天空区域排除后图像以外的图像部分的像素被强制性地设定为黑色像素。

作为补充，在STEP8中进行的天空区域排除后图像的二值化处理中，也可以使辉度值在Yth2以下的低辉度值像素为黑色像素，使辉度值大于Yth2的高辉度值像素为白色像素，从而生成第2二值图像。

或者，也可以使二值化前的天空区域排除后图像的各像素的辉度值的高低反转，而生成反转图像。将该反转图像的各像素分为辉度值在将Yth2反转后得到的阈值(下面称为反转阈值)以上的像素以及辉度值比该反转阈值小的像素这两类，从而生成第2二值图像(使这两类像素中的一方为白，另一方为黑的二值图像)。

另外，在上述反转图像中，各像素的辉度值是由最大辉度值(例如，在为8位色阶的情况下，为255)减去天空区域排除后图像的辉度值Y所得到的值(最大辉度值－Y)。同样地，上述反转阈值为由最大辉度值减去二值化用第2阈值Yth2得到的值(最大辉度值－Yth2)。

之后，在STEP9中，对象物识别装置10执行对象物图像提取部35的处理。在该STEP9中，对象物图像提取部35从第2二值图像的白色区域(由白色像素(辉度值在Yth2以下的低辉度值像素)构成的图像区域)提取出作为生物体候选的对象物的图像部分。

该STEP9的提取处理按照与上述STEP4相同的方法进行。此时，生物体的图像部分在第2二值图像中，为白色区域部分的图像，因而，可以通过与STEP4相同的程序处理来提取对象物的图像部分。

另外，在使辉度值在Yth2以下的低辉度值像素为黑色像素、使辉度值高于Yth2的高辉度值像素为白色区域从而生成第2二值图像时，可以从第2二值图像的黑色区域提取出作为生物体候选的对象物的图像部分。

上面所说明的STEP2～STEP4以及6～9的处理是二值化处理部32与对象物图像提取部35所进行的处理的详细内容。

之后，对象物识别装置10执行STEP10的判断处理。在该判断处理中，判断是否由上述STEP2～STEP9的处理提取出了作为生物体候选的对象物。

在此判断结果为否定性结果时，对象物识别装置10的本次控制处理周期的处理结束。

另一方面，在STEP10的判断结果为肯定性结果时，对象物识别装置10通过回避接触处理部36执行STEP11的处理。

在该处理中，针对由对象物提取部35提取出的对象物(生物体的候选)，回避接触处理部36例如进行与上述专利文献1中记载的处理相同的处理，从而，计算出该对象物在真实空间中的位置、确定该对象物是否为监测对象的生物体、以及判定该对象物是否有与车辆1发生接触的可能性。

下面对这些处理进行简要的说明。回避接触处理部36基于摄像头11L、11R各自所拍摄的对象物的图像部分的视差，通过立体测距方法，推定对象物与车辆1(自车)之间的距离。之后，回避接触处理部36根据该距离的推定值以及基准摄像头11R的拍摄图像中的该对象物的图像部分的位置，来推定对象物的真实空间位置(相对于自车1的相对位置)。

在对象物的真实空间位置处于拍摄区域AR0中的如图1所示那样设定的接触判定区域AR1(图1中的点状填充区域)内时，判定为该对象物(例如图1中用P1表示的对象物)有可能将要与自车1发生接触。

上述接触判定区域AR1位于拍摄区域AR0中，其属于到自车1的距离为根据自车1的车速(检测值)确定的距离值Z1(例如，对车速乘以规定的比例常数所得到的值)以内的范围，并且，位于自车1的正前方，其宽度为车辆1的车宽α两侧分别加上规定的余量宽度β得到的宽度值(α+2β)。

另外，在对象物的真实空间位置位于拍摄区域AR0中的、接触判定区域AR1外侧但位于如图1所示那样设定的进入判定区域AR2、AR3(图1中的行车线状填充区域)内，并且该对象物的移动向量的朝向为进入接触判定区域AR1的方向时，回避接触处理部36也判定为该对象物(例如图1中由P2、P3所表示的对象物)有与自车1发生接触的可能性。

上述进入判定区域AR2、AR3设定为，在上述拍摄区域AR0中、从到自车1的距离在上述距离值Z1以下的区域中除去接触判定区域AR1之后的区域。

另外，对象物的移动向量的朝向例如根据该对象物至规定时间前的真实空间位置的推定值的时间序列数据来确定。

另外，上述接触判定区域AR1以及进入判定区域AR2、AR3在自车1的高度方向上也具有尺寸范围(高度位于规定高度以下的区域，该规定高度比自车1的高度高)。并且，存在于比该规定高度高的位置的对象物被判定为没有可能在之后与自车1发生接触。

另外，针对被判定为有可能将要与自车1发生接触的对象物，回避接触处理部36确定该对象物是否是人等生物体。

此时，可以根据基准摄像头11R的拍摄图像中的对象物(具体而言，即，由对象物图像提取部35提取出的图像部分所对应的、并且由回避接触处理部36判断为有可能将要与自车1发生接触的对象物)的图像部分的形状、尺寸、辉度分布等特征(例如，按照上述专利文献1中所记载的方法)，来确定该对象物是否是人。

另外，在判定为该对象物不是人时，可以进一步判定该对象物是否为四脚动物等野生动物。

另外，关于判断对象物是否是人等生物体的方法，除了专利文献1中记载的方法之外，还存在其他多种公知的方法，可以采用它们中的任意一种。

并且，针对被确定为有可能与车辆发生接触并且是人等生物体的对象物，回避接触处理部36执行上述注意提醒处理。

具体而言，回避接触处理部36对显示器12进行控制，以使显示器12上显示基准摄像头11R的拍摄图像，并且，对该拍摄图像中的对象物(有可能与自车1发生接触的生物体)的图像进行突出显示。例如，回避接触处理部36使显示器12中显示的拍摄图像中的该对象部的图像被规定颜色的显示框围起来，或者使该显示框闪烁，从而对该对象物的图像进行突出显示。

另外，回避接触处理部36对扬声器13进行控制，使其发出警报音(或者声音)，以提示(驾驶员)在拍摄区域(监测区域)AR0中存在有可能与自车1发生接触的生物体。

通过上述这样对显示器12进行的显示控制以及对扬声器13进行的控制，能够向驾驶员发出有关有可能性与自车1发生接触的生物体的视觉上的警报(提示)以及听觉上的警报(提示)。从而，能够提醒驾驶员注意该生物体。使得，驾驶员可以进行能够避免该生物体与自车1发生接触的适当的驾驶操作(制动操作等)，以能够避免该接触的发生。

另外，在判断为在拍摄区域AR0中存在有可能与自车1发生接触的生物体时，如果根据上述制动传感器23的输出信号检测到驾驶员已经对车辆1进行了制动操作，则也可以不进行上述注意提醒处理。

或者，也可以选择，虽然驾驶员正对车辆1进行制动操作，但是，例如根据制动踏板的被操作量或者车辆1的减速程度来判断是否执行注意提醒处理。

作为补充说明，在本实施方式中，为了避免生物体与自车1发生接触，通过由显示器12实现的视觉上的报知以及由扬声器13实现的听觉上的报知来提醒驾驶员注意，然而，也可以仅进行视觉上的报知与听觉上的报知中的一方。

或者，作为上述视觉上的报知与听觉上的报知这二者或者一方的代替，也可以进行体感上的报知，例如使驾驶席振动等，从而提醒驾驶员注意。

另外，在车辆1的制动装置构成为可通过液压控制等根据对应于制动踏板的操作的制动力调节其制动力时，可以在提醒驾驶员注意的基础上，自动地使制动装置的制动力增大。

采用上面所说明的本实施方式，在上述STEP5的判断结果为肯定性结果时，即，在摄像头11L、11R的拍摄区域AR0中存在人等生物体，并且该生物体的温度有可能比该生物体周围的物体(背景的拍摄物)的温度低时，通过STEP6～STEP9的处理，由第2二值图像中提取出作为该生物体的候选的对象物(温度比背景的拍摄物低的对象物)的图像部分。

此时，用于生成第2二值图像的二值化处理，是针对从基准摄像头11R的拍摄图像中排除被视为天空的图像区域(由辉度值在排除用辉度值Yex以下的像素构成的图像区域)后的天空区域排除后图像，使用辉度值高于Yex的二值化用第2阈值Yth2进行的。

因而，在摄像头11L、11R的拍摄区域AR0中存在温度比背景的拍摄物低的对象物(有可能是生物体的对象物)时，能够使基准摄像头11R的拍摄图像中该对象物的图像部分的辉度值在第2二值化用第2阈值Yth2以下。

因而，能够适当地从第2二值图像的白色区域(由辉度值在Yth2以下的像素构成的区域)提取出作为温度比背景拍摄物低的生物体的候选的对象物。

另外，由于天空中是否有云、拍摄图像中的天空的图像区域的面积等原因的影响，出现该天空的图像区域的辉度值会发生变动的现象，而上述排除用辉度值Yex是考虑了该现象调整设定的(可变的)。因而，能够将排除用辉度值Yex设定为，极大程度地使拍摄图像中的实际上是天空的图像区域的像素不被包含在天空区域排除后图像中(换言之，即，使实际上是天空的图像区域的全部或者大部分的像素的辉度值在Yex以下)。

因而，能够更加切实可靠地，从根据二值化用第2阈值Yth2对天空区域排除后图像进行二值化处理而生成的第2二值图像的白色区域(由辉度值在Yth2以下的像素构成的区域)，提取出作为温度低于背景拍摄物的生物体的候选的对象物。

下面对上面所说明的实施方式的变形例进行说明。

在上述实施方式中，在图3的STEP5的判定结果为肯定性结果时，执行STEP6～STEP9的处理。然而，也可以省略STEP5的判定处理，始终执行STEP6～STEP9的处理。

另外，可以在STEP2～STEP4的处理之前进行STEP6～STEP9的处理，或者，也可以通过多个CPU或者利用时间分割处理，与STEP2～STEP4的处理相并行地进行STEP6～STEP9的处理。

另外，在STEP5的判定处理中，可以仅判定外部气温是否较高。

另外，在上述实施方式中，例示的是具有构成立体摄像头的两个摄像头11L、11R的系统。然而，也可以是仅具有一个摄像头(红外线摄像头)的系统。此时，可以根据雷达装置等其他测距装置来检测摄像头的拍摄图像中的生物体等对象物与自车1之间的距离。或者，可以根据摄像头的拍摄图像的时间序列数据得到图像部分中对象物的尺寸随时间的变化率等，根据此变化率等来推定该对象物与自车1之间的距离。

另外，在上述实施方式中，通过STEP2～STEP4的处理来提取出温度高于背景拍摄物的对象物的图像部分。然而，在事先判定出所要提取的对象物的温度比其背景的拍摄物低时，可以省略STEP2～STEP4的处理，通过STEP6～STEP9的处理来提取该对象物(温度相对较低的对象物)的图像部分。此时，该对象物可以是生物体以外的物体。

另外，在判定出天空的图像区域的辉度保持大致恒定的辉度值时，上述排除用辉度值Yex可以是恒定值。或者，也可以适当地根据天空图像区域的辉度代表值或除面积之外的参数来调整排除用辉度值Yex。

另外，在上述实施方式中，在生成二值图像(第1二值图像与第2二值图像)的基础上来提取对象物的图像部分。然而，也可以不生成二值图像，而是从摄像头11L或11R的拍摄图像中的、由辉度值在二值化用第1阈值Yth1以上的像素构成的区域或者辉度值在二值化用第2阈值Yth2以下的像素构成的区域，提取生物体等对象物的图像部分。

另外，在上述实施方式中，以对象物识别装置10以及摄像头11L、11R被配备在车辆1上为例进行了说明，然而，本发明也可以适用于，将取得拍摄图像的摄像头(红外线摄像头)设置在道路或设施的出入口等既定场所的情况。

权利要求书(按照条约第19条的修改)

1.一种对象物识别装置，其能够根据红外线摄像头的拍摄图像，识别该红外线摄像头的拍摄区域中存在的温度相对低于背景温度的对象物，其特征在于，

包括：

二值化处理机构，其将所述拍摄图像中的、除了辉度值在规定值以下的像素之外的各像素分类为：辉度值在二值化用阈值以下的低辉度像素与辉度高于该二值化用阈值的高辉度像素，其中，辉度值在规定值以下的像素表示天空部分的像素，所述二值化用阈值设定为比所述规定值高；

对象物图像提取机构，其从所述拍摄图像中的由所述低辉度像素构成的图像区域提取出所述对象物的图像部分；

排除用辉度值设定机构，其用于设定所述规定值，并根据所述拍摄图像中拍摄到天空部分的图像区域的面积或者该图像区域的辉度代表值来改变所述规定值。

2.根据权利要求1所述的对象物识别装置，其特征在于，

所述拍摄到天空部分的图像区域的面积越大或者该图像区域的辉度代表值越大，则所述排除用辉度值设定机构将所述规定值设定得越大。

3.根据权利要求1所述的对象物识别装置，其特征在于，

所述二值化处理机构包括二值化用阈值设定机构，该二值化用阈值设定机构根据直方图来设定所述二值化用阈值，该直方图表示的是，所述拍摄图像中由辉度值在所述规定值以下的像素之外的像素构成的图像区域的辉度值与像素数的关系。

Claims (4)

1.一种对象物识别装置，其能够根据红外线摄像头的拍摄图像，识别该红外线摄像头的拍摄区域中存在的温度相对低于背景温度的对象物，其特征在于，

包括：

二值化处理机构，其将所述拍摄图像中的、除了辉度值在规定值以下的像素之外的各像素分类为：辉度值在二值化用阈值以下的低辉度像素与辉度高于该二值化用阈值的高辉度像素，其中，辉度值在规定值以下的像素表示天空部分的像素，所述二值化用阈值设定为比所述规定值高；

对象物图像提取机构，其从所述拍摄图像中的由所述低辉度像素构成的图像区域提取出所述对象物的图像部分。

2.根据权利要求1所述的对象物识别装置，其特征在于，

还包括排除用辉度值设定机构，其用于设定所述规定值，并根据所述拍摄图像中拍摄到天空部分的图像区域的面积或者该图像区域的辉度代表值来改变所述规定值。

3.根据权利要求2所述的对象物识别装置，其特征在于，

所述拍摄到天空部分的图像区域的面积越大或者该图像区域的辉度代表值越大，则所述排除用辉度值设定机构将所述规定值设定得越大。

4.根据权利要求1所述的对象物识别装置，其特征在于，

所述二值化处理机构包括二值化用阈值设定机构，该二值化用阈值设定机构根据直方图来设定所述二值化用阈值，该直方图表示的是，所述拍摄图像中由辉度值在所述规定值以下的像素之外的像素构成的图像区域的辉度值与像素数的关系。