CN102099842A - 车辆周边监视装置 - Google Patents

Abstract

本发明的目的在于提供一种能够精确地识别出对象物是否为指定四脚动物的车辆周边监视装置。为达到这样的目的，本发明的车辆周边监视装置根据对象物横纵比测定机构的测定结果是否在1以上、由第2对象物区域提取机构提取出的第2对象物区域是否为多个、第2对象物区域的纵向宽度相对于第1对象物区域的纵向宽度的纵向宽度之比是否在通常的四脚动物所具有的躯干部相对于腿部的高度之比的范围内，来判断第1对象物区域与第2对象物区域是否与指定四脚动物相当。

Description

车辆周边监视装置

技术领域

本发明涉及一种车辆周边监视装置，其利用由配备在车辆上的摄像装置获得的拍摄图像来对车辆的周边进行监视。

背景技术

现有技术中公知有这样一种技术，即，从拍摄图像中提取出对象物的图像区域(具有对象物的区域)，当该提取出的对象物的图像区域符合下述条件时，即，该图像区域中包含不同方向上的幅度的比率处于规定范围内的第1对象物区域以及位于第1对象物区域且面积比第1对象物区域小的多个第2对象物区域时，将该对象物的种类判定为人以外的动物并报知给驾驶员(参照日本发明专利公开公报特开2007-310705号)。

然而，从配备在车辆上的摄像机构所获得的拍摄图像中提取出对象物不仅包括人与动物，还包括车辆等的人造物。若在第1对象物区域的下方存在多个第2对象物区域时将对象物的种类判定为人以外的动物的话，则有可能将实际上是车辆等的人造物判定为动物，这样一来，车辆等的人造物被判定为人以外的动物，那么将此结果报知给驾驶员是没有意义的。此外，作为人以外的动物，车辆想要判别出的其实是鹿等的具有四只脚的大型动物(指定四脚动物)。

发明内容

因而，本发明的目的在于提供一种能够精确地识别出对象物是否为指定四脚动物的车辆周边监视装置。

为达到上述目的，本发明的车辆周边监视装置利用由配备在车辆上的摄像装置获得的拍摄图像来对车辆的周边进行监视。该车辆周边监视装置具有：第1对象物区域提取机构，其从所述拍摄图像中提取出第1对象物区域；第2对象物区域提取机构，其在由所述第1对象物区域提取机构提取出的所述第1对象物区域的下方提取出第2对象物区域；对象物横纵比测定机构，其测定由所述第1对象物区域提取出的所述第1对象物区域的横向宽度相对于纵向宽度的横纵比；动物判断机构，其根据所述对象物横纵比测定机构的测定结果是否在1以上、由所述第2对象物区域提取机构提取出的所述第2对象物区域是否为多个、由所述第2对象物区域提取机构提取出的所述第2对象物区域的纵向宽度相对于由所述第1对象物区域提取机构提取出的所述第1对象物区域的纵向宽度的纵向宽度之比是否在通常的四脚动物所具有的躯干部相对于腿部的高度之比的范围内，来判断所述第1对象物区域与所述第2对象物区域是否与指定四脚动物相当。

采用本发明的车辆周边监视装置，根据第1对象物区域的横纵比是否在1以上、提取出的第2对象物区域是否为多个、并且第2对象物区域相对于第1对象物区域的高度之比是否在通常的指定四脚动物所具有的腿部相对于躯干部的高度之比的范围内，来判断第1对象物区域与第2对象物区域是否与指定四脚动物相当。在从侧面看四脚动物时，其躯干部的横纵比在1以上、且其躯干部与腿部的高度之比在特定的范围内、而且其腿部在前后或左右方向上存在多个，考虑到这样的情况按照上述的判断方法来判断对象物是否为指定四脚动物，从而能够较精确地识别出对象物是否为指定四脚动物。

所述第2对象物区域提取机构可以将包含第1对象物区域的下方区域设定为假想设定区域，并从该假想设定区域中提取出所述第2对象物区域。

采用这样构成的车辆周边监视装置，将包含第1对象物区域的下方区域设定为假想设定区域，并从该假想设定区域中提取出所述第2对象物区域，考虑到指定四脚动物的腿部的上端部位于躯干部的下方，所以，利用上述的判断方法来判断对象物是否为指定四脚动物，从而能够较精确地识别出对象物是否为指定四脚动物。

所述第2对象物区域提取机构可以从横向宽度在所述第1对象物区域以上的假想设定区域中提取出所述第2对象物区域。

采用这样构成的车辆周边监视装置，从横向宽度在所述第1对象物区域以上的假想设定区域中提取出所述第2对象物区域，考虑到指定四脚动物的腿部位于躯干部的横向宽度的前端部与后端部，所以，利用这样的判断方法来判断对象物是否为指定四脚动物，从而能够较精确地识别出对象物是否为指定四脚动物。

所述动物判断机构可以根据所述多个第2对象物区域中的一个所述第2对象物区域相对于其他的所述第2对象物区域的横向宽度之比是否在规定范围内，来判断所述第1对象物区域与所述第2对象物区域是否与指定四脚动物相当。

采用这样构成的车辆周边监视装置，根据所述多个第2对象物区域中的一个所述第2对象物区域相对于其他的所述第2对象物区域的横向宽度之比是否在规定范围内，来判断是否为指定四脚动物，考虑到指定四脚动物的左右腿之间或者前后腿之间的宽度之比具有一定的范围，所以，利用这样的判断方法来判断对象物是否为指定四脚动物，从而能够较精确地识别出对象物是否为指定四脚动物。

所述动物判断机构根据所述第2对象物区域的个数是否在2个以上4个以下来判断所述第1对象物区域与所述第2对象物区域是否与指定四脚动物相当。

采用这样构成的车辆周边监视装置，根据所述第2对象物区域的个数是否在2个以上4个以下来判断所述第1对象物区域与所述第2对象物区域是否与指定四脚动物相当，考虑到指定四脚动物的腿的数量为4个，并且这四条腿都重合在一起的盖然性较低，所以，利用这样的判断方法来判断对象物是否为指定四脚动物，从而能够较精确地识别出对象物是否为指定四脚动物。

附图说明

图1为本发明一个实施方式的车辆周边监视装置的结构说明图；

图2为配备有车辆周边监视装置的车辆的说明图；

图3为表示车辆周边监视装置进行的图像处理的步骤的流程图；

图4为另一个表示车辆周边监视装置进行的图像处理的步骤的流程图；

图5为表示对象物种类判断处理的步骤的流程图；

图6为表示腿部区域提取处理的步骤的流程图；

图7为图像处理单元所进行的图像处理的方法的说明图；

图8为图像处理单元所进行的图像处理的方法的另一个说明图。

具体实施方式

下面对本发明的车辆周边监视装置的具体实施方式进行说明。首先说明本实施方式的车辆周边监视装置的结构。车辆周边监视装置具有如图1及图2中所示的图像处理单元1。对本车10的前方的图像进行拍摄的摄像机构即两个红外线照相机2R、2L与该图像处理单元1连接，并且，该图像处理单元1还与检测本车10的行驶状态的传感器即检测本车10的偏航角速度的偏航角速度传感器3、检测本车10的行驶速度(车速)的车速传感器4、以及检测是否有对本车10的制动操作的制动传感器5相连接。此外，图像处理单元1还连接着用于通过发声的方式输出听觉感知性的报知信息的扬声器6、以及用于显示由红外线照相机2R、2L所拍摄到的图像与视觉感知性的报知信息的显示装置7。红外线照相机2R、2L相当于本发明中的摄像机构。

虽然省略了详细的图示，不过，图像处理单元1由包含A/D变换器、微处理器(具有CPU、RAM、ROM等)、图像存储器等的电子回路构成，从红外线照相机2R、2L、偏航角速度传感器3、车速传感器4以及制动传感器5输出的模拟信号被A/D变换器进行数字化处理并输入到微处理器中。从而，微处理器根据这些输入数据检测出人(行人、骑自行车的人)等的对象物，在检测出的对象物满足规定的报知条件时，通过扬声器6与显示装置7执行报知处理从而报知给驾驶员。图像处理单元1具有本发明中的第1对象物提取机构、第2对象物提取机构、对象物横纵比测定机构、比较机构以及动物判断机构的功能。

如图2所示，红外线照相机2R、2L安装在本车10的前部(图中为前部护栅的部分)以对本车10的前方进行拍摄。此时，红外线照相机2R、2L分别配置在偏离本车10的宽度方向中心而靠左以及靠右的位置。二者的位置以本车10的宽度方向中心为中心左右称。红外线照相机2R、2L的光轴相互平行地向本车10的前方延伸，且二者的光轴距路面的高度相等。红外线照相机2R、2L对远红外区域的光的敏感度较高，因此其具有拍摄的物体的温度越高则所输出的映像信号的等级也越高(映像信号的辉度较高)的特性。

在本实施方式中，作为显示装置7而言，采用的是将图像信息显示在车辆10的前部车窗上的平视显示器(下面称为HUD)7a。此外，关于显示装置7，还可以不采用HUD7a或者是在设置有HUD7a的基础上，还使用设置在表示车辆10的车速等行驶状态的仪表上一体设置的显示器或者车载的导航装置所具有的显示器。

接下来参照图3的流程对具有上述结构的车辆周边监视装置的基本功能进行说明。图3的流程图所表示的基本内容与本申请人提出了日本发明专利公开公报特开2001-6096的图3以及特开2007-310705的图3中所记载的处理内容相同。

具体而言，首先将来自于红外线照相机2R、2L的信号输入图像处理单元1中(图3/STEP11)。之后，该图像处理单元1对红外线照相机2R、2L的输出信号进行A/D变换(图3/STEP12)。并且，从经过A/D变换的红外线图像中提取出灰度图像(图3/STEP13)。之后，图像处理单元1对基准图像(通过右侧的照相机2R所获得的灰度图像)进行二值化处理(图3/STEP14)。接下来，图像处理单元1对上述二值化图像进行STEP15～17的处理，从该二值化图像中提取出对象物(更准确地说是提取出对象物所对应的区域)。具体而言，将构成二值化图像的高辉度区域的像素群变换为行程编码数据(Run Lenth data、图3/STEP15)。之后，给在基准图像的纵方向上具有重合部分的图像线群分别加上标签(标识符)(图3/STEP16)。并且，提取出这些图像线群并将其作为对象物(图3/STEP17)。之后，图像处理单元1计算出如上述地提取出的对象物的重心位置(在基准图像上的位置)、面积以及外接四边形的横纵比(图3/STEP18)。然后，图像处理单元1对在STEP18中提取出的对象物进行时间跟踪处理，即，在图像处理单元1的每一运算处理周期对同一对象物进行识别(图3/STEP19)。之后，图像处理单元1读取车速传感器4以及偏航角速度传感器5的输出信号(车速的检测值以及偏航角速度的检测值)(图3/STEP20)。

另外，图像处理单元1在计算上述外接四边形的横纵比以及进行对象物的时间跟踪处理同时，从基准图像中提取出对应于各对象物的区域(例如该对象物的外接四边形的区域)并将其作为探索图像(图3/STEP31)。之后，在左侧的红外线照相机2L所拍摄到的左侧图像中设定用于探索探索图像所对应的图像(对应图像)的探索区域，并进行相关运算从而在左边图像中提取出对应图像(图3/STEP32)。并且计算出对象物到车辆10的距离(在车辆10前后方向上的距离)(图3/STEP33)。

之后，图像处理单元1计算出各对象物在真实空间中的位置(相对于本车10的相对位置，图3/STEP21)。并且，图像处理单元1根据在STEP20中求得的转向角的时间序列数据来修正对象物的真实空间位置(X、Y、Z)中的X方向上的位置X(图3/STEP22)。之后，图像处理单元1推测对象物相对于车辆10的相对移动矢量(图3/STEP23)。然后，根据相对移动矢量判断对象物与车辆10的接触可能性的高低，当判断结果为接触可能性高时执行报知判断处理以发出报知信息(图3/STEP24)。并且，在判断为对象物满足报知判断条件时(图3/STEP24-YES)，进行报知输出判断处理，从而判断是否就满足报知判断条件的对象物进行实际的报知(图3/STEP25)。之后，若判断结果为应该进行报知(图3/STEP25-YES)，则将对象物与本车10的接触可能性较高这一事态报知给驾驶员(图3/STEP26)。具体而言是通过扬声器6发出声音从而将该事态报知给驾驶员。此外，也可通过在HUD7a中突出显示对象物以进行该事态的报知。上面就是本实施方式的车辆周围监视装置的全部动作。此外，由图像处理单元1实施STEP11-STEP18的处理的构成相当于本发明的第1对象物区域提取机构。

接下来，参照图4对图3所示的流程图中的STEP24的报知判定处理进行说明。图4所示流程图的基本处理内容与例如本申请人提出的日本发明专利公开公报特开2001-6096的图4以及特开2007-310705的图4中所记载的处理内容相同。

具体而言，首先，图像处理单元1进行接触判断处理(图4/STEP41)。在接触判断处理中，若本车10与对象物的距离在相对速度Vs与余量时间T的乘积值以下时，则判断为有接触的可能性。之后，在判断为在余量时间T之内本车与对象物有接触的可能性(图4/STEP41-YES)时，则图像处理单元1判断对象物是否存在于接近判断区域内(图4/STEP42)。并且，若判断为对象物不在接近判断区域内(图4/STEP42-NO)，则图像处理单元1判断对象物是否有进入接近判断区域内从而接触本车10的可能性(图4/STEP43)。具体而言，在对象物存在于进入判断区域中并且在STEP中所求得的对象物的移动矢量朝向接近判断区域时，则判断为接触的可能性较高。

另一方面，若判断为对象物存在于接近判断区域内(图4/STEP42-YES)，则图像处理单元1进行人造物判断处理，以判断对象物是否为人造物(图4/STEP44)。在人造物判断处理中，若检测出对象物具有行人不应有的特征，则判断为该对象物是人造物，将其排除在报知对象之外。接下来，若判断为对象物不是人造物(图4/STEP44-NO)，则判断对象物是不是行人(图4/STEP45)。具体而言，根据灰度图像上的对象物的图像区域的形状、大小、灰度分散等特征来判断该对象物是否为行人。并且，在判断为对象物有可能进入接近判断区域从而接触到本车10时(图4/STEP43-YES)，并且判断为对象物为行人时(图4/STEP45-YES)，则将检测出的对象物确定为报知或者唤起驾驶员注意的对象(图4/STEP46)。另外，若判断为对象物不是行人时(图4/STEP45-NO)，则图像处理单元1将检测出的对象物排除在报知对象以外(图4/STEP48)。

此外，若判断为对象物不是行人时(图4/STEP45-NO)，则判断该对象物是否为具有四只脚的大型动物(指定四脚动物)(图4/STEP47)。若判断为对象物是指定四脚动物(图4/STEP47-YES)，则图像处理单元1将检测出的对象物确定为报知对象(图4/STEP46)。此外，若判断为对象物不是指定四脚动物(图4/STEP47-NO)，则图像处理单元1将检测出的对象物排除在报知对象以外(图4/STEP48)。

接下来，参照图5对本发明的车辆周边监视装置的主要功能即对象物种类判断处理进行说明。

首先判断由第1对象物提取机构提取出的第1对象物区域的横纵比是否在1以上(图5/STEP100)。具体而言，从由红外线照相机2R、2L拍摄出的且经过A/D变换后的红外线图像中取得灰度图像(参照图3/STEP13)，对该灰度图像进行二值化处理从而得到二值化图像(参照图3/STEP14)，从该二值化图像中如图7中(a)所示地用第1对象物区域的宽度W除以高度H而得到横纵比，判断该横纵比是否在1以上。此外，第1对象物区域有可能相当于指定四脚动物的躯干部。

若该判断结果为肯定性的(图5/STEP100-YES)，则在第1对象物区域的下方提取出第2对象物区域(图5/STEP102)。具体而言就是进行图6的流程图所示的第2对象物区域提取处理。另外，第2对象物区域有可能相当于指定四脚动物的腿部。

首先在第1对象物区域的下方设定假想设定区域(图6/STEP200)。具体而言，如图7中(b)所示，假想设定区域的高度为第1对象物区域的3倍，宽度为第1对象物区域的宽度的左右两端分别至少加上规定的额外值MARGIN_W(余量)所得到的宽度，关于假想设定区域的上下方向上的位置，其上端位置与第1对象物区域的上端位置一致。此外，假想设定区域的上端位置位于第1对象物区域的上端位置的下方也可以。关于假想设定区域的左右方向上的位置，其右端位置为在第1对象物区域的宽度W的右端至少加上额外值MARGIN_W所得到的位置，其左端位置为在第1对象物区域的宽度W的左端至少加上额外值MARGIN_W所得到的位置。此外，假想设定区域为四脚动物的腿部有可能存在的区域。

之后，在该假想设定区域中提取出图像辉度特征量(图6/STEP202)。具体而言，如图7中(c)所示，在假想设定区域中(虚线的范围)按照横向上或纵向上的每一像素提取出垂直边缘。

之后，在上述假想设定区域中提取出腿部下端位置(图6/STEP204)。具体而言，如图7中(c)所示，按照横向上的垂直边缘的像素数提取出腿部下端位置。此外，也可以根据垂直边缘的像素数的变化提取出腿部下端位置。

之后，在上述假想设定区域中提取出腿部左右端位置(图6/STEP206)。具体而言，如图7中(c)所示，按照纵向上的垂直边缘的像素数提取出腿部左右端位置。此外，也可以根据垂直边缘的像素数的连续性提取出腿部左右端位置。

之后，在上述假想设定区域中提取出腿部上端位置(图6/STEP208)。具体而言，如图7中(c)所示，按照纵向上的垂直边缘的像素数提取出腿部上端位置。此外，也可以根据垂直边缘的像素数的变化提取出腿部上端位置。

之后，返回图5中的流程，判断在STEO102中提取出的第2对象物区域的高度LEG_H是否满足H≤LEG_H≤2×H这样的关系式(图5/STEP104)。具体而言，如图8中(a)所示，在第1对象物区域与第2对象物区域处于使躯干部下端区域与腿部上端区域一致(重合)的位置关系的条件下，将第2对象物区域的高度LEG_H与第1对象物区域的高度H相对比。

若该判断结果为肯定性的(图5/STEP104-YES)，则利用图像辉度特征量从根据图6的流程图所示的第2对象物区域提取处理所提取出的设定区域中提取出第2对象物区域的个数(图5/STEP106)。具体而言，根据上述设定区域内的垂直边缘在横向上的变化量来提取出第2对象物的存在个数。例如，如图8中(b)所示，提取出了两个第2对象物区域即LEG_F(LEG_W_F(前第2对象物区域宽度))以及LEG_B(LEG_W_B(后第2对象物区域宽度))。

之后，判断在上述设定区域中提取出的第2对象物区域的个数是否在两个以上四个以下(图5/STEP108)。做这样的判断是由于，虽然指定四脚动物的腿的数量为四只，然而也有可能其前后的腿部分别重合从而只能看到两只腿。

之后，将从上述设定区域提取出的前第2对象物区域宽度(LEG_W_F)与后第2对象物区域宽度(LEG_W_B)相对比(图5/STEP110)。

在判断为LEG_W_F≤LEG_W_B时(图5/STEP110-YES)，则判断是否满足LEG_W_F≤LEG_W_B≤2×LEG_W_F(图5/STEP112)。

当此判断结果为肯定性的时(图5/STEP112-YES)，则判断为第1对象物区域与第2对象物区域为指定四脚动物(图5/STEP116)。此外，当此判断结果为否定性的时(图5/STEP112-NO)，则判断为该对象物区域不是指定四脚动物(图5/STEP118)。

另一方面，当判断为不满足LEG_W_F≤LEG_W_B时(图5/STEP110-NO)，则判断是否满足LEG_W_F≤LEG_W_B≤2×LEG_W_F(图5/STEP114)。

当此判断结果为肯定性的时(图5/STEP114-YES)，则判断为该对象物区域是指定四脚动物(图5/STEP116)。

当此判断结果为否定性的时(图5/STEP114-NO)，则判断为该对象物区域不是指定四脚动物(图5/STEP118)。

另外，在上述STEP110～114中进行处理的条件是第2对象物区域的个数为2个，然而，不仅限于此，例如，在第2对象物区域的个数为4个时，将其中的任一个与其他3个进行对比。或者，也可以将在图像横向上相近的合并在一起与其他的进行对比。同样地，在个数为3个的时候也可以将在图像横向上相近的合并在一起与其他的进行对比。

由图像处理单元1执行STEP100中的处理的构成、执行STEP102中的处理的构成、执行对象物判断处理(STEP100～118、STEP200～208)的构成分别相当于本发明中的对象物横纵比测定机构、第2对象物提取机构、动物判断机构。

采用具有如上功能的车辆周边监视装置，根据第1对象物区域的横纵比是否在1以上、提取出的第2对象物区域是否为多个、并且第2对象物区域相对于第1对象物区域的高度之比是否在通常的指定四脚动物所具有的腿部相对于躯干部的高度之比的范围内，来判断第1对象物区域与第2对象物区域是否与指定四脚动物相当(参照STEP100～118、图8中(a))。在从侧面看四脚动物时，其躯干部的横纵比在1以上、且其躯干部与腿部的高度之比在特定的范围内、而且其腿部在前后或左右方向上存在多个，考虑到这样的情况按照上述的判断方法来判断对象物是否为指定四脚动物，从而能够较精确地识别出对象物是否为指定四脚动物。

在本实施方式中，作为图像辉度特征量而言，采用垂直边缘来比较高辉度区域的宽度及高度，然而也可以提取出辉度图像曲线轮廓等从而根据辉度变化量提取出高辉度区域。此外，也可以采用由对象物在真实空间上的位置(参照图3/STEP21)计算出的长度来进行提取。

另外，在本实施方式中，根据图像处理单元1的处理结果来进行规定的报知，然而，也可以根据该处理结果来进行对车辆的动作的控制。在上述实施方式中，设置有两个红外线照相机2R、2L，然而仅在本车10上配备一个红外线照相机也可以。此时，可以由雷达系统检测出本车与对象物的距离。

Claims (5)

1.一种车辆周边监视装置，其利用由配备在车辆上的摄像装置获得的拍摄图像来对车辆的周边进行监视，其特征在于，

包括：

第1对象物区域提取机构，其从所述拍摄图像中提取出第1对象物区域；

第2对象物区域提取机构，其在由所述第1对象物区域提取机构提取出的所述第1对象物区域的下方提取出第2对象物区域；

对象物横纵比测定机构，其测定由所述第1对象物区域提取出的所述第1对象物区域的横向宽度相对于纵向宽度的横纵比；

动物判断机构，其根据所述对象物横纵比测定机构的测定结果是否在1以上、由所述第2对象物区域提取机构提取出的所述第2对象物区域是否为多个、由所述第2对象物区域提取机构提取出的所述第2对象物区域的纵向宽度相对于由所述第1对象物区域提取机构提取出的所述第1对象物区域的纵向宽度的纵向宽度之比是否在通常的四脚动物所具有的躯干部相对于腿部的高度之比的范围内，来判断所述第1对象物区域与所述第2对象物区域是否与指定四脚动物相当。

2.根据权利要求1所述的车辆周边监视装置，其特征在于，

所述第2对象物区域提取机构将包含第1对象物区域的下方区域设定为假想设定区域，并从该假想设定区域中提取出所述第2对象物区域。

3.根据权利要求2所述的车辆周边监视装置，其特征在于，

所述第2对象物区域提取机构从横向宽度在所述第1对象物区域以上的假想设定区域中提取出所述第2对象物区域。

4.根据权利要求1所述的车辆周边监视装置，其特征在于，

所述动物判断机构根据所述多个第2对象物区域中的一个所述第2对象物区域相对于其他的所述第2对象物区域的横向宽度之比是否在规定范围内，来判断所述第1对象物区域与所述第2对象物区域是否与指定四脚动物相当。

5.根据权利要求1所述的车辆周边监视装置，其特征在于，

所述动物判断机构根据所述第2对象物区域的个数是否在2个以上4个以下来判断所述第1对象物区域与所述第2对象物区域是否与指定四脚动物相当。

Images