CN102985958A - 车辆周围监测装置 - Google Patents

Abstract

本发明提供一种车辆周围监测装置，由物体种类判定部（12）将对应于从拍摄图像抽取的图像部分的实际空间中的物体的种类判定为横穿行人时，由距离求出部（13）进行第1距离求出处理，此时，根据对行人的高度推定而设定的、实际空间中的车辆（1）到该行人的距离和拍摄图像中的图像部分的高度的相关关系，以及从拍摄图像中抽取的图像部分的高度，求出对应于该图像部分的实际空间中的物体到车辆（1）的距离；判定为不是横穿行人时，由距离求出部（13）进行第2距离求出处理，此时，根据从由红外线摄像头（2）拍到的时序拍摄图像中抽取的该物体的图像部分的大小变化，求出该物体到上述车辆的距离。

Description

车辆周围监测装置

技术领域

本发明涉及一种车辆周围监测装置，其利用由安装在车辆上的摄像头拍到的拍摄图像来监测该车辆周围情况。

背景技术

在现有技术中，人们提出了如下一种车辆周围监测装置：其利用由安装在车辆上的1个摄像头来监测该车辆周围情况，其中，从1个摄像头所拍到的时序图像中抽取推定为同一物体的图像部分，再根据其大小变化率来求出从物体到车辆的距离（例如专利文献1）。

专利文献1：日本发明专利公报特许第4267657号

采用上述专利文献1所述的车辆周围监测装置时，能从时序图像中抽取同一物体的图像部分，并能精准地求出从物体到车辆的距离。

但是，若作为距离求出对象的物体是横穿道路的行人或野生动物等，其姿势随着从车辆看到的移动而产生较大的变化时，在时序拍摄图像中的物体的图像部分的形状会产生较大的变化，因此有可能出现以下问题：难以从时序图像中抽取同一物体的图像部分，从物体到车辆的距离求出精度下降。

发明内容

鉴于上述情况，本发明的目的是提供一种能防止出现以下问题的车辆周围监测装置：该问题为利用由单个摄像头拍到的拍摄图像求出的从物体到车辆的距离求出精度的下降。

为了实现上述目的，本发明所述的车辆周围监测装置具有：距离求出部，其利用由搭载在车辆上的单个摄像头拍到的拍摄图像，求出从实际空间中的物体到车辆的距离，所述实际空间中的物体对应于从上述拍摄图像中抽取的图像部分；物体种类判定部，由其判定对应于上述图像部分的实际空间中的物体的种类。

另外，由上述距离求出部来判定规定期间内的上述图像部分或对应于上述图像部分的实际空间中的物体的形状变化，之后再进行以下处理：第1距离求出处理，当上述形状变化超过规定基准时，根据由推定的上述物体的种类而设定的、实际空间中的从车辆到物体的距离和上述拍摄图像中的图像部分的大小之间的相关关系，以及从上述拍摄图像中抽取的上述物体的图像部分的大小来求出从上述物体到上述车辆的距离；第2距离求出处理，当上述形状变化低于上述规定基准时，根据从由上述摄像头拍到的时序拍摄图像中抽取的上述物体的图像部分的大小变化，来求出从上述物体到所述车辆的距离（第1技术方案）。

采用第1技术方案时，由上述距离求出部来判定规定期间内的上述图像部分或对应于上述图像部分的实际空间中的物体的形状变化，当该形状变化超过上述规定基准时，进行上述第1距离求出处理，以求出从上述车辆到物体的距离。像这样，对于形状变化较大的物体，通过应用上述第2距离求出处理，能防止出现从该物体到上述车辆的距离求出精度的下降。

另外，上述物体为横穿道路的行人，在上述第1距离求出处理中，由上述距离求出部根据行人高度为规定数值而设定的、实际空间中的从上述车辆到行人的距离和上述拍摄图像中的图像部分的高度之间的相关关系，以及从上述拍摄图像中抽取的图像部分的高度来求出对应于该图像部分的实际空间中的物体到上述车辆的距离（第2技术方案）

采用第2技术方案时，由上述物体种类判定部将对应于图像部分的实际空间中的物体的种类判定为行人时，能由上述距离求出部根据行人高度为规定数值而设定的实际空间中的从上述车辆到行人的距离和上述拍摄图像中的图像部分的高度之间的相关关系，来求出由上述摄像头拍到的正在横穿道路的行人到上述车辆的距离。其中，上述图像部分从上述拍摄图像中抽取。

附图说明

图1是说明将车辆周围监测装置安装到车辆上的状态的图。

图2是车辆周围监测装置的构成图。

图3是车辆周围监测装置的工作流程图。

图4是说明判定行人的图。

图5是说明横穿道路的行人动作的图。

图6是说明行人的图像部分的高度和距离的相关关系的图。

图7是说明时序图像中被监测对象的图像部分的大小变化的图。

图8是实际空间中被监测对象的移动矢量的推定处理的图。

图9是说明采用图案匹配法求出物体的图像部分的变化率的求出处理的图。

具体实施方式

下面，参照图1～图9说明本发明的实施方式。参照图1可知，本实施方式的车辆周围监测装置10搭载在车辆1上来使用，车辆1上安装有能检测出远红外线的红外线摄像头2（相当于本发明的摄像头）。

为拍摄车辆1的前方情况，红外线摄像头2安装在车辆1的前部，实际空间坐标系是这样确定的一种坐标系，即，其以车辆1的前部为原点O，以车辆1的左右方向为X轴，上下方向为Y轴，前后方向为Z轴。还有，也可以用能接收可见光等其他波长区域的摄像头来代替红外线摄像头2。

接着，参照图2可知，在车辆1上连接有以下部件：横向角速度传感器3，由其检测出车辆1的横向角速度；车速传感器4，由其检测出车辆1的行驶速度；制动传感器5，由其检测出驾驶员操作制动器的操作量；扬声器6，由其发出声音进行提示；平视显示器（Head UpDisplay）7（以下称为HUD7），其既能显示由红外线摄像头2拍到的图像，还能显示可以使驾驶员察觉到具有与车辆1触碰可能性较高的物体的画面。如图1所示，HUD7用于在驾驶员前方的车辆1前窗位置上显示出画面7a，从而使驾驶员能看到由HUD7显示的画面。

车辆周围监测装置10是由CPU、存储器（未图示）等构成的电子单元，具有以下功能：将由红外线摄像头2输出的影像信号被变换为数字信号后存储到图像存储器（未图示）中，由CPU对存储到图像存储器中的表示车辆1的前方情况的拍摄图像进行各种运算处理。

另外，由CPU运行车辆周围监测装置10的控制用程序而使得该CPU具有以下功能：被监测对象抽取部11，由其从通过红外线摄像头2拍到的图像中抽取具有规定条件的图像部分；物体种类判定部12，由其判定对应于所抽取的图像部分的实际空间中的物体的种类；距离求出部13，由其求出物体到车辆1的距离；实际空间位置求出部14，由其求出物体的实际空间位置；移动矢量求出部15，由其求出实际空间中的物体的移动矢量；警报判断部16，由其根据移动矢量来判断是否将物体作为发出警报的对象。

接着，根据图3所示的流程来说明由车辆周围监测装置10进行的一系列车辆周围监测处理。车辆周围监测装置10每隔规定的控制周期运行图3所示的流程所完成的处理，以监测车辆1的周围情况。

首先在STEP（步骤，下同）1中，由红外线摄像头2输出的影像信号输入车辆周围监测装置10中，该影像信号经变换处理而成为被数字化的灰度图像并存储在图像存储器中，所述灰度图像具有调谐（灰度）数据。

接着在STEP2中由被监测对象抽取部11进行如下处理：被监测对象抽取部11对灰度图像中的各像素进行二值图像处理而获得二值图像，所谓“二值图像处理”，是指将构成灰度图像的各像素根据其灰度是否在阈值以上而分为“1”（白）（阈值以上）和“0”（黑）（阈值以下）的处理。接着，由被监测对象抽取部11求出二值图像中各白色区域的游程编码数据，再进行标注处理等而抽取物体的图像部分。

接着在STEP3中由物体种类判定部12进行如下处理：物体种类判定部12根据在STEP2抽取的物体（以下称为被监测对象）的图像部分的特征量，判断被监测对象是否是横穿道路的行人（以下称为横穿行人）。

此时，在图4中例示了横穿行人的图像。由物体种类判定部12搜索推定为横穿行人的头部的图像部分Tk的上方区域M（1）、M（2）和下方区域M（3）～M（8），以识别各区域的特征。物体种类判定部12在下列情况下将被监测对象的种类判定为横穿行人：在图像部分Tk的上方区域M（1）、M（2）内不存在具有特征的部分，而在下方区域M（3）～M（8）内识别出下端部的八字形形状（在上方交叉的2根斜向边缘），而这是横穿行人所特有的特征。另外，还由物体种类判定部12设定被监测对象区域Rk，该被监测对象区域Rk包含从推定为头部的图像部分Tk到下端部M（7）的范围。

还有，也可根据图像的复杂程度或灰度分散变化、周期性等判定横穿行人。

接着在STEP4～STEP5以及STEP20中由距离求出部13进行如下处理：由距离求出部13判断在STEP4被监测对象的种类是否被判定为横穿行人，当被判定为横穿行人时（此时推定为被监测对象和它的图像部分的形状变化较大而超过规定基准）进入到STEP20中而进行第1距离求出处理。相反，被监测对象的种类被判定为不是横穿行人时（此时推定为被监测对象和它的图像部分的形状变化较小而低于上述规定基准）进入STEP5，由距离求出部13进行第2距离求出处理。

此时，如后所述，在第2距离求出处理中，根据从由红外线摄像头2拍到的时序拍摄图像中抽取的同一被监测对象的图像部分的大小变化，来求出从被监测对象到车辆1的距离。

接着，如图5所示，由于横穿行人如图5中Ik1～Ik4般大范围地摆动双手和双脚而从车辆1的前方横穿，所以在由红外线摄像头2拍到的拍摄图像中，横穿行人的图像部分的形状（宽度W等）变化较大。因此，有时在由红外线摄像头2拍到的时序图像中无法抽取同一物体的图像部分，该同一物体的图像部分即为横穿行人的图像部分，另外，即使能够抽取也难以精准地求出大小变化率。

对此，被监测对象的种类被判定为横穿行人时，在STEP20中，由距离求出部13根据单个拍摄图像中被监测对象的图像部分的高度，求出从被监测对象到车辆1的距离。

如图6所示，如果行人的高度一定（例如为170cm），从行人到车辆1的距离越长，在由红外线摄像头2拍到的拍摄图像Im1中行人的图像部分的高度H越低。因此，由距离求出部13这样来求出从被监测对象到车辆1的距离：实际空间中的行人的高度一定，根据行人到车辆1的实际空间中的距离L，以及拍摄图像中行人的图像部分的高度H之间的由图表或相关式来设定的相关关系，将拍摄图像中被监测对象的图像部分的高度代入上述图表或相关式而求出被监测对象到车辆1的在实际空间中的距离。

另外，被监测对象的种类被判定为不是横穿行人时，在STEP5中，由距离求出部13进行第2距离求出处理而求出从被监测对象到车辆1的距离。如图7所示，在第2距离求出处理中，在上次控制周期（拍摄时刻t₁₁）拍到的图像Im2和此次控制周期（拍摄时刻t₁₂）拍到的图像Im3之间，对同一被监测对象的图像部分进行跟踪处理。还有，关于跟踪处理，由于在日本发明专利公开公报特开2007-213561号中有详细记载，所以在此省略其说明。

接着，按照下式（1），由距离求出部21用图像Im2的图像部分31的宽度w₁₁除以图像Im3的图像部分32的宽度w₁₂而求出变化率Rate。还有，车辆1和被监测对象之间的相对速度Vs与由车速传感器4检测出的车辆1的行驶速度近似相等。

[式1]

$=\frac{Z_2}{Z_1}=\frac{Z_2}{Z_2+\mathrm{Vs}\·\mathrm{dT}}$

$=\frac{\mathrm{Vs}\·T}{\mathrm{Vs}\·T+\mathrm{Vs}\·\mathrm{dT}}$

$=\frac{1}{1+\mathrm{dT}/T}.....\left(1\right)$

其中，w₁₁：上次拍摄时（拍摄时刻t₁₁）被监测对象的图像部分的宽度、w₁₁：此次拍摄时（拍摄时刻t₁₂）被监测对象的图像部分的宽度、f：f=F（红外线摄像头2的焦距）/p（拍摄图像的像素间隔）、W：实际空间中的被监测对象的宽度、Z₁：上次拍摄时（拍摄时刻t₁₁）从车辆1到被监测对象的距离、Z₂：此次拍摄时（拍摄时刻t₁₂）从车辆1到被监测对象的距离、Vs：车辆和被监测对象之间的相对速度、dT：拍摄间隔、T：自己车辆到达时间（被监测对象到达车辆1的推定时间）。

接着，按照下式（2），由距离求出部13求出此次拍摄时从车辆1到被监测对象的距离Z₂，其中，式（2）是经下述变形而得的，即：在上式（1）中，将车辆1的行驶速度Vj视作远比被监测对象的移动速度Vd快，因此用车辆1的行驶速度Vj来替换车辆1和被监测对象之间的相对速度Vs（=车辆1的行驶速度Vj+被监测对象的移动速度Vd）。

[式2]

$Z_2=\frac{\mathrm{Rate}\·\mathrm{Vj}\·\mathrm{dT}}{1-\mathrm{Rate}}.....\left(2\right)$

其中，Z₂：此次拍摄时从车辆1到被监测对象的距离、Rate：变化率、Vj：车辆1的行驶速度、dT：拍摄间隔。

接着在STEP6中由实际空间位置求出部14进行如下处理：按照下式（3），由实际空间位置求出部14来求出上次拍摄时从车辆1到被监测对象的距离Z₁。

[式3]

Z₁＝Z₂+Vj·dT......(3)

其中，Z₁：上次拍摄时从车辆1到被监测对象的距离、Z₁：此次拍摄时从车辆1到被监测对象的距离、Vj：车辆1的行驶速度、dT：拍摄间隔。

这样，由实际空间位置求出部14根据此次和上次的二值图像中被监测对象的图像部分的位置，求出此次和上次拍摄时的被监测对象的实际空间位置。

此时，图8中（a）表示二值图像Im4中此次的被监测对象的图像部分的位置Pi_2（x₁₂，y₁₂）和上次的被监测对象的图像部分的位置Pi_1（x₁₁，y₁₁），纵轴y沿图像的垂直方向设定，横轴x沿图像的水平方向设定。

另外，图8中（b）表示被监测对象在实际空间中的移动状况，Z轴沿车辆1的行进方向设定，X轴沿与Z轴垂直相交的方向设定。另外，图中的Pr_2（X₁₂，Y₁₂，Z₁₂）表示此次拍摄时的被监测对象的位置，Pr_1（X₁₁，Y₁₁，Z₁₁）表示上次拍摄时的被监测对象的位置。另外，Vm是由Pr_2和Pr_1推定的被监测对象在实际空间中的移动矢量。

按照下式（4），由实际空间位置求出部14来求出此次拍摄时的被监测对象在实际空间中的坐标Pr_2（X₁₂，Y₁₂，Z₁₂），按照下式（5），由实际空间位置求出部14来求出上次拍摄时的被监测对象在实际空间中的坐标Pr_1（X₁₁，Y₁₁，Z₁₁）。还有，Z₁₁=Z₁，Z₁₂=Z₂。

[式4]

$\left\{\begin{array}{c}{X}_{12}=\frac{x_{12}\·Z_2}{f}\\ Y_{12}=\frac{x_{12}\·Z_2}{f}\end{array}\right......\left(4\right)$

其中，X₁₂、Y₁₂：此次拍摄时的被监测对象在实际空间中的坐标值、x₁₂、y₁₂：此次的二值图像中的被监测对象的图像部分的坐标值、Z₂：此次拍摄时从车辆到被监测对象的距离、f：f=F（红外线摄像头的焦距）/p（拍摄图像的像素间隔）。

[式5]

$\left\{\begin{array}{c}{X}_{11}=\frac{x_{11}\·Z_1}{f}\\ Y_{11}=\frac{x_{11}\·Z_1}{f}\end{array}\right......\left(5\right)$

其中，X₁₁、Y₁₁：上次拍摄时的被监测对象在实际空间中的坐标值、x₁₁、y₁₁：上次的二值图像中的被监测对象的图像部分的坐标值、Z₁：上次拍摄时从车辆到被监测对象的距离、f：f=F（红外线摄像头的焦距）/p（拍摄图像的像素间隔）。

另外，由实际空间位置求出部14进行以下方位角修正处理：其根据横向角速度传感器3的检测信号YR得出的方位角，对因车辆1方位变动所产生的图像上的位置变动进行修正。具体地讲，从上次拍摄时到此次拍摄时之间车辆1的方位角为θr时，按照下式（6）修正实际空间中的坐标值。

[式6]

$\left[\begin{array}{c}\mathrm{Xr}\\ \mathrm{Yr}\\ \mathrm{Zr}\end{array}\right]=\left[\begin{array}{ccc}\cos \mathrm{\θr}& 0& -\sin \mathrm{\θr}\\ 0& 1& 0\\ \sin \mathrm{\θr}& 0& \cos \mathrm{\θr}\end{array}\right]\left[\begin{array}{c}\mathrm{Xo}\\ \mathrm{Yo}\\ \mathrm{Zo}\end{array}\right].....\left(6\right)$

其中，Xr、Yr、Zr：方位角修正后的实际空间中的坐标值、θr：方位角、Xo、Yo、Zo：方位角修正前的实际空间中的坐标值。

接着在STEP7中由移动矢量求出部15进行如下处理：如图8中（b）所示，对于同一被监测对象，由移动矢量求出部15根据上次拍摄时的实际空间中位置Pr_1和此次拍摄时的实际空间中位置Pr_2，求出对应于从被监测对象到自己车辆1的相对移动矢量的近似直线Vm。

还有，也可利用过去的多个时刻时的被监测对象的实际空间位置来求出相对移动矢量。另外，求出近时直线的具体处理方法，可利用日本发明专利公开公报特开2001-6096所记载的方法。

接着在STEP9以及STEP30～STEP31中由警报判断部16进行如下处理：在STEP9中，由警报判断部16判断被监测对象是否在车辆1的前方的接近判定区域内，当被监测对象的移动矢量正朝向接近判定区域内时，将该被监测对象作为发出警报的对象。

这样，当被监测对象成为警报对象时，由警报判断部16进一步根据制动传感器5的输出信号来判断驾驶员是否在对制动器进行操作。制动操作在进行且车辆1的加速度（此处以减速方向为正）大于预先设定的加速度阈值时（推定为驾驶员正在进行适当的制动操作），由于正在进行规避操作，所以判断为无需发出警报而进入STEP10。

相反，若没有进行制动操作，或车辆1的加速度小于加速度阈值时进入到STEP30。此时，由警报判断部16在STEP30中通过扬声器6发出警报声，并且在STEP31中在HUD7上显示被监测对象的突出图像，之后进入STEP10。

还有，在本实施方式的第2距离求出处理中，由距离求出部13对图7所示的二值图像间的同一被监测对象的图像部分进行实时跟踪处理而求出变化率Rate，但是也可以对图9所示的被监测对象的图像部分进行相间运算而求出变化率Rate。参照图9可知，符号Im5表示上次拍摄时的灰度图像，符号51表示被监测对象的图像部分。另外，符号Im6表示此次拍摄时的灰度图像，而符号52表示被监测对象的图像部分。

接着，由距离求出部13采用仿射变换法缩小（被监测对象正在接近自己车辆时）或扩大（被监测对象正在远离自己车辆时）此次的灰度图像Im6中被监测对象的图像部分52的大小，求出与上次拍摄时的被监测对象的图像部分51之间的相间度。具体地讲，如图所示，将图像部分50放大1.5倍而得图像60、放大1.25倍而得图像61、不改变大小而得图像62、缩小0.75倍而得图像63、缩小0.5倍而得图像64，分别求出与图像部分51之间的相间度。之后由变化率求出机构21将相间度最大时的图像部分52的倍率确定为变化率Rate。

另外，在本实施方式中例示了拍摄车辆前方的情况，但是也可以拍摄车辆的后方或者侧方等其他方向来判断有无与被监测对象产生触碰的可能性。

另外，在本实施方式中例示了本发明的特定种类为横穿行人的情况，但即使对于横穿道路的大型野生动物等其他种类的物体，也可以预先推定该种物体的大小（高度、宽度等），通过设定离开车辆1的距离，以及拍摄图像中该物体的图像部分的相关关系，这样能够适用本发明。其中，所述其他种类的物体在时序拍摄图像之间的图像部分的形状被推定为，其形状变化程度为难以作为同一物体的图像部分而抽取。

另外，在本实施方式中，判定横穿行人后分为第1距离求出处理和第2距离求出处理，但是也可以这样做：判定是否是时序图像间的图像的形状变化较小的物体（车辆或者规定的静止物体），当判定为形状变化较小的物体时应用第2距离求出处理，判定为不是形状变化较小的物体时应用第1距离求出处理，以求出从车辆1到物体的距离。

此时，本发明变为以下结构：在图3的STEP4中判定是否是形状变化较小的物体以代替横穿行人的判定，若是形状变化较小的物体，进入STEP5，进行第2距离求出处理而求出从车辆1到物体的距离，若不是形状变化较小的物体，进入到STEP20，进行第1距离求出处理而求出从车辆1到物体的距离。

【工业实用性】

如上所述，采用本发明的车辆周围监测装置时，能防止出现以下问题：该问题为利用由单个摄像头拍到的拍摄图像而求出的从物体到车辆的距离求出精度的下降，所以本发明可用来求出车辆周围的物体到车辆的距离以监测车辆周围的情况。

【附图标记说明】

1车辆；2红外线摄像头（拍摄机构）；3横向角速度传感器；4车速传感器；5制动传感器；6扬声器；7HUD；10车辆周围监测装置；11被监测对象抽取部；12物体种类判定部；13距离求出部；14实际空间位置求出部；15移动矢量求出部；16警报判断部。

Claims (2)

1.一种车辆周围监测装置，具有：距离求出部，其利用由搭载在车辆上的单个摄像头拍到的拍摄图像，求出从实际空间中的物体到车辆的距离，所述实际空间中的物体对应于从上述拍摄图像中抽取的图像部分；物体种类判定部，由其判定对应于上述图像部分的实际空间中的物体的种类，其特征在于，

由上述距离求出部来判定规定期间内的上述图像部分或对应于上述图像部分的实际空间中的物体的形状变化，再进行以下处理：

第1距离求出处理，上述形状变化超过规定基准时，根据由推定的上述物体的种类而设定的、实际空间中的从车辆到物体的距离和上述拍摄图像中的图像部分的大小之间的相关关系，以及从上述拍摄图像中抽取的上述物体的图像部分的大小来求出从上述物体到上述车辆的距离；

第2距离求出处理，上述形状变化低于上述规定基准时，根据从由上述摄像头拍到的时序拍摄图像中抽取的上述物体的图像部分的大小变化，求出从上述物体到所述车辆的距离。

2.根据权利要求1所述的车辆周围监测装置，其特征在于，

上述物体为横穿道路的行人，

在上述第1距离求出处理中，由上述距离求出部根据行人高度为规定数值而设定的、实际空间中的从上述车辆到行人的距离和上述拍摄图像中的图像部分的高度之间的相关关系，以及从上述拍摄图像中抽取的图像部分的高度来求出对应于该图像部分的实际空间中的物体到上述车辆的距离。

Images