CN102783144A - 车辆的周围监测装置 - Google Patents

Abstract

通过配备在车辆上的拍摄机构获得拍摄图像，通过该拍摄图像获得具有对应于对象物的温度的辉度值的灰度图像，从该图像中检测出位于车辆周围的对象物。根据该灰度图像生成供配备在车辆上的显示装置显示的显示图像，将该显示图像显示在显示装置上。生成的显示图像中，灰度图像中的所检测到的对象物之外的区域的灰度值较低。其中，显示装置配置在于车宽方向上离开下述直线规定距离的位置上。该直线为：通过车辆的操作手柄的中心且沿车辆的前后方向延伸的直线。如此，由于对象物在显示图像中被突出显示，因而即使使用上述的显示装置进行显示，也能够在较短的时间内使驾驶员识别出对象物。

Description

车辆的周围监测装置

技术领域

本发明涉及一种对车辆的周围进行监测的装置，具体点说是指一种检测出车辆周围的对象物并进行显示的装置。

背景技术

在下述的专利文献1中公开有这样一种系统：在车辆上设有平视显示器（HUD），利用红外线照相机检测出车辆周围的对象物，在车辆的行驶方向上设定接近判断区域，在接近判断区域之外设定进入判断区域，如果检测到对象物位于接近判断区域内，则在上述平视显示器的显示画面的中央区域突出显示该对象物，如果检测到对象物位于上述进入判断区域内，则在平视显示器的显示画面的左侧区域或右侧区域中通过普通图像显示来显示该对象物。

如上述专利文献中所记载的，使用平视显示器的优点在于，平视显示器设置在驾驶员的前方，驾驶员为了确认显示画面仅需使目光（视线）移动较小的距离即可。但是，目前，有很多车辆上没有配备这样的平视显示器。另一方面，安装在仪表板上的显示装置是比较常见的。特别是，随着导航装置的普及，对导航装置所提供的地图信息等各种信息进行显示的显示装置也被广泛应用。

这样的普通显示装置一般不是位于驾驶员的前方，而是位于左侧或右侧，与平视显示器相比，驾驶员为了确认显示画面需要使视线移到较多的距离。因而，需要使显示装置上显示的图像能够被驾驶员在尽量短的时间内理解。

现有技术文献

专利文献

专利文献1：日本发明专利授权公报第4334686号

发明内容

因而，需要提供一种技术方案，在使用上述普通的显示装置时，能够使驾驶员在尽量短的时间内意识到（识别出）对象物的存在。

解决技术问题的技术方案

本发明的一个方面涉及车辆的周围监测装置，包括：摄像机构，其使用配备在车辆上的照相机对车辆的周围进行摄像；灰度图像获取机构，其通过由上述摄像机构拍摄到的拍摄图像来得到具有对应于上述对象物的温度的辉度值的灰度图像；对象物检测机构，其从上述灰度图像中检测出存在于上述车辆的周围的规定的对象物；显示图像生成机构，其基于上述灰度图像生成，供在上述车辆上配备的显示装置显示的显示图像；显示机构，其使所生成的上述显示图像显示在上述显示器上。上述显示图像生成机构，使上述灰度图像中的所检测出的上述对象物之外的区域的辉度值降低，由此生成上述显示图像。

采用本发明，通过使灰度图像中的对象物之外的区域的辉度值降低而生成显示图像并使其显示在显示装置上。因而，在显示装置上显示着对比度较高的图像，仅对对象物进行突出显示。所以，能够使观察该显示图像的驾驶员能够迅速地意识到该对象物的存在。

在本发明的一个实施方式中，上述显示装置配置在能够被上述车辆的驾驶员看到的位置，并且在车宽方向上距离下述直线规定距离，该直线是指，通过上述车辆的操作柄的转动中心且沿着该车辆的前后方向延伸的直线。

这样的显示装置并不是上述的视线移动量较少的HUD，是配置在操作柄左侧或右侧的普通的显示装置，为了观看其上的画面需要使视线移动较大的距离（视线移动量较大）。采用本发明，由于能够通过上述的对比度较高的显示图像缩短驾驶员识别对象物所需的时间，因而，即使采用普通的显示装置，也能够使驾驶员迅速地识别出对象物。

在本发明的一个实施方式中，上述对象物检测机构判断上述车辆与上述对象物发生碰撞的可能性是否较高，在判断为上述车辆与上述对象物发生碰撞的可能性较高时，上述显示图像生成机构使上述所检测出的对象物之外的区域的辉度值降低。

采用本发明，在判断为对象物与车辆发生碰撞的可能性较高时，生成对象物被突出显示的对比度较高的显示图像，因而，能够使驾驶员迅速地识别出该与车辆发生碰撞的可能性较高的对象物的存在。

在本发明的一个实施方式中，上述显示图像生成机构使模拟上述对象物的图像重叠在上述灰度图像中的上述对象物所存在的位置上，上述显示机构使该重叠的显示图像显示在上述显示装置上。

采用本发明，由于将模拟图像重叠在对车辆周围进行拍摄所得到的灰度图像中的对象物的位置上，因而能够使驾驶员的注意力转移到模拟图像所重叠的位置上。另外，由于对象物的图像被模拟图像遮挡，因而能够促使驾驶员观看前方。

在本发明的一个实施方式中，上述显示装置为导航装置的显示装置。采用本发明，能够有效地使用导航装置的显示装置，以对驾驶员报知位于车辆周围的对象物的存在。

本发明还具有其他特征与优点，在下面将对其进行详细的说明。

附图说明

图1为本发明一个实施方式中，利用了导航装置的显示装置的车辆的周围监测装置的结构示意框图；

图2为表示本发明一个实施方式中显示装置与照相机安装在车辆上的状态的附图；

图3为本发明一个实施方式中的图像处理单元的程序的流程图；

图4为表示本发明一个实施方式中的真实空间坐标系以及图像的坐标系的附图；

图5为表示本发明一个实施方式中相对移动矢量的计算方法的附图；

图6为表示本发明一个实施方式中的警报判断程序的流程图；

图7为表示本发明一个实施方式中的车辆前方的拍摄范围与各区域的划分的附图；

图8为用于说明本发明一个实施方式中的进入判断处理的附图；

图9为用于说明本发明一个实施方式中的显示图像的生成的附图；

图10为表示本发明一个实施方式中的显示图像的一例的附图；

图11为表示本发明一个实施方式中的警报判断处理程序的流程图；

图12为用于说明本发明一个实施方式中的显示图像的生成的附图。

具体实施方式

下面参照附图对本发明的具体实施方式进行说明。图1为本发明一个实施方式中，利用了导航装置的显示装置的车辆的周围监测装置的结构示意框图；图2为表示显示装置与照相机安装在车辆上的附图。

在车辆上配备着导航装置，该导航装置具有导航单元5与显示装置4。如图2中（a）所示，显示装置4配置在距离直线L1规定距离的位置，能够被驾驶员看到，该直线L1为，经过车辆的操作柄（方向盘）21的中心且沿着车辆的前后方向延伸（为便于理解，图中标示的是沿图中上下方向延伸）的直线。在本实施方式中，显示装置4嵌在车辆的仪表板23上。

导航单元由具有中央处理装置（CPU）以及存储器的计算机构成。导航单元5具有通信装置（未示出），导航单元5通过该通信装置接收例如用于来自于人造卫星的用于测定车辆10的位置的GPS信号，根据该GPS信号检测出车辆10的当前位置。导航单元5使表示该当前位置的图像重叠在车辆的周围的地图信息（该地图信息可以是存储在导航装置的存储装置中，也可以通过通信装置从服务器获取）上，并使之显示在显示装置4的显示画面25上。另外，显示装置4的显示画面25构成为触摸屏，乘客可以通过该触摸屏或者通过按键或按钮等的其他输入装置27将目的地输入到导航单元5中。导航单元5计算出车辆到达该目的地的最佳路径，使表示该最佳路径的图像重叠在地图信息上并在显示装置4的显示画面25上显示。

另外，近来，导航装置具有提供交通信息以及报知车辆附近的场所等各种功能，本实施方式中，可以使用任意一种合适的导航装置。

另外，车辆的周围监测装置具有图像处理单元2与扬声器3。图像处理单元2配备在车辆上，根据能够检测到远红外线的两个红外线照相机1R与1L所拍摄到的图像数据来检测出车辆周围的对象物。扬声器3根据该检测结果以声音（包括鸣响以及模拟人声）的方式发出警报（报知）。显示装置4对通过照相机1R与1L所得到的图像进行显示，并且，还进行用于使驾驶员意识到车辆周围存在对象物的显示。另外，车辆周围监测装置还具有：检测车辆的偏航角速度的偏航角速度传感器6、检测车辆的行驶速度（车速）的车速传感器7。这些传感器的检测结果被发送至图像处理单元2。

在本实施方式中，如图2中（b）所示，照相机1R与1L配置在车辆的前部，且二者相对于通过车宽方向的中心的中心线对称配置，以对车辆10的前方进行拍摄。这两个照相机1R与1L固定在车辆上，二者的光轴相互平行，且相对于地面的高度相等。红外线照相机1R、1L具有对象物的温度越高其输出信号的强度等级越高（即，拍摄图像中的辉度值越大）的特性。

图像处理单元2具有：将输入的模拟信号变换为数字信号的A/D变换电路、存储数字化的图像信号的图像存储器、进行各种运算处理的中央运算处理装置（CPU）、用于在CPU进行运算时存储数据的RAM（易挥发性随机存取存储器）、存储供CPU执行的程序以及所使用的数据（包括表格、地址）的ROM（只读存储器）、输出针对扬声器3的驱动信号以及针对显示装置4的显示信号等信号的输出电路。照相机1R与1L的输出信号被变换为数字信号输入CPU。

如此，在本实施方式中，导航装置的显示装置4被用于进行，通过照相机1R与1L进行拍摄所得到的图像的显示、以及将根据该图像检测出存在规定的对象物这一信息报知（警报）给驾驶员所需的显示。如上所述，与设置在前车窗玻璃上而使图像被显示在驾驶员的前方的平视显示器（HUD）不同，显示装置4在车宽方向上离开操作柄21规定距离设置，因而，相比于HUD，驾驶员为了观察显示装置4的图像需要使视线移到较大的距离，所以进行观察识别所需的时间也较长。因此，为了使驾驶员通过显示装置4意识到对象物的存在，需要使显示装置4的显示比HUD更容易被理解，能够使驾驶员在较短的时间内识别出对象物。本发明的目的即在于提供这样一种方案，直白地讲，就是使图像中的对象物能够更引人注目。具体的实现方案，在下面说明。

图3为用于表示图像处理单元2所执行的程序的流程图。并且，以规定的时间间隔来执行该程序。另外，关于步骤S11~S23所涉及的处理，在日本发明专利公开公报特开2001-6096号中有具体的记载，因而在此仅简单地对其进行叙述。

在步骤S11~S13中，作为输入信号接收照相机1R与1L的输出信号（即，拍摄图像的数据），并对其进行A/D变换，之后存储在图像存储器中。所存储的图像数据为包含辉度信息的灰度图像。

在步骤S14中，以由照相机1R所拍摄到的图像即右侧图像为基准图像（也可以是以左侧图像为基准图像）对图像信号进行二值化处理。具体而言，使比辉度阈值ITH亮的区域为“1”（白），使比其暗的区域为“0”（黑）。通过该二值化处理将例如生物体（动物、人）这样的温度高于规定温度的对象物作为白区域提取出来。辉度阈值ITH可以通过任一种合适的方法确定。

在步骤S15中，将被二值化处理了的图像数据变换为游程编码（或者叫行程长度编码）数据（run length data）。具体而言，即，对于经过二值化变为“白”的区域，用像素点阵中各行中的白区域（称为“行程或游程”，英文为“line”）的起始点（位于行程的左端的像素点）的坐标以及从起始点到终点（位于行程右端的像素点）的长度（以像素数表示）来表示游程编码数据。其中，图像中的竖直方向（纵向）为y轴，水平方向（横向）为x轴。例如，在y坐标为1的像素行中的白区域为一个从（x1，y1）到（x3，y1）的行程，那么，该行程由3个像素构成，所以，用（x1，y1，3）表示。

在步骤S16与S17中，将对象物附上标签，进行对象物的提取处理。即，在被游程编码化的行程中，将在y方向具有重叠部分的行程合起来视为一个对象物，将其附上标签（标识）。如此，提出一个或者多个对象物。

在步骤S18中，计算出所提取出的对象物的重心G、面积S以及该对象物的外接四边形的纵横比ASPECT。关于具体的算法：面积S通过使用游程编码数据的长度针对同一对象物进行求积而算出。重心G的x方向坐标为面积S的x方向上的等分线的x轴坐标，y方向坐标为面积S的y方向上的等分线的y轴坐标。纵横比ASPECT为外接四边形的y方向上的长度Dy与x方向上的长度Dx之比Dy/Dx。另外，重心G的位置也可以采用外接四边形的重心位置代替。

在步骤S19中，进行对象物的时间跟踪（tracking），即，在每个取样周期对同一对象物进行识别。取样周期可以与图3的程序的执行周期相同。具体而言，将作为模拟量的时间t用取样周期离散化，在时刻k提取出对象物A，判断对象物A与在下一个取样周期即时刻k+1所提取出的对象物B之间的同一性。同一性的判断可以按照规定的条件进行。例如，如果，（1）对象物A与B在图像上的重心G的位置坐标值（x与y）之差比规定的允许值小、（2）对象物B在图像上的面积相对于对象物A在图像上的面积的比值比规定的允许值小、（3）对象物B的外接四边形的纵横比相对于对象物A的外接四边形的纵横比的比值比规定的允许值下，则判断为对象物A与对象物B是同一对象物。

如此，在各取样周期中提取出的对象物的位置（本实施方式中为重心G的坐标）与所附上的标识一起作为时间序列数据存储在存储器中。

另外，上面说明的S14~S19的处理是针对二值化的基准图像（本实施方式中为右侧图像）进行的。

在步骤S20中，读取由车速传感器7检测出的车速VCAR以及由偏航角速度传感器6检测出的偏航角速度YR，并对偏航角速度YR进行时间积分，从而计算出车辆10所转过的角度即转向角θr。

另一方面，在步骤S31~S33中，与步骤S19以及S20的处理相并行，计算出车辆10到对象物的距离。由于此运算需要比步骤S19与S20的处理更长的时间，因而，可以以比步骤S19与S20中的周期更长的周期（例如，步骤S19与S20中的周期的三倍）来进行该运算。

在步骤S31中，在由基准图像（本实施方式中为右侧图像）的二值化图像所跟踪的对象物中选择一个，将其作为搜索图像R1（在此，以外接四边形所围的图形区域为搜索图像）。在步骤S32中，在左侧图像中搜索与该搜索图像R1相同的对象物图像（以下称为对应图像）。具体而言，该过程通过在搜索图像R1与左侧图像间进行相关运算而实现。该相关运算使用的不是二值化图像，而是灰度图像。

$C(a,b)=\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{m=0}{\overset{M-1}{\mathrm{\Σ}}}|\mathrm{IL}(a+m-M,b+n-N)-\mathrm{IR}(m,n)|---\left(1\right)$

其中，搜索图像R1具有M×N个像素数，IR（m，n）为搜索图像R1内的坐标（m，n）位置处的辉度值，IL（a+m－M，b+n－N）为，左侧图像内，以规定的坐标（a，b）为基点，与搜索图像R1具有同样形状的局部区域内的坐标（m，n）位置处的灰度值。变换基点的坐标（a，b）使辉度差分总和值C（a，b）为最小，求得辉度差分总和值C（a，b）为最小的位置，从而确定对应图像的位置。

作为代替方法，可以在左侧图像中预先设定想要搜索的区域，在搜索图像R1与该区域间进行相关运算。

在步骤S33中，求得搜索图像R1的重心位置与拍摄图像的图像中心线（在x方向上将拍摄图像等分的线）LCTR的距离dR（像素数）以及对应图像的重心位置与图像中心线LCTR的距离dL（像素数），代入式（2）中，求出车辆10到对象物的距离z。

$Z=\frac{B\×F}{(\mathrm{dL}+\mathrm{dR})\×p}=\frac{B\×F}{\mathrm{\Δd}\×p}---\left(2\right)$

其中，B表示基线长即照相机1R的拍摄元件的中心位置与照相机1L的拍摄元件的中心位置在x方向（水平方向）上的距离（即，两照相机的光轴的间隔）；F表示照相机1R与1L上的镜头的焦点距离，p表示照相机1R与1L的拍摄元件的像素间隔。Δd（=dR+dL）表示视差的大小。

在步骤S21中，将对象物的位置（如上所述，本实施方式中为重心G的位置）即在图像内的坐标（x，y）以及由式（2）所算出的距离z代入式（3）中，将其变换为真实空间坐标（X，Y，Z）。关于真实空间坐标（X，Y，Z）的坐标系，如图4中（a）所示，以两个照相机1R与1L的安装位置的之间的连线的中点（相对于车辆是固定的）为原点O，如图所示，车辆10的车宽方向为X轴，车辆10的高度方向为Y轴，车辆10的行驶方向为Z轴。如图4中（b）所示，图像上的坐标由以图像的中心为原点、以水平方向为x轴、以竖直方向为y轴的坐标系表示。

$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\left[\begin{array}{c}\mathrm{xc}\×z/f\\ \mathrm{yc}\×z/f\\ z\end{array}\right]---\left(3\right)$

f＝F/p

其中，（xc，yc）表示的是，将右侧图像上的坐标（x，y）根据照相机1R的安装位置与真实空间坐标系的原点O之间的相对位置关系变换为，使图像的中心与真实空间原点O一致的假想的图像内的坐标。另外，f表示焦点距离F与像素间隔P之比。

在步骤S22中，进行转向角修正处理，以修正由于车辆10的转向造成的图像上的位置偏差。例如，在从时刻k到时刻k+1的期间中，车辆10向左转过角度θr（转向角），则照相机所获得的图像在x方向（正方向）上产生偏差Δx。因而要对其进行修正。

具体而言，将真实空间坐标（X，Y，Z）代入式（4）中，计算出修正坐标（Xr，Yr，Zr）。对所计算出的每一对象物的真实空间位置数据（Xr，Yr，Zr）按照时间序列存储在存储器中。另外，在下面的说明中该修正后的坐标表示为（X，Y，Z）。

$\left[\begin{array}{c}\mathrm{Xr}\\ \mathrm{Yr}\\ \mathrm{Zr}\end{array}\right]=\left[\begin{array}{ccc}\cos \mathrm{\θr}& 0& -\sin \mathrm{\θr}\\ 0& 1& 0\\ \sin \mathrm{\θr}& 0& \cos \mathrm{\θr}\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]---\left(4\right)$

在步骤S23中，针对同一对象物，根据在ΔT的期间内所得到的修正转向角后的N个真实空间位置数据（例如，N=10左右）即时间序列数据，来求得表征对象物相对于车辆10移动的相对移动矢量的近似直线LMV。具体而言，表示近似直线LMV的方向的方向矢量L为（lx，ly，lz）（∣L∣=1），求得下式（5）所表示的直线。

X＝u·lx+Xav

Y＝u·ly+Yav    (5)

Z＝u·lz+Zav

$\mathrm{Xav}=\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}X\left(j\right)/N$

$\mathrm{Yav}=\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}Y\left(j\right)/N$

$\mathrm{Zav}=\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}Z\left(j\right)/N$

其中，u为取任意值的参数。Xav、Yav以及Zav分别表示真实空间位置数据群的X坐标平均值、Y坐标平均值以及Z坐标平均值。通过消去该参数u，式（5）变为下述的式（5a）。

(X-X a v)/lx＝(Y-Y a v)/l y＝(Z-Z a v)/l z

                                    (5a)

图5为用于说明近似直线LMV的附图。P（0）、P（1）、P（2）…P（N－2）、P（N－1）表示转向角修正后的时间序列数据，近似直线LMV是通过最小二乘法求得的直线，即该时间序列数据的平均位置坐标Pav（=（Xav，Yav，Zav））到各数据点的距离的乘方的最小值。其中，表示数据点的坐标的P后面的括号中的数值越大，表示该数据点的时间越靠前（过去）。例如，P（0）表示最新的位置坐标，P（1）表示一个取样周期前的位置坐标，P（2）表示两个取样周期前的位置坐标。下面所说明的X（j）、Y（j）、Z（j）等也是如此。另外，关于计算近似直线LMV的具体方法，在日本发明专利公开公报特开2001-6096号中有详细的记载。

之后，将最新的位置坐标P（0）=（X（0），Y（0），Z（0））以及N-1那个取样周期（即，时间Δt前）的位置坐标P（N-1）=（X（N-1），Y（N-1），Z（N-1））修正到近似直线LMV上的位置。具体而言，将Z坐标Z（0）以及Z（N-1）代入式（5a）中，得到式（6），通过式（6）求得修正后的位置坐标Pv（0）=（Xv（0），Yv（0），Zv（0））以及Pv（N-1）=（Xv（N-1），Yv（N-1），Zv（N-1））。

$\mathrm{Xv}\left(j\right)=(Z\left(j\right)-\mathrm{Zav})\×\frac{\mathrm{lx}}{\mathrm{lz}}+\mathrm{Xav}$

$\mathrm{Yv}\left(j\right)=(Z\left(j\right)-\mathrm{Zav})\×\frac{\mathrm{ly}}{\mathrm{lz}}+\mathrm{Yav}---\left(6\right)$

Zv(j)＝Z(j)

j＝0，N-1

求出式（6）所计算出的位置坐标Pv（N-1）到Pv（0）的矢量，该矢量为所要求得的相对移动矢量。

如此，根据监测期间ΔT内的多个（N）个数据，来计算出与对象物相对于车辆10移动的相对移动轨迹相近似的近似直线LMV，求得相对移动矢量，从而能够降低位置检测误差造成的影响，能够更准确预测车辆10与对象物发生碰撞的可能性。

在步骤S24中，执行警报判断程序。图6表示的是该警报判断程序，下面参照图7对该程序进行说明。图7中AR0表示照相机1R、1L的拍摄范围。图3的步骤S11到S23的处理是针对与该拍摄范围AR0对应的拍摄图像进行的。

区域AR1是在车辆10的车宽α的两侧加上余量β（例如，可以为50~100mm左右）的区域，换而言之，即，在车辆10的车宽方向上在前后方向中心轴线的两侧均具有宽度（α/2+β）的区域。如果对象物持续存在于该区域中，则其与车辆的碰撞可能性较高，因而，该区域为接近判定（判断）区域。区域AR2与AR3是X坐标值的绝对值比接近判定区域大（位于接近判定区域的横向外侧）的区域，处于此区域中的对象物有可能进入接近判定区域，次区域为进入判定区域。这些区域AR1、AR2、AR3在Y方向具有规定高度H，在Z方向具有规定距离Z1。

返回图6说明，在步骤S41中，针对每一对象物判断其与车辆发生碰撞的可能性。具体而言，提取出区域AR1~AR3中存在的对象物。根据式（7）计算出各对象物相对于车辆在Z方向上的相对移动速度Vs。之后，提取出满足式（8）与式（9）所述条件的对象物。

V s＝(Z v(N-1)-Z v(0))/ΔT    (7)

Z v(0)/V s≤T                 (8)

|Y v(0)|≤H                   (9)

其中，Zv（0）为最新的距离检测值（附上了“v”表示是由近似直线LMV修正后的数据，但是，Z坐标依然与修正前相同），Zv（N-1）为时间ΔT之前的距离检测值。另外，T为余量时间，设定该余量时间T是为了在预测碰撞时刻之前（时间长度T之前）判断出发生碰撞的可能性。例如可以将T设定为2~5秒左右。VsxT对应于上述的区域AR1~AR3。H规定（确定）了Y方向的尺寸（范围）即高度尺寸，例如，设定为车辆10的车高的2倍左右，并且，其与上述区域AR1~AR3的规定高度H相等。如此，区域AR1~AR3的竖直方向尺寸被限定为规定高度H，距离方向尺寸被限定为规定距离Z1，位于此区域AR1~AR3内的对象物被判断为具有与车辆发生碰撞的可能性而被提取出来。

之后，在步骤S42中，针对每一提取出来的对象物进行接近判断处理，以判断其是否位于接近判定区域AR1内。具体而言，即判断对象物的位置Pv（0）的X坐标Xv（0）是否位于区域AR1内。将判断为是（YES）的对象物判断为与车辆发生碰撞的可能性高，立即执行步骤S44中的处理。对于判断为否（NO）的对象物，表示其存在于区域AR2或AR3中，对其进行步骤S43的进入判定（判断）处理。

在进入判断处理中，判断对象物在图像上的最新的x坐标xc（0）（附上“c”表示的是，被执行了使图像的中心位置与真实空间原点O一致的修正后的坐标）与时间ΔT前的x坐标xc（N-1）之差是否满足式（10）。如果存在满足式（10）的对象物，则判断为该对象物进行移动而进入接近判定区域AR1从而与车辆10发生碰撞的可能性较高（S43中“是”（YES）），进入步骤S44。如果不存在满足式（10）的对象物，则判断为区域AR1~AR3中目前不存在具有与车辆发生碰撞的可能性的对象物（S43中“否”（NO）），进入步骤S48。在步骤S48中，将由步骤S13取得的灰度图像作为显示图像输送给显示装置4而进行普通显示。

$\frac{-\mathrm{\α}\·f}{2}(\frac{1}{\mathrm{Zv}\left(0\right)}-\frac{1}{\mathrm{Zv}(N-1)})\≤\mathrm{xc}\left(0\right)-\mathrm{xc}(N-1)\≤\frac{\mathrm{\α}\·f}{2}(\frac{1}{\mathrm{Zv}\left(0\right)}-\frac{1}{\mathrm{Zv}(N-1)})---\left(10\right)$

在此，对式（10）的由来（原理）进行简单的说明。参照图8，通过对象物20的最新位置坐标以及时间ΔT之前的位置坐标的直线为近似直线LMV，该近似直线LMV与XY平面（包含X轴与Y轴的平面，即，包含与车辆10的前端部对应的直线（X轴）且垂直于车辆10的行驶方向的平面）的交点的X坐标为XCL。则，考虑到车宽α，碰撞发生条件如式（11）所示。

-α/2≤XCL≤α/2      (11)

另一方面，将近似直线LMV投影在XZ平面上所得到的直线如式（12）所示。

$Z-\mathrm{Zv}\left(0\right)=\frac{\mathrm{Zv}(N-1)-\mathrm{Zv}\left(0\right)}{\mathrm{Xv}(N-1)-\mathrm{Xv}\left(0\right)}\×(X-\mathrm{Xv}\left(0\right))---\left(12\right)$

将Z=0、X=XCL代入此式中而计算XCL，则，如式（13）所示。

$\mathrm{XCL}=\frac{\mathrm{Xv}\left(0\right)/\mathrm{Zv}\left(0\right)-\mathrm{Xv}(N-1)/\mathrm{Zv}(N-1)}{1/\mathrm{Zv}\left(0\right)-1/\mathrm{Zv}(N-1)}---\left(13\right)$

另外，由于真实空间坐标X与图像上的坐标xc之间存在式（3）所示的关系，因而有下式（14）、（15）成立。

Xv (0)＝x c (0)×Z v (0)/f           (14)

X v (N-1)＝x c (N-1)×Z v (N-1)/f    (15)

将这两式应用到式（13）中，则，交点的X坐标XCL如式（16）所示。将其代入式（11）中并进行整理，则能够得到上式（10）。另外，关于具体的进入判断处理，在日本发明专利公开公报特开2001-6096号公报中有详细的记载。

$\mathrm{XCL}=\frac{\mathrm{xc}\left(0\right)/f-\mathrm{xc}(N-1)/f}{1/\mathrm{Zv}\left(0\right)-1/\mathrm{Zv}(N-1)}---\left(16\right)$

返回图6进行说明，在上述接近判断处理与进入判断处理中判断出与车辆发生碰撞的可能性较高的对象物，在步骤S44中，针对该对象物进行警报输出判断处理，以判断是否对驾驶员发出实际的警报。

在本实施方式中，在警报输出判断处理中，根据对制动器的操作判断是否发出实际的警报。具体而言，根据制动器传感器（未示出）的输出信号，判断车辆10的驾驶员是否进行了制动操作（刹车），如果没有进行制动操作，则判断为应该发出警报信息（S44中“是”（YES）），进入步骤S45。

在进行了制动操作时，计算出由此产生的加速度Gs（减速方向为正）。针对各对象物，按照式（17）所示地计算阈值GTH，如果存在满足加速度Gs位于阈值GTH以下（Gs≤GTH）这一条件的对象物，则判断为应该发出警报（S中“是”（YES）），进入步骤S45。

如果不存在满足Gs≤GTH）这一条件的对象物，则判断为通过制动操作使碰撞免于产生（S44中“否”（NO）），进入步骤S48，如上所述，不输出警报，仅仅是将灰度图像输出给显示装置4，由该显示装置4进行普通显示。此处，在制动加速度Gs始终被维持时，下式（17）中的值对应的是车辆10的行驶距离在Zv（0）以下就停止了这一情况。

$\mathrm{GTH}=\frac{{\mathrm{Vs}}^2}{2\×\mathrm{Zv}\left(0\right)}---\left(17\right)$

通过执行警报输出判断处理，能够在驾驶员已经进行了适当的制动操作时，不发出警报，从而能够避免给驾驶员带来多余的打扰。然而，作为代替方案，也可以是，不进行警报输出判断处理，在存在由步骤S41~S43被判断为与车辆发生碰撞的可能性较高的对象物时，进入步骤S45。

在步骤S45中，使步骤S 13所获得的灰度图像中，通过上述步骤S41~S43被判断为与车辆发生碰撞的可能性较高的对象物所对应的区域之外的区域的辉度值降低。

参照图9，其中，（a）表示的是通过红外线照相机1R、1L在步骤S 13中获得的灰度图像的示意图。假定对象物（本实施方式中为行人）101为被判断为与车辆发生碰撞的可能性较高的对象物。为了容易理解，在本实施方式中，对象物101的辉度值为I1，该对象物之外的区域的辉度值为I2。

在步骤S45中，如图9中（b）所示，生成这样的显示图像：该显示图像中，除了包含该对象物的规定区域B 1（例如，可以是在图3的步骤S 18中设定的、对象物的外接四边形所围成的区域）之外的所有区域B2的辉度值较低。在本实施方式中，包含对象物的区域B 1中的全部像素的辉度值被维持（所以，对象物101的像素的辉度值维持在I1），除此之外的区域B2所包含的所有像素的辉度值从I2降低规定值而变为I3。在步骤S47中，将这样所生成的显示图像显示在显示装置4上。

如图9中（b）所示，由于对象物区域B 1之外的区域B2的辉度值被降低，这相对于对象物区域B 1中的行人101被突出显示了。所以，生成了对比度较高的显示图像，与图9中（a）相比，行人显得较明亮，像从其他部分脱离出来。

图10中，作为一个例子，其中（a）表示的是实际得到的灰度图像，（b）表示的是由上述步骤S45的处理所生成的显示图像。行人103被拍摄在灰度图像中。假定该行人103为被判断为与车辆发生碰撞的可能性较高的对象物。

在图10中（b）所示图像中，包围行人103的规定区域之外的区域的辉度值较低。因而，与（a）相比，（驾驶员）能够迅速地识别出行人103，瞬间就意识到其的存在。另外，作为比较，图10中（c）表示的是用突出显示框111使辉度图像中的对象物被突出显示的现有的警报方式。如（c）所示，由于在灰度图像中除了行人103之外，还拍摄到好多各种各样的内容，因而，即使对行人103进行了突出显示，驾驶员也有可能在很短的时间内难以明白应该注意观看哪里。

特别是，在所利用的显示装置4是配置在于车宽方向上离开操作柄一定距离的位置处的情况下，使用图10中（c）所示的方法的话，使用者识别出对象物的时间较慢。而采用本发明，如图10中（b）所示，行人103之外的部分较暗，因而，与（c）相比，能够缩短识别行人103所需的时间。

在图示的例子中，包围对象物的规定区域之外的区域的辉度值被降低，然而，也可以不设置该包围对象物的规定区域，仅仅是降低对象物101之外的区域的辉度值。另外，在上面的说明中，为了降低对象物（或者包围对象物的规定区域）之外的区域的辉度值，使图像的辉度值降低规定值，然而，作为代替，也可以是将对象物（或者包围对象物的规定区域）之外的区域的全部像素的辉度值降低至预先设定的一个较低的值（例如，全部变黑，或者降低到近似于黑色的辉度值）。

另外，虽然没有图示，然而，可以在步骤S47中进行的向显示装置4输出显示图像（信号）的同时，通过扬声器3发出警报音。警报音的形态可以任选，可以是单纯的鸣响，也可以说任何声音信息（包括模拟人声）。

另外，在本实施方式中，在步骤S41~S43中被判断为与车辆发生碰撞的可能性较高的对象物的辉度值被保持，如此而生成显示图像，然而，作为代替，也可以是，在由步骤S44的警报输出判断处理中判断为进行了制动操作时，使被判断为与车辆发生碰撞的可能性较高并且满足步骤S44的警报输出判断处理中的Gs≤GTH这一条件的对象物的辉度得到保持，如此生成显示图像。从而，能够仅仅使需要注意的对象物被驾驶员识别。

图11为本发明其他实施方式的在图3的步骤S24中执行的警报判断程序的流程图。与图6不同的地方在于，增加了步骤S46，对此，参照图12进行说明。

在该实施方式中，如图12中（a）所示，对象物的模拟图像被预先存储在图像处理单元2的存储装置中。模拟图像是指模拟对象物的图符（icon）图像。在本实施方式中，假定对象物是行人，存储的是模拟行人的图符105。

在步骤S46中，从存储装置中读取出该模拟图像，使该模拟图像重叠在由步骤S45的处理结果所得到的图像中的对象物（如上所述，即辉度没有被降低的对象物）的位置上，生成显示图像。如图12中所示，将（a）所示的模拟图像105重叠在，由步骤S45所得到的（b）所示的图像（与图1中的（b）所示相同）中的对象物103的位置上，得到如（c）所示的图像。在步骤S47中，将重叠了模拟图像的图像输出到显示装置4上。

在图像上重叠模拟图像是为了，使对象物在所显示的图像上从视觉上较强烈地与其外的区域区别开来。所以，最好是使模拟图像具有较高的辉度值并且具有能够容易引起驾驶员注意的颜色（例如，红色或黄色）。另外，优选，将模拟图像的辉度值设定在，比对象物之外的区域的辉度值（即经过步骤S45的处理而被降低的辉度值）高规定值以上。

另外，模拟图像的辉度值可以预先设定，也可是使其可变，在可变的情况下，例如，取得在步骤S45中降低的、对象物之外的区域的辉度值（可以是该区域的像素的辉度的平均值），在此辉度值上加上规定值而作为模拟图像的辉度值。将具有所计算出的该辉度值的模拟图像重叠在上述图像上，生成显示图像。

另外，如图12中（d）所示，可以在重叠有模拟图像的基础上，将该模拟图像用突出显示框107围起来，使模拟图像被突出显示。该突出显示框107也可以与模拟图像相同，具有容易唤起驾驶员注意的颜色，并且具有较高的辉度值。

如此，在显示装置4上显示着对比度较高的图像，仅对表示对象物位置的模拟图像进行突出显示。另外，模拟图像不同于所拍摄到的各种物体（即真实拍摄物），是一个模拟性的东西。因而，使用该模拟图像进行显示，能够被驾驶员迅速地识别，从而能够迅速地识别或者说意识到应该注意的对象物的存在。另外，由于对象物的实际的拍摄图像被模拟图像遮挡，所以能够促使驾驶员观看前方。

另外，作为生物体（活的），除了人之外，还有动物，即，作为对象物，也有可能是检测到动物。对此，可以预先生成模拟行人的图像以及模拟动物的图像，并存储起来。此时，在例如步骤S35之前进行判断处理以判断对象物是行人还是动物。这样的判断处理方法，可以从现有技术中选择任意合适的。如果在该判断处理中判断为对象物是行人，则在步骤S46中，读取出对应于行人的模拟图像并对其进行上述的重叠处理，若判断为对象物是动物，则读取出对应于动物的模拟图像并对其进行上述的重叠处理。如此，能够使驾驶员迅速地意识到应该注意的对象物（行人或者动物）的存在。

另外，在上述实施方式中，在判断碰撞可能性的处理中使用了接近判定区域以及进入判定区域，然而，该判断方法并不限于该实施方式，可以选用其他任意合适的碰撞可能性的判断方法。

另外，在上述实施方式中，显示装置4采用的是导航装置的显示装置。在本发明中，由于能够使驾驶员在较短的时间内对对象物进行识别，因而能够采用配置在驾驶员左侧或右侧的显示装置。然而，本发明也可以采用其他的显示装置，例如可以采用现有的平视显示器。

另外，在上述实施方式中使用的是远红外线照相机，然而本发明也可以采用其他照相机（例如，可视照相机）。

在上面对本发明的特定实施方式进行了说明，然而，本发明并不仅限于这些实施方式。

附图标记说明

1R、1L  红外线照相机（拍摄机构）；2图像处理单元；3扬声器；4显示装置。

Claims (5)

1.一种车辆的周围监测装置，包括：

摄像机构，其使用配备在车辆上的照相机对车辆的周围进行摄像；

灰度图像获取机构，其通过由上述摄像机构拍摄到的拍摄图像来得到具有对应于上述对象物的温度的辉度值的灰度图像；

对象物检测机构，其从上述灰度图像中检测出存在于上述车辆的周围的规定的对象物；

显示图像生成机构，其基于上述灰度图像生成，供在上述车辆上配备的显示装置显示的显示图像；

显示机构，其使所生成的上述显示图像显示在上述显示器上，

其特征在于，

上述显示图像生成机构，使上述灰度图像中的所检测出的上述对象物之外的区域的辉度值降低，由此生成上述显示图像。

2.根据权利要求1所述的车辆的周围监测装置，其特征在于，上述显示装置配置在能够被上述车辆的驾驶员看到的位置，并且在车宽方向上距离下述直线规定距离，该直线是指，通过上述车辆的操作柄的转动中心且沿着该车辆的前后方向延伸的直线。

3.根据权利要求1或2所述的车辆的周围监测装置，其特征在于，

上述对象物检测机构判断上述车辆与上述对象物发生碰撞的可能性是否较高，

在判断为上述车辆与上述对象物发生碰撞的可能性较高时，上述显示图像生成机构使上述所检测出的对象物之外的区域的辉度值降低。

4.根据权利要求1~3中任一项所述的车辆的周围监测装置，其特征在于，上述显示图像生成机构使模拟上述对象物的图像重叠在上述灰度图像中的上述对象物所存在的位置上，上述显示机构使该重叠的显示图像显示在上述显示装置上。

5.根据权利要求1~4中任一项所述的车辆的周围监测装置，其特征在于，上述显示装置为导航装置的显示装置。

Images