CN102782741B - 车辆周围监测装置 - Google Patents

Abstract

本发明提供一种车辆周围监测装置，由其拍摄车辆周围的情况并根据拍到的图像检测出车辆周围的被监测对象。若存在被检测出的被监测对象，通过在所显示的图像上进行警报显示而向驾驶员发出警报。这里，若同时检测出的被监测对象的数量在规定数值以下，进行第1方式的警报显示，即对该各被监测对象的所在位置进行突出显示；如果被上述检测机构同时检测出的被监测对象的数量多于上述规定数值，不进行上述第1方式的警报显示而进行第2方式的警报显示，即对所显示的整个上述图像进行一个规定的突出显示。因此与检测出的被监测对象的数量较多而对其进行个别突出显示的显示方式相比，前者为驾驶员更容易看清并易于判断的显示方式。

Description

车辆周围监测装置

技术领域

本发明涉及一种用于对车辆周围进行监测的装置，更详细地讲，涉及一种检测出车辆周围的被监测对象并进行显示的装置。

背景技术

在下述专利文献1中，有人提出如下一种系统，即：利用红外线摄像头检测出车辆周围的被监测对象，如果该被监测对象被判定为是行人，利用影像和声音提示给驾驶员。

专利文献1：日本发明专利公开公报特开2003-284057号

发明内容

在上述专利文献1中，在车辆上设置平视显示器（HUD），将利用红外线摄像头拍到的图像显示在该HUD上。这样，在对所存在的上述被监测对象进行提示时，用框对该图像中的该各个被监测对象进行突出显示。

但是，由拍摄图像检测出的被监测对象为多个时，若对各个被监测对象进行突出显示时，画面会变得难以看清。因此，为使驾驶员能在更短的时间内进行判断，该显示方式还有改进的余地。

另外，由于平视显示器设置在驾驶员的前方，在驾驶员进行判断时虽有视线移动量较小的优点，但通常情况下大多数车辆上没有搭载平视显示器。对此，安装在仪表板上的显示装置正在得到普及。尤其是随着导航装置的普及，用于显示通过导航功能来提供的地图信息等各种信息的装置正在得到普及。

由于上述的普通显示装置未安装在驾驶员的前方而是位于其左侧或右侧，所以与平视显示器相比，在驾驶员为确认显示画面而所需的视线移动量较大。因此人们要求提供如下一种显示装置：通过其能使驾驶员在短时间内了解显示在该显示装置上的影像。

因此人们期望提供如下一种方法：即使对所存在的多个被监测对象向驾驶员进行提示时，能够提供可使驾驶员在更短时间内判断出它们的显示方式。

在本发明的一个实施方式中，车辆周围监测装置具有：拍摄机构，其搭载在车辆上，用于拍摄该车辆周围的情况；检测机构，根据上述拍摄机构拍到的图像，由该检测机构检测出上述车辆周围的被监测对象；显示机构，由其将拍到的上述图像显示在显示装置上；警报机构，如果存在被检测出的上述被监测对象，通过其在所显示的上述图像上进行警报显示而向驾驶员发出警报。上述警报机构发出警报的方式为：如果被上述检测机构同时检测出的被监测对象的数量在规定数值以下，进行第1方式的警报显示，即对该各个被监测对象的所在位置进行突出显示；如果被上述检测机构同时检测出的被监测对象的数量多于上述规定数值，不进行上述第1方式的警报显示而进行第2方式的警报显示，即对所显示的整个上述图像进行一个规定的突出显示。

采用本发明时，如果检测出的被监测对象的数量较少，由于对该各个被监测对象的位置进行突出显示，所以能够对被监测对象进行个别突出显示。但是，如果检测出的被监测对象的数量较多，则对整个显示图像进行一个突出显示。因此与检测出的被监测对象的数量较多而对其进行个别突出显示的显示方式相比，前者为驾驶员更容易看清并易于判断的显示方式。通过对所显示的图像进行一个规定的突出显示，能使驾驶员在短时间内判断出在车辆周围存在多个应该引起注意的被监测对象，这样，驾驶员不会被所显示的图像所困扰，因而能将注意力集中在驾驶操作上。

在本发明的另一实施方式中，上述警报机构还以下述方式进行上述第2方式的突出显示，即如果被上述检测机构同时检测出的被监测对象的数量多于上述规定数值，在所显示的上述图像内的规定位置使规定的图像进行重叠显示。

采用本发明时，如果检测出的被监测对象的数量多于规定数值，在图像内的规定位置使规定的图像重叠显示而进行突出显示。因此与检测出的被监测对象的数量较多而对其进行个别突出显示的显示方式相比，前者为驾驶员更容易看清并易于判断的显示方式。另外，通过在对所显示的图像内重叠显示一个规定的图像，能使驾驶员在短时间内判断出在车辆周围存在多个应该引起注意的被监测对象。

在本发明的又一实施方式中，上述警报机构还以下述方式进行上述第2方式的突出显示，若被上述检测机构同时检测出的被监测对象的数量多于上述规定数值，对于多于该规定数值的所有被监测对象判定发出警报的优先度，只对判定为优先度最高的被监测对象所在的位置进行突出显示。

采用本发明时，如果检测出的被监测对象的数量多于规定数值，只对判定为最需发出警报的、即优先度最高的被监测对象所在的位置进行突出显示。因此与检测出的被监测对象的数量较多而对其进行个别突出显示的显示方式相比，前者为驾驶员更容易看清并易于判断的显示方式。另外，由于只对判定为优先度最高的被监测对象所在的位置进行突出显示，所以能使驾驶员在短时间内判断出最应注意哪个被监测对象。

在本发明的又一实施方式中，上述显示装置为汽车导航装置的显示装置。采用本发明时，将在车辆周围存在被监测对象的情况提示给驾驶员时，能够有效地利用汽车导航装置的显示装置

人们能从以下详细说明中了解本发明的其他特征和优点。

附图说明

图1为表示本发明的一个实施方式的车辆周围监测装置的结构的框图。

图2为用于说明本发明一个实施方式的显示装置和摄像头的安装位置的图。

图3为表示本发明的一个实施方式的图像处理单元的图像处理的流程图。

图4为表示本发明的一个实施方式的车辆前方的拍摄范围和各区域划分的图。

图5为表示本发明的一个实施方式的警报的显示方式的图。

图6为表示本发明的一个实施方式的警报的显示方式的图。

图7为表示本发明的一个实施方式的警报的显示方式的图。

图8为表示本发明的另一实施方式的图像处理单元的图像处理的流程图。

图9为表示本发明的一个实施方式的实际空间坐标系与图像坐标系的图。

图10为用于说明本发明的一个实施方式的相对移动矢量的计算方法的图。

图11为表示本发明的一个实施方式的警报判定处理的流程图。

图12为说明本发明的一个实施方式的优先度判定用图。

图13为表示本发明的一个实施方式的警报的显示方式的图。

具体实施方式

下面参照附图说明本发明的具体实施方式。图1为表示本发明的一个实施方式的利用了导航装置的显示装置的车辆周围监测装置的结构的框图。图2为表示显示装置和摄像头安装在车辆上的图。

车辆上安装有导航装置，该导航装置具有导航单元5和显示装置4。如图2中（a）所示，相对于通过车辆方向盘（方向盘）21的中心并且向车辆前后方向延伸的线L1（为便于理解，图中表示为在图的垂直方向上延伸的状态），显示装置4安装在离开该线L1有规定距离的位置，驾驶员可以观察它。在本实施例中，显示装置4嵌入仪表板23中。

导航单元5通过中央处理装置（CPU）和存储器的计算机来实现其功能。导航单元5这样工作：经其所具有的通信装置（未图示）来接收GPS信号，并根据该GPS信号来检测出车辆10的当前位置。其中，GPS信号用于测定车辆10的位置，例如由人造卫星发出。由导航单元5使表示该当前位置的图像重叠显示在车辆周围的地图信息（其可存储在导航装置的存储装置中，也可通过该存储装置从规定的服务器中接收）上并显示在显示装置4的显示画面25上。另外，由显示装置4的显示画面25构成触摸屏，乘员可通过该触摸屏或者是按键或按钮等其他输入装置27向导航单元5输入目的地。由导航单元5来计算车辆到达该目的地的最佳路径，将表示该最佳路径的图像重叠显示在地图信息上，并显示在显示装置4的显示画面25上。

还有，近年来的导航装置，除了提供交通信息或者指引车辆附近的设施以外，还搭载有其他各种各样的功能，在本实施方式中，能够利用任意所需的导航装置。

另外，车辆周围监测装置搭载在车辆10上，具有：两个红外线摄像头1R与1L，其能检测出远红外线；图像处理单元2，其用于根据由摄像头1R与1L拍摄到的图像数据检测车辆周围的被监测对象；扬声器3，根据该图像处理单元2的检测结果而用声响或声音发出警报。显示装置4用于显示通过摄像头1R或1L而拍到的图像，并且进行显示以使驾驶员能觉察到车辆周围的被监测对象。还有，上述周围监测装置还具有用于检测车辆的横向角速度的横向角速度传感器6和用于检测车辆行驶速度（车速）的车速传感器7。这些传感器的检测结果送到图像处理单元2中。

如图2中（b）所示，在本实施例中，摄像头1R与1L配置在车辆10的前部，并且相对于通过车宽中心的中心轴互相对称，用于拍摄车辆10的前方情况。两个摄像头1R与1L固定在车辆上，两者的光轴互相平行，并且两者距地面的高度也相等。红外线摄像头1R与1L具有如下特性：被监测对象的温度越高其输出信号的值也越高（即拍摄图像中的灰度较大）。

图像处理单元2具有：A/D变换电路，由其将输入的模拟信号变换为数字信号；图像存储器，由其存储经数字化处理后的图像信号；中央运算处理装置（CPU），其用于进行各种运算处理；RAM（随机存储器），在CPU进行运算时其用于存储数据；ROM（只读存储器），其用于存储CPU所执行的程序和所使用的数据（含表、图）；输出电路，其用于对扬声器3输出驱动信号和对显示装置4输出显示信号。摄像头1R与1L的输出信号被变换为数字信号而输入到CPU中。

这样，在本实施例中，导航装置的显示装置4用于显示通过摄像头1R或1L而拍到的图像，并且用于显示存在根据该图像检测出的规定的被监测对象以提示驾驶员（向其发出警报）。如上所述，不同于设置在前车窗上被设置成显示画面位于驾驶员前方位置的平视显示器（HUD），由于显示装置4设置在车宽方向上的离开方向盘21有规定距离的位置，因此与HUD相比，驾驶员为确认显示装置4的画面所需的视线移动量较大，确认所需的的时间也长。所以，为使驾驶员通过显示装置4察觉到被监测对象，人们期望如下一种显示方式：与HUD相比，以更容易看懂的方式进行显示、即以在更短的时间内察觉到的方式进行显示。本发明能实现上述显示方式，具体地讲，如果图像中存在规定数量（例如为1）以下的被监测对象，对该被监测对象的位置进行突出显示，如果图像中存在多于规定数量的被监测对象，则对整个显示图像进行一个突出显示。下面说明该具体方法。

图3为表示由本发明的一个实施方式的图像处理单元2所进行的图像处理的流程图，该图像处理按照规定的时间间隔执行。

在步骤S11~S13中，接收摄像头1R与1L的输出信号（即拍摄图像的数据），对其进行A/D变换并存储在图像存储器中。所存储的图像数据为包含灰度信息的灰度图像。

在步骤S14中，以摄像头1R拍到的右侧图像为基准图像（也可以以左侧图像代替右侧图像而作为基准图像），对该图像信号进行二值化处理。具体处理为:比灰度阈值ITH亮的区域为“1”（白）、暗的区域为“0”（黑）。能够用任何合适的方法来确定灰度阈值ITH。通过进行二值化处理，能将比如像生物体那样比特定温度值高的被监测对象作为白色区域而抽出。能够用任何合适的方法来确定灰度阈值ITH。

在步骤S15中，将二值化处理后的图像数据变换为游程编码数据。具体处理为：对于二值化处理后变为白色的区域，用各个像素组的在该白色区域（称为线）中的起点（各线的左端的像素）的坐标、从起点到终点（各线的右端的像素）的长度（用像素数表示）表示游程编码数据。这里，在图像中的垂直方向上设y轴、在水平方向上设x轴。y坐标为y1的像素组的白色区域为从（x1，y1）到（x3，y1）的线时，由于该线由三个像素构成，因而能由（x1，y1，3）这一游程编码数据来表示。

在步骤S16与步骤S17中，给被监测对象附上标签，对被监测对象进行抽出处理。即，在被游程编码数据处理的线中，使在y方向上有重合部分的线合起来视为一个被监测对象并给它附上标签。这样能抽出1个或多个被监测对象。

下面说明通过上述方法抽出的被监测对象为行人的情况。还有，在步骤S17之后，为进一步提高检测精度，也可以对所抽出的被监测对象进行判定处理以判定其是否是行人。该判定处理可以利用任意的适当的方法来实现。例如，利用公知的图案匹配方法，求出采用上述方法所抽出的被监测对象和表示行人的规定图案之间的类似度，如果该类似度较大就判定为是行人。作为上述判定处理的例子，如记载在日本发明专利公开公报特开2007-241740号、日本发明专利公开公报特开2007-334751号等中。

在步骤S31中，判定被监测对象（如上所述，此处为行人）是否位于车辆周围的规定警报范围内。这里，作为规定警报范围的一个例子，表示在图4中。

区域AR0表示作为摄像头1R与1L能拍摄区域的拍摄范围。对于对应于拍摄范围AR0的拍摄图像，执行图3中的从步骤S11到步骤S17的处理。

区域AR1为对应于在车辆10的车宽α的两侧分别加上余量β（例如可以为50~100cm）的范围的区域，换言之，是宽度为车辆10的车宽方向的中心轴两侧具有（α/2+β）宽度的区域，其为接近判定区域，表示被监测对象若在此区域中不动，则发生碰撞的可能性较高。与接近判定区域相比，区域AR2和AR3为x坐标的绝对值较大的（位于接近判定区域的横向方向上的外侧）的区域，其为进入判定区域，表示存在于该区域中的被监测对象有可能进入接近判定区域。用于确定区域AR1~AR3在距离方向上的大小的Z1，在本实施例中例如能设定为规定数值。

在本实施例中，以接近判定区域AR1为上述警报范围而进行步骤S31的判定。这里，如果行人的脚部、即图像中的该被监测对象的底部的至少一部分包含在该警报范围内，就判定为该被监测对象位于该警报范围内。也可用以下方法来代替上述方法：求出被监测对象的重心位置，若该重心位置包含在该警报范围内，就判定为该被监测对象位于该警报范围内。

在步骤S31中，若判定为没有任何被监测对象位于警报范围内时，进入步骤S32，禁止发出警报。即不发出警报，进行将在步骤S13获得的灰度图像输出给显示装置4的通常显示处理。

在步骤S31中，若判定为有若干个被监测对象位于警报范围内时，进入步骤S32，判断被判定为位于警报范围内的被监测对象的数量是否多于规定数量（例如该规定数量为1）。如果不多于规定数量（即在规定数量以下），在步骤S33中的判断结果为否。进入步骤S34并且发出警报。具体来讲，在显示装置4上显示灰度图像，通过对图像中的位于该警报范围内的各个该被监测对象所在的位置进行个别突出显示以实现发出警报。下面将对每个被监测对象的位置进行个别突出显示的方式称为第1方式。

在步骤S32中，如果判断被判定为位于警报范围内的被监测对象的数量多于规定数量，进入步骤S35并且发出警报。具体来讲，将灰度图像显示在显示装置4上，并且对整个显示图像进行一个突出显示以实现发出警报。下面将对所显示的整个图像进行一个突出显示的方式称为第2方式。

这样，发出警报的方式有2种，第1方式是对每个被监测对象的位置进行突出显示（个别突出方式）以发出警报。第2方式是对显示在显示装置4上的整个图像进行一个突出显示（整体突出方式）以发出警报。

图5是根据图4的程序大致按时间顺序在显示装置4上显示的画面的一个例子。由线101和线102围起来的区域表示警报范围。步骤S33中的“规定数量”为数值1。

还有，由于行人是生物体，所以在显示装置4上所显示的实际的灰度图像中会以高于背景的灰度进行显示（即发白），但是为了易于从图中看清，请注意该图并不是按照上述实际的情况来制作的（即在图中，行人被描画得比背景黑）。这种情况在以下的图中也是一样的。

在图5中（a）的时刻t1，判定为有1个行人111存在于警报范围内。由于作为警报对象的行人的数量为1人，所以按第1方式进行显示，即，以个别突出方式进行显示。因此在显示图像中，用框围起行人111而进行突出显示。

之后在图5中（b）的时刻t2，判定为有5个行人111~115存在于警报范围内，由于作为警报对象的行人的数量为5人，所以按第2方式进行显示，即，以整体突出方式进行显示。在该实施方式中，为突出该整体方式，在显示图像上重叠显示如用符号121所表示的1个图标图像。该图标图像121是在整个显示图像上进行的的一个突出显示。在图标图像121中，三角形中画有人的图案，这表示周围存在多个行人。此时优选显示图标图像121时能引起驾驶员的注意。例如将三角形显示为红色，或点亮该图标图像或使其闪灭以进行闪烁显示。

之后在图5中（c）的时刻t3，所有行人111~115都已经离开警报范围，所以由于在警报范围内连1个行人都不存在，所以禁止发出警报，不进行任何突出显示。

这样，在本实施方式中，可以根据被监测对象是否多于规定数量的判定结果，使发出警报方式在第1方式和第2方式之间进行切换。若存在多个被监测对象，如用图标图像121所示的那样，对整个显示图像进行一个突出显示。在现有技术中，如图6所示，用框对多个被监测对象的各自的位置进行个别突出显示。如果有多个上述的突出显示，整个画面会变得不易看清，驾驶员难以在短时间内判断应该注意哪个被监测对象。采用本发明时，若判定为被监测对象的数量多于规定数量，由于以整个显示画面为单位进行一个突出显示，所以对于驾驶员来说，能提供易于看懂并且易于判断的显示方式。因此，驾驶员通过确认该一个突出显示就能在短时间内判断出周围存在多个应引起注意的被监测对象。

在上述实施方式中，使由符号121所表示的图标图像重叠显示，以实现对整个显示图像进行一个突出显示的第2方式。但是整体突出显示并不局限于此，也可以采用其他方式。

图7中表示有进行整体性突出显示的其他例子。在图7中（a）中，通过显示外框131来按第2方式进行整体性突出显示，其中，由外框131来围起所显示的图像的外缘。可将该外框131的颜色设定为能使驾驶员引起注意的颜色（例如设定为红色或黄色），另外还能点亮该外框131或使其闪灭以进行闪烁显示。

在图7中（b）中，如网格线部分所示，降低整个拍到的图像的灰度（例如使各像素的灰度值降低规定数值），以较低对比度的方式显示图像，并且使图标图像121与前者重叠显示。另外，在图7中（c）中，不显示拍到的图像而只显示图标图像121。对于图7中（b）和图7中（c）的图标图像123，能点亮该图标图像123或使其闪灭以进行闪烁显示。如图7中（b）和图7中（c）所示，既显示图标图像121，又使拍到的整个图像变得不易看清，这样来提示驾驶员而使其注视前方。

图8为表示由本发明的第2实施方式的图像处理单元2所执行的图像处理的流程图，该处理按照规定的时间间隔执行。

由于步骤S11~S17与图3中的相同，所以省略其说明。步骤S18~S26是用于计算被监测对象的相对移动矢量的处理。由于相对移动矢量的计算处理的详细情况如记载在日本发明专利公开公报特开2001-6096中，所以在此简单地进行说明。

对于在步骤S17中抽出的各个被监测对象，在步骤S18中，计算出该被监测对象的重心G、面积S、外接在该被监测对象上的四边形、即外接四边形的长宽比ASPECT。其中，对于同一被监测对象的游程编码数据的长度进行积分计算而计算出面积S。重心G的坐标的计算方法是，以面积S在x方向上被平分的线的x坐标为重心G的x坐标，以面积S在y方向上被平分的线的y坐标为重心G的y坐标。长宽比ASPECT的计算方法为，其为外接四边形在y方向上的长度Dy与在x方向上的长度Dx之比Dy/Dx。另外，也可用外接四边形的重心位置来代替重心G的位置。

在步骤S 19中，对被监测对象进行即时追踪，即在每个规定的采样周期对同一被监测对象进行识别。采样周期可与该程序的执行周期相同。具体而言，将作为模拟量的时刻t按采样周期作为经离散处理后的时刻k，假定在时刻k抽出了被监测对象A，对该被监测对象A与作为下一个采样周期的时刻k＋1抽出的被监测对象B的同一性进行判断。同一性判断按规定的条件进行。例如1）被监测对象A与B在图像上的重心G的位置的x坐标与y坐标之差小于规定的容许数值、2）被监测对象B在图像上的面积与被监测对象A在图像上的面积之比小于规定的容许数值、3）被监测对象B的外接四边形的长宽比与被监测对象A的外接四边形的长宽比之比小于规定的容许数值时，判断为被监测对象A与B为同一被监测对象。

这样，在各个采样周期，关于抽出的被监测对象，其位置（本实施例中为重心G的位置坐标）与所附上的标签，一同作为时序数据而存储在存储器中。

另外，上述步骤S14~S19中的处理是对二值化处理后的基准图像(本实施例中为右侧图像）进行的。

在步骤S20中，读取由车速传感器7检测出的车速VCAR和由横向角速度传感器6检测出的横向角速度YR，对横向角速度YR进行时间积分从而计算出车辆10的方位角度、即方位角θr。

另外，与步骤S19和S20中的处理同步，在步骤S21~S23中，对从车辆10到被监测对象之间的距离z进行计算处理。由于该运算所需要的时间比步骤S19与S20中的处理时间长，所以可用比步骤S19与S20的处理时间长的周期（例如为3倍左右于步骤S11~S20的运行周期的周期）进行该运算。

在步骤S21中，利用基准图像（本实施例中为右侧图像）的二值化图像选出追踪的被监测对象中的一个，将其作为搜索图像R1（在此将被外接四边形所围的图像区域作为搜索图像）。在步骤S22中，在左侧图像中搜索与该搜索图像R1相同的被监测对象的图像(以下称对应图像）。具体来讲，可以在搜索图像R1与该左侧图像之间进行相关度运算。该相关度运算按照下式（1）进行。该相关度运算使用的不是二值化图像而是灰度图像。

（式1）

$C(a,b)=\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{m=0}{\overset{M-1}{\mathrm{\Σ}}}|\mathrm{IL}(a+m-M,b+n-N)-\mathrm{IR}(m,n)|---\left(1\right)$

其中，搜索图像R1具有M×N个像素数，IR（m，n）为搜索图像R1内的坐标（m，n））位置的灰度值，IL（a+m-M，b+n-N）为以左侧图像内的规定坐标（a，b）为原点的与搜索图像R1的形状相同的局部区域内的坐标（m，n）位置的灰度值。通过改变原点的坐标（a，b）而求出灰度差分总和值C（a，b）为最小的位置以确定对应图像的位置。

此外，作为上述相关度运算的替代方法，也可以在左侧图像中预先设定应搜索的区域，在搜索图像R1与该区域之间进行相关度运算。

在步骤S23中，求出搜索图像R1的重心位置与拍摄图像的图像中心线（将拍摄图像在x方向上平分的线）LCTR的距离dR（像素数）和对应图像的重心位置与图像中心线LCTR的距离dL（像素数），利用式（2）计算车辆10到被监测对象的距离z。

（式2）

$z=\frac{B\×F}{(\mathrm{dL}+\mathrm{dR})\×p}=\frac{B\×F}{\mathrm{\Δd}\×p}---\left(2\right)$

其中，B表示基线长、即摄像头1R的拍摄元件的中心位置与摄像头1L的拍摄元件的中心位置在x方向（水平方向）上的距离（即两个摄像头的光轴的间隔），F表示设置在摄像头1R与1L上的镜头的焦距，p表示摄像头1R与1L的拍摄元件的像素间隔。Δd（=dR+dL）表示视差的大小。

在步骤S24中，将被监测对象的位置（如上所述，本实施例中为重心G的位置）在图像内的坐标（x，y）和运用式（2）求出的距离，代入式（3）而变换为实际空间坐标（X，Y，Z）。这里，如图中（a）所示，实际空间坐标（X，Y，Z）用下述坐标系表示：以摄像头1R与1L的安装位置的中点（固定在车辆上的位置）为原点O，如图所示，以车辆10的车宽方向为x轴，车辆10的车高方向为y轴，车辆10的行进方向为z轴。如图9中（b）所示，图像上的坐标用下述坐标系表示：以图像的中心为原点，以水平方向为x轴，以垂直方向为y轴。

（式3）

$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\left[\begin{array}{c}\mathrm{xc}\×z/f\\ \mathrm{yc}\×z/f\\ z\end{array}\right]---\left(3\right)$

f＝F/p

其中，（xc，yc）为根据摄像头1R的安装位置与实际空间坐标系的原点O的相对位置关系，将右侧图像上的坐标（x，y）变换为使实际空间原点O与图像的中心重合的假想图像内的坐标。另外，f为焦距F与像素间隔p之比。

在步骤S25中，进行方位角修正处理，以修正因车辆10方位改变而带来的在图像上的错位。从时刻k到（k+1）的期间内，车辆10如果向左改变了方位角θr时，在由摄像头拍到的图像上，在x方向（正向）错开Δx。因而要对其修正。

具体而言，将实际空间坐标（X，Y，Z）代入式（4）而求出修正坐标（Xr，Yr，Zr）。使计算出的实际空间位置数据（Xr，Yr，Zr）与每个被监测对象对应并按时序存储在存储器中。另外，在以下说明中，将该修正后的坐标表示为（X，Y，Z）。

（式4）

$\left[\begin{array}{c}\mathrm{Xr}\\ \mathrm{Yr}\\ \mathrm{Zr}\end{array}\right]=\left[\begin{array}{ccc}\cos \mathrm{\θr}& 0& -\sin \mathrm{\θr}\\ 0& 1& 0\\ \sin \mathrm{\θr}& 0& \cos \mathrm{\θr}\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]---\left(4\right)$

在步骤S26中，针对同一被监测对象计算近似直线LMV。具体为，由在ΔT的期间内得到的修正方位角后的N个实际空间位置数据（例如N=10左右），即时序数据，求出被监测对象相对于车辆10的相对移动矢量，其对应于上述近似直线LMV。具体来讲，使表示近似直线LMV的方向的方向矢量L=（lx，ly，lz）（|L|=1），求出式（5）所示的直线。

（式5）

X＝u·lx+Xav

Y＝u·ly+Yav    (5)

Z＝u·lz+Zav

$\mathrm{Xav}=\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}X\left(j\right)/N$

$\mathrm{Yav}=\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}Y\left(j\right)/N$

$\mathrm{Zav}=\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}Z\left(j\right)/N$

其中，u为可取任意值的参变量。Xav、Yav与Zav分别为实际空间位置数据列的X坐标平均值、Y坐标平均值、Z坐标平均值。当消去参变量u时，则式（5）变为下式（5a）。

（X-Xav）/lx=（Y-Yav）/ly=（Z-Zav）/lz              （5a）

图10为用于说明近似直线LMV的图。P（0）、P（1）、P（2）、···、P（N-2）、P（N-1）表示修正方位角后的时序数据，近似直线LMV为穿过上述时序数据的位置平均坐标Pav（=（Xav，Yav，Zav））的、到各数据点的距离的平方值最小的直线。其中，表示各数据点的坐标的P所附带的括号中的数值越大越表示是过去的数据，例如P（0）表示最新的位置坐标，P（1）表示一个采样周期前的位置坐标，P（2）表示两个采样周期前的坐标。下面说明的X（j）、Y（j）、Z（j）等也与此相同。另外，关于计算近似直线LMV的更详细的方法，记载在日本发明专利公开公报特开2001-6096中。

然后，将最新的位置坐标P（0）=（X（0），Y（0），Z（0））、N-1个采样周期前（即时间ΔT之前）的位置坐标P（N-1）=（X（N-1），Y（N-1），Z（N-1））修正为近似直线LMV上的位置。具体而言，将Z坐标Z（0）与Z（n-1）代入式（5a）中得到式（6），根据式（6）求出修正后的位置坐标Pv（0）=（Xv（0），Yv（0），Zv（0））和Pv（N-1）=（Xv（N-1），Yv（N-1），Zv（N-1））。

（式6）

$\mathrm{Xv}\left(j\right)=(Z\left(j\right)-\mathrm{Zav})\×\frac{1x}{1z}+\mathrm{Xav}$

$\mathrm{Yv}\left(j\right)=(Z\left(j\right)-\mathrm{Zav})\×\frac{1y}{1z}+\mathrm{Yav}---\left(6\right)$

Zv(j)＝Z(j)

j＝0，N-1

将通过式（6）计算出的位置坐标Pv（N-1）到Pv（0）的矢量作为相对移动矢量而求出。

这样，由在监测时间ΔT内的多个（N个）数据求出与被监测对象相对于车辆的相对移动轨迹近似的近似直线LMV而求出相对移动矢量，从而能够降低位置检测误差的影响，更准确地预测该车辆与被监测对象发生碰撞的可能性。

接下来，在步骤S27中，利用上述相对移动矢量进行警报判定。

图11表示在步骤S27中执行的警报判定处理的流程图。

在步骤S41中，判断采用上述方法从拍摄图像中抽出的已经求出相对移动矢量的被监测对象的数量是否多于规定数量（例如为1）。如果判断结果为否，在步骤S42中，以上述第1方式发出警报。即，将在步骤S13获得的灰度图像显示在显示装置4上，通过对其中的各个该被监测对象的位置进行个别突出显示以实现发出警报。

在步骤S41中，如果被监测对象的数量多于规定数量，执行步骤S43以下的处理，从这些被监测对象中判定应发出警报的优先度最高的被监测对象。首先，在步骤S43中，对于各个被监测对象，对比该被监测对象到达车辆的到达时间TTC和规定数值TTC_TH。

由于已经求出被监测对象的相对移动矢量，所以如式（7）所示，利用其Zv值计算被监测对象相对于本车辆的在Z方向上的相对速度Vs。如式（8）所示，利用该相对速度Vs计算到达时间TTC，判断其是否在式（9）所示的规定数值TTC_TH（例如为2~5秒）。

Vs=（Zv（N-1）―Zv（0））/ΔT      式（7）

TTC=Zv（0）/Vs                     式（8）

TTC≤TTC_TH                        式（9）

其中，其中，Zv（0）为最新的距离检测值（标注v的目的是表示该距离检测值是由近似直线LMV修正后的数据，但Z坐标与修正前的数值相同），Zv（N-1）为时间ΔT前的距离检测值。这样，对于各个被监测对象，能判断其能否在规定时间TTC_TH以内在Z方向上到达本车辆。

另外，在该实施例中，图4所示的区域AR1~AR3的规定距离Z1对应于Vs×TTC_TH。因此满足式（9）的被监测对象就是存在于区域AR1~AR3内的被监测对象。

如果没有能满足式（9）的被监测对象，由于表示不存在能在规定时间TTC_TH以内在Z方向上到达本车辆的被监测对象，所以在步骤S43中判断为否。进入步骤S44，判定为没有优先度较高的被监测对象。这时，进入步骤S45，禁止发出警报，即不发出警报，进行将在步骤S13获得的灰度图像输出给显示装置4的通常显示处理。

即使存在1个能满足式（9）的被监测对象，在步骤S43中判断为是。进入步骤S46，对于满足式（9）的各个被监测对象，判断其移动方向是否朝向本车辆。进行该判断时利用该被监测对象的相对移动矢量的Xv值。如上所述，相对移动矢量表示在ΔT期间内在X方向上从Xv（N-1）移动到Xv（0）。另外，如图9所示，X坐标值以本车辆的位置为原点。因此，如果Xv（0）的绝对值小于X（N-1）的绝对值就判断为朝向本车辆移动，如果Xv（0）的绝对值小于X（N-1）的绝对值则判断为未朝向本车辆移动。这样对于各个被监测对象，能判断其在X方向上是否朝向本车辆移动。

如果至少存在1个被判断为朝向本车辆移动的被监测对象，进入步骤S48，对于被判断为朝向本车辆移动的该被监测对象，判定为其优先度较高。对于没有被判断为朝向本车辆移动的各个被监测对象，进一步进行步骤S47中的判断，判断该被监测对象的Xv（0）是否位于以本车辆为中心的规定范围（X_TH1~X_TH2）内。

若X_TH1＜Xv（0）＜X_TH2成立，表示被监测对象虽然没有朝向本车辆移动，但是如果仍旧存在于那里则有与本车辆产生碰撞的可能性。因此，如果至少存在1个X_TH1＜Xv（0）＜X_TH2成立的被监测对象，进入步骤S48，对于该被监测对象判定为其优先度较高。如果不存在X_TH1＜Xv（0）＜X_TH2成立的被监测对象，进入步骤S44，判定为不存在优先度较高的被监测对象。

这样，在步骤S48中，对于到达时间TTC在规定数值以下而且朝向本车辆移动的被监测对象，以及到达时间TTC在规定数值以下而且位于以本车辆为中心的车宽方向上的规定范围内的被监测对象，判定为具有较高的优先度。

如果存在多个在步骤S48中被判定为优先度较高的被监测对象，在步骤S49中，确定其中优先度最高的被监测对象。其目的在于确定最应引起驾驶员注意的被监测对象，其方法可以利用任意的合适的方法。

例如对于多个被监测对象，以到达时间TTC和最小的X值、即Xv（0）为参数，用该参数表示产生碰撞的可能性的大小。例如可将参数TTC值与参数Xv（0）的绝对值相乘而得之积作为表示产生碰撞的可能性大小的指标。由于到达时间TTC越小或者Xv（0）的绝对值越小产生碰撞的可能性变得越大，所以该积越小表示产生碰撞的可能性大小越大。因此将积最小的被监测对象判定为优先度最高的被监测对象。

还能够以到达时间TTC、Xv（0）、X方向上的速度为参数来表示产生碰撞的可能性的大小。可由算式（Xv（N-1）-Xv（0））/ΔT求出X方向上的速度Xs。由于X方向上的速度Xs越大表示产生碰撞的可能性大小越大，所以能够这样判定优先度最高的被监测对象：例如将参数TTC值、参数Xv（0）的绝对值、X方向上的速度Xs的倒数相乘，以求出表示产生碰撞的可能性大小的数值，将该积最小的被监测对象判定为优先度最高的被监测对象。

另外，在判断产生碰撞的可能性大小时，可利用上述到达时间TTC、Xv（0）、X方向上的速度中的任意一个，还有，也可以使用其他参数（例如被监测对象在Z方向上的位置Zv（0））来代替上述参数，或者代替上述参数中的某几个。

在此，作为一个例子来参照图12，其表示多个被监测对象151~154存在于车辆10的拍摄范围AR0内的状态。附在被监测对象上的箭头表示该被监测对象的相对移动矢量。假设这些被监测对象151~154都满足到达时间TTC小于规定数值TTC_TH的条件。在该例子中，图中经过X轴上的X_TH1的线和经过X_TH2的线之间的区域对应于图4中的接近判定区域AR1，表示车辆10的行进路径的区域。

由其相对移动矢量的方向可知，被监测对象151~153在X方向上朝向本车辆移动。因此对于这些被监测对象，在步骤S46中判断为是。另外，虽然被监测对象154未在X方向上朝向本车辆移动，但是根据步骤S47，判断为存在于规定范围X_TH1~X_TH2内。因此所有被监测对象151~154都被判定为优先度较高的被监测对象。

如上所述，从这些被监测对象151~154中判定优先度最高的被监测对象。如上所述，例如能够以到达时间TTC和Xv（0）的绝对值为参数，对各个被监测对象，求出用于表示产生碰撞的可能性大小的数值，将具有产生碰撞的可能性大小最大数值的被监测对象判定为优先度最高的被监测对象。

返回图11，这样确定了优先度最高的被监测对象之后，进入步骤S50，以第2方式发出警报。具体来讲，既将灰度图像显示在显示装置4上，还只对该图像中被确定为优先度最高的被监测对象的位置进行突出显示。这样对所显示的整个图像进行一个突出显示。

即使存在多个被监测对象，由于只对判定为优先度最高的、即最应引起驾驶员注意的被监测对象进行突出显示。因此与对多个被监测对象分别进行个别突出显示的显示方式相比，前者为驾驶员更容易看清并易于判断的显示方式。驾驶员能在短时间内判断出最应注意的被监测对象。

图13是根据图11的程序大致按时间顺序在显示装置4上显示的画面的一个例子。由线161和线162围起来的区域与步骤S47和图12中所示的表示X_TH1和X_TH2的线分别对应。另外，步骤S41中“规定数量”为数值1。

在图13中（a）的时刻t1，由于检测出的行人171的数量为1个，所以在步骤S41中判断为否而按第1方式发出警报。因此，通过用框对该行人的位置进行突出显示而发出警报。

之后在图13中（b）的时刻t2，由于检测出的行人172~175的数量为4个，所以按第2方式发出警报。这里，将行人172~175视作与图12中的被监测对象151~154分别对应。如参照图12所说明的那样，虽然判定所有行人172~175都具有较高的优先度，但将其中的1个行人确定为具有最高优先度的被监测对象，这样，只对行人172的位置用框进行突出显示。

另外，也可使图13中（a）的第1方式使用的框和图13中（b）的第2方式使用的框在颜色和形状等方面不同。例如与第1方式使用的框相比，可使第2方式使用的框具有能使驾驶员引起注意的颜色和形状。例如可用由红色细线构成的框表示前者而用由红色粗线构成的框表示后者，还可用点亮的红色线构成的框表示前者而用闪灭的红色线构成的框表示后者。

另外，在本实施方式中，通过对作为警报对象的被监测对象加框的方法进行突出显示，但是也可以采用不同于框的方式发出警报。例如，可将像图标似的其他规定的图像重叠显示在该被监测对象的位置上而进行突出显示。

还有，也可以组合图7中的整体性突出显示方法。例如在步骤S50中按第2方式发出警报时，既对优先度最高的被监测对象进行突出显示，还显示图7中（a）的外框131并使其点亮或闪灭，另外还可以像图7中（b）那样，降低优先度最高的被监测对象以外的区域的灰度。采用后者时，通过降低优先度最高的被监测对象以外的区域的灰度，能够以较高的对比度来显示图像，能够使驾驶员更加对该优先度最高的被监测对象引起注意。

另外，也可部分组合第1和第2实施方式。例如在第2实施方式中，在图10的步骤S41为否（即被监测对象少于规定数量）时，判断该被监测对象是否存在于第1实施方式中所述的规定警报范围内。若存在于该警报范围内，像图3中步骤S34所述的那样以第1方式发出警报。还有，在图10的步骤S41为是（即被监测对象多于规定数量），但是像步骤S44那样判定为没有优先度较高的被监测对象时，判断该被监测对象是否存在于规定警报范围内。若存在于该警报范围内，像图3中步骤S35所述的那样，通过图5中（b）或图7所示的图标图像进行一个突出显示而以第2方式发出警报。步骤S41为是而且判定为存在优先度较高的被监测对象时，在图10的步骤S50中，通过像图12中（b）那样只对优先度最高的被监测对象进行一个突出显示而以第2方式发出警报。

在上述所有实施方式中，通过将上述“规定数量”设定为数值1，以使所显示的图像中的突出显示始终为1处。因此驾驶员能在短时间内确认所显示的图像中所示的警报内容。虽然该规定数量并不局限于1，但是优选预先了解到进行若干个突出显示时画面变得不易看清，将其数量设定为比开始感到不易看清的突出显示数量小的数值。

另外，在上述实施方式中，显示装置4利用了导航装置的显示装置。在本发明中，由于采用驾驶员能在短时间内进行判断的显示方式，所以即使利用配置在驾驶员左侧或右侧的显示装置，也能提示被监测对象的存在且能避免对驾驶操作的影响。但也可以使用其他显示装置，还可以将本发明申请中的显示方式应用于像现有技术中那样的平视显示器中。

另外，虽未进行图示，在图3和图10的程序中发出警报时，还可使警报声通过扬声器3而发出。可采用任意的警报声，可以只是像蜂鸣器那样的声音，也可以是某种提示音。

还有，上述实施方式中使用了远红外线摄像头，但是本发明申请也适用于其他摄像头（例如可见光摄像头）。

以上说明了本发明的特定实施方式，但本发明申请并不局限于上述实施方式。

【附图标记说明】

1R、1L，红外线摄像头（拍摄机构）；2，图像处理单元；3，扬声器；4，显示装置

Claims (4)

1.一种车辆周围监测装置，具有：

拍摄机构，其搭载在车辆上，用于拍摄该车辆周围的情况；

检测机构，根据上述拍摄机构拍到的图像，由该检测机构检测出上述车辆周围的被监测对象；

显示机构，由其将拍到的上述图像显示在显示装置上；

警报机构，如果存在被检测出的上述被监测对象，通过其在所显示的上述图像上进行警报显示而向驾驶员发出警报，

上述车辆周围监测装置的特征在于，

上述警报机构发出警报的方式为：

若被上述检测机构同时检测出的被监测对象的数量在规定数值以下，进行第1方式的警报显示，即对各个上述被监测对象的所在位置进行突出显示；

若被上述检测机构同时检测出的被监测对象的数量多于上述规定数值，不进行上述第1方式的警报显示而进行第2方式的警报显示，即在所拍到的图像上进行重叠显示，以对所显示的整个上述图像进行一个规定的突出显示。

2.根据权利要求1所述的车辆周围监测装置，其特征在于，

上述警报机构还以下述方式进行上述第2方式的突出显示，即若被上述检测机构同时检测出的被监测对象的数量多于上述规定数值，在所显示的上述图像内的规定位置使规定的图像进行重叠显示。

3.根据权利要求1所述的车辆周围监测装置，其特征在于，

上述警报机构还以下述方式进行上述第2方式的突出显示，如果被上述检测机构同时检测出的被监测对象的数量多于上述规定数值，对于多于该规定数值的所有被监测对象判定发出警报的优先度，只对判定为优先度最高的被监测对象所在的位置进行突出显示，

各个上述被监测对象的优先度基于相对于上述车辆产生碰撞的可能性的程度进行确定，上述碰撞的可能性的程度根据对应的上述被监测对象相对于上述车辆的相对位置、相对速度、以及相对移动方向计算得出。

4.根据权利要求1～3的任意一项所述的车辆周围监测装置，其特征在于，

上述显示装置为汽车导航装置的显示装置。