CN102632839B - 一种基于后视图像认知的车载盲区预警系统及方法 - Google Patents

Abstract

本发明公开了一种基于后视图像认知的车载盲区预警系统及方法，其实现系统由安装在后视镜处监控盲区的摄像头(1)和(2)、一台数字信号处理器(DSP)、语音提示器和电源以及若干条数据线组成。系统通过数据线读取车辆行驶信号，采用后视摄像头采集盲区路面图像(4)和(5)，由该处理器进行图像处理，检测盲区车辆(3)，分析车辆行驶状态，实现车辆分段跟踪，当驾驶员有切道倾向时，若有处于所在盲区内的非远离车辆，则通过语音提示器向驾驶员报警，从而避免切道碰撞危险。本发明面向车辆主动安全驾驶，具有系统配置简单、价格成本低、安全性能高、实时性好、适应复杂环境的优点。

Description

一种基于后视图像认知的车载盲区预警系统及方法

技术领域

本发明涉及盲区监测技术与切道预警技术，属于汽车主动安全驾驶领域，具体说来包括车辆后视图像的获取、预处理，盲区车辆检测与跟踪算法以及切道危险预警的实现。

背景技术

在社会进步和经济发展的推动下，汽车在人们日常生活中正扮演着越来越重要的角色。由于汽车数量的急剧增长，汽车安全驾驶成为了世界性的问题，对于驾驶员在变更车道时对车道场景以及超车场景信息的获取，目前驾驶员只是依赖于对后视镜的观测，由于后视镜存在盲区，会给对后视车辆的判断错误从而带来不安全的因素。据统计，由于后视镜盲区造成交通的事故在中国约占30％，在美国约占20％，且70％高速公路变换车道发生的交通事故是后视镜盲区引起的，因此，研究汽车后视镜盲区车辆探测的方法，提高行车安全具有十分重要的意义。

目前，在国内外车辆安全研究领域中，对于侧后方盲区内车辆的检测以及盲区危险预警技术还处于起步阶段，而且绝大多数是采用非图像处理技术来实现的。例如：在已知的现有技术中，涉及到后视镜侧后方盲区内车辆的检测技术有：专利号为ZL200810025034.0、名称为“一种车辆盲区检测、报警装置及其探测、报警方法”的发明专利，其技术方案是采用红外探头作为车辆盲区探测装置，探测区域覆盖A柱盲区和车辆侧后部盲区，在探测到盲区车辆时给予驾驶员足够的警示信息以保障行车安全。另有一个公开号为CN101303735A、名称为“探测车辆盲点区域内运动物体的方法及盲点探测装置”的发明申请，其技术方案采用图像处理技术，但是主要采用将图像分块并检查运动物体流动性的方法。

由于红外探头的容易受各种热源、光源干扰的缺点，会带来误检测和探测下降甚至失灵的问题，与之相比，视觉传感器具有探测范围宽、目标信息完整、成本低廉、符合人的认知习惯等优势，特别是对交通标记、交通信号的探测方面，具有其它传感器无法比拟的优势；此外，视觉传感器属于被动型传感器，具有无信号污染的本质优点。从目前来看，虽然视觉传感器在环境恶劣情况下(比如大雨、大雾等)的鲁棒性还不够高，但如果把它作为辅助驾驶系统的传感器，或是作为多种信息感知传感器中主要的一种，则是完全可以满足车辆主动导航需要的；而从长远的角度来看，随着计算机图像处理能力和技术的提高，视觉传感器必将具有更加广阔的应用前景。

在图像处理技术方面，由于车辆并不完全在背景简单的高速公路路面行驶，可能随时有栏杆、绿化带等非车辆障碍物处于盲区图像中，因此单纯地侦测是否有运动物体存在，而不进行目标模式分析，是无法应用于复杂的路面环境的。而且，就驾驶员而言，如果是本车进行超车动作，加速超越相邻车道的车辆，是不希望听到报警器没头脑地乱报警的。此时，对后方车辆的行为模式分析，也至关紧要。

发明内容

有鉴于此，本发明的主要目的在于提供一种基于后视图像认知的车载盲区预警系统及方法，通过对侦测到的运动物体进行目标模式分析，将其应用于复杂的路面环境，以避免切道碰撞的危险。

为达到上述目的，本发明的技术方案是这样实现的：

一种基于后视图像认知的车载盲区预警系统，该系统主要由安装在后视镜处监控盲区的后视摄像头1和后视摄像头2、一台数字信号处理器DSP、语音提示器和电源以及若干条数据线组成；其中：

所述后视摄像头1和后视摄像头2用于采集盲区路面4和5处的图像，所述的后视摄像头的采集功能开关，由该车辆的车速信号控制；

所述DSP，用于对所述摄像头1和2采集的图像进行处理，以检测所述盲区路面的车辆以及分析所述车辆的行驶状态，实现车辆分段跟踪；

所述语音提示器，用于当驾驶员有切道倾向时，如果有处于所在盲区内的非远离车辆，则向驾驶员报警，以避免切道碰撞；所述的语音提示器的预警开关，由该车辆的转向灯信号控制。

其中，所述DSP为TI TMS320DM6437。

一种基于后视图像认知的车载盲区预警方法，包括以下步骤：

A、图像信息获取过程：通过数据线读取车辆行驶信号，其中，车速信号控制两个后视摄像头采集功能的开关，转向灯信号控制该车辆语音提示器的预警开关；当车速达到阈值Vm时，通过所述两个后视摄像头采集盲区路面图像；

B、车辆检测过程：由DSP进行图像处理，检测盲区车辆；

C、车辆跟踪过程：将车辆行驶状态分为远离状态、接近状态、超车状态三类，并根据车辆不同状态实现车辆分段跟踪，分为常规跟踪与超车跟踪；及

D、危险预警过程：根据转向灯信号，当驾驶员有切道倾向时，如有处于所盲区内的接近车辆，则通过语音提示器向驾驶员报警，从而避免切道碰撞危险。

其中，步骤A所述图像信息获取过程，具体包括：

A1、摄像机标定：对后视摄像头进行标定，获取摄像头的外部参数与内部参数；所述外部参数包括摄像头相对地面的高度H、摄像头相对车轮外侧的距离V、摄像机的俯视角摄像机相对侧边车身的偏离角θ；所述内部参数包括焦距f、视场角σ和光圈F；

A2、图像采集：当车速达到一定数值Vm时，认为车辆已处于正常行驶状态，开启后视摄像头的采集功能，从而获取盲区图像；

A3、图像预处理：将所获得盲区图像传予DSP开始数据分析；

A4、盲区定位：根据标定参数，将车辆后方长Lb、宽Wb的区域，转化到盲区图像中，作为盲区定位以及车辆进入盲区判定标准。

步骤B所述车辆检测过程，具体包括：

B1、车辆初步定位：对盲区图像以自适应性灰度阈值Tg进行二值分割，分离路面与车辆信息，并作为车辆初步定位依据；

B2、车辆检测：提取定位目标区域图像的特征向量，将图像的特征向量作为车辆识别模型的输入参数，通过一系列车辆特征样本模型的相关性比较，判断其是否为车辆，若车辆目标检测成功，进一步寻找车辆边缘特征使得目标准确框定；

B3车距计算：根据摄像机标定参数，得出图像坐标系与世界坐标系的转换关系，将目标车辆在图像中所在位置转换到世界坐标系中，从而计算出目标车辆与本车间的相对距离。

步骤C所述车辆跟踪过程中状态判定与分段跟踪过程，具体包括：

C1、车辆跟踪初定位：在车辆检测成功后，进入车辆常规跟踪阶段，进行图像二值分割；

C2、车辆常规跟踪。根据上帧车辆在图像中的位置，在其附近选定Ns个跟踪框，作为车辆可能移动到达的目标定位区域，再分别提取定位目标区域的图像的特征向量，将图像的特征向量作为车辆识别模型的输入参数，通过一系列车辆特征样本模型的相关性比较，再选取特征向量相关性R最大的依据点max(Ri)作为跟踪目标；若跟踪目标的相关性不足阈值Tr或者目标尺寸过小，判定为跟踪结束；

C3、对已跟踪成功车辆进行测距：根据摄像机标定参数，得出图像坐标系与世界坐标系的转换关系，将目标车辆在图像中所在位置转换到世界坐标系中，从而计算出目标车辆与本车间的相对距离；

C4、车辆状态判断：根据帧间车辆距离的变化，判定车辆处于远离状态或是接近状态，如果车距在最近Nr帧内连续减少，则判定为接近；如果车距连续增加，则判定为远离；如果都不是，保持之前所判定的状态结果；

C5、如果车辆处于远离状态，返回步骤C1继续跟踪车辆，否则执行步骤C6；

C6、车辆处于接近状态时，如果目标车辆在盲区内，设置当前帧图像为危险状态，并执行步骤C7；否则执行步骤C1继续跟踪车辆；

C7、判定车辆是否过近，当车距小于Dp时，判定车辆进入超车状态跟踪阶段，执行步骤C8，否则执行步骤C1；

C8、超车状态跟踪，当盲区车辆过近时由于车体畸变，造成车辆特征向量信息不完全可靠，在此转入车辆超车跟踪，主要进行车尾寻找与定位，当车尾距离小于Dr时，判定车辆超车成功，结束跟踪，并设置图像为安全状态，返回步骤C1进行车辆检测；而当车尾距离大于Dr时，判定车辆仍处于超车状态，重复执行步骤C8直到车辆超车完成。

步骤D所述危险预警过程，具体包括：

D1、检查车辆转向灯信号，当转向灯打开时，判断该侧图像是否处于危险状态，若是危险状态则执行步骤D2，否则执行步骤D3；

D2、图像处于危险状态，判定预切道方向的盲区内有车辆接近，此时不宜切换车道，打开语音提示器向驾驶员发出警报；

D3、图像处于安全状态，判定预切道方向的盲区内没有接近车辆，或者盲区内，此时切道安全，或者是盲区内车辆已离开，关闭语音提示器的警报。

本发明所提供的基于后视图像认知的车载盲区预警系统及方法，与现有技术相比具有以下显著优点：(1)以图像技术完整地实现了盲区预警方法；(2)设备成本低，能源消耗小，不会造成环境污染；(3)采用车辆模式分析的方法来检测与跟踪车辆，并滤除非车辆目标以避免误警；(4)提出分段跟踪的方案，实现盲区车辆全程跟踪；(5)更考虑到驾驶员习惯，减少不必要的报警；(6)适应复杂路面环境的需要，可以适用于各种路面情况；(7)系统保持实时性。

附图说明

图1是本发明一种基于后视图像认知的车载盲区预警系统的功能介绍图；

图2是本发明一种基于后视图像认知的车载盲区预警系统的车载后视摄像头外部参数示意图；

图3是本发明一种基于后视图像认知的车载盲区预警方法的技术流程图。

具体实施方式

下面结合附图及本发明的实施例对本发明的系统及方法作进一步详细的说明。

本发明的系统由安装在后视镜处监控盲区的摄像头1和2、一台数字信号处理器(DSP)、语音提示器和电源以及若干条数据线组成。系统通过数据线读取车辆行驶信号，采用后视摄像头采集盲区路面4和5处的图像，由该处理器进行图像处理，检测盲区车辆3，分析车辆行驶状态(如，远离状态、接近状态、超车状态)，实现车辆分段跟踪(如，常规跟踪、超车跟踪)，当驾驶员有切道倾向时，若有处于所在盲区内的非远离车辆，则通过语音提示器向驾驶员报警，从而避免切道碰撞危险。这里，所述数字信号处理器，可以采用TITMS320DM6437达芬奇DSP处理器。

如图1所示，当车辆后视镜处安装的两个后视摄像头1和2监测盲区路面4和5处时，若盲区有车辆3接近时可以及时检测并跟踪，即可实现自动预警的目的。

如图3所示为本发明的车载盲区预警方法的技术流程图，包括如下步骤：

步骤31：车辆信息获取过程，具体包括：

步骤311、摄像机标定：对后视摄像头进行标定，获取摄像头的外部参数与内部参数。摄像头的外部参数包括摄像头相对地面的高度H、摄像头相对车轮外侧的距离V、摄像机的俯视角摄像机相对侧边车身的偏离角θ等；其内部参数包括焦距f、视场角σ、光圈F等，如图2所示；

步骤312、车辆信号的获取：通过数据线将数字信号处理器(DSP)与车辆控制总线相连，以获取转向灯信号、车速信号等信息。其中，车速信号控制着后视摄像头采集功能的开关，如步骤313所述；转向灯信号控制着语音提示器的预警开关，如步骤341所述；

步骤313、图像采集：当车速达到一定数值Vm时，认为车辆已处于正常行驶状态，开启后视摄像头的采集功能，从而获取盲区图像，再交由DSP开始进行数据分析；

步骤314、盲区定位：根据标定参数，将车辆后方长Lb、宽Wb的区域，转化到盲区图像中，作为盲区定位以及车辆进入盲区判定标准。

步骤32：车辆检测过程，具体包括：

步骤321、车辆初步定位：对盲区图像以自适应性灰度阈值Tg进行二值分割，分离路面与车辆信息，并以之作为车辆初步定位依据；

步骤322、车辆检测：提取定位目标区域图像的特征向量，将图像的特征向量作为车辆识别模型的输入参数，通过一系列车辆特征样本模型的相关性比较，判断其是否为车辆，如若车辆目标检测成功，进一步寻找车辆边缘特征使得目标准确框定；

步骤323、车距计算：根据摄像机标定参数，得出图像坐标系与世界坐标系的转换关系，将目标车辆在图像中所在位置转换到世界坐标系中，从而计算出目标车辆与本车间的相对距离。

步骤33：车辆跟踪过程，具体包括：

步骤331、车辆跟踪初定位：在车辆检测成功后，进入车辆常规跟踪阶段，进行图像二值分割；

步骤332、车辆常规跟踪。根据上帧车辆在图像中的位置，在其附近选定Ns个跟踪框，作为车辆可能移动到达的目标定位区域，再分别提取定位目标区域的图像的特征向量，将图像的特征向量作为车辆识别模型的输入参数，通过一系列车辆特征样本模型的相关性比较，再选取特征向量相关性R最大的依据点max(Ri)作为跟踪目标；若跟踪目标的相关性不足阈值Tr或者目标尺寸过小，判定为跟踪结束，返回步骤321重新车辆检测；

步骤333、车辆跟踪测距：同步骤323，进行跟踪车辆距离计算，即根据摄像机标定参数，得出图像坐标系与世界坐标系的转换关系，将目标车辆在图像中所在位置转换到世界坐标系中，从而计算出目标车辆与本车间的相对距离；

步骤334、车辆状态判断：根据帧间车辆距离的变化，判定车辆处于远离状态或是接近状态，如果车距在最近Nr帧内连续减少，则判定为接近；如果车距连续增加，则判定为远离；如果都不是，保持之前所判定的状态结果；

步骤335如果车辆处于远离状态，回到步骤331继续跟踪车辆，否则执行步骤336；

步骤336车辆处于接近状态，结合步骤315所指定盲区定位，如果目标车辆在盲区内，设置当前帧图像为危险状态，并执行步骤337；否则执行步骤331继续跟踪车辆；

步骤337判定车辆是否过近，当车距小于Dp时，判定车辆进入超车状态跟踪阶段，执行步骤338，否则执行步骤331；

步骤338超车状态跟踪。当盲区车辆过近时由于车体畸变，造成车辆特征向量信息不完全可靠，在此转入车辆超车跟踪，主要进行车尾寻找与定位，当车尾距离小于Dr时，判定车辆超车成功，结束跟踪，并设置图像为安全状态，返回步骤331进行车辆检测；而当车尾距离大于Dr时，判定车辆仍处于超车状态，重复执行步骤338直到车辆超车完成。

步骤34：危险预警，具体包括：

步骤341根据步骤312所获得的车辆转向灯信号，当转向灯打开时，判断该侧图像是否处于危险状态，危险状态则执行步骤342，否则执行步骤343；

步骤342图像处于危险状态下，判定预切道方向的盲区内有车辆接近，此时不宜切换车道，打开语音提示器向驾驶员发出警报；

步骤343图像处于安全状态下，判定预切道方向的盲区内没有接近车辆，或者盲区内，此时切道安全，或者是盲区内车辆已离开，关闭语音提示器的警报。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (1)

1.一种基于后视图像认知的车载盲区预警系统，其特征在于，该系统主要由安装在后视镜处监控盲区的第一后视摄像头（1）和第二后视摄像头（2）、一台数字信号处理器DSP、语音提示器和电源以及若干条数据线组成；其中：

所述第一后视摄像头（1）和第二后视摄像头（2）用于采集第一盲区路面（4）和第二盲区路面（5）处的图像，所述的后视摄像头的采集功能开关，由车辆的车速信号控制；

所述DSP，用于对所述第一后视摄像头（1）和第二后视摄像头（2）采集的图像进行处理，以检测盲区路面的车辆以及分析所述车辆的行驶状态，实现车辆分段跟踪，对处于盲区路面的非远离车辆进行提示，从而实现盲区预警；以及滤除非车辆目标避免误告警；所述DSP执行以下过程进行图像处理以检测盲区车辆，具体为：先对车辆进行初步定位：对盲区图像以自适应性灰度阈值Tg进行二值分割，分离路面与车辆信息，并作为车辆初步定位依据；然后进行车辆检测：提取定位目标区域图像的特征向量，将图像的特征向量作为车辆识别模型的输入参数，通过一系列车辆特征样本模型的相关性比较，判断其是否为车辆，若车辆目标检测成功，进一步寻找车辆边缘特征使得目标准确框定；最后进行车距计算：根据摄像机标定参数，得出图像坐标系与世界坐标系的转换关系，将目标车辆在图像中所在位置转换到世界坐标系中，从而计算出目标车辆与本车间的相对距离；

所述语音提示器，用于当驾驶员有切道倾向时，如果有处于所在盲区内的非远离车辆，则向驾驶员报警，以避免切道碰撞；所述的语音提示器的预警开关，由该车辆的转向灯信号控制。

2.根据权利要求1所述的后视图像认知的车载盲区预警系统，其特征在于，所述DSP为TI TMS320DM6437。

3.一种基于后视图像认知的车载盲区预警方法，其特征在于，包括以下步骤：

A、图像信息获取过程：通过数据线读取车辆行驶信号，其中，车速信号控制两个后视摄像头采集功能的开关，转向灯信号控制车辆语音提示器的预警开关；当车速达到阈值Vm时，通过所述两个后视摄像头采集盲区路面图像；

B、车辆检测过程：由DSP进行图像处理，检测盲区车辆；步骤B所述车辆检测过程，具体包括：B1、车辆初步定位：对盲区图像以自适应性灰度阈值Tg进行二值分割，分离路面与车辆信息，并作为车辆初步定位依据；B2、车辆检测：提取定位目标区域图像的特征向量，将图像的特征向量作为车辆识别模型的输入参数，通过一系列车辆特征样本模型的相关性比较，判断其是否为车辆，若车辆目标检测成功，进一步寻找车辆边缘特征使得目标准确框定；B3、车距计算：根据摄像机标定参数，得出图像坐标系与世界坐标系的转换关系，将目标车辆在图像中所在位置转换到世界坐标系中，从而计算出目标车辆与本车间的相对距离；

C、车辆跟踪过程：将车辆行驶状态分为远离状态、接近状态、超车状态三类，并根据车辆不同状态实现车辆分段跟踪，分为常规跟踪与超车跟踪；及

D、危险预警过程：根据转向灯信号，当驾驶员有切道倾向时，如有处于盲区内的接近车辆，则通过语音提示器向驾驶员报警，从而避免切道碰撞危险。

4.根据权利要求3所述的基于后视图像认知的车载盲区预警方法，其特征在于，步骤A所述图像信息获取过程，具体包括：

A1、摄像机标定：对后视摄像头进行标定，获取摄像头的外部参数与内部参数；所述外部参数包括摄像头相对地面的高度H、摄像头相对车轮外侧的距离V、摄像机的俯视角φ、摄像机相对侧边车身的偏离角θ；所述内部参数包括焦距f、视场角σ和光圈F；

A2、图像采集：当车速达到一定数值Vm时，认为车辆已处于正常行驶状态，开启后视摄像头的采集功能，从而获取盲区图像；

A3、图像预处理：将所获得盲区图像传予DSP开始数据分析；

A4、盲区定位：根据标定参数，将车辆后方长Lb、宽Wb的区域，转化到盲区图像中，作为盲区定位以及车辆进入盲区判定标准。

5.根据权利要求3所述的基于后视图像认知的车载盲区预警方法，其特征在于，步骤C所述车辆跟踪过程中状态判定与分段跟踪过程，具体包括：

C1、车辆跟踪初定位：在车辆检测成功后，进入车辆常规跟踪阶段，进行图像二值分割；

C2、车辆常规跟踪：根据上帧车辆在图像中的位置，在其附近选定Ns个跟踪框，作为车辆可能移动到达的目标定位区域，再分别提取定位目标区域的图像的特征向量，将图像的特征向量作为车辆识别模型的输入参数，通过一系列车辆特征样本模型的相关性比较，再选取特征向量相关性R最大的依据点max（Ri）作为跟踪目标；若跟踪目标的相关性不足阈值Tr或者目标尺寸过小，判定为跟踪结束；

C3、对已跟踪成功车辆进行测距：根据摄像机标定参数，得出图像坐标系与世界坐标系的转换关系，将目标车辆在图像中所在位置转换到世界坐标系中，从而计算出目标车辆与本车间的相对距离；

C4、车辆状态判断：根据帧间车辆距离的变化，判定车辆处于远离状态或是接近状态，如果车距在最近Nr帧内连续减少，则判定为接近；如果车距连续增加，则判定为远离；如果都不是，保持之前所判定的状态结果；

C5、如果车辆处于远离状态，返回步骤C1继续跟踪车辆，否则执行步骤C6；

C6、车辆处于接近状态时，如果目标车辆在盲区内，设置当前帧图像为危险状态，并执行步骤C7；否则执行步骤C1继续跟踪车辆；

C7、判定车辆是否过近，当车距小于Dp时，判定车辆进入超车状态跟踪阶段，执行步骤C8，否则执行步骤C1；

C8、超车状态跟踪，当盲区车辆过近时由于车体畸变，造成车辆特征向量信息不完全可靠，在此转入车辆超车跟踪，主要进行车尾寻找与定位，当车尾距离小于Dr时，判定车辆超车成功，结束跟踪，并设置图像为安全状态，返回步骤C1进行车辆检测；而当车尾距离大于Dr时，判定车辆仍处于超车状态，重复执行步骤C8直到车辆超车完成。

6.根据权利要求3所述的基于后视图像认知的车载盲区预警方法，其特征在于，步骤D所述危险预警过程，具体包括：

D1、检查车辆转向灯信号，当转向灯打开时，判断该侧图像是否处于危险状态，若是危险状态则执行步骤D2，否则执行步骤D3；

D2、图像处于危险状态，判定预切道方向的盲区内有车辆接近，此时不宜切换车道，打开语音提示器向驾驶员发出警报；

D3、图像处于安全状态，判定预切道方向的盲区内没有接近车辆，或者盲区内，此时切道安全，或者是盲区内车辆已离开，关闭语音提示器的警报。