CN102910130A

CN102910130A - 一种现实增强型的驾驶辅助预警系统

Info

Publication number: CN102910130A
Application number: CN2012104119769A
Authority: CN
Inventors: 李家文; 周也宁; 张伟; 成波
Original assignee: Zhejiang University of Technology ZJUT
Current assignee: Zhejiang University of Technology ZJUT
Priority date: 2012-10-24
Filing date: 2012-10-24
Publication date: 2013-02-06
Anticipated expiration: 2032-10-24
Also published as: CN102910130B

Abstract

一种现实增强型的驾驶辅助预警系统，包括车载摄像头单元、中央处理器单元和抬头显示单元，其中，车载摄像头单元包括一个用于拍摄前方道路情况前视摄像头和两个用于拍摄驾驶员的头部信息的面部摄像头，其中前视摄像头安置于中后视镜的前方；面部摄像头相对称的内置于仪表盘的中间，三个摄像头与所述中央处理器单元连接；中央处理器单元，用以根据前视摄像头的具体图像内容对外界危险因素的具体位置进行识别，并在图像中的位置进行标识；抬头显示单元安置于方向盘的前方和前挡风玻璃的下方，用以在接收到预警命令之后，将修正的标识信息结合报警提示图案投射到前挡风玻璃上。本发明有效防止驾驶员注意力分散、提高预警效果。

Description

一种现实增强型的驾驶辅助预警系统

技术领域

本发明涉及一种驾驶辅助预警系统。

背景技术

随着对汽车安全性能的关注，诸如前向避撞预警系统，车道偏离预警系统等各种驾驶辅助预警系统得到了越来越多的应用，这些预警系统能够在碰撞、或者偏离车道等危险驾驶状况发生之前给予驾驶员相应的警告或者提示信息，从而避免事故的发生。但对于目前的驾驶辅助预警系统而言，其在预警时存在着两方面的问题。其一，这些预警信号大都布置在仪表盘上，这在对仪表盘的必要空间造成负担的同时，还需要驾驶员转移视线对其报警内容进行察看，容易分散驾驶员的注意力，从而造成新的安全隐患。其二，目前常用预警系统的预警信息类似，容易造成驾驶员的误解和混淆，因为驾驶员在驾驶过程中需要根据当前的驾驶环境加工和分析其所处的驾驶状态，这是一种复杂的信息处理过程，对于经验尚浅的驾驶员而言，普通的报警图案以及诸如“滴滴”、“嘟嘟”等预警声不足以让其快速有效的理解当前的危险状况，从而使其无法快速做出正确反应，影响了实际的预警效果。

增强现实（Augmented Reality：AR）技术是通过电脑，将虚拟的信息应用到真实世界，将真实的环境和虚拟的信息实时地叠加到了同一个画面或空间同时存在。它不仅展现了真实世界的信息，而且将虚拟的信息同时也显示出来，两种信息相互补充、叠加，呈现给使用者一个感官效果真实的新环境。常用的车用抬头显示（Head Up Display：HUD）系统已经初步具备了增强现实的概念，其主要是利用玻璃反射，使得驾驶员可以同时关注驾驶环境和相关的行驶数据，避免驾驶员的视线偏移而导致的注意力分散，增加了行车的安全性。但常用HUD系统的投射信息往往固定在前挡风玻璃的某个位置，而且在显示内容上主要以车速、发动机转速等实时车辆行车信息为主，功能较为单一。

如果HUD系统的投射信息能够叠加到当前环境中可能发生危险的因素上（诸如前方车辆、障碍物等），那么就可以做到在对驾驶员进行环境危险预警的同时，保证其对实际驾驶环境的注意，从而避免了驾驶员注意力的分散，而且能加快驾驶员对预警信息的理解，进一步提高预警信息和驾驶员之间的实际交互效果。

发明内容

为了克服已有驾驶辅助预警系统的容易导致驾驶员注意力分散、预警效果较差的不足，本发明提供一种有效防止驾驶员注意力分散、提高预警效果的现实增强型的驾驶辅助预警系统。

本发明解决其技术问题所采用的技术方案是：

一种现实增强型的驾驶辅助预警系统，包括车载摄像头单元、中央处理器单元和抬头显示单元，其中，

所述的车载摄像头单元包括一个用于拍摄前方道路情况前视摄像头和两个用于拍摄驾驶员的头部信息的面部摄像头，其中前视摄像头安置于中后视镜的前方；面部摄像头相对称的内置于仪表盘的中间，三个摄像头与所述中央处理器单元连接；

所述中央处理器单元，用以根据前视摄像头的具体图像内容对外界危险因素的具体位置进行识别，并在图像中的位置进行标识；

所述的抬头显示单元安置于方向盘的前方和前挡风玻璃的下方，用以在接收到预警命令之后，将修正的标识信息结合报警提示图案投射到前挡风玻璃上。

进一步，所述中央处理器单元中，根据面部摄像头的图像对驾驶员的头部位置和视线方向进行计算，根据之前标定好的补偿量修正标识前方车辆或障碍物的方框以及标识车道线的直线或曲线的位置。

更进一步，所述中央处理器单元中，所述补偿量将基于识别得到的前方车辆或障碍物的位置、车道线的位置，前视摄像头的位置、驾驶员的视线朝向，驾驶员的头部位置信息以及抬头显示单元的投射角度、前挡风玻璃的曲率等进行计算。

本发明的有益效果主要表现在：1、防止驾驶员注意力分散。本系统由于利用了抬头显示形态，驾驶员可以以正常的视线状态观察到预警的具体信号，避免了由于查看预警信息而导致的注意力分散。

2、预警信息更加直观、更容易理解。本系统利用前挡风玻璃将预警信号叠加到可能导致危险的外界因素上，这样可以让驾驶员在第一时间观察到实际驾驶环境中存在的危险状况，并且很直观的理解该危险产生的具体原因，从而使驾驶员可以更加快速的进行规避危险的行为，全面提高预警的实际效果。

3、本发明的预警系统可以在不分散驾驶员注意力的情况下提高实际预警的效果，结构清晰，可以适用于各种类型的车辆。利用相同的原理，还可以投射其他实际环境信息进行预警，例如行人检测预警、交通指示牌信息提示等，扩展潜力巨大。

附图说明

图1 是本发明装置的硬件结构示意图。

图2 是本发明装置的工作流程示意图。

图3 、图4、是本发明装置用于前方危险报警、车道线偏离报警时时的示意图。

图1中，11是拍摄道路环境的前向摄像头，12和13是拍摄驾驶员头部信息的后向摄像头，14是用于在夜晚状态下获取驾驶员头部信息的补光红外LED。2是中央处理器，21是视频信号处理器，22是抬头显示单元控制器，23是语音芯片，24是控制按钮，25是光敏传感器，26是系统扬声器。3是具备反射式光学结构的抬头显示单元，其中31是图像源TFT屏幕，32是平面镜，33是非球面反射镜，34是增透膜，35是通过增透膜反射后形成的虚像。

具体实施方式

下面结合附图对本发明做进一步说明。

参照图1~图4，一种增强现实型的驾驶辅助预警系统，包括车载摄像头单元、中央处理器单元、抬头显示单元。所述的车载摄像头单元包括一个前视摄像头和两个面部摄像头，其中前视摄像头安置于中后视镜的前方，用于拍摄前方道路情况；面部摄像头相对称的内置于仪表盘的中间，用于拍摄驾驶员的头部信息。三个摄像头所拍摄的图案将传输到中央处理器进行处理。

所述的中央处理器安置于车辆的中控台内，其首先将根据前视摄像头的具体图像内容对外界危险因素的具体位置进行识别，并在图像中的相应位置进行标识，例如针对前向避撞预警系统，其以方框的形式标识出在自车车道中距离自车最近的前方车辆（或障碍物）；针对车道偏离预警系统，其以直线（或曲线）的形式标识出行驶过程中的车道线。在进行上述计算和处理的同时，中央处理器还将根据面部摄像头的图像对驾驶员的头部位置和视线方向进行计算，这是因为驾驶员眼睛看到的前方图像和前视摄像头拍摄到的前方图像存在视角和距离上的差异，同时不同身高的驾驶员的视野也有所差异。因此保证驾驶员在前挡风玻璃上看到的预警信息能够和外界危险因素有效叠加，需要获取驾驶员当时的头部位置信息和视线方向，在此基础上，中央处理器将根据之前标定好的补偿量修正标识前方车辆（或障碍物）的方框以及标识车道线的直线（或曲线）的位置。该补偿量将基于识别得到的前方车辆（或障碍物）的位置、车道线的位置，前视摄像头的位置、驾驶员的视线朝向，驾驶员的头部位置信息以及抬头显示单元的投射角度、前挡风玻璃的曲率等进行计算。

在实际驾驶过程中，当自车距离前方车辆（或障碍物）过近，或者车辆偏离车道线超过相应预警的阈值后，中央处理器将利用抬头显示单元在前挡风玻璃上投射相应的标识结果，并附带报警提示图案（文字和警示图标等）。

所述的抬头显示单元安置于方向盘的前方，前挡风玻璃的下方。其在接收到预警命令之后，将修正的标识信息结合报警提示图案投射到前挡风玻璃上，并按照一定的预警策略进行提示（例如闪烁等）。该抬头显示单元主要包括一套反射式的光学结构，其图像源由中央处理器输出，利用平面镜和非平面反射镜（例如球面反射镜、抛物面反射镜、双曲面反射镜等）的光学组合将图像源的图像进行放大和光程延长，从而实现在前挡风玻璃的特定位置投射所需图案。该单元的具体结构和工作流程在专利“多信息显示的车用抬头显示装置”（专利申请号：201210229680.5）中有详细描述。

如图1所示。其中车载摄像头单元包括固定于中后视镜处的前向摄像头11，以及固定于仪表盘内部的后向摄像头12和13，其中后向摄像头12和13向上倾斜安装，范围为水平方向向上15～30度，三者通过线束连接至中央处理器2，红外补光LED14安装于后向摄像头12和13的周围，用来在夜晚状态下更加有效的拍摄驾驶员头部信息的视频。中央处理器2由实际车辆的中控台内部空间决定安装位置。抬头显示单元3安装与靠近前挡风玻璃下方的位置，其中图像源TFT屏幕31安置于反射式光学结构的底部，其上方固定有平面镜32，其与图像源屏幕呈45度角。非球面反射镜33安装于平面镜32的反射光路上，其也与图像源屏幕31呈45度角，图像修正透镜34放置于非球面反射镜33的正上方，增透膜35位于非球面反射镜33 的上发，附于前挡风玻璃上。抬头显示单元通过一股线束与中央处理器2相连。视频信号处理器21、抬头显示单元控制器22以及语音芯片23都位于中央控制器2内部，控制按钮24固定于仪表盘下方，与中央处理器2相连。光敏传感器25安置于前挡风玻璃的下方，也与中央处理器2相连。系统扬声器26固定于仪表盘下方，与中央处理器2相连。

在本实施例中，摄像头单元中的前向摄像头采用CCD低照度定焦摄像头，分辨率为754*486，采用NTSC的视频格式，大小规格为22mm*22mm*31mm（壳体，不包括线束）。在实车使用时，需要对摄像头拍摄的图像按照设定好的图像拍摄要求进行初始化标定设置。

在本实施例中，在确定抬头显示单元3的安装位置后，可以通过对抬头显示单元3的光学元件设计，使得所成的虚像35位于驾驶员前方视线适当的位置，以符合驾驶员在驾驶时的视觉特性（详细内容请参见专利“多信息显示的车用抬头显示装置”，专利申请号：201210229680.5）。

本实施例中，中央处理器2主要包括两种处理芯片，一种为视频处理芯片，共有两片，主要用于处理3路摄像头所采集到的视频数据。该芯片采用TI公司的TMS320DM6437数字图像处理器，其是专门为高性能、低成本视频应用开发的，主频600MHz，支持8个8位或4个16位并行MAC运算，峰值处理能力高达4800MIPS，可实时处理8路CIF或3路D1格式的H.264编码算法。另一种为抬头显示单元显示控制芯片，主要用于控制抬头显示单元的显示内容，主要采用基于Cortex™-M3 内核（最高72MHz 工作频率）的控制芯片STM32F103VET6，其具有512K的储存器，带有FSMC接口，和SSD1963控制器组合后可以控制大尺寸TFT屏幕，SSD1963控制器可以支持显示864 x 480 x 24位的图片，同时具有对屏幕显示的背光亮度、对比度、饱和度的控制功能。在本实施例中，DM6437和STM32F103VET6之间采用串口总线通讯。

此外，在中央控制器2中还搭配了TI公司生产的TLV320DAC3100语音芯片，该系列产品支持模拟与数字麦克风，同时也能够执行增强型音频功能，其主要是用于执行报警功能。

在本实施例中，控制按钮23共有四种功能，第一，其可以控制系统整体的开闭；第二，其可以用来调整图像源屏幕31的亮度；第三，其可以用来调整输出报警信号的音量高低，以便为驾驶员提供最佳的使用体验；第四，其可以调整系统报警的灵敏程度。

以下结合附图3、图4来介绍本发明装置的工作过程：

驾驶员通过控制按钮24开启本装置，反射式光学结构3此时将显示系统欢迎信息，这些都是设计好的图案，储存于内存中。

当中央控制器2中的视频信号处理器21接收到摄像头11的视频信号，即开始进行对前方驾驶环境中车辆（或障碍物）和车道线的识别工作，并根据事先的摄像头标定参数进行前车（或障碍物）和自车之间的距离，以及车辆在车道线中的位置的计算。同时中央处理器还将处理摄像头12和13的视频信号，检测驾驶员的脸部和眼睛特征，识别驾驶员的面部朝向信息。在经过计算得到各种处理结果之后，如果自车和前方车辆（或障碍物）之间的距离低于预警阈值，或者自车偏离车道中心线的距离大于预警的阈值，则将控制信号传递到抬头显示单元控制器22以及语音芯片，此时控制抬头显示控制器22即开始控制抬头显示单元3进行前方车辆（或障碍物）的显示报警（其具体方式如图3所示），或者偏离车道线的提示预警（其具体方式如图4所示）,报警内容以图案伴随闪烁方式为主，驾驶员此时就可以看到前方可能发生碰撞的车辆（或障碍物）或者车道线被提示图案给突出显示在前挡风玻璃上，结合扬声器26发出的声音提示，此时驾驶员就可以非常清晰快捷的明白当前所处的危险状态，从而快速的进行规避危险的操作，当驾驶员操作车辆恢复到安全状态之后，该警示图案自动消失，驾驶员可以通过控制按钮24来调整报警的灵敏程度，同时也可以设置报警声的大小。

系统工作过程中，抬头显示控制器会实时比较图像源屏幕31的亮度和外界光线强弱的对比，如果光敏传感器25检测到外界光线过强，而图像源屏幕31亮度过暗时，或者光敏传感器25检测到外界光线较暗，而图像源屏幕31的亮度过亮时，抬头显示控制器22都将对界面亮度进行适当的调整，驾驶员也可以通过控制按钮24设置显示的亮度。

Claims

1.一种现实增强型的驾驶辅助预警系统，其特征在于：包括车载摄像头单元、中央处理器单元和抬头显示单元，其中，

2.如权利要求1所述的现实增强型的驾驶辅助预警系统，其特征在于：

所述中央处理器单元中，根据面部摄像头的图像对驾驶员的头部位置和视线方向进行计算，根据之前标定好的补偿量修正标识前方车辆或障碍物的方框以及标识车道线的直线或曲线的位置。

3.如权利要求1或2所述的现实增强型的驾驶辅助预警系统，其特征在于：所述中央处理器单元中，所述补偿量将基于识别得到的前方车辆或障碍物的位置、车道线的位置，前视摄像头的位置、驾驶员的视线朝向，驾驶员的头部位置信息以及抬头显示单元的投射角度、前挡风玻璃的曲率等进行计算。