CN208126407U - 基于软硬件协同图像处理的防疲劳驾驶系统 - Google Patents

Abstract

本实用新型涉及一种基于软硬件协同图像处理的防疲劳驾驶系统，包括信息采集部分、软硬件协同信息处理中心、疲劳驾驶预警处理器；软硬件协同处理中心由SOPC模块构成，包含并行处理信息的FPGA和嵌入式ARM，FPGA进行图像处理，将数据输出到ARM处理器，ARM处理器完成采集的视频图像的基本预处理工作，完成个人信息的处理，提取安全带传输的心率信息特征，同时将处理好的信息输出到疲劳驾驶预警处理器，疲劳驾驶预警处理器根据软硬件协同处理中心输入的疲劳等级对驾驶员进行驾驶中的振动和语音提醒；本实用新型解决了当前基于图像的疲劳驾驶技术的实时性低和准确率低的问题，弥补了当前技术中的单一信息源做疲劳驾驶判断的缺点。

Description

基于软硬件协同图像处理的防疲劳驾驶系统

技术领域

本实用新型涉及一种防疲劳驾驶的系统，具体的说，是一种基于软硬件协同图像处理的防疲劳驾驶系统。

背景技术

人长时间从事体力劳动脑力劳动或者一件很简单的事情，都会产生疲劳。疲劳的状态会使人出现注意力不集中，精神萎靡，反应迟钝等现象；然而，驾驶汽车是一项需要高度精神集中的工作，如果驾驶员出现疲惫的状态还仍然继续驾驶车辆，这对车内的乘客，车外的行人或同行车辆都是一个巨大的威胁。随着经济的快速发展，我国现今的汽车的保有量近2亿，而机动车驾驶员超过3亿，同时在我国很多驾驶员的不正当驾驶车辆造成人员伤亡和财务损失不计其数，其中很突出的原因是驾驶员的疲劳驾驶车辆导致。当前驾驶员疲信息采集主要有通过生理信息，比如心率变化，呼吸的频率变化，血压变化采集；通过面部信息判断疲劳驾驶，比如眼睑变化，额头角度变化，颈部角度变化，嘴部打哈欠次数变化，信息采集；通过车况信息判断疲劳驾驶，比如车道线偏移的情况，车速变化情况，持续行车时间来采集信息。

当前疲劳驾驶预警处理器存在准确率不高，在实际的应用中有很多困难，迫切需要一种准确率高的预警系统出现，采集多传感器的信息，进行数据融合综合判断是当前很热门的的方案。CN104269028A公开一种疲劳驾驶检测方法及系统，其中疲劳驾驶检测方法包括如下步骤：S1、采集图像和预处理；S2、人脸定位和检测；S3、人脸跟踪；S4、眼睛检测和状态识别；S5、计算疲劳PERCLOS值；S6、将得到的PERCLOS值与预设的阈值进行比较，判定驾驶员是否疲劳驾驶。采用本实用新型的设计，能够自动捕捉驾驶员的脸部微观变化，通过科学的概率计算判别驾驶员状态，并及时警示处于疲劳驾驶状态的驾驶员，保证行车安全。但仅仅只利用单种摄像头采集人脸信息判断驾驶员是否是疲劳驾驶，单一传感器采集信息，无法面对复杂多变的车况环境，导致准确率不高，误报情况发生。本文的多传感器数据融合极大提升系统的准确率，使得系统符合准确率的要求；当前疲劳驾驶预警处理器存在实时性低，当汽车的行车速度较快的时候，就需要有一个高实时性的预警系统能够及时的提醒驾驶员疲劳信息；

201320141506.5公开了一种疲劳驾驶警示系统，属于车辆交通控制的技术领域，包括传感器、ARM微处理器、警示模块、无线通信模块、上位机，其中传感器设置在车辆终端上，传感器与ARM微处理器连接；所述ARM微处理器与无线通信模块、上位机依次相互连接，所述警示模块与ARM微处理器连接。本实用新型利用无线通信技术与ARM微处理器控制技术结合，不仅可以省去通信电缆的安装，降低安装工程量，还可以安全可靠地实现数据传输和网络互联，可以进一步提高疲劳驾驶判断的准确性，适于车载运行且扩展性好，有效地提高疲劳判断的准确性和增强系统的鲁棒性，从而降低疲劳驾驶引起的事故发生率，增强警示功能。CN204390428U涉及一种嵌入式驾驶员疲劳预警系统，包括数据处理单元、LCD触摸屏、数据存储模块、数据通信接口模块、信息采集模块、传感模块和报警装置；数据处理单元对驾驶员生理信号数据进行运算处理；LCD触摸屏与数据处理单元相连接，用于显示驾驶员疲劳状态和生理信息；数据存储模块与数据处理单元相连接，用于存储采集到的生理疲劳特征信号数据；数据通信接口模块与数据处理单元相连接；信息采集模块与数据处理单元相连接；传感模块与数据采集模块相连接，传感模块采集驾驶员生理信号，经信息采集模块预处理，传送到数据处理单元；报警装置与数据处理单元相连接，用于发出疲劳报警信息，能有效预警疲劳驾驶。现有技术中，使用嵌入式设备进行疲劳驾驶预警，但仅仅使用软件技术对疲劳驾驶进行采集和判断，无法使得系统满足实时性和准确率要求。

实用新型内容

本实用新型为了解决当前基于图像的疲劳驾驶技术的实时性低和准确率低的问题，提出了一种基于软硬件协同图像处理的防疲劳驾驶系统；本实用新型采用以下技术方案来实现功能需求：

一种基于软硬件协同图像处理的防疲劳驾驶系统，包括信息采集部分、软硬件协同信息处理中心、疲劳驾驶预警处理器；

所述信息采集部分包括个人信息采集模块、车道线摄像头，红外人眼摄像头、人脸特征摄像头和安全带心率采集器；

该系统利用车道线摄像头，红外人眼摄像头，人脸特征摄像头获得图像信息，安全带的心率检测器的采集单元获得心跳信息，采集到的图像信息，心跳信息，和路况信息发送给软硬件协同处理中心；

所述软硬件协同处理中心由SOPC模块构成，包含并行处理信息的FPGA和嵌入式ARM，FPGA进行图像处理，将数据输出到ARM处理器，在ARM处理器中，完成采集的视频图像的基本预处理工作，完成个人信息的处理，提取安全带传输的心率信息特征；同时将处理好的信息输出到疲劳驾驶预警处理器。

所述个人信息采集模块，能采集驾驶员性别信息，驾龄信息，年龄信息，将采集的个人信息作为疲劳驾驶判断值输出到软硬件协同处理中心，用以增强系统信息采集的灵敏度。

所述红外人眼摄像头和人脸特征摄像头共同构成双摄像头定位，两个摄像头记录人眼，人嘴的图像信息，由于两个摄像头同时开启，数据量会大大增加，提高准确率的同时大大减弱系统实时性；为满足系统需求，以光照强度为准则，当光照很强，打开人脸特征摄像头，关闭红外人眼摄像头，单摄像头采集感兴趣区域信息，比如眼睛和嘴巴，将信息发送给软硬件协同处理中心；当光弱时，打开红外人眼摄像头，将采集到的人眼瞳孔信息发送给软硬件协同处理中心，同时人脸特征摄像头为减少数据量，只是将感兴趣区域设置为眼睛区域，采集眼睛区域图像信息；双摄像头定位下，控制了由于光照条件变化而导致人脸特征信息无法采集的难题，提高了系统的实时性和准确性；

所述车道线摄像头，实时记录汽车距离两边的车道线的距离图像信息，车外的车道线摄像头自带降噪声干扰和白平衡调节功能，将预处理完成的图像信息发送到软硬件协同处理中心；

所述安全带心率采集器，包含一个内嵌入安全带内的心率采集单元，记录驾驶员启动车辆开始后的心率变异信息，通过无线通讯单元将心率变异信息发送给软硬件协同处理中心；

优选的，所述心率安全带采集器的无线通讯单元采用通讯网络包括了3G，4G网络，WiFi，Bluetooth或者Ethernet；

优选的，所述软硬件协同处理中心采用SOPC模块，包含并行处理信息的FPGA和嵌入式ARM结构携带丰富的外设接口；

进一步的，所述软硬件协同处理中心包含信息存储单元；

所述疲劳驾驶预警处理器根据软硬件协同处理中心输入的疲劳等级对驾驶员进行驾驶提醒，利用嵌入在安全带、和车座内部的振动器对驾驶员进行振动提醒；利用语音对驾驶员和乘客进行提醒，车内乘客也可以得到提醒，利用乘客向驾驶员进行疲劳提醒；利用开启汽车的双闪灯，提醒邻车进行合理避让疲劳驾驶车辆；

进一步的，所述疲劳驾驶预警处理器包括显示单元；

本系统中应用的技术与当前现用的技术相比，本实用新型的优点和产生的积极效果是：

1.本实用新型采用软硬件协同处理图像技术和控制功能，有效的提高了当前困扰疲劳驾驶系统的低实时性问题，合理的划分软件部分信息处理和控制功能，和发挥硬件部分的高效并行处理信息的能力，优选使用zynq的架构的SOPC，可以利用好AXI总线的高效率的信息传输能力，促进软硬件更好的协同工作，极大的提升实时性；

2.本实用新型的图像信息采集由三方面构成，但同时三个图像信息输入，图像信息太大，无法保证实时性要求，系统采取在保证准确率的前提下，提升系统的实时性，只能同时采集两个图像信息源；光线较强时，开启车内的面部信息采集摄像头，关闭红外人眼摄像头，开启车外车道线摄像头；光线较弱时，开启红外人眼摄像头和车内的人脸特征摄像头，关闭车外车道线摄像头；从而达到在实时性和准确性之间的平衡；

3.本实用新型采用以图像处理为主导，多信息采集功能，多种传感器采集信息，更全面的收集驾驶员的疲劳信息，弥补了当前技术中的单一信息源做疲劳驾驶判断的缺点，极大的提升了系统的准确率；

4.本实用新型采用多数据融合技术，疲劳驾驶预警处理器的输入数据包括驾驶员个人信息、图像信息、心率变异值，多信息综合判断驾驶员的开车状态提高了系统的准确率；

5.本实用新型利用多传感器采集数据，能够使整个系统疲劳驾驶判断的准确率大大提高，利用心率和人脸识别共同作用，进入软硬件协同处理中心的数据融合处理，减少误判的情况产生，例如：在正常心率情况下人脸识别模块不能判断为疲劳驾驶，只有在心率异常，人脸特征判断为异常才为疲劳驾驶进行预警。

6.所述多传感器数据融合处理是将车内外的图像信息、心率信息、路况信息和驾驶员信息的数据根据设定的初始值设定进行权值分配，极大的提高系统的判断疲劳驾驶的准确率。

附图说明

为了更加准确清晰的描述本实用新型实例其中所使用的技术实例，下面将利用附图对实用新型进行完整的描述，明显地，所述的实施例仅仅是本实用新型一部分实施例，而不是完整的实施例。针对本领域的普通技术人员，在没有做出任何创造性的工作前提下，还可以根据这些附图产生其他实施例的附图；

图1是本实用新型提出的软硬件协同图像处理的防疲劳驾驶系统的一种实施例原理方框图；

图2是本实用新型提出的软硬件协同图像处理的防疲劳驾驶系统的图像信息处理原理方框图；

图3是本实用新型提出的软硬件协同图像处理的防疲劳驾驶系统的疲疲劳驾驶预警处理器的原理方框图；

具体实施方式

下面将结合附图和具体的实施例，针对本实用新型实施例中的系统框架和技术方案作出进一步清晰、完整和深入的讲解。显而易见，以下的实施列只是本实用新型的一部分，并不是全部的实施例。针对本领域的普通技术人员，在没有做出任何创造性的工作前提下，产生的所有相关的实施例都属于本实用新型的保护范围。

本实施例提出了一种基于软硬件协同图像处理的防疲劳驾驶系统，如图1-2所示，信息采集部分、软硬件协同信息处理中心、疲劳驾驶预警处理器；

所述信息采集部分包括个人信息采集模块，车道线摄像头，人脸特征摄像头，红外人眼摄像头，安全带心率信息采集模块；

所述软硬件协同处理中心由SOPC模块构成，包含并行处理信息的FPGA和嵌入式ARM，FPGA进行图像处理，将数据输出到ARM处理器，在ARM处理器中，完成采集的视频图像的基本预处理工作，完成个人信息的处理，提取安全带传输的心率信息特征；同时将处理好的信息输出到疲劳驾驶预警处理器。

如图1所示，个人信息采集模块包括个人信息填写单元，信息确认与显示单元；根据现今的研究，驾驶员的年龄大小，驾驶年龄的长短，性别的不同都一定程度影响是否产生疲劳驾驶，采集个人信息更加优化疲劳驾驶系统的准确率。

如图1所示，双摄像头人眼定位包括红外人眼摄像头和人脸特征摄像头，人脸特征摄像头记录人眼，人嘴的图像信息，车内红外人眼摄像头用于采集人眼瞳孔信息，将采集到的人眼信息输出到软硬件协同图像处理系统。红外人眼摄像头和人脸特征摄像头的信息输出部分有一个信息采集判断器，控制怎么采集信息，由于图像信息很大，为了保证系统实时性，不得不减少图像信息输入源，故红外人眼摄像头、人脸特征摄像头和车道线采集摄像头三个不会同时打开，光线较强时，开启车内的面部信息采集摄像头，关闭红外人眼摄像头，开启车外车道线摄像头；光线较弱时，开启红外人眼摄像头和车内的人脸特征摄像头，关闭车外车道线摄像头。

如图1所示，安全带心率采集器是嵌入在安全带中的心率采集器，用来收集驾驶员的心率变化信息，将心率信息输出到软硬件协同处理中心，所述心率安全带采集器的无线通讯单元采用通讯网络包括了3G，4G网络，WiFi，Bluetooth或者Ethernet；安全带心率采集器具有振动器，可以对驾驶员进行疲劳提醒。

如图1和图2所示，软硬件协同处理中心由SOPC模块构成，包含并行处理信息的FPGA和嵌入式ARM，片上的FPGA主要进行图像处理方面的工作，其处理的图像信息是提取人脸中的人眼睁开闭合角度特征，嘴张开闭合频率特征，红外线人眼瞳孔特征，利用写入综合封装好的IP核，加快图像的处理速度；将数据输出到ARM处理器，片上的ARM处理器搭建了Linux操作系统，移植了OpenCV图像库；在ARM处理器中，完成了采集的视频图像的基本预处理工作，完成个人信息的处理，提取安全带传输的心率信息特征；同时将所有处理好的信息输出到疲劳驾驶预警处理器。

如图1和如图3所示，疲劳驾驶预警处理器，将软硬件协同处理中心发送来的特征信息进行分析，然后对数据进行分机分类，判定驾驶员的不同等级的疲劳度，按照不同等级的疲劳度，对驾驶员或邻车进行提醒操作；提醒操作分别是利用嵌入在安全带、和车座内部的振动器对驾驶员进行振动提醒；利用语音对驾驶员和乘客进行提醒，车内乘客也可以得到提醒，利用乘客向驾驶员进行疲劳提醒；利用开启汽车的双闪灯，提醒邻车进行合理避让疲劳驾驶车辆。

本实用新型工作的流程如下：

1.当汽车启动，先判断是否具有当前驾驶员的数据，若存在提取以前的数据，若不存在，则输入个人信息并加密存储在系统和传输到软硬件协同处理中心；

2.汽车启动，提醒驾驶员使用安全带并开始采集驾驶员心率信息，并同时判断当前光照情况；

光线较强时，开启车内的面部信息采集摄像头，关闭红外人眼摄像头，开启车外车道线摄像头；

光线较弱时，开启红外人眼摄像头和车内的人脸特征摄像头，关闭车外车道线摄像头；同时将信息传输到软硬件协同处理中心。

3.软硬件协同处理中心将处理完成的图像信息进行初步融合，同时在将个人信息和心率信息进行初步融合，然后将两次融合后的数据再次进行数据融合综合的评判出驾驶员的疲劳等级，并作出不同等级下的疲劳预警措施；这样在满足系统实时性要求下尽量的提高系统的准确率。

当然，上述的说明并非是这对本实用新型的限制，本实用新型也并不仅限于上述举例，本技术领域的技术人员在实用新型的实施范围内做出的变化，添加，修改，同样也属于新型的保护范围。

Claims (7)

1.一种基于软硬件协同图像处理的防疲劳驾驶系统，其特征在于：

包括信息采集部分、软硬件协同信息处理中心、疲劳驾驶预警处理器；

所述信息采集部分包括个人信息采集模块、车道线摄像头，红外人眼摄像头、人脸特征摄像头和安全带心率采集器；

所述系统利用车道线摄像头，红外人眼摄像头，人脸特征摄像头获得图像信息，安全带的心率检测器的采集单元获得心跳信息，采集到的图像信息，心跳信息和路况信息发送给软硬件协同处理中心；

所述软硬件协同处理中心由SOPC模块构成，包含并行处理信息的FPGA和嵌入式ARM，FPGA进行图像处理，将数据输出到ARM处理器，在ARM处理器中，完成采集的视频图像的基本预处理工作，完成个人信息的处理，提取安全带传输的心率信息特征；同时将处理好的信息输出到疲劳驾驶预警处理器。

2.根据权利要求1所述的一种基于软硬件协同图像处理的防疲劳驾驶系统，其特征在于：所述个人信息采集模块，能采集驾驶员性别信息，驾龄信息，年龄信息，将采集的个人信息作为疲劳驾驶判断值输出到软硬件协同处理中心。

3.根据权利要求1所述的一种基于软硬件协同图像处理的防疲劳驾驶系统，其特征在于：所述车道线摄像头，实时记录汽车距离两边的车道线的距离图像信息，并将预处理完成的图像信息发送到软硬件协同处理中心。

4.根据权利要求1所述的一种基于软硬件协同图像处理的防疲劳驾驶系统，其特征在于：所述安全带心率采集器，包含一个内嵌入安全带内的心率采集单元，记录驾驶员启动车辆开始后的心率变异信息，并通过无线通讯单元将心率变异信息发送给软硬件协同处理中心。

5.根据权利要求1所述的一种基于软硬件协同图像处理的防疲劳驾驶系统，其特征在于：所述软硬件协同处理中心采用SOPC模块，包含并行处理信息的FPGA和嵌入式ARM结构携带丰富的外设接口。

6.根据权利要求1所述的一种基于软硬件协同图像处理的防疲劳驾驶系统，其特征在于：所述软硬件协同处理中心包含信息存储单元，所述疲劳驾驶预警处理器包括显示单元。

7.根据权利要求1-6任一所述的一种基于软硬件协同图像处理的防疲劳驾驶系统，其特征在于：所述疲劳驾驶预警处理器根据软硬件协同处理中心输入的疲劳等级对驾驶员进行驾驶提醒，利用嵌入在安全带、和车座内部的振动器对驾驶员进行振动提醒；利用语音对驾驶员和乘客进行提醒。