CN105069976B - 一种疲劳检测和行驶记录综合系统及疲劳检测方法 - Google Patents

Abstract

本发明公开了一种疲劳检测和行驶记录综合系统及疲劳检测方法，其特征是，包括处理器、疲劳检测模块、报警模块、GPS行驶记录模块、通信模块和存储模块，所述处理器分别连接疲劳检测模块、报警模块，GPS行驶记录模块、通信模块和存储模块；本发明所述一种疲劳检测和行驶记录综合系统及疲劳检测方法通过疲劳检测模块的设置，很好的适应了不同驾驶员的生理特征，提高了判断的准确性，如果判别为疲劳则通过报警系统提醒驾驶员或强制停；所述一种疲劳检测和行驶记录综合系统及疲劳检测方法通过GPS行驶记录模块的设置，若车辆发生意外非正常停止时，程序将信息上传到云端的同时根据设定通过互联网及时通知车主的家人、保险公司或汽车服务商。

Description

一种疲劳检测和行驶记录综合系统及疲劳检测方法

技术领域

本发明涉及汽车安全领域，具体涉及一种基于计算机视觉技术和移动互联网的多特征识别的疲劳监测及行驶记录综合系统。

背景技术

近年来,随着大众生活水平的提高,各国人民汽车的人均持有量也变得越来越多。然而,伴随而来的交通事故也不断的增多。经研究表明,疲劳驾驶是交通事故变得日益严重的重要原因之一,因此,研究出可以进行实时检测驾驶员疲劳的预警系统有着十分重要的现实意义。

一套好的检测系统必须要有成熟而完善的算法。本项目对疲劳检测系统的实现方法进行研究,以期提高疲劳检测的速度和准确度。如果能将好的算法应用于疲劳检测系统之中,无疑能更有效的预防驾驶员疲劳驾驶而引起不必要的人员伤亡和经济损失。

现有的大多数驾驶疲劳检测算法因其检测条件的限制和复杂环境的影响， 不能准确完整地提取驾驶员的疲劳信息， 导致目前开发的疲劳驾驶检测装置难以快速对疲劳状态做出正确判断与响应，检测灵敏度低，可靠性差。 目前国内外关于疲劳驾驶检测的研究还停留在理论和方法的探索上， 没有系统的标准和完善的解决方案， 尤其是在如何提高检测方法的精度和具体的实现上最具争议。

未来的发展趋势必然是多特征融合的监测方法，误判率低。移动互联网技术的发展必然使得车联网成为发展趋势，车联网具有优点如下：能够实时监测车辆状态信息，实时监督驾驶员，智能检测车辆故障，提供事故后的第一现场信息。本发明将多特征提取的疲劳检测方法与移动互联网结合解决了上述不足。

发明内容

为了克服上述现有技术的不足，本发明提供了一种基于多特征识别和移动互联网技术的疲劳监测综合系统，主要特点是：多特征识别的、信息交互的、实时的、计算机视觉的、4G技术的一种疲劳检测和行驶记录综合系统。

为实现上述目的，本发明的技术方案如下：一种疲劳检测和行驶记录综合系统，其特征是，包括处理器、疲劳检测模块、报警模块、GPS行驶记录模块、通信模块和存储模块，所述处理器分别连接疲劳检测模块、报警模块、GPS行驶记录模块、通信模块和存储模块。

优选的是，所述处理器为odroid-xu3嵌入式控制器，所述处理器基于Arm CortexA15和A7 的Samsung Exynos 5422主控芯片，多种接口，支持安卓和Linux系统，作为系统的核心。处理器作为核心单元装有安卓系统、基于opencv计算机视觉库、GPS车速信息开发的多特征识别的疲劳监测与预警程序、GPS车速采集分析程序与行驶记录程序、互联网远程数据提取与交互程序、云端存储程序和手机APP客户端。

优选的是，所述疲劳检测模块包括图像采集装置和判别疲劳标准模块。

优选的是，所述判别疲劳标准模块采集双眼、嘴和双耳五点姿态定位。

优选的是，所述图像采集装置由红外摄像头和LED灯补光装置构成，实现全天拍摄采集图像。

优选的是，所述通信模块包括4G通信模块和手机APP客户端， 4G通信模块通过USB接口连接处理器，作为信息上传与交互的主要途径，同时车辆发生意外后通过4G模块向家人或保险公司发送信息求救。

优选的是，所述报警模块包括报警装置和手机警示。

优选的是，所述报警装置为蜂鸣器检测到疲劳驾驶后，蜂鸣器鸣叫，并通过蓝牙呼叫手机震动响铃以提醒驾驶员。

优选的是，GPS行驶记录模块记录信息包括行车时间信息、路线信息和行车速度信息，汽车实时定位，将实时速度信息加速度信息送至处理器，记录速度信息，行车时间信息，行车路线，行驶过程手机端APP可实时访问处理器获得实时的行车位置行车速度和行车时间等信息。

存储模块作为临时处理的数据缓存和最近几次行车报告的存储信息。

一种疲劳检测方法，其特征在于，包括以下步骤：

步骤一：通过手机客户端APP绑定驾驶员信息，建立多特征识别判别公式；

步骤二：红外摄像头采集驾驶员图像，基于计算机视觉的级联算法捕捉头部后再定位驾驶员双眼、嘴和双耳五点作为特征点，对驾驶员头部进行姿态定位，实时判断驾驶员头部姿势变化，根据头部的左右倾斜程度和低头姿势等疲劳特征，作为第一个判断疲劳的标准；

步骤三：在定位到人眼的基础上，利用PERCLOSP80疲劳检测标准设计算法判断驾驶员在单位时间内闭眼时间是否符合疲劳特征，作为第二个判断疲劳的标准；同时，在定位到嘴巴的基础上，根据嘴巴的张合程度判断驾驶员是否在打哈欠，计算嘴部张开的频率，表示一定时间内打哈欠的时间，作为第三个判断疲劳的标准；

步骤四：GPS行驶记录模块提供反馈车速和加速度信息给处理器，处理器分析车速是否平稳运行，出现车速忽快忽慢不稳定则作为第四个判断疲劳的标准；

步骤五：综合上述判断疲劳的标准，以眼部特征为第一关键因素，以头部特征为第二关键因素，以嘴部特征和速度变化特征为第三关键因素。根据得到的四个特征参数作为输入量，利用模糊控制理论设置相应的控制规则，计算得到疲劳状态系数，以判断其疲劳程度。

本发明所达到的有益效果：本发明所述一种疲劳检测和行驶记录综合系统及疲劳检测方法通过疲劳检测模块的设置，基于计算机视觉和GPS车速信息的多特征识别的监测疲劳手段，建立配合用户个人信息的提供，很好的适应了不同驾驶员的生理特征，提高了判断的准确性，解决了检测手段单一，不同驾驶员生理特征不同准确率不高的问题，如果判别为疲劳则通过报警系统提醒驾驶员或强制停；所述一种疲劳检测和行驶记录综合系统及疲劳检测方法通过GPS行驶记录模块的设置，行驶过程中，个人用户可以通过手机蓝牙连接处理器，通过手机的APP客户端实时读取驾驶员的行车位置与速度，汽车熄火时，处理器根据GPS模块生成的速度、路线信息和驾驶员状态信息生成行驶报告，并将生成的行驶报告通过4G通信模块上传至互联网的云端作为用户的信息保存，若车辆发生意外非正常停止时，程序将信息上传到云端的同时根据设定通过互联网及时通知车主的家人、保险公司或汽车服务商，行驶报告作为事故后第一手现场信息，为道路事故处理节省了大量时间，提供了关键证据；所述一种疲劳检测和行驶记录综合系统及疲劳检测方法用于企业或公交系统时，行驶过程中，车辆调度员可通过终端和车辆进行实时信息交互，实时监测车辆位置与速度，实时监控驾驶员行为；所述一种疲劳检测和行驶记录综合系统及疲劳检测方法的处理器支持多种接口，预装安卓系统，功能可裁剪，软件可通过互联网进行升级。

附图说明

图1是本发明的原理图。

图2是本发明的疲劳检测算法流程图。

图3是本发明的流程图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

如图1至图3所示，一种疲劳检测和行驶记录综合系统，其特征是，包括处理器、疲劳检测模块、报警模块、GPS行驶记录模块、通信模块和存储模块，所述处理器分别连接疲劳检测模块、报警模块、GPS行驶记录模块、通信模块和存储模块，所述处理器为odroid-xu3嵌入式控制器，所述处理器基于Arm Cortex A15和A7 的Samsung Exynos 5422主控芯片，多种接口，支持安卓和Linux系统，作为系统的核心，所述疲劳检测模块包括图像采集装置和判别疲劳标准模块，所述判别疲劳标准模块采集双眼、嘴和双耳五点姿态定位，所述图像采集装置由红外摄像头和LED灯补光装置构成，实现全天拍摄采集图像。

所述通信模块包括4G通信模块和手机APP客户端，4G通信模块通过USB接口连接处理器，作为信息上传与交互的主要途径，同时车辆发生意外后通过4G模块向家人或保险公司发送信息求救。

所述报警模块包括报警装置和手机警示，检测到疲劳驾驶后，蜂鸣器鸣叫并通过蓝牙呼叫手机震动响铃以提醒驾驶员，所述报警装置为蜂鸣器。

GPS行驶记录模块记录信息包括行车时间信息、路线信息和行车速度信息，汽车实时定位，将实时速度信息加速度信息送至处理器，记录速度信息，行车时间信息，行车路线。

存储模块作为临时处理的数据缓存和最近几次行车报告的存储信息。

一种疲劳检测方法，其特征在于，包括以下步骤：

步骤一：通过手机客户端APP绑定驾驶员信息，建立多特征识别判别公式；

步骤二：红外摄像头采集驾驶员图像，基于计算机视觉的级联算法捕捉头部后再定位驾驶员双眼、嘴和双耳五点作为特征点，对驾驶员头部进行姿态定位，提取双耳中心、双眼中心和嘴巴中心坐标，构建一个对称的人脸特征多边形，然后建立一种头部姿势计算公式，根据特征多边形的位置变化进行姿态参数计算，实时判断驾驶员头部姿势变化，根据头部的左右倾斜程度和低头姿势等疲劳特征，作为第一个判断疲劳的标准；

步骤三：在定位到人眼的基础上生成眼部矩形框，利用PERCLOS P80疲劳检测标准设计算法判断驾驶员在单位时间内闭眼时间是否符合疲劳特征，作为第二个判断疲劳的标准；同时，在定位到嘴巴的基础上生成嘴部矩形框，根据嘴巴的张合程度判断驾驶员是否在打哈欠，计算嘴部张开的频率，表示一定时间内打哈欠的时间，作为第三个判断疲劳的标准；

步骤四：GPS行驶记录模块提供反馈车速和加速度信息给处理器，处理器分析车速是否平稳运行，出现车速忽快忽慢不稳定则作为第四个判断疲劳的标准；

步骤五：综合上述判断疲劳的标准，以眼部特征为第一关键因素，以头部特征为第二关键因素，以嘴部特征和速度变化特征为第三关键因素。根据得到的四个特征参数作为输入量，利用模糊控制理论设置相应的控制规则，计算得到疲劳状态系数，以判断其疲劳程度,将四种标准以不同的比重融合形成适应不同驾驶员生理特征的检测标准，用户可以通过蓝牙在手机APP客户端将自己的开车习惯和脸部图像输入给处理器，处理器根据驾驶员信息建立一个最符合他的判别疲劳的公式，晚上则由红外摄像头自带的led灯进行补光。疲劳监测系统也可通过互联网在线升级。

本发明的实施过程如下：驾驶员首先通过手机APP客户端输入个人信息并绑定，手机将信息送至处理器，处理器根据驾驶员特征建立最符合他的判别公式，行车过程中，由固定在车前端的红外摄像头实时拍摄驾驶员， GPS行驶记录模块实时记录行驶的路线和行车速度信息，若为个人用户，行车过程中，处理器可以通过手机蓝牙将行使信息包括行车时间信息、路线信息、行车速度信息反映到手机APP客户端上供驾驶员查看。在车辆自然熄火后本次行驶信息生成行驶报告通过4G通信模块上传到云端保存，驾驶员可以通过互联网访问用户数据中心来查看信息。若行车过程中处理器通过红外摄像头检测到驾驶员有剧烈晃动同时车速突降为零则判断为意外发生，启动报警程序，及时将信息上传云端，同时通过互联网通知车主的家人或保险公司，行驶记录的数据作为车祸的现场第一手信息。若为企业或公交系统，在汽车行驶时车辆调度人员可以在互联网终端随时监控和查看驾驶员的行车信息。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (1)

1.一种疲劳检测方法，其特征在于，包括以下步骤：

步骤一：通过手机客户端APP绑定驾驶员信息，建立多特征识别判别公式；

步骤二：红外摄像头采集驾驶员图像，基于计算机视觉的级联算法捕捉头部后再定位驾驶员双眼、嘴和双耳五点作为特征点，对驾驶员头部进行姿态定位，实时判断驾驶员头部姿势变化，根据头部的左右倾斜程度和低头姿势等疲劳特征，作为第一个判断疲劳的标准；

步骤三：在定位到人眼的基础上，利用PERCLOS P80疲劳检测标准设计算法判断驾驶员在单位时间内闭眼时间是否符合疲劳特征，作为第二个判断疲劳的标准；同时，在定位到嘴巴的基础上，根据嘴巴的张合程度判断驾驶员是否在打哈欠，计算嘴部张开的频率，表示一定时间内打哈欠的时间，作为第三个判断疲劳的标准；

步骤四：GPS行驶记录模块提供反馈车速和加速度信息给处理器，处理器分析车速是否平稳运行，出现车速忽快忽慢不稳定则作为第四个判断疲劳的标准；

步骤五：综合上述判断疲劳的标准，以眼部特征为第一关键因素，以头部特征为第二关键因素，以嘴部特征和速度变化特征为第三关键因素；

根据得到的四个特征参数作为输入量，利用模糊控制理论设置相应的控制规则，计算得到疲劳状态系数，以判断其疲劳程度。