CN111152653A - 一种基于多信息融合的疲劳驾驶检测方法 - Google Patents

Abstract

本发明公开了一种基于多信息融合的疲劳驾驶检测方法，包括，采集驾驶员人脸照片，建立人脸三维模型，进行驾驶员身份验证；采集驾驶员的实时视频，抽取当前帧的人眼图像进行虹膜定位，判断眼睛睁闭状态；结合驾驶员的面部图像的连续视频帧个数判断是否为疲劳状态，同时更新当前驾驶员的驾驶开始、结束时间；通过GPS系统定位汽车在单位时间内的移动距离，确定中控平台是否向汽车内安装的报警装置发送预警信号。本发明采用虹膜识别、多信息判断融合技术，让更多的驾驶员在驾车过程中及时得到疲劳驾驶提醒，为生命和财产安全提供保障。

Description

一种基于多信息融合的疲劳驾驶检测方法

技术领域

本发明涉及图像识别检测技术领域，更具体的说是涉及一种基于多信息融合的疲劳驾驶检测方法。

背景技术

随着机动车保有量的快速增加和高速公路的飞速发展，交通事故频频发生，给世界各国造成了巨大的财产损失和人员伤亡。如何减少交通事故已经成为世界性的难题，其中，预防疲劳驾驶是世界各国和各大汽车厂商目前正在竭力研发的一项关键技术。长时间驾驶、睡眠不足、生理变化等因素是导致疲劳驾驶产生的主要原因。疲劳驾驶时，驾驶员会感到精神恍惚、注意力不集中、视物模糊、判断力下降，这种情况下继续开车，极易出现操作停顿或修正失误，造成交通事故发生。

数据分析显示，每天凌晨的零点至六点是疲劳驾驶的高发时间段，可见疲劳驾驶除了安排合理行车时间，还需要有效的科技预警装置，才能最大程度减少疲劳驾驶事故的发生。但是，在正常驾驶过程中单一利用摄像头拍摄驾驶员的面部特征，无法避免各种方向的光源对镜头的干扰，特别是晚上光线不足，对人脸的识别就会更加困难，也无法有效控制驾驶员行车时长，在实际运用中具有很大的局限性。

因此，如何提供一种准确反映驾驶员疲劳状况和行车时长，有效的进行驾驶员疲劳驾驶预警功能的基于多信息融合的疲劳驾驶检测方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明采用虹膜识别、多信息判断融合技术，让更多的驾驶员在驾车过程中及时得到疲劳驾驶提醒，为生命和财产安全提供保障。

为了实现上述目的，本发明采用如下技术方案：一种基于多信息融合的疲劳驾驶检测方法，包括如下步骤：

一种基于多信息融合的疲劳驾驶检测方法，包括如下步骤：

步骤1，通过汽车内安装的摄像头采集驾驶员人脸照片，建立人脸三维模型，上传至中控平台进行驾驶员身份验证；

步骤2，若验证通过，更新当前驾驶员的驾驶起始时间，并开始采集驾驶员的实时视频，视频流中捕捉帧图片，抽取当前帧的面部图像进行处理；

步骤3，对所述当前帧中的人眼图像进行虹膜定位，判断眼睛睁闭状态；若眼睛为睁开状态，则进入步骤4；若眼睛为疲劳状态进入步骤6；

步骤4，判断包含驾驶员的面部图像的连续视频帧个数是否大于预设的帧阈值，若是，则进入步骤5；若不是，则更新当前驾驶员的驾驶结束时间；

步骤5，通过GPS系统定位汽车在单位时间内是否产生新的移动距离，若产生新的移动距离，则进入步骤7；若未产生新的移动距离，则返回步骤3；

步骤6，判断疲劳状态时长是否大于预设的时间阈值，若是，则进入步骤7；若不是，则返回步骤3；

步骤7，中控平台向汽车内安装的所述报警装置发送预警信号，并控制所述报警装置进行语音报警。

优选的，所述步骤1具体包括，

所述中控平台连接驾驶员身份信息数据库，所述驾驶员身份信息数据库预存已标注人脸特征的驾驶员头像照片；

汽车内安装摄像头，用于采集驾驶员的人脸照片；

提取所述人脸照片中的特征点，建立人脸三维模型；

将所述人脸三维模型上传至所述中控平台，并将所述特征点与所述驾驶员头像照片中的人脸特征进行比对，验证驾驶员身份。

优选的，所述所述驾驶员身份信息数据库连接有驾驶员行车时间记录数据库，包括驾驶员驾车起始时间和驾车结束时间。

优选的，所述步骤3中对所述当前帧中的人眼图像进行虹膜定位的具体方法包括：

对所述人眼图像进行红外滤光处理，得到滤光图像；

采用分割算法对所述滤光图像进行分割得到不同灰度区域的图像，将灰度值在设定范围内的区域作为虹膜的候选区域；

沿候选区域外边缘等角度的选择N个点作为虹膜外边缘的定位点；

计算每个定位点的灰度变化的累加值计算得到灰度梯度；

求灰度梯度中的最大值，该最大值对应的点即为边界点；

将所有的边界点拟合后得到虹膜的外边缘；

将所述虹膜的外边缘采用最小二乘算法进行圆拟合，判断是否为一个近似圆，若是，则为睁开状态；若不是，则为疲劳状态。

优选的，判断是否为一个近似圆的方法为：

计算出拟合圆的最短半径和最长半径，判断最短半径和最长半径之间的差值是否小于预设的虹膜阈值，若是，则为一个近似圆；若否，则不是一个近似圆。

优选的，汽车内安装所述GPS系统，所述GPS系统远程连接所述中控平台，实时记录更新汽车的位置信息。

经由上述的技术方案可知，本发明提供一种基于多信息融合的疲劳驾驶检测方法，具体有益效果如下：

一、本发明通过摄像头采集驾驶员面部信息，将待检测人脸三维模型特征点与驾驶员身份信息数据库的人脸特征数据比对，从而可以验证驾驶员是否在预设固定名单中，提高安全驾驶的身份验证作用，并结合驾驶员行车时间记录数据库记录驾驶员连续驾驶时长信息，预防疲劳驾驶。

二、本发明对驾驶员的疲劳等不安全状态进行实时检测并提供报警信息。充分考虑了行车过程中对于疲劳驾驶判定的多因素影响问题，提出了一种综合利用视频帧的多信息融合、面部区域建模、基于灰度分割的虹膜识别建立了驾驶员疲劳驾驶检测方法。通过对该驾驶员驾驶状态的自动分析，形成针对该驾驶员的数据分析库，结合GPS系统定位判断出驾驶员疲劳驾驶行为，给予驾乘者主动智能的安全保障。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明基于多信息融合的疲劳驾驶检测方法的原理框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的实施包括如下设备：摄像头、报警装置、GPS系统、中控平台。其中，摄像头安装于汽车驾驶室内，位于方向盘前端，用于实时拍摄驾驶员人脸照片；报警装置安装于汽车驾驶室前端，用于进行语音提示报警；GPS系统安装于汽车上，用于汽车的实时定位；摄像头和GPS系统与中控平台远程连接，分别实时向中控平台发送视频流数据和汽车位置数据，用于监控汽车行车路线和驾驶员驾驶状态；报警装置远程接收中控平台的预警信号，并对驾驶员进行语音提醒。

参照说明书附图1，本发明的基于多信息融合的疲劳驾驶检测方法包括如下步骤：

S1：通过汽车内安装的摄像头采集驾驶员人脸照片，建立人脸三维模型，上传至中控平台进行驾驶员身份验证；具体验证过程为：

中控平台连接驾驶员身份信息数据库，驾驶员身份信息数据库预存已标注人脸特征的驾驶员头像照片；

汽车内安装摄像头，用于采集驾驶员的人脸照片；

提取人脸照片中的特征点，建立人脸三维模型；

将人脸三维模型上传至中控平台，并将特征点与驾驶员头像照片中的人脸特征进行比对，验证驾驶员身份。

为了进一步优化上述技术方案，驾驶员身份信息数据库连接有驾驶员行车时间记录数据库，包括驾驶员驾车起始时间和驾车结束时间。

S2：若验证通过，更新当前驾驶员的驾驶起始时间，并开始采集驾驶员的实时视频发送至中控平台，中控平台在视频流中捕捉帧图片，抽取当前帧的面部图像进行处理；

S3：对当前帧中的人眼图像进行虹膜定位，判断眼睛睁闭状态；若眼睛为睁开状态，则进入S4；若眼睛为疲劳状态进入S6；

对人眼图像进行红外滤光处理，得到滤光图像；

采用分割算法对滤光图像进行分割得到不同灰度区域的图像，将灰度值在设定范围内的区域作为虹膜的候选区域；

沿候选区域外边缘等角度的选择N个点作为虹膜外边缘的定位点；

计算每个定位点的进行灰度变化的累加值计算得到灰度梯度；

求灰度梯度中的最大值，该最大值对应的点即为边界点；

将所有的边界点拟合后得到虹膜的外边缘；

将虹膜的外边缘采用最小二乘算法进行圆拟合，判断是否为一个近似圆，若是，则为睁开状态；若不是，则为疲劳状态。

为了进一步优化上述技术方案，判断是否为一个近似圆的方法为：

计算出拟合圆的最短半径和最长半径，判断最短半径和最长半径之间的差值是否小于预设的虹膜阈值，若是，则为一个近似圆；若否，则不是一个近似圆。

在具体的实施例中，拟合后得到虹膜的外边缘若不是一个近似圆，则可以判定驾驶员的眼镜状态为半睁或闭合，即，驾驶员当前处于驾驶疲劳状态；若为一个近似圆，则说明驾驶员目视前方，且处于睁开状态，即，正常驾驶状态。

S4：判断包含驾驶员的面部图像的连续视频帧个数是否大于预设的帧阈值，若是，则进入S5；若不是，则更新当前驾驶员的驾驶结束时间；

在具体的实施例中，判断驾驶员面部图像的连续视频帧个数的目的在于，检测驾驶员是否还在驾驶中，或已经离开驾驶位，若已经离开驾驶位则记录当前时间为驾驶员驾驶结束时间。

S5：通过GPS系统定位汽车在单位时间内是否产生新的移动距离，若产生新的移动距离，则进入S7；若未产生新的移动距离，则返回S3；

汽车内安装GPS系统，GPS系统远程连接中控平台，实时记录更新汽车的位置信息。

在具体的实施例中，检测汽车在单位时间内是否产生新的移动距离的目的在于，判断汽车是否还处于行车状态，若是，则说明驾驶员已处于疲劳驾驶状态，若不是，说明驾驶员未驾驶汽车，不进行报警。

S6：判断疲劳状态时长是否大于预设的时间阈值，若是，则进入S7；若不是，则返回S3；该步骤有效避免了驾驶员正常的眨眼，头部转动等动作的误报警。

S7：向中控平台发送预警信号，并控制汽车内安装的报警装置进行语音报警。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种基于多信息融合的疲劳驾驶检测方法，其特征在于，包括如下步骤：

步骤1，通过汽车内安装的摄像头采集驾驶员人脸照片，建立人脸三维模型，上传至中控平台进行驾驶员身份验证；

步骤2，若验证通过，更新当前驾驶员的驾驶起始时间，并开始采集驾驶员的实时视频，视频流中捕捉帧图片，抽取当前帧的面部图像进行处理；

步骤3，对所述当前帧中的人眼图像进行虹膜定位，判断眼睛睁闭状态；若眼睛为睁开状态，则进入步骤4；若眼睛为疲劳状态进入步骤6；

步骤4，判断包含驾驶员的面部图像的连续视频帧个数是否大于预设的帧阈值，若是，则进入步骤5；若不是，则更新当前驾驶员的驾驶结束时间；

步骤5，通过GPS系统定位汽车在单位时间内是否产生新的移动距离，若产生新的移动距离，则进入步骤7；若未产生新的移动距离，则返回步骤3；

步骤6，判断疲劳状态时长是否大于预设的时间阈值，若是，则进入步骤7；若不是，则返回步骤3；

步骤7，中控平台向汽车内安装的所述报警装置发送预警信号，并控制所述报警装置进行语音报警。

2.根据权利要求1所述基于多信息融合的疲劳驾驶检测方法，其特征在于，所述步骤1具体包括，

所述中控平台连接驾驶员身份信息数据库，所述驾驶员身份信息数据库预存已标注人脸特征的驾驶员头像照片；

汽车内安装摄像头，用于采集驾驶员的人脸照片；

提取所述人脸照片中的特征点，建立人脸三维模型；

将所述人脸三维模型上传至所述中控平台，并将所述特征点与所述驾驶员头像照片中的人脸特征进行比对，验证驾驶员身份。

3.根据权利要求2所述基于多信息融合的疲劳驾驶检测方法，其特征在于，所述所述驾驶员身份信息数据库连接有驾驶员行车时间记录数据库，包括驾驶员驾车起始时间和驾车结束时间。

4.根据权利要求1所述基于多信息融合的疲劳驾驶检测方法，其特征在于，所述步骤3中对所述当前帧中的人眼图像进行虹膜定位的具体方法包括：

对所述人眼图像进行红外滤光处理，得到滤光图像；

采用分割算法对所述滤光图像进行分割得到不同灰度区域的图像，将灰度值在设定范围内的区域作为虹膜的候选区域；

沿候选区域外边缘等角度的选择N个点作为虹膜外边缘的定位点；

计算每个定位点的灰度梯度；

求灰度梯度中的最大值，该最大值对应的点即为边界点；

将所有的边界点拟合后得到虹膜的外边缘；

将所述虹膜的外边缘采用最小二乘算法进行圆拟合，判断是否为一个近似圆，若是，则为睁开状态；若不是，则为疲劳状态。

5.根据权利要求4所述基于多信息融合的疲劳驾驶检测方法，其特征在于，判断是否为一个近似圆的方法为：

计算出拟合圆的最短半径和最长半径，判断最短半径和最长半径之间的差值是否小于预设的虹膜阈值，若是，则为一个近似圆；若否，则不是一个近似圆。

6.根据权利要求1所述基于多信息融合的疲劳驾驶检测方法，其特征在于，汽车内安装所述GPS系统，所述GPS系统远程连接所述中控平台，实时记录更新汽车的位置信息。

Images