CN114743182A - 一种驾驶员疲劳状态的监测方法及其装置 - Google Patents

一种驾驶员疲劳状态的监测方法及其装置 Download PDF

Info

Publication number
CN114743182A
CN114743182A CN202210366715.3A CN202210366715A CN114743182A CN 114743182 A CN114743182 A CN 114743182A CN 202210366715 A CN202210366715 A CN 202210366715A CN 114743182 A CN114743182 A CN 114743182A
Authority
CN
China
Prior art keywords
driver
face
area
eyes
fatigue state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210366715.3A
Other languages
English (en)
Inventor
陈春雷
熊天运
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Xinmai Internet Of Things Technology Group Co ltd
Original Assignee
Zhejiang Xinmai Internet Of Things Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Xinmai Internet Of Things Technology Group Co ltd filed Critical Zhejiang Xinmai Internet Of Things Technology Group Co ltd
Priority to CN202210366715.3A priority Critical patent/CN114743182A/zh
Publication of CN114743182A publication Critical patent/CN114743182A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种驾驶员疲劳状态的监测方法，实时获取驾驶员脸部图像，推理得到驾驶员的脸模图，计算出驾驶员眼睛的张合面积，通过分析上述张合面积的变化来判断驾驶员是否处于疲劳状态。同时提供了一种驾驶员疲劳状态的监测装置。本发明提供的驾驶员疲劳状态的监测方法及其装置，设计一种轻量型深度学习模型，采用该模型计算驾驶员眼睛的张合面积，并通过该面积的变化对疲劳状态进行实时监测，准确判别驾驶员疲劳状态的同时对硬件及其算力要求不高。

Description

一种驾驶员疲劳状态的监测方法及其装置
技术领域
本发明涉及一种监测方法及装置，尤其涉及一种驾驶员疲劳状态的监测方法及其装置。
背景技术
随着经济社会不断发展和交通基础设施不断完善，机动车拥有量和驾驶员人数持续增长，道路交通事故频繁发生。调查显示，疲劳驾驶是导致事故的主要原因之一。
近年来，得益于传感器、深度学习、机器视觉等技术，国内外关于驾驶员疲劳状态检测研究技术有了长足进步。现有的驾驶员疲劳状态检测技术大体分四类：第一类是基于呼吸、心电等生理信息的研究方法，装置简单且算法单一，但可靠性低；第二类是基于车辆驾驶行为，如操纵方向盘的动作，此装置复杂，不同车型适配麻烦，且易造成误判；第三类采用特有光学设备来提升算法识别效果，可以实时且准确识别驾驶员状态，比如结构光，但硬件设备成本高昂；第四类技术上较为成熟，结合了模式识别和图像处理技术，但复杂的算法往往带来较大的算力要求。
发明内容
本发明的目的是克服现有的缺陷，提供一种驾驶员疲劳状态的监测方法及其装置，解决目前判别驾驶员疲劳状态的算法复杂且存在较大算力要求的问题。
为了解决上述技术问题，本发明提供了如下的技术方案：
一种驾驶员疲劳状态的监测方法，包括以下步骤：
S1、获取驾驶员脸部图像；
S2、采用轻量型深度学习模型对所述驾驶员脸部图像进行推理，得到驾驶员的脸模图；
S3、利用步骤S2得到的脸模图获取驾驶员人眼信息，并计算出驾驶员眼睛的张合面积，所述脸模图为仅眼部裸露的面部覆盖图，脸模图的内轮廓面积即为驾驶员眼睛的张合面积；
S4、在驾驶员行车期间，持续循环进行步骤S1到S3，记录这一期间得到的面积数字，其中，驾驶员眼睛张合面积的多个面积数字形成一个面积数组；
S5、利用所述面积数组计算出面积特征值，并与预设的阈值进行比较，判断驾驶员是否处于疲劳状态。
进一步地，步骤S1中的驾驶员脸部图像为红外摄像头配合红外补光灯采集的红外光图像或RGB彩色摄像头采集的彩色图像，对应得到的驾驶员脸部图像为h*w或者h*w*3的图片。
进一步地，步骤S2中的轻量型深度学习模型采用vgg与Unet++相结合的结构，并通过梯度下降算法进行训练，训练数据为人脸图像图片以及相对应的标注数据，所述标注数据为人脸部区域的脸模图，所述脸模图为仅眼部裸露的面部覆盖图。
进一步地，所述训练数据来自被监测驾驶员，长期的训练结果形成驾驶员的历史信息，所述阈值根据驾驶员的历史信息来确定。
进一步地，步骤S5中的比较方法为计算出不同时间段驾驶员眼睛的平均张合面积，假设时间段为t1，t2，t3，……，tn，对应的驾驶员眼睛的平均张合面积为s1，s2，s3，……，sn，sn/s1为所述面积特征值，若sn/s1<阈值T，则认为驾驶员处于疲劳状态。
一种驾驶员疲劳状态的监测装置，包括：
获取模块，用于获取驾驶员脸部图像；
推理模块，用于采用轻量型深度学习模型对所述驾驶员脸部图像进行推理，得到驾驶员的脸模图；
计算模块，用于利用所述驾驶员的脸模图获取驾驶员人眼信息，并计算出驾驶员眼睛的张合面积，所述脸模图为仅眼部裸露的面部覆盖图，脸模图的内轮廓面积即为驾驶员眼睛的张合面积；
记录模块，用于记录在驾驶员行车期间，持续循环进行所述驾驶员眼睛张合面积的计算而得到的面积数字，其中，多个驾驶员眼睛张合面积的面积数字形成一个面积数组；
判断模块，用于利用所述面积数组计算出面积特征值，并与预设的阈值进行比较，判断驾驶员是否处于疲劳状态。
进一步地，所述驾驶员脸部图像为红外摄像头配合红外补光灯采集的红外光图像或RGB彩色摄像头采集的彩色图像，对应得到的驾驶员脸部图像为h*w或者h*w*3的图片。
进一步地，所述轻量型深度学习模型采用vgg与Unet++相结合的结构，并通过梯度下降算法进行训练，训练数据为人脸图像图片以及相对应的标注数据，所述标注数据为人脸部区域的脸模图，所述脸模图为仅眼部裸露的面部覆盖图。
进一步地，所述训练数据来自被监测驾驶员，长期的训练结果形成驾驶员的历史信息，所述阈值根据驾驶员的历史信息来确定。
进一步地，所述判断模块具体用于，计算出不同时间段驾驶员眼睛的平均张合面积，假设时间段为t1，t2，t3，……，tn，对应的驾驶员眼睛的平均张合面积为s1，s2，s3，……，sn，sn/s1为所述面积特征值，若sn/s1<阈值T，则认为驾驶员处于疲劳状态。
本发明一种驾驶员疲劳状态的监测方法及其装置，设计一种轻量型深度学习模型，采用该模型计算驾驶员眼睛的张合面积，并通过该面积的变化对疲劳状态进行实时监测，准确判别驾驶员疲劳状态的同时对硬件及其算力要求不高。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明中驾驶员疲劳状态的检测方法的流程示意图；
图2是本发明中驾驶员脸部图像的示意图；
图3是本发明中驾驶员脸模图示意图；
图4是本发明实施例1及实施例2中首次执行得到的驾驶员脸部图像示意图；
图5是本发明实施例1及实施例2中首次执行得到的驾驶员脸模图示意图；
图6是本发明实施例1中再次执行得到的驾驶员脸部图像示意图；
图7是本发明实施例1中再次执行得到的驾驶员脸模图示意图；
图8是本发明实施例2中再次执行得到的驾驶员脸部图像示意图；
图9是本发明实施例2中再次执行得到的驾驶员脸模图示意图；
图10是本发明中驾驶员疲劳状态的监测装置的结构示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
如图1所示，一种驾驶员疲劳状态的监测方法，包括以下步骤：
S1、获取驾驶员脸部图像；
S2、采用轻量型深度学习模型对驾驶员脸部图像进行推理，得到驾驶员的脸模图；
S3、利用步骤S2得到的脸模图获取驾驶员人眼信息，并计算出驾驶员眼睛的张合面积，脸模图为仅眼部裸露的面部覆盖图，脸模图的内轮廓面积即为驾驶员眼睛的张合面积；
S4、在驾驶员行车期间，持续循环进行步骤S1到S3，记录这一期间得到的面积数字，其中，驾驶员眼睛张合面积的多个面积数字形成一个面积数组；
S5、利用面积数组计算出面积特征值，并与预设的阈值进行比较，判断驾驶员是否处于疲劳状态。
步骤S1中的驾驶员脸部图像为RGB彩色摄像头采集的彩色图像，对应得到的驾驶员脸部图像为h*w*3的图片(如图2所示，实际中为彩色，因格式要求调成黑白)。
步骤S2中的轻量型深度学习模型采用vgg与Unet++相结合的结构，并通过梯度下降算法进行训练，训练数据为人脸图像图片以及相对应的标注数据，标注数据为人脸部区域的脸模图(如图3所示)，脸模图为仅眼部裸露的面部覆盖图。
训练数据来自被监测驾驶员，长期的训练结果形成驾驶员的历史信息，阈值根据驾驶员的历史信息来确定。每个人的眼睛大小有所不同，所以对应判断疲劳的阈值也各有不同，本发明中的阈值不是以单张图片来确定的，而是根据驾驶员训练得到的历史信息来综合判断得出的。
步骤S5中的比较方法为计算出不同时间段驾驶员眼睛的平均张合面积，假设时间段为t1，t2，t3，……，tn，对应的驾驶员眼睛的平均张合面积为s1，s2，s3，……，sn，sn/s1为面积特征值，若sn/s1<阈值T，则认为驾驶员处于疲劳状态。本发明是采用一段时间内的距离变化来综合判断驾驶员是否处于疲劳状态，而不是仅仅利用一张图片来进行判断，判断更加准确。
以下提供实际案例来对本发明的方法进行进一步说明：
实施例1
首次执行一轮步骤S1到S3：
获取驾驶员脸部图像如图4所示(实际中为彩色，因格式要求调成黑白，实际图见同时提交的实质审查参考资料)；
采用轻量型深度学习模型对驾驶员脸部图像进行推理，得到驾驶员的脸模图，如图5所示；
计算出驾驶员眼睛的张合面积数字分别为1081和1220，假设这两个数字为t1时间段的平均张合面积s1(实际中为一段时间的平均值，此处为了避免占用大量篇幅而做了简化)；
再次执行一轮步骤S1到S3：
获取驾驶员脸部图像如图6所示(实际中为彩色，因格式要求调成黑白，实际图见同时提交的实质审查参考资料)；
采用轻量型深度学习模型对驾驶员脸部图像进行推理，得到驾驶员的脸模图，如图7所示；
计算出驾驶员眼睛的张合面积数字分别为1076和1260，假设这两个数字为tn时间段的平均张合面积sn(实际中为一段时间的平均值，此处为了避免占用大量篇幅而做了简化)；
设定该驾驶员的阈值为0.7，左眼的面积特征值sn/s1为0.995，右眼的面积特征值sn/s1为1.033，均大于阈值，说明驾驶员并未处于疲劳状态。
实施例2
首次执行不变，得到t1时间段的平均张合面积s1，本实施例与实施例1的区别在于：
再次执行一次步骤S1到S3：
获取驾驶员脸部图像如图8所示(实际中为彩色，因格式要求调成黑白，实际图见同时提交的实质审查参考资料)；
采用轻量型深度学习模型对驾驶员脸部图像进行推理，得到驾驶员的脸模图，如图9所示；
计算出驾驶员眼睛的张合面积数字分别为426和524，假设这两个数字为tn时间段的平均张合面积sn(实际中为一段时间的平均值，此处为了避免占用大量篇幅而做了简化)；
设定该驾驶员的阈值为0.7，左眼的面积特征值sn/s1为0.394，右眼的面积特征值sn/s1为0.43，均小于阈值，说明驾驶员处于疲劳状态。
如图10所示，本发明还提出一种驾驶员疲劳状态的监测装置，包括：
获取模块，用于获取驾驶员脸部图像；
推理模块，用于采用轻量型深度学习模型对驾驶员脸部图像进行推理，得到驾驶员的脸模图；
计算模块，用于利用驾驶员的脸模图获取驾驶员人眼信息，并计算出驾驶员眼睛的张合面积，脸模图为仅眼部裸露的面部覆盖图，脸模图的内轮廓面积即为驾驶员眼睛的张合面积；
记录模块，用于记录在驾驶员行车期间，持续循环进行驾驶员眼睛张合面积的计算而得到的面积数字，其中，多个驾驶员眼睛张合面积的面积数字形成一个面积数组；
判断模块，用于利用面积数组计算出面积特征值，并与预设的阈值进行比较，判断驾驶员是否处于疲劳状态。
获取模块获取的驾驶员脸部图像为红外摄像头配合红外补光灯采集的红外光图像或RGB彩色摄像头采集的彩色图像，对应得到的驾驶员脸部图像为h*w或者h*w*3的图片。
推理模块中的轻量型深度学习模型采用vgg与Unet++相结合的结构，并通过梯度下降算法进行训练，训练数据为人脸图像图片以及相对应的标注数据，标注数据为人脸部区域的脸模图，脸模图为仅眼部裸露的面部覆盖图。
训练数据来自被监测驾驶员，长期的训练结果形成驾驶员的历史信息，阈值根据驾驶员的历史信息来确定。
判断模块具体用于，计算出不同时间段驾驶员眼睛的平均张合面积，假设时间段为t1，t2，t3，……，tn，对应的驾驶员眼睛的平均张合面积为s1，s2，s3，……，sn，sn/s1为面积特征值，若sn/s1<阈值T，则认为驾驶员处于疲劳状态。
本发明一种驾驶员疲劳状态的监测方法及其装置，设计一种轻量型深度学习模型，采用该模型计算驾驶员眼睛的张合面积，并通过该面积的变化对疲劳状态进行实时监测，准确判别驾驶员疲劳状态的同时对硬件及其算力要求不高。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种驾驶员疲劳状态的监测方法，其特征在于，包括以下步骤：
S1、获取驾驶员脸部图像；
S2、采用轻量型深度学习模型对所述驾驶员脸部图像进行推理，得到驾驶员的脸模图；
S3、利用步骤S2得到的脸模图获取驾驶员人眼信息，并计算出驾驶员眼睛的张合面积，所述脸模图为仅眼部裸露的面部覆盖图，脸模图的内轮廓面积即为驾驶员眼睛的张合面积；
S4、在驾驶员行车期间，持续循环进行步骤S1到S3，记录这一期间得到的面积数字，其中，驾驶员眼睛张合面积的多个面积数字形成一个面积数组；
S5、利用所述面积数组计算出面积特征值，并与预设的阈值进行比较，判断驾驶员是否处于疲劳状态。
2.根据权利要求1所述的一种驾驶员疲劳状态的监测方法，其特征在于：步骤S1中的驾驶员脸部图像为红外摄像头配合红外补光灯采集的红外光图像或RGB彩色摄像头采集的彩色图像，对应得到的驾驶员脸部图像为h*w或者h*w*3的图片。
3.根据权利要求1所述的一种驾驶员疲劳状态的监测方法，其特征在于：步骤S2中的轻量型深度学习模型采用vgg与Unet++相结合的结构，并通过梯度下降算法进行训练，训练数据为人脸图像图片以及相对应的标注数据，所述标注数据为人脸部区域的脸模图，所述脸模图为仅眼部裸露的面部覆盖图。
4.根据权利要求3所述的一种驾驶员疲劳状态的监测方法，其特征在于：所述训练数据来自被监测驾驶员，长期的训练结果形成驾驶员的历史信息，所述阈值根据驾驶员的历史信息来确定。
5.根据权利要求1所述的一种驾驶员疲劳状态的监测方法，其特征在于：步骤S5中的比较方法为计算出不同时间段驾驶员眼睛的平均张合面积，假设时间段为t1，t2，t3，……，tn，对应的驾驶员眼睛的平均张合面积为s1，s2，s3，……，sn，sn/s1为所述面积特征值，若sn/s1<阈值T，则认为驾驶员处于疲劳状态。
6.一种驾驶员疲劳状态的监测装置，其特征在于，包括：
获取模块，用于获取驾驶员脸部图像；
推理模块，用于采用轻量型深度学习模型对所述驾驶员脸部图像进行推理，得到驾驶员的脸模图；
计算模块，用于利用所述驾驶员的脸模图获取驾驶员人眼信息，并计算出驾驶员眼睛的张合面积，所述脸模图为仅眼部裸露的面部覆盖图，脸模图的内轮廓面积即为驾驶员眼睛的张合面积；
记录模块，用于记录在驾驶员行车期间，持续循环进行所述驾驶员眼睛张合面积的计算而得到的面积数字，其中，多个驾驶员眼睛张合面积的面积数字形成一个面积数组；
判断模块，用于利用所述面积数组计算出面积特征值，并与预设的阈值进行比较，判断驾驶员是否处于疲劳状态。
7.根据权利要求6所述的一种驾驶员疲劳状态的监测装置，其特征在于：所述驾驶员脸部图像为红外摄像头配合红外补光灯采集的红外光图像或RGB彩色摄像头采集的彩色图像，对应得到的驾驶员脸部图像为h*w或者h*w*3的图片。
8.根据权利要求6所述的一种驾驶员疲劳状态的监测装置，其特征在于：所述轻量型深度学习模型采用vgg与Unet++相结合的结构，并通过梯度下降算法进行训练，训练数据为人脸图像图片以及相对应的标注数据，所述标注数据为人脸部区域的脸模图，所述脸模图为仅眼部裸露的面部覆盖图。
9.根据权利要求8所述的一种驾驶员疲劳状态的监测装置，其特征在于：所述训练数据来自被监测驾驶员，长期的训练结果形成驾驶员的历史信息，所述阈值根据驾驶员的历史信息来确定。
10.根据权利要求9所述的一种驾驶员疲劳状态的监测装置，其特征在于：所述判断模块具体用于，计算出不同时间段驾驶员眼睛的平均张合面积，假设时间段为t1，t2，t3，……，tn，对应的驾驶员眼睛的平均张合面积为s1，s2，s3，……，sn，sn/s1为所述面积特征值，若sn/s1<阈值T，则认为驾驶员处于疲劳状态。
CN202210366715.3A 2022-04-08 2022-04-08 一种驾驶员疲劳状态的监测方法及其装置 Pending CN114743182A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210366715.3A CN114743182A (zh) 2022-04-08 2022-04-08 一种驾驶员疲劳状态的监测方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210366715.3A CN114743182A (zh) 2022-04-08 2022-04-08 一种驾驶员疲劳状态的监测方法及其装置

Publications (1)

Publication Number Publication Date
CN114743182A true CN114743182A (zh) 2022-07-12

Family

ID=82278659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210366715.3A Pending CN114743182A (zh) 2022-04-08 2022-04-08 一种驾驶员疲劳状态的监测方法及其装置

Country Status (1)

Country Link
CN (1) CN114743182A (zh)

Similar Documents

Publication Publication Date Title
CN109460699B (zh) 一种基于深度学习的驾驶员安全带佩戴识别方法
CN104751600B (zh) 基于虹膜识别的防疲劳驾驶安全设备及其使用方法
CN108875642A (zh) 一种多指标融合的驾驶员疲劳检测的方法
CN103767715B (zh) 一种驾驶员安全驾驶状态检测装置
CN105512623A (zh) 基于多传感器雾天行车视觉增强与能见度预警系统及方法
CN105769120A (zh) 疲劳驾驶检测方法和装置
CN110532976A (zh) 基于机器学习和多特征融合的疲劳驾驶检测方法及系统
CN105844257A (zh) 基于机器视觉雾天行车错失道路标志牌的预警系统及方法
CN105512720A (zh) 一种公交车辆客流统计方法和系统
CN107844783A (zh) 一种营运车辆异常驾驶行为检测方法及系统
CN107563346A (zh) 一种基于人眼图像处理实现驾驶员疲劳判别的方法
CN111079675A (zh) 基于目标检测与目标跟踪的行驶行为分析方法
CN114715168A (zh) 一种道路标线缺失环境下的车辆偏航预警方法和系统
CN103465825A (zh) 一种车载系统及其控制方法
CN116935361A (zh) 一种基于深度学习的驾驶员分心行为检测方法
CN114663859A (zh) 灵敏准确的复杂路况车道偏移实时预警系统
CN114743182A (zh) 一种驾驶员疲劳状态的监测方法及其装置
CN106874855A (zh) 头肩区域定位方法及装置
CN116955943A (zh) 基于眼动序列时空语义特征分析的驾驶分心状态识别方法
CN106874858A (zh) 一种车辆信息识别方法及装置和一种车辆
CN109145684B (zh) 基于区域最匹配特征点的头部状态监测方法
CN116012822A (zh) 一种疲劳驾驶的识别方法、装置及电子设备
CN115107786A (zh) 一种用于智能汽车的驾驶行为纠正系统及方法
CN112487986A (zh) 基于高精度地图的驾驶辅助识别方法
CN113421402A (zh) 基于红外相机的乘客体温及疲劳驾驶行为检测系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination