CN114241452A - 一种基于图像识别的驾驶员多指标疲劳驾驶检测方法 - Google Patents

一种基于图像识别的驾驶员多指标疲劳驾驶检测方法 Download PDF

Info

Publication number
CN114241452A
CN114241452A CN202111548250.5A CN202111548250A CN114241452A CN 114241452 A CN114241452 A CN 114241452A CN 202111548250 A CN202111548250 A CN 202111548250A CN 114241452 A CN114241452 A CN 114241452A
Authority
CN
China
Prior art keywords
driver
face
key points
image
fatigue driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111548250.5A
Other languages
English (en)
Inventor
冯雪梅
唐琮泰
马铄
潘李逸科
杨志杰
熊兵
赵奇
王志鹏
刘建金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN202111548250.5A priority Critical patent/CN114241452A/zh
Publication of CN114241452A publication Critical patent/CN114241452A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图像识别的驾驶员多指标疲劳驾驶检测方法，对输入的图像进行方向梯度直方图的人脸检测；随后对人脸关键点检测，在人脸区域内实现脸部特征的提取，获取脸部关键点的位置；在定位人脸关键点之后，获取眼部的关键点坐标，通过坐标来计算眼球的中心位置，对眼球进行定位；使用三维坐标表示关键点的位置，利用驾驶员的三维人脸模型变换到二维图片中人脸仿射变换矩阵的旋转信息来计算得到其头部的欧拉角；通过计算眼部关键点距离之比，同时利用PERCLOS的P80标准判断眼部的开合状态以及驾驶员疲劳程度；通过头部转向信息，判断头部的姿势状态是否异常，对其疲劳驾驶做出判断；对驾驶员的眼球视线方向进行分析，判断其是否处于疲劳状态。

Description

一种基于图像识别的驾驶员多指标疲劳驾驶检测方法
技术领域
本发明属于疲劳驾驶检测技术领域，具体涉及一种基于图像识别的驾驶员多指标疲劳驾驶检测方法。
背景技术
驾驶员疲劳检测是目前对驾驶员疲劳状态进行分析的最高效、最客观的方法，它具有非主观性的特点，它的出现告别了驾驶员的疲劳状态需由驾驶员自身生理感知的历史，可以较为准确并且客观地判断出驾驶员的疲劳状态。它为驾驶员提供更加准确直接的疲劳状态，从而在一定程度上可以减少驾驶员疲劳所导致的交通事故。
目前对于疲劳驾驶检测的手段比较多样，有主观的方法：主观调查表、睡眠习惯调查表、斯坦福睡眠尺度等，也有客观的方法：通过对驾驶员的生理状态进行检测、对驾驶员操控行为以及行车轨迹检测、对行车轨迹的监测、对驾驶员反应的时间进行检测、对驾驶条件以及从驾驶时间进行检测的方法。
生理状态检测法是通过对驾驶员的脑电波、心率等进行接触式的监测，确实可以准确地获取驾驶员实时的精神状态以及生理数据，并且可以达到比较高的精度，但是驾驶员需要佩戴或者穿着一系列检测设备，这无疑给驾驶员的驾驶增加困难以及影响驾驶员的正常疲劳表现。人体行为检测法是通过采集驾驶员面部、头部等身体特征来分析驾驶员的精神状态，目前的研究大多数是集中于单一指标的分析与判断，其受环境因素的干扰较大，准确率并不高。在操纵行为和车辆参数检测方面，驾驶员的驾驶习惯以及车辆的实时环境状态都会对检测结果产生比较大的影响。
然而目前所研究的驾驶员疲劳检测方法，具有滞后性、接触性、单指标性、并且有较大的误差，不能实时、准确地判断驾驶员的状态。所以，可以实时、准确地判断驾驶员疲劳状态的方法是目前急需的。
发明内容
针对上述背景技术所提出的问题，本发明的目的是：旨在提供一种基于图像识别的驾驶员多指标疲劳驾驶检测方法。
为实现上述技术目的，本发明采用的技术方案如下：
一种基于图像识别的驾驶员多指标疲劳驾驶检测方法，包括下述步骤，
S1.对输入的图像进行方向梯度直方图(HOG)的人脸检测，首先是对图像进行灰度化和颜色空间的标准化，然后通过物体形状边缘特征信息实现检测以及灰度图像中的人脸部位梯度特征计算来进行人脸检测；
S2.通过HOG算法获取人脸区域后，利用一种神经网络专家(CEN)作为局部检测器的受约束的局部模型(CLM)进行人脸关键点检测，在人脸区域内实现脸部特征的提取，获取脸部关键点的位置，包括眼睛、嘴唇、脸部轮廓、眉毛、鼻子等关键部位，该步骤主要包含响应图计算和使用点分布模型更新参数两部分，在响应图计算中，该模型采用独立于其他关键点位置的方式对齐人脸68个特征点；在点分布模型更新形状参数中，更新所有的人脸关键点，使用点分布模型对未对齐的人脸关键点进行优化；
S3.在定位人脸关键点之后，获取眼部的关键点坐标，通过坐标来计算眼球的中心位置，对眼球进行定位，视线方向为眼球中心到瞳孔位置HOG的向量；使用三维坐标表示关键点的位置，利用驾驶员的三维人脸模型变换到二维图片中人脸仿射变换矩阵的旋转信息来计算得到其头部的欧拉角；
S4.通过计算眼部关键点距离之比(眼部纵横比)，同时利用PERCLOS的P80标准来判断眼部的开合状态以及驾驶员疲劳程度；对驾驶员头部转向信息进行分析，判断头部的姿势状态是否异常，对其疲劳驾驶做出判断；对驾驶员的眼球视线方向进行分析，判断其是否处于疲劳状态。
进一步限定，所述步骤一中，通过Gamma校正法对图像进行颜色空间的标准化，校正后计算图像每个像素点的梯度，将图像划分为小单元，统计每个单元的梯度直方图，再将几个小单元组成一个块，一个块内所有单元的特征串联起来便得到该块的HOG特征，将图像内所有块的HOG特征串联起来则可以得到目标图像的HOG特征。
进一步限定，所述步骤二中，在响应图计算时，该响应图会通过评估各个像素位置处的关键点对齐率来确定各关键点位置，然后以关键点处的当前估计周围的n×n像素感兴趣区域(ROI)作为输入，经过卷积核大小为500*11*11的对比度归一化卷积层，然后再和200×1×1的ReLu神经元卷积层进行卷积，最后使用点分布模型控制人脸关键点的位置，对位置坐标参数化，通过更新参数来对未对齐的人脸关键点进行优化，由两者的融合完成驾驶过程中对复杂人脸情况进行快速定位和关键点检测。
进一步限定，所述步骤三中，坐标系的转换系统在检测到人脸关键点之后，使用三维坐标表示其位置，再由外部参数矩阵转换至相机坐标系，最后借助相机内部参数矩阵转换到像素坐标系，该过程使用非迭代的Epnp算法来求解，通过输出的旋转向量信息来计算出头部的欧拉角。
进一步限定，所述步骤四中，P80标准定义为眼睑遮挡瞳孔面积超过80％，认为眼睛闭合。
本发明的有益效果：
1.提供了一种方法，该方法通过方向梯度直方图(HOG)人脸检测算法以及CE-CLM模型来获得人脸的68个特征点，之后选取相关的特征点信息，经过坐标系的转换与计算，可以获取驾驶员的眼部开合状态、视线方向以及头部转向信息，设定疲劳的标准与阈值，与上述指标的信息进行比较来判断驾驶员的疲劳程度；
2.使用该方法在驾驶过程中对驾驶员复杂的人脸情况进行检测时，具有速度快、抗干扰能力强、检测精度高的特点；并且该检测方法不与驾驶员接触，对驾驶员行车过程没有影响，确保了安全性；
3.该方法具有实时性，能够在行车过程中对驾驶员实时状态进行疲劳检测；
4.采用多特征指标检测方式具有较高的准确性，通过多个指标同时进行判断驾驶员的疲劳状态，避免了单一指标的偶然性，提高了在复杂场景下的准确率和鲁棒性。
附图说明
本发明可以通过附图给出的非限定性实施例进一步说明；
图1为本发明一种基于图像识别的驾驶员多指标疲劳驾驶检测方法实施例的方案示意图；
图2为本发明一种基于图像识别的驾驶员多指标疲劳驾驶检测方法实施例中HOG人脸检测算法步骤图；
图3为本发明一种基于图像识别的驾驶员多指标疲劳驾驶检测方法实施例中脸部关键点检测算法流程图；
图4为本发明一种基于图像识别的驾驶员多指标疲劳驾驶检测方法实施例中眼部关键点分布图；
图5为本发明一种基于图像识别的驾驶员多指标疲劳驾驶检测方法实施例中三维人脸模型变换到二维图片时各坐标系的关系图；
图6为本发明一种基于图像识别的驾驶员多指标疲劳驾驶检测方法实施例中的眼球结构图；
图7为本发明一种基于图像识别的驾驶员多指标疲劳驾驶检测方法实施例中驾驶员视线区域示意图；
图8为本发明一种基于图像识别的驾驶员多指标疲劳驾驶检测方法实施例中人脸识别效果图；
图9为本发明一种基于图像识别的驾驶员多指标疲劳驾驶检测方法实施例中的人脸关键点检测效果图；
图10为本发明一种基于图像识别的驾驶员多指标疲劳驾驶检测方法实施例中的头部转向检测效果图；
图11为本发明一种基于图像识别的驾驶员多指标疲劳驾驶检测方法实施例中的眼睛视线方向检测效果图；
具体实施方式
为了使本领域的技术人员可以更好地理解本发明，下面结合附图和实施例对本发明技术方案进一步说明。
本案实施中，
首先，对输入的图像进行方向梯度直方图(HOG)的人脸检测，首先将图像进行灰度化，然后采用Gamma校正法对图像进行颜色空间的标准化，可以有效降低图像局部的阴影，同时可以抑制噪音的干扰。校正后计算图像每个像素点的梯度，将图像划分为小单元，统计每个单元的梯度直方图，再将几个小单元组成一个块，一个块内所有单元的特征串联起来便得到该块的HOG特征，将图像内所有块的HOG特征串联起来则可以得到目标图像的HOG特征，HOG人脸检测算法的具体步骤，在图2中展示；
紧接，通过HOG算法获取人脸区域后，采用CE-CLM模型对人脸的区域进行脸部特征的提取包括眼睛、嘴唇、脸部轮廓、眉毛、鼻子等关键部位，该步骤主要包含响应图计算和使用点分布模型更新参数两部分，在计算响应图时，该响应图会通过评估各个像素位置处的关键点对齐率来确定各关键点位置，然后以关键点处的当前估计周围的n×n像素感兴趣区域(ROI)作为输入，经过卷积核大小为500*11*11的对比度归一化卷积层，然后再和200×1×1的ReLu神经元卷积层进行卷积，最后使用点分布模型控制人脸关键点的位置，对位置坐标参数化，通过更新参数来对未对齐的人脸关键点进行优化，两者的融合可以在驾驶过程中对复杂人脸情况进行快速定位和关键点检测，脸部关键点检测算法流程，在图3中展示；
随后，在定位人脸关键点之后，获取眼部的关键点坐标，通过坐标来计算眼球的中心位置，对眼球进行定位，视线方向为眼球中心到瞳孔位置HOG的向量；使用三维坐标表示关键点的位置，利用驾驶员的三维人脸模型变换到二维图片中人脸仿射变换矩阵的旋转信息来计算得到其头部的欧拉角，此过程中给坐标系关系，在图5中展示；
最后，通过计算眼部关键点距离之比(眼部纵横比)，同时利用PERCLOS(眼睛闭合帧数与监测时间段总帧数的百分比)的P80标准来判断眼部的开合状态以及驾驶员疲劳程度；对驾驶员头部转向信息进行分析，判断头部的姿势状态是否异常，对其疲劳驾驶做出判断；对驾驶员的眼球视线方向进行分析，判断其是否处于疲劳状态，
在通过眼部纵横比配合P80标准时，提取眼部的六个关键点，利用上部两点，下部两点以及左右点的距离来计算纵横比，并设定阈值来判断眼部开闭状态，眼部关键点分布，在图4中展示，
对提取到的驾驶员头部欧拉角来判断驾驶员是否处于疲劳驾驶状态，本发明采集头部pitch、yaw、roll三个旋转角度，头部转动的角度在一定范围内，yaw绕y轴旋转范围为-70.8至75.3度，roll绕x轴旋转范围为-40.9至36.3度，所以在对头部转向角度进行检测时，利用P80标准下20％的遮挡比例，当yaw水平旋转或者roll左右旋转角度在一定正负角度值之外，并且在连续的一段时间内都处于该状态，则判定为疲劳驾驶，
在对驾驶员视线方向进行判定时，通过坐标来计算眼球的中心位置，对眼球进行定位，视线方向为眼球中心到瞳孔位置的向量，视线方向的具体分布，展示在眼球结构图6中，视线方向为图6中光轴，
在提取到驾驶员眼部的视线追踪方向后，通过视频数据分析来得到驾驶员疲劳驾驶时眼部的注视区域，将驾驶员视线前方划分为其注视的九个区域，区域分区展示在图7中，在驾驶员正常驾驶的情况下，其视线高度集中于4区域，而当驾驶员进入疲劳驾驶时，其视线位于4区域时间明显减少，在7、8两区域时间显著上升，所以对驾驶员视线上-下方向曲线值设定阈值，从而可以通过驾驶员眼部视线来判断其是否处于疲劳驾驶状态。
上述实施例仅示例性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (5)

1.一种基于图像识别的驾驶员多指标疲劳驾驶检测方法，其特征在于：包括下述步骤，
S1.对输入的图像进行方向梯度直方图(HOG)的人脸检测，首先是对图像进行灰度化和颜色空间的标准化，然后通过物体形状边缘特征信息实现检测以及灰度图像中的人脸部位梯度特征计算来进行人脸检测；
S2.通过HOG算法获取人脸区域后，利用一种神经网络专家(CEN)作为局部检测器的受约束的局部模型(CLM)进行人脸关键点检测，在人脸区域内实现脸部特征的提取，获取脸部关键点的位置，包括眼睛、嘴唇、脸部轮廓、眉毛、鼻子等关键部位，该步骤主要包含响应图计算和使用点分布模型更新参数两部分，在响应图计算中，该模型采用独立于其他关键点位置的方式对齐人脸68个特征点；在点分布模型更新形状参数中，更新所有的人脸关键点，使用点分布模型对未对齐的人脸关键点进行优化；
S3.在定位人脸关键点之后，获取眼部的关键点坐标，通过坐标来计算眼球的中心位置，对眼球进行定位，视线方向为眼球中心到瞳孔位置HOG的向量；使用三维坐标表示关键点的位置，利用驾驶员的三维人脸模型变换到二维图片中人脸仿射变换矩阵的旋转信息来计算得到其头部的欧拉角；
S4.通过计算眼部关键点距离之比(眼部纵横比)，同时利用PERCLOS的P80标准来判断眼部的开合状态以及驾驶员疲劳程度；对驾驶员头部转向信息进行分析，判断头部的姿势状态是否异常，对其疲劳驾驶做出判断；对驾驶员的眼球视线方向进行分析，判断其是否处于疲劳状态。
2.根据权利要求1所述的一种基于图像识别的驾驶员多指标疲劳驾驶检测方法，其特征在于：所述步骤一中，通过Gamma校正法对图像进行颜色空间的标准化，校正后计算图像每个像素点的梯度，将图像划分为小单元，统计每个单元的梯度直方图，再将几个小单元组成一个块，一个块内所有单元的特征串联起来便得到该块的HOG特征，将图像内所有块的HOG特征串联起来则可以得到目标图像的HOG特征。
3.根据权利要求2所述的一种基于图像识别的驾驶员多指标疲劳驾驶检测方法，其特征在于：所述步骤二中，在响应图计算时，该响应图会通过评估各个像素位置处的关键点对齐率来确定各关键点位置，然后以关键点处的当前估计周围的n×n像素感兴趣区域(ROI)作为输入，经过卷积核大小为500*11*11的对比度归一化卷积层，然后再和200×1×1的ReLu神经元卷积层进行卷积，最后使用点分布模型控制人脸关键点的位置，对位置坐标参数化，通过更新参数来对未对齐的人脸关键点进行优化，由两者的融合完成驾驶过程中对复杂人脸情况进行快速定位和关键点检测。
4.根据权利要求3所述的一种基于图像识别的驾驶员多指标疲劳驾驶检测方法，其特征在于：所述步骤三中，坐标系的转换系统在检测到人脸关键点之后，使用三维坐标表示其位置，再由外部参数矩阵转换至相机坐标系，最后借助相机内部参数矩阵转换到像素坐标系，该过程使用非迭代的Epnp算法来求解，通过输出的旋转向量信息来计算出头部的欧拉角。
5.根据权利要求4所述的一种基于图像识别的驾驶员多指标疲劳驾驶检测方法，其特征在于：所述步骤四中，P80标准定义为眼睑遮挡瞳孔面积超过80％，认为眼睛闭合。
CN202111548250.5A 2021-12-17 2021-12-17 一种基于图像识别的驾驶员多指标疲劳驾驶检测方法 Pending CN114241452A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111548250.5A CN114241452A (zh) 2021-12-17 2021-12-17 一种基于图像识别的驾驶员多指标疲劳驾驶检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111548250.5A CN114241452A (zh) 2021-12-17 2021-12-17 一种基于图像识别的驾驶员多指标疲劳驾驶检测方法

Publications (1)

Publication Number Publication Date
CN114241452A true CN114241452A (zh) 2022-03-25

Family

ID=80757612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111548250.5A Pending CN114241452A (zh) 2021-12-17 2021-12-17 一种基于图像识别的驾驶员多指标疲劳驾驶检测方法

Country Status (1)

Country Link
CN (1) CN114241452A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114758403A (zh) * 2022-06-10 2022-07-15 武汉憬然智能技术有限公司 疲劳驾驶智能分析方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114758403A (zh) * 2022-06-10 2022-07-15 武汉憬然智能技术有限公司 疲劳驾驶智能分析方法及装置
CN114758403B (zh) * 2022-06-10 2022-09-13 武汉憬然智能技术有限公司 疲劳驾驶智能分析方法及装置

Similar Documents

Publication Publication Date Title
CN107818310B (zh) 一种基于视线的驾驶员注意力检测方法
Mbouna et al. Visual analysis of eye state and head pose for driver alertness monitoring
CN104200192B (zh) 驾驶员注视检测系统
Ji et al. Fatigue state detection based on multi-index fusion and state recognition network
CN108596087B (zh) 一种基于双网络结果的驾驶疲劳程度检测回归模型
CN108875642A (zh) 一种多指标融合的驾驶员疲劳检测的方法
CN112016457A (zh) 驾驶员分神以及危险驾驶行为识别方法、设备和存储介质
CN110728241A (zh) 一种基于深度学习多特征融合的驾驶员疲劳检测方法
CN112434611B (zh) 基于眼部运动细微特征的早期疲劳检测方法及系统
García et al. Driver monitoring based on low-cost 3-D sensors
Celona et al. A multi-task CNN framework for driver face monitoring
CN111753674A (zh) 一种基于深度学习的疲劳驾驶的检测识别方法
Pech et al. Head tracking based glance area estimation for driver behaviour modelling during lane change execution
CN109711239B (zh) 基于改进混合增量动态贝叶斯网络的视觉注意力检测方法
CN115331205A (zh) 一种云边协同的驾驶员疲劳检测系统
CN114241452A (zh) 一种基于图像识别的驾驶员多指标疲劳驾驶检测方法
CN115346197A (zh) 一种基于双向视频流的驾驶员分心行为识别方法
Kajiwara Driver-condition detection using a thermal imaging camera and neural networks
Bergasa et al. Analysing driver's attention level using computer vision
CN112907635B (zh) 基于几何分析提取眼部异常运动特征的方法
Jha et al. Driver visual attention estimation using head pose and eye appearance information
CN111291607B (zh) 驾驶员分神检测方法、装置、计算机设备和存储介质
CN116012822B (zh) 一种疲劳驾驶的识别方法、装置及电子设备
CN115661800A (zh) 基于视线方向时间关系学习的危险驾驶行为检测方法
CN115588236A (zh) 一种车内司乘人员异常行为检测研究方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication