CN110991324B - 一种基于多种动态特征和物联网技术的疲劳驾驶检测方法 - Google Patents

一种基于多种动态特征和物联网技术的疲劳驾驶检测方法 Download PDF

Info

Publication number
CN110991324B
CN110991324B CN201911202629.3A CN201911202629A CN110991324B CN 110991324 B CN110991324 B CN 110991324B CN 201911202629 A CN201911202629 A CN 201911202629A CN 110991324 B CN110991324 B CN 110991324B
Authority
CN
China
Prior art keywords
driver
fatigue
fatigue driving
eye
driving detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911202629.3A
Other languages
English (en)
Other versions
CN110991324A (zh
Inventor
钱坤
林珂
李卫
徐啸风
黄志华
任心怡
田娟
郑良彪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongtongfu Smart City Engineering Construction Co.,Ltd.
Original Assignee
China Information Consulting and Designing Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Information Consulting and Designing Institute Co Ltd filed Critical China Information Consulting and Designing Institute Co Ltd
Priority to CN201911202629.3A priority Critical patent/CN110991324B/zh
Publication of CN110991324A publication Critical patent/CN110991324A/zh
Application granted granted Critical
Publication of CN110991324B publication Critical patent/CN110991324B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Abstract

本发明提供了一种基于多种动态特征和物联网技术的疲劳驾驶检测方法，该方法不仅将疲劳驾驶状态的生物学动态特征纳入考虑，另融入能够反映个体差异及客观差异的特征，如驾驶员的性别年龄、驾驶时长、驾驶时段，这些特征的融入能够较为有效地解决当前疲劳驾驶检测因个体差异带来的误报率。此外，考虑到疲劳状态本身具有一定持续性，故本发明所述方法创造性地将前一次的疲劳驾驶检测结论纳入下一次的疲劳驾驶检测，且为了防止两者间的过分依赖，首先将上一次的检测结论转化为后验概率，再进入下一次检测，此举能够预防驾驶员逐渐进入深度疲劳驾驶状态，同时也提升了识别准确率和实用性。

Description

一种基于多种动态特征和物联网技术的疲劳驾驶检测方法
技术领域
本发明涉及一种基于多种动态特征和物联网技术的疲劳驾驶检测方法。
背景技术
疲劳驾驶已成为导致交通事故的重要原因之一，研究有效且可靠的疲劳驾驶检测方法对防止交通事故、保障人身及财产安全具有重要意义。
近年来，国内外研究者对疲劳检测方法进行了广泛的研究，并提出如下几种检测方法：1)基于生理指标的检测方法，通过驾驶员的脑电波、心电图、方向盘握力等判断疲劳驾驶状态；2)通过采集人脸图像，分析人眼的眨眼频率、幅度、闭合时间等进行疲劳检测；3)基于深度学习的非接触式疲劳驾驶检测方法。通过采集人脸图像，构建卷积神经网络分析人眼部及嘴部疲劳特征，从而进行疲劳状态检测。
现有的疲劳驾驶检测方法：1)基于生理指标的检测方法，这类方法虽具有一定检测精度，但会在一定程度上妨碍驾驶。2)通过采集人脸图像，该类方法一般仅针对面部单一部位进行检测，没有考虑其他相关特征，影响检测精度。3)基于深度学习的非接触式疲劳驾驶检测方法，这种方法虽能够达到一定检测精度，但对动态特征缺乏考虑，且由于深度学习的性质，对算力的依赖较大。
疲劳驾驶状态下，驾驶员易出现诸如低头、闭眼、打哈欠等面部视觉行为，在对车辆的把控上易出现急踩刹车等危险行为；而长时间驾驶、夜间驾驶时，即使驾驶员没有表现出明显的疲劳驾驶面部视觉特征，其在生物学上也可能已处于疲劳驾驶状态。此外，驾驶员的疲劳状态通常具有持续性，不同驾驶员的疲劳状态则具有一定差异性。
发明内容
发明目的：为解决背景技术中存在的技术问题，本发明提出一种基于多种动态特征和物联网技术的疲劳驾驶检测方法，提取驾驶员的性别、年龄特征，融合其驾驶时的面部动态特征及车内传感器返回的驾驶时长、驾驶时段及车辆加速度，建立初始疲劳驾驶检测模型，实现疲劳驾驶状态的实时检测，并能够在一定程度上达到在不同个体上的识别准确度；考虑到疲劳在生物学上的表征，将上一次的疲劳驾驶检测结果纳入下一次的疲劳驾驶检测输入项，更新疲劳驾驶检测模型，提升检测准确率。
本发明是通过如下技术方案实现的：所述的基于多种动态特征和物联网技术的疲劳驾驶检测方法，包括如下步骤：
步骤1，构建初始疲劳驾驶检测模型f*；
步骤2，基于初始疲劳驾驶检测模型f*，构建疲劳驾驶检测模型f，判断驾驶员疲劳状态。
步骤1包括：
步骤1-1，输入N名测试驾驶员的性别xs和年龄段xa；
步骤1-2，采集N名测试驾驶员在正常及疲劳状态下的驾驶视频，其中每名驾驶员采集在正常状态下的驾驶视频时长为tn、在疲劳状态下的驾驶视频时长为tt；
步骤1-3，检测视频帧中的人脸，作为驾驶员人脸；
步骤1-4，基于检测到的驾驶员人脸，检测得到面部的关键点；
步骤1-5，基于面部的关键点，提取驾驶员鼻尖、下巴、左眼的左角、右眼的右角、左嘴角、右嘴角六个关键点的坐标位置，与3D头部模型进行匹配，得到驾驶员头部俯仰角，统计单位时间内低头时长xp；
步骤1-6，基于面部的关键点提取驾驶员眼部轮廓，分别计算驾驶员左眼及右眼的眼长纵横比EARright、EARleft，取均值得到平均眼长纵横比EAR，并根据经验阈值EARthreshold逐帧判断驾驶员眼部状态：当EAR>EARthreshold时判断为张开，否则为闭合；
步骤1-7，基于对驾驶员眼部状态的判断，以连续的双眼闭合帧数计数得到单位时间内最长深眨眼时间xd，并统计得到单位时间内眼部闭合时间占比xc；
步骤1-8，基于面部的关键点，提取驾驶员嘴部轮廓、鼻部轮廓及眼部轮廓，以连续的x帧嘴部纵横比
Figure BDA0002296239460000021
鼻部纵横比/>
Figure BDA0002296239460000022
Figure BDA0002296239460000023
平均眼长纵横比/>
Figure BDA0002296239460000024
作为输入矩阵
Figure BDA0002296239460000025
mar1表示第1帧的嘴部纵横比，nar1表示第1帧的鼻部纵横比，ear1表示第1帧的平均眼长纵横比，分别采集驾驶员打哈欠与未打哈欠状态下的视频数据，并基于所述视频数据按输入矩阵/>
Figure BDA0002296239460000026
提取训练样本集Y，训练二分类支持向量机模型，以此判断驾驶员是否处于打哈欠状态，并统计得到单位时间内打哈欠次数xy；
步骤1-9，利用车载加速度传感器实时反馈的行驶加速度a，结合危险驾驶等级划分中的二级标准判断驾驶员急减速行为，统计单位时间内出现急减速行为的次数xe；
步骤1-10，提取行车记录仪实时数据确定当前时间，进而确定当前时段xt；
步骤1-11，提取行车记录仪实时数据确定当前时间，根据前后时间差计算得到当前行驶时长t；
步骤1-12，整合特征，形成疲劳驾驶检测特征矩阵
Figure BDA0002296239460000031
以此作输入矩阵，基于N名测试驾驶员在正常及疲劳状态下的驾驶视频数据，按输入矩阵/>
Figure BDA0002296239460000032
提取训练样本集F*，训练二分支持向量机模型f*。
步骤1-3中，使用基于HOG特征的级联回归树算法检测视频帧中的人脸，作为驾驶员人脸。
步骤1-3中，如果检测到两张以上的人脸，则以离摄像头最近的人脸为准。
步骤1-4中，使用ERT级联回归算法检测得到面部的68个关键点。
步骤1-5中，所述3D头部模型为通用的3D头部模型CANDIDE-3。
步骤1-5中，使用EPnP(《Efficient Perspective-n-Point Camera PoseEstimation》)算法得到驾驶员头部俯仰角。
步骤2包括：
步骤2-1，基于初始疲劳驾驶检测模型f*，利用sigmoid函数将每个样本的输出映射为概率值：
Figure BDA0002296239460000033
/>
以式(1)作为预测置信度，其中f*()为初始疲劳驾驶检测模型的输出值，p(y＝1|f*(x))为后验概率，参数A、B控制sigmoid函数的形态，求解参数A、B，其优化策略如下：
Figure BDA0002296239460000034
其中，函数F(z)计算公式如下：
Figure BDA0002296239460000035
式(3)中pi为每个样本xi经f*预测的后验概率；ti表示针对样本集F*，其标签y的概率分布的数学期望；
Figure BDA0002296239460000041
Figure BDA0002296239460000042
式(5)中yi表示样本集F*中每个样本xi对应的标签；N+和N-分别为样本集F*中的正例数目、反例数目，正例数目即标签y＝1的数目，反例数目即标签y＝-1的数目；
步骤2-2，更新疲劳驾驶检测特征矩阵为
Figure BDA0002296239460000043
Figure BDA0002296239460000044
以此作输入矩阵，基于N名测试驾驶员在正常及疲劳状态下的驾驶视频数据，按输入矩阵/>
Figure BDA0002296239460000045
提取训练样本集F，训练二分支持向量机模型f，最终，以初始疲劳驾驶检测模型f*及式(1)得到后验概率，再基于疲劳驾驶检测模型f判断驾驶员疲劳状态。
有益效果：本发明所述方法结合了多种在检测疲劳驾驶方面具有代表性的特征，提出一种基于多种动态特征和物联网技术的疲劳驾驶检测方法，该方法不仅将疲劳驾驶状态的生物学动态特征纳入考虑，另融入能够反映个体差异及客观差异的特征，如驾驶员的性别年龄、驾驶时长、驾驶时段，这些特征的融入能够较为有效地解决当前疲劳驾驶检测因个体差异带来的误报率。此外，本发明所述方法创造性地将前一次的疲劳驾驶检测结论纳入下一次的疲劳驾驶检测，且为了防止两者间的过分依赖，首先将上一次的识别结论转化为后验概率，再进入下一次识别，使疲劳驾驶检测更贴近生物学上的特征，也能够预防驾驶员逐渐进入深度疲劳驾驶状态，提升了识别准确率和实用性。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。
图1是本发明方法流程图。
具体实施方式
如图1所示，本发明提供一种基于多种动态特征和物联网技术的疲劳驾驶检测方法，下面结合具体实施范例和附图，对本发明的技术方案做进一步阐述：
步骤1，构建初始疲劳驾驶检测模型f*：
步骤1-1，N名测试驾驶员(N≥30，男女各半)在系统中输入其性别xs及年龄段xa(每10岁为一段)；
步骤1-2，利用车载视频采集单元，采集N名测试驾驶员在正常及疲劳状态下的驾驶视频，其中每名驾驶员采集在正常状态下的驾驶视频时长tn(tn≥60min)、在疲劳状态下的驾驶视频时长tt(tt≥60min)；
步骤1-3，使用基于HOG特征的级联回归树算法检测视频帧中的人脸，作为驾驶员人脸。若检测到多张人脸，则以离摄像头最近的人脸为准；
步骤1-4，基于检测到的驾驶员人脸，使用ERT级联回归算法(《One MillisecondFace Alignment with an Ensemble of Regression Trees》，CVPR2014)检测面部图像中的68个关键点；
步骤1-5，基于检测到的面部关键点，提取驾驶员鼻尖、下巴、左眼的左角、右眼的右角、左嘴角、右嘴角六个关键点的坐标位置，与通用的3D头部模型CANDIDE-3进行匹配，并使用PnP算法得到驾驶员头部俯仰角，统计单位时间内低头时长xp；
步骤1-6，基于检测到的面部关键点提取驾驶员眼部轮廓，计算驾驶员左眼及右眼的眼长纵横比EARright、EARleft，取均值得到平均眼长纵横比EAR，并根据经验阈值EARthreshold逐帧判断驾驶员眼部状态：当EAR>EARthreshold时判断为张开，否则为闭合；
步骤1-7，基于对驾驶员眼部状态的判断，以连续的双眼闭合帧数计数得到单位时间内最长深眨眼时间xd，并统计得到单位时间内眼部闭合时间占比xc；
步骤1-8，基于检测到的面部关键点，提取驾驶员嘴部轮廓、鼻部轮廓及眼部轮廓，以连续的70帧嘴部纵横比
Figure BDA0002296239460000051
鼻部纵横比
Figure BDA0002296239460000052
平均眼长纵横比/>
Figure BDA0002296239460000053
作为输入矩阵/>
Figure BDA0002296239460000054
之后，分别采集驾驶员打哈欠与未打哈欠状态下的视频数据，并基于该视频数据按输入矩阵/>
Figure BDA0002296239460000055
提取训练样本集Y(样本集数量不少于1000组，正负样本各半)，训练二分类支持向量机模型，以此判断驾驶员是否处于打哈欠状态，并统计得到单位时间内打哈欠次数xy；
步骤1-9，利用车载加速度传感器实时反馈的行驶加速度a，结合危险驾驶等级划分中的二级标准(加速度a≥2.22，持续时间超过2秒)判断驾驶员急减速行为，统计单位时间内出现急减速行为的次数xe；
步骤1-10，提取行车记录仪实时数据确定当前时间，进而确定当前时段xt(白天、夜间)；
步骤1-11，提取行车记录仪实时数据确定当前时间，根据前后时间差计算得到当前行驶时长t；
步骤1-12，整合利用上述特征，形成疲劳驾驶检测特征矩阵
Figure BDA0002296239460000061
以此作输入矩阵。基于N名测试驾驶员在正常及疲劳状态下的驾驶视频数据，按输入矩阵/>
Figure BDA0002296239460000062
提取训练样本集F*，训练二分支持向量机模型f*。
步骤2，构建疲劳驾驶检测模型f：
步骤2-1，基于初始疲劳驾驶检测模型f*，利用sigmoid函数将每个样本的输出映射为概率值(《Probabilistic Outputs for Support Vector Machine and Comparisonto Regularized Likelihood Methods》，MIT Press)：
Figure BDA0002296239460000063
以式(1)作为预测置信度。其中f*(x)为初始疲劳驾驶检测模型的输出值，p(y＝1|f*(x))为后验概率，参数A、B控制sigmoid函数的形态。求解参数A、B，其优化策略如下：
Figure BDA0002296239460000064
其中，
Figure BDA0002296239460000065
Figure BDA0002296239460000066
Figure BDA0002296239460000067
式(5)中N+和N-分别为模型中的正反例数目。
步骤2-2，更新疲劳驾驶检测特征矩阵为
Figure BDA0002296239460000068
Figure BDA0002296239460000069
以此作输入矩阵。基于N名测试驾驶员在正常及疲劳状态下的驾驶视频数据，按输入矩阵/>
Figure BDA0002296239460000071
提取训练样本集F，训练二分支持向量机模型f，最终，以初始疲劳驾驶检测模型f*及式(1)得到后验概率，再基于疲劳驾驶检测模型f判断驾驶员疲劳状态。
实施例
下面给出本方法的一个具体实施例：
本实施例提供了一种基于多种动态特征和物联网技术的疲劳驾驶检测方法，包括：
步骤1，构建初始疲劳驾驶检测模型f*：
步骤1-1，30名测试驾驶员，其中一半为男性，一般为女性，年龄分布在20-60岁不等，每人在系统中输入其性别xs(男、女)及年龄段xa(每10岁为一段)；
步骤1-2，利用车载视频采集单元，采集30名测试驾驶员在正常及疲劳状态下的驾驶视频，其中每名驾驶员采集在正常状态下的驾驶视频时长60分钟、在疲劳状态下的驾驶视频时长60分钟，为尽量确保真实性，视频数据为连续采集；
步骤1-3，使用基于HOG特征的级联回归树算法检测视频帧中的人脸，作为驾驶员人脸。若检测到多张人脸，则以离摄像头最近的人脸为准；
步骤1-4，基于检测到的驾驶员人脸，使用ERT级联回归算法(《One MillisecondFace Alignment with an Ensemble of Regression Trees》，CVPR2014)检测面部图像中的68个关键点；
步骤1-5，基于检测到的面部关键点，提取驾驶员鼻尖、下巴、左眼的左角、右眼的右角、左嘴角、右嘴角六个关键点的坐标位置，与通用的3D头部模型CANDIDE-3进行匹配，并使用PnP算法得到驾驶员头部俯仰角，统计单位时间内低头时长xp；
步骤1-6，基于检测到的面部关键点提取驾驶员眼部轮廓，计算驾驶员左眼及右眼的眼长纵横比EARright、EARleft，取均值得到平均眼长纵横比EAR，并根据经验阈值EARthreshoold(本发明中，EARthreshoold取值为0.18)逐帧判断驾驶员眼部状态：当EAR>EARthreshoold时判断为张开，否则为闭合；
步骤1-7，基于对驾驶员眼部状态的判断，以连续的双眼闭合帧数计数得到单位时间内最长深眨眼时间xd，并统计得到单位时间内眼部闭合时间占比xc，本发明中，单位时间定为30秒；
步骤1-8，基于检测到的面部关键点，提取驾驶员嘴部轮廓、鼻部轮廓及眼部轮廓，以连续的70帧嘴部纵横比
Figure BDA0002296239460000081
鼻部纵横比
Figure BDA0002296239460000082
平均眼长纵横比/>
Figure BDA0002296239460000083
作为输入矩阵/>
Figure BDA0002296239460000084
之后，分别采集驾驶员打哈欠与未打哈欠状态下的视频数据，并基于该视频数据按输入矩阵/>
Figure BDA0002296239460000085
提取训练样本集Y(样本集数量为1000，其中打哈欠状态下的样本数量为500，未打哈欠状态下的样本数量为500，未打哈欠状态包括正常、说话、哼歌)，训练二分类支持向量机模型(核函数选取高斯核)，以此判断驾驶员是否处于打哈欠状态，并统计得到单位时间内打哈欠次数xy，本发明中，单位时间定为30秒；
步骤1-9，利用车载加速度传感器实时反馈的行驶加速度a，结合危险驾驶等级划分中的二级标准(加速度a≥2.22，持续时间超过2秒)判断驾驶员急减速行为，统计单位时间内出现急减速行为的次数xe，本发明中，单位时间定为30秒；
步骤1-10，提取行车记录仪实时数据确定当前时间，进而确定当前时段xt(白天、夜间)；
步骤1-11，提取行车记录仪实时数据确定当前时间，根据前后时间差计算得到当前行驶时长t；
步骤1-12，整合利用上述特征，经one-hot编码及归一化处理后，形成疲劳驾驶检测特征矩阵
Figure BDA0002296239460000086
以此作输入矩阵。基于30名测试驾驶员在正常及疲劳状态下的驾驶视频数据，按输入矩阵/>
Figure BDA0002296239460000087
提取训练样本集F*(逐30秒提取一次)，训练二分支持向量机模型f*(核函数选取高斯核)。
步骤2，构建疲劳驾驶检测模型f：
步骤2-1，基于初始疲劳驾驶检测模型f*，利用sigmoid函数将每个样本的输出映射为概率值，以此作为预测置信度，具体见式(1)。式(1中)f*(x)为初始疲劳驾驶检测模型的输出值，p(y＝1|f*(x))为后验概率，参数A、B控制sigmoid函数的形态。求解参数A、B，其优化策略见式(2)-(5)；
步骤2-2经one-hot编码及归一化处理后，更新疲劳驾驶检测特征矩阵为
Figure BDA0002296239460000088
以此作输入矩阵。基于30名测试驾驶员在正常及疲劳状态下的驾驶视频数据，并结合初始疲劳驾驶检测模型f*的预测结果，按输入矩阵/>
Figure BDA0002296239460000091
提取训练样本集F(逐30秒提取一次)，训练二分支持向量机模型f(核函数选取高斯核)，以此判断驾驶员疲劳状态。具体如下：
步骤a1，根据步骤1-12中得到的初始模型f*，在训练样本集F*上得到每个样本经f*的预测结果，并经式(1)转化为后验概率p；
步骤a2，将后验概率p以特征矩阵
Figure BDA0002296239460000092
的形式，添加进样本集F*，得到新的样本集F。特别的，针对首个样本，因无法提取前序样本的预测后验概率，本实施例中将首个样本中的后验概率p设置为中立，即p＝0.5；
步骤a3，在样本集F上训练二分支持向量机模型f；
步骤a4，实际应用时，首先基于初始模型f*及式(1)得到后验概率，再基于模型f判断驾驶员疲劳状态。
由于驾驶员的疲劳状态具有连续性，一旦进入疲劳状态，如果不及时停车休息，则有很大可能逐渐陷入深度疲劳。基于这种生物学上的特性，可将上一次的疲劳检测结果作为下一次疲劳检测的输入。但上一次的疲劳检测结果为硬标签，即非负即正。若直接以硬标签输入，则易使初始疲劳检测结果对后续的疲劳检测产生过大指导影响，故本发明将上一次的疲劳检测结果首先转化为预测概率p，并由此更新疲劳驾驶检测特征矩阵
Figure BDA0002296239460000093
本发明实施例中仅给出端值，即具有可接受精度的最小值的范例。前期数据采集量越大，则后期实施中准确度越高。
本发明提供了一种基于多种动态特征和物联网技术的疲劳驾驶检测方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (7)

1.一种基于多种动态特征和物联网技术的疲劳驾驶检测方法，其特征在于，包括如下步骤：
步骤1，构建初始疲劳驾驶检测模型f*；
步骤2，基于初始疲劳驾驶检测模型f*，构建疲劳驾驶检测模型f，判断驾驶员疲劳状态；
步骤1包括：
步骤1-1，输入N名测试驾驶员的性别xs和年龄段xa；
步骤1-2，采集N名测试驾驶员在正常及疲劳状态下的驾驶视频，其中每名驾驶员采集在正常状态下的驾驶视频时长为tn、在疲劳状态下的驾驶视频时长为tt；
步骤1-3，检测视频帧中的人脸，作为驾驶员人脸；
步骤1-4，基于检测到的驾驶员人脸，检测得到面部的关键点；
步骤1-5，基于面部的关键点，提取驾驶员鼻尖、下巴、左眼的左角、右眼的右角、左嘴角、右嘴角六个关键点的坐标位置，与3D头部模型进行匹配，得到驾驶员头部俯仰角，统计单位时间内低头时长xp；
步骤1-6，基于面部的关键点提取驾驶员眼部轮廓，分别计算驾驶员左眼及右眼的眼长纵横比EARright、EARleft，取均值得到平均眼长纵横比EAR，并根据经验阈值EARthreshold逐帧判断驾驶员眼部状态：当EAR＞EARthreshold时判断为张开，否则为闭合；
步骤1-7，基于对驾驶员眼部状态的判断，以连续的双眼闭合帧数计数得到单位时间内最长深眨眼时间xd，并统计得到单位时间内眼部闭合时间占比xc；
步骤1-8，基于面部的关键点，提取驾驶员嘴部轮廓、鼻部轮廓及眼部轮廓，以连续的x帧嘴部纵横比
Figure FDA0004114900690000011
鼻部纵横比/>
Figure FDA0004114900690000012
Figure FDA0004114900690000013
平均眼长纵横比/>
Figure FDA0004114900690000014
作为输入矩阵
Figure FDA0004114900690000015
mar1表示第1帧的嘴部纵横比，nar1表示第1帧的鼻部纵横比，ear1表示第1帧的平均眼长纵横比，分别采集驾驶员打哈欠与未打哈欠状态下的视频数据，并基于所述视频数据按输入矩阵/>
Figure FDA0004114900690000016
提取训练样本集Y，训练二分类支持向量机模型，以此判断驾驶员是否处于打哈欠状态，并统计得到单位时间内打哈欠次数xy；
步骤1-9，利用车载加速度传感器实时反馈的行驶加速度a，结合危险驾驶等级划分中的二级标准判断驾驶员急减速行为，统计单位时间内出现急减速行为的次数xe；
步骤1-10，提取行车记录仪实时数据确定当前时间，进而确定当前时段xt；
步骤1-11，提取行车记录仪实时数据确定当前时间，根据前后时间差计算得到当前行驶时长t；
步骤1-12，整合特征，形成疲劳驾驶检测特征矩阵
Figure FDA0004114900690000021
以此作输入矩阵，基于N名测试驾驶员在正常及疲劳状态下的驾驶视频数据，按输入矩阵/>
Figure FDA0004114900690000022
提取训练样本集F*，训练二分支持向量机模型f*。
2.根据权利要求1所述的方法，其特征在于，步骤1-3中，使用基于HOG特征的级联回归树算法检测视频帧中的人脸，作为驾驶员人脸。
3.根据权利要求2所述的方法，其特征在于，步骤1-3中，如果检测到两张以上的人脸，则以离摄像头最近的人脸为准。
4.根据权利要求3所述的方法，其特征在于，步骤1-4中，使用ERT级联回归算法检测得到面部的68个关键点。
5.根据权利要求4所述的方法，其特征在于，步骤1-5中，所述3D头部模型为通用的3D头部模型CANDIDE-3。
6.根据权利要求5所述的方法，其特征在于，步骤1-5中，使用EPnP算法得到驾驶员头部俯仰角。
7.根据权利要求6所述的方法，其特征在于，步骤2包括：
步骤2-1，基于初始疲劳驾驶检测模型f*，利用sigmoid函数将每个样本的输出映射为概率值：
Figure FDA0004114900690000023
以式(1)作为预测置信度，其中f*(x)为初始疲劳驾驶检测模型的输出值，p(y＝1|f*(x))为后验概率，参数A、B控制sigmoid函数的形态，求解参数A、B，其优化策略如下：
Figure FDA0004114900690000024
其中，函数F(z)计算公式如下：
Figure FDA0004114900690000031
式(3)中pi为每个样本xi经f*预测的后验概率；ti表示针对样本集F*，其标签y的概率分布的数学期望；
Figure FDA0004114900690000032
Figure FDA0004114900690000033
式(5)中yi表示样本集F*中每个样本xi对应的标签；N+和N-分别为样本集F*中的正例数目、反例数目，正例数目即标签y＝1的数目，反例数目即标签y＝-1的数目；
步骤2-2，更新疲劳驾驶检测特征矩阵为
Figure FDA0004114900690000034
Figure FDA0004114900690000035
以此作输入矩阵，基于N名测试驾驶员在正常及疲劳状态下的驾驶视频数据，按输入矩阵
Figure FDA0004114900690000036
提取训练样本集F，训练二分支持向量机模型f，最终，以初始疲劳驾驶检测模型f*及式(1)得到后验概率，再基于疲劳驾驶检测模型f判断驾驶员疲劳状态。/>
CN201911202629.3A 2019-11-29 2019-11-29 一种基于多种动态特征和物联网技术的疲劳驾驶检测方法 Active CN110991324B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911202629.3A CN110991324B (zh) 2019-11-29 2019-11-29 一种基于多种动态特征和物联网技术的疲劳驾驶检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911202629.3A CN110991324B (zh) 2019-11-29 2019-11-29 一种基于多种动态特征和物联网技术的疲劳驾驶检测方法

Publications (2)

Publication Number Publication Date
CN110991324A CN110991324A (zh) 2020-04-10
CN110991324B true CN110991324B (zh) 2023-06-02

Family

ID=70088279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911202629.3A Active CN110991324B (zh) 2019-11-29 2019-11-29 一种基于多种动态特征和物联网技术的疲劳驾驶检测方法

Country Status (1)

Country Link
CN (1) CN110991324B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111627526B (zh) * 2020-05-13 2023-05-23 湖州维智信息技术有限公司 用于儿童adhd筛查评估系统的眼动注意力特征向量确定方法
CN113879313A (zh) * 2020-07-01 2022-01-04 奥迪股份公司 驾驶员疲劳检测方法及装置
CN113536967B (zh) * 2021-06-25 2023-05-30 武汉极目智能技术有限公司 基于驾驶员头部运动姿态与人眼开合度的驾驶员状态辨识方法、装置、电子设备
CN116682264B (zh) * 2023-07-11 2023-12-26 营口港信科技有限公司 一种港口车辆主动安全防控系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679468A (zh) * 2017-09-19 2018-02-09 浙江师范大学 一种嵌入式计算机视觉检测疲劳驾驶方法及装置
CN108491858A (zh) * 2018-02-11 2018-09-04 南京邮电大学 基于卷积神经网络的疲劳驾驶检测方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679468A (zh) * 2017-09-19 2018-02-09 浙江师范大学 一种嵌入式计算机视觉检测疲劳驾驶方法及装置
CN108491858A (zh) * 2018-02-11 2018-09-04 南京邮电大学 基于卷积神经网络的疲劳驾驶检测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
嵌入式疲劳驾驶监测系统的设计与实现;刘党辉、孙朋、尹云霞;《测控技术》;第29卷(第5期);第27-31页 *

Also Published As

Publication number Publication date
CN110991324A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
CN110991324B (zh) 一种基于多种动态特征和物联网技术的疲劳驾驶检测方法
US11783601B2 (en) Driver fatigue detection method and system based on combining a pseudo-3D convolutional neural network and an attention mechanism
CN108791299B (zh) 一种基于视觉的驾驶疲劳检测及预警系统及方法
CN108053615B (zh) 基于微表情的驾驶员疲劳驾驶状态检测方法
Yan et al. Real-time driver drowsiness detection system based on PERCLOS and grayscale image processing
Ji et al. Fatigue state detection based on multi-index fusion and state recognition network
Kong et al. A system of driving fatigue detection based on machine vision and its application on smart device
CN109977930B (zh) 疲劳驾驶检测方法及装置
Han et al. Driver drowsiness detection based on novel eye openness recognition method and unsupervised feature learning
CN107563346A (zh) 一种基于人眼图像处理实现驾驶员疲劳判别的方法
CN111434553B (zh) 制动系统、方法、装置、疲劳驾驶模型的训练方法和装置
CN111753674A (zh) 一种基于深度学习的疲劳驾驶的检测识别方法
CN109740477A (zh) 驾驶员疲劳检测系统及其疲劳检测方法
CN113989788A (zh) 一种基于深度学习和多指标融合的疲劳检测方法
Rigane et al. A fuzzy based method for driver drowsiness detection
Alam et al. Real-time distraction detection based on driver's visual features
CN113642522A (zh) 基于音视频的疲劳状态检测方法和装置
CN108108651B (zh) 基于视频人脸分析的驾驶员非专心驾驶检测方法及系统
Wathiq et al. Optimized driver safety through driver fatigue detection methods
Hussein et al. Improved driver drowsiness detection model using relevant eye image’s features
AU2021103045A4 (en) Drowsy detection using image processing
CN114998874A (zh) 一种基于深度学习的驾驶员异常行为检测方法
Huang et al. Multi-feature fatigue driving detection based on computer vision
Wei et al. Driver sleepiness detection algorithm based on relevance vector machine
Gong et al. Face detection and status analysis algorithms in day and night enivironments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Qian Kun

Inventor after: Lin Ke

Inventor after: Li Wei

Inventor after: Xu Xiaofeng

Inventor after: Huang Zhihua

Inventor after: Ren Xinyi

Inventor after: Tian Juan

Inventor after: Zheng Liangbiao

Inventor before: Ren Xinyi

Inventor before: Qian Kun

Inventor before: Lin Ke

Inventor before: Li Wei

Inventor before: Xu Xiaofeng

Inventor before: Huang Zhihua

Inventor before: Tian Juan

Inventor before: Zheng Liangbiao

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230804

Address after: A1-1302-5, Building A, Kexing Science Park, No. 15 Keyuan Road, Science Park Community, Yuehai Street, Nanshan District, Shenzhen City, Guangdong Province, 518100

Patentee after: Zhongtongfu Smart City Engineering Construction Co.,Ltd.

Address before: 210019 No. 58 East Street, Nanxi River, Jianye District, Nanjing, Jiangsu

Patentee before: CHINA INFORMATION CONSULTING & DESIGNING INSTITUTE Co.,Ltd.