CN112220481B - 一种驾驶员的驾驶状态检测方法及其安全驾驶方法 - Google Patents

一种驾驶员的驾驶状态检测方法及其安全驾驶方法 Download PDF

Info

Publication number
CN112220481B
CN112220481B CN202011132637.8A CN202011132637A CN112220481B CN 112220481 B CN112220481 B CN 112220481B CN 202011132637 A CN202011132637 A CN 202011132637A CN 112220481 B CN112220481 B CN 112220481B
Authority
CN
China
Prior art keywords
driver
nodding
threshold
fatigue
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011132637.8A
Other languages
English (en)
Other versions
CN112220481A (zh
Inventor
赵林峰
周大洋
左灏
陈楷祺
何云
丰肖
曹琴星
蔡必鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202011132637.8A priority Critical patent/CN112220481B/zh
Publication of CN112220481A publication Critical patent/CN112220481A/zh
Application granted granted Critical
Publication of CN112220481B publication Critical patent/CN112220481B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators

Abstract

本发明公开一种驾驶员的驾驶状态检测方法及其安全驾驶方法。驾驶状态检测方法包括：数据采集；判断驾驶员身体是否异常；驾驶员身体异常下，检测驾驶员的驾驶状态。本发明改变传统的驾驶员状态检测方式，对采集的数据进行不一样的数据分析，实现驶员的身体是否异常的检测目的；并在检测驾驶员的身体异常的条件下，通过量化身体异常得出综合异常度，使得驾驶员的身体异常程度有一个精确的量的概念，从而驾驶员的驾驶能力有一个合理性的判断，最终对驾驶员能不能有效控制车辆做出一个驾驶员心里能承受的判断依据，得到驾驶员对本发明的充分认可与信赖。

Description

一种驾驶员的驾驶状态检测方法及其安全驾驶方法
技术领域
本发明涉及驾驶员驾驶状态检测领域，特别是一种驾驶员的驾驶状态检测方法及其安全驾驶方法。
背景技术
随着汽车工业的快速发展，交通事故的概率也在不断上升，其中，大多数事故是由人为因素造成的，如疲劳驾驶、驾驶员突发疾病、驾驶员注意力分散等。如何预防和降低此类因驾驶员状态异常发生的交通事故，关键在于对驾驶员异常状态的检测和识别。目前，对驾驶员的状态检测多为基于视觉传感器的疲劳状态检测，或者通过接触设备检测驾驶员的心跳、血压等的健康检测。单一传感器检测驾驶员状态存在检测到的特征信息少，识别状态单一的缺点，接触式传感器存在佩戴麻烦，或者使驾驶员感到不舒适的缺点。
现有专利文献专利申请《基于多传感器融合的驾驶员状态监测方法和系统》(公布号为CN111179552A，公布日为2020年05月19日)，其通过采集驾驶员的闭眼行为并当闭眼行为的时长超过闭眼阈值时，由此判断驾驶员处于第一疲劳状态，过采集驾驶员的打哈欠行为并当打哈欠行为的时长超过打哈欠阈值时，由此判断驾驶员处于第二疲劳状态，过采集驾驶员的心率信息并进行数据处理后，当处理后的心率信息超过疲劳阈值时，由此判断驾驶员处于第三疲劳状态。三个疲劳状态分别通过设置一个权值，再进行叠加，根据叠加值判定疲劳程度，再根据疲劳程度(轻度疲劳、中度疲劳、重度疲劳)通过相应的语音播报和/或震动座椅提醒驾驶员。
然而，目前的疲劳结果判断不是非常准确，因此驾驶员的体验非常差，比较反感车辆的这些提醒方式，经常强迫性关闭这个功能，从而导致这个功能几乎成为一个伪命题。另外，心率信息一般是用来反应运动强度、身体异常现象，在疲劳程度上由于人体的差异性没办法很好的表达疲劳，因而也容易造成疲劳误判断。
发明内容
为克服传统的驾驶员状态检测方法的精度低下导致驾驶员的驾驶体验不佳的技术问题，本发明提供一种驾驶员的驾驶状态检测方法及其安全驾驶方法。
本发明采用以下技术方案实现：一种驾驶员的驾驶状态检测方法，其包括以下步骤：
一、数据采集
采集驾驶员在一个单位时间T内的平均心率HR，每次打打哈欠时对头部的遮挡时长TH，驾驶员表情；
其中，平均心率HR的计算方法为：采集驾驶员在单位时间T内的胸腔起伏次数B；计算胸腔起伏速率B/min：B/T；根据胸腔起伏速率B/min得到驾驶员的平均心率HR：K*(B/T)，其中，K为转换系数；
遮挡时长TH的计算方法为：检测驾驶员的面部器官，定位嘴巴部位；对定位后的嘴巴部位，判断嘴巴是否张开，若嘴巴张开，则判断是否有人手遮挡嘴巴，是则计数一次打哈欠次数；若无法定位嘴巴部位，则检测驾驶员的人手，如果检测到人手，则判断人手遮挡嘴巴并计数一次打哈欠次数，同时记录出现此次人手遮挡嘴巴的时长；统计单位时间T内的打哈欠次数FM，每次人手遮挡嘴巴的时长为相应的遮挡时长TH；
二、判断驾驶员身体是否异常
根据平均心率HR、遮挡时长TH、驾驶员表情判断驾驶员身体是否异常，同时满足以下条件时，则判断驾驶员身体异常：
(1)平均心率HR大于一个心率上限阈值hr2或小于一个心率下限阈值hr1；
(2)遮挡时长TH大于一个遮挡阈值th；以及
(3)驾驶员表情为异常表情；
三、驾驶员身体异常下，检测驾驶员的驾驶状态
驾驶状态的检测方法包括步骤：
计算驾驶员的综合异常度AD：AD＝a1*△HR+a2*△TH，其中，△HR表示驾驶员身体异常下，平均心率HR与心率下限阈值hr1的差的绝对值或者平均心率HR与心率上限hr2的差的绝对值；△TH表示驾驶员身体异常下，遮挡时长TH与阈值th的差的绝对值，a1和a2分别表示△HR和△TH在计算过程中的权重系数；以及
当综合异常度AD大于一个综合异常度阈值ad时，判断驾驶员处于非驾驶状态。
作为上述方案的进一步改进，在数据采集中，还采集驾驶员在单位时间T内的前后点头次数N1及每次前后点头的前后点头时长T1和前后点头速度F1，驾驶员在单位时间T内的左右点头次数N2及每次左右点头的左右点头时长T2和左右点头速度F2；还采集驾驶员在单位时间T内的眨眼频率FE；
所述驾驶状态检测方法还包括判断驾驶员是否疲劳，所述驾驶员疲劳判断方法包括步骤：
步骤一、根据眨眼频率FE、打哈欠频率FM判断驾驶员是否为面部疲劳状态，定义为面部疲劳FF，面部疲劳FF＝1的判断方法为同时满足条件：
(1)眨眼频率FE大于一个眨眼频率阈值fe；以及
(2)打哈欠频率FM大于一个打哈欠频率阈值fm；
步骤二、根据前后点头次数N1、前后点头速度F1、左右点头次数N2、左右点头速度F2判断驾驶员是否为头部疲劳状态，定义为头部疲劳FH，头部疲劳FH＝1的判断方法为同时满足条件：
(1)前后点头时长T1大于一个前后点头时长阈值t1或者左右点头时长T2大于一个左右点头时长阈值t2；
(2)前后点头次数N1大于一个前后点头次数阈值n1或者左右点头次数N2大于一个左右点头次数阈值n2；以及
(3)前后点头速度F1大于一个前后点头速度阈值f1或者左右点头速度F2大于一个左右点头速度阈值f2；以及
步骤三，当面部疲劳FF＝1或者头部疲劳FH＝1时，判断驾驶员疲劳；
在检测驾驶员的驾驶状态时，所述驾驶状态的检测方法还包括步骤：
计算驾驶员的综合疲劳度FD：
FD＝b1*△FE+b2*△FM+b3*△T+b4*△N+b5*△F
其中，△FE表示驾驶员眨眼频率FE与阈值fe的差的绝对值；△FM表示驾驶员疲劳下，打哈欠频率FM与打哈欠频率阈值fm的差的绝对值；△T表示驾驶员疲劳下，前后点头时长T1与前后点头时长阈值t1的差的绝对值、左右点头时长T2与左右点头时长阈值t2的差的绝对值中的较大值；△N表示驾驶员疲劳下，前后点头次数N1与前后点头次数阈值n1的差的绝对值、左右点头次数N2与左右点头次数阈值n2的差的绝对值中的较大值；△F表示驾驶员疲劳下，前后点头速度F1与前后点头速度阈值f1的差的绝对值、左右点头速度F2与左右点头速度阈值f2的差的绝对值中的较大值；b1、b2、b3、b4、b5分别表示△FE、△FM、△T、△N、△F在计算过程中的权重系数。
当综合疲劳度FD大于一个综合疲劳度阈值fd时，也判断驾驶员处于非驾驶状态。
作为上述方案的进一步改进，驾驶员表情的判断方法为：
获取驾驶员的面部图像；
利用卷积神经网络和训练好的表情库，对所述面部图像进行驾驶员面部表情的识别，从而识别出驾驶员表情为正常表情或为异常表情。
作为上述方案的进一步改进，通过毫米波雷达检测驾驶员在单位时间T内的胸腔起伏次数B，通过红外相机识别面部器官。
进一步地，前后点头次数N1及每次前后点头的前后点头时长T1和前后点头速度F1的计算方法为：
采集驾驶员的额头或下巴前后移动的前后移动距离FB以及记录此次出现前后移动距离FB的相应时长；
将前后移动距离FB和一个前后移动阈值Tfb进行比较，若前后移动距离FB大于前后移动阈值Tfb，判断驾驶员出现前后点头动作，即为一次前后点头次数，并定义出现前后移动距离FB的相应时长为前后点头时长T1，前后移动距离FB除以前后点头时长T1得到前后点头速度F1；以及
统计单位时间T内前后点头次数N1及每次前后点头的前后点头时长T1和前后点头速度F1。
进一步地，左右点头次数N2及每次左右点头的左右点头时长T2和左右点头速度F2的计算方法为：
采集驾驶员的额头或下巴左右移动的左右移动距离LR以及记录此次出现左右移动距离LR的相应时长；
将左右移动距离LR和一个左右移动阈值Tlr进行比较，若左右移动距离LR大于左右移动阈值Tlr，判断驾驶员出现左右点头动作，即为一次左右点头次数，并定义出现左右移动距离LR的相应时长为左右点头时长T2，左右移动距离LR除以左右点头时长T2得到左右点头速度F2；
统计单位时间T内左右点头次数N2及每次左右点头的左右点头时长T2和左右点头速度F2。
优选地，通过毫米波雷达检测驾驶员的额头或下巴前后移动的前后移动距离FB、检测驾驶员的额头或下巴左右移动的左右移动距离LR。
进一步地，眨眼频率FE的计算方法为：
检测驾驶员的面部器官，定位眼睛部位；
对定位后的眼睛部位，判断前后两个采样时刻的眼睛闭合状态，眼睛每闭合一次计数一次闭眼次数；
统计单位时间T内的闭眼次数，得到眨眼频率FE。
进一步地，打哈欠频率FM的的计算方法为：
检测驾驶员的面部器官，定位嘴巴部位；
对定位后的嘴巴部位，判断嘴巴是否张开，若嘴巴张开，则判断是否有人手遮挡嘴巴，是则计数一次打哈欠次数；
若无法定位嘴巴部位，则检测驾驶员的人手，如果检测到人手，则判断人手遮挡嘴巴并计数一次打哈欠次数，同时记录出现此次人手遮挡嘴巴的时长；
统计单位时间T内的打哈欠次数FM，每次人手遮挡嘴巴的时长为相应的遮挡时长TH。
本发明还提供一种车辆的安全驾驶方法，其包括以下步骤：
采用上述任意驾驶员的状态检测方法来检测驾驶员是否处于非驾驶状态；
当判断驾驶员处于非驾驶状态时，启动所述车辆的智能辅助系统，使得所述车辆开启自动驾驶功能，并启动车辆的驾驶员报警提示功能。
本发明改变传统的驾驶员状态检测方式，对采集的数据进行不一样的数据分析，实现驶员的身体是否异常的检测目的；并在检测驾驶员的身体异常的条件下，通过量化身体异常得出综合异常度，使得驾驶员的身体异常程度有一个精确的量的概念，从而驾驶员的驾驶能力有一个合理性的判断，最终对驾驶员能不能有效控制车辆做出一个驾驶员心里能承受的判断依据，得到驾驶员对本发明的充分认可与信赖。
附图说明
图1为本发明实施例1提供的驾驶员的驾驶状态检测方法的流程图。
图2为图1中驾驶状态检测方法所采用的平均心率HR的计算方法流程图。
图3为图1中驾驶状态检测方法所采用的遮挡时长TH的计算方法流程图。
图4为图1中驾驶状态检测方法所采用的驾驶员身体异常的判断方法流程图。
图5为本发明实施例2提供的基于毫米波雷达和相机融合的驾驶员状态检测系统的结构示意图。
图6为图5中驾驶员状态检测系统的数据处理模块的数据处理方法流程图。
图7为图5中驾驶员状态检测系统的驾驶员状态检测方法流程图。
图8为本发明实施例3提供的驾驶员的驾驶能力判断方法的流程图。
图9为本发明实施例4提供的基于毫米波雷达和相机融合的驾驶员状态检测系统的模块框架图。
图10为图9中雷达处理模块的处理方法流程图。
图11为图9中视觉处理模块的处理方法流程图。
图12为图9中驾驶员状态检测系统的生理异常状态分析图。
图13为图9中驾驶员状态检测系统的疲劳状态分析图。
图14为图9中驾驶员状态检测系统的驾驶能力分析图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
实施例1
请参阅图1，其为本实施例公开的驾驶员的驾驶状态检测方法的流程图，所述驾驶员的驾驶状态检测方法也称之为驾驶员状态检测方法。所述状态检测方法主要包括三个大步骤：一、数据采集；二、判断驾驶员身体是否异常；三、驾驶员身体异常下，检测驾驶员的驾驶状态。当然如果驾驶员身体正常，则重新数据采集，进行下一轮的驾驶状态检测。
数据采集主要采集驾驶员在一个单位时间T内的平均心率HR，每次打打哈欠时对头部的遮挡时长TH，驾驶员表情。
请结合图2，在本实施例中，平均心率HR的计算方法为：采集驾驶员在单位时间T内的胸腔起伏次数B(可以通过毫米波雷达检测驾驶员在单位时间T内的胸腔起伏次数B)；计算胸腔起伏速率B/min：B/T；根据胸腔起伏速率B/min得到驾驶员的平均心率HR：K*(B/T)。其中，K为转换系数，可以通过实验得到。
请结合图3，在本实施例中，遮挡时长TH的计算方法为：检测驾驶员的面部器官，定位嘴巴部位；对定位后的嘴巴部位，判断嘴巴是否张开，若嘴巴张开，则判断是否有人手遮挡嘴巴，是则计数一次打哈欠次数，同时记录出现此次人手遮挡嘴巴的时长；若无法定位嘴巴部位，则检测驾驶员的人手，如果检测到人手，则判断人手遮挡嘴巴并计数一次打哈欠次数，同时记录出现此次人手遮挡嘴巴的时长；统计单位时间T内的打哈欠次数FM，每次人手遮挡嘴巴的时长为相应的遮挡时长TH。可通过红外相机识别面部器官，如红外相机通过获取驾驶员的面部图像检测驾驶员的面部器官，面部识别技术采用现有的技术手段即可满足本发明的需求，因此在此不再详细叙述面部识别技术的细节。
采用红外相机，驾驶员表情也可以通过面部图像才识别。驾驶员表情的判断方法：获取驾驶员的面部图像；利用卷积神经网络和训练好的表情库，对所述面部图像进行驾驶员面部表情的识别，从而识别出驾驶员表情为正常表情或为异常表情。
判断驾驶员身体是否异常，主要是根据平均心率HR、遮挡时长TH、驾驶员表情判断驾驶员身体是否异常。请结合图4，在本实施例中，需要同时满足以下条件时，则判断驾驶员身体异常：
(1)平均心率HR大于一个心率上限阈值hr2或小于一个心率下限阈值hr1；
(2)遮挡时长TH大于一个遮挡阈值th；以及
(3)驾驶员表情为异常表情。异常表情可以指痛苦表情。
驾驶员身体异常下，驾驶状态的检测方法包括步骤：计算驾驶员的综合异常度AD；当综合异常度AD大于一个综合异常度阈值ad时，判断驾驶员处于非驾驶状态。当然，当综合异常度AD不大于综合异常度阈值ad时，判断驾驶员处于正常驾驶状态。
综合异常度AD：AD＝a1*△HR+a2*△TH
其中，△HR表示驾驶员身体异常下，平均心率HR与心率下限阈值hr1的差的绝对值或者平均心率HR与心率上限hr2的差的绝对值；△TH表示驾驶员身体异常下，遮挡时长TH与阈值th的差的绝对值，a1和a2分别表示△HR和△TH在计算过程中的权重系数。在本实施例中，a1和a2分别为0.6和0.4。
本发明改变传统的驾驶员状态检测方式，对采集的数据进行不一样的数据分析，实现检测驾驶员是否身体异常的驾驶目的；并在检测驾驶员身体异常的条件下，通过量化驾驶员身体异常得出身体异常度，使得驾驶员的身体异常程度有一个精确的量的概念，从而驾驶员的驾驶能力有一个合理性的判断，最终对驾驶员能不能有效控制车辆做出一个驾驶员心里能承受的判断依据，得到驾驶员对本发明的充分认可与信赖。
本实施例的驾驶状态检测方法在具体实现时，可通过设计软件的方式来实现，其构架方式可为一种驾驶状态检测装置。所述驾驶状态检测装置包括数据采集模块、身体异常判断模块、驾驶员疲劳判断模块、驾驶状态判断模块。
数据采集模块用于采集驾驶员的驾驶数据。如，采集驾驶员在一个单位时间T内的平均心率HR，每次打打哈欠时对头部的遮挡时长TH，驾驶员表情等，在其他实施例中(如实施例2、3、4)还可以采集驾驶员在单位时间T内的前后点头次数N1及每次前后点头的前后点头时长T1和前后点头速度F1，驾驶员在单位时间T内的左右点头次数N2及每次左右点头的左右点头时长T2和左右点头速度F2；还采集驾驶员在单位时间T内的眨眼频率FE，打哈欠频率FM。
身体异常判断模块用于判断驾驶员身体是否异。在本实施例中，身体异常判断模块根据平均心率HR、遮挡时长TH、驾驶员表情判断驾驶员身体是否异常，同时满足以下条件时，则判断驾驶员身体异常：
(1)平均心率HR大于一个心率上限阈值hr2或小于一个心率下限阈值hr1；
(2)遮挡时长TH大于一个遮挡阈值th；以及
(3)驾驶员表情为异常表情。
驾驶员疲劳判断模块用于判断驾驶员是否疲劳，驾驶员疲劳判断模块包括面部疲劳判断子模块、驾驶员疲劳判断子模块。面部疲劳判断子模块用于根据眨眼频率FE、打哈欠频率FM判断驾驶员是否为面部疲劳状态，定义为面部疲劳FF，面部疲劳FF＝1的判断方法为同时满足条件：
(1)眨眼频率FE大于一个眨眼频率阈值fe；以及
(2)打哈欠频率FM大于一个打哈欠频率阈值fm。
驾驶员疲劳判断子模块用于判断驾驶员是否疲劳：当面部疲劳FF＝1或者头部疲劳FH＝1时，判断驾驶员疲劳。
驾驶状态判断模块包括综合异常度计算子模块、驾驶能力判断子模块。综合异常度计算子模块用于计算驾驶员的综合异常度AD：
AD＝a1*△HR+a2*△TH
其中，△HR表示驾驶员身体异常下，平均心率HR与心率下限阈值hr1的差的绝对值或者平均心率HR与心率上限hr2的差的绝对值；△TH表示驾驶员身体异常下，遮挡时长TH与阈值th的差的绝对值，a1和a2分别表示△HR和△TH在计算过程中的权重系数。
驾驶能力判断子模块用于判断驾驶员的驾驶能力：当综合异常度AD大于一个综合异常度阈值ad时，判断驾驶员不能有效控制车辆。
本实施例的驾驶状态检测方法可应用于现有车辆中，所述车辆安装有驾驶员状态检测系统、智能辅助系统、报警系统。驾驶员状态检测系统就是采用本实施例的驾驶状态检测方法，驾驶员状态检测方法判断驾驶员不能有效控制车辆时，启动所述智能辅助系统，使得所述车辆开启自动驾驶功能；还可启动所述报警系统，使得所述车辆开启驾驶员报警提示功能。
驾驶员状态检测系统只需要在现有车辆上安装毫米波雷达、红外相机和驾驶员状态检测系统(可以采用独立的控制板，也可以以软件的方式加载在车辆的控制板上)，就可以对现有车辆进行更新升级，实现驾驶员状态检测，无需通过置换车辆的方式，因而成本低，易于推广与实现。
实施例2
请参阅图5，其为本实施例公开的基于毫米波雷达和相机融合的驾驶员状态检测系统的结构示意图。所述驾驶员状态检测系统包括数据采集模块、数据处理系统。
数据采集模块包括毫米波雷达和红外相机。毫米波雷达用于检测驾驶员的额头或下巴前后移动的前后移动距离FB以及记录此次出现前后移动距离FB的相应时长，所述毫米波雷达还用于检测驾驶员的额头或下巴左右移动的左右移动距离LR以及记录此次出现左右移动距离LR的相应时长。所述红外相机用于通过获取驾驶员的面部图像检测驾驶员的面部器官。
数据处理系统包括数据处理模块、驾驶员疲劳判断模块、驾驶状态判断模块。
请结合图6，数据处理模块将前后移动距离FB和一个前后移动阈值Tfb进行比较，若前后移动距离FB大于前后移动阈值Tfb，判断驾驶员出现前后点头动作，即为一次前后点头次数，并定义出现前后移动距离FB的相应时长为前后点头时长T1，前后移动距离FB除以前后点头时长T1得到前后点头速度F1，统计单位时间T内前后点头次数N1及每次前后点头的前后点头时长T1和前后点头速度F1。
数据处理模块还将左右移动距离LR和一个左右移动阈值Tlr进行比较，若左右移动距离LR大于左右移动阈值Tlr，判断驾驶员出现左右点头动作，即为一次左右点头次数，并定义出现左右移动距离LR的相应时长为左右点头时长T2，左右移动距离LR除以左右点头时长T2得到左右点头速度F2，统计单位时间T内左右点头次数N2及每次左右点头的左右点头时长T2和左右点头速度F2。
请结合图7，数据处理模块还根据所述面部器官定位眼睛部位，对定位后的眼睛部位，判断前后两个采样时刻的眼睛闭合状态，眼睛每闭合一次计数一次闭眼次数，统计单位时间T内的闭眼次数，得到眨眼频率FE。
数据处理模块还根据所述面部器官定位嘴巴部位，对定位后的嘴巴部位，判断嘴巴是否张开，若嘴巴张开，则判断是否有人手遮挡嘴巴，是则计数一次打哈欠次数，若无法定位嘴巴部位，则检测驾驶员的人手，如果检测到人手，则判断人手遮挡嘴巴并计数一次打哈欠次数，统计单位时间T内的打哈欠次数FM。数据处理模块在判断人手遮挡嘴巴并计数一次打哈欠次数的同时，还记录出现此次人手遮挡嘴巴的时长，每次人手遮挡嘴巴的时长为相应的遮挡时长TH，如图3所示。
驾驶员疲劳判断模块包括面部疲劳判断子模块、头部疲劳判断子模块、驾驶员疲劳判断子模块。
面部疲劳判断子模块根据眨眼频率FE、打哈欠频率FM判断驾驶员是否为面部疲劳状态，定义为面部疲劳FF，面部疲劳FF＝1的判断方法为同时满足条件：
(1)眨眼频率FE大于一个眨眼频率阈值fe；以及
(2)打哈欠频率FM大于一个打哈欠频率阈值fm。
头部疲劳判断子模块根据前后点头次数N1、前后点头速度F1、左右点头次数N2、左右点头速度F2判断驾驶员是否为头部疲劳状态，定义为头部疲劳FH，头部疲劳FH＝1的判断方法为同时满足条件(请结合图8)：
(1)前后点头时长T1大于一个前后点头时长阈值t1或者左右点头时长T2大于一个左右点头时长阈值t2；
(2)前后点头次数N1大于一个前后点头次数阈值n1或者左右点头次数N2大于一个左右点头次数阈值n2；
(3)前后点头速度F1大于一个前后点头速度阈值f1或者左右点头速度F2大于一个左右点头速度阈值f2。
驾驶员疲劳判断子模块在面部疲劳FF＝1或者头部疲劳FH＝1时，判断驾驶员疲劳。
驾驶状态判断模块包括综合疲劳度计算子模块、驾驶能力判断子模块。综合疲劳度计算子模块计算驾驶员的综合疲劳度FD：
FD＝b1*△FE+b2*△FM+b3*△T+b4*△N+b5*△F
其中，△FE表示驾驶员眨眼频率FE与阈值fe的差的绝对值；△FM表示驾驶员疲劳下，打哈欠频率FM与打哈欠频率阈值fm的差的绝对值；△T表示驾驶员疲劳下，前后点头时长T1与前后点头时长阈值t1的差的绝对值、左右点头时长T2与左右点头时长阈值t2的差的绝对值中的较大值；△N表示驾驶员疲劳下，前后点头次数N1与前后点头次数阈值n1的差的绝对值、左右点头次数N2与左右点头次数阈值n2的差的绝对值中的较大值；△F表示驾驶员疲劳下，前后点头速度F1与前后点头速度阈值f1的差的绝对值、左右点头速度F2与左右点头速度阈值f2的差的绝对值中的较大值；b1、b2、b3、b4、b5分别表示△FE、△FM、△T、△N、△F在计算过程中的权重系数。在本实施例中，b1、b2、b3、b4、b5分别为0.3、0.3、0.1、0.2、0.1。
所述驾驶能力判断子模块在综合疲劳度FD大于一个综合疲劳度阈值fd时，判断驾驶员处于非驾驶状态。
本发明改变传统的驾驶员状态检测方式，对采集的数据进行不一样的数据分析，实现检测驾驶员是否疲劳的驾驶目的；并在检测驾驶员疲劳的条件下，通过量化驾驶员疲劳得出疲劳度，使得驾驶员的疲劳程度有一个精确的量的概念，从而驾驶员的驾驶能力有一个合理性的判断，最终对驾驶员能不能有效控制车辆做出一个驾驶员心里能承受的判断依据，得到驾驶员对本发明的充分认可与信赖。另外，本发明只需要在现有车辆上安装毫米波雷达、红外相机和数据处理系统(可以采用独立的控制板，也可以以软件的方式加载在车辆的控制板上)，就可以对现有车辆进行更新升级，实现驾驶员状态检测，无需通过置换车辆的方式，因而成本低，易于推广与实现。
在其他实施例中，数据处理系统还可包括身体异常判断模块。身体异常判断模块根据驾驶员的平均心率HR、驾驶员每次打哈欠时对头部的遮挡时长TH、驾驶员表情判断驾驶员身体是否异常，同时满足以下条件时，则判断驾驶员身体异常(如图4所示)：
(1)平均心率HR大于一个心率上限阈值hr2或小于一个心率下限阈值hr1；
(2)遮挡时长TH大于一个遮挡阈值th；以及
(3)驾驶员表情为异常表情。
其中，针对平均心率HR，可采用毫米波雷实现，检测驾驶员在单位时间T内的胸腔起伏次数B；所述数据处理模块还计算胸腔起伏速率B/min：B/T；根据胸腔起伏速率B/min得到驾驶员的平均心率HR：K*(B/T)，其中，K为转换系数(如图2所示)。
也就是说还可以在本实施例的基础上增加实施例1的方法。当然本实施例的驾驶员状态检测系统可以安装在车辆中使用。车辆安装有驾驶员状态检测系统、智能辅助系统、报警系统。驾驶状态检测系统可为本实施例的基于毫米波雷达和相机融合的驾驶员状态检测系统，所述驾驶员状态检测系统判断驾驶员不能有效控制车辆时，启动所述智能辅助系统，使得所述车辆开启自动驾驶功能；还可启动所述报警系统，使得所述车辆开启驾驶员报警提示功能。
实施例3
请参阅图8，其为本实施例驾驶员的驾驶能力判断方法的流程图。驾驶能力判断方法包括以下步骤：
一、数据采集；
二、判断驾驶员身体是否异常；
三、判断驾驶员是否疲劳；
四、判断驾驶员的驾驶能力。
在数据采集步骤中，采集驾驶员在一个单位时间T内的平均心率HR，驾驶员在单位时间T内的前后点头次数N1及每次前后点头的前后点头时长T1和前后点头速度F1，驾驶员在单位时间T内的左右点头次数N2及每次左右点头的左右点头时长T2和左右点头速度F2；还采集驾驶员在单位时间T内的眨眼频率FE，打哈欠频率FM，每次打哈欠时对头部的遮挡时长TH，驾驶员表情。平均心率HR的计算方法请参阅具体实施1中介绍，如图2所示；前后点头次数N1，前后点头时长T1，前后点头速度F1，左右点头次数N2，左右点头时长T2和左右点头速度F2请参阅具体实施2中介绍，如图6所示。
在判断驾驶员身体是否异常步骤中，根据平均心率HR、遮挡时长TH、驾驶员表情判断驾驶员身体是否异常，同时满足以下条件时，则判断驾驶员身体异常(可请参阅具体实施1中介绍，如图4所示)：
(1)平均心率HR大于一个心率上限阈值hr2或小于一个心率下限阈值hr1；
(2)遮挡时长TH大于一个遮挡阈值th；以及
(3)驾驶员表情为异常表情。
在判断驾驶员是否疲劳步骤中，驾驶员疲劳判断方法包括步骤。
步骤一、根据眨眼频率FE、打哈欠频率FM判断驾驶员是否为面部疲劳状态，定义为面部疲劳FF，面部疲劳FF＝1的判断方法为同时满足条件(可请参阅具体实施2中介绍，如图7所示)：
(1)眨眼频率FE大于一个眨眼频率阈值fe；以及
(2)打哈欠频率FM大于一个打哈欠频率阈值fm。
步骤二、根据前后点头次数N1、前后点头速度F1、左右点头次数N2、左右点头速度F2判断驾驶员是否为头部疲劳状态，定义为头部疲劳FH，头部疲劳FH＝1的判断方法为同时满足条件：
(1)前后点头时长T1大于一个前后点头时长阈值t1或者左右点头时长T2大于一个左右点头时长阈值t2；
(2)前后点头次数N1大于一个前后点头次数阈值n1或者左右点头次数N2大于一个左右点头次数阈值n2；
(3)前后点头速度F1大于一个前后点头速度阈值f1或者左右点头速度F2大于一个左右点头速度阈值f2。
步骤三，当面部疲劳FF＝1或者头部疲劳FH＝1时，判断驾驶员疲劳。
在判断驾驶员的驾驶能力步骤中，驾驶能力的判断方法包括步骤。
步骤一、计算驾驶员的综合异常度AD：
AD＝a1*△HR+a2*△TH
其中，△HR表示驾驶员身体异常下，平均心率HR与心率下限阈值hr1的差的绝对值或者平均心率HR与心率上限hr2的差的绝对值；△TH表示驾驶员身体异常下，遮挡时长TH与阈值th的差的绝对值，a1和a2分别表示△HR和△TH在计算过程中的权重系数。
步骤二、计算驾驶员的综合疲劳度FD：
FD＝b1*△FE+b2*△FM+b3*△T+b4*△N+b5*△F
其中，△FE表示驾驶员眨眼频率FE与阈值fe的差的绝对值；△FM表示驾驶员疲劳下，打哈欠频率FM与打哈欠频率阈值fm的差的绝对值；△T表示驾驶员疲劳下，前后点头时长T1与前后点头时长阈值t1的差的绝对值、左右点头时长T2与左右点头时长阈值t2的差的绝对值中的较大值；△N表示驾驶员疲劳下，前后点头次数N1与前后点头次数阈值n1的差的绝对值、左右点头次数N2与左右点头次数阈值n2的差的绝对值中的较大值；△F表示驾驶员疲劳下，前后点头速度F1与前后点头速度阈值f1的差的绝对值、左右点头速度F2与左右点头速度阈值f2的差的绝对值中的较大值；b1、b2、b3、b4、b5分别表示△FE、△FM、△T、△N、△F在计算过程中的权重系数。
步骤三、判断驾驶员的驾驶能力
当综合异常度AD大于一个综合异常度阈值ad时，或者综合疲劳度FD大于一个综合疲劳度阈值fd时，判断驾驶员不能有效控制车辆。
本实施例的驾驶能力判断方法可应用于车辆的安全驾驶方法中，车辆的安全驾驶方法包括以下步骤：
采用实施例1的驾驶状态检测方法或者实施例2的驾驶员状态检测系统来判断驾驶员能不能有效控制车辆；
当判断驾驶员不能有效控制车辆时，启动所述车辆的智能辅助系统，使得所述车辆开启自动驾驶功能，并启动车辆的驾驶员报警提示功能。
本实施例的驾驶能力判断方法可通过一种驾驶员的驾驶能力判断装置来实现。驾驶能力判断装置包括如下模块。
一、数据采集模块，其用于采集驾驶员的驾驶数据。驾驶数据如上介绍，在此不再累述。
二、身体异常判断模块，其用于判断驾驶员身体是否异，判断驾驶员身体异常的方法如上介绍，在此不再累述。
三、驾驶员疲劳判断模块，其用于判断驾驶员是否疲劳，其包括面部疲劳判断子模块、头部疲劳判断子模块、驾驶员疲劳判断子模块。面部疲劳判断子模块用于根据眨眼频率FE、打哈欠频率FM判断驾驶员是否为面部疲劳状态，定义为面部疲劳FF，面部疲劳FF＝1的判断方法如上介绍，在此不再累述。头部疲劳判断子模块用于判断驾驶员是否头部疲劳，头部疲劳的判断方法如上介绍，在此不再累述。驾驶员疲劳判断子模块用于判断驾驶员是否疲劳：当面部疲劳FF＝1或者头部疲劳FH＝1时，判断驾驶员疲劳。
四、驾驶能力判断模块，其包括综合异常度计算子模块、综合疲劳度计算子模块、驾驶能力判断子模块。综合异常度计算子模块用于计算驾驶员的综合异常度AD；综合疲劳度计算子模块用于计算驾驶员的综合疲劳度FD；驾驶能力判断子模块用于判断驾驶员的驾驶能力：当综合异常度AD大于一个综合异常度阈值ad时，或者综合疲劳度FD大于一个综合疲劳度阈值fd时，判断驾驶员不能有效控制车辆。
驾驶能力判断装置可应用在车辆的安全驾驶系统中，实现车辆的安全驾驶。安全驾驶系统包括智能辅助系统、报警系统。驾驶能力判断装置统判断驾驶员不能有效控制车辆时，启动所述智能辅助系统，使得所述车辆开启自动驾驶功能；还可启动所述报警系统，使得所述车辆开启驾驶员报警提示功能。
实施例4
请参阅图9，其为基于毫米波雷达和相机融合的驾驶员状态检测系统的模块框架图。驾驶员状态检测系统包括驾驶员状态检测模块、信息处理模块和决策模块。其中，驾驶员状态检测模块包括雷达处理模块与视觉处理模块，信息处理模块又分为驾驶员状态分析与驾驶员驾驶能力分析。
雷达处理模块中包含毫米波雷达，通过毫米波雷达对驾驶员胸腔起伏速率和驾驶员头部整体状态进行检测，得到驾驶员心跳频率和驾驶员点头时长、点头次数及点头速度信息，作为信息处理模块的输入。
视觉处理模块包含红外相机，通过红外相机对驾驶员面部器官动作和驾驶员手部动作进行检测，得到驾驶员眨眼频率、哈欠频率、手对胸部或头部遮挡时长以及面部表情信息，作为信息处理模块的输入。
信息处理模块根据上述接收到的驾驶员状态检测模块数据，对驾驶员进行状态分析，判断驾驶员状态是否存在异常，异常情况分为生理异常与疲劳。若驾驶员状态存在异常，根据异常结果信息，对驾驶员驾驶能力进行分析，得到该异常状态下驾驶员能否有效控制车辆，并将分析结果发送给决策模块。
决策模块根据接收到的信息处理模块分析结果，执行相应警报操作：在驾驶员出现生理异常或疲劳问题，但仍能有效控制车辆时，通过语音警示提醒驾驶员；在驾驶员出现生理异常或疲劳问题，且不能有效控制车辆时，报警并接管驾驶员操纵车辆的权限。
驾驶员状态检测系统的驾驶员状态检测方法主要包括以下步骤。
步骤一：毫米波雷达检测驾驶员胸腔起伏速率和驾驶员头部整体状态，得到驾驶员心率、点头时长、点头次数和点头速度信息，发送给信号处理模块。
步骤二：红外相机检测驾驶员面部器官动作和驾驶员手部动作，得到驾驶员眨眼频率、哈欠频率、手对胸部或头部的遮挡时长以及面部表情信息，发送给信息处理模块。
步骤三：信息处理模块根据接收到的雷达处理模块和视觉处理模块的数据，首先，对驾驶员状态进行分析，得到驾驶员异常状态类别，然后，对驾驶员驾驶能力进行分析，得到驾驶员驾驶能力判断结果。最后，将分析结果发送给决策模块。
步骤四：决策模块根据接收到的信息处理模块分析结果，发出语音警示提醒驾驶员或者报警并接管驾驶员操纵车辆的权限。
图10为驾驶员状态检测的系统的雷达处理模块的处理方法流程图。雷达处理模块的处理方法主要分为两部分，驾驶员心率检测和驾驶员点头信息检测。在本实施例中，流程图中的Y表示是，N表示否。
所述驾驶员心率检测的步骤主要为：
步骤一：毫米波雷达统计驾驶员胸腔单位时间内起伏次数B；
步骤二：计算驾驶员胸腔起伏速率B/min；
步骤三：根据胸腔起伏速率，计算得到驾驶员心率HR，作为信息处理模块的输入。
所述驾驶员点头信息检测的步骤主要为：
步骤一:通过毫米波雷达检测驾驶员额头和下巴前后移动的距离FB和左右移动的距离LR；
步骤二：将额头和下巴前后移动的距离FB和阈值Tfb进行比较，若FB大于阈值Tfb，判断驾驶员出现前后点头动作；
步骤三：将额头和下巴左右移动的距离LR和阈值Tlr进行比较，若LR大于阈值Tlr，判断驾驶员出现左右点头动作；
步骤四：统计前后点头时长T1、单位时间内前后点头次数N1以及点头速度F1，作为信息处理模块的输入；
步骤五：统计左右点头时长T2、单位时间内前后点头次数N2以及点头速度F2，作为信息处理模块的输入。
图11为驾驶员状态检测系统的视觉处理模块的处理方法流程图。视觉处理模块的处理方法主要分为四部分，驾驶员眨眼频率检测、驾驶员哈欠频率检测、驾驶员手对胸部或头部遮挡时长检测以及驾驶面部表情检测。
所述驾驶员眨眼频率表检测的步骤主要为：
步骤一：红外相机检测驾驶员面部器官，定位眼睛部位；
步骤二：对眼睛闭合状态进行判断；
步骤三：统计单位时间内闭眼次数，计算眨眼频率FE，作为信息处理模块的输入。
所述驾驶员哈欠频率检测的步骤主要为：
步骤一：红外相机检测驾驶员面部器官，定位嘴巴部位；
步骤二：若无法定位嘴巴，则检测人手；
步骤三：对嘴巴闭合状态进行判断，若嘴巴张开，则进入步骤四，否则返回步骤一；
步骤四：对人手是否遮挡嘴巴进行判断，统计张嘴次数和手遮挡嘴巴次数，计算哈欠频率FM，作为信息处理模块的输入。
所述驾驶员手对胸部或头部遮挡时长检测的步骤主要为：
步骤一：红外相机识别人手；
步骤二：对人手是否遮挡胸部或者头部进行位置判断；
步骤三：统计驾驶员手对胸部或头部遮挡时间TH，作为信息处理模块的输入。
所述驾驶员面部表情检测主要通过红外相机获取驾驶员面部图像，利用卷积神经网络和训练好的表情库，对驾驶员面部表情进行识别，将驾驶员表情分为正常和异常两大类。其中，表情异常主要为突发性疾病、意外时出现的紧张、痛苦等表情。
图12为驾驶员状态检测系统的生理异常状态分析图。生理异常状态分析主要对驾驶员心率HR、驾驶员手对胸部或头部遮挡时长TH、驾驶员面部表情进行分析。
所述驾驶员状态判定为生理异常时，需要同时满足以下条件：
(1)驾驶员心率HR大于阈值hr2或小于阈值hr1；
(2)驾驶员手对胸部或头部遮挡时长TH大于阈值th；
(3)驾驶员面部表情异常。
图13为驾驶员状态检测系统的疲劳状态分析图，主要对驾驶员眨眼频率FE、驾驶员哈欠频率FM、驾驶员面部表情、驾驶员前后点头和左右点头时长T1和T2、驾驶员前后点头和左右点头次数N1和N2、驾驶员前后点头和左右点头速度F1和F2进行分析。
所述驾驶员状态判定为疲劳时，需要满足以下任一条件：
(1)驾驶员面部信息判断结果为疲劳(FF＝1)；
(2)驾驶员头部信息判断结果为疲劳(FH＝1)。
其中，驾驶员面部信息判断结果为疲劳需要同时满足以下条件：
(1)驾驶员眨眼频率FE大于阈值fe；
(2)驾驶员哈欠频率FM大于阈值fm；
驾驶员头部信息判断结果为疲劳需要同时满足以下条件：
(1)驾驶员前后时长T1大于阈值t1或者左右点头时长T2大于阈值t2；
(2)驾驶员前后点头次数N1大于阈值n1或者左右点头次数N2大于阈值n2；
(3)驾驶员前后点头速度F1大于阈值f1或者左右点头速度大于阈值f2。
图14为驾驶员状态检测系统的驾驶能力分析图。驾驶能力分析主要通过分析驾驶员综合生理异常度A和综合疲劳度F，对驾驶员在这两种状态下驾驶员驾驶能力的判断。
所述驾驶员综合生理异常度计算公式为：
AD＝a1*△HR+a2*△TH
其中，△HR和△TH分别表示驾驶员心率HR与阈值hr1或hr2的差的绝对值和驾驶员手遮挡胸部或者头部时长TH与阈值th的差的绝对值。上述值HR、TH均为驾驶员状态判断为生理异常时得到的值。a1和a2分别表示△HR和△TH在计算过程中的权重系数，分别为0.6和0.4，根据其对驾驶能力判断的重要度确定。
所述驾驶员综合疲劳度计算公式为：
FD＝b1*△FE+b2*△FM+b3*△T+b4*△N+b5*△F
其中，△FE表示驾驶员眨眼频率FE与阈值fe的差的绝对值，△FM表示驾驶员哈欠频率FM与阈值fm的差的绝对值，△T表示驾驶员前后点头时长T1与阈值t1的差的绝对值或者左右点头时长T2与阈值t2的差的绝对值中的较大值，△N表示驾驶员前后点头次数N1与阈值n1的差的绝对值或者左右点头次数N2与阈值n2的差的绝对值中的较大值，△F表示驾驶员前后点头速度F1与阈值f1的差的绝对值或者左右点头速度F2与阈值f2的差的绝对值中的较大值。上述值FE、FM、T1、T2、N1、N2、F1、F2，均为驾驶员状态判断为疲劳时得到的值。b1、b2、b3、b4、b5分别表示△FE、△FM、△T、△N、△F在计算过程中的权重系数，分别为0.3、0.3、0.1、0.2、0.1，根据其对驾驶能力判断的重要度确定。
所述驾驶员驾驶能力分析根据计算得到的驾驶员综合生理异常度AD或综合疲劳度FD，判断驾驶员在该状态下的驾驶能力，是否能有效控制车辆，得到驾驶员能有效控制车辆或者驾驶员不能有效控制车辆这两个结论之一。
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种驾驶员的驾驶状态检测方法，其特征在于，其包括以下步骤：
一、数据采集
采集驾驶员在一个单位时间T内的平均心率HR，每次打哈欠时对头部的遮挡时长TH，驾驶员表情；
在数据采集中，还采集驾驶员在单位时间T内的前后点头次数N1及每次前后点头的前后点头时长T1和前后点头速度F1，驾驶员在单位时间T内的左右点头次数N2及每次左右点头的左右点头时长T2和左右点头速度F2；还采集驾驶员在单位时间T内的眨眼频率FE；
其中，平均心率HR的计算方法为：采集驾驶员在单位时间T内的胸腔起伏次数B；计算胸腔起伏速率B/min：B/T；根据胸腔起伏速率B/min得到驾驶员的平均心率HR：K*（B/T），其中，K为转换系数；
遮挡时长TH的计算方法为：检测驾驶员的面部器官，定位嘴巴部位；对定位后的嘴巴部位，判断嘴巴是否张开，若嘴巴张开，则判断是否有人手遮挡嘴巴，是则计数一次打哈欠次数；若无法定位嘴巴部位，则检测驾驶员的人手，如果检测到人手，则判断人手遮挡嘴巴并计数一次打哈欠次数，同时记录出现此次人手遮挡嘴巴的时长；统计单位时间T内的打哈欠次数FM，每次人手遮挡嘴巴的时长为相应的遮挡时长TH；
通过毫米波雷达检测驾驶员在单位时间T内的胸腔起伏次数B，通过红外相机识别面部器官；
二、判断驾驶员身体是否异常
根据平均心率HR、遮挡时长TH、驾驶员表情判断驾驶员身体是否异常，同时满足以下条件时，则判断驾驶员身体异常：
（1）平均心率HR大于一个心率上限阈值hr2或小于一个心率下限阈值hr1；
（2）遮挡时长TH大于一个遮挡阈值th；以及
（3）驾驶员表情为异常表情；
三、驾驶员身体异常下，检测驾驶员的驾驶状态
驾驶状态的检测方法包括步骤：
计算驾驶员的综合异常度AD：AD=a1*△HR+a2*△TH，其中，△HR表示驾驶员身体异常下，平均心率HR与心率下限阈值hr1的差的绝对值或者平均心率HR与心率上限hr2的差的绝对值；△TH表示驾驶员身体异常下，遮挡时长TH与阈值th的差的绝对值，a1和a2分别表示△HR和△TH在计算过程中的权重系数；以及
当综合异常度AD大于一个综合异常度阈值ad时，判断驾驶员处于非驾驶状态；
所述驾驶状态检测方法还包括判断驾驶员是否疲劳，驾驶员疲劳判断方法包括步骤：
步骤一、根据眨眼频率FE、打哈欠频率FM判断驾驶员是否为面部疲劳状态，定义为面部疲劳FF，面部疲劳FF=1的判断方法为同时满足条件：
（1）眨眼频率FE大于一个眨眼频率阈值fe；以及
（2）打哈欠频率FM大于一个打哈欠频率阈值fm；
步骤二、根据前后点头次数N1、前后点头速度F1、左右点头次数N2、左右点头速度F2判断驾驶员是否为头部疲劳状态，定义为头部疲劳FH，头部疲劳FH=1的判断方法为同时满足条件：
（1）前后点头时长T1大于一个前后点头时长阈值t1或者左右点头时长T2大于一个左右点头时长阈值t2；
（2）前后点头次数N1大于一个前后点头次数阈值n1或者左右点头次数N2大于一个左右点头次数阈值n2；以及
（3）前后点头速度F1大于一个前后点头速度阈值f1或者左右点头速度F2大于一个左右点头速度阈值f2；以及
步骤三，当面部疲劳FF=1或者头部疲劳FH=1时，判断驾驶员疲劳；
在检测驾驶员的驾驶状态时，所述驾驶状态的检测方法还包括步骤：
计算驾驶员的综合疲劳度FD：
FD=b1*△FE+b2*△FM+b3*△T+b4*△N+b5*△F
其中，△FE表示驾驶员眨眼频率FE与阈值fe的差的绝对值；△FM表示驾驶员疲劳下，打哈欠频率FM与打哈欠频率阈值fm的差的绝对值；△T表示驾驶员疲劳下，前后点头时长T1与前后点头时长阈值t1的差的绝对值、左右点头时长T2与左右点头时长阈值t2的差的绝对值中的较大值；△N表示驾驶员疲劳下，前后点头次数N1与前后点头次数阈值n1的差的绝对值、左右点头次数N2与左右点头次数阈值n2的差的绝对值中的较大值；△F表示驾驶员疲劳下，前后点头速度F1与前后点头速度阈值f1的差的绝对值、左右点头速度F2与左右点头速度阈值f2的差的绝对值中的较大值；b1、b2、b3、b4、b5分别表示△FE、△FM、△T、△N、△F在计算过程中的权重系数；
当综合疲劳度FD大于一个综合疲劳度阈值fd时，也判断驾驶员处于非驾驶状态。
2.如权利要求1所述的驾驶员的驾驶状态检测方法，其特征在于，驾驶员表情的判断方法为：
获取驾驶员的面部图像；
利用卷积神经网络和训练好的表情库，对所述面部图像进行驾驶员面部表情的识别，从而识别出驾驶员表情为正常表情或为异常表情。
3.如权利要求1所述的驾驶员的驾驶状态检测方法，其特征在于，前后点头次数N1及每次前后点头的前后点头时长T1和前后点头速度F1的计算方法为：
采集驾驶员的额头或下巴前后移动的前后移动距离FB以及记录此次出现前后移动距离FB的相应时长；
将前后移动距离FB和一个前后移动阈值Tfb进行比较，若前后移动距离FB大于前后移动阈值Tfb，判断驾驶员出现前后点头动作，即为一次前后点头次数，并定义出现前后移动距离FB的相应时长为前后点头时长T1，前后移动距离FB除以前后点头时长T1得到前后点头速度F1；以及
统计单位时间T内前后点头次数N1及每次前后点头的前后点头时长T1和前后点头速度F1。
4.如权利要求1所述的驾驶员的驾驶状态检测方法，其特征在于，左右点头次数N2及每次左右点头的左右点头时长T2和左右点头速度F2的计算方法为：
采集驾驶员的额头或下巴左右移动的左右移动距离LR以及记录此次出现左右移动距离LR的相应时长；
将左右移动距离LR和一个左右移动阈值Tlr进行比较，若左右移动距离LR大于左右移动阈值Tlr，判断驾驶员出现左右点头动作，即为一次左右点头次数，并定义出现左右移动距离LR的相应时长为左右点头时长T2，左右移动距离LR除以左右点头时长T2得到左右点头速度F2；
统计单位时间T内左右点头次数N2及每次左右点头的左右点头时长T2和左右点头速度F2。
5.如权利要求3或4所述的驾驶员的驾驶状态检测方法，其特征在于，通过毫米波雷达检测驾驶员的额头或下巴前后移动的前后移动距离FB、检测驾驶员的额头或下巴左右移动的左右移动距离LR。
6.如权利要求1所述的驾驶员的驾驶状态检测方法，其特征在于，眨眼频率FE的计算方法为：
检测驾驶员的面部器官，定位眼睛部位；
对定位后的眼睛部位，判断前后两个采样时刻的眼睛闭合状态，眼睛每闭合一次计数一次闭眼次数；
统计单位时间T内的闭眼次数，得到眨眼频率FE。
7.如权利要求1所述的驾驶员的驾驶状态检测方法，其特征在于，打哈欠频率FM的计算方法为：
检测驾驶员的面部器官，定位嘴巴部位；
对定位后的嘴巴部位，判断嘴巴是否张开，若嘴巴张开，则判断是否有人手遮挡嘴巴，是则计数一次打哈欠次数；
若无法定位嘴巴部位，则检测驾驶员的人手，如果检测到人手，则判断人手遮挡嘴巴并计数一次打哈欠次数，同时记录出现此次人手遮挡嘴巴的时长；
统计单位时间T内的打哈欠次数FM，每次人手遮挡嘴巴的时长为相应的遮挡时长TH。
8.一种车辆的安全驾驶方法，其特征在于，其包括以下步骤：
采用如权利要求1至7中任意一项所述驾驶员的驾驶状态检测方法来检测驾驶员是否处于非驾驶状态；
当判断驾驶员处于非驾驶状态时，启动所述车辆的智能辅助系统，使得所述车辆开启自动驾驶功能，并启动车辆的驾驶员报警提示功能。
CN202011132637.8A 2020-10-21 2020-10-21 一种驾驶员的驾驶状态检测方法及其安全驾驶方法 Active CN112220481B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011132637.8A CN112220481B (zh) 2020-10-21 2020-10-21 一种驾驶员的驾驶状态检测方法及其安全驾驶方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011132637.8A CN112220481B (zh) 2020-10-21 2020-10-21 一种驾驶员的驾驶状态检测方法及其安全驾驶方法

Publications (2)

Publication Number Publication Date
CN112220481A CN112220481A (zh) 2021-01-15
CN112220481B true CN112220481B (zh) 2023-08-01

Family

ID=74108925

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011132637.8A Active CN112220481B (zh) 2020-10-21 2020-10-21 一种驾驶员的驾驶状态检测方法及其安全驾驶方法

Country Status (1)

Country Link
CN (1) CN112220481B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116080661B (zh) * 2023-01-04 2023-09-12 钧捷智能（深圳）有限公司 一种汽车自动驾驶状态下驾驶员疲劳识别方法
CN116320177A (zh) * 2023-05-10 2023-06-23 江铃汽车股份有限公司 基于车内摄像头的健康状态提示方法、装置和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6927694B1 (en) * 2001-08-20 2005-08-09 Research Foundation Of The University Of Central Florida Algorithm for monitoring head/eye motion for driver alertness with one camera
CN102436715A (zh) * 2011-11-25 2012-05-02 大连海创高科信息技术有限公司 疲劳驾驶检测方法
CN110077414A (zh) * 2019-04-04 2019-08-02 合肥思艾汽车科技有限公司 一种基于驾驶员状态监测的车辆行驶安全保障方法及系统
CN110334600A (zh) * 2019-06-03 2019-10-15 武汉工程大学 一种多特征融合驾驶员异常表情识别方法
CN110532887A (zh) * 2019-07-31 2019-12-03 郑州大学 一种基于面部特征融合的疲劳驾驶检测方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6927694B1 (en) * 2001-08-20 2005-08-09 Research Foundation Of The University Of Central Florida Algorithm for monitoring head/eye motion for driver alertness with one camera
CN102436715A (zh) * 2011-11-25 2012-05-02 大连海创高科信息技术有限公司 疲劳驾驶检测方法
CN110077414A (zh) * 2019-04-04 2019-08-02 合肥思艾汽车科技有限公司 一种基于驾驶员状态监测的车辆行驶安全保障方法及系统
CN110334600A (zh) * 2019-06-03 2019-10-15 武汉工程大学 一种多特征融合驾驶员异常表情识别方法
CN110532887A (zh) * 2019-07-31 2019-12-03 郑州大学 一种基于面部特征融合的疲劳驾驶检测方法及系统

Also Published As

Publication number Publication date
CN112220481A (zh) 2021-01-15

Similar Documents

Publication Publication Date Title
CN112220480B (zh) 基于毫米波雷达和相机融合的驾驶员状态检测系统及车辆
CN207029159U (zh) 集成身份识别系统与多模式生物感应的车载系统
US9101313B2 (en) System and method for improving a performance estimation of an operator of a vehicle
Lee et al. Real-time physiological and vision monitoring of vehicle driver for non-intrusive drowsiness detection
CN112220481B (zh) 一种驾驶员的驾驶状态检测方法及其安全驾驶方法
CN112434611B (zh) 基于眼部运动细微特征的早期疲劳检测方法及系统
Wu et al. Reasoning-based framework for driving safety monitoring using driving event recognition
WO2007145566A1 (en) Method and apparatus for determining and analyzing a location of visual interest
CN105788176A (zh) 疲劳驾驶监测提醒方法及系统
CN112208544B (zh) 一种驾驶员的驾驶能力判断方法、安全驾驶方法及其系统
Tayibnapis et al. A novel driver fatigue monitoring using optical imaging of face on safe driving system
US20220036101A1 (en) Methods, systems and computer program products for driver monitoring
Kumar et al. Detecting distraction in drivers using electroencephalogram (EEG) signals
Yin et al. A driver fatigue detection method based on multi-sensor signals
Li et al. Driver fatigue detection method based on human pose information entropy
Chiou et al. Abnormal driving behavior detection using sparse representation
Ahir et al. Driver inattention monitoring system: A review
CN113901866A (zh) 一种机器视觉的疲劳驾驶预警方法
Murugan et al. Analysis of different measures to detect driver states: A review
Srivastava Driver's drowsiness identification using eye aspect ratio with adaptive thresholding
CN113239729B (zh) 一种基于数据融合的疲劳驾驶识别方法
Adarsh et al. Drowsiness Detection System in Real Time Based on Behavioral Characteristics of Driver using Machine Learning Approach
WO2022025088A1 (ja) 車両用安全支援システム
CN114529887A (zh) 一种驾驶行为分析方法及装置
CN116098622A (zh) 疲劳检测方法、装置和车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant