CN114298189A - 疲劳驾驶检测方法、装置、设备及存储介质 - Google Patents
疲劳驾驶检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114298189A CN114298189A CN202111564802.1A CN202111564802A CN114298189A CN 114298189 A CN114298189 A CN 114298189A CN 202111564802 A CN202111564802 A CN 202111564802A CN 114298189 A CN114298189 A CN 114298189A
- Authority
- CN
- China
- Prior art keywords
- fatigue
- data set
- feature
- vehicle
- electroencephalogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 206
- 230000001815 facial effect Effects 0.000 claims abstract description 97
- 238000000034 method Methods 0.000 claims abstract description 72
- 238000012545 processing Methods 0.000 claims abstract description 53
- 230000033001 locomotion Effects 0.000 claims abstract description 51
- 230000008569 process Effects 0.000 claims abstract description 28
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 27
- 238000004458 analytical method Methods 0.000 claims abstract description 14
- 230000033764 rhythmic process Effects 0.000 claims description 30
- 238000012549 training Methods 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 18
- 230000001133 acceleration Effects 0.000 claims description 13
- 230000035945 sensitivity Effects 0.000 claims description 12
- 238000010219 correlation analysis Methods 0.000 claims description 9
- 238000012216 screening Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 abstract description 10
- 230000004927 fusion Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 10
- 206010039203 Road traffic accident Diseases 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 210000004556 brain Anatomy 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 241001282135 Poromitra oscitans Species 0.000 description 4
- 206010048232 Yawning Diseases 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000005611 electricity Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 101001056160 Homo sapiens Methylcrotonoyl-CoA carboxylase subunit alpha, mitochondrial Proteins 0.000 description 2
- 102100026552 Methylcrotonoyl-CoA carboxylase subunit alpha, mitochondrial Human genes 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 235000019800 disodium phosphate Nutrition 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- XKQYCEFPFNDDSJ-UHFFFAOYSA-N 1-[3-[2-[(4-azido-2-hydroxybenzoyl)amino]ethyldisulfanyl]propanoyloxy]-2,5-dioxopyrrolidine-3-sulfonic acid Chemical compound OC1=CC(N=[N+]=[N-])=CC=C1C(=O)NCCSSCCC(=O)ON1C(=O)C(S(O)(=O)=O)CC1=O XKQYCEFPFNDDSJ-UHFFFAOYSA-N 0.000 description 1
- 238000010220 Pearson correlation analysis Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本申请提供一种疲劳驾驶检测方法、装置、设备及存储介质，通过获取驾驶员在驾驶车辆过程中的脑电信号、面部图像以及车辆运动数据，然后利用小波包分析算法对脑电信号进行多层分解与重构，得到脑电特征数据集合，对面部图像进行灰度化处理、特征检测和特征点标定，得到面部特征数据集合以及对车辆运动数据进行特征提取，得到用于表征驾驶员疲劳状态的车辆特征数据集合，最后根据脑电特征数据集合、面部特征数据集合和车辆特征数据集合，得到驾驶员的疲劳驾驶检测结果。该技术方案中，结合驾驶员的脑电信号、面部特征和车辆运动数据共同评价驾驶员的疲劳驾驶状态，不仅易于实现，而且保证了疲劳驾驶检测结果的实时性和准确性。
Description
技术领域
本申请涉及信息处理技术领域，尤其涉及一种疲劳驾驶检测方法、装置、设备及存储介质。
背景技术
随着社会经济的发展，交通基础设施日益发达，由此引发的道路交通事故也越来越多，给人民的生命财产安全造成了极大的伤害。而在交通事故频发的各种原因之中，疲劳驾驶成为最重要的原因之一，因而，如何检测驾驶员的疲劳状态是预防交通事故的重要因素。
现有技术中，疲劳驾驶检测方法可以通过检测驾驶员的眼睛状态来确定。具体的，基于“PERCLOS”的原理，依据驾驶员的眼睛在单位时间内处于闭合状态的百分比率，确定出驾驶员的眼睛睁闭状态，依此来判断其身体的疲劳程度。
然而，在实际的驾驶过程中，受到汽车抖动、不同用眼习惯等因素的影响，可能存在眼睛状态识别不准确的现象，进而致使得到的疲劳驾驶检测结果不准确。
发明内容
本申请提供一种疲劳驾驶检测方法、装置、设备及存储介质，以克服现有疲劳驾驶检测方法得到的疲劳驾驶检测结果不准确的问题。
第一方面，本申请提供一种疲劳驾驶检测方法，包括：
获取驾驶员在驾驶车辆过程中的脑电信号、面部图像以及车辆运动数据；
利用小波包分析算法对所述脑电信号进行多层分解与重构，得到脑电特征数据集合；
对所述面部图像进行灰度化处理、特征检测和特征点标定，得到面部特征数据集合；
对所述车辆运动数据进行特征提取，得到用于表征驾驶员疲劳状态的车辆特征数据集合；
根据所述脑电特征数据集合、所述面部特征数据集合和所述车辆特征数据集合，得到所述驾驶员的疲劳驾驶检测结果。
可选的，所述利用小波包分析算法对所述脑电信号进行多层分解与重构，得到脑电特征数据集合，包括：
通过对所述脑电信号进行小波包分解，得到所述脑电信号对应的四种主要节律波；
根据小波包各个节点的能量值，计算每种节律波的频带能量值；
根据每种节律波的频带能量值，确定用于评价疲劳驾驶的脑电特征数据集合，所述脑电特征数据集合包括：至少两个特征指标。
可选的，所述对所述面部图像进行灰度化处理、特征检测和特征点标定，得到面部特征数据集合，包括：
将所述面部图像转换成灰度图像；
基于方向梯度直方图特征，对所述灰度图像进行特征检测，确定所述灰度图像中的脸部区域以及所述脸部区域中的脸部特征位置；
使用开源计算机视觉库OpenCV对所述脸部特征位置进行特征点标定，得到所述面部特征数据集合，所述面部特征数据集合包括：眼睛特征点信息和嘴部特征点信息。
可选的，所述对所述车辆运动数据进行特征提取，得到用于表征驾驶员疲劳状态的车辆特征数据集合，包括：
从所述车辆运动数据中，提取出表征疲劳状态的车辆数据集合，所述车辆数据集合包括：方向盘转角数据和车辆加速度数据；
分别计算所述车辆数据集合中各种车辆数据的至少两个统计指标，得到所述车辆特征数据集合。
可选的，所述根据所述脑电特征数据集合、所述面部特征数据集合和所述车辆特征数据集合，得到所述驾驶员的疲劳驾驶检测结果，包括：
对所述脑电特征数据集合、所述面部特征数据集合和所述车辆特征数据集合进行特征筛选，得到疲劳检测特征集合；
采用多重集典型相关分析MCAA算法对所述疲劳检测特征集合进行投影，得到投影后的疲劳检测特征集合；
对所述投影后的疲劳检测特征集合进行相关程度最大化处理，得到融合后的疲劳驾驶特征集合；
将所述融合后的疲劳驾驶特征集合输入预先训练的疲劳检测模型中，输出疲劳驾驶检测结果。
可选的，所述方法还包括：
获取所述疲劳检测模型的训练样本集合，所述训练样本集合包括：疲劳样本子集和正常样本子集；
利用所述训练样本集合对相关向量机RVM进行训练，得到所述疲劳检测模型；其中，所述疲劳检测模型的识别准确率等于正确分类的样本数与所述训练样本集合的样本总数的比值。
可选的，所述方法还包括：
获取所述疲劳检测模型的正常样本正确识别数、正常样本错误识别数、疲劳样本正确识别数和疲劳样本错误识别数；
根据所述正常样本正确识别数和所述疲劳样本错误识别数，确定所述疲劳检测模型的检测灵敏度；
根据所述疲劳样本正确识别数和所述正常样本错误识别数，确定所述疲劳检测模型的特异性能；
根据所述检测灵敏度和所述特异性能，确定是否更新所述疲劳检测模型。
第二方面，本申请实施例提供一种疲劳驾驶检测装置，包括：
获取模块，用于获取驾驶员在驾驶车辆过程中的脑电信号、面部图像以及车辆运动数据；
脑电信号处理模块，用于利用小波包分析算法对所述脑电信号进行多层分解与重构，得到脑电特征数据集合；
面部图像处理模块，用于对所述面部图像进行灰度化处理、特征检测和特征点标定，得到面部特征数据集合；
车辆数据处理模块，用于对所述车辆运动数据进行特征提取，得到用于表征驾驶员疲劳状态的车辆特征数据集合；
疲劳检测模块，用于根据所述脑电特征数据集合、所述面部特征数据集合和所述车辆特征数据集合，得到所述驾驶员的疲劳驾驶检测结果。
可选的，所述脑电信号处理模块，具体用于：
通过对所述脑电信号进行小波包分解，得到所述脑电信号对应的四种主要节律波；
根据小波包各个节点的能量值，计算每种节律波的频带能量值；
根据每种节律波的频带能量值，确定用于评价疲劳驾驶的脑电特征数据集合，所述脑电特征数据集合包括：至少两个特征指标。
可选的，所述面部图像处理模块，具体用于：
将所述面部图像转换成灰度图像；
基于方向梯度直方图特征，对所述灰度图像进行特征检测，确定所述灰度图像中的脸部区域以及所述脸部区域中的脸部特征位置；
使用开源计算机视觉库OpenCV对所述脸部特征位置进行特征点标定，得到所述面部特征数据集合，所述面部特征数据集合包括：眼睛特征点信息和嘴部特征点信息。
可选的，所述车辆数据处理模块，具体用于：
从所述车辆运动数据中，提取出表征疲劳状态的车辆数据集合，所述车辆数据集合包括：方向盘转角数据和车辆加速度数据；
分别计算所述车辆数据集合中各种车辆数据的至少两个统计指标，得到所述车辆特征数据集合。
可选的，所述疲劳检测模块，具体用于：
对所述脑电特征数据集合、所述面部特征数据集合和所述车辆特征数据集合进行特征筛选，得到疲劳检测特征集合；
采用多重集典型相关分析MCAA算法对所述疲劳检测特征集合进行投影，得到投影后的疲劳检测特征集合；
对所述投影后的疲劳检测特征集合进行相关程度最大化处理，得到融合后的疲劳驾驶特征集合；
将所述融合后的疲劳驾驶特征集合输入预先训练的疲劳检测模型中，输出疲劳驾驶检测结果。
可选的，所述获取模块，还用于获取所述疲劳检测模型的训练样本集合，所述训练样本集合包括：疲劳样本子集和正常样本子集；
所述疲劳检测模块，还用于利用所述训练样本集合对相关向量机RVM进行训练，得到所述疲劳检测模型；其中，所述疲劳检测模型的识别准确率等于正确分类的样本数与所述训练样本集合的样本总数的比值。
可选的，所述获取模块，还用于获取所述疲劳检测模型的正常样本正确识别数、正常样本错误识别数、疲劳样本正确识别数和疲劳样本错误识别数；
所述疲劳检测模块，还用于：
根据所述正常样本正确识别数和所述疲劳样本错误识别数，确定所述疲劳检测模型的检测灵敏度；
根据所述疲劳样本正确识别数和所述正常样本错误识别数，确定所述疲劳检测模型的特异性能；
根据所述检测灵敏度和所述特异性能，确定是否更新所述疲劳检测模型。
第三方面，本申请实施例提供一种疲劳驾驶检测设备，包括：处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序指令，所述处理器执行所述计算机程序指令时实现如上述第一方面所述的方法。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机指令，所述计算机指令被处理器执行时用于实现如上述第一方面所述的方法。
第五方面，本申请实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法。
本申请实施例提供的疲劳驾驶检测方法、装置、设备及存储介质，通过获取驾驶员在驾驶车辆过程中的脑电信号、面部图像以及车辆运动数据，然后利用小波包分析算法对脑电信号进行多层分解与重构，得到脑电特征数据集合，对面部图像进行灰度化处理、特征检测和特征点标定，得到面部特征数据集合以及对车辆运动数据进行特征提取，得到用于表征驾驶员疲劳状态的车辆特征数据集合，最后根据脑电特征数据集合、面部特征数据集合和车辆特征数据集合，得到驾驶员的疲劳驾驶检测结果。该技术方案中，结合驾驶员的脑电信号、面部特征和车辆运动数据共同评价驾驶员的疲劳驾驶状态，不仅易于实现，而且保证了疲劳驾驶检测结果的实时性和准确性。
附图说明
图1为本申请实施例所适用的一种驾驶平台系统的结构示意图；
图2为本申请实施例提供的疲劳驾驶检测方法的实现原理图；
图3为本申请实施例提供的疲劳驾驶检测方法实施例一的流程示意图；
图4为本申请实施例提供的疲劳驾驶检测方法实施例二的流程示意图；
图5为EEG信号的小波包分解示意图；
图6为本申请实施例提供的疲劳驾驶检测方法实施例三的流程示意图；
图7为本申请实施例提供的疲劳驾驶检测方法实施例四的流程示意图；
图8为本申请实施例中疲劳驾驶多信息特征融合方法的流程示意图；
图9为本申请提供的疲劳驾驶检测装置实施例的结构示意图；
图10为本申请实施例提供的疲劳驾驶检测设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
随着社会经济的发展，交通基础设施日益发达，由此引发的道路交通事故也越来越多，给人民的生命财产安全造成了极大的伤害。而在交通事故频发的各种原因之中，疲劳驾驶成为交通事故发生的主要隐患，驾驶员疲劳检测技术的研究对于预防交通事故有着重要意义。
针对疲劳驾驶，也出现了许多疲劳驾驶的检测装置。疲劳驾驶检测主要是基于驾驶员的生理参数特征或者视觉特征，结合驾驶员疲劳时的行为特征，实时检测驾驶员疲劳的指标，从而检测到是否有疲劳产生。然而，各大汽车研发厂商推出的疲劳驾驶检测系统，但大都限制车型，检测效果不理想，因而使用受到了较大的阻碍。此外，这些疲劳检测系统大都是基于人体的物理反应如眼动、低头等动作来做出判断的，具有较高的误判性且判决结果不具唯一性。因此，提出一种能够有效的检测车辆驾驶员是否疲劳驾驶的系统具有重要的研究意义和价值。
现有技术中，疲劳驾驶检测方法主要有如下几种：
第一种：客观或主观检测确定疲劳驾驶状态；其中，客观检测，即基于驾驶员生理参数、行为特征以及车辆特征，检测驾驶员是否处于疲劳驾驶状态；这种方式容易受到外界因素的影响，例如，天气、光线、驾驶员日常行为等，可能存在检测结果不准确的问题。主观检测，即通过皮尔逊疲劳量表、闪频值等这种方式进行评价性检测；这种方法的实时性较差，询问作答周期长，大大降低了被试者疲劳状态评价的实时性和准确性。
第二种：眼睛状态检测确定疲劳驾驶状态；这种方法主要是基于已经提出的用于分析判断疲劳状态的物理量“PERCLOS”来实现。依据此参数可以获取被测试者的眼睛的闭合程度，进而判断其身体的疲劳程度。但这种方法容易受到汽车驾驶中抖动、眼部动作和不同人的不同眼部特征的影响，这种通过眼睛睁闭状态识别疲劳驾驶状态的方式在汽车驾驶中容易存在识别不准确的问题。
第三种：采用人脸特征点、方向梯度直方图(histogram of oriented gradient，HOG)特征等面部特征检测驾驶员的疲劳驾驶状态。这种方式受到环境因素较大，例如，不同体型的人、不一样的坐姿和因人而异的驾驶习惯等因素，都会对驾驶员疲劳检测系统的检测效果产生影响。
第四种，基于深度学习技术的驾驶员疲劳实时检测方法，主要是基于卷积神经网络来实现，其可极大地改善提取驾驶员脸部特征的稳定性，但无法在长期驾驶环境下提取随时间序列变化的驾驶员面部特征数据，致使基于深度学习技术的驾驶员疲劳实时检测在实现存在困难。
针对上述技术问题，本申请技术方案的构思过程如下：发明人发现可以在驾驶员的驾驶过程中获取驾驶员的脑电信号、面部图像以及车辆运动数据，分别对脑电信号、面部图像以及车辆运动数据处理后，可以对其进行融合，从而基于融合后的疲劳驾驶特征集合进行疲劳驾驶检测，这样可以解决现有疲劳驾驶检测结果不准确的问题。
基于上述技术构思过程，本申请实施例提供了一种疲劳驾驶检测方法，通过获取驾驶员在驾驶车辆过程中的脑电信号、面部图像以及车辆运动数据，然后利用小波包分析算法对脑电信号进行多层分解与重构，得到脑电特征数据集合，对面部图像进行灰度化处理、特征检测和特征点标定，得到面部特征数据集合以及对车辆运动数据进行特征提取，得到用于表征驾驶员疲劳状态的车辆特征数据集合，最后根据脑电特征数据集合、面部特征数据集合和车辆特征数据集合，得到驾驶员的疲劳驾驶检测结果。该技术方案中，结合驾驶员的脑电信号、面部特征和车辆运动数据共同评价驾驶员的疲劳驾驶状态，不仅易于实现，而且保证了疲劳驾驶检测结果的实时性和准确性。
具体的，在本申请的实施例中，该疲劳驾驶检测方法实际上是一种基于驾驶员的脑电信号(electroencephalogram，EEG)、面部特征识别以及车辆运动信息相融合的疲劳检测方法。首先，实时并同步采集驾驶员行驶车辆过程中的脑电信号、面部图像与车辆运动数据，构建数据库。其次，根据小波包分解得到EEG的脑电节律波、人脸识别确定眼睛与嘴部特征点信息，以及基于均值、中值、标准差等统计指标对车辆行驶过程中的车辆加速度、方向盘转角等信息进行处理与分析，评价脑电信号、人脸识别与车辆行驶信息中的疲劳评判指标的准确性。最后，构建EEG信号、面部图像与车辆行驶信息中的疲劳检测指标的相关性分析模型，并构建脑电与车辆行驶信息融合的驾驶员疲劳检测模型。
示例性的，图1为本申请实施例所适用的一种驾驶平台系统的结构示意图。如图1所示，该驾驶平台系统可以包括：车载中控模块11、数据采集模块12和疲劳驾驶检测模块13。
其中，该车载中控模块11可以基于用户指令或预设的控制指令控制车辆的运动状态，该数据采集模块12用于在车辆运动过程中，采集驾驶员的脑电信号、面部图像和车辆运动数据，疲劳驾驶检测模块13用于基于该数据采集模块12采集到的脑电信号、面部图像和车辆运动数据检测驾驶员的疲劳状态，得到疲劳驾驶检测结果。
可选的，在实际应用中，该驾驶平台系统还可以包括：操纵控制模块14、声响模块15和视野驾驶反馈模块16。其中，操纵控制模块14可以对疲劳驾驶检测模块13进行控制，例如，训练、更新等，声响模块15可以基于疲劳驾驶检测模块13输出的疲劳驾驶检测结果，输出疲劳驾驶提示信息或者播放音乐等功能，以及时告知驾驶员，视野驾驶反馈模块16可以向疲劳驾驶检测模块13反馈驾驶员的实时视野状态。
可理解，本申请实施例并不对驾驶平台系统包括的模块数量进行限定，其可以根据实际场景确定，此处不作赘述。
可选的，在本申请的实施例中，疲劳驾驶检测方法的执行主体可以为车载终端，具体的可以是车载终端上的该驾驶平台系统，进一步的，还可以是驾驶平台系统包括的疲劳驾驶检测模块，本申请实施例中以车载终端进行解释说明，此处不作赘述。
可选的，在本申请的实施例中，图1中的数据采集模块12可以在车辆行驶过程中采集脑电信号、面部图像和车辆运动数据，并构建疲劳驾驶数据库。
具体的，在实际应用中，可以搭建虚拟驾驶测试平台，其设备硬件包含：虚拟驾驶环境显示器、脑电帽、红外摄像头、方向盘、操纵杆、加速以及制动踏板；软件为：MATLAB以及智能驾驶模拟软件。本申请中涉及的驾驶员为身心健康被试者。根据研究发现，疲劳驾驶事故频发时间段为下午14:00-16:00以及凌晨1:00-3:00，且早晨8:30-10:00是驾驶员头脑最为清醒的时刻。可选的，在实际应用中，驾驶状态数据可以分为两部分采集：8:30-10:00采集正常驾驶状态信号；下午14:00-16:00采集疲劳驾驶状态信号。可理解，本申请实施例并不对具体的采集时间进行限定，其可以根据实际场景确定。
具体的，主要采集驾驶员在正常驾驶状态下和疲劳驾驶状态下行驶在直道、弯道、红绿灯口等多种类型时的脑电信号、面部特征数据以及车辆运动数据。其中，脑电帽可以获取驾驶员的脑电信号，使用红外摄像头对每个驾驶员面部数据进行采集，例如，红外摄像头通过支架安装在汽车内部仪表盘上方的位置以便能够有效采集到驾驶员的面部特征。由于驾驶员疲劳频发的时段也会存在于夜间，使用红外摄像头可以更好地进行夜间的拍摄。
可选的，在图1所示的驾驶平台系统的基础上，图2为本申请实施例提供的疲劳驾驶检测方法的实现原理图。如图2所示，在本申请的实施例中，驾驶平台部分、驾驶员疲劳数据库部分、脑电数据处理部分、面部图像处理部分、相关性分析部分以及疲劳检测部分。
如图2所示，在本申请的实施例中，驾驶平台部分主要是驾驶员所在的驾驶平台，在驾驶平台中，驾驶员佩戴脑电帽，方向盘等位置设置有摄像设备，以及采集车辆运动数据的各组件等。示例性的，在驾驶员疲劳数据库部分，一方面，可以获取到脑电帽采集到的驾驶员脑电信号(EEG数据)，另一方面，还可以获取到利用摄像设备采集到的面部图像，再一方面，还可以获取到车辆行驶信息，例如，车速、车辆加速度以及方向盘转角等。
在脑电数据处理部分，可以依次执行EEG数据预处理、小波包分解与重构、特征提取以及优选指标等过程，从而得到EEG节律波频带能量比。
在面部图像处理部分，可以对面部图像进行图像灰度化处理、特征点标定、睁闭眼与打呵欠检测以及特征提取等过程，得到人脸图像特征。
相应的，在相关性分析部分，可以根据上述得到的车辆行驶信息、人脸图像特征和EEG节律波频带能量比进行皮尔逊(Pearson)相关分析，最后，将分析结果输送到疲劳检测部分进行特征层融合、归一化输入、RVM疲劳检测模型，最后输出分类结果。
关于各组成部分的具体实现可以参见下述具体实施例，此处不作赘述。
下面将结合附图，通过具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
图3为本申请实施例提供的疲劳驾驶检测方法实施例一的流程示意图。本申请实施例以车载终端作为执行主体进行解释说明。如图3所示，该疲劳驾驶检测方法可以包括如下步骤：
S301、获取驾驶员在驾驶车辆过程中的脑电信号、面部图像以及车辆运动数据。
在本申请的实施例中，驾驶员佩戴脑电帽坐在驾驶座位置驾驶车辆，且驾驶舱的方向盘处设置有红外摄像头，脑电帽可以采集驾驶员的脑电信号，红外摄像头可以采集驾驶员的面部图像。车辆内部都有车控单元，车辆在运动过程中时，该车控单元可以实时或周期性的获取车辆运动数据并记录。
因而，在本步骤中，车载终端可以从脑电帽获取驾驶员的脑电信号、从红外摄像头获取面部图像以及从车控单元获取车辆运动数据。
S302、利用小波包分析算法对脑电信号进行多层分解与重构，得到脑电特征数据集合。
可选的，在本步骤中，车载终端可以对采集到的脑电信号进行预处理，去除眼电、心电伪迹，并根据小波包分解提取脑电信号的四种主要节律波，计算节律波的频带能量值，并将频带能量比作为脑电信号特征，进而得到脑电特征数据集合。
S303、对面部图像进行灰度化处理、特征检测和特征点标定，得到面部特征数据集合。
可选的，在本步骤中，可以对驾驶员的面部图像进行处理，得到驾驶员的面部特征状态，进而执行疲劳状态检测。可选的，疲劳状态检测的类型包括但不局限于单位时间内的眨眼、打哈欠等。
可选的，为了减少数据处理量，对于采集到的视频流，在读取过程中，可以将RGB三通道彩色图像转换成为单通道的灰度图像。
具体的，可以使用OpenCV获取每个像素点的RGB颜色分量，然后采用加权平均法对每个像素点的RGB颜色分量进行处理，得到灰度图像。
可选的，方向梯度直方图(histogram of oriented gradient，HOG)特征是一种物体特惠总能描述子，因而，通过对图像的像素点的方向直方图构建特征描述器，可以获取到面部图像中特征点的标定位置，然后根据处理后特征点标定位置获得眼部以及嘴部的坐标，从而得到面部特征数据集合。
S304、对车辆运动数据进行特征提取，得到用于表征驾驶员疲劳状态的车辆特征数据集合。
可选的，对于采集到的方向盘转角以及汽车速度等车辆运动信息，提取表征驾驶员疲劳状态的车辆数据的平均值、中值、标准差等特征，可以形成车辆特征数据集合，基于该车辆特征数据集合可以分析其与驾驶员疲劳状态的关系。
具体的，该步骤具体可以通过如下方式实现：
从车辆运动数据中，提取出表征疲劳状态的车辆数据集合，分别计算该车辆数据集合中各种车辆数据的至少两个统计指标，得到车辆特征数据集合。
其中，该车辆数据集合包括：方向盘转角数据和车辆加速度数据；相应的，车辆特征数据集合包括：方向盘转角数据的至少两个统计指标、车辆加速度数据的至少两个统计指标。
可选的，统计指标可以包括但不局限于包括平均值、中值和标准差等。
示例性的，通过对采集到的方向盘转角以及汽车速度等车辆运动数据进行处理，提取表征驾驶员疲劳状态的各个车辆运动数据的平均值、标准差等特征，分析其与驾驶员疲劳状态的关系。
可选的，方向盘转角数据的绝对值的平均值SAMEAN以及标准差SASD的公式分别如下：
其中，N为采样点数，SAi为方向盘转角，
具体的，对采集到的汽车方向盘转角、汽车加速度数据分别取平均值和标准差后，来反映驾驶员是否处于疲劳驾驶状态。
可选的，分析方向盘转角的均值与标准差的数据差异性来判断驾驶员疲劳状态；驾驶员在行驶过程中，由于疲劳状态时方向盘转角的均值较大，并且在此状态下方向盘的幅度更大，这可以证明方向盘转角均值能体现出疲劳与正常状态的差异。
可选的，研究发现，正常驾驶时驾驶员会保持较平稳的车速，因此在驾驶过程中会采用小幅调整的方式频繁使用油门踏板和制动踏板，使得对汽车加速度变化频率的较大，幅度较小。而当驾驶员处于疲劳驾驶时，驾驶人对保持稳定车速的能力下降，因此，在驾驶过程中汽车加速度的规律也会出现变化，相较于正常驾驶时加速度的波动更大，即驾驶员频繁大幅度使用油门或制动踏板来改变车速尽快达到其理想速度。
可理解，在本申请的实施例中，汽车加速度和方向盘转角数据一样，计算其均值和标准差时，都均只考虑大小不考虑方向。
S305、根据脑电特征数据集合、面部特征数据集合和车辆特征数据集合，得到驾驶员的疲劳驾驶检测结果。
可选的，本步骤主要是对已处理并提取得到的脑电特征数据集合、面部特征数据集合和车辆特征数据集合的有效参数组进行优化筛选以及融合处理，将驾驶员在驾驶过程中最能反应疲劳对行驶影响的信息进行特征融合，利用基于脑电、面部图像与车辆行驶信息融合的RVM检测模型进行疲劳状态检测，得到疲劳驾驶检测结果。
可选的，可以采用序列浮动前向选择(sequential forward floatingselection，SFFS)算法对脑电特征数据集合、面部特征数据集合和车辆特征数据集合等参数组进行优化筛选，将提取得到的最优特征子集作为多信息融合的RVM疲劳检测模型的输入值。
本申请实施例提供的疲劳驾驶检测方法，通过获取驾驶员在驾驶车辆过程中的脑电信号、面部图像以及车辆运动数据，然后利用小波包分析算法对脑电信号进行多层分解与重构，得到脑电特征数据集合，对面部图像进行灰度化处理、特征检测和特征点标定，得到面部特征数据集合以及对车辆运动数据进行特征提取，得到用于表征驾驶员疲劳状态的车辆特征数据集合，最后根据脑电特征数据集合、面部特征数据集合和车辆特征数据集合，得到驾驶员的疲劳驾驶检测结果。该技术方案中，结合驾驶员的脑电信号、面部特征和车辆运动数据共同评价驾驶员的疲劳驾驶状态，不仅易于实现，而且保证了疲劳驾驶检测结果的实时性和准确性。
示例性的，在上述实施例的基础上，图4为本申请实施例提供的疲劳驾驶检测方法实施例二的流程示意图。如图4所示，上述S302可以通过如下步骤实现：
S401、通过对脑电信号进行小波包分解，得到脑电信号对应的四种主要节律波。
可选的，利用不同小波基函数对原始的EEG信号进行多层分解与重构，便可得到不同分解水平的原始信号的各个能量。假设EEG信号的采样频率为fs，经过i层分解后，第i层的小波子空间频带带宽为fs/2i，i＝0，1，2，…。
示例性的，图5为EEG信号的小波包分解示意图。如图5所示，在本申请的实施例中，EGG信号的采样频率为fs为64Hz，对EEG信号采用db4小波基进行5层分解，得到脑电信号的四种节律波α、β、θ、δ，EEG信号中四种节律波的频段为α(8-12Hz)、β(12-30Hz)、θ(4-8Hz)、δ(0-4Hz)。
进一步的，对各节律波信号进行分解后，首先提取小波包各个节点的能量值。具体的，小波包各个节点的能量
如下式所示：
其中，
为t时刻第i层第j个节点的小波包分解系数。
S402、根据小波包各个节点的能量值，计算每种节律波的频带能量值。
可选的，在本实施例中，根据小波包各个节点的能量
公式，可以确定每种节律波的频带能量值，具体的，参见下述公式：
其中，r为α、β、θ、δ四种脑电节律波，取值根据分布子带决定，k为第i层的j个节点中脑电节律的分解系数。
S403、根据每种节律波的频带能量值，确定用于评价疲劳驾驶的脑电特征数据集合，该脑电特征数据集合包括：至少两个特征指标。
可选的，对于提取出的各个节律波频带能量占比，可以得到常用于评价驾驶疲劳的特征指标，比如，Eθ、Eα、Eθ/Eβ、(Eα+Eθ)/Eβ、(Eα+Eθ)/(Eα+Eβ)等。
本申请实施例，通过对脑电信号进行小波包分解，得到脑电信号对应的四种主要节律波，根据小波包各个节点的能量值，计算每种节律波的频带能量值，根据每种节律波的频带能量值，确定用于评价疲劳驾驶的脑电特征数据集合，其为后续进行特征融合，进而提高疲劳驾驶准确性奠定了基础。
示例性的，在上述实施例的基础上，图6为本申请实施例提供的疲劳驾驶检测方法实施例三的流程示意图。如图6所示，上述S303可以通过如下步骤实现：
S601、将面部图像转换成灰度图像。
具体的，使用OpenCV获取面部图像中每个像素点的RGB颜色分量，得到面部图像的三通道RGB颜色分量，然后采用加权平均法将三通道RGB颜色分量进行加权平均，再把得到的加权平均值作为灰度图像的灰度值。
示例性的，彩色图像转灰度图像的公式如下所示：
f(x，y)＝0.30R(x，y)+0.59G(x，y)+0.11B(x，y)
其中，R(x，y)，G(x，y)，B(x，y)分别表示面部图像的红色、绿色和蓝色等三个颜色分量的像素值，f(x，y)表示灰度图像的像素值。
可理解，本申请实施例并不限定R(x，y)，G(x，y)，B(x，y)的具体系数取值，其可以根据实际需要设定，此处不作赘述。
S602、基于方向梯度直方图特征，对灰度图像进行特征检测，确定该灰度图像中的脸部区域以及脸部区域中的脸部特征位置。
S603、使用OpenCV对脸部特征位置进行特征点标定，得到面部特征数据集合。
其中，该面部特征数据集合包括：眼睛特征点信息和嘴部特征点信息。
在计算机视觉以及数字图像处理中，梯度方向直方图(histogram of orientedgradient，HOG)是一种能对物体进行检测的基于形状边缘特征的描述算子，它的基本思想是利用梯度信息能很好的反映图像目标的边缘信息并通过局部梯度的大小将图像局部的外观和形状特征化。因而，在本实施例中，可以利用灰度图像的像素点的方向直方图，调用Dlib库函数获取脸部位置检测器和脸部特征位置检测器，进而确定该灰度图像中的脸部区域以及脸部区域中的脸部特征位置。进一步的，在将驾驶员的面部特征信息转化成为array数组形式后，可以使用OpenCV对处理过后的图像进行特征点标定。
可选的，在本实施例中，假设灰度图像中像素点(x，y)的梯度公式为：
Gx(x，y)＝H(x+1，y)-H(x-1，y)
Gy(x，y)＝H(x，y+1)-H(x，y-1)
其中，Gx(x，y)表示像素点的水平方向梯度、Gy(x，y)表示像素点的垂直方向梯度、H(x，y)表示像素点的像素值。
相应的，像素点的梯度幅度GX(x，y)与方向δ(x，y)的公式为：
可选的，可以根据眼睛与嘴部特征点的标定信息进行睁闭眼和打哈欠检测。具体地，根据处理后特征点标定位置获得眼部以及嘴部的坐标，依据眼部开合程度，即计算眼睛坐标点欧式距离并取平均值，然后结合设置的单位时间内睁眼闭眼次数的阈值来判断驾驶员是否处于疲劳驾驶状态。根据提取到的嘴部特征数据，确定嘴部特征值，然后判断该嘴部特征值是否大于设定的阈值。可选的，嘴部的欧式距离与阈值相比，示例性的，当单位时间内的张闭频率＞10％时认为打出哈欠。
本申请实施例中，通过对面部图像进行灰度化处理、特征检测和特征点标定，得到面部特征数据集合，其为后续的信息融合奠定了实现基础，从而可以提高检测准确度。
示例性的，在上述实施例的基础上，图7为本申请实施例提供的疲劳驾驶检测方法实施例四的流程示意图。如图7所示，上述S305可以通过如下步骤实现：
S701、对脑电特征数据集合、面部特征数据集合和车辆特征数据集合进行特征筛选，得到疲劳检测特征集合。
可选的，为了降低数据处理的复杂度，提高数据处理效率，首先对脑电特征数据集合、面部特征数据集合和车辆特征数据集合进行特征筛选等疲劳检测特征进行选取，从驾驶员进行疲劳检测采集到的原始特征集中去除不相关或相关性差的冗余特征，筛选最优特征子集来提高检测模型的准确率。
示例性的，本实施例中，采用SFFS算法降低冗余特征进入目标子集的概率，其方法在每生成一个目标子集后都会删除其中不相干的或者相关性不强的特征来就构建新的目标子集。
采用SFFS算法选取车辆行驶的运动特征数据，其方法公式如下：
其中，J(X)是SFFS算法对应的融合检测模型的准确率，Y是疲劳参数全集，X是Y的非空子集，NX是检测样本，nx是识别正确样本。
其次，将驾驶员疲劳检测的多信息融合划分为三种融合方式：数据融合、特征融合以及决策融合。数据融合是将具备同构性的疲劳信息的原始数据进行融合；特征融合是将原始数据进行预处理以及特征提取的中间层融合方式；决策融合是将疲劳多信息的各单一信息得到局部单一决策，再融合各局部单一决策的方法。示例性的，图8为本申请实施例中疲劳驾驶多信息特征融合方法的流程示意图。如图8所示，首先分别对采集到的脑电信号、面部图像和车辆运动数据进行特征提取，然后进行疲劳特征参数优化选择，再进行各特征的多信息融合，从而得到最终决策。
S702、采用MCAA算法对疲劳检测特征集合进行投影，得到投影后的疲劳检测特征集合。
S703、对投影后的疲劳检测特征集合进行相关程度最大化处理，得到融合后的疲劳驾驶特征集合。
可选的，在本申请的实施例中，基于多重集典型相关分析(multiset canonicalcorrelation analysis，MCAA)对特征进行融合，将上述疲劳检测特征集合进行投影并将各个投影后新特征集进行相关程度最大化处理，得到融合后的疲劳驾驶特征集合。
可选的，疲劳驾驶特征集合Si＝[s1,s2,…,sn]含有n类特征，每一个特征的维度为j，j＝1,2,…,n。对n类特征进行中心化处理，得E(Si)＝0。其中，
假设疲劳驾驶特征集合的投影方向定义为α1,α2,…,αn，约束条件为：
在约束条件下，定义多重集典型相关分析准则函数：
其中，Sii表示类内协方差矩阵，Sij表示类间协方差矩阵，
为αi的转置。因而，基于MCCA的特征融合问题就可转换成最优化模型求解问题，公式如下：
当m>2时，MCCA算法完成疲劳检测特征的融合处理，得到融合后的数据集。
S704、将融合后的疲劳驾驶特征集合输入预先训练的疲劳检测模型中，输出疲劳驾驶检测结果。
在本申请的实施例中，车载终端中加载有预先训练的疲劳检测模型，因而，将融合后的疲劳驾驶特征集合输入预先训练的疲劳检测模型中可以直接得到疲劳驾驶检测结果。
可选的，疲劳检测模型的训练过程如下：
获取疲劳检测模型的训练样本集合，该训练样本集合包括：疲劳样本子集和正常样本子集；
利用该训练样本集合对RVM进行训练，得到疲劳检测模型；其中，该疲劳检测模型的识别准确率等于正确分类的样本数与训练样本集合的样本总数的比值。
可选的，由于相关向量机(relevance vector machine，RVM)能够很好的解决小样本分类问题，因而，在本实施例中，将脑电信号、人脸图像以及车辆运动数据融合后得到的训练样本集合作为RVM的输入，将正常样本子集与疲劳样本子集在特征层融合，进而使用RVM进行模型训练，当疲劳检测模型识别准确率小于预设误差阈值时，得到疲劳检测模型。
示例性的，假设TP是指正常样本下正确识别数，TN是指疲劳样本下正确识别数，FP是指正常样本下错误识别数，FN是指疲劳样本下错误识别数，则该疲劳检测模型的识别准确率等于(TP+TN)与训练样本集合的样本总数的比值。
可选的，在本申请的实施例中，为了进一步提高疲劳检测模型的准确度，该疲劳驾驶检测方法还可以包括如下步骤：
获取疲劳检测模型的正常样本正确识别数、正常样本错误识别数、疲劳样本正确识别数和疲劳样本错误识别数；
根据正常样本正确识别数和疲劳样本错误识别数，确定疲劳检测模型的检测灵敏度；
根据疲劳样本正确识别数和正常样本错误识别数，确定疲劳检测模型的特异性能；
根据检测灵敏度和特异性能，确定是否更新疲劳检测模型。
示例性的，灵敏度(Sensitivity)和特异性(Specificity)模型评价函数的公式分别如下所示：
其中，TP是指正常样本下正确识别数，TN是指疲劳样本下正确识别数，FP是指正常样本下错误识别数，FN是指疲劳样本下错误识别数。
本申请实施例中，基于驾驶员脑电信号、面部特征识别以及车辆运动信息的数据处理、分析并融合的疲劳检测方法，其利用RVM搭建检测模型，并采用SFFS算法对参数进行优化筛选，克服了传统疲劳检测方法中准确性不足的问题。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
示例性的，图9为本申请提供的疲劳驾驶检测装置实施例的结构示意图。可选的，疲劳驾驶检测装置可以集成在车载终端中，也可以通过车载终端实现。如图9所示，该疲劳驾驶检测装置可以包括：
获取模块901，用于获取驾驶员在驾驶车辆过程中的脑电信号、面部图像以及车辆运动数据；
脑电信号处理模块902，用于利用小波包分析算法对所述脑电信号进行多层分解与重构，得到脑电特征数据集合；
面部图像处理模块903，用于对所述面部图像进行灰度化处理、特征检测和特征点标定，得到面部特征数据集合；
车辆数据处理模块904，用于对所述车辆运动数据进行特征提取，得到用于表征驾驶员疲劳状态的车辆特征数据集合；
疲劳检测模块905，用于根据所述脑电特征数据集合、所述面部特征数据集合和所述车辆特征数据集合，得到所述驾驶员的疲劳驾驶检测结果。
可选的，所述脑电信号处理模块902，具体用于：
通过对所述脑电信号进行小波包分解，得到所述脑电信号对应的四种主要节律波；
根据小波包各个节点的能量值，计算每种节律波的频带能量值；
根据每种节律波的频带能量值，确定用于评价疲劳驾驶的脑电特征数据集合，所述脑电特征数据集合包括：至少两个特征指标。
可选的，所述面部图像处理模块903，具体用于：
将所述面部图像转换成灰度图像；
基于方向梯度直方图特征，对所述灰度图像进行特征检测，确定所述灰度图像中的脸部区域以及所述脸部区域中的脸部特征位置；
使用开源计算机视觉库OpenCV对所述脸部特征位置进行特征点标定，得到所述面部特征数据集合，所述面部特征数据集合包括：眼睛特征点信息和嘴部特征点信息。
可选的，所述车辆数据处理模块904，具体用于：
从所述车辆运动数据中，提取出表征疲劳状态的车辆数据集合，所述车辆数据集合包括：方向盘转角数据和车辆加速度数据；
分别计算所述车辆数据集合中各种车辆数据的至少两个统计指标，得到所述车辆特征数据集合。
可选的，所述疲劳检测模块905，具体用于：
对所述脑电特征数据集合、所述面部特征数据集合和所述车辆特征数据集合进行特征筛选，得到疲劳检测特征集合；
采用多重集典型相关分析MCAA算法对所述疲劳检测特征集合进行投影，得到投影后的疲劳检测特征集合；
对所述投影后的疲劳检测特征集合进行相关程度最大化处理，得到融合后的疲劳驾驶特征集合；
将所述融合后的疲劳驾驶特征集合输入预先训练的疲劳检测模型中，输出疲劳驾驶检测结果。
可选的，所述获取模块901，还用于获取所述疲劳检测模型的训练样本集合，所述训练样本集合包括：疲劳样本子集和正常样本子集；
所述疲劳检测模块905，还用于利用所述训练样本集合对相关向量机RVM进行训练，得到所述疲劳检测模型；其中，所述疲劳检测模型的识别准确率等于正确分类的样本数与所述训练样本集合的样本总数的比值。
可选的，所述获取模块901，还用于获取所述疲劳检测模型的正常样本正确识别数、正常样本错误识别数、疲劳样本正确识别数和疲劳样本错误识别数；
所述疲劳检测模块905，还用于：
根据所述正常样本正确识别数和所述疲劳样本错误识别数，确定所述疲劳检测模型的检测灵敏度；
根据所述疲劳样本正确识别数和所述正常样本错误识别数，确定所述疲劳检测模型的特异性能；
根据所述检测灵敏度和所述特异性能，确定是否更新所述疲劳检测模型。
本申请实施例提供的装置，可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，在此不再赘述。
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，获取模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上获取模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application specific integrated circuit，ASIC)，或，一个或多个微处理器(digital signal processor，DSP)，或，一个或者多个现场可编程门阵列(field programmable gate array，FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(centralprocessing unit，CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，SOC)的形式实现。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘solid state disk(SSD))等。
图10为本申请实施例提供的疲劳驾驶检测设备的结构示意图。如图10所示，该疲劳驾驶检测设备可以包括：处理器1001、存储器1002、通信接口1003和系统总线1004。其中，存储器1002和通信接口1003通过系统总线1004与处理器1001连接并完成相互间的通信，存储器1002用于存储计算机程序指令，通信接口1003用于和其他设备进行通信，处理器1001执行上述计算机程序指令时实现如上述方法实施例的技术方案。
该图10中提到的系统总线可以是外设部件互连标准(peripheral componentinterconnect，PCI)总线或扩展工业标准结构(extended industry standardarchitecture，EISA)总线等。所述系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(random access memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器CPU、网络处理器(networkprocessor，NP)等；还可以是数字信号处理器DSP、专用集成电路ASIC、现场可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可选的，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机指令，所述计算机指令被处理器执行时用于实现上述方法实施例的技术方案。
可选的，本申请实施例还提供一种运行指令的芯片，所述芯片用于执行上述方法实施例的技术方案。
本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序存储在计算机可读存储介质中，至少一个处理器可以从所述计算机可读存储介质中读取所述计算机程序，所述至少一个处理器执行所述计算机程序时可实现上述方法实施例的技术方案。
本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系；在公式中，字符“/”，表示前后关联对象是一种“相除”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。
可以理解的是，在本申请的实施例中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本申请的实施例的范围。在本申请的实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请的实施例的实施过程构成任何限定。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (10)
1.一种疲劳驾驶检测方法，其特征在于，包括：
获取驾驶员在驾驶车辆过程中的脑电信号、面部图像以及车辆运动数据；
利用小波包分析算法对所述脑电信号进行多层分解与重构，得到脑电特征数据集合；
对所述面部图像进行灰度化处理、特征检测和特征点标定，得到面部特征数据集合；
对所述车辆运动数据进行特征提取，得到用于表征驾驶员疲劳状态的车辆特征数据集合；
根据所述脑电特征数据集合、所述面部特征数据集合和所述车辆特征数据集合，得到所述驾驶员的疲劳驾驶检测结果。
2.根据权利要求1所述的方法，其特征在于，所述利用小波包分析算法对所述脑电信号进行多层分解与重构，得到脑电特征数据集合，包括：
通过对所述脑电信号进行小波包分解，得到所述脑电信号对应的四种主要节律波；
根据小波包各个节点的能量值，计算每种节律波的频带能量值；
根据每种节律波的频带能量值，确定用于评价疲劳驾驶的脑电特征数据集合，所述脑电特征数据集合包括：至少两个特征指标。
3.根据权利要求1所述的方法，其特征在于，所述对所述面部图像进行灰度化处理、特征检测和特征点标定，得到面部特征数据集合，包括：
将所述面部图像转换成灰度图像；
基于方向梯度直方图特征，对所述灰度图像进行特征检测，确定所述灰度图像中的脸部区域以及所述脸部区域中的脸部特征位置；
使用开源计算机视觉库OpenCV对所述脸部特征位置进行特征点标定，得到所述面部特征数据集合，所述面部特征数据集合包括：眼睛特征点信息和嘴部特征点信息。
4.根据权利要求1所述的方法，其特征在于，所述对所述车辆运动数据进行特征提取，得到用于表征驾驶员疲劳状态的车辆特征数据集合，包括：
从所述车辆运动数据中，提取出表征疲劳状态的车辆数据集合，所述车辆数据集合包括：方向盘转角数据和车辆加速度数据；
分别计算所述车辆数据集合中各种车辆数据的至少两个统计指标，得到所述车辆特征数据集合。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述脑电特征数据集合、所述面部特征数据集合和所述车辆特征数据集合，得到所述驾驶员的疲劳驾驶检测结果，包括：
对所述脑电特征数据集合、所述面部特征数据集合和所述车辆特征数据集合进行特征筛选，得到疲劳检测特征集合；
采用多重集典型相关分析MCAA算法对所述疲劳检测特征集合进行投影，得到投影后的疲劳检测特征集合；
对所述投影后的疲劳检测特征集合进行相关程度最大化处理，得到融合后的疲劳驾驶特征集合；
将所述融合后的疲劳驾驶特征集合输入预先训练的疲劳检测模型中，输出疲劳驾驶检测结果。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
获取所述疲劳检测模型的训练样本集合，所述训练样本集合包括：疲劳样本子集和正常样本子集；
利用所述训练样本集合对相关向量机RVM进行训练，得到所述疲劳检测模型；其中，所述疲劳检测模型的识别准确率等于正确分类的样本数与所述训练样本集合的样本总数的比值。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
获取所述疲劳检测模型的正常样本正确识别数、正常样本错误识别数、疲劳样本正确识别数和疲劳样本错误识别数；
根据所述正常样本正确识别数和所述疲劳样本错误识别数，确定所述疲劳检测模型的检测灵敏度；
根据所述疲劳样本正确识别数和所述正常样本错误识别数，确定所述疲劳检测模型的特异性能；
根据所述检测灵敏度和所述特异性能，确定是否更新所述疲劳检测模型。
8.一种疲劳驾驶检测装置，其特征在于，包括：
获取模块，用于获取驾驶员在驾驶车辆过程中的脑电信号、面部图像以及车辆运动数据；
脑电信号处理模块，用于利用小波包分析算法对所述脑电信号进行多层分解与重构，得到脑电特征数据集合；
面部图像处理模块，用于对所述面部图像进行灰度化处理、特征检测和特征点标定，得到面部特征数据集合；
车辆数据处理模块，用于对所述车辆运动数据进行特征提取，得到用于表征驾驶员疲劳状态的车辆特征数据集合；
疲劳检测模块，用于根据所述脑电特征数据集合、所述面部特征数据集合和所述车辆特征数据集合，得到所述驾驶员的疲劳驾驶检测结果。
9.一种疲劳驾驶检测设备，其特征在于，包括：处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序指令，所述处理器执行所述计算机程序指令时实现如上述权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机指令，所述计算机指令被处理器执行时用于实现如上述权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111564802.1A CN114298189A (zh) | 2021-12-20 | 2021-12-20 | 疲劳驾驶检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111564802.1A CN114298189A (zh) | 2021-12-20 | 2021-12-20 | 疲劳驾驶检测方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114298189A true CN114298189A (zh) | 2022-04-08 |
Family
ID=80967115
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111564802.1A Pending CN114298189A (zh) | 2021-12-20 | 2021-12-20 | 疲劳驾驶检测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114298189A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114550147A (zh) * | 2022-04-26 | 2022-05-27 | 天津大学 | 一种基于物联网的汽车数据采集分析处理方法及系统 |
| CN115886819A (zh) * | 2022-10-30 | 2023-04-04 | 同济大学 | 一种基于多模态融合的驾驶员疲劳监测方法、系统及装置 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103455821A (zh) * | 2012-05-29 | 2013-12-18 | 北京三星通信技术研究有限公司 | 基于bi-rads的图像分析装置和方法 |
| CN103989471A (zh) * | 2014-05-08 | 2014-08-20 | 东北大学 | 一种基于脑电图识别的疲劳驾驶检测系统及方法 |
| CN107280694A (zh) * | 2017-07-18 | 2017-10-24 | 燕山大学 | 一种基于多源信息融合的疲劳检测方法 |
| CN109190570A (zh) * | 2018-09-11 | 2019-01-11 | 河南工业大学 | 一种基于离散小波变换和多尺度熵的脑电情感识别方法 |
| CN109389806A (zh) * | 2018-11-08 | 2019-02-26 | 山东大学 | 基于多信息融合的疲劳驾驶检测预警方法、系统及介质 |
| CN109886346A (zh) * | 2019-02-26 | 2019-06-14 | 四川大学华西医院 | 一种心肌mri图像分类系统 |
| CN110119672A (zh) * | 2019-03-26 | 2019-08-13 | 湖北大学 | 一种嵌入式疲劳状态检测系统及方法 |
| CN110530662A (zh) * | 2019-09-05 | 2019-12-03 | 中南大学 | 一种基于多源生理信号的列车座椅舒适性评价方法及系统 |
| CN110728241A (zh) * | 2019-10-14 | 2020-01-24 | 湖南大学 | 一种基于深度学习多特征融合的驾驶员疲劳检测方法 |
| CN110796207A (zh) * | 2019-11-08 | 2020-02-14 | 中南大学 | 一种疲劳驾驶检测方法及系统 |
| CN110811649A (zh) * | 2019-10-31 | 2020-02-21 | 太原理工大学 | 一种基于生物电及行为特征融合的疲劳驾驶检测方法 |
| CN112381015A (zh) * | 2020-11-19 | 2021-02-19 | 联通智网科技有限公司 | 疲劳度识别方法、装置和设备 |
| CN112800998A (zh) * | 2021-02-05 | 2021-05-14 | 南京邮电大学 | 融合注意力机制和dmcca的多模态情感识别方法及系统 |
| CN213241414U (zh) * | 2020-08-31 | 2021-05-18 | 扬州大学 | 一种基于多种信号的疲劳识别系统 |
-
2021
- 2021-12-20 CN CN202111564802.1A patent/CN114298189A/zh active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103455821A (zh) * | 2012-05-29 | 2013-12-18 | 北京三星通信技术研究有限公司 | 基于bi-rads的图像分析装置和方法 |
| CN103989471A (zh) * | 2014-05-08 | 2014-08-20 | 东北大学 | 一种基于脑电图识别的疲劳驾驶检测系统及方法 |
| CN107280694A (zh) * | 2017-07-18 | 2017-10-24 | 燕山大学 | 一种基于多源信息融合的疲劳检测方法 |
| CN109190570A (zh) * | 2018-09-11 | 2019-01-11 | 河南工业大学 | 一种基于离散小波变换和多尺度熵的脑电情感识别方法 |
| CN109389806A (zh) * | 2018-11-08 | 2019-02-26 | 山东大学 | 基于多信息融合的疲劳驾驶检测预警方法、系统及介质 |
| CN109886346A (zh) * | 2019-02-26 | 2019-06-14 | 四川大学华西医院 | 一种心肌mri图像分类系统 |
| CN110119672A (zh) * | 2019-03-26 | 2019-08-13 | 湖北大学 | 一种嵌入式疲劳状态检测系统及方法 |
| CN110530662A (zh) * | 2019-09-05 | 2019-12-03 | 中南大学 | 一种基于多源生理信号的列车座椅舒适性评价方法及系统 |
| CN110728241A (zh) * | 2019-10-14 | 2020-01-24 | 湖南大学 | 一种基于深度学习多特征融合的驾驶员疲劳检测方法 |
| CN110811649A (zh) * | 2019-10-31 | 2020-02-21 | 太原理工大学 | 一种基于生物电及行为特征融合的疲劳驾驶检测方法 |
| CN110796207A (zh) * | 2019-11-08 | 2020-02-14 | 中南大学 | 一种疲劳驾驶检测方法及系统 |
| CN213241414U (zh) * | 2020-08-31 | 2021-05-18 | 扬州大学 | 一种基于多种信号的疲劳识别系统 |
| CN112381015A (zh) * | 2020-11-19 | 2021-02-19 | 联通智网科技有限公司 | 疲劳度识别方法、装置和设备 |
| CN112800998A (zh) * | 2021-02-05 | 2021-05-14 | 南京邮电大学 | 融合注意力机制和dmcca的多模态情感识别方法及系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114550147A (zh) * | 2022-04-26 | 2022-05-27 | 天津大学 | 一种基于物联网的汽车数据采集分析处理方法及系统 |
| CN114550147B (zh) * | 2022-04-26 | 2022-08-09 | 天津大学 | 一种基于物联网的汽车数据采集分析处理方法及系统 |
| CN115886819A (zh) * | 2022-10-30 | 2023-04-04 | 同济大学 | 一种基于多模态融合的驾驶员疲劳监测方法、系统及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11783601B2 (en) | Driver fatigue detection method and system based on combining a pseudo-3D convolutional neural network and an attention mechanism | |
| CN101583313B (zh) | 觉醒状态判断模型生成装置、觉醒状态判断装置以及警告装置 | |
| Liu et al. | Weighted fuzzy Dempster–Shafer framework for multimodal information integration | |
| Peng et al. | 3D-STCNN: Spatiotemporal Convolutional Neural Network based on EEG 3D features for detecting driving fatigue | |
| CN113743471B (zh) | 一种驾驶评估方法及其系统 | |
| CN114298189A (zh) | 疲劳驾驶检测方法、装置、设备及存储介质 | |
| CN111009321A (zh) | 一种机器学习分类模型在青少年孤独症辅助诊断中的应用方法 | |
| CN111863244B (zh) | 基于稀疏池化图卷积的功能连接精神疾病分类方法和系统 | |
| Liu et al. | Real time detection of driver fatigue based on CNN‐LSTM | |
| WO2021068781A1 (zh) | 一种疲劳状态识别方法、装置和设备 | |
| CN109431523A (zh) | 基于非社会性声音刺激行为范式的孤独症初级筛查装置 | |
| CN116343284A (zh) | 基于注意力机制的多特征户外环境情绪识别方法 | |
| WO2020190480A1 (en) | Classifying an input data set within a data category using multiple data recognition tools | |
| Gale et al. | Are there any ‘object detectors’ in the hidden layers of CNNs trained to identify objects or scenes? | |
| Zhang et al. | Feature-transfer network and local background suppression for microaneurysm detection | |
| Zhao et al. | Deep convolutional neural network for drowsy student state detection | |
| CN111428655A (zh) | 一种基于深度学习的头皮检测方法 | |
| CN115272295A (zh) | 基于时域-空域联合状态的动态脑功能网络分析方法及系统 | |
| Min et al. | Fusion of forehead EEG with machine vision for real-time fatigue detection in an automatic processing pipeline | |
| CN117291895A (zh) | 图像检测方法、装置、设备及存储介质 | |
| CN112438741A (zh) | 一种基于脑电特征迁移学习的驾驶状态检测方法及系统 | |
| Shukla et al. | An Efficient Approach of Face Detection and Prediction of Drowsiness Using SVM | |
| Wang et al. | A real-time driver fatigue identification method based on GA-GRNN | |
| Chougule et al. | Enabling safe its: Eeg-based microsleep detection in vanets | |
| Chen et al. | Deep learning approach for detection of unfavorable driving state based on multiple phase synchronization between multi-channel EEG signals |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220408 |
|
| RJ01 | Rejection of invention patent application after publication |