CN113780150A - 一种基于多维身体状态感知的疲劳检测方法及系统 - Google Patents
一种基于多维身体状态感知的疲劳检测方法及系统 Download PDFInfo
- Publication number
- CN113780150A CN113780150A CN202111043068.4A CN202111043068A CN113780150A CN 113780150 A CN113780150 A CN 113780150A CN 202111043068 A CN202111043068 A CN 202111043068A CN 113780150 A CN113780150 A CN 113780150A
- Authority
- CN
- China
- Prior art keywords
- fatigue
- eye
- voice
- face
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 96
- 230000008447 perception Effects 0.000 title claims abstract description 28
- 208000011293 voice disease Diseases 0.000 claims abstract description 32
- 238000005516 engineering process Methods 0.000 claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 16
- 230000004927 fusion Effects 0.000 claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 24
- 230000004399 eye closure Effects 0.000 claims description 16
- 230000001815 facial effect Effects 0.000 claims description 13
- 238000009826 distribution Methods 0.000 claims description 10
- 208000003464 asthenopia Diseases 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 4
- 230000005012 migration Effects 0.000 claims description 4
- 238000013508 migration Methods 0.000 claims description 4
- 230000035945 sensitivity Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 3
- 241001282135 Poromitra oscitans Species 0.000 description 2
- 206010048232 Yawning Diseases 0.000 description 2
- 238000013506 data mapping Methods 0.000 description 2
- 238000009661 fatigue test Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 210000001260 vocal cord Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/66—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Epidemiology (AREA)
- Probability & Statistics with Applications (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种基于多维身体状态感知的疲劳检测方法及系统，其方法包括：通过红外技术采集人脸特征的红外图像数据，对红外图像数据进行预处理，将人脸信息从红外图像数据中提取出来，并从人脸信息中提取眼睛特征数据和嘴巴特征数据，通过分析眼睛特征数据和嘴巴特征数据对面部疲劳状态进行检测，获取面部疲劳检测结果；通过语音输入模块采集声音信息，并基于声音信息进行语音疲劳状态进行检测，获取语音疲劳检测结果；将面部疲劳检测结果和语音疲劳检测结果进行融合，基于信息熵选择进行多分类器融合，将决策表内容进行融合得到最终人体疲劳检测结果。在本发明实施例通过提供多种疲劳检测信息的融合，提升了整个系统的有效性。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种基于多维身体状态感知的疲劳检测方法及系统。
背景技术
目前电力系统的自动化技术水平与可靠性已经大幅提高，但人在电力系统中依旧发挥着重要作用。长时间高强度的现场作业容易造成人体疲劳，导致注意力难以集中，机体活力及反应力大大下降，这不仅会影响生产作业人员的工作效率，甚至会引发生产安全事故，因此，作为主动预防事故发生的一项措施，疲劳检测具有重要的社会意义和实际价值。
疲劳检测缺少明显的确定特征，接触式检测比如脑电、心电的测量一般需要在人的身体上粘贴电极，在一定程度会造成测试人的反感排斥，操作复杂且易受被试者情绪、身体状况的影响。电力调度现场环境复杂，噪声，光照等对特征提取造成困难，极大降低疲劳检测的准确性。疲劳检测过程常常会受到非普遍适用性因素影响，单特征难以对疲劳状态进行断定，从而导致识别率降低。
发明内容
本发明的目的在于克服现有技术的不足，本发明提供了一种基于多维身体状态感知的疲劳检测方法及系统，通过提供多种疲劳检测信息的融合，提升了整个系统的有效性。
为了解决上述技术问题，本发明实施例提供了一种基于多维身体状态感知的疲劳检测方法，所述方法包括：
通过红外技术采集人脸特征的红外图像数据，对红外图像数据进行预处理，将人脸信息从红外图像数据中提取出来，并从人脸信息中提取眼睛特征数据和嘴巴特征数据，通过分析眼睛特征数据和嘴巴特征数据对面部疲劳状态进行检测，获取面部疲劳检测结果；
通过语音输入模块采集声音信息，并基于声音信息进行语音疲劳状态进行检测，获取语音疲劳检测结果；
将面部疲劳检测结果和语音疲劳检测结果进行融合，基于信息熵选择进行多分类器融合，将决策表内容进行融合得到最终人体疲劳检测结果。
所述通过红外技术采集人脸特征的红外图像数据包括：
使用红外光源对测试者进行补光协助成像。
所述对红外图像数据进行预处理，将人脸信息从红外图像数据中提取出来，并从人脸信息中提取眼睛特征数据和嘴巴特征数据包括：
对红外图像进行灰度化以及二值化处理，将被测人员从图像背景中进行提取，采用Adaboost算法在互不重叠的训练集上进行训练得到多个较弱的分类器，将训练得到的多个弱分类器进行联合得到强分类器，从而对测试者眼睛和嘴巴进行定位，采用Retinex算法对定位区域图像进行增强并提取特征点，利用所得到的特征点信息量化眼睛和嘴的状态数据。
所述通过分析眼睛特征数据和嘴巴特征数据对面部疲劳状态进行检测包括：
依据PERCLOS规则对眼睛特征数据的疲劳状态进行量化；
依据PMOT准则对嘴巴特征数据的嘴巴闭合度进行量化。
所述依据PERCLOS规则对眼睛特征数据的疲劳状态进行量化包括：
设定眼睛高度值和眼睛宽度值，并基于眼睛高度值和眼睛宽度值进行眼睛闭合度计算，并基于眼睛闭合度匹配当前眼睛的疲劳程度值。
所述通过语音输入模块采集声音信息，并基于声音信息进行语音疲劳状态进行检测，获取语音疲劳检测结果包括：
将被测试者声音所形成的语谱图进行Mel频率变换，利用频率变化拉伸感知度敏感区间，增强系统对疲劳的感知度；
对测试者声音信息进行采集，对所采集的声音信息进行标记并作为源样本；找到特征变换将不同的数据集映射至同一特征空间，使源样本和目标样本边缘概率分布和条件概率分布无限接近；然后反复训练迁移分类器增强泛化能力，对目标样本的疲劳状态进行检测。
相应的，本发明还提供了一种基于多维身体状态感知的疲劳检测系统，所述系统包括：
面部疲劳检测模块，用于通过红外技术采集人脸特征的红外图像数据，对红外图像数据进行预处理，将人脸信息从红外图像数据中提取出来，并从人脸信息中提取眼睛特征数据和嘴巴特征数据，通过分析眼睛特征数据和嘴巴特征数据对面部疲劳状态进行检测，获取面部疲劳检测结果；
语音疲劳检测模块，用于通过语音输入模块采集声音信息，并基于声音信息进行语音疲劳状态进行检测，获取语音疲劳检测结果；
融合检测模块，用于将面部疲劳检测结果和语音疲劳检测结果进行融合，基于信息熵选择进行多分类器融合，将决策表内容进行融合得到最终人体疲劳检测结果。
所述面部疲劳检测模块对红外图像进行灰度化以及二值化处理，将被测人员从图像背景中进行提取，采用Adaboost算法在互不重叠的训练集上进行训练得到多个较弱的分类器，将训练得到的多个弱分类器进行联合得到强分类器，从而对测试者眼睛和嘴巴进行定位，采用Retinex算法对定位区域图像进行增强并提取特征点，利用所得到的特征点信息量化眼睛和嘴的状态数据。
所述面部疲劳检测模块依据PERCLOS规则对眼睛特征数据的疲劳状态进行量化；依据PMOT准则对嘴巴特征数据的嘴巴闭合度进行量化。
所述面部疲劳检测模块设定眼睛高度值和眼睛宽度值，并基于眼睛高度值和眼睛宽度值进行眼睛闭合度计算，并基于眼睛闭合度匹配当前眼睛的疲劳程度值。
在本发明实施例中基于多维身体状态感知方式，基于面部信息特征的疲劳检测以及基于生理信息特征的疲劳检测，采用基于多信息融合的疲劳检测技术，从多个维度全面分析工作人员的疲劳状态。充分获得多种信息资源并对其进行优化组合获取更多的有效信息，从而提高整个系统的有效性。在疲劳检测过程中，检测结果常常会受到非普遍适用性因素的影响，单特征难以对疲劳状态进行断定，从而导致识别率降低。本发明将面部疲劳状态和语音疲劳状态结合分析，获得多种信息资源对信息的优化组合获取更多的有效信息，提高了整个系统的有效性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例中的基于多维身体状态感知的疲劳检测方法流程图；
图2是本发明实施例中的面部疲劳检测流程图；
图3是本发明实施例中的语音疲劳检测流程图；
图4是本发明实施例中的基于多维身体状态感知的疲劳检测系统。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1示出了本发明实施例中的基于多维身体状态感知的疲劳检测方法流程图，该方法包括以下步骤：
S101、获取面部疲劳检测结果；
这里先进行面部疲劳状态识别，即为通过红外技术采集图像技术得到包含被测试者面部信息的图像，对图像进行预处理，将人脸从图像中提取出来，并从人脸中提取眼睛和嘴巴特征，对其进行定位，通过分析其特征对面部疲劳状态进行检测。
即通过红外技术采集人脸特征的红外图像数据，对红外图像数据进行预处理，将人脸信息从红外图像数据中提取出来，并从人脸信息中提取眼睛特征数据和嘴巴特征数据，通过分析眼睛特征数据和嘴巴特征数据对面部疲劳状态进行检测，获取面部疲劳检测结果。
具体的，通过红外技术采集人脸特征的红外图像数据包括：使用红外光源对测试者进行补光协助成像。
具体的，对红外图像数据进行预处理，将人脸信息从红外图像数据中提取出来，并从人脸信息中提取眼睛特征数据和嘴巴特征数据包括：对红外图像进行灰度化以及二值化处理，将被测人员从图像背景中进行提取，采用Adaboost算法在互不重叠的训练集上进行训练得到多个较弱的分类器，将训练得到的多个弱分类器进行联合得到强分类器，从而对测试者眼睛和嘴巴进行定位，采用Retinex算法对定位区域图像进行增强并提取特征点，利用所得到的特征点信息量化眼睛和嘴的状态数据。
具体的，通过分析眼睛特征数据和嘴巴特征数据对面部疲劳状态进行检测包括：依据PERCLOS规则对眼睛特征数据的疲劳状态进行量化；依据PMOT准则对嘴巴特征数据的嘴巴闭合度进行量化。
具体的，依据PERCLOS规则对眼睛特征数据的疲劳状态进行量化包括：设定眼睛高度值和眼睛宽度值，并基于眼睛高度值和眼睛宽度值进行眼睛闭合度计算，并基于眼睛闭合度匹配当前眼睛的疲劳程度值。
需要说明的是，图2示出了本发明实施例中的面部疲劳检测流程图，利用视频图像进行信息采集将很大程度泄露被测试者的隐私，故本发明拟采用红外成像技术，将测试者面部信息以红外图像形式展示。受到被测人员衣帽遮挡以及光照变化等因素影响，图像采集可能存在信息缺失现象，这将极大影响疲劳状态检测精度，故首先使用红外光源对测试者进行补光协助成像。对红外图像进行灰度化以及二值化等一系列处理，将被测人员从图像背景中进行提取，采用Adaboost算法在互不重叠的训练集上进行训练得到多个较弱的分类器，将训练得到的多个弱分类器进行联合得到强分类器，从而对测试者眼睛和嘴巴进行定位，采用Retinex算法对定位区域图像进行增强并提取特征点，利用所得到的特征点信息量化眼睛和嘴的状态。例如，人体疲劳时眼睛闭合度相对于轻松时会极大下降，并且闭眼过程持续的时间较长，故可以依据PERCLOS规则对疲劳状态进行量化。
设定右眼高度为Δh，右眼宽度为Δw，则有：
Δheye＝[dist(p37,p41)+dist(p38,p40)]/2
Δweye＝dist(p36,p39)
则两点之间的距离可以表示为：
由于在实际工程中对眼睛长度和宽度的计算量较大，故可以将上述公式进行简化得到：
Δheye≈[abs(yp37-yp41+yp38-yp40)]/2
Δweye≈abs(xp36-xp39)
眼睛闭合度dc计算如下：
将某时刻眼睛的疲劳程度进行量化：
人体处于疲劳状态时嘴部状态会发生明显变化例如打哈欠频率显著增加，并且完成“打哈欠”这一动作之后嘴巴闭合程度相对于正常讲话或者静止状态时会明显增大。嘴巴闭合度计算类似于眼睛闭合度的计算，分别计算得到嘴巴高度和宽度以及闭合度，计算过程如下：
依据PMOT准则对嘴巴闭合度进行量化。结合PERCLOS准则以及PMOT准则融合眼睛和嘴巴状态信息，对分类器进行训练并完成对面部疲劳状态的分析。
S102、通过语音输入模块采集声音信息，并基于声音信息进行语音疲劳状态进行检测，获取语音疲劳检测结果；
具体的，通过语音输入模块采集声音信息，并基于声音信息进行语音疲劳状态进行检测，获取语音疲劳检测结果包括：将被测试者声音所形成的语谱图进行Mel频率变换，利用频率变化拉伸感知度敏感区间，增强系统对疲劳的感知度；对测试者声音信息进行采集，对所采集的声音信息进行标记并作为源样本；找到特征变换将不同的数据集映射至同一特征空间，使源样本和目标样本边缘概率分布和条件概率分布无限接近；然后反复训练迁移分类器增强泛化能力，对目标样本的疲劳状态进行检测。
具体的，图3示出了本发明实施例中的语音疲劳检测流程图，其针对样本进行特征提取，采用领域适配与降维实现数据映射迭代优化，通过获取测试语音实现对测试者语音数据的特征提取，基于数据映射迭代优化进行特征变换，实现分类器训练得出语音疲劳检测结果。
人体疲劳时，声带肌肉相对松弛，语音音质也会发生显著变化，并且由于疲劳脑活力降低，反应能力也随之下降，语言的停顿呈现无规律状态，并且对音质的清晰度也会产生影响。故对测试者语音提取三个最相关特征，分别是：语谱，音质以及话语节奏。
将被测试者声音所形成的语谱图进行Mel频率变换，线性频率和Mel频率之间的映射关系可以表示为：
el(f)＝2595lg(1+f/700)
在低频部分线性频谱对疲劳的感知度较高，对疲劳的感知度较高的低频部分在线性频谱图中所占比例远小于经过Mel频率变化以后的比例，故利用频率变化拉伸感知度敏感区间，增强系统对疲劳的感知度。
对测试者声音信息进行采集，对其进行标记并作为源样本，＝{(xs1，ys1)，(xs2，ys2)，...(xsn，ysn)}即为收集到的数据集，x为特征向量，y是类别编号，一共有n个样本，Dt＝{(xt1，yt1)，(xt2，yt2)，...(xtn，ytn)}为无标记的目标样本，由于两个数据集的边缘概率分布不同，同时条件概率分布有所差别，故对Ds进行训练得到的分类器对Dt并不适用。故需找到特征变换T(x)将不同的数据集映射至同一特征空间，使二者边缘概率分布和条件概率分布无限接近，即为P[T(xs)]≈P[T(xt)]并且Q[T(xs)|ys]≈Q[T(xt)|yt]。然后反复训练迁移分类器f[T(x)]，增强其泛化能力，对目标样本的疲劳状态进行检测。
S103、将面部疲劳检测结果和语音疲劳检测结果进行融合，基于信息熵选择进行多分类器融合，将决策表内容进行融合得到最终人体疲劳检测结果。
单一特征容易受环境和人为因素各方面影响，故将面部疲劳检测结果和语音疲劳检测结果进行融合，如下图所示，在决策层对判定条件进行融合处理得到决策表，基于信息熵选择进行多分类器融合，将决策表内容进行融合得到最终决策结果，实现对人体疲劳检测的最终判定。
相应的，图4示出了本发明实施例中的基于多维身体状态感知的疲劳检测系统，所述系统包括：
面部疲劳检测模块，用于通过红外技术采集人脸特征的红外图像数据，对红外图像数据进行预处理，将人脸信息从红外图像数据中提取出来，并从人脸信息中提取眼睛特征数据和嘴巴特征数据，通过分析眼睛特征数据和嘴巴特征数据对面部疲劳状态进行检测，获取面部疲劳检测结果；
语音疲劳检测模块，用于通过语音输入模块采集声音信息，并基于声音信息进行语音疲劳状态进行检测，获取语音疲劳检测结果；
融合检测模块，用于将面部疲劳检测结果和语音疲劳检测结果进行融合，基于信息熵选择进行多分类器融合，将决策表内容进行融合得到最终人体疲劳检测结果。
具体的，该面部疲劳检测模块对红外图像进行灰度化以及二值化处理，将被测人员从图像背景中进行提取，采用Adaboost算法在互不重叠的训练集上进行训练得到多个较弱的分类器，将训练得到的多个弱分类器进行联合得到强分类器，从而对测试者眼睛和嘴巴进行定位，采用Retinex算法对定位区域图像进行增强并提取特征点，利用所得到的特征点信息量化眼睛和嘴的状态数据。
具体的，该面部疲劳检测模块依据PERCLOS规则对眼睛特征数据的疲劳状态进行量化；依据PMOT准则对嘴巴特征数据的嘴巴闭合度进行量化。
具体的，该面部疲劳检测模块设定眼睛高度值和眼睛宽度值，并基于眼睛高度值和眼睛宽度值进行眼睛闭合度计算，并基于眼睛闭合度匹配当前眼睛的疲劳程度值。
在本发明实施例中基于多维身体状态感知方式，基于面部信息特征的疲劳检测以及基于生理信息特征的疲劳检测，采用基于多信息融合的疲劳检测技术，从多个维度全面分析工作人员的疲劳状态。充分获得多种信息资源并对其进行优化组合获取更多的有效信息，从而提高整个系统的有效性。在疲劳检测过程中，检测结果常常会受到非普遍适用性因素的影响，单特征难以对疲劳状态进行断定，从而导致识别率降低。本发明将面部疲劳状态和语音疲劳状态结合分析，获得多种信息资源对信息的优化组合获取更多的有效信息，提高了整个系统的有效性。
以上对本发明实施例所进行了详细介绍，本文中应采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于多维身体状态感知的疲劳检测方法，其特征在于，所述方法包括：
通过红外技术采集人脸特征的红外图像数据，对红外图像数据进行预处理，将人脸信息从红外图像数据中提取出来，并从人脸信息中提取眼睛特征数据和嘴巴特征数据，通过分析眼睛特征数据和嘴巴特征数据对面部疲劳状态进行检测，获取面部疲劳检测结果；
通过语音输入模块采集声音信息，并基于声音信息进行语音疲劳状态进行检测，获取语音疲劳检测结果；
将面部疲劳检测结果和语音疲劳检测结果进行融合，基于信息熵选择进行多分类器融合，将决策表内容进行融合得到最终人体疲劳检测结果。
2.如权利要求1所述的基于多维身体状态感知的疲劳检测方法，其特征在于，所述通过红外技术采集人脸特征的红外图像数据包括：
使用红外光源对测试者进行补光协助成像。
3.如权利要求1所述的基于多维身体状态感知的疲劳检测方法，其特征在于，所述对红外图像数据进行预处理，将人脸信息从红外图像数据中提取出来，并从人脸信息中提取眼睛特征数据和嘴巴特征数据包括：
对红外图像进行灰度化以及二值化处理，将被测人员从图像背景中进行提取，采用Adaboost算法在互不重叠的训练集上进行训练得到多个较弱的分类器，将训练得到的多个弱分类器进行联合得到强分类器，从而对测试者眼睛和嘴巴进行定位，采用Retinex算法对定位区域图像进行增强并提取特征点，利用所得到的特征点信息量化眼睛和嘴的状态数据。
4.如权利要求3所述的基于多维身体状态感知的疲劳检测方法，其特征在于，所述通过分析眼睛特征数据和嘴巴特征数据对面部疲劳状态进行检测包括：
依据PERCLOS规则对眼睛特征数据的疲劳状态进行量化；
依据PMOT准则对嘴巴特征数据的嘴巴闭合度进行量化。
5.如权利要求4所述的基于多维身体状态感知的疲劳检测方法，其特征在于，所述依据PERCLOS规则对眼睛特征数据的疲劳状态进行量化包括：
设定眼睛高度值和眼睛宽度值，并基于眼睛高度值和眼睛宽度值进行眼睛闭合度计算，并基于眼睛闭合度匹配当前眼睛的疲劳程度值。
6.如权利要求4所述的基于多维身体状态感知的疲劳检测方法，其特征在于，所述通过语音输入模块采集声音信息，并基于声音信息进行语音疲劳状态进行检测，获取语音疲劳检测结果包括：
将被测试者声音所形成的语谱图进行Mel频率变换，利用频率变化拉伸感知度敏感区间，增强系统对疲劳的感知度；
对测试者声音信息进行采集，对所采集的声音信息进行标记并作为源样本；找到特征变换将不同的数据集映射至同一特征空间，使源样本和目标样本边缘概率分布和条件概率分布无限接近；然后反复训练迁移分类器增强泛化能力，对目标样本的疲劳状态进行检测。
7.一种基于多维身体状态感知的疲劳检测系统，其特征在于，所述系统包括：
面部疲劳检测模块，用于通过红外技术采集人脸特征的红外图像数据，对红外图像数据进行预处理，将人脸信息从红外图像数据中提取出来，并从人脸信息中提取眼睛特征数据和嘴巴特征数据，通过分析眼睛特征数据和嘴巴特征数据对面部疲劳状态进行检测，获取面部疲劳检测结果；
语音疲劳检测模块，用于通过语音输入模块采集声音信息，并基于声音信息进行语音疲劳状态进行检测，获取语音疲劳检测结果；
融合检测模块，用于将面部疲劳检测结果和语音疲劳检测结果进行融合，基于信息熵选择进行多分类器融合，将决策表内容进行融合得到最终人体疲劳检测结果。
8.如权利要求7所述的基于多维身体状态感知的疲劳检测系统，其特征在于，所述面部疲劳检测模块对红外图像进行灰度化以及二值化处理，将被测人员从图像背景中进行提取，采用Adaboost算法在互不重叠的训练集上进行训练得到多个较弱的分类器，将训练得到的多个弱分类器进行联合得到强分类器，从而对测试者眼睛和嘴巴进行定位，采用Retinex算法对定位区域图像进行增强并提取特征点，利用所得到的特征点信息量化眼睛和嘴的状态数据。
9.如权利要求8所述的基于多维身体状态感知的疲劳检测系统，其特征在于，所述面部疲劳检测模块依据PERCLOS规则对眼睛特征数据的疲劳状态进行量化；依据PMOT准则对嘴巴特征数据的嘴巴闭合度进行量化。
10.如权利要求9所述的基于多维身体状态感知的疲劳检测系统，其特征在于，所述面部疲劳检测模块设定眼睛高度值和眼睛宽度值，并基于眼睛高度值和眼睛宽度值进行眼睛闭合度计算，并基于眼睛闭合度匹配当前眼睛的疲劳程度值。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111043068.4A CN113780150A (zh) | 2021-09-07 | 2021-09-07 | 一种基于多维身体状态感知的疲劳检测方法及系统 |
| PCT/CN2022/115881 WO2023036015A1 (zh) | 2021-09-07 | 2022-08-30 | 一种基于多维身体状态感知的疲劳检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111043068.4A CN113780150A (zh) | 2021-09-07 | 2021-09-07 | 一种基于多维身体状态感知的疲劳检测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113780150A true CN113780150A (zh) | 2021-12-10 |
Family
ID=78841403
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111043068.4A Pending CN113780150A (zh) | 2021-09-07 | 2021-09-07 | 一种基于多维身体状态感知的疲劳检测方法及系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113780150A (zh) |
| WO (1) | WO2023036015A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114010170A (zh) * | 2021-12-24 | 2022-02-08 | 厦门理工学院 | 一种基于标识显示的智能监测提醒方法及装置 |
| CN115067945A (zh) * | 2022-08-22 | 2022-09-20 | 深圳市海清视讯科技有限公司 | 疲劳检测方法、装置、设备及存储介质 |
| WO2023036015A1 (zh) * | 2021-09-07 | 2023-03-16 | 广西电网有限责任公司贺州供电局 | 一种基于多维身体状态感知的疲劳检测方法及系统 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117079255B (zh) * | 2023-10-17 | 2024-01-05 | 江西开放大学 | 一种基于人脸识别和语音交互的疲劳驾驶检测方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104881956A (zh) * | 2015-06-17 | 2015-09-02 | 上海大学 | 一种疲劳驾驶预警系统 |
| CN105899129A (zh) * | 2013-10-09 | 2016-08-24 | 瑞思迈传感器技术有限公司 | 疲劳监测和管理系统 |
| CN107292251A (zh) * | 2017-06-09 | 2017-10-24 | 湖北天业云商网络科技有限公司 | 一种基于人眼状态的驾驶员疲劳检测方法及系统 |
| CN110859609A (zh) * | 2019-11-26 | 2020-03-06 | 郑州迈拓信息技术有限公司 | 基于语音分析的多特征融合疲劳驾驶检测方法 |
| CN110992985A (zh) * | 2019-12-02 | 2020-04-10 | 中国科学院声学研究所东海研究站 | 识别跑步机异音的识别模型确定方法、识别方法、系统 |
| CN111310683A (zh) * | 2020-02-24 | 2020-06-19 | 合肥工业大学 | 一种基于驾驶员疲劳检测的人机协同控制方法及系统 |
| CN113327404A (zh) * | 2021-05-13 | 2021-08-31 | 安徽中科昊音智能科技有限公司 | 空中交通管制员岗位疲劳状态监测告警系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6070098A (en) * | 1997-01-11 | 2000-05-30 | Circadian Technologies, Inc. | Method of and apparatus for evaluation and mitigation of microsleep events |
| CN107633657A (zh) * | 2016-07-18 | 2018-01-26 | 中兴通讯股份有限公司 | 一种疲劳驾驶的提醒方法及终端 |
| CN113780150A (zh) * | 2021-09-07 | 2021-12-10 | 广西电网有限责任公司贺州供电局 | 一种基于多维身体状态感知的疲劳检测方法及系统 |
-
2021
- 2021-09-07 CN CN202111043068.4A patent/CN113780150A/zh active Pending
-
2022
- 2022-08-30 WO PCT/CN2022/115881 patent/WO2023036015A1/zh unknown
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105899129A (zh) * | 2013-10-09 | 2016-08-24 | 瑞思迈传感器技术有限公司 | 疲劳监测和管理系统 |
| CN104881956A (zh) * | 2015-06-17 | 2015-09-02 | 上海大学 | 一种疲劳驾驶预警系统 |
| CN107292251A (zh) * | 2017-06-09 | 2017-10-24 | 湖北天业云商网络科技有限公司 | 一种基于人眼状态的驾驶员疲劳检测方法及系统 |
| CN110859609A (zh) * | 2019-11-26 | 2020-03-06 | 郑州迈拓信息技术有限公司 | 基于语音分析的多特征融合疲劳驾驶检测方法 |
| CN110992985A (zh) * | 2019-12-02 | 2020-04-10 | 中国科学院声学研究所东海研究站 | 识别跑步机异音的识别模型确定方法、识别方法、系统 |
| CN111310683A (zh) * | 2020-02-24 | 2020-06-19 | 合肥工业大学 | 一种基于驾驶员疲劳检测的人机协同控制方法及系统 |
| CN113327404A (zh) * | 2021-05-13 | 2021-08-31 | 安徽中科昊音智能科技有限公司 | 空中交通管制员岗位疲劳状态监测告警系统 |
Non-Patent Citations (4)
| Title |
|---|
| 张博: ""基于面部特征点适用多对象的换流站运行人员疲劳检测系统设计"", 《人工智能与传感技术》, no. 4, pages 38 - 40 * |
| 李响: ""铁路机车司机驾驶疲劳评测方法与在线检测技术的研究"", 《中国博士学位论文全文数据库工程科技Ⅱ辑》, pages 87 - 184 * |
| 李响等: ""基于语音特征迁移学习的驾驶疲劳检测"", 《铁道学报》, 30 April 2020 (2020-04-30), pages 74 - 81 * |
| 李响等: ""基于语音频谱图像特征的人体疲劳检测方法"", 《仪器仪表学报》, vol. 42, no. 2, pages 123 - 132 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023036015A1 (zh) * | 2021-09-07 | 2023-03-16 | 广西电网有限责任公司贺州供电局 | 一种基于多维身体状态感知的疲劳检测方法及系统 |
| CN114010170A (zh) * | 2021-12-24 | 2022-02-08 | 厦门理工学院 | 一种基于标识显示的智能监测提醒方法及装置 |
| CN114010170B (zh) * | 2021-12-24 | 2023-05-05 | 厦门理工学院 | 一种基于标识显示的智能监测提醒方法及装置 |
| CN115067945A (zh) * | 2022-08-22 | 2022-09-20 | 深圳市海清视讯科技有限公司 | 疲劳检测方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023036015A1 (zh) | 2023-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113780150A (zh) | 一种基于多维身体状态感知的疲劳检测方法及系统 | |
| Hoppe et al. | Eye movements during everyday behavior predict personality traits | |
| CN106725532B (zh) | 基于语音特征与机器学习的抑郁症自动评估系统和方法 | |
| KR101689021B1 (ko) | 센싱장비를 이용한 심리상태 판단 시스템 및 그 방법 | |
| KR100750662B1 (ko) | 심전도를 이용한 생체인식 시스템 및 방법 | |
| CN111597877A (zh) | 一种基于无线信号的跌倒检测方法 | |
| CN110598608B (zh) | 非接触式与接触式协同的心理生理状态智能监测系统 | |
| Li et al. | Single trial independent component analysis for P300 BCI system | |
| CN108256579A (zh) | 一种基于先验知识的多模态民族认同感量化测量方法 | |
| CN107273841A (zh) | 一种基于emd及高斯核函数svm的脑电情感分类方法 | |
| CN110289097A (zh) | 一种基于Xgboost神经网络堆叠模型的模式识别诊断系统 | |
| CN111666845A (zh) | 基于关键帧采样的小样本深度学习多模态手语识别方法 | |
| CN114565957A (zh) | 基于微表情识别的意识评估方法及系统 | |
| Guarin et al. | Video-based facial movement analysis in the assessment of bulbar amyotrophic lateral sclerosis: clinical validation | |
| Moreno-Rodriguez et al. | BIOMEX-DB: A cognitive audiovisual dataset for unimodal and multimodal biometric systems | |
| CN110598607B (zh) | 非接触式与接触式协同的实时情绪智能监测系统 | |
| Bhatia et al. | A multimodal system to characterise melancholia: cascaded bag of words approach | |
| Gruebler et al. | A wearable interface for reading facial expressions based on bioelectrical signals | |
| CN113057654B (zh) | 基于频率耦合神经网络模型的记忆负荷检测提取系统及方法 | |
| Algaraawi et al. | Study on aging effect on facial expression recognition | |
| CN115396769A (zh) | 无线耳机及其音量调节方法 | |
| Li et al. | P300 based single trial independent component analysis on EEG signal | |
| Giovanini et al. | Discriminating postural control behaviors from posturography with statistical tests and machine learning models: Does time series length matter? | |
| Kim et al. | A study on user recognition using 2D ECG image based on ensemble networks for intelligent vehicles | |
| CN114983434A (zh) | 一种基于多模态脑功能信号识别的系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |