CN116844080A - 疲劳程度多模态融合检测方法、电子设备及存储介质 - Google Patents
疲劳程度多模态融合检测方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116844080A CN116844080A CN202310657938.XA CN202310657938A CN116844080A CN 116844080 A CN116844080 A CN 116844080A CN 202310657938 A CN202310657938 A CN 202310657938A CN 116844080 A CN116844080 A CN 116844080A
- Authority
- CN
- China
- Prior art keywords
- fatigue
- video
- acoustic
- model
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 43
- 238000001514 detection method Methods 0.000 title claims abstract description 35
- 238000011156 evaluation Methods 0.000 claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000012549 training Methods 0.000 claims abstract description 34
- 238000004364 calculation method Methods 0.000 claims abstract description 15
- 230000004044 response Effects 0.000 claims description 42
- 239000013598 vector Substances 0.000 claims description 36
- 210000003128 head Anatomy 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 20
- 230000004424 eye movement Effects 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 9
- 210000003205 muscle Anatomy 0.000 claims description 9
- 239000012634 fragment Substances 0.000 claims description 8
- 230000001364 causal effect Effects 0.000 claims description 7
- 230000035080 detection of muscle activity involved in regulation of muscle adaptation Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 230000008451 emotion Effects 0.000 claims description 6
- 210000004709 eyebrow Anatomy 0.000 claims description 6
- 230000004886 head movement Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 210000000744 eyelid Anatomy 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000001228 spectrum Methods 0.000 claims description 4
- PMGQWSIVQFOFOQ-YKVZVUFRSA-N clemastine fumarate Chemical compound OC(=O)\C=C\C(O)=O.CN1CCC[C@@H]1CCO[C@@](C)(C=1C=CC(Cl)=CC=1)C1=CC=CC=C1 PMGQWSIVQFOFOQ-YKVZVUFRSA-N 0.000 claims description 3
- 210000000887 face Anatomy 0.000 claims description 3
- 238000010238 partial least squares regression Methods 0.000 claims description 3
- 238000000513 principal component analysis Methods 0.000 claims description 3
- 238000000611 regression analysis Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 230000001960 triggered effect Effects 0.000 claims description 3
- 206010016256 fatigue Diseases 0.000 description 120
- 238000010586 diagram Methods 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000029058 respiratory gaseous exchange Effects 0.000 description 3
- 230000008602 contraction Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 238000012797 qualification Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000012300 Sequence Analysis Methods 0.000 description 1
- 230000036626 alertness Effects 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种疲劳程度多模态融合检测方法、电子设备及存储介质，其方法包括：S1、构建表情识别模型采集民航待测人员在应答测评量表时的视频数据集，通过声学采集模块采集民航待测人员在应答测评量表时的声学数据集；S2、疲劳程度识别模型包括视频疲劳识别模型、声学疲劳识别模型和量表评测计算模块并分别进行模型训练；S3、将视频数据集输入疲劳程度识别模型中得到疲劳状态分值结果B；将声学数据集输入声学疲劳识别模型中得到疲劳状态分值结果C；然后与中文语言预训练模型输出的疲劳状态分值结果A通过加权融合得到加权疲劳数据结果。本发明实现了疲劳评测视频、音频、文字三个维度的综合疲劳检测并加权融合，评测结果可靠。
Description
技术领域
本发明涉及民航工作人员疲劳状态检测领域，尤其涉及一种疲劳程度多模态融合检测方法、电子设备及存储介质。
背景技术
当前国内多家航空公司依据《CCAR-121-R7大型飞机公共航空运输承运人运行合格审定规则》和《AC-121-FS-014CCAR121部合格证持有人的疲劳管理要求》建立了疲劳风险管理要求，目前，对于民航工作人员疲劳风险管理国际上比较认可的科学分析方法是生物数学模型，基于不同的疲劳理论模型，预测人体疲劳即警觉性的变化趋势，提供了预测运行中飞行员个体潜在疲劳风险可能。
中国专利(申请号202210695576.9)公开了一种基于rPPG的非接触式疲劳检测系统及方法本发明提供一种基于rPPG的非接触式疲劳检测系统及方法，该系统及方法采用多线程同步通讯，针对实时检测需求，基于python threading多线程模块，实现rPPG信号的实时采集与处理以及疲劳状态的同步检测。其中，第一个线程，实现rPPG数据的实时捕获、保存与拼接；第二个线程，实现rPPG数据的实时分析与疲劳检测。在皮肤检测和LUV颜色空间转换结合的基础上，实现rPPG原始信号提取，消除人脸内外环境噪声的干扰；其次，通过自适应多级滤波提高信噪比，通过多维度融合CNN模型实现呼吸和心率的高精度检测；最后，在呼吸和心率多通道数据融合的基础上，实现高精度的疲劳分类。但该专利技术需要额外硬件实现呼吸和心率的检测，使用较为复杂；生理信号检测受限于检测设备的灵敏度、佩戴是否规范、环境干扰等情况，易产生较大误差、无效信号甚至信号中断。
国内航空公司的飞行员一般是飞四休二，在飞行后的两天休息日获得充分的生理和心理的恢复，可以利用休息期的睡眠情况获得相位峰值。目前，对于民航工作人员疲劳程度的评测主要依赖测试量表填写、人工观察评估，现有技术缺少对于民航工作人员疲劳程度的评测技术手段，不利于民航工作人员的疲劳检测及管理。
发明内容
本发明的目的在于解决背景技术所指出的技术问题，提供一种疲劳程度多模态融合检测方法、电子设备及存储介质，在待测工作人员应答测评时采集视频、音频数据及获取应答量表，通过构建的视频疲劳识别模型、声学疲劳识别模型和量表评测计算模块分别从三个方面分别进行视频疲劳评测、音频疲劳评测、文本疲劳评测，实现了疲劳评测视频、音频、文字三个维度的综合疲劳检测并加权融合，得到的疲劳状态分值结果与真实情况符合度高。
本发明的目的通过下述技术方案实现：
一种疲劳程度多模态融合检测方法，其方法包括：
S1、构建表情识别模型采集民航待测人员在应答测评量表时的视频数据集，应答测评量表包括若干个应答项目，视频数据集按照应答项目分段存储；通过声学采集模块采集民航待测人员在应答测评量表时的声学数据集，应答测评量表包括若干个应答项目，声学数据集按照应答项目分段存储；
S2、构建疲劳程度识别模型，疲劳程度识别模型包括视频疲劳识别模型、声学疲劳识别模型和量表评测计算模块；
S21、对视频疲劳识别模型进行如下模型训练：
S211、构建视频数据样本集，对视频数据样本集基于应答项目分段按时序稀疏采样得到视频帧样本集其中I表示视频帧I，q表示应答项目，K表示疲劳类型及分值的标签，P为应答项目所对应的视频帧数量；
S212、利用特征提取器对视频帧样本集中的视频帧I用描述人脸不同部位肌肉运动情况的特征集进行特征提取，特征集包括肌肉运动特征集、头部运动特征集、眼睛运动特征集；
S213、利用LSTM模型基于神经网络节点按照应答项目分段进行视频帧的特征时序统计得到特征其中t表示时间序列数据，j表示视频索引，i表示项目索引；/>通过神经网络节点Aj，i产生/>信息并信息传递、Sigmoid函数、tanh函数处理构建出特征时序数据；
S214、视频疲劳识别模型通过双层LSTM获得2048维表示，通过concat函数将疲劳类型与视频帧连接形成4096维向量，并经过全连接层输出三维表示；
S22、对声学疲劳识别模型进行如下模型训练：
S221、构建基于应答项目分段的声学数据样本集，声学数据样本集的声学音频片段样本按照应答项目、融合特征、疲劳分值标签对应存储；声学音频片段样本的融合特征由声学特征、频谱特征融合组成，声学特征为具有生理学意义的声学特性，频谱特征为梅尔倒谱系数特征；
S222、将融合特征作为特征向量并进行归一化处理，利用声学数据样本集进行排序并利用主成分分析、偏最小二乘回归分析计算得到特征向量与疲劳分值标签的相关性；
S23、量表评测计算模块方法如下：构建包含情绪关键词对应疲劳分值、语句层对应疲劳分值、因果关系层对应疲劳分值的文本数据样本集，在应答测评量表从视频数据集提取文字数据构成量表，基于中文语言预训练模型从量表中提取词向量并利用文本数据样本集输出疲劳状态分值结果A，疲劳状态分值结果A包括疲劳类型及分值；
S3、将视频数据集输入疲劳程度识别模型中得到疲劳状态分值结果B；将声学数据集输入声学疲劳识别模型中得到疲劳状态分值结果C；按照如下公式得到加权疲劳数据结果：
S＝wgSg，其中wg表示疲劳状态分值结果为视频或声学或量表的权重，Sg表示疲劳状态分值结果为视频或声学或量表所对应的疲劳状态分值结果。
优选地，步骤S21替换为如下方法：
B21、构建视频数据样本集，对视频数据样本集基于应答项目分段进行视频剪辑得到剪辑片段并赋予疲劳类型及分值的标签，每个应答项目分段对应U个剪辑片段，提取每个剪辑片段V个128维特征向量；采用冗余感知自注意力模块进行特征向量权重分析，冗余感知自注意力模块内部具有高斯核函数计算模块并进行特征向量处理构建空间维度关系，并得到特征图数据；通过视频疲劳识别模型训练特征图数据与疲劳类型及分值标签。
优选地，表情识别模型采集民航待测人员的视频时构建有人脸检测获取框进行人脸对齐及配准，若民航待测人员所采集视频未在人脸检测获取框中，则触发警示并重新采集。
优选地，所述特征提取器包括神经网络ResNet，神经网络ResNet对视频帧样本集中的视频帧I进行特征项的计算与提取，将特征项汇集于特征集中；肌肉运动特征集包括内部眉毛抬起、抬起上眼皮、上扬嘴角；头部运动特征集包括头部向左转、头部向右转、头部向上抬、头部向下低、头部向左摇、头部向右右摇、头部向前移、头部向右移；眼睛运动特征集包括眼睛向左动、眼睛向右动、眼睛向上动、眼睛向下动。
优选地，步骤S214的损失函数为：
其中m表示疲劳类型的个数，n表示总个数，Tm表示疲劳类型k的预测值，yk表示疲劳类型k的原始标签。
为了更好地实现本发明，融合特征的归一化处理公式如下；
其中X是训练特征样本，αmax和αmin分别为最大和最小训练特征向量，/>为标准化的训练样本；
偏最小二乘回归分析采用偏最小二乘回归模型，利用偏最小二乘回归模型计算特征向量与疲劳分值标签之间的相关性；
S＝KGK+E
W＝UHK+F，其中S为一个由预测因子组成的a×b矩阵，w为一个由响应组成的a×g矩阵；K与U为两个n×1矩阵，G、H分别为b×1和g×1的正交矩阵；矩阵E和矩阵F是误差项；对S和W进行分解以使K和U的协方差达到最大。
优选地，中文语言预训练模型所提取的词向量为识别出意图及需求的关键信息并进行倾向分类与识别，词向量包括内容实体、语句层特征、因果关系向量。
一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如权利要求1-7任一所述的方法的步骤。
一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法的步骤。
本发明较现有技术相比，具有以下优点及有益效果：
本发明在待测工作人员应答测评时采集视频、音频数据及获取应答量表，通过构建的视频疲劳识别模型、声学疲劳识别模型和量表评测计算模块分别从三个方面分别进行视频疲劳评测、音频疲劳评测、文本疲劳评测，实现了疲劳评测视频、音频、文字三个维度的综合疲劳检测并加权融合，评测手段科学、全面，能得到与真实情况符合度高的疲劳状态分值结果。
附图说明
图1为本发明疲劳程度多模态融合检测方法的方法流程图；
图2为实施例中视频疲劳识别模型的训练过程示意图；
图3为实施例中视频疲劳识别模型视频帧样本集的流程示意图；
图4为实施例中LSTM模型内部机制示意图；
图5为实施例中声学疲劳识别模型的原理示意图；
图6为实施例的中文语言预训练模型的原理示意图；
图7为实施例中疲劳程度多模态融合检测系统的原理框图；
图8为实施例中采用冗余感知自注意力模块的注意力机制图；
图9为实施例中冗余感知自注意力模块的原理示意图；
图10为实施例中疲劳程度多模态融合检测系统的APP应用界面图。
具体实施方式
下面结合实施例对本发明作进一步地详细说明：
实施例
如图1～图9所示，一种疲劳程度多模态融合检测方法，其方法包括：
S1、构建表情识别模型采集民航待测人员在应答测评量表时的视频数据集，应答测评量表包括若干个应答项目，视频数据集按照应答项目分段存储。优选地，表情识别模型采集民航待测人员的视频时构建有人脸检测获取框进行人脸对齐及配准，若民航待测人员所采集视频未在人脸检测获取框中，则触发警示并重新采集。
通过声学采集模块采集民航待测人员在应答测评量表时的声学数据集，应答测评量表包括若干个应答项目，声学数据集按照应答项目分段存储。
S2、构建疲劳程度识别模型，疲劳程度识别模型包括视频疲劳识别模型、声学疲劳识别模型和量表评测计算模块；
S21、对视频疲劳识别模型进行如下模型训练：
S211、构建视频数据样本集(在一些实施例中，通过表情识别模型将获得的原始视频检测为表情视频片段供后续标注和识别使用形成视频数据样本；具体操作为，原始表情以帧为单位建立索引，为保证效率，我们的采样帧率设置为3-15帧/秒；每一帧图像都需要先检测并框定人脸位置，然后用预训练好的表情识别模型抽取视觉特征，用于后续的疲劳程度评估模型训练。表情识别模型采集视频数据样本时需注意：人脸检测获取分析区域；人脸对齐，获取配准的人脸；数据增强扩充数据及人脸图像归一化；基于注意力机制的视频情感分析深度学习框架)，对视频数据样本集基于应答项目分段按时序稀疏采样得到视频帧样本集其中I表示视频帧I，q表示应答项目，K表示疲劳类型及分值的标签，P为应答项目所对应的视频帧数量。本发明训练后的视频疲劳识别模型以受试者面部表情特征作为输入，输出其疲劳程度评估(疲劳状态分值结果)。基于面部表情的视频疲劳识别模型训练分为人脸检测、特征抽取、时序分析和输出预测，如图2所示。稀疏采样时，每个应答项目抽出10帧关键视频帧。
优选地，所述特征提取器包括神经网络ResNet，神经网络ResNet对视频帧样本集中的视频帧I进行特征项的计算与提取，将特征项汇集于特征集中；肌肉运动特征集包括内部眉毛抬起、抬起上眼皮、上扬嘴角等运动特征(优选地，本发明采用42种运动特征，42种运动特征例如：内部眉毛抢起、外部眉毛抬起、眉毛整体低业、抬起上眼皮、抬起脸频、眼睛收缩、收缩提起鼻了、抬起上嘴唇、加深中部鼻唇、上扬嘴角、拉动嘴角向上、嘴角向牙齿收缩、嘴角业直向下拉动、下嘴唇向下拉动、挤动下唇向上顶、向中间敏起嘴巴、嘴唇向后方拉扯、嘟起嘴唇成漏斗、收紧双唇成一字)。头部运动特征集包括头部向左转、头部向右转、头部向上抬、头部向下低、头部向左摇、头部向右右摇、头部向前移、头部向右移；眼睛运动特征集包括眼睛向左动、眼睛向右动、眼睛向上动、眼睛向下动。神经网络ResNet的模型架构及参数如下：
S212、利用特征提取器对视频帧样本集中的视频帧I用描述人脸不同部位肌肉运动情况的特征集进行特征提取，特征集包括肌肉运动特征集、头部运动特征集、眼睛运动特征集。
S213、利用LSTM模型基于神经网络节点按照应答项目分段进行视频帧的特征时序统计得到特征其中t表示时间序列数据，j表示视频索引，i表示项目索引；/>通过神经网络节点Aj，i产生/>信息并信息传递、Sigmoid函数、tanh函数处理构建出特征时序数据。如图4所示，本实施例示例一种LSTM模型的内部机制，通过遗忘门将一些信息丢弃，δj，i代表Sigmoid函数，方法公式如下：
δj，i表示Sigmoid函数，/>表示Sigmoid函数的参数。
再经过LSTM模型的输入门，利用Sigmoid函数决定信息是否更新，tanh函数处理产生向量，如图4所示，进行数据相加；
如图4所示，然后与相乘，丢弃掉需要丢弃的信息，然后将信息传递给下一个细胞，在下一个细胞信息首先经过δj，i处理，然后上一支信息经过tanh函数处理，再将两处信息相乘，依此来将视频的时序添加进去，公式如下：
S214、视频疲劳识别模型通过双层LSTM获得2048维表示，通过concat函数将疲劳类型与视频帧连接形成4096维向量，并经过全连接层输出三维表示。LSTM模型的双层LSTM损失函数为：
其中m表示疲劳类型的个数，n表示总个数，Tm表示疲劳类型k的预测值，yk表示疲劳类型k的原始标签。
收集的疲劳视频数据集，基于所有视频数据集融合来建立三分类诊断模型。
在一些实施例中，步骤S21替换为如下方法：
B21、构建视频数据样本集，对视频数据样本集基于应答项目分段进行视频剪辑得到剪辑片段并赋予疲劳类型及分值的标签，每个应答项目分段对应U个剪辑片段，提取每个剪辑片段V个128维特征向量。如图8、图9所示，采用冗余感知自注意力模块进行特征向量权重分析，冗余感知自注意力模块内部具有高斯核函数计算模块并进行特征向量处理构建空间维度关系，并得到特征图数据；通过视频疲劳识别模型训练特征图数据与疲劳类型及分值标签。
S22、对声学疲劳识别模型进行如下模型训练：
S221、如图5所示，构建基于应答项目分段的声学数据样本集(在一些实施例中，可以通过声学采集模块获得的人机对话数据提取音频数据片段供后续标注和识别使用；具体操作为，首先需要对其进行降噪处理，得到清晰人声；然后基于每一小段的问答对其进行疲劳分值标注；最后提取时域和频域的一系列声学特征(如Mel spectrogram、MFCC等)用于后续的疲劳程度评估。声学采集模块采集的声学数据样本集需要语音降噪、时频转换及频谱特征提取、基于RNN的语言模型、基于Lattice resource解码器得到最大概率词序列)，声学数据样本集的声学音频片段样本按照应答项目、融合特征、疲劳分值标签对应存储；声学音频片段样本的融合特征由声学特征、频谱特征融合组成，声学特征为具有生理学意义的声学特性，频谱特征为梅尔倒谱系数特征。其中融合特征包括如下表：
S222、将融合特征作为特征向量并进行归一化处理，利用声学数据样本集进行排序并利用主成分分析、偏最小二乘回归分析计算得到特征向量与疲劳分值标签的相关性。
在一些实施例中，融合特征的归一化处理公式如下；
其中X是训练特征样本，αmax和αmin分别为最大和最小训练特征向量，/>为标准化的训练样本；
偏最小二乘回归分析采用偏最小二乘回归模型，利用偏最小二乘回归模型计算特征向量与疲劳分值标签之问的相关性；
S＝KGK+E
W＝UHK+F，其中s为一个由预测因子组成的a×b矩阵，W为一个由响应组成的a×g矩阵；K与U为两个n×1矩阵，G、H分别为b×1和g×1的正交矩阵；矩阵E和矩阵F是误差项；对S和W进行分解以使K和U的协方差达到最大。
S23、量表评测计算模块方法如下：构建包含情绪关键词对应疲劳分值、语句层对应疲劳分值、因果关系层对应疲劳分值的文本数据样本集(将获得的人机对话数据提取文字部分供后续标注和识别使用；具体操作为，首先在中文语境下对文本进行分词处理，移除对语义无影响的停止词，然后基于每一小段的问答对其进行疲劳分值标注；最后引入中文语言预训练模型(如XLNet、bert等)提取词向量，用于后续的疲劳程度评估。通过中文分词、专名识别等关键技术，解析语句的结构关系，深入分析句法结构，能够准确的从用户输入内容中识别出意图及需求的关键信息，准确判断文字表达的情感倾向)，如图6所示，在应答测评量表从视频数据集提取文字数据构成量表，基于中文语言预训练模型从量表中提取词向量并利用文本数据样本集输出疲劳状态分值结果A，疲劳状态分值结果A包括疲劳类型及分值。优选地，中文语言预训练模型所提取的词向量为识别出意图及需求的关键信息并进行倾向分类与识别，词向量包括内容实体、语句层特征、因果关系向量(针对疲劳分析的命名实体识别、基于大规模预训练语言模型Bert的语句层特征提取、基于金字塔结构的因果关系抽取、倾向分类与识别)。
S3、将视频数据集输入疲劳程度识别模型中得到疲劳状态分值结果B；将声学数据集输入声学疲劳识别模型中得到疲劳状态分值结果C；按照如下公式得到加权疲劳数据结果：
S＝wgSg，其中wg表示疲劳状态分值结果为视频或声学或量表的权重(视频、声学、量表分别代表一种模态，共计三种模态，由于面部纹理、面部动作、音频和量表内容等多模态在一定程度上是互补自洽的，本发明采用了决策融合的方法来提高疲劳状态的判别性能。在预测阶段，每个模型生成一个分数矩阵，表示每个预测样本属于相关情绪的概率；根据每个模型的性能，给每个模型分配了适当权重。根据上面的公式融和每个模型的预测结果得到系统级疲劳状态分值结果)，Sg表示疲劳状态分值结果为视频或声学或量表(视频、声学、量表分别为三种模态)所对应的疲劳状态分值结果。
一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行本发明疲劳程度多模态融合检测方法的步骤。如图7所示，按照本发明疲劳程度多模态融合检测方法设计出的疲劳程度多模态融合检测系统，疲劳程度多模态融合检测系统可以推广至移动客户端(比如手机)，让民航工作人员在app上进行疲劳程度融合检测作业，疲劳程度多模态融合检测系统的app界面如图10所示。
一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本发明疲劳程度多模态融合检测方法的步骤。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种疲劳程度多模态融合检测方法，其特征在于：其方法包括：
S1、构建表情识别模型采集民航待测人员在应答测评量表时的视频数据集，应答测评量表包括若干个应答项目，视频数据集按照应答项目分段存储；通过声学采集模块采集民航待测人员在应答测评量表时的声学数据集，应答测评量表包括若干个应答项目，声学数据集按照应答项目分段存储；
S2、构建疲劳程度识别模型，疲劳程度识别模型包括视频疲劳识别模型、声学疲劳识别模型和量表评测计算模块；
S21、对视频疲劳识别模型进行如下模型训练：
S211、构建视频数据样本集，对视频数据样本集基于应答项目分段按时序稀疏采样得到视频帧样本集其中I表示视频帧I，q表示应答项目，K表示疲劳类型及分值的标签，P为应答项目所对应的视频帧数量；
S212、利用特征提取器对视频帧样本集中的视频帧I用描述人脸不同部位肌肉运动情况的特征集进行特征提取，特征集包括肌肉运动特征集、头部运动特征集、眼睛运动特征集；
S213、利用LSTM模型基于神经网络节点按照应答项目分段进行视频帧的特征时序统计得到特征其中t表示时间序列数据，j表示视频索引，i表示项目索引；/>通过神经网络节点Aj，i产生/>信息并信息传递、Sigmoid函数、tanh函数处理构建出特征时序数据；
S214、视频疲劳识别模型通过双层LSTM获得2048维表示，通过concat函数将疲劳类型与视频帧连接形成4096维向量，并经过全连接层输出三维表示；
S22、对声学疲劳识别模型进行如下模型训练：
S221、构建基于应答项目分段的声学数据样本集，声学数据样本集的声学音频片段样本按照应答项目、融合特征、疲劳分值标签对应存储；声学音频片段样本的融合特征由声学特征、频谱特征融合组成，声学特征为具有生理学意义的声学特性，频谱特征为梅尔倒谱系数特征；
S222、将融合特征作为特征向量并进行归一化处理，利用声学数据样本集进行排序并利用主成分分析、偏最小二乘回归分析计算得到特征向量与疲劳分值标签的相关性；
S23、量表评测计算模块方法如下：构建包含情绪关键词对应疲劳分值、语句层对应疲劳分值、因果关系层对应疲劳分值的文本数据样本集，在应答测评量表从视频数据集提取文字数据构成量表，基于中文语言预训练模型从最表中提取词向量并利用文本数据样本集输出疲劳状态分值结果A，疲劳状态分值结果A包括疲劳类型及分值；
S3、将视频数据集输入疲劳程度识别模型中得到疲劳状态分值结果B；将声学数据集输入声学疲劳识别模型中得到疲劳状态分值结果C；按照如下公式得到加权疲劳数据结果：
S＝wgSg，其中wg表示疲劳状态分值结果为视频或声学或量表的权重，Sg表示疲劳状态分值结果为视频或声学或量表所对应的疲劳状态分值结果。
2.按照权利要求1所述的疲劳程度多模态融合检测方法，其特征在于：步骤S21替换为如下方法：
B21、构建视频数据样本集，对视频数据样本集基于应答项目分段进行视频剪辑得到剪辑片段并赋予疲劳类型及分值的标签，每个应答项目分段对应U个剪辑片段，提取每个剪辑片段V个128维特征向最；采用冗余感知自注意力模块进行特征向量权重分析，冗余感知自注意力模块内部具有高斯核函数计算模块并进行特征向量处理构建空间维度关系，并得到特征图数据；通过视频疲劳识别模型训练特征图数据与疲劳类型及分值标签。
3.按照权利要求1所述的疲劳程度多模态融合检测方法，其特征在于：表情识别模型采集民航待测人员的视频时构建有人脸检测获取框进行人脸对齐及配准，若民航待测人员所采集视频未在人脸检测获取框中，则触发警示并重新采集。
4.按照权利要求1所述的疲劳程度多模态融合检测方法，其特征在于：所述特征提取器包括神经网络ResNet，神经网络ResNet对视频帧样本集中的视频帧I进行特征项的计算与提取，将特征项汇集于特征集中；肌肉运动特征集包括内部眉毛抬起、抬起上眼皮、上扬嘴角；头部运动特征集包括头部向左转、头部向右转、头部向上抬、头部向下低、头部向左摇、头部向右右摇、头部向前移、头部向右移；眼睛运动特征集包括眼睛向左动、眼睛向右动、眼睛向上动、眼睛向下动。
5.按照权利要求1所述的疲劳程度多模态融合检测方法，其特征在于二：步骤S214的损失函数为：
其中m表示疲劳类型的个数，n表示总个数，Tm表示疲劳类型k的预测值，yk表示疲劳类型k的原始标签。
6.按照权利要求1所述的疲劳程度多模态融合检测方法，其特征在于：融合特征的归一化处理公式如下；
其中X是训练特征样本，αmax和αmin分别为最大和最小训练特征向量，为标准化的训练样本；
偏最小二乘回归分析采用偏最小二乘回归模型，利用偏最小二乘回归模型计算特征向量与疲劳分值标签之间的相关性；
S＝KGK+E
W＝UHK+F，其中s为一个由预测因子组成的a×b矩阵，W为一个由响应组成的a×g矩阵；K与U为两个n×1矩阵，G、H分别为b×1和g×1的正交矩阵；矩阵E和矩阵F是误差项；对S和W进行分解以使K和U的协方差达到最大。
7.按照权利要求1所述的疲劳程度多模态融合检测方法，其特征在于：中文语言预训练模型所提取的词向量为识别出意图及需求的关键信息并进行倾向分类与识别，词向量包括内容实体、语句层特征、因果关系向量。
8.一种电子设备，其特征在于：包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如权利要求1-7任一所述的方法的步骤。
9.一种存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310657938.XA CN116844080B (zh) | 2023-06-05 | 2023-06-05 | 疲劳程度多模态融合检测方法、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310657938.XA CN116844080B (zh) | 2023-06-05 | 2023-06-05 | 疲劳程度多模态融合检测方法、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116844080A true CN116844080A (zh) | 2023-10-03 |
| CN116844080B CN116844080B (zh) | 2024-06-18 |
Family
ID=88160773
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310657938.XA Active CN116844080B (zh) | 2023-06-05 | 2023-06-05 | 疲劳程度多模态融合检测方法、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116844080B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117079255A (zh) * | 2023-10-17 | 2023-11-17 | 江西开放大学 | 一种基于人脸识别和语音交互的疲劳驾驶检测方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108464839A (zh) * | 2018-03-22 | 2018-08-31 | 东华大学 | 一种基于机器学习的车载疲劳驾驶监测预警系统 |
| US20180308487A1 (en) * | 2017-04-21 | 2018-10-25 | Go-Vivace Inc. | Dialogue System Incorporating Unique Speech to Text Conversion Method for Meaningful Dialogue Response |
| CN109620269A (zh) * | 2019-01-28 | 2019-04-16 | 深圳市赛梅斯凯科技有限公司 | 疲劳检测方法、装置、设备及可读存储介质 |
| CN114155512A (zh) * | 2021-12-07 | 2022-03-08 | 南京理工大学 | 一种基于3d卷积网络多特征融合的疲劳检测方法及系统 |
| CN115331204A (zh) * | 2021-05-11 | 2022-11-11 | 上海擎感智能科技有限公司 | 疲劳驾驶识别方法、系统、电子设备及存储介质 |
-
2023
- 2023-06-05 CN CN202310657938.XA patent/CN116844080B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180308487A1 (en) * | 2017-04-21 | 2018-10-25 | Go-Vivace Inc. | Dialogue System Incorporating Unique Speech to Text Conversion Method for Meaningful Dialogue Response |
| CN108464839A (zh) * | 2018-03-22 | 2018-08-31 | 东华大学 | 一种基于机器学习的车载疲劳驾驶监测预警系统 |
| CN109620269A (zh) * | 2019-01-28 | 2019-04-16 | 深圳市赛梅斯凯科技有限公司 | 疲劳检测方法、装置、设备及可读存储介质 |
| CN115331204A (zh) * | 2021-05-11 | 2022-11-11 | 上海擎感智能科技有限公司 | 疲劳驾驶识别方法、系统、电子设备及存储介质 |
| CN114155512A (zh) * | 2021-12-07 | 2022-03-08 | 南京理工大学 | 一种基于3d卷积网络多特征融合的疲劳检测方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 冯文文等: "基于改进的深度卷积神经网络的人脸疲劳检测", 科学技术与工程, no. 14, 18 May 2020 (2020-05-18) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117079255A (zh) * | 2023-10-17 | 2023-11-17 | 江西开放大学 | 一种基于人脸识别和语音交互的疲劳驾驶检测方法 |
| CN117079255B (zh) * | 2023-10-17 | 2024-01-05 | 江西开放大学 | 一种基于人脸识别和语音交互的疲劳驾驶检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116844080B (zh) | 2024-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110728997B (zh) | 一种基于情景感知的多模态抑郁症检测系统 | |
| CN112766173B (zh) | 一种基于ai深度学习的多模态情感分析方法及其系统 | |
| CN111461176A (zh) | 基于归一化互信息的多模态融合方法、装置、介质及设备 | |
| CN113822192A (zh) | 一种基于Transformer的多模态特征融合的在押人员情感识别方法、设备及介质 | |
| CN111524578B (zh) | 一种基于电子心理沙盘的心理评估装置、方法及系统 | |
| CN116844080B (zh) | 疲劳程度多模态融合检测方法、电子设备及存储介质 | |
| CN112768070A (zh) | 一种基于对话交流的精神健康评测方法和系统 | |
| CN112329438A (zh) | 基于域对抗训练的自动谎言检测方法及系统 | |
| CN117198468B (zh) | 基于行为识别和数据分析的干预方案智慧化管理系统 | |
| US20240062582A1 (en) | Method and Device for Dynamic Recognition of Emotion Based on Facial Muscle Movement Monitoring | |
| CN111145903A (zh) | 获取眩晕症问诊文本的方法、装置、电子设备及问诊系统 | |
| CN114724224A (zh) | 一种用于医疗护理机器人的多模态情感识别方法 | |
| CN112380924A (zh) | 一种基于面部微表情动态识别的抑郁倾向检测方法 | |
| CN113658690A (zh) | 一种智能导医方法、装置、存储介质以及电子设备 | |
| CN117765981A (zh) | 一种基于语音文本跨模态融合的情感识别方法及系统 | |
| CN113380418A (zh) | 一种通过对话文本分析识别抑郁症的系统 | |
| Surekha et al. | Hand Gesture Recognition and voice, text conversion using | |
| CN116824439B (zh) | 结合视频与量表的疲劳检测方法、电子设备及存储介质 | |
| Ding et al. | Automatic recognition of student emotions based on deep neural network and its application in depression detection | |
| CN116959061B (zh) | 基于视频处理疲劳检测方法、电子设备及存储介质 | |
| CN112287665A (zh) | 基于自然语言处理和集成训练的慢病数据分析方法及系统 | |
| CN118452844B (zh) | 基于多任务学习的认知-脑龄预测模型构建及预测方法 | |
| CN115429272B (zh) | 基于多模态生理信号的心理健康状态评估方法及系统 | |
| CN116894978B (zh) | 一种融合面部情绪与行为多特征的线上考试防作弊系统 | |
| Saeed et al. | Hand Gesture Recognition System for Arabic letters and numbers Using Deep Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |