CN117883082A - 一种异常情绪识别方法、系统、设备及介质 - Google Patents
一种异常情绪识别方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN117883082A CN117883082A CN202311666343.7A CN202311666343A CN117883082A CN 117883082 A CN117883082 A CN 117883082A CN 202311666343 A CN202311666343 A CN 202311666343A CN 117883082 A CN117883082 A CN 117883082A
- Authority
- CN
- China
- Prior art keywords
- target
- emotion
- layer
- neural network
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 72
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000006397 emotional response Effects 0.000 claims abstract description 106
- 230000008451 emotion Effects 0.000 claims abstract description 100
- 238000013528 artificial neural network Methods 0.000 claims abstract description 59
- 210000004556 brain Anatomy 0.000 claims abstract description 36
- 238000011156 evaluation Methods 0.000 claims abstract description 33
- 230000008859 change Effects 0.000 claims abstract description 31
- 108010064719 Oxyhemoglobins Proteins 0.000 claims abstract description 29
- 238000001228 spectrum Methods 0.000 claims abstract description 19
- 239000011159 matrix material Substances 0.000 claims description 90
- 230000006870 function Effects 0.000 claims description 50
- 238000013527 convolutional neural network Methods 0.000 claims description 27
- 238000012549 training Methods 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 17
- 230000007246 mechanism Effects 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 15
- 238000003062 neural network model Methods 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 13
- 230000002996 emotional effect Effects 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 9
- 238000000547 structure data Methods 0.000 claims description 9
- 108010054147 Hemoglobins Proteins 0.000 claims description 8
- 102000001554 Hemoglobins Human genes 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 8
- 230000001939 inductive effect Effects 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 7
- 239000000463 material Substances 0.000 claims description 6
- 210000001595 mastoid Anatomy 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000003213 activating effect Effects 0.000 claims description 3
- 239000000654 additive Substances 0.000 claims description 2
- 230000000996 additive effect Effects 0.000 claims description 2
- 230000010365 information processing Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 9
- 238000010276 construction Methods 0.000 description 7
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 5
- 239000008280 blood Substances 0.000 description 5
- 210000004369 blood Anatomy 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000005611 electricity Effects 0.000 description 5
- 229910052760 oxygen Inorganic materials 0.000 description 5
- 239000001301 oxygen Substances 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 5
- 208000019901 Anxiety disease Diseases 0.000 description 4
- 230000036506 anxiety Effects 0.000 description 4
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 230000006698 induction Effects 0.000 description 4
- 210000003710 cerebral cortex Anatomy 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- INGWEZCOABYORO-UHFFFAOYSA-N 2-(furan-2-yl)-7-methyl-1h-1,8-naphthyridin-4-one Chemical compound N=1C2=NC(C)=CC=C2C(O)=CC=1C1=CC=CO1 INGWEZCOABYORO-UHFFFAOYSA-N 0.000 description 2
- 108010002255 deoxyhemoglobin Proteins 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000004497 NIR spectroscopy Methods 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 230000001054 cortical effect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000012880 independent component analysis Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000003183 myoelectrical effect Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 230000003997 social interaction Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
- A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
- A61B5/14553—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases specially adapted for cerebral tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/377—Electroencephalography [EEG] using evoked responses
- A61B5/378—Visual stimuli
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Psychiatry (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Physiology (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Psychology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Mathematical Physics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Fuzzy Systems (AREA)
- Neurology (AREA)
- Power Engineering (AREA)
- Optics & Photonics (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Social Psychology (AREA)
Abstract
本发明公开了一种异常情绪识别方法、系统、设备及介质，涉及生物医学信息处理领域，该方法包括：将目标脑电信号划分为不同频段的频段信号；根据目标功能近红外信号计算氧合血红蛋白浓度变化；分别提取目标频段信号和目标氧合血红蛋白浓度变化的时域Hjorth参数特征、功率谱密度和微分熵特征；将提取的特征输入情绪识别模型，得到目标使用者观看目标视频时的情绪响应类型；情绪识别模型是基于自注意力卷积神经网络和全局注意力图神经网络构建的；将情绪响应类型与目标视频的情绪类型进行比较，确定异常情绪状态评价指标，从而确定目标使用者观看目标视频时大脑的情绪响应状态是否正常。本发明能提高异常情绪识别的准确性。
Description
技术领域
本发明涉及生物医学信息处理领域，特别是涉及一种异常情绪识别方法、系统、设备及介质。
背景技术
随着社会生活节奏加快，工作、学习压力过大导致不同年龄段人群的负性情绪频发，正常情况下，通过一定的调节方式或随着时间流逝，负性情绪会逐渐缓解，但已有研究表明，长期的异常负性情绪易导致焦虑、抑郁等疾病的发生，甚至影响到正常的上班、上学及社会交往，如何对异常负性情绪进行早期识别及预警显得尤为重要。
当前基于语音、表情等对情绪变化进行监测的方法，往往不能得到准确客观的监测结果。
发明内容
基于此，本发明实施例提供一种异常情绪识别方法、系统、设备及介质，以提高异常情绪识别的准确性。
为实现上述目的，本发明实施例提供了如下方案：
一种异常情绪识别方法，包括：
获取目标脑电信号和目标功能近红外信号；所述目标脑电信号为目标使用者观看目标视频时的脑电信号；所述目标功能近红外信号为目标使用者观看目标视频时的功能近红外信号；所述目标视频包括多段诱发不同情绪类型的视频段；
将所述目标脑电信号划分为不同频段的频段信号，得到目标频段信号；
根据所述目标功能近红外信号计算氧合血红蛋白浓度变化，得到目标氧合血红蛋白浓度变化；
提取所述目标频段信号的时域Hjorth参数特征、功率谱密度和微分熵特征，得到第一目标特征；
提取所述目标氧合血红蛋白浓度变化的时域Hjorth参数特征、功率谱密度和微分熵特征，得到第二目标特征；
将所述第一目标特征和所述第二目标特征输入情绪识别模型，得到目标使用者观看目标视频时的情绪响应类型；其中，所述情绪识别模型是基于自注意力卷积神经网络和全局注意力图神经网络构建的；
将所述情绪响应类型与所述目标视频的情绪类型进行比较，确定异常情绪状态评价指标；所述异常情绪状态评价指标包括：情绪响应准确率、情绪响应负性率和情绪响应正性率；
根据所述异常情绪状态评价指标确定目标使用者观看目标视频时大脑的情绪响应状态是否正常。
可选地，所述情绪识别模型的确定方法，具体包括：
获取训练数据；所述训练数据包括：脑电信号样本、功能近红外信号样本和对应的情绪类型标签；所述脑电信号样本包括：不同的健康使用者观看不同类情绪诱发视频材料时的脑电信号；所述功能近红外信号样本包括：使用者观看不同类情绪诱发视频材料时的功能近红外信号；
将所述脑电信号样本划分为不同频段的频段信号，得到频段信号样本；
根据所述功能近红外信号样本计算氧合血红蛋白浓度变化，得到氧合血红蛋白浓度变化样本；
提取所述频段信号样本的时域Hjorth参数特征、功率谱密度和微分熵特征，得到第一样本特征；
提取所述氧合血红蛋白浓度变化样本的时域Hjorth参数特征、功率谱密度和微分熵特征，得到第二样本特征；
根据所述第一样本特征、所述第一样本特征和对应的情绪类型标签构建训练集；
构建神经网络模型；所述神经网络模型包括：自注意力卷积神经网络、全局注意力图神经网络和融合模块；所述自注意力卷积神经网络和所述全局注意力图神经网络的输出端均与所述融合模块连接；
将所述训练集分别作为所述自注意力卷积神经网络和所述全局注意力图神经网络的输入，采用反向传播算法，基于交叉熵损失函数对所述神经网络模型进行训练，得到训练好的神经网络模型；其中，所述自注意力卷积神经网络用于输出局部特征；所述全局注意力图神经网络用于输出全局特征；所述融合模块用于将所述局部特征和所述全局特征融合，输出预测的情绪响应类型；
将训练好的神经网络模型确定为所述情绪识别模型。
可选地，所述自注意力卷积神经网络包括：依次连接的矩阵映射层、第一拼接层、自注意力机制层、第一相加层、Reshape变换层、Padding层、卷积层和卷积模块；所述第一相加层的输入与所述自注意力机制层的输入跳跃连接；
所述矩阵映射层用于将所述第一样本特征按照通道位置映射到二维矩阵中得到第一矩阵，将所述第二样本特征按照通道位置映射到二维矩阵中得到第二矩阵；
所述第一拼接层用于将所述第一矩阵和所述第二矩阵进行逐行拼接，得到二维特征矩阵；
所述自注意力机制层用于采用自注意力机制对所述二维特征矩阵进行处理；
所述第一相加层用于将所述二维特征矩阵和所述自注意力机制层的输出进行相加，得到相加后的特征矩阵；
所述Reshape变换层用于对相加后的特征矩阵的尺寸进行调整，得到调整后的特征矩阵；
所述Padding层用于对调整后的特征矩阵进行补零操作，得到补零后的特征矩阵；
所述卷积层用于对补零后的特征矩阵进行卷积操作，得到卷积后的特征矩阵；
所述卷积模块用于对卷积后的特征矩阵依次进行批量归一化操作、ReLU激活函数映射和Reshape变换，得到局部特征。
可选地，所述全局注意力图神经网络包括：依次连接的特征组合层、全局注意力层、第二相加层、图结构转换层、第一图卷积神经网络层和第二图卷积神经网络层；所述第二相加层的输入与所述全局注意力层的输入跳跃连接；
所述特征组合层用于将所述第一样本特征和所述第二样本特征进行组合，得到组合特征矩阵；
所述全局注意力层用于所述组合特征矩阵依次采用全局平均池化层进行池化操作、采用第一全连接层进行线性变换以及采用sigmoid函数确定全局注意力权值，再将所述全局注意力权值与所述组合特征矩阵按元素相乘后输出；
所述第二相加层用于将所述组合特征矩阵和所述全局注意力层的输出相加；
所述图结构转换层用于根据邻接矩阵，将所述第二相加层的输出转换为图结构；所述邻接矩阵是根据所述第一样本特征和所述第二样本特征确定的；
所述第一图卷积神经网络层用于对所述图结构进行计算，得到图结构数据；
所述第二图卷积神经网络层用于对所述图结构数据进行再次计算，得到全局特征。
可选地，所述融合模块包括：依次连接的第二拼接层、第二全连接层和sigmoid函数激活层；
所述第二拼接层用于将所述局部特征和所述全局特征进行拼接操作，得到拼接特征；
所述第二全连接层用于对所述拼接特征进行线性变换，得到变换后的特征；
所述sigmoid函数激活层用于对变换后的特征进行激活，输出预测的情绪响应类型。
可选地，根据所述异常情绪状态评价指标确定目标使用者观看目标视频时大脑的情绪响应状态是否正常，具体包括：
若所述情绪响应准确率大于等于设定值、所述情绪响应负性率小于等于设定值或所述情绪响应正性率小于等于设定值，则确定目标使用者观看目标视频时大脑的情绪响应状态正常；
若所述情绪响应准确率小于设定值且所述情绪响应负性率大于设定值，则确定目标使用者观看目标视频时大脑的情绪响应状态异常。
可选地，将所述目标脑电信号划分为不同频段的频段信号，得到目标频段信号，具体包括：
对所述目标脑电信号进行第一预处理操作，得到预处理后的目标脑电信号；所述第一预处理操作包括：0.5Hz-49Hz的带通滤波、基线校正、双侧乳突电极的重参考和眼电肌电伪迹去除；
采用短时傅里叶变换的方法将预处理后的目标脑电信号划分为5个频段的频段信号，得到目标频段信号；5个频段的频段信号分别为0.5Hz-4Hz频段的δ波、4Hz-8Hz频段的θ波、8Hz-13Hz频段的α波、13Hz-30Hz频段的β波和30Hz-49Hz频段的γ波。
本发明还提供了一种异常情绪识别系统，包括：
信号获取模块，用于获取目标脑电信号和目标功能近红外信号；所述目标脑电信号为目标使用者观看目标视频时的脑电信号；所述目标功能近红外信号为目标使用者观看目标视频时的功能近红外信号；
第一信号处理模块，用于将所述目标脑电信号划分为不同频段的频段信号，得到目标频段信号；
第二信号处理模块，用于根据所述目标功能近红外信号计算氧合血红蛋白浓度变化，得到目标氧合血红蛋白浓度变化；
第一特征提取模块，用于提取所述目标频段信号的时域Hjorth参数特征、功率谱密度和微分熵特征，得到第一目标特征；
第二特征提取模块，用于提取所述目标氧合血红蛋白浓度变化的时域Hjorth参数特征、功率谱密度和微分熵特征，得到第二目标特征；
情绪响应类型识别模块，用于将所述第一目标特征和所述第二目标特征输入情绪识别模型，得到目标使用者观看目标视频时的情绪响应类型；其中，所述情绪识别模型是基于自注意力卷积神经网络和全局注意力图神经网络构建的；
评价指标确定模块，用于将所述情绪响应类型与所述目标视频的情绪类型进行比较，确定异常情绪状态评价指标；所述异常情绪状态评价指标包括：情绪响应准确率、情绪响应负性率和情绪响应正性率；
情绪响应状态确定模块，用于根据所述异常情绪状态评价指标确定目标使用者观看目标视频时大脑的情绪响应状态是否正常。
本发明还提供了一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行上述的异常情绪识别方法。
本发明还提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现上述的异常情绪识别方法。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明实施例基于自注意力卷积神经网络和全局注意力图神经网络构建的情绪识别模型，提取学习脑电信号和功能近红外信号中的情绪相关特征，自动输出使用者的情绪响应类型，将情绪响应类型与目标视频的情绪类型进行比较，确定异常情绪状态评价指标，从而确定目标使用者情绪响应状态是否正常，能提高异常情绪识别的准确性，从而辅助早期抑郁、焦虑等疾病的预防，具有广泛的实用价值。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的异常情绪识别方法的流程图；
图2为本发明实施例提供的情绪识别模型的构建过程示意图；
图3为本发明实施例提供的自注意力卷积神经网络的结构图；
图4为本发明实施例提供的全局注意力图神经网络的结构图；
图5为本发明实施例提供的情绪诱发脑电和功能近红外信号采集通道示意图；
图6为本发明实施例提供的EEG和fNIRS信号通道映射矩阵示意图；
图7为本发明实施例提供的异常情绪识别系统的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
为了提高异常情绪识别的准确性，基于生理信号对情绪监测逐渐得到关注，而大脑是情绪产生的根源，非侵入式的脑电(Electroencephalogram，EEG)和功能近红外(Functional Near Infrared spectroscopy，fNIRS)技术能有效测量情绪响应过程中的大脑神经电活动和皮层血氧浓度变化，易使用、成本低，且便携可穿戴的EEG和fNIRS设备已逐渐在日常生活中得到使用，基于EEG和fNIRS生理信号处理及人工智能技术，开发一种客观的异常负性情绪自动检测系统，从而辅助早期抑郁、焦虑等疾病的预防，具有广泛的实用价值。
本发明的目的是提供一种异常情绪识别方法、系统、设备及介质，通过基于自注意力卷积神经网络和全局注意力图神经网络的情绪识别模型，提取学习脑电信号和功能近红外信号中的情绪相关特征，自动输出使用者的情绪响应类型，将情绪响应类型与目标视频的情绪类型进行比较，确定异常情绪状态评价指标，从而确定目标使用者情绪响应状态是否正常，提高了异常情绪识别的准确性，辅助使用者进行异常负性情绪检测和评估。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一
参见图1，本实施例的异常情绪识别方法，包括：
步骤101：获取目标脑电信号和目标功能近红外信号。
其中，所述目标脑电信号为目标使用者观看目标视频时的脑电(EEG)信号；所述目标功能近红外信号为目标使用者观看目标视频时的功能近红外(fNIRS)信号。
所述目标视频包括多段诱发不同情绪类型的视频段，例如，目标视频可以包括20段诱发正性(高兴)情绪类型的视频段和20段诱发负性(悲伤)情绪类型的视频段。
步骤102：将所述目标脑电信号划分为不同频段的频段信号，得到目标频段信号。
步骤102，具体包括：
对所述目标脑电信号进行第一预处理操作，得到预处理后的目标脑电信号；所述第一预处理操作包括：0.5Hz-49Hz的带通滤波、基线校正、双侧乳突电极的重参考和眼电肌电伪迹去除。
采用短时傅里叶变换的方法将预处理后的目标脑电信号划分为5个频段的频段信号，得到目标频段信号；5个频段的频段信号分别为0.5Hz-4Hz频段的δ波、4Hz-8Hz频段的θ波、8Hz-13Hz频段的α波、13Hz-30Hz频段的β波和30Hz-49Hz频段的γ波。
步骤103：根据所述目标功能近红外信号计算氧合血红蛋白浓度变化，得到目标氧合血红蛋白浓度变化。
步骤103，具体包括：
对所述目标功能近红外信号进行第二预处理操作，得到预处理后的目标功能近红外信号；所述第二预处理操作包括：0.01Hz-0.2Hz的带通滤波和基线校正。
根据预处理后的目标功能近红外信号，采用Beer-Lambert定律计算氧合血红蛋白浓度变化，得到目标氧合血红蛋白(HbO)浓度变化。
步骤104：提取所述目标频段信号的时域Hjorth参数特征、功率谱密度和微分熵特征，得到第一目标特征。
步骤105：提取所述目标氧合血红蛋白浓度变化的时域Hjorth参数特征、功率谱密度和微分熵特征，得到第二目标特征。
步骤104和步骤105中，时域Hjorth参数特征、功率谱密度(PSD)和微分熵(DE)特征的计算公式如下。
时域Hjorth参数特征，包括活动性A、移动性M和复杂度C，计算过程如下：
M＝σd/σ；
式中，μ为x的均值，σ为x的标准差，σd为x一阶导数的标准差，σdd为x二阶导数的标准差，x为目标频段信号或目标氧合血红蛋白浓度变化，T表示样点数，xt表示目标频段信号或目标氧合血红蛋白浓度变化中第t个样点的值。
为了反映x的脑区激活特性，提取功率谱密度(PSD)和微分熵(DE)特征，计算过程如下：
式中，FFT表示对信号进行加窗分段的傅里叶变换，得到各个段的频谱平均值，[f1，f2]为对应信号的频段区间。
式中，x近似服从高斯分布N(μ,σ2)，π是圆周率常数，e是自然常数。
步骤106：将所述第一目标特征和所述第二目标特征输入情绪识别模型，得到目标使用者观看目标视频时的情绪响应类型。
其中，所述情绪识别模型是基于自注意力卷积神经网络和全局注意力图神经网络构建的。
目标视频中每段视频段对应一个情绪响应类型。
步骤106中，所述情绪识别模型的确定方法，具体包括：
(1)获取训练数据；所述训练数据包括：脑电信号样本、功能近红外信号样本和对应的情绪类型标签；所述脑电信号样本包括：不同的健康使用者观看不同类情绪诱发视频材料时的脑电信号；所述功能近红外信号样本包括：使用者观看不同类情绪诱发视频材料时的功能近红外信号。
(2)将所述脑电信号样本划分为不同频段的频段信号，得到频段信号样本；根据所述功能近红外信号样本计算氧合血红蛋白浓度变化，得到氧合血红蛋白浓度变化样本。
(3)提取所述频段信号样本的时域Hjorth参数特征、功率谱密度和微分熵特征，得到第一样本特征；提取所述氧合血红蛋白浓度变化样本的时域Hjorth参数特征、功率谱密度和微分熵特征，得到第二样本特征；根据所述第一样本特征、所述第一样本特征和对应的情绪类型标签构建训练集。
(4)构建神经网络模型；所述神经网络模型包括：自注意力卷积神经网络、全局注意力图神经网络和融合模块；所述自注意力卷积神经网络和所述全局注意力图神经网络的输出端均与所述融合模块连接。
(5)将所述训练集分别作为所述自注意力卷积神经网络和所述全局注意力图神经网络的输入，采用反向传播算法，基于交叉熵损失函数对所述神经网络模型进行训练，得到训练好的神经网络模型将训练好的神经网络模型确定为所述情绪识别模型。
其中，所述自注意力卷积神经网络用于输出局部特征；所述全局注意力图神经网络用于输出全局特征；所述融合模块用于将所述局部特征和所述全局特征融合，输出预测的情绪响应类型。
在实际应用中，情绪识别模型可以是通过采集的20位健康使用者的情绪诱发脑电和功能近红外信号特征，采用反向传播算法，基于交叉熵损失函数训练得到的。
步骤107：将所述情绪响应类型与所述目标视频的情绪类型进行比较，确定异常情绪状态评价指标；所述异常情绪状态评价指标包括：情绪响应准确率、情绪响应负性率和情绪响应正性率。
具体的，将预测的每段视频段对应的情绪响应类型与相应视频段的情绪类型(即真实的情绪类型)进行比较，确定正性(高兴)情绪被正确识别的视频段个数TP；负性(悲伤)情绪被正确识别的视频段个数TN，正性(高兴)情绪被识别为负性(悲伤)的视频段个数FP，负性(悲伤)情绪被响应为正性(高兴)的视频段个数FN。
根据TP、TN、FP和FN，采用下面的公式计算情绪响应准确率ACC、情绪响应负性率NR和情绪响应正性率PR。
情绪响应准确率ACC的计算公式为：
情绪响应负性率NR的计算公式为：
情绪响应正性率PR的计算公式为：
步骤108：根据所述异常情绪状态评价指标确定目标使用者观看目标视频时大脑的情绪响应状态是否正常。
步骤108，具体包括：
若所述情绪响应准确率ACC大于等于设定值、所述情绪响应负性率NR小于等于设定值或所述情绪响应正性率PR小于等于设定值，则确定目标使用者观看目标视频时大脑的情绪响应状态正常。
若所述情绪响应准确率ACC小于设定值且所述情绪响应负性率NR大于设定值，则确定目标使用者观看目标视频时大脑的情绪响应状态异常。
在实际应用中，设定值可以取值为0.5。
下面结合图2-图4对自注意力卷积神经网络、全局注意力图神经网络和融合模块分别进行详细的介绍。
①所述自注意力卷积神经网络包括：依次连接的矩阵映射层、第一拼接层、自注意力机制层、第一相加层、Reshape变换层、Padding层、卷积层和卷积模块；所述第一相加层的输入与所述自注意力机制层的输入跳跃连接。
所述矩阵映射层用于将所述第一样本特征按照通道位置映射到二维矩阵中得到第一矩阵，将所述第二样本特征按照通道位置映射到二维矩阵中得到第二矩阵。
所述第一拼接层用于将所述第一矩阵和所述第二矩阵进行逐行拼接，得到二维特征矩阵。
所述自注意力机制层用于采用自注意力机制对所述二维特征矩阵进行处理。
所述第一相加层用于将所述二维特征矩阵和所述自注意力机制层的输出进行相加，得到相加后的特征矩阵。
所述Reshape变换层用于对相加后的特征矩阵的尺寸进行调整，得到调整后的特征矩阵。
所述Padding层用于对调整后的特征矩阵进行补零操作，得到补零后的特征矩阵。
所述卷积层用于对补零后的特征矩阵进行卷积操作，得到卷积后的特征矩阵。
所述卷积模块用于对卷积后的特征矩阵依次进行批量归一化操作、ReLU激活函数映射和Reshape变换，得到局部特征。
在实际应用中，自注意力卷积神经网络的具体实现过程如下：
在自注意力卷积神经网络构建中，将EEG和fNIRS信号通道分别映射为二维矩阵，如图5和图6所示，对于上述提取的EEG和HbO特征值按通道位置对应填充到二维矩阵中，没有值的位置填充为0，合并得到任一情绪诱发下的特征矩阵，其大小为样本数×行数×列数×特征维度＝200×8×9×30，特征维度30维包括提取的5个频段EEG特征25维和HbO特征5维，如图3所示，然后将每一个样本逐行拼接转换成72×30的二维特征矩阵X。将X作为输入，通过3个可训练学习的矩阵WQ，WK，WV，计算得到：
Q＝WQX，K＝WKX，V＝WVX；
进而计算得到自注意力机制层的输出：
式中，T为矩阵转置运算，dk为尺度缩放因子，大小等于K的维度，为自注意力系数，可赋予特征不同的权重来强化情绪相关特征。为了避免模型训练过程中的梯度消失，引入跳跃连接，得到：
X*＝V*+X；
式中，X*的大小为72×30。然后通过Reshape变换层将其进行调整为大小8×9×30的特征矩阵，再依次通过Padding层的补零操作、单个核大小为3×3的卷积层的卷积操作、卷积模块的批归一化BN和ReLU激活函数映射，得到大小为8×9×1的卷积输出，最后通过Reshape变换将其调整为大小72×1的向量作为自注意力卷积神经网络的输出，即局部特征XO。
②所述全局注意力图神经网络包括：依次连接的特征组合层、全局注意力层、第二相加层、图结构转换层、第一图卷积神经网络层和第二图卷积神经网络层；所述第二相加层的输入与所述全局注意力层的输入跳跃连接。
所述特征组合层用于将所述第一样本特征和所述第二样本特征进行组合，得到组合特征矩阵。
所述全局注意力层用于所述组合特征矩阵依次采用全局平均池化层进行池化操作、采用第一全连接层进行线性变换以及采用sigmoid函数确定全局注意力权值，再将所述全局注意力权值与所述组合特征矩阵按元素相乘后输出。
所述第二相加层用于将所述组合特征矩阵和所述全局注意力层的输出相加。
所述图结构转换层用于根据邻接矩阵，将所述第二相加层的输出转换为图结构；所述邻接矩阵是根据所述第一样本特征和所述第二样本特征确定的。
所述第一图卷积神经网络层用于对所述图结构进行计算，得到图结构数据。
所述第二图卷积神经网络层用于对所述图结构数据进行再次计算，得到全局特征。
在实际应用中，全局注意力图神经网络的具体实现过程如下：
在全局注意力图神经网络构建中，选取5个频段EEG的微分熵特征5维和HbO特征5维，组合对应通道，得到大小为通道数×特征维度＝111×5的特征矩阵Y，如图3所示。为了挖掘情绪相关特征变量的重要程度，引入全局注意力机制层，首先将特征矩阵Y按行进行全局平均池化GAP操作，即求111行变量的均值大小为1×5，然后采用全连接层FC进行线性变换，再通过sigmoid函数得到全局注意力权值，并与特征矩阵Y按元素相乘，得到Y*：
式中，WY为训练学习到的线性变换矩阵，大小为5×5。引入跳跃连接，得到全局注意力输出YA。
YA＝Y*+Y；
为了能够将特征矩阵输入图神经网络GCN，必须将EEG和HbO特征转为图结构数据。图结构数据是节点和边的集合，记为G＝(V,E)，其中V是节点的集合，E为边的集合，将每个通道特征作为节点特征，即Y，将通道与通道之间的连接关系作为边，求得邻接矩阵P，为了衡量任意两个信号通道间相互作用的动态特性，P采用皮尔森相关系数进行计算，过程如下：
式中，si,sj分别表示任意两个通道的信号；cov(si,sj)表示si,sj的协方差；分别表示两个通道信号的标准差。由于EEG和fNIRS信号的采样率不同，此处将fNIRS信号通过包络插值到200Hz，使之与EEG信号的采样率一致。
通过设定阈值ε对P进行二值化，选取大于等于阈值ε的节点值P置为1，小于阈值ε的节点值P置为0，最终得到图结构数据YG，其中包含节点特征YA和表征各节点相关性的邻接矩阵P。
在图神经网络GCN构建中，首先使用邻接矩阵P计算Laplace矩阵L，
式中，I为单位矩阵，D为P的度矩阵，对应第i行第i列的度值Dii＝ΣjPij，则GCN的输出为
YG＝σ(LYAW)；
式中，σ为ReLU激活函数，W为可训练学习的权值参数。通过2层GCN网络，可得全局注意力图神经网络的输出，即全局特征YO，其大小为111×1。
③所述融合模块包括：依次连接的第二拼接层、第二全连接层和sigmoid函数激活层。
所述第二拼接层用于将所述局部特征和所述全局特征进行拼接操作，得到拼接特征。所述第二全连接层用于对所述拼接特征进行线性变换，得到变换后的特征。所述sigmoid函数激活层用于对变换后的特征进行激活，输出预测的情绪响应类型。
在实际应用中，融合模块的具体实现过程如下：
如图2所示，将自注意力卷积神经网络输出的局部特征XO和全局注意力图神经网络输出的全局特征YO进行拼接C操作，得到大小为183×1的特征向量，然后通过全连接层FC线性变换和softmax激活函数，输出高兴或悲伤的情绪响应类型。
下面对上述实施例在实际应用中的一个具体过程进行介绍，并说明了上述方法的有效性。
本实施例的具体过程如下：
步骤1：获取使用者的情绪诱发脑电和功能近红外信号，并进行预处理。
通过让使用者观看正性(高兴)和负性(悲伤)2类情绪诱发视频材料各20段，同时采集64通道脑电(EEG)和49通道功能近红外(fNIRS)信号，采样率分别为200Hz和11Hz，fNIRS信号采用750nm和830nm双波长，然后将上述EEG和fNIRS信号保存到计算机存储器中，对应的信号通道分布如图1所示。数据采集过程中，每段情绪诱发视频持续20秒，之后使用者休息约30秒，准备好后按空格键继续观看下一段情绪诱发视频。
对获得的EEG信号进行预处理，包括：0.5～49Hz带通滤波、基线校正、双侧乳突电极M1和M2重参考、眼电肌电伪迹去除，按照每段情绪视频播放起始时间点标记，抽取对应情绪类型的EEG信号各20段，得到的数据大小为情绪类别数×样本数×通道数×样点数＝2×20×62×4000，然后采用窗长为2秒的汉宁窗对EEG信号进行分段，通过短时傅里叶变换方法将分段后的EEG信号划分为δ(0.5-4Hz)、θ(4-8Hz)、α(8-13Hz)、β(13-30Hz)、γ(30-49Hz)5个频段信号，数据大小为情绪类别数×样本数×通道数×样点数×频段数＝2×200×62×400×5，用于后续特征提取和情绪识别模型的构建。
对获得的fNIRS信号进行预处理，包括：0.01～0.2Hz带通滤波和基线校正，按照每段情绪视频播放起始时间点标记，抽取对应情绪类型的fNIRS信号各20段，得到的数据大小为情绪类别数×样本数×通道数×样点数＝2×20×49×220，然后采用窗长为2秒的汉宁窗对fNIRS信号进行分段，根据改进Beer-Lambert定律计算得到氧合血红蛋白(HbO)浓度变化，数据大小为情绪类别数×样本数×通道数×样点数＝2×200×49×220，用于后续特征提取和情绪识别模型的构建。
改进Beer-Lambert定律计算过程如下，假设fNIRS发射端与接收端的近红外光密度变化为：
lg(Ii/Io)＝Δμa(λ)·DPF·d；
式中，Ii为发射端的近红外光密度，Io为接收端的近红外光密度。原始的fNIRS信号包括发射端和接收端，发射端确定Ii，接收端确定Io。lg为自然对数，Δμa(λ)为大脑组织对近红外光的吸收量，λ为使用近红外的波长，d＝0.03m为近红外发射端和接收端的距离，DPF＝6为近红外光传播的差分路径因子。
则对于λ1＝730nm和λ2＝850nm双波长的近红外信号有
式中，εHbO(λ)和εHbR(λ)分别为已知的氧合血红蛋白HbO和脱氧血红蛋白HbR对特定波长近红外光的消光系数，从而可以计算得到氧合血红蛋白HbO和脱氧血红蛋白HbR的浓度变化分别为Δ[HbO]和Δ[HbR]，本实施例中仅使用Δ[HbO]作为HbO数据来分析大脑皮层的血氧特性。
步骤2：对上述预处理后的EEG和fNIRS信号进行特征提取。
对任一通道任一频段EEG或HbO样本x，样点数为N，为了反映其时序响应的过程及不规则性，提取时域Hjorth参数特征(活动性A、移动性M和复杂度C)、提取功率谱密度(PSD)和微分熵(DE)特征，具体计算公式在此不再赘述。
该步骤得到EEG和HbO特征集F＝{AEEG,AHbO,MEEG,MHbO,CEEG,CHbO,PSDEEG,PSDHbO,DEEEG,DEHbO}，其中，每一项EEG特征的大小为通道数×特征维度×样本数＝62×5×400，每一项HbO特征的大小为通道数×特征维度×样本数＝49×1×400。
步骤3：根据上述提取的EEG和fNIRS特征构建情绪识别模型，并输出情绪响应类型。
为了充分挖掘EEG和fNIRS中与情绪相关的时域、频域和空间域信息，构建的情绪识别模型由自注意力卷积神经网和全局注意力图神经网络组成，前者用于学习EEG和fNIRS信号的局部特性，后者用于学习EEG和fNIRS信号的全局特性。自注意力卷积神经网和全局注意力图神经网络的具体结构在此不再赘述。
将识别后得到的情绪响应类型与向使用者呈现的视频片段情绪类型进行比较，确定异常情绪状态评价指标，异常情绪评价指标包括情绪响应准确率ACC、情绪响应负性率NR和情绪响应正性率PR，具体计算公式在此不再赘述。上述3个指标值的范围均为(0，1)，可选的，设置0.5为评价阈值(即设定值)。
当使用者进行情绪检测时，通过构建的情绪识别模型进行情绪响应类型预测，并与情绪诱发视频类型进行比较，计算情绪状态评价指标。当上述ACC大于等于0.5、NR小于等于0.5或PR小于等于0.5时，判定情绪响应状态正常；当上述ACC小于0.5，且NR大于0.5时，使用者有负性情绪响应倾向，判定情绪响应状态异常。当多次或长期监测到使用者异常负性情绪响应时，系统会向使用者进行预警。
为了实现上述的异常情绪识别，相应设置了如下模块：图形用户界面模块，用于呈现情绪诱发材料并指导使用者按要求完成信号采集；多通道信号采集模块，用于采集使用者的脑电和功能近红外脑皮层血氧信号；信号处理模块，一方面用于对脑电和功能近红外脑皮层血氧信号进行基线校正、带通滤波、去除伪迹干扰等预处理，另一方面用于情绪特征提取；异常情绪识别及结果反馈模块，将上述特征输入到构建的基于自注意力卷积神经网络和全局注意力图神经网络的情绪识别模型中，通过情绪响应负性率NR和情绪响应正性率PR，评价使用者的异常情绪状态。
图形用户界面模块，安装于带有显示器的计算机上，用于控制情绪视频材料的呈现和向使用者呈现检测流程说明，即需要使用者在规定时间内观看随机呈现的正性(高兴，标记为1)和负性(悲伤，标记为2)类型的情绪视频片段各20段，每段情绪视频结束后，使用者休息一定的预设时间，然后按空格键开始观看下一段情绪视频，情绪诱发检测过程中，图形用户界面模块同步在每段情绪视频起始时间点将对应类型(1、2)发送给多通道信号采集模块进行信号起始点标记。
多通道信号采集模块，用于以一定采样率采集使用者的脑电和功能近红外信号，脑电信号有64通道，功能近红外信号有49通道，并通过USB数据线与装有信号处理模块的计算机连接，将采集到的脑电和功能近红外信号存入数据存储器，供后续信号处理模块进行处理。
信号处理模块，一方面用于对脑电和功能近红外信号自动进行预处理，其中对于脑电信号，通过有限脉冲响应滤波器进行0.5～49Hz带通滤波，采用情绪诱发前3秒信号进行基线校正，采用双侧乳突电极M1和M2进行重参考，采用独立成分分析方法去除眼电肌电伪迹，然后抽取对应情绪类型的EEG信号共40段，采用窗长为2秒的汉宁窗对EEG信号进行分段，得到的样本数为400，通过短时傅里叶变换方法将EEG信号划分为δ(0.5Hz-4Hz)、θ(4Hz-8Hz)、α(8Hz-13Hz)、β(13Hz-30Hz)、γ(30Hz-49Hz)5个频段信号，用于后续情绪特征提取和识别模型构建。对于功能近红外信号，通过有限脉冲响应滤波器进行0.01～0.2Hz带通滤波，采用情绪诱发前3秒信号进行基线校正，然后抽取对应情绪类型的fNIRS信号共40段，采用窗长为2秒的汉宁窗对fNIRS信号进行分段，得到的样本数为400，根据改进Beer-Lambert定律计算得到氧合血红蛋白(HbO)浓度变化，用于后续情绪特征提取和识别模型构建。
信号处理模块，另一方面用于情绪特征提取，对任一情绪诱发的任一频段的EEG和HbO信号分别提取时域Hjorth参数、功率谱密度PSD和微分熵DE特征。
异常情绪识别及结果反馈模块，一方面基于由自注意力卷积神经网络和全局注意力图神经网络组成的情绪识别模型，得到情绪响应类型。其中，自注意力卷积神经网络用于学习EEG和fNIRS信号的局部特性，全局注意力图神经网络用于学习EEG和fNIRS信号的全局特性。
异常情绪识别及结果反馈模块，另一方面，将情绪识别模型预测的情绪响应类型与情绪诱发视频类型进行比较，计算情绪状态评价指标，从而使用者的大脑的情绪响应状态是否正常。
实施例二
为了执行上述实施例一对应的方法，以实现相应的功能和技术效果，下面提供一种异常情绪识别系统。
参见图7，所述系统，包括：
信号获取模块201，用于获取目标脑电信号和目标功能近红外信号；所述目标脑电信号为目标使用者观看目标视频时的脑电信号；所述目标功能近红外信号为目标使用者观看目标视频时的功能近红外信号。
第一信号处理模块202，用于将所述目标脑电信号划分为不同频段的频段信号，得到目标频段信号。
第二信号处理模块203，用于根据所述目标功能近红外信号计算氧合血红蛋白浓度变化，得到目标氧合血红蛋白浓度变化。
第一特征提取模块204，用于提取所述目标频段信号的时域Hjorth参数特征、功率谱密度和微分熵特征，得到第一目标特征。
第二特征提取模块205，用于提取所述目标氧合血红蛋白浓度变化的时域Hjorth参数特征、功率谱密度和微分熵特征，得到第二目标特征。
情绪识别模块206，用于将所述第一目标特征和所述第二目标特征输入情绪识别模型，得到目标使用者观看目标视频时的情绪响应类型。其中，所述情绪识别模型是基于自注意力卷积神经网络和全局注意力图神经网络构建的。
评价指标确定模块207，用于将所述情绪响应类型与所述目标视频的情绪类型进行比较，确定异常情绪状态评价指标；所述异常情绪状态评价指标包括：情绪响应准确率、情绪响应负性率和情绪响应正性率。
情绪响应状态确定模块208，用于根据所述异常情绪状态评价指标确定目标使用者观看目标视频时大脑的情绪响应状态是否正常。
实施例三
本实施例提供一种电子设备，包括存储器及处理器，存储器用于存储计算机程序，处理器运行计算机程序以使电子设备执行实施例一的异常情绪识别方法。
可选地，上述电子设备可以是服务器。
另外，本发明实施例还提供一种计算机可读存储介质，其存储有计算机程序，该计算机程序被处理器执行时实现实施例一的异常情绪识别方法。
上述所有实施例，基于自注意力卷积神经网络和全局注意力图神经网络构建情绪识别模型，该情绪识别模型可以提取学习脑电和功能近红外脑血氧信号中的情绪相关特征，自动输出使用者的情绪响应类型，提高异常情绪识别准确率，并根据构造的情绪状态评价指标对异常负性情绪响应进行预警，从而辅助早期抑郁、焦虑等疾病的预防，具有广泛的实用价值。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种异常情绪识别方法，其特征在于，包括：
获取目标脑电信号和目标功能近红外信号；所述目标脑电信号为目标使用者观看目标视频时的脑电信号；所述目标功能近红外信号为目标使用者观看目标视频时的功能近红外信号；所述目标视频包括多段诱发不同情绪类型的视频段；
将所述目标脑电信号划分为不同频段的频段信号，得到目标频段信号；
根据所述目标功能近红外信号计算氧合血红蛋白浓度变化，得到目标氧合血红蛋白浓度变化；
提取所述目标频段信号的时域Hjorth参数特征、功率谱密度和微分熵特征，得到第一目标特征；
提取所述目标氧合血红蛋白浓度变化的时域Hjorth参数特征、功率谱密度和微分熵特征，得到第二目标特征；
将所述第一目标特征和所述第二目标特征输入情绪识别模型，得到目标使用者观看目标视频时的情绪响应类型；其中，所述情绪识别模型是基于自注意力卷积神经网络和全局注意力图神经网络构建的；
将所述情绪响应类型与所述目标视频的情绪类型进行比较，确定异常情绪状态评价指标；所述异常情绪状态评价指标包括：情绪响应准确率、情绪响应负性率和情绪响应正性率；
根据所述异常情绪状态评价指标确定目标使用者观看目标视频时大脑的情绪响应状态是否正常。
2.根据权利要求1所述的异常情绪识别方法，其特征在于，所述情绪识别模型的确定方法，具体包括：
获取训练数据；所述训练数据包括：脑电信号样本、功能近红外信号样本和对应的情绪类型标签；所述脑电信号样本包括：不同的健康使用者观看不同类情绪诱发视频材料时的脑电信号；所述功能近红外信号样本包括：使用者观看不同类情绪诱发视频材料时的功能近红外信号；
将所述脑电信号样本划分为不同频段的频段信号，得到频段信号样本；
根据所述功能近红外信号样本计算氧合血红蛋白浓度变化，得到氧合血红蛋白浓度变化样本；
提取所述频段信号样本的时域Hjorth参数特征、功率谱密度和微分熵特征，得到第一样本特征；
提取所述氧合血红蛋白浓度变化样本的时域Hjorth参数特征、功率谱密度和微分熵特征，得到第二样本特征；
根据所述第一样本特征、所述第一样本特征和对应的情绪类型标签构建训练集；
构建神经网络模型；所述神经网络模型包括：自注意力卷积神经网络、全局注意力图神经网络和融合模块；所述自注意力卷积神经网络和所述全局注意力图神经网络的输出端均与所述融合模块连接；
将所述训练集分别作为所述自注意力卷积神经网络和所述全局注意力图神经网络的输入，采用反向传播算法，基于交叉熵损失函数对所述神经网络模型进行训练，得到训练好的神经网络模型；其中，所述自注意力卷积神经网络用于输出局部特征；所述全局注意力图神经网络用于输出全局特征；所述融合模块用于将所述局部特征和所述全局特征融合，输出预测的情绪响应类型；
将训练好的神经网络模型确定为所述情绪识别模型。
3.根据权利要求2所述的异常情绪识别方法，其特征在于，所述自注意力卷积神经网络包括：依次连接的矩阵映射层、第一拼接层、自注意力机制层、第一相加层、Reshape变换层、Padding层、卷积层和卷积模块；所述第一相加层的输入与所述自注意力机制层的输入跳跃连接；
所述矩阵映射层用于将所述第一样本特征按照通道位置映射到二维矩阵中得到第一矩阵，将所述第二样本特征按照通道位置映射到二维矩阵中得到第二矩阵；
所述第一拼接层用于将所述第一矩阵和所述第二矩阵进行逐行拼接，得到二维特征矩阵；
所述自注意力机制层用于采用自注意力机制对所述二维特征矩阵进行处理；
所述第一相加层用于将所述二维特征矩阵和所述自注意力机制层的输出进行相加，得到相加后的特征矩阵；
所述Reshape变换层用于对相加后的特征矩阵的尺寸进行调整，得到调整后的特征矩阵；
所述Padding层用于对调整后的特征矩阵进行补零操作，得到补零后的特征矩阵；
所述卷积层用于对补零后的特征矩阵进行卷积操作，得到卷积后的特征矩阵；
所述卷积模块用于对卷积后的特征矩阵依次进行批量归一化操作、ReLU激活函数映射和Reshape变换，得到局部特征。
4.根据权利要求2所述的异常情绪识别方法，其特征在于，所述全局注意力图神经网络包括：依次连接的特征组合层、全局注意力层、第二相加层、图结构转换层、第一图卷积神经网络层和第二图卷积神经网络层；所述第二相加层的输入与所述全局注意力层的输入跳跃连接；
所述特征组合层用于将所述第一样本特征和所述第二样本特征进行组合，得到组合特征矩阵；
所述全局注意力层用于所述组合特征矩阵依次采用全局平均池化层进行池化操作、采用第一全连接层进行线性变换以及采用sigmoid函数确定全局注意力权值，再将所述全局注意力权值与所述组合特征矩阵按元素相乘后输出；
所述第二相加层用于将所述组合特征矩阵和所述全局注意力层的输出相加；
所述图结构转换层用于根据邻接矩阵，将所述第二相加层的输出转换为图结构；所述邻接矩阵是根据所述第一样本特征和所述第二样本特征确定的；
所述第一图卷积神经网络层用于对所述图结构进行计算，得到图结构数据；
所述第二图卷积神经网络层用于对所述图结构数据进行再次计算，得到全局特征。
5.根据权利要求2所述的异常情绪识别方法，其特征在于，所述融合模块包括：依次连接的第二拼接层、第二全连接层和sigmoid函数激活层；
所述第二拼接层用于将所述局部特征和所述全局特征进行拼接操作，得到拼接特征；
所述第二全连接层用于对所述拼接特征进行线性变换，得到变换后的特征；
所述sigmoid函数激活层用于对变换后的特征进行激活，输出预测的情绪响应类型。
6.根据权利要求1所述的异常情绪识别方法，其特征在于，根据所述异常情绪状态评价指标确定目标使用者观看目标视频时大脑的情绪响应状态是否正常，具体包括：
若所述情绪响应准确率大于等于设定值、所述情绪响应负性率小于等于设定值或所述情绪响应正性率小于等于设定值，则确定目标使用者观看目标视频时大脑的情绪响应状态正常；
若所述情绪响应准确率小于设定值且所述情绪响应负性率大于设定值，则确定目标使用者观看目标视频时大脑的情绪响应状态异常。
7.根据权利要求1所述的异常情绪识别方法，其特征在于，将所述目标脑电信号划分为不同频段的频段信号，得到目标频段信号，具体包括：
对所述目标脑电信号进行第一预处理操作，得到预处理后的目标脑电信号；所述第一预处理操作包括：0.5Hz-49Hz的带通滤波、基线校正、双侧乳突电极的重参考和眼电肌电伪迹去除；
采用短时傅里叶变换的方法将预处理后的目标脑电信号划分为5个频段的频段信号，得到目标频段信号；5个频段的频段信号分别为0.5Hz-4Hz频段的δ波、4Hz-8Hz频段的θ波、8Hz-13Hz频段的α波、13Hz-30Hz频段的β波和30Hz-49Hz频段的γ波。
8.一种异常情绪识别系统，其特征在于，包括：
信号获取模块，用于获取目标脑电信号和目标功能近红外信号；所述目标脑电信号为目标使用者观看目标视频时的脑电信号；所述目标功能近红外信号为目标使用者观看目标视频时的功能近红外信号；
第一信号处理模块，用于将所述目标脑电信号划分为不同频段的频段信号，得到目标频段信号；
第二信号处理模块，用于根据所述目标功能近红外信号计算氧合血红蛋白浓度变化，得到目标氧合血红蛋白浓度变化；
第一特征提取模块，用于提取所述目标频段信号的时域Hjorth参数特征、功率谱密度和微分熵特征，得到第一目标特征；
第二特征提取模块，用于提取所述目标氧合血红蛋白浓度变化的时域Hjorth参数特征、功率谱密度和微分熵特征，得到第二目标特征；
情绪响应类型识别模块，用于将所述第一目标特征和所述第二目标特征输入情绪识别模型，得到目标使用者观看目标视频时的情绪响应类型；其中，所述情绪识别模型是基于自注意力卷积神经网络和全局注意力图神经网络构建的；
评价指标确定模块，用于将所述情绪响应类型与所述目标视频的情绪类型进行比较，确定异常情绪状态评价指标；所述异常情绪状态评价指标包括：情绪响应准确率、情绪响应负性率和情绪响应正性率；
情绪响应状态确定模块，用于根据所述异常情绪状态评价指标确定目标使用者观看目标视频时大脑的情绪响应状态是否正常。
9.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行权利要求1至7中任一项所述的异常情绪识别方法。
10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的异常情绪识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311666343.7A CN117883082A (zh) | 2023-12-07 | 2023-12-07 | 一种异常情绪识别方法、系统、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311666343.7A CN117883082A (zh) | 2023-12-07 | 2023-12-07 | 一种异常情绪识别方法、系统、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117883082A true CN117883082A (zh) | 2024-04-16 |
Family
ID=90641641
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311666343.7A Pending CN117883082A (zh) | 2023-12-07 | 2023-12-07 | 一种异常情绪识别方法、系统、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117883082A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118016149A (zh) * | 2024-04-09 | 2024-05-10 | 太原理工大学 | 一种整合空间转录组多模态信息的空间域识别方法 |
-
2023
- 2023-12-07 CN CN202311666343.7A patent/CN117883082A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118016149A (zh) * | 2024-04-09 | 2024-05-10 | 太原理工大学 | 一种整合空间转录组多模态信息的空间域识别方法 |
| CN118016149B (zh) * | 2024-04-09 | 2024-06-18 | 太原理工大学 | 一种整合空间转录组多模态信息的空间域识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Channel selection method for EEG emotion recognition using normalized mutual information | |
| CN110507335B (zh) | 基于多模态信息的服刑人员心理健康状态评估方法及系统 | |
| KR102221264B1 (ko) | 인간 감정 인식을 위한 딥 생리적 정서 네트워크를 이용한 인간 감정 추정 방법 및 그 시스템 | |
| CN110969108B (zh) | 一种基于自主运动想象脑电的肢体动作识别方法 | |
| CN112656427A (zh) | 一种基于维度模型的脑电信号情绪识别方法 | |
| CN114533086B (zh) | 一种基于空域特征时频变换的运动想象脑电解码方法 | |
| CN110946576A (zh) | 一种基于宽度学习的视觉诱发电位识别情绪方法 | |
| KR101842750B1 (ko) | 뇌파 훈련을 위한 실시간 시뮬레이터 및 이를 이용한 인터페이스 장치 | |
| CN113729707A (zh) | 一种基于fecnn-lstm的眼动和ppg多模态融合的情感识别方法 | |
| Khalili et al. | Emotion detection using brain and peripheral signals | |
| CN109871831B (zh) | 一种情感识别方法及系统 | |
| An et al. | Electroencephalogram emotion recognition based on 3D feature fusion and convolutional autoencoder | |
| CN117883082A (zh) | 一种异常情绪识别方法、系统、设备及介质 | |
| CN111000556A (zh) | 一种基于深度模糊森林的情绪识别方法 | |
| CN105212949A (zh) | 一种使用皮肤电信号进行文化体验情感识别的方法 | |
| CN115804602A (zh) | 基于注意力机制的多通道特征融合的脑电情绪信号检测方法、设备和介质 | |
| CN106943150A (zh) | 精神疲劳检测系统及其采用的方法 | |
| Uddin et al. | Synthesizing physiological and motion data for stress and meditation detection | |
| CN115414051A (zh) | 一种脑电信号自适应窗口的情绪分类识别方法 | |
| CN113974627B (zh) | 一种基于脑机生成对抗的情绪识别方法 | |
| CN117407748A (zh) | 基于图卷积和融合注意力的脑电情绪识别方法 | |
| CN115690528A (zh) | 跨主体场景的脑电信号美学评估处理方法、装置、介质及终端 | |
| Nawasalkar et al. | EEG based stress recognition system based on Indian classical music | |
| Mantri et al. | Real time multimodal depression analysis | |
| CN113069115A (zh) | 一种情绪识别方法、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |