CN114052735A - 一种基于深度领域自适应的脑电情绪识别方法及系统 - Google Patents
一种基于深度领域自适应的脑电情绪识别方法及系统 Download PDFInfo
- Publication number
- CN114052735A CN114052735A CN202111422352.2A CN202111422352A CN114052735A CN 114052735 A CN114052735 A CN 114052735A CN 202111422352 A CN202111422352 A CN 202111422352A CN 114052735 A CN114052735 A CN 114052735A
- Authority
- CN
- China
- Prior art keywords
- electroencephalogram
- emotion
- extracting
- signals
- adaptive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000008451 emotion Effects 0.000 claims abstract description 67
- 210000004556 brain Anatomy 0.000 claims abstract description 49
- 230000006870 function Effects 0.000 claims abstract description 43
- 238000013528 artificial neural network Methods 0.000 claims abstract description 15
- 230000014509 gene expression Effects 0.000 claims abstract description 15
- 244000132059 Carica parviflora Species 0.000 claims abstract description 8
- 235000014653 Carica parviflora Nutrition 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 52
- 238000012545 processing Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 18
- 238000012360 testing method Methods 0.000 claims description 16
- 230000003044 adaptive effect Effects 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 14
- 230000006978 adaptation Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 3
- PIZHFBODNLEQBL-UHFFFAOYSA-N 2,2-diethoxy-1-phenylethanone Chemical compound CCOC(OCC)C(=O)C1=CC=CC=C1 PIZHFBODNLEQBL-UHFFFAOYSA-N 0.000 claims 1
- 239000011159 matrix material Substances 0.000 description 29
- 238000010586 diagram Methods 0.000 description 9
- 230000002996 emotional effect Effects 0.000 description 8
- 230000037007 arousal Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 238000011160 research Methods 0.000 description 5
- 230000008921 facial expression Effects 0.000 description 4
- 230000005611 electricity Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000000763 evoking effect Effects 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003340 mental effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Psychiatry (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Psychology (AREA)
- Child & Adolescent Psychology (AREA)
- Signal Processing (AREA)
- Fuzzy Systems (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Mathematical Physics (AREA)
- Social Psychology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明提供一种基于深度领域自适应的脑电情绪识别方法及系统，属于脑电情绪识别技术领域，利用预先训练好的识别模型对获取的脑电信号进行处理，得到脑电情绪识别结果；其中，提取了脑电信号的微分熵特征，基于微分熵特征提取了脑电信号通道之间的拓扑结构，基于拓扑结构提取了特征的局部信息，基于局部信息得到左脑和右脑之间在情绪表达上的模式关系并进行整合；利用整合后的特征进行情绪类别判断。本发明将Coral损失函数和图卷积与传统卷积神经网络相结合，提取出微分熵局部特征，并且使用图卷积学习脑电信号通道之间的关系，分别提取左脑和右脑的信息，将提取到的特征进行整合，并利用自适应损失减少个体之间的差异性，使脑电情绪识别结果更准确。
Description
技术领域
本发明涉及脑电情绪识别技术领域，具体涉及一种基于深度领域自适应的脑电情绪识别方法及系统。
背景技术
情绪在很大程度上反映了个体对事物的认知和态度，在人们的日常生活和工作中具有信息传递和行为调控的作用，情绪无处不在并且有着不可忽略的影响。人机交互系统中，基于计算机技术的情绪识别起到了非常关键的作用，随着人工智能快速发展，基于情绪的研究也大大增加。而正确的情绪识别能够帮助监测个人的心理和情绪健康状态，在医学方面，更有助于对有心理疾病或表达障碍的患者进行疏导与判断。
面部表情、语音语调、姿势动作和生理信号都可以作为情绪识别的数据来源，前三种数据采集过程简单，也比较容易获得。但是由于被试者可以通过控制面部表情、语音语调和心理变化来掩盖真实的情绪，所以采集到的数据不能保证其有效性；而生理信号难以伪装，包含的信息也更加丰富。基于脑电、心电、肌电和皮肤温度等生理信号的研究很多，而近年来，由于脑电识别情绪操作简单、成本低、效果好，其研究得到广泛关注；另外，脑电是记录头皮电位变化的信号，在一定程度上反映大脑皮层的活动，所以与人的情绪状态关系更加紧密。
为了识别情绪，研究人员需要对情绪状态进行量化和建模。目前广泛使用的情绪量化模型是维度模型，该模型是基于认知评价将情绪空间划分为效价-唤醒度(Valence-Arousal，VA)两个维度或者是效价-唤醒度-优势度(Valence-Arousal-Dominance)三个维度。其中，效价表示情绪是积极还是消极的；唤醒度反映情绪的强烈程度；优势度指人能否控制这种情绪。
目前，基于脑电信号的情绪识别研究已经日趋增多。主要的目标就是提高模型的分类准确率，通过更加精确地降低信号噪声、选取更合适的脑电特征以及训练更好的分类模型来达到这个目标。在基于脑电的情绪识别研究中，利用传统分类器进行分类是较为困难的，如何提取有效的特征并且识别是一个很大的挑战。
将高效的机器学习算法即深度学习应用到脑电信号研究中，可获得较高的识别准确率。然而，现有的传统的深度学习研究并没有兼顾到被试者之间的个体差异以及脑电信号的通道之间的关系，导致不能满足更高识别准确率的需求。
发明内容
本发明的目的在于提供一种在传统神经网络中应用了Coral损失函数和图卷积网络，同时兼顾对象个体差异及脑电信号通道之间关系，提高了情绪分类准确率的基于领域自适应损失函数的可分离图卷积神经网络的脑电情绪识别分类方法及系统。以解决上述背景技术中存在的至少一项技术问题。
为了实现上述目的，本发明采取了如下技术方案：
一方面，本发明提供一种基于深度领域自适应的脑电情绪识别方法，包括：
获取待识别的脑电信号；
利用预先训练好的识别模型对获取的脑电信号进行处理，得到脑电情绪识别结果；其中，所述预先训练好的识别模型由训练集训练得到，所述训练集包括多个不同对象的脑电信号以及标注脑电信号的情绪类别的标签；
其中，所述预先训练好的识别模型对脑电信号进行处理时，提取了脑电信号的微分熵特征，基于微分熵特征提取了脑电信号通道之间的拓扑结构，基于拓扑结构提取特征的局部信息，基于局部信息得到左脑和右脑之间在情绪表达上的模式关系并进行整合；利用整合后的特征进行情绪类别判断。
优选的，训练所述识别模型包括：
将微分熵特征输入至跨被试图卷积神经网络中，提取脑电信号通道之间的拓扑结构特征，获取左脑和右脑之间在情绪表达上的模式关系并进行整合；利用预设的softmax分类器根据整合的信息进行情绪类别判断并且计算出相应的分类损失和自适应损失，不断优化网络参数，直至损失最小，得到最终的训练好的识别模型。
优选的，获取多个受试者的带有情绪标签的脑电信号，求取所述基线信号的基线平均值，并根据所述基线平均值对所诱发的情绪信号进行基线校准，将所述脑电信号数据转化为样本数据，对样本数据建立二分类和四分类的标签，得到训练集。
优选的，获取微分熵包括，对经过数据标准化处理后的样本数据进行滑动窗口分割，从而将数据分段并且扩充，提取分割后的脑电信号的微分熵。
优选的，针对每种情绪状态建立标签，通过设定阈值将脑电情绪数据集DEAP附带的标签大小进行二分类，小于该阈值的作为一类，大于或等于该阈值的作为另一类。
优选的，所述跨被试图卷积神经网络包括图卷积层、局部信息卷积层、半球卷积层以及自适应层；其中，图卷积层用于提取脑电信号通道拓扑结构特征；局部信息卷积层用于利用一维卷积核提取特征的局部信息；半球卷积层用于使用空间卷积核来学习左右脑之间的模式关系特征；自适应层用于计算优化网络参数的损失函数。
优选的，优化网络参数的损失函数表示为分类损失函数和；其中，
以训练集作为网络的输入，其预测数据被用来计算整个网络的分类损失，使用KL散度作为分类损失函数的计算公式；
测试集作为整个网络的输入，训练集的预测数据和测试集的预测数据，借助Coral损失函数，联合计算得到自适应损失函数。
第二方面，本发明提供一种基于深度领域自适应的脑电情绪识别系统，包括：
获取模块，用于获取待识别的脑电信号；
识别模块，用于利用预先训练好的识别模型对获取的脑电信号进行处理，得到脑电情绪识别结果；其中，所述预先训练好的识别模型由训练集训练得到，所述训练集包括多个不同对象的脑电信号以及标注脑电信号的情绪类别的标签；
其中，所述预先训练好的识别模型对脑电信号进行处理时，提取了脑电信号的微分熵特征，基于微分熵特征提取了脑电信号通道之间的拓扑结构，基于拓扑结构提取特征的局部信息，基于局部信息得到左脑和右脑之间在情绪表达上的模式关系并进行整合；利用整合后的特征进行情绪类别判断。
第三方面，本发明提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如上所述的基于深度领域自适应的脑电情绪识别方法。
第四方面，本发明提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如上所述的基于深度领域自适应的脑电情绪识别方法的指令。
本发明有益效果：将Coral损失函数和图卷积与传统卷积神经网络相结合，提取出微分熵局部特征，并且使用图卷积学习脑电信号通道之间的关系，再通过半球核分别提取左脑和右脑的信息，将提取到的特征进行整合，并且利用自适应损失减少个体之间的差异性，使脑电情绪识别结果更准确。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所述的处理DEAP数据集并且对其分类的流程图。
图2为本发明实施例所述的预处理DEAP数据集的流程图。
图3为本发明实施例所述的构建的跨被试的图卷积神经网络模型结构图。
图4为本发明实施例所述的跨被试的图卷积模型处理数据的流程图。
具体实施方式
下面详细叙述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。
还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件和/或它们的组。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
为便于理解本发明，下面结合附图以具体实施例对本发明作进一步解释说明，且具体实施例并不构成对本发明实施例的限定。
本领域技术人员应该理解，附图只是实施例的示意图，附图中的部件并不一定是实施本发明所必须的。
实施例1
本实施例1提供一种基于深度领域自适应的脑电情绪识别系统，该系统包括：
获取模块，用于获取待识别的脑电信号；
识别模块，用于利用预先训练好的识别模型对获取的脑电信号进行处理，得到脑电情绪识别结果；其中，所述预先训练好的识别模型由训练集训练得到，所述训练集包括多个不同对象的脑电信号以及标注脑电信号的情绪类别的标签；
其中，所述预先训练好的识别模型对脑电信号进行处理时，提取了脑电信号的微分熵特征，基于微分熵特征提取了脑电信号通道之间的拓扑结构，基于拓扑结构提取特征的局部信息，基于局部信息得到左脑和右脑之间在情绪表达上的模式关系并进行整合；利用整合后的特征进行情绪类别判断。
本实施例1中，利用上述的脑电情绪识别分类系统，实现了脑电情绪识别分类，包括如下步骤：
使用获取模块获取待识别的脑电信号；
使用识别模块利用预先训练好的识别模型对获取的脑电信号进行处理，得到脑电情绪识别结果；其中，所述预先训练好的识别模型由训练集训练得到，所述训练集包括多个不同对象的脑电信号以及标注脑电信号的情绪类别的标签；
其中，所述预先训练好的识别模型对脑电信号进行处理时，提取了脑电信号的微分熵特征，基于微分熵特征提取了脑电信号通道之间的拓扑结构，基于拓扑结构提取了特征的局部信息，基于局部信息得到左脑和右脑之间在情绪表达上的模式关系并进行整合；利用整合后的特征进行情绪类别判断。
本实施例1中，训练所述识别模型包括：
将微分熵特征输入至跨被试图卷积神经网络中，提取脑电信号通道之间的拓扑结构特征，获取左脑和右脑之间在情绪表达上的模式关系并进行整合；利用预设的softmax分类器根据整合的信息进行情绪类别判断并且计算出相应的分类损失和自适应损失，不断优化网络参数，直至损失最小，得到最终的训练好的识别模型。
获取多个受试者的带有情绪标签的脑电信号，求取所述基线信号的基线平均值，并根据所述基线平均值对所诱发的情绪信号进行基线校准，将所述脑电信号数据转化为样本数据，对样本数据建立二分类和四分类的标签，得到训练集。
获取微分熵特征包括，对经过数据标准化处理后的样本数据进行滑动窗口分割，从而将数据分段并且扩充，提取分割后的脑电信号的微分熵。
针对每种情绪状态建立标签，通过设定阈值将脑电情绪数据集DEAP附带的标签大小进行二分类，小于该阈值的作为一类，大于或等于该阈值的作为另一类。
所述跨被试图卷积神经网络包括图卷积层、局部信息卷积层、半球卷积层以及自适应层；其中，图卷积层用于提取脑电信号通道拓扑结构特征；局部信息卷积层用于利用一维卷积核提取特征的局部信息；半球卷积层用于使用空间卷积核来学习左右脑之间的模式关系特征；自适应层用于计算优化网络参数的损失函数。
优化网络参数的损失函数表示为分类损失函数和；其中，
以训练集作为网络的输入，其预测数据被用来计算整个网络的分类损失，使用KL散度作为分类损失函数的计算公式；
测试集作为整个网络的输入，训练集的预测数据和测试集的预测数据，借助Coral损失函数，联合计算得到自适应损失函数。
具体的，本实施例1中，获取DEAP数据集作为脑电信号情绪二分类和四分类实验的数据集；将预处理后的DEAP数据集中的数据进行分段处理，切割为多段1秒长的数据并且针对每段数据提取微分熵特征，计算如下：
DEAP(Database for Emotion Analysis usingPhysiological Signals)，该数据库是由来自英国伦敦玛丽皇后大学，荷兰特温特大学，瑞士日内瓦大学，瑞士联邦理工学院的Koelstra等人通过实验采集到的，用来研究人类情感状态的多通道数据，可以公开免费获取。该数据库是基于音乐视频材料诱发刺激下产生的生理信号，记录了32名受试者，观看40分钟音乐视频(每一个音乐视频1分钟)的生理信号和受试者对视频的Valence,Arousal,Dominance,Liking的心理量表，同时也包括前22名参与者的面部表情视频。该数据库可以研究多模态下的生理信号，对情绪脑电的研究具有非常重要的意义。
本实施例1中，使用SGC(图卷积网络)对微分熵特征进行图卷积，具体步骤为：
对邻接矩阵A进行初始化，图卷积中的邻接矩阵A用来表示通道之间的连接程度。其中邻接矩阵A含有自循环，即Ai,i＝1(i＝1,2,...,n)。该邻接矩阵A是自适应可学习的，通道的连接关系主要是和各个电极之间的距离有关系，所以该邻接矩阵被初始化为如下大小：
其中，di,j(i,j＝1,2,...,n)表示的是电极i和电极j之间的物理距离，δ是一个用于校准的常量；
特征变换：将微分熵投入3层图卷积网络，每层的特征提取过程可以表示为：
H(k+1)＝f(H(k),A)＝AHkWk；
其中，Hk表示图卷积网络k层的输入，Wk表示该层的权重。对于第一层网络，其输入H0＝X，X表示的是原始微分熵特征；
特征传播：特征传播在特征变换之后，对于
这个层的每个节点xi(i＝1,2,...,n)的状态可以由以下公式得到：
上述的公式可以由矩阵形式来表示，如下所示：
其中，D表示邻接矩阵A的对角矩阵，即
归一化的邻接矩阵能够保证Hk+1这层的节点特征过大。
网络输出：从原始微分熵特征X到k层网络的输出结果可以表示为：
Z＝S(k)XW；
其中，
W为每个网络层的权重累乘，即W＝W0W1...Wk。
步骤四：原始微分熵特征经过图网络卷积后得到了通道之间的拓扑结构，下面就是利用卷积层挖掘微分熵的局部信息和空间信息。在图卷积和一维卷积之间有线性变换，通过该线性变换，能够将微分熵特征映射到高维空间中。公式如下：
Z＝ZW′
其中，W′∈Rd×d′，表示的是线性变换矩阵参数，从而变换后Z会被作为接下来可分离卷积的输入。
可分离卷积，在可分离卷积层，使用大小为(m,1)的卷积核对输入Z进行时间卷积，通过可分离卷积挖掘出特征的局部信息，输出如下：
设置左通道核和右通道核以提取左脑和右脑的模式关系，通道核的大小和通道的数量有关，左通道核和右通道核的大小均为信号通道数的一半，即通道核的大小均为(0.5×n，1)，其中n表示为脑电通道个数，因此通过该网络层的输出表示为：
设置大小为[2,1]的一维卷积核来整合左脑和右脑的特征输出，将二维特征矩阵输出为一维特征向量：
计算网络的输出：在全连接层对图卷积网络和卷积神经网络得到的特征进行预测，softmax分类器是logistics回归模型基础上的扩展。通过引入输出权重矩阵
对于每个类型Yi，其预测大小可以根据如下公式算出：
计算网络损失函数：
考虑到被试者在观看引起情绪激发的视频和音乐时，其情绪状态并不一定会被唤醒。这里将DEAP中的标签进行转换，以概率形式表示被唤醒的程度。针对二分类的标签，其唤醒程度表示为：
对于四分类标签，其唤醒程度计算如下：
其后，利用计算好的唤醒程度与预测输出计算损失函数。
计算分类损失函数：训练集作为网络的输入，其预测数据被用来计算整个网络的分类损失，使用KL散度作为分类损失函数的计算公式：
计算自适应损失函数：测试集作为整个网络的输入，训练集的预测数据和测试集的预测数据可以联合计算得到自适应损失函数，借助Coral损失函数，其计算公式如下：
其中，
是训练集的协方差矩阵，
是测试集的协方差矩阵，
表示的是矩阵F-范数的平方。
基于跨被试的可分离卷积图神经网络的情绪识别方法的损失函数可以表示为上述计算得到的分类损失函数、自适应损失函数之和。另外，为了防止图卷积神经网络的过拟合，这里对其邻接矩阵加入L1正则化。损失函数计算公式如下所示：
实施例2
结合图1和图4所示，本实施例2中，提供一种基于跨被试的图卷积网络的脑电情绪识别方法，包括以下步骤：
步骤一、建立数据集
使用的是公开的DEAP数据库，该数据库是由来自英国伦敦玛丽皇后大学、荷兰特温特大学、瑞士日内瓦大学、瑞士联邦学院的Koelstra等人通过实验采集到的，用来研究人类情感状态的多通道数据。该数据库是基于音乐视频材料诱发刺激产生的生理信号，记录了32名受试者，观看40分钟音乐视频(每一个音乐视频1分钟)的生理信号和受试者对视频的Valence、Arousal、Dominance、Liking的心理量表，时也包括前22名参与者的面部表情视频。该数据库可以研究多模态下的生理信号，对情绪脑电的研究具有非常的意义。
步骤二、处理实验数据
从DEAP数据集中获取受试者的带有情绪标签的脑电信号，DEAP数据集中共含有32名受试者的脑电数据。对采集到的实验数据进行预处理，预处理过程如附图2所示。预处理过程具体包括：
2-1.原设备的采样频率为512Hz，基于降采样原理，将数据的采样频率下降至128Hz；
2-2.去除采样后的脑电信号中的心电信号；
2-3.使用4-45Hz大小的带通滤波器对脑电信号进行滤波，去除脑电信号中的工频干扰和其他噪声信号；
2-4.计算信号数据的平均值，并且根据该平均值对脑电信号进行校准；
2-5.脑电信号数据被分为了60s的情绪诱发信号和3s的平静状态信号，并且移除平静状态的信号；
2-6.对每名受试者而言，预处理后的脑电采集数据大小为40×40×8064，该数据记录了每位受试者在观看40个音乐视频刺激下的脑电数据，该脑电数据的通道个数为40，其中通道1-32对应的是脑电通道；脑电信号长度为8064，对应的是63s时间长度的信号，其中前3s为平静状态下的脑电信号称为基线信号，60s为在情感诱发状态下所采集的脑电信号。
步骤三、给实验数据设置标签
本发明实施例中一维模型情绪状态标签为高/低唤醒，高/低效价，高/低优势度，高/低喜欢度。二维模型为一维模型的组合，所对应的情绪标签即为一维模型标签的组合，如附表1所示。表1为本实施例所述的对DEAP数据集构建四分类的标签的结果，其中，H表示High，L表示Low。
表1
| Valence-Arousal | Valence-Dominance | Arousal-Dominance |
| HVHA | HVHD | HAHD |
| LVHA | LVHD | LAHD |
| LVLA | LVLD | LALD |
| HVLA | HVLD | HALD |
步骤四、构建跨被试的可分离深度卷积图神经网络的输入
采用留一法作为实验策略，其中32名被试者中31位被试者的脑电数据作为训练集，剩下的1位被试者的脑电数据作为测试集。为扩充数据集的大小，现在使用滑动窗口将数据截断为8份，数据被扩充为原来的5倍。对扩充后的脑电信号进行微分熵特征提取，每1s脑电信号提取1个特征，得到训练集和测试集的微分熵特征大小：
DEtrain＝6200×32×6
DEtest＝200×32×6
步骤五、特征提取
建立跨被试的图卷积网络的图神经网络，首先将脑电数据通过切比雪夫滤波器进行图卷积运算，再将其输出输入到卷积层提取局部特征，通过半球核提取左脑和右脑的模式关系，过程如附图3所示。上述步骤包括
5-1.初始化图卷积网络的邻接矩阵A，根据电极之间的物理距离将该邻接矩阵初始化为如下所示矩阵
5-2.正则化矩阵，根据正则化拉普拉斯矩阵的定义，计算个样本数据对应的正则化拉普拉斯矩阵L如下所示：
其中，IN是单位矩阵，D∈RN×N是邻接矩阵A的度矩阵。
5-3.对特征数据进行图卷积，在图卷积神经网络上，样本数据x与图的滤波器θ的卷积定义为：y＝gθ(L)x，其中gθ(·)是图信号的滤波函数。
正则化拉普拉斯矩阵的奇异值分解为：L＝UΛUT。其中，U是正交矩阵，由L的特征向量组成，U＝[u0,u1,..,uN-1]∈RN×N；Λ为对角矩阵，其各对角元素分别为正则化拉普拉斯矩阵的各个特征值，Λ＝diag([λ0,λ1,...,λN-1])；x∈RN×F是输入信号，F是样本数据x的特征数。因此，得到样本数据x与图的滤波器θ的卷积y，定义为：
y＝gθ(L)x＝gθ(UΛUT)x＝Ugθ(Λ)UTx；
为了简化上述式子，使用K阶切比雪夫多项式来计算滤波函数gθ(Λ)：
其中，θk是切比雪夫多项式的系数，
是对角矩阵Λ的最大元素。上述的
可以通过递归表达式进行计算，即：
因此，得到样本数据x与图滤波器θ的卷积y定义为：
5-4.将图卷积输出进行线性变换，将其映射到高维空间中，线性变换如下所示：
其中，Wd表示映射空间大小。
5-5.使用半球核对线性变换后的数据提取半脑特征，脑电通道大小为32，因此半球卷积核的大小为16。通过大小为[2,1]的卷积核对提取到的半脑特征进行融合，得到最后的特征数据。
步骤六、之后将提取到的特征输入全连接层，实现脑电情绪的分类，通过计算整个网络的损失函数，不断优化模型，找到最好的分类结果。
实施例3
本发明实施例3提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如上所述的基于深度领域自适应的脑电情绪识别方法，该方法包括：
获取待识别的脑电信号；
利用预先训练好的识别模型对获取的脑电信号进行处理，得到脑电情绪识别结果；其中，所述预先训练好的识别模型由训练集训练得到，所述训练集包括多个不同对象的脑电信号以及标注脑电信号的情绪类别的标签；
其中，所述预先训练好的识别模型对脑电信号进行处理时，提取了脑电信号的微分熵特征，基于微分熵特征提取了脑电信号通道之间的拓扑结构，基于拓扑结构提取了特征的局部信息，基于局部信息得到左脑和右脑之间在情绪表达上的模式关系并进行整合；利用整合后的特征进行情绪类别判断。
实施例4
本发明实施例4提供一种计算机程序(产品)，包括计算机程序，所述计算机程序当在一个或多个处理器上运行时，用于实现如上所述的基于深度领域自适应的脑电情绪识别方法，该方法包括：
获取待识别的脑电信号；
利用预先训练好的识别模型对获取的脑电信号进行处理，得到脑电情绪识别结果；其中，所述预先训练好的识别模型由训练集训练得到，所述训练集包括多个不同对象的脑电信号以及标注脑电信号的情绪类别的标签；
其中，所述预先训练好的识别模型对脑电信号进行处理时，提取了脑电信号的微分熵特征，基于微分熵特征提取了脑电信号通道之间的拓扑结构，基于拓扑结构提取了特征的局部信息，基于局部信息得到左脑和右脑之间在情绪表达上的模式关系并进行整合；利用整合后的特征进行情绪类别判断。
实施例5
本发明实施例5提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如上所述的基于深度领域自适应的脑电情绪识别方法的指令，该方法包括：
获取待识别的脑电信号；
利用预先训练好的识别模型对获取的脑电信号进行处理，得到脑电情绪识别结果；其中，所述预先训练好的识别模型由训练集训练得到，所述训练集包括多个不同对象的脑电信号以及标注脑电信号的情绪类别的标签；
其中，所述预先训练好的识别模型对脑电信号进行处理时，提取了脑电信号的微分熵特征，基于微分熵特征提取了脑电信号通道之间的拓扑结构，基于拓扑结构提取了特征的局部信息，基于局部信息得到左脑和右脑之间在情绪表达上的模式关系并进行整合；利用整合后的特征进行情绪类别判断。
综上所述，本发明实施例所述的基于深度领域自适应的脑电情绪识别方法及系统，将Coral损失函数和图卷积与传统卷积神经网络相结合，提出了跨被试图卷积神经网络的脑电情绪识别方法。将训练集与测试集投入该网络，通过一维卷积核提取出微分熵局部特征，并且使用图卷积学习脑电信号通道之间的关系，再通过半球核分别提取左脑和右脑的信息，将提取到的特征分别输入全连接层，分别对训练集和测试集进行预测。其中，训练集的预测结果用于情绪分类并且计算出分类损失；测试集的预测结果用于计算自适应损失，并且利用自适应损失减少个体之间的差异性。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明公开的技术方案的基础上，本领域技术人员在不需要付出创造性劳动即可做出的各种修改或变形，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种基于深度领域自适应的脑电情绪识别方法，其特征在于，包括：
获取待识别的脑电信号；
利用预先训练好的识别模型对获取的脑电信号进行处理，得到脑电情绪识别结果；其中，所述预先训练好的识别模型由训练集训练得到，所述训练集包括多个不同对象的脑电信号以及标注脑电信号的情绪类别的标签；
其中，所述预先训练好的识别模型对脑电信号进行处理时，提取了脑电信号的微分熵特征，基于微分熵特征提取了脑电信号通道之间的拓扑结构，基于拓扑结构提取了特征的局部信息，基于局部信息得到左脑和右脑之间在情绪表达上的模式关系并进行整合；利用整合后的特征进行情绪类别判断。
2.根据权利要求1所述的基于深度领域自适应的脑电情绪识别方法，其特征在于，训练所述识别模型包括：
将微分熵特征输入至跨被试图卷积神经网络中，提取脑电信号通道之间的拓扑结构特征，获取左脑和右脑之间在情绪表达上的模式关系并进行整合；利用预设的softmax分类器根据整合的信息进行情绪类别判断并且计算出相应的分类损失和自适应损失，不断优化网络参数，直至损失最小，得到最终的训练好的识别模型。
3.根据权利要求2所述的基于深度领域自适应的脑电情绪识别方法，其特征在于，获取多个受试者的带有情绪标签的脑电信号，求取所述基线信号的基线平均值，并根据所述基线平均值对所诱发的情绪信号进行基线校准，将所述脑电信号数据转化为样本数据，对样本数据建立二分类和四分类的标签，得到训练集。
4.根据权利要求3所述的基于深度领域自适应的脑电情绪识别方法，其特征在于，获取微分熵特征包括，对经过数据标准化处理后的样本数据进行滑动窗口分割，从而将数据分段并且扩充，提取分割后的脑电信号的微分熵。
5.根据权利要求3所述的基于深度领域自适应的脑电情绪识别方法，其特征在于，针对每种情绪状态建立标签，通过设定阈值将脑电情绪数据集DEAP附带的标签大小进行二分类，小于该阈值的作为一类，大于或等于该阈值的作为另一类。
6.根据权利要求2所述的基于深度领域自适应的脑电情绪识别方法，其特征在于，所述跨被试图卷积神经网络包括图卷积层、局部信息卷积层、半球卷积层以及自适应层；其中，图卷积层用于提取脑电信号通道拓扑结构特征；局部信息卷积层用于利用一维卷积核提取特征的局部信息；半球卷积层用于使用空间卷积核来学习左右脑之间的模式关系特征；自适应层用于计算优化网络参数的损失函数。
7.根据权利要求6所述的基于深度领域自适应的脑电情绪识别方法，其特征在于，优化网络参数的损失函数表示为分类损失函数和；其中，
以训练集作为网络的输入，其预测数据被用来计算整个网络的分类损失，使用KL散度作为分类损失函数的计算公式；
测试集作为整个网络的输入，训练集的预测数据和测试集的预测数据，借助Coral损失函数，联合计算得到自适应损失函数。
8.一种基于深度领域自适应的脑电情绪识别系统，其特征在于，包括：
获取模块，用于获取待识别的脑电信号；
识别模块，用于利用预先训练好的识别模型对获取的脑电信号进行处理，得到脑电情绪识别结果；其中，所述预先训练好的识别模型由训练集训练得到，所述训练集包括多个不同对象的脑电信号以及标注脑电信号的情绪类别的标签；
其中，所述预先训练好的识别模型对脑电信号进行处理时，提取了脑电信号的微分熵特征，基于微分熵特征提取了脑电信号通道之间的拓扑结构，基于拓扑结构提取特征的局部信息，基于局部信息得到左脑和右脑之间在情绪表达上的模式关系并进行整合；利用整合后的特征进行情绪类别判断。
9.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如权利要求1-7任一项所述的基于深度领域自适应的脑电情绪识别方法。
10.一种电子设备，其特征在于，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如权利要求1-7任一项所述的基于深度领域自适应的脑电情绪识别方法的指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111422352.2A CN114052735B (zh) | 2021-11-26 | 2021-11-26 | 一种基于深度领域自适应的脑电情绪识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111422352.2A CN114052735B (zh) | 2021-11-26 | 2021-11-26 | 一种基于深度领域自适应的脑电情绪识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114052735A true CN114052735A (zh) | 2022-02-18 |
| CN114052735B CN114052735B (zh) | 2023-05-23 |
Family
ID=80276711
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111422352.2A Active CN114052735B (zh) | 2021-11-26 | 2021-11-26 | 一种基于深度领域自适应的脑电情绪识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114052735B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114818786A (zh) * | 2022-04-06 | 2022-07-29 | 五邑大学 | 通道筛选方法、情绪识别方法、系统及存储介质 |
| CN115114953A (zh) * | 2022-05-20 | 2022-09-27 | 华南理工大学 | 一种基于循环神经网络的情绪脑信号识别方法 |
| CN115238835A (zh) * | 2022-09-23 | 2022-10-25 | 华南理工大学 | 基于双空间自适应融合的脑电情感识别方法、介质及设备 |
| CN115444431A (zh) * | 2022-09-02 | 2022-12-09 | 厦门大学 | 一种基于互信息驱动下的脑电情绪分类模型生成方法 |
| CN115644870A (zh) * | 2022-10-21 | 2023-01-31 | 东北林业大学 | 基于TSM-ResNet模型的脑电信号情感识别方法 |
| CN116369949A (zh) * | 2023-06-06 | 2023-07-04 | 南昌航空大学 | 一种脑电信号分级情绪识别方法、系统、电子设备及介质 |
| CN116701917A (zh) * | 2023-07-28 | 2023-09-05 | 电子科技大学 | 一种基于生理信号的开放集情感识别方法 |
| CN117473303A (zh) * | 2023-12-27 | 2024-01-30 | 小舟科技有限公司 | 基于脑电信号的个性化动态意图特征提取方法及相关装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112163518A (zh) * | 2020-09-28 | 2021-01-01 | 华南理工大学 | 情绪监测的情绪建模方法及情绪监测调节系统 |
| US20210015417A1 (en) * | 2018-03-21 | 2021-01-21 | Limbic Limited | Emotion data training method and system |
| CN112690793A (zh) * | 2020-12-28 | 2021-04-23 | 中国人民解放军战略支援部队信息工程大学 | 情绪脑电迁移模型训练方法、系统及情绪识别方法和设备 |
| CN113069117A (zh) * | 2021-04-02 | 2021-07-06 | 中山大学 | 一种基于时间卷积神经网络的脑电情绪识别方法及系统 |
| CN113128552A (zh) * | 2021-03-02 | 2021-07-16 | 杭州电子科技大学 | 一种基于深度可分离因果图卷积网络的脑电情绪识别方法 |
-
2021
- 2021-11-26 CN CN202111422352.2A patent/CN114052735B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210015417A1 (en) * | 2018-03-21 | 2021-01-21 | Limbic Limited | Emotion data training method and system |
| CN112163518A (zh) * | 2020-09-28 | 2021-01-01 | 华南理工大学 | 情绪监测的情绪建模方法及情绪监测调节系统 |
| CN112690793A (zh) * | 2020-12-28 | 2021-04-23 | 中国人民解放军战略支援部队信息工程大学 | 情绪脑电迁移模型训练方法、系统及情绪识别方法和设备 |
| CN113128552A (zh) * | 2021-03-02 | 2021-07-16 | 杭州电子科技大学 | 一种基于深度可分离因果图卷积网络的脑电情绪识别方法 |
| CN113069117A (zh) * | 2021-04-02 | 2021-07-06 | 中山大学 | 一种基于时间卷积神经网络的脑电情绪识别方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| PEIXIANG ZHONG ET.AL.: "EEG-Based Emotion Recognition Using Regularized Graph Neural Net", 《IEEE TRANSACTIONS ON AFFECTIVE COMPUTING》 * |
| PEIXIANG ZHONG ET.AL.: "EEG-Based Emotion Recognition Using Regularized Graph Neural Networks", 《IEEE TRANSACTIONS ON AFFECTIVE COMPUTING》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114818786B (zh) * | 2022-04-06 | 2024-03-01 | 五邑大学 | 通道筛选方法、情绪识别方法、系统及存储介质 |
| CN114818786A (zh) * | 2022-04-06 | 2022-07-29 | 五邑大学 | 通道筛选方法、情绪识别方法、系统及存储介质 |
| CN115114953A (zh) * | 2022-05-20 | 2022-09-27 | 华南理工大学 | 一种基于循环神经网络的情绪脑信号识别方法 |
| CN115114953B (zh) * | 2022-05-20 | 2024-04-09 | 华南理工大学 | 一种基于循环神经网络的情绪脑信号识别方法 |
| CN115444431A (zh) * | 2022-09-02 | 2022-12-09 | 厦门大学 | 一种基于互信息驱动下的脑电情绪分类模型生成方法 |
| CN115238835A (zh) * | 2022-09-23 | 2022-10-25 | 华南理工大学 | 基于双空间自适应融合的脑电情感识别方法、介质及设备 |
| CN115644870A (zh) * | 2022-10-21 | 2023-01-31 | 东北林业大学 | 基于TSM-ResNet模型的脑电信号情感识别方法 |
| CN115644870B (zh) * | 2022-10-21 | 2024-03-08 | 东北林业大学 | 基于TSM-ResNet模型的脑电信号情感识别方法 |
| CN116369949A (zh) * | 2023-06-06 | 2023-07-04 | 南昌航空大学 | 一种脑电信号分级情绪识别方法、系统、电子设备及介质 |
| CN116369949B (zh) * | 2023-06-06 | 2023-09-15 | 南昌航空大学 | 一种脑电信号分级情绪识别方法、系统、电子设备及介质 |
| CN116701917A (zh) * | 2023-07-28 | 2023-09-05 | 电子科技大学 | 一种基于生理信号的开放集情感识别方法 |
| CN116701917B (zh) * | 2023-07-28 | 2023-10-20 | 电子科技大学 | 一种基于生理信号的开放集情感识别方法 |
| CN117473303A (zh) * | 2023-12-27 | 2024-01-30 | 小舟科技有限公司 | 基于脑电信号的个性化动态意图特征提取方法及相关装置 |
| CN117473303B (zh) * | 2023-12-27 | 2024-03-19 | 小舟科技有限公司 | 基于脑电信号的个性化动态意图特征提取方法及相关装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114052735B (zh) | 2023-05-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114052735B (zh) | 一种基于深度领域自适应的脑电情绪识别方法及系统 | |
| Zhang et al. | Emotion recognition using multi-modal data and machine learning techniques: A tutorial and review | |
| Wen et al. | Deep convolution neural network and autoencoders-based unsupervised feature learning of EEG signals | |
| CN113627518B (zh) | 利用迁移学习实现神经网络脑电情感识别模型的方法 | |
| CN110070105B (zh) | 基于元学习实例快速筛选的脑电情绪识别方法、系统 | |
| CN112244873A (zh) | 一种基于混合神经网络的脑电时空特征学习与情感分类方法 | |
| CN113011239B (zh) | 一种基于最优窄频带特征融合的运动想象分类方法 | |
| CN113729707A (zh) | 一种基于fecnn-lstm的眼动和ppg多模态融合的情感识别方法 | |
| An et al. | Electroencephalogram emotion recognition based on 3D feature fusion and convolutional autoencoder | |
| CN115804602A (zh) | 基于注意力机制的多通道特征融合的脑电情绪信号检测方法、设备和介质 | |
| Bhandari et al. | Emotion recognition and classification using EEG: A review | |
| CN114209323B (zh) | 一种识别情绪的方法以及基于脑电数据的情绪识别模型 | |
| Jiang et al. | Analytical comparison of two emotion classification models based on convolutional neural networks | |
| CN115422973A (zh) | 一种基于注意力的时空网络的脑电情绪识别方法 | |
| CN113951883B (zh) | 基于脑电信号情绪识别的性别差异性检测方法 | |
| Pan et al. | Recognition of human inner emotion based on two-stage FCA-ReliefF feature optimization | |
| CN114676720A (zh) | 基于图神经网络的心理状态识别方法及系统 | |
| Schwabedal et al. | Automated classification of sleep stages and EEG artifacts in mice with deep learning | |
| CN117883082A (zh) | 一种异常情绪识别方法、系统、设备及介质 | |
| Salamatian et al. | Automatic sleep stage classification using 1D convolutional neural network | |
| Xu et al. | Lightweight eeg classification model based on eeg-sensor with few channels | |
| Rammy et al. | Sequence-to-sequence deep neural network with spatio-spectro and temporal features for motor imagery classification | |
| Saeedi et al. | Schizophrenia diagnosis via FFT and wavelet convolutional neural networks utilizing EEG signals | |
| Immanuel et al. | ANALYSIS OF DIFFERENT EMOTIONS WITH BIO-SIGNALS (EEG) USING DEEP CNN | |
| Zhang et al. | Classification of evoked emotions using an artificial neural network based on single, short-term physiological signals |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |