CN114052734B - 基于渐进式图卷积神经网络的脑电情感识别方法 - Google Patents

基于渐进式图卷积神经网络的脑电情感识别方法 Download PDF

Info

Publication number
CN114052734B
CN114052734B CN202111403187.6A CN202111403187A CN114052734B CN 114052734 B CN114052734 B CN 114052734B CN 202111403187 A CN202111403187 A CN 202111403187A CN 114052734 B CN114052734 B CN 114052734B
Authority
CN
China
Prior art keywords
grained
coarse
fine
emotion
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111403187.6A
Other languages
English (en)
Other versions
CN114052734A (zh
Inventor
李阳
周祎瑾
李甫
牛毅
付博勋
冀有硕
吴昊
陈远方
张利剑
石光明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202111403187.6A priority Critical patent/CN114052734B/zh
Publication of CN114052734A publication Critical patent/CN114052734A/zh
Application granted granted Critical
Publication of CN114052734B publication Critical patent/CN114052734B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Artificial Intelligence (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Psychology (AREA)
  • Evolutionary Computation (AREA)
  • Educational Technology (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及信息技术领域，具体提供了一种基于渐进式图卷积神经网络的脑电情感识别方法。该方法包括如下步骤：S1，获取情绪脑电数据，并对其进行预处理；S2，构建渐进式图卷积神经网络；S3，训练图卷积神经网络；S4，对训练好的神经网络进行测试。本发明首次考虑到情绪的层次特性，构造了双粒度分支神经网络模型，充分利用了情绪的层次特性，提高了脑电情感识别的效果。本发明构造了基于大脑区域功能连接性的动态图和基于大脑区域空间邻近性的静态图，本发明充分利用了大脑的动态功能连接信息和空间邻近信息的互补性，提高了脑电情感识别的效果。

Description

基于渐进式图卷积神经网络的脑电情感识别方法
技术领域
本申请属于信息技术领域，具体而言，涉及一种基于渐进式图卷积神经网络的脑电情感识别方法。本发明可用于医疗服务。
背景技术
脑电信号是由大脑神经元群的生物电活动产生的一种信号，属于自发性电位活动。通常将脑电信号按频段分为δ、θ、α、β、γ五种不同的节律，不同节律的脑电信号能够反映人体脑部的不同生理心理状态。其中，δ节律的脑电信号主要位于1～4Hz频段，反映大脑处于深度睡眠状态或出现特殊的脑部病患；θ节律的脑电信号主要位于4～8Hz频段，反映大脑处在睡眠初期、冥想、困倦或压抑的状态；α节律的脑电信号主要位于8～12Hz频段，除反映大脑处于清醒、安静或闭眼的状态，还包含了与躯体运动相关的μ波；β节律的脑电信号主要位于12～30Hz频段，反映大脑处于精神紧张、情绪激动、思维活跃、注意力集中时的状态，还含有反映躯体运动相关的信息；γ节律的脑电信号主要位于30～60Hz频段，反映大脑处于较高层次的思维活动，如情绪变化、抽象思考等状态。
根据脑电信号的节律能够判断人体大脑所处的状态，衍生出了一系列脑电信号采集和处理方法。目前普遍使用的是将电极通过导电膏与人体头皮相连以获取脑电信号，称为非侵入式脑电信号采集方法。脑电信号的采集和处理技术可应用于脑机接口BCI的研发、医疗服务和人类认知活动的研究。脑机接口可追溯到上世纪七八十年代，早期BCI主要用于医疗服务，且专为神经或肌肉失能的重症病人而设计，例如脑控轮椅、脑控文字输入设备、脑控机械臂等。随着研究的推进与扩展，BCI在医疗、康复应用中发挥更大作用的同时，显示出更广阔的应用潜力。在教育领域，能够即时反馈教师授课质量的学生头环已投入市场，也可应用在日常生活场景，以改善儿童多动症、增强注意力；在保健行业，已有基于脑电信号的睡眠质量监测和改善仪器；在家用娱乐方面，脑控交互系统提供了全新的游戏形式，可用于强化虚拟现实、增强现实，提升用户体验；在特种行业，利用脑电仪器监测使用者的情绪变化和工作状态，当发现使用者情绪异常或疲劳工作时及时干预，避免造成重大损失；在军事方面，美国等试图借助BCI提升单兵作战能力。出于成本和便携性考虑，这类BCI通常使用非侵入式方法采集脑电信号。
随着脑机接口的发展，衍生出多种脑电研究范式。以视频的形式刺激测试者，使其情绪产生变化，对情绪变化引起的脑电信号进行收集和研究，是一类常用的脑电研究范式。该范式生理学基础在于，测试者的情感被诱发后会激活对应的大脑情感反应区，引发大脑功能区的能量变化，这一现象会出现在大多数无生理心理疾病情感反应正常的被试者中。例如，各类情绪都会激发大脑的额叶和颞叶功能区活动，以及丘脑在人类情感反应中也起到了十分重要的作用，其位于顶叶的部分区域。因此，借助脑电信号采集和解码技术在人脑与通用/专用计算设备之间建立直连通路的情绪识别脑机接口受到了广泛关注，其实现了与外界环境的交互，可以作为人机交互中的一种重要工具，在人工智能人机交互领域中有着广泛的应用前景。
脑电情感识别方法主要包括传统机器学习的方法和基于图卷积神经网络的方法。传统机器学习的方法的主要包含了多层感知机提取特征使用线性SVM分类的方法，使用长短时记忆(LSTM)神经网络以及全连接层提取脑电信号时域相关信息的方法，采用半球域对抗神经网络对大脑左右半球差异性信息提取的方法。神经科学已经证明，相邻的脑区对大脑功能活动起到十分重要的作用。传统的机器学习方法忽略了脑电信号的空间特性，只将脑电信号简单地类比为欧几里得域的图像信号或声音信号，导致这些方法未能解决在脑电信号中如何建模电极间关系这一重要问题。
随着图卷积神经网络的兴起，基于图卷积神经网络的脑电情感识别方法也被提出。图卷积神经网络输入包含了原始的脑电数据以及对电极建模构造的图结构，根据图结构中结点间的连接关系实现结点间信息的传递。图卷积操作完成特征提取后，将特征送入全连接层实现分类。其中具有代表性的有宋等人在"Variational Instance-AdaptiveGraph for EEG Emotion Recognition."一文中提出的VIAG，以及宋等人在"EEG EmotionRecognition Using Dynamic Graph Convolution Neural Networks."一文中提出的DGCNN等深度学习方法。这两种方法均采用基于图的方法，由图卷积操作得到特征后，经过加工单元处理再送入分类器实现分类。这些已有的图卷积神经网络方法考虑到了大脑动态功能区域的连接。然而神经科学已经证明，情绪存在粗粒度与细粒度之间的层次特性，例如，一种情绪可以粗粒度定义为积极或消极情绪，也可以准确地细粒度定义为高兴、幸福、悲伤、愤怒或恐惧等。现有技术中的图卷积神经网络方法未能充分利用情绪的层次特性，也没有充分利用大脑的动态功能连接信息和空间邻近信息的互补性，导致脑电情感识别的效果差。
发明内容
本发明的目的在于，针对上述现有技术中的不足，提供一种基于渐进式图卷积神经网络的脑电情感识别方法，以解决现有技术由于未充分利用情绪的层次特性和大脑的动态功能连接信息与空间邻近信息的互补性，而导致脑电情感识别的效果差的问题。
为实现上述目的，本发明的技术思路是：先将多通道脑电信号做预处理，再利用渐进性的图卷积神经网络完成对脑电信号的识别，这样能够充分利用情绪的层次特性，以提高脑电情感识别的效果。具体地，本申请提供一种基于渐进式图卷积神经网络的脑电情感识别方法，该方法包括如下步骤：
S1，获取情绪脑电数据，并对其进行预处理；
S2，构建渐进式图卷积神经网络；
S3，训练图卷积神经网络；
S4，对训练好的神经网络进行测试。
更进一步地，步骤S2中构建的渐进式图卷积神经网络包括图连接获取模块、特征提取模块、双粒度判别预测模块。
更进一步地，图连接获取模块根据大脑区域的动态功能连接和空间邻近性构建两类大脑区域连接图。
更进一步地，特征提取模块利用情感的层次特性，构建粗粒度神经网络分支和细粒度神经网络分支。
更进一步地，粗粒度神经网络包括动态的图卷积神经网络和静态的图卷积神经网络。
更进一步地，细粒度神经网络包括动态的图卷积神经网络和静态的图卷积神经网络。
更进一步地，双粒度判别预测模块根据粗粒度神经网络分支和细粒度神经网络分支生成预测标签以计算损失函数并实现特征分类。
更进一步地，步骤S1中的预处理包括将原始脑电数据进行数据段选取、去基线、去工频、初步提取特征。
更进一步地，步骤S3中训练过程包括设置训练参数和更新参数。
更进一步地，步骤S4的测试结果不满足所需的识别准确率时需重复步骤S3。
与现有技术相比，本发明的有益效果：
(1)本发明构造了基于大脑区域功能连接性的动态图和基于大脑区域空间邻近性的静态图，这两个具有互补性的动态图和静态图提供了脑电电极间丰富的空间拓扑信息，用于捕捉脑电通道间的内在关系。本发明充分利用了大脑的动态功能连接信息和空间邻近信息的互补性，提高了脑电情感识别的效果。
(2)本发明首次考虑到情绪的内在特性，利用情绪具有粗粒度与细粒度之分的层次特性，构造了双粒度分支神经网络模型，使得模型能够从粗粒度情绪到细粒度情绪逐步地学习鉴别特征。本发明构建的模型充分利用了情绪的层次特性，提高了脑电情感识别的效果。
(3)本发明采用了双粒度分支神经网络模型，神经网络对应生成双粒度的损失函数和类别标签，实现神经网络分类任务，本发明脑电情感识别效果较好。
附图说明
图1为本发明提供的一种基于渐进式图卷积神经网络的脑电情感识别方法的步骤的示意图；
图2为渐进式图卷积神经网络的框架。
具体实施方式
为了使本发明的实施过程更加清楚，下面将会结合附图进行详细说明。
实施例1：
本发明提供了一种基于渐进式图卷积神经网络的脑电情感识别方法，该方法包括如下步骤：
S1，获取情绪脑电数据，并对其进行预处理；
获取的情绪脑电数据可以是被试者的实验数据，也可以是现有的数据集，还可以是被试者的实验数据和现有数据集组成的新的数据集。本发明以公开的上海交通大学的SEED-IV情绪脑电数据集和东南大学的MPED情绪脑电数据集为例，其中上海交通大学的SEED-IV情绪脑电数据集为快乐、悲伤、恐惧、中性四类数据集，东南大学的MPED情绪脑电数据集为喜悦、有趣、愤怒、恐惧、厌恶、悲伤、中性七类数据集。将获取的情绪脑电数据进行数据段选取、去基线、去工频、初步提取特征。上海交通大学的SEED-IV情绪脑电数据集和东南大学的MPED情绪脑电数据集都采用了62通道采集设备，电极分布采用国际通用的10-20导联系统，分别有15和30名被试者参与了数据采集，情绪脑电数据被切割为1s的片段。上海交通大学的SEED-IV情绪脑电数据集和东南大学的MPED情绪脑电数据集被分别以16：8和21：7的比例分为训练集数据和测试集数据进行被试者依赖实验，使用留一法交叉验证策略进行被试者独立实验。
对MPED情绪脑电数据集和SEED-IV情绪脑电数据集重新进行标注，粗粒度地标注为积极情绪标签、消极情绪标签、中性情绪标签。对于上海交通大学的SEED-IV情绪脑电数据集，粗粒度的积极情绪包括细粒度情绪：快乐；粗粒度的消极情绪包括以下细粒度情绪：悲伤、恐惧；粗粒度的中性情绪为数据集中的中性情绪。对于东南大学的MPED情绪脑电数据集，粗粒度的积极情绪包括以下细粒度情绪：喜悦、有趣；粗粒度的消极情绪包括以下细粒度情绪：愤怒、厌恶、悲伤、恐惧；粗粒度的中性情绪为数据集中的中性情绪。本发明将上海交通大学的SEED-IV情绪脑电数据集和东南大学的MPED情绪脑电数据集分别按照层次特性标注为三类粗粒度情绪和下属于三类粗粒度情绪的细粒度情绪，细粒度情绪分为七类，为神经网络对情绪脑电数据的学习和分类做准备。
S2，构建渐进式图卷积神经网络；
本发明公开的渐进式图卷积神经网络由图连接获取模块、特征提取模块、双粒度判别预测三个模块组成。图连接获取模块根据大脑区域的动态功能连接和空间邻近性构建基于大脑区域功能连接性的动态图和基于大脑区域空间邻近性的静态图，这两个具有互补性的动态图和静态图提供了脑电电极间丰富的空间拓扑信息，用于表示每对结点间的依赖，捕捉脑电通道间的内在关系，这为利用大脑的动态功能连接信息和空间邻近信息的互补性，提供基础；特征提取模块利用情感的层次特性，构建粗粒度神经网络分支部分和细粒度神经网络分支部分，相比于区分细粒度情绪的种类，区分粗粒度情绪的种类更容易。
这样构建的神经网络模型先区分粗粒度情绪种类，再判断准确的细粒度情绪种类，使得神经网络模型从粗粒度情绪到细粒度情绪渐进性地学习判别式特征，从而提升脑电情感识别的效果，即情感识别的准确率和精确度较高；双粒度判别预测模块根据粗粒度神经网络分支部分和细粒度神经网络分支对应生成的损失函数以及对应粒度的标签，用于特征分类。
S3，训练图卷积神经网络；
设置训练次数为200-300，单次样本输入量为200-500，损失函数为交叉熵损失函数，学习率初始为0.0001。利用步骤S1中划分出的训练集对构建好的神经网络进行训练，对每个输入样本而言，对细粒度神经网络分支进行训练的次数大于粗粒度神经网络分支，粗粒度情绪的分类比细粒度情绪的分类容易，本发明对粗粒度神经网络分支的训练次数较少，而对细粒度神经网络分支的训练次数较多，这样，能够提高图卷积神经网络对细粒度情绪的分类能力，进而提升识别效果。本发明以每训练5次细粒度神经网络分支，训练1次粗粒度神经网络分支为例进行阐述。使用步骤S1中划分出的测试集对训练中的神经网络进行检验，若出现过拟合，则调整学习率重新训练神经网络，直至过拟合不再出现，这样能够及时调整参数，高效率地得到初步训练后的渐进式图卷积神经网络。
S4，对训练好的神经网络进行测试。
将步骤S1中描述的测试集中的情绪脑电数据直接送入初步训练后的渐进式图卷积神经网络进行分类，并对分类结果进行统计，得到该神经网络在测试集上的识别准确率。目前已有的最先进情绪识别算法，对于被试者依赖实验，在上海交通大学的SEED-IV情绪脑电数据集和东南大学的MPED情绪脑电数据集上对细粒度情绪的分类准确率分别达到了74.35％(李阳等人在“A novel bi-hemispheric discrepancy model for eeg emotionrecognition”文章中公开)和40.38％(宋腾飞等人在“Instance-adaptive graph for eegemotion recognition”文章中公开)，本发明公开的识别方法的分类准确率分别可以达到77.08％和43.56％，在上海交通大学的SEED-IV情绪脑电数据集和东南大学的MPED情绪脑电数据集上的表现均优于现有的识别算法；对于被试者独立实验，已有的最先进情绪识别算法在上海交通大学的SEED-IV情绪脑电数据集和东南大学的MPED情绪脑电数据集上对细粒度情绪的分类准确率分别达到了69.03％(李阳等人在“A novel bi-hemisphericdiscrepancy model for eeg emotion recognition”文章中公开)和28.27％(李阳等人在“A novel bi-hemispheric discrepancy model for eeg emotion recognition”文章中公开)，本发明公开的识别方法的分类准确率分别可达到69.44％和28.39％，在上海交通大学的SEED-IV情绪脑电数据集和东南大学的MPED情绪脑电数据集上的表现均优于现有的识别算法。
若测试的识别准确率较低，不能达到需求，需重复步骤S3，对神经网络重新进行训练，直到满足所需的识别准确率，即可得到在离线数据集上表现良好的渐进式图卷积神经网络。
实施例2：
在实施例1的基础上，步骤S2包括以下步骤：
S21，获取图连接；
如图2所示，根据大脑区域的动态功能连接和空间邻近性构建具有互补性的基于大脑区域功能连接性的动态图(如图2所示，包括粗粒度动态图
Figure BDA0003371455660000121
和细粒度动态图
Figure BDA0003371455660000122
)和基于大脑区域空间邻近性的静态图(如图2所示的Gs)。其中，基于大脑区域功能连接性的动态图由输入样本动态生成，利用对输入样本左乘可训练矩阵提取空间信息，加上可训练偏置增加模型灵活性，最后对整体右乘可训练矩阵提取输入样本频率特征，利用Relu函数保证动态图连接矩阵表示的非负性，其公式表示为：
Gd＝Relu[(PX+B)Q]，
其中，P、Q、B为可训练矩阵，Relu为激活函数，Gd为根据输入样本自适应生成的粗粒度动态图
Figure BDA0003371455660000123
和细粒度动态图
Figure BDA0003371455660000124
的统称，X为输入样本。静态图Gs是根据空间邻近性预定义生成，根据采集设备电极的邻近关系得到，神经科学已经证明了各脑区与人类活动间的联系，将各脑区内相互邻近的结点连接，构成静态图Gs的矩阵表示，以二进制表示两个结点间是否进行连接。由于静态图Gs空间邻近关系固定且单一，所以静态图Gs没有粗粒度和细粒度之分。在后面的训练过程中，粗粒度动态图
Figure BDA0003371455660000131
和细粒度动态图
Figure BDA0003371455660000132
随着训练次数自适应迭代更新，以获取更合理的大脑功能区域连接关系，静态图Gs不随训练次数发生改变。
S22，提取深度情感特征；
图2为本发明构建的神经网络为渐进式图卷积神经网络，利用双粒度分支神经网络模型提取情绪脑电信号的层次特性。双粒度分支神经网络模型包含粗粒度神经网络分支和细粒度神经网络分支。双粒度分支神经网络模型能够先进行粗粒度情绪类别的学习鉴别，再进行细粒度情绪类别的学习鉴别。粗粒度神经网络分支用于生成粗粒度情绪的深度特征，提取情感模式的共性，细粒度神经网络分支用于提取细粒度情绪的深度特征，提取情感模式的细微差异，细粒度情绪的深度特征与粗粒度情绪的深度特征进行聚合，情感模式的共性和情感模式的细微差异相结合，能够实现细粒度情绪的高效识别。这样，能够有效地提高情感识别的效果，情感识别的准确率较高。
粗粒度神经网络分支包含动态的图卷积神经网络和静态的图卷积神经网络。其中动态的图卷积神经网络包括动态图卷积，该动态图卷积的输入为粗粒度动态图
Figure BDA0003371455660000133
和输入样本X，输出为图卷积操作提取到的对应粗粒度情绪的深度特征。该动态图卷积操作的计算利用切比雪夫多项式来近似，公式可表示为：
Figure BDA0003371455660000141
其中
Figure BDA0003371455660000142
为对应某频带的粗粒度动态图连接的矩阵表示，
Figure BDA0003371455660000143
表示G的k阶多项式，X为输入样本，Cat[·]表示连接操作，
Figure BDA0003371455660000144
为粗粒度动态图卷积操作提取到的深度特征。静态的图卷积神经网络包括静态图卷积，该静态图卷积的输入为静态图Gs和输入样本X，输出为图卷积操作提取到的对应粗粒度情绪的深度特征。该静态图卷积操作的计算利用切比雪夫多项式来近似，公式可表示为：
Figure BDA0003371455660000145
其中
Figure BDA0003371455660000146
为粗粒度静态图连接的矩阵表示，
Figure BDA0003371455660000147
表示G的k阶多项式，X为输入样本，
Figure BDA0003371455660000148
为粗粒度静态图卷积操作提取到的深度特征。
细粒度神经网络分支包含动态的图卷积神经网络和静态的图卷积神经网络。其中动态的图卷积神经网络包括动态图卷积，该动态图卷积的输入为细粒度动态图
Figure BDA0003371455660000149
和输入样本X，输出为图卷积操作提取到的对应细粒度情绪的深度特征。该动态图卷积操作的计算利用切比雪夫多项式来近似，公式可表示为：
Figure BDA00033714556600001410
其中
Figure BDA0003371455660000151
为对应某频带的细粒度动态图连接的矩阵表示，
Figure BDA0003371455660000152
表示G的k阶多项式，X为输入样本，
Figure BDA0003371455660000153
为细粒度动态图卷积操作提取到的深度特征。静态的图卷积神经网络包括静态图卷积，该静态图卷积的输入为静态图Gs和输入样本X，输出为图卷积操作提取到的对应细粒度情绪的深度特征。该静态图卷积操作的计算利用切比雪夫多项式来近似，公式可表示为：
Figure BDA0003371455660000154
其中
Figure BDA0003371455660000155
为细粒度静态图连接的矩阵表示，
Figure BDA0003371455660000156
表示G的k阶多项式，X为输入样本，
Figure BDA0003371455660000157
为细粒度静态图卷积操作提取到的深度特征。
这里，粗粒度神经网络分支和细粒度神经网络分支输入的静态图连接相同，且粗粒度静态图卷积与细粒度静态图卷积操作相同，但由于初始化参数的不同和后续的连接不同，提取的深度特征在训练中呈现不同的变化，可以更好地对输入样本进行分类，提高情感识别的准确率。
S23，双粒度鉴别。
使用监督项预测情绪的类别标签，监督项使用全连接层和softmax函数获得输入样本属于每个类别的预测概率。全连接层接收提取的深度特征，输出表示为：
Figure BDA0003371455660000158
Figure BDA0003371455660000161
其中，Oc,O分别表示粗粒度全连接层和细粒度全连接层的输出，Wc，W，bc，b为全连接层中的变换矩阵，hc，
Figure BDA0003371455660000162
为提取的深度特征。全连接层的输出经过softmax激活函数得到粗粒度情绪和细粒度情绪的判别预测，公式表达为：
Figure BDA0003371455660000163
Figure BDA0003371455660000164
其中，Xt代表输入样本X中的第t个输入样本，Yc(p|Xt)，Y(p|Xt)分别代表输入样本Xt在粗粒度神经网络和细粒度神经网络分支中属于第p类的预测概率。因此，输入样本Xt的粗粒度和细粒度的预测标签lt和
Figure BDA0003371455660000165
就可以通过argmax函数得到，表示为：
Figure BDA0003371455660000166
Figure BDA0003371455660000167
根据预测的粗粒度情绪标签和真实的粗粒度标签计算粗粒度情绪对应的交叉熵损失Lc，辅助细粒度情绪的分类，粗粒度情绪与细粒度情绪聚合的特征生成细粒度情绪标签，并与真实的细粒度标签计算交叉熵损失L，公式表达为：
Figure BDA0003371455660000171
Figure BDA0003371455660000172
Figure BDA0003371455660000173
其中，Xt代表输入样本X中的第t个输入样本，lg，
Figure BDA0003371455660000174
表示输入样本Xt对应于粗粒度神经网络分支和细粒度神经网络分支的真实标签，M1为训练样本数量。粗粒度标签和细粒度标签交叉熵损失函数的计算相互独立，梯度的反向传播互不干扰，这样，神经网络处于预测细粒度情绪的状态下，进而使得本发明的神经网络模型在细粒度情感分类任务上的表现较好，提高情感识别效果。
实施例3：
在实施例1或2的基础上，步骤S3包括以下步骤：
S31，设置训练参数
设置训练次数为300，单次样本输入量为500，损失函数为交叉熵损失函数。图卷积神经网络优化器采用Adam优化器，学习率初始为0.0001。由于粗粒度神经网络分支起辅助作用，粗粒度神经网络分支的动态图卷积和静态图卷积输出维度设为128，细粒度神经网络分支的动态图卷积和静态图卷积输出维度设为512，高于粗粒度神经网络分支的动态图卷积和静态图卷积的输出维度，这样能够获得更多的细粒度情绪的深度特征，提高情感识别效果。粗粒度全连接层的输出维度设为3，细粒度全连接层的输出维度设为7，对应于粗粒度的3类情绪标签和细粒度的7类情绪标签，这样，粗粒度全连接层和细粒度全连接层的输出维度与粗粒度情绪和细粒度情绪的标签数目相同，以实现预脑电情绪识别分类的功能。
S32，更新参数。具体地，分为以下三步：
S321，每次从训练集中取500个脑电样本数据送入构建好的渐进式图卷积神经网络，根据输入样本生成粗粒度动态图
Figure BDA0003371455660000181
和细粒度动态图
Figure BDA0003371455660000182
结合静态图Gs和输入样本X，进行双粒度分支神经网络模型的动态图卷积和静态图卷积操作。得到脑电样本数据的深度特征，将粗粒度情绪的深度特征送入对应分支的全连接层后，再对粗粒度情绪的深度特征和细粒度情绪的深度特征进行整合，送入细粒度全连接层进行分类；
S322，根据softmax层给出的分类结果和输入样本的真实标签计算出双粒度的交叉熵损失，再由渐进式图卷积神经网络优化器对各自分支中的可训练参数进行更新。粗粒度情绪对应的交叉熵损失仅对粗粒度神经网络分支的粗粒度全连接层和对应的静态图卷积和动态图卷积计算梯度，对其权重参数及卷积核进行梯度反向传播，实现模型迭代优化。细粒度情绪对应的交叉熵损失对细粒度神经网络分支的细粒度全连接层和对应的静态图卷积和动态图卷积计算梯度，对其权重参数及卷积核进行梯度反向传播，实现模型优化。
S323，遍历训练集中的所有样本，完成1次训练。每迭代训练5次细粒度神经网络分支，进行1次粗粒度神经网络分支的训练，更新权重参数，并且粗粒度神经网络分支训练参数与细粒度神经网络分支训练参数在梯度反向传播上相互隔离，这样本发明的神经网络能够充分利用情绪的层次特性，在粗粒度情绪分类的辅助下集中于细粒度情绪的分类任务。同时，根据输入样本生成的粗粒度动态图
Figure BDA0003371455660000191
和细粒度动态图
Figure BDA0003371455660000192
随着训练次数自适应迭代更新，以获取更合理的大脑功能区域连接关系，提升情绪识别的准确率；使用的动态图卷积在训练过程中实时更新，增强了模型对大脑功能区域的探索能力以及对不同被试者的适应能力，因此，依据本发明方法得到的神经网络模型识别情感的准确率较高。
随着训练次数的增加，训练集和测试集上的准确率一直相差在20％以内时，则训练300次后，得到初步训练后的渐进式图卷积神经网络。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于渐进式图卷积神经网络的脑电情感识别方法，其特征在于，所述方法包括如下步骤：
S1，获取情绪脑电数据，并对其进行预处理；
S2，构建渐进式图卷积神经网络；
S3，训练图卷积神经网络；
S4，对训练好的神经网络进行测试；
其中，所述步骤S2包括步骤S21，获取图连接；S22，提取深度情感特征；S23，双粒度鉴别；
所述步骤S21通过对预处理后的脑电数据左乘可训练矩阵，加上可训练偏置，然后对整体右乘可训练矩阵得到粗粒度动态图
Figure FDA0003845371030000011
和细粒度动态图
Figure FDA0003845371030000012
基于大脑区域空间邻近性得到静态图Gs，所述静态图Gs为以二进制表示各脑区内相互邻近结点的连接状态的矩阵；
所述步骤S22先进行粗粒度图连接深度特征的提取，包括粗粒度动态深度特征
Figure FDA0003845371030000013
和粗粒度静态深度特征
Figure FDA0003845371030000014
再进行细粒度图连接深度特征的提取，包括细粒度动态深度特征
Figure FDA0003845371030000015
和细粒度静态深度特征
Figure FDA0003845371030000016
提取粗粒度动态深度特征
Figure FDA0003845371030000017
的表达式为：
Figure FDA0003845371030000018
其中，
Figure FDA0003845371030000019
为对应频带的粗粒度动态图连接的矩阵表示，即为步骤S21得到的粗粒度动态图
Figure FDA00038453710300000110
Figure FDA00038453710300000111
表示G的k阶多项式，X为预处理后的脑电数据，Cat[·]表示连接操作；将表达式中的
Figure FDA0003845371030000021
更换为对应频带的细粒度动态图连接的矩阵表示
Figure FDA0003845371030000022
即步骤S21得到的细粒度动态图
Figure FDA0003845371030000023
即可提取到细粒度动态深度特征
Figure FDA0003845371030000024
提取粗粒度静态深度特征
Figure FDA0003845371030000025
的表达式为：
Figure FDA0003845371030000026
其中，
Figure FDA0003845371030000027
为粗粒度静态图连接的矩阵表示，
Figure FDA0003845371030000028
表示G的k阶多项式，X为预处理后的脑电数据；将表达式中的
Figure FDA0003845371030000029
更换为细粒度静态图连接的矩阵表示
Figure FDA00038453710300000210
即可提取到细粒度静态深度特征
Figure FDA00038453710300000211
所述步骤S23，将粗粒度动态深度特征
Figure FDA00038453710300000212
和粗粒度静态深度特征
Figure FDA00038453710300000213
相加得到粗粒度深度特征hc，将所述粗粒度深度特征hc加上细粒度动态深度特征
Figure FDA00038453710300000214
和细粒度静态深度特征
Figure FDA00038453710300000215
的相加结果，得到细粒度深度特征
Figure FDA00038453710300000216
将所述粗粒度深度特征hc输入全连接层，即对所述粗粒度深度特征hc右乘变换矩阵Wc后加上变换矩阵bc，得到粗粒度全连接层输出Oc，即
Figure FDA00038453710300000217
pc表示粗粒度类别数，将所述细粒度深度特征
Figure FDA00038453710300000218
输入全连接层，即对所述细粒度深度特征
Figure FDA00038453710300000219
右乘变换矩阵W后加上变换矩阵b，得到细粒度全连接层输出O，即
Figure FDA00038453710300000220
p表示细粒度的类别数，全连接层的输出经过softmax激活函数得到粗粒度情绪的判别预测Yc(p|Xt)和细粒度情绪的判别预测Y(p|Xt)，表达为：
Figure FDA00038453710300000221
其中，oi为第i个类别的粗粒度全连接层输出，op为第p个类别的粗粒度全连接层输出，pc表示粗粒度类别数，Xt代表输入的第t个预处理后的脑电数据；将oi更换为第i个类别的细粒度全连接层输出
Figure FDA0003845371030000031
将op更换为第p个类别的细粒度全连接层输出
Figure FDA0003845371030000032
将pc更换为细粒度类别数P，即可得到细粒度情绪的判别预测Y(p|Xt)，再由argmax函数能够通过得到的粗粒度情绪的判别预测Yc(p|Xt)和细粒度情绪的判别预测Y(p|Xt)得到粗粒度和细粒度的预测标签lt和
Figure FDA0003845371030000033
以计算损失函数并实现特征分类。
2.根据权利要求1所述的基于渐进式图卷积神经网络的脑电情感识别方法，其特征在于，所述步骤S1中的所述预处理包括将原始脑电数据进行数据段选取、去基线、去工频、初步提取特征。
3.根据权利要求2所述的基于渐进式图卷积神经网络的脑电情感识别方法，其特征在于，所述步骤S3中训练过程包括设置训练参数和更新参数。
4.根据权利要求3所述的基于渐进式图卷积神经网络的脑电情感识别方法，其特征在于，所述步骤S4的测试结果不满足所需的识别准确率时需重复所述步骤S3。
CN202111403187.6A 2021-11-24 2021-11-24 基于渐进式图卷积神经网络的脑电情感识别方法 Active CN114052734B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111403187.6A CN114052734B (zh) 2021-11-24 2021-11-24 基于渐进式图卷积神经网络的脑电情感识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111403187.6A CN114052734B (zh) 2021-11-24 2021-11-24 基于渐进式图卷积神经网络的脑电情感识别方法

Publications (2)

Publication Number Publication Date
CN114052734A CN114052734A (zh) 2022-02-18
CN114052734B true CN114052734B (zh) 2022-11-01

Family

ID=80275786

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111403187.6A Active CN114052734B (zh) 2021-11-24 2021-11-24 基于渐进式图卷积神经网络的脑电情感识别方法

Country Status (1)

Country Link
CN (1) CN114052734B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115969330B (zh) * 2023-03-20 2023-07-04 安徽星辰智跃科技有限责任公司 一种睡眠情绪活跃水平检测量化的方法、系统和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110169770A (zh) * 2019-05-24 2019-08-27 西安电子科技大学 情绪脑电的细粒度可视化系统和方法
CN110399857A (zh) * 2019-08-01 2019-11-01 西安邮电大学 一种基于图卷积神经网络的脑电情感识别方法
CN113116356A (zh) * 2021-04-04 2021-07-16 复旦大学 一种基于视觉脑电信号分析的自我意识障碍辅助诊断系统
CN113592836A (zh) * 2021-08-05 2021-11-02 东南大学 一种深度多模态图卷积的脑图分类方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629417B (zh) * 2018-05-14 2019-12-03 北京予同智能科技有限公司 一种对ducg进行分层递归推理的高效方法
CN109350051B (zh) * 2018-11-28 2023-12-29 华南理工大学 用于精神状态评估与调节的头部可穿戴设备及其工作方法
US11842271B2 (en) * 2019-08-29 2023-12-12 Nec Corporation Multi-scale multi-granularity spatial-temporal traffic volume prediction
KR20210087792A (ko) * 2020-01-03 2021-07-13 엘지전자 주식회사 사용자 인증
US11537852B2 (en) * 2020-02-13 2022-12-27 International Business Machines Corporation Evolving graph convolutional networks for dynamic graphs
CN112396166A (zh) * 2020-12-07 2021-02-23 中山大学 基于混合粒度聚合器的图卷积神经网络训练方法及装置
CN112767682A (zh) * 2020-12-18 2021-05-07 南京航空航天大学 一种基于图卷积神经网络的多尺度交通流量预测方法
CN113157974B (zh) * 2021-03-24 2023-05-26 西安维塑智能科技有限公司 一种基于文字表述的行人检索方法
CN113197545B (zh) * 2021-04-08 2022-10-04 山东师范大学 基于图注意力残差网络与焦点损失的癫痫检测系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110169770A (zh) * 2019-05-24 2019-08-27 西安电子科技大学 情绪脑电的细粒度可视化系统和方法
CN110399857A (zh) * 2019-08-01 2019-11-01 西安邮电大学 一种基于图卷积神经网络的脑电情感识别方法
CN113116356A (zh) * 2021-04-04 2021-07-16 复旦大学 一种基于视觉脑电信号分析的自我意识障碍辅助诊断系统
CN113592836A (zh) * 2021-08-05 2021-11-02 东南大学 一种深度多模态图卷积的脑图分类方法

Also Published As

Publication number Publication date
CN114052734A (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
Ditthapron et al. Universal joint feature extraction for P300 EEG classification using multi-task autoencoder
Salama et al. EEG-based emotion recognition using 3D convolutional neural networks
Li et al. Densely feature fusion based on convolutional neural networks for motor imagery EEG classification
Yang et al. Motor imagery EEG decoding method based on a discriminative feature learning strategy
Wang et al. Spatial-temporal feature fusion neural network for EEG-based emotion recognition
Wu et al. Detecting dynamic behavior of brain fatigue through 3-d-CNN-LSTM
Zhao et al. Deep CNN model based on serial-parallel structure optimization for four-class motor imagery EEG classification
Nita et al. A new data augmentation convolutional neural network for human emotion recognition based on ECG signals
Jafari et al. Emotion recognition in EEG signals using deep learning methods: A review
Hwaidi et al. Classification of motor imagery EEG signals based on deep autoencoder and convolutional neural network approach
Fares et al. EEG-based image classification via a region-level stacked bi-directional deep learning framework
Yang et al. A novel deep learning scheme for motor imagery EEG decoding based on spatial representation fusion
Jinliang et al. EEG emotion recognition based on granger causality and capsnet neural network
CN111297380A (zh) 一种基于时空卷积核心块的情绪识别方法
Niu et al. A brain network analysis-based double way deep neural network for emotion recognition
Hou et al. EEG-based emotion recognition for hearing impaired and normal individuals with residual feature pyramids network based on time–frequency–spatial features
Abibullaev et al. A brute-force CNN model selection for accurate classification of sensorimotor rhythms in BCIs
CN114662547A (zh) 基于脑电信号的mscrnn情绪识别方法及装置
Tang et al. Motor imagery EEG decoding based on multi-scale hybrid networks and feature enhancement
Bhandari et al. Emotion recognition and classification using EEG: A review
Wang et al. Self-supervised EEG emotion recognition models based on CNN
CN114052734B (zh) 基于渐进式图卷积神经网络的脑电情感识别方法
Han et al. E2ENNet: An end-to-end neural network for emotional brain-computer interface
Mirzabagherian et al. Temporal-spatial convolutional residual network for decoding attempted movement related EEG signals of subjects with spinal cord injury
Li et al. Emotion recognition based on multiple physiological signals

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant