CN113554110B - 一种基于二值胶囊网络的脑电情绪识别方法 - Google Patents

一种基于二值胶囊网络的脑电情绪识别方法 Download PDF

Info

Publication number
CN113554110B
CN113554110B CN202110871951.6A CN202110871951A CN113554110B CN 113554110 B CN113554110 B CN 113554110B CN 202110871951 A CN202110871951 A CN 202110871951A CN 113554110 B CN113554110 B CN 113554110B
Authority
CN
China
Prior art keywords
binary
emotion
capsule
kth
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110871951.6A
Other languages
English (en)
Other versions
CN113554110A (zh
Inventor
刘羽
危仪
李畅
成娟
宋仁成
陈勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202110871951.6A priority Critical patent/CN113554110B/zh
Publication of CN113554110A publication Critical patent/CN113554110A/zh
Application granted granted Critical
Publication of CN113554110B publication Critical patent/CN113554110B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Psychiatry (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Psychology (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Power Engineering (AREA)
  • Fuzzy Systems (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)

Abstract

本发明公开了一种基于二值胶囊网络的脑电信号情绪识别方法，其步骤包括：1，对于原始EEG数据进行去基线和片段分割的预处理；2，建立二值胶囊网络模型；3，在公开数据集上采用十折交叉方法训练建立的二值胶囊网络；4，利用建立好的模型实现情绪分类任务。本发明能实现高精度、高速度情绪识别，并提高识别准确率和效率。

Description

一种基于二值胶囊网络的脑电情绪识别方法
技术领域
本发明涉及情感计算领域，具体的说是一种基于二值胶囊网络的脑电信号情绪识别方法。
背景技术
情绪在思维、行为、决策、社交等方面对人们有着很大的影响，情绪识别技术在生活中也得到了广泛的应用，已经成为了心理疾病的诊断和治疗、脑机接口等领域的一个研究热点。同时情绪识别也是人工智能领域的关键技术。人们获取情绪状态的方式主要有两种，一种是通过面部表情、行为、语气语调等来判断，令一种是通过心电、肌电、眼电、脑电等心理信号来判断，情绪是一种高级神经活动，与大脑皮层有着紧密联系，因此本文选用与大脑有最紧密关联的脑电信号来进行情绪识别。
基于EEG信号的情绪识别的传统机器学习算法大多分为两步，首先从EEG信号中提取特征，然后再将提取得到的特征用于训练分类器从而进行情绪识别。常用的脑电特征有时域特征，频域特征和时频特征等。除此之外，功率谱密度特征，小波特征和微分熵等特征也常用于脑电情绪识别。分类器有决策树、支持向量机、多层感知机等，分类效果都比较好。
近年来，深度学习网络成为各大领域的一个热点话题，在情感计算领域也不例外。深度学习网络能够自动的去提取准确的脑电特征，可以同时完成脑电信号的特征提取和分类。极大的节省了人力物力，获得的分类结果也更加准确。但是深度学习网络的计算复杂度很高并且有大量的参数，就需要很大的内存来存储参数，对硬件的需求也变得很高。
目前，大多数用于脑电情绪识别的深度学习网络都是采用卷积神经网络，然而卷积神经网络具有很高的计算复杂度，尤其是要从复杂的脑电信号中充分的提取特征需要的卷积核数量很大。同时，卷积神经网络中的池化层会破坏脑电信号局部区域之间的内在联系，这种内在联系对于脑电情绪识别来说是非常重要的因素。要把卷积神经网络训练到一个满意的识别准确率需要大量的带标签的数据，然而为大量的脑电信号打情绪标签是一件很繁琐的事，对人力物力是一个极大的消耗。
发明内容
本发明为克服现有技术的不足之处，提出一种基于二值胶囊网络的脑电情绪识别方法，以期能实现高精度、高速度情绪识别，并提高识别准确率和效率。
本发明为达到上述发明目的，采用如下技术方案：
本发明一种基于二值胶囊网络的脑电信号情绪识别方法的特点是按如下步骤进行：
步骤1、获取任一受试者A的带有R种情绪标签的脑电信号数据并进行去基线和样本分割的预处理，从而得到受试者A的N个脑电信号样本，记为S＝{S1,S2,...,Sk,...,SN}，其中，Sk表示受试者A的第k个脑电信号样本，k＝1,2,…,N；
步骤2、使用二值化函数对全精度的胶囊网络模型在前向传播过程中的浮点型参数进行二值化，得到二值胶囊网络模型；所述二值胶囊网络模型包含二值卷积层、二值初级胶囊层、二值情绪胶囊层和全精度线性层；且所述二值初级胶囊层和二值情绪胶囊层之间利用动态路由机制来连接；
步骤2.1、使用kaiming_uniform_初始化方法分别对所述二值胶囊网络模型的权重进行初始化；
步骤2.2、将所述脑电信号样本S输入初始化后的二值卷积层中，并在所述二值卷积层中对所述脑电信号样本S和初始后的二值卷积层的卷积权重W进行归一化以及二值化处理，得到二值化后的样本和二值化后的卷积权重BW，其中，/>表示二值化后的第k个脑电信号样本，所述二值卷积层利用式(1)对二值化后的第k个脑电信号样本/>进行卷积操作，从而得到第k个时空特征Ck，进而得到时空特征序列C＝{C1,C2,...,Ck,...,CN}；
式(1)中，Conv表示卷积操作；
步骤2.3、所述时空特征序列C经过所述二值初级胶囊层中进行特征提取，得到胶囊空间特征序列C′＝{C′1,C′2,...,C′k,...,C′N}；其中，C′k表示第k个胶囊空间特征；
步骤2.4、所述二值情绪胶囊层对所述胶囊空间特征序列C′和初始后的二值情绪胶囊层的情绪权重W1进行二值化处理，得到二值化后的胶囊空间特征序列和二值化后的情绪权重/>其中，/>表示二值化后的第k个胶囊空间特征；
所述二值情绪胶囊层将二值化后的胶囊空间特征序列BC′和情绪权重相乘得到高阶胶囊空间特征序列U＝{U1,U2,...,Uk,...,UN}，其中，Uk表示第k个高阶胶囊空间特征；
再根据动态路由机制得到情绪特征P＝{P1,P2,...,Pk,...,PN}；其中，Pk表示第k个情绪特征；
步骤2.5、将所述情绪特征P输入全精度线性层后，得到情绪向量并求其L2范数，将较大L2范数所代表的情绪状态作为分类结果；
步骤3、离线训练：
步骤3.1、建立如式(2)所示的边缘损失作为损失函数L：
L＝Tkmax(m+-||vk||,0)2+λ(1-Tk)max(||vk||-m-,0)2 (2)
式(2)中，Tk表示第k种情绪标签的标签值，Tk＝1表示第k种情绪处于积极的状态，Tk＝0表示第k种情绪处于消极的状态；vk表示当前二值胶囊网络模型对第k种情绪的预测概率值，k＝1,2,…,R；m+和m-分别表示对第k种情绪识别错误时的两个惩罚系数，λ表示对积极和消极两种状态分类错误的惩罚比例关系；
步骤3.2、采用ADAM优化器对损失函数L进行最小化求解，并在反向传播中，使用指数衰减方法来调整学习率，并采用梯度下降法对二值胶囊网络中的所有权重进行优化，并得到最优时空注意力模型，用于实现对脑电情绪的识别。
本发明所述的一种基于二值胶囊网络的脑电信号情绪识别方法的特点是，所述梯度下降法是使用连续函数tanh(·)代替二值化函数，从而利用式(3)计算二值胶囊网络的权重w的梯度；
式(3)中，Q(w)表示二值化后的二值胶囊网络的权重；a表示连续函数tanh(·)的尺度变换系数。
与已有技术相比，本发明的有益效果体现在：
1、本发明能够实现端到端的训练和测试，不需要提取脑电情绪特征就能完成情绪的识别。
2、本发明通过构建二值胶囊网络，能够学习脑电信号中的局部的内在联系，同时动态路由机制有对特征的筛选作用，保证了很好的识别精度。
3、本发明在反向传播时使用tanh(·)函数来拟合二值化符号函数，使得反向传播能够精确的更新参数，以达到很好的良好的的识别精度。
4、本发明通过构建二值胶囊网络，使用二值化的参数来降低网络的计算复杂度，同时降低了内存占用。
附图说明
图1为本发明二值胶囊网络的结构图；
图2为本发明反向传播用tanh(·)函数来近似替代二值化符号函数的示意图；
图3为本发明DEAP数据库中效价度维度上32名受试者的平均识别精度图；
图4为本发明DEAP数据库中唤醒维度上32名受试者的平均识别精度图。
具体实施方式
本实施例中，一种基于二值胶囊网络的脑电信号情绪识别方法主要是利用胶囊网络(CapsNet)和二值神经网络(BNN)来对情绪进行分类。胶囊网络能够充分的提取出脑电信号的时空特征，经过动态路由机制对所提取出的特征进行筛选，以达到准确的分类结果，同时在对网络二值化后使得原始的浮点数的运算转换为位操作，可以极大的降低网络的计算复杂度，浮点型数据转换成了1bit的数据，如图1所示，具体的说，是按如下步骤进行：
步骤1、获取任一受试者A的带有R种情绪标签的脑电信号数据并进行预处理，预处理包括去除基线信号、切段分割，从而得到受试者A的N个脑电信号样本，记为S＝{S1,S2,...,Sk,...,SN}，其中，Sk∈Rm×P表示第k个脑电信号样本，m表示脑电信号的通道数，P表示采样点数，k＝1,2,…,N；
本实施例中，用于训练和测试的脑电信号来自于公开数据集DEAP，数据集包含32名受试者，脑电信号采集于每个受试者观看40段一分钟的视频的时候，每位受试者一次试验采集的脑电信号X∈R32×8064,其中，前3s是静息状态的基线信号，情绪标签是由受试者一次试验对自己情绪状态后的评分，包含了两种情绪维度：Arousal唤醒和Valence效价，每种情绪有积极high和消极low两类状态；
样本分段：将每一位受试者去过基线后的60s的脑电信号用1s的滑动窗分割，对样本标签做同样的处理，使信号片段的数量和标签数量相匹配，最终每位受试者得到2400段1s的脑电样本和2400个情绪标签。本实验采用十折交叉验证方法，按顺序选择90％的样本作为训练集，剩余10％样本作为测试集，并将测试集上十次实验后得到的平均识别率作为网络的识别准确率；
步骤2、建立初始的二值胶囊网络，包括能够提取脑电信号时空特征的二值卷积层、能对时空特征进行筛选的二值初级胶囊层、二值情绪胶囊层和对筛选后的特征进行情绪分类的线性层；二值卷积层和二值情绪胶囊层在计算之前都会对权重和输入进行二值化；
步骤2.1、权值初始化：
模型基于Pytorch框架下，使用kaiming_uniform_初始化对二值胶囊网络中的权重进行初始化，kaiming_uniform_按照均匀分布初始化tensor，初始化的值在(-bound,bound)之间采样，bound的计算公式如式(1)所示：
式(1)中，α是激活函数的负斜率，在线性层中，fan_in等于输入权重的维度，在卷积层中，fan_in等于卷积核的长、宽、通道数的乘积；
步骤2.2、如图1所示，经过预处理的脑电信号样本S，首先输入到二值卷积层中，二值卷积层能够充分的提取到脑电信号的时空信息，得到时空特征序列C＝{C1,C2,...,Ck,...,CN}，Ck表示第k个空间特征；本实施例中，CN∈R1×256×56×8；二值卷积的具体过程如下所示：
步骤2.2.1、将初始后的二值卷积层的卷积权重W和脑电信号样本S进行归一化处理后，再使用sgn(x)函数进行二值化处理，得到二值化后的卷积权重BW和二值化后的样本其中，归一化的处理使得权重W和样本S的均值变成0，方差变为1，从而极大的减小了二值化带来的误差，而二值化的处理能将数据转换成1bit的值，即1或者-1，因此二值化后，原来的浮点型的运算就可以用位运算代替，可以极大的减小网络的计算复杂度，同时，二值化后，多位的浮点型的数据就变成了一位的数据，可以极大的节省存储空间。
将权重W或输入Sk记为输入x，则归一化的计算方式如式(2)所示：
式(2)中，表示输入x的均值，δ表示输入x的方差，y表示归一化后的输出；
二值化的计算过程如式(3)所示：
式(3)中，α是尺度变换因子，Q(x)表示二值化的结果，即BW或从而能将大于0的输入转换成α，将小于0的输入转换成-α：
步骤2.2.1、利用式(4)对二值化后的权重和输入BW和BS进行卷积操作，得到第k个二值化后的输入样本对应的时空特征Ck：
式(4)中，Conv()表示卷积操作，在将权重和输入二值化后，卷积的操作将由浮点型操作变成速度更快的位操作，因此可以大大的加快卷积操作的速度；
步骤2.3、将二值卷积网络得到的时空特征序列C＝{C1,C2,...,Ck,...,CN}送入二值初级胶囊层，经过形状变换后得到胶囊空间特征序列C′＝{C′1,C′2,...,C′k,...,C′N}；其中，C′k表示第k个胶囊空间特征，k＝1,2,…,N；
步骤2.4、将胶囊空间特征序列C′＝{C′1,C′2,...,C′k,...,C′N}和二值情绪胶囊层中的情绪权重W1按步骤2.2.1的二值化处理得到二值化后的胶囊空间特征序列和二值化后的情绪权重/>其中，/>表示二值化后的第k个胶囊空间特征；
然后，将和/>相乘得到高阶胶囊空间特征序列U＝{U1,U2,...,Uk,...,UN}，其中，Uk表示第k个高阶胶囊空间特征；
其次，通过动态路由机制，得到情绪特征P＝{P1,P2,...,Pk,...,PN}；其中，Pk表示第k个情绪特征；动态路由机制的筛选作用对情绪分类有非常重要的作用，以保证好的情绪分类准确率。
步骤2.5、将情绪特征P＝{P1,P2,...,Pk,...,PN}送入线性分类层后，得到情绪向量再求其二范数，将较大L2范数所代表的情绪状态作为分类结果；
步骤3、离线训练：
步骤3.1、建立如式(5)所示的边缘损失作为损失函数L：
L＝Tkmax(m+-||vk||,0)2+λ(1-Tk)max(||vk||-m-,0)2 (5)
式(5)中，Tk表示第k种情绪标签的标签值，Tk＝1表示第k种情绪处于积极的状态，Tk＝0表示第k种情绪处于消极的状态；vk表示当前二值胶囊网络模型对第k种情绪的预测概率值，k＝1,2,…,R；m+和m-分别表示对第k种情绪识别错误时的两个惩罚系数，λ表示对积极和消极两种状态分类错误的惩罚比例关系；
步骤3.2、采用ADAM优化器对损失函数L进行最小化求解，并在反向传播中，使用指数衰减方法来调整学习率，并采用梯度下降法对二值胶囊网络中的所有权重进行优化，并得到最优时空注意力模型，用于实现对脑电情绪的识别。
本实施例中，令二值胶囊网络的权重为w，梯度的计算方法如下式(6)所示：
式(6)中，L表示损失函数，w表示权重，Q(w)表示二值化后的权重，是一个连续函数，但是由于二值化函数在零点不可导，因此，/>不可导，参数的更新无法进行。于是，采用连续函数tanh(·)来近似符号函数，系数a表示tanh(·)函数得尺度变换系数，如图2所示，随着a取值的增大，tanh(·)函数越来越逼近符号函数，因此，反向传播时梯度的计算越准确。梯度的计算公式也随之成为一个连续的过程，计算方式如下式(7)所示：
式(7)是一个连续得过程，因此参数可以根据导数信息进行更新。
本实施例中，通过分析FLOPs来对二值胶囊网络进行复杂度分析，因为使用的计算机是64位的，因此计算机可以同时进行64次位操作或者2次32位的浮点运算，因此，二值胶囊网络总的FLOPs可以采用式(8)计算：
式(8)中，Owhole表示总的FLOPs，O1表示位操作的数量，O32表示32位浮点数操作的数量。同时，32位浮点数数所占的内存是1位的数所占内存的32倍。全精度胶囊网络(CapsNet)和二值胶囊网络(Bi-CapsNet)的内存消耗和FLOPs如表1所示：
表1.全精度胶囊网络和二值胶囊网络的内存占用和FLOPs对比
FLOPs 内存消耗
CapsNet 2.44×109 37.81Mbit
Bi-CapsNet 7.97×107 4.22Mbit
从表1可以看出，二值胶囊网络极大的降低了网络的计算复杂度，高达30.61倍，内存消耗降低了8.96倍。
在准确率方面，二值胶囊网络Bi-CapsNet与支持向量机(SVM),决策树(DT),以及深度学习框架(全精度胶囊网络CapsNet)进行对比，将测试集的平均识别精度作为评价指标，当识别精度越高，模型的识别能力越好。32名受试者十次平均识别精度如下表2：
表2.不同方法在DEAP数据库两种情绪的平均识别结果
效价(％) 唤醒度(％)
DT 71.63±4.71 73.70±5.09
SVM 88.65±6.18 89.07±5.89
CapsNet 98.35±1.59 98.34±1.30
Bi-CapsNet 96.00±1.70 96.42±1.76
32名受试者的十折交叉验证结果如图3和图4所示。结果分析：
实验结果表明，本发明提出的二值胶囊网络能够充分的提取脑电信号的时空信息，比起传统的机器学习方法识别准确率有较大的优势。与全精度的胶囊网络相比，二值化后的胶囊网络的计算复杂度和存储空间的消耗有着很大的减少，但是准确率仅有不到2％的下降。同时，从图3和图4可以看到，相比于较全精度胶囊网络，二值胶囊网络在每一个受试者上的准确率都只有很小的下降，因此在网络的精度降低了过后，二值胶囊网络的识别能力同样的非常稳定。
综上所述，本发明通过二值化的方法，能够极大的降低胶囊网络的计算复杂度和内存消耗情况，同时，结合了胶囊网络的优势，通过卷积层来提取脑电的时空特征，胶囊层能够考虑到脑电信号局部之间的内在联系，通过动态路由机制，筛选出对分类有利的时空特征，保证了二值胶囊网络的识别效果，在公开数据集DEAP上达到了良好的识别效果和稳定性。

Claims (2)

1.一种基于二值胶囊网络的脑电信号情绪识别方法，其特征是按如下步骤进行：
步骤1、获取任一受试者A的带有R种情绪标签的脑电信号数据并进行去基线和样本分割的预处理，从而得到受试者A的N个脑电信号样本，记为S＝{S1,S2,...,Sk,...,SN}，其中，Sk表示受试者A的第k个脑电信号样本，k＝1,2,…,N；
步骤2、使用二值化函数对全精度的胶囊网络模型在前向传播过程中的浮点型参数进行二值化，得到二值胶囊网络模型；所述二值胶囊网络模型包含二值卷积层、二值初级胶囊层、二值情绪胶囊层和全精度线性层；且所述二值初级胶囊层和二值情绪胶囊层之间利用动态路由机制来连接；
步骤2.1、使用kaiming_uniform_初始化方法分别对所述二值胶囊网络模型的权重进行初始化；
步骤2.2、将所述脑电信号样本S输入初始化后的二值卷积层中，并在所述二值卷积层中对所述脑电信号样本S和初始后的二值卷积层的卷积权重W进行归一化以及二值化处理，得到二值化后的样本和二值化后的卷积权重BW，其中，/>表示二值化后的第k个脑电信号样本，所述二值卷积层利用式(1)对二值化后的第k个脑电信号样本/>进行卷积操作，从而得到第k个时空特征Ck，进而得到时空特征序列C＝{C1,C2,...,Ck,...,CN}；
式(1)中，Conv表示卷积操作；
步骤2.3、所述时空特征序列C经过所述二值初级胶囊层中进行特征提取，得到胶囊空间特征序列C′＝{C′1,C′2,...,C′k,...,C′N}；其中，C′k表示第k个胶囊空间特征；
步骤2.4、所述二值情绪胶囊层对所述胶囊空间特征序列C′和初始后的二值情绪胶囊层的情绪权重W1进行二值化处理，得到二值化后的胶囊空间特征序列和二值化后的情绪权重/>其中，/>表示二值化后的第k个胶囊空间特征；
所述二值情绪胶囊层将二值化后的胶囊空间特征序列BC′和情绪权重相乘得到高阶胶囊空间特征序列U＝{U1,U2,...,Uk,...,UN}，其中，Uk表示第k个高阶胶囊空间特征；
再根据动态路由机制得到情绪特征P＝{P1,P2,...,Pk,...,PN}；其中，Pk表示第k个情绪特征；
步骤2.5、将所述情绪特征P输入全精度线性层后，得到情绪向量并求其L2范数，将较大L2范数所代表的情绪状态作为分类结果；
步骤3、离线训练：
步骤3.1、建立如式(2)所示的边缘损失作为损失函数L：
L＝Tkmax(m+-||vk||,0)2+λ(1-Tk)max(||vk||-m-,0)2 (2)
式(2)中，Tk表示第k种情绪标签的标签值，Tk＝1表示第k种情绪处于积极的状态，Tk＝0表示第k种情绪处于消极的状态；vk表示当前二值胶囊网络模型对第k种情绪的预测概率值，k＝1,2,…,R；m+和m-分别表示对第k种情绪识别错误时的两个惩罚系数，λ表示对积极和消极两种状态分类错误的惩罚比例关系；
步骤3.2、采用ADAM优化器对损失函数L进行最小化求解，并在反向传播中，使用指数衰减方法来调整学习率，并采用梯度下降法对二值胶囊网络中的所有权重进行优化，并得到最优时空注意力模型，用于实现对脑电情绪的识别。
2.根据权利要求1所述的一种基于二值胶囊网络的脑电信号情绪识别方法，其特征是，所述梯度下降法是使用连续函数tanh(·)代替二值化函数，从而利用式(3)计算二值胶囊网络的权重w的梯度；
式(3)中，Q(w)表示二值化后的二值胶囊网络的权重；a表示连续函数tanh(·)的尺度变换系数。
CN202110871951.6A 2021-07-30 2021-07-30 一种基于二值胶囊网络的脑电情绪识别方法 Active CN113554110B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110871951.6A CN113554110B (zh) 2021-07-30 2021-07-30 一种基于二值胶囊网络的脑电情绪识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110871951.6A CN113554110B (zh) 2021-07-30 2021-07-30 一种基于二值胶囊网络的脑电情绪识别方法

Publications (2)

Publication Number Publication Date
CN113554110A CN113554110A (zh) 2021-10-26
CN113554110B true CN113554110B (zh) 2024-03-01

Family

ID=78105018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110871951.6A Active CN113554110B (zh) 2021-07-30 2021-07-30 一种基于二值胶囊网络的脑电情绪识别方法

Country Status (1)

Country Link
CN (1) CN113554110B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114564990B (zh) * 2022-02-28 2024-02-20 合肥工业大学 一种基于多通道反馈胶囊网络的脑电信号分类方法
CN114757239B (zh) * 2022-06-15 2022-08-30 浙江大学 基于数据增强和胶囊神经网络的风机故障可迁移诊断方法
CN115130664B (zh) * 2022-08-30 2022-11-08 华南师范大学 基于胶囊网络模型的脑电信号的情感分析方法以及装置
CN116304585B (zh) * 2023-05-18 2023-08-15 中国第一汽车股份有限公司 情感识别及模型训练方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018014436A1 (zh) * 2016-07-18 2018-01-25 天津大学 一种提高情绪识别模型时间鲁棒性的情绪脑电识别方法
KR20190128978A (ko) * 2018-05-09 2019-11-19 한국과학기술원 인간 감정 인식을 위한 딥 생리적 정서 네트워크를 이용한 인간 감정 추정 방법 및 그 시스템
CN112057089A (zh) * 2020-08-31 2020-12-11 五邑大学 情绪识别方法、装置及存储介质
KR20210045703A (ko) * 2019-10-17 2021-04-27 광운대학교 산학협력단 뇌전도의 다변량 다중스케일 퍼지 엔트로피 분석에 기반한 감정 인식 방법
CN112766355A (zh) * 2021-01-13 2021-05-07 合肥工业大学 一种标签噪声下的脑电信号情绪识别方法
CN113069117A (zh) * 2021-04-02 2021-07-06 中山大学 一种基于时间卷积神经网络的脑电情绪识别方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190042952A1 (en) * 2017-08-03 2019-02-07 Beijing University Of Technology Multi-task Semi-Supervised Online Sequential Extreme Learning Method for Emotion Judgment of User

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018014436A1 (zh) * 2016-07-18 2018-01-25 天津大学 一种提高情绪识别模型时间鲁棒性的情绪脑电识别方法
KR20190128978A (ko) * 2018-05-09 2019-11-19 한국과학기술원 인간 감정 인식을 위한 딥 생리적 정서 네트워크를 이용한 인간 감정 추정 방법 및 그 시스템
KR20210045703A (ko) * 2019-10-17 2021-04-27 광운대학교 산학협력단 뇌전도의 다변량 다중스케일 퍼지 엔트로피 분석에 기반한 감정 인식 방법
CN112057089A (zh) * 2020-08-31 2020-12-11 五邑大学 情绪识别方法、装置及存储介质
CN112766355A (zh) * 2021-01-13 2021-05-07 合肥工业大学 一种标签噪声下的脑电信号情绪识别方法
CN113069117A (zh) * 2021-04-02 2021-07-06 中山大学 一种基于时间卷积神经网络的脑电情绪识别方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨豪 ; 张俊然 ; 蒋小梅 ; 刘飞 ; .基于深度信念网络脑电信号表征情绪状态的识别研究.生物医学工程学杂志.2018,(02),全文. *
黄丽亚 ; 苏义博 ; 马捃凯 ; 丁威威 ; 宋传承 ; .基于同步性脑网络的支持张量机情绪分类研究.电子与信息学报.2020,(10),全文. *

Also Published As

Publication number Publication date
CN113554110A (zh) 2021-10-26

Similar Documents

Publication Publication Date Title
CN113554110B (zh) 一种基于二值胶囊网络的脑电情绪识别方法
Abdelhameed et al. A deep learning approach for automatic seizure detection in children with epilepsy
CN110610168B (zh) 一种基于注意力机制的脑电情绪识别方法
CN111126386B (zh) 场景文本识别中基于对抗学习的序列领域适应方法
CN112766355B (zh) 一种标签噪声下的脑电信号情绪识别方法
CN110472649B (zh) 基于多尺度分析和集成树模型的脑电情感分类方法及系统
CN111832416A (zh) 一种基于增强卷积神经网络的运动想象脑电信号识别方法
CN114176607B (zh) 一种基于视觉Transformer的脑电信号分类方法
Kaziha et al. A convolutional neural network for seizure detection
CN113392733B (zh) 基于标签对齐的多源域自适应跨被试eeg认知状态评估方法
CN114580566A (zh) 一种基于间隔监督对比损失的小样本图像分类方法
CN107045624B (zh) 一种基于最大加权团的脑电信号预处理与分类方法
CN113011330B (zh) 一种基于多尺度神经网络和空洞卷积的脑电信号分类方法
CN111753713B (zh) 基于稀疏表示和深度级联的心电信号身份识别方法和系统
CN113069117A (zh) 一种基于时间卷积神经网络的脑电情绪识别方法及系统
CN115211870A (zh) 一种基于多尺度特征融合网络的新生儿脑电信号惊厥放电检测系统
CN114764575B (zh) 基于深度学习和时序注意力机制的多模态数据分类方法
CN112906804B (zh) 一种针对组织病理学图像的哈希样本平衡癌症标注方法
CN113851148A (zh) 一种基于迁移学习和多损失动态调整的跨库语音情感识别方法
CN114626408A (zh) 脑电信号分类方法、装置、电子设备、介质及产品
CN111667000A (zh) 自适应领域深度神经网络的地震预警方法
CN110174947A (zh) 基于分形几何和概率协作的运动想象任务识别方法
CN117494013B (zh) 一种多尺度权值共享卷积神经网络及其脑电情感识别方法
CN113554073B (zh) 一种融合稀疏学习和二分法的情绪状态特征选择优化方法
CN114841216B (zh) 一种基于模型不确定性学习的脑电信号分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant