CN117494013B - 一种多尺度权值共享卷积神经网络及其脑电情感识别方法 - Google Patents
一种多尺度权值共享卷积神经网络及其脑电情感识别方法 Download PDFInfo
- Publication number
- CN117494013B CN117494013B CN202311848094.3A CN202311848094A CN117494013B CN 117494013 B CN117494013 B CN 117494013B CN 202311848094 A CN202311848094 A CN 202311848094A CN 117494013 B CN117494013 B CN 117494013B
- Authority
- CN
- China
- Prior art keywords
- convolution
- scale
- result
- emotion
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 42
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 27
- 230000008451 emotion Effects 0.000 claims abstract description 51
- 230000008569 process Effects 0.000 claims abstract description 24
- 230000010354 integration Effects 0.000 claims abstract description 17
- 230000003925 brain function Effects 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 238000000354 decomposition reaction Methods 0.000 claims description 41
- 210000004556 brain Anatomy 0.000 claims description 31
- 230000009466 transformation Effects 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 18
- 238000010606 normalization Methods 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 9
- 230000005611 electricity Effects 0.000 claims description 8
- 210000002569 neuron Anatomy 0.000 claims description 5
- 230000002123 temporal effect Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000000415 inactivating effect Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 abstract description 5
- 238000013136 deep learning model Methods 0.000 abstract description 4
- 230000009467 reduction Effects 0.000 abstract description 4
- 239000000284 extract Substances 0.000 abstract description 3
- 238000012360 testing method Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000012795 verification Methods 0.000 description 4
- PIZHFBODNLEQBL-UHFFFAOYSA-N 2,2-diethoxy-1-phenylethanone Chemical compound CCOC(OCC)C(=O)C1=CC=CC=C1 PIZHFBODNLEQBL-UHFFFAOYSA-N 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000002779 inactivation Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 230000008288 physiological mechanism Effects 0.000 description 1
- 230000006461 physiological response Effects 0.000 description 1
- 230000008255 psychological mechanism Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
一种多尺度权值共享卷积神经网络及其脑电情感识别方法，其中多尺度权值共享卷积神经网络设置有：多尺度特征表示与权值共享卷积的动态时间层用于从脑电信号中提取不同尺度的时频域特征；多尺度特征表示与权值共享卷积的非对称空间层根据情感脑功能拓扑结构，在空间维度下提取所述时频域特征的多尺度特征，然后将所述多尺度特征作为情感在对应脑功能区的特征表达；特征整合层融合所述多尺度特征并进行高级特征抽取、整合；分类层输出情感归属于各个种类的概率。本发明提升了模型的泛化能力以及在跨被试情感分类的准确率。本发明的预处理过程简单，而且深度学习模型智能，能自动学习并提取样本高级抽象特征，避免大量繁琐的人工特征选择与特征降维，所以本发明具备端对端特征学习与情感识别的优势。
Description
技术领域
本发明涉及脑电信号处理技术领域，特别涉及一种多尺度权值共享卷积神经网络及基于多尺度权值共享卷积神经网络的脑电情感识别方法。
背景技术
情感的生理和心理机制非常复杂，关于情感的生理形成和心理认知的研究还在探索阶段。生理反应非常难以控制和隐藏，生理信号作为情感研究的一个重要素材被证明真实且有效。对生理信号的研究，特别是对脑电的研究已成为情感识别领域中最激动人心的新方向。基于脑电信号情感识别的前提是假设脑电信号能够以足够的精度和灵敏度来反应人类情感的状态。为了准确的识别情感脑电，一个识别性能较强且稳定的识别模型至关重要。
脑电信号情感识别方法，模型的核心组成包括特征提取、特征选择、分类识别三部分。脑电图特征可以采用时域、频域、时频域及非线性的方法进行提取，但是到目前为止仍然没有统一的理论说明哪种脑电特征更为有效。同时，研究人员采用一些分类器进行情感识别，如支持向量机、K近邻和朴素贝叶斯等，由于特征的提取方式和选择方法不同，这些分类器在不同情感任务和不同实施方法中所获得的性能也表现出很大的差别。
申请号为202211439327.X的中国发明专利，公开了一种基于分数阶傅里叶变换的脑电情感识别方法及设备，该专利中的特征选择和模型识别任务相互孤立。申请号为202110584519.9的中国发明专利，公开了一种基于注意力机制的端到端脑电情感识别方法，该专利中的深度学习的脑电特征过于简单、可辨识性不强。目前还有一些深度学习的模型包含数以百万计甚至更多的参数，造成网络需要较大的运算量和内存占用等缺点。
因此，针对现有技术不足，提供一种多尺度权值共享卷积神经网络及其脑电情感识别方法以解决现有技术不足甚为必要。
发明内容
本发明的其中一个目的在于避免现有技术的不足之处而提供一种多尺度权值共享卷积神经网络。该多尺度权值共享卷积神经网络为轻量神经网络，具有计算效率高、占用内存小和便于向边缘设备或者应用中嵌入的优点。
本发明的上述目的通过以下技术措施实现：
提供一种多尺度权值共享卷积神经网络，设置有：
多尺度特征表示与权值共享卷积的动态时间层——用于从脑电信号中提取不同尺度的时频域特征；
多尺度特征表示与权值共享卷积的非对称空间层——根据情感脑功能拓扑结构，在空间维度下提取所述时频域特征的多尺度特征，然后将所述多尺度特征作为情感在对应脑功能区的特征表达；
特征整合层——融合所述多尺度特征并进行高级特征抽取、整合；
分类层——输出情感归属于各个种类的概率。
优选的，上述动态时间层设置有：
多尺度时频域卷积单元——构建有不同尺度的第一卷积核；
多级别权值共享卷积分解单元——分别使用每个尺度的第一卷积核对脑电信号进行连续卷积操作，得到对应单一尺度不同层级的下采样后结果、上采样后结果和作差结果，
多维度特征拼接单元——将所有尺度的所述下采样后结果、所述上采样后结果和所述作差结果在数据特征矩阵的不同维度进行拼接，得到空域特征。
优选的，上述第一卷积核表示为且/>其中T表示动态时间层，k为动态时间层的尺度，fx为脑电信号采样率，/>为比例系数，且αk＝1/2k。
优选的，上述多级别权值共享卷积分解单元的卷积分解方法通过如下步骤进行：
A1、设定卷积待分解的最大级数l，且l为大于2的整数；
A2、分别使用每个尺度对应的第一卷积核对脑电信号从卷积待分解的小级数至大级数的顺序进行逐级卷积分解操作，且在每级数卷积分解操作过程后，对当前级数卷积结果进行下采样，得到下采样结果Gj，j∈[1，...，l-1]，将下采样结果Gj作下一级数的卷积分解；
A3、当到达最大级数时，进入A4；
A4、从卷积待分解的大级数至小级数的顺序进行逐级卷积分解操作，且在每级数卷积分解操作过程后，对当前级数卷积结果进行上采样，得到上采样结果Cj，将当前上采样结果Cx作上一级数的卷积分解，当到达最小的卷积分解级数时停止；
A5、将相同尺度下每个级数的下采样结果Gj与对应的上采样结果Cj做差，得到作差结果Lj。
优选的，上述多维度特征拼接单元的拼接方法通过如下步骤进行：
B1、在每个尺度下，将同一级数的下采样结果Cj与对应的作差结果Lj拼接成Tj，且Tj＝Γ(Gj，Lj)，其中Tj包含同一分解级别j的近似和细节信号；
B2、在每个尺度所有级数的Tj在时间维度下进行拼接，得到Zk且Zk＝Γ(T1，…，Tj)，则Zk包含不同分解级别的近似和细节信号；
B3、将所有多尺度的Zk在样本通道维度拼接，得到时频域特征Ztf，且Ztf＝Γ(Z1，…，Zk)。
优选的，上述非对称空间层设置有：
多尺度权值共享卷积单元——构建多个尺度的第二卷积核，采用所述第二卷积核对空域特征进行卷积变换，然后做非线性变换，最后做池化操作，得到空域卷积结果且为域卷积核，/>为一维卷积操作，Φx-ReLU(·)为非线性激活函数，/>为平均池化操作；其中第二卷积核表达式为SS＝(β·c，1)，c为脑电信号的通道总数，为选取的通道数和通道总数的比例系数；
多维度特征拼接单元——对空域卷积结果在空间维度拼接，得到拼接后空域卷积结果；
批量归一化操作单元——对所述拼接后空域卷积结果在样本通道维度进行数据归一化，得到非对称空间层输出结果Zs，其中为批量归一化操作。
优选的，上述特征整合层采用第三卷积核(i，1)沿空间维度与所述非对称空间层输出结果Zs依次进行卷积操作、非线性变换、池化操作和批量归一化操作，得到特征整合层输出Zf，且其中i为脑区的分区数量。。
优选的，上述分类层将所述特征整合层输出Zf在样本点维度摊平并进行线性变换，然后进行非线性激活变换，再使部分神经元参数失活，最后进行线性变换后送入分类函数得到分类结果Output，且γ为按维度摊平操作，W和W′分别为可训练的参数矩阵，b和b′均为偏置项，ΦSiLU(·)为非线性激活函数，/>为dropout函数，Φsoftmax(·)为softmax分类函数。
本发明的另一目的在于避免现有技术的不足之处而提供一种基于多尺度权值共享卷积神经网络的脑电情感识别方法。该基于多尺度权值共享卷积神经网络的脑电情感识别方法具备端对端特征学习与情感识别的优势，而且该脑电情感识别方法的预处理过程简单，能自动学习并提取样本高级抽象特征，避免大量繁琐的人工特征选择与特征降维。
本发明的上述目的通过以下技术措施实现：
提供一种基于多尺度权值共享卷积神经网络的脑电情感识别方法，通过如下步骤进行：
S1、构建数据集；
S2、构建如上述的多尺度权值共享卷积神经网络；
S3、根据S1的所述数据集对所述多尺度权值共享卷积神经网络进行训练，得到最优网络，将最优网络定义为情感网络；
S4、使用所述情感网络对情感脑电数据推理，得到情感分类。
优选的，上述S1通过如下步骤进行：
S1.1、获取脑电数据；
S1.2、根据情感脑功能拓扑结构，对所述S1.1的脑电数据按照电极在脑区的位置进行通道组合，得到重构脑电数据；
S1.3、对S1.2的所述重构脑电数据进行预处理，得到脑电信号，所述脑电信号构成所述数据集。
优选的，上述预处理为重参考处理、降采样处理、滤波处理或者去伪迹干扰处理中的至少一种。
本发明的一种多尺度权值共享卷积神经网络及其脑电情感识别方法，其中多尺度权值共享卷积神经网络设置有：多尺度特征表示与权值共享卷积的动态时间层用于从脑电信号中提取不同尺度的时频域特征；多尺度特征表示与权值共享卷积的非对称空间层根据情感脑功能拓扑结构，在空间维度下提取所述时频域特征的多尺度特征，然后将所述多尺度特征作为情感在对应脑功能区的特征表达；特征整合层融合所述多尺度特征并进行高级特征抽取、整合；分类层输出情感归属于各个种类的概率。本发明提升了模型的泛化能力以及在跨被试情感分类的准确率。本发明的预处理过程简单，而且深度学习模型智能，能自动学习并提取样本高级抽象特征，避免大量繁琐的人工特征选择与特征降维，所以本发明具备端对端特征学习与情感识别的优势。本发明的多尺度权值共享卷积神经网络为一种轻量神经网络，其计算效率高，占用内存小，便于向边缘设备或者应用中嵌入。本发明还用于适用于小样本数据的下游任务。
附图说明
利用附图对本发明作进一步的说明，但附图中的内容不构成对本发明的任何限制。
图1为一种多尺度权值共享卷积神经网络结构图。
图2为动态时间层的结构图。
图3为多级别权值共享卷积分解和多维度特征拼接的示意图。
图4为实施例3一种基于多尺度权值共享卷积神经网络的脑电情感识别方法的流程图。
图5是实施例4的32例受试者验证多尺度权值共享卷积的脑电情感网络的识别准确率结果。
在图1至图5中，包括有
多尺度权值共享卷积神经网络200、
动态时间层210、多尺度时频域卷积单元211、多级别权值共享卷积分解单元212、多维度特征拼接单元213、
非对称空间层220、
特征整合层230、
分类层240。
具体实施方式
结合以下实施例对本发明的技术方案作进一步说明。
实施例1
一种多尺度权值共享卷积神经网络，如图1和图2，设置有：
多尺度特征表示与权值共享卷积的动态时间层210——用于从脑电信号中提取不同尺度的时频域特征；
多尺度特征表示与权值共享卷积的非对称空间层220——根据情感脑功能拓扑结构，在空间维度下提取时频域特征的多尺度特征，然后将多尺度特征作为情感在对应脑功能区的特征表达；
特征整合层230——根据多尺度特征进行高级特征抽取、整合；
分类层240——输出情感归属于各个种类的概率。
其中，动态时间层210设置有：
多尺度时频域卷积单元211——构建有不同尺度的第一卷积核，其中第一卷积核表示为且/>其中T表示动态时间层，k为动态时间层210的尺度，fs为脑电信号采样率，/>为比例系数，且αk＝1/2k。
多级别权值共享卷积分解单元212——分别使用每个尺度的第一卷积核对脑电信号进行连续卷积操作，得到对应单一尺度不同层级的下采样后结果、上采样后结果和作差结果。
多维度特征拼接单元213——将所有尺度的下采样后结果、上采样后结果和作差结果在数据特征矩阵的不同维度进行拼接，得到空域特征。
多级别权值共享卷积分解单元212的卷积分解方法通过如下步骤进行：
A1、设定卷积待分解的最大级数l，且l为大于2的整数；
A2、分别使用每个尺度对应的第一卷积核对脑电信号从卷积待分解的小级数至大级数的顺序进行逐级卷积分解操作，且在每级数卷积分解操作过程后，对当前级数卷积结果进行下采样，得到下采样结果Gj，j∈[1，...，l-1]，将下采样结果Gj作下一级数的卷积分解；
A3、当到达最大级数时，进入A4；
A4、从卷积待分解的大级数至小级数的顺序进行逐级卷积分解操作，且在每级数卷积分解操作过程后，对当前级数卷积结果进行上采样，得到上采样结果Cj，将当前上采样结果Cj作上一级数的卷积分解，当到达最小的卷积分解级数时停止；
A5、将相同尺度下每个级数的下采样结果Gj与对应的上采样结果Cj做差，得到作差结果Lj。
其中下采样结果的表示式为为脑电信号的近似表达。对于G0为指输入信号Xi，上采样结果的表示式为其中/>为一维卷积操作。
同级别作差结果Lj＝Gj-Cj为脑电信号的细节信息。
多维度特征拼接单元213的拼接方法通过如下步骤进行：
B1、在每个尺度下，将同一级数的下采样结果Gj与对应的作差结果Lj拼接成Tj，且Tj＝Γ(Gj，Lj)，其中Tj包含同一分解级别j的近似和细节信号；
B2、在每个尺度所有级数的Tj在时间维度下进行拼接，得到Zk且Zk＝Γ(T1，…，Tj)，则Zk包含不同分解级别的近似和细节信号；
B3、将所有多尺度的Zk在样本通道维度拼接，得到时频域特征Ztf，且Ztf＝Γ(Z1,…Zk)。
非对称空间层220设置有：
多尺度权值共享卷积单元——构建多个尺度的第二卷积核，采用第二卷积核对空域特征Ztf进行卷积变换，然后做非线性变换，最后做池化操作，得到空域卷积结果且为域卷积核，/>为一维卷积操作，ΦL-ReLU(·)为非线性激活函数，/>为平均池化操作；其中第二卷积核表达式为SS＝(β·c,1)，c为脑电信号的通道总数，β为选取的通道数和通道总数的比例系数，则全局核为(c，1)，半球核为(0.5·c，1)，半球核共享权重。
多维度特征拼接单元213——对空域卷积结果在空间维度拼接，得到拼接后空域卷积结果；
批量归一化操作单元——对拼接后空域卷积结果在样本通道维度进行数据归一化，得到非对称空间层220输出结果Zs，其中为批量归一化操作。
特征整合层230采用第三卷积核(i，1)沿空间维度与非对称空间层220输出结果Zs依次进行卷积操作、非线性变换、池化操作和批量归一化操作，得到特征整合层230输出Zf，且其中i为脑区的分区数量。
分类层240将特征整合层230输出Zf在样本点维度摊平并进行线性变换，然后进行非线性激活变换，再使部分神经元参数失活，最后进行线性变换后送入分类函数得到分类结果Output，且γ为按维度摊平操作，W和W′分别为可训练的参数矩阵，b和b′均为偏置项，ΦSiLU(·)为非线性激活函数，为dropout函数，Φsoftmax(·)为softmax分类函数。
需要说明的是，使部分神经元参数失活能够避免过拟合。线性变换、非线性变换、使部分神经元参数失活、线性变换后送入分类函数等均属于本领域的常规操作，因此对于领域技术人员来说为公知常识，在此不再一一赘述。
该多尺度权值共享卷积神经网络200为轻量神经网络，具有计算效率高、占用内存小和便于向边缘设备或者应用中嵌入的优点。
实施例2
一种多尺度权值共享卷积神经网络，其他特征与实施例1相同，还具有如下特征：本实施例中fs＝128Hz，k＝3，则多尺度时频域卷积单元211为三个尺度，并包括有三个第一卷积核分别为：
本实施例中，卷积分解级数l＝4，并以第一卷积核为(1，65)例，如图3所示，其各个结果的信息维度见表1所示；
表1、三个尺度权值共享卷积分解，各个层级分解结果的信息维度
在多维度特征拼接单元213将三个第一卷积核Zk在样本通道维度拼接，得到时频域特征Ztf。
该多尺度权值共享卷积神经网络200为轻量神经网络，具有计算效率高、占用内存小和便于向边缘设备或者应用中嵌入的优点。
实施例3
一种基于多尺度权值共享卷积神经网络的脑电情感识别方法，如图4，通过如下步骤进行：
S1、构建数据集；
S2、构建如实施例1或2多尺度权值共享卷积神经网络200；
S3、根据S1的数据集对多尺度权值共享卷积神经网络200进行训练，得到最优网络，将最优网络定义为情感网络；
S4、使用情感网络对情感脑电数据推理，得到情感分类。
需说明的是，在S3中经过训练实际得到了多尺度特征表示与权值共享卷积核参数，即获得个体特征参数即权重，带个体特征参数的网络模型，称之为情感网络。情感分类也可以称为情感标签。
其中S1通过如下步骤进行：
S1.1、获取脑电数据；
S1.2、根据情感脑功能拓扑结构，对S1.1的脑电数据按照电极在脑区的位置进行通道组合，得到重构脑电数据；
S1.3、对S1.2的重构脑电数据进行预处理，得到脑电信号，脑电信号构成数据集。
其中，预处理为重参考处理、降采样处理、滤波处理或者去伪迹干扰处理中的至少一种。
需要说明的是，本发明将脑电数据视为通道和时间维度组成的二维数据，对于给定的脑电数据n为脑电的样本数，c为脑电信号的电极通道数即空间维度，l为脑电样本点数即时间维度，脑电数据的维度信息由[n,b,c,l]表示，b为脑电样本的通道数，X为给定的脑电数据的符号表达。
该基于的多尺度权值共享卷积神经网络200的脑电情感识别方法，提升了模型的泛化能力以及在跨被试情感分类的准确率。本发明的预处理过程简单，而且深度学习模型智能，能自动学习并提取样本高级抽象特征，避免大量繁琐的人工特征选择与特征降维，所以本发明具备端对端特征学习与情感识别的优势。本发明的多尺度权值共享卷积神经网络200为一种轻量神经网络，其计算效率高，占用内存小，便于向边缘设备或者应用中嵌入。本发明还用于适用于小样本数据的下游任务。
实施例4
一种基于的多尺度权值共享卷积神经网络的脑电情感识别方法，其他特征与实施例3相同，不同之处在于：
本实施例使用的脑电数据来源于由Koelstra等人联合四所著名大学的研究机构共同采集处理的大型多模态生理情感数据集DEAP，该数据集中脑电信号的32导分布按照国际10-20系统标准。
需要说明的是，对于S4中，如果将实验试次数据分成多个数据段，则预测标签采用少数服从多数的原则，确定最终的情感状态。因为现有的脑电数据素材较少，为了增加数据量，一般重叠时间切片策略。如果进一步划分数据了，还是要以总体的数据的结果来判定是哪一种情感标签，即每一次的情感标签采用少数服从多数的原则确定。目前一般以4秒数据段作为一个判别实例，如果时间大于4秒，则进一步划分。例如1分钟的数据段，进一步划分为15个小数据段。
根据情绪识别结果，自适应地调整人机交互模式。如果用户长时间处于负性情绪状态(如悲伤、恐惧、愤怒、厌恶)，提示专家进行心理状态干预。
本实施例中，DEAP数据集所有生理信号采集频率是512Hz，后经降采样为128Hz，脑电信号经滤波后有效频段范围在4Hz到45Hz之间，这样收集的信号共8064个采样点。以评分5分对Arousal情感维度赋二分类情感标签，采用重叠时间切片策略，对多通道脑电信号进行分段处理，划分时间窗口为4秒，即每一段信号都是长为4秒的多通道脑电信号，为了增大训练数据量，设置滑动窗口为1秒，即数据不重复率为25％，脑电数据的维度表示为[1，1，28，512]。
本实施例将S1中的数据集按比例分成训练数据集、验证数据集和测试数据集，用训练数据集训练多尺度卷积神经网络，用验证集监督网络的训练过程，训练后得到带参数的多尺度卷积神经网络，用测试集检测模型的效果。其中数据集、验证数据集和测试数据集的数据量比例为8∶1∶1，使用PyTorch神经网络框架，每次训练数据量为128，损失函数为交叉熵损失函数，优化器为Adam，模型的评价指标为准确率和f1的加权平均值，学习率为0.01，在评价指标没有改善的情况下，对学习率采用0.95倍率，训练过程中加入早停止策略，便于寻求最优解。
本实施例中，对于输入维度为[1，1，28，512]的脑电信号，可训练参数量为1995个。使用DEAP数据集的32个试验对象来验证本发明的效果，对于信号模式二分类，每一个试验对象的准确率经过十折交叉验证取平均值，取得的结果见图5所示。在32个试验对象中，取的最高识别准确率为94.00％，平均识别准确率为83.75％。
与脑电情感识别领域近期提出的优异方法对比，优异方法有EEGNet、TSception、LGGNet-G。对比试验的参数量及平均准确率如表2所示。
表2、采用32个试验对象验证实验模型，得到模型的参数量及平均准确率
通过表2可见，本实施例的平均准确率可达83.75％，显著优于目前较优异的EEGNet、TSception、LGGNet-G。
最后应当说明的是，以上实施例仅用以说明本发明的技术方案而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细说明，本领域的普通技术人员应当理解，可以对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。
Claims (8)
1.一种多尺度权值共享卷积神经网络，其特征在于，设置有：
多尺度特征表示与权值共享卷积的动态时间层——用于从脑电信号中提取不同尺度的时频域特征；
多尺度特征表示与权值共享卷积的非对称空间层——根据情感脑功能拓扑结构，在空间维度下提取所述时频域特征的多尺度特征，然后将所述多尺度特征作为情感在对应脑功能区的特征表达；
特征整合层——融合所述多尺度特征并进行高级特征抽取、整合；
分类层——输出情感归属于各个种类的概率；
所述动态时间层设置有：
多尺度时频域卷积单元——构建有不同尺度的第一卷积核；
多级别权值共享卷积分解单元——分别使用每个尺度的第一卷积核对脑电信号进行连续卷积操作，得到对应单一尺度不同层级的下采样后结果、上采样后结果和作差结果；
多维度特征拼接单元——将所有尺度的所述下采样后结果、所述上采样后结果和所述作差结果在数据特征矩阵的不同维度进行拼接，得到空域特征；
所述多级别权值共享卷积分解单元的卷积分解方法通过如下步骤进行：
A1、设定卷积待分解的最大级数l，且l为大于2的整数；
A2、分别使用每个尺度对应的第一卷积核对脑电信号从卷积待分解的小级数至大级数的顺序进行逐级卷积分解操作，且在每级数卷积分解操作过程后，对当前级数卷积结果进行下采样，得到下采样结果Gj，j∈[1，…，l-1]，将下采样结果Gj作下一级数的卷积分解；
A3、当到达最大级数时，进入A4；
A4、从卷积待分解的大级数至小级数的顺序进行逐级卷积分解操作，且在每级数卷积分解操作过程后，对当前级数卷积结果进行上采样，得到上采样结果Cj，将当前上采样结果Cj作上一级数的卷积分解，当到达最小的卷积分解级数时停止；
A5、将相同尺度下每个级数的下采样结果Gj与对应的上采样结果Cj做差，得到作差结果Lj。
2.根据权利要求1所述的多尺度权值共享卷积神经网络，其特征在于：所述第一卷积核表示为且/>其中T表示动态时间层，k为动态时间层的尺度，fs为脑电信号采样率，/>为比例系数，且αk＝1/2k。
3.根据权利要求2所述的多尺度权值共享卷积神经网络，其特征在于：所述多维度特征拼接单元的拼接方法通过如下步骤进行：
B1、在每个尺度下，将同一级数的下采样结果Gj与对应的作差结果Lj拼接成Tj，且Tj＝Γ(Gj，Lj)，其中Tj包含同一分解级别j的近似和细节信号；
B2、将每个尺度所有级数的Tj在时间维度下进行拼接，得到Zk且Zk＝Γ(T1，…，Tj)，则Zk包含不同分解级别的近似和细节信号；
B3、将所有多尺度的Zk在样本通道维度拼接，得到时频域特征Ztf，且Ztf＝Γ(Z1，…，Zk)。
4.根据权利要求3所述的多尺度权值共享卷积神经网络，其特征在于，所述非对称空间层设置有：
多尺度权值共享卷积单元——构建多个尺度的第二卷积核，采用所述第二卷积核对空域特征进行卷积变换，然后做非线性变换，最后做池化操作，得到空域卷积结果且 为域卷积核，/>为一维卷积操作，ΦL-ReLU(·)为非线性激活函数，/>为平均池化操作；其中第二卷积核表达式为Ss＝(β·c，1)，c为脑电信号的通道总数，β为选取的通道数和通道总数的比例系数；
多维度特征拼接单元——对空域卷积结果在空间维度拼接，得到拼接后空域卷积结果；
批量归一化操作单元——对所述拼接后空域卷积结果在样本通道维度进行数据归一化，得到非对称空间层输出结果Zs，其中 为批量归一化操作。
5.根据权利要求4所述的多尺度权值共享卷积神经网络，其特征在于：所述特征整合层采用第三卷积核(i，1)沿空间维度与所述非对称空间层输出结果Zs依次进行卷积操作、非线性变换、池化操作和批量归一化操作，得到特征整合层输出Zf，且其中i为脑区的分区数量。
6.根据权利要求5所述的多尺度权值共享卷积神经网络，其特征在于：所述分类层将所述特征整合层输出Zf在样本点维度摊平并进行线性变换，然后进行非线性激活变换，再使部分神经元参数失活，最后进行线性变换后送入分类函数得到分类结果Output，且γ为按维度摊平操作，W和W′分别为可训练的参数矩阵，b和b′均为偏置项，ΦSiLU(·)为非线性激活函数，/>为dropout函数，Φsoftmax(·)为softmax分类函数。
7.一种基于多尺度权值共享卷积神经网络的脑电情感识别方法，其特征在于，通过如下步骤进行：
S1、构建数据集；
S2、构建如权利要求1至6任意一项所述多尺度权值共享卷积神经网络；
S3、根据S1的所述数据集对所述多尺度权值共享卷积神经网络进行训练，得到最优网络，将最优网络定义为情感网络；
S4、使用所述情感网络对情感脑电数据推理，得到情感分类。
8.根据权利要求7所述的脑电情感识别方法，其特征在于,所述S1通过如下步骤进行：
S1.1、获取脑电数据；
S1.2、根据情感脑功能拓扑结构，对所述S1.1的脑电数据按照电极在脑区的位置进行通道组合，得到重构脑电数据；
S1.3、对S1.2的所述重构脑电数据进行预处理，得到脑电信号，所述脑电信号构成所述数据集；
所述预处理为重参考处理、降采样处理、滤波处理或者去伪迹干扰处理中的至少一种。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311848094.3A CN117494013B (zh) | 2023-12-29 | 2023-12-29 | 一种多尺度权值共享卷积神经网络及其脑电情感识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311848094.3A CN117494013B (zh) | 2023-12-29 | 2023-12-29 | 一种多尺度权值共享卷积神经网络及其脑电情感识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117494013A CN117494013A (zh) | 2024-02-02 |
| CN117494013B true CN117494013B (zh) | 2024-04-16 |
Family
ID=89681424
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311848094.3A Active CN117494013B (zh) | 2023-12-29 | 2023-12-29 | 一种多尺度权值共享卷积神经网络及其脑电情感识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117494013B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019133997A1 (en) * | 2017-12-31 | 2019-07-04 | Neuroenhancement Lab, LLC | System and method for neuroenhancement to enhance emotional response |
| CN113288146A (zh) * | 2021-05-26 | 2021-08-24 | 杭州电子科技大学 | 基于时-空-频联合特征的脑电情感分类方法 |
| CN113947127A (zh) * | 2021-09-15 | 2022-01-18 | 复旦大学 | 一种用于陪伴机器人的多模态情感识别方法和系统 |
| CN114431878A (zh) * | 2020-11-02 | 2022-05-06 | 哈尔滨理工大学 | 一种基于多尺度注意力残差网络的脑电睡眠分期方法 |
| CN114662547A (zh) * | 2022-04-07 | 2022-06-24 | 天津大学 | 基于脑电信号的mscrnn情绪识别方法及装置 |
| CN115204232A (zh) * | 2022-07-20 | 2022-10-18 | 天津理工大学 | 一种基于脑电信号的残差特征金字塔情感识别方法及系统 |
| CN115270849A (zh) * | 2022-06-21 | 2022-11-01 | 西南交通大学 | 一种多模态情感识别方法、装置、设备及可读存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11205103B2 (en) * | 2016-12-09 | 2021-12-21 | The Research Foundation for the State University | Semisupervised autoencoder for sentiment analysis |
| EP4247243A1 (en) * | 2020-11-20 | 2023-09-27 | Poltorak Technologies, LLC | Multiple partially redundant biometric sensing devices |
-
2023
- 2023-12-29 CN CN202311848094.3A patent/CN117494013B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019133997A1 (en) * | 2017-12-31 | 2019-07-04 | Neuroenhancement Lab, LLC | System and method for neuroenhancement to enhance emotional response |
| CN114431878A (zh) * | 2020-11-02 | 2022-05-06 | 哈尔滨理工大学 | 一种基于多尺度注意力残差网络的脑电睡眠分期方法 |
| CN113288146A (zh) * | 2021-05-26 | 2021-08-24 | 杭州电子科技大学 | 基于时-空-频联合特征的脑电情感分类方法 |
| CN113947127A (zh) * | 2021-09-15 | 2022-01-18 | 复旦大学 | 一种用于陪伴机器人的多模态情感识别方法和系统 |
| CN114662547A (zh) * | 2022-04-07 | 2022-06-24 | 天津大学 | 基于脑电信号的mscrnn情绪识别方法及装置 |
| CN115270849A (zh) * | 2022-06-21 | 2022-11-01 | 西南交通大学 | 一种多模态情感识别方法、装置、设备及可读存储介质 |
| CN115204232A (zh) * | 2022-07-20 | 2022-10-18 | 天津理工大学 | 一种基于脑电信号的残差特征金字塔情感识别方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于时空卷积注意力网络的脑电情绪识别;解彩芸;《中国优秀硕士学位论文全文数据库》;20230615;A006-103 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117494013A (zh) | 2024-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Nejatian et al. | Using sub-sampling and ensemble clustering techniques to improve performance of imbalanced classification | |
| CN114052735B (zh) | 一种基于深度领域自适应的脑电情绪识别方法及系统 | |
| CN111967495B (zh) | 一种分类识别模型构建方法 | |
| CN108542386B (zh) | 一种基于单通道eeg信号的睡眠状态检测方法和系统 | |
| Salehi et al. | Alzheimer’s disease diagnosis using deep learning techniques | |
| CN109598222B (zh) | 基于eemd数据增强的小波神经网络运动想象脑电分类方法 | |
| CN114970605A (zh) | 一种多模态特征融合神经网络的制冷设备故障诊断方法 | |
| CN111954250B (zh) | 一种轻量级Wi-Fi行为感知方法和系统 | |
| CN113554110B (zh) | 一种基于二值胶囊网络的脑电情绪识别方法 | |
| Arnau-González et al. | ES1D: A deep network for EEG-based subject identification | |
| Jinliang et al. | EEG emotion recognition based on granger causality and capsnet neural network | |
| Khetarpal et al. | Power quality disturbances detection and classification based on deep convolution auto-encoder networks | |
| CN112380959A (zh) | 一种基于图神经网络的单变量时间序列分类方法 | |
| CN115273236A (zh) | 一种多模态的人体步态情感识别方法 | |
| Nhu et al. | Deep learning for automated epileptiform discharge detection from scalp EEG: A systematic review | |
| Shen et al. | A high-precision feature extraction network of fatigue speech from air traffic controller radiotelephony based on improved deep learning | |
| Pandya et al. | Unveiling the Power of Collective Intelligence: A Voting-based Approach for Dementia Classification | |
| CN114091529A (zh) | 一种基于生成对抗网络数据增强的脑电情感识别方法 | |
| Ohannesian et al. | Epileptic seizures detection from EEG recordings based on a hybrid system of Gaussian mixture model and random forest classifier | |
| CN117494013B (zh) | 一种多尺度权值共享卷积神经网络及其脑电情感识别方法 | |
| Devi | Detection and automated classification of brain tumor types in MRI images using convolutional neural network with grid search optimization | |
| Flamary et al. | Mixed‐Norm Regularization for Brain Decoding | |
| Sridevi et al. | Customer Identification in Healthcare using an IoT-based Multimedia Traffic Categorization Method | |
| CN114287910A (zh) | 一种基于多阶段图卷积融合的脑功能连接分类方法 | |
| Manimegalai et al. | Deep Learning Based Approach for Identification of Parkinson’s Syndrome |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |