CN113627518B - 利用迁移学习实现神经网络脑电情感识别模型的方法 - Google Patents

利用迁移学习实现神经网络脑电情感识别模型的方法 Download PDF

Info

Publication number
CN113627518B
CN113627518B CN202110904775.1A CN202110904775A CN113627518B CN 113627518 B CN113627518 B CN 113627518B CN 202110904775 A CN202110904775 A CN 202110904775A CN 113627518 B CN113627518 B CN 113627518B
Authority
CN
China
Prior art keywords
neural network
electroencephalogram
model
layer
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110904775.1A
Other languages
English (en)
Other versions
CN113627518A (zh
Inventor
王量弘
余燕婷
李馨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202110904775.1A priority Critical patent/CN113627518B/zh
Publication of CN113627518A publication Critical patent/CN113627518A/zh
Priority to US17/706,627 priority patent/US20230039900A1/en
Application granted granted Critical
Publication of CN113627518B publication Critical patent/CN113627518B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Abstract

本发明提出一种利用迁移学习实现多通道卷积‑递归神经网络脑电情感识别模型的方法，其基于三心搏识别方法构建的双通道一维卷积神经网络模型作为源域模型进行迁移，得到目标域为脑电信号的多通道卷积‑递归神经网络脑电情感识别模型，解决了脑电信号标注数据十分稀缺的问题，并能够提高脑电信号情感预测准确度。通过对脑电数据集进行分解、归一化等预处理，提高数据处理的准确性；迁移得到的多通道卷积神经网络对脑电数据集中的多通道脑电信号进行特征提取；结合递归神经网络进行序列建模，提取多通道融合情感信息；通过自适应注意力模型和加权特征融合方式来实现特征的重新分布，得到完整的特征张量。

Description

利用迁移学习实现神经网络脑电情感识别模型的方法
技术领域
本发明属于机器学习、迁移学习技术领域，尤其涉及一种利用迁移学习实现多通道卷积-递归神经网络脑电情感识别模型的方法。
背景技术
情绪是对一系列的主观认知经验的统称，它包括人对外界刺激或自身刺激的心理反应，以及其伴随的生理反应。情绪的本质是个体对自己周围环境事物的感知反应。情绪不管在个体自身还是在个体与他人之间、个体与社会生活之间都有着非常重大的作用，因而情绪识别的研究不论在理论上还是实际应用中都有着极为重要的意义。脑电图(EEG)是一种医学成像技术，可以测量并按时间顺序记录头皮表层由大脑中神经元内的离子电流引起的电位波动。研究表明，人的认知行为和心理活动与脑电信号具有较强的相关性，可以通过测量脑电信号来预测人的情绪状态。
目前并没有现成的算法模型可以处理以上技术问题。如中国专利CN202010122175-融合源端影响的三心拍多模型综合决策心电特征分类方法提供了心电数据的分类模型，但不能直接用于处理脑电信号的分类问题。
发明内容
为了弥补现有技术的空白和不足，本发明的目的在于提供一种利用迁移学习实现多通道卷积-递归神经网络脑电情感识别模型的方法，其基于背景技术提及的中国专利CN202010122175-融合源端影响的三心拍多模型综合决策心电特征分类方法提供的三心搏识别方法构建的双通道一维卷积神经网络模型作为源域模型进行迁移，得到目标域为脑电信号的多通道卷积-递归神经网络脑电情感识别模型，解决了脑电信号标注数据十分稀缺的问题，并能够提高脑电信号情感预测准确度，获得脑电情感信号在效价和唤醒度两种指标上的预测结果。
本发明中的源域模型涉及发明人另一项发明申请，中国专利CN202010122175-融合源端影响的三心拍多模型综合决策心电特征分类方法，该方法已公开发表。源域模型是以该发明申请为背景设计得到的多导联三心拍心电图分类模型，该模型对应流程图如说明书附图1所示，其中三心拍分类方法的主体架构为双通道一维深度卷积神经网络。该网络可自动提取及分析心电信号中人工难以发现的细微特征，学习其特征相关性并分类。双通道卷积神经网络的输入为两个不同导联的三心搏ECG信号序列，分别从两个通道进入卷积层，卷积层输出的特征张量进入归一化层(BN层)进行归一化处理。归一化层之后为激活层，采用ReLU函数作为激活函数，以增加网络学习复杂数据的能力。该网络引入残差网络利用恒等映射实现对反馈优化，避免反馈梯度减小。残差网络是一个跨层叠加的过程，在该过程中会出现通道数不匹配问题造成无法直接叠加，因此在网络设计过程中加入了自定义层，命名为Lambda，通过在多出的通道上填充数据来匹配通道数量。该卷积神经网络将卷积层、归一层、激活层和残差结构作为组合多次叠加，同时为了防止网络过拟合在网络中加入了Dropout层随机失活部分网络单元。该模型利用卷积层提取特征，根据步长将特征长度进行多次缩小最后到全连接层，然后经过采用softmax函数的激活层得到N、V、S、F、Q五种心电类别输出。采用以上双通道一维深度卷积神经网络作为本专利实施方案的源域模型，有助于解决脑电信号情感识别过程中多层神经网络容易发生的梯度消失及梯度爆炸问题，为实现源域——心电信号到目标域——脑电信号的迁移学习方案提供技术基础。
其应用的主要技术包括：
1)通过对脑电数据集进行分解、归一化等预处理，提高数据处理的准确性；
2)迁移得到的多通道卷积神经网络对脑电数据集中的多通道脑电信号进行特征提取；
3)结合递归神经网络进行序列建模，提取多通道融合情感信息；
4)通过自适应注意力模型和加权特征融合方式来实现特征的重新分布，得到完整的特征张量；特征张量通过双分类器输出得到脑电信号在效价和唤醒度两种指标上的预测结果。
本发明具体采用以下技术方案：
一种利用迁移学习实现多通道卷积-递归神经网络脑电情感识别模型的方法，其特征在于，包括以下步骤：
步骤S1：对脑电数据集进行降噪、分解、归一化等预处理；
步骤S2：搭建脑电信号特征提取预训练模型，以基于三心搏识别方法构建的双通道一维卷积神经网络模型作为源域模型迁移模型进行微调训练，采用一维卷积神经网络对每个通道的脑电信号进行特征提取，将全连接层至输出层的结构替换为平均池化层，输出各通道脑电信号的高层次提取特征，得到多通道卷积神经网络；
步骤S3：采用多通道卷积神经网络对脑电数据集中的多通道脑电信号进行特征提取；
步骤S4：得到多通道卷积网络输出的高层次特征，特征集合输入递归神经网络中进行序列建模，输出递归神经网络特征集合；
步骤S5：使用自适应注意力模型和加权特征融合方式实现特征的重新分布，重构形成完整且具有时序信息的特征集合；
本发明将特征集合通过完全连接层进行多分类，获得脑电情感信号在效价和唤醒度两种指标上的预测结果。将基于三心搏识别方法构建的双通道一维卷积神经网络模型作为源域模型，进行源域模型训练，实现心律失常自动分类；通过数据集严格将测试集与训练集区分，实现inter-patient心律失常分类，提高了模型的泛化能力；通过对比分析脑电信号与心电信号的异同点，符合迁移学习的应用范围，利用迁移学习实现多通道卷积-递归神经网络脑电情感识别模型。
进一步地，步骤S1具体包括以下步骤：
步骤S11:采用适合的小波基函数对脑电数据集(DEAP数据集)中的脑电信号进行多级小波变换分解，得到EEG_raw_data；
步骤S12:对EEG_raw_data进行去均值，把输入数据各个维度都中心化为0，把样本的中心拉回到坐标系原点上，得到数据EEG_data1；
步骤S13:把EEG_data1中信号幅度归一化到一样的范围，得到数据EEG_data2；
步骤S14:对EEG_data2进行PCA降维，即主成分分析，使数据各个特征轴上的幅度归一化，得到数据集EEG_data。
进一步地，步骤S2具体包括以下步骤：
步骤S21:从源域获取一维卷积神经网络模型，将全连接层至输出层的结构进行替换，采用一维卷积神经网络对每个通道的脑电信号进行特征提取，将全连接层至输出层的结构替换为平均池化层，输出各通道脑电信号的高层次提取特征，得到初始模型Model_1；
步骤S22:取出EEG_data数据库中的部分数据，作为EEG_Transfer数据集；
步骤S23:将EEG_Transfer数据集中的数据分为训练集、测试集和验证集，每个数据集各自独立严格分开互不关联；具体可以分为10组，七组作为训练集，二组作为验证集，一组作为测试集；
步骤S24:将每组训练集在初始模型Model_1上进行训练并在验证集上进行验证；
步骤S25:重复步骤S23直至遍历全部训练集，通过梯度下降法，优化初始参数得到目标域模型Model_2；
步骤S26:用测试集对Model_2进行测试，验证迁移后目标域模型的可靠性。
进一步地，步骤S3具体包括以下步骤：
步骤S31:将EEG_data数据集中的多导联脑电信号作为多通道数据分别输入到目标域模型Model_2的各通道提取情感特征；
步骤S32:将切割后的EEG_data输入卷积层，采用补零方式使得卷积运算后输出长度保持不变；
步骤S33:卷积层输出数据进入归一化层进行归一化处理，再输入下一激活层，激活函数采用ReLU函数；
步骤S34:将卷积层，归一层和激活层组合多次叠加并在其中插入Dropout层，随机失活部分网络以防止网络过拟合；
步骤S34:通过平均池化层输出单个通道的高层次特征。
进一步地，步骤S4具体包括以下步骤：
步骤S41:多通道卷积网络输出长、宽、通道数均合适的特征张量S以供双向长短期记忆结构(Bi-Long-short Term Memory,Bi-LSTM)的递归神经网络输入使用，输出张量长为批处理大小、宽为时间序列长度、通道数为隐藏层单元数量；
步骤S42:在Bi-LSTM内部单元中附加一个tanh激活函数以实现非线性映射，将特征映射至[0,1]范围；
步骤S43:Bi-LSTM网络的隐藏层数量的初始选取采用与输入特征向量的长度相一致，后逐步调整隐藏单元个数，批处理大小的初值设置，并且设定训练的循环次数阈值；
步骤S44:在Bi-LSTM网络中加入L1正则化、L2正则化以及随机失活(Dropout)层，以避免网络过拟合现象，网络训练得到脑电情感信号的时序特征集S_Time；
步骤S45:通过对应位置取和的方式将Bi-LSTM网络中的正向、反向的两组输出合并为长、宽、通道数均不变的一组特征向量，由此得到递归神经网络的输出维度。
进一步地，步骤S5具体包括以下步骤：
步骤S51:引入自适应注意力机制，通过设定可训练权重向量W的方式，将其与LSTM网络得到的特征张量作矩阵乘法，得到含有注意力权重的特征张量S_Attention；
步骤S52:采用加权特征融合方式，按照一定的标准对计算得到的各个通道脑电情感特征分配相应的权重系数进行组合，得到脑电信号分类特征张量S_Classification。
进一步地，步骤S6具体为：
将分类特征张量S_Classification输入到两个全连接层，分别使用分类器概率化输出，分别输出脑电信号在效价和唤醒度这两种情感指标上的预测结果，两种结果依据SAM情绪类别评估标准表示，可以由数字1到9的打分尺度来衡量。
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如上所述的利用迁移学习实现多通道卷积-递归神经网络脑电情感识别模型的方法的步骤。
一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如上所述的利用迁移学习实现多通道卷积-递归神经网络脑电情感识别模型的方法的步骤。
与现有技术相比，本发明及其优选方案提出使用迁移学习，以基于三心搏识别方法构建的双通道一维卷积神经网络模型作为源域模型，迁移得到目标域为脑电信号的多通道脑电情感识别模型，解决了用于模型训练的脑电数据稀缺的问题，同时结合卷积神经网络和递归神经网络，提高脑电信号情绪预测准确度。
附图说明
下面结合附图和具体实施方式对本发明进一步详细的说明：
图1为背景技术模型架构流程示意图。
图2为本发明实施例网络模型总体框架流程示意图。
具体实施方式
为让本专利的特征和优点能更明显易懂，下文特举实施例，作详细说明如下：
请参照图2，本实施例提供利用迁移学习实现多通道卷积-递归神经网络脑电情感识别模型的方法，其将基于三心搏识别方法构建的双通道一维卷积神经网络模型作为源域模型，进行源域模型训练，实现心律失常自动分类；考虑脑电信号与心电信号的时频特性、数据格式等异同点，利用迁移学习实现多通道卷积-递归神经网络脑电情感识别模型的方案具有可行性；具体包括以下步骤：
步骤S1:获取用于模型训练的脑电数据集，选取DEAP数据集(database foremotion analysis using physiological signals)作为目标域模型；
针对脑电信号的节律特征，依其频率范围，可以采用小波分解将脑电信号分为5个基本频带，即δ节律、θ节律、α节律、β节律、γ节律，不同的频带保留着不同的脑电特征，携带着不同属性的情感信息。而有效的特征融合方式和选择合适的分类方法往往能够提高情感识别率。
在本实施例中，步骤S1具体为：使用小波基函数对脑电信号进行离散小波变换，可以得到脑电情感信号中不同的频率成分。
Deap脑电情感数据库中的脑电信号是经过预处理之后得到的，其采样频率为128Hz，由奈奎斯特抽样定理，可检测0-64Hz范围内的脑电情感信号。脑电情感信号经过多层小波分解后，可近似得到脑电信号中的5个节律波的信号：δ节律(0.5-3Hz)、θ节律(4-8Hz)
、α节律(9-13Hz)、β节律(14-30Hz)、γ节律(31Hz以上)，在每层小波分解中得到的“近似分量”又可以分为低频和高频两部分，以这种方式进行多层分解，这样就达到了对原始的脑电情感信号多分辨率分析。对原始脑电情感信号x(t)可通过下式进行变换分解。
小波分解后得到：δ节律、θ节律、α节律、β节律、γ节律分别对应的近似分量(CA4)、细节分量(CD4)、细节分量(CD3)和细节分量(CD2)。根据小波分解得到的系数分量，滤除脑电信号中5个节律波以外的信号，得到EEG_raw_data。
为了解决不同个体脑电信号幅值分布不完全相同，数量级差异的问题，对数据进行去均值，再使用Min-Max归一化标准化方式统计了脑电样本中的最大值与最小值，并以两个最值将整体的分布按比例映射到0至1范围，得到新的分布，对于其中的某个样本值x都可以由下式计算出标准映射后的样本值x'。
对脑电数据进行PCA(主成分分析)降维，首先找到一个方向使得投影后方差最大，完成第一个投影方向的选择，再按要求选择第N个投影方向的选择，但是某些方向存在重合，为了投影后的投影值尽可能表示更多的原始数据，使其不存在线性相关性，利用协方差矩阵Con(a,b)表示其相关性。
将一组N维向量降为M维，需要选择M个单位(模为1)正交基，使得原始数据变换到这组基上后，各字段两两间协方差为0，而字段的方差则尽可能大。求出协方差矩阵的特征值及对应的特征向量λ，将特征向量λ按对应特征值大小从上到下按行排列成矩阵，取前M行组成矩阵P，Y＝PX即为降维到M维后的数据。
在本实施例中，步骤S2具体为：
1、从源域获取一维深度卷积神经网络(1D-CNN)，源域模型为了更好的观察导联间的联系采用了双通道一维卷积神经网络来提取心电特征，而脑电信号相较于心电信号通道数更多，因此对源域模型的通道数进行调整，采用一维卷积神经网络对每个通道的脑电信号进行特征提取，将全连接层至输出层的结构替换为平均池化层，输出各通道脑电信号的高层次提取特征。得到初始模型Model_1；
2、取出步骤S2处理过的部分数据库数据作为EEG_Transfer数据集。首先对预处理后的脑电信号进行切割，统一每段输入脑电信号的长度以便于卷积神经网络的处理。根据采样频率将预处理后的脑电信号进行切割，跟源域模型输入信号保持一致。采用零均值规范化(z-score)的方法，运用总体数据的均值、标准差和观测值，将不同的数据转化为一致量级的数据的数据，以达到标准化的目的。即将原始数据减去其均值，并处以其标准方差得到结果，处理后的数据几乎都聚集在0附近，呈正态分布。
3、将EEG_Transfer数据集中的数据分为训练集、测试集和验证集，每个数据集各自独立严格分开互不关联；具体可以分为10组，每次选其中七组作为训练集，二组作为验证集，一组作为测试集。将七组训练集在初始模型Model_1上进行训练并在验证集上进行验证，采用梯度下降法得到优化后的参数得到目标域模型Model_2，然后在测试集上进行测试得出模型准确率。保持超参数不变，轮流将每组数据都作为测试集，另外九组数据分别作为训练集和验证集，重复以上过程10次直至十组数据都作为测试集对模型的可靠性进行验证。而最终的模型准确度则由10次测试准确率求平均值得出。
在本实施例中，步骤S3具体为：
1、将步骤S1中预处理过的数据库中未用于迁移学习的数据集EEG_data的多通道脑电数据集做如步骤S2所述的切割处理。迁移后网络的输入矩阵是多个长度为1280的脑电信号序列分别从多个通道进入卷积层，然后采用补零的方法，使得卷积运算后输出长度能够保持不变。
2、输出的数据进入归一化层(Batch Normalization，BN)，对数据进行归一化处理，目的是加快网络训练和收敛的速度，防止过拟合的同时在一定程度上解决梯度消失与梯度爆炸的问题。BN层的策略就是将每个通道的数据减去均值除以方差,这样数据经过处理之后就会变成均值为零方差为一的正态分布。其核心公式流程为：
即首先计算出通道数据的均值μ和方差σ2，然后用均值μ和方差σ2对通道中的每一个输出x做归一化，最后将每个输出乘以γ再加上β，目的是还原归一化后的特征，其中γ和β都是可学习的参数向量，大小为输入大小，且默认值分别为1和0。
3、BN层的下一层为激活层，采用的激活函数是ReLU函数，使输入输出数据不再是简单的线性关系，同时增加了网络学习更复杂数据的能力。网络将卷积层、归一层和激活层作为组合多次叠加，同时插入Droput层来随机失活部分网络单元防止网络过拟合。总的来说，多通道卷积网络利用卷积层提取特征，根据步长将特征长度进行多次缩小最后通过平均池化层输出特征张量S作为递归神经网络的输入。
在本实施例中，步骤S4具体为：
1.多通道卷积网络输出长、宽、通道数均合适的特征张量S以供双向长短期记忆(Bi-Long-short Term Memory,Bi-LSTM)结构的递归神经网络输入使用。
LSTM单元通过遗忘门、输入门、输出门控制数据流。遗忘门的作用是判断当前时序节点的输入向量xt和来自上一层的隐藏层输出向量ht-1是否需要保留，用ft来表示该门的输出。
输入门it的主要作用是确定有哪些信息需要被更新,待更新细胞状态C't记录下一步需要被更新的数值，更新细胞Ct为该单元下一输入状态的更新向量。
it＝σ(Wi[hi-1,xi]+bi)
C't＝tanh·(WC[ht-1,xt]+bc)
Ct＝ft*Ct-1+it*Ct)
2.在LSTM内部单元中，由于门控的需要，特征需要限制被映射至[0,1]范围，因此遗忘门、输入门、输出门都被附加了一个sigmoid激活函数以实现非线性映射。在记忆单元的激活函数选择上，考虑到ReLU函数在LSTM训练过程中很容易造成梯度爆炸的情况，而sigmoid函数的非饱和区间较窄，比较容易造成梯度消失问题，因此算法使用了tanh函数作为激活函数。
最后一个门单元将基于细胞状态决定该步隐藏单元的输出。该门使用一个sigmoid层来决定哪些数据被输出至ot，再与经过tanh函数激活后的细胞状态共同决定当前节点的隐藏单元ht输出，该输出将作为下一层的输入隐藏单元。
ot＝σ(Wo·[ht-1,xt]+bo)
ht＝ot*tanh(Ct)
3.在双向LSTM层中，需要保证特征数量在不计批处理大小的情况下不超过卷积层的输入特征量。该层的另一重点在于隐藏层单元的设置。通常该值的初始选取与输入特征向量S的长度S_Lenth相一致，基于该方式设置初值并逐步调整隐藏单元个数。上述超参数的选择都应尽量遵循GPU并行计算的规则选取2的次幂。
4.其次研究需要确定训练超参数的初值。在学习率上，该参数的一般取值范围在0.0001至0.01，但由于ReLU激活函数的引入，模型应尽量避免选择较快的学习速率以防止大面积的神经元失活。根据本研究的输入数据量，批处理大小的初值设置为A0并不断提高以测试模型的性能表现差异。训练的循环次数(epoch)初始设置为E0，可以通过观察模型的泛化性能来决定该值，或设定一个阈值E_Threshold，在该阈值内若模型表现无法继续提升则提前终止训练过程。
5.避免LSTM网络过拟合训练，引入L1正则化、L2正则化和随机失活(Dropout)层，在损失函数后增加一项惩罚项。
6.通过对应位置取和的方式将双向LSTM网络中的正向、反向的两组输出合并为长、宽、通道数均不变的一组特征向量，由此得到了递归神经网络的输出维度。
在本实施例中，步骤S5具体为：
1.采用了软注意力机制查找单个通道的时序特征集S中重要的特征信息，通过查询键值对的方法获取注意力系数矩阵W。由于键值对这种独特的映射关系，注意力系数可以通过查询值和键的运算结果来表示。每个输入的查询值都将参与每一个键值对的相似度计算并归一化。所有的计算值再与Value值相乘并最后累加，即可得到注意力系数。整个过程可以被看成是从大量次要信息中获取重要信息的过程，其中的重要程度即与注意力系数的大小相关。系数越高表示其权重越大，L表示键值对的数量。
通过设定可训练权重向量的方式，将其与非线性激活后的张量作矩阵乘法，每个时间序列步的长度为隐藏层单元个数的特征向量被转换为权重系数。权重系数矩阵再通过一个Softmax激活函数作归一化处理，即可得到标准的权重系数矩阵α，此时矩阵的长为批处理大小、宽为时间序列长度。再利用矩阵α对注意力模型的输入张量进行加权求和并重新调整尺寸即可得到注意力系数矩阵W，该矩阵的长为批处理大小、宽为隐藏单元个数。在自适应注意力模型可为不同的特征向量赋予不同的权重，在注意力模型输出之前，还加入了一层激活层，激活函数选择为tanh函数。
2.根据不同通道脑电信号的注意力系数矩阵W，使用加权特征融合方式来实现特征的重新分布，对计算得到的各个通道脑电情感特征分配相应的权重系数来进行组合。采用这种方法对脑电情感特征进行融合，关键是得到每个特征所对应的权重，计算特征的权重来对脑电情感信号进行重要分析。计算N个通道中第i个脑电特征的脑电情感分类的识别率为ai，基于反馈的原理，得到每个特征的权重wi
其中w1+w2+w3+···+wN-1+wN＝1
采用加权特征融合的方式，可以计算出脑电情感信号N个通道中的每个对应特征所对应权重，具有最高权重的情感特征就是所有通道的特征集合中鉴别性最高的特征，也是对情感分类识别贡献程度最大的。使用对应的权重来衡量各个脑电情感特征对于情感分类的关联性，权重越大，相关性越强。
3.通过自适应注意力机制对单通道内脑电信号特征进行重点提取，使用加权特征融合方法搜索多通道脑电信号中相对应贡献率最高的特征，重构形成完整且具有时序信息的特征集合S_Classify；
在本实施例中，步骤S6具体为：双向LSTM网络的输出特征向量，在自适应注意力机制和加权特征融合作用下被融合为一个完整特征向量S_Classify，最终与两个全连接层相连并概率化输出，分别输出脑电信号在效价和唤醒度这两种情感指标上得到标签的分类可能性，预测结果依据SAM情绪类别评估标准表示，由数字1到9的打分尺度来衡量。
本实施例提供的以上方法可以代码化的形式存储在计算机可读取存储介质中，并以计算机程序的方式进行实现，并通过计算机硬件输入计算所需的基本参数信息，并输出计算结果。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
本专利不局限于上述最佳实施方式，任何人在本专利的启示下都可以得出其它各种形式的利用迁移学习实现多通道卷积-递归神经网络脑电情感识别模型的方法，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。

Claims (5)

1.一种利用迁移学习实现神经网络脑电情感识别模型的方法，其特征在于，包括以下步骤：
步骤S1：对脑电数据集进行预处理；
步骤S2：搭建脑电信号特征提取预训练模型，以基于三心搏识别方法构建的双通道一维卷积神经网络模型作为源域模型迁移模型进行微调训练，采用一维卷积神经网络对每个通道的脑电信号进行特征提取，将全连接层至输出层的结构替换为平均池化层，输出各通道脑电信号的高层次提取特征，得到多通道卷积神经网络；
步骤 S3：采用多通道卷积神经网络对脑电数据集中的多通道脑电信号进行特征提取；
步骤S4：得到多通道卷积网络输出的高层次特征，特征集合输入递归神经网络中进行序列建模，输出递归神经网络特征集合；
步骤S5：使用自适应注意力模型和加权特征融合方式实现特征的重新分布，重构形成完整且具有时序信息的特征集合；
步骤S6：特征集合通过完全连接层进行多分类，获得脑电情感信号在效价和唤醒度两种指标上的预测结果；
步骤S1具体包括以下步骤：
步骤S11:采用小波基函数对脑电数据集中的脑电信号进行多级小波变换分解，得到EEG_raw_data；
步骤S12:对EEG_raw_data进行去均值，把输入数据各个维度都中心化为0，把样本的中心拉回到坐标系原点上，得到数据EEG_data1；
步骤S13:把EEG_data1中信号幅度归一化到一样的范围，得到数据EEG_data2；
步骤S14:对EEG_data2进行主成分分析，使数据各个特征轴上的幅度归一化，得到数据集EEG_data；
步骤S2具体包括以下步骤：
步骤S21:从源域获取一维卷积神经网络模型，将全连接层至输出层的结构进行替换，采用一维卷积神经网络对每个通道的脑电信号进行特征提取，将全连接层至输出层的结构替换为平均池化层，输出各通道脑电信号的高层次提取特征，得到初始模型Model_1；
步骤S22:取出EEG_data数据库中的部分数据，作为EEG_Transfer数据集；
步骤S23:将EEG_Transfer数据集中的数据分为训练集、测试集和验证集，每个数据集各自独立严格分开互不关联；
步骤S24:将每组训练集在初始模型Model_1上进行训练并在验证集上进行验证；
步骤S25:重复步骤S23直至遍历全部训练集，通过梯度下降法，优化初始参数得到目标域模型Model_2；
步骤S26:用测试集对Model_2进行测试，验证迁移后目标域模型的可靠性；
步骤S3具体包括以下步骤：
步骤S31:将EEG_data数据集中的多导联脑电信号作为多通道数据分别输入到目标域模型Model_2的各通道提取情感特征；
步骤S32:将切割后的EEG_data输入卷积层，采用补零方式使得卷积运算后输出长度保持不变；
步骤S33:卷积层输出数据进入归一化层进行归一化处理，再输入下一激活层，激活函数采用ReLU函数；
步骤S34:将卷积层，归一层和激活层组合多次叠加并在其中插入Dropout层，随机失活部分网络以防止网络过拟合；
步骤S35:通过平均池化层输出单个通道的高层次特征；
步骤S4具体包括以下步骤：
步骤S41:多通道卷积网络输出特征张量S以供双向长短期记忆结构Bi-LSTM的递归神经网络输入使用，输出张量长为批处理大小、宽为时间序列长度、通道数为隐藏层单元数量；
步骤S42:在Bi-LSTM内部单元中附加一个tanh激活函数以实现非线性映射，将特征映射至[0,1]范围；
步骤S43:Bi-LSTM网络的隐藏层数量的初始选取采用与输入特征向量的长度相一致，后逐步调整隐藏单元个数，批处理大小的初值设置，并且设定训练的循环次数阈值；
步骤S44:在Bi-LSTM网络中加入L1正则化、L2正则化以及随机失活层，以避免网络过拟合现象，网络训练得到脑电情感信号的时序特征集S_Time；
步骤S45:通过对应位置取和的方式将Bi-LSTM网络中的正向、反向的两组输出合并为长、宽、通道数均不变的一组特征向量，由此得到递归神经网络的输出维度。
2.根据权利要求1所述的利用迁移学习实现神经网络脑电情感识别模型的方法，其特征在于：步骤S5具体包括以下步骤：
步骤S51:引入自适应注意力机制，通过设定可训练权重向量W的方式，将其与Bi-LSTM网络得到的特征张量作矩阵乘法，得到含有注意力权重的特征张量S_Attention；
步骤S52:采用加权特征融合方式，对计算得到的各个通道脑电情感特征分配相应的权重系数进行组合，得到脑电信号分类特征张量S_Classification。
3.根据权利要求2所述的利用迁移学习实现神经网络脑电情感识别模型的方法，其特征在于：步骤S6具体为：
将分类特征张量S_Classification输入到两个全连接层，分别使用分类器概率化输出，分别输出脑电信号在效价和唤醒度这两种情感指标上的预测结果，两种结果依据SAM情绪类别评估标准表示。
4.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-3其中任一所述的利用迁移学习实现神经网络脑电情感识别模型的方法的步骤。
5.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-3其中任一所述的利用迁移学习实现神经网络脑电情感识别模型的方法的步骤。
CN202110904775.1A 2021-08-07 2021-08-07 利用迁移学习实现神经网络脑电情感识别模型的方法 Active CN113627518B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110904775.1A CN113627518B (zh) 2021-08-07 2021-08-07 利用迁移学习实现神经网络脑电情感识别模型的方法
US17/706,627 US20230039900A1 (en) 2021-08-07 2022-03-29 Method for realizing a multi-channel convolutional recurrent neural network eeg emotion recognition model using transfer learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110904775.1A CN113627518B (zh) 2021-08-07 2021-08-07 利用迁移学习实现神经网络脑电情感识别模型的方法

Publications (2)

Publication Number Publication Date
CN113627518A CN113627518A (zh) 2021-11-09
CN113627518B true CN113627518B (zh) 2023-08-08

Family

ID=78383387

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110904775.1A Active CN113627518B (zh) 2021-08-07 2021-08-07 利用迁移学习实现神经网络脑电情感识别模型的方法

Country Status (2)

Country Link
US (1) US20230039900A1 (zh)
CN (1) CN113627518B (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114444293B (zh) * 2022-01-21 2023-06-23 南京森林警察学院 一种基于迁移学习的类干涉信号解相方法
CN114818786B (zh) * 2022-04-06 2024-03-01 五邑大学 通道筛选方法、情绪识别方法、系统及存储介质
WO2023240056A1 (en) * 2022-06-06 2023-12-14 Georgia State University Research Foundation, Inc. System and method for mental diagnosis using eeg
CN115105079B (zh) * 2022-07-26 2022-12-09 杭州罗莱迪思科技股份有限公司 基于自注意力机制的脑电情绪识别方法及其应用
CN115251951A (zh) * 2022-08-02 2022-11-01 哈尔滨理工大学 基于fpga的癫痫脑电信号分类方法、实现方法及装置
CN115859837B (zh) * 2023-02-23 2023-05-16 山东大学 基于数字孪生建模的风机叶片动态冲击检测方法及系统
CN116010858B (zh) * 2023-03-28 2023-06-09 同心智医科技(北京)有限公司 基于自监督学习的通道注意MLP-Mixer网络模型装置及其应用
CN116035598B (zh) * 2023-04-03 2023-06-27 北京肿瘤医院(北京大学肿瘤医院) 一种睡眠纺锤波智能识别方法及系统
CN116095915B (zh) * 2023-04-10 2023-06-30 南昌大学 一种基于人体热舒适度的调光方法及系统
CN116205376B (zh) * 2023-04-27 2023-10-17 北京阿帕科蓝科技有限公司 行为预测方法、行为预测模型的训练方法和装置
CN116521872B (zh) * 2023-04-27 2023-12-26 华中师范大学 一种认知和情感的联合识别方法、系统及电子设备
CN116578761B (zh) * 2023-05-18 2024-04-02 西安韵通网络科技有限公司 基于深度学习的大数据智能分析方法
CN116524282B (zh) * 2023-06-26 2023-09-05 贵州大学 一种基于特征向量的离散相似度匹配分类方法
CN116541766B (zh) * 2023-07-04 2023-09-22 中国民用航空飞行学院 脑电数据修复模型的训练方法、脑电数据修复方法及装置
CN116898455B (zh) * 2023-07-06 2024-04-16 湖北大学 一种基于深度学习模型的睡眠脑电信号检测方法及系统
CN116602691B (zh) * 2023-07-14 2023-10-10 北京元纽科技有限公司 一种脑电信号的去噪方法、装置、电子设备及存储介质
CN116584902B (zh) * 2023-07-18 2024-05-07 山东大学 基于特征选优及可视化的心音分类装置
CN116701917B (zh) * 2023-07-28 2023-10-20 电子科技大学 一种基于生理信号的开放集情感识别方法
CN116687409B (zh) * 2023-07-31 2023-12-12 武汉纺织大学 一种基于数字孪生和深度学习的情绪识别方法及系统
CN116671919B (zh) * 2023-08-02 2023-10-20 电子科技大学 一种基于可穿戴设备的情绪检测提醒方法
CN117171557B (zh) * 2023-08-03 2024-03-22 武汉纺织大学 基于脑电信号的自监督情绪识别模型的预训练方法及装置
CN117033638B (zh) * 2023-08-23 2024-04-02 南京信息工程大学 一种基于脑电eeg认知对齐知识图谱的文本情感分类方法
CN117316396A (zh) * 2023-09-13 2023-12-29 四川大学华西医院 基于dicom标准的医学影像多序列对比标注方法及系统
CN117390543A (zh) * 2023-10-13 2024-01-12 上海韶脑传感技术有限公司 一种基于fa-cnn的运动想象脑电信号处理方法及fa-cnn模型
CN117408311A (zh) * 2023-10-20 2024-01-16 中国石油大学(华东) 一种基于CNN、Transformer和迁移学习的小样本恶意网站检测方法
CN117332317B (zh) * 2023-10-23 2024-04-19 昆明理工大学 一种注意力残差网络结合lstm的eeg情绪识别方法
CN117174219B (zh) * 2023-11-02 2024-02-02 济南大学 基于隐变量模型的水泥强度条件概率分布估计方法及系统
CN117493963A (zh) * 2023-11-08 2024-02-02 山西大学 一种基于多尺度双曲对比学习的跨被试脑电情感识别方法及设备
CN117426774B (zh) * 2023-12-21 2024-04-09 深圳腾信百纳科技有限公司 一种基于智能手环的用户情绪评估方法及系统
CN117481630B (zh) * 2023-12-26 2024-04-05 武汉纺织大学 一种基于生物电阻抗分析法的乳腺癌检测方法
CN117562542B (zh) * 2024-01-17 2024-04-30 小舟科技有限公司 基于脑电信号的情感识别方法、计算机设备及存储介质
CN117614467B (zh) * 2024-01-17 2024-05-07 青岛科技大学 基于降噪神经网络的水声信号智能接收方法
CN117725393B (zh) * 2024-02-07 2024-05-07 国网四川省电力公司电力科学研究院 一种低压电弧故障识别方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109918752A (zh) * 2019-02-26 2019-06-21 华南理工大学 基于迁移卷积神经网络的机械故障诊断方法、设备及介质
CN109934335A (zh) * 2019-03-05 2019-06-25 清华大学 基于混合深度学习的高铁道岔故障诊断方法
CN110353702A (zh) * 2019-07-02 2019-10-22 华南理工大学 一种基于浅层卷积神经网络的情感识别方法及系统
AU2020103613A4 (en) * 2020-11-23 2021-02-04 Agricultural Information and Rural Economic Research Institute of Sichuan Academy of Agricultural Sciences Cnn and transfer learning based disease intelligent identification method and system

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11657288B2 (en) * 2010-06-07 2023-05-23 Affectiva, Inc. Convolutional computing using multilayered analysis engine

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109918752A (zh) * 2019-02-26 2019-06-21 华南理工大学 基于迁移卷积神经网络的机械故障诊断方法、设备及介质
CN109934335A (zh) * 2019-03-05 2019-06-25 清华大学 基于混合深度学习的高铁道岔故障诊断方法
CN110353702A (zh) * 2019-07-02 2019-10-22 华南理工大学 一种基于浅层卷积神经网络的情感识别方法及系统
AU2020103613A4 (en) * 2020-11-23 2021-02-04 Agricultural Information and Rural Economic Research Institute of Sichuan Academy of Agricultural Sciences Cnn and transfer learning based disease intelligent identification method and system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王新康 等.基于自适应向量机检测睡眠呼吸暂停综合征的最优特征组合筛选.《中国医药导报》.2019,全文. *

Also Published As

Publication number Publication date
CN113627518A (zh) 2021-11-09
US20230039900A1 (en) 2023-02-09

Similar Documents

Publication Publication Date Title
CN113627518B (zh) 利用迁移学习实现神经网络脑电情感识别模型的方法
Khan et al. Focal onset seizure prediction using convolutional networks
CN109994203B (zh) 一种基于eeg信号深度多视角特征学习的癫痫检测方法
Karim et al. A new framework using deep auto-encoder and energy spectral density for medical waveform data classification and processing
Lu et al. Feature fusion for imbalanced ECG data analysis
CN111160139B (zh) 心电信号的处理方法、装置及终端设备
Hartmann et al. Automatic a-phase detection of cyclic alternating patterns in sleep using dynamic temporal information
Ali et al. Autism spectrum disorder classification on electroencephalogram signal using deep learning algorithm
CN114052735B (zh) 一种基于深度领域自适应的脑电情绪识别方法及系统
Cherian et al. Theoretical and methodological analysis of EEG based seizure detection and prediction: An exhaustive review
Dong et al. Subject sensitive EEG discrimination with fast reconstructable CNN driven by reinforcement learning: A case study of ASD evaluation
Zaki et al. Using automated walking gait analysis for the identification of pedestrian attributes
Anderson Effects of variations in neural network topology and output averaging on the discrimination of mental tasks from spontaneous electroencephalogram
Li et al. Patient-specific seizure prediction from electroencephalogram signal via multi-channel feedback capsule network
Saddam et al. Classification of alcoholic EEG using wavelet packet decomposition, principal component analysis, and combination of genetic algorithm and neural network
Deepthi et al. An intelligent Alzheimer’s disease prediction using convolutional neural network (CNN)
Asghar et al. Semi-skipping layered gated unit and efficient network: hybrid deep feature selection method for edge computing in EEG-based emotion classification
Xin et al. Epilepsy EEG classification based on convolution support vector machine
CN114027786B (zh) 基于自监督式记忆网络的睡眠呼吸障碍检测方法及系统
Guntari et al. Classification of post-stroke eeg signal using genetic algorithm and recurrent neural networks
CN117193537A (zh) 一种基于自适应迁移学习的双分支卷积神经网络运动想象意图解码方法
Mohamed et al. Detection of epileptiform activity in human EEG signals using Bayesian neural networks
Dasey et al. Detection of multiple sclerosis with visual evoked potentials-an unsupervised computational intelligence system
Jaishankar et al. A novel epilepsy seizure prediction model using deep learning and classification
Song et al. Epileptic EEG detection via a novel pattern recognition framework

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant