CN117171557B - 基于脑电信号的自监督情绪识别模型的预训练方法及装置 - Google Patents
基于脑电信号的自监督情绪识别模型的预训练方法及装置 Download PDFInfo
- Publication number
- CN117171557B CN117171557B CN202310976057.4A CN202310976057A CN117171557B CN 117171557 B CN117171557 B CN 117171557B CN 202310976057 A CN202310976057 A CN 202310976057A CN 117171557 B CN117171557 B CN 117171557B
- Authority
- CN
- China
- Prior art keywords
- training
- self
- recognition model
- supervision
- emotion recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 134
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 85
- 238000000034 method Methods 0.000 title claims abstract description 48
- 239000013598 vector Substances 0.000 claims abstract description 69
- 230000008451 emotion Effects 0.000 claims abstract description 39
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 19
- 238000013527 convolutional neural network Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 10
- 230000000873 masking effect Effects 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 230000002776 aggregation Effects 0.000 claims description 5
- 238000004220 aggregation Methods 0.000 claims description 5
- 210000004556 brain Anatomy 0.000 claims description 4
- 238000004260 weight control Methods 0.000 claims description 4
- 230000002457 bidirectional effect Effects 0.000 abstract description 3
- 230000002996 emotional effect Effects 0.000 description 8
- PIZHFBODNLEQBL-UHFFFAOYSA-N 2,2-diethoxy-1-phenylethanone Chemical compound CCOC(OCC)C(=O)C1=CC=CC=C1 PIZHFBODNLEQBL-UHFFFAOYSA-N 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本申请提供了一种基于脑电信号的自监督情绪识别模型的预训练方法及装置，具体实现方案为：将原始脑电信号向量输入至初始自监督情绪识别模型，获取模型预测掩码；根据模型预测掩码及基于聚类算法获取的情绪状态伪标签计算训练损失值；参考训练损失值调整初始信号识别模型的配置参数后进行迭代训练，直至训练损失值小于或等于预设损失值阈值，得到训练完成的自监督情绪识别模型。通过本申请方案的实施，使用自适应聚类来创建自监督训练的情绪状态伪标签，并基于情绪状态伪标签来计算模型训练损失，保证了训练得到的模型的有效性，使模型能够在连续序列上学习双向的特征组合，模型在实际应用场景中可以更细致地捕捉情绪表达，实现精准情绪识别。
Description
技术领域
本申请涉及人工智能技术领域，尤其涉及深度学习技术领域，可应用于脑电信号识别模型的训练场景。更具体的，本申请公开了一种基于脑电信号的自监督情绪识别模型的预训练方法及装置。
背景技术
自监督预训练模型在自然语言处理和计算机视觉等领域得到了广泛的应用，生物信号作为时间序列的一个重要研究内容，也在探索自监督训练方法。基于脑电信号的情绪识别是自监督预训练模型的一种典型应用领域，在相关技术中，通常采用多种不同方法来实现EEG信号的处理，并提取与情绪状态相关的特征，其中，频带搜索方法通过选择最佳频带来实现情绪识别；特征提取方法通过提取与情绪状态相关的特征来实现情绪识别，如微分熵特征；分类器方法使用不同的分类器来对提取的特征进行分类，如核分类器、卷积神经网络等；特征选择方法通过特征选择方式来减少特征数量和提高分类器的性能，如基于ReliefF的通道选择方法；数据增强方法使用生成对抗网络(GAN)等方法来增强EEG信号数据，从而提高情绪识别的准确性。然而，现有的在时间序列上的预训练存在以下问题：预训练模型与下游目标域之间可能存在特征不匹配，对信号顺序结构的捕捉影响下游任务的完成；时间序列相关的全局和局部特征的结构难以平衡。
值得注意的是，在此部分中描述的技术不一定是之前已经设想到或采用的技术。除非另有指明，否则不应假定此部分中描述的任何技术仅因其包括在此部分中就被认为为现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。
发明内容
本申请的主要目的在于提供一种基于脑电信号的自监督情绪识别模型的预训练方法及装置，至少能够解决相关技术所训练的自监督情绪识别模型的有效性相对局限的问题。
本申请第一方面提供了一种基于脑电信号的自监督情绪识别模型的预训练方法，包括：将原始脑电信号向量输入至初始自监督情绪识别模型，获取模型预测掩码；根据所述模型预测掩码以及基于聚类算法获取的情绪状态伪标签计算训练损失值；参考所述训练损失值调整所述初始信号识别模型的配置参数后进行迭代训练，直至所述训练损失值小于或等于预设损失值阈值，得到训练完成的自监督情绪识别模型；其中，训练完成的自监督情绪识别模型用于对脑电信号中的情绪特征进行提取，并预测情绪的分类结果。
本申请第二方面提供了一种基于脑电信号的自监督情绪识别模型的预训练装置，包括：获取模块，用于将原始脑电信号向量输入至初始自监督情绪识别模型，获取模型预测掩码；计算模块，用于根据所述模型预测掩码以及基于聚类算法获取的情绪状态伪标签计算训练损失值；训练模块，用于参考所述训练损失值调整所述初始信号识别模型的配置参数后进行迭代训练，直至所述训练损失值小于或等于预设损失值阈值，得到训练完成的自监督情绪识别模型；其中，训练完成的自监督情绪识别模型用于对脑电信号中的情绪特征进行提取，并预测情绪的分类结果。
本申请第三方面提供了一种电子设备，包括：存储器及处理器，其中，处理器用于执行存储在存储器上的计算机程序，处理器执行计算机程序时，实现上述本申请实施例第一方面提供的基于脑电信号的自监督情绪识别模型的预训练方法中的各步骤。
本申请第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现上述本申请实施例第一方面提供的基于脑电信号的自监督情绪识别模型的预训练方法中的各步骤。
由上可见，根据本申请方案所提供的基于脑电信号的自监督情绪识别模型的预训练方法及装置，将原始脑电信号向量输入至初始自监督情绪识别模型，获取模型预测掩码；根据模型预测掩码以及基于聚类算法获取的情绪状态伪标签计算训练损失值；参考训练损失值调整初始信号识别模型的配置参数后进行迭代训练，直至训练损失值小于或等于预设损失值阈值，得到训练完成的自监督情绪识别模型。通过本申请方案的实施，使用自适应聚类来创建自监督训练的情绪状态伪标签，并基于情绪状态伪标签来计算模型训练损失，保证了训练得到的自监督情绪识别模型的有效性，使模型能够在连续序列上学习双向的特征组合。
应当理解，本部分所描述的内容并非旨在标识本申请的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述共同用于解释实施例的示例性实施方式。所示出的附图仅出于示例性目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。
图1为本申请一实施例提供的基于脑电信号的自监督情绪识别模型的预训练方法的基本流程示意图；
图2为本申请一实施例提供的一种自监督情绪识别模型的原理示意图；
图3为本申请一实施例提供的基于脑电信号的自监督情绪识别模型的预训练方法的细化流程示意图；
图4为本申请一实施例提供的一种基于脑电信号的自监督情绪识别模型的预训练装置的功能模块示意图；
图5为本申请一实施例提供的电子设备的结构示意图。
具体实施方式
为使得本申请的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请实施例的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请实施例的描述中，术语“多个”的含义是两个或两个以上，除非另有明确具体的限定。
为了解决相关技术所训练的自监督情绪识别模型的有效性相对局限的问题，本申请一实施例提供了一种基于脑电信号的自监督情绪识别模型的预训练方法，如图1为本实施例提供的基于脑电信号的自监督情绪识别模型的预训练方法的基本流程图，该基于脑电信号的自监督情绪识别模型的预训练方法包括以下的步骤：
步骤101、将原始脑电信号向量输入至初始自监督情绪识别模型，获取模型预测掩码。
如图2所示为本实施例提供的一种自监督情绪识别模型的原理示意图，在本实施例中自监督情绪识别模型包括卷积神经网络以及自注意力网络，卷积神经网络优选的可以为一个7层卷积神经网络，自注意力网络优选的可以为一个12层Transfomer网络(也即图2中基于Transfomer的12层掩码预测模型)。
相应的，本实施例上述将原始脑电信号向量输入至初始自监督情绪识别模型，获取模型预测掩码的步骤，具体包括：将原始脑电信号向量输入至初始自监督情绪识别模型的卷积神经网络进行下采样和特征提取，得到嵌入式结构信息特征向量；将嵌入式结构信息特征向量输入至初始自监督情绪识别模型的自注意力网络，得到模型预测掩码；其中，模型预测掩码为结构关联的序列特征向量。
具体的，X＝{x1,x2,...,xM}是经预处理后对齐的原始多通道EEG信号矢量，预训练模型取长度为M的序列X作为输入T＝g(M)，其中g是一个7层的卷积神经网络，重新对应于时间步长。Z＝{z1,z2,...,zT}是卷积神经网络下采样和特征提取后得到的嵌入式结构信息特征向量，它潜伏着EEG信号的结构分布特征，为按50％步长对Z进行随机掩蔽后的向量。L＝{l1,l2,...,lT}是经过12层Transfomer网络得到的结构关联的序列特征向量，即包含时间序列的上下文信息表示。应当理解的是，模型预测掩码的交叉熵损失被用作损失函数，迫使模型学习到时间序列的顺序特征和表示矢量。
步骤102、根据模型预测掩码以及基于聚类算法获取的情绪状态伪标签计算训练损失值。
具体的，在模型训练过程中，获取训练样本数据对应的模型输出数据，也即预测掩码，然后针对预测掩码以及预先获取的标签数据也即情绪状态伪标签进行损失值计算，本实施例的损失值用于衡量网络的训练输出与情绪状态伪标签之间的差距。应当说明的是，伪标签的表达含义为对情绪进行更为细微的分类任务。
在本实施例一种可选实施方式中，上述根据模型预测掩码以及基于聚类算法获取的情绪状态伪标签计算训练损失值的步骤之前，还包括：将多通道脑电信号处理成维度对齐的脑电信号向量；计算脑电信号向量对应的微分熵特征向量；采用预设聚类算法对微分熵特征向量进行计算，得到情绪状态伪标签。
具体的，各个数据集的脑电信号在结构上并不统一，可以对脑电信号进行下采样、滤波、对齐、切片处理，多通道信号被处理成维度对齐的向量X＝{x1,x2,...,xM}，M为样本点的数量。微分熵特征是脑电信号识别中有效的初步特征形式，对所有数据计算微分熵特征：S＝{s1,s2,...,sM}，S＝D(x)，其中D是微分熵函数，S可以显著反映时间序列与原始信号的结构特性。本实施例通过聚类算法自适应学习得到聚类集合Y＝{y1,y2,...,yN}，其中0≤N≤M，N为完成聚类后的聚类总数，大小由聚类算法自主决定，可以最大程度地表现脑电信号中的离散结构分布。聚类结果用于生成情绪状态伪标签集L＝{l1，l2，...，lk}，k是情绪状态伪标签的类数，可以表示时间序列有多少有效的结构特征。
进一步地，在本实施例一种可选实施方式中，上述采用预设聚类算法对微分熵特征向量进行计算，得到情绪状态伪标签的步骤，包括：将所有微分熵特征向量作为样本点，两两之间计算样本点距离；将样本点距离与预设距离度量阈值进行比较；若比较结果满足预设第一比较条件，则以距离度量阈值为半径、满足条件的样本点为中心，统计所限定范围内的样本点数量；将样本点数量与预设最小聚合点数量阈值进行比较；若比较结果满足预设第二比较条件，则确定为有效聚类；根据聚类结果确定情绪状态伪标签。
具体的，使用聚类算法找到任意形状的聚类，主要是计算两个样本点之间的距离，时间复杂度为O(n*logn)，本实施例的样本点距离的计算公式表示为：
其中，dist(X，Y)表示样本点距离，xk、yk表示两个样本点对应的样本变量，n表示样本变量的维度，q表示可控变量参数。应当说明的是，对于可控变量参数，q＝1是曼哈顿距离，q＝2是欧氏距离，q→∞是切比雪夫距离。
在本实施例中，使用参数Eps(也即距离度量阈值)和MinPts(也即最小聚合点数量阈值)来计算一个点是否属于聚类，Eps半径内包含的点的数量必须大于MinPts，满足给定参数Eps和MinPts的点属于有效的聚类，否则属于无效的，具体表达式可以为：
p(x)＝|{y∈X：dist(x，y)≤Eps}|；
需要理解的是，选择未访问的对象x，当p(x)≥MinPts满足时，x作为核心对象，其半径eps内的所有数据点形成一个簇，簇内的点不再被访问。根据聚类模型将脑电信号区分为一帧，帧的大小对应于相应聚类的大小，设d(x)＝Z＝{z1，z2，...，zM}，脑电数据将表示为X＝{x1，x2，...，xM}，d为聚类模型。
在实际应用中，聚类结果产生的情绪状态伪标签可以被用作预训练模型第一次迭代的损失计算，随后将Transfomer网络中间层的输出作为情绪状态伪标签来计算损失。
在本实施例一种可选实施方式中，上述训练损失值的计算公式表示为：
S＝(1-δ)Sm+δSu
其中，S表示训练损失值，δ表示掩码权重控制参数，Sm表示被掩蔽部分的预测损失值，Su表示未被掩蔽部分的预测损失值，I表示嵌入式结构信息特征向量被掩蔽后的数据索引集，lt表示序列特征向量，表示随机掩蔽向量，p表示每个预测值在索引集上的分布。应当理解的是，通过掩码权重控制系数，可以使模型能够学习未掩码部分的表征特征，也能学习被掩码部分的时序结构信息，其大小直接影响模型的学习性能。
步骤103、参考训练损失值调整初始信号识别模型的配置参数后进行迭代训练，直至训练损失值小于或等于预设损失值阈值，得到训练完成的自监督情绪识别模型。
具体的，本实施例将模型收敛条件限定为损失值小于或等于预设损失值阈值，也即将损失值阈值作为模型收敛的临界值，若训练过程中的损失值未满足模型收敛条件，则可以采用反向传播算法计算网络各参数梯度，并更新模型的配置参数，继续进行迭代训练，直至损失值满足模型收敛条件，实现模型收敛，最终得到训练完成的自监督情绪识别模型，本实施例的训练完成的自监督情绪识别模型用于对脑电信号中的情绪特征进行提取，并预测情绪的分类结果。
接下来，本实施例还进一步结合实验结果来对上述实施例所阐述的技术方案进行结果验证：
本实施例对目前可用的几种自监督的预训练模型BENDR，TS-TCC，TS2Vec，TF-C进行了比较，BENDR是一种基于语音模型Wav2Vec2创建的脑电信号自监督学习的方法，通过调整遮蔽语言建模来进行脑电建模，在一些下游任务中获得了性能的改善，但结果在跨数据集性能上缺乏一致性。TF-C(TimeFrequency Consistency，时频一致性)进行自监督预训练，通过时空对比学习获得时间序列的表征，该方法利用了脑电信号的时空相关信息，但在处理不规则时间序列时性能并不稳定。TS2Vec(Towards universal representation oftime series，时间序列的普遍表示)可以捕捉时间序列长上下文之间的结构信息，通过重叠子序列将原始信息投射到高维空间进行随机掩码，利用层次函数获得上下文一致性，最后通过CNN生成序列的结构表示。TS-TCC(Time-Series representation learningframework via Temporal and Contextual Contrasting，通过时间和上下文对比的时间序列表示学习框架)使用变换和自回归模型来捕获序列结构信息，通过强弱增强依赖获得关联视图，并构建上下文模块计算相似度来获得序列结构信息。
本实施例将SEED和DEAP数据集中的所有数据切割成5s采样时间的数据帧。为了使两个数据集的通道一致并减少训练成本，本实施例根据空间位置平均分布的原则选择了16个通道：FP1,FP2,F7,F8,FZ,T7,C3,CZ,C4,T8,P7,P3,PZ,P4,P8,OZ，两个数据集的训练和验证都使用了相同的通道。
为了验证自监督预训练模型的跨数据集的泛化能力，并在数据集之间进行交叉验证，分为三种评估方式：1)在SEED数据集上做预训练，在DEAP数据集上测试得分；2)在DEAP数据集上做预训练，在SEED数据集上测试得分；3)混合数据集训练和测试，在50％的DEAP数据集和50％的SEED数据集上做预训练，在两个数据集上做预训练和验证。
以上三种评估方式的比较结果见表一和表二，表1示出了对SEED进行预训练和在DEAP上测试得分的比较结果、对DEAP进行预训练和在SEED上测试得分的比较结果，表2示出了对混合数据集训练和测试的比较结果。本实施例的模型在三种评估中赢得了所有的评分项。本实施例的模型在SEED评估中以2.53％的准确率领先于最佳基线TF-C得分，在DEEP评估中以3.8％的准确率领先于最佳基线BENDR得分，在混合评估中以6.1％的准确率领先于最佳基线。TF-C的性能在混合训练中大幅下降，BENDR的性能得到小幅提高，而TS-TCC和TS2Vec出现波动，一个可能的解释是这两个数据集在序列信息结构方面的建模不同，这些预训练的模型在跨数据集的知识转移中忽略了这一点。平均来说，它们在单一数据集中的F1得分比基线得分高7.3％，在混合数据集中高8.9％，具有很强的鲁棒性和对实际应用场景的概括性。
表1
表2
基于本实施例上述技术方案，脑电时间序列自监督预训练模型在研究中应用广泛，基于预训练模型的下游任务不仅可以减少学习成本，但在EEG数据量小、任务类型多的情况下，也是一个很好的解决思路。在本实施例中，提出了一种基于Transformer架构掩码预测的自监督训练方法，使用密度聚类进行自监督情绪状态伪标签生成，基于聚类特征进行掩码，并通过Transformer编码器学习时间序列的顺序结构信息。该模型在SEED和DEAP数据集上进行了验证，跨越了单一和混合数据集，与基线模型相比，得到了明显的改进结果。此外，本实施例还分析了掩码方法对预训练模型的影响，分配适当的掩码可以有效地学习全局和局部信息。
图3中的方法为本申请一实施例提供的一种细化的基于脑电信号的自监督情绪识别模型的预训练方法，具体包括如下流程：
步骤301、将多通道脑电信号处理成维度对齐的脑电信号向量；
步骤302、计算脑电信号向量对应的微分熵特征向量；
步骤303、采用预设聚类算法对微分熵特征向量进行计算，得到情绪状态伪标签；
步骤304、将原始脑电信号向量输入至初始自监督情绪识别模型的卷积神经网络进行下采样和特征提取，得到嵌入式结构信息特征向量；
步骤305、将嵌入式结构信息特征向量输入至初始自监督情绪识别模型的自注意力网络，得到模型预测掩码；
步骤306、根据模型预测掩码以及情绪状态伪标签计算训练损失值；
步骤307、参考训练损失值调整初始信号识别模型的配置参数后进行迭代训练，直至训练损失值小于或等于预设损失值阈值，得到训练完成的自监督情绪识别模型。
应当理解的是，本实施例中各步骤的序号的大小并不意味着步骤执行顺序的先后，各步骤的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成唯一限定。
图4为本申请一实施例提供的一种基于脑电信号的自监督情绪识别模型的预训练装置，该基于脑电信号的自监督情绪识别模型的预训练装置可用于实现前述实施例中的基于脑电信号的自监督情绪识别模型的预训练方法，主要包括：
获取模块401，用于将原始脑电信号向量输入至初始自监督情绪识别模型，获取模型预测掩码；
计算模块402，用于根据模型预测掩码以及基于聚类算法获取的情绪状态伪标签计算训练损失值；
训练模块403，用于参考训练损失值调整初始信号识别模型的配置参数后进行迭代训练，直至训练损失值小于或等于预设损失值阈值，得到训练完成的自监督情绪识别模型；其中，训练完成的自监督情绪识别模型用于对脑电信号中的情绪特征进行提取，并预测情绪的分类结果。
在本实施例一种可选实施方式中，自监督情绪识别模型包括卷积神经网络以及自注意力网络，获取模块具体用于：将原始脑电信号向量输入至初始自监督情绪识别模型的卷积神经网络进行下采样和特征提取，得到嵌入式结构信息特征向量；将嵌入式结构信息特征向量输入至初始自监督情绪识别模型的自注意力网络，得到模型预测掩码；其中，模型预测掩码为结构关联的序列特征向量。
在本实施例一种可选实施方式中，计算模块还用于：将多通道脑电信号处理成维度对齐的脑电信号向量；计算脑电信号向量对应的微分熵特征向量；采用预设聚类算法对微分熵特征向量进行计算，得到情绪状态伪标签。
在本实施例一种可选实施方式中，计算模块在执行上述采用预设聚类算法对微分熵特征向量进行计算，得到情绪状态伪标签的功能时，具体用于：将所有微分熵特征向量作为样本点，两两之间计算样本点距离；将样本点距离与预设距离度量阈值进行比较；若比较结果满足预设第一比较条件，则以距离度量阈值为半径、满足条件的样本点为中心，统计所限定范围内的样本点数量；将样本点数量与预设最小聚合点数量阈值进行比较；若比较结果满足预设第二比较条件，则确定为有效聚类；根据聚类结果确定情绪状态伪标签。
应当说明的是，前述实施例中的基于脑电信号的自监督情绪识别模型的预训练方法均可基于本实施例提供的基于脑电信号的自监督情绪识别模型的预训练装置实现，所属领域的普通技术人员可以清楚的了解到，为描述的方便和简洁，本实施例中所描述的基于脑电信号的自监督情绪识别模型的预训练装置的具体工作过程，可以参考前述方法实施例中的对应工作过程实现，在此不再赘述。
基于上述本申请实施例的技术方案，将原始脑电信号向量输入至初始自监督情绪识别模型，获取模型预测掩码；根据模型预测掩码以及基于聚类算法获取的情绪状态伪标签计算训练损失值；参考训练损失值调整初始信号识别模型的配置参数后进行迭代训练，直至训练损失值小于或等于预设损失值阈值，得到训练完成的自监督情绪识别模型。通过本申请方案的实施，使用自适应聚类来创建自监督训练的情绪状态伪标签，并基于情绪状态伪标签来计算模型训练损失，保证了训练得到的自监督情绪识别模型的有效性，使模型能够在连续序列上学习双向的特征组合。
图5为本申请一实施例提供的一种电子设备。该电子设备可用于实现前述实施例中的基于脑电信号的自监督情绪识别模型的预训练方法，主要包括：存储器501、处理器502，存储器501上存储有可在处理器502上运行的计算机程序503，存储器501和处理器502通信连接，处理器502执行该计算机程序503时，实现前述实施例中的基于脑电信号的自监督情绪识别模型的预训练方法。其中，处理器502的数量可以是一个或多个。
存储器501可以是高速随机存取记忆体(RAM，Random Access Memory)存储器，也可为非不稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器501用于存储可执行程序代码，处理器502与存储器501耦合。
进一步的，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是设置于上述各实施例中的电子设备中，该计算机可读存储介质可以是前述图5所示实施例中的存储器。
该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现前述实施例中的基于脑电信号的自监督情绪识别模型的预训练方法。进一步的，该计算机可存储介质还可以是U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
应该理解到，对应于本申请提供的实施例所揭露的装置和方法，也可以通过其它任何等同方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的可读存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上为对本申请所提供的基于脑电信号的自监督情绪识别模型的预训练方法及装置的描述，对于本领域的技术人员，依据本申请实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。
Claims (6)
1.一种基于脑电信号的自监督情绪识别模型的预训练方法，其特征在于，包括：
将原始脑电信号向量输入至初始自监督情绪识别模型，获取模型预测掩码；
将多通道脑电信号处理成维度对齐的脑电信号向量；计算所述脑电信号向量对应的微分熵特征向量；将所有所述微分熵特征向量作为样本点，两两之间计算样本点距离；将所述样本点距离与预设距离度量阈值进行比较；若比较结果满足预设第一比较条件，则以所述距离度量阈值为半径、满足条件的所述样本点为中心，统计所限定范围内的样本点数量；将所述样本点数量与预设最小聚合点数量阈值进行比较；若比较结果满足预设第二比较条件，则确定为有效聚类；根据聚类结果确定情绪状态伪标签；
根据所述模型预测掩码以及基于聚类算法获取的情绪状态伪标签计算训练损失值；
参考所述训练损失值调整所述初始自监督情绪识别模型的配置参数后进行迭代训练，直至所述训练损失值小于或等于预设损失值阈值，得到训练完成的自监督情绪识别模型；其中，训练完成的自监督情绪识别模型用于对脑电信号中的情绪特征进行提取，并预测情绪的分类结果；
所述样本点距离的计算公式表示为：
；
其中，表示所述样本点距离，/>、/>表示两个样本点对应的样本变量，n表示样本变量的维度，q表示可控变量参数；
所述训练损失值的计算公式表示为：
；
其中，表示训练损失值，/>表示掩码权重控制参数，/>表示被掩蔽部分的预测损失值，表示未被掩蔽部分的预测损失值，I表示嵌入式结构信息特征向量被掩蔽后的数据索引集，/>表示序列特征向量，/>表示随机掩蔽向量，/>表示每个预测值在索引集上的分布。
2.根据权利要求1所述的预训练方法，其特征在于，自监督情绪识别模型包括卷积神经网络以及自注意力网络，所述将原始脑电信号向量输入至初始自监督情绪识别模型，获取模型预测掩码的步骤，包括：
将原始脑电信号向量输入至初始自监督情绪识别模型的卷积神经网络进行下采样和特征提取，得到嵌入式结构信息特征向量；
将所述嵌入式结构信息特征向量输入至所述初始自监督情绪识别模型的自注意力网络，得到模型预测掩码；其中，所述模型预测掩码为结构关联的序列特征向量。
3.一种基于脑电信号的自监督情绪识别模型的预训练装置，其特征在于，包括：
获取模块，用于将原始脑电信号向量输入至初始自监督情绪识别模型，获取模型预测掩码；
计算模块，用于将多通道脑电信号处理成维度对齐的脑电信号向量；计算所述脑电信号向量对应的微分熵特征向量；将所有所述微分熵特征向量作为样本点，两两之间计算样本点距离；将所述样本点距离与预设距离度量阈值进行比较；若比较结果满足预设第一比较条件，则以所述距离度量阈值为半径、满足条件的所述样本点为中心，统计所限定范围内的样本点数量；将所述样本点数量与预设最小聚合点数量阈值进行比较；若比较结果满足预设第二比较条件，则确定为有效聚类；根据聚类结果确定情绪状态伪标签；根据所述模型预测掩码以及基于聚类算法获取的情绪状态伪标签计算训练损失值；
训练模块，用于参考所述训练损失值调整所述初始自监督情绪识别模型的配置参数后进行迭代训练，直至所述训练损失值小于或等于预设损失值阈值，得到训练完成的自监督情绪识别模型；其中，训练完成的自监督情绪识别模型用于对脑电信号中的情绪特征进行提取，并预测情绪的分类结果；
所述样本点距离的计算公式表示为：
；
其中，表示所述样本点距离，/>、/>表示两个样本点对应的样本变量，n表示样本变量的维度，q表示可控变量参数；
所述训练损失值的计算公式表示为：
；
其中，表示训练损失值，/>表示掩码权重控制参数，/>表示被掩蔽部分的预测损失值，表示未被掩蔽部分的预测损失值，I表示嵌入式结构信息特征向量被掩蔽后的数据索引集，/>表示序列特征向量，/>表示随机掩蔽向量，/>表示每个预测值在索引集上的分布。
4.根据权利要求3所述的预训练装置，其特征在于，自监督情绪识别模型包括卷积神经网络以及自注意力网络，所述获取模块具体用于：将原始脑电信号向量输入至初始自监督情绪识别模型的卷积神经网络进行下采样和特征提取，得到嵌入式结构信息特征向量；将所述嵌入式结构信息特征向量输入至所述初始自监督情绪识别模型的自注意力网络，得到模型预测掩码；其中，所述模型预测掩码为结构关联的序列特征向量。
5.一种电子设备，其特征在于，包括存储器及处理器，其中：
所述处理器用于执行存储在所述存储器上的计算机程序；
所述处理器执行所述计算机程序时，实现权利要求1或2所述的基于脑电信号的自监督情绪识别模型的预训练方法中的步骤。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1或2所述的基于脑电信号的自监督情绪识别模型的预训练方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310976057.4A CN117171557B (zh) | 2023-08-03 | 2023-08-03 | 基于脑电信号的自监督情绪识别模型的预训练方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310976057.4A CN117171557B (zh) | 2023-08-03 | 2023-08-03 | 基于脑电信号的自监督情绪识别模型的预训练方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117171557A CN117171557A (zh) | 2023-12-05 |
| CN117171557B true CN117171557B (zh) | 2024-03-22 |
Family
ID=88942082
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310976057.4A Active CN117171557B (zh) | 2023-08-03 | 2023-08-03 | 基于脑电信号的自监督情绪识别模型的预训练方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117171557B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022067524A1 (zh) * | 2020-09-29 | 2022-04-07 | 香港教育大学 | 自动情绪识别方法、系统、计算设备及计算机可读存储介质 |
| CN114631831A (zh) * | 2022-03-04 | 2022-06-17 | 南京理工大学 | 基于半监督领域自适应的跨个体情绪脑电识别方法及系统 |
| CN115005839A (zh) * | 2022-06-09 | 2022-09-06 | 浙江大学 | 脑电信号自监督表示学习方法、系统和存储介质 |
| CN115457982A (zh) * | 2022-09-06 | 2022-12-09 | 平安科技（深圳）有限公司 | 情感预测模型的预训练优化方法、装置、设备及介质 |
| CN115590515A (zh) * | 2022-09-28 | 2023-01-13 | 上海零唯一思科技有限公司（Cn） | 基于生成式自监督学习和脑电信号的情绪识别方法及系统 |
| CN115813408A (zh) * | 2022-11-25 | 2023-03-21 | 华中科技大学 | 一种用于脑电信号分类任务的Transformer编码器自监督学习方法 |
| CN116150660A (zh) * | 2023-03-03 | 2023-05-23 | 杭州电子科技大学 | 基于自监督cnn的脑电情绪识别方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4027300B1 (en) * | 2021-01-12 | 2023-12-27 | Fujitsu Limited | Apparatus, program, and method for anomaly detection and classification |
| CN113627518B (zh) * | 2021-08-07 | 2023-08-08 | 福州大学 | 利用迁移学习实现神经网络脑电情感识别模型的方法 |
-
2023
- 2023-08-03 CN CN202310976057.4A patent/CN117171557B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022067524A1 (zh) * | 2020-09-29 | 2022-04-07 | 香港教育大学 | 自动情绪识别方法、系统、计算设备及计算机可读存储介质 |
| CN114631831A (zh) * | 2022-03-04 | 2022-06-17 | 南京理工大学 | 基于半监督领域自适应的跨个体情绪脑电识别方法及系统 |
| CN115005839A (zh) * | 2022-06-09 | 2022-09-06 | 浙江大学 | 脑电信号自监督表示学习方法、系统和存储介质 |
| CN115457982A (zh) * | 2022-09-06 | 2022-12-09 | 平安科技（深圳）有限公司 | 情感预测模型的预训练优化方法、装置、设备及介质 |
| CN115590515A (zh) * | 2022-09-28 | 2023-01-13 | 上海零唯一思科技有限公司（Cn） | 基于生成式自监督学习和脑电信号的情绪识别方法及系统 |
| CN115813408A (zh) * | 2022-11-25 | 2023-03-21 | 华中科技大学 | 一种用于脑电信号分类任务的Transformer编码器自监督学习方法 |
| CN116150660A (zh) * | 2023-03-03 | 2023-05-23 | 杭州电子科技大学 | 基于自监督cnn的脑电情绪识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| Self-Supervised EEG Emotion Recognition Models Based on CNN;Xingyi Wang 等;《IEEE Transactions on Neural Systems and Rehabilitation Engineering》;20230331;第31卷;1952-1962 * |
| 基于深度学习的脑电情感识别;严金林;《万方学位论文》;20230830;1-48 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117171557A (zh) | 2023-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kong et al. | On fast sampling of diffusion probabilistic models | |
| Ding et al. | Guided variational autoencoder for disentanglement learning | |
| Xiao et al. | An efficient temporal network with dual self-distillation for electroencephalography signal classification | |
| Jiang et al. | A CNN model for semantic person part segmentation with capacity optimization | |
| Zhang et al. | Quantifying the knowledge in a DNN to explain knowledge distillation for classification | |
| Taghanaki et al. | Robust representation learning via perceptual similarity metrics | |
| Li et al. | Dairy goat image generation based on improved-self-attention generative adversarial networks | |
| Trosten et al. | Recurrent deep divergence-based clustering for simultaneous feature learning and clustering of variable length time series | |
| CN111652177A (zh) | 基于深度学习的信号特征提取方法 | |
| Thakare et al. | Classification of bioinformatics EEG data signals to identify depressed brain state using CNN Model | |
| CN113569758B (zh) | 基于动作三元组引导的时序动作定位方法、系统、设备及介质 | |
| CN117171557B (zh) | 基于脑电信号的自监督情绪识别模型的预训练方法及装置 | |
| Xu et al. | An efficient and lightweight method for human ear recognition based on MobileNet | |
| CN114626408A (zh) | 脑电信号分类方法、装置、电子设备、介质及产品 | |
| Li et al. | Clustering of short texts based on dynamic adjustment for contrastive learning | |
| Ju et al. | Adaptive semantic attribute decoupling for precise face image editing | |
| Su et al. | Learning low-dimensional temporal representations with latent alignments | |
| Perez et al. | Face Patches Designed through Neuroevolution for Face Recognition with Large Pose Variation | |
| Chun-man et al. | Face expression recognition based on improved MobileNeXt | |
| Zou et al. | Multi-task motor imagery EEG classification using broad learning and common spatial pattern | |
| Ye et al. | Facial expression recognition method based on shallow small convolution kernel capsule network | |
| Shu et al. | Locality preserving projection for domain adaptation with multi-objective learning | |
| Li et al. | CNN-LDNF: an image feature representation approach with multi-space mapping | |
| CN116306773B (zh) | 一种可解释的神经网络高维数据降维分析系统 | |
| Yang et al. | Introductory Chapter: Machine Learning and Biometrics |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |