CN114186591A - 一种情绪识别系统泛化能力的提高方法 - Google Patents

一种情绪识别系统泛化能力的提高方法 Download PDF

Info

Publication number
CN114186591A
CN114186591A CN202111520802.1A CN202111520802A CN114186591A CN 114186591 A CN114186591 A CN 114186591A CN 202111520802 A CN202111520802 A CN 202111520802A CN 114186591 A CN114186591 A CN 114186591A
Authority
CN
China
Prior art keywords
age
model
dimensional vector
electroencephalogram
emotion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202111520802.1A
Other languages
English (en)
Inventor
李劲鹏
金明
李主南
陈昊
蔡挺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Huamei Hospital University of CAS
Original Assignee
Ningbo Huamei Hospital University of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Huamei Hospital University of CAS filed Critical Ningbo Huamei Hospital University of CAS
Publication of CN114186591A publication Critical patent/CN114186591A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种情绪识别系统泛化能力的提高方法，包括以下步骤：步骤一、脑电信号的采集：采集脑电信号，制成310维的向量样本；步骤二、建立情绪识别模型：先将310维的脑电特征映射为256维，再映射为128维，分别输入四个分支：情绪分类分支、年龄回归分支、性别分类分支和编号分类分支；步骤三、模型训练：输入训练者的性别、年龄及其编号信息，通过外部刺激诱发情绪反应，并采集脑电信号输入模型，得到性别、年龄及其编号信息，将所得信息与输入的训练者信息进行配对训练；步骤四、将待测样本输入模型，模型输出对应的情绪、年龄、性别和编号。其优点是：能够在不进行预实验的前提下提高模型的跨被试者适应能力，能够有效提高模型的泛化能力。

Description

一种情绪识别系统泛化能力的提高方法
技术领域
本发明涉及脑电情绪识别技术领域，具体地说是一种情绪识别系统泛化能力的提高方法。
背景技术
情绪识别指的是识别人类的情绪状态，在人机交互、健康医疗、安全防控等领域存在广阔应用前景。与传统基于面部表情、肢体动作、语音、文本等情绪识别方法相比，基于非侵入式脑电(Electroencephalogram，EEG)的情绪识别方法具备更高的客观性、准确性和稳定性。然而，不同被试者EEG信号差异大，难以获得能够跨被试者使用的EEG情绪识别模型，在实践中只能针对每位被试者分别采集带标签的数据(该过程称为预实验)，使用监督学习(Supervised Learning)策略获得模型参数，部署在计算机上，进行后续的测试环节。上述操作涉及到带标签样本的采集，费时费力，在一些需要尽快搭建情绪识别模型的场景中难以适用。
现有的提高EEG情绪识别模型泛化能力的方法主要包括三类。第一类是使用同一位被试者的过往数据构建模型，将模型应用在该受试者新的数据上，这种方法的出发点在于，同一位被试者在不同时间的EEG信号差异性低于不同被试者EEG之间的差异；该方法的缺点在于，无法处理被试者没有过往数据的情况。第二类是使用风格迁移(StyleTransfer)等方法，提高不同被试者EEG样本之间的相似性，从而达到共用分类器、减少预实验时间的目的；该方法能够做到跨被试者迁移模型，但缺点在于仍然需要预实验。第三类是从领域自适应(Domain Adaptation)方法出发，提高新采集的数据和过往数据之间的相似程度，以在新数据没有标签的情况下使用过往数据的监督信息；该方法可以提高EEG情绪识别模型的跨被试可用性，但依然需要预实验中采集的样本。因此，现有方法仍需要进一步改进。
发明内容
本发明之目的是弥补上述之不足，向社会公开一种情绪识别系统泛化能力的提高方法，能够在不进行预实验的前提下提高模型的跨被试者适应能力，能够有效提高模型的泛化能力。
本发明的技术方案是这样实现的：
一种情绪识别系统泛化能力的提高方法，包括以下步骤：
步骤一、脑电信号的采集：采集脑电信号，制成脑电特征的向量样本；
步骤二、建立情绪识别模型：先将脑电特征的向量样本映射为256维的向量，之后映射为128维的向量，再将128维的向量分别输入分支，所述的分支包括：
情绪分类分支：128维的向量进一步映射为64维的向量，并进一步映射到情绪标签空间，最后一层神经元个数与要分类的情绪状态数量保持一致，最后一层采用SoftMax作为激活函数；
年龄回归分支：128维的向量进一步映射到32维的向量，并进一步映射到年龄空间，年龄的输出是连续的，仅包括一个神经元，采用ReLU作为激活函数；
性别分类分支：128维的向量进一步映射到32维的向量，并进一步映射到性别空间，在性别空间中完成二分类任务，男性：1，女性：0，仅包括一个神经元，采用Sigmoid作为激活函数；
编号分类分支：128维向量进一步映射到32维的向量，并进一步映射到编号空间，最后一层神经元个数与被试者数量保持一致，采用SoftMax作为激活函数；
步骤三、模型训练：输入训练者的性别、年龄及其编号信息，通过外部刺激诱发情绪反应，并采集训练者的脑电信号，将脑电信号输入模型，得到性别、年龄及其编号信息，将所得信息与输入的训练者信息进行配对训练；
步骤四、将待测样本输入模型，模型输出对应的情绪、年龄、性别和编号。
进一步优化本技术方案的措施是：
作为改进，所述的脑电信号按照5秒钟的时间窗口切割为片段，并分别在分段频段上计算功率谱密度特征，拼接在一起形成样本。
作为改进，所述的分段频段分为Delta频段，其频率范围为1Hz-3Hz；Theta频段，其频率范围为4Hz-7Hz；Alpha频段，其频率范围为8Hz-13Hz；Beta频段，其频率范围为13Hz-30Hz；Gamma频段，其频率范围为30Hz-51Hz。
作为改进，所述的步骤二中，模型框架搭建完成后，对脑电信号数据、年龄数据和编号数据进行归一化，统一放缩到0-1空间内：
Figure BDA0003407271000000021
其中，xscaled为放缩后的特征，x为放缩前的特征，xmin为特征的最小值，xmax为特征的最大值。
作为改进，数据归一化处理后，使用Adam优化器进行参数寻优，代价函数如下：
Figure BDA0003407271000000031
其中，
Figure BDA0003407271000000032
为情绪分类代价函数，形式为交叉熵，
Figure BDA0003407271000000033
为年龄回归代价函数，形式为均方误差，
Figure BDA0003407271000000034
为性别分类代价函数，形式为二值交叉熵，
Figure BDA0003407271000000035
为编号分类代价函数，形式为交叉熵，α，β，γ为权重因子，L2为二范数约束，ε为二范数参数。
作为改进，所述的ε的取值为1e-3或1e-4。
作为改进，所述的步骤三中，所述的信息以文本形式保存。
作为改进，所述的步骤三中，脑电信号的采集的具体过程为：受试者头戴脑电采集设备，观看能够引起不同的情绪的视频，观看视频时采集对应的脑电信号。
作为改进，所述的步骤一中，所采集的脑电信号制成310维的向量样本。
本发明与现有技术相比的优点是：
本发明从机器学习角度出发，在情绪识别中引入多种辅助性任务，使模型挖掘不同被试者个体之间的差异模式，提高模型的泛化能力，能够在不进行预实验的前提下提高模型的跨被试者适应能力。
本发明从多任务学习角度出发，在情绪识别过程中加入多种辅助性文本信息，不需要额外的实验环节或记录环节，提高模型的泛化能力，能够直接基于大量被试者数据训练的脑电信号情绪识别模型迁移到新的被试者身上。
附图说明
图1是本发明的框架图；
图2是脑电电极分布图。
具体实施方式
如图1所示，一种情绪识别系统泛化能力的提高方法，包括以下步骤：
步骤一、脑电信号的采集：采集脑电信号(EEG)，制成310维的向量样本。脑电信号采集设备采用NeuroScan公司的64导脑电采集设备，由于部分电极所采集的数据不用于实验，所以64导的采集设备只使用了62个电极的数据，电极摆放按照International 10-20System标准，62个电极的分布如图2所示。采集的脑电信号按照5秒钟的时间窗口切割为片段，并分别在分段频段上计算功率谱密度特征，拼接在一起形成样本，分段频段分别为Delta频段1Hz-3Hz，Theta频段4Hz-7Hz，Alpha频段8Hz-13Hz，Beta频段13Hz-30Hz和Gamma频段30Hz-51Hz。
每个EEG样本是310维的向量，情绪识别模型使用神经网络实现，其参数是权重，具体计算的载体既可以使用计算机，又可以集成在FPGA上。输入包含310个输入单元，第一个隐藏层包括256个神经元，第二个隐藏层包括128个神经元，从而将EEG特征压缩映射到128维空间中。即先将310维的脑电特征映射为256维，之后映射为128维。
步骤二、建立情绪识别模型：将脑电样本压缩映射到128维空间中，模型框架搭建完成后，为保证优化过程顺利进行，对脑电信号数据、年龄数据和编号数据进行归一化，统一放缩到0-1空间内：
Figure BDA0003407271000000041
其中，xscaled为放缩后的特征，x为放缩前的特征，xmin为特征的最小值，xmax为特征的最大值。
作为改进，数据归一化处理后，使用Adam优化器进行参数寻优，代价函数如下：
Figure BDA0003407271000000042
其中，
Figure BDA0003407271000000043
为情绪分类代价函数，形式为交叉熵(Cross-entropy)；
Figure BDA0003407271000000044
为年龄回归代价函数，形式为均方误差(Mean Square Error，MSE)；
Figure BDA0003407271000000045
为性别分类代价函数，形式为二值交叉熵；
Figure BDA0003407271000000046
为编号分类代价函数，形式为交叉熵；α，β，γ为权重因子，负责平衡各个代价函数的配比，在实际中采用交叉验证方法确定；L2为二范数约束，起到平滑作用，降低过拟合带来的负面影响；ε为二范数参数，一般ε的取值为1e-3(1×10-3)或1e-4(1×10-4)。优化过程使用Adam优化器，提供稳定的梯度信息。
所述的脑电样本进入四个分支：
情绪分类分支：128维的向量进一步映射为64维的向量，并进一步映射到情绪标签空间，最后一层神经元个数与要分类的情绪状态数量保持一致，最后一层激活函数为SoftMax；
年龄回归分支：128维向量进一步映射到32维的向量，并进一步映射到年龄空间，年龄的输出是连续的，仅包括一个神经元，激活函数选择为ReLU；
性别分类分支：128维向量进一步映射到32维的向量，并进一步映射到性别空间，在性别空间中完成二分类任务，男性：1，女性：0，仅包括一个神经元，激活函数选择为Sigmoid；
编号分类分支：128维向量进一步映射到32维的向量，并进一步映射到编号空间，最后一层神经元个数与被试者数量保持一致，激活函数选择为SoftMax；
步骤三、模型训练：输入训练者的性别、年龄及其编号信息，输入信息以文本形式保存，通过外部刺激诱发情绪反应，并采集脑电信号，将脑电信号输入模型，得到性别、年龄及其编号信息，将所得信息与输入的训练者信息进行配对训练。训练过程中，所采集的脑电信号处理方法同上。本实施例中，受试者头戴脑电采集设备，观看能够引起不同情绪(正面、中性和负面情绪)的视频，观看视频时采集对应的脑电信号，并对获得的脑电信息进行降噪、预处理，提取特征数据。
步骤四、将待测样本输入模型，模型输出对应的情绪、年龄、性别和编号。
在测试过程，新被试者的EEG数据(不输入年龄、性别、编号信息)直接可以进行测试，EEG特征输入神经网络模型，先将310维的脑电特征映射为256维，之后映射为128维，并进一步进行情绪分类、年龄回归、性别分类和编号分类，其中，
(1)情绪分类结果为新被试者EEG数据所包含的情绪状态信息；
(2)年龄回归结果为基于EEG数据对新被试者年龄的预测结果；
(3)性别分类为基于新被试者EEG对其做出的性别判断；
(4)编号分类结果无直接的实际意义，但其结果可表明，新被试者EEG与训练集中哪一位过往被试者的数据相似。
本发明通过多任务学习方式提高脑电信号情绪识别系统跨被试者泛化能力的方法，以情绪识别为主任务，通过引入辅助性任务，提高模型对不同被试者个体特征的辨识能力，使得模型学习不同被试者个体之间的差异性表示，本发明方法不要求采集新被试者的预实验数据，仅使用基于众多过往被试者的数据训练出的情绪识别模型。
辅助性任务包括性别、年龄和被试者编号，性别、被试者编号分别为二分类、多分类任务，年龄为回归任务，上述辅助性任务与主任务(情绪识别)以不同的任务分支存在于同一个模型内。
本发明的多任务学习模型，不仅可以输出新被试者(无需预实验)的情绪状态，还可以输出其性别、预测其年龄，并衡量其与训练集中所有过往被试者之间的相似程度。
本发明的最佳实施例已被阐明，由本领域普通技术人员做出的各种变化或改型都不会脱离本发明的范围。

Claims (9)

1.一种情绪识别系统泛化能力的提高方法，其特征是：包括以下步骤：
步骤一、脑电信号的采集：采集脑电信号，制成脑电特征的向量样本；
步骤二、建立情绪识别模型：先将脑电特征的向量样本映射为256维的向量，之后映射为128维的向量，再将128维的向量分别输入分支，所述的分支包括：
情绪分类分支：128维的向量进一步映射为64维的向量，并进一步映射到情绪标签空间，最后一层神经元个数与要分类的情绪状态数量保持一致，最后一层采用SoftMax作为激活函数；
年龄回归分支：128维的向量进一步映射到32维的向量，并进一步映射到年龄空间，年龄的输出是连续的，仅包括一个神经元，采用ReLU作为激活函数；
性别分类分支：128维的向量进一步映射到32维的向量，并进一步映射到性别空间，在性别空间中完成二分类任务，男性：1，女性：0，仅包括一个神经元，采用Sigmoid作为激活函数；
编号分类分支：128维向量进一步映射到32维的向量，并进一步映射到编号空间，最后一层神经元个数与被试者数量保持一致，采用SoftMax作为激活函数；
步骤三、模型训练：输入训练者的性别、年龄及其编号信息，通过外部刺激诱发情绪反应，并采集训练者的脑电信号，将脑电信号输入模型，得到性别、年龄及其编号信息，将所得信息与输入的训练者信息进行配对训练；
步骤四、将待测样本输入模型，模型输出对应的情绪、年龄、性别和编号。
2.根据权利要求1所述的一种情绪识别系统泛化能力的提高方法，其特征是：所述的脑电信号按照5秒钟的时间窗口切割为片段，并分别在分段频段上计算功率谱密度特征，拼接在一起形成样本。
3.根据权利要求2所述的一种情绪识别系统泛化能力的提高方法，其特征是：所述的分段频段分为Delta频段，其频率范围为1Hz-3Hz；Theta频段，其频率范围为4Hz-7Hz；Alpha频段，其频率范围为8Hz-13Hz；Beta频段，其频率范围为13Hz-30Hz；Gamma频段，其频率范围为30Hz-51Hz。
4.根据权利要求1所述的一种情绪识别系统泛化能力的提高方法，其特征是：所述的步骤二中，模型框架搭建完成后，对脑电信号数据、年龄数据和编号数据进行归一化，统一放缩到0-1空间内：
Figure FDA0003407270990000021
其中，xscaled为放缩后的特征，x为放缩前的特征，xmin为特征的最小值，xmax为特征的最大值。
5.根据权利要求4所述的一种情绪识别系统泛化能力的提高方法，其特征是：数据归一化处理后，使用Adam优化器进行参数寻优，代价函数如下：
Figure FDA0003407270990000022
其中，
Figure FDA0003407270990000023
为情绪分类代价函数，形式为交叉熵，
Figure FDA0003407270990000024
为年龄回归代价函数，形式为均方误差，
Figure FDA0003407270990000025
为性别分类代价函数，形式为二值交叉熵，
Figure FDA0003407270990000026
为编号分类代价函数，形式为交叉熵，α，β，γ为权重因子，L2为二范数约束，ε为二范数参数。
6.根据权利要求5所述的一种情绪识别系统泛化能力的提高方法，其特征是：所述的ε的取值为1e-3或1e-4。
7.根据权利要求1所述的一种情绪识别系统泛化能力的提高方法，其特征是：所述的步骤三中，所述的信息以文本形式保存。
8.根据权利要求1所述的一种情绪识别系统泛化能力的提高方法，其特征是：所述的步骤三中，脑电信号的采集的具体过程为：受试者头戴脑电采集设备，观看能够引起不同的情绪的视频，观看视频时采集对应的脑电信号。
9.根据权利要求1所述的一种情绪识别系统泛化能力的提高方法，其特征是：所述的步骤一中，所采集的脑电信号制成310维的向量样本。
CN202111520802.1A 2021-11-25 2021-12-13 一种情绪识别系统泛化能力的提高方法 Withdrawn CN114186591A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2021114094930 2021-11-25
CN202111409493 2021-11-25

Publications (1)

Publication Number Publication Date
CN114186591A true CN114186591A (zh) 2022-03-15

Family

ID=80543512

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111520802.1A Withdrawn CN114186591A (zh) 2021-11-25 2021-12-13 一种情绪识别系统泛化能力的提高方法

Country Status (1)

Country Link
CN (1) CN114186591A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115105079A (zh) * 2022-07-26 2022-09-27 杭州罗莱迪思科技股份有限公司 基于自注意力机制的脑电情绪识别方法及其应用

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115105079A (zh) * 2022-07-26 2022-09-27 杭州罗莱迪思科技股份有限公司 基于自注意力机制的脑电情绪识别方法及其应用

Similar Documents

Publication Publication Date Title
CN110070105B (zh) 基于元学习实例快速筛选的脑电情绪识别方法、系统
CN114052735B (zh) 一种基于深度领域自适应的脑电情绪识别方法及系统
CN110472649B (zh) 基于多尺度分析和集成树模型的脑电情感分类方法及系统
CN111709267B (zh) 深度卷积神经网络的脑电信号情感识别方法
CN112244873A (zh) 一种基于混合神经网络的脑电时空特征学习与情感分类方法
CN110037693A (zh) 一种基于面部表情和eeg的情绪分类方法
An et al. Electroencephalogram emotion recognition based on 3D feature fusion and convolutional autoencoder
CN109222966A (zh) 一种基于变分自编码器的脑电信号情感分类方法
CN113554110A (zh) 一种基于二值胶囊网络的脑电情绪识别方法
CN110289097A (zh) 一种基于Xgboost神经网络堆叠模型的模式识别诊断系统
CN113069117A (zh) 一种基于时间卷积神经网络的脑电情绪识别方法及系统
CN115422973A (zh) 一种基于注意力的时空网络的脑电情绪识别方法
CN114186591A (zh) 一种情绪识别系统泛化能力的提高方法
CN113974627A (zh) 一种基于脑机生成对抗的情绪识别方法
CN112006696A (zh) 基于皮肤电信号的情绪识别方法
Immanuel et al. ANALYSIS OF DIFFERENT EMOTIONS WITH BIO-SIGNALS (EEG) USING DEEP CNN
CN113974625B (zh) 一种基于脑机跨模态迁移的情绪识别方法
CN114970641A (zh) 情感类别的识别方法、装置、处理器及电子设备
CN110675953B (zh) 利用人工智能和大数据筛查识别精神病患者的系统
CN114626408A (zh) 脑电信号分类方法、装置、电子设备、介质及产品
CN114305454A (zh) 基于域对抗神经网络的疲劳状态识别方法及装置
Cowen et al. Facial movements have over twenty dimensions of perceived meaning that are only partially captured with traditional methods
Hanafi et al. Recognition of EEG signals of dyslexic children using long short-term memory
CN116304642B (zh) 情绪识别预警及模型训练方法、装置、设备和存储介质
CN111860463B (zh) 一种基于联合范数的情感识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20220315