CN115919313A - 一种基于时空特征的面部肌电情绪识别方法 - Google Patents
一种基于时空特征的面部肌电情绪识别方法 Download PDFInfo
- Publication number
- CN115919313A CN115919313A CN202211490249.6A CN202211490249A CN115919313A CN 115919313 A CN115919313 A CN 115919313A CN 202211490249 A CN202211490249 A CN 202211490249A CN 115919313 A CN115919313 A CN 115919313A
- Authority
- CN
- China
- Prior art keywords
- layer
- facial
- forest classifier
- space
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000001815 facial effect Effects 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 35
- 230000008451 emotion Effects 0.000 claims abstract description 21
- 239000000284 extract Substances 0.000 claims abstract description 5
- 238000001914 filtration Methods 0.000 claims abstract description 4
- 230000011218 segmentation Effects 0.000 claims abstract description 4
- 238000007637 random forest analysis Methods 0.000 claims description 39
- 238000012549 training Methods 0.000 claims description 34
- 239000013598 vector Substances 0.000 claims description 31
- 239000011159 matrix material Substances 0.000 claims description 26
- 230000003183 myoelectrical effect Effects 0.000 claims description 25
- 238000012795 verification Methods 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 12
- 210000001097 facial muscle Anatomy 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000036651 mood Effects 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims 1
- 238000007781 pre-processing Methods 0.000 abstract description 3
- 238000012360 testing method Methods 0.000 description 21
- 238000002474 experimental method Methods 0.000 description 8
- 241000282414 Homo sapiens Species 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 5
- 238000002790 cross-validation Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000002567 electromyography Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 210000003205 muscle Anatomy 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- PIZHFBODNLEQBL-UHFFFAOYSA-N 2,2-diethoxy-1-phenylethanone Chemical compound CCOC(OCC)C(=O)C1=CC=CC=C1 PIZHFBODNLEQBL-UHFFFAOYSA-N 0.000 description 1
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 208000027534 Emotional disease Diseases 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 210000003169 central nervous system Anatomy 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 208000020016 psychiatric disease Diseases 0.000 description 1
- 239000011541 reaction mixture Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于时空特征的面部肌电情绪识别方法，其步骤包括：第一步，对于原始多通道面部肌电信号进行一系列预处理操作，具体步骤包括：滤波、归一化和样本分割；第二步，获取多通道面部肌电信号中的时空信息，并对其进行增强和提取时空特征，具体步骤包括：构建2D帧序列和多粒度扫描；第三步，构建级联森林分类器完成情绪分类任务。本发明从多通道面部肌电信号中提取出时空特征，并采用级联森林分类器在小样本数据集上完成了分类任务，从而能实现高效、准确的情绪识别，为基于面部肌电信号的情绪识别的实际应用提供了新的思路和解决方法。
Description
技术领域
本发明涉及人机交互技术及情感计算领域，具体涉及一种基于时空特征的面部肌电情绪识别方法。
背景技术
近些年来，随着科技的发展，人机交互领域逐渐成熟，人类和计算机之间建立起复杂、紧密的联系。其中，情绪识别技术一直是人机交互领域的研究重点，是通过计算机判断人体生理状态的一项重要指标。情绪是人在受到特定刺激时产生的一种生理及心理反应，影响着人们的日常生活、社交活动和认知决策等。在当今社会，生活节奏的加快使得越来越多的人群都面临着较大的身体-心理压力，并且长期处于焦虑、抑郁、恐惧等负面情绪中，极易产生心理障碍，从而导致各类情绪类疾病的发病率逐年上升。有效、准确的识别情绪对于判断人体的健康状况至关重要，也是临床上进行心理干预和相关疾病诊断的先决问题。
情绪的产生受到人体中枢神经系统的控制，同时会导致一些生理信号发生变化，因此，通过分析生理信号的变化来进行情绪识别是目前较为主流、客观的一种方法。常用的生理信号包括脑电、心电以及面部肌电等，其中，面部肌电信号产生于由情绪所调动的面部肌肉群的自发收缩、舒张等运动，具有信噪比高、易于采集等特点，并且不易受到人体运动影响，在采集过程中无需限制受试者的头部运动，具备很高的实际应用价值。情绪会调动不同部位的面部肌肉在不同时刻产生运动信息，从而不断触发来自多块肌肉的面部肌电信号，因此，在多通道面部肌电信号中，可能存在着大量与情绪相关的由肌肉运动产生的时空信息。面部肌电信号属于非平稳信号，所包含的信息量巨大且十分复杂，如何从中挖掘出与情绪高度相关的信息，如时空信息等，并对其进行充分利用，是实现有效情绪识别的首要问题。
基于面部肌电信号的情绪识别通常采用传统的机器学习算法，流程主要分为特征提取和分类两部分。首先是从面部肌电信号中提取特征，一般是时域、频域和时频域特征，例如平均绝对幅值、均方根、功率谱密度等；获取的特征被送入分类器中训练，进行情绪识别，使用率较高的是传统机器学习分类器，包括支持向量机、线性判别分类器等。近年来，深度学习技术不断发展，并且逐渐被应用到情绪识别问题中，其强大的泛化能力和抽象学习能力使得情绪识别问题实现了更高的分类精度。多数深度学习方法的性能在很大程度上依赖于所提供的训练样本量，在样本量较大的数据集上进行训练能够让分类器尽可能获取到更多的有效信息从而辅助分类。然而，在实际应用中，从人体采集大量的生理数据必然会带来很大的人力负担和资源消耗，而且给不同个体的生理信号打上正确的情绪标签也是一项具备很高的成本和难度的任务。目前，在DEAP等主流的情绪识别公开数据集中，面部肌电信号的通道数和整体样本量均较少。因此，如何实现在小样本数据集上的训练、分类，是目前深度学习方法在情绪识别应用中的一个重要问题。
发明内容
本发明为克服现有技术中存在的问题与不足，提出一种基于时空特征的面部肌电情绪识别方法，以期能从多通道面部肌电信号中提取出时空特征，并构建级联森林分类器在小样本数据集上完成分类任务，从而实现高效、准确的情绪识别，为基于面部肌电信号的情绪识别的实际应用提供了新的思路和解决方法。
本发明为解决以上问题采用如下技术方案：
本发明一种基于时空特征的面部肌电情绪识别方法的特点在于，包括以下步骤：
步骤1：获取任一受试者的带有C个通道的面部肌电信号数据并进行滤波、归一化和分割样本的预处理，得到所述受试者的N个面部肌电信号样本S＝[S1,S2,...,Sn,...,SN]T；其中，Sn表示第n个面部肌电信号样本，且
表示第n个面部肌电信号样本在第m个时刻的肌电数据，且
表示在第m个时刻的肌电数据
中来自第c个通道的数据；M表示面部肌电信号样本中的所有时刻；C表示通道数；
步骤2：从面部肌电信号样本中提取时空特征；
步骤2.1：构建2D帧序列，获取时空信息：
按照面部肌肉群的空间位置分布，利用式(1)将第m个时刻的肌电数据
映射成第m个平面矩阵
从而得到M个平面矩阵：
将M个平面矩阵按照时间顺序依次拼接，从而得到第n个面部肌电信号样本Sn转换后的第n个2D帧序列
步骤2.2：多粒度扫描处理2D帧序列，增强时空信息并提取时空特征：
步骤2.2.1：采用多粒度扫描对第n个2D帧序列An中的第m个平面矩阵
进行扫描处理，从而将第m个平面矩阵
划分为H个子矩阵，其中，第h个子矩阵记为
H＝[(d-ω)/l+1]2，d表示平面矩阵
的维数，ω表示扫描窗口的维数，l表示滑动扫描的步长；
步骤2.2.2：将第m个平面矩阵
的第h个子矩阵
分别输入随机森林分类器和完全随机森林分类器中进行处理，并相应地输出随机森林类向量
和完全随机森林类向量
其中，
表示随机森林分类器判断第h个子矩阵
属于第k类情绪的概率，
表示完全随机森林分类器判断第h个子矩阵
属于第k类情绪的概率；k＝1,2,...,K，K表示情绪标签的类别数；
步骤2.2.3：将
和
拼接形成第h个子矩阵
的特征向量，再将H个子矩阵的特征向量拼接形成第m个平面矩阵
的特征向量，之后再将M个平面矩阵的特征向量拼接形成第n个2D帧序列An的时空特征向量
表示第n个2D帧序列An的第r个时空特征，R＝2K×H×M；
步骤2.3：级联森林分类器对样本进行分类：
步骤2.3.1：构建级联森林分类器：
令级联森林分类器具有X层结构，每一层均包含：i个随机森林分类器和i个完全随机森林分类器，且每个森林分类器中的树木数量为j；令当前层为x，并初始化x＝1；
令第n个面部肌电信号样本Sn的时空特征向量
为第一层的输入，记为
从训练集中划分出部分数据作为验证集，令第x-1层的验证精度为零；
步骤2.3.2：训练级联森林分类器；
步骤2.3.2.1：将
输入级联森林分类器的第x层中，并由第x层的i个随机森林分类器和i个完全随机森林分类器分别处理，所产生的全部类向量拼接在一起后形成第x层的增强特征向量
其中，
表示第n个面部肌电信号样本Sn在第x层产生的第q个增强特征，Q＝2i×K；
步骤2.3.2.2：将验证集输入级联森林分类器的第x层，用于计算第x层的验证精度；若第x层的验证精度大于x-1层的验证精度，则执行步骤2.3.2.3；否则，表示完成级联森林分类器的训练，并将当前第x层作为最后一层；
步骤2.3.2.3：第x层的增强特征向量
与时空特征向量
拼接后，得到维数为(r+q)的第x+1层的输入
并输入级联森林分类器的第x+1层进行处理，从而得到第x+1层的增强特征向量
步骤2.3.2.4：将x+1赋值给x后，若x＞X，则表示得到第X层的增强特征向量
否则，返回步骤2.3.2.1顺序执行；
步骤2.3.3：训练后的级联森林分类器的预测：
获取所述受试者的第t个面部肌电信号样本作为待预测样本St并输入训练后的级联森林分类器中进行处理，由级联森林分类器的最后一层的i个随机森林分类器和i个完全随机森林分类器相应输出的全部类向量并取平均后，得到待预测样本St的类向量
从而选取CVt中最大概率值所对应的类别作为预测样本St的预测类别，其中，
表示待预测样本St属于第k类的概率。
本发明一种电子设备，包括存储器以及处理器的特点在于，所述存储器用于存储支持处理器执行所述面部肌电情绪识别方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序的特点在于，所述计算机程序被处理器运行时执行所述面部肌电情绪识别方法的步骤。
与已有技术相比，本发明的有益效果体现在：
1、本发明利用不同通道之间的空间位置关系和信号中的时序关系，发掘出面部肌电信号的时空特征。相较于传统方法中普遍使用的手工计算特征主要集中在时序信息或频域信息上，时空特征能够获取面部肌肉群之间的联合运动信息，同时挖掘出时间和空间信息，与情绪的相关性更高。具体来说，在本发明方法中，各个通道之间的空间关系被映射到矩阵中的元素分布中，信号中的时序信息则被用于构建矩阵序列，最终，在原始多通道面部肌电信号的基础上构建出囊括了时空信息的2D帧序列。与此同时，多粒度扫描能够有效地处理2D帧序列中的时空信息，并对其进行增强，从而发掘出面部肌电信号的时空特征，进而从特征层面促进了情绪识别性能的提升。
2、本发明通过数据驱动的方式来训练分类，使其在小样本数据集上仍然能够维持高精度的情绪识别。级联森林分类器从训练样本中划分出部分作为验证集，并在验证集的分类精度与层数之间建立联系，因此，验证集将在每一层对具有当前层数的分类器的总体分类性能进行验证，并根据验证精度的变化来确定层数是否继续增长。因此，在处理不同规模的数据时，级联森林分类器能够根据数据自动调整自身结构，不断进行训练、验证，直至找到能够适应当前数据规模的最优模型，尽可能获得所能够实现的最高识别精度。
3、本发明充分考虑到了原始特征在训练过程中可能出现信息丢失的情况，为了充分利用到原始特征中的有效信息，采用增强特征和原始特征结合的方法来进行训练。原始的时空特征在级联森林分类器的多个层之间不断进行训练，每次训练都会产生增强特征。原始特征中有利于情绪分类的信息会被放大、增强，而无效或者不利于情绪分类的信息则会被删减。而在特征增强的过程中，可能会导致在当前训练中暂未发掘出的有效信息被意外丢弃，因此，本发明方法在每层训练结束时，都会将当前产生的增强特征与原始特征相结合，共同参与下一次训练。这种方式能够在不断生成增强的有效信息的同时，始终保留住原始特征中的全部信息，使得分类器在完整的训练过程中尽可能的学习到更多的信息，从而保证情绪识别结果的客观性。
附图说明
图1为本发明方法的结构示意图；
图2为本发明在自采数据集上的所有受试者的平均识别精度图；
图3为本发明在不同数据规模上得到的平均识别精度图。
具体实施方式
本实施例中，一种基于时空特征的面部肌电情绪识别方法，主要是通过提取时空特征和构建级联森林分类器来识别不同的情绪。时空特征能够充分挖掘出面部肌电信号的多个通道之间的时空信息，并将其用于分类，级联森林分类器是一种由数据驱动的分类模型，能够适应于在小样本数据集上的训练、测试，并且获得较高的识别精度，如图1所示，具体包括以下步骤：
步骤1：获取任一受试者的带有C个通道的面部肌电信号数据并进行滤波、归一化和分割样本的预处理，得到受试者的N个面部肌电信号样本S＝[S1,S2,...,Sn,...,SN]T；其中，Sn表示第n个面部肌电信号样本，且
表示第n个面部肌电信号样本在第m个时刻的肌电数据，且
表示在第m个时刻的肌电数据
中来自第c个通道的数据；M表示面部肌电信号样本中的所有时刻；C表示通道数；
在具体实施中，面部肌电信号来源于自采实验，共采集了27名受试者的数据，均为3通道面部肌电信号(皱眉肌、颧大肌和降口角肌)，采样率为1926Hz。情绪标签共有3类：恐惧、悲伤和中性，每个标签下提供3段3-5分钟的视频。在受试者观看每段视频的同时，同步记录面部肌电信号，每段面部肌电信号统一取中间150秒分析。因此，每个受试者共有9段150秒的3通道面部肌电信号。所有信号经过20-500Hz的巴特沃斯带通滤波器和50Hz陷波器的过滤，再统一进行z-score处理。之后，用0.5秒窗长不重叠的滑动窗分割所有信号，每个受试者将产生2700个样本，所产生的样本被赋予与原始信号相同的情绪标签。因此，在本实施例中，C＝3，N＝2700，M＝963；
步骤2：从面部肌电信号样本中提取时空特征；具体包括构建2D帧序列和多粒度扫描模块处理2D帧序列并获取时空特征：
步骤2.1：构建2D帧序列，获取时空信息：
按照面部肌肉群的空间位置分布，利用式(1)将第m个时刻的肌电数据
映射成第m个平面矩阵
从而得到M个平面矩阵：
将M个平面矩阵按照时间顺序依次拼接，从而得到第n个面部肌电信号样本Sn转换后的第n个2D帧序列
本实施例中，按照自采实验中选取的三块面部肌肉的空间位置分布，利用式(1)映射成的平面矩阵
步骤2.2：多粒度扫描处理2D帧序列，增强时空信息并提取时空特征：
步骤2.2.1：采用多粒度扫描对第n个2D帧序列An中的第m个平面矩阵
进行扫描处理，从而将第m个平面矩阵
划分为H个子矩阵，其中，第h个子矩阵记为
H＝[(d-ω)/l+1]2，d表示平面矩阵
的维数，ω表示扫描窗口的维数，l表示滑动扫描的步长；
本实施例中，平面矩阵at的维数d＝3；因为平面矩阵中的非零元素稀疏，扫描窗口尺寸不能过小，因此将其设置为2×2，即ω＝2；l＝1，H＝4；
步骤2.2.2：将第m个平面矩阵
的第h个子矩阵
分别输入随机森林分类器和完全随机森林分类器中进行处理，并相应地输出随机森林类向量
和完全随机森林类向量
其中，
表示随机森林分类器判断第h个子矩阵
属于第k类情绪的概率，
表示完全随机森林分类器判断第h个子矩阵
属于第k类情绪的概率；k＝1,2,...,K，K表示情绪标签的类别数；
本实施例中，情绪标签的类别数K＝3；
步骤2.2.3：将
和
拼接形成第h个子矩阵
的特征向量，再将H个子矩阵的特征向量拼接形成第m个平面矩阵
的特征向量，之后再将M个平面矩阵的特征向量拼接形成第n个2D帧序列An的时空特征向量
表示第n个2D帧序列An的第r个时空特征，R＝2K×H×M；
本实施例中，时空特征向量的维数r＝23112；
步骤2.3：级联森林分类器对样本进行分类：
步骤2.3.1：构建级联森林分类器：
令级联森林分类器具有X层结构，每一层均包含：i个随机森林分类器和i个完全随机森林分类器，且每个森林分类器中的树木数量为j；令当前层为x，并初始化x＝1；
令第n个面部肌电信号样本Sn的时空特征向量
为第一层的输入，记为
从训练集中划分出部分数据作为验证集，令第x-1层的验证精度为零；
在本实施例中，i的值设置为4，因此级联森林分类器每层的配置为4个随机森林分类器和4个完全随机森林分类器；j的值设置为340；从训练集中划分验证集的比例为9：1，即从训练集中随机取10％的样本作为验证集，余下90％的样本作为新的训练集。训练集用于训练级联森林分类器，验证集用于在每一层验证当前模型的分类能力，通过验证精度决定层数是否增长；
步骤2.3.2：训练级联森林分类器；
步骤2.3.2.1：将
输入级联森林分类器的第x层中，并由第x层的i个随机森林分类器和i个完全随机森林分类器分别处理，所产生的全部类向量拼接在一起后形成第x层的增强特征向量
其中，
表示第n个面部肌电信号样本Sn在第x层产生的第q个增强特征，Q＝2i×K；
本实施例中，每层包括8个森林分类器，因此每层会输出24维特征向量，即Q＝24；
步骤2.3.2.2：将验证集输入级联森林分类器的第x层，用于计算第x层的验证精度；若第x层的验证精度大于x-1层的验证精度，则执行步骤2.3.2.3；否则，表示完成级联森林分类器的训练，并将当前第x层作为最后一层；
步骤2.3.2.3：第x层的增强特征向量
与时空特征向量
拼接后，得到维数为(r+q)的第x+1层的输入
并输入级联森林分类器的第x+1层进行处理，从而得到第x+1层的增强特征向量
本实施例中，级联森林分类器再第x+1层的输入
为：
式(2)中，
表示第x层的增强特征向量；
步骤2.3.2.4：将x+1赋值给x后，若x＞X，则表示得到第X层的增强特征向量
否则，返回步骤2.3.2.1顺序执行；
步骤2.3.3：训练后的级联森林分类器的预测：
获取受试者的第t个面部肌电信号样本作为待预测样本St并输入训练后的级联森林分类器中进行处理，由级联森林分类器的最后一层的i个随机森林分类器和i个完全随机森林分类器相应输出的全部类向量并取平均后，得到待预测样本St的类向量
从而选取CVt中最大概率值所对应的类别作为预测样本St的预测类别，其中，
表示待预测样本St属于第k类的概率。
本实施例中，一种电子设备，包括存储器以及处理器，该存储器用于存储支持处理器执行上述面部肌电情绪识别方法的程序，该处理器被配置为用于执行该存储器中存储的程序。
本实施例中，一种计算机可读存储介质，是在计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述面部肌电情绪识别方法的步骤。
本实施例中的实验均为用户相关实验，并采用十折交叉验证，即将每个受试者全部的样本随机分为十等份，每次取其中的一份作为测试样本，其余九份作为训练样本，并循环十次，取十次实验的测试样本的精度的平均值作为模型的情绪识别精度。
基于时空特征和级联森林分类器的方法(DF)与支持向量机(SVM)、线性判别分类器(LDC)、随机森林分类器(RF)、卷积神经网络(CNN)以及深度信念网络(DBN)分别在自采数据集上进行训练和测试，并对比它们各自的平均测试精度。27名受试者的十折交叉验证后的平均测试精度结果如表1所示：
表1.不同方法在自采数据集上的平均测试精度
| 平均测试精度(％) | |
| SVM | 63.04±13.66 |
| LDC | 66.31±14.31 |
| RF | 66.12±15.50 |
| CNN | 82.67±8.53 |
| DBN | 55.11±10.95 |
| DF | 97.41±3.91 |
从表1中可以看出，相比于其他五种对比方法，基于时空特征和级联森林分类器的方法实现了最高的平均识别精度。
每个受试者的十折交叉验证后的平均测试精度如图2所示。从图2中可以看出，DF相比于其余五种对比方法，在情绪识别精度上具有显著的优势。所有受试者的结果都维持在较高水平，一些受试者的平均测试精度达到100％，最低的也在80％以上，并且波动变化的范围相比于其他五种方法是最小的，证明本发明方法的情绪识别性能具有很高的稳定性。
在本实验中，每个受试者共有2700个样本，属于小样本数据规模，为了进一步探究本方法在不同的小样本数据集上的适应能力，将训练样本量不断降低，观察测试精度的变化。本实验采用的十折交叉验证方法，训练样本和测试样本分别占全部样本的90％和10％，因此，以10％为间隔，将训练样本从90％占比降低至50％，测试样本相应地从10％上升至50％。所有受试者的平均测试精度如表2所示：
表2.不同训练-测试规模的平均测试精度
| 平均测试精度(％) | |
| 90％-10％ | 97.41％±3.91 |
| 80％-20％ | 96.54％±5.11 |
| 70％-30％ | 95.26％±6.24 |
| 60％-40％ | 93.99％±8.13 |
| 50％-50％ | 91.94％±9.69 |
从表2中可以看出，训练数据的减少使得平均测试精度也逐渐下降，但是下降幅度很小。当训练样本只有50％时，平均测试精度仍然维持在90％以上，相比于训练样本占比90％时，只下降了5％左右。在不同训练-测试规模上进行分类实验的平均测试精度的变化如图3所示。从图3中可以看出，结果下降的趋势缓慢，并且总体始终维持在较高水平。证明本方法在小样本数据集上进行情绪识别均具有较高的分类精度，并且具有良好的适应能力，在不同规模的数据集上都能维持较高的性能。
Claims (3)
1.一种基于时空特征的面部肌电情绪识别方法，其特征在于，包括以下步骤：
步骤1：获取任一受试者的带有C个通道的面部肌电信号数据并进行滤波、归一化和分割样本的预处理，得到所述受试者的N个面部肌电信号样本S＝[S1,S2,...,Sn,...,SN]T；其中，Sn表示第n个面部肌电信号样本，且
表示第n个面部肌电信号样本在第m个时刻的肌电数据，且
表示在第m个时刻的肌电数据
中来自第c个通道的数据；M表示面部肌电信号样本中的所有时刻；C表示通道数；
步骤2：从面部肌电信号样本中提取时空特征；
步骤2.1：构建2D帧序列，获取时空信息：
按照面部肌肉群的空间位置分布，利用式(1)将第m个时刻的肌电数据
映射成第m个平面矩阵
从而得到M个平面矩阵：
将M个平面矩阵按照时间顺序依次拼接，从而得到第n个面部肌电信号样本Sn转换后的第n个2D帧序列
步骤2.2：多粒度扫描处理2D帧序列，增强时空信息并提取时空特征：
步骤2.2.1：采用多粒度扫描对第n个2D帧序列An中的第m个平面矩阵
进行扫描处理，从而将第m个平面矩阵
划分为H个子矩阵，其中，第h个子矩阵记为
H＝[(d-ω)/l+1]2，d表示平面矩阵
的维数，ω表示扫描窗口的维数，l表示滑动扫描的步长；
步骤2.2.2：将第m个平面矩阵
的第h个子矩阵
分别输入随机森林分类器和完全随机森林分类器中进行处理，并相应地输出随机森林类向量
和完全随机森林类向量
其中，
表示随机森林分类器判断第h个子矩阵
属于第k类情绪的概率，
表示完全随机森林分类器判断第h个子矩阵
属于第k类情绪的概率；k＝1,2,...,K，K表示情绪标签的类别数；
步骤2.2.3：将
和
拼接形成第h个子矩阵
的特征向量，再将H个子矩阵的特征向量拼接形成第m个平面矩阵
的特征向量，之后再将M个平面矩阵的特征向量拼接形成第n个2D帧序列An的时空特征向量
表示第n个2D帧序列An的第r个时空特征，R＝2K×H×M；
步骤2.3：级联森林分类器对样本进行分类：
步骤2.3.1：构建级联森林分类器：
令级联森林分类器具有X层结构，每一层均包含：i个随机森林分类器和i个完全随机森林分类器，且每个森林分类器中的树木数量为j；令当前层为x，并初始化x＝1；
令第n个面部肌电信号样本Sn的时空特征向量
为第一层的输入，记为
从训练集中划分出部分数据作为验证集，令第x-1层的验证精度为零；
步骤2.3.2：训练级联森林分类器；
步骤2.3.2.1：将
输入级联森林分类器的第x层中，并由第x层的i个随机森林分类器和i个完全随机森林分类器分别处理，所产生的全部类向量拼接在一起后形成第x层的增强特征向量
其中，
表示第n个面部肌电信号样本Sn在第x层产生的第q个增强特征，Q＝2i×K；
步骤2.3.2.2：将验证集输入级联森林分类器的第x层，用于计算第x层的验证精度；若第x层的验证精度大于x-1层的验证精度，则执行步骤2.3.2.3；否则，表示完成级联森林分类器的训练，并将当前第x层作为最后一层；
步骤2.3.2.3：第x层的增强特征向量
与时空特征向量
拼接后，得到维数为(r+q)的第x+1层的输入
并输入级联森林分类器的第x+1层进行处理，从而得到第x+1层的增强特征向量
步骤2.3.2.4：将x+1赋值给x后，若x＞X，则表示得到第X层的增强特征向量
否则，返回步骤2.3.2.1顺序执行；
步骤2.3.3：训练后的级联森林分类器的预测：
获取所述受试者的第t个面部肌电信号样本作为待预测样本St并输入训练后的级联森林分类器中进行处理，由级联森林分类器的最后一层的i个随机森林分类器和i个完全随机森林分类器相应输出的全部类向量并取平均后，得到待预测样本St的类向量
从而选取CVt中最大概率值所对应的类别作为预测样本St的预测类别，其中，
表示待预测样本St属于第k类的概率。
2.一种电子设备，包括存储器以及处理器，其特征在于，所述存储器用于存储支持处理器执行权利要求1所述面部肌电情绪识别方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
3.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1所述面部肌电情绪识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211490249.6A CN115919313B (zh) | 2022-11-25 | 2022-11-25 | 一种基于时空特征的面部肌电情绪识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211490249.6A CN115919313B (zh) | 2022-11-25 | 2022-11-25 | 一种基于时空特征的面部肌电情绪识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115919313A true CN115919313A (zh) | 2023-04-07 |
| CN115919313B CN115919313B (zh) | 2024-04-19 |
Family
ID=86555034
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211490249.6A Active CN115919313B (zh) | 2022-11-25 | 2022-11-25 | 一种基于时空特征的面部肌电情绪识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115919313B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109875515A (zh) * | 2019-03-25 | 2019-06-14 | 中国科学院深圳先进技术研究院 | 一种基于阵列式表面肌电的发音功能评估系统 |
| CN110610168A (zh) * | 2019-09-20 | 2019-12-24 | 合肥工业大学 | 一种基于注意力机制的脑电情绪识别方法 |
| KR20200001846A (ko) * | 2018-06-28 | 2020-01-07 | (주)감성커뮤니케이션스 | 생체 신호를 이용한 산림 감성 이모션 맵 시스템 및 산림 감성 이모션 맵 생성 방법 |
| CN111000556A (zh) * | 2019-11-29 | 2020-04-14 | 上海师范大学 | 一种基于深度模糊森林的情绪识别方法 |
| US20200222010A1 (en) * | 2016-04-22 | 2020-07-16 | Newton Howard | System and method for deep mind analysis |
| WO2021031817A1 (zh) * | 2019-08-21 | 2021-02-25 | 深圳壹账通智能科技有限公司 | 情绪识别方法、装置、计算机装置及存储介质 |
| CN113397546A (zh) * | 2021-06-24 | 2021-09-17 | 福州大学 | 基于机器学习和生理信号的情绪识别模型构建方法及系统 |
| CN113729707A (zh) * | 2021-09-06 | 2021-12-03 | 桂林理工大学 | 一种基于fecnn-lstm的眼动和ppg多模态融合的情感识别方法 |
| US20220199245A1 (en) * | 2020-12-22 | 2022-06-23 | Regeneron Pharmaceuticals, Inc. | Systems and methods for signal based feature analysis to determine clinical outcomes |
| CN115024725A (zh) * | 2022-04-19 | 2022-09-09 | 合肥工业大学 | 融合心理状态多参数检测的肿瘤治疗辅助决策系统 |
-
2022
- 2022-11-25 CN CN202211490249.6A patent/CN115919313B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200222010A1 (en) * | 2016-04-22 | 2020-07-16 | Newton Howard | System and method for deep mind analysis |
| KR20200001846A (ko) * | 2018-06-28 | 2020-01-07 | (주)감성커뮤니케이션스 | 생체 신호를 이용한 산림 감성 이모션 맵 시스템 및 산림 감성 이모션 맵 생성 방법 |
| CN109875515A (zh) * | 2019-03-25 | 2019-06-14 | 中国科学院深圳先进技术研究院 | 一种基于阵列式表面肌电的发音功能评估系统 |
| WO2021031817A1 (zh) * | 2019-08-21 | 2021-02-25 | 深圳壹账通智能科技有限公司 | 情绪识别方法、装置、计算机装置及存储介质 |
| CN110610168A (zh) * | 2019-09-20 | 2019-12-24 | 合肥工业大学 | 一种基于注意力机制的脑电情绪识别方法 |
| CN111000556A (zh) * | 2019-11-29 | 2020-04-14 | 上海师范大学 | 一种基于深度模糊森林的情绪识别方法 |
| US20220199245A1 (en) * | 2020-12-22 | 2022-06-23 | Regeneron Pharmaceuticals, Inc. | Systems and methods for signal based feature analysis to determine clinical outcomes |
| CN113397546A (zh) * | 2021-06-24 | 2021-09-17 | 福州大学 | 基于机器学习和生理信号的情绪识别模型构建方法及系统 |
| CN113729707A (zh) * | 2021-09-06 | 2021-12-03 | 桂林理工大学 | 一种基于fecnn-lstm的眼动和ppg多模态融合的情感识别方法 |
| CN115024725A (zh) * | 2022-04-19 | 2022-09-09 | 合肥工业大学 | 融合心理状态多参数检测的肿瘤治疗辅助决策系统 |
Non-Patent Citations (4)
| Title |
|---|
| JUAN CHENG等: "Emotion Recognition From Multi-Channel EEG via Deep Forest", IEEE JOURNAL OF BIOMEDICAL AND HEALTH INFORMATICS, 19 May 2020 (2020-05-19), pages 453 - 464, XP011835517, DOI: 10.1109/JBHI.2020.2995767 * |
| 周旭峰;王醒策;武仲科;VLADIMIR KORKHOV;LUCIANO PASCHOAL GASPARY;: "基于组合RNN网络的EMG信号手势识别", 光学精密工程, no. 02, 15 February 2020 (2020-02-15), pages 169 - 187 * |
| 成娟 等: "基于双线性模型的动作肌电信号用户无关识别研究", 中国生物医学工程学报, 20 October 2016 (2016-10-20), pages 526 - 532 * |
| 朱旻;李雪玲;李效来;葛运建;: "基于元学习和叠加法的双层支持向量机算法", 模式识别与人工智能, no. 06, 15 December 2012 (2012-12-15), pages 61 - 67 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115919313B (zh) | 2024-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108776788B (zh) | 一种基于脑电波的识别方法 | |
| CN109784023B (zh) | 基于深度学习的稳态视觉诱发脑电身份识别方法及系统 | |
| CN110353702A (zh) | 一种基于浅层卷积神经网络的情感识别方法及系统 | |
| CN108256629B (zh) | 基于卷积网络和自编码的eeg信号无监督特征学习方法 | |
| CN114224342B (zh) | 一种基于时空融合特征网络的多通道脑电信号情绪识别方法 | |
| CN110353673B (zh) | 一种基于标准互信息的脑电通道选择方法 | |
| CN114533086B (zh) | 一种基于空域特征时频变换的运动想象脑电解码方法 | |
| CN112244873A (zh) | 一种基于混合神经网络的脑电时空特征学习与情感分类方法 | |
| CN113128353B (zh) | 面向自然人机交互的情绪感知方法及其系统 | |
| CN115804602A (zh) | 基于注意力机制的多通道特征融合的脑电情绪信号检测方法、设备和介质 | |
| CN112465069A (zh) | 一种基于多尺度卷积核cnn的脑电情绪分类方法 | |
| CN111000556A (zh) | 一种基于深度模糊森林的情绪识别方法 | |
| CN114841216B (zh) | 一种基于模型不确定性学习的脑电信号分类方法 | |
| CN116058800A (zh) | 基于深度神经网络与脑机接口的自动睡眠分期系统 | |
| CN115414051A (zh) | 一种脑电信号自适应窗口的情绪分类识别方法 | |
| CN113180659A (zh) | 一种基于三维特征和空洞全卷积网络的脑电情感识别系统 | |
| CN106056602A (zh) | 基于CNN的fMRI视觉功能数据目标提取方法 | |
| CN115969392A (zh) | 基于张量化频空注意力域适应网络的跨时段脑纹识别方法 | |
| CN114305452B (zh) | 一种基于脑电和领域适配的跨任务认知负荷识别方法 | |
| CN115659207A (zh) | 一种脑电情绪识别方法及系统 | |
| CN113576498B (zh) | 基于脑电信号的视听觉美学评价方法及系统 | |
| Alessandrini et al. | EEG-Based Neurodegenerative Disease Classification using LSTM Neural Networks | |
| CN117725367A (zh) | 一种源域可迁移性自适应学习的言语想象脑电解码方法 | |
| CN111783669A (zh) | 一种面向个人用户的表面肌电信号分类识别方法 | |
| CN116421200A (zh) | 一种基于并行训练的多任务混合模型的脑电情感分析方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |