CN111797747A - 一种基于eeg、bvp和微表情的潜在情绪识别方法 - Google Patents

一种基于eeg、bvp和微表情的潜在情绪识别方法 Download PDF

Info

Publication number
CN111797747A
CN111797747A CN202010600524.XA CN202010600524A CN111797747A CN 111797747 A CN111797747 A CN 111797747A CN 202010600524 A CN202010600524 A CN 202010600524A CN 111797747 A CN111797747 A CN 111797747A
Authority
CN
China
Prior art keywords
bvp
discriminator
feature
eeg
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010600524.XA
Other languages
English (en)
Other versions
CN111797747B (zh
Inventor
相虎生
王�锋
牛锦
张美艳
宋剑桥
贾海蓉
马军辉
师泽州
相宸卓
王飞
赵晨晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daohe Anbang Tianjin Security Technology Co ltd
Original Assignee
Daohe Anbang Tianjin Security Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daohe Anbang Tianjin Security Technology Co ltd filed Critical Daohe Anbang Tianjin Security Technology Co ltd
Priority to CN202010600524.XA priority Critical patent/CN111797747B/zh
Publication of CN111797747A publication Critical patent/CN111797747A/zh
Application granted granted Critical
Publication of CN111797747B publication Critical patent/CN111797747B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Surgery (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Developmental Disabilities (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种基于EEG、BVP和微表情信号的潜在情绪识别方法，具体包括以下步骤：一：潜在情绪数据采集；二：脑电信号特征提取；三：基于色度模型的BVP信号及其特征的提取；四：构建条件生成对抗网络实现EEG特征、BVP特征数据生成；五：构建条件生成对抗网络以实现微表情数据生成；六：基于EEG、BVP和微表情的潜在情绪识别。采用本发明的一种基于EEG、BVP和微表情信号的潜在情绪识别方法，具有简单而高效,成本低廉、精度高等优点。

Description

一种基于EEG、BVP和微表情的潜在情绪识别方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种潜在情绪识别算法，特别是涉及一种基于EEG、BVP和微表情的潜在情绪识别方法。
背景技术
情绪识别是人工智能时代的一个重要课题，随着深度神经网络和机器学习的崛起，目前基于人工智能的情绪识别已经发展的如火如荼，可用于国家安全部门、刑侦司法机关、特殊群体心理监测等。现阶段对情绪识别可以分为对生理信号的情绪识别、对人脸面部(微)表情的识别、以及融合人脸(微)表情与生理信号的情绪识别。其中潜在情绪研究主要对生理信号和微表情等较不明显的信号进行情绪识别，基于此类信号的潜在情绪识别可以避免人为故意隐藏或克制其真实情绪的行为所带来的误判问题。
随着脑电采集设备的应用，基于脑电信号(EEG)的潜在情绪识别也得到了快速的发展，众多国内外学者如Picard、Kim、刘光远教授团队、王焕焕等人通过提取多种脑电信号并分别用特征降维和机器学习的方法实现潜在情绪识别，并取得不错的识别率；脸部血容量脉冲(BVP)信号作为一种可快速提取的生理信号近年来也被用于潜在情绪识别，任福继等人通过视频提取BVP信号并对其提取时频域特征进而实现对情绪的识别；微表情作为一种常见的情绪识别信号近年来得到广泛的研究，同时计算机视觉科学家将深度学习模型应用于微表情识别，例如卷积神经网络(CNN)、循环神经网络(RNN)、长短时记忆网络(LSTM)。但上述方法仅从单一的角度实现潜在情绪识别，并没有考虑到情绪的产生是一个多种信号共存的情况，没有考虑到多种情绪信号之间的相互作用，进而导致识别效果差且浪费大量系统资源，同时具有包含多种情绪信息的数据库较为匮乏。
发明内容
针对现有技术中存在的问题，本发明提供一种基于EEG、BVP和微表情信号的潜在情绪识别方法，其具体技术方案包括以下步骤：
步骤一：潜在情绪数据采集。通过诱发视频的方式使被试者产生对应的情绪状态，通过Neuroscan Synamps2脑电放大器采集脑电信号采集EEG脑电信号，通过摄像头采集人脸面部数据，一方面用于提取微表情，另一方面通过色度模型提取BVP信号；
步骤二：脑电信号特征提取。对上一步提取的脑电信号提取其小波细节系数、协调关系度和Lempel-Ziv复杂度等直接特征，并与 EMD分解特征融合构建混沌特征矩阵；
步骤三：基于色度模型的BVP信号及其特征的提取。对包含情绪状态的视频数据进行逐帧人脸检测，计算RGB三通道像素均值，基于色度模型提取BVP信号，通过计算BVP信号相邻主波峰时间间隔(P-P 间隔)得到BVP变异信号，计算上述两种信号的时频特征并构建混沌矩阵；
步骤四：构建条件生成对抗网络实现EEG特征、BVP特征数据生成。该网络包括两个生成器和两个判别器，其中生成器具体为EEG特征生成器、BVP特征生成器，分别用于EEG特征向量、BVP特征向量的生成，对应的两个判别器为EEG特征判别器、BVP特征判别器，分别用于判断所生成的EEG特征、BVP特征是否符合真实规律。将步骤二和步骤三中得到的混沌特征矩阵作为条件输入到EEG特征判别器和BVP特征判别器中，有监督的指导数据生成，通过生成器和判别器的多次相互博弈，产生以假乱真的数据，利用判别器分别对两种生成的数据进行识别，将两种识别结果通过D-S证据理论融合得到基于 EEG特征和BVP特征的潜在情绪识别结果；
步骤五：构建条件生成对抗网络以实现微表情数据生成。该网络包括一个生成器和一个判别器，其中生成器为微表情生成器，用于生成微表情序列，对应的判别器为微表情判别器，用于判断生成器所生成的微表情序列内容的真假。将步骤四中得到的两种信号的识别结果作为条件输入到微表情判别器中，用于指导数据生成，加快数据生成与判别速度，通过多次生成器与判别器的博弈，得到以假乱真的微表情数据，利用判别器进行识别，得到基于微表情的潜在情绪识别结果；
步骤六：基于EEG、BVP和微表情的潜在情绪识别。潜在情绪的识别使用判别器完成，将步骤四中和步骤五中得到的识别结果再次通过D-S证据理论融合得到基于EEG、BVP和微表情的潜在情绪识别结果。
进一步地，在步骤四中，EEG特征生成器、BVP特征生成器均选用LSTM生成器，包含十六个部分，每一部分由一个LSTM层和全连接层组成，利用生成器将随机噪声生成类似真实信号，将得到的信号通过判别器进行对抗；EEG特征判别器和BVP特征判别器均由残差网络 +LSTM构成，第一部分包括一个二维卷积层和一个LeakyReLU层，第二部分到第四部分有相同的结构，包含一个二维卷积层、一个BatchNorm2d层和一个LeakyReLU层，第五部分包含一个二维卷积层和一个Sigmoid层，最终输出判别结果。在生成对抗期间，将步骤二和步骤三中得到的混沌特征矩阵作为条件输入到EEG特征判别器和 BVP特征判别器中，可以指导数据的生成，加快生成速度。最后通过判别器对生成的两种数据进行识别，将得到的两种识别结果通过D-S 证据理论融合得到基于EEG和BVP的潜在情绪识别结果；
进一步地，在步骤五中，微表情生成器包含七个部分，第一部分到第六部分结构相同，包含一个二维反卷积层，一个BatchNorm2d层和一个RELU层，第七部分包含一个二维反卷积层和一个Tanh层；微表情判别器包含五个部分，第一部分包括一个二维卷积层和一个LeakyReLU层，第二部分到第四部分有相同的结构，包含一个二维卷积层、一个BatchNorm2d层和一个LeakyReLU层，第五部分包含一个二维卷积层和一个Sigmoid层。为加快数据生成效率，将步骤四中融合后的结果输入到判别器中有监督的指导数据生成。
本发明旨在解决潜在情绪识别中数据量较少，且信号较为单一的问题，提出一种基于EEG、BVP和微表情的潜在情绪识别方法。相比于传统情绪识别的方法，本发明充分考虑到多种信息之间的相互耦合关系，可以更好地表征情绪状态。同时针对数据量不足的问题，通过采集部分数据后，采用生成对抗网络进行数据生成，并在生成对抗期间加入特征标签，加快网络训练，有监督的加速数据的生成。
附图说明
图1本发明一种基于EEG、BVP和微表情的潜在情绪识别方法流程图；
图2本发明一种基于EEG、BVP和微表情的潜在情绪识别方法脑电采集装置电极位置图；
图3本发明一种基于EEG、BVP和微表情的潜在情绪识别方法数据采集流程图。
具体实施方案：
以下将结合附图，对本发明方案作进一步说明。
一种基于EEG、BVP和微表情的潜在情绪识别方法，步骤如图1 所示。
步骤一：潜在情绪数据采集。通过诱发视频的方式使被试者产生对应的情绪状态，通过Neuroscan Synamps2脑电放大器采集脑电信号采集EEG脑电信号，通过摄像头采集人脸面部数据，一方面用于提取微表情，另一方面通过色度模型提取BVP信号；
Neuroscan Synamps2脑电放大器共有16个电极，供实验者进行佩戴，电极图如图2所示。其中，CMS和DRL为两个参考电极，其余的14个电极用来搜集脑电信号。在采集脑电信号的同时，使用摄像头录制人脸面部视频便于采集微表情和BVP信号。
采集过程可以按以下步骤完成，如图3：
(1)整个实验被试需要观看若干诱发视频，同样地，主试需要录制被试观看这些诱发视频的若干个对应的表情视频；
(2)被试在观看上个视频与观看下个视频之间需要做上个视频的自我报告问卷；
(3)被试每观看一个视频，在观看视频前和视频播放停止后都需要举手示意，主试根据被试这两个举手示意，分别开始录制表情视频、停止录制表情视频，在录制的同时采集脑电信号；
(4)在拍摄过程中，被试要尽量保持坐姿，主试要紧盯摄像机屏幕，适时地对摄像机的位置微调，保证整个面部轮廓在摄像机拍摄范围以内，这是为了能更精确地进行后续提到的人脸配准。
(5)在脑电信号采集之前，在佩戴采集帽前，尽量将头发拨开，以防止信号采集不佳。
在实验过程中参与者的自我报告非常重要，故在实验过程中，要求每位参与者在观看上个视频与观看下个视频之间需要做上个视频的自我报告问卷，要求被试者回忆并确定出情感比较强烈的时间段，然后从中剪切出满足要求的时间段。每段视频中只包含有一种情感，视频一般是从情绪微弱到情绪丰富再到情绪微弱。数据采集图如图3 所示。
步骤二：脑电信号特征提取。对上一步提取的脑电信号提取其小波细节系数、协调关系度和Lempel-Ziv复杂度等直接特征，并与 EMD分解特征融合构建混沌特征矩阵；
(1)将步骤一中所提取的脑电信号通过ICA进行去噪，使用巴特沃斯滤波器提取1-43Hz频段内的信号作为有效脑电信号；
(2)对有效脑电信号提取其小波细节系数，并计算协调关系度和Lempel-Ziv复杂度等3中直接特征；
(3)通过EMD对有效脑电信号进行分解对分解得到的前4个IMF 计算平均近似熵；
(4)将得到的3种直接特征和EMD分解后得到的特征构建混沌特征矩阵；
步骤三：基于色度模型的BVP信号及其特征的提取。对包含情绪状态的视频数据进行逐帧人脸检测，计算RGB三通道像素均值，基于色度模型提取BVP信号，通过计算BVP信号相邻主波峰时间间隔(P-P 间隔)得到BVP变异信号，计算上述两种信号的时频特征并构建混沌矩阵；
(1)基于色度模型提取BVP信号，如图1所示。根据色度模型原理，脉搏变化会引起面部皮肤反射光强度的变化，其可以体现在图像中亮度信息的变化，亮度信息可以通过计算图片像素均值得到。为分析这种皮肤反射光的变化，色度模型作出如下描述，对于第i帧，其通道亮度信息变化可表示为：
Figure RE-GDA0002657039590000071
其中，C∈(R,G,B)，i为当前帧数，
Figure RE-GDA0002657039590000072
为该时间段内的光照强度，
Figure RE-GDA0002657039590000073
为皮肤固定反射系数，
Figure RE-GDA0002657039590000074
为血流变化所导致的反射光的动态变化值， si为镜面反射值。
按上述公式对R,G,B通道信息进行归一化处理以消除
Figure RE-GDA0002657039590000081
的影响，
Figure RE-GDA0002657039590000082
其中Ci表示颜色通道信息，μ(Ci)表示当前时间段内各颜色通道信息的均值，归一化后得到Cni。然后计算色度信号：
Xs＝2R1(n)-3G1(n)
Ys＝1.5R1(n)+G1(n)-1.5B1(n)
其中，R1(n)，G1(n)，B1(n)为标准化后信号。
最后，为消除漫反射及静态成分的干扰，对Xs和Ys通过带通滤波器(0.7Hz-4Hz)得到Xf和Yf，并由下式提取脉搏波信号S：
S＝Xf-αYf
Figure RE-GDA0002657039590000083
其中，σ(·)表示信号的标准差。
(2)提取BVP信号及BVP变异信号的时频特征并构建混沌特征矩阵。首先在脉搏信号时间序列上提取脉搏信号的统计特性，提取的特征包括均值、标准差、一阶差分绝对值均值、二阶差分绝对值均值。通过快速傅里叶变换将原始信号(0.7Hz-4Hz)划分为6个不重叠的子带，分别计算每个子带的功率谱熵，计算公式如下：
Figure RE-GDA0002657039590000084
p(ωi)由不同子带的功率谱密度归一化得到。将六个子带分中前三个子带作为低频带，后三个子带作为高频带，计算高低频带功率谱熵比。对BVP变异信号进行三次样条插值，进行傅里叶变换分析其频域特征，分别计算甚低频功率(VLF，0.003Hz-0.4Hz)，计算公式如下：
Figure RE-GDA0002657039590000091
其中，PSD(f)为信号功率谱密度，f1和f2分别为起始频率，同理可以求得低频功率(LF，0.4Hz-0.15Hz)、高频功率(HF，0.15Hz-0.4Hz)、总功率、低频功率与高频功率比、低频功率与总功率比、高频功率与总功率比，将得到的时频特征构建混沌特征矩阵。
步骤四：构建条件生成对抗网络实现EEG特征、BVP特征数据生成。该网络包括两个生成器和两个判别器，其中生成器具体为EEG 特征生成器、BVP特征生成器，分别用于EEG特征向量、BVP特征向量的生成，对应的两个判别器为EEG特征判别器、BVP特征判别器，分别用于判断所生成的EEG特征、BVP特征是否符合真实规律。将步骤二和步骤三中得到的混沌特征矩阵作为条件输入到EEG特征判别器和BVP特征判别器中，有监督的指导数据生成，通过生成器和判别器的多次相互博弈，产生以假乱真的数据，利用判别器分别对两种生成的数据进行识别，将两种识别结果通过D-S证据理论融合得到基于 EEG特征和BVP特征的潜在情绪识别结果；
(1)EEG特征、BVP特征数据生成。随机产生一个张量作为噪声，输入到生成器中，通过LSTM网络生成EEG、BVP特征数据。
将生成的数据与步骤二与步骤三中采集的真实数据作为条件输入到判别器中，最小化生成器的损失函数，最大化判别器的损失函数，不断更新网络，使生成的EEG、BVP特征数据逼近真实数据。
在本步骤中，定义噪声为z，其中z∈Rd，Rd表示噪声维数，生成器定义为G，判别器为D，x～pz表示真实数据概率分布，最小化生成器损失函数，最大化判别器损失函数，不断更新网络，公式如下：
Figure RE-GDA0002657039590000101
其中，c为真实的特征数据，x|c为数据x在c条件下的概率分布，
Figure RE-GDA0002657039590000102
为pdata概率分布的数学期望，x～pz指数据x服从pz的概率分布， D(x|c)为通过判别器之后的判断为真实样本的概率，G(z|c)由噪声z 生成的样本，D(G(z|c))表示生成样本通过判别器后判断为真实样本的概率。整体损失函数选用交叉损失函数，c作为约束条件用于指导数据的生成。
(2)基于EEG特征和BVP特征的潜在情绪识别。通过多次迭代的生成对抗后，得到以及乱真的EEG和BVP特征，利用判别器对两种特征进行识别，通过D-S证据理论融合EEG特征和BVP特征得到最终的识别结果。
(3)本专利中，EEG特征生成器、BVP特征生成器均选用LSTM 生成器，包含十六个部分，每一部分由一个LSTM层和全连接层组成，利用生成器将随机噪声生成类似真实信号，将得到的信号通过判别器进行对抗；EEG特征判别器和BVP特征判别器均由残差网络+LSTM构成，第一部分包括一个二维卷积层和一个LeakyReLU层，第二部分到第四部分有相同的结构，包含一个二维卷积层、一个BatchNorm2d层和一个LeakyReLU层，第五部分包含一个二维卷积层和一个Sigmoid 层。
步骤五：构建条件生成对抗网络以实现微表情数据生成。该网络包括一个生成器和一个判别器，其中生成器为微表情生成器，用于生成微表情序列，对应的判别器为微表情判别器，用于判断生成器所生成的微表情序列内容的真假。将步骤四中得到的两种信号的识别结果作为条件输入到微表情判别器中，用于指导数据生成，加快数据生成与判别速度，通过多次生成器与判别器的博弈，得到以假乱真的微表情数据，利用判别器进行识别，得到基于微表情的潜在情绪识别结果；
(1)微表情序列生成。随机产生一个张量作为噪声，输入到生成器中由此生成微表情序列。
将步骤四中融合EEG和BVP特征的潜在情绪识别结果作为条件输入到微表情判别器中用以指导微表情生成，最小化生成器的损失函数，最大化判别器的损失函数，不断更新网络，使生成的微表情数据逼近真实数据。
在本步骤中，定义噪声为z，其中z∈Rd，Rd表示噪声维数，生成器定义为G，判别器为D，x～pz表示真实数据概率分布，最小化生成器损失函数，最大化判别器损失函数，不断更新网络，公式如下：
Figure RE-GDA0002657039590000111
其中，y为步骤四中基于EEG和BVP的潜在情绪识别结果，x|y为数据x在y条件下的概率分布，
Figure RE-GDA0002657039590000112
为pdata概率分布的数学期望，x～pz指数据x服从pz的概率分布，D(x|y)为通过判别器之后的判断为真实样本的概率，G(z|y)由噪声z生成的样本，D(G(z|y))表示生成样本通过判别器后判断为真实样本的概率。整体损失函数选用交叉损失函数，y作为约束条件用于指导数据的生成。
(2)基于微表情的潜在情绪识别。通过多次迭代的生成对抗后，得到以及乱真的微表情序列，利用判别器进行识别，将得到基于微表情的潜在情绪识别结果。
(3)在本专利中，微表情生成器包含七个部分，第一部分到第六部分结构相同，包含一个二维反卷积层，一个BatchNorm2d层和一个RELU层，第七部分包含一个二维反卷积层和一个Tanh层；微表情判别器包含五个部分，第一部分包括一个二维卷积层和一个LeakyReLU层，第二部分到第四部分有相同的结构，包含一个二维卷积层、一个BatchNorm2d层和一个LeakyReLU层，第五部分包含一个二维卷积层和一个Sigmoid层。
步骤六：基于EEG、BVP和微表情的潜在情绪识别。潜在情绪的识别使用判别器完成，将步骤四中和步骤五中得到的识别结果再次通过D-S证据理论融合得到基于EEG、BVP和微表情的潜在情绪识别结果。
将步骤四中基于EEG和BVP的潜在情绪识别结果与步骤五中基于微表情的潜在情绪识别结果通过D-S证据理论融合，利用其对不确定问题的描述更加灵活，在处理冲突较小时该理论效果显著的优点，实现基于EEG、BVP和微表情的潜在情绪识别。
本发明与现有技术相比具有以下创新点：
(1)本发明相比于传统的情绪识别方法，本发明综合了EEG、BVP和微表情等多种情绪信号，通过融合不同类型信号进而实现识别精度提升。
(2)为解决多源信号在潜在情绪识别中数据量不足的问题，本发明通过采用生成对抗的方式显示数据扩充，同时在数据扩充时为加快数据生成速度，保证数据精度，通过添加条件的方式用于指导数据生成。
(3)本发明相比于只包含EEG和BVP信号的识别精度有一定提升，最高可提升5％左右，总体识别精度可达85％左右，也比其它识别方法精度提高至少10％左右。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于EEG、BVP和微表情信号的潜在情绪识别方法，其特征在于，主要包括以下几个步骤：
步骤一：潜在情绪数据采集。通过诱发视频的方式使被试者产生对应的情绪状态，通过Neuroscan Synamps2脑电放大器采集脑电信号采集EEG脑电信号，通过摄像头采集人脸面部数据，一方面用于提取微表情，另一方面通过色度模型提取BVP信号；
步骤二：脑电信号特征提取。对上一步提取的脑电信号提取其小波细节系数、协调关系度和Lempel—Ziv复杂度等直接特征，并与EMD分解特征融合构建混沌特征矩阵；
步骤三：基于色度模型的BVP信号及其特征的提取。对包含情绪状态的视频数据进行逐帧人脸检测，计算RGB三通道像素均值，基于色度模型提取BVP信号，通过计算BVP信号相邻主波峰时间间隔(P-P间隔)得到BVP变异信号，计算上述两种信号的时频特征并构建混沌矩阵；
步骤四：构建条件生成对抗网络实现EEG特征、BVP特征数据生成。该网络包括两个生成器和两个判别器，其中生成器具体为EEG特征生成器、BVP特征生成器，分别用于EEG特征向量、BVP特征向量的生成，对应的两个判别器为EEG特征判别器、BVP特征判别器，分别用于判断所生成的EEG特征、BVP特征是否符合真实规律。将步骤二和步骤三中得到的混沌特征矩阵作为条件输入到EEG特征判别器和BVP特征判别器中，有监督的指导数据生成，通过生成器和判别器的多次相互博弈，产生以假乱真的数据，利用判别器分别对两种生成的数据进行识别，将两种识别结果通过D-S证据理论融合得到基于EEG特征和BVP特征的潜在情绪识别结果；
步骤五：构建条件生成对抗网络以实现微表情数据生成。该网络包括一个生成器和一个判别器，其中生成器为微表情生成器，用于生成微表情序列，对应的判别器为微表情判别器，用于判断生成器所生成的微表情序列内容的真假。将步骤四中得到的两种信号的识别结果作为条件输入到微表情判别器中，用于指导数据生成，加快数据生成与判别速度，通过多次生成器与判别器的博弈，得到以假乱真的微表情数据，利用判别器进行识别，得到基于微表情的潜在情绪识别结果；
步骤六：基于EEG、BVP和微表情的潜在情绪识别。潜在情绪的识别使用判别器完成，将步骤四中和步骤五中得到的识别结果再次通过D-S证据理论融合得到基于EEG、BVP和微表情的潜在情绪识别结果。
2.根据权利要求1所述的一种基于EEG、BVP和微表情信号的潜在情绪识别方法，其特征在于，在所述步骤四中，EEG特征生成器、BVP特征生成器均选用LSTM生成器，包含十六个部分，每一部分由一个LSTM层和全连接层组成，利用生成器将随机噪声生成类似真实信号，将得到的信号通过判别器进行对抗；EEG特征判别器和BVP特征判别器均由残差网络+LSTM构成，第一部分包括一个二维卷积层和一个LeakyReLU层，第二部分到第四部分有相同的结构，包含一个二维卷积层、一个BatchNorm2d层和一个LeakyReLU层，第五部分包含一个二维卷积层和一个Sigmoid层，最终输出判别结果。在生成对抗期间，将步骤二和步骤三中得到的混沌特征矩阵作为条件输入到EEG特征判别器和BVP特征判别器中，可以指导数据的生成，加快生成速度。最后通过判别器对生成的两种数据进行识别，将得到的两种识别结果通过D-S证据理论融合得到基于EEG和BVP的潜在情绪识别结果。
3.根据权利要求1所述的一种基于EEG、BVP和微表情信号的潜在情绪识别方法，其特征在于，在所述步骤五中，微表情生成器包含七个部分，第一部分到第六部分结构相同，包含一个二维反卷积层，一个BatchNorm2d层和一个RELU层，第七部分包含一个二维反卷积层和一个Tanh层；微表情判别器包含五个部分，第一部分包括一个二维卷积层和一个LeakyReLU层，第二部分到第四部分有相同的结构，包含一个二维卷积层、一个BatchNorm2d层和一个LeakyReLU层，第五部分包含一个二维卷积层和一个Sigmoid层。为加快数据生成效率，将步骤四中融合后的结果输入到判别器中有监督的指导数据生成。
CN202010600524.XA 2020-06-28 2020-06-28 一种基于eeg、bvp和微表情的潜在情绪识别方法 Active CN111797747B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010600524.XA CN111797747B (zh) 2020-06-28 2020-06-28 一种基于eeg、bvp和微表情的潜在情绪识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010600524.XA CN111797747B (zh) 2020-06-28 2020-06-28 一种基于eeg、bvp和微表情的潜在情绪识别方法

Publications (2)

Publication Number Publication Date
CN111797747A true CN111797747A (zh) 2020-10-20
CN111797747B CN111797747B (zh) 2023-08-18

Family

ID=72804363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010600524.XA Active CN111797747B (zh) 2020-06-28 2020-06-28 一种基于eeg、bvp和微表情的潜在情绪识别方法

Country Status (1)

Country Link
CN (1) CN111797747B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110619301A (zh) * 2019-09-13 2019-12-27 道和安邦（天津）安防科技有限公司 一种基于双模态信号的情绪自动识别方法
CN112807000A (zh) * 2021-02-04 2021-05-18 首都师范大学 鲁棒性脑电信号的生成方法及装置
CN112914589A (zh) * 2021-03-02 2021-06-08 钦州市第二人民医院 一种多导睡眠监测无线网帽装置及监测方法
CN113197573A (zh) * 2021-05-19 2021-08-03 哈尔滨工业大学 基于表情识别及脑电融合的观影印象检测方法
CN117137488A (zh) * 2023-10-27 2023-12-01 吉林大学 基于脑电数据与面部表情影像的抑郁症病症辅助识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108742660A (zh) * 2018-07-02 2018-11-06 西北工业大学 一种基于可穿戴设备的情绪识别方法
CN108960080A (zh) * 2018-06-14 2018-12-07 浙江工业大学 基于主动防御图像对抗攻击的人脸识别方法
CN110037693A (zh) * 2019-04-24 2019-07-23 中央民族大学 一种基于面部表情和eeg的情绪分类方法
CN110169770A (zh) * 2019-05-24 2019-08-27 西安电子科技大学 情绪脑电的细粒度可视化系统和方法
CN110210429A (zh) * 2019-06-06 2019-09-06 山东大学 一种基于光流、图像、运动对抗生成网络提高焦虑、抑郁、愤怒表情识别正确率的方法
CN110619301A (zh) * 2019-09-13 2019-12-27 道和安邦（天津）安防科技有限公司 一种基于双模态信号的情绪自动识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108960080A (zh) * 2018-06-14 2018-12-07 浙江工业大学 基于主动防御图像对抗攻击的人脸识别方法
CN108742660A (zh) * 2018-07-02 2018-11-06 西北工业大学 一种基于可穿戴设备的情绪识别方法
CN110037693A (zh) * 2019-04-24 2019-07-23 中央民族大学 一种基于面部表情和eeg的情绪分类方法
CN110169770A (zh) * 2019-05-24 2019-08-27 西安电子科技大学 情绪脑电的细粒度可视化系统和方法
CN110210429A (zh) * 2019-06-06 2019-09-06 山东大学 一种基于光流、图像、运动对抗生成网络提高焦虑、抑郁、愤怒表情识别正确率的方法
CN110619301A (zh) * 2019-09-13 2019-12-27 道和安邦（天津）安防科技有限公司 一种基于双模态信号的情绪自动识别方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110619301A (zh) * 2019-09-13 2019-12-27 道和安邦（天津）安防科技有限公司 一种基于双模态信号的情绪自动识别方法
CN110619301B (zh) * 2019-09-13 2023-04-18 道和安邦（天津）安防科技有限公司 一种基于双模态信号的情绪自动识别方法
CN112807000A (zh) * 2021-02-04 2021-05-18 首都师范大学 鲁棒性脑电信号的生成方法及装置
CN112807000B (zh) * 2021-02-04 2023-02-28 首都师范大学 鲁棒性脑电信号的生成方法及装置
CN112914589A (zh) * 2021-03-02 2021-06-08 钦州市第二人民医院 一种多导睡眠监测无线网帽装置及监测方法
CN112914589B (zh) * 2021-03-02 2023-04-18 钦州市第二人民医院 一种多导睡眠监测无线网帽装置及监测方法
CN113197573A (zh) * 2021-05-19 2021-08-03 哈尔滨工业大学 基于表情识别及脑电融合的观影印象检测方法
CN117137488A (zh) * 2023-10-27 2023-12-01 吉林大学 基于脑电数据与面部表情影像的抑郁症病症辅助识别方法
CN117137488B (zh) * 2023-10-27 2024-01-26 吉林大学 基于脑电数据与面部表情影像的抑郁症病症辅助识别方法

Also Published As

Publication number Publication date
CN111797747B (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
CN111523601B (zh) 一种基于知识引导和生成对抗学习的潜在情绪识别方法
CN111797747B (zh) 一种基于eeg、bvp和微表情的潜在情绪识别方法
CN110619301B (zh) 一种基于双模态信号的情绪自动识别方法
Zhang et al. A novel convolutional neural network model to remove muscle artifacts from EEG
CN113017630B (zh) 一种视觉感知情绪识别方法
CN108959895B (zh) 一种基于卷积神经网络的脑电信号eeg身份识别方法
CN112949349B (zh) 基于人脸视频实时显示脉象波形的方法和系统
CN111310570B (zh) 一种基于vmd和wpd的脑电信号情感识别方法及系统
CN111329474A (zh) 基于深度学习的脑电身份识别方法、系统及信息更新方法
CN111714118B (zh) 一种基于集成学习的脑认知模型融合方法
CN111222498A (zh) 一种基于光电容积脉搏波的身份识别方法
Abibullaev et al. A brute-force CNN model selection for accurate classification of sensorimotor rhythms in BCIs
CN115312195A (zh) 一种基于情绪数据计算个体心理异常的健康评估方法
CN113180659A (zh) 一种基于三维特征和空洞全卷积网络的脑电情感识别系统
CN114145745B (zh) 基于图的多任务自监督情绪识别方法
CN115659207A (zh) 一种脑电情绪识别方法及系统
CN113974627B (zh) 一种基于脑机生成对抗的情绪识别方法
CN111772629B (zh) 一种脑认知技能移植的方法
Islam et al. Memd-hht based emotion detection from eeg using 3d cnn
Mahmud et al. EMOCATNET: An efficient CNN-based deep neural architecture with effective channel attention mechanism for emotion recognition using EEG signal
Svanera et al. Deep driven fMRI decoding of visual categories
Lu Human emotion recognition based on multi-channel EEG signals using LSTM neural network
Herbst et al. Inception Based Deep Learning: Biometric Identification Using Electroencephalography (EEG)
Wang et al. Residual learning attention cnn for motion intention recognition based on eeg data
Zhou et al. End-to-end deep learning for stress recognition using remote photoplethysmography

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Xiang Chenzhuo

Inventor after: Zhao Chenchen

Inventor after: Wang Feng

Inventor after: Niu Jin

Inventor after: Zhang Meiyan

Inventor after: Song Jianqiao

Inventor after: Jia Hairong

Inventor after: Ma Junhui

Inventor after: Shi Zezhou

Inventor after: Wang Fei

Inventor before: Xiang Husheng

Inventor before: Wang Fei

Inventor before: Zhao Chenchen

Inventor before: Wang Feng

Inventor before: Niu Jin

Inventor before: Zhang Meiyan

Inventor before: Song Jianqiao

Inventor before: Jia Hairong

Inventor before: Ma Junhui

Inventor before: Shi Zezhou

Inventor before: Xiang Chenzhuo

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant