CN111523601A - 一种基于知识引导和生成对抗学习的潜在情绪识别方法 - Google Patents

一种基于知识引导和生成对抗学习的潜在情绪识别方法 Download PDF

Info

Publication number
CN111523601A
CN111523601A CN202010341034.2A CN202010341034A CN111523601A CN 111523601 A CN111523601 A CN 111523601A CN 202010341034 A CN202010341034 A CN 202010341034A CN 111523601 A CN111523601 A CN 111523601A
Authority
CN
China
Prior art keywords
discriminator
generation
layer
generator
signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010341034.2A
Other languages
English (en)
Other versions
CN111523601B (zh
Inventor
王峰
相虎生
牛锦
宋剑桥
贾海蓉
马军辉
师泽州
相宸卓
赵晨晨
王飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daohe Anbang Tianjin Security Technology Co ltd
Original Assignee
Daohe Anbang Tianjin Security Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daohe Anbang Tianjin Security Technology Co ltd filed Critical Daohe Anbang Tianjin Security Technology Co ltd
Priority to CN202010341034.2A priority Critical patent/CN111523601B/zh
Publication of CN111523601A publication Critical patent/CN111523601A/zh
Application granted granted Critical
Publication of CN111523601B publication Critical patent/CN111523601B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/257—Belief theory, e.g. Dempster-Shafer

Abstract

本发明公开了一种基于知识引导和生成对抗学习的潜在情绪识别方法，其主要包括如下步骤：步骤一：通过给被试观看相应情绪的诱导视频从而使被试产生相应的潜在情绪，使用Neuroscan Synamps2脑电放大器采集脑电信号采集EEG脑电信号，利用摄像头采集人脸表情视频数据从而方便之后处理获得BVP脉搏信号；步骤二：搭建生成对抗神经网络模型，构建生成器和判别器；步骤三：利用训练好的判别器进行判别，将两个生成对抗网络判别器输出的判别结果进行D‑S决策融合从而得到最终结果。采用本发明的一种基于知识引导和生成对抗学习的潜在情绪识别方法，具有简单而高效,成本低廉、精度高等优点。

Description

一种基于知识引导和生成对抗学习的潜在情绪识别方法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种潜在情绪识别算法，特别是涉及一种基于知识引导和生成对抗学习的潜在情绪识别方法。
背景技术
情绪识别作为计算机视觉的重要研究方向之一，表情是人类情绪的直观反应。在近十年来表情识别在国家安全、司法审讯和医学诊断等方面有着巨大的应用价值和发展潜力，有助于维护国家稳定与安全。从时间轴来分析，情绪发生的时间可将情绪识别分为潜在情绪识别、微表情识别和表情识别三类。潜在情绪集中于内在情感的变化，通过识别潜在情绪可以更早的解读人类的心理变化，及时了解真实情绪状态，从而判断人类的内在真实情绪。研究精度高、抗噪性能优异、实时性能好的潜在情绪识别技术，可以从根本上减少故障，避免危险事件发生，为国家反恐安全、临床诊断、军事训练和教育教学等可靠安全运行提供科学依据。
基于表情的潜在情绪识别方法国内外研究现状：
在人类日常交流中，有55％的信息是通过面部表情传递的，表情是情绪的直观反应。表情识别方法主要有特征描述法、频域法、光流法、深度学习法。特征描述法通过描述微表情的面部肌肉运动特性、纹理特性等相关特性实现对微表情的表示，但是特征描述法存在标注结果不稳定和缺失细微特征等缺陷，从而识别结果存在一定差异；频域法将微表情序列看作是一个时域信号，通过傅里叶变换、Gabor变换等变换得到对应的频域特征，虽然频域法鲁棒性较好，但计算速度差不适合实时识别；光流法是指在光流场中分析微表情的运动特性，但是光流法计算时间长，不适于实时和大规模的微表情识别；深度学习涌现出许多方法：CNN、递归神经网络(RNN)、长短期记忆神经网络(LSTM)等，深度学习法模型更加精确；但是其主要缺陷是未与理论知识相结合，需要相关理论的进一步支撑。
基于生理特征的潜在情绪识别方法国内外研究现状：
当前基于生理信号的潜在情绪研究主要集中于脑电信号(EEG)和脸部血容量脉冲(BVP)两种。合肥工业大学任福继团队在基于BVP特征的潜在情绪识别中做了很多的研究，并且提出了基于表情和生理信号的双模态情感识别的方法。研究基于EEG信号的国外学者主要有Picard、Kim和Kukolja等人,他们提取多种脑电信号并分别用特征降维和机器学习的方法对情感进行分类识别，并取得不错的识别率；
基于多模态的潜在情绪识别方法国内外研究现状：
多模态潜在情绪识别是指联合图像、文本和语言信息进行情绪的识别。Glodek等联合使用面部表情以及语音信息进行多模态潜在情绪识别研究Morency等将多模态情感分析扩展到文本、图像和语音3种信息上,并且公开了第一个结合文本、图像和语音的多模态情感分析数据集。吴良庆等采用多任务融合学习的方法来研究多模态潜在情绪识别的问题,通过私有与共享网络层的方式去考虑各模态内部信息以及模态之间的交互作用。
但前述各种方法都存在准确率低、速度慢、程序复杂等缺点。
发明内容
为实现上述目的，申请人经过深入研究，发明了一种基于特征知识引导和生成对抗学习的潜在情绪识别方法，其技术方案主要包括以下几个步骤：
步骤一：通过给被试观看相应情绪的诱导视频从而使被试产生相应的潜在情绪，使用Neuroscan Synamps2脑电放大器采集脑电信号采集EEG脑电信号，利用摄像头采集人脸表情视频数据从而方便之后处理获得BVP脉搏信号；
步骤二：搭建生成对抗神经网络模型，构建生成器和判别器，训练生成、判别两个相互对抗的网络；训练判别网络使其可区分真实样本和生成网络生成的样本；训练生成网络使其生成尽可能真实的样本，让判别器错误地将其判别为真样本，达到以假乱真的效果；从而使生成器和判别器都不断优化，达到理想的生成与判别效果；
步骤三：利用训练好的判别器进行判别，将两个生成对抗网络判别器输出的判别结果进行D-S决策融合从而得到最终结果。
进一步地，所述步骤一中利用直接特征提取和EMD分解的特征提取方法对采集到的EEG脑电信号进行小波细节系数，协整关系度，Lempel—Ziv，平均近似熵等特征提取，构建特征混沌特征矩阵；
进一步地，所述步骤一中对采集到视频数据经过人脸检测跟踪，计算RGB三通道像素值，然后进行色度模拟信号来提取BVP脉搏信号，然后经过计算P-P间隔得到时域特征，对时域特征构建混沌特征矩阵；
更进一步地，将前述采集到的两种特征构建混沌矩阵作为特征标签分别传入两个生成对抗网络中，利用生成器通过随机噪声生成的数据与真实数据一同传入判别器中进行生成对抗，从而不断优化生成器与判别器，使生成器生成的数据不断接近真实数据，使判别器的判别能力得到最佳；
进一步地，前述步骤二中，所述生成器采用LSTM网络结构，所述生成器包含七个部分，第一部分到第六部分结构相同，包含一个二维反卷积层，一个BatchNorm2d层和一个RELU层，第七部分包含一个二维反卷积层和一个Tanh层；利用生成器将随机噪声生成类似真实信号，同真实信号一同传入残差+LSTM结构的判别器中进行对抗；所述判别器包含五个部分，第一部分包括一个二维卷积层和一个LeakyReLU层，第二部分到第四部分有相同的结构，包含一个二维卷积层、一个BatchNorm2d层和一个LeakyReLU层，第五部分包含一个二维卷积层和一个Sigmoid层，最终输出判别结果。
本发明要解决的是如何准确、快速地识别潜在表情，提供一种新的基于知识引导和生成对抗学习的潜在情绪识别方法；相比于传统的潜在情绪识别技术和生成网络对抗模型，本发明在传统生成对抗模型中，将从EEG脑电信号和BVP脉搏信号中提取的特征作为特征标签输入生成对抗网络模型的生成器中，并且将两个生成对抗网络的判别结果进行D-S融合从而得到最终结果的方法。本发明通过EEG和BVP的方式来识别潜在情绪，避免了因人为故意掩饰情绪或人脸无明显表情变化而导致识别精度低的问题；本发明通过改进生成对抗网络结构和引入两种生理信号特征标签作为输入，避免了传统生成对抗网络用于潜在情绪识别识别率低的问题。
附图说明：
图1为本发明一种基于知识引导和生成对抗学习的潜在情绪识别方法的流程图；
图2为本发明一种基于知识引导和生成对抗学习的潜在情绪识别方法脑电采集装置电极位置图；
图3为本发明一种基于知识引导和生成对抗学习的潜在情绪识别方法数据采集流程图。
具体实施方案：
以下将结合附图，对本发明方案作进一步说明。
一种基于基于知识引导和生成对抗学习的潜在情绪识别方法，步骤如图1所示：
步骤一、通过给被试观看相应情绪的诱导视频从而使被试产生相应的潜在情绪，使用Neuroscan Synamps2脑电放大器采集脑电信号采集EEG脑电信号，利用摄像头采集人脸表情视频数据从而方便之后处理获得BVP脉搏信号，具体进行如下操作：
如图2脑电极图所示：脑电放大器共有16个电极，供实验者进行佩戴；其中，CMS和DRL为两个参考电极，其余的14个电极用来搜集脑电信号。
实验正式采集过程：
(1)整个实验被试需要观看16个诱发视频，同样地，主试需要录制被试观看这16个诱发视频的若干个对应的表情视频；
(2)被试在观看上个视频与观看下个视频之间需要做上个视频的自我报告问卷；
(3)被试每观看一个视频，在观看视频前和视频播放停止后都需要举手示意，主试根据被试这两个举手示意，分别开始录制表情视频、停止录制表情视频，在录制的同时采集脑电信号；
(4)在拍摄过程中，被试要尽量保持坐姿，主试要紧盯摄像机屏幕，适时地对摄像机的位置微调，保证整个面部轮廓在摄像机拍摄范围以内，这是为了能更精确地进行后续提到的人脸配准。
(5)在脑电信号采集之前，在佩戴采集帽前，尽量将头发拨开，以防止信号采集不佳。
在实验过程中参与者的自我报告非常重要，故在实验过程中，要求每位参与者在观看上个视频与观看下个视频之间需要做上个视频的自我报告问卷，要求被试者回忆并确定出情感比较强烈的时间段，然后从中剪切出满足要求的时间段。每段视频中只包含有一种情感，视频一般是从情绪微弱到情绪丰富再到情绪微弱；数据采集图如图3所示。
采集好后，先利用直接特征提取和EMD分解的特征提取方法对采集到的EEG脑电信号进行小波细节系数，协整关系度，Lempel—Ziv，平均近似熵等特征提取，构建特征混沌特征矩阵：
(1)对经过视频激励，得到的脑电信号，进行去噪处理。本文通过ICA对脑电信号进行去噪，最终使用巴特沃斯滤波器提取1-43Hz有用的脑电信号；
(2)对于经过预处理的脑电信号，计算Lempel—Ziv、小波细节系数和协整关系度这3种特征值；
(3)对于经过预处理的脑电信号，使用EMD对其分解，对分解得到的前4个IMF计算平均近似熵。
其后再对采集到视频数据经过人脸检测跟踪，计算RGB三通道像素值，然后进行色度模拟信号来提取BVP脉搏信号，然后经过计算P-P间隔得到时域特征，对时域特征构建混沌特征矩阵：
对脉搏波提取时域特征，主要包括均值、标准差、一阶差分信号的绝对值均值、二阶差分信号的绝对值均值，以及归一化差分信号的绝对值均值，对得到脉搏波进行五点移动平滑滤波并除去异搏，然后检测上述波形的主波峰，计算相邻主波峰的时间间隔(称为P-P间隔)，剔除时间间隔小于50ms的脉搏波，将正常P-P间隔绘制得到脉搏变异信号(PulaeRate Variability，PRV)，对PRV提取均值、标准差等时域特征，统计P-P间隔大于50ms的个数，并计算P-P间隔大于50ms的百分比，计算P-P间隔的差值均方根。对脉搏波提取频域特征，用典型的1024点快速傅里叶变换将原始信号(0.7Hz-4Hz)划分为6个不重叠的子带，分别计算每个子带的功率谱熵，如公式(1)：
Figure BDA0002468290920000071
p(ωi)由不同子带的功率谱密度归一化得到。将6个子带分中前三个子带作为低频带，后三个子带作为高频带，计算高低频带功率谱熵比。对PRV进行三次样条插值，细化脉搏波峰值点，通过去除信号均值保留信号瞬时特性，进行傅里叶变换分析PRV频域特征，分别计算甚低频功率(VLF，0.003Hz-0.4Hz)，如公式(2)：
Figure BDA0002468290920000072
其中PSD(f)为信号功率谱密度，f1,f2分别为起始频率，同理求得低频功率(LF，0.4Hz-0.15Hz)、高频功率(HF，0.15Hz-0.4Hz)、总功率、低频功率与高频功率比、低频功率与总功率比、高频功率与总功率比。
计算脉搏信号的非线性特征，包括多尺度熵、李雅普诺夫指数、Hurst指数、样本熵等。通过训练BP神经网络，得到不同情感类别的概率值。
步骤二、搭建生成对抗神经网络模型：
生成对抗网络的核心思想是同时训练生成和判别2个相互对抗的网络；训练判别网络使其可区分真实样本和生成网络生成的样本；训练生成网络使其生成尽可能真实的样本，让判别器错误地将其判别为真样本，达到以假乱真的效果。从而使生成器和判别器都不断优化，达到理想的生成与判别效果。
为了使网络达到更好的效果，前述生成器采用LSTM(Long Short-Term Memory)即长短期记忆网络，是一种时间循环神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。所述生成器包含七个部分，第一部分到第六部分结构相同，包含一个二维反卷积层，一个BatchNorm2d层和一个RELU层，第七部分包含一个二维反卷积层和一个Tanh层；利用生成器将随机噪声生成类似真实信号，同真实信号一同传入残差+LSTM结构的判别器中进行对抗；所述判别器包含五个部分，第一部分包括一个二维卷积层和一个LeakyReLU层，第二部分到第四部分有相同的结构，包含一个二维卷积层、一个BatchNorm2d层和一个LeakyReLU层，第五部分包含一个二维卷积层和一个Sigmoid层，最终输出判别结果。不同于一般的生成对抗网络，本专利判别器为了防止防止网络加深效率降低，、在LSTM的基础上增加了残差网络。本课题采用了WGAN(Wasserstrin GAN)彻底解决了GAN训练不稳定的缺点同时确保了生成的样本多样性。整个WGAN的工作原理为：将从EEG信号与BVP信号中提取的特征作为特征标签分别输入两个生成器中，生成器采用LSTM网络结构，利用生成器将随机噪声生成类似真实信号，同真实信号一同传入残差+LSTM结构的判别器中进行对抗，最终两个判别器分别输出判别结果。
将步骤一中采集到的两种特征构建混沌矩阵作为特征标签分别传入步骤二生成的两个对抗网络中：
根据EEG和BVP信号在不同情绪下时变性和复杂度，根据两者之间的交叉聚合方式，构建两种信号的混沌特征矩阵，采集到的两种特征构建混沌矩阵作为特征标签分别传入两个生成对抗网络中，利用生成器通过随机噪声生成的数据与真实数据一同传入判别器中进行生成对抗，从而不断优化生成器与判别器，使生成器生成的数据不断接近真实数据，使判别器的判别能力得到最佳。
步骤三：利用训练好的判别器进行判别，将两个生成对抗网络判别器输出的判别结果进行D-S决策融合从而得到最终结果。
如图1所示，分别从判别器1与判别器2种输出两个判别结果，最后利用D-S决策融合不完全不确定的优势，将两种结果根据决策规则融合得到最终的识别有效提高识别度，相比于单一识别更具有鲁棒性。
本发明与现有技术相比具有以下创新点：
(1)相比于传统生成对抗模型，将从EEG脑电信号和BVP脉搏信号中提取的特征作为特征标签输入生成对抗网络模型的生成器中，提高了系统的识别率。
(2)相比于传统单一信号源的方法，本发明综合利用脑电EEG信号和脉搏BVP信号，实现基于多源信息决策融合的情绪识别，避免了因人为故意掩饰情绪或人脸无明显表情变化而导致识别精度低的问题。
(3)研究EEG和BVP信号在不同情绪下时变性和复杂度，根据两者之间的交叉聚合方式，构建两种信号的混沌特征矩阵，提出基于混沌矩阵的特征提取算法；
(4)在改进WGAN模型基础上，将EEG和BVP特征作为条件指导数据交叉生成，提出基于交叉知识引导和条件生成对抗学习的潜在情绪识别模型。
上述技术方案仅体现了本发明技术方案的优选技术方案，本技术领域的技术人员对其中某些部分所可能做出的一些变动均体现了本发明的原理，属于本发明的保护范围之内。

Claims (5)

1.一种基于知识引导和生成对抗学习的潜在情绪识别方法，其特征在于，主要包括以下几个步骤：
步骤一：通过给被试观看相应情绪的诱导视频从而使被试产生相应的潜在情绪，使用Neuroscan Synamps2脑电放大器采集脑电信号采集EEG脑电信号，利用摄像头采集人脸表情视频数据从而方便之后处理获得BVP脉搏信号；
步骤二：搭建生成对抗神经网络模型，构建生成器和判别器，训练生成、判别两个相互对抗的网络；训练判别网络使其可区分真实样本和生成网络生成的样本；训练生成网络使其生成尽可能真实的样本，让判别器错误地将其判别为真样本，达到以假乱真的效果；从而使生成器和判别器都不断优化，达到理想的生成与判别效果；
步骤三：利用训练好的判别器进行判别，将两个生成对抗网络判别器输出的判别结果进行D-S决策融合从而得到最终结果。
2.根据权利要求1所述的一种基于知识引导和生成对抗学习的潜在情绪识别方法，其特征在于，所述步骤一中，利用直接特征提取和EMD分解的特征提取方法对采集到的EEG脑电信号进行小波细节系数，协整关系度，Lempel—Ziv，平均近似熵等特征提取，构建特征混沌特征矩阵。
3.根据权利要求1所述的一种基于知识引导和生成对抗学习的潜在情绪识别方法，其特征在于，所述步骤一中，对采集到视频数据经过人脸检测跟踪，计算RGB三通道像素值，然后进行色度模拟信号来提取BVP脉搏信号，然后经过计算P-P间隔得到时域特征，对时域特征构建混沌特征矩阵。
4.根据权利要求1、2、3所述的一种基于知识引导和生成对抗学习的潜在情绪识别方法，其特征在于，将前述权2、权3采集到的两种特征构建的混沌矩阵作为特征标签分别传入前述权1步骤二中的两个生成对抗网络中，利用生成器通过随机噪声生成的数据与真实数据一同传入判别器中进行生成对抗，从而不断优化生成器与判别器，使生成器生成的数据不断接近真实数据，使判别器的判别能力得到最佳。
5.根据权利要求1所述的一种基于知识引导和生成对抗学习的潜在情绪识别方法，其特征在于，所述步骤二中，所述生成器采用LSTM网络结构，所述生成器包含七个部分，第一部分到第六部分结构相同，包含一个二维反卷积层，一个BatchNorm2d层和一个RELU层，第七部分包含一个二维反卷积层和一个Tanh层；利用生成器将随机噪声生成类似真实信号，同真实信号一同传入残差+LSTM结构的判别器中进行对抗；所述判别器包含五个部分，第一部分包括一个二维卷积层和一个LeakyReLU层，第二部分到第四部分有相同的结构，包含一个二维卷积层、一个BatchNorm2d层和一个LeakyReLU层，第五部分包含一个二维卷积层和一个Sigmoid层，最终输出判别结果。
CN202010341034.2A 2020-04-26 2020-04-26 一种基于知识引导和生成对抗学习的潜在情绪识别方法 Active CN111523601B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010341034.2A CN111523601B (zh) 2020-04-26 2020-04-26 一种基于知识引导和生成对抗学习的潜在情绪识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010341034.2A CN111523601B (zh) 2020-04-26 2020-04-26 一种基于知识引导和生成对抗学习的潜在情绪识别方法

Publications (2)

Publication Number Publication Date
CN111523601A true CN111523601A (zh) 2020-08-11
CN111523601B CN111523601B (zh) 2023-08-15

Family

ID=71911123

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010341034.2A Active CN111523601B (zh) 2020-04-26 2020-04-26 一种基于知识引导和生成对抗学习的潜在情绪识别方法

Country Status (1)

Country Link
CN (1) CN111523601B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001325A (zh) * 2020-08-25 2020-11-27 广东电网有限责任公司电力科学研究院 一种配电不安全行为的预测方法、装置和服务器
CN112733727A (zh) * 2021-01-12 2021-04-30 燕山大学 基于线性分析的特征决策融合的脑电意识动态分类方法
CN112765875A (zh) * 2021-01-04 2021-05-07 山东师范大学 考虑知识传播对消极情绪影响的人群疏散模拟方法及系统
CN113421546A (zh) * 2021-06-30 2021-09-21 平安科技（深圳）有限公司 基于跨被试多模态的语音合成方法及相关设备
CN113974627A (zh) * 2021-10-26 2022-01-28 杭州电子科技大学 一种基于脑机生成对抗的情绪识别方法
CN113974625A (zh) * 2021-10-18 2022-01-28 杭州电子科技大学 一种基于脑机跨模态迁移的情绪识别方法
CN114366107A (zh) * 2022-02-23 2022-04-19 天津理工大学 一种基于人脸表情与脑电信号的跨媒体数据情感识别方法
CN115905819A (zh) * 2023-03-09 2023-04-04 中国民用航空飞行学院 基于生成对抗网络的rPPG信号生成方法及装置
CN116385330A (zh) * 2023-06-06 2023-07-04 之江实验室 一种利用图知识引导的多模态医学影像生成方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017136938A1 (en) * 2016-02-10 2017-08-17 Tandemlaunch Inc. A quality adaptive multimodal affect recognition system for user-centric multimedia indexing
CN110169770A (zh) * 2019-05-24 2019-08-27 西安电子科技大学 情绪脑电的细粒度可视化系统和方法
CN110210429A (zh) * 2019-06-06 2019-09-06 山东大学 一种基于光流、图像、运动对抗生成网络提高焦虑、抑郁、愤怒表情识别正确率的方法
CN110619301A (zh) * 2019-09-13 2019-12-27 道和安邦（天津）安防科技有限公司 一种基于双模态信号的情绪自动识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017136938A1 (en) * 2016-02-10 2017-08-17 Tandemlaunch Inc. A quality adaptive multimodal affect recognition system for user-centric multimedia indexing
CN110169770A (zh) * 2019-05-24 2019-08-27 西安电子科技大学 情绪脑电的细粒度可视化系统和方法
CN110210429A (zh) * 2019-06-06 2019-09-06 山东大学 一种基于光流、图像、运动对抗生成网络提高焦虑、抑郁、愤怒表情识别正确率的方法
CN110619301A (zh) * 2019-09-13 2019-12-27 道和安邦（天津）安防科技有限公司 一种基于双模态信号的情绪自动识别方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022041786A1 (zh) * 2020-08-25 2022-03-03 广东电网有限责任公司电力科学研究院 一种配电不安全行为的预测方法、装置和服务器
CN112001325A (zh) * 2020-08-25 2020-11-27 广东电网有限责任公司电力科学研究院 一种配电不安全行为的预测方法、装置和服务器
CN112765875B (zh) * 2021-01-04 2022-07-22 山东师范大学 考虑知识传播对消极情绪影响的人群疏散模拟方法及系统
CN112765875A (zh) * 2021-01-04 2021-05-07 山东师范大学 考虑知识传播对消极情绪影响的人群疏散模拟方法及系统
CN112733727B (zh) * 2021-01-12 2022-04-19 燕山大学 基于线性分析的特征决策融合的脑电意识动态分类方法
CN112733727A (zh) * 2021-01-12 2021-04-30 燕山大学 基于线性分析的特征决策融合的脑电意识动态分类方法
CN113421546A (zh) * 2021-06-30 2021-09-21 平安科技（深圳）有限公司 基于跨被试多模态的语音合成方法及相关设备
CN113421546B (zh) * 2021-06-30 2024-03-01 平安科技（深圳）有限公司 基于跨被试多模态的语音合成方法及相关设备
CN113974625A (zh) * 2021-10-18 2022-01-28 杭州电子科技大学 一种基于脑机跨模态迁移的情绪识别方法
CN113974627A (zh) * 2021-10-26 2022-01-28 杭州电子科技大学 一种基于脑机生成对抗的情绪识别方法
CN114366107A (zh) * 2022-02-23 2022-04-19 天津理工大学 一种基于人脸表情与脑电信号的跨媒体数据情感识别方法
CN115905819A (zh) * 2023-03-09 2023-04-04 中国民用航空飞行学院 基于生成对抗网络的rPPG信号生成方法及装置
CN116385330A (zh) * 2023-06-06 2023-07-04 之江实验室 一种利用图知识引导的多模态医学影像生成方法和装置
CN116385330B (zh) * 2023-06-06 2023-09-15 之江实验室 一种利用图知识引导的多模态医学影像生成方法和装置

Also Published As

Publication number Publication date
CN111523601B (zh) 2023-08-15

Similar Documents

Publication Publication Date Title
CN111523601B (zh) 一种基于知识引导和生成对抗学习的潜在情绪识别方法
Page et al. Utilizing deep neural nets for an embedded ECG-based biometric authentication system
CN110353702A (zh) 一种基于浅层卷积神经网络的情感识别方法及系统
CN111407243B (zh) 一种基于深度学习的脉搏信号压力识别方法
CN110781945A (zh) 一种融合多种特征的脑电信号情感识别方法及系统
CN111797747B (zh) 一种基于eeg、bvp和微表情的潜在情绪识别方法
CN112244873A (zh) 一种基于混合神经网络的脑电时空特征学习与情感分类方法
CN114533086B (zh) 一种基于空域特征时频变换的运动想象脑电解码方法
Sriraam et al. Automated epileptic seizures detection using multi-features and multilayer perceptron neural network
Al-Salman et al. Detection of EEG K-complexes using fractal dimension of time frequency images technique coupled with undirected graph features
An et al. Electroencephalogram emotion recognition based on 3D feature fusion and convolutional autoencoder
Wang et al. Classification of EEG signal using convolutional neural networks
Farokhah et al. Simplified 2D CNN architecture with channel selection for emotion recognition using EEG spectrogram
CN111603135B (zh) 一种基于主从支持向量机的低功耗癫痫检测电路
CN113208632A (zh) 一种基于卷积神经网络的注意力检测方法、系统
Gnana Rajesh Analysis of MFCC features for EEG signal classification
CN113180659A (zh) 一种基于三维特征和空洞全卷积网络的脑电情感识别系统
CN116531001A (zh) 一种多听者脑电信号生成及跨听者情感识别的方法及设备
Liu et al. Automated Machine Learning for Epileptic Seizure Detection Based on EEG Signals.
Lu Human emotion recognition based on multi-channel EEG signals using LSTM neural network
Kim et al. A study on user recognition using 2D ECG image based on ensemble networks for intelligent vehicles
Moctezuma et al. EEG-based subject identification with multi-class classification
Gong et al. EEG Emotion Recognition Based on a Novel 4D Feature Fusion and 3D Convolutional Networks
Çelebi et al. An emotion recognition method based on EWT-3D–CNN–BiLSTM-GRU-AT model
Kim et al. Attention-Temporal Convolutional Networks for EEG-based Emotion Recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Wang Feng

Inventor after: Xiang Chenzhuo

Inventor after: Niu Jin

Inventor after: Song Jianqiao

Inventor after: Jia Hairong

Inventor after: Ma Junhui

Inventor after: Shi Zezhou

Inventor after: Zhao Chenchen

Inventor after: Wang Fei

Inventor before: Wang Feng

Inventor before: Wang Fei

Inventor before: Xiang Husheng

Inventor before: Niu Jin

Inventor before: Song Jianqiao

Inventor before: Jia Hairong

Inventor before: Ma Junhui

Inventor before: Shi Zezhou

Inventor before: Xiang Chenzhuo

Inventor before: Zhao Chenchen

GR01 Patent grant
GR01 Patent grant