CN109271964B - 基于深度学习模型与长短记忆网络的情绪识别方法及系统 - Google Patents

基于深度学习模型与长短记忆网络的情绪识别方法及系统 Download PDF

Info

Publication number
CN109271964B
CN109271964B CN201811183232.XA CN201811183232A CN109271964B CN 109271964 B CN109271964 B CN 109271964B CN 201811183232 A CN201811183232 A CN 201811183232A CN 109271964 B CN109271964 B CN 109271964B
Authority
CN
China
Prior art keywords
network model
emotion
data
encoder
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811183232.XA
Other languages
English (en)
Other versions
CN109271964A (zh
Inventor
刘仕琪
刘京鑫
孟德宇
孟鸿鹰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201811183232.XA priority Critical patent/CN109271964B/zh
Publication of CN109271964A publication Critical patent/CN109271964A/zh
Application granted granted Critical
Publication of CN109271964B publication Critical patent/CN109271964B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于深度学习生成模型与长短记忆网络的情绪识别方法及系统，该方法包括对脑电信号进行数据预处理及划分数据集，构建网络模型，网络模型包括由变分编码器构成的图片重建模型和由长短记忆网络构成的情绪识别模型；根据网络模型构建目标函数；利用训练集对网络模型进行训练，采用神经网络中Adam优化算子对目标函数进行优化，得到训练后的网络模型；利用交叉检验集对训练后的网络模型进行交叉检验，确定网络模型的超参数，得到最终网络模型；利用最终网络模型对种子数据进行可视化生成和情绪识别。本发明依赖数据人工智能方法深入学习收集到的脑电信号空间和时间上复杂的结构，减少预测中的主观因素，提高预测的准确度。

Description

基于深度学习模型与长短记忆网络的情绪识别方法及系统
技术领域
本发明涉及机器学习技术领域，特别是涉及一种基于深度学习模型与长短记忆网络的情绪识别方法及系统。
背景技术
随着人类正常生活的实际需求的发展，近几十年来人类大脑的研究得到了广泛的改善。人机交互(HCI)和脑机接口(BCI)发展迅速，通过脑电信号的广泛应用前景使得脑电信号可视化生成变得尤为重要。
由人脑产生的情绪是保障人们日常生存和适应环境的重要机制，并且进一步影响人们日常的学习生活和工作、决策。然而，通过外在对于人体的观察会受到人们日常文化的影响，通过一些量表和对于情绪的检测又会受到主观因素的影响，这使得脑电信号来客观的检测情绪变得十分有意义。
现有的情绪识别方法往往采取传统的机器学习或者信号处理方法，这使得不能很好学习具有复杂神经结构产生的脑电信号以识别对应的情绪。同时传统的方法不具备可视化生成信号的能力。
发明内容
本发明的目的是提供一种基于深度学习生成模型与长短记忆网络的情绪识别方法及系统，以实现通过脑电信号识别情绪类别和实现脑电信号的可视化生成，并提高情绪识别的准确性。
为实现上述目的，本发明提供了一种基于深度学习生成模型与长短记忆网络的情绪识别方法，所述方法包括：
对脑电信号进行数据预处理及划分数据集，所述数据集包括训练集、交叉检验集和测试集；
构建网络模型，所述网络模型包括由变分编码器构成的图片重建模型和由长短记忆网络构成的情绪识别模型；
根据所述网络模型构建目标函数，所述目标函数包括生成重建目标函数和情绪概率识别目标函数；
利用所述训练集对所述网络模型进行训练，采用神经网络中Adam优化算子对所述目标函数进行优化，得到训练后的网络模型；
利用所述交叉检验集对所述训练后的网络模型进行交叉检验，确定所述网络模型的超参数，得到最终网络模型；
利用所述最终网络模型对种子数据进行可视化生成和情绪识别，所述种子数据为由待处理脑电信号生成的高维图片。
可选的，所述对脑电信号进行数据预处理及划分数据集，具体包括：
获取脑电信号，所述脑电信号为每个通道以50-225Hz的频率下采样得到的脑电信号；
将所述脑电信号经傅里叶变换得到若干分割频段的脑电谱；
利用等距方位投影和多元样条插值方法对所述脑电谱进行转换，得到高维图片；
根据所述脑电信号、所述脑电谱、所述高维图片和情绪类别建立数据集；
按照设定比率划分所述数据集，得到训练集、交叉检验集和测试集。
可选的，所述网络模型包括单帧高维图片输入端、编码器、低维向量表示、解码器、重建高维图片输出端、时间序列、预测概率输出端和情绪类别输出端；
单帧高维图片经所述单帧高维图片输入端进入所述编码器进行编码得到所述低维向量表示，所述低维向量表示经所述解码器解码后得到重建高维图片，所述重建高维图片经所述重建高维图片输出端输出，实现脑电信号的可视化生成；
所述低维向量表示按照时间序列进行预测得到预测概率，该预测概率经所述预测概率输出端输入至所述情绪类别输出端得到情绪类别并输出，实现情绪识别。
可选的，所述解码器采用反卷积神经网络，表达式为pdec(z)＝N(z|0,IH)，解释为解码器对应的隐变量z的分布为零均值、协方差矩阵为IH的正态分布；所述编码器采用卷积神经网络，表达式为qenc(z|x)＝N(z|μ(x),diag(σ1(x),…,σH(x)))，解释为编码器诱导的z|x条件，以μ(x)为均值，协方差矩阵为diag(σ1(x),…,σH(x))的正态分布；所述时间序列采用长短记忆网络实现。
可选的，所述目标函数为
Figure GDA0002977623970000031
其中，α为所述网络模型倾向于分类的程度参数，β表示所述网络模型倾向于独立同分布的程度参数，pdata(x)表示数据的概率密度函数；
所述生成重建目标函数为
Figure GDA0002977623970000032
其中，损失LossX为生成重建图片的目标函数，logpdec(x|z)表示解码器诱导的条件分布pdec(x|z)的对数，
Figure GDA0002977623970000033
表示在编码器诱导的条件分布qenc(z|x)下关于Z的期望，X表示输入数据的随机变量，x表示输入数据的值，z表示为隐变量；
所述情绪概率识别目标函数为
Figure GDA0002977623970000034
LossD＝-DKL(qenc(z|x)||pdec(z))，其中，损失LossY为预测概率的目标函数，logppre(y|z)表示预测概率ppre(y|z)的对数，
Figure GDA0002977623970000035
表示在编码器诱导的条件分布qenc(z|x)下关于Z的期望，损失LossD为解耦的目标函数，LossD＝-DKL(qenc(z|x)||pdec(z))为编码器诱导的分布条件qenc(z|x)和解码器诱导的分布条件pdec(z)的K-L散度的负数，DKL表示为K-L散度。
可选的，所述利用所述最终网络模型对种子数据进行可视化生成和情绪识别，具体包括：
将所述种子数据输入所述编码器得到低维向量表示；
利用解码器对所述低维向量表示进行解码，在[-3,3]内调整所述低维向量表示的维度数值，得到脑电信号的可视化生成图片；
将所述低维向量表示输入至预测器进行概率预测，得到预测概率；
根据所述预测概率确定情绪类别。
本发明还提供了一种基于深度学习生成模型与长短记忆网络的情绪识别系统，所述系统包括：
预处理单元，用于对脑电信号进行数据预处理及划分数据集，所述数据集包括训练集、交叉检验集和测试集；
网络模型构建单元，用于构建网络模型，所述网络模型包括图片重建模型和情绪识别模型；
目标函数构建单元，用于根据所述网络模型构建目标函数，所述目标函数包括生成重建目标函数和情绪概率识别目标函数；
训练单元，用于利用所述训练集对所述网络模型进行训练，采用神经网络中Adam优化算子对所述目标函数进行优化，得到训练后的网络模型；
检验单元，用于利用所述交叉检验集对所述训练后的网络模型进行交叉检验，确定所述网络模型的超参数，得到最终网络模型；
识别单元，用于利用所述最终网络模型对种子数据进行可视化生成和情绪识别，所述种子数据为由待处理脑电信号生成的高维图片。
可选的，所述网络模型包括单帧高维图片输入端、编码器、低维向量表示、解码器、重建高维图片输出端、时间序列、预测概率输出端和情绪类别输出端；
单帧高维图片经所述单帧高维图片输入端进入所述编码器进行编码得到所述低维向量表示，所述低维向量表示经所述解码器解码后得到重建高维图片，所述重建高维图片经所述重建高维图片输出端输出，实现脑电信号的可视化生成；
所述低维向量表示按照时间序列进行预测得到预测概率，该预测概率经所述预测概率输出端输入至所述情绪类别输出端得到情绪类别并输出，实现情绪识别；
所述解码器采用反卷积神经网络，表达式为pdec(z)＝N(z|0,IH)，解释为解码器对应的隐变量z的分布为零均值、协方差矩阵为IH的正态分布；所述编码器采用卷积神经网络，表达式为qenc(z|x)＝N(z|μ(x),diag(σ1(x),…,σH(x)))，解释为编码器诱导的zx条件，以μ(x)为均值，协方差矩阵为diag(σ1(x),…,σH(x))的正态分布；所述时间序列采用长短记忆网络实现。
可选的，所述目标函数为
Figure GDA0002977623970000051
其中，α为所述网络模型倾向于分类的程度参数，β表示所述网络模型倾向于独立同分布的程度参数，pdata(x)表示数据的概率密度函数；
所述生成重建目标函数为
Figure GDA0002977623970000052
其中，损失LossX为生成重建图片的目标函数，logpdec(x|z)表示解码器诱导的条件分布pdec(x|z)的对数，
Figure GDA0002977623970000053
表示在编码器诱导的条件分布qenc(z|x)下关于Z的期望，X表示输入数据的随机变量，x表示输入数据的值，z表示为隐变量；
所述情绪概率识别目标函数为
Figure GDA0002977623970000054
LossD＝-DKL(qenc(z|x)||pdec(z))，其中，损失LossY为预测概率的目标函数，logppre(y|z)表示预测概率ppre(y|z)的对数，
Figure GDA0002977623970000055
表示在编码器诱导的条件分布qenc(z|x)下关于Z的期望，损失LossD为解耦的目标函数，LossD＝-DKL(qenc(z|x)||pdec(z))为编码器诱导的分布条件qenc(z|x)和解码器诱导的分布条件pdec(z)的K-L散度的负数，DKL表示为K-L散度。
可选的，所述识别单元包括：
编码子单元，用于将所述种子数据输入所述编码器得到低维向量表示；
可视化生成子单元，用于利用解码器对所述低维向量表示进行解码，在[-3,3]内调整所述低维向量表示的维度数值，得到脑电信号的可视化生成图片；
概率预测子单元，用于将所述低维向量表示输入至预测器进行概率预测，得到预测概率；
情绪类别确定子单元，用于根据所述预测概率确定情绪类别。
根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供的基于深度学习生成模型与长短记忆网络的情绪识别方法和系统采用依赖数据的人工智能研究方法，提出可视化生成脑电信号并识别情绪的方案，在该方案中，首先将脑电信号预处理成了包含多个种类的数据集，构建了由变分编码器构成的图片重建模型和由长短记忆网络构成的情绪识别模型，赋予了网络模型能够可视化生成的能力，并利用时序数据进一步进行情感预测的功能，变分编码器具有处理复杂结构的脑电信号的能力，而长短记忆网络能够捕捉时序数据的相关性特征，进一步依据概率识别和生成重建的机理构建了对应的目标函数；将脑电信号和情绪类别构成的数据集进行划分使得训练网络模型的数据集具有广泛性，得到的网络模型能够拥有更加好的泛化能力。而传统的识别技术不具有可视化生成信号的能力，难以捕获脑电信号空间和时间上复杂的结构，且不能得到脑电信号的独立的表示。但本发明通过依赖数据人工智能方法的运用，端对端地深入学习收集到的脑电信号空间和时间上复杂的结构，减少预测中的主观因素，提高预测的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的网络模型的结构图；
图2为本发明实施例提供的脑电信号可视化生成图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明提供的基于深度学习生成模型与长短记忆网络的脑电信号可视化生成与情绪识别方法包括：
1)数据预处理并划分数据集
对每个通道以50-225Hz的频率对脑电信号进行采样，得到的脑电信号，本实施例中选择的采样频率为128Hz；将所述脑电信号经傅里叶变换得到若干分割频段的脑电谱，例如alpha(8-13Hz)、beta(13-30Hz)和Gamma(30-Hz)频段的能量谱，利用等距方位(AzimathalEquidistant)投影和多元样条插值方法(Clough-Tocher机制)对所述脑电谱进行转换，得到高维图片，例如32*32的RGB三维图片；根据所述脑电信号、所述脑电谱、所述高维图片和情绪类别建立数据集；按照设定比率划分所述数据集，得到训练集、交叉检验集和测试集。
2)构建网络模型，搭建如图1所示网络模型。所述网络模型包括由变分编码器VAE构成的图片重建模型和由长短记忆网络构成的情绪识别模型。其中变分编码器是一个规模化的无监督表示学习模型。它假设输入x是由若干独立同分布的高斯随机变量生成，其中解码器采用反卷积神经网络，表达式为pdec(z)＝N(z|0,IH)，解释为解码器对应的隐变量z的分布为零均值、协方差矩阵为IH的正态分布。因为高斯分布可以被连续可逆的映射到很多其他的分布，所以图片重建模型具有很强的表示学习能力。编码器采用卷积神经网络，表达式为qenc(z|x)＝N(z|μ(x),diag(σ1(x),…,σH(x)))，解释为编码器诱导的zx条件，以μ(x)为均值，协方差矩阵为diag(σ1(x),…,σH(x))的正态分布；生成/解码过程由pdec(x|z)建模推断和编码过程qenc(z|x)＝N(z|μ(x),diag(σ1(x),…,σH(x)))被视为是pdec(z|x)的估计后验。假设由enc表示涉及编码器的参数族，由dec表示涉及解码器的参数族。
注意此方法涵盖了不具有的生成功能，也不具有低维向量表示的分布约束pdec(z)＝N(z|0,IH)的直接由深度网络和长短记忆网络的普通架构，涵盖了不具有的生成功能，具有表示的分布约束的由深度网络和长短记忆网络的信息瓶颈架构。
3)构建目标函数，所述目标函数包括生成重建目标函数和情绪概率识别目标函数。
所述生成重建目标函数为
Figure GDA0002977623970000081
其中，损失LossX为生成重建图片的目标函数，logpdec(x|z)表示解码器诱导的条件分布pdec(x|z)的对数，
Figure GDA0002977623970000082
表示在编码器诱导的条件分布qenc(z|x)下关于Z的期望，X表示输入数据的随机变量，x表示输入数据的值，z表示为隐变量。
所述情绪概率识别目标函数为
Figure GDA0002977623970000083
LossD＝-DKL(qenc(z|x)||pdec(z))
其中，损失LossY为预测概率的目标函数，logppre(y|z)表示预测概率ppre(y|z)的对数，
Figure GDA0002977623970000084
表示在编码器诱导的条件分布qenc(z|x)下关于Z的期望，损失LossD为解耦的目标函数，LossD＝-DKL(qenc(z|x)||pdec(z))为编码器诱导的分布条件qenc(z|x)和解码器诱导的分布条件pdec(z)的K-L散度的负数，DKL表示为K-L散度。
总的目标函数是
Figure GDA0002977623970000091
其中，α为所述网络模型倾向于分类的程度参数，β表示所述网络模型倾向于独立同分布的程度参数，pdata(x)表示数据的概率密度函数。
4)利用数据集对于网络模型进行训练、检验和测试。
利用训练集的数据对网络模型参数进行训练，采用神经网络中Adam优化算子对所述目标函数进行优化，得到训练后的网络模型。利用所述交叉检验集对所述训练后的网络模型进行交叉检验，确定所述网络模型的超参数，得到最终网络模型。最后再利用测试集进行测试已得到最终实践中的预测精确度。
5)利用最终网络模型，利用种子数据输入给编码器诱导的条件分布qenc(z|x)得到低维向量表示zseed，在[-3，3]范围内，调整变化表示的维度的数值进行脑电信号的可视化生成。对于脑电信号情绪预测，将输入xi输入给编码器诱导的条件分布qenc(z|xi)得到低维向量表示zi，将低维向量表示zi输入给预测器诱导的条件分布qenc(y|zi)预测概率，得到各个类别情绪的概率值从而进行识别。
实施例：
第一：脑电信号数据预处理并划分数据集
选取DEAP作为训练模型的数据集。注意此方法并不受制于特定的脑电信号数据集，同样不受制于脑电信号的通道数量，情绪类别数量和划分方法。DEAP是公共多模态(例如EEG，视频等)数据集。脑电图32个参与者从32个频道记录信号，观看40个视频，每个视频63秒。脑电图数据预先处理后下采样到128Hz和4-45Hz的频带范围。通过相同转型理念，对1秒EEG信号应用快速傅里叶变换(FFT)并将其转换为图像。在这个实验中，α(8-13Hz)，β(13-30Hz)和γ(30-45Hz)作为表示相关活动的频带大脑情绪的出现。下一步利用Azimuthal等距离投影(AEP)和Clough-Tocher方案进行转换，得出三个32x32像素的图片对应于显示为RGB图的每个频带。转换后共有1280个EEG视频，每个视频有63帧。两个情绪维度是唤醒和效价，它们是标记为1-9。对于它们中的每一个，我们应用5作为分离高低水平的边界以产生4类[例如由高唤醒(HA)，高价(HV)，低唤醒(LA)和低价(LV)构成了4个情绪类别高唤醒高价(HAHV)，高唤醒低价(HALV)，低唤醒高价(LAHV)，低唤醒低价(LALV)]。在本实施例中，执行这个4级分类任务。将大约1280个样本按比例[0.8：0.1：0.1]随机分成训练集，验证集和测试集。
第二：构建网络模型
根据下表中的网络参数构建变分编码器的卷积网络编码器和反卷积网络生成器，以及处理视频帧的长短记忆网络。
表一网络结构和训练方法图表
Figure GDA0002977623970000101
第三：构建目标函数
Figure GDA0002977623970000102
其中，α＝63，β＝6。
第四：训练模型
综合交叉检验集上的模型预测结果，采取tensorflow当中默认参数的Adam优化算子，学习率并设以10-4作为学习率，训练样本被随机以100样本划分迷你训练集的组合，每一次按照顺序利用一个迷你训练集结合adam优化算子对网络参数进行更新。当所有迷你训练集被用于训练过以后。一次训练时代完成。总共重复300个训练时代。
第五：利用模型可视化生成脑电信号，并对于待测样本进行情感识别
利用最终网络模型，将种子数据输入给编码器诱导的条件分布qenc(z|x)得到低维向量表示zseed，在[-3，3]范围内，调整变化表示的维度的数值进行脑电信号的可视化生成：在遍历图中，每个块对应于[-3,3]范围内的单个表示维度的遍历，同时固定维度值。不同的种子图像对应生成图像的一行。
对于脑电信号情绪预测，xi输入给编码器诱导的条件分布qenc(z|xi)得到低维向量表示zi，将低维向量表示zi输入给预测器诱导的条件分布qenc(y|zi)预测概率，得到各个类别情绪的概率值从而进行识别。
选取一次DEAP数据集上完成训练的模型，进行测试集上的脑电情感预测以及脑电信号可视化生成。
从表2可以看出在高唤醒高价(HAHV)，高唤醒低价(HALV)，低唤醒高价(LAHV)，低唤醒低价(LALV)四种情感类别判别的情况下，本发明达到了平均的4分类准确率为53％，远远超过传统的SVM方法。
表2各种识别方法与本发明的精度表
Figure GDA0002977623970000111
图2为可视化生成不变化的脑电信号，而这是传统方法无法实现脑电信号的可视化生成。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于深度学习生成模型与长短记忆网络的情绪识别方法，其特征在于，所述方法包括：
对脑电信号进行数据预处理及划分数据集，所述数据集包括训练集、交叉检验集和测试集；
构建网络模型，所述网络模型包括由变分编码器构成的图片重建模型和由长短记忆网络构成的情绪识别模型；
根据所述网络模型构建目标函数，所述目标函数包括生成重建目标函数和情绪概率识别目标函数；所述目标函数为
Figure FDA0002977623960000011
其中，α为所述网络模型倾向于分类的程度参数，β表示所述网络模型倾向于独立同分布的程度参数，pdata(x)表示数据的概率密度函数；
所述生成重建目标函数为
Figure FDA0002977623960000012
其中，损失LossX为生成重建图片的目标函数，logpdec(x|z)表示解码器诱导的条件分布pdec(x|z)的对数，
Figure FDA0002977623960000013
表示在编码器诱导的条件分布qenc(z|x)下关于Z的期望，X表示输入数据的随机变量，x表示输入数据的值，z表示为隐变量；
所述情绪概率识别目标函数为
Figure FDA0002977623960000014
LossD＝-DKL(qenc(z|x)||pdec(z))，其中，损失LossY为预测概率的目标函数，logppre(y|z)表示预测概率ppre(y|z)的对数，
Figure FDA0002977623960000015
表示在编码器诱导的条件分布qenc(z|x)下关于Z的期望，损失LossD为解耦的目标函数，LossD＝-DKL(qenc(z|x)||pdec(z))为编码器诱导的分布条件qenc(z|x)和解码器诱导的分布条件pdec(z)的K-L散度的负数，DKL表示为K-L散度；
利用所述训练集对所述网络模型进行训练，采用神经网络中Adam优化算子对所述目标函数进行优化，得到训练后的网络模型；
利用所述交叉检验集对所述训练后的网络模型进行交叉检验，确定所述网络模型的超参数，得到最终网络模型；
利用所述最终网络模型对种子数据进行可视化生成和情绪识别，所述种子数据为由待处理脑电信号生成的高维图片。
2.根据权利要求1所述的情绪识别方法，其特征在于，所述对脑电信号进行数据预处理及划分数据集，具体包括：
获取脑电信号，所述脑电信号为每个通道以50-225Hz的频率下采样得到的脑电信号；
将所述脑电信号经傅里叶变换得到若干分割频段的脑电谱；
利用等距方位投影和多元样条插值方法对所述脑电谱进行转换，得到高维图片；
根据所述脑电信号、所述脑电谱、所述高维图片和情绪类别建立数据集；
按照设定比率划分所述数据集，得到训练集、交叉检验集和测试集。
3.根据权利要求1所述的情绪识别方法，其特征在于，所述网络模型包括单帧高维图片输入端、编码器、低维向量表示、解码器、重建高维图片输出端、时间序列、预测概率输出端和情绪类别输出端；
单帧高维图片经所述单帧高维图片输入端进入所述编码器进行编码得到所述低维向量表示，所述低维向量表示经所述解码器解码后得到重建高维图片，所述重建高维图片经所述重建高维图片输出端输出，实现脑电信号的可视化生成；
所述低维向量表示按照时间序列进行预测得到预测概率，该预测概率经所述预测概率输出端输入至所述情绪类别输出端得到情绪类别并输出，实现情绪识别。
4.根据权利要求3所述的情绪识别方法，其特征在于，所述解码器采用反卷积神经网络，表达式为pdec(z)＝N(z|0,IH)，解释为解码器对应的隐变量z的分布为零均值、协方差矩阵为IH的正态分布；所述编码器采用卷积神经网络，表达式为qenc(z|x)＝N(z|μ(x),diag(σ1(x),…,σH(x)))，解释为编码器诱导的z|x条件分布，其为以μ(x)为均值，协方差矩阵为diag(σ1(x),…,σH(x))的正态分布；所述时间序列采用长短记忆网络实现。
5.根据权利要求3所述的情绪识别方法，其特征在于，所述利用所述最终网络模型对种子数据进行可视化生成和情绪识别，具体包括：
将所述种子数据输入所述编码器得到低维向量表示；
利用解码器对所述低维向量表示进行解码，在[-3,3]内调整所述低维向量表示的维度数值，得到脑电信号的可视化生成图片；
将所述低维向量表示输入至预测器进行概率预测，得到预测概率；
根据所述预测概率确定情绪类别。
6.一种基于深度学习生成模型与长短记忆网络的情绪识别系统，其特征在于，所述系统包括：
预处理单元，用于对脑电信号进行数据预处理及划分数据集，所述数据集包括训练集、交叉检验集和测试集；
网络模型构建单元，用于构建网络模型，所述网络模型包括图片重建模型和情绪识别模型；
目标函数构建单元，用于根据所述网络模型构建目标函数，所述目标函数包括生成重建目标函数和情绪概率识别目标函数；所述目标函数为
Figure FDA0002977623960000031
其中，α为所述网络模型倾向于分类的程度参数，β表示所述网络模型倾向于独立同分布的程度参数，pdata(x)表示数据的概率密度函数；
所述生成重建目标函数为
Figure FDA0002977623960000032
其中，损失LossX为生成重建图片的目标函数，logpdec(x|z)表示解码器诱导的条件分布pdec(x|z)的对数，
Figure FDA0002977623960000033
表示在编码器诱导的条件分布qenc(z|x)下关于Z的期望，X输入数据的随机变量，x表示输入数据的值，z表示为隐变量；
所述情绪概率识别目标函数为
Figure FDA0002977623960000041
LossD＝-DKL(qenc(z|x)||pdec(z))，其中，损失LossY为预测概率的目标函数，logppre(y|z)表示预测概率ppre(y|z)的对数，
Figure FDA0002977623960000042
表示在编码器诱导的条件分布qenc(z|x)下关于Z的期望，损失LossD为解耦的目标函数，LossD＝-DKL(qenc(z|x)||pdec(z))为编码器诱导的分布条件qenc(z|x)和解码器诱导的分布条件pdec(z)的K-L散度的负数，DKL表示为K-L散度；
训练单元，用于利用所述训练集对所述网络模型进行训练，采用神经网络中Adam优化算子对所述目标函数进行优化，得到训练后的网络模型；
检验单元，用于利用所述交叉检验集对所述训练后的网络模型进行交叉检验，确定所述网络模型的超参数，得到最终网络模型；
识别单元，用于利用所述最终网络模型对种子数据进行可视化生成和情绪识别，所述种子数据为由待处理脑电信号生成的高维图片。
7.根据权利要求6所述的情绪识别系统，其特征在于，所述网络模型包括单帧高维图片输入端、编码器、低维向量表示、解码器、重建高维图片输出端、时间序列、预测概率输出端和情绪类别输出端；
单帧高维图片经所述单帧高维图片输入端进入所述编码器进行编码得到所述低维向量表示，所述低维向量表示经所述解码器解码后得到重建高维图片，所述重建高维图片经所述重建高维图片输出端输出，实现脑电信号的可视化生成；
所述低维向量表示按照时间序列进行预测得到预测概率，该预测概率经所述预测概率输出端输入至所述情绪类别输出端得到情绪类别并输出，实现情绪识别；
所述解码器采用反卷积神经网络，表达式为pdec(z)＝N(z|0,IH)，解释为解码器对应的隐变量z的分布为零均值、协方差矩阵为IH的正态分布；所述编码器采用卷积神经网络，表达式为qenc(z|x)＝N(z|μ(x),diag(σ1(x),…,σH(x)))，解释为编码器诱导的z|x条件，以μ(x)为均值，协方差矩阵为diag(σ1(x),…,σH(x))的正态分布；所述时间序列采用长短记忆网络实现。
8.根据权利要求6所述的情绪识别系统，其特征在于，所述识别单元包括：
编码子单元，用于将所述种子数据输入所述编码器得到低维向量表示；
可视化生成子单元，用于利用解码器对所述低维向量表示进行解码，在[-3,3]内调整所述低维向量表示的维度数值，得到脑电信号的可视化生成图片；
概率预测子单元，用于将所述低维向量表示输入至预测器进行概率预测，得到预测概率；
情绪类别确定子单元，用于根据所述预测概率确定情绪类别。
CN201811183232.XA 2018-10-11 2018-10-11 基于深度学习模型与长短记忆网络的情绪识别方法及系统 Active CN109271964B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811183232.XA CN109271964B (zh) 2018-10-11 2018-10-11 基于深度学习模型与长短记忆网络的情绪识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811183232.XA CN109271964B (zh) 2018-10-11 2018-10-11 基于深度学习模型与长短记忆网络的情绪识别方法及系统

Publications (2)

Publication Number Publication Date
CN109271964A CN109271964A (zh) 2019-01-25
CN109271964B true CN109271964B (zh) 2021-04-23

Family

ID=65196475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811183232.XA Active CN109271964B (zh) 2018-10-11 2018-10-11 基于深度学习模型与长短记忆网络的情绪识别方法及系统

Country Status (1)

Country Link
CN (1) CN109271964B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110110584A (zh) * 2019-03-14 2019-08-09 杭州电子科技大学 一种基于cnn的情绪特征分类方法
CN110059565A (zh) * 2019-03-20 2019-07-26 杭州电子科技大学 一种基于改进卷积神经网络的p300脑电信号识别方法
CN110472746B (zh) * 2019-08-16 2021-04-13 北京智能工场科技有限公司 一种基于人工智能的编码预测方法和系统
CN111297380A (zh) * 2020-02-12 2020-06-19 电子科技大学 一种基于时空卷积核心块的情绪识别方法
CN111539331B (zh) * 2020-04-23 2023-03-28 西安科技大学 一种基于脑机接口的视觉图像重建系统
CN112466336B (zh) * 2020-11-19 2023-05-05 平安科技（深圳）有限公司 基于语音的情绪识别方法、装置、设备及存储介质
CN112587155A (zh) * 2020-12-12 2021-04-02 中山大学 一种基于自监督学习的脑电波图异常检测的方法及装置
CN112957014B (zh) * 2021-02-07 2023-06-20 广州大学 一种基于脑电波与神经网络的疼痛检测定位方法及系统
CN113705398B (zh) * 2021-08-17 2022-12-27 陕西师范大学 基于卷积-长短期记忆网络音乐脑电时空特征分类方法
CN113642716A (zh) * 2021-08-31 2021-11-12 南方电网数字电网研究院有限公司 深度变分自编码器模型训练方法、装置、设备和存储介质
CN114626430B (zh) * 2021-12-30 2022-10-18 华院计算技术(上海)股份有限公司 情绪识别模型的训练方法、情绪识别方法、设备及介质
CN114565964A (zh) * 2022-03-03 2022-05-31 网易（杭州）网络有限公司 情绪识别模型的生成方法、识别方法、装置、介质和设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105894039A (zh) * 2016-04-25 2016-08-24 京东方科技集团股份有限公司 情绪识别模型建立方法、情绪识别方法及装置、智能设备
CN107157477A (zh) * 2017-05-24 2017-09-15 上海交通大学 脑电信号特征识别系统及方法
WO2018141061A1 (en) * 2017-02-01 2018-08-09 Cerebian Inc. System and method for measuring perceptual experiences

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105894039A (zh) * 2016-04-25 2016-08-24 京东方科技集团股份有限公司 情绪识别模型建立方法、情绪识别方法及装置、智能设备
WO2018141061A1 (en) * 2017-02-01 2018-08-09 Cerebian Inc. System and method for measuring perceptual experiences
CN107157477A (zh) * 2017-05-24 2017-09-15 上海交通大学 脑电信号特征识别系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
brain2image:converting brain signals into images;Isaak Kavasidis et al;《Session:Brave New Ideas》;20171130;第1809-1817页 *
Human Emotion Recognition with Electroencephalographic Multidimensional Features by Hybrid Deep Neural Networks;Youjun Li et al;《applied sciences》;20171231;第1-20页 *
基于C-LSTM模型的端到端多粒度运动想象脑电信号分析方法;李海峰 等;《信号处理》;20180831;第34卷(第8期);第883-890页 *

Also Published As

Publication number Publication date
CN109271964A (zh) 2019-01-25

Similar Documents

Publication Publication Date Title
CN109271964B (zh) 基于深度学习模型与长短记忆网络的情绪识别方法及系统
CN108648197B (zh) 一种基于图像背景掩膜的目标候选区域提取方法
CN111370020B (zh) 一种将语音转换成唇形的方法、系统、装置和存储介质
CN110188836B (zh) 一种基于变分自编码器的脑功能网络分类方法
CN109846469B (zh) 一种基于卷积神经网络的非接触式心率测量方法
CN110598793B (zh) 一种大脑功能网络特征分类方法
CN111539331B (zh) 一种基于脑机接口的视觉图像重建系统
CN113822969A (zh) 训练神经辐射场模型和人脸生成方法、装置及服务器
CN110826527A (zh) 一种基于攻击性行为预测的脑电负性情绪识别方法及系统
CN111488932B (zh) 一种基于帧率感知的自监督视频时-空表征学习方法
CN114041795B (zh) 基于多模态生理信息与深度学习的情绪识别方法及系统
CN112818764A (zh) 一种基于特征重建模型的低分辨率图像人脸表情识别方法
CN115381466A (zh) 基于AE和Transformer的运动想象脑电信号分类方法
CN108538283B (zh) 一种由唇部图像特征到语音编码参数的转换方法
CN113974627B (zh) 一种基于脑机生成对抗的情绪识别方法
CN112233199A (zh) 基于离散表征和条件自回归的fMRI视觉重构方法
Bollens et al. Learning subject-invariant representations from speech-evoked EEG using variational autoencoders
WO2022093475A1 (en) Human characteristic normalization with an autoencoder
CN111767842A (zh) 基于迁移学习和自编码器数据增强的微表情种类判别方法
CN116596046A (zh) 一种利用脑电信号和视觉特征进行图像重构的方法
CN116421200A (zh) 一种基于并行训练的多任务混合模型的脑电情感分析方法
CN116343324A (zh) 一种融合MEMD与Hilbert空间填充曲线的sEMG处理方法及系统
CN113435488B (zh) 一种图像采样概率提升方法及其应用
CN112818950B (zh) 一种基于生成对抗网络和时间卷积网络的唇语识别方法
CN115346259A (zh) 一种结合上下文信息的多粒度学业情绪识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant