CN109271964A - 基于深度学习模型与长短记忆网络的情绪识别方法及系统 - Google Patents

基于深度学习模型与长短记忆网络的情绪识别方法及系统 Download PDF

Info

Publication number
CN109271964A
CN109271964A CN201811183232.XA CN201811183232A CN109271964A CN 109271964 A CN109271964 A CN 109271964A CN 201811183232 A CN201811183232 A CN 201811183232A CN 109271964 A CN109271964 A CN 109271964A
Authority
CN
China
Prior art keywords
network model
objective function
data
emotion identification
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811183232.XA
Other languages
English (en)
Other versions
CN109271964B (zh
Inventor
刘仕琪
刘京鑫
孟德宇
孟鸿鹰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201811183232.XA priority Critical patent/CN109271964B/zh
Publication of CN109271964A publication Critical patent/CN109271964A/zh
Application granted granted Critical
Publication of CN109271964B publication Critical patent/CN109271964B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于深度学习生成模型与长短记忆网络的情绪识别方法及系统，该方法包括对脑电信号进行数据预处理及划分数据集，构建网络模型，网络模型包括由变分编码器构成的图片重建模型和由长短记忆网络构成的情绪识别模型；根据网络模型构建目标函数；利用训练集对网络模型进行训练，采用神经网络中Adam优化算子对目标函数进行优化，得到训练后的网络模型；利用交叉检验集对训练后的网络模型进行交叉检验，确定网络模型的超参数，得到最终网络模型；利用最终网络模型对种子数据进行可视化生成和情绪识别。本发明依赖数据人工智能方法深入学习收集到的脑电信号空间和时间上复杂的结构，减少预测中的主观因素，提高预测的准确度。

Description

基于深度学习模型与长短记忆网络的情绪识别方法及系统
技术领域
本发明涉及机器学习技术领域，特别是涉及一种基于深度学习模型与长短记忆网络的情绪识别方法及系统。
背景技术
随着人类正常生活的实际需求的发展，近几十年来人类大脑的研究得到了广泛的改善。人机交互(HCI)和脑机接口(BCI)发展迅速，通过脑电信号的广泛应用前景使得脑电信号可视化生成变得尤为重要。
由人脑产生的情绪是保障人们日常生存和适应环境的重要机制，并且进一步影响人们日常的学习生活和工作、决策。然而，通过外在对于人体的观察会受到人们日常文化的影响，通过一些量表和对于情绪的检测又会受到主观因素的影响，这使得脑电信号来客观的检测情绪变得十分有意义。
现有的情绪识别方法往往采取传统的机器学习或者信号处理方法，这使得不能很好学习具有复杂神经结构产生的脑电信号以识别对应的情绪。同时传统的方法不具备可视化生成信号的能力。
发明内容
本发明的目的是提供一种基于深度学习生成模型与长短记忆网络的情绪识别方法及系统，以实现通过脑电信号识别情绪类别和实现脑电信号的可视化生成，并提高情绪识别的准确性。
为实现上述目的，本发明提供了一种基于深度学习生成模型与长短记忆网络的情绪识别方法，所述方法包括：
对脑电信号进行数据预处理及划分数据集，所述数据集包括训练集、交叉检验集和测试集；
构建网络模型，所述网络模型包括由变分编码器构成的图片重建模型和由长短记忆网络构成的情绪识别模型；
根据所述网络模型构建目标函数，所述目标函数包括生成重建目标函数和情绪概率识别目标函数；
利用所述训练集对所述网络模型进行训练，采用神经网络中Adam优化算子对所述目标函数进行优化，得到训练后的网络模型；
利用所述交叉检验集对所述训练后的网络模型进行交叉检验，确定所述网络模型的超参数，得到最终网络模型；
利用所述最终网络模型对种子数据进行可视化生成和情绪识别，所述种子数据为由待处理脑电信号生成的高维图片。
可选的，所述对脑电信号进行数据预处理及划分数据集，具体包括：
获取脑电信号，所述脑电信号为每个通道以50-225Hz的频率下采样得到的脑电信号；
将所述脑电信号经傅里叶变换得到若干分割频段的脑电谱；
利用等距方位投影和多元样条插值方法对所述脑电谱进行转换，得到高维图片；
根据所述脑电信号、所述脑电谱、所述高维图片和情绪类别建立数据集；
按照设定比率划分所述数据集，得到训练集、交叉检验集和测试集。
可选的，所述网络模型包括单帧高维图片输入端、编码器、低维向量表示、解码器、重建高维图片输出端、时间序列、预测概率输出端和情绪类别输出端；
单帧高维图片经所述单帧高维图片输入端进入所述编码器进行编码得到所述低维向量表示，所述低维向量表示经所述解码器解码后得到重建高维图片，所述重建高维图片经所述重建高维图片输出端输出，实现脑电信号的可视化生成；
所述低维向量表示按照时间序列进行预测得到预测概率，该预测概率经所述预测概率输出端输入至所述情绪类别输出端得到情绪类别并输出，实现情绪识别。
可选的，所述解码器采用卷积神经网络，表达式为pdec(z)＝N(z|0,IH)，解释为解码器对应的隐变量z的分布为零均值、协方差矩阵为IH的正态分布；所述编码器反卷积神经网络，表达式为qenc(z|x)＝N(z|μ(x),diag(σ1(x),…,σH(x)))，解释为解码器诱导的zx条件，以μ(x)为均值，协方差矩阵为diag(σ1(x),…,σH(x))的正态分布；所述时间序列采用长短记忆网络实现。
可选的，所述目标函数为其中，α为所述网络模型倾向于分类的程度参数，β表示所述网络模型倾向于独立同分布的程度参数，pdata(x)表示数据的概率密度函数；
所述生成重建目标函数为其中，损失LossX为生成重建图片的目标函数，logpdec(x|z)表示解码器诱导的条件分布pdec(x|z)的对数，表示在编码器诱导的条件分布qenc(z|x)下关于Z的期望，X表示输入数据的随机变量，x表示输入数据的值，z表示为隐变量。；
所述情绪概率识别目标函数为LossD＝-DKL(qenc(z|x)||pdec(z))，其中，损失LossY为预测概率的目标函数，logppre(y|z)表示预测期ppre(y|z)的对数，表示在编码器诱导的条件分布qenc(z|x)下关于Z的期望，损失LossD为解耦的目标函数，LossD＝-DKL(qenc(z|x)||pdec(z))为编码器诱导的分布条件qenc(z|x)和解码器诱导的分布条件pdec(z)的K-L散度的负数，DKL表示为K-L散度。
可选的，所述利用所述最终网络模型对种子数据进行可视化生成和情绪识别，具体包括：
将所述种子数据输入所述编码器得到低维向量表示；
利用解码器对所述低维向量表示进行解码，在[-3,3]内调整所述低维向量表示的维度数值，得到脑电信号的可视化生成图片；
将所述低维向量表示输入至预测期进行概率预测，得到预测概率；
根据所述预测概率确定情绪类别。
本发明还提供了一种基于深度学习生成模型与长短记忆网络的情绪识别系统，所述系统包括：
预处理单元，用于对脑电信号进行数据预处理及划分数据集，所述数据集包括训练集、交叉检验集和测试集；
网络模型构建单元，用于构建网络模型，所述网络模型包括图片重建模型和情绪识别模型；
目标函数构建单元，用于根据所述网络模型构建目标函数，所述目标函数包括生成重建目标函数和情绪概率识别目标函数；
训练单元，用于利用所述训练集对所述网络模型进行训练，采用神经网络中Adam优化算子对所述目标函数进行优化，得到训练后的网络模型；
检验单元，用于利用所述交叉检验集对所述训练后的网络模型进行交叉检验，确定所述网络模型的超参数，得到最终网络模型；
识别单元，用于利用所述最终网络模型对种子数据进行可视化生成和情绪识别，所述种子数据为由待处理脑电信号生成的高维图片。
可选的，所述网络模型包括单帧高维图片输入端、编码器、低维向量表示、解码器、重建高维图片输出端、时间序列、预测概率输出端和情绪类别输出端；
单帧高维图片经所述单帧高维图片输入端进入所述编码器进行编码得到所述低维向量表示，所述低维向量表示经所述解码器解码后得到重建高维图片，所述重建高维图片经所述重建高维图片输出端输出，实现脑电信号的可视化生成；
所述低维向量表示按照时间序列进行预测得到预测概率，该预测概率经所述预测概率输出端输入至所述情绪类别输出端得到情绪类别并输出，实现情绪识别；
所述解码器采用卷积神经网络，表达式为pdec(z)＝N(z|0,IH)，解释为解码器对应的隐变量z的分布为零均值、协方差矩阵为IH的正态分布；所述编码器反卷积神经网络，表达式为qenc(z|x)＝N(z|μ(x),diag(σ1(x),…,σH(x)))，解释为解码器诱导的zx条件，以μ(x)为均值，协方差矩阵为diag(σ1(x),…,σH(x))的正态分布；所述时间序列采用长短记忆网络实现。
可选的，所述目标函数为其中，α为所述网络模型倾向于分类的程度参数，β表示所述网络模型倾向于独立同分布的程度参数，pdata(x)表示数据的概率密度函数；
所述生成重建目标函数为其中，损失LossX为生成重建图片的目标函数，logpdec(x|z)表示解码器诱导的条件分布pdec(x|z)的对数，表示在编码器诱导的条件分布qenc(z|x)下关于Z的期望，X表示输入数据的随机变量，x表示输入数据的值，z表示为隐变量。；
所述情绪概率识别目标函数为LossD＝-DKL(qenc(z|x)||pdec(z))，其中，损失LossY为预测概率的目标函数，logppre(y|z)表示预测期ppre(y|z)的对数，表示在编码器诱导的条件分布qenc(z|x)下关于Z的期望，损失LossD为解耦的目标函数，LossD＝-DKL(qenc(z|x)||pdec(z))为编码器诱导的分布条件qenc(z|x)和解码器诱导的分布条件pdec(z)的K-L散度的负数，DKL表示为K-L散度。
可选的，所述识别单元包括：
编码子单元，用于将所述种子数据输入所述编码器得到低维向量表示；
可视化生成子单元，用于利用解码器对所述低维向量表示进行解码，在[-3,3]内调整所述低维向量表示的维度数值，得到脑电信号的可视化生成图片；
概率预测子单元，用于将所述低维向量表示输入至预测期进行概率预测，得到预测概率；
情绪类别确定子单元，用于根据所述预测概率确定情绪类别。
根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供的基于深度学习生成模型与长短记忆网络的情绪识别方法和系统采用依赖数据的人工智能研究方法，提出可视化生成脑电信号并识别情绪的方案，在该方案中，首先将脑电信号预处理成了包含多个种类的数据集，构建了由变分编码器构成的图片重建模型和由长短记忆网络构成的情绪识别模型，赋予了网络模型能够可视化生成的能力，并利用时序数据进一步进行情感预测的功能，变分编码器具有处理复杂结构的脑电信号的能力，而长短记忆网络能够捕捉时序数据的相关性特征，进一步依据概率识别和生成重建的机理构建了对应的目标函数；将脑电信号和情绪类别构成的数据集进行划分使得训练网络模型的数据集具有广泛性，得到的网络模型能够拥有更加好的泛化能力。而传统的识别技术不具有可视化生成信号的能力，难以捕获脑电信号空间和时间上复杂的结构，且不能得到脑电信号的独立的表示。但本发明通过依赖数据人工智能方法的运用，端对端地深入学习收集到的脑电信号空间和时间上复杂的结构，减少预测中的主观因素，提高预测的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的网络模型的结构图；
图2为本发明实施例提供的脑电信号可视化生成图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明提供的基于深度学习生成模型与长短记忆网络的脑电信号可视化生成与情绪识别方法包括：
1)数据预处理并划分数据集
对每个通道以50-225Hz的频率对脑电信号进行采样，得到的脑电信号，本实施例中选择的采样频率为128Hz；将所述脑电信号经傅里叶变换得到若干分割频段的脑电谱，例如alpha(8-13Hz)、beta(13-30Hz)和Gamma(30-Hz)频段的能量谱，利用等距方位(Azimathal Equidistant)投影和多元样条插值方法(Clough-Tocher机制)对所述脑电谱进行转换，得到高维图片，例如32*32的RGB三维图片；根据所述脑电信号、所述脑电谱、所述高维图片和情绪类别建立数据集；按照设定比率划分所述数据集，得到训练集、交叉检验集和测试集。
2)构建网络模型，搭建如图1所示网络模型。所述网络模型包括由变分编码器VAE构成的图片重建模型和由长短记忆网络构成的情绪识别模型。其中变分编码器是一个规模化的无监督表示学习模型。它假设输入x是由若干独立同分布的高斯随机变量生成，其中解码器采用卷积神经网络，表达式为pdec(z)＝N(z|0,IH)，解释为解码器对应的隐变量z的分布为零均值、协方差矩阵为IH的正态分布。因为高斯分布可以被连续可逆的映射到很多其他的分布，所以图片重建模型具有很强的表示学习能力。编码器反卷积神经网络，表达式为qenc(z|x)＝N(z|μ(x),diag(σ1(x),…,σH(x)))，解释为解码器诱导的z|x条件，以μ(x)为均值，协方差矩阵为diag(σ1(x),…,σH(x))的正态分布；生成/解码过程由pdec(x|z)建模推断和编码过程qenc(z|x)＝N(z|μ(x),diag(σ1(x),…,σH(x)))被视为是pdec(z|x)的估计后验。假设由enc表示涉及编码器的参数族，由dec表示涉及解码器的参数族。
注意此方法涵盖了不具有的生成功能，也不具有低维向量表示的分布约束pdec(z)＝N(z|0,IH)的直接由深度网络和长短记忆网络的普通架构，涵盖了不具有的生成功能，具有表示的分布约束的由深度网络和长短记忆网络的信息瓶颈架构。
3)构建目标函数，所述目标函数包括生成重建目标函数和情绪概率识别目标函数。
所述生成重建目标函数为
其中，损失LossX为生成重建图片的目标函数，logpdec(x|z)表示解码器诱导的条件分布pdec(x|z)的对数，表示在编码器诱导的条件分布qenc(z|x)下关于Z的期望，X表示输入数据的随机变量，x表示输入数据的值，z表示为隐变量。
所述情绪概率识别目标函数为
LossD＝-DKL(qenc(z|x)||pdec(z))
其中，损失LossY为预测概率的目标函数，logppre(y|z)表示预测期ppre(y|z)的对数，表示在编码器诱导的条件分布qenc(z|x)下关于Z的期望，损失LossD为解耦的目标函数，LossD＝-DKL(qenc(z|x)||pdec(z))为编码器诱导的分布条件qenc(z|x)和解码器诱导的分布条件pdec(z)的K-L散度的负数，DKL表示为K-L散度。
总的目标函数是
其中，α为所述网络模型倾向于分类的程度参数，β表示所述网络模型倾向于独立同分布的程度参数，pdata(x)表示数据的概率密度函数。
4)利用数据集对于网络模型进行训练、检验和测试。
利用训练集的数据对网络模型参数进行训练，采用神经网络中Adam优化算子对所述目标函数进行优化，得到训练后的网络模型。利用所述交叉检验集对所述训练后的网络模型进行交叉检验，确定所述网络模型的超参数，得到最终网络模型。最后再利用测试集进行测试已得到最终实践中的预测精确度。
5)利用最终网络模型，利用种子数据输入给编码器诱导的条件分布qenc(z|x)得到低维向量表示zseed，在[-3，3]范围内，调整变化表示的维度的数值进行脑电信号的可视化生成。对于脑电信号情绪预测，将输入xi输入给编码器诱导的条件分布qenc(z|xi)得到低维向量表示zi，将低维向量表示zi输入给预测器诱导的条件分布qenc(y|zi)预测概率，得到各个类别情绪的概率值从而进行识别。
实施例：
第一：脑电信号数据预处理并划分数据集
选取DEAP作为训练模型的数据集。注意此方法并不受制于特定的脑电信号数据集，同样不受制于脑电信号的通道数量，情绪类别数量和划分方法。DEAP是公共多模态(例如EEG，视频等)数据集。脑电图32个参与者从32个频道记录信号，观看40个视频，每个视频63秒。脑电图数据预先处理后下采样到128Hz和4-45Hz的频带范围。通过相同转型理念，对1秒EEG信号应用快速傅里叶变换(FFT)并将其转换为图像。在这个实验中，α(8-13Hz)，β(13-30Hz)和γ(30-45Hz)作为表示相关活动的频带大脑情绪的出现。下一步利用Azimuthal等距离投影(AEP)和Clough-Tocher方案进行转换，得出三个32x32像素的图片对应于显示为RGB图的每个频带。转换后共有1280个EEG视频，每个视频有63帧。两个情绪维度是唤醒和效价，它们是标记为1-9。对于它们中的每一个，我们应用5作为分离高低水平的边界以产生4类[例如由高唤醒(HA)，高价(HV)，低唤醒(LA)和低价(LV)构成了4个情绪类别高唤醒高价(HAHV)，高唤醒低价(HALV)，低唤醒高价(LAHV)，低唤醒低价(LALV)]。在本实施例中，执行这个4级分类任务。将大约1280个样本按比例[0.8：0.1：0.1]随机分成训练集，验证集和测试集。
第二：构建网络模型
根据下表中的网络参数构建变分编码器的卷积网络编码器和反卷积网络生成器，以及处理视频帧的长短记忆网络。
表一 网络结构和训练方法图表
第三：构建目标函数
其中，α＝63，β＝6。
第四：训练模型
综合交叉检验集上的模型预测结果，采取tensorflow当中默认参数的Adam优化算子，学习率并设以10-4作为学习率，训练样本被随机以100样本划分迷你训练集的组合，每一次按照顺序利用一个迷你训练集结合adam优化算子对网络参数进行更新。当所有迷你训练集被用于训练过以后。一次训练时代完成。总共重复300个训练时代。
第五：利用模型可视化生成脑电信号，并对于待测样本进行情感识别
利用最终网络模型，将种子数据输入给编码器诱导的条件分布qenc(z|x)得到低维向量表示zseed，在[-3，3]范围内，调整变化表示的维度的数值进行脑电信号的可视化生成：在遍历图中，每个块对应于[-3,3]范围内的单个表示维度的遍历，同时固定维度值。不同的种子图像对应生成图像的一行。
对于脑电信号情绪预测，xi输入给编码器诱导的条件分布qenc(z|xi)得到低维向量表示zi，将低维向量表示zi输入给预测器诱导的条件分布qenc(y|zi)预测概率，得到各个类别情绪的概率值从而进行识别。
选取一次DEAP数据集上完成训练的模型，进行测试集上的脑电情感预测以及脑电信号可视化生成。
从表2可以看出在高唤醒高价(HAHV)，高唤醒低价(HALV)，低唤醒高价(LAHV)，低唤醒低价(LALV)四种情感类别判别的情况下，本发明达到了平均的4分类准确率为53％，远远超过传统的SVM方法。
表2各种识别方法与本发明的精度表
图2为可视化生成不变化的脑电信号，而这是传统方法无法实现脑电信号的可视化生成。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于深度学习生成模型与长短记忆网络的情绪识别方法，其特征在于，所述方法包括：
对脑电信号进行数据预处理及划分数据集，所述数据集包括训练集、交叉检验集和测试集；
构建网络模型，所述网络模型包括由变分编码器构成的图片重建模型和由长短记忆网络构成的情绪识别模型；
根据所述网络模型构建目标函数，所述目标函数包括生成重建目标函数和情绪概率识别目标函数；
利用所述训练集对所述网络模型进行训练，采用神经网络中Adam优化算子对所述目标函数进行优化，得到训练后的网络模型；
利用所述交叉检验集对所述训练后的网络模型进行交叉检验，确定所述网络模型的超参数，得到最终网络模型；
利用所述最终网络模型对种子数据进行可视化生成和情绪识别，所述种子数据为由待处理脑电信号生成的高维图片。
2.根据权利要求1所述的情绪识别方法，其特征在于，所述对脑电信号进行数据预处理及划分数据集，具体包括：
获取脑电信号，所述脑电信号为每个通道以50-225Hz的频率下采样得到的脑电信号；
将所述脑电信号经傅里叶变换得到若干分割频段的脑电谱；
利用等距方位投影和多元样条插值方法对所述脑电谱进行转换，得到高维图片；
根据所述脑电信号、所述脑电谱、所述高维图片和情绪类别建立数据集；
按照设定比率划分所述数据集，得到训练集、交叉检验集和测试集。
3.根据权利要求1所述的情绪识别方法，其特征在于，所述网络模型包括单帧高维图片输入端、编码器、低维向量表示、解码器、重建高维图片输出端、时间序列、预测概率输出端和情绪类别输出端；
单帧高维图片经所述单帧高维图片输入端进入所述编码器进行编码得到所述低维向量表示，所述低维向量表示经所述解码器解码后得到重建高维图片，所述重建高维图片经所述重建高维图片输出端输出，实现脑电信号的可视化生成；
所述低维向量表示按照时间序列进行预测得到预测概率，该预测概率经所述预测概率输出端输入至所述情绪类别输出端得到情绪类别并输出，实现情绪识别。
4.根据权利要求2所述的情绪识别方法，其特征在于，所述解码器采用卷积神经网络，表达式为pdec(z)＝N(z|0,IH)，解释为解码器对应的隐变量z的分布为零均值、协方差矩阵为IH的正态分布；所述编码器反卷积神经网络，表达式为qenc(z|x)＝N(z|μ(x),diag(σ1(x),…,σH(x)))，解释为解码器诱导的z|x条件分布，其为以μ(x)为均值，协方差矩阵为diag(σ1(x),…,σH(x))的正态分布；所述时间序列采用长短记忆网络实现。
5.根据权利要求1所述的情绪识别方法，其特征在于，所述目标函数为其中，α为所述网络模型倾向于分类的程度参数，β表示所述网络模型倾向于独立同分布的程度参数，pdata(x)表示数据的概率密度函数；
所述生成重建目标函数为其中，损失LossX为生成重建图片的目标函数，logpdec(x|z)表示解码器诱导的条件分布pdec(x|z)的对数，表示在编码器诱导的条件分布qenc(z|x)下关于Z的期望，X表示输入数据的随机变量，x表示输入数据的值，z表示为隐变量；
所述情绪概率识别目标函数为LossD＝-DKL(qenc(z|x)||pdec(z))，其中，损失LossY为预测概率的目标函数，logppre(y|z)表示预测期ppre(y|z)的对数，表示在编码器诱导的条件分布qenc(z|x)下关于Z的期望，损失LossD为解耦的目标函数，LossD＝-DKL(qenc(z|x)||pdec(z))为编码器诱导的分布条件qenc(z|x)和解码器诱导的分布条件pdec(z)的K-L散度的负数，DKL表示为K-L散度。
6.根据权利要求3所述的情绪识别方法，其特征在于，所述利用所述最终网络模型对种子数据进行可视化生成和情绪识别，具体包括：
将所述种子数据输入所述编码器得到低维向量表示；
利用解码器对所述低维向量表示进行解码，在[-3,3]内调整所述低维向量表示的维度数值，得到脑电信号的可视化生成图片；
将所述低维向量表示输入至预测期进行概率预测，得到预测概率；
根据所述预测概率确定情绪类别。
7.一种基于深度学习生成模型与长短记忆网络的情绪识别系统，其特征在于，所述系统包括：
预处理单元，用于对脑电信号进行数据预处理及划分数据集，所述数据集包括训练集、交叉检验集和测试集；
网络模型构建单元，用于构建网络模型，所述网络模型包括图片重建模型和情绪识别模型；
目标函数构建单元，用于根据所述网络模型构建目标函数，所述目标函数包括生成重建目标函数和情绪概率识别目标函数；
训练单元，用于利用所述训练集对所述网络模型进行训练，采用神经网络中Adam优化算子对所述目标函数进行优化，得到训练后的网络模型；
检验单元，用于利用所述交叉检验集对所述训练后的网络模型进行交叉检验，确定所述网络模型的超参数，得到最终网络模型；
识别单元，用于利用所述最终网络模型对种子数据进行可视化生成和情绪识别，所述种子数据为由待处理脑电信号生成的高维图片。
8.根据权利要求7所述的情绪识别系统，其特征在于，所述网络模型包括单帧高维图片输入端、编码器、低维向量表示、解码器、重建高维图片输出端、时间序列、预测概率输出端和情绪类别输出端；
单帧高维图片经所述单帧高维图片输入端进入所述编码器进行编码得到所述低维向量表示，所述低维向量表示经所述解码器解码后得到重建高维图片，所述重建高维图片经所述重建高维图片输出端输出，实现脑电信号的可视化生成；
所述低维向量表示按照时间序列进行预测得到预测概率，该预测概率经所述预测概率输出端输入至所述情绪类别输出端得到情绪类别并输出，实现情绪识别；
所述解码器采用卷积神经网络，表达式为pdec(z)＝N(z|0,IH)，解释为解码器对应的隐变量z的分布为零均值、协方差矩阵为IH的正态分布；所述编码器反卷积神经网络，表达式为qenc(z|x)＝N(z|μ(x),diag(σ1(x),…,σH(x)))，解释为解码器诱导的z|x条件，以μ(x)为均值，协方差矩阵为diag(σ1(x),…,σH(x))的正态分布；所述时间序列采用长短记忆网络实现。
9.根据权利要求7所述的情绪识别系统，其特征在于，所述目标函数为其中，α为所述网络模型倾向于分类的程度参数，β表示所述网络模型倾向于独立同分布的程度参数，pdata(x)表示数据的概率密度函数；
所述生成重建目标函数为其中，损失LossX为生成重建图片的目标函数，logpdec(x|z)表示解码器诱导的条件分布pdec(x|z)的对数，表示在编码器诱导的条件分布qenc(z|x)下关于Z的期望，X输入数据的随机变量，x表示输入数据的值，z表示为隐变量；
所述情绪概率识别目标函数为LossD＝-DKL(qenc(z|x)||pdec(z))，其中，损失LossY为预测概率的目标函数，logppre(y|z)表示预测期ppre(y|z)的对数，表示在编码器诱导的条件分布qenc(z|x)下关于Z的期望，损失LossD为解耦的目标函数，LossD＝-DKL(qenc(z|x)||pdec(z))为编码器诱导的分布条件qenc(z|x)和解码器诱导的分布条件pdec(z)的K-L散度的负数，DKL表示为K-L散度。
10.根据权利要求7所述的情绪识别系统，其特征在于，所述识别单元包括：
编码子单元，用于将所述种子数据输入所述编码器得到低维向量表示；
可视化生成子单元，用于利用解码器对所述低维向量表示进行解码，在[-3,3]内调整所述低维向量表示的维度数值，得到脑电信号的可视化生成图片；
概率预测子单元，用于将所述低维向量表示输入至预测期进行概率预测，得到预测概率；
情绪类别确定子单元，用于根据所述预测概率确定情绪类别。
CN201811183232.XA 2018-10-11 2018-10-11 基于深度学习模型与长短记忆网络的情绪识别方法及系统 Active CN109271964B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811183232.XA CN109271964B (zh) 2018-10-11 2018-10-11 基于深度学习模型与长短记忆网络的情绪识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811183232.XA CN109271964B (zh) 2018-10-11 2018-10-11 基于深度学习模型与长短记忆网络的情绪识别方法及系统

Publications (2)

Publication Number Publication Date
CN109271964A true CN109271964A (zh) 2019-01-25
CN109271964B CN109271964B (zh) 2021-04-23

Family

ID=65196475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811183232.XA Active CN109271964B (zh) 2018-10-11 2018-10-11 基于深度学习模型与长短记忆网络的情绪识别方法及系统

Country Status (1)

Country Link
CN (1) CN109271964B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059565A (zh) * 2019-03-20 2019-07-26 杭州电子科技大学 一种基于改进卷积神经网络的p300脑电信号识别方法
CN110110584A (zh) * 2019-03-14 2019-08-09 杭州电子科技大学 一种基于cnn的情绪特征分类方法
CN110472746A (zh) * 2019-08-16 2019-11-19 北京智能工场科技有限公司 一种基于人工智能的编码预测方法和系统
CN111297380A (zh) * 2020-02-12 2020-06-19 电子科技大学 一种基于时空卷积核心块的情绪识别方法
CN111539331A (zh) * 2020-04-23 2020-08-14 西安科技大学 一种基于脑机接口的视觉图像重建系统
CN112587155A (zh) * 2020-12-12 2021-04-02 中山大学 一种基于自监督学习的脑电波图异常检测的方法及装置
CN112957014A (zh) * 2021-02-07 2021-06-15 广州大学 一种基于脑电波与神经网络的疼痛检测定位方法及系统
WO2021208719A1 (zh) * 2020-11-19 2021-10-21 平安科技（深圳）有限公司 基于语音的情绪识别方法、装置、设备及存储介质
CN113642716A (zh) * 2021-08-31 2021-11-12 南方电网数字电网研究院有限公司 深度变分自编码器模型训练方法、装置、设备和存储介质
CN113705398A (zh) * 2021-08-17 2021-11-26 陕西师范大学 基于卷积-长短期记忆网络音乐脑电时空特征分类方法
CN114565964A (zh) * 2022-03-03 2022-05-31 网易（杭州）网络有限公司 情绪识别模型的生成方法、识别方法、装置、介质和设备
CN114626430A (zh) * 2021-12-30 2022-06-14 华院计算技术(上海)股份有限公司 情绪识别模型的训练方法、情绪识别方法、设备及介质
CN114662524A (zh) * 2020-12-22 2022-06-24 上海交通大学 基于脑电信号的即插即用式域适应方法
CN114662524B (zh) * 2020-12-22 2024-05-31 上海零唯一思科技有限公司 基于脑电信号的即插即用式域适应方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105894039A (zh) * 2016-04-25 2016-08-24 京东方科技集团股份有限公司 情绪识别模型建立方法、情绪识别方法及装置、智能设备
CN107157477A (zh) * 2017-05-24 2017-09-15 上海交通大学 脑电信号特征识别系统及方法
WO2018141061A1 (en) * 2017-02-01 2018-08-09 Cerebian Inc. System and method for measuring perceptual experiences

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105894039A (zh) * 2016-04-25 2016-08-24 京东方科技集团股份有限公司 情绪识别模型建立方法、情绪识别方法及装置、智能设备
WO2018141061A1 (en) * 2017-02-01 2018-08-09 Cerebian Inc. System and method for measuring perceptual experiences
CN107157477A (zh) * 2017-05-24 2017-09-15 上海交通大学 脑电信号特征识别系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ISAAK KAVASIDIS ET AL: "brain2image:converting brain signals into images", 《SESSION:BRAVE NEW IDEAS》 *
YOUJUN LI ET AL: "Human Emotion Recognition with Electroencephalographic Multidimensional Features by Hybrid Deep Neural Networks", 《APPLIED SCIENCES》 *
李海峰 等: "基于C-LSTM模型的端到端多粒度运动想象脑电信号分析方法", 《信号处理》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110110584A (zh) * 2019-03-14 2019-08-09 杭州电子科技大学 一种基于cnn的情绪特征分类方法
CN110059565A (zh) * 2019-03-20 2019-07-26 杭州电子科技大学 一种基于改进卷积神经网络的p300脑电信号识别方法
CN110472746A (zh) * 2019-08-16 2019-11-19 北京智能工场科技有限公司 一种基于人工智能的编码预测方法和系统
CN110472746B (zh) * 2019-08-16 2021-04-13 北京智能工场科技有限公司 一种基于人工智能的编码预测方法和系统
CN111297380A (zh) * 2020-02-12 2020-06-19 电子科技大学 一种基于时空卷积核心块的情绪识别方法
CN111539331A (zh) * 2020-04-23 2020-08-14 西安科技大学 一种基于脑机接口的视觉图像重建系统
CN111539331B (zh) * 2020-04-23 2023-03-28 西安科技大学 一种基于脑机接口的视觉图像重建系统
WO2021208719A1 (zh) * 2020-11-19 2021-10-21 平安科技（深圳）有限公司 基于语音的情绪识别方法、装置、设备及存储介质
CN112587155A (zh) * 2020-12-12 2021-04-02 中山大学 一种基于自监督学习的脑电波图异常检测的方法及装置
CN114662524A (zh) * 2020-12-22 2022-06-24 上海交通大学 基于脑电信号的即插即用式域适应方法
CN114662524B (zh) * 2020-12-22 2024-05-31 上海零唯一思科技有限公司 基于脑电信号的即插即用式域适应方法
CN112957014A (zh) * 2021-02-07 2021-06-15 广州大学 一种基于脑电波与神经网络的疼痛检测定位方法及系统
CN113705398A (zh) * 2021-08-17 2021-11-26 陕西师范大学 基于卷积-长短期记忆网络音乐脑电时空特征分类方法
CN113642716A (zh) * 2021-08-31 2021-11-12 南方电网数字电网研究院有限公司 深度变分自编码器模型训练方法、装置、设备和存储介质
CN114626430A (zh) * 2021-12-30 2022-06-14 华院计算技术(上海)股份有限公司 情绪识别模型的训练方法、情绪识别方法、设备及介质
CN114565964A (zh) * 2022-03-03 2022-05-31 网易（杭州）网络有限公司 情绪识别模型的生成方法、识别方法、装置、介质和设备

Also Published As

Publication number Publication date
CN109271964B (zh) 2021-04-23

Similar Documents

Publication Publication Date Title
CN109271964A (zh) 基于深度学习模型与长短记忆网络的情绪识别方法及系统
CN110135386B (zh) 一种基于深度学习的人体动作识别方法和系统
CN109833061A (zh) 基于深度学习的优化超声成像系统参数的方法
Miller et al. Higher dimensional analysis shows reduced dynamism of time-varying network connectivity in schizophrenia patients
CN114693064B (zh) 一种建筑群方案生成性能评价方法
CN109410195A (zh) 一种磁共振成像脑分区方法及系统
KR20200018868A (ko) 강화학습을 이용한 적응형 뇌파 분석 방법 및 장치
CN109299163A (zh) 一种基于卷积神经网络的降水数据的插值方法及装置
CN109978074A (zh) 基于深度多任务学习的图像美感和情感联合分类方法及系统
CN113988123A (zh) 一种基于自加权增量rvfl网络的脑电疲劳预测方法
CN115630742A (zh) 一种基于自监督预训练的天气预测方法及系统
CN116629123A (zh) 基于配对的单细胞多组学数据整合方法及系统
CN113888399B (zh) 一种基于风格融合与域选结构的人脸年龄合成方法
CN109784562B (zh) 一种基于大数据时空聚类的智慧电网电力负荷预测方法
CN109669017A (zh) 基于深度学习的炼厂蒸馏塔顶切水离子浓度预测方法
CN110991729A (zh) 一种基于迁移学习和多头注意力机制的负荷预测方法
Wei et al. CloudpredNet: An Ultra-Short-Term Movement Prediction Model for Ground-Based Cloud Image
CN117574059A (zh) 高分辨率脑电信号深度神经网络压缩方法及脑机接口系统
CN108573512A (zh) 一种基于深度编解码对偶模型的复杂视觉图像重构方法
CN112215410A (zh) 基于改进深度学习的电力负荷预测方法
CN116434950B (zh) 基于数据分簇和集成学习的孤独症谱系障碍的诊断系统
CN116596046A (zh) 一种利用脑电信号和视觉特征进行图像重构的方法
CN116384525A (zh) 一种基于含光伏配电网的电能质量扰动预测方法
CN105046193A (zh) 一种基于融合稀疏表示矩阵的人体动作识别方法
CN115251909A (zh) 基于时空卷积神经网络的脑电信号评估听力的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant