CN115211858A - 一种基于深度学习的情绪识别方法、系统及可存储介质 - Google Patents

一种基于深度学习的情绪识别方法、系统及可存储介质 Download PDF

Info

Publication number
CN115211858A
CN115211858A CN202211032721.1A CN202211032721A CN115211858A CN 115211858 A CN115211858 A CN 115211858A CN 202211032721 A CN202211032721 A CN 202211032721A CN 115211858 A CN115211858 A CN 115211858A
Authority
CN
China
Prior art keywords
emotion recognition
deep learning
emotion
physiological signal
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211032721.1A
Other languages
English (en)
Inventor
赵祥红
马龙华
周文华
周东升
查志祥
蔡卫明
练斌
李�浩
曹洁磊
汪一凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Science and Technology ZUST
Original Assignee
Zhejiang University of Science and Technology ZUST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Science and Technology ZUST filed Critical Zhejiang University of Science and Technology ZUST
Priority to CN202211032721.1A priority Critical patent/CN115211858A/zh
Publication of CN115211858A publication Critical patent/CN115211858A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531—Measuring skin impedance
    • A61B5/0533—Measuring galvanic skin response
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Abstract

本发明公开了一种基于深度学习的情绪识别方法、系统及可存储介质，涉及情绪识别技术领域，包括以下步骤：采集被测者的多种生理信号数据并进行预处理，构建各生理信号的样本数据集；对样本数据集中预处理完成的生理信号数据进行特征提取，获取各生理信号的训练数据集；构建深度学习模型，以各生理信号的训练数据集作为深度学习模型的输入进行模型训练，直至模型收敛，获得每种生理信号对应的情绪识别模型；基于各情绪识别模型对待测者进行情绪识别，获取对应于不同生理信号的情绪状态；对所有情绪状态进行融合处理，得到待测者最终的情绪识别结果。本发明可以准确识别待测者的情绪状态，避免人的主观因素对情绪判别的影响，提高识别效率。

Description

一种基于深度学习的情绪识别方法、系统及可存储介质
技术领域
本发明涉及情绪识别技术领域，更具体的说是涉及一种基于深度学习的情绪识别方法、系统及可存储介质。
背景技术
在科学研究上，情绪是综合了人的感觉、思想以及行为的一种状态，这不仅包括了人对外界或自身刺激的心理反应，同时也伴随着生理反应，对情绪进行分析和识别是神经科学、心理学、认知科学、计算机科学和人工智能等领域的一项重要的交叉学科研究课题。
目前的研究主要采用两种方法来识别情绪：一种为基于非生理信号的识别，主要是对面部、语言、语音语调等的识别；另一种为基于生理信号的识别，主要是基于自主神经系统(心率、皮肤电、呼吸)以及中枢神经系统(大脑信号)等的识别。公开号为CN107256392A的发明专利“一种联合图像、语音的全面情绪识别方法”，通过联合的信号处理方法对语音和图像环境进行认知识别，模拟了人类情感的识别过程，但基于非生理信号的识别不能保证情绪识别的可靠性，人们可以通过伪装面部表情和语音语调来掩饰自己的真实情绪且难以被发现。
因此，如何准确识别用户的情绪状态，避免人的主观因素对情绪判别的影响，提高识别效率是本领域技术人员亟需解决的技术问题。
发明内容
有鉴于此，本发明提供了一种基于深度学习的情绪识别方法、系统及可存储介质，可以准确识别用户的情绪状态，避免人的主观因素对情绪判别的影响，提高识别效率。
为了实现上述目的，本发明提供如下技术方案：
一种基于深度学习的情绪识别方法，包括以下步骤：
采集被测者的多种生理信号数据并对所述生理信号数据进行预处理，构建各生理信号的样本数据集；
对所述样本数据集中预处理完成的生理信号数据进行特征提取，获取各生理信号的训练数据集；
构建深度学习模型，以各生理信号的训练数据集作为深度学习模型的输入进行模型训练，直至模型收敛，获得每种生理信号对应的情绪识别模型；
基于各情绪识别模型对待测者进行情绪识别，获取对应于不同生理信号的情绪状态；
对所有情绪状态进行融合处理，得到待测者最终的情绪识别结果。
上述技术方案达到的技术效果为：基于生理信号进行情绪识别，可以避免被测者伪装自己导致的情绪识别错误；且采集多种生理信号并对不同生理信号对应的情绪状态进行融合处理，可以更准确地识别用户情绪状态，提高识别效率及准确率。
可选的，所述生理信号包括心电信号，则对所述心电信号进行预处理及特征提取，具体包括以下步骤：
通过将心电电极片固定在人体皮肤部位来持续获取被测者的心电信号，并将所述心电信号传输至心电传感器，完成心电信号的采集；
采用高通滤波器对所述心电信号进行滤波处理，并利用结合IMF信号分解的降噪算法对滤波处理后的心电信号进行降噪处理，构建心电信号的样本数据集；
从预处理完成的心电信号中提取包含情绪信息的特征向量数据，通过池化操作获得心电特征向量，得到心电信号的训练数据集。
上述技术方案达到的技术效果为：心电信号蕴含丰富的情感特征，可以反映人类在不同情感状态下的变化，本步骤给出了心电信号的采集方式以及适合于心电信号的预处理、特征提取的过程，可以避免其他噪声干扰，有助于获取更准确的状态识别结果。
可选的，所述生理信号包括脑电信号，则对所述脑电信号进行预处理及特征提取，具体包括以下步骤：
利用便携式脑电采集设备采集被测者的原始脑电信号，通过滤波器对所述原始脑电信号进行频域滤波，并对滤波后的脑电信号进行基线校正、重参考、降采样，构建脑电信号的样本数据集；
利用短时傅里叶变换对预处理完成的脑电信号进行时频变化，并对经过数据标准化处理后的脑电信号进行滑动窗口分割，完成脑电信号的特征提取，获得脑电信号的时域特征、频域特征及微分熵特征，构建脑电特征向量，得到脑电信号的训练数据集。
上述技术方案达到的技术效果为：脑电信号具有实时差异性且存在于中枢神经系统，与情绪的关联很紧密，本步骤给出了脑电信号的采集方式以及适合于脑电信号的预处理、特征提取的过程，可以提取到最优特征并快速准确地识别不同被测者的情绪状态，提高分类精度及识别准确率。
可选的，所述生理信号包括皮电信号，则对所述皮电信号进行预处理及特征提取，具体包括以下步骤：
通过智能手环内置的皮电传感器检测被测者的皮电反应数据，获得皮电信号；
对所述皮电信号进行去除基线漂移处理及小波变换处理，构建皮电信号的样本数据集；
从预处理完成的皮电信号的时域和频域中提取代表皮电信号变化的特征，构建皮电特征向量，得到皮电信号的训练数据集。
上述技术方案达到的技术效果为：皮肤电反应是最敏感的情绪反馈之一，与情绪、唤醒度和注意力等密切相关，本步骤给出了皮电信号的采集方式以及适合于皮电信号的预处理及特征提取过程，皮电信号稳定性高、测量简便、灵敏度高，提取最能反映皮电信号变化的特征，可进一步提高情绪状态的识别准确率。
可选的，所述获得每种生理信号对应的情绪识别模型，具体包括以下步骤：
设置所述深度学习模型的初始结构，并对所述深度学习模型的网络参数进行初始化；
基于各生理信号的训练数据集和初始化的网络参数进行前向计算，获取情绪识别结果；
根据前向计算分类的情绪识别结果，计算损失函数，采用反向传播算法对深度学习模型的初始结构和网络参数进行更新优化，不断迭代直至达到预设条件时终止，得到每种生理信号对应的情绪识别模型。
可选的，所述深度学习模型的初始结构包括：卷积层、池化层、全连接层、损失层；
所述卷积层由若干个卷积核组成，获得对应于不同生理信号的特征图；
所述池化层处于两个卷积层之间，用于对数据维度进行压缩，提取主要特征；
所述损失层将前馈神经网络的输出与数据标签进行比较，计算两者的误差，通过反向传播算法进行网络参数的调节和优化。
上述技术方案达到的技术效果为：公开了构建的深度学习模型的初始结构以及模型训练的过程，基于训练数据集不断对模型的结构及网络参数进行更新，可以得到更适合于不同生理信号的情绪识别模型，进而提高模型的识别准确率及识别效率。
可选的，所述得到待测者最终的情绪识别结果，具体包括以下步骤：
通过预设概率算法对每种生理信号对应的情绪状态进行计算，获得概率集合；
对所述概率集合根据加权求和公式进行计算，获得第一概率集合；对所述概率集合根据求积公式进行计算，获得第二概率集合；
判断所述第一概率集合和第二概率集合的大小，得到最大概率集合及所述最大概率集合所对应的情绪识别结果。
上述技术方案达到的技术效果为：公开了对不同生理信号对应的情绪状态结果进行融合的过程，本方法得到的最终情绪识别结果相对于只根据一种生理数据识别情绪而言准确率更高，更能精确地识别被测者的情绪状态。
本发明还公开了一种基于深度学习的情绪识别系统，包括：采集及预处理模块、特征提取模块、模型构建及训练模块、识别模块、融合模块；
所述采集及预处理模块，用于采集被测者的多种生理信号数据并对所述生理信号数据进行预处理，构建各生理信号的样本数据集；
所述特征提取模块，用于对所述样本数据集中预处理完成的生理信号数据进行特征提取，获取各生理信号的训练数据集；
所述模型构建及训练模块，用于构建深度学习模型，并以各生理信号的训练数据集作为深度学习模型的输入进行模型训练，直至模型收敛，获得每种生理信号对应的情绪识别模型；
所述识别模块，基于各情绪识别模型对待测者进行情绪识别，获取对应于不同生理信号的情绪状态；
所述融合模块，用于对所有情绪状态进行融合处理，得到待测者最终的情绪识别结果。
可选的，所述深度学习模型包括：卷积层、池化层、全连接层、损失层；
所述卷积层由若干个卷积核组成，用于获得对应于不同生理信号的特征图；
所述池化层处于两个卷积层之间，用于对数据维度进行压缩，提取主要特征；
所述损失层，用于将前馈神经网络的输出与数据标签进行比较，计算两者的误差，通过反向传播算法进行网络参数的调节和优化。
本发明还公开了一种计算机可存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以上所述基于深度学习的情绪识别方法的步骤。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于深度学习的情绪识别方法、系统及可存储介质，具有以下有益效果：
(1)本发明基于生理信号进行情绪识别，可以避免被测者伪装自己导致的情绪识别错误；且采集多种生理信号并对不同生理信号对应的情绪状态进行融合处理，相对于只根据一种生理数据识别情绪而言识别精度更高，可以更准确地识别用户情绪状态，提高识别效率及准确率；
(2)本发明选择了与情绪状态密切相关的心电信号、脑电信号和皮电信号进行情绪识别，并分别给出了适合于不同生理信号的采集方式、预处理及特征提取过程，可以避免其他噪声干扰，提取到最能反映信号变化的主要特征，有助于快速准确地识别不同被测者的情绪状态，提高分类精度及识别准确率；
(3)本发明公开了构建的深度学习模型的初始结构以及模型训练的过程，基于训练数据集不断对模型的结构及网络参数进行更新，可以得到更适合于不同生理信号的情绪识别模型，进而提高模型的识别准确率及识别效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为基于深度学习的情绪识别方法的流程图；
图2为基于深度学习的情绪识别系统的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
情感计算是一个高度综合化的新兴研究领域，情感识别是情感计算的一个重要部分，研究的内容包括语音信号、身体姿态、面部表情和生理信号等方面。通过语音、面部表情等非生理信号对情绪状态进行判断的方式，存在着被测者主动伪装自己而引起的识别错误问题；除此之外，情感状态的变化与人体的生理变化和行为举止有着密切的关系，而且生理信号具有真实的、可靠和难以伪造的特点，能客观真实的反应出人的情感变化。
为此，本发明实施例公开了一种基于深度学习的情绪识别方法，如图1所示，包括以下步骤：
采集被测者的多种生理信号数据并对生理信号数据进行预处理，构建各生理信号的样本数据集；对样本数据集中预处理完成的生理信号数据进行特征提取，获取各生理信号的训练数据集；构建深度学习模型，以各生理信号的训练数据集作为深度学习模型的输入进行模型训练，直至模型收敛，获得每种生理信号对应的情绪识别模型；基于各情绪识别模型对待测者进行情绪识别，获取对应于不同生理信号的情绪状态；对所有情绪状态进行融合处理，得到待测者最终的情绪识别结果。
本技术方案基于生理信号进行情绪识别，可以避免被测者伪装自己导致的情绪识别错误；且采集多种生理信号并对不同生理信号对应的情绪状态进行融合处理，可以更准确地识别用户情绪状态，提高识别效率及准确率。
接下来，对本实施例的技术方案进行更详细地陈述，进一步了解具体的情绪识别过程。
(1)心电信号是人体心脏搏动时，心肌细胞产生的动作电位综合而成的，蕴含丰富的情感特征，可以明显地反映出人类在不同情感状态下的变化。情感状态具有混合性、复杂性、不确定性，导致产生的心电信号特征也具有混合性、复杂性、不确定性，且心电信号是非常微弱的生物电信号，容易受到基线漂移等噪声干扰，需要采取一定合理的方法将噪声去除而不至于把情感信息剔除掉。
因此，在本实施例中，采集的生理信号包括心电信号，则对所述心电信号进行预处理及特征提取，具体包括以下步骤：
通过将心电电极片固定在人体皮肤部位来持续获取被测者的心电信号，并将所述心电信号传输至心电传感器，完成心电信号的采集；采用高通滤波器对心电信号进行滤波处理，并利用结合IMF信号分解的降噪算法对滤波处理后的心电信号进行降噪处理，构建心电信号的样本数据集；从预处理完成的心电信号中提取包含情绪信息的特征向量数据，通过池化操作获得心电特征向量，得到心电信号的训练数据集。
情感特征的优劣以及情感特征提取是否全面，直接影响到情感识别的性能，常用的心电情感特征有心率异常性方面的时域、频域特征，此外还可以研究心电的混沌特征，提取心电的关联维数作为反映情绪变化的生理指标之一，关联维特征是从单变量时间序列中提取维数信息，表示在多维空间中的疏密程度，反映系统中点与点之间的关联程度。为消除基线漂移等噪声干扰，可以利用连续小波变换在检测信号奇异点的优势进行准确检测，进而保证识别结果的准确性。
(2)与面部表情、行为动作和语音语调等外部生理特征相比，脑电信号具有实时差异性且存在于中枢神经系统，与情绪的关联远远超过其他信号。但是如何提取有效的脑电特征来充分挖掘脑电信号的情感信息，还需要进一步研究。
因此，本实施例采集的生理信号包括脑电信号，则对所述脑电信号进行预处理及特征提取，具体包括以下步骤：
利用便携式脑电采集设备采集被测者的原始脑电信号，通过滤波器对所述原始脑电信号进行频域滤波，并对滤波后的脑电信号进行基线校正、重参考、降采样，构建脑电信号的样本数据集；利用短时傅里叶变换对预处理完成的脑电信号进行时频变化，并对经过数据标准化处理后的脑电信号进行滑动窗口分割，完成脑电信号的特征提取，获得脑电信号的时域特征、频域特征及微分熵特征，构建脑电特征向量，得到脑电信号的训练数据集。
脑电数据一般从大脑头表采集，具有很高的时变敏感性，极易被无关噪声污染，形成各种脑电信号伪迹，干扰大脑神经活动信号的分析，可以以在线方式预先采集针对某些特异性伪迹的先验信息并融入到结合小波分析的独立成分求解中，达到利用伪迹先验信息在线分离和去除相应伪迹成分的目的。时域特征是最直观也最容易得到的，常见的有幅度、跨度、偏歪度、峭度、均值、方差等；频域特征为通过傅里叶变换，将原始脑电信号从时域转换到频域，提取功率谱、功率谱密度、能量等作为脑电特征，有助于获取更简化、更精确的情绪识别模型。
(3)人体的皮电信号受控于人体交感神经系统，人类情感变化引起人体内分泌系统变化进而影响人体的交感神经系统，皮电信号包含大量有效的情感信息。
因此，本实施例采集的生理信号包括皮电信号，则对所述皮电信号进行预处理及特征提取，具体包括以下步骤：
通过智能手环内置的皮电传感器检测被测者的皮电反应数据，获得皮电信号；对所述皮电信号进行去除基线漂移处理及小波变换处理，构建皮电信号的样本数据集；从预处理完成的皮电信号的时域和频域中提取代表皮电信号变化的特征，构建皮电特征向量，得到皮电信号的训练数据集。
其中，一维信号的小波消噪过程可以分为以下三个步骤进行：一维信号的小波分解，选择一个小波函数并确定小波分解的尺度N，然后对信号进行N尺度的小波分解；小波分解高频系数的阈值量化，对第1到第N尺度的每一尺度的高频系数，选择一个合适的阈值进行阈值量化处理；一维小波重构，根据小波分解的第N尺度的低频系数和经过量化处理后的第1尺度到第N尺度的高频系数，进行一维信号的小波重构。
时域原始特征包括皮电信号的均值、中值、最大值、最小值、标准差、最小值比率、最大值比率、最大最小差值，以及将上述信号特征分别进行一阶差分、二阶差分计算后再提取以上统计特征后生成的时域特征；对皮电信号进行离散傅里叶变换，再计算频率均值、中值、标准差、最大值、最小值、最大最小差值，得到频域特征。
进一步地，还可以规范数据的统计分布，做归一化处理以使各特征值的取值范围限定在0到1之间。
(4)关于获得每种生理信号对应的情绪识别模型，具体包括以下步骤：
设置所述深度学习模型的初始结构，并对所述深度学习模型的网络参数进行初始化；
基于各生理信号的训练数据集和初始化的网络参数进行前向计算，获取情绪识别结果；
根据前向计算分类的情绪识别结果，计算损失函数，采用反向传播算法对深度学习模型的初始结构和网络参数进行更新优化，不断迭代直至达到预设条件时终止，得到每种生理信号对应的情绪识别模型。
其中，所述深度学习模型的初始结构包括：卷积层、池化层、全连接层、损失层；所述卷积层由若干个卷积核组成，获得对应于不同生理信号的特征图；所述池化层处于两个卷积层之间，用于对数据维度进行压缩，提取主要特征；所述损失层将前馈神经网络的输出与数据标签进行比较，计算两者的误差，通过反向传播算法进行网络参数的调节和优化。
本实施例公开了构建的深度学习模型的初始结构以及模型训练的过程，基于训练数据集不断对模型的结构及网络参数进行更新，可以得到更适合于不同生理信号的情绪识别模型，进而提高模型的识别准确率及识别效率。
(5)关于得到待测者最终的情绪识别结果，具体包括以下步骤：
通过预设概率算法对每种生理信号对应的情绪状态进行计算，获得概率集合；
对所述概率集合根据加权求和公式进行计算，获得第一概率集合；对所述概率集合根据求积公式进行计算，获得第二概率集合；
判断所述第一概率集合和第二概率集合的大小，得到最大概率集合及所述最大概率集合所对应的情绪识别结果。
本实施例公开了对不同生理信号对应的情绪状态结果进行融合的过程，本方法得到的最终情绪识别结果相对于只根据一种生理数据识别情绪而言准确率更高，更能精确地识别被测者的情绪状态。
本实施例还公开了一种计算机可存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以上所述基于深度学习的情绪识别方法的步骤。
实施例2
本实施例公开了一种基于深度学习的情绪识别系统，如图2所示，包括：采集及预处理模块、特征提取模块、模型构建及训练模块、识别模块、融合模块；
所述采集及预处理模块，用于采集被测者的多种生理信号数据并对所述生理信号数据进行预处理，构建各生理信号的样本数据集；
所述特征提取模块，用于对所述样本数据集中预处理完成的生理信号数据进行特征提取，获取各生理信号的训练数据集；
所述模型构建及训练模块，用于构建深度学习模型，并以各生理信号的训练数据集作为深度学习模型的输入进行模型训练，直至模型收敛，获得每种生理信号对应的情绪识别模型；
所述识别模块，基于各情绪识别模型对待测者进行情绪识别，获取对应于不同生理信号的情绪状态；
所述融合模块，用于对所有情绪状态进行融合处理，得到待测者最终的情绪识别结果。
进一步地，所述深度学习模型包括：卷积层、池化层、全连接层、损失层；
所述卷积层由若干个卷积核组成，用于获得对应于不同生理信号的特征图；
所述池化层处于两个卷积层之间，用于对数据维度进行压缩，提取主要特征；
所述损失层，用于将前馈神经网络的输出与数据标签进行比较，计算两者的误差，通过反向传播算法进行网络参数的调节和优化。
通过语音、面部表情等非生理信号对情绪状态进行判断的方式，存在着被测者主动伪装自己而引起的识别错误问题，而本技术方案基于生理信号进行情绪识别，可以避免被测者伪装自己导致的情绪识别错误；且采集多种生理信号并对不同生理信号对应的情绪状态进行融合处理，相对于只根据一种生理数据识别情绪而言识别精度更高，可以更准确地识别用户情绪状态，提高识别效率及准确率。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于深度学习的情绪识别方法，其特征在于，包括以下步骤：
采集被测者的多种生理信号数据并对所述生理信号数据进行预处理，构建各生理信号的样本数据集；
对所述样本数据集中预处理完成的生理信号数据进行特征提取，获取各生理信号的训练数据集；
构建深度学习模型，以各生理信号的训练数据集作为深度学习模型的输入进行模型训练，直至模型收敛，获得每种生理信号对应的情绪识别模型；
基于各情绪识别模型对待测者进行情绪识别，获取对应于不同生理信号的情绪状态；
对所有情绪状态进行融合处理，得到待测者最终的情绪识别结果。
2.根据权利要求1所述的一种基于深度学习的情绪识别方法，其特征在于，所述生理信号包括心电信号，则对所述心电信号进行预处理及特征提取，具体包括以下步骤：
通过将心电电极片固定在人体皮肤部位来持续获取被测者的心电信号，并将所述心电信号传输至心电传感器，完成心电信号的采集；
采用高通滤波器对所述心电信号进行滤波处理，并利用结合IMF信号分解的降噪算法对滤波处理后的心电信号进行降噪处理，构建心电信号的样本数据集；
从预处理完成的心电信号中提取包含情绪信息的特征向量数据，通过池化操作获得心电特征向量，得到心电信号的训练数据集。
3.根据权利要求1所述的一种基于深度学习的情绪识别方法，其特征在于，所述生理信号包括脑电信号，则对所述脑电信号进行预处理及特征提取，具体包括以下步骤：
利用便携式脑电采集设备采集被测者的原始脑电信号，通过滤波器对所述原始脑电信号进行频域滤波，并对滤波后的脑电信号进行基线校正、重参考、降采样，构建脑电信号的样本数据集；
利用短时傅里叶变换对预处理完成的脑电信号进行时频变化，并对经过数据标准化处理后的脑电信号进行滑动窗口分割，完成脑电信号的特征提取，获得脑电信号的时域特征、频域特征及微分熵特征，构建脑电特征向量，得到脑电信号的训练数据集。
4.根据权利要求1所述的一种基于深度学习的情绪识别方法，其特征在于，所述生理信号包括皮电信号，则对所述皮电信号进行预处理及特征提取，具体包括以下步骤：
通过智能手环内置的皮电传感器检测被测者的皮电反应数据，获得皮电信号；
对所述皮电信号进行去除基线漂移处理及小波变换处理，构建皮电信号的样本数据集；
从预处理完成的皮电信号的时域和频域中提取代表皮电信号变化的特征，构建皮电特征向量，得到皮电信号的训练数据集。
5.根据权利要求1所述的一种基于深度学习的情绪识别方法，其特征在于，所述获得每种生理信号对应的情绪识别模型，具体包括以下步骤：
设置所述深度学习模型的初始结构，并对所述深度学习模型的网络参数进行初始化；
基于各生理信号的训练数据集和初始化的网络参数进行前向计算，获取情绪识别结果；
根据前向计算分类的情绪识别结果，计算损失函数，采用反向传播算法对深度学习模型的初始结构和网络参数进行更新优化，不断迭代直至达到预设条件时终止，得到每种生理信号对应的情绪识别模型。
6.根据权利要求5所述的一种基于深度学习的情绪识别方法，其特征在于，所述深度学习模型的初始结构包括：卷积层、池化层、全连接层、损失层；
所述卷积层由若干个卷积核组成，获得对应于不同生理信号的特征图；
所述池化层处于两个卷积层之间，用于对数据维度进行压缩，提取主要特征；
所述损失层将前馈神经网络的输出与数据标签进行比较，计算两者的误差，通过反向传播算法进行网络参数的调节和优化。
7.根据权利要求1所述的一种基于深度学习的情绪识别方法，其特征在于，所述得到待测者最终的情绪识别结果，具体包括以下步骤：
通过预设概率算法对每种生理信号对应的情绪状态进行计算，获得概率集合；
对所述概率集合根据加权求和公式进行计算，获得第一概率集合；对所述概率集合根据求积公式进行计算，获得第二概率集合；
判断所述第一概率集合和第二概率集合的大小，得到最大概率集合及所述最大概率集合所对应的情绪识别结果。
8.一种基于深度学习的情绪识别系统，其特征在于，包括：采集及预处理模块、特征提取模块、模型构建及训练模块、识别模块、融合模块；
所述采集及预处理模块，用于采集被测者的多种生理信号数据并对所述生理信号数据进行预处理，构建各生理信号的样本数据集；
所述特征提取模块，用于对所述样本数据集中预处理完成的生理信号数据进行特征提取，获取各生理信号的训练数据集；
所述模型构建及训练模块，用于构建深度学习模型，并以各生理信号的训练数据集作为深度学习模型的输入进行模型训练，直至模型收敛，获得每种生理信号对应的情绪识别模型；
所述识别模块，基于各情绪识别模型对待测者进行情绪识别，获取对应于不同生理信号的情绪状态；
所述融合模块，用于对所有情绪状态进行融合处理，得到待测者最终的情绪识别结果。
9.根据权利要求8所述的一种基于深度学习的情绪识别系统，其特征在于，所述深度学习模型包括：卷积层、池化层、全连接层、损失层；
所述卷积层由若干个卷积核组成，用于获得对应于不同生理信号的特征图；
所述池化层处于两个卷积层之间，用于对数据维度进行压缩，提取主要特征；
所述损失层，用于将前馈神经网络的输出与数据标签进行比较，计算两者的误差，通过反向传播算法进行网络参数的调节和优化。
10.一种计算机可存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述基于深度学习的情绪识别方法的步骤。
CN202211032721.1A 2022-08-26 2022-08-26 一种基于深度学习的情绪识别方法、系统及可存储介质 Pending CN115211858A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211032721.1A CN115211858A (zh) 2022-08-26 2022-08-26 一种基于深度学习的情绪识别方法、系统及可存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211032721.1A CN115211858A (zh) 2022-08-26 2022-08-26 一种基于深度学习的情绪识别方法、系统及可存储介质

Publications (1)

Publication Number Publication Date
CN115211858A true CN115211858A (zh) 2022-10-21

Family

ID=83617535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211032721.1A Pending CN115211858A (zh) 2022-08-26 2022-08-26 一种基于深度学习的情绪识别方法、系统及可存储介质

Country Status (1)

Country Link
CN (1) CN115211858A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115715680A (zh) * 2022-12-01 2023-02-28 杭州市第七人民医院 一种基于结缔组织电势的焦虑判别方法及装置
CN115952460A (zh) * 2023-03-14 2023-04-11 首都医科大学附属北京同仁医院 情绪识别方法、装置、计算机设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115715680A (zh) * 2022-12-01 2023-02-28 杭州市第七人民医院 一种基于结缔组织电势的焦虑判别方法及装置
CN115952460A (zh) * 2023-03-14 2023-04-11 首都医科大学附属北京同仁医院 情绪识别方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN109620262B (zh) 一种基于可穿戴手环的情绪识别系统及方法
Xie et al. Classification of the mechanomyogram signal using a wavelet packet transform and singular value decomposition for multifunction prosthesis control
EP2416703B1 (en) Real-time identification of seizures in an eeg signal
CN115211858A (zh) 一种基于深度学习的情绪识别方法、系统及可存储介质
Altan et al. ECG based human identification using second order difference plots
CN105997064A (zh) 一种用于人体下肢表面肌电信号的辨识方法
Knight Signal fraction analysis and artifact removal in EEG
CN110969108A (zh) 一种基于自主运动想象脑电的肢体动作识别方法
CN114533086B (zh) 一种基于空域特征时频变换的运动想象脑电解码方法
CN111310570A (zh) 一种基于vmd和wpd的脑电信号情感识别方法及系统
Zhuang et al. Real-time emotion recognition system with multiple physiological signals
CN114781465A (zh) 一种基于rPPG的非接触式疲劳检测系统及方法
Keshavamurthy et al. Review paper on denoising of ECG signal
Kuila et al. Feature extraction of electrocardiogram signal using machine learning classification
Cordoș et al. ECG signal classification using convolutional neural networks for biometric identification
Dzitac et al. Identification of ERD using fuzzy inference systems for brain-computer interface
Phinyomark et al. Applications of variance fractal dimension: A survey
CN112869743B (zh) 一种考虑认知分心的运动起始意图神经解析方法
CN111736690A (zh) 基于贝叶斯网络结构辨识的运动想象脑机接口
KR102630840B1 (ko) 근전도 신호 기반 인식 정보 추출 시스템과 이를 이용한 근전도 신호 기반 인식 정보 추출 방법
Singh et al. WD-EEMD based Voting Classifier for hand gestures classification using sEMG signals
Kim et al. Development of person-independent emotion recognition system based on multiple physiological signals
Pathoumvanh et al. Implementation of the ECG biometric identification by using Arduino Microprocessor
Emara et al. A Hybrid Compressive Sensing and Classification Approach for Dynamic Storage Management of Vital Biomedical Signals
Tseng et al. Robust multistage ECG identification for astronaut spacesuits with IoT applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination