CN113069115B - 一种情绪识别方法、电子设备及存储介质 - Google Patents
一种情绪识别方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113069115B CN113069115B CN202110256917.8A CN202110256917A CN113069115B CN 113069115 B CN113069115 B CN 113069115B CN 202110256917 A CN202110256917 A CN 202110256917A CN 113069115 B CN113069115 B CN 113069115B
- Authority
- CN
- China
- Prior art keywords
- emotion
- target
- peripheral physiological
- distribution
- peripheral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 34
- 230000008451 emotion Effects 0.000 claims abstract description 165
- 238000009826 distribution Methods 0.000 claims abstract description 137
- 230000002093 peripheral effect Effects 0.000 claims abstract description 136
- 238000004364 calculation method Methods 0.000 claims abstract description 42
- 230000002996 emotional effect Effects 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims description 83
- 230000003595 spectral effect Effects 0.000 claims description 24
- 238000010606 normalization Methods 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 12
- 230000036651 mood Effects 0.000 claims description 12
- 238000003062 neural network model Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 230000005611 electricity Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000014759 maintenance of location Effects 0.000 claims description 4
- 238000007634 remodeling Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 231100000430 skin reaction Toxicity 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 206010063659 Aversion Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
- A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Cardiology (AREA)
- Artificial Intelligence (AREA)
- Physiology (AREA)
- Psychology (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Developmental Disabilities (AREA)
- Child & Adolescent Psychology (AREA)
- Social Psychology (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Pulmonology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明实施例公开了一种情绪识别方法、电子设备及存储介质，所述方法包括：获取目标人物观看目标视频时的外周生理信号，对外周生理信号进行特征计算，得到目标人物观看目标视频时的外周生理信号特征；将外周生理信号特征输入至情绪分布识别模型中，得到目标人物观看目标视频时的情绪分布识别结果。本发明实施例通过计算目标人物的外周生理信号特征，并将外周生理信号特征输入至情绪分布识别模型，可以较为准确地刻画出目标人物当前的情绪状态。
Description
技术领域
本发明涉及计算机技术领域，具体涉及一种情绪识别方法、电子设备及存储介质。
背景技术
情绪识别是基于情感计算的情绪识别，是情感计算的一个重要组成部分，情绪识别研究的内容包括面部表情、语音、心率、行为、文本和生理信号识别等方面，通过以上内容来判断用户的情绪状态。
从生理信号判断目标人物的情绪是情感计算中的一个重要问题，在人机交互、情感交互等领域有着广泛的应用。相较于传统的脑电信号，外周生理信号更易、更快获得，能够准确表达目标人物的情绪状态。因此，基于外周生理信号的情绪识别方法能实现新的交互和娱乐应用，从而获得更广泛的应用价值。然而，目前还没有基于外周生理信号解决情绪识别问题的方法，同时，现有的情绪识别技术仅仅使用单一情绪，无法准确刻画出目标人物的情绪状态。
发明内容
由于现有方法存在上述问题，本发明实施例提供一种情绪识别方法、电子设备及存储介质。
具体的，本发明实施例提供了以下技术方案：
第一方面，本发明实施例提供了一种情绪识别方法，包括：
获取目标人物观看目标视频时的外周生理信号，对所述外周生理信号进行特征计算，得到目标人物观看目标视频时的外周生理信号特征；
将所述外周生理信号特征输入至情绪分布识别模型中，得到目标人物观看目标视频时的情绪分布识别结果；
其中，所述情绪分布识别模型是基于第一训练样本集和第二训练样本集，对深度神经网络模型进行训练后得到的，其中，所述第一训练样本集包括预设数量的目标人物在观看目标视频时对应的外周生理信号特征；所述第二训练样本集包括所述预设数量的目标人物在观看目标视频时的真实情绪分布标签。
可选的，所述外周生理信号包括皮肤电、心电、皮肤温和心率四种生理通道信号中的至少两种；
对所述外周生理信号进行特征计算，得到目标人物观看目标视频时的外周生理信号特征，包括：
对所述皮肤电、心电、皮肤温和心率四种生理通道信号中的至少两种分别进行特征计算，计算所述至少两种生理通道信号分别在时域指定维度上的特征集合以及在频域指定维度上的特征集合；
将所述至少两种生理通道信号分别在时域指定维度上的特征集合以及在频域指定维度上的特征集合，作为目标人物观看目标视频时的外周生理信号特征。
可选的，皮肤电生理通道信号在时域指定维度上的特征集合包括：最小值，最大值，标准差，方差，平均绝对值，均方根，偏度，峰度，中值，均值，导数平均值，平均下降率，导数中负值占比，局部极小值数量，平均上升时间，三阶矩，四阶矩，五阶矩，六阶矩，一节差分，二阶差分；
皮肤电生理通道信号在频域指定维度上的特征集合包括：0～2.4Hz频带中的频谱功率；
皮肤温生理通道信号在时域指定维度上的特征集合包括：均值，导数平均值；
皮肤温生理通道信号在频域指定维度上的特征集合包括：0～0.1Hz频带中的频谱功率，0.1～0.2Hz频带中的频谱功率；
心电生理通道信号在时域指定维度上的特征集合包括：均值，中值，标准差，最小值，最大值，功率；
心电生理通道信号在频域指定维度上的特征集合包括：0.1～0.2Hz频带中的频谱功率，0.2～0.3Hz频带中的频谱功率，0.3～0.4Hz频带中的频谱功率；
心率生理通道信号在时域指定维度上的特征集合包括：均值，标准差。
可选的，所述情绪分布识别结果包括多个单个情绪的组合；或，多个单个情绪的组合以及各单个情绪所占的比重。
可选的，还包括：所述情绪分布识别模型的训练步骤；
所述情绪分布识别模型的训练步骤，包括：
采集预设数量的目标人物在观看目标视频时的外周生理信号，并根据所述外周生理信号计算外周生理信号特征，根据计算得到的外周生理信号特征生成第一训练样本集；
通过问卷的方式获取所述预设数量的目标人物在观看目标视频时的真实情绪分布标签，根据所述真实情绪分布标签生成第二训练样本集；
基于所述第一训练样本集和所述第二训练样本集，对深度神经网络模型进行训练后得到所述情绪分布识别模型。
可选的，所述情绪分布识别模型在训练时对应的损失函数为：
LEmotionNet＝λ1Lfeature+λ2Ldistribution；
其中，LEmotionNet表示模型损失函数，Lfeature表示情绪重构损失，用于控制情绪重构过程中的信息保持，Ldistribution表示情绪分布的损失，用于控制情绪分布识别中的准确性，λ1表示情绪重构损失的权重，λ2表示情绪分布损失的权重。
可选的，情绪重构损失的计算公式为：
情绪分布损失的计算公式为：
其中，
表示目标人物观看目标视频提取的外周生理信号特征，
表示网络中自编码器对
重构后的特征，
表示目标人物观看目标视频的外周生理信号特征输入至情绪分布识别模型后输出的情绪分布识别结果，
表示目标人物的真实情绪分布标签。
可选的，所述情绪分布识别模型为由自编码器、卷积神经网络和全连接层构建得到的深度神经网络模型；
自编码器，用于对第一训练样本集中的关键特征进行选择，以保证解码阶段可以近似重构出输入的信息；
卷积神经网络，用于对自编码器重构后的特征进行学习，确定特征之间的关系，最终通过全连接层输出对目标人物的情绪分布的识别结果。
第二方面，本发明实施例还提供了一种情绪识别装置，包括：
特征提取模块，用于获取目标人物观看目标视频时的外周生理信号，对所述外周生理信号进行特征计算，得到目标人物观看目标视频时的外周生理信号特征；
情绪分布识别模块，用于将所述外周生理信号特征输入至情绪分布识别模型中，得到目标人物观看目标视频时的情绪分布识别结果；
其中，所述情绪分布识别模型是基于第一训练样本集和第二训练样本集，对深度神经网络模型进行训练后得到的，其中，所述第一训练样本集包括预设数量的目标人物在观看目标视频时对应的外周生理信号特征；所述第二训练样本集包括所述预设数量的目标人物在观看目标视频时的真实情绪分布标签。
第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的情绪识别方法。
第四方面，本发明实施例还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的情绪识别方法。
由上面技术方案可知，本发明实施例提供的一种情绪识别方法，通过对目标人物观看目标视频时的外周生理信号进行特征计算，得到目标人物观看目标视频时的外周生理信号特征，并将外周生理信号特征输入至情绪分布识别模型中，从而得到目标人物观看目标视频时的情绪分布识别结果。由此可见，本发明实施例基于外周生理信号可以快速准确地获得目标人物当前的情绪状态，具有广泛的应用价值。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。
图1是本发明实施例提供的一种情绪识别方法的流程图；
图2是本发明实施例提供的对外周生理信号进行特征计算的示意图；
图3是本发明实施例提供的对外周生理信号进行特征计算中滤波算法的效果示意图；
图4是本发明实施例提供的情绪分布识别模型识别外周生理信号特征的示意图；
图5是本发明实施例提供的一种情绪识别装置的结构示意图；
图6是本发明实施例的电子设备的结构示意图。
具体实施方式
下面结合附图，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
图1示出了本发明一实施例提供的一种情绪识别方法的流程图，图2是本发明实施例提供的对外周生理信号进行特征计算的示意图，图3是本发明实施例提供的对外周生理信号进行特征计算中滤波算法的效果示意图，图4是本发明实施例提供的情绪分布识别模型识别外周生理信号特征的示意图。下面结合图1-图4对本发明实施例提供的情绪识别方法进行详细解释和说明。如图1所示，本发明实施例提供的一种情绪识别方法，具体包括如下内容：
步骤101：获取目标人物观看目标视频时的外周生理信号，对所述外周生理信号进行特征计算，得到目标人物观看目标视频时的外周生理信号特征；
在本步骤中，需要说明的是，首先获取预设外周生理信号，所述预设外周生理信号为目标人物观看目标视频时的真实生理信号的记录。其次，在获取外周生理信号后需要进行预处理操作，以得到无噪音、无基线漂移的外周生理信号，此过程不丢失外周生理信号原本的重要信息，进而对预处理后的外周生理信号进行特征计算，并进行归一化处理，得到多个生理通道信号分别在时域指定维度上的特征集合以及在频域指定维度上的特征集合。其中，多个生理通道信号可以包括皮肤电(galvanic skin response)、心电(electrocardiogram)、皮肤温(skin temperature)和心率(heart rate)四种生理通道信号中的至少两种。
步骤102：将所述外周生理信号特征输入至情绪分布识别模型中，得到目标人物观看目标视频时的情绪分布识别结果；
其中，所述情绪分布识别模型是基于第一训练样本集和第二训练样本集，对深度神经网络模型进行训练后得到的，其中，所述第一训练样本集包括预设数量的目标人物在观看目标视频时对应的外周生理信号特征；所述第二训练样本集包括所述预设数量的目标人物在观看目标视频时的真实情绪分布标签。
在本步骤中，在得到外周生理信号特征后，将该外周生理信号特征输入至训练好的情绪分布识别模型(EmotionNet模型)中，从而得到与目标人物、目标片段紧密相关的情绪分布识别结果。其中，情绪分布识别模型是由真实的、多个目标人物在观看目标视频时对应的外周生理信号特征(第一训练样本集)和真实情绪分布标签(第二训练样本集)训练得到的。
在本步骤中，优选的，第一训练样本集可以通过以下方式获取：
首先，使用BIOPAC生理仪记录目标人物观看目标片段的生理信号，包括皮肤电、心电、皮肤温、心率四个通道，采样频率为1000Hz。目标片段诱发特定的情绪，分别为喜悦(joy)、惊奇(amusement)、温柔(tenderness)、愤怒(anger)、厌恶(disgust)、害怕(fear)和悲伤(sadness)，共包括三种积极情绪、四种负性情绪，共计7种情绪。在获取到原始外周生理信号后，首先使用高通滤波对原始信号进行基线校准、去除噪音、去除伪迹的操作；后对四个通道的时间序列以10s为单位划分时间窗，以计算相应通道的特征，相邻时间窗之间重叠时间为9s；最后对特征序列按照特征维度进行归一化操作，统一特征的量纲。通过上述方式获取预设数量的目标人物在观看目标视频时对应的外周生理信号特征，从而得到第一训练样本集。
第二训练样本集可以通过以下方式获取：
通过问卷的方式记录目标人物p观看目标视频m后的情绪评分
对应于目标人物对喜悦、惊奇、温柔、愤怒、厌恶、害怕、悲伤共七种情绪的评分记录，i＝7，打分范围为1～10，分数越高表示该种情绪越强烈。通过归一化方式得到最终的情绪评分为
而
构成了目标人物观看目标视频的情绪分布标签，同一个视频其间的每个时刻T对应的分布标签均一致。多个目标人物的情绪分布标签即构成了第二训练样本集。
本发明实施例基于易得的外周生理信号进行分析处理，得到外周生理信号特征，并引入训练好的情绪分布识别模型，得到目标人物的情绪状态，相较于传统基于脑电信号分析情绪状态的方法，能够更加准确地表达目标人物的情绪状态，实现新的交互和娱乐应用，从而获得更广泛的应用价值。
由上面技术方案可知，本发明实施例提供的一种情绪识别方法，通过对目标人物观看目标视频时的外周生理信号进行特征计算，得到目标人物观看目标视频时的外周生理信号特征，并将外周生理信号特征输入至情绪分布识别模型中，从而得到目标人物观看目标视频时的情绪分布识别结果。由此可见，本发明实施例基于外周生理信号可以快速准确地获得目标人物当前的情绪状态，具有广泛的应用价值。
基于上述实施例的内容，在本实施例中，所述外周生理信号包括皮肤电、心电、皮肤温和心率四种生理通道信号中的至少两种；
对所述外周生理信号进行特征计算，得到目标人物观看目标视频时的外周生理信号特征，包括：
对所述皮肤电、心电、皮肤温和心率四种生理通道信号中的至少两种分别进行特征计算，计算所述至少两种生理通道信号分别在时域指定维度上的特征集合以及在频域指定维度上的特征集合；
将所述至少两种生理通道信号分别在时域指定维度上的特征集合以及在频域指定维度上的特征集合，作为目标人物观看目标视频时的外周生理信号特征。
在本实施例中，需要说明的是，外周生理信号包括皮肤电、心电、皮肤温和心率四种生理通道信号中的至少两种。例如，外周生理信号可以包括皮肤电、心电、皮肤温和心率，也可以包括皮肤温和心率，此处不作具体限制。
在本实施例中，可选的，目标人物p观看目标视频m时BIOPAC生理仪记录的外周生理信号，采样频率为f＝1000Hz，目标视频m时长为ts。记录皮肤电、心电、皮肤温、心率四个通道的信号，分别记为
对外周生理信号进行特征计算，得到目标人物观看目标视频时的外周生理信号特征，具体方式为：
1、将上述信号进行高通滤波操作(心率h不需要进行滤波操作)，使用二阶Butterworth滤波，其中归一化截止频率设置为2×0.5/f，得到校准基线、去除噪音、去除伪迹后的外周生理信号；
2、设置是时间窗大小为10s，相邻时间窗之间重叠时间为9s，在连续的时间窗内对所述经过滤波处理的外周生理信号进行时域和频域的特征计算，不同的通道具有不同数量的代表性特征，具体来说，皮肤电具有22维特征，心电具有9维特征，皮肤温具有4维特征，心率具有2维特征，分别计算至少两种生理通道信号分别在时域指定维度上的特征以及在频域指定维度上的特征，最终得到的特征集合相应地记为：
3、对得到的相应特征进行归一化操作，统一同一维度特征的衡量标准，归一化结果分别记为：
以上四种信号的特征删除多余的矩阵维度后按照维度t进行拼接，得到t×(22+9+4+2)大小的特征矩阵，记为
4、将多个目标人物观看目标视频的外周生理信号数据经过上述处理就组成了第一训练样本集，其中对于每个时刻T的特征序列即为一个训练的样本。
在本实施例中，需要说明的是，在对多通道外周生理信号进行特征计算时，将信号分别变换到时域或频域，可以很好地看出信号特征。时域分析与频域分析是对模拟信号的两个观察面。时域分析是以时间轴为坐标表示动态信号的关系；频域分析是把信号变为以频率轴为坐标表示出来。一般来说，时域的表示较为形象与直观，频域分析则更为简练，深入信号本质。
基于上述实施例的内容，在本实施例中，皮肤电生理通道信号在时域指定维度上的特征集合包括：最小值，最大值，标准差，方差，平均绝对值，均方根，偏度，峰度，中值，均值，导数平均值，平均下降率，导数中负值占比，局部极小值数量，平均上升时间，三阶矩，四阶矩，五阶矩，六阶矩，一节差分，二阶差分；
皮肤电生理通道信号在频域指定维度上的特征集合包括：0～2.4Hz频带中的频谱功率；
皮肤温生理通道信号在时域指定维度上的特征集合包括：均值，导数平均值；
皮肤温生理通道信号在频域指定维度上的特征集合包括：0～0.1Hz频带中的频谱功率，0.1～0.2Hz频带中的频谱功率；
心电生理通道信号在时域指定维度上的特征集合包括：均值，中值，标准差，最小值，最大值，功率；
心电生理通道信号在频域指定维度上的特征集合包括：0.1～0.2Hz频带中的频谱功率，0.2～0.3Hz频带中的频谱功率，0.3～0.4Hz频带中的频谱功率；
心率生理通道信号在时域指定维度上的特征集合包括：均值，标准差。
在本实施例中，如下表1所示，皮肤电具有22维特征，心电具有9维特征，皮肤温具有4维特征，心率具有2维特征。其中，皮肤电生理通道信号在时域指定维度上的特征集合包括：最小值，最大值，标准差，方差，平均绝对值，均方根，偏度，峰度，中值，均值，导数平均值，平均下降率，导数中负值占比，局部极小值数量，平均上升时间，三阶矩，四阶矩，五阶矩，六阶矩，一节差分，二阶差分；
皮肤电生理通道信号在频域指定维度上的特征集合包括：0～2.4Hz频带中的频谱功率；
皮肤温生理通道信号在时域指定维度上的特征集合包括：均值，导数平均值；
皮肤温生理通道信号在频域指定维度上的特征集合包括：0～0.1Hz频带中的频谱功率，0.1～0.2Hz频带中的频谱功率；
心电生理通道信号在时域指定维度上的特征集合包括：均值，中值，标准差，最小值，最大值，功率；
心电生理通道信号在频域指定维度上的特征集合包括：0.1～0.2Hz频带中的频谱功率，0.2～0.3Hz频带中的频谱功率，0.3～0.4Hz频带中的频谱功率；
心率生理通道信号在时域指定维度上的特征集合包括：均值，标准差。其中，心率的时域参数均值可以很好地表示心率信号的平均水平；心率的标准差参数能很好地反映心率信号数据集的离散程度。
在本实施例中，需要说明的是，皮肤电具有22维特征，心电具有9维特征，皮肤温具有4维特征，心率具有2维特征。通过分别计算各个通道的特征，并对得到的相应特征进行归一化操作，可以统一同一量纲特征的衡量标准，使各个通道外周生理信号的特征计算更加准确，从而可以很好地训练情绪识别模型，提高情绪识别模型的识别性能。
表1
基于上述实施例的内容，在本实施例中，所述情绪分布识别结果包括多个单个情绪的组合；或，多个单个情绪的组合以及各单个情绪所占的比重。
在本实施例中，可选的，由外周生理信号特征得到的情绪分布结果可以包括单个情绪的组合，例如，情绪分布识别结果可以为喜悦和惊喜、愤怒和厌恶、害怕和悲伤；由外周生理信号特征得到的情绪分布识别结果还可以包括多个单个情绪的组合以及各单个情绪所占的比重，即情绪分布，例如，情绪分布识别结果可以为80％喜悦、15％惊喜，或50％愤怒、30％厌恶和20％害怕。其中，所占比重越大的情绪越显著。由此可见，本发明实施例可以基于目标人物的外周生理信号判断人物当前多种情绪分布，包括三种积极情绪和四种负性情绪，具有较强的情绪刻画能力。然而现有技术仅仅使用单一情绪刻画目标人物的情绪状态，准确度较低。
基于上述实施例的内容，在本实施例中，还包括：所述情绪分布识别模型的训练步骤；
所述情绪分布识别模型的训练步骤，包括：
采集预设数量的目标人物在观看目标视频时的外周生理信号，并根据所述外周生理信号计算外周生理信号特征，根据计算得到的外周生理信号特征生成第一训练样本集；
通过问卷的方式获取所述预设数量的目标人物在观看目标视频时的真实情绪分布标签，根据所述真实情绪分布标签生成第二训练样本集；
基于所述第一训练样本集和所述第二训练样本集，对深度神经网络模型进行训练后得到所述情绪分布识别模型。
在本实施例中，需要说明的是，情绪分布识别模型的训练步骤包括：
使用BIOPAC生理仪采集至少二十个目标人物观看目标片段的生理信号，包括皮肤电、心电、皮肤温、心率四个通道，采样频率为1000Hz。目标片段诱发特定的情绪，分别为喜悦(joy)、惊奇(amusement)、温柔(tenderness)、愤怒(anger)、厌恶(disgust)、害怕(fear)与悲伤(sadness)，共包括三种积极情绪与四种负性情绪，共计7种情绪。在获取到原始外周生理信号后，首先使用高通滤波对原始信号进行基线校准、去除噪音、去除伪迹的操作；后对四个通道的时间序列以10s为单位划分时间窗，以计算相应通道的特征，相邻时间窗之间重叠时间为9s；最后对特征序列按照维度进行归一化操作，统一特征的量纲。通过上述方式获取至少二十个的目标人物在观看目标视频时对应的外周生理信号特征，从而得到第一训练样本集。
通过问卷的方式记录至少二十个目标人物观看完目标视频后的情绪评分
对应于目标人物对喜悦、惊奇、温柔、愤怒、厌恶、害怕、悲伤共七种情绪的评分记录，i＝7，打分范围为1～10，分数越高表示该种情绪越强烈。通过归一化方式得到最终的情绪评分为
而
构成了目标人物观看目标视频的情绪分布标签，同一个视频其间的每个时刻T对应的分布标签均一致。多个目标人物的情绪分布标签即构成了第二训练样本集。
在本实施例中，将上述得到的第一训练样本集和第二训练样本集输入到情绪分布识别模型中进行训练，得到训练好的情绪分布识别模型。
基于上述实施例的内容，在本实施例中，所述情绪分布识别模型在训练时对应的损失函数为：
LEmmotionNet＝λ1Lfeature+λ2Ldistribution；
其中，LEmotionNet表示模型损失函数，Lfeature表示情绪重构损失，用于控制情绪重构过程中的信息保持，Ldistribution表示情绪分布的损失，用于控制情绪分布识别中的准确性，λ1表示情绪重构损失的权重，λ2表示情绪分布损失的权重。
在本实施例中，需要说明的是，通过最小化损失函数LEmotionNet完成情绪分布识别模型的训练，对应的损失函数为：
LEmotionNet＝λ1Lfeature+λ2Ldistribution；
其中，LEmotionNet表示模型损失函数，Lfeature表示情绪重构损失，用于控制情绪重构过程中的信息保持，Ldistribution表示情绪分布的损失，用于控制情绪分布识别中的准确性，λ1表示情绪重构损失的权重，λ2表示情绪分布损失的权重。
在本实施例中，通过最小化损失函数来表现情绪分布识别模型的识别与实际数据的差距程度，从而进一步优化模型识别精确度，提高模型的鲁棒性。
基于上述实施例的内容，在本实施例中，情绪分类损失的计算公式为：
情绪分布损失的计算公式为：
其中，
表示目标任务观看目标视频提取的外周生理信号特征，
表示网络中自编码器对
重构后的特征，
表示目标人物观看目标视频的外周生理信号特征输入至情绪分布识别模型后输出的情绪分布识别结果，
表示目标人物的真实情绪分布标签。
在本实施例中，需要说明的是，情绪重构损失Lfeature和情绪分布损失Ldistribution均使用均方误差(Mean squared error，简称MSE)计算得到。情绪重构损失，用于控制情绪重构过程中的信息保持，对重构特征的各个分量同时进行均方差损失计算，
表示目标人物观看目标视频提取的外周生理信号特征，
表示网络中自编码器对
重构后的特征。情绪分布损失，用于控制情绪分布识别预测中的准确性，对情绪分布识别预测的各个分量同时进行均方差损失计算，
表示目标人物观看目标视频的外周生理信号特征输入至情绪分布识别模型后输出的情绪分布识别结果，
表示目标人物的真实情绪分布标签。
基于上述实施例的内容，在本实施例中，所述情绪分布识别模型为由自编码器、卷积神经网络和全连接层构建得到的深度神经网络模型；
自编码器，用于对第一训练样本集中的关键特征进行选择，以保证解码阶段可以近似重构出输入特征的信息；
卷积神经网络，用于对自编码器重构的输入特征进行学习，确定特征之间的关系，最终通过全连接层输出对目标人物的情绪分布的识别结果
在本实施例中，需要说明的是，情绪分布识别模型是由自编码器、卷积神经网络和全连接层构建得到的。本发明实施例提供的情绪分布识别模型依次包括全连接层、卷积层、归一化层、激活层等。其中，自编码器使用先编码后解码的架构，对第一训练样本集中重要的特征进行选择。在编码阶段会保留最重要的信息以保证解码阶段可以近似重构出输入特征的信息，同时剔除非必要特征，完成特征选择的过程。卷积神经网络会对重新构造出的特征进行学习，组合特征之间的相互关系与影响，最终通过全连接网络输出对目标人物的情绪分布的预测结果
基于上述实施例的内容，本发明实施例提供的对外周生理信号进行特征计算中滤波算法的效果可参见图3。需要说明的是，滤波操作的主要作用是对原始外周生理信号进行校准基线、去除噪音、去除伪迹。
基于相同的发明构思，本发明另一实施例提供了一种情绪识别装置，参见图6，本发明实施例提供的一种情绪识别装置的结构示意图，该装置包括：
特征提取模块1，用于获取目标人物观看目标视频时的外周生理信号，对所述外周生理信号进行特征计算，得到目标人物观看目标视频时的外周生理信号特征；
情绪分布识别模块2，用于将所述外周生理信号特征输入至情绪分布识别模型中，得到目标人物观看目标视频时的情绪分布识别结果；
其中，所述情绪分布识别模型是基于第一训练样本集和第二训练样本集，对深度神经网络模型进行训练后得到的，其中，所述第一训练样本集包括预设数量的目标人物在观看目标视频时对应的外周生理信号特征；所述第二训练样本集包括所述预设数量的目标人物在观看目标视频时的真实情绪分布标签。
在本实施例中，需要说明的是，首先获取预设外周生理信号，所述预设外周生理信号为目标人物观看目标视频时的真实生理信号的记录。需要根据外周生理信号生成对应的情绪分布识别结果。其次，在获取外周生理信号后需要进行预处理操作，以得到无噪音、无基线漂移的外周生理信号，此过程不丢失外周生理信号原本的重要信息，进而对预处理后的外周生理信号进行特征计算，并进行归一化处理，得到多个生理通道信号分别在时域指定维度上的特征集合以及在频域指定维度上的特征集合。其中，多个生理通道信号可以包括皮肤电(galvanic skin response)、心电(electrocardiogram)、皮肤温(skintemperature)和心率(heart rate)四种生理通道信号中的至少两种。
在本实施例中，在得到外周生理信号特征后，将该外周生理信号特征输入至训练好的情绪分布识别模型(EmotionNet模型)中，从而得到与目标人物、目标片段紧密相关的情绪分布识别结果。其中，情绪分布识别模型是由真实的、多个目标人物在观看目标视频时对应的外周生理信号特征(第一训练样本集)和真实情绪分布标签(第二训练样本集)训练得到的。
在本实施例中，第一训练样本集可以通过以下方式获取：
首先，使用BIOPAC生理仪记录目标人物观看目标片段的生理信号，包括皮肤电、心电、皮肤温、心率四个通道，采样频率为1000Hz。目标片段诱发特定的情绪，分别为喜悦(joy)、惊奇(amusement)、温柔(tenderness)、愤怒(anger)、厌恶(disgust)、害怕(fear)与悲伤(sadness)，共包括三种积极情绪与四种负性情绪，共计7种情绪。在获取到原始外周生理信号后，首先使用高通滤波对原始信号进行基线校准、去除噪音、去除伪迹的操作；后对四个通道的时间序列以10s为单位划分时间窗，以计算相应通道的特征，相邻时间窗之间重叠时间为9s；最后对特征序列按照维度进行归一化操作，统一特征的量纲。通过上述方式获取预设数量的目标人物在观看目标视频时对应的外周生理信号特征，从而得到第一训练样本集。
第二训练样本集可以通过以下方式获取：
通过问卷的方式记录目标人物观看完目标视频后的情绪评分
对应于目标人物对喜悦、惊奇、温柔、愤怒、厌恶、害怕、悲伤共七种情绪的评分记录，i＝7，打分范围为1～10，分数越高表示该种情绪越强烈。通过归一化方式得到最终的情绪评分为
而
构成了目标人物观看目标视频的情绪分布标签，同一个视频其间的每个时刻T对应的分布标签均一致。多个目标人物的情绪分布标签即构成了第二训练样本集。
由上面技术方案可知，本发明实施例提供的一种情绪识别装置，通过对目标人物观看目标视频时的外周生理信号进行特征计算，得到目标人物观看目标视频时的外周生理信号特征，并将外周生理信号特征输入至情绪分布识别模型中，从而得到目标人物观看目标视频时的情绪分布识别结果。由此可见，本发明实施例基于外周生理信号可以快速准确地获得目标人物当前的情绪状态，具有广泛的应用价值。
本实施例所述的情绪识别装置可以用于执行上述方法实施例，其原理和技术效果类似，此处不再赘述。
基于相同的发明构思，本发明又一实施例提供了一种电子设备，参见图6所述电子设备的结构示意图，具体包括如下内容：处理器601、存储器602、通信接口603和通信总线604；
其中，所述处理器601、存储器602、通信接口603通过所述通信总线604完成相互间的通信；所述通信接口603用于实现各设备之间的信息传输；
所述处理器601用于调用所述存储器602中的计算机程序，所述处理器执行所述计算机程序时实现上述一种情绪识别方法的全部步骤，例如，获取目标人物观看目标视频时的外周生理信号，对所述外周生理信号进行特征计算，得到目标人物观看目标视频时的外周生理信号特征；将所述外周生理信号特征输入至情绪分布识别模型中，得到目标人物观看目标视频时的情绪分布识别结果；其中，所述情绪分布识别模型是基于第一训练样本集和第二训练样本集，对深度神经网络模型进行训练后得到的，其中，所述第一训练样本集包括预设数量的目标人物在观看目标视频时对应的外周生理信号特征；所述第二训练样本集包括所述预设数量的目标人物在观看目标视频时的真实情绪分布标签。
基于相同的发明构思，本发明又一实施例提供了一种非暂态计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述一种情绪识别方法的全部步骤，例如，获取目标人物观看目标视频时的外周生理信号，对所述外周生理信号进行特征计算，得到目标人物观看目标视频时的外周生理信号特征；将所述外周生理信号特征输入至情绪分布识别模型中，得到目标人物观看目标视频时的情绪分布识别结果；其中，所述情绪分布识别模型是基于第一训练样本集和第二训练样本集，对深度神经网络模型进行训练后得到的，其中，所述第一训练样本集包括预设数量的目标人物在观看目标视频时对应的外周生理信号特征；所述第二训练样本集包括所述预设数量的目标人物在观看目标视频时的真实情绪分布标签。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的情绪识别方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (3)
1.一种情绪识别方法，其特征在于，包括：
获取目标人物观看目标视频时的外周生理信号，对所述外周生理信号进行特征计算，得到目标人物观看目标视频时的外周生理信号特征；
所述获取目标人物观看目标视频时的外周生理信号，包括：获取预设外周生理信号；对所述预设外周生理信号进行预处理，得到所述外周生理信号；
所述外周生理信号包括皮肤电、心电、皮肤温和心率四种生理通道信号中的至少两种；
对所述外周生理信号进行特征计算，得到目标人物观看目标视频时的外周生理信号特征，包括：
对所述皮肤电、心电、皮肤温和心率四种生理通道信号中的至少两种分别进行特征计算，计算所述至少两种生理通道信号分别在时域指定维度上的特征集合以及在频域指定维度上的特征集合；
将所述至少两种生理通道信号分别在时域指定维度上的特征集合以及在频域指定维度上的特征集合，作为目标人物观看目标视频时的外周生理信号特征；
皮肤电生理通道信号在时域指定维度上的特征集合包括：最小值，最大值，标准差，方差，平均绝对值，均方根，偏度，峰度，中值，均值，导数平均值，平均下降率，导数中负值占比，局部极小值数量，平均上升时间，三阶矩，四阶矩，五阶矩，六阶矩，一节差分，二阶差分；
皮肤电生理通道信号在频域指定维度上的特征集合包括：0～2.4Hz频带中的频谱功率；
皮肤温生理通道信号在时域指定维度上的特征集合包括：均值，导数平均值；
皮肤温生理通道信号在频域指定维度上的特征集合包括：0～0.1Hz频带中的频谱功率，0.1～0.2Hz频带中的频谱功率；
心电生理通道信号在时域指定维度上的特征集合包括：均值，中值，标准差，最小值，最大值，功率；
心电生理通道信号在频域指定维度上的特征集合包括：0.1～0.2Hz频带中的频谱功率，0.2～0.3Hz频带中的频谱功率，0.3～0.4Hz频带中的频谱功率；
心率生理通道信号在时域指定维度上的特征集合包括：均值，标准差；
将所述外周生理信号特征输入至情绪分布识别模型中，得到目标人物观看目标视频时的情绪分布识别结果；
所述情绪分布识别结果包括多个单个情绪的组合；或，多个单个情绪的组合以及各单个情绪所占的比重；
所述情绪分布识别模型为由自编码器、卷积神经网络和全连接层构建得到的深度神经网络模型；
自编码器，用于对第一训练样本集中的关键特征进行选择，以保证解码阶段可以近似重构出输入特征的信息；
卷积神经网络，用于对自编码器重构后的特征进行学习，确定特征之间的关系，最终通过全连接层输出对目标人物的情绪分布的识别结果；
所述情绪分布识别模型在训练时对应的损失函数为：
LEmotionNet＝λ1Lfeature+λ2Ldistribution；
其中，LEmotionNet表示模型损失函数，Lfeature表示情绪重构损失，用于控制情绪重构过程中的信息保持，Ldistribution表示情绪分布的损失，用于控制情绪分布识别中的准确性，λ1表示情绪重构损失的权重，λ2表示情绪分布损失的权重；
所述情绪重构损失的计算公式为：
所述情绪分布损失的计算公式为：
其中，
表示目标人物观看目标视频提取的外周生理信号特征，
表示网络中自编码器对
重构后的特征，
表示目标人物观看目标视频的外周生理信号特征输入至情绪分布识别模型后输出的情绪分布识别结果，
表示目标人物的真实情绪分布标签；
其中，所述情绪分布识别模型是基于第一训练样本集和第二训练样本集，对深度神经网络模型进行训练后得到的，其中，所述第一训练样本集包括预设数量的目标人物在观看目标视频时对应的外周生理信号特征；所述第二训练样本集包括所述预设数量的目标人物在观看目标视频时的真实情绪分布标签；
获取所述第一训练样本集的具体步骤，包括：
采集所述预设数量的目标人物在观看目标视频片段时的原始外周生理信号；
对所述原始外周生理信号进行滤波处理和时间窗划分处理，计算经过所述时间窗划分处理后的外周生理信号在时域和频域维度上的特征；
对计算得到的特征进行归一化处理，得到所述第一训练样本集；
获取所述第二训练样本集的具体步骤，包括：
通过问卷的方式采集所述预设数量的目标人物在观看所述目标视频后的情绪分数；
通过归一化方式将所述情绪分数转换为情绪分布标签，得到所述第二训练样本集；
其中，所述情绪分布标签同时包括喜悦、惊奇、温柔、愤怒、厌恶、害怕以及悲伤。
2.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1所述情绪识别方法的步骤。
3.一种计算机可读存储介质，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1所述情绪识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110256917.8A CN113069115B (zh) | 2021-03-09 | 2021-03-09 | 一种情绪识别方法、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110256917.8A CN113069115B (zh) | 2021-03-09 | 2021-03-09 | 一种情绪识别方法、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113069115A CN113069115A (zh) | 2021-07-06 |
| CN113069115B true CN113069115B (zh) | 2022-11-11 |
Family
ID=76612165
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110256917.8A Active CN113069115B (zh) | 2021-03-09 | 2021-03-09 | 一种情绪识别方法、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113069115B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115715680A (zh) * | 2022-12-01 | 2023-02-28 | 杭州市第七人民医院 | 一种基于结缔组织电势的焦虑判别方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105212949A (zh) * | 2015-08-25 | 2016-01-06 | 西南大学 | 一种使用皮肤电信号进行文化体验情感识别的方法 |
| CN110900617A (zh) * | 2018-09-14 | 2020-03-24 | Lg电子株式会社 | 机器人及其操作方法 |
| CN111310552A (zh) * | 2018-12-11 | 2020-06-19 | 通用电气航空系统有限公司 | 评估飞行员情绪状态的方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104548309A (zh) * | 2015-01-05 | 2015-04-29 | 浙江工业大学 | 利用不同情感特征音乐调整驾驶员情绪状态的装置及方法 |
| CN108634969B (zh) * | 2018-05-16 | 2021-03-12 | 京东方科技集团股份有限公司 | 情绪检测设备、情绪检测系统、情绪检测方法、存储介质 |
| CN112149712B (zh) * | 2020-08-19 | 2023-06-06 | 中国地质大学（武汉） | 一种高效的高光谱遥感数据压缩与分类模型的构建方法 |
| CN112581979B (zh) * | 2020-12-10 | 2022-07-12 | 重庆邮电大学 | 一种基于语谱图的语音情绪识别方法 |
-
2021
- 2021-03-09 CN CN202110256917.8A patent/CN113069115B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105212949A (zh) * | 2015-08-25 | 2016-01-06 | 西南大学 | 一种使用皮肤电信号进行文化体验情感识别的方法 |
| CN110900617A (zh) * | 2018-09-14 | 2020-03-24 | Lg电子株式会社 | 机器人及其操作方法 |
| CN111310552A (zh) * | 2018-12-11 | 2020-06-19 | 通用电气航空系统有限公司 | 评估飞行员情绪状态的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113069115A (zh) | 2021-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sardari et al. | Audio based depression detection using Convolutional Autoencoder | |
| US9949714B2 (en) | Method, electronic apparatus, and computer readable medium of constructing classifier for disease detection | |
| CN111461176A (zh) | 基于归一化互信息的多模态融合方法、装置、介质及设备 | |
| CN113017630A (zh) | 一种视觉感知情绪识别方法 | |
| CN110464367B (zh) | 基于多通道协同的心理异常检测方法和系统 | |
| Romero et al. | DeepFilter: An ECG baseline wander removal filter using deep learning techniques | |
| CN111920420B (zh) | 一种基于统计学习的患者行为多模态分析与预测系统 | |
| Hasnul et al. | Augmenting ECG data with multiple filters for a better emotion recognition system | |
| Li et al. | Heart sound classification based on improved mel-frequency spectral coefficients and deep residual learning | |
| CN115862868A (zh) | 心理测评系统、平台、电子设备及存储介质 | |
| CN117883082A (zh) | 一种异常情绪识别方法、系统、设备及介质 | |
| CN113069115B (zh) | 一种情绪识别方法、电子设备及存储介质 | |
| CN114209323A (zh) | 一种识别情绪的方法以及基于脑电数据的情绪识别模型 | |
| Cruz-Garza et al. | Characterization of the stages of creative writing with mobile eeg using generalized partial directed coherence | |
| CN115089179A (zh) | 一种心理情绪洞察分析方法及系统 | |
| Touahria et al. | Feature selection algorithms highlight the importance of the systolic segment for normal/murmur PCG beat classification | |
| Beckingham et al. | CNN-RNN architecture to calculate BPM from underwater ECG samples | |
| Al-hajjar et al. | Epileptic seizure detection using feature importance and ML classifiers | |
| CN117017297A (zh) | 驾驶员疲劳的预测和识别模型建立方法及其应用 | |
| Pan et al. | Downsampling of EEG Signals for Deep Learning-Based Epilepsy Detection | |
| US20220005603A1 (en) | De-noising task-specific electroencephalogram signals using neural networks | |
| Krishna et al. | Improving EEG based continuous speech recognition using GAN | |
| Lefter et al. | The multimodal dataset of negative affect and aggression: a validation study | |
| Wang et al. | Deep Convolutional Generative Adversarial Network with LSTM for ECG Denoising | |
| Mamidisetti et al. | Enhancing Depression Prediction Accuracy Using Filter and Wrapper-Based Visual Feature Extraction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |