CN115644872A - 一种情绪识别方法、装置及介质 - Google Patents

Abstract

本发明提供了一种情绪识别方法、装置及介质，本发明的情绪识别方法增加卷积神经网络对PPG信号进行提取，并将提取的ECG信号特征和非卷积神经网络提取的PPG信号特征进行拼接使用GBDT进行情绪的识别。本发明的通过卷积神经网络提取了更深层次的抽象特征，以弥补由于使用非卷积神经网络不能表示信号的细节，在提取特征时不可避免地会出现信息的丢失。本发明增加CNN提取PPG信号特征可以丰富特征维度，充分地提取更多的信号特征。

Description

一种情绪识别方法、装置及介质

技术领域

本发明涉及人工智能技术领域，具体来说，涉及一种情绪识别方法、装置及介质。

背景技术

人类的情绪是由多种复杂的生理信号相互作用而形成。目前情绪识别的一种方式是使用身体的内在生理信号去预测情绪。常用的情绪识别的生理信号为：ECG(心电信号)信号及光电容积脉搏波PPG。通过放置在人体特定部位的电极片采集心跳引起的皮肤电位的微弱变化，经过放大器后被采集装置收集，生成心电图。从ECG中可获得心率HR、心率异变性HRV等信息。这些信息可用于分析情绪变化引起的心率变化，进而由心率变化推测情绪变化。光电容积脉搏波(PPG)测量血容量脉搏(BVP)，该技术广泛用于智能穿戴设备，PPG传感器使用发光二极管和光电二极管来记录脉冲波形，它几乎可以用于身体的任何部位，因为最小的浅表血管足以让传感器识别脉搏波。

常用的用于情绪识别的ECG信号的特征包括时域与频域上的特征，以及统计特征：

(1)时域特征：心跳间隔RR、RR的均值与标准差、RR的变异系数、RR区间连续差的标准差等

(2)频域特征：低频功率LF、高频功率HF以及低高频功率比(LF/HF)，可表示信号的活跃程度

(3)统计特征：分布特征、偏度值、熵

但单独使用上述信号特征会带来识别不准确的问题。

本文提供的背景描述用于总体上呈现本公开的上下文的目的。除非本文另外指示，在该章节中描述的资料不是该申请的权利要求的现有技术并且不要通过包括在该章节内来承认其成为现有技术。

发明内容

针对相关技术中的上述技术问题，本发明提出一种情绪识别方法，其包括如下步骤：

S1，获取心电ECG信号和光电容积脉搏波PPG信号；

S2，对所述ECG信号进行信号特征提取获取所述ECG信号的小波特征、心率特征、及HRV特征；对所述PPG信号进行信号特征提取获取所述PPG信号的第一PPG信号特征；

S3，使用预设的卷积神经网络对所述PPG信号进行信号特征提取获取所述PPG信号的第二PPG信号特征；

S4、将所述ECG信号的小波特征、心率特征、及HRV特征、所述PPG第一信号特征、所述PPG信号第二信号特征进行拼接得到拼接特征数据；

S5、基于拼接特征数据结合预先训练好的梯度提升决策树GBDT分类器，获取识别到的情绪。

具体的，所述步骤S1还包括：

S11，使用第一预设频率的陷波器滤除所述ECG信号中的工频干扰获取滤除工频干扰的信号；

S12，使用高通滤波器滤除所述滤除工频干扰的信号中的基线漂移获取滤除基线漂移的信号；

S13、使用低通滤波器滤除所述滤除基线漂移的信号中的高频噪声获取滤除高频噪声的信号；

S14、对所述滤除高频噪声的信号进行归一化处理获取归一化后的ECG信号；

S15、使用一预设带通滤波器对所述PPG信号进行滤波处理获取带通滤波后的PPG信号；

S16、对所述带通滤波后的PPG信号归一化处理获取归一化后的PPG信号。

具体的，所述步骤S1还包括：

S17、根据归一化后的ECG信号、PPG信号的信号参数和预设条件，判断所述归一化后的ECG信号、PPG信号的质量是否合格，获取合格的ECG信号和合格的PPG信号。

具体的，步骤S17还包括：

S171、若归一化后的ECG信号的波峰幅度值变化率小于或等于预设ECG波峰幅度值变化率阈值，并且归一化的ECG信号的RR间期变化率小于或等于预设ECG RR间期变化率阈值，则确定归一化的ECG信号的质量合格；

S172、若归一化的PPG信号的波峰幅度值变化率小于或等于预设PPG波峰幅度值变化率阈值，并且归一化的PPG信号的RR间期变化率小于或等于预设PPG RR间期变化率阈值，则确定归一化的PPG信号的质量合格。

具体的，所述预设的卷积神经网络具体为：包括两对具有激活功能的卷积层C1、C2和池化层S1、S2，所述预设的卷积神经网络的激活函数为整流线性单元。

第二方面，本发明的另一个实施例公开了一种情绪识别装置，其包括如下单元：

信号获取单元，用于获取心电ECG信号和光电容积脉搏波PPG信号；

第一信号特征提取单元，用于对所述ECG信号进行信号特征提取获取所述ECG信号的小波特征、心率特征、及HRV特征；对所述PPG信号进行信号特征提取获取所述PPG信号的第一PPG信号特征；

第二信号特征提取单元，用于使用预设的卷积神经网络对所述PPG信号进行信号特征提取获取所述PPG信号的第二PPG信号特征；

拼接单元、用于将所述ECG信号的小波特征、心率特征、及HRV特征、所述PPG第一信号特征、所述PPG信号第二信号特征进行拼接得到拼接特征数据；

情绪识别单元、用于基于拼接特征数据结合预先训练好的梯度提升决策树GBDT分类器，获取识别到的情绪。

具体的，所述信号获取单元还包括：

第一滤波单元，用于使用第一预设频率的陷波器滤除所述ECG信号中的工频干扰获取滤除工频干扰的信号；

第二滤波单元，用于使用高通滤波器滤除所述滤除工频干扰的信号中的基线漂移获取滤除基线漂移的信号；

第三滤波单元，用于使用低通滤波器滤除所述滤除基线漂移的信号中的高频噪声获取滤除高频噪声的信号；

第一归一化单元，用于对所述滤除高频噪声的信号进行归一化处理获取归一化后的ECG信号；

第四滤波单元，用于使用一预设带通滤波器对所述PPG信号进行滤波处理获取带通滤波后的PPG信号；

第二归一化单元，用于对所述带通滤波后的PPG信号归一化处理获取归一化后的PPG信号。

具体的，所述信号获取单元还包括：

信号质量筛选单元、用于根据归一化后的ECG信号、PPG信号的信号参数和预设条件，判断所述归一化后的ECG信号、PPG信号的质量是否合格，获取合格的ECG信号和合格的PPG信号。

具体的，步骤信号质量筛选单元还包括：

第一筛选单元、用于若归一化后的ECG信号的波峰幅度值变化率小于或等于预设ECG波峰幅度值变化率阈值，并且归一化的ECG信号的RR间期变化率小于或等于预设ECG RR间期变化率阈值，则确定归一化的ECG信号的质量合格；

第二筛选单元、用于若归一化的PPG信号的波峰幅度值变化率小于或等于预设PPG波峰幅度值变化率阈值，并且归一化的PPG信号的RR间期变化率小于或等于预设PPG RR间期变化率阈值，则确定归一化的PPG信号的质量合格。

具体的，所述预设的卷积神经网络具体为：包括两对具有激活功能的卷积层C1、C2和池化层S1、S2，所述预设的卷积神经网络的激活函数为整流线性单元。

第三方面，本发明的另一个实施例公开了一种非易失性存储介质，所述非易失性存储介质上存储有指令，所述指令被处理器执行时，用以实现上述的情绪识别方法。

本发明通过卷积神经网络提取了更深层次的抽象特征，以弥补由于使用非卷积神经网络不能表示信号的细节，在提取特征时不可避免地会出现信息的丢失。本发明增加CNN提取PPG信号特征可以丰富特征维度，充分地提取更多的信号特征。进一步的，本发明通过对提取的信号特征进行拼接并使用GBDT模型进行识别，以获取情绪。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种情绪识别方法流程图；

图2是本发明实施例提供的CNN网络示意图；

图3是本发明实施例提供的GBDT的训练过程示意图；

图4是本发明实施例提供的一种情绪识别装置示意图；

图5是本发明实施例提供的一种情绪识别设备示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

参考图1，本实施例公开了一种情绪识别方法，其包括如下步骤：

S1，获取心电ECG信号和光电容积脉搏波PPG信号；

具体的，本实施例的ECG信号由心电设备采集，PPG信号则由PPG设备采集，PPG设备可以是可穿戴式的手表等可以采集PPG信号的设备。

本实施例的情绪识别方法可以运行在服务器上，当运行在服务器上时，需要获取有心电设备采集的ECG信号，如心电采集设备将其采集的ECG信号上传到服务器中。

所述PPG信号则由PPG设备通过无线的方式上传到服务器中，例如PPG设备是手表或手环时，有手表或手环上传到服务器中，或者手表或手环先将其采集的PPG信号发送给绑定的移动终端，再由移动终端上传到服务器中。

在另一个实施方式中本实施例的情绪识别方法可以运行在一计算设备中，例如个人电脑等，则个人电脑获取有心电设备和PPG采集设备获取的ECG信号和PPG信号，在一个可能的实施方式中，将ECG设备采集的ECG信号拷贝或者通过无线或有线的方式传送到所述计算设备中。

具体的，本实施例由于ECG信号和PPG信号在采集时会有噪声的干扰，本实施例在步骤S1中先对所述ECG信号和所述PPG信号进行滤波以去除噪声干扰，具体的，步骤S1还包括：

S11，使用第一预设频率的陷波器滤除所述ECG信号中的工频干扰获取滤除工频干扰的信号；

主要是由于心电设备在采集心电信号的时候，由于交流电引起的噪声，频率50HZ。我们可以设计一个50Hz的陷波器来滤除工频干扰。

S12，使用高通滤波器滤除所述滤除工频干扰的信号中的基线漂移获取滤除基线漂移的信号；

它是在测量过程中由于被测者呼吸及设备中放大器的温漂所导致，其属于低频信号，一般在0.5～1Hz之间。

滤除基线漂移方法：设计一个高通滤波器。

S13、使用低通滤波器滤除所述滤除基线漂移的信号中的高频噪声获取滤除高频噪声的信号；

当电极片与身体接触时，身体会产生肌电干扰以及各种白噪声，肌电信号和白噪声属于高频信号，其频率一般在5～2000Hz之间。

滤除高频噪声方法：设计一个低通滤波器。

S14、对所述滤除高频噪声的信号进行归一化处理获取归一化后的ECG信号；

x_norm＝(x-x_min)/(x_max-x_min)

其中x_norm为归一化后的ECG信号，x为所述滤除高频噪声的信号，x_max为所述滤除高频噪声的信号中的最大值、x_min为所述滤除高频噪声的信号中的最小值。

S15、使用一预设带通滤波器对所述PPG信号进行滤波处理获取带通滤波后的PPG信号；

设计一个带通滤波器，0.5～6Hz。

S16、对所述带通滤波后的PPG信号归一化处理获取归一化后的PPG信号；

y_norm＝(y-y_min)/(y_max-y_min)

其中y_norm为归一化后的PPG信号，y为所述带通滤波后的PPG信号，y_max为所述带通滤波后的PPG信号中的最大值、y_min为所述带通滤波后的PPG信号中的最小值。

S17、根据归一化后的ECG信号、PPG信号的信号参数和预设条件，判断所述归一化后的ECG信号、PPG信号的质量是否合格，获取合格的ECG信号和合格的PPG信号；

本实施例在对ECG信号及PPG信号的合格的预设判断条件为：

(1)波峰幅度值变化率(ECG阈值：0.5，PPG阈值：0.7)

波峰幅度值变化率＝(下一个波峰幅度值-当前波峰幅度值)/当前波峰幅度值

(2)RR间期变化率(ECG阈值：0.13，PPG阈值：0.15)

RR间期变化率＝(下一个RR间期-当前RR间期)/当前RR间期

具体的步骤S17进一步包括：

S171、若归一化后的ECG信号的波峰幅度值变化率小于或等于预设ECG波峰幅度值变化率阈值，并且归一化的ECG信号的RR间期变化率小于或等于预设ECG RR间期变化率阈值，则确定归一化的ECG信号的质量合格。

S172、若归一化的PPG信号的波峰幅度值变化率小于或等于预设PPG波峰幅度值变化率阈值，并且归一化的PPG信号的RR间期变化率小于或等于预设PPG RR间期变化率阈值，则确定归一化的PPG信号的质量合格。

S2，对所述ECG信号进行信号特征提取获取所述ECG信号的小波特征、心率特征、及HRV特征；对所述PPG信号进行信号特征提取获取所述PPG信号的第一PPG信号特征；

具体的，所述第一PPG信号特征为心率、RR间期的标准差(SDNN)、相邻RR间期之差的均方根值(RMSSD)、心率变异性的低频功率(LF)、心率变异性的高频功率(HF)、LF/HF、呼吸速率、第一波峰、第一波谷、第二波峰、第二波谷、幅度均值、射血时间、舒张时间、频谱、幅度谱、功率谱密度。

具体的，在另一个实施方式中，即在对所述ECG信号以及PPG信号进行滤波处理的情况下，所述步骤S2为：对所述归一化后ECG信号进行信号特征提取获取所述ECG信号的小波特征、心率特征、及HRV特征；对所述归一化后ECG信号PPG信号进行信号特征提取获取所述PPG信号的第一PPG信号特征。

具体的，在另一个实施方式中，即对归一化的ECG信号和PPG信号进行质量筛选的情况下，步骤S2为：对所述合格的ECG信号进行信号特征提取获取所述ECG信号的小波特征、心率特征、及HRV特征；对所述合格PPG信号进行信号特征提取获取所述PPG信号的第一PPG信号特征。

具体的，在本实施例中对所述PPG信号进行信号特征提取获取所述PPG信号的第一PPG信号特征一般采用统计分析或者是非卷积神经网络的方式获取所述第一PPG信号特征。

S3，使用预设的卷积神经网络对所述PPG信号进行信号特征提取获取所述PPG信号的第二PPG信号特征；

在另一个实施方式中，即在对所述ECG信号以及PPG信号进行滤波处理的情况下，所述步骤S3为：使用预设的卷积神经网络对所述归一化后的PPG信号进行信号特征提取获取所述PPG信号的第二PPG信号特征。

具体的，在另一个实施方式中，即对归一化的ECG信号和PPG信号进行质量筛选的情况下，步骤S3为：使用预设的卷积神经网络对所述合格的PPG信号进行信号特征提取获取所述PPG信号的第二PPG信号特征。

参考图2，本实施例的预设的卷积神经网络CNN包括两对具有激活功能的卷积层和池化层C1、C2、S1和S2。C1包含16个步长为1，大小为3×1的卷积滤波器，因此C1层将输出16个特征图。C1输出在池化层S1中进行降采样，以将特征减少到只有有意义的特征。最大池化层S1用于返回10×1过滤器中的最大值。C2包含64个大小为5×1卷积滤波器，最大池化层S2的大小为5×1。为了避免过拟合，在C1后引入一个批量归一化层，将神经元输入的分布改变为均值为0，方差为1的标准正态分布，解决了梯度消失问题，提高了学习收敛速度。采用整流线性单元作为激活函数，增强了层间的非线性，提高了运行速度。

本实施例通过卷积神经网络提取了更深层次的抽象特征，以弥补由于使用非卷积神经网络不能表示信号的细节，在提取特征时不可避免地会出现信息的丢失。本实施例增加CNN提取PPG信号特征可以丰富特征维度，充分地提取更多的信号特征。

S4、将所述ECG信号的小波特征、心率特征、及HRV特征、所述PPG第一信号特征、所述PPG信号第二信号特征进行拼接得到拼接特征数据；

本实施例拼接后的特征数据包括：ECG信号特征、第一PPG信号特征、通过CNN卷积神经网络自动提取的PPG信号特征。

ECG信号通过小波变换后提取的最大值、最小值、均值、方差、信息熵、排列熵；心率的最大值、最小值、均值、方差；心率序列的峰峰值间隔的最大值、最小值、范围大小、方差；

PPG信号提取的心率、RR间期的标准差(SDNN)、相邻RR间期之差的均方根值(RMSSD)、心率变异性的低频功率(LF)、心率变异性的高频功率(HF)、LF/HF、呼吸速率、第一波峰、第一波谷、第二波峰、第二波谷、幅度均值、射血时间、舒张时间、频谱、幅度谱、功率谱密度；

CNN神经网络提取的PPG信号特征F1,F2,...,Fn；

S5、基于拼接特征数据结合预先训练好的梯度提升决策树GBDT分类器，获取识别到的情绪。

本实施例的GBDT分类器参数：

最大的弱学习器的个数：86(“n_estimators”:86)

叶子节点最少样本数：21(“min_samples_leaf”:21)

最大特征数量：2(“max_features”:2)

决策树的最大深度：7(“max_depth”:7)

具体的，本实施例的识别过程为：接受待识别的信号数据进行滤波、信号质量筛选、特征提取、特征拼接，即本实施例的步骤S1-S4处理后，然后输入到所述训练好的GBDT分类模型中进行情绪识别以获取例如平静、悲伤、快乐等情绪。

参考图3、本实施例的训练过程为：

将拼接后的特征数据输入到梯度提升决策树GBDT中进行建模学习，采用对数损失函数指导训练过程，并通过交叉验证、网格搜索的方式进行多轮学习搜索最佳参数，得到训练好的GBDT分类模型。

本实施例通过卷积神经网络提取了更深层次的抽象特征，以弥补由于使用非卷积神经网络不能表示信号的细节，在提取特征时不可避免地会出现信息的丢失。本实施例增加CNN提取PPG信号特征可以丰富特征维度，充分地提取更多的信号特征。进一步的，本实施例通过对提取的信号特征进行拼接并使用GBDT模型进行识别，以获取情绪。

实施例二

参考图4，本实施例公开了一种情绪识别装置，其包括如下单元：

信号获取单元，用于获取心电ECG信号和光电容积脉搏波PPG信号；

具体的，本实施例的ECG信号由心电设备采集，PPG信号则由PPG设备采集，PPG设备可以是可穿戴式的手表等可以采集PPG信号的设备。

本实施例的情绪识别装置可以位于服务器上，当运行在服务器上时，需要获取有心电设备采集的ECG信号，如心电采集设备将其采集的ECG信号上传到服务器中。

所述PPG信号则由PPG设备通过无线的方式上传到服务器中，例如PPG设备是手表或手环时，有手表或手环上传到服务器中，或者手表或手环先将其采集的PPG信号发送给绑定的移动终端，再由移动终端上传到服务器中。

在另一个实施方式中本实施例的情绪识别装置可以位于一计算设备中，例如个人电脑等，则个人电脑获取有心电设备和PPG采集设备获取的ECG信号和PPG信号，在一个可能的实施方式中，将ECG设备采集的ECG信号拷贝或者通过无线或有线的方式传送到所述计算设备中。

具体的，本实施例由于ECG信号和PPG信号在采集时会有噪声的干扰，本实施例在信号获取单元中先对所述ECG信号和所述PPG信号进行滤波以去除噪声干扰，具体的，信号获取单元还包括：

第一滤波单元，用于使用第一预设频率的陷波器滤除所述ECG信号中的工频干扰获取滤除工频干扰的信号；

主要是由于心电设备在采集心电信号的时候，由于交流电引起的噪声，频率50HZ。我们可以设计一个50Hz的陷波器来滤除工频干扰。

第二滤波单元，用于使用高通滤波器滤除所述滤除工频干扰的信号中的基线漂移获取滤除基线漂移的信号；

它是在测量过程中由于被测者呼吸及设备中放大器的温漂所导致，其属于低频信号，一般在0.5～1Hz之间。

滤除基线漂移方法：设计一个高通滤波器。

第三滤波单元，用于使用低通滤波器滤除所述滤除基线漂移的信号中的高频噪声获取滤除高频噪声的信号；

当电极片与身体接触时，身体会产生肌电干扰以及各种白噪声，肌电信号和白噪声属于高频信号，其频率一般在5～2000Hz之间。

滤除高频噪声方法：设计一个低通滤波器。

第一归一化单元，用于对所述滤除高频噪声的信号进行归一化处理获取归一化后的ECG信号；

x_norm＝(x-x_min)/(x_max-x_min)

其中x_norm为归一化后的ECG信号，x为所述滤除高频噪声的信号，x_max为所述滤除高频噪声的信号中的最大值、x_min为所述滤除高频噪声的信号中的最小值。

第四滤波单元，用于使用一预设带通滤波器对所述PPG信号进行滤波处理获取带通滤波后的PPG信号；

设计一个带通滤波器，0.5～6Hz。

第二归一化单元，用于对所述带通滤波后的PPG信号归一化处理获取归一化后的PPG信号；

y_norm＝(y-y_min)/(y_max-y_min)

其中y_norm为归一化后的PPG信号，y为所述带通滤波后的PPG信号，y_max为所述带通滤波后的PPG信号中的最大值、y_min为所述带通滤波后的PPG信号中的最小值。

信号质量筛选单元、用于根据归一化后的ECG信号、PPG信号的信号参数和预设条件，判断所述归一化后的ECG信号、PPG信号的质量是否合格，获取合格的ECG信号和合格的PPG信号；

本实施例在对ECG信号及PPG信号的合格的预设判断条件为：

(1)波峰幅度值变化率(ECG阈值：0.5，PPG阈值：0.7)

波峰幅度值变化率＝(下一个波峰幅度值-当前波峰幅度值)/当前波峰幅度值

(2)RR间期变化率(ECG阈值：0.13，PPG阈值：0.15)

RR间期变化率＝(下一个RR间期-当前RR间期)/当前RR间期

具体的信号质量筛选单元进一步包括：

第一筛选单元、用于若归一化后的ECG信号的波峰幅度值变化率小于或等于预设ECG波峰幅度值变化率阈值，并且归一化的ECG信号的RR间期变化率小于或等于预设ECG RR间期变化率阈值，则确定归一化的ECG信号的质量合格。

第二筛选单元、用于若归一化的PPG信号的波峰幅度值变化率小于或等于预设PPG波峰幅度值变化率阈值，并且归一化的PPG信号的RR间期变化率小于或等于预设PPG RR间期变化率阈值，则确定归一化的PPG信号的质量合格。

第一信号特征提取单元，用于对所述ECG信号进行信号特征提取获取所述ECG信号的小波特征、心率特征、及HRV特征；对所述PPG信号进行信号特征提取获取所述PPG信号的第一PPG信号特征；

具体的，所述第一PPG信号特征为心率、RR间期的标准差(SDNN)、相邻RR间期之差的均方根值(RMSSD)、心率变异性的低频功率(LF)、心率变异性的高频功率(HF)、LF/HF、呼吸速率、第一波峰、第一波谷、第二波峰、第二波谷、幅度均值、射血时间、舒张时间、频谱、幅度谱、功率谱密度。

具体的，在另一个实施方式中，即在对所述ECG信号以及PPG信号进行滤波处理的情况下，所述第一信号特征提取单元为：对所述归一化后ECG信号进行信号特征提取获取所述ECG信号的小波特征、心率特征、及HRV特征；对所述归一化后ECG信号PPG信号进行信号特征提取获取所述PPG信号的第一PPG信号特征。

具体的，在另一个实施方式中，即对归一化的ECG信号和PPG信号进行质量筛选的情况下，第一信号特征提取单元为：对所述合格的ECG信号进行信号特征提取获取所述ECG信号的小波特征、心率特征、及HRV特征；对所述合格PPG信号进行信号特征提取获取所述PPG信号的第一PPG信号特征。

具体的，在本实施例中对所述PPG信号进行信号特征提取获取所述PPG信号的第一PPG信号特征一般采用统计分析或者是非卷积神经网络的方式获取所述第一PPG信号特征。

第二信号特征提取单元，用于使用预设的卷积神经网络对所述PPG信号进行信号特征提取获取所述PPG信号的第二PPG信号特征；

在另一个实施方式中，即在对所述ECG信号以及PPG信号进行滤波处理的情况下，所述第二信号特征提取单元为：使用预设的卷积神经网络对所述归一化后的PPG信号进行信号特征提取获取所述PPG信号的第二PPG信号特征。

具体的，在另一个实施方式中，即对归一化的ECG信号和PPG信号进行质量筛选的情况下，第二信号特征提取单元为：使用预设的卷积神经网络对所述合格的PPG信号进行信号特征提取获取所述PPG信号的第二PPG信号特征。

参考图2，本实施例的预设的卷积神经网络CNN包括两对具有激活功能的卷积层和池化层C1、C2、S1和S2。C1包含16个步长为1，大小为3×1的卷积滤波器，因此C1层将输出16个特征图。C1输出在池化层S1中进行降采样，以将特征减少到只有有意义的特征。最大池化层S1用于返回10×1过滤器中的最大值。C2包含64个大小为5×1卷积滤波器，最大池化层S2的大小为5×1。为了避免过拟合，在C1后引入一个批量归一化层，将神经元输入的分布改变为均值为0，方差为1的标准正态分布，解决了梯度消失问题，提高了学习收敛速度。采用整流线性单元作为激活函数，增强了层间的非线性，提高了运行速度。

本实施例通过卷积神经网络提取了更深层次的抽象特征，以弥补由于使用非卷积神经网络不能表示信号的细节，在提取特征时不可避免地会出现信息的丢失。本实施例增加CNN提取PPG信号特征可以丰富特征维度，充分地提取更多的信号特征。

拼接单元、用于将所述ECG信号的小波特征、心率特征、及HRV特征、所述PPG第一信号特征、所述PPG信号第二信号特征进行拼接得到拼接特征数据；

本实施例拼接后的特征数据包括：ECG信号特征、第一PPG信号特征、通过CNN卷积神经网络自动提取的PPG信号特征。

ECG信号通过小波变换后提取的最大值、最小值、均值、方差、信息熵、排列熵；心率的最大值、最小值、均值、方差；心率序列的峰峰值间隔的最大值、最小值、范围大小、方差；

PPG信号提取的心率、RR间期的标准差(SDNN)、相邻RR间期之差的均方根值(RMSSD)、心率变异性的低频功率(LF)、心率变异性的高频功率(HF)、LF/HF、呼吸速率、第一波峰、第一波谷、第二波峰、第二波谷、幅度均值、射血时间、舒张时间、频谱、幅度谱、功率谱密度；

CNN神经网络提取的PPG信号特征F1,F2,...,Fn；

情绪识别单元、用于基于拼接特征数据结合预先训练好的梯度提升决策树GBDT分类器，获取识别到的情绪。

本实施例的GBDT分类器参数：

最大的弱学习器的个数：86(“n_estimators”:86)

叶子节点最少样本数：21(“min_samples_leaf”:21)

最大特征数量：2(“max_features”:2)

决策树的最大深度：7(“max_depth”:7)

具体的，本实施例的识别过程为：接受待识别的信号数据进行滤波、信号质量筛选、特征提取、特征拼接，即本实施例的步骤S1-S4处理后，然后输入到所述训练好的GBDT分类模型中进行情绪识别以获取例如平静、悲伤、快乐等情绪。

参考图3、本实施例的训练过程为：

将拼接后的特征数据输入到梯度提升决策树GBDT中进行建模学习，采用对数损失函数指导训练过程，并通过交叉验证、网格搜索的方式进行多轮学习搜索最佳参数，得到训练好的GBDT分类模型。

本实施例通过卷积神经网络提取了更深层次的抽象特征，以弥补由于使用非卷积神经网络不能表示信号的细节，在提取特征时不可避免地会出现信息的丢失。本实施例增加CNN提取PPG信号特征可以丰富特征维度，充分地提取更多的信号特征。进一步的，本实施例通过对提取的信号特征进行拼接并使用GBDT模型进行识别，以获取情绪。

实施例三

参考图5，图5是本实施例的一种情绪识别设备的结构示意图。该实施例的情绪识别设备20包括处理器21、存储器22以及存储在所述存储器22中并可在所述处理器21上运行的计算机程序。所述处理器21执行所述计算机程序时实现上述方法实施例中的步骤。或者，所述处理器21执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。

示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器22中，并由所述处理器21执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述情绪识别设备20中的执行过程。例如，所述计算机程序可以被分割成实施例二中的各个模块,各模块具体功能请参考上述实施例所述的装置的工作过程，在此不再赘述。

所述情绪识别设备20可包括，但不仅限于，处理器21、存储器22。本领域技术人员可以理解，所述示意图仅仅是情绪识别设备20的示例，并不构成对情绪识别设备20的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述情绪识别设备20还可以包括输入输出设备、网络接入设备、总线等。

所述处理器21可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器21是所述情绪识别设备20的控制中心，利用各种接口和线路连接整个情绪识别设备20的各个部分。

所述存储器22可用于存储所述计算机程序和/或模块，所述处理器21通过运行或执行存储在所述存储器22内的计算机程序和/或模块，以及调用存储在存储器22内的数据，实现所述情绪识别设备20的各种功能。所述存储器22可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

其中，所述情绪识别设备20集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器21执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种情绪识别方法，其包括如下步骤：

S1，获取心电ECG信号和光电容积脉搏波PPG信号；

S2，对所述ECG信号进行信号特征提取获取所述ECG信号的小波特征、心率特征、及HRV特征；对所述PPG信号进行信号特征提取获取所述PPG信号的第一PPG信号特征；

S3，使用预设的卷积神经网络对所述PPG信号进行信号特征提取获取所述PPG信号的第二PPG信号特征；

S4、将所述ECG信号的小波特征、心率特征、及HRV特征、所述PPG第一信号特征、所述PPG信号第二信号特征进行拼接得到拼接特征数据；

S5、基于拼接特征数据结合预先训练好的梯度提升决策树GBDT分类器，获取识别到的情绪。

2.根据权利要求1所述的方法，所述步骤S1还包括：

S11，使用第一预设频率的陷波器滤除所述ECG信号中的工频干扰获取滤除工频干扰的信号；

S12，使用高通滤波器滤除所述滤除工频干扰的信号中的基线漂移获取滤除基线漂移的信号；

S13、使用低通滤波器滤除所述滤除基线漂移的信号中的高频噪声获取滤除高频噪声的信号；

S14、对所述滤除高频噪声的信号进行归一化处理获取归一化后的ECG信号；

S15、使用一预设带通滤波器对所述PPG信号进行滤波处理获取带通滤波后的PPG信号；

S16、对所述带通滤波后的PPG信号归一化处理获取归一化后的PPG信号。

3.根据权利要求2所述的方法，所述步骤S1还包括：

S17、根据归一化后的ECG信号、PPG信号的信号参数和预设条件，判断所述归一化后的ECG信号、PPG信号的质量是否合格，获取合格的ECG信号和合格的PPG信号。

4.根据权利要求3所述的方法，步骤S17还包括：

S171、若归一化后的ECG信号的波峰幅度值变化率小于或等于预设ECG波峰幅度值变化率阈值，并且归一化的ECG信号的RR间期变化率小于或等于预设ECG RR间期变化率阈值，则确定归一化的ECG信号的质量合格；

S172、若归一化的PPG信号的波峰幅度值变化率小于或等于预设PPG波峰幅度值变化率阈值，并且归一化的PPG信号的RR间期变化率小于或等于预设PPG RR间期变化率阈值，则确定归一化的PPG信号的质量合格。

5.根据权利要求1所述的方法，所述预设的卷积神经网络具体为：包括两对具有激活功能的卷积层C1、C2和池化层S1、S2，所述预设的卷积神经网络的激活函数为整流线性单元。

6.一种情绪识别装置，其包括如下单元：

信号获取单元，用于获取心电ECG信号和光电容积脉搏波PPG信号；

第一信号特征提取单元，用于对所述ECG信号进行信号特征提取获取所述ECG信号的小波特征、心率特征、及HRV特征；对所述PPG信号进行信号特征提取获取所述PPG信号的第一PPG信号特征；

第二信号特征提取单元，用于使用预设的卷积神经网络对所述PPG信号进行信号特征提取获取所述PPG信号的第二PPG信号特征；

拼接单元、用于将所述ECG信号的小波特征、心率特征、及HRV特征、所述PPG第一信号特征、所述PPG信号第二信号特征进行拼接得到拼接特征数据；

情绪识别单元、用于基于拼接特征数据结合预先训练好的梯度提升决策树GBDT分类器，获取识别到的情绪。

7.根据权利要求6所述的装置，所述信号获取单元还包括：

第一滤波单元，用于使用第一预设频率的陷波器滤除所述ECG信号中的工频干扰获取滤除工频干扰的信号；

第二滤波单元，用于使用高通滤波器滤除所述滤除工频干扰的信号中的基线漂移获取滤除基线漂移的信号；

第三滤波单元，用于使用低通滤波器滤除所述滤除基线漂移的信号中的高频噪声获取滤除高频噪声的信号；

第一归一化单元，用于对所述滤除高频噪声的信号进行归一化处理获取归一化后的ECG信号；

第四滤波单元，用于使用一预设带通滤波器对所述PPG信号进行滤波处理获取带通滤波后的PPG信号；

第二归一化单元，用于对所述带通滤波后的PPG信号归一化处理获取归一化后的PPG信号。

8.根据权利要求7所述的装置，所述信号获取单元还包括：

信号质量筛选单元、用于根据归一化后的ECG信号、PPG信号的信号参数和预设条件，判断所述归一化后的ECG信号、PPG信号的质量是否合格，获取合格的ECG信号和合格的PPG信号。

9.根据权利要求8所述的装置，步骤信号质量筛选单元还包括：

第一筛选单元、用于若归一化后的ECG信号的波峰幅度值变化率小于或等于预设ECG波峰幅度值变化率阈值，并且归一化的ECG信号的RR间期变化率小于或等于预设ECG RR间期变化率阈值，则确定归一化的ECG信号的质量合格；

第二筛选单元、用于若归一化的PPG信号的波峰幅度值变化率小于或等于预设PPG波峰幅度值变化率阈值，并且归一化的PPG信号的RR间期变化率小于或等于预设PPG RR间期变化率阈值，则确定归一化的PPG信号的质量合格。

10.根据权利要求6所述的装置，所述预设的卷积神经网络具体为：包括两对具有激活功能的卷积层C1、C2和池化层S1、S2，所述预设的卷积神经网络的激活函数为整流线性单元。

11.一种非易失性存储介质，所述非易失性存储介质上存储有指令，所述指令被处理器执行时，用以实现如权利要求1-5中任一项所述的情绪识别方法。

Images