CN109993068B - 一种基于心率和面部特征的非接触式的人类情感识别方法 - Google Patents

Abstract

本发明提供一种基于心率和面部特征的非接触式的人类情感识别方法，它使得系统可以远程识别人类情感。包括步骤：（1）使用图像采集设备（包括RGB色彩和红外线）实时采集图像信息；（2）使用信号分离技术得到特征信号；（3）使用神经网络分析并得出人类情感。本发明结合人类的实时影像，系统可以依赖难以伪装的人类的生物信号识别出人类情感。

Description

一种基于心率和面部特征的非接触式的人类情感识别方法

技术领域

本发明属于情感识别领域，特别涉及一种基于心率和面部特征的非接触式的人类情感识别方法。

背景技术

由于人的情绪可以反映在肤色和心率上，而这些是不容易伪造的，所以通过分析面部数据就可以识别出人的情绪。此外，面部表情因文化和种族而异。因此，很难为不同背景的人制定一个统一的标准。

人工智能识别情感的能力是非常有用的，在医疗行业、服务业，甚至在讯问领域可以发挥重要作用。非接触式方法可以降低被测者的警觉性。如果使用这些相机能够高精度地识别人们的情绪，操作便捷，用户就不会感到不舒服。例如，在医院里，如果医生知道病人的情绪，那么帮助病人恢复得更好。在学校里，如果老师知道学生的情绪，那么他/她可以更好地调整教学节奏。在讯问过程中，警察可以根据犯罪嫌疑人的情绪判断他是否撒谎。

传感器技术和深度学习算法的发展使得基于信息融合的情感感知成为可能。世界上许多研究机构正在进行这方面的研究。情绪感知有多种方式：生物电信号、面部表情、语音、文本和手势。

大多数实验使用生物特征信号来检测情绪。用于检测的主要生物指标是心电图(ECG)、肌电图(EMG)等。ECG方法已被证明是有效的情绪感知方法。Juan Miguel等人。提出一种利用眼动跟踪、生物特征识别和脑电测量装置研究基本情绪和复杂情绪的方法。费迪南多等，从心电图中获得心率变异性(HRV)，以确定情感识别中使用的一些标准特征，并将情绪转换为觉醒价空间。卡特西尼亚尼斯等。提出了一种集成心电和脑电图(EEG)数据的多模态数据库梦想家。参与者在每次刺激后进行自我评估以校正数据库。然而，这种方法通常需要特殊的设备，并且需要与人体直接接触。

发明内容

本发明的目的在于克服现有技术存在的上述不足，提出了基于心率和面部特征的非接触式的人类情感识别方法，它使得系统可以远程识别人类情感。

本发明提供了一种基于心率和面部特征的非接触式的人类情感识别方法，包括如下步骤：

S1、使用RGB色彩和红外线识别心率；

S2、使用小波分析面部特征；

S3、使用神经网络分析心率和面部特征，从而识别出人类情感。

优选地，所述步骤S1具体包括：使用独立成分分析即ICA来匹配视频帧人脸的亮度变化和相应心率信号，ICA是一种基于信号高阶统计特性的信号分析方法，观测到的随机信号服从：

s＝wx

其中x是观测信号矩阵，每个观测信号之间存在统计相关性，在变换矩阵w变换之后，信号矩阵s的各个信号分量之间的相关性降低，采用独立分量分析算法为混合的R、G、B、红外数据解出分离矩阵，其中，ICA的实现形式为特征矩阵的联合逼近对角化即JADE算法，即JADE算法对混合的R，G，B，红外数据提供分离矩阵，JADE算法的目的是计算混合矩阵的逆，它通过四个步骤来描述：

步骤1.形成样本协方差并计算白化矩阵/>

步骤2.形成白化过程的样本四阶累积量/>计算n对最重要的特征对/>

步骤3.通过归一化矩阵对集合/>进行联合对角化；

步骤4.对混合矩阵A的估计是分离后，利用快速傅立叶变换提取信号，找到匹配的心率范围。

优选地，所述步骤S2包括以下步骤：

(1)将获取的含有面部特征信息的视频帧经过裁剪、缩放、滤波、去噪、直方图均衡和灰度均衡，转换成为归一化的标准图像，用于后续特征提取；

(2)(2)将步骤(1)归一化的标准图像分割、缩放出ROI(Region of Interest,感兴趣区域)，ROI由5个面部特征点确定：左眼、右眼、鼻子和左右嘴角5个特征点。再采用小波分析进行图像处理，在小波变换后，提取人脸特征向量F＝f⁽¹⁾,f⁽²⁾,...,f^(m)。这里采用的小波变换用圆高斯包络核函数，该核函数为：

式中i是复数运算符，σ是高斯窗口的宽度与正弦波波长的比值，是一个给定像素的坐标，/>是一个高斯包络函数，/>用来消除Gabor小波变换的图像分量的影响，k是滤波器的中心频率,定义如下：

式中定义小波尺度，/>定义小波方向。

再采用主成分分析(Principal Component Analysis，PCA)算法对人脸面部特征向量F＝f⁽¹⁾,f⁽²⁾,...,f^(m)进行降维，降维到d维空间，具体过程如下：1.对所有人脸面部特征向量进行中心化(去均值操作)：2.计算人脸面部特征向量的协方差矩阵FF^T；3.对协方差矩阵FF^T做特征值分解；4.取最大的d个特征值所对应的特征向量w1,w2,...,wd；5.将原人脸面部特征向量矩阵与投影矩阵相乘：F·W即为降维后数据集F′。其中F为m×n维，W＝{w1,w2,...,wd}为n×d维。

优选地，所述步骤S3包括以下步骤：

(1)将经过步骤S2处理的人脸面部特征向量输入卷积神经网络CNN进行训练和测试；

(2)利用递归神经网络RNN技术，将连续动作N个采集点的心率信号点序列的速度和方向编码为心率图点向量，并将其记录为h_N，RNN使用历史信息，心率信号点向量被记录为h₀；然后RNN将h₀与第二个心率图点向量相结合，生成新的矢量h₁；然后h₁继续结合第三心率图点向量来生成h₂，以此类推，直到矢量h_N；在得到向量后，采用双向长短期记忆网络条件随机场算Bi-LSTM-CRF来识别相关心率信号所代表的情绪；

(3)将经过卷积神经网络输出的面部特征数据和经过递归神经网络输出的心率数据，送到Softmax分类器中以分离数据，所述Softmax分类器将分离的数据映射到相应的情感标签。

图像传感器用于捕捉肤色和心率。然后提取面部数据，包括肤色变化和心率。肤色由CNN处理，心率由RNN和Bi-LSTM-CRF处理。最后将输出结果融合到Softmax中，得到最终的分类结果。

与现有技术相比，本发明具有以下优点和有益效果：

(1)本发明采用图像传感器捕捉连续30秒的肤色和心率数据进行连续情感识别，与人类对情绪的持续感知是一致的，能识别到真实度更高的情感；

(2)本发明对心率的识别是基于视频的，实现了心率的非接触式测量；能够测量出心率的具体值，检测出情感强度，从而实现对情感类别和强度的双重识别；

(3)本发明利用模糊积分将心率和肤色有效地融合到决策层，减少了不可靠决策信息对融合的干扰。

附图说明

图1是基于心率和面部特征的非接触式人类情感识别方法流程图；

图2为图1中使用RGB色彩和红外线识别心率的曲线示例图。

图3是基于RNN-BiLSTM-CRF的面部特征处理流程图。

具体实施方式

以下结合实施例对本发明作进一步详细的描述，但本发明的实施方式不限于此，以下若有未特别详细说明之处，均是本领域技术人员可参照现有技术实现或理解的。

如图1，基于心率和面部特征的非接触式的人类情感识别方法，包括如下步骤：

S1、使用RGB色彩和红外线识别心率。

S2、使用小波分析面部特征。

S3、使用神经网络分析心率和面部特征，从而识别出人类情感。

如图2，所述步骤S1具体包括：

使用独立成分分析即ICA来匹配视频帧人脸的亮度变化和相应心率信号，ICA是一种基于信号高阶统计特性的信号分析方法，观测到的随机信号服从：

s＝wx

其中x是观测信号矩阵，每个观测信号之间存在统计相关性，在变换矩阵w变换之后，信号矩阵s的各个信号分量之间的相关性降低，采用独立分量分析算法为混合的R、G、B、红外数据解出分离矩阵，其中，ICA的实现形式为特征矩阵的联合逼近对角化即JADE算法，即JADE算法对混合的R，G，B，红外数据提供分离矩阵，JADE算法的目的是计算混合矩阵的逆，它通过四个步骤来描述：

步骤1.形成样本协方差并计算白化矩阵/>

步骤2.形成白化过程的样本四阶累积量/>计算n对最重要的特征对/>

步骤3.通过归一化矩阵对集合/>进行联合对角化；

步骤4.对混合矩阵A的估计是分离后，利用快速傅立叶变换提取信号，找到匹配的心率范围。

所述步骤S2包括以下步骤：

经过裁剪、缩放、滤波、去噪、直方图均衡和灰度均衡，将原始图像转换成为归一化的标准图像，用于后续特征提取。将图像分割、缩放成分割、缩放出ROI(Region ofInterest,感兴趣区域)，ROI由5个面部特征点确定：左眼、右眼、鼻子和左右嘴角5个特征点。再采用小波分析进行图像处理，在小波变换后，提取人脸特征向量F＝f⁽¹⁾,f⁽²⁾,...,f^(m)。这里采用的小波变换用圆高斯包络核函数，该核函数为：

式中i是复数运算符，σ是高斯窗口的宽度与正弦波波长的比值，是一个给定像素的坐标，/>是一个高斯包络函数，/>用来消除Gabor小波变换的图像分量的影响，k是滤波器的中心频率,定义如下：

式中定义小波尺度，/>定义小波方向。

再采用主成分分析(Principal Component Analysis，PCA)算法对人脸面部特征向量F＝f⁽¹⁾,f⁽²⁾,...,f^(m)进行降维，降维到d维空间，具体过程如下：1.对所有人脸面部特征向量进行中心化(去均值操作)：2.计算人脸面部特征向量的协方差矩阵FF^T；3.对协方差矩阵FF^T做特征值分解；4.取最大的d个特征值所对应的特征向量w1,w2,...,wd；5.将原人脸面部特征向量矩阵与投影矩阵相乘：F·W即为降维后数据集F′。其中F为m×n维，W＝{w1,w2,...,wd}为n×d维。

所述步骤S3包括以下步骤：

将经过步骤S2处理的人脸面部特征向量输入卷积神经网络CNN进行训练和测试；

接着利用递归神经网络RNN技术，将连续动作N个采集点的心率信号点序列的速度和方向编码为心率图点向量，并将其记录为h_N，RNN使用历史信息，心率信号点向量被记录为h₀；然后RNN将h₀与第二个心率图点向量相结合，生成新的矢量h₁；然后h₁继续结合第三心率图点向量来生成h₂，以此类推，直到矢量h_N；在得到向量后，采用双向长短期记忆网络条件随机场算Bi-LSTM-CRF来识别相关心率信号所代表的情绪；

最后将经过卷积神经网络输出的面部特征数据和经过递归神经网络输出的心率数据，送到Softmax分类器中以分离数据，所述Softmax分类器将分离的数据映射到相应的情感标签。

图像传感器用于捕捉肤色和心率。然后提取面部数据，包括肤色变化和心率。肤色由CNN处理，心率由RNN和Bi-LSTM-CRF处理。最后将输出结果融合到Softmax中，得到最终的分类结果，如图3所示。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (1)

1.一种基于心率和面部特征的非接触式的人类情感识别方法，其特征在于，包括如下步骤：

S1、使用RGB色彩和红外线识别心率；具体包括：使用独立成分分析即ICA来匹配视频帧人脸的亮度变化和相应心率信号，ICA是一种基于信号高阶统计特性的信号分析方法，观测到的随机信号服从：

s＝wx

其中x是观测信号矩阵，每个观测信号之间存在统计相关性，在变换矩阵w变换之后，信号矩阵s的各个信号分量之间的相关性降低，采用独立分量分析算法为混合的R、G、B、红外数据解出分离矩阵，其中，ICA的实现形式为特征矩阵的联合逼近对角化即JADE算法，即JADE算法对混合的R，G，B，红外数据提供分离矩阵，JADE算法的目的是计算混合矩阵的逆，它通过四个步骤来描述：步骤1.形成样本协方差并计算白化矩阵/>

步骤2.形成白化过程的样本四阶累积量/>计算n对最重要的特征对

步骤3.通过归一化矩阵对集合/>进行联合对角化；

步骤4.对混合矩阵A的估计是分离后，利用快速傅立叶变换提取信号，找到匹配的心率范围；

S2、使用小波分析面部特征；具体包括以下步骤：

(1)将获取的含有面部特征信息的视频帧经过裁剪、缩放、滤波、去噪、直方图均衡和灰度均衡，转换成为归一化的标准图像，用于后续特征提取；

(2)将步骤(1)归一化的标准图像分割、缩放出ROI(Region of Interest,感兴趣区域)，ROI由5个面部特征点确定：左眼、右眼、鼻子和左右嘴角5个特征点；再采用小波分析进行图像处理，在小波变换后，提取人脸特征向量F＝f⁽¹⁾,f⁽²⁾,…,f^(m)；这里采用的小波变换用圆高斯包络核函数，该核函数为：

式中i是复数运算符，σ是高斯窗口的宽度与正弦波波长的比值，是一个给定像素的坐标，/>是一个高斯包络函数，/>用来消除Gabor小波变换的图像分量的影响，k是滤波器的中心频率,定义如下：

式中定义小波尺度，/>定义小波方向；

再采用主成分分析(Principal Component Analysis，PCA)算法对人脸面部特征向量F＝f⁽¹⁾,f⁽²⁾,…,f^(m)进行降维，降维到d维空间，具体过程如下：1)对所有人脸面部特征向量进行中心化：2)计算人脸面部特征向量的协方差矩阵FF^T；3)对协方差矩阵FF^T做特征值分解；4)取最大的d个特征值所对应的特征向量w1,w2,...,wd；5)将原人脸面部特征向量矩阵与投影矩阵相乘：F·W即为降维后数据集F',其中F为m×n维，W＝{w1,w2,...,wd}为n×d维；

S3、使用神经网络分析心率和面部特征，从而识别出人类情感。