CN109670406B - 一种结合心率与面部表情面向游戏用户的非接触式情感识别方法 - Google Patents

Abstract

本发明提供一种结合心率与面部表情面向游戏用户的非接触式情感识别方法，包括步骤：（1）信息采集：采集玩家的面部信息；（2）心率训练：计算玩家的心率频率范围，识别心率包含的情感，最后实现心率模式的分类；（3）面部表情训练：对采集到的人脸视频帧实时分割出ROI，接着进行Gabor特征提取和LDA降维，再融合成的强分类器实现面部表情的分类；(4)情感判定：对玩家的情感初步判断；再利用模糊积分融合心率和面部表情进行情感判定。本发明只需Kinect2的摄像头可完成对玩家面部信息的非侵入式采集，另外红外摄像头保证输入信息不受光照条件影响，给游戏开发者提供有用的经验，从而设计出最大化用户体验的游戏。

Description

一种结合心率与面部表情面向游戏用户的非接触式情感识别 方法

技术领域

本发明属于情感识别领域，特别涉及一种结合心率与面部表情面向游戏用户的非接触 式情感识别方法。

背景技术

游戏由于呈现的消息具有互动性和有趣性而吸引了越来越多的用户，游戏的主要目标 就是为用户提供情感体验，如乐趣和兴奋等，而情感识别能够得到用户在游戏过程中的实 时情感来调整游戏难度或内容从而保证用户的参与度，以增强游戏体验。目前情感识别主要通过两种途径实现，一是通过获取被测试对象的情感行为，如面部表情，面部微动作， 语音等；二是通过检测被测试对象的生理信号，如心率、心率变异性等。然而，人的表情可以受到自身控制，仅依靠表情判断其情感状态的真实性和可靠性较低。通常生理信号不受主观意识支配，用来进行情感识别更具客观性。研究表明结合面部信息与生理信号能得到更好的识别效果。对游戏用户进行情感识别，需要做到不干扰用户的游戏进程以保持他/她的参与度从而得到用户的真实情感。一方面目前大量的情感识别方法都是侵入式的，导致被测者产生一定的心理负担，使识别结果与被测者真实的情感有所偏差；另一方面人的情感是通过持续的方式感知的，因此以连续的方式判别人的情感更为准确。

发明内容

本发明的目的在于获得用户的真实情感以及时调整游戏的行为以最大化用户的娱乐 或学习，提出了一种结合心率与面部表情面向游戏用户的非接触式情感识别方法，包括心 率的频率计算和模式分类，人脸面部表情的识别以及融合心率与面部表情的情感判定，它可以实现对“兴奋”、“愤怒”、“悲伤”、“平静”四种情绪的非接触式识别并达到了87.3％ 的平均识别准确率，同时心率频率反映了情感的强烈程度。

一种结合心率与面部表情面向游戏用户的非接触式情感识别方法，包括心率的频率计 算和模式分类，人脸面部表情的识别以及融合心率与面部表情的情感判定；该方法包括如 下步骤：

S1.信息采集阶段：使用Kinect 2的RGB(red-green-blue)颜色摄像头和红外摄像头采集玩 家的面部信息；

S2.心率训练阶段：对采集的RGB数据和红外数据利用JADE(Joint ApproximationDiagonalization of Eigen-matrices，特征矩阵联合相似对角化)算法和FFT(FastFourier Transform，快速傅里叶变换)计算出玩家的心率频率范围，再通过RNN(RecurrentNeural Network，递归神经网络)和Bi-LSTM-CRF(Bidirectional Long and Short TermMemory Network Conditional Random Field，双向长短期记忆网络条件随机场)识别心率包含的情感， 最后通过Softmax分类器实现心率模式的分类；

S3.面部表情训练阶段：利用Kinect AMM算法对采集到的人脸视频帧实时分割出ROI(Region of Interest，感兴趣区)，接着对经过预处理的ROI进行Gabor函数特征提取和LDA(Linear Discriminant Analysis，线性判别分析)降维，再通过SVM(support vectormachine，支持向量机)和Adaboost(迭代算法)融合成的强分类器实现面部表情的分类；S4.情感判定阶段：先利用心率频率和面部表情识别结果根据情感判定规则(如表1所示)对玩家的情感进行初步判断，提前检测最终识别情感的正确性；再利用模糊积分融合心率和面部表情进行情感判定。

表1情感判定规则

进一步的，所述步骤S1具体包括：待玩家(身体状况良好)的心率趋于正常值后，玩家在环境光条件下保持身体正直坐于电脑前进行游戏，玩家位于Kinect2的检测范围内同时保持玩家的面部能被Kinect2的摄像头捕捉到，使用RGB颜色摄像头和红外摄像头 以30fps(frame per second，帧/秒)的工作频率，连续采集玩家30秒内的面部信息。

进一步的，所述步骤S2包括以下步骤：对从RGB和红外四个通道采集到数据的信号进行归一化，再使用JADE算法对四个通道信号的归一化值进行独立分量分析实现信号的分离，独立分量分析的步骤如下所示：

①形成样本协方差

并计算出白化矩阵/>

②形成白化过程

的样本四阶累积量/>

计算n对最重要的特征对

③通过归一化矩阵

对集合/>

进行联合对角化；

④可以估计

再对经过分离的四个独立分量信号调用FFT得到匹配的心率频率范围。我们使用RNN 将具有速度和方向的连续动作心率信号点序列(N个采集点)编码为矢量并将其记录为{h_N}。当前的输出是由视频序列、当前输入和先前状态确定的。一般情况下，假定当前 给定的输入由下列等式表示：x＝{x₁,x₂,…,x_t,…,x_T},在这个方程中，t代表第t帧，T代表 总帧数。我们可以得到：

h_t＝σ_h(W_xhx_t+W_hhh_t-1+b_h)

式中h_t表示隐藏层在t时刻的输出，W_xh表示代表从输入层到隐藏层的权重矩阵，W_hh表示 来自隐藏层的权重矩阵，b_h表示隐藏层的偏差，σ_h表示激活函数，最后我们可以得出下式：

y_t＝σ_y(W_hoh_t+b_o)

式中y_t表示第t个序列的预测标签，W_ho表示从隐藏层到输出的权重矩阵，b_o代表了输出的 偏差，σ_y表示激活函数。

除了外部RNN循环，LSTM还具有内部“LSTM细胞”循环(自循环)。因此，LSTM不 会简单地将非线性元素应用于输入和循环单元的变换。然而，自循环本身的权重(或相关 的时间常数)由遗忘门

(时间t和细胞i)控制，并且权重由sigmoid函数设置为0和 1：

式中x^(t)是当前的输入矢量，h^(t)是当前隐藏层的矢量并且包含LSTM细胞的所有输出，b^f,U^f和W^f分别为偏置，输入权重和遗忘门的循环权重。因此，LSTM细胞的内部状态如下更 新，其中存在条件自环权重

式中b,U和W分别是LSTM细胞中遗忘门的偏差，输入权重和循环权重，外部输入门单 元

类似于遗忘门(用sigmoid函数设置一个介于0和1之间的值)但具有其自身的参数。

LSTM细胞的输出

也可以由输出门/>

关闭(sigmoid是输出门/>

的门控制)：

式中b°,U°和W°分别是偏置，输入权重和遗忘门的循环权重，在b°,U°和W°这些变量中， 你可以选择使用细胞状态

作为附加输入(及其权重)并进入单元i的输入门，遗忘门， 输出门；尽管LSTM可以捕获长期序列信息，但它只考虑一个方向，即LSTM中的当前 帧仅受当前状态的影响，为了加强心率序列的双边关系，即处理当前帧时也考虑下一帧。 Bi-LSTM包括前向LSTM和后向LSTM，最终输出结果可以由以下公式得出：

y_t＝σ(h_t)

式中

表示前向LSTM层的输出，前向LSTM层将从x₁到x_T的序列作为输入，/>

表示后向LSTM层的输出，前向LSTM层将从x_T到x₁的序列作为输入，α和β表示前向LSTM 和后向LSTM的重要性(α+β＝1)，h_t表示两个Softmax函数/>

的元素总和，y_t表示 预测标签。由于Bi-LSTM可以捕获更多结构信息，因此它比单向LSTM的性能更好。再利用CRF(conditional random field algorithm，条件随机场算法)对输出结果进行优化， CRF更关注整个序列的局部特征的线性加权组合(通过特征模板扫描整个序列)，关键点 是CRF的模型是p(y|x,w)，是对序列y＝(y1,y2,...,yn)进行优化，而不是特定时间点的序列y_t, 当y＝(y1,y2,...,yn|x,w)取最大值时便可找到具有最高概率的序列y＝(y1,y2,...,yn)。p(y|x,w) 代表一个联合概率并优化整个序列(最终目标)，而不是每次最佳拼接。最后，CRF的 输出结果被融合到Softmax中以获得最终的分类结果。

进一步的，所述步骤S3包括以下步骤：利用Kinect AMM算法对捕捉的人脸图像帧实时分割出ROI，ROI由5个面部特征点确定：左眼、右眼、鼻子和左右嘴角5个特征点； 再对ROI进行图像灰度化，几何归一化，图像滤波这些预处理，成为归一化的标准图像， 再用圆形高斯包络Gabor小波变换对标准图像进行特征提取，Gabor小波变换的内核函数定义如下：

式中i是复数运算符，σ是高斯窗口的宽度与正弦波波长的比值，

是一个给定像素的坐 标，/>

是一个高斯包络函数，/>

用来消除Gabor小波变换的图像分量的 影响，k是滤波器的中心频率,定义如下：

式中

定义小波尺度，/>

定义小波方向。

再采用线性鉴别分析算法进行降维，LDA算法可以从高维特征空间里提取出最具有判 别能力的低维特征，这些特征能帮助将同一个类别的所有样本聚集在一起，并将不同类的 样本尽量地分开，即选择使得样本类间离散度和样本类内离散度的比值最大的特征。LDA 算法如下：设一组训练样本的列矢量集为：

其中:N_i为第 i类训练样本的个数；C为训练样本的类别数目。假设每类的先验概率为P_i，每类训练样本的平均矢量为u_i，所有训练样本的平均矢量为u，则类内散射矩阵S_w和类间散射矩阵S_b。分别为：

定义训练样本的类间与类内距离之比为：

LDA的目标就是要求出J(W_L)取最大值时对应的特征向量。因此，对J(W_L)按变量W_L求 导并令其为∧，即可得出所要求的W_L，W_L也可由如下等式求出。

S_bW_L＝S_wW_L∧

人脸图像帧经过Gabor的特征提取和LDA的降维后，需要对其进行分类才能得到面部表情识别结果。SVM的基本思想是将训练样本经非线性变换映射到另一高维空间中， 在变换后的高维空间内寻找一个最优的分界面，不但能将训练样本无错误或接近无错误分开，而且使类与类之间的间隙最大化，利用SVM的优势可以解决小样本数据的分类问题， 但对于新增训练样本的分类，往往需要借助较为复杂的算法提高其准确度。AdaBoost训 练以分类最小错误率为标准，不断加大分类错误类别的权值，经过T次迭代，逐渐加强分类器的分类能力，对SVM有较好的的提升效果。

假设有两类训练样本m个，在某维空间Rⁿ线性可分，则将训练样本分开的平面(超平 面)满足：

w·x+b＝0,w∈Rⁿ

在满足条件的超平面中，找到能较好分开两类训练样本且错误率较小的平面，即

式中：ξ为松弛变量，C为使用者选定的正参数，求出最优解w^*和b^*，得到SVM的决策函 数：

式中，

是Lagrange乘子，y_i是类别标识，取一1或1。由此可以看到该决策函数只与训 练和测试样本的内积有关。若线性不可分，把低维空间映射到高维，根据泛函相关知识，用核函数K(x,y)可很好地表示内积，则决策函数改写为

本发明采用的核函数是径向基核函数：K(x_i,x)＝exp(-‖x_i-x_j‖²/2σ²)，由于只有一个参数， 可降低计算复杂度。将SVM推广到多类，在每一对类别之间都训练一个SVM，按照投票方式得出结果。再利用AdaBoost训练加强SVM分类器的分类能力。首先归一化各个 SVM分类器的权重：

对每个分类器h_j(x)计算错误率ε_j：

ε_j＝∑_jw_j|h_j(x)-y_j|

式中y_j是训练样本，在计算的所有错误率中求出最小错误率ε_min，若分类错误，按下式更 新权重：

经过T次上述更新权重的步骤后，错误率小的分类器被赋以较小的权值，错误率高的 分类器被赋以较大的权值，从而提升了分类器的分类能力，进而使得识别率得到有效的提 高。

所述步骤S4包括以下步骤：

首先利用心率频率和面部表情识别结果根据情感判定规则(如表1所示)对玩家的情 感进行初步判断,提前检测最终识别情感的正确性；再利用模糊积分将两种不同模态的决 策信息(心率和面部表情)进行融合，得到最终的情感识别结果，模糊积分的关键是模糊密度的确定和判决模糊密度刻画分类器在融合过程中的重要性，本发明利用训练样本先验静态信息结合各传感器判决包含的动态信息对模糊密度进行自适应动态赋值，原理如下：

设总共有N个传感器{s₁，s₂，…，s_N}，M类目标{w₁，w₂，…，w_M},对一待 识别目标x，传感器s_i输出的识别结果D_i(x)＝[d_i1(x),d_i2(x),…,d_iM(x)]是目标x属于各 类目标的信度,利用Sugeno模糊积分进行融合，对模糊密度进行自适应动态赋值的过程如 下：

(1)根据各传感器对训练样本的识别结果对每个传感器定义一个系a_i(x)，a_i(x)表示了传 感器s_i对目标x的识别结果的置信度系数,反映了目标x在传感器s_i的特征空间中处于非重 叠区域的可能性；

其中

(2)模糊密度

表示在判决目标属于类别w_j时传感器s_i的重要性。我们采用基 于混淆矩阵确定各传感器模糊密度，对于M类目标，传感器s_i的归一化混淆矩阵是一M×M 矩阵/>

其中/>

表示传感器s_i将训练样本中第k类目标识别为第l类的比率， 得到模糊密度/>

如下式所示：

根据训练样本采用式(2)对各传感器的模糊密度确定初始值，设为

i＝1,2,…,N,j＝1,2,…,M。

(3)对待识别目标x，根据各传感器识别结果利用式(1)计算各传感器的系数a_i(x)；

(4)将各传感器模糊密度的初始值乘于各自对应的系数a_i(x)作为对目标x进行融合识别 时各传感器的模糊密度

即/>

数值越低，则相应传感器对目标x的 识别结果的置信度越低，对目标x进行融合识别时，该传感器的重要性越低。

本发明相对于现有技术具有如下的优点及效果：

本发明提出了一种结合心率与面部表情面向游戏用户的非接触式情感识别方法，用 Kinect2的RGB颜色摄像头和红外摄像头实现了玩家面部信息的非接触式采集并且红外摄像头减少了光照条件的干扰，融合了心率与面部表情提高了情感识别的准确度和可靠性， 对玩家进行连续30秒的情感识别符合人的情感被持续感知的特点，这些都增强了情感识 别结果的真实性，它可以实现对“兴奋”、“愤怒”、“悲伤”、“平静”四种情绪的非接触式识别并达到了较高的平均识别准确率，同时心率频率反映了情感的强烈程度。

附图说明

图1是面向游戏评估结合心率与面部表情的非接触式情感识别方法流程图。

具体实施方式

以下结合实施例对本发明作进一步详细的描述，但本发明的实施方式不限于此，以下 若有未特别详细说明之处，均是本领域技术人员可参照现有技术实现或理解的。

一种结合心率与面部表情面向游戏用户的非接触式情感识别方法，包括如下步骤：

S1.信息采集阶段：使用Kinect 2的RGB(red-green-blue)颜色摄像头和红外摄像头采集玩 家的面部信息；

S2.心率训练阶段：对采集的RGB数据和红外数据利用JADE(Joint ApproximationDiagonalization of Eigen-matrices)算法和FFT(Fast Fourier Transform)计算出玩家的心率频率范围，再通过RNN(Recurrent Neural Network)和Bi-LSTM-CRF(BidirectionalLong and Short Term Memory Network Conditional Random Field)识别心率包含的情感，最后通过 Softmax实现心率模式的分类；

S3.面部表情训练阶段：利用Kinect AMM算法对采集到的人脸视频帧实时分割出ROI(Region of Interest)，接着对经过预处理的ROI进行Gabor特征提取和LDA(LinearDiscriminant Analysis)降维，再通过SVM(support vector machine)+Adaboost融合成的强分 类器实现面部表情的分类；

S4.情感判定阶段：先利用心率频率和面部表情识别结果根据我们的情感判定规则(如表 1所示)对玩家的情感进行初步判断，提前检测最终识别情感的正确性；再利用模糊积分 融合心率和面部表情进行情感判定。

所述步骤S1具体包括：

待玩家(身体状况良好)的心率趋于正常值后，玩家在环境光条件下保持身体正直坐 于电脑前进行游戏，玩家位于Kinect2的检测范围内同时保持玩家的面部能被Kinect2的 摄像头捕捉到，使用RGB颜色摄像头和红外摄像头以50fps(frame per second)的工作频率连续采集玩家30秒内的面部信息。

进一步的，所述步骤S2包括以下步骤：对从RGB和红外四个通道采集到的数据信号进行归一化，再使用JADE算法对其进行独立分量分析实现信号的分离，独立分量分析 的步骤如下所示：

①形成样本协方差

并计算出白化矩阵/>

②形成白化过程

的样本四阶累积量/>

计算n对最重要的特征对

③通过归一化矩阵

对集合/>

进行联合对角化；

④可以估计

再对经过分离的四个独立分量信号调用FFT得到匹配的心率频率范围。我们使用RNN 将具有速度和方向的连续动作心率信号点序列(N个采集点)编码为矢量并将其记录为{h_N}。当前的输出是由视频序列、当前输入和先前状态确定的。一般情况下，假定当前 给定的输入由下列等式表示：x＝{x₁,x₂,…,x_t,…,x_T},在这个方程中，t代表第t帧，T代表 总帧数。我们可以得到：

h_t＝σ_h(W_xhx_t+W_hhh_t-1+b_h)

式中h_t表示隐藏层在t时刻的输出，W_xh表示代表从输入层到隐藏层的权重矩阵，W_hh表示 来自隐藏层的权重矩阵，b_h表示隐藏层的偏差，σ_h表示激活函数，最后我们可以得出下式：

y_t＝σ_y(W_hoh_t+b_o)

式中y_t表示第t个序列的预测标签，W_ho表示从隐藏层到输出的权重矩阵，b_o代表了输出的 偏差，σ_y表示激活函数。

除了外部RNN循环，LSTM还具有内部“LSTM细胞”循环(自循环)。因此，LSTM不 会简单地将非线性元素应用于输入和循环单元的变换。然而，自循环本身的权重(或相关 的时间常数)由遗忘门

(时间t和细胞i)控制，并且权重由sigmoid函数设置为0和1：

式中x^(t)是当前的输入矢量，h^(t)是当前隐藏层的矢量并且包含LSTM细胞的所有输出，b^f,U^f和W^f分别为偏置，输入权重和遗忘门的循环权重。因此，LSTM细胞的内部状态如下更 新，其中存在条件自环权重

式中b,U和W分别是LSTM细胞中遗忘门的偏差，输入权重和循环权重，外部输入门单 元

类似于遗忘门(用sigmoid函数设置一个介于0和1之间的值)但具有其自身的参数。

LSTM细胞的输出

也可以由输出门/>

关闭(用sigmoid控制门)：

式中b°,U°和W°分别是偏置，输入权重和遗忘门的循环权重，在b°,U°和W°变量中，你可 以选择使用细胞状态

作为附加输入(及其权重)并进入单元i的输入门，遗忘门，输出门；尽管LSTM可以捕获长期序列信息，但它只考虑一个方向，即LSTM中的当前帧 仅受当前状态的影响，我们希望加强心率序列的双边关系，即处理当前帧时也考虑下一帧。 Bi-LSTM包括前向LSTM和后向LSTM，因此适用于此场景，最终输出结果可以由以下 公式得出：

y_t＝σ(h_t)

式中

表示前向LSTM层的输出，前向LSTM层将从x₁到x_T的序列作为输入，/>

表示后 向LSTM层的输出，前向LSTM层将从x_T到x₁的序列作为输入，α和β分别表示前向 LSTM和后向LSTM的重要性(α+β＝1)，h_t表示两个/>

函数的元素总和，y_t表示预测标签。由于Bi-LSTM可以捕获更多结构信息，因此它比单向LSTM的性能 更好。再利用CRF对输出结果进行优化，CRF更关注整个句子的局部特征的线性加权组 合(通过特征模板扫描整个序列)，关键点是CRF的模型是p(y|x,w)，是对序列 y＝(y1,y2,...,yn)进行优化，而不是特定时间点的序列y_t，当y＝(y1,y2,...,yn|x,w)取最大值时可 找到具有最高概率的序列y＝(y1,y2,...,yn)。p(y|x,w)代表一个联合概率并优化整个序列(最 终目标)，而不是每次最佳拼接。最后，CRF的输出结果被融合到Softmax中以获得最 终的分类结果。

所述步骤S3包括以下步骤：

利用Kinect AMM算法对捕捉的人脸图像帧实时分割出ROI，ROI由5个面部特征点确定：左眼、右眼、鼻子和左右嘴角5个特征点；再对ROI进行图像灰度化，几何归一化，图像滤波预处理，使图像成为归一化的标准图像，再用圆形高斯包络Gabor小波变换 进行特征提取，Gabor小波变换的内核函数定义如下：

式中i是复数运算符，σ是高斯窗口的宽度与正弦波波长的比值，

是一个给定像素的坐 标，/>

是一个高斯包络函数，/>

用来消除Gabor小波变换的图像分量的 影响，k是滤波器的中心频率,定义如下：

式中

定义小波尺度，/>

定义小波方向。

再采用线性鉴别分析(Linear Discriminant Analysis，LDA)算法进行降维，LDA算 法可以从高维特征空间里提取出最具有判别能力的低维特征，这些特征(左右眼，鼻子，左右嘴角)能帮助将同一个类别的所有样本聚集在一起，别的样本尽量地分开，即选择使得样本类间离散度和样本类内离散度的比值最大的特征。LDA算法如下：设一组训练样 本的列矢量集为：

其中:N_i为第i类训练样本的个数；C 为训练样本的类别数目。假设每类的先验概率为P_i，每类训练样本的平均矢量为u_i，所有 训练样本的平均矢量为u，则类内散射矩阵S_w和类间散射矩阵S_b分别为：

定义训练样本的类间与类内距离之比为：

LDA的目标就是要求出J(W_L)取最大值时对应的特征向量。因此，对J(W_L)按变量W_L求 导并令其为∧，即可得出所要求的W_L，就是满足如下等式的解。

人脸图像帧经过Gabor的特征提取和LDA的降维后，需要对其进行分类才能得到面部表情识别结果。SVM的基本思想是将训练样本经非线性变换映射到另一高维空间中， 在变换后的高维空间内寻找一个最优的分界面，不但能将训练样本无错误或接近无错误分开，而且使类与类之间的间隙最大化，利用SVM的优势可以解决小样本数据的分类问题，但对于新增样本的分类，往往需要借助较为复杂的算法提高其准确度。AdaBoost训练以 分类最小错误率为标准，不断加大分类错误类别的权值，经过T次迭代，逐渐加强分类 器的分类能力，对SVM有较好的的提升效果。

假设有两类训练样本m个，在某维空间Rⁿ线性可分，则将训练样本分开的平面(超平 面)满足：

w·x+b＝0,w∈Rⁿ

在满足条件的超平面中，找到能较好分开两类样本且错误率较小的平面，即

式中：ξ为松弛变量，C为使用者选定的正参数，求出最优解w^*和b^*，得到SVM的决策函 数：

式中，

是Lagrange乘子，y_i是类别标识，取一1或1。由此可以看到该决策函数只与训 练和测试样本的内积有关。若线性不可分，把低维空间映射到高维，根据泛函相关知识，用核函数K(x,y)可很好地表示内积，则决策函数改写为

本发明采用的核函数是径向基核函数：K(x_i,x)＝exp(-‖x_i-x_j‖²/2σ²)，由于只有一个参数， 可降低计算复杂度。将SVM推广到多类，在每一对类别之间都训练一个SVM，按照投票方式得出结果。再利用AdaBoost训练加强SVM分类器的分类能力。首先归一化各个 SVM分类器的权重：

对每个分类器h_j(x)计算错误率ε_j：

ε_j＝∑_jw_j|h_j(x)-y_j|

式中y_j是训练样本，在计算的所有错误率中求出最小错误率ε_min，若分类错误，按下式更 新权重：

经过T次上述更新权重的步骤后，错误率小的分类器被赋以较小的权值，错误率高的 分类器被赋以较大的权值，从而提升了分类器的分类能力，进而使得识别率得到有效的提 高。

所述步骤S4包括以下步骤：

首先利用心率频率和面部表情识别结果根据情感判定规则(如表1所示)对玩家的情 感进行初步判断,提前检测最终识别情感的正确性；再利用模糊积分将两种不同模态的决 策信息(心率和面部表情)进行融合，得到最终的情感识别结果，模糊积分的关键是模糊密度的确定和判决模糊密度刻画分类器在融合过程中的重要性，本发明利用训练样本先验静态信息结合各传感器判决包含的动态信息对模糊密度进行自适应动态赋值，原理如下：

设总共有N个传感器{s₁，s₂，…，s_N}，M类目标{w₁，w₂，…，w_M},对一待 识别目标x，传感器s_i输出的识别结果D_i(x)＝[d_i1(x),d_i2(x),…,d_iM(x)]是目标x属于各 类目标的信度,利用Sugeno模糊积分进行融合，对模糊密度进行自适应动态赋值的过程如 下：

(1)根据各传感器对训练样本的识别结果对每个传感器定义一个系a_i(x)，a_i(x)表示了传 感器s_i对目标x的识别结果的置信度系数,反映了目标x在传感器s_i的特征空间中处于非重 叠区域的可能性；

其中

(2)模糊密度

表示在判决目标属于类别w_j时传感器s_i的重要性。我们采用基 于混淆矩阵确定各传感器模糊密度，对于M类目标，传感器s_i的归一化混淆矩阵是一M×M 矩阵/>

其中/>

表示传感器s_i将训练样本中第k类目标识别为第l类的比率， 得到模糊密度/>

如下式所示：

根据训练样本采用式(2)对各传感器的模糊密度确定初始值，设为

i＝1,2,…,N,j＝1,2,…,M。

(3)对待识别目标x，根据各传感器识别结果利用式(1)计算各传感器的系数a_i(x)；

(4)将各传感器模糊密度的初始值乘于各自对应的系数a_i(x)作为对目标x进行融合识别 时各传感器的模糊密度

即/>

表示的含义是传感器对目标x的识别结 果的置信度越低，对目标x进行融合识别时，该传感器的重要性越低。

经过步骤S1，S2，S3，S4后，结合心率与面部表情面向游戏用户的非接触式情感识别方法在实验测试中得到如表2所示的识别准确率。

表2四种情感的识别准确率

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制， 其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均 应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (4)

1.一种结合心率与面部表情面向游戏用户的非接触式情感识别方法，其特征在于，该方法包括如下步骤：

S1.信息采集阶段：使用Kinect 2的RGB颜色摄像头和红外摄像头采集玩家的面部信息；

S2.心率训练阶段：对采集的RGB数据和红外数据利用JADE算法和FFT计算出玩家的心率频率范围，再通过RNN和Bi-LSTM-CRF识别心率包含的情感，最后通过Softmax实现心率模式的分类；包括以下步骤：

对从RGB和红外四个通道采集到的数据进行归一化，再使用JADE算法对四个通道的归一化值进行独立分量分析实现信号的分离，独立分量分析的步骤如下所示：

(1)求出观察信号的样本协方差

并计算出白化矩阵/>

x是由来自四个通道信号组成观察信号矩阵；

(2)形成白化过程

的样本四阶累积量/>

x(t)是某一时刻的观测信号矩阵；计算n对最重要的特征对的集合/>

r表示第r个特征对，n表示特征对总数；

(3)通过归一化矩阵

对集合/>

进行联合对角化；

(4)估计混合矩阵

再对经过分离的四个独立分量信号调用FFT得到匹配的心率频率范围；使用RNN将具有速度和方向的连续动作心率信号点序列即N个采集点编码为矢量并记录为{h_N}，当前的输出是由视频序列、当前输入和先前状态确定的；假定当前给定的输入由下列等式表示：x＝{x₁，x₂，...，x_t，...，x_T},等式中的t代表第t帧，T代表总帧数，得到：

h_t＝σ_h(W_xhx_t+W_hhh_t-1+b_h)

式中x代表输入信号向量，h，hh均代表隐藏层，h_t表示隐藏层在t时刻的输出，W_xh表示代表从输入层到隐藏层的权重矩阵，W_hh表示来自隐藏层的权重矩阵，b_h表示隐藏层的偏差，σ_h表示隐藏层的激活函数，最后得出下式：

y_t＝σ_y(W_hoh_t+b_o)

式中o表示输出，y_t表示第t个序列的预测标签，W_ho表示从隐藏层到输出的权重矩阵，b_o代表了输出的偏差，σ_y表示预测标签的激活函数；

除了外部RNN循环，长短期记忆网络(LSTM)还具有内部LSTM细胞循环即自循环；自循环的权重或时间常数，由遗忘门

控制，并且权重由sigmoid函数设置为0和1，S型生长曲线，记作σ：

式中t表示第t个时刻，i表示第i个细胞，f表示遗忘门，σ代表sigmoid函数，x^(t)是当前的输入矢量，h^(t)是当前隐藏层的矢量并且包含LSTM细胞的所有输出，b^f，U^f和W^f分别为偏置，输入权重和遗忘门的循环权重；j为输入门和遗忘门的循环次数，LSTM细胞的内部状态如下更新，其中存在条件自环权重

式中b，U和W分别是LSTM细胞中遗忘门的偏差，输入权重和循环权重，h代表隐藏层，外部输入门单元

用sigmoid函数设置一个介于0和1之间的值且具有自身的参数：

通过输出门

sigmoid函数控制输出门/>

来关闭LSTM细胞的输出/>

式中b^o，U^o,和W^o分别是偏置、输入权重和遗忘门的循环权重，在b^o，U^o和W^o这些变量中，使用细胞状态

作为附加输入及细胞的权重进入单元i的输入门，遗忘门，输出门；/>

表示在t时刻第j次循环的输入信号，所述LSTM当前帧仅受当前状态的影响，处理当前帧时需要考虑下一帧，Bi-LSTM包括前向LSTM和后向LSTM，最终输出结果由以下公式得出：

y_t＝σ(h_t)

式中f表示前向LSTM层，b表示后向LSTM层，前向LSTM层把从x₁到x_T的序列作为输入，

表示前向LSTM层的输出，后向LSTM层把从x_T到x₁的序列作为输入，/>

表示后向LSTM层的输出；α和β分别表示前向LSTM和后向LSTM的重要性，α+β＝1；h_t表示/>

和/>

两个Softmax函数的元素总和，y_t表示预测标签；再利用CRF对输出结果进行优化，CRF的模型为p(y|x,w)，p(y|x,w)代表一个联合概率并以优化整个序列为最终目标；CRF对序列y＝(y1,y2,...,yn)进行优化，当y＝(y1,y2,...,yn|x,w)取最大值时可以找到具有最高概率y＝(y1,y2,...,yn)的序列；最后，CRF的输出结果被融合到Softmax分类器中以获得最终的分类结果；

S3.面部表情训练阶段：利用基于Kinect的主动外观模型(Kinect AMM)算法对采集到的人脸视频帧实时分割出ROI，接着对经过预处理的ROI进行Gabor函数特征提取和LDA降维，再通过SVM和Adaboost融合成的强分类器实现面部表情的分类；

S4.情感判定阶段：先利用心率频率和面部表情识别结果根据情感判定规则对玩家的情感进行初步判断，提前检测最终识别情感的正确性；再利用模糊积分融合心率和面部表情进行情感判定。

2.根据权利要求1所述的一种结合心率与面部表情面向游戏用户的非接触式情感识别方法，其特征在于，所述步骤S1具体包括：

待玩家的心率趋于正常值后，玩家在环境光条件下保持身体正直坐于电脑前进行游戏，玩家位于Kinect2的检测范围内同时保持玩家的面部能被Kinect2的摄像头捕捉到，使用RGB颜色摄像头和红外摄像头以设定的工作频率30fps，连续采集玩家30秒内的面部信息。

3.根据权利要求1所述的一种结合心率与面部表情面向游戏用户的非接触式情感识别方法，其特征在于，所述步骤S3包括以下步骤：

利用Kinect AMM算法对捕捉的人脸图像帧实时分割出ROI，ROI由5个面部特征点确定：左眼、右眼、鼻子和左右嘴角5个特征点；再对ROI进行图像灰度化、几何归一化、图像滤波预处理，使ROI成为归一化的标准图像，再用圆形高斯包络Gabor小波变换对归一化的标准图像进行特征提取，Gabor小波变换的内核函数定义如下：

式中i是复数运算符，j代表第j个特征分量值，σ是高斯窗口的宽度与正弦波波长的比值，

是一个给定像素的坐标，/>

是一个高斯包络函数，/>

用来消除Gabor小波变换的图像分量的影响，k是滤波器的中心频率,定义如下：

式中

定义小波尺度，/>

定义小波方向，(u，v)定义了正弦平面波的时域频率；

再采用线性鉴别分析算法进行降维，LDA算法从高维特征空间里提取出最具有判别能力的低维特征如左右眼，鼻子，左右嘴角特征，特征将同一个类别的所有样本聚集在一起，并将不同类的样本分开，即选择使得样本类间离散度和样本类内离散度的比值最大的特征；LDA算法如下：设一组训练样本的列矢量集为：

其中:N_i为第i类训练样本的个数；N为特征维数，T表示对矩阵求转置，C为训练样本的类别数目；假设每类的先验概率为P_i，每类训练样本的平均矢量为u_i，所有训练样本的平均矢量为u，则类内散射矩阵S_w和类间散射矩阵S_b，分别为：

定义训练样本的类间与类内距离之比为：

最后求出J(W_L)取最大值时对应的特征向量，对J(W_L)按变量W_L，任一L维列向量，求导并令求导值为∧，得出所要求的W_L满足如下等式的解：

S_bW_L＝S_wW_L∧

人脸图像帧经过Gabor的特征提取和LDA的降维后，需要对降维后的人脸图像进行分类才能得到面部表情识别结果；SVM将训练样本经非线性变换映射到另一高维空间中，在变换后的高维空间内寻找一个最优的分界面，使训练样本分开，并使类与类之间的间隙最大化；利用SVM解决小样本数据的分类问题；AdaBoost训练用于分类错误率，加大分类错误类别的权值，经过T次迭代，加强分类器的分类能力，提升SVM的效果；

假设有两类训练样本m个，在某维空间Rⁿ线性可分，则将训练样本分开的超平面满足：w·x+b＝0，w∈Rⁿ

式中w是表示超平面的方程的斜率，x表示训练样本，b是斜率，Rⁿ代表任意n维数据空间；

在满足条件的超平面中，找到能分开两类训练样本的平面，即

式中：ξ为松弛变量，C为使用者选定的正参数，i表示第i维数据空间，N表示总共的数据空间维数，求出最优解w^*和b^*，得到SVM的决策函数：

式中，

是Lagrange乘子(拉格朗日乘子)，y_i是类别标识，取-1或1，x_i表示第i个训练样本；

若线性不可分，则把低维空间映射到高维，用核函数K(x,y)表示内积，则决策函数改写为：

采用的核函数为径向基核函数：K(x_i，x)＝exp(-||x_i-x_j||²/2σ²)，σ表示sigmoid函数，x_i，x_j分别表示第i，j个训练样本，将SVM推广到多类，在每一对类别之间都训练一个SVM，按照投票方式得出结果；再利用AdaBoost训练加强SVM分类器的分类能力，首先归一化各个SVM分类器的权重：

对每个分类器h_j(x)计算错误率ε_j：

式中y_j是训练样本，在计算的所有错误率中求出最小错误率ε_min，若分类错误，按下式更新权重：

经过T次上述更新权重的步骤后，错误率小的分类器被赋以较小的权值，错误率高的分类器被赋以较大的权值，从而提升分类器的分类能力，使得识别率得到有效的提高。

4.根据权利要求1所述的一种结合心率与面部表情面向游戏用户的非接触式情感识别方法，其特征在于，所述步骤S4包括以下步骤：

首先利用心率频率和面部表情识别结果根据情感判定规则对玩家的情感进行初步判断,提前检测最终识别情感的正确性；再利用模糊积分将心率和面部表情的模态决策信息进行融合，得到最终的情感识别结果；模糊积分的关键是模糊密度的确定和判决模糊密度刻画分类器在融合过程中的重要性，利用训练样本先验静态信息，结合各传感器，传感器包括RGB摄像头和红外摄像头，判决包含的动态信息对模糊密度进行自适应动态赋值，原理如下：

设总共有N个传感器{s₁，s₂，…，s_N}，M类目标{w₁，w₂，…，w_M}；对待识别目标x，传感器s_i输出的识别结果D_i(x)＝[d_i1(x)，d_i2(x)，...，d_iM(x)]是目标x属于各类目标的信度,利用T-S型Sugeno模糊积分进行融合，对模糊密度进行自适应动态赋值的过程如下：

(1)根据各传感器对训练样本的识别结果对每个传感器定义一个系a_i(x)，a_i(x)表示了传感器s_i对目标x识别结果的置信度系数,反映目标x在传感器s_i的特征空间中处于非重叠区域的可能性；

其中d_il(x)＝max_j＝1M(d_ij(x))；

(2)模糊密度

表示在判决目标属于类别w_i时传感器s_i的重要性，采用基于混淆矩阵确定各传感器模糊密度，对于M类目标，传感器s_i的归一化混淆矩阵是一M×M矩阵

其中/>

表示传感器s_i将训练样本中第k类目标识别为第l类的比率，/>

表示传感器s_i将训练样本中第k类目标识别为第j类的比率，/>

表示传感器s_i将训练样本中第j类目标识别为第j类的比率，得到模糊密度/>

如下式所示：

根据训练样本采用式(2)对各传感器的模糊密度确定初始值，设为

i＝1,2,…,N,j＝1,2,…,M；

(3)对待识别目标x，根据各传感器识别结果利用式(1)计算各传感器的系数a_i(x)；

(4)将各传感器模糊密度的初始值乘于各自对应的系数a_i(x)作为对目标x进行融合识别时各传感器的模糊密度

即/>

数值越低相应传感器对目标x的识别糊积分进行融合结果的置信度越低，在对目标x进行融合识别时，该传感器的重要性越低。结果的置信度越低，在对目标x进行融合识别时，该传感器的重要性越低。

Images