CN111967363B - 一种基于微表情识别和眼动追踪的对情绪预测的方法 - Google Patents

Abstract

本发明公开了一种基于微表情识别和眼动追踪的对情绪预测的方法，包括如下步骤：(1)输入被观测者接受某种信号刺激后的面部视频，进行微表情识别；(2)输入被观测者接受某种信号刺激后的面部视频，进行眼动追踪；(3)将步骤(1)中的微表情识别结果与步骤(2)中的眼动追踪结果相融合，判断当前被观测者的抑郁、焦虑、压力情感状态。本发明通过微表情识别出的情绪状态比率与眼动追踪的情绪状态比率相结合，更准确的预测被观测者在面对某种心理刺激信号后的抑郁、焦虑、压力负面情绪状态。

Description

一种基于微表情识别和眼动追踪的对情绪预测的方法

技术领域

本发明涉及模式识别技术领域，尤其是一种基于微表情识别和眼动追踪的对情绪预测的方法。

背景技术

随着计算机视觉和模式识别技术的飞速发展，人脸表情识别同样也取得许多成果。但当前对人脸表情识别主要集中在以EFACS提供的基于AUs进行表达的6种基本情绪表达高兴、悲伤、愤怒、厌恶、恐惧、惊讶，对于当下社会背景下，“心理亚健康”主要体现在抑郁、焦虑、压力等负面隐晦情绪。

在之前的研究过程中，缺少关于抑郁、焦虑、压力等负面隐晦情绪的面部表情数据库等问题，无法通过大量样本学习的方式对这样的情绪所展现的面部特征进行学习。同样，在社会压力的背景下，识别人们“心理亚健康”状态的研究课题，不仅能进一步提高自动化识别表情的能力，而且具有了很重要的社会价值。

通过一定的心理学知识可知，对于抑郁、焦虑、压力等方面负面隐晦情绪进行表达式，人们的面部表情会发生相应的变化，但一个人的眼神状态同样能够反映出在当前隐晦的情绪状态。例如，当一个人在接受某种心理信号后，情绪状态变为焦虑，除了面部微表情能够读取到焦虑状态外，眼球不断的进行一定幅度的左右移动，透露出当前被观测者焦虑的心理状态。因此通过面部微表情识别技术与眼动追踪技术相融合，双向判断被观测者接受某心理信号后的心理状态。

发明内容

本发明所要解决的技术问题在于，提供一种基于微表情识别和眼动追踪的对情绪预测的方法，通过结合微表情识别出的情绪状态比率与眼动追踪的情绪状态比率相结合，更准确的预测被观测者在面对某种心里刺激信号后的负面情绪状态。

为解决上述技术问题，本发明提供一种基于微表情识别和眼动追踪的对情绪预测的方法，包括如下步骤：

(1)输入被观测者接受某种信号刺激后的面部视频，进行微表情识别；

(2)输入被观测者接受某种信号刺激后的面部视频，进行眼动追踪；

(3)将步骤(1)中的微表情识别结果与步骤(2)中的眼动追踪结果相融合，判断当前被观测者的抑郁、焦虑、压力情感状态。

优选的，步骤(1)中，输入被观测者接受某种信号刺激后的面部视频，进行微表情识别具体包括如下步骤：

(a)输入被观测者接受某种信号刺激后的面部视频；

(b)通过建模，区分面部视频中的人脸和非人脸像素，得到人脸图像；

(c)对步骤(b)得到的人脸图像进行预处理，得到候选脸图像；

(d)对步骤(c)中得到的候选脸图像，进行面部标志，利用参数化模型对人脸进行描述；

(e)利用步骤(d)的面部标志，利用SVM，按照AU强度级别，分为(O,A,B,C,D,E)；

(f)对步骤(e)得到的从O到E的强度水平，进行归一化，得到一列数据，将30列数据构成一个面部矩阵FM，传输到步骤g；

(g)对步骤(f)中传递的矩阵FM，利用前馈神经网络FFNNs，经过两个隐藏层和softmax函数，实现对抑郁、焦虑、压力进行强度评估，并对三种情绪状态进行初预判。

优选的，步骤(b)中，人脸图像进行基于YCrCb-Otsu算法创建的皮肤统计模型，将图像像素分为面部和非面部像素，获得仅包含分类为与面部相关的区域的图像，包括如下步骤：

(b1)将含有面部信息RGB图像转换为YCrCb颜色空间即YUV空间；

(b2)提取转化后的Cr分量图像；

(b3)对Cr分量做二值化阈值分割处理；

(b4)根据Otsu法分割处理的结果，将所判别的背景图像进行遮盖。

优选的，步骤(c)中，预处理使用基于Gabor滤波进行降噪处理，具体包括如下步骤：

(c1)将含有噪声信息的图像F(x,y)，利用对称的2D-Gauss得到函数值g(x,y)，对称的2D-Gauss定义为：

(c2)利用沿x轴的复变正弦波e^jωx对g(x,y)函数进行扩展，通过参数ω得到G(x,y)。其中沿x轴的复变正弦波e^jωx进行欧拉展开公式和G(x,y)定义为：

(c3)根据3σ原理，利用自定义的中心频率f，将上式中l，进行如下定义：

(c4)将原本的x，y坐标转化为以θ角为主的方向坐标转换得到新坐标(x'，y')，转换公式如下：

x′＝xcosθ+ysinθy′＝-xsinθ+ycosθ；

(c5)利用步骤(c3)和步骤(c4)中l和(x,y)坐标转换，对G(x,y)函数进行重新书写，分为实部函数G_R(x,y)和虚部函数G_l(x,y)：

(c6)将含噪声的图像与含有实部虚部的滤波器进行卷积，达到降噪的目的，卷积定义如下：

Q(x,y)＝{[G_R(x,y)*F(x,y)]²+[G_l(x,y)*F(x,y)]²}^1/2。

优选的，步骤(d)中，利用活动外观模型AAM，以Procrustes变换为人脸对齐算法，提取面部特征，并采用主成分分析PCA方法实现训练面孔和估计新面孔；步骤(e)中，参数化模型的非刚性参数，利用SVM对AU的强度水平进行分类，具体分为(O，A，B，C，D，E)五种等级强度；步骤(f)中，利用归一化，结合相邻帧强度数据，构成面部矩阵FM。

优选的，步骤(2)中，输入被观测者接受某种信号刺激后的面部视频，进行眼动追踪具体包括如下步骤：

(h)输入被观测者接受某种信号刺激后的面部视频；

(i)将面部视频流入帧采样器，进行数据预处理，得到眼部图像；数据预处理，是通过眼部相对位置获取左右眼ROI图像；

(j)对步骤(i)得到的眼部图像进行分析，计算被观测者眼球中心点；

(k)根据步骤(j)所得到的数据信息，将多个帧眼球中心点进行融合；眼球移动折线图，是通过将30个帧的数据进行最大值提取得到；

(l)将步骤(k)所得到融合信息，分析当前被观测者在抑郁、焦虑、压力的情绪状态。

优选的，步骤(j)中，对左右眼ROI图像中提取眼球所在位置；进行眼球中心定位，是通过分析图像梯度的矢量场进行检测，具体包括以下步骤：

(j1)读取左右眼ROI图像中的像素值；

(j2)以当前所在像素值为中心点c，计算以该点为中心的其他像素点x_i的梯度方向gi，并且要求c的梯度方向d_i与gi方向保持一致；

(j3)图像中圆形物体的最佳中心位c*，是灰度值最低，且多个梯度方向连线相交点；其中得到最佳中心位置c*，反馈最佳中心点c*的在左右眼ROI图像中的相对像素位置(x*,y*)。

优选的，步骤(l)中，将眼球移动变化折线图信息进行分析，是通过设置阈值，实现数据的截取，包括以下步骤：

(l1)每张含有面部信息的图像都有相对应的最佳眼球位置中心，将连续的10帧图像中最佳眼球中心位置构成一组数据，获取该组数据中的最大值(x_max,y_max)；

(l2)计算在该30帧图像中眼球进行的最大相对移动距离d_max；

(l3)以30帧图像作为一个时间点，利用折线图的将被观测者的眼球位置移动变化进行展现。

优选的，步骤(l)中，经过阈值截取后的折线图数据，通过获取波段中的波段个数，每个波段中波点的(x,y)坐标，计算相应的最大波峰值，波段平均y值，所有波段的波峰平均值，进行归一化后，用于衡量抑郁、焦虑、压力的情绪状态比例。

优选的，步骤(3)中，将步骤(1)中的微表情识别结果与步骤(2)中的眼动追踪结果相融合，判断当前被观测者的情感状态具体包括如下步骤：

(31)对步骤(g)得到连续30帧图片在抑郁、焦虑、压力这三种情绪状态的强度，对于这三种情绪状态的强度构成一列数据向量，一次构造该段视频的微表情情绪状态矩阵F；

(32)对矩阵F利用SDV分解算法，求得矩阵的特征向量，作为视频微表情识别的最终结果，形成向量E1；

(33)分析被观测者接收到的刺激信号中的事情好坏、事情复杂度、事情敏感度的比重作为权值ω，将E1与步骤(1)得到的E2，利用加权求平均值，对视频中的抑郁、焦虑、压力进行预测。

本发明的有益效果为：主要适用于“心理亚健康”预测及相关方面的领域，在当下社会具有重要的现实意义，有效帮助人们尽可能的预测当前环境下自己的负面情绪的状态，可以尽早避免关于“抑郁症”“双向障碍症”等社会压力带来的心理问题。

附图说明

图1为本发明的方法流程示意图。

具体实施方式

如图1所示，本发明的基于微表情识别和眼动追踪的对抑郁、焦虑、压力情绪预测的方法，首先是获取被观测者在接收到某种心理刺激时拍摄的面部视频，将该视频分别进行微表情识别和眼动追踪。在微表情识别中将视频按帧进行读取，转化为人脸图像；对数据进行降噪处理后获得候选脸图像；然后利用AAM模型提取脸部特征；然后结合特征降维的相关算法，将脸部特征构造为参数化模型；然后通过SVM机制，将参数化后的脸部特征信息，根据面部AU强度级别进行标注构成向量；将单帧图像强度级别向量进行归一化，将连续30帧强度级别向量结合，构建面部矩阵FM；将矩阵FM投入前馈神经网络FFNN，分析当前抑郁、焦虑、压力情绪的强度并进行预判。在眼部追踪中将与微表情识别同样的视频，按帧进行读取，形成人脸图形帧；对图像进行预处理，框选出人脸的眼部区域；对眼部区域，利用图像梯度的矢量场对眼部图像进行分析，获取当前图像中眼球中心在眼眶区域中的相对位置；并将多个相邻帧数据进行数据融合，对整个视频构造眼球移动折线图；通过折线图处理及分析，预测当前视频状态下眼部情绪状态及其变化。最终将微表情识别的情绪比率与眼动追踪识别到的情绪比率相融合，对视频中的被观测者的情绪状态进行预测。

本发明主要针对分析抑郁、焦虑、压力这三种情绪状态，且本发明主要是微表情识别和眼部追踪两部分利用相同的视频数据集，并列进行独立的表情预判工作，最终实现数据融合，并进行两方面整体预判和分析。因此本说明中具体操作过程按照先说明微表情识别的抑郁、焦虑、压力情绪的预判，再说明眼动追踪的抑郁、焦虑、压力情绪的预判，最后再将两者进行融合。

微表情识别中，人脸识别模型首先将视频切分成一帧帧图像，然后基于YCrCb-Otsu算法创建的皮肤统计模型，将待分析的图像序列帧中的像素分为面部和非面部像素，最终获得仅包含分类为与面部相关的区域的图像。包括以下步骤：

(1)将含有面部信息RGB图像转换为YCrCb颜色空间(即YUV空间)；

(2)提取转化后的Cr分量图像；

(3)对Cr分量做二值化阈值分割处理(Otsu法)；

(4)根据Otsu法分割处理的结果，将所判别的背景图像进行遮盖。

在图像中获取相关面部区域后，采用Gabor滤波对图像进行降噪处理。利用Gabor小波于人类视觉系统中简单细胞的视觉刺激响应的相似性，能够很好的处理提取目标的局部空间等特性，对图像中的面部区域进行降噪处理，提高准确性。

其中，预处理使用了基于Gabor滤波进行降噪处理，Gabor降噪方法，包括以下步骤：

(1)将含有噪声信息的图像F(x,y)，利用对称的2D-Gauss得到函数值g(x,y)，对称的2D-Gauss定义为：

(2)利用沿x轴的复变正弦波e^jωx对g(x,y)函数进行扩展，通过参数ω得到G(x,y)。其中沿x轴的复变正弦波e^jωx进行欧拉展开公式和G(x,y)定义为：

(3)根据3σ原理，利用自定义的中心频率f，将上式中l，进行如下定义：

(4)将原本的x，y坐标转化为以θ角为主的方向坐标转换得到新坐标(x'，y')，转换公式如下：

x′＝xcosθ+ysinθy′＝-xsinθ+ycosθ

(5)利用步骤(3)和步骤(4)中l和(x,y)坐标转换，对G(x,y)函数进行重新书写，分为实部函数G_R(x,y)和虚部函数G_l(x,y)：

(6)将含噪声的图像与含有实部虚部的滤波器进行卷积，达到降噪的目的，卷积定义如下：

Q(x,y)＝{[G_R(x,y)*F(x,y)]²+[G_l(x,y)*F(x,y)]²}^1/2

在微表情识别中，主要是通过确定眼部和嘴部的动态变化进行判别。因此，面部标志算法主要根据眼睛和嘴巴位于面部的比率来确保划定眼睛和嘴巴之后，利用了活动外观模型(AAM)提取了面部特征。

我们主要利用活动外观模型(AAM)进行准确的人脸对齐，然后通过人脸对齐获得形状参数和外观等参数，提供给参数化模型。AAM模型的训练步骤为：

(1)收集足够多的具有各种形状的面部图像作为训练集；

(2)使用一组点来注释脸部形状，以便可以通过这些界标的坐标来表示脸部形状；

(3)经过Procrustes变换后，可以获得所有面孔的平均形状，以构建用于面孔对齐的形状模型；

(4)通过对齐获得形状、外观等参数；

通过AAM提取面部特征后，要对整体面部特征进行参数化，先构造新的参数新面孔，在此基础之上构造眼睛和嘴巴的参数化模型。首先基于主成分分析(PCA)方法实现面孔参数化，可用于描述被训练的面孔并估计新面孔。

结合上述的面部参数化结果，利用面部标志方法匹配到了脸部的眼睛和嘴巴的区域。眼睛和嘴巴的参数化模型算法包括以下步骤：

(1)通过匹配眼睛和嘴巴的区域，将模型的参数与候选人脸进行匹配；

(2)使用最速下降算法和Jacobian矩阵来匹配整个参数化模型；

(3)反复评估模型的参数，直到它们提供候选脸的最准确描述为止；

根据人脸模型参数化的结果，通过面部表情编码系统(FACS)分析当前被观测者的心理状态。FACS通常是将人脸中的眼部信息和嘴部信息相结合进行判断。本发明主要是针对抑郁、焦虑、压力这三种表情进行分析，并且通过动作单元(AU)来标记和区分当前表情的表现程度。

利用AU强度级别来区分当前被观测者的表情状态。具体由FACS划分，使用以下级别来测量AU的存在和强度：O级，AU未激活；A级，跟踪；B级，轻微；C级，有标记或有发音；D级，严重或极端；和E级，最高。

更进一步的，假设我们已利用步骤d中参数化模型获得了所需的非刚性参数，并将其作为SVM的输入，用于对AU的强度水平进行分类。步骤e中所述SVM算法包括以下步骤：

(1)利用参数化模型为视频样本中的图像序列帧计算的非刚性参数作为SVM算法的输入，形成一系列样本点；

(2)训练SVM算法将分析的帧与6个AU强度级别中的1个相关联，构造样本点关于6个AU强度不同的决策函数。

(3)SVM的输出将提供所分析的图像帧的AU强度级别(O，A，B，C，D或E)；

通过获得的AU强度水平，进行归一化。将AU强度级别映射到[0,1]区间中：级别A＝0.2，级别B＝0.4，级别C＝0.6，级别D＝0.8，级别E＝0.9，不存在O＝0。

通过上述归一化的AUs强度值构造面部矩阵FM，FM包含用于分析记录的每一帧的一列，每一列由该给定帧中存在的所有AU的强度级别组成。每次当FM矩阵新添加30列归一化的AU强度水平(对应于30帧)时，将其发送到第三层，即进入前馈神经网络FFNN。

前馈神经网络将进行分析模式并且预测当前被观测者在抑郁、焦虑、压力方面的情况，为了满足本发明的需求，该前馈神经网络恰当地选择了两个隐藏层。通过实验评估，FFNN隐藏层仅使用ReLU激活函数，而输出层使用Softmax函数。

微表情识别最终使用同一个FFNN网络对抑郁、焦虑、压力三种情绪状态统一建模并训练，从而实现对该三种情绪状态的预判。

接下来，利用视频进行眼动追踪分析视频中被观测者的心理状态。

眼动追踪首先要对视频进行预处理过程，与微表情识别的不同在于眼动追踪只需要观察眼球在眼部的相对移动。因此，预处理是指通过帧采样器，提取需要识别的图片帧，并将图片中冗余信息去除，只获取左右眼图像，主要包括以下步骤：

(1)在得到整张人脸的图形后，计算该图像的长和宽分别用w_I和h_I进行表示；

(2)其眼部区域在人脸中的区域与大小基本固定，眼部区域的大小用w_E和h_E进行表示，其值分别为：

(3)左右眼ROI图像左上角像素点的位置用x_L、y_L、x_R、y_R进行表示，其值分别为：

在锁定的眼眶中找到观测者眼球的移动规律，即利用对左右眼ROI图像中进行眼球中心定位，通过分析图像梯度的矢量场进行检测，包含以下步骤：

(1)读取左右眼ROI图像中的像素值；

(2)以当前所在像素值为中心点c，计算以该点为中心的其他像素点(x_i,y_i)的梯度方向g_i，并且要求c的梯度方向d_i与g_i方向保持一致：

(3)图像中共计有N个像素点，其中图像中圆形物体的最佳中心位c*，是灰度值最低，且多个梯度方向连线相交点，c*值为：

(4)其中得到最佳中心位置c*，反馈最佳中心点c*的在左右眼ROI图像中的相对像素位置(x*,y*)；

结合步骤j所得到的最佳眼球中心位置像素点，将视频中包含有被观测者面部信息的图像，全部获取其最佳眼球位置中心，进行数据融合，包括以下步骤：

(1)每张含有面部信息的图像都有相对应的最佳眼球位置中心，将连续30帧图像中最佳眼球中心位置构成一组数据，获取该组数据中的最大值(x_max,y_max)：

(x_max,y_max)＝max(x_i,y_i)i＝1…10

(2)计算在该30帧图像中眼球进行的最大相对移动距离d_max:

(3)以30帧图像作为一个时间点，利用折线图的将被观测者的眼球位置移动变化进行展现；

将上述所提到的每30帧作为一个时间点绘制该段视频的眼部移动变化图，并设置阈值，根据超过阈值的峰值的个数以及时间长度，分析当前被观测者的心理状态，包括以下步骤：

(1)设置对应被观测者的眼动变化阈值b_f，将被观测者的左右眼ROI区域进行3行4列的等分，眼球移动的幅度大概在第2行第2列交叉格以及第2行第3列交叉格，将两个格子的1/3对角线长度作为阈值：

(2)统计折线图中超过阈值b_f的部分进行统计。按照时间顺序，依次记录在折线图中超过阈值的波段情况，记录此波段延续的时长(即波段中点的个数)，以及每个点所对应的波值b。

(3)根据记录的数据情况，获取该视频内的情绪状态。

利用眼球移动波段数据分析当前被观测者的情绪状态，包括以下步骤：

获取该段视频折线图中所有纵坐标值b_i，并计算最大波峰值b_max；

b_max＝max(b_i)i＝1…N

统计该折线图中超过阈值b_f的点的个数n，并计算所有超过阈值b_f的波值平均值b_avg；

其中b_j＞b_f

统计通过阈值b_f截取后形成波段的个数m，并计算所有波段波峰的平均值b_pavg。

将b_max、b_avg、b_pavg，三个数据进行归一化处理，得到b1,b2,b3；

b1,b2,b3分别代表当前视频段中抑郁(Depression)、焦虑(Anxiety)、压力(Stress)这三种情绪状态所占的比重。用向量E2存储b1,b2,b3相对应的值。

微表情识别的最终得到的是连续30帧，被观测者的抑郁、焦虑、压力的情绪状态强度，每30帧经过FFNN都会得到一列数据向量结果，并构造该段视频的矩阵F。针对矩阵F采用SDV降维处理的方法，求得矩阵的特征向量，作为视频微表情识别的最终结果，形成向量E1。

这段视频，是被观测者在接收到某种心理刺激时所录制的视频，首先分析被观测者接收到的心理刺激的信号在事情好坏、事情繁杂度、事情敏感度方面的比重，作为最终计算的权重值ω。最终，将视频微表情识别的最终结果E1、眼部追踪最终结果E2以及权重值ω进行加权平均值，得到最终向量E。即可代表在某种心理刺激下，被观测者抑郁、焦虑、压力这三种负面情绪在当前情绪状态中的具体表现情况。

Claims (9)

1.一种基于微表情识别和眼动追踪的对情绪预测的方法，其特征在于，包括如下步骤：

(1)输入被观测者接受某种信号刺激后的面部视频，进行微表情识别；具体包括如下步骤：

(a)输入被观测者接受某种信号刺激后的面部视频；

(b)通过建模，区分面部视频中的人脸和非人脸像素，得到人脸图像；

(c)对步骤(b)得到的人脸图像进行预处理，得到候选脸图像；

(d)对步骤(c)中得到的候选脸图像，进行面部标志，利用参数化模型对人脸进行描述；

(e)利用步骤(d)的面部标志，利用SVM，按照AU强度级别，分为(O,A,B,C,D,E)；

(f)对步骤(e)得到的从O到E的强度水平，进行归一化，得到一列数据，将30列数据构成一个面部矩阵FM，传输到步骤g；

(g)对步骤(f)中传递的矩阵FM，利用前馈神经网络FFNNs，经过两个隐藏层和softmax函数，实现对抑郁、焦虑、压力进行强度评估，并对三种情绪状态进行初预判；

(2)输入被观测者接受某种信号刺激后的面部视频，进行眼动追踪；

(3)将步骤(1)中的微表情识别结果与步骤(2)中的眼动追踪结果相融合，判断当前被观测者的抑郁、焦虑、压力情感状态。

2.如权利要求1所述的基于微表情识别和眼动追踪的对情绪预测的方法，其特征在于，步骤(b)中，人脸图像进行基于YCrCb-Otsu算法创建的皮肤统计模型，将图像像素分为面部和非面部像素，获得仅包含分类为与面部相关的区域的图像，包括如下步骤：

(b1)将含有面部信息RGB图像转换为YCrCb颜色空间即YUV空间；

(b2)提取转化后的Cr分量图像；

(b3)对Cr分量做二值化阈值分割处理；

(b4)根据Otsu法分割处理的结果，将所判别的背景图像进行遮盖。

3.如权利要求1所述的基于微表情识别和眼动追踪的对情绪预测的方法，其特征在于，步骤(c)中，预处理使用基于Gabor滤波进行降噪处理，具体包括如下步骤：

(c1)将含有噪声信息的图像F(x,y)，利用对称的2D-Gauss得到函数值g(x,y)，对称的2D-Gauss定义为：

(c2)利用沿x轴的复变正弦波e^jωx对g(x,y)函数进行扩展，通过参数ω得到G(x,y)，其中沿x轴的复变正弦波e^jωx进行欧拉展开公式和G(x,y)定义为：

(c3)根据3σ原理，利用自定义的中心频率f，将上式中l，进行如下定义：

(c4)将原本的x，y坐标转化为以θ角为主的方向坐标转换得到新坐标(x'，y')，转换公式如下：

x′＝xcosθ+ysinθ y′＝-xsinθ+ycosθ；

(c5)利用步骤(c3)和步骤(c4)中l和(x,y)坐标转换，对G(x,y)函数进行重新书写，分为实部函数G_R(x,y)和虚部函数G_l(x,y)：

(c6)将含噪声的图像与含有实部虚部的滤波器进行卷积，达到降噪的目的，卷积定义如下：

Q(x,y)＝{[G_R(x,y)*F(x,y)]²+[G_l(x,y)*F(x,y)]²}^1/2。

4.如权利要求1所述的基于微表情识别和眼动追踪的对情绪预测的方法，其特征在于，步骤(d)中，利用活动外观模型AAM，以Procrustes变换为人脸对齐算法，提取面部特征，并采用主成分分析PCA方法实现训练面孔和估计新面孔；步骤(e)中，参数化模型的非刚性参数，利用SVM对AU的强度水平进行分类，具体分为(O，A，B，C，D，E)五种等级强度；步骤(f)中，利用归一化，结合相邻帧强度数据，构成面部矩阵FM。

5.如权利要求1所述的基于微表情识别和眼动追踪的对情绪预测的方法，其特征在于，步骤(2)中，输入被观测者接受某种信号刺激后的面部视频，进行眼动追踪具体包括如下步骤：

(h)输入被观测者接受某种信号刺激后的面部视频；

(i)将面部视频流入帧采样器，进行数据预处理，得到眼部图像；数据预处理，是通过眼部相对位置获取左右眼ROI图像；

(j)对步骤(i)得到的眼部图像进行分析，计算被观测者眼球中心点；

(k)根据步骤(j)所得到的数据信息，将多个帧眼球中心点进行融合；眼球移动折线图，是通过将30个帧的数据进行最大值提取得到；

(l)将步骤(k)所得到融合信息，分析当前被观测者在抑郁、焦虑、压力的情绪状态。

6.如权利要求5所述的基于微表情识别和眼动追踪的对情绪预测的方法，其特征在于，步骤(j)中，对左右眼ROI图像中提取眼球所在位置；进行眼球中心定位，是通过分析图像梯度的矢量场进行检测，具体包括以下步骤：

(j1)读取左右眼ROI图像中的像素值；

(j2)以当前所在像素值为中心点c，计算以该点为中心的其他像素点xi的梯度方向g_i，并且要求c的梯度方向d_i与g_i方向保持一致；

(j3)图像中圆形物体的最佳中心位c*，是灰度值最低，且多个梯度方向连线相交点；其中得到最佳中心位置c*，反馈最佳中心点c*的在左右眼ROI图像中的相对像素位置(x*,y*)。

7.如权利要求5所述的基于微表情识别和眼动追踪的对情绪预测的方法，其特征在于，步骤(l)中，将眼球移动变化折线图信息进行分析，是通过设置阈值，实现数据的截取，包括以下步骤：

(l1)每张含有面部信息的图像都有相对应的最佳眼球位置中心，将连续的10帧图像中最佳眼球中心位置构成一组数据，获取该组数据中的最大值(x_max,y_max)；

(l2)计算在30帧图像中眼球进行的最大相对移动距离d_max；

(l3)以30帧图像作为一个时间点，利用折线图的将被观测者的眼球位置移动变化进行展现。

8.如权利要求5所述的基于微表情识别和眼动追踪的对情绪预测的方法，其特征在于，步骤(l)中，经过阈值截取后的折线图数据，通过获取波段中的波段个数，每个波段中波点的(x,y)坐标，计算相应的最大波峰值，波段平均y值，所有波段的波峰平均值，进行归一化后，用于衡量抑郁、焦虑、压力的情绪状态比例。

9.如权利要求1所述的基于微表情识别和眼动追踪的对情绪预测的方法，其特征在于，步骤(3)中，将步骤(1)中的微表情识别结果与步骤(2)中的眼动追踪结果相融合，判断当前被观测者的情感状态具体包括如下步骤：

(31)对步骤(g)得到连续30帧图片在抑郁、焦虑、压力这三种情绪状态的强度，对于这三种情绪状态的强度构成一列数据向量，一次构造该视频的微表情情绪状态矩阵F；

(32)对矩阵F利用SDV分解算法，求得矩阵的特征向量，作为视频微表情识别的最终结果，形成向量E1；

(33)分析被观测者接收到的刺激信号中的事情好坏、事情复杂度、事情敏感度的比重作为权值ω，将E1与步骤(1)得到的E2，利用加权求平均值，对视频中的抑郁、焦虑、压力进行预测。

Images