CN107358206A

CN107358206A - 一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法

Info

Publication number: CN107358206A
Application number: CN201710572236.6A
Authority: CN
Inventors: 贲晛烨; 任亿; 王建超; 庞建华; 薛娜; 张鑫
Original assignee: Shandong University
Current assignee: Wuhan Melit Communication Co ltd
Priority date: 2017-07-13
Filing date: 2017-07-13
Publication date: 2017-11-17
Anticipated expiration: 2037-07-13
Also published as: CN107358206B

Abstract

一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法，首先对微表情视频进行预处理得到微表情序列，进而提取人脸关键特征点，根据不同表情FACS运动单元的运动特点，找出效果最好的人脸感兴趣区域；提取感兴趣区域的光流特征，其中本发明首次引入光流矢量的角度信息，通过计算得到光流矢量模值和角度信息，并进一步将两者结合得到更全面、更有判决力的特征检测出微表情片段；最后该方法将光流模值与角度相结合，其中阈值是根据光流模值大小来判断的，利用数形结合方法可以形象直观地得到微表情片段。本发明大大提高了微表情检测效率，仅对人脸重要区域提取光流特征矢量，减少计算量，降低时耗，是一种高鲁棒性的微表情检测方法。

Description

一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法

技术领域

本发明涉及一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法，属于模式识别以及计算机视觉的技术领域。

背景技术

近年来，我们可以通过对声音、面部表情、肢体语言等特征的识别，更好地实现人机交互，而实现人机交互最重要的是对人类情感的识别。其中面部表情是识别人类情感最重要的特征，但在很多情况下人们会隐藏或压抑他们真实的情感，我们通常称之为微表情。微表情是一种持续时间仅为1/25秒至1/5秒的非常快速的表情，它能揭示人类试图隐藏的真实情感，在国家安全、临床诊断、案件侦破、危险预警、个人防卫等领域都展现出良好的应用前景，尤其是在测谎方面有重要的应用价值。但是微表情研究起步较晚，存在大量有待解决的问题。微表情检测是指从图像序列中确定微表情起始帧、高潮帧和结束帧的位置，它是微表情数据库建立及微表情识别算法过程中非常重要的环节，准确高效的微表情检测技术能极大的促进微表情数据库的建立以及微表情自动识别技术的发展，在临床检测、案件侦查以及公共安全等领域具有十分重要的应用前景和价值。

在实际生活中，由于微表情持续时间短且强度低的特点，它很难被肉眼识别。只有通过高强度训练的人才能区分微表情，但是即使经过正确地训练，识别率仅有47％。因此，微表情检测技术成为了计算机视觉和模式识别领域炙手可热的研究课题。

近年来随着计算机视觉和模式识别技术的飞速发展，微表情自动检测技术取得了很多成果。主要方法有以下三类。

频域方法：Wu等人通过提取Gabor特征，采用GentleSVM定位模拟微表情，此方法用于模拟微表情而不是自发的微表情。

光流方法：Shreve等人通过计算连续两帧之间的光流场，得到每个像素的运动矢量并计算出有限张力张量作为该点的运动强度来检测微表情。这种方法可以检测微表情是否存在，也可以用来区分常规表情和微表情。然而这种方法没有使用机器学习技术，需要通过人工选定阈值。在训练数据较小时阈值选择的有效性又很难保障。另外此方法用于模拟微表情而不是自发的微表情。

特征描述符方法：Polikovsky等人提出梯度直方图描述符和k-means算法定位模拟微表情的起始帧、顶点帧和终止帧，在高速摄像机下收集学生模拟微表情。但是模拟微表情和自发微表情在运动强度、肌肉运动和时间间隔方面存在很大的不同。Sherve等人将人脸划分为几个主要区域，采用稠密光流法提取图像特征值并使用中心插分法估计光流变化，通过与设定的阈值比较来检测微表情，但是该方法将人脸区域简单的划分为8块，并且忽略了眼睛等很多重要的表情部位。Moilanen等人将面部分割成36个区域，利用每个区域LBP直方图来计算与当前帧相差各k帧的前后两帧的特征平均值，用当前帧与该平均值的卡方距离来衡量其在视频中变化程度。这种方法比较巧妙，但是设计思路较为复杂，同时需要手工设定参数，在实际应用中可能需要重新设定参数、阈值等。随后Davison等人用HPG特征代替LBP特征提取图像序列特征后，设定了一个基线阈值通过对比来检测微表情。Yan等人利用特征差异定位微表情顶点，基于受限局部模型(CLM)的方法定位人脸66个关键点，通过关键点划分成关键区域，计算区域的LBP直方图作为每帧的特征向量，计算每一帧相对于第一帧的相关性，最大相关性对应微表情顶点帧。Xia等人通过对几何形变进行建模，采用STASM定位关键点，将每帧与第一帧进行Procuste变换消除头部运动的偏差，计算瞬时表情自身的绝对动态特征和其在一段序列中的相对动态特征，将这两部分特征进行融合，通过随机过程计算转移概率，根据阈值判定是否含有微表情。Patel等人利用DRMF模型定位人脸关键点，基于FACS对关键点分组。每组的平均运动可通过光流场计算的关键点运动矢量求算术平均得到，计算每组随时间的运动幅度值的累加值，通过运动模值累加值增长和减弱标定微表情图像序列的起始点、顶点和终止点。Li等人利用Kanade-Lucas-Tomasi算法跟随每帧的3个特定点(两个内眼角和鼻棘点)并对脸部分块，提取每个区域LBP和HOOF特征，基于特征差异分析得到每一帧特征差异值，通过给定阈值判断起始帧、顶点帧和终止帧。Qu等人利用LBP-TOP算法提取样本特征来检测微表情，取得了一定的检测效果。

发明内容

针对现有技术的不足，本发明提出了一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法。

发明概述：

本发明与现有技术的其他识别方法相比：

首先，对微表情视频进行预处理得到微表情序列，进而提取人脸关键特征点，强调了眼睛、眉毛、鼻子和嘴巴等重要的表情部位，根据不同表情FACS运动单元的运动特点，找出效果最好的人脸感兴趣区域；

其次，提取感兴趣区域的光流特征：首次引入光流矢量的角度信息，通过计算得到光流矢量模值和角度信息，并进一步将两者结合得到更全面、更有判决力的特征，进而检测出微表情片段；

最后，利用光流模值与角度相结合的方法，可以形象直观地得到微表情片段，提高微表情检测效率，且该方法仅对人脸感兴趣区域提取光流特征矢量，这样可以减少计算量，降低时耗，大大提高识别效果，是一种高鲁棒性的微表情检测方法。

本发明的技术方案如下：

一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法，包括：

步骤一、对微表情视频进行预处理,包括分帧、人脸定位、人脸对齐和人脸裁剪；

步骤二、对所述微表情图像序列中的图像划分人脸感兴趣区域，提取所述人脸感兴趣区域的光流特征矢量：由于微表情的运动幅度短暂而微弱，通过对微表情样本分析发现，其运动中心点主要集中在眼睑、眉毛、嘴角和鼻翼等敏感部位，面部其他肌肉部分的运动一般是这些中心点运动的牵连导致，因此所述人脸感兴趣区域是指以上述敏感部位为中心所形成的面部区域，即根据FACS中的AU单元进行划分；所述FACS是对人脸运动肌肉的描述，例如嘴唇运动对应的是运动单元AU12的运动；

步骤三、通过光流矢量计算出光流模值，通过反三角函数对光流矢量进行计算，得到光流角度；并引入一种更加形象直观的方法将光流矢量的模值与角度信息进行结合，根据光流模值设定阈值，微表情视频的帧率设定最小帧长度，将有相同光流角度(即在图中表示散点落在一条直线附近)且光流模值大于阈值(在图中表示在圆外)得到的连续不间断的帧数与最小帧长度进行比较，将帧数大于最小帧长度的图像序列判为微表情序列，实现微表情的检测。本发明引入一种更加形象直观的方法将光流矢量的模值和角度进行结合，从而得到更全面、更有判决力的特征。

根据本发明优选的，在步骤二中，对所述微表情图像序列中的图像划分人脸感兴趣区域后，根据不同表情FACS运动单元的运动特点，从人脸感兴趣区域中找出效果最好的一个人脸感兴趣区域。然后提取所述人脸感兴趣区域的光流特征矢量，判定效果最好的一个人脸感兴趣区域的标准是：例如当人脸出现厌恶表情时，对应的人脸肌肉主要是AU4的运动，也就是眉毛的运动，因此判定效果最好的人脸感兴趣区域为眉毛区域，眉毛部位作为最终微表情检测的结果；例如当人脸出现高兴表情时，对应的人脸肌肉主要是AU12的运动，也就是嘴角的运动，因此判定效果最好的人脸感兴趣区域为嘴巴区域，也就是嘴巴部位作为最终微表情检测的结果；依次类推。

根据本发明优选的，所述步骤二中：提取所述人脸感兴趣区域的光流特征矢量的方法如下：选择微表情图像序列代表中性表情的一帧作为基础帧，一般是首帧；利用光流法提取微表情图像序列的每一帧相对于所述基础帧在人脸感兴趣区域的光流矢量：得到相对于基础帧在人脸感兴趣区域上的光流矢量的水平分量x和垂直分量y。

光流法是空间运动物体在观察成像平面上像素运动的瞬时速度，利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到相邻两帧之间存在的相对关系，得出两帧之间物体存在的运动信息的一种方法。光流可以表征动态图像的几何变化和辐射度变化趋势，其基本原理是：给图像中的每一个像素点赋予一个速度矢量，形成一个图像运动场，在某个特定时间，三维物体上的点经过投影与图像上的点一一对应，根据各个像素点的速度矢量特征，可以对图像进行动态分析。如果图像不存在运动物体，则光流矢量在整个图像区域是连续变化的；如果图像存在运动物体，那么由于物体运动形成的速度矢量与邻域背景速度矢量不一样，这样通过对光流信息分析就能得出运动物体的具体位置。

根据本发明优选的，所述步骤三中：通过所述光流矢量的水平分量x和垂直分量y，计算微表情序列的每一帧光流矢量的模值；

利用角度信息描述微表情序列的每一帧图像：通过计算光流矢量的水平分量x和垂直分量y的反三角函数arctan()得到夹角。

根据本发明优选的，所述步骤一中，对微表情视频进行预处理，得到微表情图像序列的方法包括：对微表情视频进行分帧、人脸定位、人脸对齐和裁剪。所述分帧是对微表情视频进行处理得到微表情序列；所述人脸定位是指对于任意一幅给定的图像，采用现有技术的策略对其进行搜索以确定其中是否含有人脸，如果是则返回人脸的位置、大小和姿态；所述人脸对齐是指在人脸定位完成的基础上，通过分析面部特点，自动确定面部关键点，如眼角、鼻尖、嘴角、下巴、眉毛以及人脸各器官轮廓点等，同时利用获得的关键特征点完成图片的裁剪工作。所述人脸定位和人脸对齐是采用联合级联法实现的：通过这种方法共检测到27个面部特征点，其中特征点1-1(左眼中心)和特征点1-2(右眼中心)的连线和水平线有一定夹角，对人脸驱动变形后使连线呈水平状态以矫正人脸姿态，再以特征点1-3(鼻梁中心)为中心点，各方向划取125个像素值后完成裁剪工作，图2为对齐和裁剪后的效果图，图中编号1-1，1-2和1-3是裁剪工作时需要用到的3个关键点。

根据本发明优选的，所述步骤二中，对所述微表情图像序列中的图像划分人脸感兴趣区域的方法包括：先定位人脸特征点，再结合所述人脸特征点周围区域运动特点和FACS的AU运动单元，以所述人脸特征点的坐标位置为基准划入若干像素值，进而得到与所述人脸特征点对应的人脸感兴趣区域。本发明中，人脸感兴趣区域划分是指由于微表情的运动幅度短暂而微弱，通过对微表情样本分析发现，其运动中心点主要集中在眼睑、眉毛、嘴角和鼻翼等敏感部位，面部其他肌肉部分的运动一般为这些中心点的运动牵连导致，因此将人脸划分为图3中的若干感兴趣区域，该图是依据人脸特征点的具体位置进行划分的，例如区域1划分过程是先定位左侧眉毛的两个特征点6和7，结合该区域运动特点和FACS编码提示，以这2个特征点坐标位置为基准划入若干像素值，得到感兴趣区域1。

根据本发明优选的，所述步骤二中提取所述人脸感兴趣区域的光流特征矢量的方法具体如下：

在一段微表情图像序列中，在某时刻t，像素点(x,y)处的灰度值为I(x,y,t),该像素点在t+dt时刻运动到了(x+dx,y+dy),根据灰度守恒约束条件得到：

I(x,y,t)＝I(x+dx,y+dy,t+dt) (1)

将等号右边部分按泰勒公式展开得到：

其中，τ是高阶无穷小，因此变化为：

最终得到：

I(x,y,t)位置处的光流表示成这里为了叙述方便，用f_x表示f_y表示f_t表示其中分别是光流失量的水平分量x和垂直分量y；后续微表情检测算法中需要对水平分量x和垂直分量y的相关性深入分析；

获取了图像对于运动区域的分割后，我们在感兴趣区域中进行光流场的估计根据光流基本方程，要求公式(6)尽量小：

E_C＝∫∫(f_xu+f_yv+f_t)²dxdy (6)

但求E_C最小只能得到各点光流的法向分量；根据正规则理论，需对光流场施加平滑约束；传统的平滑性约束方程是使公式(7)尽量小：

该方法不考虑各处的局部信息，这往往会造成光流场过于平滑的后果；为了使光流场充分的平滑，但又能保持其细节特征，采用各向非均匀平滑约束：

即min{∫∫F(u,v,u_x,u_y,v_x,v_y)dxdy} (9)

其对应的Euler方程为

将公式(9)中的F代入公式(10)中得到

公式(11)中的λ表示约束程度，当噪声较多时，数据的可信度对光滑约束条件的依赖更强；此时λ取值较小；在实际计算过程中，需要对数据进行离散化处理后求得光流直方图；

通过光流法求出微表情的每一帧相对于基础帧的人脸感兴趣区域的光流矢量，每个光流矢量包含水平向量(x分量)和垂直向量(y分量)。在本发明中引用的是基于梯度的光流法，原因在于，基于梯度的光流法比较适合人脸肌肉皮肤这种非刚性形变的特征对象，计算量相对较小。

根据本发明优选的，所述步骤三中：通过所述光流矢量的水平分量x和垂直分量y，计算微表情序列的每一帧光流矢量模值的具体方法如下：

其中，i表示微表情序列的第i帧，x_i和y_i分别表示第i帧光流矢量的x分量和y分量，A_i定义为第i帧的光流矢量的模值。

根据本发明优选的，所述步骤三中：利用角度信息描述微表情序列的每一帧图像：通过计算光流矢量的水平分量x和垂直分量y的反三角函数arctan()得到夹角的具体公式如下：

利用反三角函数计算微表情序列每一帧光流角度，图5是光流角度计算方法的参考图；

公式(13)从上到下依次是第一、二、三和四象限的光流角度计算方法，其中i表示微表情序列的第i帧，x_i和y_i分别表示第i帧光流矢量的x分量和y分量，θ_i表示第i帧的角度。

本发明引入一种新的信息即角度信息，研究实验发现微表情启动区间的光流特征角度与幅值变化具有很大相关性。当人脸处于中性状态时，面部肌肉变化很小使得光流特征幅值也很小，但由于面部肌肉运动的无序性导致光流特征在x方向和y方向的无序波动，最终表现为光流角度的无规律性，光流弧度大小波动较大。当人脸发生微表情时，面部肌肉运动方向趋于一致，此时提取到的光流特征幅值变大，光流特征在x方向和y方向也趋于一致，最终表现为光流特征角度方向一致，弧度大小相对恒定，图4为眉毛下压微表情样本中的一帧图像，光流方向在主要运动区域眉毛处相对统一，而在运动量较少的面部区域则显得杂乱无序。

根据本发明优选的，所述步骤三中，将所述光流模值和角度结合起来的具体方法如下：

图6为CASME II中某个样本眉毛区域的光流模值和角度随帧值变化的曲线图；图7是图6中样本的光流模值和角度进行结合之后检测出微表情片段的结果；根据微表情样本的运动特点，当发生微表情时，微表情每帧的光流角度基本趋于平坦，此时微表情每帧的光流模值先提高到峰值后又下降，根据这个特点，首先将微表情片段每帧的光流模值和角度进行数形结合的转化，具体转化公式如下：

根据公式(14)可知，将光流模值和角度转化成极坐标，如图7所示，由于发生微表情时，光流角度趋于平坦，也就是说明其角度基本相同，在图上表示微表情片段帧值集中在一条直线附近，不会存在很大的跳变；光流模值随帧值先增大到峰值然后再减小，在图上表现为离开原点的距离先增大后减小，其中离原点最远的帧即为高潮帧，阈值是根据高潮帧的模值判断的，公式如下：

A_i＞nA_MAX (15)

其中，A_MAX定义为在满足光流模值和角度结合后选出的微表情片段中光流模值的最大值，n为给定的值，根据实际情况发生变化，本专利中n设为0.6，nA_MAX定义为阈值，表示为一个圆形，满足上述条件，光流角度集中在一条线附近，且阈值大于nA_MAX得到的连续不间断的帧数，若帧数大于最小帧长度则判定为微表情片段。本专利中最小帧长度设为15帧。即光流角度集中在一条线附近，在圆外的，且连续帧数大于15帧的可判定为微表情。

图7所示的是微表情样本的眉毛部位的检测结果，由图可知检测出的微表情片段是28-55帧，高潮帧是39帧。而该样本在实际人工编码中的微表情片段是31-56帧，高潮帧是41帧。由此可见该方法检测结果非常接近实际情况。

根据本发明优选的，利用所述光流模值和角度结合起来的具体方法，还包括：一段光流模值和角度持续稳定的偏离某个合适阈值的帧序列若处在合理的时间范围内，则提示出现了微表情。假设人工编码起始帧和结束帧分别表示为onset和Offset，而检测得到的起始帧和结束帧落在[onset-(N-1)/4，Offset+(N-1)/4]范围内即正确，对于CASME II微表情数据库，N一般设为65。

本发明的有益效果是：

本发明提供的是一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法，相比于已有的微表情检测方法，本发明提出的方法是通过提取人脸关键特征点，从而划分出人脸感兴趣区域，强调了眼睛、眉毛、鼻子和嘴巴等重要的面部表情部位，避免丢失面部重要信息，且减少冗余信息的出现；根据FACS运动单元的运动特点，从人脸感兴趣部位中找出最好效果的部位作为微表情检测最终结果；提取感兴趣区域的光流特征，即仅对感兴趣区域提取光流特征矢量，这样可以减少计算量，降低时耗；其中本发明首次引入光流矢量的角度信息，光流角度信息能进一步反应面部肌肉的运动，例如当人脸发生微表情时，面部肌肉运动方向趋于一致，光流特征在X方向和Y方向也趋于一致，最终表现为光流特征角度方向一致，弧度大小相对恒定，有利于更加准确地判断微表情的出现；通过计算得到光流矢量模值和角度信息，并进一步利用数形结合方法将两者结合得到更全面、更有判决力的特征，其中阈值是根据光流模值大小来判定的，本专利方法可以形象直观地得到微表情片段，提高微表情检测效率，计算量少，降低时耗，是一种高鲁棒性的微表情检测方法。

附图说明

图1本发明所述检测方法的流程图；

图2利用本发明所述方法对人脸对齐和裁剪后的效果图；

在图2中，1-1、左眼中心；1-2、右眼中心；1-3、鼻子中心；1-4、左嘴角；1-5、右嘴角；1-6、左眉毛左边缘；1-7、左眉毛右边缘；1-8、左眼左边缘；1-9、左眼睫毛上；1-10、左眼睫毛下；1-11、左眼右边缘；1-12、右眉毛左边缘；1-13、右眉毛右边缘；1-14、右眼左边缘；1-15、右眼睫毛上；1-16、右眼睫毛下；1-17、右眼右边缘；1-18、鼻梁高左；1-19、鼻梁高右；1-20、鼻梁中左；1-21、鼻梁中右；1-22、鼻梁低左；1-23、鼻梁低右；1-24、人中；1-25、嘴唇上；1-26、嘴唇中；1-27、嘴唇下；

图3利用本发明所述方法对人脸检测兴趣区域划分效果图；

图4眉毛下压微表情样本的光流场分布；

图5光流角度计算方法参考图；

图6a是光流模值随帧值变化曲线图；

图6b是光流角度随帧值变化曲线图；

图7利用本发明所述方法检测出微表情序列样本图；

图8根据光流模值检测微表情片段的样本图；

图9根据光流角度检测微表情片段的样本图；

图10是CASME II库的ROC曲线图。

具体实施方式

下面结合实施例和说明书附图对本发明做详细的说明，但不限于此。

实施例1、

步骤一、对微表情视频进行预处理，包括分帧、人脸定位、人脸对齐和人脸裁剪；

步骤二、对所述微表情图像序列中的图像划分人脸感兴趣区域，提取所述人脸感兴趣区域的光流特征矢量：由于微表情的运动幅度短暂而微弱，通过对微表情样本分析发现，其运动中心点主要集中在眼睑、眉毛、嘴角和鼻翼等敏感部位，面部其他肌肉部分的运动一般为这些中心点的运动牵连导致，因此所述人脸感兴趣区域是指以上述敏感部位为中心所形成的面部区域，即根据FACS中的AU单元进行划分；所述FACS是对人脸运动肌肉的描述，例如嘴唇运动相应的是运动单元AU12的运动；所述微表情图像序列中的图像划分人脸感兴趣区域后，根据不同表情FACS运动单元的运动特点，从人脸感兴趣区域中找出效果最好的一个人脸感兴趣区域。然后提取所述人脸感兴趣区域的光流特征矢量。判定效果最好的一个人脸感兴趣区域的标准是：例如当人脸出现厌恶表情时，对应的人脸肌肉主要是AU4的运动，也就是眉毛的运动，因此判定效果最好的人脸感兴趣区域为眉毛区域，眉毛部位作为最终微表情检测的结果；例如当人脸出现高兴表情时，对应的人脸肌肉主要是AU12的运动，也就是嘴角的运动，因此判定效果最好的人脸感兴趣区域为嘴巴区域，也就是嘴巴部位作为最终微表情检测的结果；依次类推。

步骤三、通过光流矢量计算出光流模值，通过反三角函数对光流矢量进行计算，得到光流角度；并引入一种更加形象直观的方法将光流矢量的模值与角度信息进行结合，根据光流模值给定阈值，微表情视频的帧率给定最小帧长度，将有相同光流角度(即在图中表示散点落在一条直线附近)且光流模值大于阈值(在图中表示在圆外)得到的连续不间断的帧数与最小帧长度进行比较，将帧数大于最小帧长度的图像序列判为微表情序列，实现微表情的检测。本发明引入一种更加形象直观的方法将光流矢量的模值和角度进行结合，从而得到更全面、更有判决力的特征。

所述步骤一中，所述对微表情视频进行预处理，得到微表情图像序列的方法包括：对微表情视频进行分帧、人脸定位、人脸对齐和裁剪。所述分帧是对微表情视频进行处理得到微表情序列；所述人脸定位是指对于任意一幅给定的图像，采用现有技术的策略对其进行搜索以确定其中是否含有人脸，如果是则返回人脸的位置、大小和姿态；所述人脸对齐是指在人脸定位完成的基础之上，通过分析面部特点，自动确定面部关键点，如眼角、鼻尖、嘴角、下巴、眉毛以及人脸各器官轮廓点等，同时利用获得的关键特征点完成图片的裁剪工作。所述人脸定位和人脸对齐是采用联合级联法实现的：通过这种方法共检测到27个面部特征点，其中特征点1-1(左眼中心)和特征点1-2(右眼中心)的连线和水平线有一定夹角，对人脸驱动变形后使连线呈水平状态以矫正人脸姿态，再以特征点1-3(鼻梁中心)为中心点，各方向划取125个像素值后完成裁剪工作，图2为对齐和裁剪后的效果图，图中编号1-1，1-2和1-3的点是裁剪工作时需要用到的3个关键点。

所述步骤二中：提取所述人脸感兴趣区域的光流特征矢量的方法如下：选择微表情图像序列代表中性表情的一帧作为基础帧，一般是首帧；利用光流法提取微表情图像序列的每一帧相对于所述基础帧在人脸感兴趣区域的光流矢量：得到相对于基础帧在人脸感兴趣区域上的光流矢量的水平分量x和垂直分量y。

所述步骤二中，对所述微表情图像序列中的图像划分人脸感兴趣区域的方法包括：先定位人脸特征点，再结合所述人脸特征点周围区域运动特点和FACS的AU运动单元，以所述人脸特征点的坐标位置为基准划入若干像素值，进而得到与所述人脸特征点对应的人脸感兴趣区域。本发明中，人脸感兴趣区域划分是指由于微表情的运动幅度短暂而微弱，通过对微表情样本分析发现，其运动中心点主要集中在眼睑、眉毛、嘴角和鼻翼等敏感部位，面部其他肌肉部分的运动一般为这些中心点的运动牵连导致，因此将人脸划分为图3中的若干感兴趣区域，该图的划分依据的是人脸特征点的具体位置，例如区域1划分过程是先定位左侧眉毛的两个特征点6和7，结合该区域运动特点和FACS编码提示，以这2个特征点坐标位置为基准划入若干像素值，得到感兴趣区域1。

所述步骤二中提取所述人脸感兴趣区域的光流特征矢量的方法具体如下：

I(x,y,t)＝I(x+dx,y+dy,t+dt) (1)

将等号右边部分按泰勒公式展开得到：

其中，τ是高阶无穷小，因此变化为：

最终得到：

E_C＝∫∫(f_xu+f_yv+f_t)²dxdy (6)

即min{∫∫F(u,v,u_x,u_y,v_x,v_y)dxdy} (9)

其对应的Euler方程为

将公式(9)中的F代入公式(10)中得到

所述步骤三中：通过所述光流矢量的水平分量x和垂直分量y，计算微表情序列的每一帧光流矢量的模值；

所述步骤三中：通过所述光流矢量的水平分量x和垂直分量y，计算微表情序列的每一帧光流矢量的模值的具体方法如下：

所述步骤三中：利用角度信息描述微表情序列的每一帧图像：通过计算光流矢量的水平分量x和垂直分量y的反三角函数arctan()得到夹角的具体公式如下：

所述步骤三中，将所述光流模值和角度结合起来的具体方法如下：

图6为CASME II中某个样本眉毛部位的光流模值和角度随帧值变化的曲线图；图7是图6中样本的光流模值和角度进行结合之后检测出微表情片段的结果；根据微表情样本的运动特点，当发生微表情时，微表情每帧的光流角度基本趋于平坦，此时微表情每帧的光流模值先提高到峰值后又下降，根据这个特点，首先将微表情片段每帧的光流模值和角度进行数形结合的转化，具体转化公式如下：

根据公式(14)可知，将光流模值和角度转化成极坐标，如图7所示，由于发生微表情时，光流角度趋于平坦，也就是说明其角度基本相同，在图上表示微表情片段帧值集中在一条直线附近，不会存在很大的跳变；光流模值随帧值先增大到峰值然后再减小，在图上表现为离开原点的距离先增大后减小，其中离原点最远的帧即为高潮帧，阈值是根据高潮帧的模值判定的，公式如下：

A_i＞nA_MAX (15)

图7所示的是微表情样本眉毛部位的检测结果，由图可知检测出的微表情片段是28-55帧，高潮帧是39帧。而该样本在实际人工编码中的微表情片段是31-56帧，高潮帧是41帧。由此可见该方法检测结果非常接近实际情况。

对比例、

为了验证本发明所述检测方法的有效性，分别采用光流模值和光流角度进行微表情的检测，具体检测方法如下：

对于光流模值信息，以CASME II微表情数据库中样本作为实验数据，该数据库中人为编码的微表情图像序列最小长度为23帧，在计算一段序列长度为I的视频样本是否存在的微表情时，每m帧为一个窗口，取该m帧的平均光流模值即对m帧的光流模值求平均与阈值U_Δ比较，若大于U_Δ同时该m帧中每一帧的光流模值都大于首帧模值U₀则保留；若小于阈值U_Δ或者某帧模值小于首帧模值则舍弃，即：

其中，U_i表示第i帧光流模值，U₀为视频序列首帧帧的光流模值,m可以根据情况改变，在这里设为15；每次计算窗口向前移动一帧，即i顺次加1，以此类推，若计算最终得到帧序列f_i(i+τ)(代表从第i帧f_i到第i+τ帧f_i+τ)且该序列长度满足：

T_i(i+τ)≤500ms (17)

则判定序列f_i(i+τ)为一个微表情序列；

在阈值U_Δ的确定上为保证对各人脸感兴趣区域均有良好的检测效果，通过对部分样本的实验结果选择U_Δ＝pU_Ω，其中U_Ω为高潮帧光流模值，p可以根据实际情况选择，在这里，p设为0.55,得到所有样本的整体约束方程：

检测出每段符合约束方程的帧序列后，以第一帧为起始帧，最后一帧为结束帧，光流模值最大帧为高潮帧。图8是CASME II中某个样本眉毛部位根据光流模值检测出来的微表情片段，其微表情片段是16-44帧，高潮帧是39帧，判断依据同上，图8中的编号为帧编号；

而对于光流角度首先对图像序列每帧的光流特征角度大小做离散度统计，以首帧为基础帧，假设其角度大小为x₀，后续帧角度大小依次为x₁、x₂、x₃……x_n，各帧与基础帧作差得到角度差样本数据(x₁-x₀)、(x₂-x₀)、(x₃-x₀)……(x_n-x₀)，从第二帧开始，每k帧作为一个计算窗口，利用方差公式计算得到

其中，为每个窗口中k帧图像光流特征角度的期望值，这里窗口大小k设为8帧是因为CASME II微表情数据库启动区间(起始帧到高潮帧)最小为8帧。每次计算窗口向前移动1位，i顺次加1，直到整个图像序列计算完毕，得到所有窗口的方差值。

接下来，所有窗口的方差值需要和方差阈值进行比较，当窗口的方差值小于阈值时，该窗口包含的k帧均选入准微表情序列。阈值设为l，这里关于阈值的确定，根据对部分样本的实验结果确定为0.2。另外需要注意，启动区域的时间范围约束在260ms以内，所以准微表情序列中的帧值连续时长不能超过260ms。结合光流特征模值约束条件，得到微表情启动区间的约束公式

其中，U_i表示第i帧光流模值，U₀为视频序列首帧的光流模值，U_Ω为高潮帧光流模值，T_i(i+τ)为准微表情序列中连续帧的时间长度。检测出符合约束方程的帧序列后，输出第一帧为起始帧，特征模值最大帧为高潮帧。因为是对启动区间进行检测，所以不输出结束帧。图9是CASME II中某个样本眉毛部位根据光流角度检测出来的微表情片段的启动区间，其微表情启动区间是1-11帧，高潮帧是11帧，判断依据同上。

表1 CASME II数据库微表情检测结果。

通过对中科院发布的CASMEⅡ微表情数据库中未剪切的原始视频进行微表情检测实验来检验算法效果。实验思路为：先对微表情视频进行预处理，对预处理之后的微表情序列样本划分出感兴趣的区域，根据FACS运动单元的运动特点，从人脸感兴趣部位中找出最好效果的部位，采用光流法提取感兴趣区域的光流矢量，在此基础上计算该微表情片段的光流模值和角度信息，并采用数形结合方法将光流模值和角度信息进行结合，形象直观地检测出微表情片段，只要该片段的起止帧、高潮帧和结束帧在人工编码的范围内，则判定发生了微表情。

表1为实验结果，假设样本数量为M_总，成功检测数量为M_成功，则微表情检测成功率f可定义为：

表1：CASME II数据库微表情检测结果

实验结果显示基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法在CASME II微表情数据库上获得了86.3％的检测成功率。

为了对本发明的微表情检测算法进行性能的评估，将检测的微表情片段作为实验标准作出ROC曲线。对于一个视频序列，将检测出的视频片段定义为f^s,人工编码的片段定义为f^g，真正例率和假正例率定义公式如下：

真正例率：

假正例率：

根据公式(22)得到图10所示的ROC曲线，实验证明了本发明方法的有效性。

Claims

1.一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法，其特征在于，该检测方法包括：

步骤二、对所述微表情图像序列中的图像划分人脸感兴趣区域，提取人脸感兴趣区域的光流特征矢量：

步骤三、通过光流矢量计算出光流模值，通过反三角函数对光流矢量进行计算，得到光流角度；并引入一种更加形象直观的方法将光流矢量的模值与角度信息进行结合，根据光流模值计算阈值，微表情视频的帧率给定最小帧长度，将有相同光流角度且光流模值大于阈值得到的连续不间断的帧数，将帧数大于最小帧长度的图像序列判为微表情序列，实现微表情的检测。

2.根据权利要求1所述的一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法，其特征在于，在步骤二中，对所述微表情图像序列中的图像划分人脸感兴趣区域后，根据不同表情FACS运动单元的运动特点，从人脸感兴趣区域中找出效果最好的一个人脸感兴趣区域；

优选的，所述步骤二中：提取所述人脸感兴趣区域的光流特征矢量的方法如下：选择微表情图像序列代表中性表情的一帧作为基础帧；利用光流法提取微表情图像序列的每一帧相对于所述基础帧在人脸感兴趣区域的光流矢量：得到相对于基础帧在人脸感兴趣区域上的光流矢量的水平分量x和垂直分量y；

优选的，所述步骤一中，所述对微表情视频进行预处理，得到微表情图像序列的方法包括：对微表情视频进行分帧、人脸定位、人脸对齐和裁剪。

3.根据权利要求2所述的一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法，其特征在于，所述步骤三中：通过所述光流矢量的水平分量x和垂直分量y，计算微表情序列的每一帧光流矢量的模值；

利用角度信息描述微表情序列的每一帧图像：通过计算光流矢量的水平分量x和垂直分量y的反三角函数arctan()得到的夹角。

4.根据权利要求3所述的一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法，其特征在于，所述步骤二中，对所述微表情图像序列中的图像划分人脸感兴趣区域的方法包括：先定位人脸特征点，再结合所述人脸特征点周围区域运动特点和FACS的AU运动单元，以所述人脸特征点的坐标位置为基准划入若干像素值，进而得到与所述人脸特征点对应的人脸感兴趣区域。

5.根据权利要求4所述的一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法，其特征在于，所述步骤二中提取所述人脸感兴趣区域的光流特征矢量的方法具体如下：

I(x,y,t)＝I(x+dx,y+dy,t+dt) (1)

将等号右边部分按泰勒公式展开得到：

<mrow> <mi>I</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>+</mo> <mi>d</mi> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>+</mo> <mi>d</mi> <mi>y</mi> <mo>,</mo> <mi>t</mi> <mo>+</mo> <mi>d</mi> <mi>t</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>I</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>+</mo> <mfrac> <mrow> <mo>&part;</mo> <mi>I</mi> </mrow> <mrow> <mo>&part;</mo> <mi>x</mi> </mrow> </mfrac> <mi>d</mi> <mi>x</mi> <mo>+</mo> <mfrac> <mrow> <mo>&part;</mo> <mi>I</mi> </mrow> <mrow> <mo>&part;</mo> <mi>y</mi> </mrow> </mfrac> <mi>d</mi> <mi>y</mi> <mo>+</mo> <mfrac> <mrow> <mo>&part;</mo> <mi>I</mi> </mrow> <mrow> <mo>&part;</mo> <mi>t</mi> </mrow> </mfrac> <mi>d</mi> <mi>t</mi> <mo>+</mo> <mi>&tau;</mi> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow> 1

其中，τ是高阶无穷小，因此变化为：

最终得到：

I(x,y,t)位置处的光流表示成用f_x表示f_y表示f_t表示其中分别是光流失量的水平分量x和垂直分量y；

E_C＝∫∫(f_xu+f_yv+f_t)²dxdy (6)

根据正规则理论，需对光流场施加平滑约束；传统的平滑性约束方程是使公式(7)尽量小：

<mrow> <msub> <mi>E</mi> <mi>s</mi> </msub> <mo>=</mo> <mo>&Integral;</mo> <mo>&Integral;</mo> <mrow> <mo>(</mo> <msubsup> <mi>u</mi> <mi>x</mi> <mn>2</mn> </msubsup> <mo>+</mo> <msubsup> <mi>u</mi> <mi>y</mi> <mn>2</mn> </msubsup> <mo>+</mo> <msubsup> <mi>v</mi> <mi>x</mi> <mn>2</mn> </msubsup> <mo>+</mo> <msubsup> <mi>v</mi> <mi>y</mi> <mn>2</mn> </msubsup> <mo>)</mo> </mrow> <mi>d</mi> <mi>x</mi> <mi>d</mi> <mi>y</mi> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>7</mn> <mo>)</mo> </mrow> </mrow>

采用各向非均匀平滑约束：

<mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> <mo>{</mo> <msub> <mi>E</mi> <mi>S</mi> </msub> <mo>=</mo> <mo>&Integral;</mo> <mo>&Integral;</mo> <mo>&lsqb;</mo> <msubsup> <mi>u</mi> <mi>x</mi> <mn>2</mn> </msubsup> <mo>+</mo> <msubsup> <mi>u</mi> <mi>y</mi> <mn>2</mn> </msubsup> <mo>+</mo> <msubsup> <mi>v</mi> <mi>x</mi> <mn>2</mn> </msubsup> <mo>+</mo> <msubsup> <mi>v</mi> <mi>y</mi> <mn>2</mn> </msubsup> <mo>+</mo> <mi>&lambda;</mi> <msup> <mrow> <mo>(</mo> <msub> <mi>f</mi> <mi>x</mi> </msub> <mi>u</mi> <mo>+</mo> <msub> <mi>f</mi> <mi>y</mi> </msub> <mi>v</mi> <mo>+</mo> <msub> <mi>f</mi> <mi>t</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>&rsqb;</mo> <mi>d</mi> <mi>x</mi> <mi>d</mi> <mi>y</mi> <mo>}</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>8</mn> <mo>)</mo> </mrow> </mrow>

即min{∫∫F(u,v,u_x,u_y,v_x,v_y)dxdy} (9)

其对应的Euler方程为

将公式(9)中的F代入公式(10)中得到

<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msup> <mo>&dtri;</mo> <mn>2</mn> </msup> <mi>u</mi> <mo>=</mo> <msub> <mi>&lambda;f</mi> <mi>x</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>f</mi> <mi>x</mi> </msub> <mi>u</mi> <mo>+</mo> <msub> <mi>f</mi> <mi>y</mi> </msub> <mi>v</mi> <mo>+</mo> <msub> <mi>f</mi> <mi>t</mi> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msup> <mo>&dtri;</mo> <mn>2</mn> </msup> <mi>v</mi> <mo>=</mo> <msub> <mi>&lambda;f</mi> <mi>y</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>f</mi> <mi>x</mi> </msub> <mi>u</mi> <mo>+</mo> <msub> <mi>f</mi> <mi>y</mi> </msub> <mi>v</mi> <mo>+</mo> <msub> <mi>f</mi> <mi>t</mi> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>11</mn> <mo>)</mo> </mrow> </mrow>

公式(11)中的λ表示约束程度；此时λ取值较小；在实际计算过程中，需要对数据进行离散化处理后求得光流直方图；

通过光流法求出微表情的每一帧相对于基础帧在感兴趣区域的光流矢量，每个光流矢量包含水平向量(x分量)和垂直向量(y分量)。

6.根据权利要求3所述的一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法，其特征在于，所述步骤三中：通过所述光流矢量的水平分量x和垂直分量y，计算微表情序列的每一帧光流矢量的模值的具体方法如下：

7.根据权利要求3所述的一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法，其特征在于，所述步骤三中：利用角度信息描述微表情序列的每一帧图像：通过计算光流矢量的水平分量x和垂直分量y的反三角函数arctan()得到的夹角的具体公式如下：

<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>&theta;</mi> <mi>i</mi> </msub> <mo>=</mo> <mi>a</mi> <mi>r</mi> <mi>c</mi> <mi>t</mi> <mi>a</mi> <mi>n</mi> <mo>|</mo> <mfrac> <msub> <mi>y</mi> <mi>i</mi> </msub> <msub> <mi>x</mi> <mi>i</mi> </msub> </mfrac> <mo>|</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>&theta;</mi> <mi>i</mi> </msub> <mo>=</mo> <mfrac> <mi>&pi;</mi> <mn>2</mn> </mfrac> <mo>+</mo> <mi>a</mi> <mi>r</mi> <mi>c</mi> <mi>t</mi> <mi>a</mi> <mi>n</mi> <mo>|</mo> <mfrac> <msub> <mi>x</mi> <mi>i</mi> </msub> <msub> <mi>y</mi> <mi>i</mi> </msub> </mfrac> <mo>|</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>&theta;</mi> <mi>i</mi> </msub> <mo>=</mo> <mi>&pi;</mi> <mo>+</mo> <mi>arctan</mi> <mo>|</mo> <mfrac> <msub> <mi>y</mi> <mi>i</mi> </msub> <msub> <mi>x</mi> <mi>i</mi> </msub> </mfrac> <mo>|</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>&theta;</mi> <mi>i</mi> </msub> <mo>=</mo> <mfrac> <mrow> <mn>3</mn> <mi>&pi;</mi> </mrow> <mn>2</mn> </mfrac> <mo>+</mo> <mi>a</mi> <mi>r</mi> <mi>c</mi> <mi>t</mi> <mi>a</mi> <mi>n</mi> <mo>|</mo> <mfrac> <msub> <mi>x</mi> <mi>i</mi> </msub> <msub> <mi>y</mi> <mi>i</mi> </msub> </mfrac> <mo>|</mo> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>13</mn> <mo>)</mo> </mrow> </mrow>

8.根据权利要求1所述的一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法，其特征在于，所述步骤三中，将所述光流模值和角度结合起来的具体方法如下：

首先将微表情片段每帧的光流模值和角度进行数形结合的转化，具体转化公式如下：

<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>a</mi> <mi>i</mi> </msub> <mo>=</mo> <msub> <mi>A</mi> <mi>i</mi> </msub> <msub> <mi>cos&theta;</mi> <mi>i</mi> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>b</mi> <mi>i</mi> </msub> <mo>=</mo> <msub> <mi>A</mi> <mi>i</mi> </msub> <msub> <mi>sin&theta;</mi> <mi>i</mi> </msub> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>14</mn> <mo>)</mo> </mrow> </mrow>

根据公式(14)可知，将光流模值和角度转化成极坐标，光流模值随帧值先增大的峰值然后再减小，在图上表现为离开原点的距离先增大后减小，后找到离原点最远的帧即为高潮帧，阈值是根据高潮帧的模值判断的，公式如下：

A_i＞nA_MAX (15)

其中，A_MAX定义为在满足光流模值和角度结合后选出的微表情片段中光流模值的最大值，n为给定的值，根据实际情况发生变化，nA_MAX定义为阈值，表示为一个圆形，满足上述条件，即光流角度在一条直线附近，且阈值大于nA_MAX的连续帧判定为微表情。

9.根据权利要求1所述的一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法，其特征在于，利用所述光流模值和角度结合起来的具体方法，还包括：一段光流模值和角度持续稳定的偏离某个合适阈值的帧序列若处在合理的时间范围内，则提示出现了微表情。