CN111461021A

CN111461021A - 一种基于光流的微表情检测方法

Info

Publication number: CN111461021A
Application number: CN202010252013.3A
Authority: CN
Inventors: 王甦菁; 张力为; 谢海永
Original assignee: Institute of Psychology of CAS; Electronic Science Research Institute of CTEC
Current assignee: Institute of Psychology of CAS; Electronic Science Research Institute of CTEC
Priority date: 2020-04-01
Filing date: 2020-04-01
Publication date: 2020-07-28

Abstract

本发明公开了一种基于光流的微表情检测方法，采用开源工具包dlib对视频样本中的每一帧图片进行人脸识别，并标记出感兴趣区域ROI及不易形变区域ROI‘；计算视频样本中相邻两帧的稠密光流，提取感兴趣区域内的光流及不易形变区域的光流，对二者做减法处理以去除头部晃动的影响；划定极坐标下的角度区域，在所划定的极坐标角度区域内分别计算视频样本中的每帧图片感兴趣区域ROI的主光流，并将视频样本中所有帧的主光流轨迹顺次由幅值和角度表示出来；根据幅值和角度轨迹捕捉视频样本中的微表情发生帧，并作出微表情标注。本发明可以实时展示微表情在各个感兴趣区域ROI中的运动情况，并且本身不需要数据进行训练，具有高效、直观、高准确率和稳定性的优点。

Description

一种基于光流的微表情检测方法

技术领域

本发明涉及微表情检测技术领域，具体涉及一种基于光流的微表情检测方法。

背景技术

微表情具有比肢体和话语更多的表达信息。其难以抑制的特点可以为揭示人的内心状态提供线索，在医疗和公共安全领域等有广泛的应用。微表情的标注和分析十分依赖专业的经验，标注者需要至少100小时的训练才能达到要求。此外该任务还非常耗时，平均要2小时才能标注完一个1 分钟长度的视频。基于微表情发生强度低，持续时间短(小于500ms)的特性，现有的微表情检测方法大多基于实验室环境，需要大量的时间训练模型，不能进行实时的标注且准确率不高。

发明内容

为了解决上述所存在的技术问题，减少标注者的工作量，提高对微表情的检测效率，实现对微表情进行快速、直观且更高准确率的标注，为此，本发明提供了一种基于光流的微表情检测方法。

本发明采用如下技术方案：

一种基于光流的微表情检测方法，采用开源工具包dlib对视频样本中的每一帧图片进行人脸识别，并对人脸区域标记出感兴趣区域ROI及不易形变区域ROI‘；计算视频样本中相邻两帧的稠密光流，提取感兴趣区域ROI 内的光流及不易形变区域ROI‘的光流，对二者做减法处理以去除头部晃动的影响；划定极坐标下的角度区域，在所划定的极坐标角度区域内分别计算视频样本中的每帧图片感兴趣区域ROI的主光流，并将视频样本中所有帧的主光流轨迹顺次由幅值和角度表示出来；根据幅值和角度轨迹捕捉视频样本中的微表情发生帧，并作出微表情标注。

在人脸区域标记出感兴趣区域ROI为双眉区域、嘴唇四周区域和鼻尖区域。

沿每条眉毛分别标记三个特征点，在上嘴唇和下嘴唇的中部各标记一个特征点，在两嘴角位置分别标记一个特征点，在鼻尖位置标记一个特征点。

在鼻梁的上部区域标记一个特征点作为不易形变区域ROI‘。

进一步地，所划定的极坐标角度区域的方法是，在极坐标平面区共划分至少四个对称区域，分别为左右两个扇形区域和上下两个扇形区域，且左右两个扇形区域所呈圆心角为40～80°。

计算视频样本中每帧图片感兴趣区域ROI的主光流幅值和角度的具体方法是，分别统计落入到所划分的四个角度区域内的光流的幅值之和，选出具有最大幅值的区域，计算落入到这个最大幅值区域的主光流，在极坐标系中表示出主光流轨迹的幅值和角度。

根据幅值和角度轨迹捕捉视频样本中的微表情发生帧，并作出标注，其具体方法是：在视频样本中选取感兴趣区域ROI中的主光流幅值轨迹的最大值max；设定幅度阈值C*max(其中C＜1)并提取感兴趣区域ROI中的主光流幅值大于所设定幅度阈值的特征点轨迹，提取感兴趣区域ROI中特征点的完整波峰；针对所提取的波峰中的帧，根据特征点主光流的角度变化轨迹对发生微表情的帧作出标注。

针对所提取的波峰中的帧，根据特征点主光流的角度变化轨迹对发生微表情的帧作出标注，具体方法是，统计角度为正的帧数和角度为负的帧数；将二者做减法处理，若所得差的绝对值小于所设定的角度阈值时，则对波峰中的帧作出微表情标注，计算公式：

式中：

表示第r个ROI内的主光流角度为正的帧数和角度为负的帧数的差值；

表示第r个ROI内的第i帧；

B_crest表示符合幅度模式的帧的集合；

表示第r个ROI内符合幅度模式帧的主光流角度。

所述的C值取值为0.5～0.8，所述的角度阈值为(0-1/2)*fps。

在提取感兴趣区域ROI中的主光流幅值的过程中，若捕捉到的相邻微表情连续帧小于fps/10时，采用融合操作将间隔小于所设定间隔标注片段进行合并处理。

本发明技术方案具有如下优点：

A.本发明提出的微表情检测方法可以实时的展示微表情在各个感兴趣区域ROI中的运动情况，并且本身不需要数据进行训练，具有高效、直观、高准确率和稳定性的优点。

B.本发明相比传统微表情检测方法，在两个微表情数据库上的运行结果很好地验证了本发明在标注微表情方面具有更好的表现。

附图说明

为了更清楚地说明本发明具体实施方式，下面将对具体实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明预处理结果图示；

图2为本发明光流方向直方图的划分方式；

图3为本发明微表情主光流模式；

图4本发明在CAS(ME)^²样本上的示意图(测试样本中出现的微表情类别全是恶心)；

图5为本发明所提供的高速相机捕捉视频帧及分析标注过程。

附图标记说明：

1-包括高速摄像机；2-LED照明灯；3-反光伞；4-计算机；5-被试监视器；6-主试监视器；7-被试。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明提供了一种基于光流的微表情检测方法，采用开源工具包dlib对视频样本中的每一帧图片进行人脸识别，并对人脸区域标记出感兴趣区域ROI及不易形变区域ROI‘；计算视频样本中相邻两帧的稠密光流，提取感兴趣区域ROI内的光流及不易形变区域ROI‘的光流，对二者做减法处理以去除头部晃动的影响；划定极坐标下的角度区域，在所划定的极坐标角度区域内分别计算视频样本中每帧图片中感兴趣区域ROI的主光流，并将视频样本中所有帧的主光流轨迹顺次由幅值和角度表示出来；根据幅值和角度轨迹捕捉视频样本中的微表情发生帧，并作出标注。

本发明中在人脸区域标记出感兴趣区域ROI优选为双眉区域、嘴唇四周区域和鼻尖区域。如图1所示，沿每条眉毛分别标记3个特征点，分别为眉毛中部和两端位置，在上嘴唇和下嘴唇的中部各标记一个特征点，在两嘴角位置分别标记一个特征点，在鼻尖位置标记一个特征点，共计11个特征点区域。而在鼻梁的上部区域标记一个特征点作为不易形变区域ROI‘。本发明中没有选取眼睛区域的特征点是因为眨眼本身不算做微表情且对脸部其他区域产生形变影响。其中选取不易形变的鼻子区域作为参照以消除全局的头部运动。

首先，计算相邻两帧的稠密光流，提取上述选中的ROI内的主光流。 ROI‘用于去除头部晃动的影响，具体分两步。第一步，计算ROI‘的主要运动光流作为头部运动的估计；第二步，将感兴趣区域ROI内的每个像素的光流减去主要的头部运动光流，从而得到ROI内的真实光流。

接着，计算每个视频样本的每个感兴趣区域ROI都有的关于主光流角度和幅值的轨迹。图2展示了方向角度的划分方式，所划定的极坐标角度区域的方法是，在极坐标平面区共划分至少四个对称区域，分别为左右两个扇形区域和上下两个扇形区域，且左右两个扇形区域所呈圆心角为40～ 80°，优选为60°，左右两个扇形区域涉及到人的头部水平运动，人的头部在晃动时，水平方向的运动占大多数情况，左右两扇形区域对微表情的关联度较小，包含的大多数光流向量是无效的，因此，本发明将左右的扇形区域设置的小一些。

首先分别统计落入到这四个角度区域内的光流的幅值之和，选出具有最大幅值的区域，计算落入到这个区域的主光流，在极坐标下的主光流由幅值和角度表示。

对于每个感兴趣区域ROI的轨迹，微表情发生的帧都会有相同的主光流模式。见图3展示了微表情模式。

具体的捕捉微表情模式的流程如下：

幅度模式：找到幅值轨迹的最大值，记作max。将c*max作为阈值。对高于这个阈值的点，判断其是否是极大值。如果是，则提取完整的波峰，这里的C优选为0.5-0.8中取值。

角度模式：微表情发生的过程中主位移的方向会改变，如眉毛的上扬和下皱。对于提取到的幅值模式中的帧，角度为正的帧和角度为负的帧的差的绝对值应当小于某个阈值，角度阈值可以优选为0-0.5fps。具体可以根据摄像机的帧率进行设置。

其中式(1)的

表示第r个ROI内的主光流角度为正的帧和角度为负的帧的差值，

表示第r个ROI内的第i帧，B_crest表示符合幅度模式的帧的集合，

表示第r个ROI内符合幅度模式帧的主光流角度。

本发明中通过对幅值模式中所选出的帧做正负帧的减法处理，主要是因为微表情是一个过程，微表情运动由几个阶段组成，加速-减速-反转。在角度模式中的体现就是正值帧和负值帧数量应当是差不多，至少不会是正值帧数量远大于负值帧数量或负值帧数量远大于正值帧，通过角度模式可以将符合微表情变化规律的帧标注出来。

本发明可以通过设置程序进行自动提取波峰的帧范围，提取程序如下：

假设

是第m帧的第r个ROI的幅值轨迹的点，流程用伪代码形式表示：

i＝m

i＝m-1

while before<current:

current＝before

i＝i-1

j＝m

j＝m+1

while after>current:

current＝after

j＝j+1

捕捉到的波峰[i,j]，表示波峰范围从第i帧到第j帧。

再根据给出的公式(1)判断是否符合角度模式，如果符合则进行标注。

对于每一个视频样本，令T＝{C₁,C₂,...,C₁₁}为主光流轨迹的集合。将F记作模式提取操作符，对轨迹集合T施加模式提取操作F得到 F(T)＝{F(C₁),F(C₂),...,F(C₁₁)}，其中F(T)是捕捉到的微表情发生帧。为了记录标注的帧，维护一个线性序列Γ＝(0,0,…,0)将微表情发生的帧的相应位置赋值为1，其中Γ序列的长度等于样本视频的总的帧数。要注意的是在提取幅值模式的过程中捕捉到的相邻微表情连续帧可能间隔过小，比如设置的间隔为fps/10，小于此间隔时，要采用融合的操作将间隔过小的标注片段合并。

图4展示了测试样本中出现的微表情类别全是恶心时，在不同ROI 区域内的光流轨迹变化情况，可以观察到在微表情发生时，相应的ROI区域内会出现很高的顶峰，而不相关的区域则变化平缓。

如图5所示，本发明中还设计了一个物理系统进行捕捉微表情。整个系统包括高速摄像机1、LED照明灯2、反光伞3、计算机4、被试监视器5 和主试监视器6，将高速摄像机1连接到计算机4，被测试的对象坐在镜头面前。为了提高捕捉效率，高速摄像头与计算机的连接通过USB3.0控制口，其最高传输带宽可达到5.0Gbps(640MB/s)，这样传输速度就不会成为摄像机速度的瓶颈。此外使用多线程的方式，读取视频帧和写入视频帧由两个线程执行，以充分利用多核CPU的性能。存储过程采用缓冲队列的方式，不是将每一帧图片依次存入硬盘，而是维护一个队列的数据结构用于临时保存一定数量的帧，当队列满时将队列中的所有帧全部保存到硬盘当中。

表1列出了运用本发明微表情检测方法在两个微表情数据库上运行的结果，可以观察到本发明标注微表情方面具有更好的表现。

表1：

对比例(采用主方向最大距离(MDMD)方法)

对于一个视频样本，当前帧被记作F_i。F_i-k是F_i的第前K帧，F_i+k是F_i后的第K帧。计算F_i-k和F_i之间的光流被记作(u^HC,v^HC)代表每一个对应像素点的距离。F_i-k叫做头帧(Head)，F_i+k叫做尾帧(Tail)。F_i-k和F_i+k之间的光流被记作(u^HT,v^HT)。转换到极坐标下就是(ρ^HC,θ^HC)和(ρ^HT,θ^HT)。计算主方向光流得到

和

将

按照升序排列，找到这组序列中的最大的记作

最大距离被定义为1/3*

该方法还将脸部进行分块，根据b*b进行分割。计算b^2个区域块内的最大距离并降序排列，取前s个计算平均值记作作r_mean。

threshold＝r_mean+p(r_max-r_mean) (2)

P是参数，范围为[0,1]。高于该阈值的帧被记作微表情。

下表2是采用主方向最大距离方法在两个微表情数据库上运行进行标注的情况。

表2：

对比结论：本发明标注正确的微表情片段比采用对比例中的多，标注错误的微表情片段比采用对比例中的少。根据比对F1-score指标，本发明在标注宏表情和微表情上的总体表现都优于上述方法，并且具有更强的稳定性。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明的保护范围之中。

Claims

1.一种基于光流的微表情检测方法，其特征在于，采用开源工具包dlib对视频样本中的每一帧图片进行人脸识别，并对人脸区域标记出感兴趣区域ROI及不易形变区域ROI‘；计算视频样本中相邻两帧的稠密光流，提取感兴趣区域ROI内的光流及不易形变区域ROI‘的光流，对二者做减法处理以去除头部晃动的影响；划定极坐标下的角度区域，在所划定的极坐标角度区域内分别计算视频样本中的每帧图片感兴趣区域ROI的主光流，并将视频样本中所有帧的主光流轨迹顺次由幅值和角度表示出来；根据幅值和角度轨迹捕捉视频样本中的微表情发生帧，并作出微表情标注。

2.根据权利要求1所述的基于光流的微表情检测方法，其特征在于，在人脸区域标记出感兴趣区域ROI为双眉区域、嘴唇四周区域和鼻尖区域。

3.根据权利要求2所述的基于光流的微表情检测方法，其特征在于，沿每条眉毛分别标记三个特征点，在上嘴唇和下嘴唇的中部各标记一个特征点，在两嘴角位置分别标记一个特征点，在鼻尖位置标记一个特征点。

4.根据权利要求1所述的基于光流的微表情检测方法，其特征在于，在鼻梁的上部区域标记一个特征点作为不易形变区域ROI‘。

5.根据权利要求1所述的基于光流的微表情检测方法，其特征在于，所划定的极坐标角度区域的方法是，在极坐标平面区共划分至少四个对称区域，分别为左右两个扇形区域和上下两个扇形区域，且左右两个扇形区域所呈圆心角为40～80°。

6.根据权利要求5所述的基于光流的微表情检测方法，其特征在于，计算视频样本中每帧图片感兴趣区域ROI的主光流幅值和角度的具体方法是，分别统计落入到所划分的四个角度区域内的光流的幅值之和，选出具有最大幅值的区域，计算落入到这个最大幅值区域的主光流，在极坐标系中表示出主光流轨迹的幅值和角度。

7.根据权利要求6所述的基于光流的微表情检测方法，其特征在于，根据幅值和角度轨迹捕捉视频样本中的微表情发生帧，并作出标注，其具体方法是：在视频样本中选取感兴趣区域ROI中的主光流幅值轨迹的最大值max；设定幅度阈值C*max(其中C＜1)并提取感兴趣区域ROI中的主光流幅值大于所设定幅度阈值的特征点轨迹，提取感兴趣区域ROI中特征点的完整波峰；针对所提取的波峰中的帧，根据特征点主光流的角度变化轨迹对发生微表情的帧作出标注。

8.根据权利要求7所述的基于光流的微表情检测方法，其特征在于，针对所提取的波峰中的帧，根据特征点主光流的角度变化轨迹对发生微表情的帧作出标注，具体方法是，统计角度为正的帧数和角度为负的帧数；将二者做减法处理，若所得差的绝对值小于所设定的角度阈值时，则对波峰中的帧作出微表情标注，计算公式：

式中：

f_i ^r表示第r个ROI内的第i帧；

B_crest表示符合幅度模式的帧的集合；

表示第r个ROI内符合幅度模式帧的主光流角度。

9.根据权利要求8所述的基于光流的微表情检测方法，其特征在于，所述的C值取值为0.5～0.8，所述的角度阈值为(0-1/2)*fps。

10.根据权利要求1所述的基于光流的微表情检测方法，其特征在于，在提取感兴趣区域ROI中的主光流幅值的过程中，若捕捉到的相邻微表情连续帧小于fps/10时，采用融合操作将间隔小于所设定间隔标注片段进行合并处理。