CN111626179A - 一种基于光流叠加的微表情检测方法 - Google Patents

Abstract

本发明公开了一种基于光流叠加的微表情检测方法，对视频样本图片进行预处理，得到视频中每帧图片的人脸定位区域；建立一个长度为2k的滑动窗口[F_i－k，F_i+k]；在滑动窗口中，将计算的稠密光进行光流叠加后得到叠加光流S_i和S_i+k；计算主方向上叠加光流S_i+k与S_i的模值差值，计算每帧图片中各个方形区块的光流特征值；根据各方形区块的光流特征值，计算滑动窗口中当前检测帧F_i图片的特征平均值d_i，并依次得到视频中所有帧图片的特征平均值和相对差值r_i；比较相对差值r_i和阈值T，找出所有大于阈值T的相对差值r_i所对应的帧图片序号i。通过叠加光流可以削弱光流中的随机噪声信息，提高微表情检测方法的性能上限，具有增大检测方法的最大F1‑score的优点。

Description

一种基于光流叠加的微表情检测方法

技术领域

本发明涉及微表情检测技术领域，具体涉及一种基于光流叠加的微表情检测方法。

背景技术

微表情是人们在隐藏自己情绪时所泄露的快速面部表情。在一段视频中，检测是否发生了微表情并且定位微表情发生的时间段，可以用于谎言的检测和说谎时间的定位。F1-score可以有效地平衡一个微表情检测方法的准确率和召回率，从而成为了衡量微表情检测方法性能的通用指标。通常情况下，方法的参数设置会影响F1-score的值，但是这种影响对于F1-score的提升是有上限的。也就是说，F1-score在不同的参数设置中会有一个最大值。在基于光流分析的微表情检测方法中，所计算出的两帧之间的光流有一部分是由于面部运动产生的，另一部分是由于随机噪声产生的，而由于随机噪声产生的光流会使算法的性能下降，从而影响F1-score的提升。

发明内容

为了解决上述所存在的技术问题，本发明通过叠加两张光流特征来减小由于随机噪声产生的光流的模值，从而削弱由于随机噪声导致的检测性能受损，进而提高基于光流分析的微表情检测方法的上限。为此，本发明提供了一种基于光流叠加的微表情检测方法。

所采用的具体方案如下：

一种基于光流叠加的微表情检测方法，所述方法包括如下步骤：

步骤1，对视频样本图片进行预处理，得到视频中每帧图片的人脸定位区域；

步骤2，建立一个包含当前检测帧F_i、长度为2k的滑动窗口[F_i－k，F_i+k]，在待检测视频中，沿时间轴方向按步长1帧移动，其中i＝k+1，k+2，…，n－k，n为视频中总帧数；

步骤3，在滑动窗口中，计算帧F_i－k到帧F_i之间的稠密光流O_i、帧F_i－k到帧F_i－1之间的稠密光流O_i－1、帧F_i－k到帧F_i+k－1之间的稠密光流O_i+k－1及帧F_i－k到帧F_i+k之间的稠密光流O_i+k；

步骤4，将稠密光流O_i和O_i－1进行光流叠加后得到叠加光流S_i，将稠密光流O_i+k－1和O_i+k进行光流叠加后得到叠加光流S_i+k；

步骤5，将步骤1中每帧图片的人脸定位区域划分为多个区块，提取各区块上叠加光流S_i的光流矢量，计算主方向上叠加光流S_i+k与S_i的模值差值，得到滑动窗口中当前检测帧F_i的各个区块光流特征值；

步骤6，根据当前检测帧F_i中各区块的光流特征值，计算当前检测帧F_i的特征平均值d_i；

步骤7，沿视频时间轴方向移动滑动窗口，根据各帧图片的特征平均值d_i计算当前检测帧F_i的相对差值r_i；

步骤8，根据所设定的阈值T，比较相对差值r_i和阈值T，找出所有大于阈值T的相对差值r_i所对应的帧图片序号i，并输出，得到属于微表情的帧图片。

还包括微表情的筛选步骤9，将步骤8中所得到的连续预测为微表情的帧图片序号i合并起来形成微表情区间，再将持续时间0.2～0.55秒的区间筛选出来，作为检测出的微表情区间。

所述步骤1中对视频样本图片进行预处理的方法是：

步骤1.1，采用dlib检测器检测出视频样本中第一张图片中的人脸68个关键点，并找出68个关键点中的位于最左、最右、最上和最下的四个关键点；

步骤1.2，标记出第19个关键点和第37个关键点的垂直距离d；

步骤1.3，构建一个矩形框，使得矩形框的左边、右边和下边分别经过检测出的最左、最右和最下的人脸关键点，矩形框的上边位于所检测出的最上人脸关键点之上的d距离处；

步骤1.4，再次采用dlib检测器对构建的矩形框内部区域进行68个关键点检测，找出位于最下的人脸关键点并与第一次检测到的最下人脸关键点比较，找出两关键点中靠上的一个，并将其作为新构建矩形框的下边。

所述步骤5中，将每帧图片的人脸定位区域按照6×6的区块划分方式，划分成36个相等大小的方形区块。

所述步骤5中，提取各方形区块上叠加光流S_i的光流矢量，计算主方向上叠加光流S_i+k与S_i的模值差值后，并将各方形区块上的所得到的模值差值按照降序排列，计算排序后的前1/3个差值的平均值，即得到当前检测帧F_i中各方形区块的光流特征值。

所述步骤6中，将所有方形区块的光流特征值按降序排列，取前12个方形区块的光流特征值，并取平均值后得到当前检测帧F_i的特征平均值d_i。

本发明技术方案具有如下优点：

A.本发明通过对所建立的滑动窗口中的各帧图片进行光流叠加处理，所形成的叠加光流可以削弱光流中的随机噪声信息，同时加强光流中的运动信息，从而提高基于光流分析的微表情检测方法的性能上限，具有可以增大检测方法的最大F1-score的优点。

B.通过在CAS(ME)^2数据集上对比传统的MDMD方法，本发明通过对光流进行叠加后再进行MDMD方法应用，叠加后的光流有效地提高了MDMD检测方法在CAS(ME)^2数据集上的微表情检测性能上限，即有效地增大了检测方法在各种参数p值的设置下的最大F1-score的值，检测性能相比传统的MDMD检测方法提升4％，可以更准确的获取视频中人物的微表情，并定位视频中微表情发生的时间段。

C.本发明对视频图片中的人脸关键点进行了两次关键点检测，通过两次对人脸下部的关键点检测来定位人脸区域，通过构造的矩形框将各帧图片中的待检测的人脸区域剪裁出来，统一缩放成227×227像素，完成对各帧图片的预处理，使检测方法对人脸下部的定位更加准确。

附图说明

为了更清楚地说明本发明具体实施方式，下面将对具体实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提供的微表情检测方法原理框图；

图2-1、图2-2、图2-3为本发明所提供的图片预处理过程图示；

图3为本发明所提供的各帧图片区块划分方式图示；

图4为所采用的微表情主光流模式；

图5为高速相机捕捉视频帧及分析检测装置图示。

附图标记说明：

1-高速相机；2-计算机；3-被测试者。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明提供了一种基于光流叠加的微表情检测方法，包括如下步骤：

【S1】，对视频样本图片进行预处理，得到视频中每帧图片的人脸定位区域。

对于每个视频样本的第一帧图片，首先用开源工具包dlib检测器检测出人脸的68个关键点；找出这68个关键点的最左、最右、最上、最下的四个关键点；记第19个关键点和第37个关键点的垂直距离为d；构造一个矩形框，使矩形框的左、右、下边分别经过检测出的最左、最右、最下人脸关键点；矩形框的上边处于最上关键点的上方，与最上关键点的垂直距离为d，如图2-1所示。构造好矩形框之后，在矩形框所包围的区域内再次用dlib检测器检测68个人脸关键点；找出最下面的人脸关键点，使其与第一次检测的最下面的关键点进行比较，找出两个关键点中靠上的一个，记为点A。构造一个新的矩形框，使其左、右、上边与先前的矩形框的左、右、上边相同，并使其下边经过点A，如图2-2所示。本发明对视频图片中的人脸关键点进行了两次关键点检测，其目的是使检测方法对人脸下部的定位更加准确。通过两次关键点检测来定位人脸区域的处理过程，之后对于该视频样本中的每一帧图片，通过新构造的矩形框，将各帧图片中的待检测的人脸区域剪裁出来，如图2-3所示，优选地统一缩放成227×227像素，完成对各帧图片的预处理。上述的dlib检测器为微表情检测中常用的现有检测手段，在此不再赘述。

【S2】，建立一个包含当前检测帧F_i、长度为2k的滑动窗口[F_i－k，F_i+k]，在待检测视频中，沿时间轴方向按步长1帧移动，其中i＝k+1，k+2……n－k，n为视频中总帧数。这里的k值优选取帧率的0.4倍，CAS(ME)^2数据集的帧率是30FPS，k设置成0.4*30＝12。

在一段预处理好的待检测视频中，记当前检测帧为F_i，它的前一帧为F_i－1，它的前k帧为F_i－k，它的后k帧为F_i+k，它的后k－1帧为F_i+k－1。

【S3】，计算帧F_i-k到帧F_i之间的稠密光流，记为O_i；计算帧F_i-k到帧F_i-1之间的稠密光流，记为O_i-1；计算帧F_i－k到帧F_i+k－1之间的稠密光流，记为O_i+k－1；计算帧F_i-k到帧F_i+k之间的稠密光流，记为O_i+k。

【S4】，将稠密光流O_i和O_i－1进行光流叠加后得到叠加光流S_i，将稠密光流O_i+k－1和O_i+k进行光流叠加后得到叠加光流S_i+k。

所计算出的光流会包含一些图像中的随机噪声所产生的光流，随机噪声所产生的光流进行叠加以后会互相抵消。因此，计算光流O_i－1和光流O_i的和，记为叠加光流S_i；并计算稠密光流O_i+k－1和稠密O_i+k的和，记为叠加光流S_i+k。叠加光流S_i增强了稠密光流O_i-1和稠密光流O_i中的运动信息，并削弱了随机噪声的影响。同样地，叠加光流S_i+k增强了稠密光流O_i+k－1和稠密光流O_i+k中的运动信息，并削弱了随机噪声的影响。

【S5】，将步骤1中每帧图片的人脸定位区域划分为多个区块，提取各区块上叠加光流S_i的光流矢量，计算主方向上叠加光流S_i+k与S_i的模值差值，得到滑动窗口中当前检测帧F_i的各个区块光流特征值。

如图3所示，将预处理好的帧图片优选按照6×6的区块划分方式划分成36个相等大小的方形区块，如图2所示。在每一个区块上，做如下操作：计算光流S_i的主方向。图4展示了方向角度的划分方式，找出S_i的光流落在主方向区间内的点的位置。在这些点的位置，计算主方向上对应的光流S_i+k与S_i的模值差值。将这些差值按照降序排列，并计算排序后的前1/3个差值的平均值。将这个平均值做为代表该区块的特征值。

【S6】，根据各方形区块的光流特征值，计算滑动窗口中当前检测帧F_i图片的特征平均值d_i，沿视频时间轴方向依次得到视频中所有帧图片的特征平均值。

将36个区块的36个特征值按降序排列，计算前12个特征值的平均值，并记该平均值为d_i。将k值设置成视频帧率的0.4倍，按四舍五入的方式取整。在一般情况下，当微表情肌肉强度最强的帧越是靠近第i帧的时候，d_i值越大。

【S7】，沿视频时间轴方向移动滑动窗口，根据各帧图片的特征平均值d_i计算当前检测帧F_i的相对差值r_i。

为了更好地比较光流模值特征的差异，按照如下公式将绝对差值d_i转换成相对差值r_i。

r_i＝d_i－1/2(d_i－k+1+d_i+k－1)，i＝2k+1，2k+2，…，n－2k，n为该视频的总帧数。

计算这些r_i的平均值(共计帧数为n－4k)，记为r_mean，计算公式如下：

这些r_i中的最大值，记为r_max：

【S8】，根据所设定的阈值T，比较相对差值r_i和阈值T，找出所有大于阈值T的相对差值r_i所对应的帧图片序号i，并输出，得到属于微表情的帧图片。

设置一个阈值T，计算公式如下：

T＝r_mean+p×(r_max－r_mean)。

其中，p∈[0,1]。将所有大于阈值T的r_i值所对应的帧的序号i找出来，作为属于微表情的帧，送入检测方法的后处理阶段。

【S9】，将连续预测为微表情的帧图片序号合并起来，形成区间，将对应的持续时间大于0.2秒并且小于0.55秒的区间筛选出来，作为检测方法检测出的微表情区间。当然，这里还可以选取稍大于上述时间区间的其它时间区间。

实施例：

如图5所示，本发明还设计了一个物理系统去捕捉并检测微表情。包括高速相机、计算机及内嵌于计算机中的微表情检测方法。将高速相机连接到计算机上，被测试者(被试)坐在高速相机的镜头面前，高速相机录制被试的面部视频。在计算机中装入实现本发明微表情的检测方法，将录制的视频输入算法进行处理。经微表情检测算法处理之后，将预测的微表情区间输出到计算机上，获得产生微表情的视频时间区域。通过对所拍摄的被试视频，经计算机分别通过现有的MDMD微表情检测方法与本发明所采用的微表情检测方法进行处理，得到两种检测结果如表1所示。

表1原MDMD检测与本发明基于叠加光流的MDMD在CAS(ME)^2数据集上的检测结果。

方法	最大F1-score	对应的参数p的值
			MDMD	0.027	0.19
基于叠加光流的MDMD(本发明)	0.031	0.33

上表中列出了在CAS(ME)^2数据集上所做的两种检测方法的实验结果，一种是MDMD检测方法，一种是本发明提出的基于叠加光流的MDMD检测方法。通过对比表格中的数据可以看出，将稠密光流进行叠加以后，削弱光流中的噪声信息、加强光流中的运动信息，有效地提高了MDMD检测方法在CAS(ME)^2数据集上的微表情检测性能上限，具有增大微表情检测在对应的参数p值设置下的最大F1-score值的优点，本发明有效提高微表情检测性能上限，大大提高基于光流分析的微表情检测方法的性能上限。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明的保护范围之中。

Claims (6)

1.一种基于光流叠加的微表情检测方法，其特征在于，所述方法包括如下步骤：

步骤1，对视频样本图片进行预处理，得到视频中每帧图片的人脸定位区域；

步骤2，建立一个包含当前检测帧F_i、长度为2k的滑动窗口[F_i－k，F_i+k]，在待检测视频中，沿时间轴方向按步长1帧移动，其中i＝k+1，k+2，…，n－k，n为视频中总帧数；

步骤3，在滑动窗口中，计算帧F_i－k到帧F_i之间的稠密光流O_i、帧F_i－k到帧F_i－1之间的稠密光流O_i－1、帧F_i－k到帧F_i+k－1之间的稠密光流O_i+k－1及帧F_i－k到帧F_i+k之间的稠密光流O_i+k；

步骤4，将稠密光流O_i和O_i－1进行光流叠加后得到叠加光流S_i，将稠密光流O_i+k－1和O_i+k进行光流叠加后得到叠加光流S_i+k；

步骤5，将步骤1中每帧图片的人脸定位区域划分为多个区块，提取各区块上叠加光流S_i的光流矢量，计算主方向上叠加光流S_i+k与S_i的模值差值，得到滑动窗口中当前检测帧F_i的各个区块光流特征值；

步骤6，根据当前检测帧F_i中各区块的光流特征值，计算特征平均值d_i；

步骤7，沿视频时间轴方向移动滑动窗口，根据各帧图片的特征平均值d_i计算当前检测帧F_i的相对差值r_i；

步骤8，根据所设定的阈值T，比较相对差值r_i和阈值T，找出所有大于阈值T的相对差值r_i所对应的帧图片序号i，并输出，得到属于微表情的帧图片。

2.根据权利要求1所述的基于光流叠加的微表情检测方法，其特征在于，还包括微表情的筛选步骤9，将步骤8中所得到的连续预测为微表情的帧图片序号i合并起来形成微表情区间，再将持续时间0.2～0.55秒的区间筛选出来，作为检测出的微表情区间。

3.根据权利要求1所述的基于光流叠加的微表情检测方法，其特征在于，所述步骤1中对视频样本图片进行预处理的方法是：

步骤1.1，采用dlib检测器检测出视频样本中第一张图片中的人脸68个关键点，并找出68个关键点中的位于最左、最右、最上和最下的四个关键点；

步骤1.2，标记出第19个关键点和第37个关键点的垂直距离d；

步骤1.3，构建一个矩形框，使得矩形框的左边、右边和下边分别经过检测出的最左、最右和最下的人脸关键点，矩形框的上边位于所检测出的最上人脸关键点之上的d距离处；

步骤1.4，再次采用dlib检测器对构建的矩形框内部区域进行68个关键点检测，找出位于最下的人脸关键点并与第一次检测到的最下人脸关键点比较，找出两关键点中靠上的一个，并将其作为新构建矩形框的下边。

4.根据权利要求1所述的基于光流叠加的微表情检测方法，其特征在于，所述步骤5中，将每帧图片的人脸定位区域按照6×6的区块划分方式，划分成36个相等大小的方形区块。

5.根据权利要求4所述的基于光流叠加的微表情检测方法，其特征在于，所述步骤5中，提取各方形区块上叠加光流S_i的光流矢量，计算主方向上叠加光流S_i+k与S_i的模值差值后，并将各方形区块上的所得到的模值差值按照降序排列，计算排序后的前1/3个差值的平均值，即得到当前检测帧F_i中各方形区块的光流特征值。

6.根据权利要求5所述的基于光流叠加的微表情检测方法，其特征在于，所述步骤6中，将所有方形区块的光流特征值按降序排列，取前12个方形区块的光流特征值，并取平均值后得到当前检测帧F_i的特征平均值d_i。

Images