CN111666911A - 一种微表情数据的扩充方法及装置 - Google Patents

Abstract

本发明提出了一种基于感兴趣区域几何变换的微表情数据扩充方法，所述方法包括：S1、针对每条微表情数据，提取相应的顶点帧序列；S2、针对顶点帧序列的每一帧图像进行人脸配准；S3、针对人脸配准后的图片进行人脸裁剪；S4、针对人脸裁剪后的图片进行图像归一化；S5、针对归一化后的图片进行感兴趣区域检测；S6、基于检测出的感兴趣区域对所述归一化后的图片进行几何变换。该方法结合人类面部的趋向对称性，只对原图像数据上的感兴趣区域做镜像、放缩等操作，能保证得到的新样本的感兴趣区域是仍然有效的；此外，只对感兴趣区域进行几何变换，能较大程度的减少后续特征提取中不相关的噪声干扰。

Description

一种微表情数据的扩充方法及装置

技术领域

本发明属于计算机视觉领域，具体涉及一种微表情数据的扩充方法及装置。

背景技术

微表情是一种持续时间短、快速且强度很低的面部表情。其持续时间仅为 1/25～1/5s，仅凭肉眼难以识别，是人类在试图压抑或隐藏真实情感时的自发性泄露。相对于宏表情而言，微表情更能揭示一个人内心深处的状态和情感，在国家安全、心理测评、刑侦司法、商业谈判等诸多领域有较强的实用价值。目前限制微表情识别科学研究的一个主要因素就是现存的具有一定数量和一定质量的微表情数据集仍然较为稀缺。微表情数据集扩充是微表情相关研究的一个重要研究方向，其是指通过计算机视觉中图像处理相关技术结合人类微表情特点对现有的部分微表情数据集进行扩充。

计算机视觉是一门近年来较为火热的计算机技术，其主要任务是使计算机能够通过摄像机和电脑代替人眼对给定视觉目标进行识别、跟踪和测量，并结合特定场景做进一步的图形处理。人脸识别是在计算机视觉的基础上，针对于人的脸部特征信息进行提取、处理的技术。相较于常见的宏表情识别，计算机视觉领域中的微表情识别领域目前研究时间相对较短，各类识别算法、数据集建立都处于待进一步挖掘的状况，因此，微表情检测技术成为了计算机视觉和模式识别领域炙手可热的研究课题。

目前的微表情数据集的建立过程中，微表情数据的采集需要参与者在接触到刺激源(如观看情绪引导性的视频)的前提下尽量压制其所产生的面部情绪波动，然后通过摄像机来录制从发生到意识到并压制过程中的迅速且自发的表情流露，数据采集条件较为苛刻；又由于微表情持续时间短、动作幅度小等特点，微表情数据集的建立需要具有较强专业知识的研究人员逐帧对图像标注，耗时耗力。

发明内容

本发明提出了一种基于感兴趣区域几何变换的微表情数据扩充方法，其在原数据集基础上进行数据扩充，从而有效的解决数据样本不充足的问题。

根据本发明实施例的第一方面，提供一种微表情数据的扩充方法，包括：

S1、针对每条微表情数据，获取对应的微表情帧序列，从该微表情帧序列中提取相应的顶点帧序列。

S2、针对顶点帧序列的每一帧图像进行人脸配准。

S3、针对人脸配准后的图片进行人脸裁剪。

S4、针对人脸裁剪后的图片进行图像归一化。

S5、针对归一化后的图片进行感兴趣区域检测。

S6、基于检测出的感兴趣区域进行几何变换操作。

优选的，所述步骤S6中的几何变换操作为镜像操作、缩放操作或者两者的组合操作。其中，所述缩放操作的缩放比例不大于5％。

优选的，所述步骤S6中同时变更的感兴趣区域个数不超过两个。

根据本发明实施例的第二方面，提供一种微表情数据的扩充装置，包括：

顶点帧序列提取模块，用于针对每条微表情数据，获取对应的微表情帧序列后，从该微表情帧序列中提取相应的顶点帧序列。

人脸配准模块，用于针对顶点帧序列的每一帧图像进行人脸配准。

人脸裁剪模块，用于针对人脸配准后的图片进行人脸裁剪。

归一化模块，用于针对人脸裁剪后的图片进行图像归一化。

感兴趣区域检测模块，用于针对归一化后的图片进行感兴趣区域检测。

几何变换模块，用于基于检测出的感兴趣区域进行几何变换操作。

根据本发明实施例的第三方面，提供一种电子设备，所述电子设备包括处理器和存储器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序以实现上述步骤S1-S6的操作。

根据本发明实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现上述步骤S1-S6的操作。

本发明的优点在于：

本发明提出的基于感兴趣区域几何变换的微表情数据扩充方法能有效的解决数据样本不充足的问题。由于是在原数据集基础上进行数据扩充，因此数据集的合理性能得到保证；同时，结合人类面部的趋向对称性，只对原图像数据上的感兴趣区域做镜像、放缩等操作，能保证得到的新样本的感兴趣区域是仍然有效的；此外，只对感兴趣区域进行几何变换，能较大程度的减少后续特征提取中不相关的噪声干扰，进一步为后续的微表情识别任务提供保障。

附图说明

图1-7为图像处理各阶段的结果示意图。

图8为微表情数据的扩充方法流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明中，使用的数据集是CASMEII数据集。该数据集的帧率为200帧/ 秒，人脸部分能达到280×340像素的大小。与CASME数据集相同，该数据集也对每段微表情序列都标注了起始帧(onsetframe)、顶点帧(apexframe)和释放帧(offsetframe)，分别代表了微表情的发生、高潮和结束。该团队在控制良好的实验室环境和适当的照明(如消除了灯光闪烁的影响)下，引发出被测试者的面部表情。在近3000个面部动作中，最终选择247个微表情，通过动作单元标记(AUs)和情绪标记形成最终的数据集。

参照附图8所示，在本发明第一实施例中，提供一种微表情数据的扩充方法，包括：

S1、针对每条微表情数据，获取对应的微表情帧序列，从该微表情帧序列中提取相应的顶点帧序列。

目前的研究表明，微表情的表达是一个序列过程，经历了从起始帧到顶点帧再到结束帧的阶段。其中顶点帧是微表情外在表达的最大化时刻，动作变化幅度最大、可分辨度最高。我们首先从CASMEII中针对每条微表情数据，获取对应的微表情帧序列，进而从微表情帧序列中将顶点帧序列提取出来，后续的处理步骤都是针对顶点帧序列的每一帧图像进行的，保证了扩展后的数据可用度最高。

S2、针对顶点帧序列的每一帧图像进行人脸配准。

人脸配准用于检测并定位出人脸关键点，其是一种常见的用于人脸识别的预处理操作。在一种实现方式中，人脸配准包括人脸检测和人脸对齐，人脸检测的过程是给出一张图片，使用自动化方法判断出该图片中是否有人脸区域，若不包含则提醒，若包含人脸则给出人脸区域的范围。人脸对齐是对人工定义的面部关键点进行检测，从而定位出对于后续识别任务有益的人脸重要部位，例如眼睛、鼻子、嘴等。关键点数目一般是39或者68，也有一些研究人员取13和26或者其他数目。本发明人脸关键点的定位采用Openface方法自动提取每个视频帧序列的68个人脸面部关键点，并得到每点的坐标和序号，提取的人脸配准示例如图1。

S3、针对人脸配准后的图片进行人脸裁剪。

人脸裁剪是在人脸配准以后对每张微表情序列帧图片的进一步操作，目的是减少图片中无关的信息、增强相关特征信息的强度以及最大限度的简化数据，同时也减少了后续识别、分类、深度学习时的计算量。图2为裁剪后的图片样例。

S4、针对人脸裁剪后的图片进行图像归一化。

由于不同人的面部轮廓大小不一致，经过人脸剪裁得到的面部图像尺寸很难保持一致。在本发明中，需要对人脸图像进行尺度归一化，将不同的人脸图像数据转换成相同的尺寸。尺度归一化一般分为放大和缩小两种情况。放大尺寸，可能会导致图像不清晰，这种情况还会随着放大比例的增加而变的更加严重，此时一般用插值算法解决这个问题。缩小尺寸的情况相对简单，对图像数据的影响较小，不会产生额外噪声。本发明中将图像数据归一到224×224像素的大小。

优选的，在进行图像归一化前，将图片转变为灰度图片进行处理。目前主流的微表情数据集提供的图像样本基本都是彩色图像，即每个像素样本由RGB三通道组成，转换为灰度图像后既能保证主要特征不丢失，又能减少后期处理的计算量。具体转换后样例如图3。

S5、针对归一化后的图片进行感兴趣区域检测。

目前人脸识别区域的划分基本都采用了脸部动作编码系统(FACS)，其是一个“基于人类观察的系统”，可检测在不同面部区域的特征变化。FACS由44个以解剖学为基础的动作单元组成，每个单元单独或以组合形式呈现所有可见的判别表情。

结合微表情持续时间短、变化幅度弱、动作区域少的特点，有效归纳提取合适的感兴趣区域格外重要。通过对微表情深入地分析，发现当微表情出现时，人脸的运动区域主要集中在眼角、眉角、嘴角、鼻角等部位，其他面部区域是在这些部位的带动下做关联运动，同时其他区域变化幅度较小，特征不明显。基于此，本发明选取十四个感兴趣区域进行检测，检测结果如附图4所示。

S6、基于检测出的感兴趣区域进行几何变换操作。

常见的针对于人脸表情数据集的扩展，包括旋转、镜像、缩放、裁剪，目前的这些方法都是对整张数据进行处理，会产生不相关的噪声，且对于非感兴趣区域也进行了几何变换，一定程度上浪费了计算量，对后期的识别任务会带来影响。因此本发明针对提取出来的感兴趣区域进行几何变换，结合感兴趣区域的趋向对称性，进行了镜像、放缩等操作。由于微表情的表达本身的动作幅度较小，对感兴趣区域进行旋转有可能会对特征表达造成误导，例如将本来平行的眉角旋转 5°后，原本的情绪表达定性也会对应改变，后续对识别率产生干扰，因此本发明没有进行旋转操作；又由于感兴趣区域本身是在图像数据内，将感兴趣区域进行裁剪后，无法进行其他几何变换，效果单一，因此本发明也未单独采用裁剪的方式，而是在其他几何变换中间接用到了裁剪的方式。本发明在CASMEII数据集的基础上，在筛选感兴趣区域时，将每个网格大小调整至30*30，经多次测试，该大小的网格既能包含足够的有效特征，又能减小无关噪音干扰。

优选地，所述几何变换操作为镜像操作。利用感兴趣区域的趋向对称性，将关于人脸中心轴位置相似对称的感兴趣区域进行裁剪、水平翻转、替换。以左眉毛的左边眉角(即区域4)为例，首先获取该感兴趣区域的具体坐标，一般由左下角和右上角坐标来确定矩形区域，然后将该区域裁剪下来，由于要沿人脸中轴线对折，因此进行翻转操作。根据趋向对称性可知，可将几何变换后的图像对应覆盖到右眉毛的右边眉角(即区域1)。由于区域1的位置在之前划分感兴趣区域时已经获取，因此可以直接进行覆盖，具体样例可见附图5。同时还可以对一张图像数据的多个同侧感兴趣区域同时进行镜像，由于要尽量保全原图像的特征，因此在本发明中同时变更的感兴趣区域不超过两个。需要注意的是，区域13和区域14，由于人类的上下嘴唇对于同一个微表情表达时，产生的动作幅度是不同的，且生理结构也略有不同，因此在本发明中不对这两个区域进行镜像处理。

优选地，所述几何变换操作为放缩操作。放缩具体是指将感兴趣区域进行放大和缩小操作。放大操作是将感兴趣区域成比例放大，便于后续的特征提取；缩小操作是将感兴趣区域对应成比例缩小，增加了样本的丰富度。在本发明中，对放大和缩小均采用了±5％的比例，能有效保证图像特征在不被破坏的前提下，对图像数据产生有效扩展，且不会产生冗余噪声。在对一张图像处理时，还可以同时对多个感兴趣区域进行放缩处理，进一步丰富了图像数据。同样为尽可能保证原图像的特征，本发明中对于一张图片数据同时不超过两个感兴趣区域进行放缩。附图6为针对左眉毛左侧进行放大后的图像样例。

优选地，所述几何变换操作为结合上述镜像操作和放缩操作两者的组合操作。将镜像与放缩结合起来，又能够产生新的图像数据。具体结合的方式可以根据具体情形来选择，例如在一种方式中，将感兴趣区域先进行放缩，再进行镜像，例如将左眉毛左眉角放大5％后，再镜像到右眉毛右眉角；另一种方式是对于一张图像数据同时进行放缩和镜像处理，例如将左眉毛的左眉角镜像到右眉毛的右眉角，同时将左鼻角的感兴趣区域放大5％，具体样例可见附图7。类似地，对于一张图像数据，最多对两个感兴趣区域进行放缩或镜像操作的组合操作。

经过几何变换操作后的图片即为扩充得到的微表情数据。

在本发明中，理论上通过一张原始数据图片，在经过各类全量的几何变换操作后可以得到共计962张扩充图像。

在本发明第二实施例中，提供一种微表情数据的扩充装置，包括：

顶点帧序列提取模块，用于针对每条微表情数据，获取对应的微表情帧序列后，从该微表情帧序列中提取相应的顶点帧序列。

人脸配准模块，用于针对顶点帧序列的每一帧图像进行人脸配准。

人脸裁剪模块，用于针对人脸配准后的图片进行人脸裁剪。

归一化模块，用于针对人脸裁剪后的图片进行图像归一化。

感兴趣区域检测模块，用于针对归一化后的图片进行感兴趣区域检测。

几何变换模块，基于检测出的感兴趣区域进行几何变换操作。

在本发明第三实施例中，提供一种电子设备，所述电子设备包括处理器和存储器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序以用于实现上述步骤S1-S6的操作。

在本发明第四实施例中，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以用于实现上述步骤S1-S6的操作。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种微表情数据的扩充方法，包括：

S1、针对每条微表情数据，获取对应的微表情帧序列，从该微表情帧序列中提取相应的顶点帧序列；

S2、针对顶点帧序列的每一帧图像进行人脸配准；

S3、针对人脸配准后的图片进行人脸裁剪；

S4、针对人脸裁剪后的图片进行图像归一化；

S5、针对归一化后的图片进行感兴趣区域检测；

S6、基于检测出的感兴趣区域进行几何变换操作。

2.根据权利要求1所述的微表情数据的扩充方法，所述人脸配准包括人脸检测和人脸对齐；所述人脸检测用于判断图像中是否有人脸区域，若不包含人脸则提醒，若包含人脸则给出人脸区域的范围；所述人脸对齐用于对预定义的面部关键点进行检测。

3.根据权利要求1所述的微表情数据的扩充方法，所述感兴趣区域的数目为14个。

4.根据权利要求1所述的微表情数据的扩充方法，所述几何变换操作同时变更的感兴趣区域个数不超过2个。

5.根据权利要求1所述的微表情数据的扩充方法，所述几何变换操作为镜像操作、缩放操作或者两者的组合操作。

6.根据权利要求5所述的微表情数据的扩充方法，所述缩放操作的缩放比例不大于5％。

7.根据权利要求5所述的微表情数据的扩充方法，所述镜像操作针对的区域不包括上下嘴唇区域。

8.一种微表情数据的扩充装置，所述装置包括：

顶点帧序列提取模块，用于针对每条微表情数据，获取对应的微表情帧序列后，从该微表情帧序列中提取相应的顶点帧序列；

人脸配准模块，用于针对顶点帧序列的每一帧图像进行人脸配准；

人脸裁剪模块，用于针对人脸配准后的图片进行人脸裁剪；

归一化模块，用于针对人脸裁剪后的图片进行图像归一化；

感兴趣区域检测模块，用于针对归一化后的图片进行感兴趣区域检测；

几何变换操作模块，用于基于检测出的感兴趣区域进行几何变换操作。

9.一种电子设备，所述电子设备包括处理器和存储器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序以实现如权利要求1-7任一项所述的微表情数据的扩充方法。

10.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以用于实现如权利要求1-7任一项所述的微表情数据的扩充方法。

Images