CN110084152B - 一种基于微表情识别的伪装人脸检测方法 - Google Patents

Abstract

本发明针对伪装人脸识别的问题，公开了一种基于微表情识别的伪装人脸检测方法，首先采集不同情境和不同摄像环境下的伪装与真实人脸的微表情视频序列，再通过基于卷积神经网络(CNN)和长短记忆模块(LSTM)的微表情识别模型对伪装和真实人脸的微表情序列进行特征提取，并引入微表情熵和皮尔逊系数来分析二者微表情特征空间的差异，接着采用K‑means聚类方法对不同情境下和不同视觉质量的伪装与真实人脸的微表情特征空间进行聚类；最后构建伪装和真实人脸的微表情特征差异分析模型并进行伪装人脸检测。与现有人脸活体检测技术相比，本发明能够有效识别高仿人脸面膜伪装和面部化妆伪装。

Description

一种基于微表情识别的伪装人脸检测方法

技术领域

本发明属于人脸防伪技术领域，涉及一种社会安全场景中伪装人脸检测方法，具体涉及一种基于微表情识别的伪装人脸检测方法。

技术背景

近年来，随着人脸识别技术的快速发展，越来越多的场合使用人脸识别技术进行目标识别或身份认证。犯罪活动随之出现了一种新的趋势，犯罪分子采取佩戴硅胶面膜或化妆品化妆等易容手段欺骗人脸识别系统。这种面部伪装既能掩盖自身的真实身份，也能冒充他人身份，因而具有极大的社会危害性。图1为真实人脸及佩戴硅胶面膜的伪装人脸，完全能够以假乱真。

部分研究提出了基于活体检测的面部伪装识别技术，如基于纹理、光谱和交互动作的人脸伪装检测，基于深度信息的照片防伪识别，但贴上面膜或化妆品化妆的面部不违反活体的属性，无法通过活体检测技术识别这种伪装。人脸面部的微表情是一种重要的下意识生理或心理活动，贴面膜、化妆甚至易容等伪装方式下的微表情可能出现不自然、呆板甚至丧失等变化。因此，有望基于微表情分析识别面部伪装。尤其是在社会安全事件现场，正常人面部的微表情应该丰富而复杂，更加增加了区分的显著性。

微表情研究专家Ekman早期认为微表情是指极大地压缩了正常表现时间的完整的情绪性表情，尽管它完整地表现于脸上，但持续的时间仅止于一瞬，快到让人难以察觉。随着研究的不断深入，研究者进一步发现，微表情是一种自发性的表情动作，反映了试图压抑与隐藏的真正情感，表达了高兴、惊讶、悲伤、愤怒、厌恶和恐惧等六大情绪。微表情体现在面部非常快速、转瞬即逝的肌肉运动，从而使得基于视觉的微表情识别成为可能。

近年来，针对微表情识别的相关方法也相继被提出。Li等提出了一种基于对比度特征差异和峰值检测的无监督学习方法，该方法在微表情识别方面比人类的表现更加优越。Xu等提出了一种用于表情识别和分类的面部动力学图谱。该方法利用光流估计算法对连续帧间的运动进行估计，通过运动主方向来表征微表情的面部肌肉运动从而区分不同种类的微表情。Khor等提出基于长期递归卷积网络的识别方法，首先通过CNN模块将每个微表情帧编码成特征向量，然后将特征向量输入LSTM模块捕捉微表情的时空特征对其分类。上述研究为本发明从微表情的角度区分真实和伪装人脸提供了借鉴。

发明内容

本发明一种基于微表情识别的伪装人脸检测方法，包括以下步骤：

步骤1：采集伪装和真实人脸在不同情境和不同摄像环境下产生的微表情视频序列，包括高兴、惊讶、悲伤、愤怒、厌恶和恐惧等六种基本微表情；

步骤2：利用一种基于CNN和LSTM的微表情识别网络来提取微表情特征，通过微表情熵和皮尔逊相关系数来量化真实人脸和伪装人脸微表情特征空间的差异；

步骤3：利用K-means聚类方法对不同情境和不同视觉质量的伪装和真实人脸的微表情特征空间进行聚类，分析不同情境和不同视觉质量对伪装与真实人脸微表情区别显著性的影响；

步骤4：构建伪装和真实人脸的微表情特征差异分析模型；

微表情由构成微表情的微动作组成，真实人脸的面部微动作丰富且细腻，伪装人脸的面部微动作呆板且稀疏以至于表达能力有限；当微动作稀疏到预定程度时，伪装人脸就只存在一种表情，此时不存在微表情；

步骤5：根据所述伪装和真实人脸的微表情特征差异分析模型进行伪装人脸检测。

与现有活体检测方法相比，本发明具有以下优点和积极效果：

本发明能够识别现有活体检测技术难以鉴别的高仿人脸面膜伪装和化妆伪装。同时，本发明方法只基于普通的视频数据，因而具有普适性强的优点。

附图说明

图1为背景技术中伪装和真实人脸示例图；左为伪装人脸，右为真实人脸；

图2：本发明实施例的流程图；

图3为本发明实施例的伪装与真实人脸微表情特征空间的理想聚类结果示意图；

图4为本发明实施例的真实和伪装面部的微表情空间差别示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图2，本发明提供的一种基于微表情识别的伪装人脸检测方法，包括以下步骤：

步骤1：采集伪装和真实人脸在不同情境和不同摄像环境下产生的微表情视频序列，包括高兴、惊讶、悲伤、愤怒、厌恶和恐惧等六种基本微表情；

本实施例中，考虑到实际应用中摄像环境的影响，在多光照和多摄像距离的情况下采集不同视觉质量的视频序列。由于考虑到不同年龄段和性别的差异可能会对微表情的差异性产生一定的影响，60名20-50岁在校生及部分老师作为志愿者参加试验，男女各30人。采用诱发式的方法来采集微表情视频序列，通过筛选一些视频短片作为刺激源诱发微表情，这些作为情绪刺激源的视频片段是从互联网海量视频资源中精心挑选出来后，经过心理学专家就情绪渲染度专门评价后才能入选。

步骤2：利用一种基于CNN和LSTM的微表情识别网络来提取微表情特征，通过微表情熵和皮尔逊相关系数来量化真实人脸和伪装人脸微表情特征空间的差异；

步骤2的具体实现包括以下子步骤：

步骤2.1：采用基于CNN和LSTM的微表情识别方法来提取伪装和真实人脸的微表情特征；

通过CNN提取将每个微表情帧编码成特征向量；将CNN提取的特征向量通过LSTM得到最终包括时空特性的微表情特征；所提取的特征为softmax层之前的长度为128的一维向量；

步骤2.2：通过微表情熵的数值大小来辨识真实和伪装人脸；微表情熵的计算方式如下：

其中，p_i步骤2.1中提取的微表情特征值，n＝128表示提取的一维特征空间的长度；

信息熵是信息论中用于度量信息量的一个概念。一个系统越是有序，信息熵就越低；反之，一个系统越是混乱，信息熵就越高。因此，引入信息熵来衡量微表情包含微动作的复杂程度，提出微表情熵的概念，通过微表情熵的数值大小来辨识真实人脸和伪装人脸。当微表情空间包含的面部微动作越复杂时微表情熵的值越大，反之微表情熵越小代表微表情空间的微动作越稀疏。

步骤2.3：通过皮尔逊相关系数预测伪装和真实人脸微表情特征空间的相关性；皮尔逊相关系数的计算方式如下：

其中，X和Y分别代表两组微表情特征空间，

和

分别表示两组向量X和Y的均值；ρ范围为-1到+1，0代表无相关性，负值为负相关，正值为正相关；当两组微表情特征空间都为真实或伪装人脸微表情特征空间时，ρ值越接近1；当两组微表情特征空间分别为真实和伪装人脸微表情特征空间时，ρ值越小。

步骤3：利用K-means聚类方法对不同情境和不同视觉质量的伪装和真实人脸的微表情特征空间进行聚类，分析不同情境和不同视觉质量对伪装与真实人脸微表情区别显著性的影响；

步骤3.1：为了分析不同情境对真实与伪装人脸的微表情特征空间的差异显著性的影响，采用K-means聚类方法分别对普通表情以及各种情境下微表情特征空间进行聚类；理想的分类结果应如图3所示；

步骤3.2：为了分析不同摄像环境对伪装与真实人脸的微表情特征区别显著性的影响，进一步量化视觉质量与伪装和真实人脸微表情特征区别显著性的关系，本发明采用一种现有的基于卷积神经网络的人脸图像质量评价模型来预测微表情序列的视觉质量，该模型在人脸模糊、光照、姿态和遮挡方面都具有较强的判别能力。该模型的客观预测分数范围为[0-1]，本发明分别对不同视觉质量范围([0-0.2]、[0.2-0.4]、[0.4-0.6]、[0.6-0.8]、[0.8-1.0])的伪装与真实人脸微表情视频序列进行聚类，然后计算出视觉质量与分类精确度之间的关系。

步骤4：构建伪装和真实人脸的微表情特征差异分析模型；

微表情动作由更多细微的面部微动作构成，针对伪装与真实人脸的微表情可能存在的差异分析可知：真实人脸的面部微动作丰富且细腻，相反伪装人脸的面部微动作呆板且稀疏以至于表达能力有限。如图4所示，图中线圈表示微表情，三角形和原点表示构成微表情的微动作(三角形表示真实人脸，原点表示伪装人脸)。当人脸的微动作越少时，代表微表情越呆板和稀疏。当微动作稀疏到一定程度时，伪装人脸就只存在一种表情(即不存在微表情)。

步骤5：根据所述伪装和真实人脸的微表情特征差异分析模型进行伪装人脸检测。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (3)

1.一种基于微表情识别的伪装人脸检测方法，其特征在于，包括以下步骤：

步骤1：采集伪装和真实人脸在不同情境和不同摄像环境下产生的微表情视频序列，包括高兴、惊讶、悲伤、愤怒、厌恶和恐惧共六种基本微表情；

步骤2：利用一种基于CNN和LSTM的微表情识别网络来提取微表情特征，通过微表情熵和皮尔逊相关系数来量化真实人脸和伪装人脸微表情特征空间的差异；

步骤3：利用K-means聚类方法对不同情境和不同视觉质量的伪装和真实人脸的微表情特征空间进行聚类，分析不同情境和不同视觉质量对伪装与真实人脸微表情区别显著性的影响；

步骤3的具体实现包括以下子步骤：

步骤3.1：采用K-means聚类方法分别对普通表情以及各种情境下微表情特征空间进行聚类；

步骤3.2：采用基于卷积神经网络的人脸图像质量评价模型来预测微表情序列的视觉质量；

步骤3.3：分别对不同视觉质量范围的伪装与真实人脸微表情视频序列进行聚类，然后分析出视觉质量与伪装和真实人脸微表情特征空间差异性的关系；

步骤4：构建伪装和真实人脸的微表情特征差异分析模型；

微表情由构成微表情的微动作组成，真实人脸的面部微动作丰富且细腻，伪装人脸的面部微动作呆板且稀疏以至于表达能力有限；当微动作稀疏到预定程度时，伪装人脸就只存在一种表情，此时不存在微表情；

步骤5：根据所述伪装和真实人脸的微表情特征差异分析模型进行伪装人脸检测。

2.根据权利要求1所述的基于微表情识别的伪装人脸检测方法，其特征在于：步骤1中，采用诱发式的方法来采集微表情视频序列。

3.根据权利要求1所述的基于微表情识别的伪装人脸检测方法，其特征在于，步骤2的具体实现包括以下子步骤：

步骤2.1：采用基于CNN和LSTM的微表情识别方法来提取伪装和真实人脸的微表情特征；

通过CNN提取将每个微表情帧编码成特征向量；将CNN提取的特征向量通过LSTM得到最终包括时空特性的微表情特征；所提取的特征为softmax层之前的长度为128的一维向量；

步骤2.2：通过微表情熵的数值大小来辨识真实和伪装人脸；微表情熵的计算公式为：

其中，p_i为步骤2.1中提取的微表情特征值，n＝128表示提取的一维特征空间的长度；当微表情空间包含的面部微动作越复杂时微表情熵的值越大，反之微表情熵越小代表微表情空间的微动作越稀疏；

步骤2.3：通过皮尔逊相关系数预测伪装和真实人脸微表情特征空间的相关性；皮尔逊相关系数的计算方式如下：

其中，X和Y分别代表两组微表情特征空间，

和

分别表示两组向量X和Y的均值；ρ范围为-1到+1，0代表无相关性，负值为负相关，正值为正相关；当两组微表情特征空间都为真实或伪装人脸微表情特征空间时，ρ值越接近1；当两组微表情特征空间分别为真实和伪装人脸微表情特征空间时，ρ值越小。

Images