CN108537131A - 一种基于人脸特征点和光流场的人脸识别活体检测方法 - Google Patents

Abstract

本发明提供一种基于人脸特征点和光流场的人脸识别活体检测方法，采用卡方检验作为活体检测的依据，真实人脸在人脸特征点的运动方向与脸部整体运动方向有明显的不一致性；而照片无论怎样运动，人脸特征点的运动方向与脸部整体运动方向基本一致。本发明使用卡方检验计算人脸特征点的光流场方向的直方图分布和眼球区域的光流场方向的直方图分布的相似程度。若卡方检验值超过阈值，则判定为活体，否则判定为非活体。

Description

一种基于人脸特征点和光流场的人脸识别活体检测方法

技术领域

本发明涉及模式识别领域，更具体地，涉及一种基于人脸特征点和光流场的人脸识别活体检测方法。

背景技术

人脸识别技术随着硬件和软件的发展，正在逐渐取代原有的指纹识别和虹膜识别成为使用最广泛的识别技术。人脸特征相比指纹特征和虹膜特征更容易得到，也更容易部署在商用级设备和个人移动设备上。比如人脸签到、人脸解锁手机、人脸支付等场景正在逐步普及。然而在人脸识别率越来越高的情况下，系统却无法准确识别人脸的真伪。用户可以通过照片等手段欺骗系统。因此，如何辨别人脸的真伪以确保安全，即活体检测，已经成为人脸识别技术中的关键问题。

目前主流的人脸活体检测方法大致可以分为两种：用户动作配合和微表情检测。用户动作配合方法通常要求用户在摄像头前做出指定的动作，例如点头、读一串数字等。系统根据捕捉到的画面判断是否为用户本人所做的动作。用户动作配合方法的优点是能够为系统提供更多的用于活体检测的特征，从而提高活体检测的准确率；缺点是需要用户的配合，额外的动作需要容易使用户产生厌烦情绪。微表情检测方法由系统捕捉用户脸部的微表情，例如眨眼、嘴型变化等，作为活体检测的依据。微表情检测方法的优点是不需要用户配合，缺点是容易出现因为用户微表情过少而把用户判定为非活体的情况。

发明内容

本发明提供一种基于人脸特征点和光流场的人脸识别活体检测方法，该方法通过计算光流场检测出用户的微表情来判断是否活体。

为了达到上述技术效果，本发明的技术方案如下：

一种基于人脸特征点和光流场的人脸识别活体检测方法，包括以下步骤：

S1：人脸检测；

S2：得到人脸特征点以及眼球区域；

S3：计算相邻两帧的人脸特征点和眼球区域的光流场；

S4：计算人脸特征点和眼球区域关于光流场方向的直方图分布；

S5：活体检测。

进一步地，所述步骤S1的过程是：

首先将图像转化为灰度图，利用人脸分类器对灰度图进行人脸检测，若检测到人脸，再利用眼睛分类器对人脸区域进行眼睛检测，若检测到眼睛，系统确认真正检测到人脸，得到检测的人脸区域。

进一步地，所述步骤S2的过程是：

对于得到的人脸区域，调用Dlib所提供的用于计算人脸特征点的函数，得到人脸区域的人脸所对应的68个特征点坐标，并根据位于左眼和右眼的特征点坐标得到眼球区域。

进一步地，所述步骤S3的过程是：

对于包含人脸区域的相邻两帧图像，调用OpenCV所提供的函数分别计算人脸特征点的光流场向量表示和眼球区域的光流场向量表示。

进一步地，所述步骤S4的过程是：

将区间[0，2π]等分为10个区间，统计人脸特征点的光流场方向分别落入哪个区间，得到人脸特征点的光流场方向的直方图分布；将区间[0，2π]等分为10个区间，统计眼球区域的光流场方向分别落入哪个区间，得到眼球区域的光流场方向的直方图分布。

进一步地，所述步骤S4的过程是：

使用卡方检验计算人脸特征点的光流场方向的直方图分布和眼球区域的光流场方向的直方图分布的相似程度；若卡方检验值超过阈值，则判定为活体，否则判定为非活体。

与现有技术相比，本发明技术方案的有益效果是：

本发明采用了人脸特征点作为检测的对象。主流的方法使用人脸分类器得到的人脸区域作为检测的对象，其缺点在于人脸区域是一个矩形，包含了相当一部分背景像素和噪声，不利于进行微表情的检测。人脸的微表情集中于眼睛、嘴巴等关键部位，使用人脸特征点进行检测可以排除无关像素的影响，提高微表情检测的精确度；

采用光流场方向作为活体检测的统计特征。真实人脸的微表情，反映到图像上表现为人脸特征点的像素运动方向相互不一致，反映到光流场上表现为人脸特征点的光流场方向相互不一致。计算光流场方向时不一致性会被放大，从而更容易捕捉到人脸上的微表情；

采用卡方检验作为活体检测的依据。真实人脸在人脸特征点的运动方向与脸部整体运动方向有明显的不一致性；而照片无论怎样运动，人脸特征点的运动方向与脸部整体运动方向基本一致。本发明使用卡方检验计算人脸特征点的光流场方向的直方图分布和眼球区域的光流场方向的直方图分布的相似程度。若卡方检验值超过阈值，则判定为活体，否则判定为非活体。

附图说明

图1为本发明流程图。

图2为人脸特征点示意图；

图3为眼球区域示意图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

如图1所示，本发明以基于视频的人脸检测应用为例，说明本发明的具体实施过程。实验中，活体检测系统运行于PC机上，一个家用级500万像素摄像头通过USB连接线连接至同一台PC机上，与用户人脸的距离约为0.5米，室内光照条件良好。

步骤1：系统捕捉到人脸

系统运行后，用户正对摄像头，在光照条件良好的情况下，摄像头可以抓拍到亮度适中的人脸图像，图像以Mat类的形式储存。

步骤2：人脸检测

系统调用OpenCV提供的cvtColor函数，用于获取人脸图像的灰度图。

系统创建一个CascadeClassifier对象，调用CascadeClassifier对象的load将openCV提供的人脸分类器文件lbpcascade_frontalface.xml加载到对象中，然后调用CascadeClassifier对象的detectMultiScale函数，得到包含人脸区域的位置的 Rect对象。如果得到的Rect对象为空，则停止人脸检测，重新执行步骤1；否则继续执行以下人脸检测步骤。

系统创建一个CascadeClassifier对象，调用CascadeClassifier对象的load将openCV提供的眼睛分类器文件haarcascade_eye_tree_eyeglasses.xml加载到对象中，然后调用CascadeClassifier对象的detectMultiScale函数，得到包含眼睛的位置的Rect对象。如果得到的Rect对象为空，则停止人脸检测，重新执行步骤1；否则表示成功检测到人脸。

步骤3：得到人脸特征点以及眼球区域

对于步骤2得到的包含人脸区域的位置的Rect对象，系统调用Dlib提供的 face_landmark_detection_ex函数，得到68个人脸特征点，如图2所示。

以第38个人脸特征点作为左眼球的左上角，第41个人脸特征点作为左眼球的右下角，创建一个包含左眼球区域的位置的Rect对象。以第44个人脸特征点作为右眼球的左上角，第47个人脸特征点作为右眼球的右下角，创建一个包含右眼球区域的位置的Rect对象。眼球区域如图3所示。

步骤4：计算相邻两帧的人脸特征点和眼球区域的光流场

系统调用OpenCV提供的calcOpticalFlowPyrLK函数，得到68个人脸特征点的光流场向量表示，然后调用OpenCV提供的cartToPolar函数，得到光流场向量的极坐标表示。

系统调用OpenCV提供的calcOpticalFlowFarneback函数，得到眼球区域的光流场向量表示，然后调用OpenCV提供的cartToPolar函数，得到光流场向量的极坐标表示。

步骤5：计算人脸特征点和眼球区域关于光流场方向的直方图分布

极坐标表示包含了幅度和方向。将区间[0，2π]等分为10个区间，统计68个人脸特征点的光流场方向分别落入哪个区间，得到人脸特征点的光流场方向的直方图分布。将区间[0，2π]等分为10个区间，统计眼球区域的光流场方向分别落入哪个区间，得到眼球区域的光流场方向的直方图分布。

步骤6：活体检测

设人脸特征点的光流场方向的直方图分布是F，每个区间的值为F_i(1＜i 10)，眼球区域的光流场方向的直方图分布是R，每个区间的值为R_i(1＜i≤10)。使用卡方检验计算人脸特征点的光流场方向的直方图分布和眼球区域的光流场方向的直方图分布的相似程度。令

设定一个阈值ε(本发明取值为100)，当k＞ε时，认为人脸特征点的光流场方向的直方图分布和眼球区域的光流场方向的直方图分布不一致，判定为活体，否则判定为非活体。实验表明，真实人脸其人脸特征点的光流场方向的直方图分布和眼球区域的光流场方向的直方图分布有着明显的不一致，这是真实人脸的微表情所显示的一个特征。对于照片而言，不论做平移还是旋转，人脸特征点的光流场方向的直方图分布和眼球区域的光流场方向的直方图分布明显趋于一致，与真实人脸的结果相比存在较大的差异。

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (6)

1.一种基于人脸特征点和光流场的人脸识别活体检测方法，其特征在于，包括以下步骤：

S1：人脸检测；

S2：得到人脸特征点以及眼球区域；

S3：计算相邻两帧的人脸特征点和眼球区域的光流场；

S4：计算人脸特征点和眼球区域关于光流场方向的直方图分布；

S5：活体检测。

2.根据权利要求1所述的基于人脸特征点和光流场的人脸识别活体检测方法，其特征在于，所述步骤S1的过程是：

首先将图像转化为灰度图，利用人脸分类器对灰度图进行人脸检测，若检测到人脸，再利用眼睛分类器对人脸区域进行眼睛检测，若检测到眼睛，系统确认真正检测到人脸，得到检测的人脸区域。

3.根据权利要求2所述的基于人脸特征点和光流场的人脸识别活体检测方法，其特征在于，所述步骤S2的过程是：

对于得到的人脸区域，调用Dlib所提供的用于计算人脸特征点的函数，得到人脸区域的人脸所对应的68个特征点坐标，并根据位于左眼和右眼的特征点坐标得到眼球区域。

4.根据权利要求3所述的基于人脸特征点和光流场的人脸识别活体检测方法，其特征在于，所述步骤S3的过程是：

对于包含人脸区域的相邻两帧图像，调用OpenCV所提供的函数分别计算人脸特征点的光流场向量表示和眼球区域的光流场向量表示。

5.根据权利要求3所述的基于人脸特征点和光流场的人脸识别活体检测方法，其特征在于，所述步骤S4的过程是：

将区间[0，2π]等分为10个区间，统计人脸特征点的光流场方向分别落入哪个区间，得到人脸特征点的光流场方向的直方图分布；将区间[0，2π]等分为10个区间，统计眼球区域的光流场方向分别落入哪个区间，得到眼球区域的光流场方向的直方图分布。

6.根据权利要求5所述的根据权利要求5所述的基于人脸特征点和光流场的人脸识别活体检测方法，其特征在于，所述步骤S4的过程是：

使用卡方检验计算人脸特征点的光流场方向的直方图分布和眼球区域的光流场方向的直方图分布的相似程度；若卡方检验值超过阈值，则判定为活体，否则判定为非活体。