CN109934187B - 基于人脸活性检测-眼睛视线随机挑战响应方法 - Google Patents

Abstract

本发明属于信息安全领域，特别是基于人脸活性检测‑眼睛视线随机挑战响应方法,至少包括如下步骤：步骤1：利用face++的人脸检测API，在屏幕中获取一个选定的人脸图像；步骤2：在获取的人脸图像中检测人脸眼睛区域是否存在遮挡；步骤3：随机数的生成；步骤4：实时挑战开始，依据步骤3所产生的的随机数，通过检测眼睛的视线方向检测人眼特征、头部姿势矫正，对视线方向预估；步骤5：将挑战‑响应过程中所录制的视频进行取帧处理，在挑战发起时，连续获取20帧图像，在采集的图像中眼球视线方向与点亮区域是否一致。它最终判断用户是否是真实的人脸，从而达到人脸活性检测的功能。

Description

基于人脸活性检测-眼睛视线随机挑战响应方法

技术领域

本发明属于信息安全领域，特别是基于人脸活性检测-眼睛视线随机挑战响应方法。

背景技术

基于人脸生物特征的认证系统已经广泛的应用于各个领域，其中包括支付宝，apple pay，google+等众多厂商，然而现有的人脸认证系统中的活性检测模块在应对基于3D人脸攻击时，容易被攻破。目前所现有的基于挑战-响应模式的人脸活性检测方法是在屏幕中提示人们做出相对应的动作(如点头，张嘴等)作为挑战，但是这样的系统提出的挑战并不具有良好的随机性，攻击者可以经过多次试验总结出人脸认证系统提出挑战的规律，然后根据总结出的规律，提前录制好包含全部挑战对应的响应并按照挑战规律排序好的攻击视频从而能达到攻击的效果，因此将伪随机序列应用在活性检测系统中来随机的出示挑战是相当重要的。

人脸认证系统存在着一些固有的安全漏洞，容易受到来自以下三类攻击。第一，哄骗攻击(Spoofing Attack)。该类型的攻击是指攻击者通过认证系统中的人脸特征提取传感器(如光学摄像头)输入假的人脸特征，例如重放面部照片或者播放一段包含人脸特征信息的视频。大部分流行的人脸认证系统是把普通光学摄像头拍摄的关于合法用户的二维人脸照片或者视频作为输入，并使用人脸识别算法从人脸照片或者视频中提取人脸特征进行识别，这样的方法无法区分输入的人脸照片或者视频是否来自合法用户。根据所使用的照片或者视频的来源不同，哄骗攻击可进一步分为重放照片攻击(Photo Attack)、视频攻击(Video Attack)以及虚拟三维人脸模型实时响应视频攻击(Real-time Interactive 3DVirtual FaceModel Based Video Attack)。重放照片攻击和视频攻击是通过重放预先拍摄的被攻击者的人脸照片和视频进行攻击，虚拟三维人脸模型实时响应视频攻击则是预先对受害者的人脸建立虚拟三维人脸模型，利用所建立的模型实时产生可变化的人脸视频。虚拟3D人脸模型攻击是当前最先进和最强大的哄骗攻击手段，给人脸认证系统的安全性带来了前所未有的挑战。第二，内部攻击(Internal Attack)，是指攻击者利用软件系统和操作系统的安全漏洞对人脸认证系统内部的人脸特征数据传输通道和人脸特征数据操作行攻击，具体包括了六种攻击类型：重放攻击(Replay Attack)，这种是指攻击者绕过系统人脸特征传感器将预先收集的人脸数据直接插入并替代人脸特征传感器采集的人脸数据；覆盖特征提取器攻击(Feature ExtractorOverriding)，这种是指攻击者覆盖特征提取器使其总是生成攻击者所期望的人脸特征信息；篡改特征向量攻击(Synthesized FeatureVector)，这种是指攻击者通过篡改特征提取器提取的特征向量，使被篡改的特征向量易被系统误接受；覆盖特征匹配器攻击(MatcherOverriding)，这种攻击可以覆盖并修改匹配器使其输出较高的匹配分数；覆盖匹配器结果攻击(Final Decision Overriding)，这种攻击是指攻击者通过改写0/1结果达到攻击目标；特征模板数据库-特征匹配器传输通道攻击(Template Database Channel Tampering)，这种攻击是指攻击者欺骗匹配器，使其从数据库获得的特征模板并非数据库中存储的真实模板。第三，特征模板数据库泄露与篡改攻击(Template Database Disclosure and Tampering)，该攻击是针对数据库中的特征模板进行非法读取、修改、添加和删除等操作。由于现有人脸认证系统直接以明文形式存储人脸特征模板或者以传统的对称加密方式对生物特征模板进行加密存储，攻击者可以直接读取人脸特征模板明文或者通过非常简单的渠道获取秘钥并解密得到人脸特征模板的全部明文信息，从而造成人脸特征模板的泄漏。在上述三类攻击中，针对认证系统内部的攻击通常受到操作系统安全机制保护，而哄骗攻击由于没有强大的保护机制成为最常见的安全威胁。当今世界是互联网和自媒体时代，随着用户在社交网络上发布大量包含清晰人脸的照片及视频，哄骗攻击带来的的威胁也日趋严重哄骗攻击带来的安全威胁在移动设备上尤为严重，包括当前主流人脸认证手机应用软件如FaceUnlock(Android系统内置人脸认证模块)、FaceLock Pro、支付宝等，严重损害了智能移动设备和手机的安全性和实用性。因此，主流的智能移动设备和手机生产厂商，如苹果、华为、三星等，都非常重视对于哄骗攻击的检测和防护。

发明内容

本发明的目的是提供一种硬件设施适应性强、伪随机函数随机性良好、准确率高、随机数算法可及时更新的基于人脸活性检测-眼睛视线随机挑战响应方法。

本发明的目的是这样实现的，基于人脸活性检测-眼睛视线随机挑战响应方法，至少包括如下步骤：

步骤1：利用face++的人脸检测API，在屏幕中获取一个选定的人脸图像。

步骤2：在获取的人脸图像中检测人脸眼睛区域是否存在遮挡；没有遮挡继续步骤3，有遮挡取除遮挡，继续步骤3；

步骤3：随机数的生成：

步骤4：实时挑战开始，依据步骤3所产生的的随机数，利用图四的标注方式点亮所选区域，用户眼睛开始注视所选区域从而检测眼睛的视线方向，通过检测眼睛的视线方向检测人眼特征、头部姿势矫正，对视线方向预估。

步骤5：将挑战-响应过程中所录制的视频进行取帧处理，在挑战发起时，连续获取20帧图像，在采集的图像中眼球视线方向与点亮区域是否一致。最终判断用户是否是真实的人脸，从而达到人脸活性检测的功能。

所述的步骤2包括：200，利用face++的人脸检测API摄像头采集的视频流；

201，分析图片中人脸眼睛区域是否存在遮挡；有眼镜遮挡返回参数为glass，进入步骤202，没有，返回值为None，进入步骤203；

202，给出摘下眼镜提示，重新返回200；(如果系统检测到用户佩戴了眼镜，系统要求用户摘下眼镜，从而提高检测的准确率)。

203，给出眼睛睁开和闭合提示，返回值为eyestatus，系统会根据返回值提醒用户睁开眼睛，因为此活性检测系统主要依据眼睛视线为监测点所以眼部的睁开，闭合对系统至关重要。

所述的步骤3具体包括如下步骤：通过随机数在屏幕中产生一个点亮区域；

300，调用随机数生成函数，取3的倍数位置的比特，组成8位的比特序列，将8位的比特序列转换为十进制，数字的范围为0～63，用此数字关联系统的提出的挑战(要求用户注视的屏幕区域)；

301，将屏幕分割为2ⁿ[n∈(1.2.3.4.5.6)],选择n的取值，给出随机数生成函数初始取值；

302，利用m序列生成理论产生64位的01伪随机序列，将64位01序列转化为十进制，记为A；

303，利用上一步产生的十进制数进行B＝A mod 2ⁿ运算，结果记为为B，此时B为需要点亮屏幕的区域编号；

304，设n级移位寄存器的初始状态为：a_-1a_-2…a_-n，经过一次移位后，状态变成：a₀a_-1a_-2…a_-n+1。经过n次移位后，状态变成：a_n-1a_n-2…a₀，序列的递归关系式表示出了其反馈逻辑，递归关系式表示为：

c_i的值决定了移位寄存器的反馈连接和序列的结构，用特征方程式表示为：

305，设F_q表示含有q个元素的有限域，其中q＝pⁿ，n是正整数，p为素数。对于任意正整数m，从

到F_q的迹映射可以定义为

其中x是

中的元素；

对于f(x)∈F_q[x]，则a(t)＝Tr(f(α^t))和

分别表示周期为q-1的p阶序列的第t个元素和其调制序列，当f(x)＝cx，且

时，周期为q-1的p阶序列为m序列。

所述的步骤4包括：

401，提示用户通过随机数选定的屏幕区域，并对选定的屏幕区域点亮，保持头部姿态注视点亮区域；

402，利用face++所提供的API对用户视线注视方向进行分析；

403，将眼球位置与视线方向信息与屏幕点亮区域进行一致性分析。

进行一致性分析是基于参数化模型AAM(Active Appearance Model)。参数化模型AAM分为两个阶段，模型建立阶段和模型匹配阶段。

模型建立阶段包括了对训练样本分别建立形状模型(Shape Model)和纹理模型(Texture Model)，然后将两个模型进行结合，形成AAM模型。

模型匹配阶段是指在视频序列中将已建立好的AAM模型在当前帧图像中寻找最匹配的目标的过程。

要建立ASM模型，需要对样本的人脸进行归一化。由于每个样本的拍摄角度，人脸角度，人脸远近等因素，样本中的人脸的位置，大小均不相同。Procrustes变换的主要思想是将观测对象的中心平移到原点，然后将对象的大小伸缩到固定大小并将对象旋转到正确位置。每一个样本的对象都有四个参数，重心的x坐标和y坐标,对象大小和对象旋转的角度。对于每两个样本，首先将两个样本的对象的重点都移动到同一位置，然后将两个样本的对象通过放大缩小操作伸缩到一样大小，最后通过两个对象相应的特征点的位置来计算出两个对象的旋转角度的差别，然后旋转对象，使相应点的距离的平方和最小，从而使使两个对象的角度一致。对样本的对象两两进行Procrustes变换，最终所有对象都移动到固定的初始位置，大小、角度也一致。然后对转换后的所有样本求平均，就得到了一个平均的形状模型。

眼球位置与视线方向信息，返回值包括以下属性：

left_eye_gaze：左眼的位置与视线状态；

right_eye_gaze：右眼的位置与视线状态；

每个属性都包括以下字段，每个字段的值都是一个浮点数，小数点后3位有效数字；

position_x_coordinate:眼球中心位置的X轴坐标；

position_y_coordinate:眼球中心位置的Y轴坐标；

vector_x_component:眼球视线方向向量的X轴分量；

vector_y_component:眼球视线方向向量的Y轴分量；

vector_z_component:眼球视线方向向量的Z轴分量。

本发明与现有技术相比具有以下优点：

(1)本发明所需求的硬件设施为配备前置摄像头的手机或配备摄像头的电子产品，无需额外的设备支撑，实用性较强，只需要与客户进行简单的交互即可。

(2)伪随机序列的构造使得给出的挑战具备良好的随机性，本发明利用函数生成长度为n的伪随机序列，我们选取该随机序列的前16位的偶数位(n>16),得到一个8bit的二进制字符串，对应生成十进制数字，我们进行mod 2ⁿ运算，将最终的结果对应挑战库中的所有挑战，即全部所需要注视的区域。本方法的随机性良好，在符合用户体验度的次数下具有相当优秀的随机性。

(3)利用AAM算法进行人眼定位，之后利用GPU对模型进行训练，在验证集和实际情况中均有相当高的准确率。

(4)随机数的生成有越来越优秀的算法，其中不乏量子随机数等，本发明随机数的生成应根据随机数算法的优越性可及时更新。

附图说明

图1为本发明的流程图；

图2为本发明随机数产生流程图；

图3为本发明人眼注视方式图；

图4为本发明屏幕分割区域图。

具体实施方式

下面结合实施例附图对本发明做进一步的详细描述：

参照图1，基于人脸活性检测-眼睛视线随机挑战响应方法，至少包括如下步骤：

步骤1：利用face++的人脸检测API，在屏幕中获取一个选定的人脸图像。

步骤2：在获取的人脸图像中检测人脸眼睛区域是否存在遮挡；没有遮挡继续步骤3，有遮挡取除遮挡，继续步骤3；

200，利用face++的人脸检测API摄像头采集的视频流；

201，分析图片中人脸眼睛区域是否存在遮挡；有眼镜遮挡返回参数为glass，进入步骤202，没有，返回值为None，进入步骤203；

202，给出摘下眼镜提示，重新返回200；(如果系统检测到用户佩戴了眼镜，系统要求用户摘下眼镜，从而提高检测的准确率)。

203，给出眼睛睁开和闭合提示，返回值为eyestatus，系统会根据返回值提醒用户睁开眼睛，因为此活性检测系统主要依据眼睛视线为监测点所以眼部的睁开，闭合对系统至关重要。

步骤3：通过随机数在屏幕中产生一个点亮区域；

300，调用随机数生成函数，取3的倍数位置的比特，组成8位的比特序列，将8位的比特序列转换为十进制，数字的范围为0～63，用此数字关联系统的提出的挑战(要求用户注视的屏幕区域)；

301，将屏幕分割为2ⁿ[n∈(1.2.3.4.5.6)],选择n的取值，给出随机数生成函数初始取值；

302，利用m序列生成理论产生64位的01伪随机序列，将64位01序列转化为十进制，记为A；

303，利用上一步产生的十进制数进行B＝A mod 2ⁿ运算，结果记为B，此时B为需要点亮屏幕的区域编号；

304，设n级移位寄存器的初始状态为：a_-1a_-2…a_-n，经过一次移位后，状态变成：a₀a_-1a_-2…a_-n+1。经过n次移位后，状态变成：a_n-1a_n-2…a₀，序列的递归关系式表示出了其反馈逻辑，递归关系式表示为：

c_i的值决定了移位寄存器的反馈连接和序列的结构，用特征方程式表示为：

305，设F_q表示含有q个元素的有限域，其中q＝pⁿ，n是正整数，p为素数。对于任意正整数m，从

到F_q的迹映射可以定义为

其中x是

中的元素；

对于f(x)∈F_q[x]，则a(t)＝Tr(f(α^t))和

分别表示周期为q-1的p阶序列的第t个元素和其调制序列，当f(x)＝cx，且

时，周期为q-1的p阶序列为m序列。

在生成随机数的方法中，移位寄存器只是其中的一个方法，随着新的算法生成以及量子随机数生成的成熟，我们随机的数的生成不局限于移位寄存器，更多更先进的随机数生成算法应被应用其中。m序列具有很好的自相关特性和较好的互相关特性。

步骤4：实时挑战开始，依据步骤3所产生的的随机数，利用图四的标注方式点亮所选区域，用户眼睛开始注视所选区域从而检测眼睛的视线方向，通过检测眼睛的视线方向检测人眼特征、头部姿势矫正，对视线方向预估。

所述的步骤4包括：

401，提示用户通过随机数选定的屏幕区域，并对选定的屏幕区域点亮，保持头部姿态注视点亮区域；

402，利用face++所提供的API对用户视线注视方向进行分析；

403、将眼球位置与视线方向信息与屏幕点亮区域进行一致性分析。

进行一致性分析是基于参数化模型AAM(Active Appearance Model)。参数化模型AAM分为两个阶段，模型建立阶段和模型匹配阶段。

模型建立阶段包括了对训练样本分别建立形状模型(Shape Model)和纹理模型(Texture Model)，然后将两个模型进行结合，形成AAM模型。

模型匹配阶段是指在视频序列中将已建立好的AAM模型在当前帧图像中寻找最匹配的目标的过程。

要建立ASM模型，需要对样本的人脸进行归一化。由于每个样本的拍摄角度，人脸角度，人脸远近等因素，样本中的人脸的位置，大小均不相同。Procrustes变换的主要思想是将观测对象的中心平移到原点，然后将对象的大小伸缩到固定大小并将对象旋转到正确位置。每一个样本的对象都有四个参数，重心的x坐标和y坐标,对象大小和对象旋转的角度。对于每两个样本，首先将两个样本的对象的重点都移动到同一位置，然后将两个样本的对象通过放大缩小操作伸缩到一样大小，最后通过两个对象相应的特征点的位置来计算出两个对象的旋转角度的差别，然后旋转对象，使相应点的距离的平方和最小，从而使使两个对象的角度一致。对样本的对象两两进行Procrustes变换，最终所有对象都移动到固定的初始位置，大小、角度也一致。然后对转换后的所有样本求平均，就得到了一个平均的形状模型。

眼球位置与视线方向信息，返回值包括以下属性：

left_eye_gaze：左眼的位置与视线状态；

right_eye_gaze：右眼的位置与视线状态；

每个属性都包括以下字段，每个字段的值都是一个浮点数，小数点后3位有效数字；

position_x_coordinate:眼球中心位置的X轴坐标；

position_y_coordinate:眼球中心位置的Y轴坐标；

vector_x_component:眼球视线方向向量的X轴分量；

vector_y_component:眼球视线方向向量的Y轴分量；

vector_z_component:眼球视线方向向量的Z轴分量。

步骤5：连续帧的分析：

将挑战-响应过程中所录制的视频进行取帧处理，在挑战发起时，连续获取20帧图像，在采集的图像中眼球视线方向与点亮区域是否一致。最终判断用户是否是真实的人脸，从而达到人脸活性检测的功能。

本发明效果可以通过以下系统进一步说明：

实验环境基于tensorflow的AlexNet深度卷积神经网络,GPU：GeForce GTX TITANBlack，语言Python

实验结果对比与分析：

本发明实验结果与分析表明，基于单个摄像头，虽然不能精确的定位像素点，但是完全可以胜任基于实时挑战响应的人脸活性检测系统，并有较好的效果。在未来发展过程中，硬件的性能将会更加优良，视频流会更加逼近于原画质感，人脸识别系统的人脸信息采集模块将可以精确到更小的像素点集合，从而扩大了随机挑战的集合，使得系统更难于被攻破。

本发明在人脸识别的众多算法中，相当一部分挑战-响应的活性检测技术会受到来自基于MFF的攻击。本系统运用通信领域的伪随机序列进行随机的挑战，从而能有效的抵御基于MFF的攻击，对较为先进的3D人脸攻击也有良好的效果。

Claims (5)

1.基于人脸活性检测-眼睛视线随机挑战响应方法，其特征是：至少包括如下步骤：

步骤1：利用face++的人脸检测API，在屏幕中获取一个选定的人脸图像；

步骤2：在获取的人脸图像中检测人脸眼睛区域是否存在遮挡；没有遮挡继续步骤3，有遮挡取除遮挡，继续步骤3；

步骤3：通过随机数在屏幕中产生一个点亮区域；

步骤4：实时挑战开始，依据步骤3所产生的随机数，利用屏幕分割区域的标注方式点亮所选区域，用户眼睛开始注视所选区域从而检测眼睛的视线方向，通过检测眼睛的视线方向检测人眼特征、头部姿势矫正，对视线方向预估；

步骤5：将挑战-响应过程中所录制的视频进行取帧处理，在挑战发起时，连续获取20帧图像，在采集的图像中眼球视线方向与点亮区域是否一致；最终判断用户是否是真实的人脸，从而达到人脸活性检测的功能；

所述的步骤3具体包括如下步骤：

300，调用随机数生成函数，取3的倍数位置的比特，组成8位的比特序列，将8位的比特序列转换为十进制，数字的范围为0～63，用此数字关联系统的提出的挑战；

301，将屏幕分割为2ⁿ，其中，n∈(1.2.3.4.5.6),选择n的取值，给出随机数生成函数初始取值；

302，利用m序列生成理论产生64位的01伪随机序列，将64位01序列转化为十进制，记为A；

303，利用上一步产生的十进制数进行B＝Amod2ⁿ运算，结果记为B，此时B为需要点亮屏幕的区域编号；

304，设n级移位寄存器的初始状态为：a_-1a_-2…a_-n，经过一次移位后，状态变成：a₀a_{- 1}a_-2…a_-n+1；经过n次移位后，状态变成：a_n-1a_n-2…a₀，序列的递归关系式表示出了其反馈逻辑，递归关系式表示为：

c_i的值决定了移位寄存器的反馈连接和序列的结构，用特征方程式表示为：

305，设F_q表示含有q个元素的有限域，其中q＝pⁿ，n是正整数，p为素数,对于任意正整数m，从

到F_q的迹映射可以定义为

其中x是

中的元素；

对于f(x)∈F_q[x]，则a(t)＝Tr(f(α^t))和

分别表示周期为q-1的p阶序列的第t个元素和其调制序列，当f(x)＝cx，且

时，周期为q-1的p阶序列为m序列。

2.根据权利要求1所述的基于人脸活性检测-眼睛视线随机挑战响应方法，其特征是：所述的步骤2包括：

200，利用face++的人脸检测API摄像头采集的视频流；

201，分析图片中人脸眼睛区域是否存在遮挡；有眼镜遮挡返回参数为glass，进入步骤202，没有，返回值为None，进入步骤203；

202，给出摘下眼镜提示，重新返回200；

203，给出眼睛睁开和闭合提示，返回值为eyestatus，系统会根据返回值提醒用户睁开眼睛，因为此活性检测系统主要依据眼睛视线为监测点所以眼部的睁开，闭合对系统至关重要。

3.根据权利要求1所述的基于人脸活性检测-眼睛视线随机挑战响应方法，其特征是：所述的步骤4包括：

401，提示用户通过随机数选定的屏幕区域，并对选定的屏幕区域点亮，保持头部姿态注视点亮区域；

402，利用face++所提供的API对用户视线注视方向进行分析；

403，将眼球位置与视线方向信息与屏幕点亮区域进行一致性分析。

4.根据权利要求3所述的基于人脸活性检测-眼睛视线随机挑战响应方法，其特征是：所述的步骤403进行一致性分析是基于参数化模型AAM；参数化模型AAM分为两个阶段，模型建立阶段和模型匹配阶段；模型建立阶段包括了对训练样本分别建立形状模型和纹理模型，然后将两个模型进行结合，形成AAM模型。

5.根据权利要求3所述的基于人脸活性检测-眼睛视线随机挑战响应方法，其特征是：所述的步骤403眼球位置与视线方向信息的返回值包括以下属性：

left_eye_gaze：左眼的位置与视线状态；

right_eye_gaze：右眼的位置与视线状态；

每个属性都包括以下字段，每个字段的值都是一个浮点数，小数点后3位有效数字；

position_x_coordinate:眼球中心位置的X轴坐标；

position_y_coordinate:眼球中心位置的Y轴坐标；

vector_x_component:眼球视线方向向量的X轴分量；

vector_y_component:眼球视线方向向量的Y轴分量；

vector_z_component:眼球视线方向向量的Z轴分量。

Images