CN112801038B - 一种多视点的人脸活体检测方法及系统 - Google Patents

Abstract

本发明公开多视点的人脸活体检测方法及系统，首先同时从多个角度采集人脸图片，对采集的人脸图片进行活体初步判断，若多个角度采集的人脸图片都满足活体初步判断条件，则获取各人脸图片中的人脸关键点的坐标位置，基于坐标位置计算各人脸图片中的人脸关键点距离向量，并对人脸关键点距离向量进行预处理得到特征关键点距离向量；任意选取一组特征关键点距离向量输入已训练好的分类模型中进行分类；根据分类结果输出当前采集的人脸照片中的人脸是否来自于真人。多角度同时采集，对人脸的偏转问题也有很大的鲁棒性，提高了人脸识别过程中的体验，大幅度降低硬件成本，使用特征关键点距离向量输入分类模型进行分类，计算量低，检测的可靠性高。

Description

一种多视点的人脸活体检测方法及系统

技术领域

本发明涉及生物特征识别技术领域，具体涉及一种多视点的人脸活体检测方法及系统。

背景技术

人脸活体检测是通过对传入的人脸图片进行分析，从而判断当前传入的人脸图片是对真人采集还是翻拍的人脸图片。通常是人脸识别的一个环节，经常用于安防领域，防止通过翻拍照片来通过人脸识别验证。

现有技术的人脸活体检测方法大致可以划分为两类：

(1)主动配合的方法，该方法需要人根据计算机的指令做出相应的动作，由计算机根据动作是否标准来判断当前是否是真人图片。

(2)静默识别的方法，该方法不需要主动配合就可以识别真人的方式；包括利用红外摄像头来分析当前人脸图片的纹理，或者利用深度摄像头来获取人脸图片采集的对象的深度信息等方式来检测当前是否是真人对象。

这两种方法的原理：第一类是通过人脸关键点在视频连续帧的变化规律是否符合计算机发出的指令，其中计算机发出的指令包括点头、眨眼、摇头等。第二类中，红外摄像头的方式是由红外摄像头发射红外光线，照射到当前的人脸场景，由于不同材质的反射率不同，再利用成像元件去感知反射回来的红外光，最后通过算法分析当前的对象是否是真人。深度摄像头的方式是利用立体视觉的方式，通过两个角度的图像的视差去计算当前场景的深度图，由该深度图来获取人脸图像的深度信息，如果是翻拍的人脸，采集到的人脸区域的深度信息就会接近。

上述两种方法的缺陷分别为：

主动配合的方法的缺陷在于需要人去主动配合，体验性较差。

静默识别的方法的缺陷在于对硬件的依赖性较大，需要红外摄像头或者双目摄像头，硬件成本较高。

发明内容

本发明旨在克服前述的现有的人脸活体检测技术对于人的主动配合依赖性强和对硬件依赖性大的问题，提供一种新的多视点人脸活体检测方法及系统，通过多个视点下人脸关键点的信息建模可以使得不用主动配合就能识别对象是否是真人，对人脸的偏转问题也有很大的鲁棒性，提高了人脸识别过程中的体验，并且只需要普通摄像头，硬件成本也会大幅度降低。

本发明通过下述技术方案实现：

本发明提供一种多视点的人脸活体检测方法，包括步骤：

S1.同时从正面、左侧和右侧三个角度采集人脸图片，对采集的人脸图片进行活体初步判断，若三个角度采集的人脸图片都满足活体初步判断条件，则进入S2；

S2.获取各人脸图片中的人脸关键点的坐标位置；

S3.基于人脸关键点的坐标位置计算各人脸图片中的人脸关键点距离向量，并对人脸关键点距离向量进行预处理得到特征关键点距离向量；

S4.任意选取一组特征关键点距离向量输入已训练好的分类模型中进行分类；

S5.根据分类结果输出当前采集的人脸照片中的人脸是否来自于真人。

进一步优化方案为，从正面、左侧和右侧三个角度采集人脸图片时，采集装置位于同一水平线上，且左侧采集装置和右侧采集装置分别偏离正面采集装置至少15度。

进一步优化方案为，若三个角度采集的人脸图片中有任意一个角度采集的人脸图片不满足活体初步判断条件，则返回重新从正面、左侧和右侧三个角度采集人脸图片。

其中活体初步判断条件为三个摄像头拍摄的照片都能检测到人脸，如果每张照片中都只

检测到一张人脸且人脸的长度满足采集模块规定的范围时则进行后续步骤，人脸长度不满足时提示被检测对象调整站位。对于一张照片中检测到的人脸数目大于2的情况：①人脸的长度差异比较大，则裁剪出人脸长度大的人脸所在区域，如果该人脸的长度满足采集模块规定的范围则作为被检测对象在该角度下拍摄的结果，如果不满足则提示被检测对象调整站位；②人脸的长度差异比较小，则提示被检测对象请排队检测，然后重新拍摄照片并判断是否满足活体初步判断条件。提示通过提示模块的显示设备和音频设备以图像、文字和音频的形式同时提醒来完成。这个判断条件可以直接辨别出使用正脸人脸照片和侧脸人脸照片并排放置来攻击的情况：若在三个角度的采集设备前分别放置对应排列好的假脸照片，在用前述方式制造的打印人脸照片来进行攻击的时候，由于角度的关系，且三个角度的采集设备同时进行采集，打印人脸照片排列较近时，检测到的人脸的长度接近，不满足活体初步判断条件，从而不会进行后续步骤；打印人脸照片前后排列时，在其他角度下检测到的人脸的长度会变短，不满足采集模块的要求，不会进行后续步骤，所以就可以抵御这次攻击。

进一步优化方案为，所述人脸关键点为人脸面部的关键区域位置的点，所述关键区域包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓。

进一步优化方案为，所述人脸关键点至少需要覆盖人脸轮廓，眉毛和眼睛。人脸关键点至少68个。

进一步优化方案为，S3具体为：

以某一人脸关键点作为基础点，使用欧式计算基础点到其他人脸关键点之间的距离得到当前基础点的人脸关键点距离向量；

所述预处理过程包括：

将人脸关键点距离向量中的每个元素都除以同一特征距离得到初步特征距离向量，所述同一特征距离为当前人脸图片中距离眉心最近关键点和距离下巴顶点最近关键点之间的距离，通过这一步骤可以把人脸关键点的距离关系转换为占人脸长度的比例关系，使得本方法对于距离正面摄像头不同距离从而输入的人脸长度不同的情况都能进行识别；

在同一基准点条件下，将获得的左侧采集的人脸图片的初步特征距离向量与正面采集的人脸图片的初步特征距离向量对应元素相加作为向量1、右侧采集的人脸图片的初步特征距离向量与正面采集的人脸图片的初步特征距离向量对应元素相加作为向量2，把向量2的元素以序号增大的顺序依次添加到向量1后，以此拼接成一个行向量作为特征关键点距离向量，特征关键点距离向量的维数是人脸关键点数目的两倍再减2。

进一步优化方案为，所述同一特征距离为当前人脸图片中距眉心最近关键点和距下巴顶点最近关键点之间的距离，以消除输入人脸图片大小不一致的影响。

分类模型需要根据采集设备采集的历史数据集(数据集中的数据包含若干真实人脸和照片人脸，照片人脸含有弯曲、旋转、偏转等变化)把历史数据集中每一个样本对应的特征距离向量转置为列向量，归一化后作为历史样本数据集数据A的一个列向量。

设人脸关键点的数目为p，数据集中有真实人脸的数据j条，照片人脸的数据k条，则A∈R^{(2p-2)×(j+k)}。

所述分类模型的目标函数为：

其中y∈R^(2p-2)×1是系统部署后采集的待分类的特征距离向量，λ和μ是权衡参数，A₁∈R^(2p-2)×j是A中类别为真实人脸的数据，A₂∈R^(2p-2)×k是A中类别为照片人脸的数据，x∈R^{(j +k)×1}是待求解系数，x₁∈R^j×1是x中与A₁对应的系数，x₂∈R^k×1是x中与A₂对应的系数，

为计算L2范数的平方。

通过求解目标函数得到待求解系数x的表达式：

x＝(A^TA+λ+μM)^-1A^Ty

其中M表示矩阵

最后该测试样本的结果可以表示为：

其中label(y)为y对应的类别信息。

根据上述多视点的人脸活体检测方法，本发明还提供一种多视点的人脸活体检测系统，包括：

采集装置同时从正面、左侧和右侧三个角度采集人脸图片；采集装置检测的有效范围为距离正面采集设备30厘米到70厘米。此时人脸的长度小于照片的宽度且大于照片宽度的三分之一。

初步判断装置对采集的人脸图片进行活体初步判断，筛选出三个角度采集的人脸图片都满足活体初步判断条件的人脸图片；

提示模块，用于不满足活体初步判断条件的时候，提示被检测对象调整位置，包括人脸

检测的结果中人脸长度大于照片宽度或者小于照片宽度的一半时提醒被检测对象往后站或者往前站，检测结果中人脸数目大于2并且人脸长度接近时提醒被检测对象请排队检测等；还可以用于显示活体检测的结果。提示模块包含显示设备和音频设备，提示功能通过显示设备和音频设备以图像、文字和音频的形式同时提醒被检测对象；关键点坐标获取装置获取满足活体初步判断条件的各人脸图片中的人脸关键点的坐标位置；

关键点坐标获取装置获取满足活体初步判断条件的每张人脸图片中的人脸关键点的坐标位置；

第一计算装置，用于基于人脸关键点的坐标位置计算每张人脸图片中的人脸关键点距离向量；

预处理装置，用于对人脸关键点距离向量进行预处理得到特征关键点距离向量；

分类装置，用于任意选取一组特征关键点距离向量输入分类装置中经过已训练好的分类模型进行分类；

输出装置根据分类结果输出当前采集的人脸照片中的人脸是否来自于真实人脸，输出装置把分类模块的结果和人脸照片进行输出，可以输出到提示模块的设备上显示活体检测的结果，也可以输出到其他系统(如人脸识别系统)。

进一步优化方案为，所述采集装置至少包括正面采集装置、左侧采集装置和右侧采集装置，正面采集装置、左侧采集装置和右侧采集装置位于同一水平线上，左侧采集设备和右侧采集设备分别偏离正面人脸都度数需要满足在该角度下能拍到人脸的两边轮廓；左侧采集装置和右侧采集装置分别偏离正面采集装置至少15度。

图像是通过透视投影形成的，投影中心的位置不同，投影后形成的图片中的线段比例关系也不相同，照片攻击的方式输入的人脸图像是经过一次透视投影形成的，照片人脸和真实人脸的人脸关键点的比例关系在不同的角度下有较大差异，根据这一差异来分类，可以区分出当前人脸是否来自于真实人脸。

本发明的工作原理：现有技术对于人脸活体检测过程中，对人的主动配合依赖性强和对硬件依赖性大，为了辨别是否为活体，需要人根据指令进行相应的动作，本发明提供的多视点的人脸活体检测方法，通过多个视点下人脸关键点的信息建模、特征关键点距离向量的分类使得不用主动配合就能识别对象是否是真人，多个视点进行采集对人脸的偏转问题也有很大的鲁棒性，提高了人脸识别过程中的体验，并且只需要普通摄像头，硬件成本也会大幅度降低，在进行分类模型计算时，任意选取一组特征关键点距离向量输入过已训练好的分类模型进行分类，计算简便，计算量低；且本发明采用多级判断来进行人脸活体检测，在人脸图片采集后进行活体初步判断，抵御了部分攻击，然后再对满足活体初步判断条件的各人脸图片进行下一步关键点获取、特征关键点距离向量计算和分析等，进行下一步活体判断，提高检测的可靠性。

本发明与现有技术相比，具有如下的优点和有益效果：

本发明提供的多视点的人脸活体检测方法和系统，通过多个视点下人脸关键点的信息建模、特征关键点距离向量的分类使得不用主动配合就能识别对象是否是真人，多个视点进行采集对人脸的偏转问题也有很大的鲁棒性，提高了人脸识别过程中的体验，并且只需要普通摄像头，使硬件成本也大幅度降低。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。

在附图中：

图1为多视点的人脸活体检测方法流程示意图；

图2为检测到的人脸关键点的位置分布示意图；

图3为多视点的人脸活体检测系统结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例1

由于现有的人脸活体检测技术对于人的主动配合依赖性强和对硬件依赖性大的问题，本实施例提供一种多视点的人脸活体检测方法，如图1所示，具体步骤如下：

步骤A：同时从正面、左侧和右侧三个角度采集人脸图片，使用Dlib库中的人脸检测算法检测所有摄像头拍摄的图片，检测出输入图片中的人脸长度，裁剪出满足活体初步判断条件的人脸所在范围。本实施例根据Dlib库检测结果中的top函数的值与bottom函数的值作为人脸的长度，满足采集模块规定范围的人脸长度在258到125之间，大于或者小于这个范围时通过提示模块提醒被检测对象往后站或者往前站。对于检测出多个人脸的情况，需要被检测对象的人脸长度与其他人脸长度的比值大于1.45。如果不满足前述条件，就通过提示模块提醒被检测对象请排队检测并重新采集图片直到满足前述条件。提示通过提示模块的显示设备和音频设备以图像、文字和音频的形式同时提醒来完成。

步骤B中，可以通过Dlib库训练好的人脸关键点检测模型来确定68个人脸关键点在输入图片中的具体坐标位置，获取的68个人脸关键点的位置分布如图2所示。

步骤C中，基于人脸关键点的坐标位置计算各人脸图片中的人脸关键点距离向量，并对人脸关键点距离向量进行预处理得到特征关键点距离向量。

鼻尖是人脸最突出的部位，在不同拍摄角度下与周围点的距离差异最大，所以本实施例选取鼻尖关键点为基准点，在图2中为第30号人脸关键点。计算该基准点到周围其他关键点的欧式距离来作为该张人脸图片的人脸关键点距离向量，向量的维数等于人脸关键点的数目减1，欧式距离公式如下：

其中，x和y代表了点在笛卡尔坐标上x轴方向上的长度和y轴方向上的长度，ρ为点(x₁,y₁)和点(x₂,y₂)之间的欧式距离。

所述的预处理过程包括：

把该向量中的每个元素除以同一特征距离来表示这段距离在人脸区域中所占的比例得到初步特征距离向量，以消除输入人脸长度不一致带来的影响。其中，同一特征距离选择第27号人脸关键点到第8号关键点之间的距离。

在同一基准点条件下，将获得的左侧采集人脸图片的初步特征距离向量与正面采集人脸图片的初步特征距离向量对应元素相加作为向量1、右侧采集人脸图片的初步特征距离向量与正面采集人脸图片的初步特征距离向量对应元素相加作为向量2，把向量2的元素以序号增大的顺序依次添加到向量1后，以此拼接成一个行向量作为特征关键点距离向量，特征关键点距离向量的维数是人脸关键点数目的两倍再减2。

步骤D：任意选取一组特征关键点距离向量输入已训练好的分类模型中进行分类。

其中由于使用了多个摄像头，所以需要自采数据集。分别从正面、左侧和右侧三个角度

采集人脸图片，采集设备位于同一水平线上，在本实施例中，左侧采集设备和右侧采集设备分别偏离正面人脸15度，数据集需要包括三个摄像头下真实人脸、照片人脸和电子屏介质的照片。采集过程中可以把人脸偏转、照片弯曲、电子屏旋转等，增加数据集的多样性，从而提高方法的鲁棒性。把数据集中每一个样本对应的特征距离向量转置为列向量，归一化后作为数据集数据A的一个列向量。设人脸关键点的数目为p，数据集中有真实人脸的数据j条，照片人脸的数据k条，则A∈R^{(2p-2)×(j+k)}。本实施例选择的归一化方法是L2范数归一化，公式如下：

其中a表示一个特征关键点距离向量转置后的列向量，a_i表示a中的第i个元素，a^′ _i表示a中的第i个元素归一化后的值，||·||₂为计算L2范数。

所述分类模型的目标函数为：

其中y∈R^(2p-2)×1是系统部署后采集的待分类的特征距离向量，λ和μ是权衡参数，A₁∈R^(2p-2)×j是A中类别为真实人脸的数据，A₂∈R^(2p-2)×k是A中类别为照片人脸的数据，x∈R^{(j +k)×1}是待求解系数，x₁∈R^j×1是x中与A₁对应的系数，x₂∈R^k×1是x中与A₂对应的系数，

为计算L2范数的平方。

通过求解目标函数得到待求解系数x的表达式：

x＝(A^TA+λ+μM)^-1A^Ty

其中M表示矩阵

最后该测试样本的结果可以表示为：

其中label(y)为y对应的类别信息。

步骤E中，把步骤D中最后的输出作为对本次输入的人脸图片是否是真人的判断。

实施例2

如图3所示，本实施例提供一种多视点的人脸活体检测方法，包括：采集装置和数据处理设备，数据处理设备包括：初步判断装置、关键点坐标获取装置、第一计算装置、预处理装置、分类装置和输出装置。

采集装置同时从正面、左侧和右侧三个角度采集人脸图片；

初步判断装置对采集的人脸图片进行活体初步判断，筛选出三个角度采集的人脸图片都满足活体初步判断条件的人脸图片；

提示模块，用于不满足活体初步判断条件的时候，提示被检测对象调整位置，包括人脸

检测的结果中人脸长度大于照片宽度或者小于照片宽度的一半时提醒被检测对象往后站或者往前站，检测结果中人脸数目大于2并且人脸长度接近时提醒被检测对象请排队检测等；还可以用于显示活体检测的结果。提示模块包含显示设备和音频设备，提示功能通过显示设备和音频设备以图像、文字和音频的形式同时提醒被检测对象；

关键点坐标获取装置获取满足活体初步判断条件的各人脸图片中的人脸关键点的坐标位置；

第一计算装置基于人脸关键点的坐标位置计算各人脸图片中的人脸关键点距离向量；

预处理装置对人脸关键点距离向量进行预处理得到特征关键点距离向量；

任意选取一组特征关键点距离向量输入分类装置中经过已训练好的分类模型进行分类；

输出装置根据分类结果输出当前采集的人脸照片中的人脸是否来自于真人。

所述采集装置至少包括正面采集装置、左侧采集装置和右侧采集装置，正面采集装置、左侧采集装置和右侧采集装置位于同一水平线上，左侧采集装置和右侧采集装置分别偏离正面采集装置至少15度。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种多视点的人脸活体检测方法，其特征在于，包括步骤：

S1.同时从正面、左侧和右侧三个角度采集人脸图片，对采集的人脸图片进行活体初步判断，若三个角度采集的人脸图片都满足活体初步判断条件，则进入S2；

S2.获取每张人脸图片中的人脸关键点的坐标位置；

S3.基于人脸关键点的坐标位置计算每张人脸图片中的人脸关键点距离向量，并对人脸关键点距离向量进行预处理得到特征关键点距离向量；

S4.任意选取由每张人脸图片中同一序号的人脸关键点生成的一组特征关键点距离向量并输入已训练好的分类模型中进行分类；

S5.根据分类结果输出当前采集的人脸图片中的人脸是否来自于真实人脸；S3具体为：

以某一人脸关键点作为基础点，使用欧式计算基础点到其他人脸关键点之间的距离得到当前基础点的人脸关键点距离向量，人脸关键点距离向量的维数等于人脸关键点的数目减1；

所述预处理过程包括：

将人脸关键点距离向量中的每个元素都除以同一特征距离得到初步特征距离向量；

在同一基础点条件下，将获得的左侧采集的人脸图片的初步特征距离向量与正面采集的人脸图片的初步特征距离向量对应元素相加作为向量1、右侧采集的人脸图片的初步特征距离向量与正面采集的人脸图片的初步特征距离向量对应元素相加作为向量2，把向量2的元素以序号增大的顺序依次添加到向量1后，以此拼接成一个行向量作为特征关键点距离向量，特征关键点距离向量的维数是人脸关键点数目的两倍再减2。

2.根据权利要求1所述的一种多视点的人脸活体检测方法，其特征在于，从正面、左侧和右侧三个角度采集人脸图片时，采集装置位于同一水平线上，且左侧采集设备和右侧采集设备分别偏离正面人脸的度数需要满足在该角度下能拍到人脸的两边轮廓。

3.根据权利要求1所述的一种多视点的人脸活体检测方法，其特征在于，若三个角度采集的人脸图片中有任意一个角度采集的人脸图片不满足活体初步判断条件，则返回重新从正面、左侧和右侧三个角度采集人脸图片。

4.根据权利要求1所述的一种多视点的人脸活体检测方法，其特征在于，所述人脸关键点为人脸面部的关键区域位置的点，所述关键区域包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓。

5.根据权利要求4所述的一种多视点的人脸活体检测方法，其特征在于，所述人脸关键点至少需要覆盖脸部轮廓、眉毛和眼睛。

6.根据权利要求1所述的一种多视点的人脸活体检测方法，其特征在于，所述同一特征距离为当前人脸图片中距眉心最近关键点和距离下巴顶点最近关键点之间的距离。

7.根据权利要求1所述的一种多视点的人脸活体检测方法，其特征在于，设人脸关键点的数目为p，数据集中有真实人脸的数据j条，照片人脸的数据k条，历史样本数据集A∈R^{(2p -2)×(j+k)}，

S4中分类模型的目标函数表示为：

其中y∈R^(2p-2)×1是待分类的特征关键点距离向量，λ和μ是权衡参数，A₁∈R^(2p-2)×j是A中类别为真实人脸的数据，A₂∈R^(2p-2)×k是A中类别为照片人脸的数据，x∈R^(j+k)×1是待求解系数，x₁∈R^j×1是x中与A₁对应的系数，x₂∈R^k×1是x中与A₂对应的系数，

为计算L2范数的平方。

8.一种多视点的人脸活体检测系统，用于权利要求1-7任意一种多视点的人脸活体检测方法，其特征在于，包括：

采集装置同时从正面、左侧和右侧三个角度采集人脸图片；

初步判断装置对采集的人脸图片进行活体初步判断，筛选出三个角度采集的人脸图片都满足活体初步判断条件的人脸图片；

关键点坐标获取装置获取满足活体初步判断条件的每张人脸图片中的人脸关键点的坐标位置；

第一计算装置基于人脸关键点的坐标位置计算每张人脸图片中的人脸关键点距离向量；

预处理装置对人脸关键点距离向量进行预处理得到特征关键点距离向量；

分类装置任意选取一组特征关键点距离向量输入分类装置中经过已训练好的分类模型进行分类；

输出装置根据分类结果输出当前采集的人脸图片中的人脸是否来自于真实人脸；

第一计算装置以某一人脸关键点作为基础点，使用欧式计算基础点到其他人脸关键点之间的距离得到当前基础点的人脸关键点距离向量，人脸关键点距离向量的维数等于人脸关键点的数目减1；

预处理装置用于：将人脸关键点距离向量中的每个元素都除以同一特征距离得到初步特征距离向量；并在同一基础点条件下，将获得的左侧采集的人脸图片的初步特征距离向量与正面采集的人脸图片的初步特征距离向量对应元素相加作为向量1、右侧采集的人脸图片的初步特征距离向量与正面采集的人脸图片的初步特征距离向量对应元素相加作为向量2，把向量2的元素以序号增大的顺序依次添加到向量1后，以此拼接成一个行向量作为特征关键点距离向量，特征关键点距离向量的维数是人脸关键点数目的两倍再减。

9.根据权利要求8所述的一种多视点的人脸活体检测系统，其特征在于，所述采集装置至少包括正面采集装置、左侧采集装置和右侧采集装置，正面采集装置、左侧采集装置和右侧采集装置位于同一水平线上，左侧采集设备和右侧采集设备分别偏离正面人脸的度数需要满足在该角度下能拍到人脸的两边轮廓。

Images