CN112686191A - 基于人脸三维信息的活体防伪方法、系统、终端及介质 - Google Patents
基于人脸三维信息的活体防伪方法、系统、终端及介质 Download PDFInfo
- Publication number
- CN112686191A CN112686191A CN202110010961.0A CN202110010961A CN112686191A CN 112686191 A CN112686191 A CN 112686191A CN 202110010961 A CN202110010961 A CN 202110010961A CN 112686191 A CN112686191 A CN 112686191A
- Authority
- CN
- China
- Prior art keywords
- face
- image
- living body
- counterfeiting
- training sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 87
- 238000007781 pre-processing Methods 0.000 claims abstract description 27
- 238000000605 extraction Methods 0.000 claims abstract description 15
- 230000015654 memory Effects 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 16
- 238000013507 mapping Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000001727 in vivo Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 abstract description 25
- 230000036544 posture Effects 0.000 description 17
- 238000001514 detection method Methods 0.000 description 14
- 230000001680 brushing effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000013475 authorization Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000001574 biopsy Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013506 data mapping Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005429 filling process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种基于人脸三维信息的活体防伪方法及系统，包括：利用人脸深度图，生成虚拟训练样本，构建虚拟训练样本集；对所述虚拟训练样本进行预处理，得到人脸图像；对所述人脸图像进行特征提取和分类，构建活体防伪模型；对输入的待识别人脸深度图进行预处理，得到对应的人脸图像，并利用所述活体防伪模型，对得到的人脸图像进行特征提取和分类，进而得到输入的人脸深度图的活体防伪分类。同时提供了一种相应的终端及介质。本发明能够实现对现阶段大多数场景的活体防伪工作，准确率高，实用性强；方法可执行性强，不需要用户额外的配合；方法准确率高，由于引入了人脸的三维信息，算法不易受到外部条件的影响。
Description
技术领域
本发明涉及计算机视觉技术领域，具体地，涉及一种基于人脸三维信息的活体防伪方法、系统、终端及介质。
背景技术
现阶段，人脸识别闸机、刷脸售货机、刷脸支付等以人脸识别为主要功能的产品，已经被应用于酒店、旅游景点、火车站、餐厅等场所，极大的方便了人们的日常出行及生活，这些产品中包含的功能就是日常提及的“刷脸进站”、“刷脸支付”等。这些产品的逐渐广泛应用，引出了一个焦点性问题：身份安全性问题，例如在刷脸支付时，使用一张照片就可以骗过刷脸算法，这样就可以使用其他人的信息进行支付，为违法行为提供了土壤。为了解决这种身份安全性问题，一般在人脸识别算法中加入活体防伪算法，判断刷脸的个体是否为真人活体，以解决上述问题。
目前，活体防伪算法可以分为如下几种：
(1)被动式活体防伪算法，这类算法一般需要用户个体的配合，例如算法在运行阶段提示眨眼、张嘴等动作，随后若算法检测到用户做了这些动作，则判断为活体，否则判断为假体；
(2)主动式活体防伪算法，这类算法不需要用户个体的配合，算法依据镜头前个体的外貌特征判断个体是否是真人活体。
这两类活体防伪算法均被广泛应用于各类刷脸应用中，以验证用户是否是真人活体，并结合人脸识别算法判断用户个体的真实性，但这些活体防伪算法都存在着下述不足之处：
(1)人为的配合使得算法的可执行性降低，特别是人流量大的火车站等场合，这种需要人为配合的活体防伪算法极大的延长了每个个体的进站时间，容易引发人流量阻塞的隐患；
(2)算法的准确率低，算法基于二维的彩色图像或近红外图像，同一个体在光照、姿态等差异下成的像也存在着差异，基于二维的活体防伪算法对于这种差异性的容错率低。
经过检索发现：
1、公开号为CN107832677A、公开日为2018年3月23日的中国发明专利申请《基于活体检测的人脸识别方法及系统》，获取人脸的二维图像以及深度图像；利用所述二维图像和/或深度图像进行人脸检测与识别，并利用所述二维图像进行皮肤检测和/或利用所述深度图像进行立体检测。通过利用二维图像进行皮肤检测或利用深度图像进行立体检测来实现活体检测，同时结合二维图像或深度图像进行人脸检测与识别，实现人脸检测与识别、活体检测的双验证，能有效分辨真假人脸，排除照片、视频、模型或面具伪装对人脸识别系统的攻击，提高人脸识别的安全等级。在该方法中，提供了一种二维图像进行皮肤检测或利用深度图像进行立体检测实现活体检测的技术，但是并没有给出使用深度图像进行活体检测的具体实施方案，且该专利文献中的活体检测算法还需要彩色图像的辅助来进行，增加了检测成本。
2、公开号为CN111091075A、公开日为2020年5月1日的中国发明专利申请《人脸识别方法、装置、电子设备及存储介质》，利用点云数据对深度图中的人脸区域进行姿态校正，从校正后的人脸区域中裁剪出目标区域，对该目标区域的点云数据进行归一化，将归一化的点云数据映射为平面的三通道图像，将该三通道图像输入预先训练好的人脸识别模型，得到人脸识别结果；人脸识别模型通过标注有识别标签的样本数据集训练得到；其中，样本数据集中包括通过图像采集装置采集的深度图像中人脸区域的第一类样本数据，以及基于图像采集装置采集的深度图像得到的增强人脸区域的第二类样本数据，每个样本数据均为平面三通道图像。该方法在通过点云数据实现人脸识别过程中，将预设区域内所有像素深度值的中值作为鼻尖点的最终深度值。在该过程中，并没有考虑到前景遮挡物体、背景区域以及人脸大姿态下深度值的分布特性，导致算法在这些场景下工作时，算法的误差变大。同时，通过将人脸区域的关键点对齐到预置的关键点中，实现姿态矫正，这种方法只能实现人脸在z轴上的姿态矫正，对于x,y轴上的姿态对齐结果较差。
3、授权公告号为CN104298995B、授权公告日为2017年8月8日的中国发明专利《基于三维点云的三维人脸识别装置及方法》，对于三维点云特征区域进行定位的特征区域检测单元；将三维点云进行归一化映射到深度图像空间的深度图像映射单元；利用不同尺度和方向的盖博滤波器对三维人脸数据进行不同尺度和方向的响应计算的盖博响应计算单元；用于储存训练获得的三维人脸数据的视觉词典的储存单元；以及对于每个像素获得的盖博响应向量，与视觉词典进行直方图映射的直方图映射计算单元。该方法使用三维点云实现人脸识别。在该方法中，定位鼻尖区域，将其作为特征区域与基础人脸数据进行配准，该过程只使用鼻尖区域作为姿态配准的基准，通过鼻尖位置实现人脸正面的姿态配准，然后基于配准后的图像进行后续的操作，其准确度较低。
4、授权公告号为CN105956582B、授权公告日为2019年7月30日的中国发明专利《一种基于三维数据的人脸识别系统》，通过在点云层对三维数据质量进行初步评估，检测鼻尖区域，以鼻尖区域作为基准数据进行配准，进行深度人脸图像映射，再次评估图像质量后，进行深度人脸数据进行纹理修复，最后按照训练好的三维人脸视觉词典进行三维数据的视觉词典直方图向量提取，利用分类器实现三维人脸识别。该方法使用三维点云实现人脸识别。在该方法中，与上一专利技术相同，使用鼻尖区域作为姿态配准的基准，准确率较低。同时，该方法基于鼻尖位置实现将三维点云数据映射为深度人脸图像的数据映射，这一映射引入了鼻尖位置这一先验位置信息，一方面需要额外的算法确定鼻尖位置，另一方面，映射后的二维信息极大依赖鼻尖位置确定的准确性，但是在这一个过程中，因为需要基于姿态配准后的数据，若无法保证姿态配准阶段的准确率，则该过程的误差将变大。
综上所述，包括上述专利文献在内的现有技术，仍然存在可执行性降低、准确率低等问题。目前没有发现同本发明类似技术的说明或报道，也尚未收集到国内外类似的资料。
发明内容
本发明针对现有技术中存在的上述不足，提供了一种基于人脸三维信息的活体防伪方法、系统、终端及介质。
根据本发明的一个方面，提供一种基于人脸三维信息的活体防伪方法，包括：
利用人脸深度图，生成虚拟训练样本；
对所述虚拟训练样本进行预处理，得到人脸图像；
对所述人脸图像进行特征提取和分类，构建活体防伪模型；
对输入的待识别人脸深度图进行预处理，得到对应的人脸图像，并利用所述活体防伪模型，对得到的人脸图像进行特征提取和分类，进而得到输入的待识别人脸深度图的活体防伪分类。
优选地，所述利用人脸深度图，生成虚拟训练样本，包括：
利用深度相机或给定数据集，获取人脸深度图；
根据获取的所述人脸深度图以及所述深度相机的参数，得到其对应的点云图；
对所述点云图中的每一个点云进行空间三个轴任意角度的旋转，得到任意角度的旋转点云；
对所述旋转点云逆向投影回二维平面，得到原人脸深度图对应的旋转后的任意角度的虚拟二维图像，作为虚拟训练样本。
优选地，对所述虚拟训练样本进行预处理，得到人脸图像，包括：
将所述虚拟训练样本由16位深度图转换为8位图像；
对转换后的图像进行像素填充，完成对所述虚拟训练样本的预处理，得到人脸图像。
优选地，采用线性变换，将所述虚拟训练样本由16位深度图转换为8位图像，包括：
求取所述虚拟训练样本中人脸区域像素的最大值和最小值；
依次提取所述虚拟训练样本中人脸区域的每一个像素值；
根据提取的人脸区域像素的最大值和最小值和人脸区域的每一个像素值，得到映射后的像素值；
遍历整个人脸区域，得到映射后的图像，完成对所述虚拟训练样本的图像转换。
优选地，所述求取虚拟训练样本中人脸区域像素的最大值和最小值，包括：
统计所述虚拟训练样本深度图中人脸区域处的像素分布直方图；
从所述像素分布直方图中的一侧端点处开始标记，记第一个格子的中心像素值为b0，第二个格子的中心像素值为b1，以此类推，最后一个格子的中心像素值为bn-1；
若bi+1-bi＞bt，则舍弃掉中心像素值为bi+1的格子；其中，i为直方图中格子的索引，bt为设定的阈值；重复该过程，遍历整个直方图，得到一个新的子直方图；
以所述子直方图中一侧格子的中心值作为整个人脸区域像素的最小值，以子直方图另一侧格子的中心值作为整个人脸区域像素的最大值。
优选地，所述依次提取虚拟训练样本中人脸区域的每一个像素值，按照从左往右、从上往下的顺序，依次提取每个像素。
优选地，所述根据提取的人脸区域像素的最大值和最小值和人脸区域的每一个像素值，得到映射后的像素值，包括：
将人脸区域像素的最大值和最小值和人脸区域的每一个像素值，代入下式：
得到映射后的范围在0到255区间的像素值；
其中，xmin,xmax分别为人脸区域像素的最小值和最大值，xi为人脸区域的像素值，yi为映射后的像素值。
优选地，所述对转换后的图像进行像素填充，包括：
对于转换后的图像，依次获取每个映射后的像素点；
对于映射后的像素点的像素值，若该像素值等于0，则以该对应像素点周围8个像素点的均值作为该点的像素值；
遍历所有映射后的的像素点，直到所有像素点的像素值均不为0，完成对转换后的图像进行像素填充。
优选地，所述依次获取每个映射后的像素点，按照从左到右、从上到下的顺序依次获取。
优选地，采用卷积神经网络，对所述人脸图像进行特征提取和分类，构建活体防伪模型。
根据本发明的另一个方面，提供了一种基于人脸三维信息的活体防伪系统，包括：
虚拟训练样本生成模块，该模块利用人脸深度图，生成虚拟训练样本；
预处理模块，该模块对所述虚拟训练样本进行预处理，获得训练人脸图像，或对输入的待识别人脸深度图进行预处理，得到测试人脸图像；
活体防伪模型模块，该模块对所述训练人脸图像进行特征提取和分类，构建活体防伪模型，并将测试人脸图像作为活体防伪模型的输入，得到输入的待识别人脸深度图的活体防伪分类。
根据本发明的第三个方面，提供了一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行上述任一项所述的方法。
根据本发明的第四个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可用于执行上述任一项所述的方法。
由于采用了上述技术方案，本发明与现有技术相比，具有如下至少一项的有益效果：
1、本发明提供的基于人脸三维信息的活体防伪方法、系统、终端及介质，能够实现对现阶段大多数场景的活体防伪工作，准确率高，实用性强。
2、本发明提供的基于人脸三维信息的活体防伪方法、系统、终端及介质，方法可执行性强，不需要用户额外的配合。
3、本发明提供的基于人脸三维信息的活体防伪方法、系统、终端及介质，方法准确率高，由于引入了人脸的三维信息，算法不易受到光照、人脸姿态等外部条件的影响。
4、本发明提供的基于人脸三维信息的活体防伪方法、系统、终端及介质，有效提升了方法的性能以及对多场景的可适用性，同时，更好地满足了一般图像处理的通用性。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明一实施例中基于人脸三维信息的活体防伪方法流程图。
图2为本发明一优选实施例中基于人脸三维信息的活体防伪方法流程图。
图3为本发明一实施例中基于人脸三维信息的活体防伪系统组成模块示意图。
具体实施方式
下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
图1为本发明一实施例中提供的基于人脸三维信息的活体防伪方法流程图。
如图1所示，该实施例提供的基于人脸三维信息的活体防伪方法，可以包括如下步骤：
S100，利用人脸深度图，生成虚拟训练样本；
S200，对虚拟训练样本进行预处理，得到人脸图像；
S300，对人脸图像进行特征提取和分类，构建活体防伪模型；
S400，对输入的待识别人脸深度图进行预处理，得到对应的人脸图像，并利用活体防伪模型，对得到的人脸图像进行特征提取和分类，进而得到输入的待识别人脸深度图的活体防伪分类。
在该实施例的S100中，作为一优选实施例，利用人脸深度图，生成虚拟训练样本，可以包括如下步骤：
S101，通过深度相机或给定数据集，获取人脸深度图；
S102，根据获取的人脸深度图以及深度相机参数，得到其对应的点云图；
S103，对点云图中的每一个点云进行空间三个轴任意角度的旋转，得到任意角度的旋转点云；
S104，对旋转点云逆向投影回二维平面，得到原人脸深度图对应的旋转后的任意角度的虚拟二维图像，作为虚拟训练样本。
在该实施例的S200中，作为一优选实施例，对虚拟训练样本进行预处理，得到人脸图像，可以包括如下步骤：
S201，将虚拟训练样本由16位深度图转换为8位图像；
S202，对转换后的图像进行像素填充，完成对虚拟训练样本的预处理，得到人脸图像。
在该实施例S201中，作为一优选实施例，采用线性变换，将虚拟训练样本由16位深度图转换为8位图像；可以包括如下步骤：
S2011，求取虚拟训练样本中人脸区域像素的最大值和最小值；
S2012，依次提取虚拟训练样本中人脸区域的每一个像素值；
S2013，根据提取的人脸区域像素的最大值和最小值和人脸区域的每一个像素值，得到映射后的像素值；
S2014，遍历整个人脸区域，得到映射后的图像，完成对虚拟训练样本的图像转换。
在该实施例S2011中，作为一优选实施例，求取虚拟训练样本中人脸区域像素的最大值和最小值，可以包括如下步骤：
S20111，统计虚拟训练样本深度图中人脸区域处的像素分布直方图；在一具体应用实例中，直方图中每个格子的宽度为10像素；
S20112，从像素分布直方图中的一侧端点处开始标记，记第一个格子的中心像素值为b0，第二个格子的中心像素值为b1，以此类推，最后一个格子的中心像素值为bn-1；
S20113，若bi+1-bi＞bt，则舍弃掉中心像素值为bi+1的格子，其中i为直方图中格子的索引，bt为设定的阈值，在一具体应用实例中，该阈设值为100，该阈值是经过大量试验得出的经验值；
S20114，重复S20113，遍历整个直方图，得到一个新的子直方图，以子直方图中一侧格子的中心值作为整个人脸区域像素的最小值，以子直方图另一侧格子的中心值作为整个人脸区域像素的最大值。
在该实施例的S2012中，作为一优选实施例，依次提取虚拟训练样本中人脸区域的每一个像素值，可以按照从左往右、从上往下的顺序依次提取每个像素。
在该实施例的S2013中，作为一优选实施例，根据提取的人脸区域像素的最大值和最小值和人脸区域的每一个像素值，得到映射后的像素值，可以包括如下步骤：
将人脸区域像素的最大值和最小值和人脸区域的每一个像素值，代入下式：
得到映射后的范围在0到255区间的像素值；
其中，xmin,xmax分别为人脸区域像素的最小值和最大值，xi为人脸区域的像素值，yi为映射后的像素值。
在该实施例的S202中，作为一优选实施例，对转换后的图像进行像素填充，可以包括如下步骤：
S2021，对于转换后的图像，依次获取每个映射后的像素点；
S2022，对于映射后的像素点的像素值，若该像素值等于0，则以该对应像素点周围8个像素点的均值作为该点的像素值；
S2023，遍历所有映射后的的像素点，直到所有像素点的像素值均不为0，完成对转换后的图像进行像素填充。
在该实施例的S2021中，作为一优选实施例，按照从左到右、从上到下的顺序依次获取每个映射后的像素点。
在该实施例的S300中，作为一优选实施例，采用卷积神经网络，对人脸图像进行特征提取和分类，构建活体防伪模型。
本发明上述实施例提供的基于人脸三维信息的活体防伪方法，首先基于获得的人脸深度图做数据增强，得到不同角度下的人脸深度图，以扩充样本数据集；然后，对样本进行预处理，使其可以满足一般条件下图像处理的基本要求；提取特征并训练活体防伪模型(分类器)，使其可以准确判断提取的正负样本特征，并实现对输入的人脸深度图的活体防伪分类。
图2为本发明一优选实施例中基于人脸三维信息的活体防伪方法流程图。
如图2所示，为该优选实施例提供的基于人脸三维信息的活体防伪方法，整个流程分为两个阶段：训练阶段和测试阶段。其中，训练阶段得到的活体防伪模型被应用于测试阶段。
该优选实施例提供的基于人脸三维信息的活体防伪方法，可以包括如下步骤：
在训练阶段：
利用人脸深度图，生成虚拟训练样本，构建虚拟训练样本集；
对样本集中的虚拟训练样本进行预处理，得到人脸图像，构建人脸图像集；
对图像集中的人脸图像进行特征提取和分类，构建活体防伪模型；
在测试阶段：
对输入的待识别人脸深度图进行预处理，得到对应的人脸图像，并利用活体防伪模型，对得到的人脸图像进行特征提取和分类，进而得到输入的待识别人脸深度图的活体防伪分类。
在训练阶段，整个方法分为三个主要步骤：虚拟训练样本生成、预处理以及特征提取和分类。下面分别对这三个步骤进行详细介绍。
图2中，训练阶段的深度图为通过给定数据集或深度相机获取的人脸深度图生成的虚拟样本；测试阶段的深度图为现场采集的深度图。
一、虚拟训练样本生成
已知深度图中每个点的坐标为
该点的像素值为Zp，(XW,YW,ZW)为深度图对应的点云图的坐标，fx,fy分别为深度相机中x,y轴的归一化焦距，u0,v0分别为深度图中图像的中心点坐标，factor为尺度因子，则可由深度图得到其对应的点云图，如下式(1)所示。
对于点云(XW,YW,ZW)，将其进行空间三个轴任意角度的旋转，设旋转矩阵为R3*3，则可得到旋转后的点云(X′W,Y′W,Z′W)：
得到任意角度的旋转点云后，通过式(1)的逆向过程将其投影回二维平面，得到原图对应的旋转后的任意角度的虚拟二维图像。
通过虚拟训练样本的生成过程，可以极大的扩充样本数据集，而且通过此种方式生成的虚拟训练样本接近真实环境下采集的样本，一方面节省了采集样本过程消耗的人力，另一方面可以丰富样本中人脸姿态的多样性，使得算法在实际应用过程中的可适用性更强。
二、预处理
对于深度图而言，其保存的图像数据为16位的无符号整型数据类型，而对于一般的图像数据而言，其数据格式为8位的无符号整型数据类型。因此，需要先将获取的16位深度图转换为8位图像，在部分实施例中，使用线性变换实现这一转换。
线性变换是将原图中范围为[xmin,xmax]的像素映射到新的范围[ymin,ymax]中，其中xmin,xmax分别为原图中像素的最小值和最大值，ymin,ymax分别为映射后的最小值和最大值，设原图中的某一像素为xi，其对应的映射后的新像素的值为yi，则有：
对于映射后的图像而言，设其最小值为0，最大值为255，即：
ymin＝0,ymax＝255，将其代入(3)式中，可得：
在式(4)中，只有映射后的像素值yi为未知值，而xi作为自变量是已知值，因此需要确认xmin,xmax的值。
在深度图中，由于背景的存在，各图像中图像深度值的分布不统一，即每个图像的像素分布都与其他图像不一样，使得不能直接对每个图像使用式(4)来直接映射，因此只对人脸区域做式(4)中的映射，即就是求取深度图中人脸区域像素的最大值和最小值，然后将深度图中人脸区域的像素值通过式(4)进行一一映射，得到映射后的人脸图像。
对于深度图中人脸区域的最大值和最小值，存在着如下情况：
(1)深度图中人脸区域的最大值和最小值应该和人脸中其他区域的深度像素在值上处于同一个量级。若人脸处的深度值存在着噪声，而噪声点处的值一般很大或者很小，如果选取噪声点作为最大值或最小值，则映射后的值不能反映原始深度图中人脸深度值的真实分布。
(2)深度图中人脸区域的最大值和最小值应该差距很小。在截取人脸区域时，一般情况下截取的都是包含人脸的矩形，而人脸在形体上是接近椭圆的，这样的话截取的人脸矩形会将背景区域包含进来，背景区域的深度值和人脸区域的深度值在范围上差距很大，若将背景区域的深度值作为最大值或最小值，则映射后的值不能反映原始深度图中人脸深度值的真实分布；
(3)若人脸处存在着遮挡物体，遮挡物体的深度值和人脸区域的深度值差距较大，若将遮挡物体的深度值作为最大值或最小值，则映射后的值不能反映原始深度图中人脸深度值的真实分布。
因此，应该准确找到人脸区域的最大值和最小值，从而可以将原深度图中的深度值准确无误的映射到新的图像，映射的图像可以形象的反映原深度图中人脸区域的深度像素分布。
为此，采用如下方法求取虚拟训练样本中人脸区域像素的最大值和最小值，包括：
步骤1，统计深度图中人脸区域处的像素分布直方图，直方图中每个格子的宽度为10像素；
步骤2，从像素分布直方图中的左端点处开始标记，记第一个格子的中心像素值为b0,第二个格子的中心像素值为b1，以此类推，最后一个格子的中心像素值为bn-1；
步骤3，若bi+1-bi＞bt，则舍弃掉中心像素值为bi+1的格子，其中i为直方图中格子的索引，bt为设定的阈值，值为100像素，该值是经过试验上千张图像得出的经验值；
步骤4，按照步骤3的过程遍历完整个直方图后，将得到一个新的直方图，称之为子直方图，以子直方图中最左边格子的中心值作为整个人脸区域的最小深度值，以子直方图最右边格子的中心值作为整个人脸区域的最大深度值。
至此，将得到深度图中整个人脸区域的最小深度值xmin和最大深度值xmax，将其代入式(4)，并按照如下过程执行得到映射后的人脸图像：
第1步，对于深度图中的人脸区域，按照从左往右，从上往下的顺序依次取每个像素xi；
第2步，将取得的每个像素xi代入式(4)中，得到映射后的范围在0到255区间的像素值；
第3步，遍历完整个人脸区域后，可得到映射后的人脸图像。
在得到映射后的人脸图像后，人脸图像中会存在少许空洞，这些空洞处的像素值为0，原因是深度图的生成过程会存在部分区域的深度值缺失。因此，需要对这些少许空洞进行填充。因为人脸区域的深度值在空间区域有着连续性的特点，这一特点在映射为0到255的像素值后依旧保留，因此可以使用人脸区域像素值连续性这一特点实现对空洞区域的填充，具体的填充流程如下：
第一步，对于人脸图像，按照从左到右、从上到下的顺序依次遍历每个像素yi；
第二步，对于像素点yi，若yi＝0，则以该像素点周围8个像素点的均值作为该点的像素值；
第三步，直到遍历完所有的像素为止。
至此，可以得到填充后的人脸图像，该人脸图像中各像素的范围为0到255，可以当做一般的彩色图或灰度图来处理。得到人脸图像后，进行后续的提取特征和分类处理，完成最终的活体防伪工作。
三、特征提取和分类
对正负样本进行上述的虚拟训练样本生成和预处理后，可以得到人脸图像，使用深度卷积神经网络来进行人脸图像的特征提取和分类。此处，之所以选用卷积神经网络作为特征提取和分类器，是因为神经网络对于活体防伪有着如下的优势：
(1)特征提取和分类在一个网络里，只需要设计好网络，将预处理好的正负样本人脸图像送入网络中，就可以实现端到端的分类工作。减少了由于手动提取特征带来的提取特征不有效的问题，以及训练传统分类器像SVM带来的手动调参问题；
(2)使用卷积神经网络提取的特征相对于传统的特征提取器更具判别性，在实验过程中发现，对于大姿态下的样本，例如人脸在45度左右的样本，卷积神经网络提取的特征更具判别性，分类结果更好。这是因为，对于大姿态样本，传统的特征提取器很难提取到区分正负样本之间的特征，并且对于同类样本而言，正常姿态下的样本和大姿态下样本的特征差距很大，传统的特征不能有效的对于这两种姿态下的特征进行有效的统一表示。
本发明另一实施例提供了一种基于人脸三维信息的活体防伪系统，如图3所示，包括：虚拟训练样本生成模块、预处理模块和活体防伪模型模块；其中：
虚拟训练样本生成模块，该模块利用人脸深度图，生成虚拟训练样本，构建虚拟训练样本集；
预处理模块，该模块对虚拟训练样本进行预处理，获得训练人脸图像，或对输入的待识别人脸深度图进行预处理，得到测试人脸图像；
活体防伪模型模块，该模块对训练人脸图像进行特征提取和分类，构建活体防伪模型，并将测试人脸图像作为活体防伪模型的输入，得到输入的人脸深度图的活体防伪分类。
本发明第三个实施例提供了一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时可用于执行本发明上述实施例中任一项的方法。
可选地，存储器，用于存储程序；存储器，可以包括易失性存储器(英文：volatilememory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)，如静态随机存取存储器(英文：static random-access memory，缩写：SRAM)，双倍数据率同步动态随机存取存储器(英文：Double Data Rate Synchronous Dynamic Random Access Memory，缩写：DDR SDRAM)等；存储器也可以包括非易失性存储器(英文：non-volat ile memory)，例如快闪存储器(英文：flash memory)。存储器用于存储计算机程序(如实现上述方法的应用程序、功能模块等)、计算机指令等，上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指令、数据等可以被处理器调用。
上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指令、数据等可以被处理器调用。
处理器，用于执行存储器存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。具体可以参见前面方法实施例中的相关描述。
处理器和存储器可以是独立结构，也可以是集成在一起的集成结构。当处理器和存储器是独立结构时，存储器、处理器可以通过总线耦合连接。
本发明第四个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可用于执行本发明上述实施例中任一项的方法。
本发明上述实施例提供的基于人脸三维信息的活体防伪方法、系统、终端及介质，首先为了提升算法的性能和对于多场景的可适用性，基于人脸的三维信息进行虚拟训练样本的生成，扩充算法的训练样本集；其次，对得到的样本进行预处理，使得其更好的满足一般图像处理的通用性，并且对其中像素值为0的像素点进行了填充；最后，使用卷积神经网络实现对预处理样本的特征提取和分类工作，完成最终的活体防伪分类。本发明上述实施例提供的基于人脸三维信息的活体防伪方法、系统、终端及介质，能够实现对现阶段大多数场景的活体防伪工作，准确率高，实用性强；方法可执行性强，不需要用户额外的配合；方法准确率高，由于引入了人脸的三维信息，算法不易受到光照、人脸姿态等外部条件的影响；本发明上述实施例提供的基于人脸三维信息的活体防伪方法、系统、终端及介质，有效提升了方法的性能以及对多场景的可适用性，同时，更好地满足了一般图像处理的通用性。
需要说明的是，本发明提供的方法中的步骤，可以利用系统中对应的模块、装置、单元等予以实现，本领域技术人员可以参照方法的技术方案实现系统的组成，即，方法中的实施例可理解为构建系统的优选例，在此不予赘述。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。
Claims (12)
1.一种基于人脸三维信息的活体防伪方法，其特征在于，包括：
利用人脸深度图，生成虚拟训练样本；
对所述虚拟训练样本进行预处理，得到人脸图像；
对所述人脸图像进行特征提取和分类，构建活体防伪模型；
对输入的待识别人脸深度图进行预处理，得到对应的人脸图像，并利用所述活体防伪模型，对得到的人脸图像进行特征提取和分类，进而得到输入的待识别人脸深度图的活体防伪分类。
2.根据权利要求1所述的基于人脸三维信息的活体防伪方法，其特征在于，所述利用人脸深度图，生成虚拟训练样本，包括：
利用深度相机或给定数据集，获取人脸深度图；
根据获取的所述人脸深度图以及所述深度相机的参数，得到其对应的点云图；
对所述点云图中的每一个点云进行空间三个轴任意角度的旋转，得到任意角度的旋转点云；
对所述旋转点云逆向投影回二维平面，得到原人脸深度图对应的旋转后的任意角度的虚拟二维图像，作为虚拟训练样本。
3.根据权利要求1所述的基于人脸三维信息的活体防伪方法，其特征在于，对所述虚拟训练样本进行预处理，得到人脸图像，包括：
将所述虚拟训练样本由16位深度图转换为8位图像；
对转换后的图像进行像素填充，完成对所述虚拟训练样本的预处理，得到人脸图像。
4.根据权利要求3所述的基于人脸三维信息的活体防伪方法，其特征在于，采用线性变换，将所述虚拟训练样本由16位深度图转换为8位图像，包括：
求取所述虚拟训练样本中人脸区域像素的最大值和最小值；
依次提取所述虚拟训练样本中人脸区域的每一个像素值；
根据提取的人脸区域像素的最大值和最小值和人脸区域的每一个像素值，得到映射后的像素值；
遍历整个人脸区域，得到映射后的图像，完成对所述虚拟训练样本的图像转换。
5.根据权利要求4所述的基于人脸三维信息的活体防伪方法，其特征在于，所述求取虚拟训练样本中人脸区域像素的最大值和最小值，包括：
统计所述虚拟训练样本深度图中人脸区域处的像素分布直方图；
从所述像素分布直方图中的一侧端点处开始标记，记第一个格子的中心像素值为b0，第二个格子的中心像素值为b1，以此类推，最后一个格子的中心像素值为bn-1；
若bi+1-bi＞bt，则舍弃掉中心像素值为bi+1的格子；其中，i为直方图中格子的索引，bt为设定的阈值；重复该过程，遍历整个直方图，得到一个新的子直方图；
以所述子直方图中一侧格子的中心值作为整个人脸区域像素的最小值，以子直方图另一侧格子的中心值作为整个人脸区域像素的最大值。
6.根据权利要求4所述的基于人脸三维信息的活体防伪方法，其特征在于，所述依次提取虚拟训练样本中人脸区域的每一个像素值，按照从左往右、从上往下的顺序，依次提取每个像素。
7.根据权利要求4所述的基于人脸三维信息的活体防伪方法，其特征在于，所述根据提取的人脸区域像素的最大值和最小值和人脸区域的每一个像素值，得到映射后的像素值，包括：
将人脸区域像素的最大值和最小值和人脸区域的每一个像素值，代入下式：
得到映射后的范围在0到255区间的像素值；
其中，xmin,xmax分别为人脸区域像素的最小值和最大值，xi为人脸区域的像素值，yi为映射后的像素值。
8.根据权利要求3所述的基于人脸三维信息的活体防伪方法，其特征在于，所述对转换后的图像进行像素填充，包括：
对于转换后的图像，依次获取每个映射后的像素点；
对于映射后的像素点的像素值，若该像素值等于0，则以该对应像素点周围8个像素点的均值作为该点的像素值；
遍历所有映射后的的像素点，直到所有像素点的像素值均不为0，完成对转换后的图像进行像素填充。
9.根据权利要求1所述的基于人脸三维信息的活体防伪方法，其特征在于，采用卷积神经网络，对所述人脸图像进行特征提取和分类，构建活体防伪模型。
10.一种基于人脸三维信息的活体防伪系统，其特征在于，包括：
虚拟训练样本生成模块，该模块利用人脸深度图，生成虚拟训练样本；
预处理模块，该模块对所述虚拟训练样本进行预处理，获得训练人脸图像，或对输入的待识别人脸深度图进行预处理，得到测试人脸图像；
活体防伪模型模块，该模块对所述训练人脸图像进行特征提取和分类，构建活体防伪模型，并将测试人脸图像作为活体防伪模型的输入，得到输入的待识别人脸深度图的活体防伪分类。
11.一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行权利要求1-9中任一项所述的方法。
12.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可用于执行权利要求1-9中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110010961.0A CN112686191B (zh) | 2021-01-06 | 2021-01-06 | 基于人脸三维信息的活体防伪方法、系统、终端及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110010961.0A CN112686191B (zh) | 2021-01-06 | 2021-01-06 | 基于人脸三维信息的活体防伪方法、系统、终端及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112686191A true CN112686191A (zh) | 2021-04-20 |
| CN112686191B CN112686191B (zh) | 2024-05-03 |
Family
ID=75455828
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110010961.0A Active CN112686191B (zh) | 2021-01-06 | 2021-01-06 | 基于人脸三维信息的活体防伪方法、系统、终端及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112686191B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112990166A (zh) * | 2021-05-19 | 2021-06-18 | 北京远鉴信息技术有限公司 | 一种人脸真伪的识别方法、识别装置及电子设备 |
| CN113963425A (zh) * | 2021-12-22 | 2022-01-21 | 北京的卢深视科技有限公司 | 人脸活体检测系统的测试方法、装置及存储介质 |
| CN114092864A (zh) * | 2022-01-19 | 2022-02-25 | 湖南信达通信息技术有限公司 | 伪造视频的识别方法、装置、电子设备及计算机存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090135188A1 (en) * | 2007-11-26 | 2009-05-28 | Tsinghua University | Method and system of live detection based on physiological motion on human face |
| CN109086691A (zh) * | 2018-07-16 | 2018-12-25 | 阿里巴巴集团控股有限公司 | 一种三维脸部活体检测方法、脸部认证识别方法及装置 |
| CN110659617A (zh) * | 2019-09-26 | 2020-01-07 | 杭州艾芯智能科技有限公司 | 活体检测方法、装置、计算机设备和存储介质 |
| CN111382592A (zh) * | 2018-12-27 | 2020-07-07 | 杭州海康威视数字技术股份有限公司 | 活体检测方法和设备 |
| TW202038141A (zh) * | 2019-04-02 | 2020-10-16 | 緯創資通股份有限公司 | 活體偵測方法與活體偵測系統 |
| CN112036339A (zh) * | 2020-09-03 | 2020-12-04 | 福建库克智能科技有限公司 | 人脸检测的方法、装置和电子设备 |
-
2021
- 2021-01-06 CN CN202110010961.0A patent/CN112686191B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090135188A1 (en) * | 2007-11-26 | 2009-05-28 | Tsinghua University | Method and system of live detection based on physiological motion on human face |
| CN109086691A (zh) * | 2018-07-16 | 2018-12-25 | 阿里巴巴集团控股有限公司 | 一种三维脸部活体检测方法、脸部认证识别方法及装置 |
| CN111382592A (zh) * | 2018-12-27 | 2020-07-07 | 杭州海康威视数字技术股份有限公司 | 活体检测方法和设备 |
| TW202038141A (zh) * | 2019-04-02 | 2020-10-16 | 緯創資通股份有限公司 | 活體偵測方法與活體偵測系統 |
| CN110659617A (zh) * | 2019-09-26 | 2020-01-07 | 杭州艾芯智能科技有限公司 | 活体检测方法、装置、计算机设备和存储介质 |
| CN112036339A (zh) * | 2020-09-03 | 2020-12-04 | 福建库克智能科技有限公司 | 人脸检测的方法、装置和电子设备 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112990166A (zh) * | 2021-05-19 | 2021-06-18 | 北京远鉴信息技术有限公司 | 一种人脸真伪的识别方法、识别装置及电子设备 |
| CN113963425A (zh) * | 2021-12-22 | 2022-01-21 | 北京的卢深视科技有限公司 | 人脸活体检测系统的测试方法、装置及存储介质 |
| CN113963425B (zh) * | 2021-12-22 | 2022-03-25 | 北京的卢深视科技有限公司 | 人脸活体检测系统的测试方法、装置及存储介质 |
| CN114092864A (zh) * | 2022-01-19 | 2022-02-25 | 湖南信达通信息技术有限公司 | 伪造视频的识别方法、装置、电子设备及计算机存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112686191B (zh) | 2024-05-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108985134B (zh) | 基于双目摄像机的人脸活体检测及刷脸交易方法及系统 | |
| CN105956578B (zh) | 一种基于身份证件信息的人脸验证方法 | |
| CN105740780B (zh) | 人脸活体检测的方法和装置 | |
| CN112686191A (zh) | 基于人脸三维信息的活体防伪方法、系统、终端及介质 | |
| CN105740779B (zh) | 人脸活体检测的方法和装置 | |
| WO2015149534A1 (zh) | 基于Gabor二值模式的人脸识别方法及装置 | |
| CN107423690A (zh) | 一种人脸识别方法及装置 | |
| Zhao et al. | Fingerprint image synthesis based on statistical feature models | |
| Alheeti | Biometric iris recognition based on hybrid technique | |
| US20200026941A1 (en) | Perspective distortion characteristic based facial image authentication method and storage and processing device thereof | |
| CN108124486A (zh) | 基于云端的人脸活体检测方法、电子设备和程序产品 | |
| US11238271B2 (en) | Detecting artificial facial images using facial landmarks | |
| Wang et al. | Hand vein recognition based on multiple keypoints sets | |
| CN111126240B (zh) | 一种三通道特征融合人脸识别方法 | |
| US20230206700A1 (en) | Biometric facial recognition and liveness detector using ai computer vision | |
| Galdámez et al. | Ear recognition using a hybrid approach based on neural networks | |
| CN115240280A (zh) | 人脸活体检测分类模型的构建方法、检测分类方法及装置 | |
| Choras | Multimodal biometrics for person authentication | |
| CN114067402A (zh) | 基于中心差分卷积和感受野特征融合的人脸活体检测 | |
| Bharadi et al. | Multi-instance iris recognition | |
| CN107025435A (zh) | 一种人脸识别处理方法和系统 | |
| Smiatacz | Normalization of face illumination using basic knowledge and information extracted from a single image | |
| CN107220612B (zh) | 以关键点局部邻域的高频分析为核心的模糊人脸判别方法 | |
| CN116229528A (zh) | 一种活体掌静脉检测方法、装置、设备及存储介质 | |
| Hussain et al. | Face recognition using multiscale and spatially enhanced weber law descriptor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |