CN111767900A - 人脸活体检测方法、装置、计算机设备及存储介质 - Google Patents
人脸活体检测方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN111767900A CN111767900A CN202010737103.1A CN202010737103A CN111767900A CN 111767900 A CN111767900 A CN 111767900A CN 202010737103 A CN202010737103 A CN 202010737103A CN 111767900 A CN111767900 A CN 111767900A
- Authority
- CN
- China
- Prior art keywords
- living body
- feature
- class
- face
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 111
- 239000013598 vector Substances 0.000 claims abstract description 468
- 238000000605 extraction Methods 0.000 claims abstract description 137
- 238000012549 training Methods 0.000 claims abstract description 111
- 238000000034 method Methods 0.000 claims abstract description 79
- 241000282414 Homo sapiens Species 0.000 claims abstract description 73
- 238000012545 processing Methods 0.000 claims abstract description 58
- 230000008569 process Effects 0.000 claims description 31
- 230000015654 memory Effects 0.000 claims description 14
- 238000001727 in vivo Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000007123 defense Effects 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000007639 printing Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 210000001331 nose Anatomy 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000004821 distillation Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000000741 silica gel Substances 0.000 description 1
- 229910002027 silica gel Inorganic materials 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供了一种人脸活体检测方法、装置、计算机设备及存储介质,其中方法包括:获取拍摄设备采集到的人脸图像;将所述人脸图像输入至结合度量学习器训练得到的特征提取网络中进行处理,得到第一特征向量;将所述第一特征向量输入至结合分类学习器训练得到的特征分类网络中进行处理,得到第二特征向量和活体预测值;根据所述第二特征向量、所述活体预测值以及活体类特征向量的类内中心位置确定所述人脸图像的活体检测结果。通过本申请实施例可以有效提高人脸活体检测的准确性。
Description
技术领域
本申请涉及人工智能技术领域,尤其涉及一种人脸活体检测方法、一种人脸活体检测装置、一种计算机设备及计算机可读存储介质。
背景技术
随着人工智能技术的发展,尤其是生物识别技术的发展,人脸识别技术已广泛应用于人们的日常生活中,例如可以应用于过闸、支付、核身等场景下。在人脸识别技术的各种应用场景下,基于人脸图像的计算机视觉任务会遭遇各种各样的“攻击”。新型攻击层出不穷,常见的攻击方式有各种打印照片(包括彩色打印照片、黑白打印照片、红外打印照片等)攻击、屏幕(包括手机屏幕、平板屏幕、电脑屏幕等)播放攻击和高清3D(包括各种材质的面具、头部模型、头套面具等)攻击,等等。针对这些攻击类型,传统的基于人工特征提取或简单特征分类的人脸活体检测方法往往难以进行准确的人脸活体检测,这会导致人脸识别系统不能进行有效的防御。
发明内容
本申请实施例提供了一种人脸活体检测方法及相关设备,可以有效提高人脸活体检测的准确性。
一方面,本申请实施例提供了一种人脸活体检测方法,所述方法包括:
获取拍摄设备采集到的人脸图像;
将所述人脸图像输入至特征提取网络中进行处理,得到第一特征向量;
将所述第一特征向量输入至特征分类网络中进行处理,得到第二特征向量和活体预测值,其中,所述第二特征向量与目标向量区域的区域中心的距离小于所述第一特征向量与所述区域中心的距离,所述目标向量区域为所述人脸图像所属预测图像类别所对应的特征向量区域;
根据所述第二特征向量、所述活体预测值以及活体类特征向量的类内中心位置确定所述人脸图像的活体检测结果。
一方面,本申请实施例提供了一种人脸活体检测装置,所述装置包括:
获取单元,用于获取拍摄设备采集到的人脸图像;
处理单元,用于将所述人脸图像输入至特征提取网络中进行处理,得到第一特征向量;
所述处理单元,还用于将所述第一特征向量输入至特征分类网络中进行处理,得到第二特征向量和活体预测值,其中,所述第二特征向量与目标向量区域的区域中心的距离小于所述第一特征向量与所述区域中心的距离,所述目标向量区域为所述人脸图像所属预测图像类别所对应的特征向量区域;
确定单元,用于根据所述第二特征向量、所述活体预测值以及活体类特征向量的类内中心位置确定所述人脸图像的活体检测结果。
在一实施例中,所述确定单元,具体用于:
检测所述活体预测值是否大于或等于参考数值,并检测所述第二特征向量与活体类特征向量的类内中心位置之间的距离是否小于或等于目标距离阈值;
当所述活体预测值大于或等于所述参考数值,且所述第二特征向量与所述活体类特征向量的类内中心位置之间的距离小于或等于目标距离阈值时,确定所述人脸图像为活体人脸图像。
在一实施例中,所述获取单元,还用于获取样本人脸图像集合,所述样本人脸图像集合包括多张活体人脸图像以及多张非活体人脸图像;
所述装置还包括训练单元,用于:
利用所述样本人脸图像集合对初始特征提取网络进行训练;获取在对初始特征提取网络进行训练的过程中生成的第一向量集合,其中,所述第一向量集合包括所述多张活体人脸图像对应的多个活体类特征向量、以及所述多张非活体人脸图像对应的多个非活体类特征向量;根据所述第一向量集合,结合度量学习器对初始特征提取网络进行训练,得到训练后的特征提取网络。
在一实施例中,所述训练单元,具体用于:
利用度量学习器计算所述多个活体类特征向量的类内距离、以及计算所述多个活体类特征向量与所述多个非活体类特征向量之间的类间距离;根据所述类内距离和所述类间距离对初始特征提取网络进行训练,得到训练后的特征提取网络;其中,经过训练后的特征提取网络处理得到的多个活体类特征向量的类内距离满足第一距离条件,处理得到的多个非活体类特征向量和多个活体类特征向量之间的类间距离满足第二距离条件。
在一实施例中,所述训练单元,具体用于:
将所述样本人脸图像集合中的各张活体人脸图像和各张非活体人脸图像缩放至参考尺寸;利用缩放至所述参考尺寸的多张活体人脸图像和多张非活体人脸图像对初始特征提取网络进行训练。
在一实施例中,所述训练单元,还用于:
获取训练后的特征提取网络针对所述样本人脸图像集合进行处理后输出的多个活体类特征向量和多个非活体类特征向量;利用训练后的特征提取网络输出的多个活体类特征向量和多个非活体类特征向量,对初始特征分类网络进行训练;获取在对初始特征分类网络进行训练的过程中生成的第二向量集合,其中,所述第二向量集合包括经过初始特征分类网络处理后的多个活体类特征向量和多个非活体类特征向量;根据所述第二向量集合,结合分类学习器对初始特征分类网络进行训练,得到训练后的特征分类网络。
在一实施例中,所述训练单元,具体用于:利用分类学习器计算所述经过初始特征分类网络处理后的多个活体类特征向量的类内距离,以及计算所述经过初始特征分类网络处理后的多个非活体类特征向量的类内距离;根据计算得到的类内距离对初始特征分类网络进行训练,得到训练后的特征分类网络;其中,经过训练后的特征分类网络处理后的多个活体类特征向量的类内距离满足第三距离条件,经过训练后的特征分类网络处理后的多个非活体类特征向量的类内距离满足第四距离条件。
在一实施例中,所述训练单元,还用于:利用分类学习器对经过训练后的特征分类网络处理后的多个活体类特征向量进行计算,得到活体类特征向量的类内中心位置。
在一实施例中,所述获取单元,具体用于:
获取拍摄设备采集到的待处理图像;针对所述待处理图像进行人脸检测,得到人脸检测结果;当所述人脸检测结果指示所述待处理图像中存在人脸时,获取人脸关键点信息,并根据所述人脸关键点信息从所述待处理图像中获取人脸图像。
在一实施例中,所述获取单元,具体用于:
根据所述人脸关键点信息在所述待处理图像中确定第一图像区域;根据所述第一图像区域和区域扩大倍数确定第二图像区域,并根据所述第二图像区域从所述待处理图像中获取人脸图像;将获取到的人脸图像缩放至参考尺寸。
在一实施例中,所述拍摄设备包括多个摄像头,所述获取单元,具体用于:获取各个摄像头采集到的人脸图像;所述处理单元,具体用于:将所述各个摄像头采集到的人脸图像输入至特征提取网络中进行处理,得到第一特征向量。
一方面,本申请实施例提供了一种计算机设备,包括:处理器和存储器,所述存储器存储有可执行程序代码,所述处理器用于调用所述可执行程序代码,执行上述人脸活体检测方法。
相应地,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述人脸活体检测方法。
相应地,本申请实施例还提供了一种计算机程序产品或计算机程序,所述计算机程序产品或计算机程序包括计算机指令,所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令,所述处理器执行所述计算机指令,使得所述计算机设备执行上述人脸活体检测方法。
本申请实施例通过将人脸图像输入至结合度量学习器训练得到的特征提取网络中进行处理,得到第一特征向量;将第一特征向量输入至结合分类学习器训练得到的特征分类网络中进行处理,得到第二特征向量和活体预测值;根据第二特征向量、活体预测值以及活体类特征向量的类内中心位置确定人脸图像的活体检测结果;从而可以有效提高人脸活体检测的准确性,这有利于人脸识别系统进行有效的防御,提高安全性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种活体检测系统的的架构示意图;
图2是本申请实施例提供的另一种活体检测系统的的架构示意图;
图3是本申请实施例提供的一种人脸活体检测方法的流程示意图;
图4示出了提取人脸图像的方式;
图5是本申请实施例提供的一种特征提取网络的架构示意图;
图6a是本申请实施例提供的一种特征分类网络的架构示意图;
图6b是本申请实施例提供的另一种特征分类网络的架构示意图;
图7是本申请实施例提供的一种网络训练方法的流程示意图;
图8示出了结合度量学习器对特征提取网络进行训练的方式;
图9示出了结合分类学习器对特征分类网络进行训练的方式;
图10是本申请实施例提供的一种人脸活体检测装置的结构示意图;
图11是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
针对各种打印照片攻击、屏幕播放攻击和高清3D攻击等攻击类型,传统的基于人工特征提取或简单特征分类的人脸活体检测方法往往难以进行准确的人脸活体检测,这会导致人脸识别系统不能进行有效的防御。特别是受到未知介质“攻击”时非常容易失败,例如,基于以简单分类为目标的特征提取方法在遇到未知材质、形态的纸片和面具时通常会陷入困境。
在人脸活体检测的研究中,人脸活体检测问题可以被当作一个二分类或多分类的问题,即判断拍摄设备(或者说摄像头)抓取到的人脸为活体人脸(或者说真人)还是非活体人脸(或者说攻击);在多分类的情况下,还可以具体地判断为何种类型的攻击。
人脸活体检测方法可以由特征提取和特征分类两部分组成。人脸活体检测方法可以通过提取人工设计的局部二值模式(local binary pattern)等特征,再将提取出的特征送入支持向量机(support vector machine)进行真人与攻击的分类。随着深度学习的发展,卷积神经网络优异的特征提取能力被挖掘,人脸活体检测方法也可以通过卷积神经网络来提取特征,再利用多层感知机(multi-layer perceptron,MLP)对提取出的特征进行高精度分类。
如果人脸活体检测方法使用人工设计的局部二值模式等特征,会受限于人为的设计经验,基于此类特征的人脸活体检测方法在遇到不能以该模式区分的样本时通常会失效,样本分类效果不好,即人脸活体检测结果的准确性低。基于深度学习的人脸活体检测方法具备强大、灵活的特征提取能力,但也存在一些缺陷。
首先,以深度学习为代表的机器学习算法都是数据驱动的学习方法,对于与训练集同源、同分布的测试集,深度学习方法通常能达到很高的分类精度,这受益于它强大的特征提取能力;但是,对于与训练集差异较大的非同源、非同分布的测试集,深度学习方法的预测充满了不确定性,在人脸活体检测方面,该不确定就体现在对层出不穷的未知介质类型攻击检测的不确定性,这极大地限制了该方法的拓展性。其次,如果对神经网络仅使用交叉熵损失来监督学习,则容易产生过拟合的问题,即神经网络对训练集的样本分类效果很好,但对测试集的样本分类效果不好,这会阻碍该方法的通用化。其中,机器学习(MachineLearning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
为解决上述问题,本申请实施例提出了一种新的人脸活体检测方法,以特征提取和特征分类两级神经网络为主要框架,引入度量学习器和分类学习器对网络进行训练。在基于分类的交叉熵损失的基础上,通过度量学习器和分类学习器增强特征的表达能力以及增强真人与攻击的分类能力。具体地,度量学习器约束真人(即活体类特征向量)与攻击(即非活体类特征向量)的特征分布,使真人与攻击各自的类内分布“紧凑”,同时使真人与攻击的类间分布尽量“远离”,以此增加网络的泛化性能、对未知类型样本有较好的适应能力。分类学习器进一步约束真人与攻击的特征分布,使真人与攻击各自的类内分布更“紧凑”;分类学习器还进一步地建模真人的概率分布,从而构建更好的正常样本与异常样本分界面,以此增强对未知异常样本的检测能力。采用本申请实施例提供的人脸活体检测方法,可以避免在非同源数据集上预测结果不确定性和网络过拟合的问题,从而有效提高人脸活体检测的准确性。
下面先对本申请实施例提供的人脸活体检测方法所适用的系统架构进行介绍。如图1所示,所述系统包括计算机设备10和拍摄设备11,计算机设备10和拍摄设备11独立存在,但两者之间建立有通信连接。或者,如图2所示,所述系统包括计算机设备10和拍摄设备11,拍摄设备11配置在计算机设备10上。
拍摄设备11可以是单目或者多目相机。相机可以是彩色相机、红外相机、深度相机,等等;也可以是彩色相机、红外相机、深度相机等相机中的两种或者两种以上的组合。拍摄设备11用于针对环境中的拍摄对象12进行拍摄,以采集人脸图像;然后将采集到的图像发送给计算机设备10。计算机设备10针对拍摄设备11采集到图像进行人脸识别以及人脸活体检测,以得到检测结果。其中,计算机设备10可以是终端或者服务器。服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。
请参阅图3,为本申请实施例提供的一种人脸活体检测方法的流程示意图。本申请实施例中所描述的人脸活体检测方法由如图1或图2所示的计算机设备执行,所述方法包括但不限于如下步骤:
S301、获取拍摄设备采集到的人脸图像。
本申请实施例中,计算机设备获取拍摄设备针对环境中的拍摄对象进行拍摄所采集到的待处理图像,并针对该待处理图像进行人脸检测,得到人脸检测结果。当人脸检测结果指示待处理图像中不存在人脸时,直接返回人脸活体检测失败的提示信息;并且可以返回人脸活体检测失败的原因,如待处理图像中不存在人脸等。当人脸检测结果指示待处理图像中存在人脸时,计算机设备从待处理图像获取人脸图像。
在一实施方式中,计算机设备获取待处理图像中的人脸关键点信息,人脸关键点信息包括人脸各个关键点的坐标信息;人脸关键点可以是基于人脸包括的五官(眉、目、鼻、口、耳)所确定的。然后根据获取到的人脸关键点信息从待处理图像中提取包括人脸在内的图像区域,从而得到人脸图像,提取出的人脸图像为待处理图像中的部分图像,且包括人脸在内;在获取到人脸图像之后,计算机设备可以将获取到的人脸图像缩放至参考尺寸。具体地,计算机设备根据人脸关键点信息在待处理图像中确定第一图像区域,并根据第一图像区域和预设的区域扩大倍数确定第二图像区域;然后根据第二图像区域从待处理图像中获取人脸图像,并将获取到的人脸图像缩放至参考尺寸。
例如,如图4所示,从待处理图像中提取人脸5个关键点41的坐标信息,该5个关键点41如图4中的黑圆点所示,包括左瞳孔、右瞳孔、鼻尖、左嘴角和右嘴角。根据人脸5个关键点41的坐标信息确定一个包括该5个关键点在内的最小外接矩形42,并将最小外接矩形42扩大特定倍数(如2.1倍)得到参考矩形43,即最小外接矩形42所对应的图像区域为第一图像区域,参考矩形43所对应的图像区域为第二图像区域;获取待处理图像中参考矩形43所对应的图像区域,从而得到人脸图像。最后将人脸图像缩放至特定尺寸(如112px*112px,)如此便得到了人脸活体检测所需的人脸图像,如图4中右图所示。在可行的实施方式中,将最小外接矩形42扩大特定倍数的同时,保持各个方向上的扩大比例一致,从而得到参考矩形43。
S302、将所述人脸图像输入至特征提取网络中进行处理,得到第一特征向量。其中,所述特征提取网络是结合度量学习器训练得到的。
本申请实施例中,度量学习器是采用度量学习(Metric Learning)算法的网络结构,度量学习算法是一种应用于人脸识别中的机器学习方法。度量学习内容包括:根据不同的任务来自主学习出针对某个特定任务的度量距离函数;通过计算两张图像之间的相似度,使得输入图像被归入到相似度大的图像类别中去。结合度量学习器训练得到的特征提取网络针对输入的人脸图像所提取出的第一特征向量,处于该人脸图像所属的真实图像类别所对应的向量区域内的概率较大,这有利于后续更好的分类。
在一实施例中,特征提取网络为神经网络,特征提取网络通过多个卷积层提取输入的人脸图像的图像特征,得到第一特征向量。特征提取网络的主干部分可以使用深度卷积网络,如VGG、GoogLeNet、ResNet等网络结构。
在可行的实施方式中,如图5所示,特征提取网络的结构可以为:串联若干残差块,每一个残差块中包含两组(或者两组以上)计算单元,每一组计算单元又由卷积层Conv、批归一化层BN、非线性激活函数ReLU等组成。采用此网络结构,可以加速特征提取网络的收敛和提升特征提取网络的性能。
S303、将所述第一特征向量输入至特征分类网络中进行处理,得到第二特征向量和活体预测值,其中,所述第二特征向量与目标向量区域的区域中心的距离小于所述第一特征向量与所述区域中心的距离,所述目标向量区域为所述人脸图像所属预测图像类别所对应的特征向量区域;所述特征分类网络是结合分类学习器训练得到的。
本申请实施例中,所述分类学习器可以是包括单分类学习器的功能的分类学习器。单分类学习器是采用单分类学习(one-class learning)算法的网络结构,单分类学习算法是机器学习中一种特殊的分类算法,通过构造描述模型将正类与未知的负类进行有效区分。如果第一特征向量为针对活体人脸图像提取出的特征向量,则结合所述分类学习器训练得到的特征分类网络针对输入的第一特征向量处理得到的第二特征向量,大概率处于活体类特征向量的向量区域内,或者说大概率距离活体类特征向量的类内中心位置较近。反之,如果第一特征向量为针对非活体人脸图像(或者说攻击人脸图像)提取出的特征向量,则结合所述分类学习器训练得到的特征分类网络针对输入的第一特征向量处理得到的第二特征向量,大概率处于活体类特征向量的向量区域外,或者说大概率距离活体类特征向量的类内中心位置较远。这有利于后续对输入的人脸图像进行精准分类。
另外,结合所述分类学习器训练得到的特征分类网络针对输入的第一特征向量处理得到的第二特征向量,相对所述第一特征向量距离该人脸图像所属预测图像类别所对应的特征向量区域中心更近。这也有利于后续对输入的人脸图像进行精准分类。
本申请实施例中,所述活体预测值用于指示所述人脸图像为活体人脸图像的概率。所述活体预测值可以是基于第一特征向量、第二特征向量中的至少一种以及活体判定参数确定的。活体判定参数是在结合分类学习器训练所述特征分类网络的过程中利用所述分类学习器计算得到的,包括活体类特征向量的类内中心位置、活体类特征向量的向量区域的边界信息,等。活体类特征向量也即是活体人脸图像经过特征提取网络和特征分类网络处理后得到的特征向量。
在一实施方式中,根据第一特征向量以及活体判定参数,确定第一特征向量所对应的第一活体值,以及根据第二特征向量以及活体判定参数,确定第二特征向量所对应的第二活体值。其中,活体值用于指示所述人脸图像为活体人脸图像的概率。特征向量距离活体类特征向量的类内中心位置越近,则活体值越高;并且如果特征向量处于活体类特征向量的向量区域内,则活体值更高,例如检测到处于该向量区域内时,将活体值加上一特定数值。然后基于第一特征向量所对应的预设权重、第二特征向量所对应的预设权重、第一活体值以及第二活体值计算所述人脸图像所对应的最终活体预测值。需要说明的是,也可以只根据第一特征向量所对应的预设权重以及第一活体值计算所述人脸图像所对应的最终活体预测值;或者只根据第二特征向量所对应的预设权重以及第二活体值计算所述人脸图像所对应的最终活体预测值。
在一实施例中,特征分类网络为神经网络,包括多层全连接层。如图6a所示,特征分类网络的输入为特征提取网络输出的第一特征向量;特征分类网络通过一个或者多个全连接层对输入的第一特征向量进行处理,得到第二特征向量;并通过一个或者多个全连接层对第二特征向量进行处理,得到活体预测值。活体预测值可以是人脸图像所对应的活体分数值,分数值越高,表明人脸图像为活体人脸图像的概率越大,即拍摄设备大概率是针对真人所采集的人脸图像。
在可行的实施方式中,特征分类网络可以由多层感知机(Multi-LayerPerceptron,MLP)组成,感知机的结构由全连接层组成。如图6b所示,为保证计算速率,特征分类网络可以通过一层感知机对输入的第一特征向量进行处理,得到第二特征向量;并通过一层感知机对第二特征向量进行处理,得到活体预测值。
需要说明的是,特征提取网络与特征分类网络可以是两个独立存在的网络结构。也可以将特征提取网络的输出与特征分类网络的输入连接,从而将特征提取网络和特征分类网络组成一个人脸活体检测模型,特征提取网络和特征分类网络分别为该人脸活体检测模型的两级网络。
S304、根据所述第二特征向量、所述活体预测值以及活体类特征向量的类内中心位置确定所述人脸图像的活体检测结果。
本申请实施例中,所述活体类特征向量的类内中心位置是在结合分类学习器训练所述特征分类网络的过程中利用所述分类学习器计算得到的。活体检测结果用于指示该人脸图像为活体人脸图像,还是为非活体人脸图像。
具体地,计算机设备检测第二特征向量与所述活体类特征向量的类内中心位置之间的距离是否小于或等于目标距离阈值,以及检测活体预测值是否大于或等于参考数值;当第二特征向量与所述活体类特征向量的类内中心位置之间的距离小于或等于目标距离阈值,并且活体预测值大于或等于参考数值时,确定该人脸图像为活体人脸图像。当该人脸图像为活体人脸图像时,表明拍摄设备是针对环境中的真人所采集的人脸图像。反之,当所述第二特征向量与所述活体类特征向量的类内中心位置之间的距离大于目标距离阈值,或者,活体预测值小于参考数值时,确定该人脸图像为非活体人脸图像。当该人脸图像为非活体人脸图像时,表明拍摄设备不是针对环境中的真人所采集的人脸图像,拍摄设备所采集到的人脸图像为攻击人脸图像。
其中,目标距离阈值可以是根据活体类特征向量的类内中心位置以及活体类特征向量的向量区域的边界信息确定的。例如,将活体类特征向量的类内中心位置与活体类特征向量的向量区域的边界之间的最短距离或者平均距离确定为目标距离阈值。
在可行的实施方式中,还可以结合判定第二特征向量是否处于活体类特征向量的向量区域内,来确定所述人脸图像的最终活体检测结果。
需要说明的是,步骤S304所示的内容可以由计算机设备执行;也可以由特征分类网络执行,即特征分类网络中在输出活体预测值的全连接层(或者MLP)之后,还包括判定网络。判定网络的输入为第二特征向量和活体预测值,判定网络对第二特征向量和活体预测值进行检测,从而得到人脸活体检测结果。在一实施方式中,判断网络可以由一层或者多层全连接层(或者一层或者多层MLP)构成。
本申请实施例通过将人脸图像输入至结合度量学习器训练得到的特征提取网络中进行处理,得到第一特征向量;将第一特征向量输入至结合分类学习器训练得到的特征分类网络中进行处理,得到第二特征向量和活体预测值;根据第二特征向量、活体预测值以及活体类特征向量的类内中心位置确定人脸图像的活体检测结果;从而可以有效提高人脸活体检测的准确性,这有利于人脸识别系统进行有效的防御,提高安全性。
下面对本申请实施例所涉及的特征提取网络和特征分类网络的训练方法进行介绍。请参阅图7,为本申请实施例提供的一种网络训练方法的流程示意图。本申请实施例中所描述的网络训练方法可以由计算机设备执行,此处的计算机设备与前文所述的计算机设备可以相同,也可以不同。所述网络训练方法包括但不限于如下步骤:
S701、获取样本人脸图像集合,所述样本人脸图像集合包括多张活体人脸图像以及多张非活体人脸图像。
本申请实施例中,活体人脸图像为从针对真人所采集到的图像中提取出的包括人脸在内的图像;非活体人脸图像为从针对非真人所采集到的图像中提取出的包括人脸在内的图像,包括如下一种或者多种:从针对打印照片(包括彩色打印照片,黑白打印照片、红外打印照片,等等)所采集到的图像中提取出的人脸图像,从针对屏幕播放画面(如屏幕播放电子照片等)所采集到的图像中提取出的人脸图像,从针对3D模型或者面具(包括各种材质的面具、头部模型、头套面具,等等)所采集的图像中提取出的人脸图像。其中,活体人脸图像携带活体标记,非活体人脸图像携带非活体标记。需要说明的是,人脸图像的提取方式可参考前文描述,此处不再赘述。
S702、利用所述样本人脸图像集合对初始特征提取网络进行训练,获取在对初始特征提取网络进行训练的过程中生成的第一向量集合。其中,所述第一向量集合包括所述多张活体人脸图像对应的多个活体类特征向量、以及所述多张非活体人脸图像对应的多个非活体类特征向量。
本申请实施例中,将样本人脸图像集合中的样本人脸图像输入初始特征提取网络中,初始特征提取网络利用输入的样本人脸图像进行初步训练,以对自身的网络结构和网络参数进行初步调整。初始特征提取网络在初步训练过程中对各个样本人脸图像进行处理后,输出各个样本人脸图像对应的特征向量,从而形成第一向量集合。
在一实施例中,计算机设备先将样本人脸图像集合中的各张活体人脸图像和各张非活体人脸图像缩放至参考尺寸,然后利用缩放至参考尺寸的多张活体人脸图像和多张非活体人脸图像对初始特征提取网络进行训练。采用此方式,可以提高特征提取网络对图像的处理速度,有利于特征提取网络快速提取图像特征。
S703、根据所述第一向量集合,结合度量学习器对初始特征提取网络进行训练,得到训练后的特征提取网络。
本申请实施例中,将第一向量集合输入度量学习器中,度量学习器计算第一向量集合中的多个活体类特征向量之间的类内距离、以及计算第一向量集合中的多个活体类特征向量与多个非活体类特征向量之间的类间距离。其中,距离度量可以使用向量间的欧几里得距离、余弦距离、L1距离等中的任一种。然后根据计算得到的类内距离和类间距离对初步训练后的初始特征提取网络进行再次训练,以对特征提取网络的网络结构和网络参数进行再次调整。重复步骤S702和步骤S703中的两种训练方式,直至训练后的特征提取网络满足特定的条件为止。其中,满足特定的条件包括:经过训练后的特征提取网络处理得到的多个活体类特征向量的类内距离满足第一距离条件,处理得到的多个非活体类特征向量和多个活体类特征向量之间的类间距离满足第二距离条件。满足第一距离条件包括:任意两个活体类特征向量之间的距离小于或等于第一预设距离。满足第二距离条件包括以下一种或者多种:处理得到的多个活体类特征向量和多个非活体类特征向量(即将各个类别的非活体类特征向量当作同一类别,即非活体类别)之间的类间距离大于或等于第二预设距离,处理得到的多个活体类特征向量和各个类别(如打印人脸照片攻击类别)的非活体类特征向量之间的类间距离大于或等于第一特定距离。
在可行的实施方式中,还可以结合第一向量集合中的多个非活体类特征向量之间的类内距离对初步训练后的初始特征提取网络进行再次训练。此时,满足特定的条件还可以包括:经过训练后的特征提取网络处理得到的多个非活体类特征向量的类内距离也满足一定的距离条件,包括:任意两个非活体类特征向量之间的距离小于或等于第二特定距离,或者,同类别(如打印人脸照片攻击类别)的任意两个非活体类特征向量之间的距离小于或等于第二特定距离。
度量学习器作用于特征提取网络输出的向量集合,度量学习器根据样本人脸图像的类别对特征向量产生辅助约束,以提高特征提取网络的泛化性。如图8所示,度量学习器的输入可以与特征提取网络的输出连接,度量学习器的输出反馈至特征提取网络中的残差块,以使得残差块根据度量学习器的输出对自身的网络结构和网络参数进行调整,从而优化特征提取网络所提取的人脸图像特征。对于相同类别的样本人脸图像,如活体人脸图像、第一类攻击人脸图像或者第二类攻击人脸图像,度量学习器约束相同类别的样本人脸图像的特征向量之间的距离尽可能接近,如图8中向量区域81、82和83中的实线箭头所示。此外,对于不同类别的样本人脸图像,如活体人脸图像、第一类攻击人脸图像和第二类攻击人脸图像,度量学习器约束不同类别的样本人脸图像的特征向量之间的距离尽可能远离,如图8中向量区域81与82、83之间的虚线箭头所示。
例如,图8中向量区域81为活体人脸图像对应的特征向量所形成的区域,向量区域82为第一类攻击人脸图像对应的特征向量所形成的区域,向量区域83为第二类攻击人脸图像对应的特征向量所形成的区域;区域内的圆点表示特征向量。度量学习器约束各向量区域内的特征向量之间的距离尽可能接近,并且约束向量区域81内的特征向量与向量区域82、83内的特征向量之间的距离尽可能远离。
结合度量学习器训练得到的特征提取网络,首先可以降低过拟合的风险,因为它规范了特征向量的分布,降低了网络的复杂度;其次,还可以提升人脸活体检测的精度,因为它使得不同类别的人脸图像所对应的特征向量距离更远,分类目标变得更容易。
S704、获取训练后的特征提取网络针对所述样本人脸图像集合进行处理后输出的多个活体类特征向量和多个非活体类特征向量。
S705、利用训练后的特征提取网络输出的多个活体类特征向量和多个非活体类特征向量,对初始特征分类网络进行训练,并获取在对初始特征分类网络进行训练的过程中生成的第二向量集合。其中,所述第二向量集合包括经过初始特征分类网络处理后的多个活体类特征向量、以及经过初始特征分类网络处理后的多个非活体类特征向量。
本申请实施例中,将训练后的特征提取网络输出的多个活体类特征向量和多个非活体类特征向量,输入初始特征分类网络中;初始特征分类网络利用输入的多个活体类特征向量和多个非活体类特征向量进行初步训练,以对自身的网络结构和网络参数进行初步调整。初始特征分类网络在初步训练过程中对输入的多个活体类特征向量和多个非活体类特征向量进行处理后,输出处理后的多个活体类特征向量、以及处理后的多个非活体类特征向量,从而形成第二向量集合。
S706、根据所述第二向量集合,结合分类学习器对初始特征分类网络进行训练,得到训练后的特征分类网络。
本申请实施例中,将第二向量集合输入分类学习器中,分类学习器计算经过初始特征分类网络处理后的多个活体类特征向量之间的类内距离,以及计算经过初始特征分类网络处理后的多个非活体类特征向量之间的类内距离;然后根据计算得到的类内距离对初始特征分类网络进行再次训练,以对特征分类网络的网络结构和网络参数进行再次调整。重复步骤S705和步骤S706中的两种训练方式,直至训练后的特征提取网络满足特定的条件为止。其中,满足特定的条件包括:经过训练后的特征分类网络处理后的多个活体类特征向量的类内距离满足第三距离条件,经过训练后的特征分类网络处理后的多个非活体类特征向量的类内距离满足第四距离条件。满足第三距离条件包括:任意两个处理后的活体类特征向量之间的距离小于或等于第三预设距离,该第三预设距离小于前文所述的第一预设距离。满足第四距离条件包括以下一种或者多种:任意两个非活体类特征向量之间的距离小于或等于第三特定距离,或者,同类别(如打印人脸照片攻击类别)的任意两个非活体类特征向量之间的距离小于或等于第三特定距离。该第三特定距离小于前文所述的第二特定距离。
分类学习器作用于第二向量集合,第二向量集合中的特征向量是特征分类网络中进入活体预测值的预测阶段之前的最后一层全连接层输出的。分类学习器对第二向量集合中的特征向量进行进一步约束,以使真人与攻击各自的类内分布更“紧凑”,以及建模更加具体的活体类特征向量的分布,这可以使得特征分类网络对活体类特征向量以及非活体类特征向量具有更好的分类能力,有利于得到准确的人脸活体检测结果。如图9所示,分类学习器的输入与输出第二向量集合中的特征向量的目标全连接层的输出连接,分类学习器的输出反馈至特征分类网络中处于目标全连接层之前的全连接层以及目标全连接层,以使得该全连接层根据分类学习器的输出对自身的网络结构以及网络参数进行调整,从而使得目标全连接层输出的特征向量得到优化。
例如,活体人脸图像对应的特征向量经过特征分类网络处理后得到特征向量91,第一类攻击人脸图像对应的特征向量经过特征分类网络处理后得到特征向量92,第二类攻击人脸图像对应的特征向量经过特征分类网络处理后得到特征向量93,未知类别的类攻击人脸图像对应的特征向量经过特征分类网络处理后得到特征向量94;图9中相同颜色的圆点表示同类别的特征向量。在加入分类学习器之前,特征分类网络的预测分界面(即活体类特征向量和非活体类特征向量的分界面)可能如图9中的实线95所示,实线95不能将活体类特征向量和非活体类特征向量完全区分开;可见,该分界面可以很好地分类样本集中已知的攻击类别;但是对于未知的攻击类别,该分界面可能只能正确分类一部分样本,但是置信度并不高、且准确率不高。在加入分类学习器之后,分类学习器进一步刻画活体类特征向量的分布特点,特征分类网络的预测分界面可能如图9中的虚线96所示,虚线96可以将活体类特征向量和非活体类特征向量完全区分开;可见,通过分类学习器的约束,可以准确的区分活体类特征向量与非活体类特征向量,故结合分类学习器训练得到的特征分类网络,可以进一步提升人脸活体检测的精度。
需要说明的是,在对初始特征分类网络进行初步训练的过程中,以及在根据第二向量集合结合分类学习器对初始特征分类网络进行训练的过程中,除了对输出第二向量集合中的特征向量的目标全连接层、以及特征分类网络中处于目标全连接层之前的全连接层进行训练之外,还包括对特征分类网络中处于目标全连接层之后的全连接层进行训练,即还包括对针对目标全连接层输出的特征向量进行活体预测值预测的多层全连接层进行训练。
本申请实施例中,在对特征分类网络训练完成之后,分类学习器对经过训练后的特征分类网络处理后的多个活体类特征向量进行计算,得到活体判定参数,该活体判定参数包括活体类特征向量的类内中心位置(即其位置信息)、活体类特征向量的向量区域的边界信息,等等。例如,如图9所示,图9中的虚线96与大圆边界围成的区域为活体类特征向量的向量区域,图9中的位置点97为活体类特征向量的类内中心位置。进一步地,存储计算得到的活体判定参数,以结合活体判定参数进行人脸活体检测的实际应用。
在可行的实施例中,可以将特征提取网络和特征分类网络组成一个人脸活体检测模型,可以对人脸活体检测模型进行整体训练,即将特征提取网络和特征分类网络进行同步训练。可以包括如下流程:
1、获取人脸图像数据集:分别从N1张活体人脸图像、N2张纸片打印攻击人脸图像、N3张屏幕播放攻击人脸图像和N4张3D面具、头模等攻击人脸图像中提取人脸区域,并且将提取出的人脸区域缩放至相同分辨率大小(或者说尺寸),从而得到用于训练的人脸图像数据集。其中,N为正整数。
2、特征提取网络和特征分类网络的训练:使用流程1得到的人脸图像数据集对特征提取网络和特征分类网络进行训练,在训练过程中,可以使用基于分类的交叉熵损失用于分类活体类人脸图像(即真人)与非活体类人脸图像(即攻击)。在可行的实施方式中,为简化建模,可以只进行真人与非真人异常样本的二分类任务,因此在训练过程中可以使用二分类交叉熵损失对网络进行训练。
3、度量学习器的辅助训练:在流程2进行的同时,度量学习器需要同时参与训练。度量学习器将训练数据(包括活体类特征向量和非活体类特征向量)划分为正负样本两个集合,分别计算每个集合的类内距离和两个集合的类间距离,然后再分别优化类内距离和类间距离。具体的距离度量可以使用向量间的欧几里得距离,等等。
4、分类学习器的辅助训练:在流程2和3进行的同时,分类学习器需要同时参与训练。分类学习器对真人特征(即活体类特征向量)再次聚类,约束真人特征的聚集,最小化真人特征到真人类内中心的距离,以及最小化各类攻击特征到各类攻击内类中心的距离,并且训练最终保存真人类内中心的位置信息。
需要说明的是,由于支付或门禁等场景应用中强调实时性,故可以采用模型蒸馏或剪枝的方法来减少模型(或者说网络)参数量,以降低模型运行时间,提高人脸活体检测效率。
利用上述方式训练得到的特征提取网络和特征分类网络进行人脸活体预测时,针对真实应用场景下的复杂的人脸活体检测具有更高的准确性,特别是针对未知的3D攻击(如3D塑料、硅胶面具,3D仿真头模和头套等);故采用本申请实施例提供的人脸活体检测方法可以得到高精准度的人脸活体检测结果。
在可行的实施例中,拍摄设备可以包括多个摄像头,该多个摄像头针对环境中的同一拍摄对象进行拍摄。该多个摄像头可以是同类型的摄像头,也可以是至少两种类型的摄像头的组合。不同类型的摄像头所采集到图像类型不同,可以为彩色图像、红外图像、深度图像等等。此情况下,本申请实施例提供的人脸活体检测算法还可以包括如下步骤:
1、计算机设备获取拍摄设备的各个摄像头采集到的人脸图像。
2、将各个摄像头采集到的人脸图像输入至特征提取网络中进行处理,得到一个或者多个特征向量。其中,特征提取网络是结合度量学习器训练得到的。
在一实施方式中,特征提取网络为单通道输入,各个摄像头采集到的人脸图像从同一通道输入。在另一实施方式中,特征提取网络为多通道输入,可以将多张人脸图像分别从不同输入通道输入,此时特征提取网络的输入通道数目可以与摄像头的数目相同;或者,可以将同一类型的人脸图像从同一输入通道输入,将不同类型的人脸图像从不同输入通道输入,此时,特征提取网络的输入通道数目可以与摄像头的类型数相同。
输入的人脸图像经过特征提取网络的处理后,特征提取网络将各人脸图像所对应的一个特征向量从输出通道输出;或者,特征提取网络将各人脸图像所对应的多个特征向量从同一输出通道输出;或者,将人脸图像所对应的多个特征向量分别从不同输出通道输出,此时特征提取网络的输出通道数目可以与摄像头的数目相同;或者,将同一类型的人脸图像(如红外人脸图像)所对应的一个或者多个特征向量从同一输出通道输出,将不同类型的人脸图像所对应的特征向量从不同输出通道输出,此时,特征提取网络的输出通道数目可以与摄像头的类型数相同。
3、将特征提取网络输出的一个或者多个特征向量输入至特征分类网络中进行处理,得到一个或者多个特征向量以及得到一个或者多个活体预测值。
在一实施方式中,特征分类网络为单通道输入,特征提取网络输出的各个特征向量从同一通道输入。在另一实施方式中,当特征提取网络的输出为多个特征向量时,特征分类网络为多通道输入;可以将各个特征向量分别从不同输入通道输入,此时特征分类网络的输入通道数目可以与该多个特征向量的数目相同;或者,可以将同一类型的特征向量(即同一类型的人脸图像所对应的特征向量从同一输入通道输入,将不同类型的特征向量从不同输入通道输入,此时,特征分类网络的输入通道数目可以与该多个特征向量的类型数相同。
输入的特征向量经过特征分类网络的处理后,特征分类网络将各特征向量所对应的一个处理后的特征向量从输出通道输出;或者,特征分类网络将各特征向量所对应的多个处理后的特征向量从同一输出通道输出;或者,将各特征向量所对应的多个处理后的特征向量分别从不同输出通道输出,此时特征分类网络的输出通道数目可以与该多个特征向量的数目相同;或者,将同一类型的特征向量所对应的处理后的一个或者多个特征向量从同一输出通道输出,将不同类别的特征向量所对应的处理后的特征向量从不同输出通道输出,此时,特征分类网络的输出通道数目可以与与该多个特征向量的类型数相同。
4、根据特征分类网络输出的一个或者多个特征向量以及一个或者多个活体预测值、以及存储的活体判定参数确定人脸图像的活体检测结果。其中,活体判定参数包括一个或者多个活体类特征向量的类内中心位置。特征分类网络是结合分类学习器训练得到的,活体判定参数是在结合分类学习器训练特征分类网络的过程中利用分类学习器计算得到的。
在一实施方式中,特征分类网络输出多个特征向量以及输出一个活体预测值,此时,活体判定参数包括各个类型的活体人脸图像分别对应的活体类特征向量的类内中心位置。例如,彩色活体人脸图像对应一个活体类特征向量的类内中心位置,红外活体人脸图像对应另一个活体类特征向量的类内中心位置。当特征分类网络输出的各个特征向量与相应的活体类特征向量的类内中心位置之间的距离均小于或者等于预设距离阈值,且活体预测值大于或等于预设参考数值时,确定输入的人脸图像为活体人脸图像;反之确为非活体人脸图像。
在一实施方式中,特征分类网络输出多个特征向量以及输出多个活体预测值,此时,活体判定参数包括各个类型的活体人脸图像分别对应的活体类特征向量的类内中心位置;该多个活体预测值包括输入的各个类型的活体人脸图像分别对应的活体预测值。例如,彩色活体人脸图像对应一个活体类特征向量的类内中心位置,以及对应一个活体预测值;红外活体人脸图像对应另一个活体类特征向量的类内中心位置,以及对应另一个活体预测值。当特征分类网络输出的各个特征向量与相应的活体类特征向量的类内中心位置之间的距离均小于或者等于预设距离阈值,且输出的各个活体预测值均大于或者等于相应的预设参考数值时,确定输入的人脸图像为活体人脸图像;反之确为非活体人脸图像。
通过上述方式,由于采用多个摄像头获取人脸图像,提取出的信息更为丰富,可以有效提高最终分类的效果以及准确性。
需要说明的是,对于上述结构的特征提取网络和特征分类网络的训练方法,需要结合度量学习器对特征提取网络进行训练,以约束活体类特征向量与非活体类特征向量的分布,还可以进一步约束不同类型的活体类特征向量的分布,例如约束彩色活体人脸图像所对应的活体类特征向量与红外活体人脸图像所对应的活体类特征向量的分布。并且需要结合分类学习器对特征分类网络进行训练,以构建更好的活体类特征向量与非活体类特征向量的分界面,还可以进一步构建不同类型的活体类特征向量的分界面。具体的训练方法与前文描述的类似,具体可参考前文描述,此处不再赘述。
请参阅图10,为本申请实施例提供的一种人脸活体检测装置的结构示意图。本申请实施例中所描述的人脸活体检测装置,对应于前文所述的计算机设备,所述装置包括:
获取单元1001,用于获取拍摄设备采集到的人脸图像;
处理单元1002,用于将所述人脸图像输入至特征提取网络中进行处理,得到第一特征向量;
所述处理单元1002,还用于将所述第一特征向量输入至特征分类网络中进行处理,得到第二特征向量和活体预测值,其中,所述第二特征向量与目标向量区域的区域中心的距离小于所述第一特征向量与所述区域中心的距离,所述目标向量区域为所述人脸图像所属预测图像类别所对应的特征向量区域;
确定单元1003,用于根据所述第二特征向量、所述活体预测值以及活体类特征向量的类内中心位置确定所述人脸图像的活体检测结果;
在一实施例中,所述确定单元1003,具体用于:
检测所述活体预测值是否大于或等于参考数值,并检测所述第二特征向量与活体类特征向量的类内中心位置之间的距离是否小于或等于目标距离阈值;当所述活体预测值大于或等于所述参考数值,且所述第二特征向量与所述活体类特征向量的类内中心位置之间的距离小于或等于目标距离阈值时,确定所述人脸图像为活体人脸图像。
在一实施例中,所述获取单元1001,还用于获取样本人脸图像集合,所述样本人脸图像集合包括多张活体人脸图像以及多张非活体人脸图像;
所述装置还包括训练单元1004,用于:
利用所述样本人脸图像集合对初始特征提取网络进行训练;获取在对初始特征提取网络进行训练的过程中生成的第一向量集合,其中,所述第一向量集合包括所述多张活体人脸图像对应的多个活体类特征向量、以及所述多张非活体人脸图像对应的多个非活体类特征向量;根据所述第一向量集合,结合度量学习器对初始特征提取网络进行训练,得到训练后的特征提取网络。
在一实施例中,所述训练单元1004,具体用于:
利用度量学习器计算所述多个活体类特征向量的类内距离、以及计算所述多个活体类特征向量与所述多个非活体类特征向量之间的类间距离;根据所述类内距离和所述类间距离对初始特征提取网络进行训练,得到训练后的特征提取网络;其中,经过训练后的特征提取网络处理得到的多个活体类特征向量的类内距离满足第一距离条件,处理得到的多个非活体类特征向量和多个活体类特征向量之间的类间距离满足第二距离条件。
在一实施例中,所述训练单元1004,具体用于:
将所述样本人脸图像集合中的各张活体人脸图像和各张非活体人脸图像缩放至参考尺寸;利用缩放至所述参考尺寸的多张活体人脸图像和多张非活体人脸图像对初始特征提取网络进行训练。
在一实施例中,所述训练单元1004,还用于:
获取训练后的特征提取网络针对所述样本人脸图像集合进行处理后输出的多个活体类特征向量和多个非活体类特征向量;利用训练后的特征提取网络输出的多个活体类特征向量和多个非活体类特征向量,对初始特征分类网络进行训练;获取在对初始特征分类网络进行训练的过程中生成的第二向量集合,其中,所述第二向量集合包括经过初始特征分类网络处理后的多个活体类特征向量和多个非活体类特征向量;根据所述第二向量集合,结合分类学习器对初始特征分类网络进行训练,得到训练后的特征分类网络。
在一实施例中,所述训练单元1004,具体用于:利用分类学习器计算所述经过初始特征分类网络处理后的多个活体类特征向量的类内距离,以及计算所述经过初始特征分类网络处理后的多个非活体类特征向量的类内距离;根据计算得到的类内距离对初始特征分类网络进行训练,得到训练后的特征分类网络;其中,经过训练后的特征分类网络处理后的多个活体类特征向量的类内距离满足第三距离条件,经过训练后的特征分类网络处理后的多个非活体类特征向量的类内距离满足第四距离条件。
在一实施例中,所述训练单元1004,还用于:利用分类学习器对经过训练后的特征分类网络处理后的多个活体类特征向量进行计算,得到所述活体类特征向量的类内中心位置。
在一实施例中,所述获取单元1001,具体用于:
获取拍摄设备采集到的待处理图像;针对所述待处理图像进行人脸检测,得到人脸检测结果;当所述人脸检测结果指示所述待处理图像中存在人脸时,获取人脸关键点信息,并根据所述人脸关键点信息从所述待处理图像中获取人脸图像。
在一实施例中,所述获取单元1001,具体用于:
根据所述人脸关键点信息在所述待处理图像中确定第一图像区域;根据所述第一图像区域和区域扩大倍数确定第二图像区域,并根据所述第二图像区域从所述待处理图像中获取人脸图像;将获取到的人脸图像缩放至参考尺寸。
在一实施例中,所述拍摄设备包括多个摄像头,所述获取单元1001,具体用于:获取各个摄像头采集到的人脸图像;所述处理单元1002,具体用于:将所述各个摄像头采集到的人脸图像输入至特征提取网络中进行处理,得到第一特征向量。
可以理解的是,本申请实施例的人脸活体检测装置的各功能单元的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
本申请实施例通过将人脸图像输入至结合度量学习器训练得到的特征提取网络中进行处理,得到第一特征向量;将第一特征向量输入至结合分类学习器训练得到的特征分类网络中进行处理,得到第二特征向量和活体预测值;根据第二特征向量、活体预测值以及活体类特征向量的类内中心位置确定人脸图像的活体检测结果;从而可以有效提高人脸活体检测的准确性,这有利于人脸识别系统进行有效的防御,提高安全性。
请参阅图11,为本申请实施例提供的一种计算机设备的结构示意图。本申请实施例中所描述的计算机设备包括:处理器1101、通信接口1102及存储器1103。其中,处理器1101、通信接口1102及存储器1103可通过总线或其他方式连接,本申请实施例以通过总线连接为例。
其中,处理器1101(或称CPU(Central Processing Unit,中央处理器))是计算机设备的计算核心以及控制核心,其可以解析计算机设备内的各类指令以及处理计算机设备的各类数据,例如:CPU可以用于解析用户向计算机设备所发送的开关机指令,并控制计算机设备进行开关机操作;再如:CPU可以在计算机设备内部结构之间传输各类交互数据,等等。通信接口1102可选的可以包括标准的有线接口、无线接口(如Wi-Fi、移动通信接口等),受处理器1101的控制用于收发数据,以及用于计算机内部的信令交互。存储器1103(Memory)是计算机设备中的记忆设备,用于存放程序和数据。可以理解的是,此处的存储器1103既可以包括计算机设备的内置存储器,当然也可以包括计算机设备所支持的扩展存储器。存储器1103提供存储空间,该存储空间存储了计算机设备的操作系统,可包括但不限于:Android系统、iOS系统、Windows Phone系统等等,本申请对此并不作限定。可选地,计算机设备还可以包括用户接口,用户接口是实现用户与计算机设备进行交互和信息交换的媒介,其具体体现可以包括用于输出的显示屏(Display)以及用于输入的触控屏、键盘(Keyboard)等等,需要说明的是,此处的键盘既可以为实体键盘,也可以为触屏虚拟键盘,还可以为实体与触屏虚拟相结合的键盘。
在本申请实施例中,处理器1101通过运行存储器1103中的可执行程序代码,执行如下操作:
获取拍摄设备采集到的人脸图像;将所述人脸图像输入至特征提取网络中进行处理,得到第一特征向量;将所述第一特征向量输入至特征分类网络中进行处理,得到第二特征向量和活体预测值,其中,所述第二特征向量与目标向量区域的区域中心的距离小于所述第一特征向量与所述区域中心的距离,所述目标向量区域为所述人脸图像所属预测图像类别所对应的特征向量区域;根据所述第二特征向量、所述活体预测值以及活体类特征向量的类内中心位置确定所述人脸图像的活体检测结果。
在一实施例中,所述处理器1101根据所述第二特征向量、所述活体预测值以及活体类特征向量的类内中心位置确定所述人脸图像的活体检测结果时,具体用于:检测所述活体预测值是否大于或等于参考数值,并检测所述第二特征向量与活体类特征向量的类内中心位置之间的距离是否小于或等于目标距离阈值;当所述活体预测值大于或等于所述参考数值,且所述第二特征向量与所述活体类特征向量的类内中心位置之间的距离小于或等于目标距离阈值时,确定所述人脸图像为活体人脸图像。
在一实施例中,所述处理器1101获取拍摄设备采集到的人脸图像之前,还用于:
通过通信接口1102获取样本人脸图像集合,所述样本人脸图像集合包括多张活体人脸图像以及多张非活体人脸图像;利用所述样本人脸图像集合对初始特征提取网络进行训练;获取在对初始特征提取网络进行训练的过程中生成的第一向量集合;根据所述第一向量集合,结合度量学习器对初始特征提取网络进行训练,得到训练后的特征提取网络;其中,所述第一向量集合包括所述多张活体人脸图像对应的多个活体类特征向量、以及所述多张非活体人脸图像对应的多个非活体类特征向量。
在一实施例中,所述处理器1101根据所述第一向量集合,结合度量学习器对初始特征提取网络进行训练,得到训练后的特征提取网络时,具体用于:利用度量学习器计算所述多个活体类特征向量的类内距离、以及计算所述多个活体类特征向量与所述多个非活体类特征向量之间的类间距离;根据所述类内距离和所述类间距离对初始特征提取网络进行训练,得到训练后的特征提取网络;其中,经过训练后的特征提取网络处理得到的多个活体类特征向量的类内距离满足第一距离条件,处理得到的多个非活体类特征向量和多个活体类特征向量之间的类间距离满足第二距离条件。
在一实施例中,所述处理器1101利用所述样本人脸图像集合对初始特征提取网络进行训练时,具体用于:将所述样本人脸图像集合中的各张活体人脸图像和各张非活体人脸图像缩放至参考尺寸;利用缩放至所述参考尺寸的多张活体人脸图像和多张非活体人脸图像对初始特征提取网络进行训练。
在一实施例中,所述处理器1101还用于:获取训练后的特征提取网络针对所述样本人脸图像集合进行处理后输出的多个活体类特征向量和多个非活体类特征向量;利用训练后的特征提取网络输出的多个活体类特征向量和多个非活体类特征向量,对初始特征分类网络进行训练;获取在对初始特征分类网络进行训练的过程中生成的第二向量集合;根据所述第二向量集合,结合分类学习器对初始特征分类网络进行训练,得到训练后的特征分类网络;其中,所述第二向量集合包括经过初始特征分类网络处理后的多个活体类特征向量和多个非活体类特征向量。
在一实施例中,所述处理器1101根据所述第二向量集合,结合分类学习器对初始特征分类网络进行训练,得到训练后的特征分类网络时,具体用于:利用分类学习器计算所述经过初始特征分类网络处理后的多个活体类特征向量的类内距离,以及计算所述经过初始特征分类网络处理后的多个非活体类特征向量的类内距离;根据计算得到的类内距离对初始特征分类网络进行训练,得到训练后的特征分类网络;其中,经过训练后的特征分类网络处理后的多个活体类特征向量的类内距离满足第三距离条件,经过训练后的特征分类网络处理后的多个非活体类特征向量的类内距离满足第四距离条件。
在一实施例中,所述处理器1101还用于:利用分类学习器对经过训练后的特征分类网络处理后的多个活体类特征向量进行计算,得到所述活体类特征向量的类内中心位置。
在一实施例中,所述处理器1101获取拍摄设备采集到的人脸图像时,具体用于:
通过通信接口1102获取拍摄设备采集到的待处理图像;针对所述待处理图像进行人脸检测,得到人脸检测结果;当所述人脸检测结果指示所述待处理图像中存在人脸时,获取人脸关键点信息,并根据所述人脸关键点信息从所述待处理图像中获取人脸图像。
在一实施例中,所述处理器1101根据所述人脸关键点信息从所述待处理图像中获取人脸图像时,具体用于:根据所述人脸关键点信息在所述待处理图像中确定第一图像区域;根据所述第一图像区域和区域扩大倍数确定第二图像区域,并根据所述第二图像区域从所述待处理图像中获取人脸图像;将获取到的人脸图像缩放至参考尺寸。
在一实施例中,所述拍摄设备包括多个摄像头,所述处理器1101获取拍摄设备采集到的人脸图像时,具体用于:获取各个摄像头采集到的人脸图像。所述处理器1101将所述人脸图像输入至特征提取网络中进行处理,得到第一特征向量时,具体用于:将所述各个摄像头采集到的人脸图像输入至特征提取网络中进行处理,得到第一特征向量。
具体实现中,本申请实施例中所描述的处理器1101、通信接口1102及存储器1103可执行本申请实施例提供的一种人脸活体检测方法中所描述的计算机设备的实现方式,也可执行本申请实施例提供的一种人脸活体检测装置中所描述的实现方式,具体实现方式可参考前文描述,在此不再赘述。
本申请实施例通过将人脸图像输入至结合度量学习器训练得到的特征提取网络中进行处理,得到第一特征向量;将第一特征向量输入至结合分类学习器训练得到的特征分类网络中进行处理,得到第二特征向量和活体预测值;根据第二特征向量、活体预测值以及活体类特征向量的类内中心位置确定人脸图像的活体检测结果;从而可以有效提高人脸活体检测的准确性,这有利于人脸识别系统进行有效的防御,提高安全性。
相应地,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行如本申请实施例所述的人脸活体检测方法。其具体实现方式可参考前文描述,此处不再赘述。
相应地,本申请实施例还提供了一种计算机程序产品或计算机程序,所述计算机程序产品或计算机程序包括计算机指令,所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令,所述处理器执行所述计算机指令,使得所述计算机设备执行上述人脸活体检测方法。其具体实现方式可参考前文描述,此处不再赘述。
需要说明的是,对于前述的各个方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某一些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random AccessMemory,RAM)、磁盘或光盘等。
以上所揭露的仅为本申请部分实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。
Claims (14)
1.一种人脸活体检测方法,其特征在于,所述方法包括:
获取拍摄设备采集到的人脸图像;
将所述人脸图像输入至特征提取网络中进行处理,得到第一特征向量;
将所述第一特征向量输入至特征分类网络中进行处理,得到第二特征向量和活体预测值,其中,所述第二特征向量与目标向量区域的区域中心的距离小于所述第一特征向量与所述区域中心的距离,所述目标向量区域为所述人脸图像所属预测图像类别所对应的特征向量区域;
根据所述第二特征向量、所述活体预测值以及活体类特征向量的类内中心位置确定所述人脸图像的活体检测结果。
2.如权利要求1所述的方法,其特征在于,所述根据所述第二特征向量、所述活体预测值以及活体类特征向量的类内中心位置确定所述人脸图像的活体检测结果,包括:
检测所述活体预测值是否大于或等于参考数值,并检测所述第二特征向量与活体类特征向量的类内中心位置之间的距离是否小于或等于目标距离阈值;
当所述活体预测值大于或等于所述参考数值,且所述第二特征向量与所述活体类特征向量的类内中心位置之间的距离小于或等于目标距离阈值时,确定所述人脸图像为活体人脸图像。
3.如权利要求1所述的方法,其特征在于,所述获取拍摄设备采集到的人脸图像之前,所述方法还包括:
获取样本人脸图像集合,所述样本人脸图像集合包括多张活体人脸图像以及多张非活体人脸图像;
利用所述样本人脸图像集合对初始特征提取网络进行训练;
获取在对初始特征提取网络进行训练的过程中生成的第一向量集合;
根据所述第一向量集合,结合度量学习器对初始特征提取网络进行训练,得到训练后的特征提取网络;
其中,所述第一向量集合包括所述多张活体人脸图像对应的多个活体类特征向量、以及所述多张非活体人脸图像对应的多个非活体类特征向量。
4.如权利要求3所述的方法,其特征在于,所述根据所述第一向量集合,结合度量学习器对初始特征提取网络进行训练,得到训练后的特征提取网络,包括:
利用度量学习器计算所述多个活体类特征向量的类内距离、以及计算所述多个活体类特征向量与所述多个非活体类特征向量之间的类间距离;
根据所述类内距离和所述类间距离对初始特征提取网络进行训练,得到训练后的特征提取网络;
其中,经过训练后的特征提取网络处理得到的多个活体类特征向量的类内距离满足第一距离条件,处理得到的多个非活体类特征向量和多个活体类特征向量之间的类间距离满足第二距离条件。
5.如权利要求3所述的方法,其特征在于,所述利用所述样本人脸图像集合对初始特征提取网络进行训练,包括:
将所述样本人脸图像集合中的各张活体人脸图像和各张非活体人脸图像缩放至参考尺寸;
利用缩放至所述参考尺寸的多张活体人脸图像和多张非活体人脸图像对初始特征提取网络进行训练。
6.如权利要求3-5任一项所述的方法,其特征在于,所述方法还包括:
获取训练后的特征提取网络针对所述样本人脸图像集合进行处理后输出的多个活体类特征向量和多个非活体类特征向量;
利用训练后的特征提取网络输出的多个活体类特征向量和多个非活体类特征向量,对初始特征分类网络进行训练;
获取在对初始特征分类网络进行训练的过程中生成的第二向量集合;
根据所述第二向量集合,结合分类学习器对初始特征分类网络进行训练,得到训练后的特征分类网络;
其中,所述第二向量集合包括经过初始特征分类网络处理后的多个活体类特征向量和多个非活体类特征向量。
7.如权利要求6所述的方法,其特征在于,所述根据所述第二向量集合,结合分类学习器对初始特征分类网络进行训练,得到训练后的特征分类网络,包括:
利用分类学习器计算所述经过初始特征分类网络处理后的多个活体类特征向量的类内距离,以及计算所述经过初始特征分类网络处理后的多个非活体类特征向量的类内距离;
根据计算得到的类内距离对初始特征分类网络进行训练,得到训练后的特征分类网络;
其中,经过训练后的特征分类网络处理后的多个活体类特征向量的类内距离满足第三距离条件,经过训练后的特征分类网络处理后的多个非活体类特征向量的类内距离满足第四距离条件。
8.如权利要求6所述的方法,其特征在于,所述方法还包括:
利用分类学习器对经过训练后的特征分类网络处理后的多个活体类特征向量进行计算,得到所述活体类特征向量的类内中心位置。
9.如权利要求1所述的方法,其特征在于,所述获取拍摄设备采集到的人脸图像,包括:
获取拍摄设备采集到的待处理图像;
针对所述待处理图像进行人脸检测,得到人脸检测结果;
当所述人脸检测结果指示所述待处理图像中存在人脸时,获取人脸关键点信息,并根据所述人脸关键点信息从所述待处理图像中获取人脸图像。
10.如权利要求9所述的方法,其特征在于,所述根据所述人脸关键点信息从所述待处理图像中获取人脸图像,包括:
根据所述人脸关键点信息在所述待处理图像中确定第一图像区域;
根据所述第一图像区域和区域扩大倍数确定第二图像区域,并根据所述第二图像区域从所述待处理图像中获取人脸图像;
将获取到的人脸图像缩放至参考尺寸。
11.如权利要求1所述的方法,其特征在于,所述拍摄设备包括多个摄像头,所述获取拍摄设备采集到的人脸图像,包括:
获取各个摄像头采集到的人脸图像;
所述将所述人脸图像输入至特征提取网络中进行处理,得到第一特征向量,包括:
将所述各个摄像头采集到的人脸图像输入至特征提取网络中进行处理,得到第一特征向量。
12.一种人脸活体检测装置,其特征在于,所述装置包括:
获取单元,用于获取拍摄设备采集到的人脸图像;
处理单元,用于将所述人脸图像输入至特征提取网络中进行处理,得到第一特征向量;
所述处理单元,还用于将所述第一特征向量输入至特征分类网络中进行处理,得到第二特征向量和活体预测值,其中,所述第二特征向量与目标向量区域的区域中心的距离小于所述第一特征向量与所述区域中心的距离,所述目标向量区域为所述人脸图像所属预测图像类别所对应的特征向量区域;
确定单元,用于根据所述第二特征向量、所述活体预测值以及活体类特征向量的类内中心位置确定所述人脸图像的活体检测结果。
13.一种计算机设备,其特征在于,包括:处理器和存储器,所述存储器存储有可执行程序代码,所述处理器用于调用所述可执行程序代码,执行如权利要求1-11中任一项所述的人脸活体检测方法。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行如权利要求1-11中任一项所述的人脸活体检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010737103.1A CN111767900B (zh) | 2020-07-28 | 2020-07-28 | 人脸活体检测方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010737103.1A CN111767900B (zh) | 2020-07-28 | 2020-07-28 | 人脸活体检测方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111767900A true CN111767900A (zh) | 2020-10-13 |
CN111767900B CN111767900B (zh) | 2024-01-26 |
Family
ID=72727601
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010737103.1A Active CN111767900B (zh) | 2020-07-28 | 2020-07-28 | 人脸活体检测方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111767900B (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112329606A (zh) * | 2020-11-03 | 2021-02-05 | 济南博观智能科技有限公司 | 一种活体检测方法、装置、电子设备及可读存储介质 |
CN112883831A (zh) * | 2021-01-29 | 2021-06-01 | 北京市商汤科技开发有限公司 | 一种活体检测的方法、装置、电子设备及存储介质 |
CN113011474A (zh) * | 2021-03-04 | 2021-06-22 | 深圳市捷顺科技实业股份有限公司 | 一种图像类别分类的训练方法及装置 |
CN113052150A (zh) * | 2021-05-24 | 2021-06-29 | 腾讯科技(深圳)有限公司 | 活体检测方法、装置、电子设备和计算机可读存储介质 |
CN113221655A (zh) * | 2021-04-12 | 2021-08-06 | 重庆邮电大学 | 基于特征空间约束的人脸欺骗检测方法 |
CN114067394A (zh) * | 2021-11-09 | 2022-02-18 | 北京百度网讯科技有限公司 | 人脸活体检测方法、装置、电子设备及存储介质 |
CN114529731A (zh) * | 2020-10-30 | 2022-05-24 | 北京眼神智能科技有限公司 | 人脸特征点定位及属性分析方法、装置、存储介质及设备 |
CN114565918A (zh) * | 2022-02-24 | 2022-05-31 | 阳光暖果(北京)科技发展有限公司 | 一种基于多特征提取模块的人脸静默活体检测方法与系统 |
CN115424335A (zh) * | 2022-11-03 | 2022-12-02 | 智慧眼科技股份有限公司 | 活体识别模型训练方法、活体识别方法及相关设备 |
CN115601818A (zh) * | 2022-11-29 | 2023-01-13 | 海豚乐智科技(成都)有限责任公司(Cn) | 一种轻量化可见光活体检测方法及装置 |
CN115937993A (zh) * | 2022-12-14 | 2023-04-07 | 北京百度网讯科技有限公司 | 活体检测模型训练方法、活体检测方法、装置和电子设备 |
WO2023109551A1 (zh) * | 2021-12-15 | 2023-06-22 | 腾讯科技(深圳)有限公司 | 一种活体检测方法、装置和计算机设备 |
WO2024183593A1 (zh) * | 2023-03-07 | 2024-09-12 | 北京字跳网络技术有限公司 | 一种图像分类方法、装置、电子设备及存储介质 |
CN115937993B (zh) * | 2022-12-14 | 2024-09-24 | 北京百度网讯科技有限公司 | 活体检测模型训练方法、活体检测方法、装置和电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018195309A (ja) * | 2017-05-17 | 2018-12-06 | 富士通株式会社 | 顔認識のための画像処理装置の訓練方法及び訓練装置 |
US20190026605A1 (en) * | 2017-07-19 | 2019-01-24 | Baidu Online Network Technology (Beijing) Co., Ltd . | Neural network model training method and apparatus, living body detecting method and apparatus, device and storage medium |
CN110188715A (zh) * | 2019-06-03 | 2019-08-30 | 广州二元科技有限公司 | 一种多帧检测投票的视频人脸活体检测方法 |
CN110909693A (zh) * | 2019-11-27 | 2020-03-24 | 深圳市华付信息技术有限公司 | 3d人脸活体检测方法、装置、计算机设备及存储介质 |
CN111340013A (zh) * | 2020-05-22 | 2020-06-26 | 腾讯科技(深圳)有限公司 | 人脸识别方法、装置、计算机设备及存储介质 |
-
2020
- 2020-07-28 CN CN202010737103.1A patent/CN111767900B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018195309A (ja) * | 2017-05-17 | 2018-12-06 | 富士通株式会社 | 顔認識のための画像処理装置の訓練方法及び訓練装置 |
US20190026605A1 (en) * | 2017-07-19 | 2019-01-24 | Baidu Online Network Technology (Beijing) Co., Ltd . | Neural network model training method and apparatus, living body detecting method and apparatus, device and storage medium |
CN110188715A (zh) * | 2019-06-03 | 2019-08-30 | 广州二元科技有限公司 | 一种多帧检测投票的视频人脸活体检测方法 |
CN110909693A (zh) * | 2019-11-27 | 2020-03-24 | 深圳市华付信息技术有限公司 | 3d人脸活体检测方法、装置、计算机设备及存储介质 |
CN111340013A (zh) * | 2020-05-22 | 2020-06-26 | 腾讯科技(深圳)有限公司 | 人脸识别方法、装置、计算机设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
张延安;王宏玉;徐方;: "基于深度卷积神经网络与中心损失的人脸识别", 科学技术与工程, no. 35 * |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114529731A (zh) * | 2020-10-30 | 2022-05-24 | 北京眼神智能科技有限公司 | 人脸特征点定位及属性分析方法、装置、存储介质及设备 |
CN112329606A (zh) * | 2020-11-03 | 2021-02-05 | 济南博观智能科技有限公司 | 一种活体检测方法、装置、电子设备及可读存储介质 |
CN112329606B (zh) * | 2020-11-03 | 2023-08-15 | 济南博观智能科技有限公司 | 一种活体检测方法、装置、电子设备及可读存储介质 |
CN112883831A (zh) * | 2021-01-29 | 2021-06-01 | 北京市商汤科技开发有限公司 | 一种活体检测的方法、装置、电子设备及存储介质 |
CN113011474A (zh) * | 2021-03-04 | 2021-06-22 | 深圳市捷顺科技实业股份有限公司 | 一种图像类别分类的训练方法及装置 |
CN113221655A (zh) * | 2021-04-12 | 2021-08-06 | 重庆邮电大学 | 基于特征空间约束的人脸欺骗检测方法 |
CN113052150A (zh) * | 2021-05-24 | 2021-06-29 | 腾讯科技(深圳)有限公司 | 活体检测方法、装置、电子设备和计算机可读存储介质 |
CN113052150B (zh) * | 2021-05-24 | 2021-07-30 | 腾讯科技(深圳)有限公司 | 活体检测方法、装置、电子设备和计算机可读存储介质 |
CN114067394A (zh) * | 2021-11-09 | 2022-02-18 | 北京百度网讯科技有限公司 | 人脸活体检测方法、装置、电子设备及存储介质 |
WO2023109551A1 (zh) * | 2021-12-15 | 2023-06-22 | 腾讯科技(深圳)有限公司 | 一种活体检测方法、装置和计算机设备 |
CN114565918A (zh) * | 2022-02-24 | 2022-05-31 | 阳光暖果(北京)科技发展有限公司 | 一种基于多特征提取模块的人脸静默活体检测方法与系统 |
CN115424335A (zh) * | 2022-11-03 | 2022-12-02 | 智慧眼科技股份有限公司 | 活体识别模型训练方法、活体识别方法及相关设备 |
CN115424335B (zh) * | 2022-11-03 | 2023-08-04 | 智慧眼科技股份有限公司 | 活体识别模型训练方法、活体识别方法及相关设备 |
CN115601818A (zh) * | 2022-11-29 | 2023-01-13 | 海豚乐智科技(成都)有限责任公司(Cn) | 一种轻量化可见光活体检测方法及装置 |
CN115937993A (zh) * | 2022-12-14 | 2023-04-07 | 北京百度网讯科技有限公司 | 活体检测模型训练方法、活体检测方法、装置和电子设备 |
CN115937993B (zh) * | 2022-12-14 | 2024-09-24 | 北京百度网讯科技有限公司 | 活体检测模型训练方法、活体检测方法、装置和电子设备 |
WO2024183593A1 (zh) * | 2023-03-07 | 2024-09-12 | 北京字跳网络技术有限公司 | 一种图像分类方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111767900B (zh) | 2024-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111767900B (zh) | 人脸活体检测方法、装置、计算机设备及存储介质 | |
CN111709409B (zh) | 人脸活体检测方法、装置、设备及介质 | |
WO2021077984A1 (zh) | 对象识别方法、装置、电子设备及可读存储介质 | |
US11842487B2 (en) | Detection model training method and apparatus, computer device and storage medium | |
US11487995B2 (en) | Method and apparatus for determining image quality | |
KR20230021043A (ko) | 객체 인식 방법 및 장치, 및 인식기 학습 방법 및 장치 | |
EP3767522A1 (en) | Image recognition method and apparatus, and terminal and storage medium | |
CN109815826B (zh) | 人脸属性模型的生成方法及装置 | |
CN109145871B (zh) | 心理行为识别方法、装置与存储介质 | |
CN109271930B (zh) | 微表情识别方法、装置与存储介质 | |
WO2021232985A1 (zh) | 人脸识别方法、装置、计算机设备及存储介质 | |
US11341770B2 (en) | Facial image identification system, identifier generation device, identification device, image identification system, and identification system | |
CN111368672A (zh) | 一种用于遗传病面部识别模型的构建方法及装置 | |
WO2021196721A1 (zh) | 一种舱内环境的调整方法及装置 | |
CN115050064A (zh) | 人脸活体检测方法、装置、设备及介质 | |
CN105335719A (zh) | 活体检测方法及装置 | |
Wang et al. | A face-recognition approach using deep reinforcement learning approach for user authentication | |
CN112446322A (zh) | 眼球特征检测方法、装置、设备及计算机可读存储介质 | |
CN113095199A (zh) | 一种高速行人识别方法及装置 | |
Gajjar et al. | Intersection over Union based analysis of Image detection/segmentation using CNN model | |
KR20080100097A (ko) | 2차원 정준상관 분석법을 이용한 얼굴 인식 방법 | |
CN114627534B (zh) | 活体判别方法及电子设备、存储介质 | |
CN110675312A (zh) | 图像数据处理方法、装置、计算机设备以及存储介质 | |
CN116959123A (zh) | 一种人脸活体检测方法、装置、设备及存储介质 | |
CN115171042A (zh) | 一种学生课堂行为的识别方法、装置、终端设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40030903 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |