CN115082994A - 人脸活体检测方法、活体检测网络模型的训练方法及装置 - Google Patents
人脸活体检测方法、活体检测网络模型的训练方法及装置 Download PDFInfo
- Publication number
- CN115082994A CN115082994A CN202210745303.0A CN202210745303A CN115082994A CN 115082994 A CN115082994 A CN 115082994A CN 202210745303 A CN202210745303 A CN 202210745303A CN 115082994 A CN115082994 A CN 115082994A
- Authority
- CN
- China
- Prior art keywords
- network model
- living body
- training
- image
- detection network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 140
- 238000012549 training Methods 0.000 title claims abstract description 119
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000001727 in vivo Methods 0.000 claims abstract description 28
- 238000003062 neural network model Methods 0.000 claims abstract description 18
- 238000013135 deep learning Methods 0.000 claims abstract description 16
- 238000007781 pre-processing Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 14
- 239000000126 substance Substances 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 230000009471 action Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 230000003321 amplification Effects 0.000 description 3
- 230000007123 defense Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003014 reinforcing effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Computation (AREA)
- Computer Security & Cryptography (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种人脸活体检测方法、活体检测网络模型的训练方法及装置，涉及图像处理的技术领域，人脸活体检测方法包括：获取目标图像，将目标图像输入至预先训练好的活体检测网络模型，通过活体检测网络模型输出目标图像对应的分类值，根据分类值确定目标图像是否为对活体目标采集的图像。本发明提供的人脸活体检测方法、活体检测网络模型的训练方法及装置，可以根据活体与非活体的原感深度图像的轮廓差异来进行检测，有效抵御假脸攻击的同时，也大大提高了真人通过率。并且，本发明实施例使用的活体检测网络模型为基于MobilenetV2为主干网络建立的深度学习神经网络模型，可以有效提高性，且满足移动端的实时高效准确的要求。
Description
技术领域
本发明涉及图像处理的技术领域，尤其是涉及一种人脸活体检测方法、活体检测网络模型的训练方法及装置。
背景技术
随着移动互联网的发展，身份验证场景在金融保险、银行证券等领域得到越来越多关注，例如，可以在用户登录过程中，通过身份验证场景确定用户对象的真实性。
但是，随之而来的也出现了假脸攻击的手段，并且，假脸攻击对人脸活体检测巨大的威胁也越来越大，而且假脸攻击手段越来越丰富，这对人脸活体检测的防御能力提出了更高的要求。
发明内容
有鉴于此，本发明的目的在于提供一种人脸活体检测方法、活体检测网络模型的训练方法及装置，以缓解上述技术问题，为身份验证场景提供有力的保障。
第一方面，本发明实施例提供了一种人脸活体检测方法，包括：获取目标图像，其中，所述目标图像为对包含有人脸的原感深度图像进行预处理得到的图像；将所述目标图像输入至预先训练好的活体检测网络模型，通过所述活体检测网络模型输出所述目标图像对应的分类值；其中，所述活体检测网络模型为基于MobilenetV2为主干网络建立的深度学习神经网络模型；根据所述分类值确定所述目标图像是否为对活体目标采集的图像。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，上述获取目标图像的步骤，包括：获取图像采集设备在原感深度模式下采集的原感深度图像；对所述原感深度图像进行预处理，以剔除所述原感深度图像中所包括的背景因素，得到包含人脸轮廓的目标图像。
结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，上述活体检测网络模型输出的分类值包括所述目标图像所包含的人脸为活体人脸的第一概率和所述目标图像所包含的人脸为非活体人脸的第二概率；根据所述分类值确定所述目标图像是否为对活体目标采集的图像的步骤，包括：如果所述第一概率大于所述第二概率，则确定所述目标图像为对活体目标采集的图像；如果所述第二概率大于所述第一概率，则确定所述目标图像为对非活体目标采集的图像。
第二方面，本发明实施例还提供一种活体检测网络模型的训练方法，所述方法包括：获取训练集，其中，所述训练集中包含标记有真实分类标签的训练样本图像；将所述训练样本图像输入至预先构建的初始化的活体检测网络模型，通过所述初始化的活体检测网络模型输出所述训练样本图像对应的训练分类值；其中，所述初始化的活体检测网络模型为基于MobilenetV2为主干网络建立的深度学习神经网络模型；根据所述训练分类值和所述训练样本图像的真实分类标签计算交叉熵损失，并基于所述交叉熵损失调整所述初始化的活体检测网络模型的网络参数，以生成活体检测网络模型。
结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，上述初始化的活体检测网络模型包括依次连接的MobilenetV2主干网络、自定义卷积层、多尺度卷积层、全连接层和softmax层。
结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，上述根据所述训练分类值和所述训练样本图像的真实分类标签计算交叉熵损失的步骤，包括：根据所述训练分类值和所述训练样本图像的真实分类标签，按照下述公式计算交叉熵损失：
其中，
表示交叉熵损失，y表示所述真实分类标签；
表示训练分类值，i为所述训练集中的第i个训练样本图像，N表示训练所述活体检测网络模型所使用的训练样本图像的总数量。
第三方面，本发明实施例还提供一种人脸活体检测装置，所述装置包括：第一获取模块，用于获取目标图像，其中，所述目标图像为对包含有人脸的原感深度图像进行预处理得到的图像；检测模块，用于将所述目标图像输入至预先训练好的活体检测网络模型，通过所述活体检测网络模型输出所述目标图像对应的分类值；其中，所述活体检测网络模型为基于MobilenetV2为主干网络建立的深度学习神经网络模型；分类模块，用于根据所述分类值确定所述目标图像是否为对活体目标采集的图像。
第四方面，本发明实施例还提供一种活体检测网络模型的训练装置，所述装置包括：第二获取模块，用于获取训练集，其中，所述训练集中包含标记有真实分类标签的训练样本图像；训练模块，用于将所述训练样本图像输入至预先构建的初始化的活体检测网络模型，通过所述初始化的活体检测网络模型输出所述训练样本图像对应的训练分类值；其中，所述初始化的活体检测网络模型为基于MobilenetV2为主干网络建立的深度学习神经网络模型；计算模块，用于根据所述训练分类值和所述训练样本图像的真实分类标签计算交叉熵损失，并基于所述交叉熵损失调整所述初始化的活体检测网络模型的网络参数，以生成活体检测网络模型。
第五方面，本发明实施例还提供一种服务器，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面和第二方面所述的方法的步骤。
第六方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面和第二方面所述的方法的步骤。
本发明实施例带来了以下有益效果：
本发明实施例提供的人脸活体检测方法、活体检测网络模型的训练方法及装置，在进行人脸活体检测时，可以获取目标图像；将目标图像输入至预先训练好的活体检测网络模型，通过活体检测网络模型输出目标图像对应的分类值；然后根据分类值确定目标图像是否为对活体目标采集的图像，由于上述目标图像为对包含有人脸的原感深度图像进行预处理得到的图像，因此，可以根据活体与非活体的原感深度图像的轮廓差异来进行检测，有效抵御假脸攻击的同时，也大大提高了真人通过率。并且，本发明实施例使用的活体检测网络模型为基于MobilenetV2为主干网络建立的深度学习神经网络模型，可以有效提高性，且满足移动端的实时高效准确的要求。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种人脸活体检测方法的流程图；
图2为本发明实施例提供的一种原感深度图像的示意图；
图3为本发明实施例提供的一种活体检测网络模型的训练方法的流程图；
图4为本发明实施例提供的一种活体检测网络模型的网络示意图；
图5为本发明实施例提供的一种人脸活体检测装置的结构示意图；
图6为本发明实施例提供的一种活体检测网络模型的训练装置的结构示意图；
图7为本发明实施例提供的一种服务器的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在金融保险、银行证券等领域，身份验证场景得到越来越多关注，特别是人脸识别场景，越来越多被用于线上或线下办理业务。随之而来的假脸攻击对人脸活体检测的巨大威胁也越来越大，而且假脸攻击手段越来越丰富，这对人脸活体检测的防御能力提出了更高的要求。
目前，研究者针对活体检测做了很多的尝试，业界普遍使用的方法有：
(1)基于单张图像的静默活体，此类方法通过搜集海量数据(包括人脸活体图片和人脸非活体图片)进行二分类训练网络模型，此类方法存在以下问题:需要搜集海量数据，而且二分类网络模型对各种黑产软件合成的非活体表现较差，防不胜防；
(2)基于随机动作的动作活体，此类方法通常是设备端提示用户张张嘴，摇摇头，眨眨眼等动作进行配合验证，此类方法存在以下问题：当攻击用户采用提前录制的带有上述动作的攻击视频时往往容易绕过动作活体验证；
(3)基于脸部炫光的炫光活体，此类方法通常是通过设备端采集人脸时对用户进行脸部随机打颜色光线，然后分析用户脸部光线特征从而判断活体与非活体。此类方法有以下问题：当环境光强较强时，容易导致用户脸部炫不上光，易产生误判导致活体通不过，错误拒绝率偏高。
基于此，本发明实施例提供的一种人脸活体检测方法、活体检测网络模型的训练方法及装置，可以有效缓解上述问题，并更好地服务于人脸活体认证，加固金融保险、银行证券等领域的人脸识别应用。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种人脸活体检测方法进行详细介绍。
在一种可能的实施方式中，本发发明实施例提供了一种人脸活体检测方法，如图1所示的一种人脸活体检测方法的流程图，该方法包括以下步骤：
步骤S102，获取目标图像；
其中，本发明实施例中的目标图像为对包含有人脸的原感深度图像进行预处理得到的图像；
步骤S104，将目标图像输入至预先训练好的活体检测网络模型，通过活体检测网络模型输出目标图像对应的分类值；
其中，本发明实施例中的活体检测网络模型为基于MobilenetV2为主干网络建立的深度学习神经网络模型；
步骤S106，根据分类值确定目标图像是否为对活体目标采集的图像。
在实际使用时，上述目标图像由于是对原感深度图像进行预处理得到的，因此，上述目标图像实际也是一种原感深度图像，原感深度图像通常也可以称为Depth图像，对于活体目标采集的原感深度图像呈现的轮廓较为清晰完整，而非活体目标，如屏幕翻拍、纸张攻击等伪造的假脸对应的原感深度图像则是平滑，且没有轮廓可见的，因此，活体目标与非活体目标所呈现的真脸和假脸的差异分明，因此，通过本发明实施例提供的人脸活体检测方法，可以有效抵御假脸攻击的同时，大大提高真人通过率。
为了便于理解，图2示出了一种原感深度图像的示意图，其中，图2中左侧的(a)示出的是真人的原感深度图像，即活体目标的原感深度图像，图2中，右侧的(b)示出的是假脸照片的原感深度图像，即，非活体目标的原感深度图像，由图2可以看出，真假人脸的差异十分分明。
进一步，上述步骤S104中所使用的基于MobilenetV2为主干网络建立的深度学习神经网络模型，实际是一种轻量级深度神经网络模型，该模型可以实现在复杂背景下使鲁棒性更高，并且，当本发明实施例提供的上述人脸活体检测方法应用于移动端时，可以有效满足移动端的实时高效准确的要求。
因此，本发明实施例提供的人脸活体检测方法，在进行人脸活体检测时，可以获取目标图像；将目标图像输入至预先训练好的活体检测网络模型，通过活体检测网络模型输出目标图像对应的分类值；然后根据分类值确定目标图像是否为对活体目标采集的图像，由于上述目标图像为对包含有人脸的原感深度图像进行预处理得到的图像，因此，可以根据活体与非活体的原感深度图像的轮廓差异来进行检测，有效抵御假脸攻击的同时，也大大提高了真人通过率。并且，本发明实施例使用的活体检测网络模型为基于MobilenetV2为主干网络建立的深度学习神经网络模型，可以有效提高性，且满足移动端的实时高效准确的要求。
在实际使用时，本发明实施例的上述人脸活体检测方法，可以应用于移动端，也可以应用于服务器的云端，以银行领域为例，可以用于口袋银行APP的人脸SDK，并为口袋银行APP提供一种基于原感深度图像分析人脸活体的方案，可以用于辅助人脸活体检测，加固防御假脸攻击能力，以此对假脸进行快速拦截。
具体实现时，可以从口袋银行APP的人脸SDK采集前置摄像头的人脸原感深度图像，然后经过预处理，得到上述步骤S102中的目标图像，具体地，上述步骤S102中，获取目标图像的步骤，可以包括以下过程：获取图像采集设备在原感深度模式下采集的原感深度图像；对原感深度图像进行预处理，以剔除原感深度图像中所包括的背景因素，得到包含人脸轮廓的目标图像。
同样以上述人脸活体检测方法用于口袋银行APP的人脸SDK为例进行说明，在获取目标图像时，可以开启相机原感深度图采集模式，在口袋银行APP的人脸识别验证的过程中随机采集一张原感深度图，然后进行预处理，具体地，预处理过程通常包括像素处理过程，以便于达到剔除背景因素的目的。例如，对于采集的原感深度图像，在预处理时，可以将原感深度图像的像素值大于像素阈值的点置为0，如，将大于170像素的像素点置为0，可以达到剔除背景和原感深度图像只保留轮廓的目的，并且，在剔除背景因素时，还可以将背景区域进一步填充成单一颜色背景，例如，将背景区域设置成黑色等等，以便于更好地得到包含人脸轮廓的目标图像。
进一步，上述步骤S104中，对目标图像进行处理时，活体检测网络模型实际输出的分类值包括目标图像所包含的人脸为活体人脸的第一概率和目标图像所包含的人脸为非活体人脸的第二概率，即，活体检测网络模型实际是一个2维输出，上述步骤S106中，在根据分类值确定目标图像是否为对活体目标采集的图像时，如果活体人脸对应的第一概率大于非活体人脸对应的第二概率，则确定目标图像为对活体目标采集的图像；如果非活体人脸第二概率大于活体人脸对应的第一概率，则确定目标图像为对非活体目标采集的图像，即，活体检测网络模型的输出概率值最大值即为最终的分类情况。
具体实现时，为了使活体检测网络模型具有上述活体检测的功能，需要预先使用标记有真实分类标签的训练样本图像对初始化的活体检测网络模型进行迭代训练，以便于使初始化的活体检测网络模型收敛，并有效地对上述目标图像进行检测。因此，在上述实施例的基础上，本发明实施例还提供了一种活体检测网络模型的训练方法，具体地，图3示出了一种活体检测网络模型的训练方法的流程图，该方法包括以下步骤：
步骤S302，获取训练集；
其中，本发明实施例中的训练集中包含标记有真实分类标签的训练样本图像；
步骤S304，将训练样本图像输入至预先构建的初始化的活体检测网络模型，通过初始化的活体检测网络模型输出训练样本图像对应的训练分类值；
步骤S306，根据训练分类值和训练样本图像的真实分类标签计算交叉熵损失，并基于交叉熵损失调整初始化的活体检测网络模型的网络参数，以生成活体检测网络模型。
其中，上述初始化的活体检测网络模型为基于MobilenetV2为主干网络建立的深度学习神经网络模型。
具体地，本发明实施例中，该活体检测网络模型的设计，采用了迁移学习的技术，主干网络选择MobilenetV2网络，该网络是一种专注于移动端或者嵌入式设备的轻量级CNN(Convolutional Neural Networks，简称CNN，卷积神经网络)网络，可以在准确率只有极小幅降低的情况下，大量减少参数与运算量。
为了便于理解，图4示出了一种活体检测网络模型的网络示意图，如图4所示，示出了网络结构，以及输入的训练样本图像，具体地，本发明实施例中的初始化的活体检测网络模型包括依次连接的MobilenetV2主干网络、自定义卷积层、多尺度卷积层，即图4中的Mutiscale Layer，全连接层(图4中的FC Layer)和softmax层。在构建该网络时，主干网络选择MobilenetV2，MobileNetV2去掉后面三层(即卷积层、平均池化层和全连接层)，并接入自定义卷积层、多尺度卷积层，全连接层和softmax层，其中，全连接层的输出为2个神经元，用于输出活体或者非活体的概率。
在训练该网络时，通常需要预先构建训练集，通常，该训练集包含大量训练样本图像，训练样本图像通常是预先标注有真是分类标签的样本图像，且，该训练样本图像也是经过预处理之后的原感深度图像，并且，为了使训练集更加丰富，并使训练的活体检测网络模型更加具有鲁棒性，通常还可以对训练集中的训练样本图像进行数据扩增和数据归一化处理，其中，数据扩增一般包括随机裁剪和补边、随机颜色抖动，归一化处理则是将训练样本图像的像素值归一化到0-1之间，具体实现时，对于训练样本图像在归一化处理时，可以先将图像的像素除以255，把图像数据归一化到0-1之间，然后RGB三个通道分别减均值(0.485，0.456，0.406)，再分别除方差(0.229，0.224，0.225)，具体的数据扩增和数据归一化处理还可以根据实际使用需求进行调整，本发明实施例对此不进行限制。
进一步，训练过程中计算交叉熵损失时，可以根据训练分类值和训练样本图像的真实分类标签，按照下述公式计算交叉熵损失：
其中，
表示交叉熵损失，y表示所述真实分类标签；
表示训练分类值，i为训练集中的第i个训练样本图像，N表示训练活体检测网络模型所使用的训练样本图像的总数量。
进一步，上述步骤S306中，基于交叉熵损失所调整的网络参数一般包括优化器Adam，超参数β1和β2，以及学习率。通常，优化器Adam训练时可以采用开源库提供的优化参数，超参数β1和β2通常可以根据经验值分别设置为0.9和0.999，学习率也可以根据经验值进行设置，一般为e-5；在训练活体检测网络模型通常采用重复迭代的方式，对网络参数进行更新，一般重复迭代多次，如25次，直至网络参数收敛，交叉熵损失降至最小。具体训练过程采取的迭代次数和网络参数的经验值可以根据实际使用情况进行设置，本发明实施例对此不进行限制。
综上，本发明实施例提供的人脸活体检测方法，具有以下有益效果：
(1)根据原感深度图像有效抵御假脸攻击，同时，也大大提高了真人通过率。
(2)采用基于轻量级深度神经网络模型实现活体检测，加入多尺度卷积层使得该模型在复杂背景下鲁棒性更高，且满足移动端的实时高效准确的要求。
(3)本发明实施例提供的人脸活体检测方法，可以用于口袋银行APP的人脸SDK，为口袋银行APP提供了一种基于原感深度图像分析人脸活体的方案，用于辅助人脸活体检测，加固防御假脸攻击能力，以此对假脸进行快速拦截。
进一步，对应于上述实施例提供的人脸活体检测方法，本发明实施例还提供了一种人脸活体检测装置，如图5所示的一种人脸活体检测装置的结构示意图，该装置包括以下步骤：
第一获取模块50，用于获取目标图像，其中，所述目标图像为对包含有人脸的原感深度图像进行预处理得到的图像；
检测模块52，用于将所述目标图像输入至预先训练好的活体检测网络模型，通过所述活体检测网络模型输出所述目标图像对应的分类值；其中，所述活体检测网络模型为基于MobilenetV2为主干网络建立的深度学习神经网络模型；
分类模块54，用于根据所述分类值确定所述目标图像是否为对活体目标采集的图像。
进一步，对应于上述实施例提供的活体检测网络模型的训练方法，本发明实施例还提供了一种活体检测网络模型的训练装置，如图6所示的一种活体检测网络模型的训练装置的结构示意图，该装置包括：
第二获取模块60，用于获取训练集，其中，所述训练集中包含标记有真实分类标签的训练样本图像；
训练模块62，用于将所述训练样本图像输入至预先构建的初始化的活体检测网络模型，通过所述初始化的活体检测网络模型输出所述训练样本图像对应的训练分类值；其中，所述初始化的活体检测网络模型为基于MobilenetV2为主干网络建立的深度学习神经网络模型；
计算模块64，用于根据所述训练分类值和所述训练样本图像的真实分类标签计算交叉熵损失，并基于所述交叉熵损失调整所述初始化的活体检测网络模型的网络参数，以生成活体检测网络模型。
本发明实施例提供的人脸活体检测装置和活体检测网络模型的训练装置，与上述实施例提供的人脸活体检测方法和活体检测网络模型的训练方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
进一步，本发明实施例还提供了一种服务器，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述方法的步骤。
进一步，本发明实施例还提供了一种服务器的结构示意图，如图7所示，为该服务器的结构示意图，其中，该服务器包括处理器71和存储器70，该存储器70存储有能够被该处理器71执行的计算机可执行指令，该处理器71执行该计算机可执行指令以实现上述方法。
在图7示出的实施方式中，该服务器还包括总线72和通信接口73，其中，处理器71、通信接口73和存储器70通过总线72连接。
其中，存储器70可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口73(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线72可以是ISA(IndustryStandard Architecture，工业标准体系结构)总线、PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线72可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
处理器71可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器71中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器71可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器71读取存储器中的信息，结合其硬件完成前述方法
本发明实施例所提供的人脸活体检测方法、活体检测网络模型的训练方法及装置的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种人脸活体检测方法，其特征在于，包括：
获取目标图像，其中，所述目标图像为对包含有人脸的原感深度图像进行预处理得到的图像；
将所述目标图像输入至预先训练好的活体检测网络模型，通过所述活体检测网络模型输出所述目标图像对应的分类值；其中，所述活体检测网络模型为基于MobilenetV2为主干网络建立的深度学习神经网络模型；
根据所述分类值确定所述目标图像是否为对活体目标采集的图像。
2.根据权利要求1所述的方法，其特征在于，所述获取目标图像的步骤，包括：
获取图像采集设备在原感深度模式下采集的原感深度图像；
对所述原感深度图像进行预处理，以剔除所述原感深度图像中所包括的背景因素，得到包含人脸轮廓的目标图像。
3.根据权利要求1所述的方法，其特征在于，所述活体检测网络模型输出的分类值包括所述目标图像所包含的人脸为活体人脸的第一概率和所述目标图像所包含的人脸为非活体人脸的第二概率；
根据所述分类值确定所述目标图像是否为对活体目标采集的图像的步骤，包括：
如果所述第一概率大于所述第二概率，则确定所述目标图像为对活体目标采集的图像；
如果所述第二概率大于所述第一概率，则确定所述目标图像为对非活体目标采集的图像。
4.一种活体检测网络模型的训练方法，其特征在于，所述方法包括：
获取训练集，其中，所述训练集中包含标记有真实分类标签的训练样本图像；
将所述训练样本图像输入至预先构建的初始化的活体检测网络模型，通过所述初始化的活体检测网络模型输出所述训练样本图像对应的训练分类值；其中，所述初始化的活体检测网络模型为基于MobilenetV2为主干网络建立的深度学习神经网络模型；
根据所述训练分类值和所述训练样本图像的真实分类标签计算交叉熵损失，并基于所述交叉熵损失调整所述初始化的活体检测网络模型的网络参数，以生成活体检测网络模型。
5.根据权利要求4所述的方法，其特征在于，所述初始化的活体检测网络模型包括依次连接的MobilenetV2主干网络、自定义卷积层、多尺度卷积层、全连接层和softmax层。
6.根据权利要求4所述的方法，其特征在于，根据所述训练分类值和所述训练样本图像的真实分类标签计算交叉熵损失的步骤，包括：
根据所述训练分类值和所述训练样本图像的真实分类标签，按照下述公式计算交叉熵损失：
其中，
表示交叉熵损失，y表示所述真实分类标签；
表示训练分类值，i为所述训练集中的第i个训练样本图像，N表示训练所述活体检测网络模型所使用的训练样本图像的总数量。
7.一种人脸活体检测装置，其特征在于，所述装置包括：
第一获取模块，用于获取目标图像，其中，所述目标图像为对包含有人脸的原感深度图像进行预处理得到的图像；
检测模块，用于将所述目标图像输入至预先训练好的活体检测网络模型，通过所述活体检测网络模型输出所述目标图像对应的分类值；其中，所述活体检测网络模型为基于MobilenetV2为主干网络建立的深度学习神经网络模型；
分类模块，用于根据所述分类值确定所述目标图像是否为对活体目标采集的图像。
8.一种活体检测网络模型的训练装置，其特征在于，所述装置包括：
第二获取模块，用于获取训练集，其中，所述训练集中包含标记有真实分类标签的训练样本图像；
训练模块，用于将所述训练样本图像输入至预先构建的初始化的活体检测网络模型，通过所述初始化的活体检测网络模型输出所述训练样本图像对应的训练分类值；其中，所述初始化的活体检测网络模型为基于MobilenetV2为主干网络建立的深度学习神经网络模型；
计算模块，用于根据所述训练分类值和所述训练样本图像的真实分类标签计算交叉熵损失，并基于所述交叉熵损失调整所述初始化的活体检测网络模型的网络参数，以生成活体检测网络模型。
9.一种服务器，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述权利要求1-6任一项所述的方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述权利要求1-6任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210745303.0A CN115082994A (zh) | 2022-06-27 | 2022-06-27 | 人脸活体检测方法、活体检测网络模型的训练方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210745303.0A CN115082994A (zh) | 2022-06-27 | 2022-06-27 | 人脸活体检测方法、活体检测网络模型的训练方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115082994A true CN115082994A (zh) | 2022-09-20 |
Family
ID=83255804
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210745303.0A Pending CN115082994A (zh) | 2022-06-27 | 2022-06-27 | 人脸活体检测方法、活体检测网络模型的训练方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115082994A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115512428A (zh) * | 2022-11-15 | 2022-12-23 | 华南理工大学 | 一种人脸活体判别方法、系统、装置和存储介质 |
| CN115601818A (zh) * | 2022-11-29 | 2023-01-13 | 海豚乐智科技（成都）有限责任公司（Cn） | 一种轻量化可见光活体检测方法及装置 |
| CN116110111A (zh) * | 2023-03-23 | 2023-05-12 | 平安银行股份有限公司 | 人脸识别方法、电子设备及存储介质 |
| CN117011918A (zh) * | 2023-08-08 | 2023-11-07 | 南京工程学院 | 基于线性注意力机制的人脸活体检测模型的构建方法 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109086727A (zh) * | 2018-08-10 | 2018-12-25 | 北京奇艺世纪科技有限公司 | 一种确定人体头部的运动角度的方法、装置及电子设备 |
| CN109240489A (zh) * | 2018-08-10 | 2019-01-18 | 广东小天才科技有限公司 | 学习机的用户切换方法、装置、终端及介质 |
| CN109684924A (zh) * | 2018-11-21 | 2019-04-26 | 深圳奥比中光科技有限公司 | 人脸活体检测方法及设备 |
| CN110674759A (zh) * | 2019-09-26 | 2020-01-10 | 深圳市捷顺科技实业股份有限公司 | 一种基于深度图的单目人脸活体检测方法、装置及设备 |
| CN111597938A (zh) * | 2020-05-07 | 2020-08-28 | 马上消费金融股份有限公司 | 活体检测、模型训练方法及装置 |
| CN112597885A (zh) * | 2020-12-22 | 2021-04-02 | 北京华捷艾米科技有限公司 | 人脸活体检测方法、装置、电子设备及计算机存储介质 |
| CN113449623A (zh) * | 2021-06-21 | 2021-09-28 | 浙江康旭科技有限公司 | 一种基于深度学习的轻型活体检测方法 |
| CN113705425A (zh) * | 2021-08-25 | 2021-11-26 | 北京百度网讯科技有限公司 | 活体检测模型的训练方法和活体检测的方法、装置、设备 |
| CN113780222A (zh) * | 2021-09-17 | 2021-12-10 | 深圳市繁维科技有限公司 | 一种人脸活体检测方法、装置、电子设备和可读存储介质 |
| CN113792643A (zh) * | 2021-09-10 | 2021-12-14 | 武汉理工大学 | 活体人脸识别方法及系统 |
| CN114445917A (zh) * | 2022-01-20 | 2022-05-06 | 深圳市瑞驰信息技术有限公司 | 一种人脸活体识别网络训练方法、系统及电子设备 |
| CN114627520A (zh) * | 2020-12-11 | 2022-06-14 | 深圳市光鉴科技有限公司 | 活体检测模型训练方法、系统、设备及存储介质 |
-
2022
- 2022-06-27 CN CN202210745303.0A patent/CN115082994A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109086727A (zh) * | 2018-08-10 | 2018-12-25 | 北京奇艺世纪科技有限公司 | 一种确定人体头部的运动角度的方法、装置及电子设备 |
| CN109240489A (zh) * | 2018-08-10 | 2019-01-18 | 广东小天才科技有限公司 | 学习机的用户切换方法、装置、终端及介质 |
| CN109684924A (zh) * | 2018-11-21 | 2019-04-26 | 深圳奥比中光科技有限公司 | 人脸活体检测方法及设备 |
| CN110674759A (zh) * | 2019-09-26 | 2020-01-10 | 深圳市捷顺科技实业股份有限公司 | 一种基于深度图的单目人脸活体检测方法、装置及设备 |
| CN111597938A (zh) * | 2020-05-07 | 2020-08-28 | 马上消费金融股份有限公司 | 活体检测、模型训练方法及装置 |
| CN114627520A (zh) * | 2020-12-11 | 2022-06-14 | 深圳市光鉴科技有限公司 | 活体检测模型训练方法、系统、设备及存储介质 |
| CN112597885A (zh) * | 2020-12-22 | 2021-04-02 | 北京华捷艾米科技有限公司 | 人脸活体检测方法、装置、电子设备及计算机存储介质 |
| CN113449623A (zh) * | 2021-06-21 | 2021-09-28 | 浙江康旭科技有限公司 | 一种基于深度学习的轻型活体检测方法 |
| CN113705425A (zh) * | 2021-08-25 | 2021-11-26 | 北京百度网讯科技有限公司 | 活体检测模型的训练方法和活体检测的方法、装置、设备 |
| CN113792643A (zh) * | 2021-09-10 | 2021-12-14 | 武汉理工大学 | 活体人脸识别方法及系统 |
| CN113780222A (zh) * | 2021-09-17 | 2021-12-10 | 深圳市繁维科技有限公司 | 一种人脸活体检测方法、装置、电子设备和可读存储介质 |
| CN114445917A (zh) * | 2022-01-20 | 2022-05-06 | 深圳市瑞驰信息技术有限公司 | 一种人脸活体识别网络训练方法、系统及电子设备 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115512428A (zh) * | 2022-11-15 | 2022-12-23 | 华南理工大学 | 一种人脸活体判别方法、系统、装置和存储介质 |
| CN115512428B (zh) * | 2022-11-15 | 2023-05-23 | 华南理工大学 | 一种人脸活体判别方法、系统、装置和存储介质 |
| CN115601818A (zh) * | 2022-11-29 | 2023-01-13 | 海豚乐智科技（成都）有限责任公司（Cn） | 一种轻量化可见光活体检测方法及装置 |
| CN116110111A (zh) * | 2023-03-23 | 2023-05-12 | 平安银行股份有限公司 | 人脸识别方法、电子设备及存储介质 |
| CN116110111B (zh) * | 2023-03-23 | 2023-09-08 | 平安银行股份有限公司 | 人脸识别方法、电子设备及存储介质 |
| CN117011918A (zh) * | 2023-08-08 | 2023-11-07 | 南京工程学院 | 基于线性注意力机制的人脸活体检测模型的构建方法 |
| CN117011918B (zh) * | 2023-08-08 | 2024-03-26 | 南京工程学院 | 基于线性注意力机制的人脸活体检测模型的构建方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11783639B2 (en) | Liveness test method and apparatus | |
| CN107423690B (zh) | 一种人脸识别方法及装置 | |
| CN115082994A (zh) | 人脸活体检测方法、活体检测网络模型的训练方法及装置 | |
| EP3333768A1 (en) | Method and apparatus for detecting target | |
| CN110569756B (zh) | 人脸识别模型构建方法、识别方法、设备和存储介质 | |
| CN111274916B (zh) | 人脸识别方法和人脸识别装置 | |
| CN107944427B (zh) | 动态人脸识别方法及计算机可读存储介质 | |
| CN108664843B (zh) | 活体对象识别方法、设备和计算机可读存储介质 | |
| JP2020525947A (ja) | 操作された画像の検出 | |
| WO2020244071A1 (zh) | 基于神经网络的手势识别方法、装置、存储介质及设备 | |
| CN108416291B (zh) | 人脸检测识别方法、装置和系统 | |
| TW200910223A (en) | Image processing apparatus and image processing method | |
| CN111368758A (zh) | 一种人脸模糊度检测方法、装置、计算机设备及存储介质 | |
| CN110866466A (zh) | 一种人脸识别方法、装置、存储介质和服务器 | |
| Kimura et al. | CNN hyperparameter tuning applied to iris liveness detection | |
| CN110532746B (zh) | 人脸校验方法、装置、服务器及可读存储介质 | |
| CN113378609B (zh) | 代理商代签名的识别方法及装置 | |
| CN115358952B (zh) | 一种基于元学习的图像增强方法、系统、设备和存储介质 | |
| CN116386117A (zh) | 人脸识别方法、装置、设备及存储介质 | |
| Zaidan et al. | A novel hybrid module of skin detector using grouping histogram technique for Bayesian method and segment adjacent-nested technique for neural network | |
| CN110175509A (zh) | 一种基于级联超分辨率的全天候眼周识别方法 | |
| CN114913607A (zh) | 一种基于多特征融合的指静脉仿冒检测方法 | |
| CN113989870A (zh) | 一种活体检测方法、门锁系统及电子设备 | |
| CN113361422A (zh) | 一种基于角度空间损失承数的人脸识别方法 | |
| CN112183422A (zh) | 一种基于时空特征的人脸活体检测方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |