CN108985200A - 一种基于终端设备的非配合式的活体检测算法 - Google Patents

一种基于终端设备的非配合式的活体检测算法 Download PDF

Info

Publication number
CN108985200A
CN108985200A CN201810710629.3A CN201810710629A CN108985200A CN 108985200 A CN108985200 A CN 108985200A CN 201810710629 A CN201810710629 A CN 201810710629A CN 108985200 A CN108985200 A CN 108985200A
Authority
CN
China
Prior art keywords
neural networks
facial image
convolutional neural
training set
networks model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810710629.3A
Other languages
English (en)
Inventor
宁欣
李卫军
孙琳钧
徐健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Semiconductors of CAS
Original Assignee
Institute of Semiconductors of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Semiconductors of CAS filed Critical Institute of Semiconductors of CAS
Priority to CN201810710629.3A priority Critical patent/CN108985200A/zh
Publication of CN108985200A publication Critical patent/CN108985200A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于终端设备的非配合式的活体检测方法，包括：针对人脸活体检测问题，训练一个卷积神经网络模型C1；构建第一训练集，将第一训练集输入网络模型C1的测试网络获得软目标标签概率；设计并训练卷积神经网络模型C2；获取待检测的人脸图像；对该人脸图像进行归一化处理；将处理后人脸图像输入卷积神经网络模型C2的测试网络，得到分类概率，判断该人脸图像的真假。本发明实施例通过增加软目标标签，弥补了分类问题中监督信号不足问题，降低了搜索空间，提高了正则化，在训练小模型同时，提取了大模型的有用知识，保证了泛化能力的前提下，得到了一个性能相近的简单模型，该模型速度快，占内存小，可以在终端设备上进行使用。

Description

一种基于终端设备的非配合式的活体检测算法
技术领域
本发明涉及人脸活体检测领域，具体而言，涉及一种基于终端设备的非配合式的人脸活体检测方法。
背景技术
由于人脸获取方便、非接触式等优点，人脸识别深受人们的喜爱，广泛应用于人脸门禁、金融、军事等领域。但是由于电子设备的普及，人脸容易被人获取，并打印成照片或用电子照片和视频的方式攻击人脸识别系统。人脸活体检测是人脸识别广泛应用的前提，是保证用户安全的重要手段。随着智能终端设备的普及，人脸活体检测技术要应用到终端或者嵌入式端，对算法的速度有较高要求。
近几年，深度学习技术广泛应用于计算机视觉的任务上，其对性能的提升有目共睹，现有技术公开了一种基于卷积神经网络的人脸活体检测方法，基于cuda_convnet框架进行人脸活体的检测识别，还公开了一种多造假方式的人脸活体检测方法，使用卷积神经网络预测结果判断待识别是否为人脸活体；一般来说越复杂的网络，其对人脸活体的检测效果就越好，但是其算法的速度性能限制了其在智能终端和嵌入式端设备等内存和性能有限的设备上的应用，进而制约了人脸识别系统在智能终端的普及。
发明内容
(一)要解决的技术问题
有鉴于此，本发明实施例的目的在于提供一种基于终端设备的非配合试的人脸活体检测方法，通过模型压缩的方式对复杂活体检测模型进行压缩，以其保证准确判断人脸图像是否为活体的前提下，降低其复杂度，提升速度以便可以将人脸活体检测应用在智能终端设备上。
(二)技术方案
为了达到上述的目的，本发明采用的技术方案如下所述：
本发明提供一种针对终端设备的人脸活体检测方法，所述方法包括：
针对人脸活体检测问题，训练一个卷积神经网络模型C1；
构建第一训练集，该第一训练集包括造假人脸图像和真人人脸图像，以及每个图像样本对应的真值标签[pi0，pi1]；
检测该造假人脸图像和真人人脸图像中的人脸，确定人脸框，对人脸进行裁剪及归一化处理；
将归一化后的人脸图像和其对应的真值标签输入至卷积神经网络模型C1进行训练；
构建卷积神经网络模型C1的测试网络；
将训练卷积神经网络模型C1所用的第一训练集重新输入卷积神经网络模型C1的测试网络中，得到该训练集所对应的软目标概率[qi0，qi1]；
设计一个结构较所述卷积神经网络模型C1简单的、内存占用较所述卷积神经网络模型C1小的卷积神经网络模型C2，其后面接两个损失，一个是softmax Loss，其真值是一维向量构成的标签[pi0，pi1]，另一个是软损
失，其真值使用所述的软目标概率[qi0，qi1]。
构建第二训练集，该第二训练集包括按照预定比例构建的第二训练集和第二验证集，该第二训练集和第二验证集均包括造假人脸图像和真人人脸图像和其对应的两种真值标签，一种真值标签是第一训练集中每个样本对应的标签向量[pi0，pi1]，该标签向量输入SoftmaxWithLoss中，另一种真值标签是所述的软目标概率向量[qi0，qi1]，该概率向量输入SoftSoftmaxWithLoss中；
检测所述造假人脸图像和真人人脸图像中的人脸，确定人脸框，对人脸进行裁剪及归一化处理；
将归一化后的人脸图像和其对应的真值标签输入至卷积神经网络模型C2进行训练。
构建卷积神经网络模型C2的测试网络；
获取待检测的人脸图像；
对所述人脸图像进行归一化处理；
将处理后的人脸图像输入卷积神经网络模型C2的测试网络，得到分类概率，从而判断所述人脸图像的真假；
进一步地，构建第一训练集，第一训练集包括造假人脸图像和真人人脸图像，以及每个图像样本对应的真值标签[pi0，pi1]的步骤包括：
按照预定比例构建第一训练集和第一验证集，所述第一训练集和第一验证集均包括造假视频和真人视频，以及每个样本对应的真值标签，并且得到第一训练集中每个样本的标签向量[pi0，pi1]，其中pi0表示当样本属于造假样本的概率，pi1表示当样本属于真人样本的概率，比如第i个样本是真人样本的标签向量：[0，1]，否则为[1，0]。
进一步地，所述对人脸图像进行裁剪及归一化处理的步骤包括：
将所述造假人脸图像和真人人脸图像中的人脸框扩大，将扩大后的人脸框对应的原图中的区域裁剪出来对裁剪后出人脸图像进行归一化处理。
进一步地，所述构建卷积神经网络模型C1的测试网络的步骤包括：
卷积神经网络模型C1的测试网络包含与训练网络相同的卷积层和全连接层，其中最后一层的SoftmaxWithLoss替换成soft softmax。
进一步的，所述将训练卷积神经网络模型C1所用的第一训练集重新输入卷积神经网络模型C1的测试网络中，得到该训练集所对应的软目标概率[qi0，qi1]的步骤包括：
将第一训练集输入卷积神经网络模型C1的测试网络，得到每个样本的分类概率，其中，soft softmax即：
这样得到训练集中样本i的软类别标签向量：[qi0，qi1]，其中，qi0表示当样本属于造假样本的软目标概率，qi1表示当样本属于真人样本的软目标概率。
进一步的，构建第二训练集的步骤包括：
选择与所述卷积神经网络模型C1训练时第一训练集中同样的图像样本，但是其真值标签一共有两种，一种是：[pi0，pi1]，一种是：[qi0，qi1]，并以此构建训练卷积神经网络模型C2的第二训练集。
进一步的，构建卷积神经网络模型C2的测试网络的步骤包括：
卷积神经网络模型C2的测试网络包含与训练网络相同的卷积层和全连接层，其中最后一层的SoftmaxWithLoss替换成soft softmax。
总体来说，卷积神经网络模型C2是比卷积神经网络模型C1结构简单、内存占用低的一个可在终端设备上普及的卷积神经网络，卷积神经网络模型C1与卷积神经网络模型C2的网络结构可以由技术人员自定义，卷积神经网络模型C2通过学习卷积神经网络模型C1的训练方法，达到与卷积神经网络模型C1相似的性能及正确率。
(三)有益效果
本发明实施例提供的基于终端设备和嵌入式设备的非配合式的活体检测方法，通过增加软目标标签，弥补了分类问题中监督信号不足的问题，降低了搜索空间，从而提高了正则化，在训练小模型的同时，提取了大模型的有用知识，保证了泛化能力的前提下，得到了一个性能相近的简单模型，该模型速度快，占内存小，可以在终端设备上进行使用。
附图说明
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
图1是本发明实施例基于终端设备的活体检测方法的流程图。
图2是本发明实施例中卷积神经网络模型C1结构的示意图。
图3是本发明实施例中卷积神经网络模型C2结构的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
请参照图1，是本发明实施例提供的基于终端设备的非配合式的人脸活体检测方法的流程示意图。该方法包括以下步骤：
步骤S101，设计一个卷积神经网络模型C1。
在本实施例中，对卷积神经网络模型C1的操作包括以下步骤：
步骤S102，构建第一训练集，第一训练集包括造假人脸图像和真人人脸图像，以及每个图像样本对应的真值标签。
在实施例中，当第一训练集不包括第一验证集时，步骤S102还包括按照预定比例构建第一训练集和第一验证集，所述第一训练集和第一验证集均包括造假人脸图像和真人人脸图像，以及样本对应的真值标签。第一训练集和第一验证集的比例自由配置，例如可以为8∶2或7∶3，本发明实施例对此不做限定。
步骤S103，检测第一训练集中造假人脸图像和真人人脸图像中的人脸，确定人脸框，对人脸进行裁剪及归一化处理。
本实施例中，通过人脸检测算法检测所述图像中的人脸，人脸检测算法可以为现有的通用的人脸检测算法。利用人脸特征点定位算法，找到所述人脸的确定区域，得到确定的人脸框。人脸特征点定位算法可以为现有的通用的人脸特征点定位算法。在对人脸进行裁剪过程中，利用人脸特征点定位的算法，例如LBF、SER，找到人脸的准确区域，得到准确的人脸框，将该人脸框扩大，一般扩大1.8倍，将扩大后的人脸框对应的原图中的区域裁剪出来，裁剪出来的人脸既包括人脸，也包括一定的背景，一定的背景存在有利于分类真假视频。裁剪后的人脸图像经过归一化处理，归一化到120×120像素。
步骤S104，将归一化后的人脸图像和其对应的真值标签输入至卷积神经网络模型C1进行训练。
本实施例中，卷积神经网络模型C1包括输入层、多层卷积层、四个残差网络结构块、一个MaxPooling层、两个全连接层和SoftmaxWithLoss层，其中残差网络结构块包含卷积层、BatchNorm层、ReLU层、Eltwise层。
其中，归一化后的人脸图像和其对应的真值标签首先进入卷积神经网络C1的输入层，请参照图2，是卷积神经网络C1的结构，并以此展开训练过程，包括以下步骤：
输入层将归一化后的人脸图像进行随机裁剪，将裁剪后的人脸图像水平翻转，得到特定像素的图像，将特定像素的图像和其对应的真值标签送入卷积神经网络C1的第一个卷积层。
其中，输入层的图像包含RGB三个通道，且大小为120×120，将训练集分为2000个batch，每个batch大小为128。特定像素的图像的像素为112×112，将该batch内的图像打乱顺序送入第一个卷积层，
所述C1网络的第一个卷积层包括多个卷积核，所述第一个卷积层连接一个BatchNorm层、Scale层和ReLU层，所述特定像素的图像经过所述第一个卷积层后得到与所述第一个卷积层的卷积核对应数量的特征图像，特征图像经过BatchNorm层和Scale层对样本进行归一化，使其分布保持稳定，所述ReLU层使部分神经元输出为0，造成稀疏性，最终生成特征图像conv1-0然后送入C1网络的第一个残差网络结构块。
需要说明的是，C1网络的第一个卷积层的卷积核的个数为128个，每个卷积核的大小为5×5，卷积操作的步长为2，边界填充为1，经过第一个卷积层后得到128个像素为55×55的特征图像convl-0，作为优选的，每一个卷积层和ReLU层之间依次连接一个BatchNorm层和一个Scale层，经过BatchNorm层，Scale层，ReLU层并不改变特征图像的大小。
C1网络的第一个残差网络结构块包括两个卷积层，每个卷积均包括多个卷积核，特征图像conv1-0经过所述结构块的第一个卷积层得到与该卷积层的卷积核对应数量的特征图像，该特征图像经过BatchNorm层和Scale层对样本进行归一化，使其分布保持稳定，所述ReLU层使部分神经元输出为0，造成稀疏性，之后进入该残差网络结构块的第二个卷积层，得到与该卷积层的卷积核对应数量的特征图像，该特征图像经过BatchNorm层和Scale层对样本进行归一化，使其分布保持稳定，进入ReLU层使部分神经元输出为0，造成稀疏性，最终生成特征图像conv1-1连同所述特征图像conv1-0送入该残差网络结构块的Eltwise层，该层关联上下文的语义信息，即conv1-0和conv1-1的信息进行关联，生成特征图像res-1，送入C1网络的第二个卷积层；
需要说明的是，C1网络的第一个残差网络结构块包括两个卷积层，其中该残差网络结构块的第一个卷积包括128个卷积核，每个卷积核的大小为5×5，边界填充为1，卷积操作的步长为1，得到128个像素为55×55的特征图像，之后进入该残差网络结构块的第二个卷积层，得到128个像素为55×55的特征图像conv1-1，该第二个卷积层包括128个卷积核，每个卷积核的大小为3×3，卷积操作的步长为1，边界填充为1，特征图像conv1-0连同conv1-1进入该残差网络结构块的Eltwise层，生成特征图像res-1，作为优选的，每一个卷积层和ReLU层之间依次连接一个BatchNorm层和一个Scale层，经过BatchNorm层，Scale层，ReLU层并不改变特征图像的大小。
C1网络的第二个卷积层包括多个卷积核，该第二个卷积层连接一个BatchNorm层、Scale层和ReLU层，特征图像res-1经过所述该卷积层后得到与该卷积层的卷积核对应数量的特征图像，特征图像经过BatchNorm层和Scale层对样本进行归一化，使其分布保持稳定，所述ReLU层使部分神经元输出为0，造成稀疏性，最终生成特征图像conv2-0然后送入第二个残差网络结构块。
需要说明的是，C1网络的第二个卷积层的卷积核的个数为256个，每个卷积核的大小为3×3，卷积操作的步长为2，边界填充为1，经过第一个卷积层后得到256个像素为28×28的特征图像conv2-0，作为优选的，每一个卷积层和ReLU层之间依次连接一个BatchNorm层和一个Scale层，经过BatchNorm层，Scale层，ReLU层并不改变特征图像的大小。
C1网络的第二个残差网络结构块包括两个卷积层，每个卷积均包括多个卷积核，特征图像conv2-0经过所述结构块的第一个卷积层得到与该卷积层的卷积核对应数量的特征图像，该特征图像经过BatchNorm层和Scale层对样本进行归一化，使其分布保持稳定，所述ReLU层使部分神经元输出为0，造成稀疏性，之后进入该残差网络结构块的第二个卷积层，得到与该卷积层的卷积核对应数量的特征图像，该特征图像经过BatchNorm层和Scale层对样本进行归一化，使其分布保持稳定，进入ReLU层使部分神经元输出为0，造成稀疏性，最终最终生成特征图像conv2-1连同所述特征图像conv2-0送入该残差网络结构块的Eltwise层，该层关联上下文的语义信息，即conv2-0和conv2-1的信息进行关联，生成特征图像res-2，送入C1网络的第三个残差网络结构块；
需要说明的是，C1网络的第二个残差网络结构块包括两个卷积层，其中该残差网络结构块的第一个卷积包括256个卷积核，每个卷积核的大小为3×3，边界填充为1，卷积操作的步长为1，得到256个像素为28×28的特征图像，之后进入该残差网络结构块的第二个卷积层，得到256个像素为28×28的特征图像conv2-1，该第二个卷积层包括256个卷积核，每个卷积核的大小为3×3，卷积操作的步长为1，边界填充为1，特征图像conv2-0连同conv2-1进入该残差网络结构块的Eltwise层，生成特征图像res-2，作为优选的，每一个卷积层和ReLU层之间依次连接一个BatchNorm层和一个Scale层，经过BatchNorm层，Scale层，ReLU层并不改变特征图像的大小。
C1网络的第三个残差网络结构块包括两个卷积层，每个卷积均包括多个卷积核，特征图像res-2经过所述结构块的第一个卷积层得到与该卷积层的卷积核对应数量的特征图像，该特征图像经过BatchNorm层和Scale层对样本进行归一化，使其分布保持稳定，所述ReLU层使部分神经元输出为0，造成稀疏性，之后进入该残差网络结构块的第二个卷积层，得到与该卷积层的卷积核对应数量的特征图像，该特征图像经过BatchNorm层和Scale层对样本进行归一化，使其分布保持稳定，进入ReLU层使部分神经元输出为0，造成稀疏性，最终生成特征图像conv3-1连同所述特征图像res-2送入该残差网络结构块的Eltwise层，该层关联上下文的语义信息，即res-2和conv3-1的信息进行关联，生成特征图像res-3，送入C1网络的第三个卷积层；
需要说明的是，C1网络的第三个残差网络结构块包括两个卷积层，其中该残差网络结构块的第一个卷积包括256个卷积核，每个卷积核的大小为3×3，边界填充为1，卷积操作的步长为1，得到256个像素为28×28的特征图像，之后进入该残差网络结构块的第二个卷积层，得到256个像素为28×28的特征图像conv3-1，该残差网络结构块的第二个卷积层包括256个卷积核，每个卷积核的大小为3×3，卷积操作的步长为1，边界填充为1，特征图像res-2连同conv3-1进入该残差网络结构块的Eltwise层，生成特征图像res-3，作为优选的，每一个卷积层和ReLU层之间依次连接一个BatchNorm层和一个Scale层，经过BatchNorm层，Scale层，ReLU层并不改变特征图像的大小。
C1网络的第三个卷积层包括多个卷积核，所述第三个卷积层连接一个BatchNorm层、Scale层和ReLU层，所述特征图像res-3经过所述该卷积层后得到与该卷积层的卷积核对应数量的特征图像，特征图像经过BatchNorm层和Scale层对样本进行归一化，使其分布保持稳定，所述ReLU层使部分神经元输出为0，造成稀疏性，最终生成特征图像conv3-0然后送入C1网络的第四个残差网络结构块；
需要说明的是，C1网络的第三个卷积层的卷积核的个数为256个，每个卷积核的大小为3×3，卷积操作的步长为1，边界填充为1，经过第一个卷积层后得到256个像素为14×14的特征图像conv3-0，作为优选的，每一个卷积层和ReLU层之间依次连接一个BatchNorm层和一个Scale层，经过BatchNorm层，Scale层，ReLU层并不改变特征图像的大小。
C1网络的第四个残差网络结构块包括两个卷积层，每个卷积均包括多个卷积核，特征图像conv3-0经过所述结构块的第一个卷积层得到与该卷积层的卷积核对应数量的特征图像，该特征图像经过BatchNorm层和Scale层对样本进行归一化，使其分布保持稳定，所述ReLU层使部分神经元输出为0，造成稀疏性，之后进入该残差网络结构块的第二个卷积层，得到与该卷积层的卷积核对应数量的特征图像，该特征图像经过BatchNorm层和Scale层对样本进行归一化，使其分布保持稳定，进入ReLU层使部分神经元输出为0，造成稀疏性，最终生成特征图像conv4-1连同所述特征图像conv3-0送入该残差网络结构块的Eltwise层，该层关联上下文的语义信息，即conv3-0和conv4-1的信息进行关联，生成特征图像res-4，送入C1网络的第四个卷积层；
需要说明的是，C1网络的第四个残差网络结构块包括两个卷积层，其中该残差网络结构块的第一个卷积包括256个卷积核，每个卷积核的大小为3×3，边界填充为1，卷积操作的步长为1，得到256个像素为14×14的特征图像，之后进入该残差网络结构块的第二个卷积层，得到256个像素为14×14的特征图像conv4-1，该残差网络结构块的第二个卷积层包括256个卷积核，每个卷积核的大小为3×3，卷积操作的步长为1，边界填充为1，特征图像conv3-0连同conv4-1进入该残差网络结构块的Eltwise层，生成特征图像res-4，作为优选的，每一个卷积层和ReLU层之间依次连接一个BatchNorm层和一个Scale层，经过BatchNorm层，Scale层，ReLU层并不改变特征图像的大小。
所述C1网络的第四个卷积层包括多个卷积核，所述C1网络的第四个卷积层连接一个BatchNorm层、Scale层和ReLU层，所述特征图像res-4经过所述该卷积层后得到与该卷积层的卷积核对应数量的特征图像，特征图像经过BatchNorm层和Scale层对样本进行归一化，使其分布保持稳定，所述ReLU层使部分神经元输出为0，造成稀疏性，进入MaxPooling层，最终生成特征图像conv4-0随后进入所述C1网络的的第一个全连接层；
需要说明的是，C1网络的第四个卷积层的卷积核的个数为512个，每个卷积核的大小为3×3，卷积操作的步长为2，边界填充为1，经过第一个卷积层后得到512个像素为7×7的特征图像conv4-0，进入第一个MaxPooling层，得到512个像素为4×4的特征图像，所述第一个MaxPooling层的核大小为2×2，步长为2，作为优选的，每一个卷积层和ReLU层之间依次连接一个BatchNorm层和一个Scale层，经过BatchNorm层，Scale层，ReLU层并不改变特征图像的大小。
所述C1网络的第一个全连接层输出人脸特征，该人脸特征进而进入第二个全连接层，所述C1网络的第二个全连接层输出人脸图像的得分情况，将得分输入到最后一层SoftmaxWithLoss层，得到属于每一类的概率以及该次迭代的损失。
需要说明的是，C1网络的第一个全连接层得到512维特征，输入第二个全连接层得到人脸图像的得分情况，将得分输入到最后一层SoftmaxWithLoss层，得到属于每一类造假和真人的概率以及该次迭代的损失。
步骤S105，构建卷积神经网络模型C1的测试网络。
基于以上实施例，构建卷积神经网络C1的测试网络，即将C1网络中的SoftmaxWithLoss替换成Soft Softmax，即：
步骤S106，将训练卷积神经网络模型C1所用的第一训练集重新输入卷积神经网络模型C1的测试网络中，得到该训练集所对应的软目标概率。
在本实施例中，针对上述的Soft Softmax，T＝2，将训练卷积神经网络模型C1所用的第一训练集重新输入卷积神经网络模型C1的测试网络中，得到该训练集所对应的软目标概率，即Q＝{q00，q01，...，qi0，qi1，...，qn0，qn1}，其中包含n个样本。
步骤S107，设计并训练一个结构较所述卷积神经网络模型C1简单、内存占用较所述卷积神经网络模型C1小的卷积神经网络模型C2，其后面接两个损失，一个是传统的softmax Loss，其真值是一维向量构成的标签，另一个是软目标概率损失，其真值使用所述的软目标概率。
在本实施例中，对卷积神经网络模型C2的操作包括以下步骤：
步骤S108，构建第二训练集。
所述第二训练集包括按照预定比例构建的第二训练集和第二验证集，所述第二训练集和第二验证集均包括造假人脸图像和真人人脸图像和其对应的两种真值标签，一种真值标签是第一训练集中每个样本对应的标签向量[pi0，pi1]，该标签向量输入SoftmaxWithLoss中，其中pi0表示当样本属于造假样本的概率，pi1表示当样本属于真人样本的概率，比如第i个样本是真人样本的标签向量：[0，1]，否则为[1，0]。另一种真值标签是在步骤S160中得到的第一训练集每个样本的软目标概率向量[qi0，qi1]，该概率向量输入Soft SoftmaxWithLoss中，其中qi0表示当样本属于造假样本的软目标概率，qi1表示当样本属于真人样本的软目标概率。
进一步的，构建第二训练集的步骤包括：
选择与卷积神经网络模型C1训练时第一训练集中同样的图像样本，但是其真值标签一共有两种，一种是：[pi0，pi1]，一种是：[qi0，qi1]，并以此构建训练卷积神经网络模型C2的第二训练集。
步骤S109，检测所述造假人脸图像和真人人脸图像中的人脸，确定人脸框，对人脸进行裁剪及归一化处理；
通过人脸检测算法检测造假人脸图像和真人人脸图像中的人脸，人脸检测算法可以为现有的通用的人脸检测算法。利用人脸特征点定位算法，找到所述人脸的确定区域。得到确定的人脸框，人脸特征点定位算法可以为现有的通用的人脸特征点定位算法。在对人脸进行裁剪过程中，利用人脸特征点定位的算法，例如LBF、SER，找到人脸的准确区域，得到准确的人脸框，将该人脸框扩大，一般扩大1.8倍，将扩大后的人脸框对应的原图中的区域裁剪出来，裁剪出来的人脸既包括人脸，也包括一定的背景，一定的背景存在有利于分类真假视频。对裁剪后出人脸图像归一化到120×120像素。
步骤S110，将归一化后的人脸图像和其对应的真值标签输入至卷积神经网络模型C2进行训练。
该卷积神经网络模型C2包括输入层、多层卷积层、三个残差网络结构块、一个MaxPooling层、两个全连接层和SoftmaxWithLoss层，其中残差网络结构块包含卷积层、BatchNorm层、ReLU层、Eltwise层；
请参照图3卷积神经网络模型C2的结构，结合本发明实施例做进一步说明。所述卷积神经网络模型C2的输入层将归一化后的人脸图像进行随机裁剪，将裁剪后的人脸图像水平翻转，得到特定像素的图像，将所述特定像素的图像送入卷积神经网络模型C2的第一个卷积层；
需要说明的是，C2网络的输入层包含BGR三个通道，大小为120×120，将训练集2分为2000个batch，每个batch大小为128，所述特定像素的图像的像素为112×112；
C2网络的第一个卷积层包括多个卷积核，所述第一个卷积层连接一个BatchNorm层、Scale层和ReLU层，所述特定像素的图像经过所述第一个卷积层后得到与所述第一个卷积层的卷积核对应数量的特征图像，特征图像经过BatchNorm层和Scale层对样本进行归一化，使其分布保持稳定，所述ReLU层使部分神经元输出为0，造成稀疏性，最终生成特征图像conv1-0然后送入C2网络的第一个残差网络结构块。
需要说明的是，C2网络的第一个卷积层的卷积核的个数为32个，每个卷积核的大小为3×3，卷积操作的步长为2，边界填充为1，经过C2网络的第一个卷积层后得到32个像素为56×56的特征图像conv1-0，作为优选的，每一个卷积层和ReLU层之间依次连接一个BatchNorm层和一个Scale层，经过BatchNorm层，Scale层，ReLU层并不改变特征图像的大小。
C2网络的第一个残差网络结构块包括两个卷积层，每个卷积均包括多个卷积核，特征图像conv1-0经过所述结构块的第一个卷积层得到与该卷积层的卷积核对应数量的特征图像，该特征图像经过BatchNorm层和Scale层对样本进行归一化，使其分布保持稳定，所述ReLU层使部分神经元输出为0，造成稀疏性，之后进入该残差网络结构块的第二个卷积层，得到与该卷积层的卷积核对应数量的特征图像，该特征图像经过BatchNorm层和Scale层对样本进行归一化，使其分布保持稳定，进入ReLU层使部分神经元输出为0，造成稀疏性，最终生成特征图像conv1-1连同所述特征图像conv1-0送入该残差网络结构块的Eltwise层，该层关联上下文的语义信息，即conv1-0和convl-1的信息进行关联，生成特征图像res-1，送入C2网络的第二个卷积层。
需要说明的是，C2网络的第一个残差网络结构块包括两个卷积层，其中该残差网络结构块的第一个卷积包括32个卷积核，每个卷积核的大小为3×3，边界填充为1，卷积操作的步长为1，得到32个像素为56×56的特征图像，之后进入该残差网络结构块的第二个卷积层，得到32个像素为56×56的特征图像convl-1，该第二个卷积层包括32个卷积核，每个卷积核的大小为3×3，卷积操作的步长为1，边界填充为1，特征图像conv1-0连同convl-1进入该残差网络结构块的Eltwise层，生成特征图像res-1，作为优选的，每一个卷积层和ReLU层之间依次连接一个BatchNorm层和一个Scale层，经过BatchNorm层，Scale层，ReLU层并不改变特征图像的大小。
C2网络的第二个卷积层包括多个卷积核，所述第二个卷积层连接一个BatchNorm层、Scale层和ReLU层，所述特征图像res-1经过所述该卷积层后得到与该卷积层的卷积核对应数量的特征图像，特征图像经过BatchNorm层和Scale层对样本进行归一化，使其分布保持稳定，所述ReLU层使部分神经元输出为0，造成稀疏性，最终生成特征图像conv2-0然后送入C2网络的第二个残差网络结构块res-2；
需要说明的是，C2网络的第二个卷积层的卷积核的个数为64个，每个卷积核的大小为3×3，卷积操作的步长为2，边界填充为1，经过所述C2网络的第二个卷积层后得到64个像素为28×28的特征图像conv2-0，作为优选的，每一个卷积层和ReLU层之间依次连接一个BatchNorm层和一个Scale层，经过BatchNorm层，Scale层，ReLU层并不改变特征图像的大小。
C2网络的第二个残差网络结构块包括两个卷积层，每个卷积均包括多个卷积核，特征图像conv2-0经过所述结构块的第一个卷积层得到与该卷积层的卷积核对应数量的特征图像，该特征图像经过BatchNorm层和Scale层对样本进行归一化，使其分布保持稳定，所述ReLU层使部分神经元输出为0，造成稀疏性，之后进入该残差网络结构块的第二个卷积层，得到与该卷积层的卷积核对应数量的特征图像，该特征图像经过BatchNorm层和Scale层对样本进行归一化，使其分布保持稳定，进入ReLU层使部分神经元输出为0，造成稀疏性，最终最终生成特征图像conv2-1连同所述特征图像conv2-0送入该残差网络结构块的Eltwise层，该层关联上下文的语义信息，即conv2-0和conv2-1的信息进行关联，生成特征图像res-2，送入C2网络的第三个残差网络结构块；
需要说明的是，C2网络的第二个残差网络结构块包括两个卷积层，其中该残差网络结构块的第一个卷积包括64个卷积核，每个卷积核的大小为3×3，边界填充为1，卷积操作的步长为1，得到64个像素为28×28的特征图像，之后进入该残差网络结构块的第二个卷积层，得到64个像素为28×28的特征图像conv2-1，该第二个卷积层包括64个卷积核，每个卷积核的大小为3×3，卷积操作的步长为1，边界填充为1，特征图像conv2-0连同conv2-1进入该残差网络结构块的Eltwise层，生成特征图像res-2，作为优选的，每一个卷积层和ReLU层之间依次连接一个BatchNorm层和一个Scale层，经过BatchNorm层，Scale层，ReLU层并不改变特征图像的大小。
C2网络的第三个残差网络结构块包括两个卷积层，每个卷积均包括多个卷积核，特征图像res-2经过所述结构块的第一个卷积层得到与该卷积层的卷积核对应数量的特征图像，该特征图像经过BatchNorm层和Scale层对样本进行归一化，使其分布保持稳定，所述ReLU层使部分神经元输出为0，造成稀疏性，之后进入该残差网络结构块的第二个卷积层，得到与该卷积层的卷积核对应数量的特征图像，该特征图像经过BatchNorm层和Scale层对样本进行归一化，使其分布保持稳定，进入ReLU层使部分神经元输出为0，造成稀疏性，最终生成特征图像conv3-1连同所述特征图像res-2送入该残差网络结构块的Eltwise层，该层关联上下文的语义信息，即res-2和conv3-1的信息进行关联，生成特征图像res-3，送入C2网络的第三个卷积层；
需要说明的是，C2网络的第三个残差网络结构块包括两个卷积层，其中该残差网络结构块的第一个卷积包括64个卷积核，每个卷积核的大小为3×3，边界填充为1，卷积操作的步长为1，得到64个像素为28×28的特征图像，之后进入该残差网络结构块的第二个卷积层，得到64个像素为28×28的特征图像conv3-1，该残差网络结构块的第二个卷积层包括64个卷积核，每个卷积核的大小为3×3，卷积操作的步长为1，边界填充为1，特征图像res-2连同conv3-1进入该残差网络结构块的Eltwise层，生成特征图像res-3，作为优选的，每一个卷积层和ReLU层之间依次连接一个BatchNorm层和一个Scale层，经过BatchNorm层，Scale层，ReLU层并不改变特征图像的大小。
C2网络的第三个卷积层包括多个卷积核，所述第三个卷积层连接一个BatchNorm层、Scale层和ReLU层，所述特征图像res-3经过所述该卷积层后得到与该卷积层的卷积核对应数量的特征图像，特征图像经过BatchNorm层和Scale层对样本进行归一化，使其分布保持稳定，所述ReLU层使部分神经元输出为0，造成稀疏性，最终生成特征图像conv3-0然后送入C2网络的第四个卷积层。
需要说明的是，C2网络的第三个卷积层的卷积核的个数为128个，每个卷积核的大小为3×3，卷积操作的步长为1，边界填充为1，经过第三个卷积层后得到128个像素为14×14的特征图像conv3-0，作为优选的，每一个卷积层和ReLU层之间依次连接一个BatchNorm层和一个Scale层，经过BatchNorm层，Scale层，ReLU层并不改变特征图像的大小。
C2网络的第四个卷积层包括多个卷积核，所述第四个卷积层连接一个BatchNorm层、Scale层和ReLU层，所述特征图像conv3-0经过所述该卷积层后得到与该卷积层的卷积核对应数量的特征图像，特征图像经过BatchNorm层和Scale层对样本进行归一化，使其分布保持稳定，所述ReLU层使部分神经元输出为0，造成稀疏性，进入MaxPooling层，最终生成特征图像conv4-0随后进入C2网络的第一个全连接层；
需要说明的是，C2网络的第四个卷积层的卷积核的个数为256个，每个卷积核的大小为3×3，卷积操作的步长为2，边界填充为1，经过卷积层后得到256个像素为7×7的特征图像conv4-0，进入第一个MaxPooling层，得到512个像素为4×4的特征图像，所述第一个MaxPooling层的核大小为2×2，步长为2，作为优选的，每一个卷积层和ReLU层之间依次连接一个BatchNorm层和一个Scale层，经过BatchNorm层，Scale层，ReLU层并不改变特征图像的大小。
所述特征图像进而进入后两个C2网络的全连接层；
需要说明的是，C2网络的第一个全连接层特征是256维，进入第二层全连接层，其输出特征是2维，每一维是该样本被分到造假或真人的类别得分；
将C2网络的第一个全连接层输出的得分情况，于准备训练集时得到的样本标签向量和样本软目标概率向量分别输入到SoftmaxWithLoss层和soft SoftmaxWithLoss层，得到属于每一类的概率以及该次迭代的损失，其中SoftmaxWithLoss其使用的真值label是[pi0，pi1]，得到的损失记为L{hard}而soft SoftmaxWithLoss层使用的真值label是[qi0，qi1]，得到的损失记为L{soft}，则该次迭代的损失为：L{all}＝L{soft}+αL{hard}，在本实施例中，α取0.2；
步骤S111，构建卷积神经网络模型C2的测试网络。
卷积神经网络模型C2的测试网络包含与训练网络相同的卷积层和全连接层，其中最后一层的SoftmaxWithLoss替换成soft softmax。
步骤S112，获取待检测的人脸图像。
获取的人脸图像可以是通过门禁、电脑或者监控器等设备的摄像头获取的人脸图像。
步骤S113，对所述人脸图像进行归一化处理。
本实施例中，通过人脸检测的算法，检测到人脸图像中的人脸，利用人脸特征点定位算法，找到所述人脸的准确区域，得到准确的人脸框，将所述人脸框裁剪出来，并归一化到特定像素，本实施例中，特定的像素为240×240。作为优选地，人脸框确定后，将该人脸框扩大，一般扩大1.8倍，将扩大后的人脸框对应的原图中的区域裁剪出来，裁剪出来的人脸既包括人脸，也包括一定的背景，一定的背景存在有利于分类真假视频。
步骤S114，将处理后的人脸图像输入至卷积神经网络模型C2的测试网络中，得到每一类的分类概率，从而判断该人脸图像属于造假或者真人；
卷积神经网络C2都会预测该人脸图像属于每一类的概率，人脸图像经过网络C2之后都会形成一个2维的向量[p0，p1]，其中p0是该人脸样本属于造假人脸的概率，p1是该人脸样本属于真人人脸的概率，若p0＜P1，则该人脸样本是真人人脸，否则是造假人脸。
训练集分为两部分：一是经过裁剪后的人脸图像，二是这些人脸图像对应的真值label。
C1网络和C2网络所用的训练集包含的人脸图像是一样的，只不过其人脸图像对应的真值label是不同的，即：C1对应的Label(当人脸图像为真人时，label：[0，1]，当人脸图像为造假人脸时，label＝[1，0])
而C2网络所用的训练集中人脸图像对应的真值label：其中一种softsoftmaxWithLoss对应的训练集的真值label：是将训练集的全部样本输入到C1的测试网络中，每个样本均可以得到一个预测值[q0，q1]，其中q0是C1网络预测该样本为造假样本时的概率值，q1是C1网络预测该样本为真实人脸时的概率值；然后将该次得到的[q0，q1]作为C2网络的一种真值。而另外一种softmaxWithLoss对应的训练集的真值label同C1训练时所用一致，即当该样本为造假样本时，label＝0，否则label＝1。
也就是说，C1网络和C2网络训练时所用的图像是一样的，比如都用了real_1.jpg，在训练C1网络时，该图像对应的label：[0，1]，而在训练C2网络时，该图像对应的一种label：[0，1]，另外一种soft label：[0.2，0.8]，该softlabel中的0.2和0.8代表real_1.jpg输入C1网络的测试网络得到该图像属于造假人脸和真实人脸的概率值。
综上所述，本发明实施例提供了一种终端设备的非配合式的人脸活体检测方法，由于现有的深度卷积神经网络结构应用于人脸活体检测算法，网络性能越好，往往越复杂，速度慢，占有内存大，而直接训练一个简单网络的性能无法保障，所以限制了人脸活体检测和人脸识别系统在终端设备和嵌入式设备的使用，我们通过训练一个大型性能好的卷积神经网络，然后获取每个训练样本的软目标概率，指导后期重新设计的小型简单模型的训练，以保证小模型能够学习到大模型提取辨别性较强特征的能力，从而小模型具有大模型相似的性能，又能保证活体检测的正确率，并且速度快和内存占有率低等特性，使得人脸活体检测算法可以在终端设备普及。

Claims (8)

1.一种基于终端设备的非配合式的活体检测方法，其特征在于，所述方法包括：
设计一个卷积神经网络模型C1；
构建第一训练集，所述第一训练集包括造假人脸图像和真人人脸图像，以及每个图像样本对应的真值标签[pi0，pi1]；
检测所述造假人脸图像和真人人脸图像中的人脸，确定人脸框，对人脸进行裁剪及归一化处理；
将归一化后的人脸图像和其对应的真值标签输入至卷积神经网络模型C1进行训练；
构建卷积神经网络模型C1的测试网络；
将训练卷积神经网络模型C1所用的第一训练集重新输入所述卷积神经网络模型C1的测试网络中，得到该训练集所对应的软目标概率[qi0，qi1]；
设计一个结构较所述卷积神经网络模型C1简单、内存占用较所述卷积神经网络模型C1小的卷积神经网络模型C2，其后面接两个损失，一个是softmaxLoss，其真值是一维向量构成的标签[pi0，pi1]，另一个是软损失，其真值使用所述的软目标概率[qi0，qi1]；
构建第二训练集，所述第二训练集包括按照预定比例构建的第二训练集和第二验证集，所述第二训练集和第二验证集均包括造假人脸图像和真人人脸图像和其对应的两种真值标签，一种真值标签是第一训练集中每个样本对应的标签向量[pi0，pi1]，该标签向量输入SoftmaxWithLoss中，另一种真值标签是所述的软目标概率向量[qi0，qi1]，该概率向量输入Soft SoftmaxWithLoss中；
检测所述造假人脸图像和真人人脸图像中的人脸，确定人脸框，对人脸进行裁剪及归一化处理；
将归一化后的人脸图像和其对应的真值标签输入至卷积神经网络模型C2进行训练；
构建卷积神经网络模型C2的测试网络；
获取待检测的人脸图像；
对所述人脸图像进行归一化处理；
将处理后人脸图像输入至所述卷积神经网络模型C2的测试网络，得到分类概率，判断所述人脸图像的真假。
2.根据权利要求1所述的基于终端设备的非配合式的活体检测方法，其特征在于，所述构建第一训练集，第一训练集包括造假人脸图像和真人人脸图像，以及每个图像样本对应的真值标签[pi0，pi1]的步骤包括：
按照预定比例构建第一训练集和第一验证集，所述第一训练集和第一验证集均包括造假人脸图像和真人人脸图像，以及每个样本对应的真值标签，并且得到第一训练集中每个样本的标签向量[pi0，pi1]，其中pi0表示当样本属于造假样本的概率，pi1表示当样本属于真人样本的概率。
3.根据权利要求1所述的基于终端设备的非配合式的活体检测方法，其特征在于，所述对人脸进行裁剪及归一化处理的步骤包括：
将所述造假人脸图像和真人人脸图像中的人脸框扩大，将扩大后的人脸框对应的原图中的区域裁剪出来对裁剪后出人脸图像进行归一化处理。
4.根据权利要求1所述的基于终端设备的非配合式的活体检测方法，其特征在于，所述构建卷积神经网络模型C1的测试网络的步骤包括：
卷积神经网络模型C1的测试网络包含与训练网络相同的卷积层和全连接层，其中最后一层的SoftmaxWithLoss替换成soft softmax。
5.根据权利要求1或4所述的基于终端设备的非配合式的活体检测方法，其特征在于，所述将训练卷积神经网络模型C1所用的第一训练集重新输入卷积神经网络模型C1的测试网络中，得到该训练集所对应的软目标概率[qi0，qi1]的步骤包括：
将第一训练集输入卷积神经网络模型C1的测试网络，得到每个样本的分类概率，其中，soft softmax即：
这样得到训练集中样本i的软类别标签向量：[qi0，qi1]，其中，qi0表示当样本属于造假样本的软目标概率，qi1表示当样本属于真人样本的软目标概率。
6.根据权利要求1所述的基于终端设备的非配合式的活体检测方法，其特征在于，所述构建第二训练集的步骤包括：
选择与所述卷积神经网络模型C1训练时第一训练集中同样的图像样本，但是其真值标签一共有两种，一种是：[pi0，pi1]，一种是：[qi0，qi1]，并以此构建训练卷积神经网络模型C2的第二训练集。
7.根据权利要求1所述的基于终端设备的非配合式的活体检测方法，其特征在于，所述构建卷积神经网络模型C2的测试网络的步骤包括：
卷积神经网络模型C2的测试网络包含与训练网络相同的卷积层和全连接层，其中最后一层的SoftmaxWithLoss替换成soft softmax。
8.根据权利要求1所述的基于终端设备的非配合式的活体检测方法，其特征在于，所述将处理后人脸图像输入至所述卷积神经网络模型C2的测试网络，得到分类概率的步骤包括：
卷积神经网络C2都会预测所述处理后人脸图像属于每一类的概率，人脸图像经过卷积神经网络C2之后都会形成一个2维的向量[p0，p1]，其中p0是该人脸样本属于造假人脸的概率，p1是该人脸样本属于真人人脸的概率。
CN201810710629.3A 2018-07-02 2018-07-02 一种基于终端设备的非配合式的活体检测算法 Pending CN108985200A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810710629.3A CN108985200A (zh) 2018-07-02 2018-07-02 一种基于终端设备的非配合式的活体检测算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810710629.3A CN108985200A (zh) 2018-07-02 2018-07-02 一种基于终端设备的非配合式的活体检测算法

Publications (1)

Publication Number Publication Date
CN108985200A true CN108985200A (zh) 2018-12-11

Family

ID=64539792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810710629.3A Pending CN108985200A (zh) 2018-07-02 2018-07-02 一种基于终端设备的非配合式的活体检测算法

Country Status (1)

Country Link
CN (1) CN108985200A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188715A (zh) * 2019-06-03 2019-08-30 广州二元科技有限公司 一种多帧检测投票的视频人脸活体检测方法
CN110210393A (zh) * 2019-05-31 2019-09-06 百度在线网络技术（北京）有限公司 人脸图像的检测方法和装置
CN110765861A (zh) * 2019-09-17 2020-02-07 中控智慧科技股份有限公司 无牌车车型识别方法、装置及终端设备
CN111222457A (zh) * 2020-01-06 2020-06-02 电子科技大学 一种基于深度可分离卷积的鉴别视频真伪性的检测方法
CN111967289A (zh) * 2019-05-20 2020-11-20 高新兴科技集团股份有限公司 一种非配合式人脸活体检测方法及计算机存储介质
WO2021134871A1 (zh) * 2019-12-30 2021-07-08 深圳市爱协生科技有限公司 基于局部二值模式和深度学习的合成人脸图像取证方法
US11443559B2 (en) 2019-08-29 2022-09-13 PXL Vision AG Facial liveness detection with a mobile device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956572A (zh) * 2016-05-15 2016-09-21 北京工业大学 一种基于卷积神经网络的活体人脸检测方法
CN107194376A (zh) * 2017-06-21 2017-09-22 北京市威富安防科技有限公司 面具造假卷积神经网络训练方法及人脸活体检测方法
CN107220635A (zh) * 2017-06-21 2017-09-29 北京市威富安防科技有限公司 基于多造假方式的人脸活体检测方法
CN107301396A (zh) * 2017-06-21 2017-10-27 北京市威富安防科技有限公司 视频造假卷积神经网络训练方法及人脸活体检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956572A (zh) * 2016-05-15 2016-09-21 北京工业大学 一种基于卷积神经网络的活体人脸检测方法
CN107194376A (zh) * 2017-06-21 2017-09-22 北京市威富安防科技有限公司 面具造假卷积神经网络训练方法及人脸活体检测方法
CN107220635A (zh) * 2017-06-21 2017-09-29 北京市威富安防科技有限公司 基于多造假方式的人脸活体检测方法
CN107301396A (zh) * 2017-06-21 2017-10-27 北京市威富安防科技有限公司 视频造假卷积神经网络训练方法及人脸活体检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GEOFFREY HINTON等: "Distilling the Knowledge in a Neural Network", 《ARXIV HTTPS://ARXIV.ORG/ABS/1503.02531》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111967289A (zh) * 2019-05-20 2020-11-20 高新兴科技集团股份有限公司 一种非配合式人脸活体检测方法及计算机存储介质
CN110210393A (zh) * 2019-05-31 2019-09-06 百度在线网络技术（北京）有限公司 人脸图像的检测方法和装置
CN110188715A (zh) * 2019-06-03 2019-08-30 广州二元科技有限公司 一种多帧检测投票的视频人脸活体检测方法
US11443559B2 (en) 2019-08-29 2022-09-13 PXL Vision AG Facial liveness detection with a mobile device
US11669607B2 (en) 2019-08-29 2023-06-06 PXL Vision AG ID verification with a mobile device
CN110765861A (zh) * 2019-09-17 2020-02-07 中控智慧科技股份有限公司 无牌车车型识别方法、装置及终端设备
WO2021134871A1 (zh) * 2019-12-30 2021-07-08 深圳市爱协生科技有限公司 基于局部二值模式和深度学习的合成人脸图像取证方法
CN111222457A (zh) * 2020-01-06 2020-06-02 电子科技大学 一种基于深度可分离卷积的鉴别视频真伪性的检测方法

Similar Documents

Publication Publication Date Title
CN108985200A (zh) 一种基于终端设备的非配合式的活体检测算法
US11830230B2 (en) Living body detection method based on facial recognition, and electronic device and storage medium
US20200285896A1 (en) Method for person re-identification based on deep model with multi-loss fusion training strategy
CN110728209B (zh) 一种姿态识别方法、装置、电子设备及存储介质
CN109284733B (zh) 一种基于yolo和多任务卷积神经网络的导购消极行为监控方法
CN111325115B (zh) 带有三重约束损失的对抗跨模态行人重识别方法和系统
CN111898523A (zh) 一种基于迁移学习的遥感图像特种车辆目标检测方法
CN111046964B (zh) 一种基于卷积神经网络的人和车辆红外热图像识别方法
CN111444826B (zh) 视频检测方法、装置、存储介质及计算机设备
CN111091109B (zh) 基于人脸图像进行年龄和性别预测的方法、系统和设备
CN110097029B (zh) 基于Highway网络多视角步态识别的身份认证方法
CN108960142B (zh) 基于全局特征损失函数的行人再识别方法
CN113221771B (zh) 活体人脸识别方法、装置、设备、存储介质及程序产品
CN112733665B (zh) 一种基于轻量化网络结构设计的人脸识别方法及系统
CN112836625A (zh) 人脸活体检测方法、装置、电子设备
CN113269010B (zh) 一种人脸活体检测模型的训练方法和相关装置
CN114495010A (zh) 一种基于多特征学习的跨模态行人重识别方法及系统
CN116152209A (zh) 一种耳机罩缺陷检测方法、装置、设备及存储介质
CN111680577A (zh) 人脸检测方法和装置
CN114782979A (zh) 一种行人重识别模型的训练方法、装置、存储介质及终端
CN108876776B (zh) 一种分类模型生成方法、眼底图像分类方法及装置
CN113506274A (zh) 基于视觉显著性差异图的用于人体认知状况的检测系统
CN112488165A (zh) 一种基于深度学习模型的红外行人识别方法及系统
CN115797970B (zh) 基于YOLOv5模型的密集行人目标检测方法及系统
CN111626197A (zh) 一种人体行为识别网络模型及识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181211

RJ01 Rejection of invention patent application after publication