CN112329696A - 人脸活体检测方法、系统、设备及存储介质 - Google Patents

人脸活体检测方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN112329696A
CN112329696A CN202011292181.1A CN202011292181A CN112329696A CN 112329696 A CN112329696 A CN 112329696A CN 202011292181 A CN202011292181 A CN 202011292181A CN 112329696 A CN112329696 A CN 112329696A
Authority
CN
China
Prior art keywords
branch
living body
loss function
supervision
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011292181.1A
Other languages
English (en)
Inventor
沈涛
罗超
胡泓
李巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ctrip Computer Technology Shanghai Co Ltd
Original Assignee
Ctrip Computer Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ctrip Computer Technology Shanghai Co Ltd filed Critical Ctrip Computer Technology Shanghai Co Ltd
Priority to CN202011292181.1A priority Critical patent/CN112329696A/zh
Publication of CN112329696A publication Critical patent/CN112329696A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种人脸活体检测方法、系统、设备及存储介质，该方法包括：采集训练样本图像；将训练样本图像输入人脸活体检测模型中，所述人脸活体检测模型包括特征提取网络、傅里叶监督分支、深度监督分支和活体分类分支；分别计算所述傅里叶监督分支、深度监督分支和活体分类分支的损失函数，并根据所述损失函数训练所述人脸活体检测模型；将待检测的图像输入训练好的所述人脸活体检测模型，得到输出的活体分类结果，所述活体分类结果包括检测到的至少一个活体属性类别。本发明提供了一种简单的辅助监督信号，监督活体检测模型的训练，提升了活体检测效果。

Description

人脸活体检测方法、系统、设备及存储介质
技术领域
本发明涉及数据处理技术领域，尤其涉及一种人脸活体检测方法、系统、设备及存储介质。
背景技术
人脸活体检测是在一些身份验证场景确定对象真实生理特征的方法，在人脸识别应用中，活体检测能通过眨眼、张嘴、摇头、点头等组合动作，使用人脸关键点定位和人脸追踪等技术，验证用户是否为真实活体本人操作。可有效抵御照片、换脸、面具、遮挡以及屏幕翻拍等常见的攻击手段，从而帮助用户甄别欺诈行为，保障用户的利益。
现有技术中已经出现了一种基于CNN-RNN(卷积神经网络-递归神经网络)模型进行人体活性检测的方法，其使用深度图和rPPG(Remote Photoplethysmography，远程光电体积描记术)信号进行空间域和时间域的辅助监督，这种方法主要体现在论文《LearningDeep Models for Face Anti-Spoofing:Binary or Auxiliary Supervision》。然而，这种方法也存在一些问题，其需要视频作为输入信号来建立rPPG信号，同时rPPG信号在开放环境容易受到干扰。视频相对于图片来说，数据量太大，会大大增加处理时间。此外，这种方法使用真实的深度图来监督，会导致样本成本过高，限制了训练样本的规模，进而影响模型训练的效果。
发明内容
针对现有技术中的问题，本发明的目的在于提供一种人脸活体检测方法、系统、设备及存储介质，提供一种简单的辅助监督信号，监督活体检测模型的训练，提升活体检测效果。
本发明实施例提供一种人脸活体检测方法，包括如下步骤：
采集训练样本图像；
将训练样本图像输入人脸活体检测模型中，所述人脸活体检测模型包括特征提取网络、傅里叶监督分支、深度监督分支和活体分类分支；
分别计算所述傅里叶监督分支、深度监督分支和活体分类分支的损失函数，并根据所述损失函数训练所述人脸活体检测模型；
将待检测的图像输入训练好的所述人脸活体检测模型，得到输出的活体分类结果，所述活体分类结果包括检测到的至少一个活体属性类别。
在一些实施例中，所述训练样本图像输入所述傅里叶监督分支后，所述傅里叶监督分支对所述训练样本图像进行傅里叶变换和归一化后，尺寸调整至预设尺寸。
在一些实施例中，所述训练样本图像输入所述深度监督分支后，所述深度监督分支对负样本图像采用PRNet生成预设尺寸的伪深度图，对正样本图像采用预设尺寸的像素值全为0的图像作为深度图。
在一些实施例中，所述特征提取网络采用残差网络和金字塔网络，所述残差网络为resnet18网络或resnet34网络，所述金字塔网络的输出分别连接第一输出辅助监督分支、第二输出辅助监督分支和第三输出辅助监督分支。
在一些实施例中，分别计算所述傅里叶监督分支、深度监督分支和活体分类分支的损失函数，包括如下步骤：
根据所述第一输出辅助监督分支的输出与所述傅里叶监督分支的输出计算傅里叶监督分支损失函数；
根据所述第二输出辅助监督分支的输出与所述深度监督分支的输出计算深度监督分支损失函数；
所述第三输出辅助监督分支的输出输入所述活体分类分支，得到所述活体分类分支的分类结果；
根据所述活体分类分支的分类结果和所述训练样本图像的标签计算活体分类分支损失函数。
在一些实施例中，所述第一输出辅助监督分支、所述第二输出辅助监督分支和所述第三输出辅助监督分支采用相同的结构，且所述第一输出辅助监督分支、所述第二输出辅助监督分支和所述第三输出辅助监督分支分别包括卷积层。
在一些实施例中，根据所述损失函数训练所述人脸活体检测模型，包括如下步骤：
将傅里叶监督分支损失函数、深度监督分支损失函数和活体分类分支损失函数加权求和，得到所述人脸活体检测模型的损失函数；
采用随机梯度下降的方式迭代训练所述人脸活体检测模型。
在一些实施例中，傅里叶监督分支损失函数采用MES损失函数，深度监督损失函数采用CLD损失函数。
在一些实施例中，分类分支损失函数包括人脸属性损失函数、欺骗类型损失函数、光照损失函数、环境损失函数和正负分类损失函数。
在一些实施例中，所述人脸属性损失函数采用BCE损失函数，所述欺骗类型损失函数、所述光照损失函数和所述环境损失函数分别采用CrossEntropy损失函数，所述正负分类损失函数采用arcface损失函数。
本发明的人脸活体检测方法通过增加傅里叶监督分支和深度监督分支，分别生成傅里叶频谱和生成深度图，从而对活体分类分支进行监督，提供了一种简单的辅助监督信号，监督活体检测模型的训练，提升了活体检测效果，本发明无需利用视频作为输入信号来建立rPPG信号，也不容易受环境影响，提高了检测的稳定性和准确性。
本发明实施例还提供一种人脸活体检测系统，用于实现所述的人脸活体检测方法，其特征在于，所述系统包括：
样本采集模块，用于采集训练样本图像；
模型输入模块，用于将训练样本图像输入人脸活体检测模型中，所述人脸活体检测模型包括特征提取网络、傅里叶监督分支、深度监督分支和活体分类分支；
模型训练模块，用于分别计算所述傅里叶监督分支、深度监督分支和活体分类分支的损失函数，并根据所述损失函数训练所述人脸活体检测模型；
活体检测模块，用于将待检测的图像输入训练好的所述人脸活体检测模型，得到输出的活体分类结果，所述活体分类结果包括检测到的至少一个活体属性类别。
本发明的人脸活体检测系统通过增加傅里叶监督分支和深度监督分支，分别生成傅里叶频谱和生成深度图，从而对活体分类分支进行监督，提供了一种简单的辅助监督信号，监督活体检测模型的训练，提升了活体检测效果，本发明无需利用视频作为输入信号来建立rPPG信号，也不容易受环境影响，提高了检测的稳定性和准确性。
本发明实施例还提供一种人脸活体检测设备，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行所述的人脸活体检测方法的步骤。
本发明的人脸活体检测设备的处理器执行所述存储器中的可执行指令时，实现所述人脸活体检测方法的步骤，因此，所述人脸活体检测设备也可以实现上述人脸活体检测方法的技术效果。
本发明实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被处理器执行时实现所述的人脸活体检测方法的步骤。
本发明的计算机可读存储介质中的可执行指令被处理器执行时，实现所述人脸活体检测方法的步骤，因此，所述计算机可读存储介质也可以实现上述人脸活体检测方法的技术效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。
图1是本发明一实施例的人脸活体检测方法的流程图；
图2是本发明一实施例的人脸活体检测模型的示意图；
图3是本发明一实施例的金字塔层输出辅助监督分支结构示意图；
图4是本发明一实施例的活体分类分支的示意图；
图5是本发明一实施例的人脸活体检测系统的结构示意图；
图6是本发明一实施例的人脸活体检测设备的结构示意图；
图7是本发明一实施例的计算机可读存储介质的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
如图1所示，本发明实施例提供一种人脸活体检测方法，包括如下步骤：
S100：采集训练样本图像，所述训练样本图像具有是否为活体的标记；
S200：将训练样本图像输入人脸活体检测模型中，所述人脸活体检测模型包括特征提取网络、傅里叶监督分支、深度监督分支和活体分类分支；
S300：分别计算所述傅里叶监督分支、深度监督分支和活体分类分支的损失函数，并根据所述损失函数训练所述人脸活体检测模型；
S400：将待检测的图像输入训练好的所述人脸活体检测模型，得到输出的活体分类结果，所述活体分类结果包括检测到的至少一个活体属性类别，所述活体属性类别例如可以包括是否为活体的分类类别，还可以进一步根据需要增加活体性别的分类类别，活体年龄分段的分类类别等等，如果不是活体，则可以按照攻击类型分类等等。
本发明的人脸活体检测方法通过步骤S100～S300训练人脸活体检测模型，并且在人脸活体检测模型中增加傅里叶监督分支和深度监督分支，分别生成傅里叶频谱和生成深度图，从而对活体分类分支进行监督，提供了一种简单的辅助监督信号，监督活体检测模型的训练，提升了通过步骤S400进行待检测的图像中活体检测的效果，本发明无需利用视频作为输入信号来建立rPPG信号，也不容易受环境影响，提高了检测的稳定性和准确性。
在该实施例中，所述步骤S100中采集训练样本图像，采用CelebA-Spoof数据集，该数据集中主要有两种图像，spoof图表示非活体图像，live图表示活体图像。CelebA-Spoof的攻击类型很丰富，共划分为四大攻击类型，分别为打印Print(照片、海报、A4纸)、剪纸PaperCut(仅纸质人脸、含有上身的纸质人脸和抠掉不同五官部位的纸质人脸)、重播Replay(电脑、平板和手机等屏幕人脸)及3DMask(面具类型)，并在丰富的光照条件(正常光、强光、背光和暗光)和环境(室内和室外)下按照上述三个维度交叉组合进行数据采集。因此，CelebA-Spoof具有数据量大、数据丰富多样、标注信息丰富等多种优势，可以很好地应用于人脸活体检测模型的训练。
如图2所示，所述人脸活体检测模型包括特征提取网络、傅里叶监督分支、深度监督分支和活体分类分支。特征提取网络提取得到的特征图分别用于与傅里叶监督分支和深度监督分支计算对应分支的损失函数，并且特征提取网络提取得到的特征图可以用于活体分类分支进行活体检测分类。所述傅里叶监督分支包括傅里叶变换、归一化和尺寸缩放。具体地，所述训练样本图像输入所述傅里叶监督分支后，所述傅里叶监督分支对所述训练样本图像进行傅里叶变换，生成傅里叶频谱，然后进行中心化和归一化后，尺寸调整至预设尺寸，例如224*224。计算所述傅里叶监督分支的损失函数时，基于所述傅里叶频谱和所述特征提取网络提取的特征图来进行计算损失函数。
在该实施例中，所述训练样本图像输入所述深度监督分支后，所述深度监督分支对负样本图像采用PRNet生成预设尺寸的伪深度图，且该伪深度图与输入的训练样本图像的尺寸相同，例如缩放到224*224，对正样本图像采用预设尺寸的像素值全为0的图像作为深度图，且该深度图与输入的训练样本图像的尺寸相同，例如缩放到224*224。计算所述深度监督分支的损失函数时，基于所述伪深度图或深度图与所述特征提取网络提取的特征图来进行计算损失函数。在所述训练样本图像采用CelebA-Spoof数据集时，负样本图像就是spoof图像，正样本图像就是live图像。
所述特征提取网络的输出分别连接第一输出辅助监督分支、第二输出辅助监督分支和第三输出辅助监督分支。在该实施例中，所述第一输出辅助监督分支、所述第二输出辅助监督分支和所述第三输出辅助监督分支采用相同的结构，且所述第一输出辅助监督分支、所述第二输出辅助监督分支和所述第三输出辅助监督分支分别包括卷积层。如图3示出了连接于特征提取网络之后的金字塔层输出辅助监督分支网络，傅里叶监督分支、深度监督分支和活体分类分支分别采用了一个图3的网络结构，即所述第一输出辅助监督分支、所述第二输出辅助监督分支和所述第三输出辅助监督分支分别采用图3的网络结构。金字塔输出特征映射的尺寸如下表1所示，对于辅助监督分支(傅里叶监督分支和深度监督分支)最后cat并reshape特征映射为B*224*224，对于活体分类分支最后cat并通过一个k＝7*7的卷积层，及BN(Batch Normalization，批归一化)层和activate层(激活函数层)，输出通道维数为分类数2。图3中A表示特征图，B表示stride＝2，k＝3*3的图像，C表示stride＝1，k＝3*3的图像。
表1特征金字塔输出特征映射尺寸
P3 B*256*56*56 B*256*7*7
P4 B*256*28*28 B*256*7*7
P5 B*256*14*14 B*256*7*7
P6 B*256*7*7 B*256*7*7
如图4所示，所述特征提取网络采用resnet34网络和四层的金字塔网络BiFPN，所述金字塔网络BiFPN的输出分别连接所述第一输出辅助监督分支、第二输出辅助监督分支和第三输出辅助监督分支。在其他的实施方式中，resnet34网络也可以变更为resnet18网络。Resnet网络即为残差网络。残差网络主要是通过残差块组成的，在深度学习网络中引入残差块后，网络可以达到很深，网络的效果也随之变好，图像识别准确率很高。Resnet18网络包括17个卷积层和一个全连接层，单层物体检测算法中，无法用单一层的特征图同时有效的表征各个尺度的物体，因此，后来物体检测算法，就逐渐发展为利用不同层的特征图，形成特征金字塔网络(FPN，Feature Parymid Network)，表征不同层的物体，然后再基于特征金字塔做物体检测。BiFPN是一种效果较好的双向融合的特征金字塔网络。
在该实施例中，所述步骤S300中，分别计算所述傅里叶监督分支、深度监督分支和活体分类分支的损失函数，包括如下步骤：
根据所述第一输出辅助监督分支的输出特征图与所述傅里叶监督分支的输出傅里叶频谱图计算傅里叶监督分支损失函数；
根据所述第二输出辅助监督分支的输出特征图与所述深度监督分支的输出深度图计算深度监督分支损失函数；
所述第三输出辅助监督分支的输出特征图输入所述活体分类分支，得到所述活体分类分支的分类结果；
根据所述活体分类分支的分类结果和所述训练样本图像预先标记的分类标签计算活体分类分支损失函数。
在该实施例中，所述步骤S300中，根据所述损失函数训练所述人脸活体检测模型，包括如下步骤：
将傅里叶监督分支损失函数、深度监督分支损失函数和活体分类分支损失函数加权求和，得到所述人脸活体检测模型的损失函数；
采用随机梯度下降的方式迭代训练所述人脸活体检测模型。
在该实施例中，傅里叶监督分支损失函数采用MES损失函数，权重例如是0.8，深度监督损失函数采用CLD损失函数，权重例如是0.8。分类分支损失函数包括人脸属性faceattribute损失函数、欺骗类型spoof type损失函数、光照ilumination损失函数、环境environment损失函数和正负分类损失函数。具体地，所述人脸属性损失函数采用BCE损失函数，权重例如是0.5，所述欺骗类型损失函数、所述光照损失函数和所述环境损失函数分别采用CrossEntropy损失函数，权重例如分别为0.5,0.1,0.01，所述正负分类损失函数采用arcface损失函数，权重例如是1.0。此处权重值仅为举例，在其他可替代的实施方式中，权重也可以为其他数值，并可以根据需要调整。
所述损失函数为交叉熵函数，优化器使用随机梯度下降(Stochastic GradientDescent，SGD)，lr为1e-1，weight_decay为5e-4，momentum为0.9，训练使用P100，batchsize为128，epoch为100。此处列举的选择的损失函数的类型、分类分支损失函数的分类、优化器的类型等等均为示例，在其他可替代的实施方式中，均可以进行调整而采用与上述列举的不同的方式，均属于本发明的保护范围之内。
如图5所示，本发明实施例还提供一种人脸活体检测系统，用于实现所述的人脸活体检测方法，其特征在于，所述系统包括：
样本采集模块M100，用于采集训练样本图像，所述训练样本图像具有是否为活体的标记；
模型输入模块M200，用于将训练样本图像输入人脸活体检测模型中，所述人脸活体检测模型包括特征提取网络、傅里叶监督分支、深度监督分支和活体分类分支；
模型训练模块M300，用于分别计算所述傅里叶监督分支、深度监督分支和活体分类分支的损失函数，并根据所述损失函数训练所述人脸活体检测模型；
活体检测模块M400，用于将待检测的图像输入训练好的所述人脸活体检测模型，得到输出的活体分类结果，所述活体分类结果包括检测到的至少一个活体属性类别，所述活体属性类别例如可以包括是否为活体的分类类别，还可以进一步根据需要增加活体性别的分类类别，活体年龄分段的分类类别等等。
本发明的人脸活体检测系统通过样本采集模块M100、模型输入模块M200和模型训练模块M300训练人脸活体检测模型，并且在人脸活体检测模型中增加傅里叶监督分支和深度监督分支，分别生成傅里叶频谱和生成深度图，从而对活体分类分支进行监督，提供了一种简单的辅助监督信号，监督活体检测模型的训练，提升了通过活体检测模块M400进行待检测的图像中活体检测的效果，本发明无需利用视频作为输入信号来建立rPPG信号，也不容易受环境影响，提高了检测的稳定性和准确性。
本发明的人脸活体检测系统中，各个模块的功能可以采用如上所述的人脸活体检测方法的具体实施方式来实现。例如，样本采集模块M100可以采用CelebA-Spoof数据集中的图像作为训练样本图像。该数据集中主要有两种图像，spoof图表示非活体图像，live图表示活体图像。并且，CelebA-Spoof具有数据量大、数据丰富多样、标注信息丰富等多种优势，可以很好地应用于人脸活体检测模型的训练。
所述人脸活体检测模型可以采用如图2～图4所示出的网络结构。其中，所述人脸活体检测模型包括特征提取网络、傅里叶监督分支、深度监督分支和活体分类分支。特征提取网络提取得到的特征图分别用于与傅里叶监督分支和深度监督分支计算对应分支的损失函数，并且特征提取网络提取得到的特征图可以用于活体分类分支进行活体检测分类。所述傅里叶监督分支包括傅里叶变换、归一化和尺寸缩放。具体地，所述训练样本图像输入所述傅里叶监督分支后，所述傅里叶监督分支对所述训练样本图像进行傅里叶变换，生成傅里叶频谱，然后进行中心化和归一化后，尺寸调整至预设尺寸。所述训练样本图像输入所述深度监督分支后，所述深度监督分支对负样本图像采用PRNet生成预设尺寸的伪深度图，且该伪深度图与输入的训练样本图像的尺寸相同，对正样本图像采用预设尺寸的像素值全为0的图像作为深度图，且该深度图与输入的训练样本图像的尺寸相同。
所述特征提取网络的输出分别连接第一输出辅助监督分支、第二输出辅助监督分支和第三输出辅助监督分支。在该实施例中，所述第一输出辅助监督分支、所述第二输出辅助监督分支和所述第三输出辅助监督分支采用相同的结构，且所述第一输出辅助监督分支、所述第二输出辅助监督分支和所述第三输出辅助监督分支分别包括卷积层。所述第一输出辅助监督分支、第二输出辅助监督分支和第三输出辅助监督分支可以分别采用如图3所示的网络结构。所述特征提取网络采用resnet18网络或resnet34网络和四层的金字塔网络BiFPN，所述金字塔网络BiFPN的输出分别连接所述第一输出辅助监督分支、第二输出辅助监督分支和第三输出辅助监督分支。
所述模型训练模块M300可以采用上述步骤S300的具体实施方式计算所述人脸活体检测模型的损失函数，并且迭代优化训练所述人脸活体检测模型。具体地，根据所述第一输出辅助监督分支的输出特征图与所述傅里叶监督分支的输出傅里叶频谱图计算傅里叶监督分支损失函数；根据所述第二输出辅助监督分支的输出特征图与所述深度监督分支的输出深度图计算深度监督分支损失函数；所述第三输出辅助监督分支的输出特征图输入所述活体分类分支，得到所述活体分类分支的分类结果；根据所述活体分类分支的分类结果和所述训练样本图像预先标记的分类标签计算活体分类分支损失函数；将傅里叶监督分支损失函数、深度监督分支损失函数和活体分类分支损失函数加权求和，得到所述人脸活体检测模型的损失函数；采用随机梯度下降的方式迭代训练所述人脸活体检测模型。
本发明实施例还提供一种人脸活体检测设备，包括处理器；存储器，其中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行所述的人脸活体检测方法的步骤。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。
下面参照图6来描述根据本发明的这种实施方式的电子设备600。图6显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述人脸活体检测方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图1中所示的步骤。
所述存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
所述存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
本发明的人脸活体检测设备的处理器执行所述存储器中的可执行指令时，实现所述人脸活体检测方法的步骤，因此，所述人脸活体检测设备也可以实现上述人脸活体检测方法的技术效果。即通过步骤S100～S300训练人脸活体检测模型，并且在人脸活体检测模型中增加傅里叶监督分支和深度监督分支，分别生成傅里叶频谱和生成深度图，从而对活体分类分支进行监督，提供了一种简单的辅助监督信号，监督活体检测模型的训练，提升了通过步骤S400进行待检测的图像中活体检测的效果，本发明无需利用视频作为输入信号来建立rPPG信号，也不容易受环境影响，提高了检测的稳定性和准确性。
本发明实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被处理器执行时实现所述的人脸活体检测方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上执行时，所述程序代码用于使所述终端设备执行本说明书上述人脸活体检测方法部分中描述的根据本发明各种示例性实施方式的步骤。
参考图7所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上执行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本发明的计算机可读存储介质中的可执行指令被处理器执行时，实现所述人脸活体检测方法的步骤，因此，所述计算机可读存储介质也可以实现上述人脸活体检测方法的技术效果。即通过步骤S100～S300训练人脸活体检测模型，并且在人脸活体检测模型中增加傅里叶监督分支和深度监督分支，分别生成傅里叶频谱和生成深度图，从而对活体分类分支进行监督，提供了一种简单的辅助监督信号，监督活体检测模型的训练，提升了通过步骤S400进行待检测的图像中活体检测的效果，本发明无需利用视频作为输入信号来建立rPPG信号，也不容易受环境影响，提高了检测的稳定性和准确性。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (13)

1.一种人脸活体检测方法，其特征在于，包括如下步骤：
采集训练样本图像；
将训练样本图像输入人脸活体检测模型中，所述人脸活体检测模型包括特征提取网络、傅里叶监督分支、深度监督分支和活体分类分支；
分别计算所述傅里叶监督分支、深度监督分支和活体分类分支的损失函数，并根据所述损失函数训练所述人脸活体检测模型；
将待检测的图像输入训练好的所述人脸活体检测模型，得到输出的活体分类结果，所述活体分类结果包括检测到的至少一个活体属性类别。
2.根据权利要求1所述的人脸活体检测方法，其特征在于，所述训练样本图像输入所述傅里叶监督分支后，所述傅里叶监督分支对所述训练样本图像进行傅里叶变换和归一化后，尺寸调整至预设尺寸。
3.根据权利要求1所述的人脸活体检测方法，其特征在于，所述训练样本图像输入所述深度监督分支后，所述深度监督分支对负样本图像采用PRNet生成预设尺寸的伪深度图，对正样本图像采用预设尺寸的像素值全为0的图像作为深度图。
4.根据权利要求1所述的人脸活体检测方法，其特征在于，所述特征提取网络采用残差网络和金字塔网络，所述残差网络为resnet18网络或resnet34网络，所述金字塔网络的输出分别连接第一输出辅助监督分支、第二输出辅助监督分支和第三输出辅助监督分支。
5.根据权利要求4所述的人脸活体检测方法，其特征在于，分别计算所述傅里叶监督分支、深度监督分支和活体分类分支的损失函数，包括如下步骤：
根据所述第一输出辅助监督分支的输出与所述傅里叶监督分支的输出计算傅里叶监督分支损失函数；
根据所述第二输出辅助监督分支的输出与所述深度监督分支的输出计算深度监督分支损失函数；
所述第三输出辅助监督分支的输出输入所述活体分类分支，得到所述活体分类分支的分类结果；
根据所述活体分类分支的分类结果和所述训练样本图像的标签计算活体分类分支损失函数。
6.根据权利要求4所述的人脸活体检测方法，其特征在于，所述第一输出辅助监督分支、所述第二输出辅助监督分支和所述第三输出辅助监督分支采用相同的结构，且所述第一输出辅助监督分支、所述第二输出辅助监督分支和所述第三输出辅助监督分支分别包括卷积层。
7.根据权利要求1所述的人脸活体检测方法，其特征在于，根据所述损失函数训练所述人脸活体检测模型，包括如下步骤：
将傅里叶监督分支损失函数、深度监督分支损失函数和活体分类分支损失函数加权求和，得到所述人脸活体检测模型的损失函数；
采用随机梯度下降的方式迭代训练所述人脸活体检测模型。
8.根据权利要求1所述的人脸活体检测方法，其特征在于，傅里叶监督分支损失函数采用MES损失函数，深度监督损失函数采用CLD损失函数。
9.根据权利要求1所述的人脸活体检测方法，其特征在于，分类分支损失函数包括人脸属性损失函数、欺骗类型损失函数、光照损失函数、环境损失函数和正负分类损失函数。
10.根据权利要求9所述的人脸活体检测方法，其特征在于，所述人脸属性损失函数采用BCE损失函数，所述欺骗类型损失函数、所述光照损失函数和所述环境损失函数分别采用CrossEntropy损失函数，所述正负分类损失函数采用arcface损失函数。
11.一种人脸活体检测系统，用于实现权利要求1至10中任一项所述的人脸活体检测方法，其特征在于，所述系统包括：
样本采集模块，用于采集训练样本图像；
模型输入模块，用于将训练样本图像输入人脸活体检测模型中，所述人脸活体检测模型包括特征提取网络、傅里叶监督分支、深度监督分支和活体分类分支；
模型训练模块，用于分别计算所述傅里叶监督分支、深度监督分支和活体分类分支的损失函数，并根据所述损失函数训练所述人脸活体检测模型；
活体检测模块，用于将待检测的图像输入训练好的所述人脸活体检测模型，得到输出的活体分类结果，所述活体分类结果包括检测到的至少一个活体属性类别。
12.一种人脸活体检测设备，其特征在于，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至10中任一项所述的人脸活体检测方法的步骤。
13.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被处理器执行时实现权利要求1至10中任一项所述的人脸活体检测方法的步骤。
CN202011292181.1A 2020-11-18 2020-11-18 人脸活体检测方法、系统、设备及存储介质 Pending CN112329696A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011292181.1A CN112329696A (zh) 2020-11-18 2020-11-18 人脸活体检测方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011292181.1A CN112329696A (zh) 2020-11-18 2020-11-18 人脸活体检测方法、系统、设备及存储介质

Publications (1)

Publication Number Publication Date
CN112329696A true CN112329696A (zh) 2021-02-05

Family

ID=74322688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011292181.1A Pending CN112329696A (zh) 2020-11-18 2020-11-18 人脸活体检测方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112329696A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112906676A (zh) * 2021-05-06 2021-06-04 北京远鉴信息技术有限公司 人脸图像来源的识别方法、装置、存储介质及电子设备
CN113158773A (zh) * 2021-03-05 2021-07-23 普联技术有限公司 一种活体检测模型的训练方法及训练装置
CN113221662A (zh) * 2021-04-14 2021-08-06 上海芯翌智能科技有限公司 人脸识别模型的训练方法及装置、存储介质、终端
CN113435425A (zh) * 2021-08-26 2021-09-24 绵阳职业技术学院 一种基于递归多特征融合的野生动物出没检测方法
CN113657154A (zh) * 2021-07-08 2021-11-16 浙江大华技术股份有限公司 活体检测方法、装置、电子装置和存储介质
CN113743192A (zh) * 2021-07-16 2021-12-03 华中科技大学 静默式人脸活体检测模型及方法
CN114299567A (zh) * 2021-12-02 2022-04-08 北京的卢深视科技有限公司 模型训练、活体检测方法、电子设备及存储介质
CN114445667A (zh) * 2022-01-28 2022-05-06 北京百度网讯科技有限公司 图像检测方法和用于训练图像检测模型的方法
CN114724220A (zh) * 2022-04-12 2022-07-08 广州广电卓识智能科技有限公司 活体检测方法、装置及可读介质
CN115601818A (zh) * 2022-11-29 2023-01-13 海豚乐智科技（成都）有限责任公司（Cn） 一种轻量化可见光活体检测方法及装置
CN116631068A (zh) * 2023-07-25 2023-08-22 江苏圣点世纪科技有限公司 一种基于深度学习特征融合的掌静脉活体检测方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113158773A (zh) * 2021-03-05 2021-07-23 普联技术有限公司 一种活体检测模型的训练方法及训练装置
CN113158773B (zh) * 2021-03-05 2024-03-22 普联技术有限公司 一种活体检测模型的训练方法及训练装置
CN113221662B (zh) * 2021-04-14 2022-09-27 上海芯翌智能科技有限公司 人脸识别模型的训练方法及装置、存储介质、终端
CN113221662A (zh) * 2021-04-14 2021-08-06 上海芯翌智能科技有限公司 人脸识别模型的训练方法及装置、存储介质、终端
CN112906676A (zh) * 2021-05-06 2021-06-04 北京远鉴信息技术有限公司 人脸图像来源的识别方法、装置、存储介质及电子设备
CN113657154A (zh) * 2021-07-08 2021-11-16 浙江大华技术股份有限公司 活体检测方法、装置、电子装置和存储介质
CN113743192A (zh) * 2021-07-16 2021-12-03 华中科技大学 静默式人脸活体检测模型及方法
CN113435425B (zh) * 2021-08-26 2021-12-07 绵阳职业技术学院 一种基于递归多特征融合的野生动物出没检测方法
CN113435425A (zh) * 2021-08-26 2021-09-24 绵阳职业技术学院 一种基于递归多特征融合的野生动物出没检测方法
CN114299567A (zh) * 2021-12-02 2022-04-08 北京的卢深视科技有限公司 模型训练、活体检测方法、电子设备及存储介质
CN114445667A (zh) * 2022-01-28 2022-05-06 北京百度网讯科技有限公司 图像检测方法和用于训练图像检测模型的方法
CN114724220A (zh) * 2022-04-12 2022-07-08 广州广电卓识智能科技有限公司 活体检测方法、装置及可读介质
CN115601818A (zh) * 2022-11-29 2023-01-13 海豚乐智科技（成都）有限责任公司（Cn） 一种轻量化可见光活体检测方法及装置
CN116631068A (zh) * 2023-07-25 2023-08-22 江苏圣点世纪科技有限公司 一种基于深度学习特征融合的掌静脉活体检测方法
CN116631068B (zh) * 2023-07-25 2023-10-20 江苏圣点世纪科技有限公司 一种基于深度学习特征融合的掌静脉活体检测方法

Similar Documents

Publication Publication Date Title
CN112329696A (zh) 人脸活体检测方法、系统、设备及存储介质
CN111767954A (zh) 车辆细粒度识别模型生成方法、系统、设备及存储介质
CN111723786A (zh) 一种基于单模型预测的安全帽佩戴检测方法及装置
CN107609463B (zh) 活体检测方法、装置、设备及存储介质
CN107766577B (zh) 一种舆情监测方法、装置、设备及存储介质
US11734954B2 (en) Face recognition method, device and electronic equipment, and computer non-volatile readable storage medium
CN110084289B (zh) 图像标注方法、装置、电子设备及存储介质
CN108509921B (zh) 用于生成信息的方法和装置
CN110032734B (zh) 近义词扩展及生成对抗网络模型训练方法和装置
US20230097391A1 (en) Image processing method and apparatus, electronic device, computer-readable storage medium, and computer program product
CN112287957A (zh) 目标匹配方法与装置
CN113392180A (zh) 文本处理方法、装置、设备及存储介质
US20230024169A1 (en) Method and apparatus for predicting test scores
CN114333881B (zh) 基于环境自适应的音频传输降噪方法、设备及介质
CN112883818A (zh) 文本图像识别方法、系统、设备及存储介质
CN111121797A (zh) 道路筛选方法、装置、服务器及存储介质
CN110555352B (zh) 一种兴趣点识别方法、装置、服务器和存储介质
CN114943937A (zh) 行人重识别方法、装置、存储介质及电子设备
CN114565780A (zh) 一种目标识别方法、装置、电子设备及存储介质
CN108460335B (zh) 视频细粒度识别方法、装置、计算机设备及存储介质
CN116415020A (zh) 一种图像检索的方法、装置、电子设备及存储介质
CN113239883A (zh) 分类模型的训练方法、装置、电子设备以及存储介质
CN111797258B (zh) 基于美感评价的图像推送方法、系统、设备及存储介质
CN117635998A (zh) 用于多标签半监督分类的基于百分位数的伪标签选择
CN116385957A (zh) 一种x光图像违禁品检测方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination