CN112329606B - 一种活体检测方法、装置、电子设备及可读存储介质 - Google Patents

一种活体检测方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN112329606B
CN112329606B CN202011209519.2A CN202011209519A CN112329606B CN 112329606 B CN112329606 B CN 112329606B CN 202011209519 A CN202011209519 A CN 202011209519A CN 112329606 B CN112329606 B CN 112329606B
Authority
CN
China
Prior art keywords
detected
image
living body
center point
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011209519.2A
Other languages
English (en)
Other versions
CN112329606A (zh
Inventor
焦任直
谢会斌
李聪廷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Boguan Intelligent Technology Co Ltd
Original Assignee
Jinan Boguan Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Boguan Intelligent Technology Co Ltd filed Critical Jinan Boguan Intelligent Technology Co Ltd
Priority to CN202011209519.2A priority Critical patent/CN112329606B/zh
Publication of CN112329606A publication Critical patent/CN112329606A/zh
Application granted granted Critical
Publication of CN112329606B publication Critical patent/CN112329606B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/70—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in livestock or poultry

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种活体检测方法、装置、电子设备及计算机可读存储介质，该方法包括：获取待检测图像；利用活体检测模型提取待检测图像对应的特征，并判断各项特征是否均处于对应的概率区间；特征包括深度特征、rPPG特征和类中心点特征中的至少两项；若各项特征均处于概率区间，则确定待检测图像为活体图像；该方法利用活体检测模型提取待检测图像对应的若干项特征，不同类别的特征可以从不同的角度对待检测图像是否为活体图像进行表征，相比单纯使用0、1标签进行分类和判别具有更好的鲁棒性。由于不需要连续获取多张图像并对多张图像进行处理，因此检测速度较快，同时不会受到人员运动、光照变化等因素的影响，识别准确率较高。

Description

一种活体检测方法、装置、电子设备及可读存储介质
技术领域
本申请涉及人脸识别技术领域，特别涉及一种活体检测方法、活体检测装置、电子设备及计算机可读存储介质。
背景技术
完整的人脸识别过程中应当包括人脸检测、活体检测、人脸识别等步骤。其中，活体检测是为了判断当前人脸的真实性，即是否为真正的人脸。若没有活体检测的步骤，则可以利用照片、图片等通过人脸识别，造成安全隐患。相关技术在进行活体检测时，需要获取时间连续的多张图像，对多张图像进行0、1标签分类并综合几次分类结果实现活体检测。由于需要获取多张图像并对多个图像进行判别，因此会导致人脸识别所需的时间较长，速度较慢；且识别的结果容易受到图像获取过程中人员运动、光照变化等因素的影响，识别准确率较低。
因此，相关技术存在的识别速度慢、识别准确率较低的问题，是本领域技术人员需要解决的技术问题。
发明内容
有鉴于此，本申请的目的在于提供一种活体检测方法、活体检测装置、电子设备及计算机可读存储介质，提高了识别速度和识别准确率。
为解决上述技术问题，本申请提供了一种活体检测方法，包括：
获取待检测图像；
利用活体检测模型提取所述待检测图像对应的特征，并判断各项所述特征是否均处于对应的概率区间；所述特征包括深度特征、rPPG特征和类中心点特征中的至少两项；
若各项所述特征均处于所述概率区间，则确定所述待检测图像为活体图像。
可选地，若所述特征为深度特征，则所述活体检测模型的训练过程，包括：
获取训练图像，并提取所述训练图像对应的训练特征图；
利用所述训练特征图、预设卷积核和深度训练标签，计算基于卷积后特征和标签差值的二范数，得到深度损失值；
利用所述深度损失值生成损失值，并利用所述损失值对所述活体检测模型进行调整。
可选地，若所述特征为rPPG特征，则所述活体检测模型的训练过程，包括：
获取训练图像，并提取所述训练图像对应的训练rPPG信号；
利用所述训练rPPG信号与rPPG训练标签进行二范数计算，得到rPPG损失值；
利用所述rPPG损失值生成损失值，并利用所述损失值对所述活体检测模型进行调整。
可选地，若所述特征为类中心点特征，则所述活体检测模型的训练过程，包括：
获取训练图像，并提取所述训练图像对应的训练类中心点；
利用所述训练类中心点和模型历史类中心点生成模型当前类中心点；
利用所述模型当前类中心点和所述训练类中心点进行二范数计算和求和计算，得到类中心点损失值；
利用所述类中心点损失生成损失值，并利用所述损失值和更新后的类中心点作为下次迭代的初始类中心点对所述活体检测模型进行调整。
可选地，所述利用所述类中心点损失生成损失值，包括：
利用所述类中心点损失值与其他损失值进行加权求和计算，得到所述损失值；所述其他损失值包括深度损失值、rPPG损失值和分类损失值。
可选地，还包括：
提取所述待检测图像对应的待检测类中心点；
利用所述待检测类中心点与活体类中心点计算活体距离，并利用所述待检测类中心点与假体类中心点计算假体距离；
相应的，所述若各项所述特征均处于所述概率区间，则确定所述待检测图像为活体图像，包括：
若所述活体距离大于所述假体距离，且各项所述特征均处于所述概率区间，则确定所述待检测图像为活体图像。
可选地，所述利用活体检测模型提取所述待检测图像对应的特征，包括：
提取所述待检测图像对应的待检测深度图，并对所述待检测深度图进行分类处理，得到所述深度特征；
提取所述待检测图像对应的待检测rPPG信号，并对所述待检测rPPG信号进行分类处理，得到所述rPPG特征；
提取所述待检测图像对应的待检测类中心点，并对所述待检测类中心点进行分类处理，得到所述类中心点特征。
本申请还提供了一种活体检测装置，包括：
获取模块，用于获取待检测图像；
区间判断模块，用于利用活体检测模型提取所述待检测图像对应的特征，并判断各项所述特征是否均处于对应的概率区间；所述特征包括深度特征、rPPG特征和类中心点特征中的至少两项；
确定模块，用于若各项所述特征均处于所述概率区间，则确定所述待检测图像为活体图像。
本申请还提供了一种电子设备，包括存储器和处理器，其中：
所述存储器，用于保存计算机程序；
所述处理器，用于执行所述计算机程序，以实现上述的活体检测方法。
本申请还提供了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现上述的活体检测方法。
本申请提供的活体检测方法，获取待检测图像；利用活体检测模型提取待检测图像对应的特征，并判断各项特征是否均处于对应的概率区间；特征包括深度特征、rPPG特征或类中心点特征中的至少两项；若各项特征均处于概率区间，则确定待检测图像为活体图像。
可见，该方法在获取待检测图像后，利用活体检测模型提取待检测图像对应的若干项特征。具体的，特征的数量为至少两项，其具体可以包括深度特征、rPPG特征或类中心点特征。不同类别的特征可以从不同的角度对待检测图像是否为活体图像进行表征。因此在提取对应的特征后，判断各项特征是否均处于对应的概率区间内。若均处于对应的概率区间，则说明待检测图像从各个角度均被判别为活体图像，因此将待检测图像确定为活体图像，保证了活体检测的准确性，相比单纯使用0、1标签进行分类和判别具有更好的鲁棒性。由于不需要连续获取多张图像并对多张图像进行处理，因此检测速度较快，同时不会受到人员运动、光照变化等因素的影响，识别准确率较高，解决了相关技术存在的识别速度较慢、识别准确率较低的问题。
此外，本申请还提供了一种活体检测装置、电子设备及计算机可读存储介质，同样具有上述有益效果。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种活体检测方法流程图；
图2为本申请实施例提供的一种活体检测过程示意图；
图3为本申请实施例提供的一种训练图像和深度训练标签；
图4为本申请实施例提供的另一种训练图像和深度训练标签；
图5为本申请实施例提供的一种rPPG信号示意图；
图6为本申请实施例提供的另一种rPPG信号示意图；
图7为本申请实施例提供的一种类别分布及类中心点示意图；
图8为本申请实施例提供的一种网络结构示意图；
图9为本申请实施例提供的一种活体检测装置的结构示意图；
图10为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参考图1，图1为本申请实施例提供的一种活体检测方法流程图。该方法包括：
S101：获取待检测图像。
本实施例中，活体检测方法的全部或部分步骤可以由指定的电子设备执行，该指定的电子设备可以为单个相机、手机、计算机或服务器等，或者可以为若干个相机、手机、计算机或服务器共同完成。当电子设备包括多个设备或终端构成时，本实施例并不限定各个设备或终端具体执行的步骤，各个设备或终端之间可以相互通信，共同完成活体检测。
待检测图像可以为任意内容的图像，例如可以为真实的人脸图像，或者可以为对人脸图像进行二次拍摄或获取得到的图像。待检测图像的数量不做限定，其可以为一个或多个。需要说明的是，若待检测图像的数量为多个，则各个待检测图像之间不存在任何相关关系，均为相互独立的图像。在对待检测图像进行活体检测时，分别利用各个待检测图像进行独立的活体检测，并不需要各个待检测图像相互配合检测。
S102：利用活体检测模型提取待检测图像对应的特征，并判断各项特征是否均处于对应的概率区间。
在获取待检测图像后，利用活体检测模型对其进行特征提取得到对应的特征，并判断各项特征是否均处于对应的概率区间内。可以理解的是，本申请中各个待检测图像对应的特征的数量大于一个，具体的，特征包括深度特征、rPPG特征和类中心点特征中的至少两项。其中，深度特征用于表示存在活体人脸对应的深度图像的概率，基于待检测图像的深度信息得到。深度信息表示的是人脸的距离信息，表示人脸的凹凸形状，本实施例优选的，使用单目深度预测网络，从单目RGB图片中提取得到人脸深度信息，进而得到深度特征。rPPG特征用于表示存在rPPG信号为活体人脸对应信号的概率，rPPG即为RemotePhotoplethysmography，远程光电体积描记术，其可以利用图片或视频远程测量生理信号。具体的，利用反射的周围光来测量皮肤的细微亮度变化。皮肤的细微亮度变化是由于心脏跳动导致的血液流动导致的。如果是真实的人脸，会有部分周围光穿过皮层到达血管，然后反射回图像获取设备，因此图像获取设备是能监测到血液流动导致的亮度变化；若不是真实的人脸，而是人脸图像，由于人脸图像的材料与真实人脸不同，因此吸收及反射到图像获取设备的信息就会存在较大差异。在活体检测模型训练结束后，可以得到对应的活体类中心点和假体类中心点，利用待检测图像对应的待检测类中心点、活体类中心点和假体类中心点，可以确定待检测类中心点处于活体类中心点对应的概率，即表示待检测图像为活体图像的概率。在得到各项特征后，利用其与对应的概率区间进行比较，判断各项特征是否分别处于对应的概率区间，并根据判断结果对待检测图像是否为活体图像进行确定。请参考图2，图2为本申请实施例提供的一种活体检测过程示意图。其中，在训练过程中，输入数据即为训练图像，在应用过程中，输入数据即为待检测图像。训练过程中，在获取训练图像后将其输入CNN网络主干(即CNN_Net Backbone)进行训练，利用得到的类中心点特征(即Class_Feature)、深度特征(即Depth_Feature)和rPPG特征(即rPPG_Feature)生成对应的损失值，即Class loss、depth loss和rPPG loss。在一种实施方式中，可以将训练集图片缩放为同一尺寸(例如192*192，单位为像素)输入，将真人训练图像和假人训练图像的标签分别置为1和0，作为分类网络的分类标签。利用softmaxwithloss函数作为损失函数。其中：
losscls为分类损失值，yk为分类标签，对于击中的类别，yk＝1，击不中的类别，yk＝0。f(zk)为网络分类层输出，zk为网络特征层输出的特征向量，即CNN_Net backbone之后的网络特征层(可以称为Feature_Vector，用于提取图像的Class_Feature、Depth_Feature、rPPG_Feature特征)的输出。
在应用过程中，在提取到待检测图像的类中心点特征、深度特征和rPPG特征后，分别将其输入对应的分类器，即Class classifier(类中心点分类器)、depth classifier(深度分类器)和rPPG classifier(rPPG分类器)进行分类，得到结果fake或者real。可以理解的是，三种分类器本身是通过样本迭代训练完成的，例如可以通过训练完成的分类器进行前向计算得到对应的概率值。
可以理解的是，在利用活体检测模型对待检测图像进行检测前，需要对活体检测模型进行训练。在本实施例中，待检测图像的特征包括深度特征、rPPG特征和类中心点特征三种。具体的，特征为深度特征时，活体检测模型的训练过程可以包括：
步骤11：获取训练图像，并提取训练图像对应的训练特征图。
步骤12：利用训练特征图、预设卷积核和深度训练标签，计算基于卷积后特征和标签差值的二范数，得到深度损失值。
步骤13：利用深度损失值生成损失值，并利用损失值对活体检测模型进行调整。
在利用训练图形进行训练前，还需要为训练图像设置对应的深度训练标签。请参考图3，图3为本申请实施例提供的一种训练图像和深度训练标签，其中以相邻两个为一组，左边为真实人脸对应的训练图像，右边为其对应的深度图。由于其作为训练图像，因此可以将对应的深度图作为训练图像对应的深度训练标签，即活体标签。请参考图4，图4为本申请实施例提供的另一种训练图像和深度训练标签，同样以相邻两个为一组，左边为假体人脸对应的训练图像，例如拍摄人脸图像而进一步得到的图像，右边为其对应的深度图。该深度图同样可以作为训练图像对应的深度训练标签，即假体标签。可以看到，活体标签为具体的深度图，而假体人脸对应的训练图像不存在对应的深度图，因此可以进一步将假体标签设置为0。可以理解的是，对训练图像提取深度图(即深度训练标签)的具体方式本实施例不做限定，可以参考相关技术。
在每次训练时，以batch(批数量)为单位输入训练图像。batch的具体大小不做限定，例如为32，即每次输入32张训练图像。在一种可行的实施方式中，还可以将所有的训练图像按照活体和假体进行分类，在[0.2-0.8]区间产生均匀分布的随机数，作为当前Batch活体训练图像和假体训练图像的输入比例。随机抓取对应比例的活体训练图像和假体训练图像，作为当前Batch输入网络的样本，并将活体训练图像和假体训练图像输入。将训练图像输入模型后，利用模型自身提取对应的深度图即训练特征图，并利用训练特征图计算深度损失值。由于需要对模型进行多个方面的训练，因此在针对深度特征进行训练时，需要计算对应的深度损失值，以便利用其与其他特征对应的损失值共同生成损失值，并利用损失值对活体检测模型进行调整，具体为对活体检测模型中的参数进行调整。本实施例中，利用基于卷积后的深度特征和标签差值的二范数计算得到深度损失值，其可以利用Lossdepth表示：
其中，Dpred为网络输出的特征图(即训练特征图)，Dlabel为深度训练标签，为对X求二范数，/>为求卷积运算，/>为预设卷积核，i取值为从1到8，其中各个预设卷积核为：
上述八个预设卷积核分别对应i从1到8，具体对应关系不做限定。在得到深度损失值后，可以按照预设公式与其他的损失值共同生成损失值，具体生成方式本实施例不做限定，例如可以采用加权求和的方式生成损失值。
进一步的，若特征包括为rPPG特征，则活体检测模型的训练过程还可以包括：
步骤21：获取训练图像，并提取训练图像对应的训练rPPG信号。
步骤22：利用训练rPPG信号与rPPG训练标签进行二范数计算，得到rPPG损失值。
步骤23：利用rPPG损失值生成损失值，并利用损失值对活体检测模型进行调整。
在利用训练图像进行训练之前，还需要为训练图像生成rPPG训练标签。具体的，可以获取连续K帧的训练图像，并利用人脸定点网络对训练图像进行人脸定点，并根据定点结果将人脸分块，计算连续K帧对于分块区域的均值，组成序列。将均值序列求滑动平均，低通滤波。然后计算正交色度信号：
xf＝3rf-2gf
yf＝1.5rf+gf-1.5bf
利用色度正交信号计算色度标准差比例：
其中σ为标准差计算，rf、gf、bf分别为彩色图片RGB三通道分量分块均值。在得到色度标准差比例后，利用其计算人脸血流信号p：
最后，对信号p进行傅里叶变换后取绝对值，得到rPPG信号。请参考图5，图5为本申请实施例提供的一种rPPG信号示意图，其具体为活体人脸的训练图像对应的rPPG信号。请参考图6，图6为本申请实施例提供的另一种rPPG信号示意图，其具体为假体人脸的训练图像对应的rPPG信号。如深度图类似的，由于其为训练图像，因此其对应的rPPG信号可以作为其rPPG训练标签。
在将训练图像输入模型后，可以利用模型自主提取对应的训练rPPG信号，并利用其与rPPG训练标签计算rPPG损失值。本实施例中，可以利用LossrPPG表示rPPG损失值，则：
其中，fearPPG为训练rPPG信号，labelrPPG为rPPG训练标签。
进一步的，若特征包括类中心点特征，则活体检测模型的训练过程还可以包括：
步骤31：获取训练图像，并提取训练图像对应的训练类中心点。
步骤32：利用训练类中心点和模型历史类中心点生成模型当前类中心点。
步骤33：利用模型当前类中心点和训练类中心点进行二范数计算和求和计算，得到类中心点损失值。
步骤34：利用类中心点损失生成损失值，并利用损失值和更新后的类中心点作为下次迭代的初始类中心点对活体检测模型进行调整。
由于训练过程为多次迭代的过程，因此每次训练时输入的训练图像对应的训练类中心点即为该批次各个训练图像对应的类中心点。在上一次训练结束后，根据训练结果对模型进行调整，会得到两个类中心点，分别为活体类中心点和假体类中心点。在下一次训练时，这两个类中心点即为模型历史类中心点，成为新一次训练所调整的对象。因此在提取训练图像对应的训练类中心点后，可以利用其对模型历史类中心点进行调整，得到模型当前类中心点，并利用模型当前类中心点计算得到类中心点损失值。
在一种可行的实施方式中，可以利用Cp和Cn分别表示模型历史类中心点中的历史活体类中心点和历史假体类中心点，利用Cpb和Cnb分别表示训练类中心点中的活体训练类中心点和假体训练类中心点，按照：
C'p＝Cp+r(Cp-Cpb)
C'n＝Cn+r(Cn-Cnb)
计算得到模型当前类中心点，Cp’和Cn’分别为模型当前类中心点中的当前活体类中心点和当前假体类中心点。r为更新速率，例如可以取0.0001。请参考图7，图7为本申请实施例提供的一种类别分布及类中心点示意图，其中黑色圆点为Cn，白色方块为Cp。各个类别分布点的横纵坐标即为各个训练图像在二维情况下的坐标点。在得到模型当前类中心点后，可以利用模型当前类中心点和训练类中心点进行二范数计算和求和计算，得到类中心点损失值。本实施例中，可以利用Losscentercls表示类中心点损失值，则：
在得到类中心点损失值后，利用类中心点损失值与其他损失值进行加权求和计算，得到损失值，以便利用损失值对模型进行调整。其他损失值包括深度损失值、rPPG损失值和分类损失值。在一种可行的实施方式中，可以采用加权求和的方式计算损失值，损失值可以用Lossmultilabel表示，则：
Lossmultilabel＝λ1Lossdepth+λ2LossrPPG+λ3Losscentercls+λ4Losscls
其中λ1、λ2、λ3、λ4分别为各损失函数的加权系数，具体大小不做限定。Losscls表示以0、1作为训练标签、采用SoftmaxWithLoss函数作为损失函数计算得到的经典损失值，即分类损失值。具体计算过程可以参考相关技术，在此不再赘述。
请参考图8，图8为本申请实施例提供的一种网络结构示意图。在图8中存在左、中、右三个分支，其中左边的分支用于得到rPPG特征，中间的分支用于得到深度特征，右边的分支用于得到类中心点特征。需要说明的是，在需要时，在获取类中心点特征的同时，还可以获取待检测类中心点，以便利用其计算活体距离和假体距离，进而利用活体距离和假体距离进行二次检测，进一步提高检测准确性。
在活体检测模型训练完毕后，可以利用其对待检测图像进行特征提取。在一种可行的实施方式中，利用活体检测模型提取待检测图像对应的特征的步骤可以包括：
步骤41：提取待检测图像对应的待检测深度图，并对待检测深度图进行分类处理，得到深度特征。
步骤42：提取待检测图像对应的待检测rPPG信号，并对待检测rPPG信号进行分类处理，得到rPPG特征。
步骤43：提取待检测图像对应的待检测类中心点，并对待检测类中心点进行分类处理，得到类中心点特征。
本实施例中，深度特征、rPPG特征与类中心点特征均为概率特征。在利用模型对待检测图像进行深度图特征提取、rPPG信号特征提取和类中心点特征提取后，分别对其进行分类，即可得到从上述三个角度判断该待检测图像为活体图像的概率。具体的分类方式本实施例不做限定。在提取上述三个特征后，分别将其与对应的概率区间进行比对，判断其是否处于对应的概率区间内。例如在一种可行的实施方式中，上述三个特征对应的概率区间均为(0.5,1]，则比对结果为resultcls，则：
其中，probdepth为深度特征，probrppg为rPPG特征，probcentercls为类中心点特征。因此当比对结果为1时，证明各项特征均处于对应的概率区间，可以进入步骤S103。
S103：确定待检测图像为活体图像。
在确定各项特征均处于概率区间时，即当resultcls等于1时；或者在resultcls和resultdis均为1时，可以确定待检测图像为活体图像。
在另一种可行的实施方式中，为了进一步提高检测准确性，还可以利用类中心点距离进行二次判断。具体的，还可以包括：
步骤51：提取待检测图像对应的待检测类中心点。
步骤52：计算待检测类中心点与活体类中心点计算活体距离，并利用待检测类中心点与假体类中心点计算假体距离。
可以理解的是，由于待检测图像单独检测，因此其对应的待检测类中心点即为其在二维情况下的坐标点。利用其与活体类中心点计算活体距离，活体距离具体可以为欧氏距离，或者可以采用其他计算方式计算活体距离，本实施例不做限定。假体距离的计算方式与活体距离类似。
相应的，若各项特征均处于概率区间，则确定待检测图像为活体图像的步骤可以包括：
步骤53：若活体距离大于假体距离，且各项特征均处于概率区间，则确定待检测图像为活体图像。
在计算得到获取距离和假体距离后，判断活体距离是否大于假体距离，即进一步检测待检测图像是否更接近于活体图像而不接近与假体图像。若活体距离大于假体距离，且各项特征均处于概率区间，则可以确定待检测图像为活体图像。
进一步的，为了进一步提高检测准确率，在活体距离大于假体距离的前提下，还可以进一步检测活体距离和距离阈值之间的关系，即活体距离不能过大，防止造成检测错误。本实施例中，resultcls可以被称为第一比对结果，resultdis可以被称为第二比对结果，则：
其中，Cpred为待检测类中心点，为活体距离，/>为假体距离，th为距离阈值，距离阈值的具体大小不做限定，例如可以为7。在本实施例中，只有第一比对结果和第二比对结果均为1时，才可以确定待检测图像为活体图像。
S104：预设操作。
当存在某项特征不处于对应的概率区间，或者当存在第二比对结果时，第二比对结果不为1，则说明待检测图像不为活体图像。在这种情况下，可以执行预设操作，预设操作的具体内容不做限定，例如可以不执行任何操作，即无操作。
应用本申请实施例提供的活体检测方法，在获取待检测图像后，利用活体检测模型提取待检测图像对应的若干项特征。具体的，特征的数量为至少两项，其具体可以包括深度特征、rPPG特征或类中心点特征。不同类别的特征可以从不同的角度对待检测图像是否为活体图像进行表征。因此在提取对应的特征后，判断各项特征是否均处于对应的概率区间内。若均处于对应的概率区间，则说明待检测图像从各个角度均被判别为活体图像，因此将待检测图像确定为活体图像，保证了活体检测的准确性，相比单纯使用0、1标签进行分类和判别具有更好的鲁棒性。由于不需要连续获取多张图像并对多张图像进行处理，因此检测速度较快，同时不会受到人员运动、光照变化等因素的影响，识别准确率较高，解决了相关技术存在的识别速度较慢、识别准确率较低的问题。
下面对本申请实施例提供的活体检测装置进行介绍，下文描述的活体检测装置与上文描述的活体检测方法可相互对应参照。
请参考图9，图9为本申请实施例提供的一种活体检测装置的结构示意图，包括：
获取模块110，用于获取待检测图像；
区间判断模块120，用于利用活体检测模型提取待检测图像对应的特征，并判断各项特征是否均处于对应的概率区间；特征包括深度特征、rPPG特征和类中心点特征中的至少两项；
确定模块130，用于若各项特征均处于概率区间，则确定待检测图像为活体图像。
可选地，包括：
训练特征图提取模块，用于获取训练图像，并提取训练图像对应的训练特征图；
深度损失值计算模块，用于利用训练特征图、预设卷积核和深度训练标签，计算基于卷积后特征和标签差值的二范数，得到深度损失值；
第一调整模块，用于利用深度损失值生成损失值，并利用损失值对活体检测模型进行调整。
可选地，包括：
训练rPPG信号提取模块，用于获取训练图像，并提取训练图像对应的训练rPPG信号；
rPPG损失值计算模块，用于利用训练rPPG信号与rPPG训练标签进行二范数计算，得到rPPG损失值；
第二调整模块，用于利用rPPG损失值生成损失值，并利用损失值对活体检测模型进行调整。
可选地，包括：
训练类中心点提取模块，用于获取训练图像，并提取训练图像对应的训练类中心点；
模型当前类中心点生成模块，用于利用训练类中心点和模型历史类中心点生成模型当前类中心点；
类中心点损失计算模块，用于利用模型当前类中心点和训练类中心点进行二范数计算和求和计算，得到类中心点损失值；
第三调整模块，用于利用类中心点损失生成损失值，并利用损失值和更新后的类中心点作为下次迭代的初始类中心点对活体检测模型进行调整。
可选地，第三调整模块，包括：
加权求和单元，用于利用类中心点损失值与其他损失值进行加权求和计算，得到损失值；其他损失值包括深度损失值、rPPG损失值和分类损失值。
可选地，还包括：
待检测类中心点提取单元，用于提取待检测图像对应的待检测类中心点；
距离计算单元，用于利用待检测类中心点与活体类中心点计算活体距离，并利用待检测类中心点与假体类中心点计算假体距离；
相应的，确定模块130，包括：
概率和距离确定单元，用于若活体距离大于假体距离，且各项特征均处于概率区间，则确定待检测图像为活体图像。
可选地，区间判断模块120，包括：
第一提取单元，用于提取待检测图像对应的待检测深度图，并对待检测深度图进行分类处理，得到深度特征；
第二提取单元，用于提取待检测图像对应的待检测rPPG信号，并对待检测rPPG信号进行分类处理，得到rPPG特征；
第三提取单元，用于提取待检测图像对应的待检测类中心点，并对待检测类中心点进行分类处理，得到类中心点特征。
下面对本申请实施例提供的电子设备进行介绍，下文描述的电子设备与上文描述的活体检测方法可相互对应参照。
请参考图10，图10为本申请实施例提供的一种电子设备的结构示意图。其中电子设备100可以包括处理器101和存储器102，还可以进一步包括多媒体组件103、信息输入/信息输出(I/O)接口104以及通信组件105中的一种或多种。
其中，处理器101用于控制电子设备100的整体操作，以完成上述的活体检测方法中的全部或部分步骤；存储器102用于存储各种类型的数据以支持在电子设备100的操作，这些数据例如可以包括用于在该电子设备100上操作的任何应用程序或方法的指令，以及应用程序相关的数据。该存储器102可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，SRAM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、只读存储器(Read-OnlyMemory，ROM)、磁存储器、快闪存储器、磁盘或光盘中的一种或多种。
多媒体组件103可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器102或通过通信组件105发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口104为处理器101和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件105用于电子设备100与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near Field Communication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件105可以包括：Wi-Fi部件，蓝牙部件，NFC部件。
电子设备100可以被一个或多个应用专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、数字信号处理器(Digital Signal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field ProgrammableGate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述实施例给出的活体检测方法。
下面对本申请实施例提供的计算机可读存储介质进行介绍，下文描述的计算机可读存储介质与上文描述的活体检测方法可相互对应参照。
本申请还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述的活体检测方法的步骤。
该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本领域技术人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应该认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系属于仅仅用来将一个实体或者操作与另一个实体或者操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语包括、包含或者其他任何变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (9)

1.一种活体检测方法，其特征在于，包括：
获取待检测图像；所述待检测图像的数量为一个或多个，若所述待检测图像的数量为多个，则各个所述待检测图像之间均为相互独立的图像，在对所述待检测图像进行活体检测时，分别利用各个所述待检测图像进行独立的活体检测，无需各个所述待检测图像相互配合检测；
利用活体检测模型提取所述待检测图像对应的特征，并判断各项所述特征是否均处于对应的概率区间；所述特征包括深度特征、rPPG特征和类中心点特征；
若各项所述特征均处于所述概率区间，则确定所述待检测图像为活体图像；
其中，若所述特征为类中心点特征，则所述活体检测模型的训练过程，包括：获取训练图像，并提取所述训练图像对应的训练类中心点；利用所述训练类中心点和模型历史类中心点生成模型当前类中心点；利用所述模型当前类中心点和所述训练类中心点进行二范数计算和求和计算，得到类中心点损失值；利用所述类中心点损失生成损失值，并利用所述损失值和更新后的类中心点作为下次迭代的初始类中心点对所述活体检测模型进行调整；所述模型历史类中心点包括活体类中心点和假体类中心点。
2.根据权利要求1所述的活体检测方法，其特征在于，若所述特征为深度特征，则所述活体检测模型的训练过程，包括：
获取训练图像，并提取所述训练图像对应的训练特征图；
利用所述训练特征图、预设卷积核和深度训练标签，计算基于卷积后特征和标签差值的二范数，得到深度损失值；
利用所述深度损失值生成损失值，并利用所述损失值对所述活体检测模型进行调整。
3.根据权利要求1所述的活体检测方法，其特征在于，若所述特征为rPPG特征，则所述活体检测模型的训练过程，包括：
获取训练图像，并提取所述训练图像对应的训练rPPG信号；
利用所述训练rPPG信号与rPPG训练标签进行二范数计算，得到rPPG损失值；
利用所述rPPG损失值生成损失值，并利用所述损失值对所述活体检测模型进行调整。
4.根据权利要求1所述的活体检测方法，其特征在于，所述利用所述类中心点损失生成损失值，包括：
利用所述类中心点损失值与其他损失值进行加权求和计算，得到所述损失值；所述其他损失值包括深度损失值、rPPG损失值和分类损失值。
5.根据权利要求1所述的活体检测方法，其特征在于，还包括：
提取所述待检测图像对应的待检测类中心点；
利用所述待检测类中心点与活体类中心点计算活体距离，并利用所述待检测类中心点与假体类中心点计算假体距离；
相应的，所述若各项所述特征均处于所述概率区间，则确定所述待检测图像为活体图像，包括：
若所述活体距离大于所述假体距离，且各项所述特征均处于所述概率区间，则确定所述待检测图像为活体图像。
6.根据权利要求1至5任一项所述的活体检测方法，其特征在于，所述利用活体检测模型提取所述待检测图像对应的特征，包括：
提取所述待检测图像对应的待检测深度图，并对所述待检测深度图进行分类处理，得到所述深度特征；
提取所述待检测图像对应的待检测rPPG信号，并对所述待检测rPPG信号进行分类处理，得到所述rPPG特征；
提取所述待检测图像对应的待检测类中心点，并对所述待检测类中心点进行分类处理，得到所述类中心点特征。
7.一种活体检测装置，其特征在于，包括：
获取模块，用于获取待检测图像；具体包括：所述待检测图像的数量为一个或多个，若所述待检测图像的数量为多个，则各个所述待检测图像之间均为相互独立的图像，在对所述待检测图像进行活体检测时，分别利用各个所述待检测图像进行独立的活体检测，无需各个所述待检测图像相互配合检测；
区间判断模块，用于利用活体检测模型提取所述待检测图像对应的特征，并判断各项所述特征是否均处于对应的概率区间；所述特征包括深度特征、rPPG特征和类中心点特征；
确定模块，用于若各项所述特征均处于所述概率区间，则确定所述待检测图像为活体图像；
其中，若所述特征为类中心点特征，则所述活体检测模型的训练过程，包括：获取训练图像，并提取所述训练图像对应的训练类中心点；利用所述训练类中心点和模型历史类中心点生成模型当前类中心点；利用所述模型当前类中心点和所述训练类中心点进行二范数计算和求和计算，得到类中心点损失值；利用所述类中心点损失生成损失值，并利用所述损失值和更新后的类中心点作为下次迭代的初始类中心点对所述活体检测模型进行调整；所述模型历史类中心点包括活体类中心点和假体类中心点。
8.一种电子设备，其特征在于，包括存储器和处理器，其中：
所述存储器，用于保存计算机程序；
所述处理器，用于执行所述计算机程序，以实现如权利要求1至6任一项所述的活体检测方法。
9.一种计算机可读存储介质，其特征在于，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的活体检测方法。
CN202011209519.2A 2020-11-03 2020-11-03 一种活体检测方法、装置、电子设备及可读存储介质 Active CN112329606B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011209519.2A CN112329606B (zh) 2020-11-03 2020-11-03 一种活体检测方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011209519.2A CN112329606B (zh) 2020-11-03 2020-11-03 一种活体检测方法、装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN112329606A CN112329606A (zh) 2021-02-05
CN112329606B true CN112329606B (zh) 2023-08-15

Family

ID=74323060

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011209519.2A Active CN112329606B (zh) 2020-11-03 2020-11-03 一种活体检测方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN112329606B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109784148A (zh) * 2018-12-06 2019-05-21 北京飞搜科技有限公司 活体检测方法及装置
CN109815794A (zh) * 2018-12-14 2019-05-28 北京飞搜科技有限公司 人脸识别反欺诈方法、装置与电子设备
CN109902667A (zh) * 2019-04-02 2019-06-18 电子科技大学 基于光流引导特征块和卷积gru的人脸活体检测方法
WO2019152983A2 (en) * 2018-02-05 2019-08-08 Board Of Trustees Of Michigan State University System and apparatus for face anti-spoofing via auxiliary supervision
CN110909693A (zh) * 2019-11-27 2020-03-24 深圳市华付信息技术有限公司 3d人脸活体检测方法、装置、计算机设备及存储介质
CN111382646A (zh) * 2018-12-29 2020-07-07 Tcl集团股份有限公司 一种活体识别方法、存储介质及终端设备
CN111445640A (zh) * 2020-02-26 2020-07-24 深圳壹账通智能科技有限公司 基于虹膜识别的快递取件方法、装置、设备及存储介质
CN111767900A (zh) * 2020-07-28 2020-10-13 腾讯科技（深圳）有限公司 人脸活体检测方法、装置、计算机设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019152983A2 (en) * 2018-02-05 2019-08-08 Board Of Trustees Of Michigan State University System and apparatus for face anti-spoofing via auxiliary supervision
CN109784148A (zh) * 2018-12-06 2019-05-21 北京飞搜科技有限公司 活体检测方法及装置
CN109815794A (zh) * 2018-12-14 2019-05-28 北京飞搜科技有限公司 人脸识别反欺诈方法、装置与电子设备
CN111382646A (zh) * 2018-12-29 2020-07-07 Tcl集团股份有限公司 一种活体识别方法、存储介质及终端设备
CN109902667A (zh) * 2019-04-02 2019-06-18 电子科技大学 基于光流引导特征块和卷积gru的人脸活体检测方法
CN110909693A (zh) * 2019-11-27 2020-03-24 深圳市华付信息技术有限公司 3d人脸活体检测方法、装置、计算机设备及存储介质
CN111445640A (zh) * 2020-02-26 2020-07-24 深圳壹账通智能科技有限公司 基于虹膜识别的快递取件方法、装置、设备及存储介质
CN111767900A (zh) * 2020-07-28 2020-10-13 腾讯科技（深圳）有限公司 人脸活体检测方法、装置、计算机设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Learning Deep Models for Face Anti-Spoofing: Binary or Auxiliary Supervision;Yaojie Liu等;《2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition》;20181217;第1-10页 *

Also Published As

Publication number Publication date
CN112329606A (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
US11830230B2 (en) Living body detection method based on facial recognition, and electronic device and storage medium
CN108717524B (zh) 一种基于双摄手机和人工智能系统的手势识别系统
US20230085605A1 (en) Face image processing method, apparatus, device, and storage medium
KR20180065889A (ko) 타겟의 검측 방법 및 장치
CN108229418B (zh) 人体关键点检测方法和装置、电子设备、存储介质和程序
CN111985281B (zh) 图像生成模型的生成方法、装置及图像生成方法、装置
CN112052186A (zh) 目标检测方法、装置、设备以及存储介质
CN112381104A (zh) 一种图像识别方法、装置、计算机设备及存储介质
CN109472193A (zh) 人脸检测方法及装置
CN110825900A (zh) 特征重构层的训练方法、图像特征的重构方法及相关装置
CN109389096B (zh) 检测方法和装置
CN110222572A (zh) 跟踪方法、装置、电子设备及存储介质
CN111027450A (zh) 银行卡信息识别方法、装置、计算机设备及存储介质
CN112836625A (zh) 人脸活体检测方法、装置、电子设备
CN113095333A (zh) 无监督特征点检测方法及装置
CN112651333B (zh) 静默活体检测方法、装置、终端设备和存储介质
CN112818774A (zh) 一种活体检测方法及装置
CN113221842A (zh) 模型训练方法、图像识别方法、装置、设备及介质
CN112329606B (zh) 一种活体检测方法、装置、电子设备及可读存储介质
CN116229528A (zh) 一种活体掌静脉检测方法、装置、设备及存储介质
CN113807237B (zh) 活体检测模型的训练、活体检测方法、计算机设备及介质
CN115620054A (zh) 一种缺陷分类方法、装置、电子设备及存储介质
CN115661618A (zh) 图像质量评估模型的训练方法、图像质量评估方法及装置
CN114373195A (zh) 光照场景自适应的手掌防伪方法、装置、设备和存储介质
CN114511877A (zh) 一种行为识别方法、装置、存储介质及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant