CN111507262B - 用于检测活体的方法和装置 - Google Patents

用于检测活体的方法和装置 Download PDF

Info

Publication number
CN111507262B
CN111507262B CN202010304904.9A CN202010304904A CN111507262B CN 111507262 B CN111507262 B CN 111507262B CN 202010304904 A CN202010304904 A CN 202010304904A CN 111507262 B CN111507262 B CN 111507262B
Authority
CN
China
Prior art keywords
sample
network
image
attack
original image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010304904.9A
Other languages
English (en)
Other versions
CN111507262A (zh
Inventor
冯浩城
岳海潇
洪智滨
王珂尧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010304904.9A priority Critical patent/CN111507262B/zh
Publication of CN111507262A publication Critical patent/CN111507262A/zh
Priority to EP21156023.0A priority patent/EP3896605A1/en
Priority to US17/182,853 priority patent/US20210326617A1/en
Priority to JP2021028352A priority patent/JP7191139B2/ja
Priority to KR1020210034625A priority patent/KR102606734B1/ko
Application granted granted Critical
Publication of CN111507262B publication Critical patent/CN111507262B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了用于检测活体的方法和装置。该方法的一具体实施方式包括：获取原始图像；将原始图像输入至训练完成的攻击特征提取网络，输出原始图像的攻击特征信号；计算攻击特征信号的元素级均值；基于元素级均值，生成原始图像的活体检测结果。该实施方式提供了一种新的活体检测方法，基于攻击特征挖掘及放大的活体检测技术进行活体检测，能够显著提升活体检测的准确性。

Description

用于检测活体的方法和装置
技术领域
本申请实施例涉及计算机技术领域，具体涉及用于检测活体的方法和装置。
背景技术
活体检测即检测一张图像是否为活体拍摄，是活体识别系统的基础组成模块，保证活体识别系统的安全性。使用深度学习技术的活体检测算法是当前该领域的主流方法，相比传统算法在精度上有大幅提升。
目前，活体检测算法实现方案众多，按照技术路线，主要分为两大类：传统活体手工特征提取及分类方法和使用深度学习的活体检测方法。其中，传统活体手工特征提取及分类方法的主要有基于LBP(Local binary pattern，局部二值模式)、HOG(Histogram oforiented gradients，方向梯度直方图)、SIFT(Scale-invariant feature transform，尺度不变特征变换)等手工特征配合传统分类器的活体检测方法。这类方法首先基于手工设计的特征提取器提取活体特征，然后基于如SVM(Support Vector Machine，支持向量机)的传统分类器进行特征分类最终得到活体检测结果。使用深度学习的活体检测方法主要有基于卷积神经网络、LSTM(Long Short-Term Memory，长短期记忆网络)等的活体检测方法。这类方法使用神经网络进行活体特征提取及分类。
发明内容
本申请实施例提出了用于检测活体的方法和装置。
第一方面，本申请实施例提出了一种用于检测活体的方法，包括：获取原始图像；将原始图像输入至训练完成的攻击特征提取网络，输出原始图像的攻击特征信号；计算攻击特征信号的元素级均值；基于元素级均值，生成原始图像的活体检测结果。
在一些实施例中，训练完成的攻击特征提取网络通过如下步骤得到：获取训练样本，其中，训练样本包括样本原始图像和样本类别标签，样本类别标签用于标注样本原始图像属于活体样本或攻击样本；利用训练样本对待训练的攻击特征提取网络和待训练的辅助分类器网络同时进行训练，得到训练完成的攻击特征提取网络。
在一些实施例中，利用训练样本对待训练的攻击特征提取网络和待训练的辅助分类器网络同时进行训练，得到训练完成的攻击特征提取网络，包括：利用样本原始图像对待训练的攻击特征提取网络进行训练，得到样本原始图像的样本攻击特征信号和活体样本对应的像素级L1损失；利用样本攻击特征信号对待训练的辅助分类器网络进行训练，得到样本原始图像的样本类别和二分类损失；结合像素级L1损失和二分类损失，更新待训练的攻击特征提取网络和待训练的辅助分类器网络的参数至网络收敛，得到训练完成的攻击特征提取网络。
在一些实施例中，利用样本原始图像对待训练的攻击特征提取网络进行训练，得到样本原始图像的样本攻击特征信号，包括：将样本原始图像输入至待训练的攻击特征提取网络，输出样本攻击特征信号；以及利用样本攻击特征信号对待训练的辅助分类器网络进行训练，得到样本原始图像的样本类别，包括：将样本攻击特征信号叠加到样本原始图像上，得到样本叠加图像；将样本叠加图像输入至待训练的辅助分类器网络，输出样本原始图像的样本类别。
在一些实施例中，攻击特征提取网络是编码器-解码器结构；以及将样本原始图像输入至待训练的攻击特征提取网络，输出样本攻击特征信号，包括：将样本原始图像输入至编码器，输出样本编码图像；将样本编码图像输入至解码器，输出样本解码图像；将样本解码图像输入至正切激活层，输出样本攻击特征信号。
在一些实施例中，编码器包括多个编码残差子网络；以及将样本原始图像输入至编码器，输出样本编码图像，包括：利用多个编码残差子网络依次串行对样本原始图像进行下采样，得到多个编码残差子网络输出的多个样本下采样编码图像，其中，最后一个编码残差子网络输出的样本下采样编码图像是样本编码图像。
在一些实施例中，解码器包括多个解码残差子网络；以及将样本编码图像输入至解码器，输出样本解码图像，包括：利用多个解码残差子网络依次串行对样本编码图像进行解码，得到样本解码图像。
在一些实施例中，利用多个解码残差子网络依次串行对样本编码图像进行解码，包括：对于多个解码残差子网络中的当前解码残差网络，使用最近邻插值对当前解码残差子网络的输入进行上采样，得到样本上采样解码图像；对样本上采样解码图像进行卷积，得到样本卷积解码图像；将样本卷积解码图像与当前解码残差子网络对称的编码残差子网络的输出进行合并，得到样本合并解码图像；将样本合并解码图像输入至当前解码残差子网络中的编码残差子网络，得到当前解码残差子网络的输出。
第二方面，本申请实施例提出了一种用于检测活体的装置，包括：获取单元，被配置成获取原始图像；提取单元，被配置成将原始图像输入至训练完成的攻击特征提取网络，输出原始图像的攻击特征信号；计算单元，被配置成计算攻击特征信号的元素级均值；生成单元，被配置成基于元素级均值，生成原始图像的活体检测结果。
在一些实施例中，训练完成的攻击特征提取网络通过如下步骤得到：获取训练样本，其中，训练样本包括样本原始图像和样本类别标签，样本类别标签用于标注样本原始图像属于活体样本或攻击样本；利用训练样本对待训练的攻击特征提取网络和待训练的辅助分类器网络同时进行训练，得到训练完成的攻击特征提取网络。
在一些实施例中，利用训练样本对待训练的攻击特征提取网络和待训练的辅助分类器网络同时进行训练，得到训练完成的攻击特征提取网络，包括：利用样本原始图像对待训练的攻击特征提取网络进行训练，得到样本原始图像的样本攻击特征信号和活体样本对应的像素级L1损失；利用样本攻击特征信号对待训练的辅助分类器网络进行训练，得到样本原始图像的样本类别和二分类损失；结合像素级L1损失和二分类损失，更新待训练的攻击特征提取网络和待训练的辅助分类器网络的参数至网络收敛，得到训练完成的攻击特征提取网络。
在一些实施例中，利用样本原始图像对待训练的攻击特征提取网络进行训练，得到样本原始图像的样本攻击特征信号，包括：将样本原始图像输入至待训练的攻击特征提取网络，输出样本攻击特征信号；以及利用样本攻击特征信号对待训练的辅助分类器网络进行训练，得到样本原始图像的样本类别，包括：将样本攻击特征信号叠加到样本原始图像上，得到样本叠加图像；将样本叠加图像输入至待训练的辅助分类器网络，输出样本原始图像的样本类别。
在一些实施例中，攻击特征提取网络是编码器-解码器结构；以及将样本原始图像输入至待训练的攻击特征提取网络，输出样本攻击特征信号，包括：将样本原始图像输入至编码器，输出样本编码图像；将样本编码图像输入至解码器，输出样本解码图像；将样本解码图像输入至正切激活层，输出样本攻击特征信号。
在一些实施例中，编码器包括多个编码残差子网络；以及将样本原始图像输入至编码器，输出样本编码图像，包括：利用多个编码残差子网络依次串行对样本原始图像进行下采样，得到多个编码残差子网络输出的多个样本下采样编码图像，其中，最后一个编码残差子网络输出的样本下采样编码图像是样本编码图像。
在一些实施例中，解码器包括多个解码残差子网络；以及将样本编码图像输入至解码器，输出样本解码图像，包括：利用多个解码残差子网络依次串行对样本编码图像进行解码，得到样本解码图像。
在一些实施例中，利用多个解码残差子网络依次串行对样本编码图像进行解码，包括：对于多个解码残差子网络中的当前解码残差网络，使用最近邻插值对当前解码残差子网络的输入进行上采样，得到样本上采样解码图像；对样本上采样解码图像进行卷积，得到样本卷积解码图像；将样本卷积解码图像与当前解码残差子网络对称的编码残差子网络的输出进行合并，得到样本合并解码图像；将样本合并解码图像输入至当前解码残差子网络中的编码残差子网络，得到当前解码残差子网络的输出。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括：一个或多个处理器；存储装置，其上存储有一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第四方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
本申请实施例提供的用于检测活体的方法和装置，首先将获取到的原始图像输入至训练完成的攻击特征提取网络，输出原始图像的攻击特征信号；然后计算攻击特征信号的元素级均值；最后基于元素级均值，生成原始图像的活体检测结果。提供了一种新的活体检测方法，基于攻击特征挖掘及放大的活体检测技术进行活体检测，能够显著提升活体检测的准确性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请可以应用于其中的示例性系统架构；
图2是根据本申请的用于检测活体的方法的一个实施例的流程图；
图3是根据本申请的攻击特征提取网络训练方法的一个实施例的流程图；
图4是根据本申请的攻击特征提取网络训练方法的又一个实施例的流程图；
图5是攻击特征提取网络训练方法的技术架构图；
图6是解码残差子网络的结构图；
图7是攻击特征提取网络及辅助分类器网络的结构图；
图8是根据本申请的用于检测活体的装置的一个实施例的结构示意图；
图9是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的用于检测活体的方法或用于检测活体的装置的实施例的示例性系统架构100。
如图1所示，系统架构100中可以包括拍摄设备101、网络102和服务器103。网络102用以在拍摄设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
拍摄设备101可以是硬件，也可以是软件。当拍摄设备101为硬件时，可以是支持图像拍摄的各种电子设备，包括但不限于摄像头、照相机和智能手机等等。当拍摄设备101为软件时，可以安装在上述电子设备中。其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器103可以提供各种服务。例如，服务器103可以对从拍摄设备101获取到的原始图像等数据进行分析等处理，并生成处理结果(例如活体检测结果)。
需要说明的是，服务器103可以是硬件，也可以是软件。当服务器103为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器103为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
需要说明的是，本申请实施例所提供的用于检测活体的方法一般由服务器103执行，相应地，用于检测活体的装置一般设置于服务器103中。
应该理解，图1中的拍摄设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的拍摄设备、网络和服务器。
继续参考图2，其示出了根据本申请的用于检测活体的方法的一个实施例的流程200。该用于检测活体的方法包括以下步骤：
步骤201，获取原始图像。
在本实施例中，用于检测活体的方法的执行主体(例如图1所示的服务器103)可以接收拍摄设备(例如图1所示的拍摄设备101)发送的原始图像。其中，原始图像可以是拍摄设备对需要进行检测的目标(例如人脸)拍摄所得到的图像。
步骤202，将原始图像输入至训练完成的攻击特征提取网络，输出原始图像的攻击特征信号。
在本实施例中，上述执行主体可以将原始图像输入至训练完成的攻击特征提取网络，输出原始图像的攻击特征信号。其中，攻击特征提取网络可以用于提取输入至其中的图像的攻击特征信号。攻击特征信号可以是输入至其中的图像中的目标不是活体的特征信号。活体的攻击特征信号通常是全零图，非活体的攻击特征信号通常不是全零图。
步骤203，计算攻击特征信号的元素级均值。
在本实施例中，上述执行主体可以计算攻击特征信号的元素级(element-wise)均值。其中，元素级均值可以是对攻击特征信号逐元素相加后求得的均值。
步骤204，基于元素级均值，生成原始图像的活体检测结果。
在本实施例中，上述执行主体可以基于元素级均值，生成原始图像的活体检测结果。其中，活体检测结果可以是描述原始图像中的目标是否是活体的信息。通常，元素级均值越大，原始图像中的目标越可能不是活体，原始图像越可能是攻击图像；反之，元素级均值越小，原始图像中的目标越可能是活体，原始图像越可能是活体图像。因此，上述执行主体可以将元素级均值与预设阈值进行比较。若元素级均值大于预设阈值，生成原始图像中的目标不是活体的检测结果；若元素级均值不大于预设阈值，生成原始图像中的目标是活体的检测结果。
本申请实施例提供的用于检测活体的方法，首先将获取到的原始图像输入至训练完成的攻击特征提取网络，输出原始图像的攻击特征信号；然后计算攻击特征信号的元素级均值；最后基于元素级均值，生成原始图像的活体检测结果。提供了一种新的活体检测方法，基于攻击特征挖掘及放大的活体检测技术进行活体检测，能够显著提升活体检测的准确性。与目前的传统活体手工特征提取及分类方法相比，其特征稳定性强，不易受光照等因素的影响。与目前的使用深度学习的活体检测方法相比，不会在小范围训练样本上过拟合，提升了对未知的攻击方式及样本的泛化性。此外，当本申请实施例提供的用于检测活体的方法应用人脸活体检测场景下，能提高人脸活体检测性能。通过提升人脸活体检测性能可以应用于人脸识别领域的考勤、门禁、安防、金融支付等诸多场景。帮助以人脸活体检测技术为基础的诸多应用提升效果和用户体验，有利于业务项目的进一步推广。
进一步参考图3，其示出了根据本申请的攻击特征提取网络训练方法的一个实施例的流程300。该攻击特征提取网络训练方法包括以下步骤：
步骤301，获取训练样本。
在本实施例中，攻击特征提取网络训练方法的执行主体(例如图1所示的服务器103)可以获取大量训练样本。其中，每个训练样本可以包括样本原始图像和对应的样本类别标签。样本类别标签可以用于标注对应的样本原始图像属于活体样本或攻击样本。例如，若样本原始图像是对活体进行拍摄所得到的图像，其对应的样本类别标签的值可以为1，该样本原始图像和对应的样本类别标签组成的训练样本属于活体样本。若样本原始图像是对非活体进行拍摄所得到的图像，其对应的样本类别标签的值可以为0，该样本原始图像和对应的样本类别标签组成的训练样本属于攻击样本。
步骤302，利用训练样本对待训练的攻击特征提取网络和待训练的辅助分类器网络同时进行训练，得到训练完成的攻击特征提取网络。
在本实施例中，上述执行主体可以利用训练样本对待训练的攻击特征提取网络和待训练的辅助分类器网络同时进行训练，得到训练完成的攻击特征提取网络。其中，攻击特征提取网络可以用于提取输入至其中的图像的攻击特征信号。辅助分类器网络可以例如是ResNet(Residual Network，残差网络)18等能够进行二分类的网络，用于基于输入至其中的攻击特征信号检测图像中的目标是否是活体。
通常，在进行网络训练时，攻击特征提取网络的输出可以作为辅助分类器网络的输入。例如，首先利用样本原始图像对待训练的攻击特征提取网络进行训练，得到样本原始图像的样本攻击特征信号和活体样本对应的像素级L1损失(pixel-wise L1 loss)；然后利用样本攻击特征信号对待训练的辅助分类器网络进行训练，得到样本原始图像的样本类别和二分类损失；最后结合像素级L1损失和二分类损失，更新待训练的攻击特征提取网络和待训练的辅助分类器网络的参数至网络收敛，得到训练完成的攻击特征提取网络。其中，在进行攻击特征信号提取时，将样本原始图像输入至攻击特征提取网络，输出样本攻击特征信号。将活体样本的攻击特征信号定义为全零图，引入像素级L1损失用于监督活体样本，并不对攻击样本的输出结果进行监督。在完成攻击特征信号提取后，先将样本攻击特征信号叠加到样本原始图像上，得到样本叠加图像，再将样本叠加图像输入至辅助分类器网络，输出样本原始图像的样本类别。将样本攻击特征叠加在样本原始图像上输入辅助分类器网络，通过引入二分类损失函数对网络收敛进行辅助监督。
需要说明的是，辅助分类器网络仅作用于网络训练阶段。在网络预测阶段，对攻击特征提取网络的输出进行元素级均值操作，将元素级均值作为检测图像中的目标是否是活体的依据。
进一步参考图4，其示出了根据本申请的攻击特征提取网络训练方法的又一个实施例的流程400。本实施例中的攻击特征提取网络可以是编码器-解码器(encoder-decoder)结构。该攻击特征提取网络训练方法可以包括以下步骤：
步骤401，获取训练样本。
在本实施例中，攻击特征提取网络训练方法的执行主体(例如图1所示的服务器103)可以获取大量训练样本。其中，每个训练样本可以包括样本原始图像和对应的样本类别标签。样本类别标签可以用于标注对应的样本原始图像属于活体样本或攻击样本。例如，若样本原始图像是对活体进行拍摄所得到的图像，其对应的样本类别标签的值可以为1，该样本原始图像和对应的样本类别标签组成的训练样本属于活体样本。若样本原始图像是对非活体进行拍摄所得到的图像，其对应的样本类别标签的值可以为0，该样本原始图像和对应的样本类别标签组成的训练样本属于攻击样本。
步骤402，将样本原始图像输入至编码器，输出样本编码图像。
在本实施例中，上述执行主体可以将样本原始图像输入至编码器，输出样本编码图像。通常，ResNet18可以作为攻击特征提取网络的编码器。编码器可以包括多个编码残差子网络。利用多个编码残差子网络依次串行对样本原始图像进行下采样，能够得到多个编码残差子网络输出的多个样本下采样编码图像。其中，最后一个编码残差子网络输出的样本下采样编码图像可以是样本编码图像。例如，编码器可以包括5个编码残差子网络，每个编码残差子网络可以对样本原始图像进行一次下采样，总共对样本原始图像进行5次下采样。
步骤403，将样本编码图像输入至解码器，输出样本解码图像。
在本实施例中，上述执行主体可以将样本编码图像输入至解码器，输出样本解码图像。通常，解码器可以包括多个解码残差子网络。利用多个解码残差子网络依次串行对样本编码图像进行解码，能够得到样本解码图像。其中，最后一个解码残差子网络的输出可以是样本解码图像。例如，解码器可以包括4个解码残差子网络，每个解码残差子网络可以对样本编码图像进行一次上采样，总共对样本编码图像进行4次上采样。
在本实施例的一些可选的实现方式中，对于多个解码残差子网络中的当前解码残差网络，上述执行主体可以使用最近邻插值对当前解码残差子网络的输入进行上采样，得到样本上采样解码图像；对样本上采样解码图像进行卷积(例如2×2卷积)，得到样本卷积解码图像；将样本卷积解码图像与当前解码残差子网络对称的编码残差子网络的输出进行合并，得到样本合并解码图像；将样本合并解码图像输入至当前解码残差子网络中的编码残差子网络，得到当前解码残差子网络的输出。
步骤404，将样本解码图像输入至正切激活层，输出样本攻击特征信号，以及得到活体样本对应的像素级L1损失。
在本实施例中，上述执行主体可以将样本解码图像输入至正切(tanh)激活层，输出样本攻击特征信号。此外，还可以得到活体样本对应的像素级L1损失。其中，将活体样本的攻击特征信号定义为全零图，引入像素级L1损失用于监督活体样本，并不对攻击样本的输出结果进行监督。
步骤405，将样本攻击特征信号叠加到样本原始图像上，得到样本叠加图像。
在本实施例中，上述执行主体可以将样本攻击特征信号叠加到样本原始图像上，得到样本叠加图像。
步骤406，将样本叠加图像输入至待训练的辅助分类器网络，输出样本图像的样本类别，以及得到二分类损失。
在本实施例中，上述执行主体可以将样本叠加图像输入至待训练的辅助分类器网络，输出样本图像的样本类别。此外，还可以得到二分类损失。其中，通过引入二分类损失函数对网络收敛进行辅助监督。
步骤407，结合像素级L1损失和二分类损失，更新待训练的特征提取网络和待训练的辅助分类器网络的参数至网络收敛，得到训练完成的特征提取网络。
在本实施例中，上述执行主体可以结合像素级L1损失和二分类损失，更新待训练的特征提取网络和待训练的辅助分类器网络的参数至网络收敛，得到训练完成的特征提取网络。
本申请实施例提供的攻击特征提取网络训练方法，使用编码器-解码器结构提取攻击特征信号，通过在解码器阶段引入多级度量学习用于增大攻击样本与活体样本的类间特征距离，缩短活体样本的类内特征距离。将活体样本的攻击特征信号定义为全零图，引入像素级L1损失用于监督活体样本，并不对攻击样本的输出结果进行监督。通过叠加样本攻击特征信号到样本原始图像，使用辅助分类器网络进一步放大攻击特征信号，提升了网络泛化性。设计了一种全新的攻击特征信号建模方式，通过编码器-解码器结构配合多级度量学习、像素级L1损失监督以及辅助分类器网络来提取及放大攻击特征信号，最终通过攻击特征信号强弱进行活体检测，不仅加快网络训练收敛速度，提高活体算法的泛化性，还提升活体算法对于未知攻击样本及攻击方式的防御效果。
进一步参考图5，其示出了攻击特征提取网络训练方法的技术架构图。如图5所示，攻击特征提取网络训练方法的技术架构可以包括攻击特征提取网络和辅助分类器网络。其中，攻击特征提取网络可以是编码器-解码器结构。训练样本可以包括活体样本和攻击样本。训练样本中的样本原始图像可以输入至编码器，经过编码处理后输入至解码器。解码器引入多级三元组损失，得到样本攻击特征信号和活体样本对应的L1损失。样本攻击特征信号叠加到样本原始图像上后输入至辅助分类器网络进行辅助分类，得到样本原始图像的样本类别和二分类损失。最后结合L1损失和二分类损失，同时更新攻击特征提取网络和辅助分类器网络的参数至网络收敛，即可完成对攻击特征提取网络的训练。
进一步参考图6，其示出了解码残差子网络的结构图。如图6所示，使用最近邻插值对解码残差子网络的输入进行上采样，在完成上采样后进行一次2x2卷积，并与对称的编码残差子网络的输出进行合并，合并后经过一个编码残差子网络，得到解码残差子网络的输出。
进一步参考图7，其示出了攻击特征提取网络及辅助分类器网络的结构图。如图7所示，攻击特征提取网络可以是编码器-解码器结构。编码器可以包括5个编码残差子网络，解码器可以包括4个解码残差子网络。训练样本可以包括活体样本和攻击样本。训练样本中的样本原始图像可以输入至编码器，经过5个编码残差子网络依次串行下采样。完成下采样后输入至解码器，解码器引入多级三元组损失，经过4个解码残差子网络依次串行上采样，得到样本攻击特征信号和活体L1损失。样本攻击特征信号叠加到样本原始图像上后输入至辅助分类器网络进行辅助分类，得到样本原始图像的样本类别和二分类损失。结合活体L1损失和二分类损失，更新特征提取网络和辅助分类器网络的参数至网络收敛，即可完成对攻击特征提取网络的训练。
进一步参考图8，作为对上述各图所示方法的实现，本申请提供了一种用于检测活体的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图8所示，本实施例的用于检测活体的装置800可以包括：获取单元801、提取单元802、计算单元803和确定单元804。其中，获取单元801，被配置成获取原始图像；提取单元802，被配置成将原始图像输入至训练完成的攻击特征提取网络，输出原始图像的攻击特征信号；计算单元803，被配置成计算攻击特征信号的元素级均值；生成单元804，被配置成基于元素级均值，生成原始图像的活体检测结果。
在本实施例中，用于检测活体的装置800中：获取单元801、提取单元802、计算单元803和确定单元804的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201-204的相关说明，在此不再赘述。
在本实施例的一些可选的实现方式中，训练完成的攻击特征提取网络通过如下步骤得到：获取训练样本，其中，训练样本包括样本原始图像和样本类别标签，样本类别标签用于标注样本原始图像属于活体样本或攻击样本；利用训练样本对待训练的攻击特征提取网络和待训练的辅助分类器网络同时进行训练，得到训练完成的攻击特征提取网络。
在本实施例的一些可选的实现方式中，利用训练样本对待训练的攻击特征提取网络和待训练的辅助分类器网络同时进行训练，得到训练完成的攻击特征提取网络，包括：利用样本原始图像对待训练的攻击特征提取网络进行训练，得到样本原始图像的样本攻击特征信号和活体样本对应的像素级L1损失；利用样本攻击特征信号对待训练的辅助分类器网络进行训练，得到样本原始图像的样本类别和二分类损失；结合像素级L1损失和二分类损失，更新待训练的攻击特征提取网络和待训练的辅助分类器网络的参数至网络收敛，得到训练完成的攻击特征提取网络。
在本实施例的一些可选的实现方式中，利用样本原始图像对待训练的攻击特征提取网络进行训练，得到样本原始图像的样本攻击特征信号，包括：将样本原始图像输入至待训练的攻击特征提取网络，输出样本攻击特征信号；以及利用样本攻击特征信号对待训练的辅助分类器网络进行训练，得到样本原始图像的样本类别，包括：将样本攻击特征信号叠加到样本原始图像上，得到样本叠加图像；将样本叠加图像输入至待训练的辅助分类器网络，输出样本原始图像的样本类别。
在本实施例的一些可选的实现方式中，攻击特征提取网络是编码器-解码器结构；以及将样本原始图像输入至待训练的攻击特征提取网络，输出样本攻击特征信号，包括：将样本原始图像输入至编码器，输出样本编码图像；将样本编码图像输入至解码器，输出样本解码图像；将样本解码图像输入至正切激活层，输出样本攻击特征信号。
在本实施例的一些可选的实现方式中，编码器包括多个编码残差子网络；以及将样本原始图像输入至编码器，输出样本编码图像，包括：利用多个编码残差子网络依次串行对样本原始图像进行下采样，得到多个编码残差子网络输出的多个样本下采样编码图像，其中，最后一个编码残差子网络输出的样本下采样编码图像是样本编码图像。
在本实施例的一些可选的实现方式中，解码器包括多个解码残差子网络；以及将样本编码图像输入至解码器，输出样本解码图像，包括：利用多个解码残差子网络依次串行对样本编码图像进行解码，得到样本解码图像。
在本实施例的一些可选的实现方式中，利用多个解码残差子网络依次串行对样本编码图像进行解码，包括：对于多个解码残差子网络中的当前解码残差网络，使用最近邻插值对当前解码残差子网络的输入进行上采样，得到样本上采样解码图像；对样本上采样解码图像进行卷积，得到样本卷积解码图像；将样本卷积解码图像与当前解码残差子网络对称的编码残差子网络的输出进行合并，得到样本合并解码图像；将样本合并解码图像输入至当前解码残差子网络中的编码残差子网络，得到当前解码残差子网络的输出。
下面参考图9，其示出了适于用来实现本申请实施例的电子设备(例如图1所示的服务器103)的计算机系统900的结构示意图。图9示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图9所示，计算机系统900包括中央处理单元(CPU)901，其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。在RAM 903中，还存储有系统900操作所需的各种程序和数据。CPU 901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
以下部件连接至I/O接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元(CPU)901执行时，执行本申请的方法中限定的上述功能。
需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向目标的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或电子设备上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括获取单元、提取单元、计算单元和确定单元。其中，这些单元的名称在种情况下并不构成对该单元本身的限定，例如，获取单元还可以被描述为“获取原始图像的单元”。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取原始图像；将原始图像输入至训练完成的攻击特征提取网络，输出原始图像的攻击特征信号；计算攻击特征信号的元素级均值；基于元素级均值，生成原始图像的活体检测结果。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (14)

1.一种用于检测活体的方法，包括：
获取原始图像；
将所述原始图像输入至训练完成的攻击特征提取网络，输出所述原始图像的攻击特征信号；
计算所述攻击特征信号的元素级均值；
基于所述元素级均值，生成所述原始图像的活体检测结果；
其中，所述训练完成的攻击特征提取网络通过如下步骤得到：
获取训练样本，其中，所述训练样本包括样本原始图像和样本类别标签，所述样本类别标签用于标注所述样本原始图像属于活体样本或攻击样本；
利用所述训练样本对待训练的攻击特征提取网络和待训练的辅助分类器网络同时进行训练，得到所述训练完成的攻击特征提取网络，其中，所述攻击特征提取网络用于提取输入至其中的图像的攻击特征信号，所述辅助分类器网络用于基于输入至其中的攻击特征信号检测图像中的目标是否是活体；
其中，所述利用所述训练样本对待训练的攻击特征提取网络和待训练的辅助分类器网络同时进行训练，得到所述训练完成的攻击特征提取网络，包括：
利用所述样本原始图像对所述待训练的攻击特征提取网络进行训练，得到所述样本原始图像的样本攻击特征信号和所述活体样本对应的像素级L1损失，其中，将所述活体样本的攻击特征信号定义为全零图，引入像素级L1损失用于监督活体样本；
利用所述样本攻击特征信号对所述待训练的辅助分类器网络进行训练，得到所述样本原始图像的样本类别和二分类损失；
结合所述像素级L1损失和所述二分类损失，更新所述待训练的攻击特征提取网络和所述待训练的辅助分类器网络的参数至网络收敛，得到所述训练完成的攻击特征提取网络；
其中，所述利用所述样本攻击特征信号对所述待训练的辅助分类器网络进行训练，得到所述样本原始图像的样本类别，包括：
将所述样本攻击特征信号叠加到所述样本原始图像上，得到样本叠加图像；
将所述样本叠加图像输入至所述待训练的辅助分类器网络，输出所述样本原始图像的样本类别。
2.根据权利要求1所述的方法，其中，所述利用所述样本原始图像对所述待训练的攻击特征提取网络进行训练，得到所述样本原始图像的样本攻击特征信号，包括：
将所述样本原始图像输入至所述待训练的攻击特征提取网络，输出所述样本攻击特征信号。
3.根据权利要求2所述的方法，其中，所述攻击特征提取网络是编码器-解码器结构；以及
所述将所述样本原始图像输入至所述待训练的攻击特征提取网络，输出所述样本攻击特征信号，包括：
将所述样本原始图像输入至所述编码器，输出样本编码图像；
将所述样本编码图像输入至所述解码器，输出样本解码图像；
将所述样本解码图像输入至正切激活层，输出所述样本攻击特征信号。
4.根据权利要求3所述的方法，其中，所述编码器包括多个编码残差子网络；以及
所述将所述样本原始图像输入至所述编码器，输出样本编码图像，包括：
利用所述多个编码残差子网络依次串行对所述样本原始图像进行下采样，得到所述多个编码残差子网络输出的多个样本下采样编码图像，其中，最后一个编码残差子网络输出的样本下采样编码图像是所述样本编码图像。
5.根据权利要求4所述的方法，其中，所述解码器包括多个解码残差子网络；以及
所述将所述样本编码图像输入至所述解码器，输出样本解码图像，包括：
利用所述多个解码残差子网络依次串行对所述样本编码图像进行解码，得到所述样本解码图像。
6.根据权利要求5所述的方法，其中，所述利用所述多个解码残差子网络依次串行对所述样本编码图像进行解码，包括：
对于所述多个解码残差子网络中的当前解码残差网络，使用最近邻插值对当前解码残差子网络的输入进行上采样，得到样本上采样解码图像；
对所述样本上采样解码图像进行卷积，得到样本卷积解码图像；
将所述样本卷积解码图像与所述当前解码残差子网络对称的编码残差子网络的输出进行合并，得到样本合并解码图像；
将样本合并解码图像输入至所述当前解码残差子网络中的编码残差子网络，得到所述当前解码残差子网络的输出。
7.一种用于检测活体的装置，包括：
获取单元，被配置成获取原始图像；
提取单元，被配置成将所述原始图像输入至训练完成的攻击特征提取网络，输出所述原始图像的攻击特征信号；
计算单元，被配置成计算所述攻击特征信号的元素级均值；
生成单元，被配置成基于所述元素级均值，生成所述原始图像的活体检测结果；
其中，所述训练完成的攻击特征提取网络通过如下步骤得到：
获取训练样本，其中，所述训练样本包括样本原始图像和样本类别标签，所述样本类别标签用于标注所述样本原始图像属于活体样本或攻击样本；
利用所述训练样本对待训练的攻击特征提取网络和待训练的辅助分类器网络同时进行训练，得到所述训练完成的攻击特征提取网络，其中，所述攻击特征提取网络用于提取输入至其中的图像的攻击特征信号，所述辅助分类器网络用于基于输入至其中的攻击特征信号检测图像中的目标是否是活体；
其中，所述利用所述训练样本对待训练的攻击特征提取网络和待训练的辅助分类器网络同时进行训练，得到所述训练完成的攻击特征提取网络，包括：
利用所述样本原始图像对所述待训练的攻击特征提取网络进行训练，得到所述样本原始图像的样本攻击特征信号和所述活体样本对应的像素级L1损失，其中，将所述活体样本的攻击特征信号定义为全零图，引入像素级L1损失用于监督活体样本；
利用所述样本攻击特征信号对所述待训练的辅助分类器网络进行训练，得到所述样本原始图像的样本类别和二分类损失；
结合所述像素级L1损失和所述二分类损失，更新所述待训练的攻击特征提取网络和所述待训练的辅助分类器网络的参数至网络收敛，得到所述训练完成的攻击特征提取网络；
其中，所述利用所述样本攻击特征信号对所述待训练的辅助分类器网络进行训练，得到所述样本原始图像的样本类别，包括：
将所述样本攻击特征信号叠加到所述样本原始图像上，得到样本叠加图像；
将所述样本叠加图像输入至所述待训练的辅助分类器网络，输出所述样本原始图像的样本类别。
8.根据权利要求7所述的装置，其中，所述利用所述样本原始图像对所述待训练的攻击特征提取网络进行训练，得到所述样本原始图像的样本攻击特征信号，包括：
将所述样本原始图像输入至所述待训练的攻击特征提取网络，输出所述样本攻击特征信号。
9.根据权利要求8所述的装置，其中，所述攻击特征提取网络是编码器-解码器结构；以及
所述将所述样本原始图像输入至所述待训练的攻击特征提取网络，输出所述样本攻击特征信号，包括：
将所述样本原始图像输入至所述编码器，输出样本编码图像；
将所述样本编码图像输入至所述解码器，输出样本解码图像；
将所述样本解码图像输入至正切激活层，输出所述样本攻击特征信号。
10.根据权利要求9所述的装置，其中，所述编码器包括多个编码残差子网络；以及
所述将所述样本原始图像输入至所述编码器，输出样本编码图像，包括：
利用所述多个编码残差子网络依次串行对所述样本原始图像进行下采样，得到所述多个编码残差子网络输出的多个样本下采样编码图像，其中，最后一个编码残差子网络输出的样本下采样编码图像是所述样本编码图像。
11.根据权利要求10所述的装置，其中，所述解码器包括多个解码残差子网络；以及
所述将所述样本编码图像输入至所述解码器，输出样本解码图像，包括：
利用所述多个解码残差子网络依次串行对所述样本编码图像进行解码，得到所述样本解码图像。
12.根据权利要求11所述的装置，其中，所述利用所述多个解码残差子网络依次串行对所述样本编码图像进行解码，包括：
对于所述多个解码残差子网络中的当前解码残差网络，使用最近邻插值对当前解码残差子网络的输入进行上采样，得到样本上采样解码图像；
对所述样本上采样解码图像进行卷积，得到样本卷积解码图像；
将所述样本卷积解码图像与所述当前解码残差子网络对称的编码残差子网络的输出进行合并，得到样本合并解码图像；
将样本合并解码图像输入至所述当前解码残差子网络中的编码残差子网络，得到所述当前解码残差子网络的输出。
13.一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
14.一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1-6中任一所述的方法。
CN202010304904.9A 2020-04-17 2020-04-17 用于检测活体的方法和装置 Active CN111507262B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010304904.9A CN111507262B (zh) 2020-04-17 2020-04-17 用于检测活体的方法和装置
EP21156023.0A EP3896605A1 (en) 2020-04-17 2021-02-09 Method and apparatus for spoof detection
US17/182,853 US20210326617A1 (en) 2020-04-17 2021-02-23 Method and apparatus for spoof detection
JP2021028352A JP7191139B2 (ja) 2020-04-17 2021-02-25 生体を検知するための方法及び装置
KR1020210034625A KR102606734B1 (ko) 2020-04-17 2021-03-17 생체 검출 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010304904.9A CN111507262B (zh) 2020-04-17 2020-04-17 用于检测活体的方法和装置

Publications (2)

Publication Number Publication Date
CN111507262A CN111507262A (zh) 2020-08-07
CN111507262B true CN111507262B (zh) 2023-12-08

Family

ID=71864096

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010304904.9A Active CN111507262B (zh) 2020-04-17 2020-04-17 用于检测活体的方法和装置

Country Status (5)

Country Link
US (1) US20210326617A1 (zh)
EP (1) EP3896605A1 (zh)
JP (1) JP7191139B2 (zh)
KR (1) KR102606734B1 (zh)
CN (1) CN111507262B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132832B (zh) * 2020-08-21 2021-09-28 苏州浪潮智能科技有限公司 一种增强图像实例分割的方法、系统、设备及介质
US11895330B2 (en) * 2021-01-25 2024-02-06 Lemon Inc. Neural network-based video compression with bit allocation
CN113705425B (zh) * 2021-08-25 2022-08-16 北京百度网讯科技有限公司 活体检测模型的训练方法和活体检测的方法、装置、设备
WO2023154606A1 (en) * 2022-02-14 2023-08-17 Qualcomm Incorporated Adaptive personalization for anti-spoofing protection in biometric authentication systems

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104143078A (zh) * 2013-05-09 2014-11-12 腾讯科技（深圳）有限公司 活体人脸识别方法、装置和设备
US9231965B1 (en) * 2014-07-23 2016-01-05 Cisco Technology, Inc. Traffic segregation in DDoS attack architecture
CN108416324A (zh) * 2018-03-27 2018-08-17 百度在线网络技术（北京）有限公司 用于检测活体的方法和装置
CN108537152A (zh) * 2018-03-27 2018-09-14 百度在线网络技术（北京）有限公司 用于检测活体的方法和装置
CN108875467A (zh) * 2017-06-05 2018-11-23 北京旷视科技有限公司 活体检测的方法、装置及计算机存储介质
CN109815797A (zh) * 2018-12-17 2019-05-28 北京飞搜科技有限公司 活体检测方法和装置
CN109886244A (zh) * 2019-03-01 2019-06-14 北京视甄智能科技有限公司 一种人脸识别活体检测方法及装置
CN110633647A (zh) * 2019-08-21 2019-12-31 阿里巴巴集团控股有限公司 活体检测方法及装置
CN110688950A (zh) * 2019-09-26 2020-01-14 杭州艾芯智能科技有限公司 基于深度信息的人脸活体检测方法、装置
CN110691100A (zh) * 2019-10-28 2020-01-14 中国科学技术大学 基于深度学习的分层网络攻击识别与未知攻击检测方法
CN110717522A (zh) * 2019-09-18 2020-01-21 平安科技（深圳）有限公司 图像分类网络的对抗防御方法及相关装置
CN110781776A (zh) * 2019-10-10 2020-02-11 湖北工业大学 一种基于预测和残差细化网络的道路提取方法

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003280126A1 (en) * 2003-05-30 2005-01-21 International Business Machines Corporation Detecting network attacks
JP4403426B2 (ja) * 2007-01-09 2010-01-27 サイレックス・テクノロジー株式会社 生体認証装置及び生体認証プログラム
KR101064945B1 (ko) * 2008-11-25 2011-09-15 한국전자통신연구원 적외선 영상을 이용한 위조 얼굴 검출 방법 및 그 장치
WO2011114520A1 (ja) * 2010-03-19 2011-09-22 富士通株式会社 識別装置、識別方法、及びプログラム
US9875393B2 (en) * 2014-02-12 2018-01-23 Nec Corporation Information processing apparatus, information processing method, and program
CN107111755B (zh) * 2015-01-13 2020-07-03 摩福公司 基于活跃度评价的视频假冒检测方法和系统
US10990808B2 (en) * 2016-02-09 2021-04-27 Aware, Inc. Face liveness detection using background/foreground motion analysis
KR102483642B1 (ko) * 2016-08-23 2023-01-02 삼성전자주식회사 라이브니스 검사 방법 및 장치
US10157323B2 (en) * 2016-08-30 2018-12-18 Qualcomm Incorporated Device to provide a spoofing or no spoofing indication
CN106599872A (zh) * 2016-12-23 2017-04-26 北京旷视科技有限公司 用于验证活体人脸图像的方法和设备
US10902244B2 (en) * 2017-03-27 2021-01-26 Samsung Electronics Co., Ltd. Apparatus and method for image processing
KR102387571B1 (ko) * 2017-03-27 2022-04-18 삼성전자주식회사 라이브니스 검사 방법 및 장치
US10679083B2 (en) * 2017-03-27 2020-06-09 Samsung Electronics Co., Ltd. Liveness test method and apparatus
CN113095124B (zh) * 2017-06-07 2024-02-06 创新先进技术有限公司 一种人脸活体检测方法、装置以及电子设备
CN107644209A (zh) * 2017-09-21 2018-01-30 百度在线网络技术（北京）有限公司 人脸检测方法和装置
CN107622240B (zh) * 2017-09-21 2023-10-13 百度在线网络技术（北京）有限公司 人脸检测方法和装置
CN107491771A (zh) * 2017-09-21 2017-12-19 百度在线网络技术（北京）有限公司 人脸检测方法和装置
CN108875333B (zh) * 2017-09-22 2023-05-16 北京旷视科技有限公司 终端解锁方法、终端和计算机可读存储介质
WO2019078769A1 (en) * 2017-10-18 2019-04-25 Fingerprint Cards Ab DIFFERENTIATION BETWEEN REAL FINGERS AND FALSE FINGERS IN A DIGITAL FOOTPRINT ANALYSIS BY AUTOMATIC APPRENTICESHIP
CN107818313B (zh) * 2017-11-20 2019-05-14 腾讯科技（深圳）有限公司 活体识别方法、装置和存储介质
KR102455633B1 (ko) * 2017-12-21 2022-10-17 삼성전자주식회사 라이브니스 검사 방법 및 장치
US11023757B2 (en) * 2018-02-14 2021-06-01 Samsung Electronics Co., Ltd. Method and apparatus with liveness verification
US11222221B2 (en) * 2018-02-22 2022-01-11 Nec Corporation Spoofing detection apparatus, spoofing detection method, and computer-readable recording medium
US20190347786A1 (en) * 2018-05-08 2019-11-14 Pixart Imaging Inc. Method, apparatus, and electronic device having living body detection capability
US10769261B2 (en) * 2018-05-09 2020-09-08 Futurewei Technologies, Inc. User image verification
CN108875688B (zh) * 2018-06-28 2022-06-10 北京旷视科技有限公司 一种活体检测方法、装置、系统及存储介质
KR101975186B1 (ko) * 2018-07-04 2019-05-07 광운대학교 산학협력단 객체 검출을 위한 생성적 적대 신경망 기반의 데이터 생성 장치 및 방법
US10733292B2 (en) * 2018-07-10 2020-08-04 International Business Machines Corporation Defending against model inversion attacks on neural networks
CN110889312B (zh) * 2018-09-07 2022-09-02 北京市商汤科技开发有限公司 活体检测方法和装置、电子设备、计算机可读存储介质
US11273841B2 (en) * 2018-09-20 2022-03-15 Toyota Research Institute, Inc. Method and apparatus for spoofing prevention
KR102140340B1 (ko) * 2018-10-18 2020-07-31 엔에이치엔 주식회사 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템 및 이를 이용하여 무보정 탐지 서비스를 제공하는 방법
US11657525B2 (en) * 2018-12-04 2023-05-23 Yoti Holding Limited Extracting information from images
GB2579583B (en) * 2018-12-04 2021-01-06 Yoti Holding Ltd Anti-spoofing
EP3674934A1 (en) * 2018-12-26 2020-07-01 Thales Dis France SA Biometric acquisition system and method
EP3674973A1 (en) * 2018-12-28 2020-07-01 Samsung Electronics Co., Ltd. Method and apparatus with liveness detection and object recognition
CN111444744A (zh) * 2018-12-29 2020-07-24 北京市商汤科技开发有限公司 活体检测方法、装置以及存储介质
US10970574B2 (en) * 2019-02-06 2021-04-06 Advanced New Technologies Co., Ltd. Spoof detection using dual-band near-infrared (NIR) imaging
CN111767760A (zh) * 2019-04-01 2020-10-13 北京市商汤科技开发有限公司 活体检测方法和装置、电子设备及存储介质
US11568168B2 (en) * 2019-04-08 2023-01-31 Shutterstock, Inc. Generating synthetic photo-realistic images
US11164021B2 (en) * 2019-05-16 2021-11-02 Arizona Board Of Regents On Behalf Of Arizona State University Methods, systems, and media for discriminating and generating translated images
US11294996B2 (en) * 2019-10-15 2022-04-05 Assa Abloy Ab Systems and methods for using machine learning for image-based spoof detection
US11348375B2 (en) * 2019-10-15 2022-05-31 Assa Abloy Ab Systems and methods for using focal stacks for image-based spoof detection
KR20210062381A (ko) * 2019-11-21 2021-05-31 삼성전자주식회사 라이브니스 검사 방법 및 장치, 생체 인증 방법 및 장치
KR20210069404A (ko) * 2019-12-03 2021-06-11 삼성전자주식회사 라이브니스 검사 방법 및 라이브니스 검사 장치
WO2021112849A1 (en) * 2019-12-05 2021-06-10 Aware, Inc. Improved face liveness detection using background/foreground motion analysis
US11232284B2 (en) * 2019-12-27 2022-01-25 Omnivision Technologies, Inc. Techniques for robust anti-spoofing in biometrics using polarization cues for NIR and visible wavelength band
CN111241989B (zh) * 2020-01-08 2023-06-13 腾讯科技（深圳）有限公司 图像识别方法及装置、电子设备
US11670069B2 (en) * 2020-02-06 2023-06-06 ID R&D, Inc. System and method for face spoofing attack detection
US11475714B2 (en) * 2020-02-19 2022-10-18 Motorola Solutions, Inc. Systems and methods for detecting liveness in captured image data
CN111582381B (zh) * 2020-05-09 2024-03-26 北京市商汤科技开发有限公司 确定性能参数的方法及装置、电子设备和存储介质
CN111539389B (zh) * 2020-06-22 2020-10-27 腾讯科技（深圳）有限公司 人脸防伪识别方法、装置、设备及存储介质
KR20220082454A (ko) * 2020-12-10 2022-06-17 삼성전자주식회사 생체 정보의 도용 여부를 검출하는 방법 및 장치
US20220318354A1 (en) * 2021-03-31 2022-10-06 Samsung Electronics Co., Ltd. Anti-spoofing method and apparatus

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104143078A (zh) * 2013-05-09 2014-11-12 腾讯科技（深圳）有限公司 活体人脸识别方法、装置和设备
US9231965B1 (en) * 2014-07-23 2016-01-05 Cisco Technology, Inc. Traffic segregation in DDoS attack architecture
CN108875467A (zh) * 2017-06-05 2018-11-23 北京旷视科技有限公司 活体检测的方法、装置及计算机存储介质
CN108416324A (zh) * 2018-03-27 2018-08-17 百度在线网络技术（北京）有限公司 用于检测活体的方法和装置
CN108537152A (zh) * 2018-03-27 2018-09-14 百度在线网络技术（北京）有限公司 用于检测活体的方法和装置
CN109815797A (zh) * 2018-12-17 2019-05-28 北京飞搜科技有限公司 活体检测方法和装置
CN109886244A (zh) * 2019-03-01 2019-06-14 北京视甄智能科技有限公司 一种人脸识别活体检测方法及装置
CN110633647A (zh) * 2019-08-21 2019-12-31 阿里巴巴集团控股有限公司 活体检测方法及装置
CN110717522A (zh) * 2019-09-18 2020-01-21 平安科技（深圳）有限公司 图像分类网络的对抗防御方法及相关装置
CN110688950A (zh) * 2019-09-26 2020-01-14 杭州艾芯智能科技有限公司 基于深度信息的人脸活体检测方法、装置
CN110781776A (zh) * 2019-10-10 2020-02-11 湖北工业大学 一种基于预测和残差细化网络的道路提取方法
CN110691100A (zh) * 2019-10-28 2020-01-14 中国科学技术大学 基于深度学习的分层网络攻击识别与未知攻击检测方法

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
Anjith George等.Deep Pixel-wise Binary Supervision for Face Presentation Attack Detection.《arXiv:1907.04047》.2019,1-8,正文第1节第5段,第2.3节第2-7段,第3.2.1节第3段,图1-图3. *
Auto-Fas: Searching Lightweight Networks forFace Anti-spoofing;Zitong Yu等;《ICASSP2020-2020 IEEE International Cofference on Acoustics, Speech and Sinal Processing》;996-1000 *
Deep Pixel-wise Binary Supervision for Face Presentation Attack Detection;Anjith George等;《arXiv:1907.04047》;1-8, 正文第1节第5段, 第2.3节第2-7段, 第3.2.1节第3段, 图1-图3 *
Face De-Spoofing: Anti-Spoofing via Noise Modeling.《Proceedings of the European Conference on Computer Vision (ECCV)》.2018,第11217卷297-315. *
Yaojie Liu等.Learning Deep Models for Face Anti-Spoofing: Binary or Auxiliary Supervision.《2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition》.2018,2909-2914,正文第1节,第3节,第3.3节,图1-图3. *
Yunxiao Qin.Learning meta model for zero-and few-shot face anti-spoofing.《arXiv：1904-12490》.2019,1-8. *
对抗样本生成及攻防技术研究;刘小垒等;《计算机应用研究》;第37卷(第11期);3201-3205+3212 *
曲啸枫.基于多特征融合的活体人脸检测算法研究及应用.《中国硕士学位论文全文数据库(信息科技辑)》.2020,(第2020(01)期),I138-1602. *

Also Published As

Publication number Publication date
JP2021174529A (ja) 2021-11-01
KR102606734B1 (ko) 2023-11-29
JP7191139B2 (ja) 2022-12-16
US20210326617A1 (en) 2021-10-21
EP3896605A1 (en) 2021-10-20
KR20210037632A (ko) 2021-04-06
CN111507262A (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
CN111507262B (zh) 用于检测活体的方法和装置
CN108509915B (zh) 人脸识别模型的生成方法和装置
CN110188765B (zh) 图像语义分割模型生成方法、装置、设备及存储介质
CN108710885B (zh) 目标对象的检测方法和装置
CN110443222B (zh) 用于训练脸部关键点检测模型的方法和装置
CN111539942A (zh) 基于多尺度深度特征融合的人脸深度篡改图像的检测方法
CN108389172B (zh) 用于生成信息的方法和装置
CN109389096B (zh) 检测方法和装置
CN108491812B (zh) 人脸识别模型的生成方法和装置
CN111067522A (zh) 大脑成瘾结构图谱评估方法及装置
CN111626956A (zh) 图像去模糊方法和装置
CN111767750A (zh) 图像处理方法和装置
CN108470179B (zh) 用于检测对象的方法和装置
CN111460876A (zh) 用于识别视频的方法和装置
CN108491890B (zh) 图像方法和装置
CN113920208A (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
CN114120454A (zh) 活体检测模型的训练方法、装置、电子设备及存储介质
CN112465737B (zh) 图像处理模型训练方法、图像处理方法及图像处理装置
CN114841870A (zh) 图像处理方法、相关装置和系统
CN113177483B (zh) 视频目标分割方法、装置、设备以及存储介质
CN116152542A (zh) 图像分类模型的训练方法、装置、设备及存储介质
CN115393423A (zh) 目标检测方法和装置
CN115115836A (zh) 图像识别方法、装置、存储介质以及电子设备
CN111325068B (zh) 基于卷积神经网络的视频描述方法及装置
CN117540306B (zh) 一种多媒体数据的标签分类方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant