CN117037294A - 训练识别活体模型的方法、装置、设备和介质 - Google Patents
训练识别活体模型的方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN117037294A CN117037294A CN202311049919.5A CN202311049919A CN117037294A CN 117037294 A CN117037294 A CN 117037294A CN 202311049919 A CN202311049919 A CN 202311049919A CN 117037294 A CN117037294 A CN 117037294A
- Authority
- CN
- China
- Prior art keywords
- network model
- living body
- living
- student network
- student
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 115
- 238000012549 training Methods 0.000 title claims abstract description 79
- 238000009792 diffusion process Methods 0.000 claims abstract description 108
- 230000006870 function Effects 0.000 claims abstract description 72
- 230000002787 reinforcement Effects 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims description 41
- 238000003860 storage Methods 0.000 claims description 25
- 239000013598 vector Substances 0.000 claims description 23
- 230000009466 transformation Effects 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 12
- 230000003416 augmentation Effects 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 10
- 238000003062 neural network model Methods 0.000 claims description 8
- 230000003190 augmentative effect Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 28
- 238000001514 detection method Methods 0.000 description 16
- 238000004821 distillation Methods 0.000 description 11
- 230000009471 action Effects 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 6
- 238000013523 data management Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000001727 in vivo Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013140 knowledge distillation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/778—Active pattern-learning, e.g. online learning of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本说明书实施例提供了用于训练识别活体模型的方法,其中包括:利用所述多个数据域样本和第一损失函数,针对教师网络模型进行训练,基于经训练的教师网络模型的隐空间特征,针对学生网络模型进行训练,以获取与所述教师网络模型拟合的学生网络模型,对特定数据域样本执行多阶段扩散,从而基于多阶段扩散的活体特征对所述学生网络模型执行增强学习,以将所获取的、与教师网络模型拟合增强的增强型学生网络模型作为识别活体模型。
Description
技术领域
本说明书的一个或多个实施例总体上涉及图像信息的处理,并且具体地,涉及用于训练识别活体模型的方法、用于训练识别活体模型的装置、识别活体攻击的方法、识别活体攻击的装置、计算设备和计算机存储介质。
背景技术
人脸识别在近年来得到了广泛应用,在包括出行、安防、支付等各个领域都成为了重要的一部分。常见的应用场景包括但不限于刷脸支付、刷脸进站以及刷脸考勤等等。随着人脸识别成为人们日常生活和生产的一部分,其安全问题也越来越受到各界的关注。最常见也是最有风险的安全问题是活体攻击。活体攻击是攻击者利用“受害者”的人脸素材(例如手机照片、打印照片、面具等等)进行对人脸识别系统突破尝试的手段。各类活体的检测方法被提出并应用到活体攻击的拦截和检测,但是如何在性能和资源消耗上达到兼顾,仍然是一个具有挑战的问题。
常见的活体的检测方法根据部署环境的不同,可以被分为两种类型。第一种类型是部署在云端的活体的检测方法。这类方法通过终端设备采集图像,上传到云端服务器。然后将图像输入到高性能的活体的检测模型中,得到最终结果。最后,将最终的结果返回到终端设备。这类方法性能较好,但是依赖网络,无法在无网或者弱网环境得到规模应用。另一方面,由于用户人脸图像需要在网络中进行传输,其隐私泄漏的风险也较高。第二种类型则是部署在终端设备的活体的检测方法,这类方法将活体的检测模型部署到终端设备,从而使得从图像采集到活体的检测均在终端设备完成,不依赖网络进行图像传输。这类方法的主要问题是部署的活体的检测模型受到终端设备的计算资源限制。
发明内容
本说明书的一个或多个实施例提供一种用于训练识别活体模型的方法、计算设备和计算机存储介质。
根据本说明书的一个或多个实施例的第一方面,提供了一种用于训练识别活体模型的方法,其中包括:将所获取的、与多个场景对应的多类活体样本集合处理为多数据域样本;利用所述多个数据域样本和第一损失函数,针对教师网络模型进行训练;基于经训练的教师网络模型的隐空间特征,针对学生网络模型进行训练,以获取与所述教师网络模型拟合的学生网络模型;以及对特定数据域样本执行多阶段扩散,从而基于多阶段扩散的活体特征对所述学生网络模型执行增强学习,以将所获取的、与教师网络模型拟合增强的增强型学生网络模型作为识别活体模型。
根据本说明书的一个或多个实施例的第二方面,还提供了一种计算设备,该设备包括:存储器,被配置为存储一个或多个计算机程序;以及处理器,耦合至存储器并且被配置为执行一个或多个程序使装置执行本说明书的一个或多个实施例的第一方面的方法。
根据本说明书的一个或多个实施例的第三方面,还提供了一种非瞬态计算机可读存储介质。该非瞬态计算机可读存储介质上存储有机器可执行指令,该机器可执行指令在被执行时使机器执行本说明书的一个或多个实施例的第一方面的方法。
在一些实施例中,针对教师网络模型进行训练包括:利用多数据域变换模块对所述多个数据域样本执行相同数据域变换,从而获取与相同数据域信息对应的经变换数据样本;利用特征提取模块对所述多个数据域样本和经变换数据样本执行特征向量提取,从而获取多个数据域样本的特征向量和经变换数据样本的特征向量;以及利用解耦学习模块对多个数据域样本的特征向量和经变换数据样本的特征向量执行解耦学习,从而获取经训练的教师网络模型,所述教师网络模型输出活体特征、活体分类预测概率以及活体攻击概率。
在一些实施例中,第一损失函数包括:多数据域变换模块的数据域变换一致性损失、解耦学习模块的数据域解耦损失以及活体特征分类损失。
在一些实施例中,针对学生网络模型进行训练以获取与所述教师网络模型拟合的学生网络模型包括:将所述多个数据域样本输入到经训练的教师网络模型以及学生网络模型,从而获取所述教师网络模型输出的活体特征以及所述学生网络模型输出的活体特征;选择核函数,并将所获取的教师网络模型输出的活体特征输入到对应于所述核函数的核函数映射模块,从而获取对应于所述核函数的教师网络模型的隐空间特征;基于多元扩散模块,对所述学生网络模型输出的活体特征执行多元扩散处理,从而获取对应于多阶段扩散的学生网络模型输出的隐空间特征;基于所述教师网络模型的隐空间特征与学生网络模型输出的隐空间特征之间的拟合距离确定第二损失函数;以及训练所述学生网络模型直到所述第二损失函数收敛到最小值,以获取与所述教师网络模型拟合的学生网络模型。
在一些实施例中,对特定数据域样本执行多阶段扩散从而基于多阶段扩散的活体特征对所述学生网络模型执行增强学习包括:确定第二损失函数的损失阈值;将输入到所述教师网络模型与所训练的学生网络模型之间的拟合距离大于所述损失阈值的数据域样本确定为特定数据域样本;将所述特定数据域样本输入到教师网络模型以及学生网络模型,从而获取所述教师网络模型输出的特定活体特征以及所述学生网络模型输出的特定活体特征;基于特征扩散模块,对所述学生网络模型输出的特定活体特征执行多阶段的特征扩散,从而获取多阶段扩散的特定活体特征;基于所述教师网络模型输出的特定活体特征与所述学生网络模型的多阶段扩散的特定活体特征之间的余弦相似度,确定第三损失函数;以及训练所述学生网络模型直到所述第三损失函数收敛到最小值,以便将所训练的学生网络模型确定为增强型学生网络模型。
在一些实施例中,基于特征扩散模块对所述学生网络模型输出的特定活体特征执行多阶段的特征扩散包括:将特定活体特征输入到特征扩散模块,从而获取第一阶段扩散的特定活体特征;将所述第一阶段扩散的特定活体特征输入到特征扩散模块,从而获取第二阶段扩散的特定活体特征;以及重复执行以上步骤直到阶段值达到预设的阶段值阈值,从而获取多阶段扩散的特定活体特征。
在一些实施例中,学生网络模型是与所述教师网络模型结构相同的神经网络模型或注意力机制模型。
根据本说明书的一个或多个实施例的第四方面,提供了一种识别活体的方法,其中所述方法包括:将增强型学生网络模型部署在用户设备上,以便从所述用户设备获取活体样本;将所获取的活体样本输入到所述增强学生网络模型,从而获取活体攻击概率;响应于活体攻击概率大于活体攻击阈值,则判断为所获取的活体样本来源于活体攻击;以及响应于活体攻击概率小于或者等于活体攻击阈值,则判断为所获取的活体样本来源于真实活体。
根据本说明书的一个或多个实施例的第五方面,提供了一种用于训练识别活体模型的装置,其中所述装置包括:处理模块,所述处理模块配置成将所获取的、与多个场景对应的多类活体样本集合处理为多数据域样本;教师网络模型训练模块,所述教师网络模型训练模块配置成利用所述多个数据域样本和第一损失函数,针对教师网络模型进行训练;学生网络模型训练模块,所述学生网络模型训练模块配置成基于经训练的教师网络模型的隐空间特征,针对学生网络模型进行训练,以获取与所述教师网络模型拟合的学生网络模型;以及学生网络模型增强模块,所述学生网络模型增强模块配置成对特定数据域样本执行多阶段扩散,从而基于多阶段扩散的活体特征对所述学生网络模型执行增强学习,以将所获取的、与教师网络模型拟合增强的增强型学生网络模型作为识别活体模型。
根据本说明书的一个或多个实施例的第六方面,提供了一种识别活体攻击的装置,其中所述装置包括:部署模块,所述部署模块配置成将增强型学生网络模型部署在用户设备上并从所述用户设备获取活体样本;输入模块,所述输入模块配置成将所获取的活体样本输入到所述增强学生网络模型,从而获取活体攻击概率;判断模块,所述判断模块配置成响应于活体攻击概率大于活体攻击阈值,则判断为所获取的活体样本来源于活体攻击;以及所述判断模块还配置成响应于活体攻击概率小于或者等于活体攻击阈值,则判断为所获取的活体样本来源于真实活体。
附图说明
图1示出了根据本说明书的一个或多个实施例的用于训练识别活体模型的方法的系统100的示意图。
图2示出了根据本说明书的一个或多个实施例的用于训练识别活体模型的方法200的流程图。
图3示出了根据本说明书的一个或多个实施例的用于训练识别活体模型的另一个方法300的流程图。
图4示出了根据本说明书的一个或多个实施例的用于训练识别活体模型的另一个方法400的流程图。
图5示出了根据本说明书的一个或多个实施例的用于训练识别活体模型的另一个方法500的流程图。
图6示出了根据本说明书的一个或多个实施例的识别活体攻击的方法600的流程图。
图7示出了根据本说明书的一个或多个实施例的用于训练识别活体攻击的模型的装置700的示意图。
图8示出了根据本说明书的一个或多个实施例的识别活体攻击的装置800的示意图。
图9示意性示出了适于用来实现本说明书的一个或多个实施例的电子设备900的框图。
在各个附图中,相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参照附图更详细地描述本说明书的一个或多个实施例的优选实施例。虽然附图中显示了本说明书的一个或多个实施例的优选实施例,然而应该理解,可以以各种形式实现本说明书的一个或多个实施例而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了使本说明书的一个或多个实施例更加透彻和完整,并且能够将本说明书的一个或多个实施例的范围完整地传达给本领域的技术人员。
在本文中使用的术语“包括”及其变形表示开放性包括,即“包括但不限于”。除非特别申明,术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。
为了至少部分地解决上述问题以及其他潜在问题中的一个或者多个,本说明书的一个或多个实施例的示例实施例提出了一种用于训练识别活体模型的方案。在该方案中,可以采集多种场景和数据域的数据,训练通用的,高性能的教师网络;其次,基于创新提出的特征扩散蒸馏方法,利用上一步得到的教师网络,进行高性能、低复杂度的学生网络训练。然后,利用扩散过程中的特征关系进行进一步的学生网络微调和性能增强。最后,将上述训练得到的模型部署到对应的环境,进行相关的应用。
图1示出了根据本说明书的一个或多个实施例的用于训练识别活体模型的方法的系统100的示意图。如图1所示,系统100包括:计算设备110、数据管理设备130、网络140和用户设备150。在一些实施例中,计算设备110、数据管理设备130、用户设备150经由网络140进行数据交互。
关于数据管理设备130,其例如是运行在一个或多个计算机节点上用于实现高并发、高吞吐量的数据管理的一站式存储计算结构。数据管理服务器130可以发送、接收或存储多份活体图像、视频数据或活体图像、视频数据的集合。
关于用户设备150,用户设备150可以包括一个或多个处理器,处理器可以包括但不限于微处理器(Microcontroller Unit,MCU)或可编程逻辑器件(Field ProgrammableGate Array,FPGA)等的处理装置)、用于存储数据的存储器、以及用于通信功能的传输装置。用户设备150可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices,MID)等终端设备。图1所示的结构仅为示意,其并不对上述电子装置的结构造成限定。用户可以通过用户设备150向计算设备110发送诸如用户头像图像或视频的活体样本数据,同时可以接收由计算设备110发送的经训练的增强的识别活体攻击的模型,并且通过该模型识别所接收的活体数据样本为真实活体或者例如使用手机照片、打印照片、面具等模仿活体所造成的活体攻击。
关于计算设备110,其例如通过网络140从数据管理服务器130处图像数据或图像数据的集合。通过对所接收的图像数据或图像数据的集合进行相应处理,计算设备110可实现对信息的加解密以及生成密钥。同时也可以在计算设备110上执行神经网络模型或注意力网络模型的训练,从而获取可以蒸馏或传播学习到用户设备150的高性能教师网络模型。
在一些实施例中,计算设备110可以具有一个或多个处理单元,包括诸如GPU、FPGA和ASIC等的专用处理单元以及诸如CPU的通用处理单元。另外,在每个计算设备上也可以运行着一个或多个虚拟机。计算设备110例如包括:
活体样本集合处理模块112,所述活体样本集合处理模块112配置成将所获取的、与多个场景对应的多类活体样本集合处理为多数据域样本;
教师网络模型训练模块114,所述教师网络模型训练模块114配置成利用所述多个数据域样本和第一损失函数,针对教师网络模型进行训练;
学生网络模型训练模块116,所述学生网络模型训练模块116配置成基于经训练的教师网络模型的隐空间特征,针对学生网络模型进行训练,以获取与所述教师网络模型拟合的学生网络模型;以及
学生网络模型增强模块118,所述学生网络模型增强模块118配置成对特定数据域样本执行多阶段扩散,从而基于多阶段扩散的活体特征对所述学生网络模型执行增强学习,以将所获取的、与教师网络模型拟合增强的增强型学生网络模型作为识别活体模型。
本方法的核心思想是,训练高性能的教师网络,然后利用创新的特征扩散蒸馏方法进行高性能、低复杂度的学生网络训练,然后利用扩散过程中的特征关系进行进一步的性能增强。具体来说,首先,采集多种场景和数据域的数据,训练通用的,高性能的教师网络;其次,基于创新提出的特征扩散蒸馏方法,利用上一步得到的教师网络,进行高性能、低复杂度的学生网络训练。然后,利用扩散过程中的特征关系进行进一步的学生网络微调和性能增强。最后,将上述训练得到的模型部署到对应的环境,进行相关的应用。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
以下将结合图2描述根据本说明书的一个或多个实施例的用于训练识别活体模型的方法200。图2示出了根据本说明书的一个或多个实施例的用于训练识别活体模型的方法200的流程图。应当理解,方法200例如可以在图9所描述的电子设备900处执行。也可以在图1所描述的计算设备110处执行。应当理解,方法200还可以包括未示出的附加动作和/或可以省略所示出的动作,本说明书的一个或多个实施例的范围在此方面不受限制。
用于训练识别活体模型的方法200主要训练了一种可以在用户设备上部署同时具有与在大规模服务器上训练的网络性能类似的识别活体攻击的模型。
方法200可以包括基础模型训练,即采集多种场景和数据域的数据,训练通用的,高性能的教师网络;多元隐空间扩散,即基于创新提出的特征扩散蒸馏方法,利用上一步得到的教师网络,进行高性能、低复杂度的学生网络训练;特征关系学习,即利用扩散过程中的特征关系进行进一步的学生网络微调和性能增强;最后模型部署与应用,即将上述训练得到的模型部署到诸如用户设备的对应环境,从而进行相关的活体攻击识别。
在步骤202处,计算设备110可以将所获取的、与多个场景对应的多类活体样本集合处理为多数据域样本。
在一个实施例中,计算设备110可以收集多个场景下的多类活体样本集合,场景可以包括但不限于手机端的支付场景、贷款场景、门禁场景、售卖机场景等,其中一种场景可以对应于一种数据域。从多个不同场景采集数据,使得攻击活体均被采集。另外,还可以从互联网采集开源数据集作为一部分训练数据,扩充训练样本的多样性,每个场景和每个开源数据集都作为一个不同的数据域。
在本说明书的一个或多个实施例中,数据域样本是指用于训练和评估模型的图像数据集合,其包含了一系列的图像样本,每个样本都代表了一类特定场景中的图像。数据域包括图像的特征、内容和结构等方面的信息。不同数据域样本可以包括各种不同类型场景的图像,其可能来自不同的来源、拍摄设备或应用场景,并且涵盖了多样化的特征和形式。在训练神经网络模型时,使用充分且具有代表性的图像数据域样本,可以帮助模型学习更广泛的图像特征,并提高其在解决相关任务中的性能。同时,评估模型的性能也需要使用与训练数据相同或相似的数据域样本进行测试,以便全面了解模型在现实情况下的表现。因此,计算设备110可以将多类活体样本集合处理为多个数据域样本,可以使用图像预处理技术对样本进行归一化、裁剪等处理操作。
在步骤204处,计算设备110可以利用所述多个数据域样本和第一损失函数,针对教师网络模型进行训练。
在一个实施例中,计算设备110可以基于多个数据域样本,使用多数据域变换技术,如数据增强、图像旋转等,生成更多的训练样本。计算设备110可以使用特征提取技术,如卷积神经网络(CNN)或其他深度学习模型,从多个数据域样本中提取特征。计算设备110可以进行解耦学习,通过在神经网络中引入相应的解耦机制,使得不同数据域之间的特征表示相互独立。最后计算设备110可以训练教师网络模型直到第一损失函数收敛,获得经训练的教师网络模型。
在进一步的实施例中,将更具体描述基于多数据域变换、特征提取和解耦学习训练教师网络模型直至第一损失函数收敛以获取经训练的教师网络模型的方法。
在步骤206处,计算设备110可以基于经训练的教师网络模型的隐空间特征,针对学生网络模型进行训练,以获取与所述教师网络模型拟合的学生网络模型。
在一个实施例中,计算设备110可以利用教师网络模型的多元隐空间信息进行扩散学习。这可以通过在教师网络模型中添加额外的层,并使用教师网络模型的中间层输出作为输入来实现。计算设备110可以使用扩散学习方法,如自编码器、生成对抗网络等,从教师模型的隐空间中学习获得更具表达能力的特征表示。计算设备110可以训练学生网络模型直到第二损失函数收敛,获得与教师网络模型拟合的学生网络模型。
在一个实施例中,学生网络模型是与教师网络模型结构相同的诸如Resnet的神经网络模型或诸如transformer的注意力机制模型。输入到学生网络模型和教师网络模型的样本的分辨率也保持一致,从而使得学生网络模型更好得习得教师网络模型的特征。
在进一步的实施例中,将更具体描述基于对所获取的教师网络模型的多元隐空间的扩散学习训练学生网络模型直至第二损失函数收敛,以获取与所述教师网络模型拟合的学生网络模型的方法。
在步骤208处,计算设备110可以对特定数据域样本执行多阶段扩散,从而基于多阶段扩散的活体特征对所述学生网络模型执行增强学习,以获取输出与教师网络模型拟合增强的增强型学生网络模型。
在一个实施例中,计算设备110可以对特定数据域样本执行多阶段扩散,即使用学生网络模型对样本进行预测,并将预测结果作为下一阶段扩散的输入。在多阶段扩散的过程中,基于扩散的活体特征执行增强学习,例如,使用强化学习算法(如深度Q网络)进行优化。通过增强学习,在保持与教师网络模型拟合的同时,进一步提升加强学生网络模型的性能,获得输出与教师网络模型拟合增强的增强型学生网络模型。
在进一步的实施例中,将更具体描述对特定数据域样本执行多阶段扩散,从而基于多阶段扩散的活体特征对所述学生网络模型执行增强学习的方法。
利用多数据域样本处理、解耦学习、扩散学习和增强学习等技术手段,提高了神经网络模型在处理多样化图像数据域时的鲁棒性、准确性和泛化能力,使其能够更好地适应不同场景下的活体的检测任务。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
以下将结合图3描述根据本说明书的一个或多个实施例的用于训练识别活体模型的另一个方法300。图3示出了根据本说明书的一个或多个实施例的用于训练识别活体模型的另一个方法300的流程图。应当理解,方法300例如可以在图9所描述的电子设备900处执行。也可以在图1所描述的计算设备110处执行。应当理解,方法300还可以包括未示出的附加动作和/或可以省略所示出的动作,本说明书的一个或多个实施例的范围在此方面不受限制。
传统的活体的检测方法,往往只在单个场景或者和其有一定相似度的关联场景进行数据采集和模型训练。这样做的好处是可以针对性优化,在有限计算资源条件下,在对应场景做到尽可能高性能。但是,这样得到的模型容易过拟合,泛化能力较差。因此,这种方法不适合用于训练教师网络模型。本说明的一个或多个实施例中的教师网络模型是高性能、高泛化能力的模型。为了克服这个问题,提出了基于多域智能变换和解耦学习的教师网络训练方法。
在步骤302处,计算设备110可以利用多数据域变换模块对所述多个数据域样本执行相同数据域变换,从而获取与相同数据域信息对应的经变换数据样本。
在一个实施例中,计算设备110可以利用多数据域变换模块,多数据域变换模块的输入是原始活体数据域样本,输出是变换后的数据域样本,从而将不同域的样本尽量变换到同一个域,去除域相关的信息。多数据域变换模块可以是诸如Unet的神经网络模型,其可以去除域相关信息,从而获取单纯的活体信息。
在步骤304处,计算设备110可以利用特征提取模块对所述多个数据域样本和经变换数据样本执行特征向量提取,从而获取多个数据域样本的特征向量和经变换数据样本的特征向量。
在一个实施例中,计算设备110可以利用特征提取模块对多个数据域样本和经变换数据样本执行特征向量提取操作。特征提取模块的输入是原始的数据域样本和对应的在步骤302中变换后的数据域样本,其输出多个数据域样本的特征向量和经变换数据样本的特征向量。计算设备110可以使用诸如卷积神经网络(CNN)或其他深度学习模型的特征提取模块,从每个样本中提取有意义的特征向量,从而获得多个数据域样本的特征向量和经变换数据样本的特征向量。
在步骤306处,计算设备110可以利用解耦学习模块对多个数据域样本的特征向量和经变换数据样本的特征向量执行解耦学习,从而获取经训练的教师网络模型,所述教师网络模型输出活体特征、活体分类预测概率以及活体攻击概率。
在一个实施例中,计算设备110可以利用解耦学习模块对多个数据域样本的特征向量和经变换数据样本的特征向量进行解耦学习。通过在教师网络模型中引入相应的解耦机制,使不同数据域之间的特征表示相互独立。解耦学习可以使得域分布尽量平均,具体来说,解耦学习模块对前向传播梯度执行反转计算,从而实现解耦。
在一个实施例中,解耦学习模块可以是线性分类器。在解耦学习过程中,教师网络模型会学习到活体特征、活体分类预测概率以及活体攻击概率等输出。计算设备110可以将经过解耦学习的特征向量输入到教师网络模型中。教师网络模型利用这些特征向量进行训练,以输出包括活体特征、活体分类预测概率以及活体攻击概率等信息。训练教师网络模型直到达到收敛条件,获得一个能够提供活体的检测相关输出的模型。
在一个实施例中,第一损失函数包括:多数据域变换模块执行相同数据域变换的数据域变换一致性损失、解耦学习模块的数据域解耦损失以及活体特征分类损失。具体来说,第一损失函数可以包括三个部分,第一个部分是活体分类损失,第二个部分是数据域解耦损失,即使得不同样本的域分类结果都尽可能接近平均的损失;第三个部分是变换一致性损失,即变换前后的活体攻击概率尽量一致,只去除域相关信息,而不去除活体的检测相关信息的相应损失。损失函数可以为本领域常用的欧氏距离函数等。
通过多数据域变换模块、特征提取模块和解耦学习模块,将多个数据域样本转化为特征向量,并通过教师网络模型实现对活体特征、活体分类预测概率和活体攻击概率等信息的输出,从而训练出高性能的教师网络模型,从而更好地应对不同场景下的活体攻击。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
以下将结合图4描述根据本说明书的一个或多个实施例的用于训练识别活体模型的另一个方法400。图4示出了根据本说明书的一个或多个实施例的用于训练识别活体模型的另一个方法400的流程图。应当理解,方法400例如可以在图9所描述的电子设备900处执行。也可以在图1所描述的计算设备110处执行。应当理解,方法400还可以包括未示出的附加动作和/或可以省略所示出的动作,本说明书的一个或多个实施例的范围在此方面不受限制。
传统的知识蒸馏方法,使用一层或者多层卷积/全连接层完成特征或者概率的蒸馏;这类方法的映射方法都是一阶段的,难以学习到教师和学生网络之间因为结构、深度等不同引起的特征空间的差异;为了能够使得蒸馏的过程更加稳定,本说明书的一个或多个实施例的学生网络模型尽可能多的学习到教师网络模型的特征知识。本说明书的一个或多个实施例的提出了基于多元隐空间扩散的蒸馏方法。通过构造多个隐空间,并基于扩散理论进行多阶段的蒸馏,来提升蒸馏的性能。
在步骤402处,计算设备110可以将所述多个数据域样本输入到经训练的教师网络模型以及学生网络模型,从而获取所述教师网络模型输出的活体特征以及所述学生网络模型输出的活体特征。
在一个实施例中,计算设备110可以将从多个数据域收集样本数据,其中这些数据包含了可能的活体特征,输入到教师网络模型和学生网络模型。教师网络模型和学生网络模型分别处理输入数据,从中提取活体特征。教师网络模型的输入是在先前方法中获取的数据域样本,输出是对应于教师网络模型的活体特征。学生网络模型的输入是在先前方法中获取的数据域样本,输出为学生网络模型的活体特征和活体分类结果。教师网络模型输出的活体特征表示了其对于活体的检测的理解,而学生网络模型的活体特征表示了另一种视角的活体特性。
在步骤404处,计算设备110可以选择核函数,并将所获取的教师网络模型输出的活体特征输入到对应于所述核函数的核函数映射模块,从而获取对应于所述核函数的教师网络模型的隐空间特征。
在一个实施例中,计算设备110可以选择适当的核函数,如线性核、多项式核或高斯核。核函数的选择应基于任务需求和数据特征。函数映射模块的输入是教师网络模型的活体特征,输出是多个教师网络模型的隐空间特征。计算设备110将教师网络模型输出的活体特征输入到对应于所选核函数的核函数映射模块。这个过程将会将活体特征映射到核函数所定义的隐空间中。在核函数映射模块中,获取对应于所选核函数的教师网络模型的隐空间特征。这些隐空间特征将更有利于进行特征融合和学习。
在步骤406处,计算设备110可以基于多元扩散模块,对所述学生网络模型输出的活体特征执行多元扩散处理,从而获取对应于多阶段扩散的学生网络模型输出的隐空间特征。
在一个实施例中,计算设备110可以基于多元扩散模块,对学生网络模型输出的活体特征进行多元扩散处理。这个步骤有助于从多个阶段的视角捕获活体特征。多元扩散处理的结果将产生与多阶段扩散相对应的学生网络模型的隐空间特征。多元扩散模块的输入是学生网络模型的活体特征,输出是多个经过多阶段扩散的学生网络模型的隐空间特征。
多阶段扩散可以是通过如下方式执行的:计算设备110将活体特征输入到多元扩散模块,从而获取第一阶段扩散的活体特征。计算设备110将所述第一阶段扩散的活体特征输入到特征扩散模块,从而获取第二阶段扩散的活体特征。计算设备110重复执行以上步骤直到阶段值达到预设的阶段值阈值,例如当阶段值阈值为10时,计算设备110会执行10次扩散,从而获取10次扩散的多阶段扩散的活体特征。
在步骤408处,计算设备110可以基于所述教师网络模型的隐空间特征与学生网络模型输出的隐空间特征之间的拟合距离确定第二损失函数。
在一个实施例中,计算设备110可以利用教师网络模型的隐空间特征和学生网络模型输出的隐空间特征之间的拟合距离,定义第二损失函数。这个距离可以是欧氏距离、余弦距离等,用于量化两个隐空间之间的差异。第二损失函数可以包括两个部分,第一个部分是活体分类损失,第二个部分是多元扩散损失。
在步骤410处,计算设备110可以训练所述学生网络模型直到所述第二损失函数收敛到最小值,以获取与所述教师网络模型拟合的学生网络模型。
在一个实施例中,计算设备110可以训练学生网络模型,将第二损失函数作为训练目标之一。通过反向传播和优化算法,调整学生网络模型的参数,以便使得第二损失函数逐渐收敛到最小值。迭代训练学生网络模型,直到第二损失函数收敛到最小值。通过训练使得多个教师网络模型的隐空间特征和多个经过多阶段扩散的学生网络模型的隐空间特征的L2距离尽可能小。此时,所训练的学生网络模型可以被确定为学生网络模型,其具有能够从教师网络模型中融合信息并捕获多阶段特征的能力。
利用以上技术手段,可以实现将教师网络模型和学生网络模型的信息融合,以及训练一个学生网络模型,该模型具有从不同角度获取活体特征的能力,并且能够在隐空间中捕获多阶段的活体特征。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
以下将结合图5描述根据本说明书的一个或多个实施例的用于训练识别活体模型的另一个方法500。图5示出了根据本说明书的一个或多个实施例的用于训练识别活体模型的另一个方法500的流程图。应当理解,方法500例如可以在图9所描述的电子设备900处执行。也可以在图1所描述的计算设备110处执行。应当理解,方法500还可以包括未示出的附加动作和/或可以省略所示出的动作,本说明书的一个或多个实施例的范围在此方面不受限制。
经过如上方法中的学习之后,学生网络模型可以拟合大部分样本的教师网络模型的多个隐空间特征。然而对于一部分的样本,学生网络可能始终难以拟合。为了提升这部分困难样本的性能,提出了基于扩散过程的特征关系蒸馏学习方法。对于苦难样本,对多阶段的扩散过程进行约束,提升这部分样本的蒸馏性能。
在步骤502处,计算设备110可以确定第二损失函数的损失阈值。
在一个实施例中,在训练过程中可以确定一个适当的损失阈值。这个阈值将用于判定输入到教师网络模型和学生网络模型之间的拟合距离是否足够小,以便将数据域样本分类为特定数据域样本,即拟合困难样本。
计算设备110对于输入到教师网络模型和学生网络模型的每个数据域样本,计算其与所训练的学生网络模型之间的拟合距离。如果拟合距离大于所设定的损失阈值,则将该数据域样本确定为特定数据域样本。
在步骤504处,计算设备110可以将输入到所述教师网络模型与所训练的学生网络模型之间的拟合距离大于所述损失阈值的数据域样本确定为特定数据域样本。
在步骤506处,计算设备110可以将特定数据域样本送入教师网络模型和学生网络模型,以获取教师网络模型输出的特定活体特征和学生网络模型输出的特定活体特征。这些特定活体特征将用于进一步的处理。
在一个实施例中,计算设备110将所述特定数据域样本输入到教师网络模型以及学生网络模型,从而获取所述教师网络模型输出的特定活体特征以及所述学生网络模型输出的特定活体特征。
在一个实施例中,教师网络模型的输入是对应于困难样本的数据域样本,输出是对应于教师网络模型的活体特征。学生网络模型的输入是对应于困难样本的数据域样本,输出学生网络模型的活体特征和活体分类结果。
在步骤508处,计算设备110可以基于特征扩散模块对所述学生网络模型输出的特定活体特征执行多阶段的特征扩散,从而获取多阶段扩散的特定活体特征。
在一个实施例中,计算设备110利用特征扩散模块,对学生网络模型输出的特定活体特征执行多阶段的特征扩散。这有助于从不同阶段的视角捕获特定活体特征。特征扩散模块类似于上面方法中的多元扩散,即通过将特征输入到特征扩散模块获得扩散结果,再将扩散结果输入到特征扩散模块从而获得下一阶段的扩散结果,通过例如5-10次的多次迭代,从而获得多阶段特征扩散的结果。多阶段特征扩散的结果将产生多阶段扩散的特定活体特征,这些特征融合了来自不同层次的信息,从而更全面地描述了特定活体特征。
多阶段扩散可以是通过如下方式执行的:计算设备110将特定活体特征输入到特征扩散模块,从而获取第一阶段扩散的活体特征。计算设备110将所述第一阶段扩散的特定活体特征输入到特征扩散模块,从而获取第二阶段扩散的特定活体特征。计算设备110重复执行以上步骤直到阶段值达到预设的阶段值阈值,例如当阶段值阈值为10时,计算设备110会执行10次扩散,从而获取10次扩散的多阶段扩散的特定活体特征。
在步骤510处,计算设备110可以基于所述教师网络模型输出的特定活体特征与所述学生网络模型的多阶段扩散的特定活体特征之间的余弦相似度确定第三损失函数。
在一个实施例中,计算设备110可以基于教师网络模型输出的特定活体特征和学生网络模型的多阶段扩散的特定活体特征之间的余弦相似度,定义第三损失函数。余弦相似度可以度量这两个特征之间的相似性,进一步引导学生网络模型向着教师网络模型的特定活体特征靠近。第三损失函数可以包括两个部分,第一个部分是活体样本分类损失,第二个部分是扩散关系约束损失,即每一步扩散后的不同样本的特征之间的余弦相似度,从而使得学生网络模型与教师网络模型的样本关系保持一致。
在步骤512处,计算设备110可以训练所述学生网络模型直到所述第三损失函数收敛到最小值并将所训练的学生网络模型确定为增强型学生网络模型。
在一个实施例中,计算设备110可以训练学生网络模型,将第三损失函数作为训练目标之一。通过反向传播和优化算法,调整学生网络模型的参数,以减小第三损失函数,从而使学生网络模型能够生成更接近教师网络模型的特定活体特征。通过迭代训练,使得第三损失函数逐渐收敛到最小值。此时,所训练的学生网络模型可以被确定为增强型学生网络模型,具备了更好地捕获特定活体特征的能力。
通过以上步骤,可以实现一个增强型学生网络模型,该模型不仅能够融合教师网络模型的信息,还能够从多阶段的视角捕获特定活体特征,并且通过余弦相似度引导学生网络模型逼近教师网络模型的特定活体特征。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
以下将结合图6描述根据本说明书的一个或多个实施例的识别活体攻击的方法600。图6示出了根据本说明书的一个或多个实施例的识别活体攻击的方法600的流程图。应当理解,方法600例如可以在图9所描述的电子设备900处执行。也可以在图1所描述的计算设备110处执行。应当理解,方法600还可以包括未示出的附加动作和/或可以省略所示出的动作,本说明书的一个或多个实施例的范围在此方面不受限制。
在步骤602处,计算设备110可以将增强型学生网络模型部署在用户设备上,以便从所述用户设备获取活体样本。
在一个实施例中,计算设备110可以将经过训练的增强型学生网络模型部署在用户设备上,以便从用户设备获取活体样本并进行活体攻击检测并且从用户设备获取待检测的活体样本,诸如活体影像或图片。
在步骤604处,计算设备110可以将所获取的活体样本输入到所述增强学生网络模型,从而获取活体攻击概率。
在一个实施例中,计算设备110可以将所获取的活体样本输入到增强型学生网络模型中,用于获取活体攻击概率。增强型学生网络模型将分析输入的活体样本并输出相应的活体攻击概率。
在步骤606处,计算设备110可以响应于活体攻击概率大于活体攻击阈值,则判断为所获取的活体样本来源于活体攻击。
在一个实施例中,计算设备110可以根据活体攻击概率与预先设定的活体攻击阈值进行比较。如果活体攻击概率大于活体攻击阈值,则判断所获取的活体样本为活体攻击。
在步骤608处,计算设备110可以响应于活体攻击概率小于或者等于活体攻击阈值,则判断为所获取的活体样本来源于真实活体。
在一个实施例中,计算设备110可以如果活体攻击概率小于活体攻击阈值,则判断所获取的活体样本不是活体攻击,即该样本被认为是合法的活体样本。
通过以上步骤,可以将经过训练的增强型学生网络模型部署在用户设备上,并使用它进行活体攻击检测。通过对比活体攻击概率与预设阈值,可以准确判断所获取的活体样本是否为活体攻击,从而提高系统的安全性和可信度。这种方法的学生网络模型充分学习了在诸如服务器上的其他位置训练的教师网络模型的特征,使得模型检测结果更加可靠和准确。目前根据如上方法训练的学生网络模型可以达到教师网络模型99%以上的精度,同时所需要的算力减少至少一个数量级。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
以下将结合图7描述根据本说明书的一个或多个实施例的用于训练识别活体攻击的模型的装置700。图7示出了根据本说明书的一个或多个实施例的用于训练识别活体攻击的模型的装置700的示意图。
如图7所示,用于训练识别活体攻击的模型的装置700可以包括:
活体样本集合处理模块702,所述活体样本集合处理模块702配置成获取与多个场景对应的多类活体样本集合并将所述多类活体样本集合处理为多数据域样本;
教师网络模型训练模块704,所述教师网络模型训练模块704配置成利用所述多个数据域样本,基于多数据域变换、特征提取和解耦学习训练第一网络模型直至第一损失函数收敛,以获取教师网络模型;
学生网络模型训练模块706,所述学生网络模型训练模块706配置成基于对所获取的教师网络模型的多元隐空间的扩散学习训练第二网络模型直至第二损失函数收敛,以获取与所述教师网络模型拟合的学生网络模型;
学生网络模型增强模块708,所述学生网络模型增强模块708配置成对特定数据域样本执行多阶段扩散,从而基于多阶段扩散的活体特征对所述学生网络模型执行增强学习,以获取输出与教师网络模型拟合增强的增强型学生网络模型。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
以下将结合图8描述根据本说明书的一个或多个实施例的识别活体攻击的装置800。图8示出了根据本说明书的一个或多个实施例的识别活体攻击的装置800的示意图。
如图8所示,识别活体攻击的装置800可以包括:
部署模块802,所述部署模块802配置成将增强型学生网络模型部署在用户设备上并从所述用户设备获取活体样本;
输入模块804,所述输入模块804配置成将所获取的活体样本输入到所述增强学生网络模型,从而获取活体攻击概率;
判断模块806,所述判断模块806配置成响应于活体攻击概率大于活体攻击阈值,则判断为所获取的活体样本是活体攻击,所述判断模块806还配置成响应于活体攻击概率小于活体攻击阈值,则判断为所获取的活体样本不是活体攻击。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
图9示意性示出了适于用来实现本说明书的一个或多个实施例的电子设备900的框图。电子设备700可以是用于实现执行图2、图3、图4、图5、图6所示的方法200、300、400、500、600。如图9所示,电子设备900包括中心处理单元(即,CPU 901),其可以根据存储在只读存储器(即,ROM 902)中的计算机程序指令或者从存储单元908加载到随机访问存储器(即,RAM 903)中的计算机程序指令,来执行各种适当的动作和处理。在RAM 903中,还可存储电子设备900操作所需的各种程序和数据。CPU 901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出接口(即,I/O接口905)也连接至总线904。
电子设备900中的多个部件连接至I/O接口905,包括:输入单元906、输出单元907、存储单元908,CPU 901执行上文所描述的各个方法和处理,例如执行方法200、300、400、500、600。例如,在一些实施例中,方法200可被实现为计算机软件程序,其被存储于机器可读介质,例如存储单元908。在一些实施例中,计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到电子设备900上。当计算机程序加载到RAM 903并由CPU 901执行时,可以执行上文描述的方法200、300、400、500、600的一个或多个操作。备选地,在其他实施例中,CPU 901可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行方法200、300、400、500、600的一个或多个动作。
需要进一步说明的是,本说明书的一个或多个实施例可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于执行本说明书的一个或多个实施例的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本说明书的一个或多个实施例操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,该编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本说明书的一个或多个实施例的各个方面。
这里参照根据本说明书的一个或多个实施例的方法、设备(系统)、和计算机程序产品的流程图和/或框图描述了本说明书的一个或多个实施例的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给语音交互装置中的处理器、通用计算机、专用计算机或其它可编程数据处理装置的处理单元,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本说明书的一个或多个实施例的多个实施例的设备、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,该模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本说明书的一个或多个实施例的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
以上仅为本说明书的一个或多个实施例的可选实施例,并不用于限制本说明书的一个或多个实施例,对于本领域的技术人员来说,本说明书的一个或多个实施例可以有各种更改和变化。凡在本说明书的一个或多个实施例的精神和原则之内,所作的任何修改、等效替换、改进等,均应包含在本说明书的一个或多个实施例的保护范围之内。
Claims (12)
1.一种用于训练识别活体模型的方法,其中包括:
将所获取的、与多个场景对应的多类活体样本集合处理为多数据域样本;
利用所述多个数据域样本和第一损失函数,针对教师网络模型进行训练;
基于经训练的教师网络模型的隐空间特征,针对学生网络模型进行训练,以获取与所述教师网络模型拟合的学生网络模型;以及
对特定数据域样本执行多阶段扩散,从而基于多阶段扩散的活体特征对所述学生网络模型执行增强学习,以将所获取的、与教师网络模型拟合增强的增强型学生网络模型作为识别活体模型。
2.根据权利要求1所述的方法,其中针对教师网络模型进行训练包括:
利用多数据域变换模块对所述多个数据域样本执行相同数据域变换,从而获取与相同数据域信息对应的经变换数据样本;
利用特征提取模块对所述多个数据域样本和经变换数据样本执行特征向量提取,从而获取多个数据域样本的特征向量和经变换数据样本的特征向量;以及
利用解耦学习模块对多个数据域样本的特征向量和经变换数据样本的特征向量执行解耦学习,从而获取经训练的教师网络模型,所述教师网络模型输出活体特征、活体分类预测概率以及活体攻击概率。
3.根据权利要求2所述的方法,其中所述第一损失函数包括:多数据域变换模块的数据域变换一致性损失、解耦学习模块的数据域解耦损失以及活体特征分类损失。
4.根据权利要求1所述的方法,其中针对学生网络模型进行训练以获取与所述教师网络模型拟合的学生网络模型包括:
将所述多个数据域样本输入到经训练的教师网络模型以及学生网络模型,从而获取所述教师网络模型输出的活体特征以及所述学生网络模型输出的活体特征;
选择核函数,并将所获取的教师网络模型输出的活体特征输入到对应于所述核函数的核函数映射模块,从而获取对应于所述核函数的教师网络模型的隐空间特征;
基于多元扩散模块,对所述学生网络模型输出的活体特征执行多元扩散处理,从而获取对应于多阶段扩散的学生网络模型输出的隐空间特征;
基于所述教师网络模型的隐空间特征与学生网络模型输出的隐空间特征之间的拟合距离确定第二损失函数;以及
训练所述学生网络模型直到所述第二损失函数收敛到最小值,以获取与所述教师网络模型拟合的学生网络模型。
5.根据权利要求4所述的方法,其中对特定数据域样本执行多阶段扩散从而基于多阶段扩散的活体特征对所述学生网络模型执行增强学习包括:
确定第二损失函数的损失阈值;
将输入到所述教师网络模型与所训练的学生网络模型之间的拟合距离大于所述损失阈值的数据域样本确定为特定数据域样本;
将所述特定数据域样本输入到教师网络模型以及学生网络模型,从而获取所述教师网络模型输出的特定活体特征以及所述学生网络模型输出的特定活体特征;
基于特征扩散模块,对所述学生网络模型输出的特定活体特征执行多阶段的特征扩散,从而获取多阶段扩散的特定活体特征;
基于所述教师网络模型输出的特定活体特征与所述学生网络模型的多阶段扩散的特定活体特征之间的余弦相似度,确定第三损失函数;以及
训练所述学生网络模型直到所述第三损失函数收敛到最小值,以便将所训练的学生网络模型确定为增强型学生网络模型。
6.根据权利要求5所述的方法,其中基于特征扩散模块对所述学生网络模型输出的特定活体特征执行多阶段的特征扩散包括:
将特定活体特征输入到特征扩散模块,从而获取第一阶段扩散的特定活体特征;
将所述第一阶段扩散的特定活体特征输入到特征扩散模块,从而获取第二阶段扩散的特定活体特征;以及
重复执行以上步骤直到阶段值达到预设的阶段值阈值,从而获取多阶段扩散的特定活体特征。
7.根据权利要求1-6所述的方法,其中所述学生网络模型是与所述教师网络模型结构相同的神经网络模型或注意力机制模型。
8.一种识别活体的方法,其中所述方法包括:
将增强型学生网络模型部署在用户设备上,以便从所述用户设备获取活体样本;
将所获取的活体样本输入到所述增强学生网络模型,从而获取活体攻击概率;
响应于活体攻击概率大于活体攻击阈值,则判断为所获取的活体样本来源于活体攻击;以及
响应于活体攻击概率小于或者等于活体攻击阈值,则判断为所获取的活体样本来源于真实活体。
9.一种用于训练识别活体模型的装置,其中所述装置包括:
处理模块,所述处理模块配置成将所获取的、与多个场景对应的多类活体样本集合处理为多数据域样本;
教师网络模型训练模块,所述教师网络模型训练模块配置成利用所述多个数据域样本和第一损失函数,针对教师网络模型进行训练;
学生网络模型训练模块,所述学生网络模型训练模块配置成基于经训练的教师网络模型的隐空间特征,针对学生网络模型进行训练,以获取与所述教师网络模型拟合的学生网络模型;以及
学生网络模型增强模块,所述学生网络模型增强模块配置成对特定数据域样本执行多阶段扩散,从而基于多阶段扩散的活体特征对所述学生网络模型执行增强学习,以将所获取的、与教师网络模型拟合增强的增强型学生网络模型作为识别活体模型。
10.一种识别活体攻击的装置,其中所述装置包括:
部署模块,所述部署模块配置成将增强型学生网络模型部署在用户设备上并从所述用户设备获取活体样本;
输入模块,所述输入模块配置成将所获取的活体样本输入到所述增强学生网络模型,从而获取活体攻击概率;
判断模块,所述判断模块配置成响应于活体攻击概率大于活体攻击阈值,则判断为所获取的活体样本来源于活体攻击;以及
所述判断模块还配置成响应于活体攻击概率小于或者等于活体攻击阈值,则判断为所获取的活体样本来源于真实活体。
11.一种计算设备,其特征在于,包括:
至少一个处理单元;
至少一个存储器,所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令,所述指令当由所述至少一个处理单元执行时,使得所述设备执行根据权利要求1-7和8中任一项所述的方法的步骤。
12.一种计算机可读存储介质,其特征在于,计算机可读存储介质上存储有计算机程序,所述计算机程序被机器执行时实现根据权利要求1-7和8中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311049919.5A CN117037294A (zh) | 2023-08-18 | 2023-08-18 | 训练识别活体模型的方法、装置、设备和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311049919.5A CN117037294A (zh) | 2023-08-18 | 2023-08-18 | 训练识别活体模型的方法、装置、设备和介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117037294A true CN117037294A (zh) | 2023-11-10 |
Family
ID=88627873
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311049919.5A Pending CN117037294A (zh) | 2023-08-18 | 2023-08-18 | 训练识别活体模型的方法、装置、设备和介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117037294A (zh) |
-
2023
- 2023-08-18 CN CN202311049919.5A patent/CN117037294A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Khan et al. | Deep unified model for face recognition based on convolution neural network and edge computing | |
Hu et al. | A novel image steganography method via deep convolutional generative adversarial networks | |
Xu et al. | Learning temporal features using LSTM-CNN architecture for face anti-spoofing | |
US20230021661A1 (en) | Forgery detection of face image | |
CN110222573B (zh) | 人脸识别方法、装置、计算机设备及存储介质 | |
CN111709408A (zh) | 图像真伪检测方法和装置 | |
CN112784670A (zh) | 基于像素差异的对象检测 | |
CN110263916B (zh) | 数据处理方法和装置、存储介质及电子装置 | |
CN107945210B (zh) | 基于深度学习和环境自适应的目标跟踪方法 | |
CN111767906B (zh) | 人脸检测模型训练方法、人脸检测方法、装置及电子设备 | |
CN113011387B (zh) | 网络训练及人脸活体检测方法、装置、设备及存储介质 | |
CN109977832B (zh) | 一种图像处理方法、装置及存储介质 | |
CN112884147B (zh) | 神经网络训练方法、图像处理方法、装置及电子设备 | |
CN116311214B (zh) | 车牌识别方法和装置 | |
An | Pedestrian Re‐Recognition Algorithm Based on Optimization Deep Learning‐Sequence Memory Model | |
CN116704433A (zh) | 基于上下文感知关系预测编码的自监督群体行为识别方法 | |
CN113807237B (zh) | 活体检测模型的训练、活体检测方法、计算机设备及介质 | |
CN114241587A (zh) | 人脸活体检测对抗鲁棒性的评估方法及装置 | |
CN116644439B (zh) | 一种基于去噪扩散模型的模型安全性评估方法 | |
CN115035463B (zh) | 行为识别方法、装置、设备和存储介质 | |
CN110210523B (zh) | 一种基于形状图约束的模特穿着衣物图像生成方法及装置 | |
CN117218477A (zh) | 图像识别及模型训练方法、装置、设备及存储介质 | |
CN116977692A (zh) | 一种数据处理方法、设备以及计算机可读存储介质 | |
CN117037294A (zh) | 训练识别活体模型的方法、装置、设备和介质 | |
CN114782721A (zh) | 图像处理及目标检测方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |