CN117115883A - 生物检测模型的训练方法、生物检测方法及相关产品 - Google Patents

生物检测模型的训练方法、生物检测方法及相关产品 Download PDF

Info

Publication number
CN117115883A
CN117115883A CN202310979924.XA CN202310979924A CN117115883A CN 117115883 A CN117115883 A CN 117115883A CN 202310979924 A CN202310979924 A CN 202310979924A CN 117115883 A CN117115883 A CN 117115883A
Authority
CN
China
Prior art keywords
feature
features
network
training
loss value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310979924.XA
Other languages
English (en)
Inventor
武文琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202310979924.XA priority Critical patent/CN117115883A/zh
Publication of CN117115883A publication Critical patent/CN117115883A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种生物检测模型的训练方法、生物检测方法及相关产品，其中，训练方法包括：获取多个场景对应的多个多模态样本图像输入训练模型的特征提取网络，提取每个多模态样本图像的通用特征和特有特征；将通用特征输入训练模型的场景分类网络，计算对抗损失值；将通用特征和特有特征输入训练模型的特征重组网络，得到多个重组特征；将重组特征中的自组特征输入训练模型的攻击识别网络，计算分类损失值；将重组特征输入所述训练模型的对比网络，计算重组特征中的混合特征与该自组特征之间的对比损失值，根据所述对抗损失值、分类损失值以及对比损失值计算总体损失值训练所述训练模型，根据训练后的训练模型得到生物检测模型。

Description

生物检测模型的训练方法、生物检测方法及相关产品
技术领域
本申请涉及人工智能技术领域，尤其涉及一种生物检测模型的训练方法、生物检测方法及相关产品。
背景技术
近年来，随着人脸识别系统的不断发展，生物检测成为人脸识别系统中不可缺少的一环。生物检测用于验证是否为真实的用户本人，通过生物检测，能够区分人体等生命物质的人脸生物特征和照片、硅胶、塑料等非生命物质伪造的人脸生物特征，防止不法分子通过伪造人脸特征通过人脸验证。
然而，随着人脸识别系统不断的应用到更多的领域，生物检测的场景会不断发生变化，并且会遇到不同类型的生物攻击，不同类型的生物攻击在不同场景中的表征迥异，现有的生物检测模型在场景、攻击类型变化后，对生物攻击的检测准确率低，难以应对不断变化的场景和不断变化的生物攻击类型。
发明内容
本申请实施例提供一种生物检测模型的训练方法、生物检测方法及相关产品，以对不同场景下的复杂生物攻击提供更优的检测效果，更好的应对新场景中的复杂生物攻击。
第一方面，本申请实施例提供一种生物攻击检测模型的训练方法，所述方法包括：
获取多个场景对应的多个多模态样本图像，所述多模态样本图像中包含待生物检测的样本目标的图像信息；
将所述多个多模态样本图像输入训练模型的特征提取网络，提取所述多个多模态样本图像中每个多模态样本图像的通用特征和特有特征；
将所述通用特征输入训练模型的场景分类网络，计算生成所述通用特征的对抗损失值；
将所述通用特征和所述特有特征输入所述训练模型的特征重组网络，对所述通用特征和所述特有特征进行重组，得到多个重组特征；其中，每个重组特征基于一个通用特征和一个特有特征重组而成；
将所述多个重组特征中的自组特征输入所述训练模型的攻击识别网络，计算识别所述自组特征的生物攻击类型的分类损失值；其中，所述自组特征重组所基于的通用特征和特有特征来自同一多模态样本图像；
将所述多个重组特征输入所述训练模型的对比网络，计算所述多个重组特征中的混合特征与所述自组特征之间的对比损失值，其中，所述混合特征重组所基于的通用特征和特有特征来自不同的多模态样本图像；
根据所述对抗损失值、分类损失值以及对比损失值计算总体损失值，根据所述总体损失值训练所述训练模型，根据训练后的所述训练模型中的特征提取网络、特征重组网络、攻击识别网络得到训练后的生物检测模型。
第二方面，本申请实施例提供一种生物检测方法，所述方法包括：
获取目标场景的多模态目标图像，其中，所述多模态目标图像中包含待生物检测的目标的图像信息；
将所述多模态目标图像输入训练后的生物检测模型中，预测所述多模态目标图像中的所述目标的生物攻击类型；
其中，所述生物检测模型通过前述实施例提供的生物检测模型的训练方法训练得到。
第三方面，本申请实施例提供一种生物检测模型的训练装置，所述装置包括：
样本获取模块，用于获取多个场景对应的多个多模态样本图像，所述多模态样本图像中包含待生物检测的样本目标的图像信息；
特征提取模块，用于将所述多个多模态样本图像输入训练模型的特征提取网络，提取所述多个多模态样本图像中每个多模态样本图像的通用特征和特有特征；
对抗损失计算模块，用于将所述通用特征输入训练模型的场景分类网络，计算生成所述通用特征的对抗损失值；
特征重组模块，用于将所述通用特征和所述特有特征输入所述训练模型的特征重组网络，对所述通用特征和所述特有特征进行重组，得到多个重组特征；其中，每个重组特征基于一个通用特征和一个特有特征重组而成；
分类损失模块，用于将所述多个重组特征中的自组特征输入所述训练模型的攻击识别网络，计算识别所述自组特征的生物攻击类型的分类损失值；其中，所述自组特征重组所基于的通用特征和特有特征来自同一多模态样本图像；
对比损失计算模块，用于将所述多个重组特征输入所述训练模型的对比网络，计算所述多个重组特征中的混合特征与所述自组特征之间的对比损失值，其中，所述混合特征重组所基于的通用特征和特有特征来自不同的多模态样本图像；
训练模块，用于根据所述对抗损失值、分类损失值以及对比损失值计算总体损失值，根据所述总体损失值训练所述训练模型，根据训练后的所述训练模型中的特征提取网络、特征重组网络、攻击识别网络得到训练后的生物检测模型。
第四方面，本申请实施例提供一种生物检测装置，所述装置包括：
图像获取模块，用于获取目标场景的多模态目标图像，其中，所述多模态目标图像中包含待生物检测的目标的图像信息；
预测模块，用于将所述多模态目标图像输入训练后的生物检测模型中，预测所述多模态目标图像中的所述目标的生物攻击类型；
其中，所述生物检测模型通过前述实施例提供的生物检测模型的训练方法训练得到。
第五方面，本申请实施例提供一种计算机设备，所述设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令被配置由所述处理器执行，所述可执行指令包括用于执行如前述实施例提供的生物检测模型的训练方法或如前述实施例提供的生物检测方法中的步骤。
第六方面，本申请实施例提供一种存储介质，所述存储介质用于存储计算机可执行指令，所述可执行指令使得计算机执行如前述实施例提供的生物检测模型的训练方法或如前述实施例提供的生物检测方法。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请一个或多个中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种生物检测模型的训练方法的流程示意图；
图2为图1所示的训练方法中所采用的一种训练模型的结构示意图；
图3为本申请实施例提供的一种生物检测方法的流程示意图；
图4为本申请实施例提供的一种生物检测模型的训练装置的模块示意图；
图5为本申请实施例提供的一种生物检测装置的模块示意图；
图6为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请一个或多个中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一个或多个一部分实施例，而不是全部的实施例。基于本申请一个或多个中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请的保护范围。
需要说明的是，在不冲突的情况下，本申请中的一个或多个实施例以及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请实施例。
如背景技术所述，现有的生物检测模型在场景变化后，对复杂生物攻击的检测准确率低，难以应对新场景中的复杂生物攻击。为应对新场景中的复杂生物攻击，本申请实施例提供一种生物检测模型的训练方案，该方案获取待生物检测的样本目标的多模态图像，将多模态图像作为样本图像来训练生物检测模型的训练模型，使得训练得到的生物检测模型能够充分学习各种类型生物攻击的特征，对各种类型的生物攻击均有较好的检测效果，能够更好的应对各种类型的复杂生物攻击，提高对复杂生物攻击的检测准确率；虽然不同多模态样本图像的场景可能不同，生物攻击类型也可能不同，但是，其待生物检测的目标区域，如人脸区域，的形状、大小往往是相似的，不同场景、不同攻击类型的多模态样本图像共享一个通用的语义空间，具有通用特征，鉴于此，本申请实施例在训练时，将多模态样本图像的特征分离为通用特征和特有特征，使用通用特征表征多模态样本图像的通用元素，如，语义特征、目标属性特征等，使用特有特征表征多模态样本图像的专有元素，如场景相关的特征、生物攻击类型相关的特征等，然后通过对抗学习和对比学习对训练模型进行联合优化，其中，采用对抗学习对通用特征进行加强，使通用特征非特异于特定场景，通过对比学习对特有特征中与生物攻击类型相关的特征进行加强，对特有特征中与场景相关的特征进行抑制，由此，使得训练后得到的生物检测模型具有更好的场景泛化性，能够更好的适应新场景，在新场景出现时，通过本申请实施例提供的生物检测模型，能够对新场景中的各种类型的复杂生物攻击类型均进行有效的检测识别。
图1为本申请实施例提供的一种生物检测模型的训练方法的流程示意图，图2为图1所示的训练方法中所采用的一种训练模型的结构示意图。现参考图1、图2，对本申请实施例提供的生物检测模型的训练过程进行详细说明。
本申请实施例提供的生物检测模型用于检测生物攻击的类型，其可以采用图1所示的方法训练得到，图1所示的训练方法采用对抗学习、对比学习联合优化训练生物检测模型，其在训练时可以采用的训练模型可以采用如图2所示的结构。如图2所示，本申请实施例训练生物检测模型所用的训练模型中可以包括：特征提取网络、场景分类网络、特征重组网络、攻击识别网络以及对比网络；其中，特征提取网络用于从多模态样本图像中提取通用特征和特有特征；场景分类网络用于预测通用特征的场景类别；特征重组网络用于对多个多模态样本图像的通用特征和特有特征进行重组，得到多个重组特征；攻击识别网络用于预测多个重组特征中自组特征的生物攻击类别；对比网络用于比较所述自组特征与所述多个重组特征中与所述自组特征对应的混合特征的差异性。
在训练时，场景分类网络可以作为场景鉴别器，与特征提取网络中的通用特征提取网络(相当于通用特征生成器)形成对抗网络，对通用特征进行对抗学习，使生成的通用特征非特异于特定场景；对比网络可以对比混合特征与对应的自组特征的差异性，增强特有特征中与生物攻击相关的特征，抑制特有特征中与场景相关的特征。由此，能够进行对抗学习和对比学习的联合优化，提高生物检测模型的泛化性，增强生物检测模型对新场景中复杂生物攻击的检测能力。
本申请实施例训练后的生物检测模型根据训练模型中的特征提取网络、特征重组网络、攻击识别网络训练得到，其训练方法如图1所示。如图1所示，本实施例提供的生物检测模型的训练方法具体可以包括以下步骤：
S102，获取多个场景对应的多个多模态样本图像。
其中，多模态样本图像中包含待生物检测的样本目标的图像信息，待生物检测的样本目标可以为人脸目标，样本目标的图像信息可以为人脸目标的人脸图像信息，其中，人脸目标可以为真实生物体的人脸，也可以为用人脸识别欺诈方法伪造的人脸，如照片打印的人脸，电子设备的屏幕显示的人脸，硅胶等面具等伪造的人脸。各多模态样本图像中的图像信息可以为不同类型样本目标的图像信息，例如，一些多模态样本图像中的图像信息可以为第一类型图像信息，如真实生物体的人脸图像信息，一些多模态样本图像中的图像信息可以为第二类型图像信息，如照片打印的人脸图像信息，一些多模态样本图像中的图像信息可以为第三类型图像信息，如电子屏幕显示的人脸图像信息，一些多模态样本图像中的图像信息可以为第四类型图像信息，如面具伪装的人脸图像信息。
多个场景可以为预先设置的多个现有的生物检测的应用场景，各场景的场景条件，如场景背景，可以不同。多个场景与多个多模态样本图像相对应，每个场景对应一个或多个多模态样本图像。在不同的人脸识别场景中，可能会遇到不同类型的生物攻击，例如，在场景1中，可能会遇到纸张类生物攻击，在场景2中，可能会遇到屏幕类生物攻击，在场景3中，可能会遇到面具类生物攻击。纸张类生物攻击是用纸张打印的图片来伪造人脸特征，屏幕类生物攻击是用电子设备屏幕显示的图像来伪造人脸特征，面具类生物攻击是用面具伪造人脸特征，不同种类的生物攻击的特性不同，其在不同模态下的呈现不同，例如，纸张类生物攻击会在红外模态下呈现特殊效果，屏幕类生物攻击会在景深模态下呈现特殊效果。通过获取多个场景的多模态样本图像，利用多个场景的多模态样本图像训练生物检测模型，能够使模型对于不同场景下，各种类型的生物攻击均具有较好的检测效果，有效应对不同场景的不同类型的生物攻击方式。
多模态样本图像为多个模态的图像融合后的图像。在一种实现方式中，可以确定多个预设场景，针对多个预设场景中的每个场景，从多个模态的数据源中获取该场景的多个多模态样本图像。其中，预设场景可以为各种类型的人脸识别场景，如门禁刷脸场景、取快递刷脸场景等。在预设场景中，可以设置多个图像采集设备，如RGB摄像机、红外摄像机、三维深度摄像机，不同图像采集设备的类型不同，可以通过不同类型的图像采集设备采集不同模态的人脸图像信息，并将采集的不同模态的人脸图像信息作为历史图像信息存储到相应模态的数据源中。
在本申请实施例中，针对多个预设场景中的每个场景，可以从多个模态对应的数据源中分别获取该场景的各模态的样本图像，然后对各模态的样本图像进行图像融合，得到该场景的多模态样本图像。其中，多个模态的数据源可以包括：RGB数据源、红外数据源、三维深度数据源中的至少两个数据源，RGB数据源用于存储RGB摄像机采集的RGB图像，红外数据源用于存储红外摄像机采集的红外图像，三维深度数据源用于存储三维深度摄像机采集的三维深度图像。RGB图像中包含人脸等待生物检测目标的表观颜色、纹理、阴影等信息，红外图像中包含人脸等待生物检测目标的热量分布等信息，三维深度图像中包含人脸等待生物检测目标的三维信息。通过获取多个模态的图像，将多个模态的图像进行融合来获取多模态图像作为训练样本，能够使训练样本中含有多种类型的生物攻击特征，使模型更好的学习各种类型生物攻击。
例如，如图2所示，可以从第一数据源获取第一模态图像，从第二数据源获取第二模态图像，从第三数据源获取第三模态图像，将第一模态图像、第二模态图像、第三模态图像输入图像融合网络，得到多模态样本图像。其中，第一模态图像为RGB图像，第二模态图像为红外图像，第三模态图像为三维深度图像，其均包含同一场景中的同一待检测样本目标的图像信息。在实施中，优选多模态样本图像为RGB图像、红外图像、三维深度图像这三个模态的图像融合后的三模态图像，以获取目标的各种类型的特征，实现对各种类型的生物攻击均具有较好的检测识别的效果。
S104，将多个多模态样本图像输入训练模型的特征提取网络，提取多个多模态样本图像中每个多模态样本图像的通用特征和特有特征。
其中，通用特征用于表征多模态样本图像的通用属性，如，语义特征、人体属性特征等，特有特征用于表征多模态样本图像的可区分性属性，如场景差异性特征、生物攻击类型差异性特征等。
在一种实现方式中，特征提取网络包括：通用特征提取网络和特有特征提取网络，在将多模态样本图像输入特征提取网络后，可以通过通用特征提取网络提取多模态样本图像的通用特征，通过特有特征提取网络提取多模态样本的特有特征。
通用特征提取网络用于从多模态样本图像中提取多模态样本图像的通用特征。具体而言，虽然多模态样本图像是从不同场景中获取的不同生物攻击类型的样本图像，但是它们均包括面部区域，不同的多模态样本图像共享一个语义特征空间，并且，无论是人的真实人脸图像，还是伪造的人脸图像，他们的形状、大小都是相似的，因此，可以通过通用特征提取网络提取通用特征。
特有特征提取网络用于从多模态样本图像中提取多模态样本图像的特有特征，其可以采用自注意力结构，从多模态样本图像中提取该多模态样本图像的特有特征，增强特有特征与通用特征的可分性。
在一种实现方式中，特征提取网络可以进一步包括基础特征提取网络，基础特征提取网络可以采用ResNet18，用于从多模态样本图像中提取基础特征，通用特征提取网络可以从基础特征中提取通用特征，特有特征提取网络可以从基础特征中提取特有特征。由此，可以进一步提高特征提取的效率。
S106，将通用特征输入训练模型的场景分类网络，计算生成通用特征的对抗损失值。
其中，场景分类网络可以作为场景鉴别器，通用特征提取网络可以作为特征生成器，两者形成对抗学习网络，对通用特征的生成进行对抗学习，使生成的通用特征非特异于特定场景。
在训练时，可以将多模态样本图像输入通用特征提取网络，得到多模态样本图像的通用特征，然后将多模态样本图像的通用特征输入场景分类网络，预测通用特征的场景类别，之后，可以根据通用特征的场景类别预测结果计算通用特征的场景分类损失值，根据通用特征的场景分类损失值计算场景鉴别器损失值和对抗损失值，通过场景鉴别器损失值和对抗损失值来更新对抗学习网络的网络参数，对训练模型进行局部优化。其中，可以通过最大化对抗损失值和最小化场景鉴别器损失来优化对抗学习网络的参数，使根据通用特征生成器生成的通用特征难以分辨不同场景。
S108，将通用特征和特有特征输入训练模型的特征重组网络，对通用特征和特有特征进行重组，得到多个重组特征。
其中，可以将多个多模态样本图像中每个多模态样本图像的通用特征和特有特征输入特征重组网络，对多个通用特征和多个特有特征进行随机混合重组，得到多个重组特征，其中，每个重组特征基于一个通用特征和一个特有特征重组而成。重组特征为通用特征和特有特征随机组合后的特征，因此，对于一个重组特征而言，该重组特征中的通用特征和特有特征可能来自同一多模态样本图像，也可能来自不同的多模态样本图像。
在实施中，可以将多个多模态样本图像中每个多模态样本图像的通用特征放入通用特征集合中，将每个多模态样本图像的特有特征放入特有特征集合中，然后，从通用特征集合中随机抽取一个通用特征，从特有特征集合中随机抽取一个特有特征，将随机抽取的通用特征和特有特征进行重组，得到一个重组特征。通过反复进行上述抽取重组操作，可以得到多个重组特征。
S110，将多个重组特征中的自组特征输入训练模型的攻击识别网络，计算识别自组特征的生物攻击类型的分类损失值。
其中，所述自组特征重组所基于的通用特征和特有特征来自同一多模态样本图像，即自组特征为来自同一多模态样本图像的通用特征和特有特征重组后的重组特征。
在实施中，可以从多个重组特征中获取一个自组特征，将该自组特征输入攻击识别网络，识别该自组特征的生物攻击类型，然后，基于预设的分类损失函数，根据该自组特征的生物攻击类型预测结果，计算识别该自组特征的生物攻击类型的分类损失值，即该自组特征对应的分类损失值。预设的分类损失函数可以采用现有的分类损失函数，如交叉熵损失函数等。
攻击识别网络用于识别生物攻击类型，其可以采用分类学习网络。由于本申请实施例的样本图像为多模态样本图像，相较于传统的二维RGB图像而言，其不仅包括RGB图像信息，还包括热量分布信息、三维深度信息，根据多模态样本图像中的这些信息，不仅可以识别多模态样本图像中待检测的目标属于生物攻击还是非生物攻击，在待检测目标属于生物攻击时，还可以进一步检测生物攻击的类型，便于后续根据不同类型的生物攻击采取相应的安全防护措施。
在一种实现方式中，生物攻击类型可以包括：生物攻击和非生物攻击，相应的，攻击识别网络的分类任务可以为二分类任务，其采用的分类学习网络可以为二分类学习网络。通过攻击识别网络，可以预测自组特征属于生物攻击还是非生物攻击。
在一种实现方式中，生物攻击类型可以包括：纸张类生物攻击、电子屏幕类生物攻击、面具类生物攻击和非生物攻击，相应的，攻击识别网络的分类任务可以为多分类任务，其采用的分类学习网络可以为多分类学习网络。通过攻击识别网络，可以预测自组特征属于纸张类生物攻击、电子屏幕类生物攻击、面具类生物攻击和非生物攻击中的哪一种类型。
当然，可以理解的是，生物攻击类型并不限于必须包括纸张类生物攻击、电子屏幕类生物攻击、面具类生物攻击和非生物攻击，其可以包括纸张类生物攻击、电子屏幕类生物攻击、面具类生物攻击和非生物攻击中的其中一种或多种，也可以包括其他生物攻击类型，例如，新出现的生物攻击类型。
S112，将多个重组特征输入训练模型的对比网络，计算重组特征与重组特征中的自组特征的对比损失值。
其中，由于重组特征是多个多模态样本图像的通用特征和特有特征混合重组后的特征，因此，多个重组特征中既有自组特征，又有混合特征，其中，自组特征为通用特征和特有特征来同一多模态样本图像的重组特征，混合特征为通用特征和特有特征来自不同多模态样本图像的重组特征。
在实施中，可以通过对比网络和攻击识别网络，对混合特征和自组特征进行对比学习，拉进不同通用特征但相同场景之间的重组特征的距离，同时推远相同通用特征但不同生物攻击类型的重组特征的距离，以加强特有特征中与生物攻击类型相关的特征，抑制特有特征中与场景相关的特有特征，由此，使模型具有更好的泛化性能，便于适应新场景。
在一种实现方式中，可以将多个重组特征输入对比网络，通过对比网络从多个重组特征中抽取第一重组特征对；其中，所述第一重组特征对中包括两个重组特征，所述两个重组特征中的其中一个特征为第一自组特征，该第一自组特征为上述输入到攻击识别网络进行生物攻击识别的特征；另一特征为第一自组特征对应的混合特征，该混合特征与第一自组特征的通用特征来自同一多模态样本图像，两者的特有特征来自不同的多模态样本图像，然后，可以根据所述重组特征对中的两个重组特征之间的相似度，计算所述重组特征对对应的对比损失值；可以通过抽取多个重组特征对，每个重组特征对包括一个第一自组特征和一个第一自组特征对应的混合特征，计算多个重组特征对中每个重组特征对对应的对比损失值，根据多个重组特征对应的对比损失值的总和计算第一自组特征对应的对比损失值。其中，对于一个重组特征对而言，两个重组特征之间的相似度可以基于余弦相似度函数进行计算。
S114，根据对抗损失值、分类损失值以及对比损失值计算总体损失值，根据总体损失值训练训练模型，根据训练后的训练模型中的特征提取网络、特征重组网络、攻击识别网络得到训练后的生物检测模型。
其中，可以根据第一多模态样本图像对应的对抗损失值、分类损失值以及对比损失值计算第一多模态样本图像对应的总体损失值；根据第一多模态样本图像的总体损失值，利用反向传播算法，对训练模型中各网络的网络参数进行调整；其中，第一多模态样本图像为多个多模态样本图像中的任意一个样本图像。通过根据多个多模态样本图像对应的总体损失值对训练模型中各网络的网络参数进行迭代优化，可以最终得到训练后的训练模型。
下面以一次迭代训练为例，进一步说明本申请实施例提供的生物检测模型的训练方法。在本例中，假设有两个场景，每个场景对应一个多模态样本图像，对于一次迭代而言，可以包括下述处理：
处理一，获取场景1对应的第一多模态样本图像x1，场景2对应的第二多模态样本图像x2；
处理二，将第一多模态样本图像x1、第二多模态样本图像x2输入特征提取网络，得到第一多模态样本图像x1的通用特征fc(x1)和特有特征fs(x1),以及第二多模态样本图像x2的通用特征fc(x2)和特有特征fs(x2),；
处理三，将第一多模态样本图像x1的通用特征fc(x1)输入场景分类网络，预测第一多模态样本图像x1的通用特征fc(x1)的场景类别，根据通用特征fc(x1)的场景类别预测结果计算生成通用特征fc(x1)的对抗损失值Loss1(x1)，该对抗损失值即为第一多模态样本图像x1对应的对抗损失值Loss1(x1)；
处理四，将第一多模态样本图像x1的通用特征fc(x1)和特有特征fs(x1)，第二多模态样本图像x2的通用特征fc(x2)和特有特征fs(x2)输入特征重组网络，得到第一多模态样本图像x1对应的自组特征[fc(x1),fs(x1)]和该自组特征对应的混合特征[fc(x1),fs(x2)]；
处理五，将第一多模态样本图像x1对应的自组特征[fc(x1),fs(x1)]输入攻击识别网络，预测自组特征[fc(x1),fs(x1)]的生物攻击类型，根据自组特征[fc(x1),fs(x1)]的生物攻击类型预测结果计算自组特征[fc(x1),fs(x1)]的生物攻击类型的分类损失值Loss2(x1)，该分类损失值即为第一多模态样本图像x1对应的分类损失值Loss2(x1)；
处理六，将第一多模态样本图像x1对应的自组特征[fc(x1),fs(x1)]和自组特征[fc(x1),fs(x1)]对应的混合特征[fc(x1),fs(x2)]输入对比学习网络，计算自组特征[fc(x1),fs(x1)]和自组特征[fc(x1),fs(x1)]对应的混合特征[fc(x1),fs(x2)]之间的相似度；根据该自组特征[fc(x1),fs(x1)]与其对应的混合特征[fc(x1),fs(x2)]之间的相似度S(x1，x2)计算第一多模态样本图像x1对应的对抗损失值Loss3(x1)。其中，多模态样本图像x1对应的对抗损失值为自组特征x1与其对应的各混合特征的相似度的总和，自组特征x1对应的混合特征基于一个通用特征和一个特有特征重组而成，其中，混合特征重组所基于的通用特征和混合特征对应的自组特征重组所基于的通用特征来自同一多模态样本图像，两者中的通用特征是相同的，混合特征重组所基于的特有特征和混合特征对应的自组特征重组所基于的特有特征来自不同的多模态样本图像，因此，两者中的特有特征可能是不同的。
处理七，根据第一多模态样本图像x1对应的对抗损失值Loss1(x1)、分类损失值Loss2(x1)、对比损失值Loss3(x1)计算第一多模态样本图像x1对应的总体损失值Loss(x1)；其中，总体损失值可以基于对抗损失值、分类损失值、对比损失值的加权之和得到。
处理八，根据第一多模态样本图像x1对应的总体损失值Loss(x1)，利用反向传播算法调整训练模型中各网络的网络参数。
本申请实施例以不同场景的多模态样本图像作为输入，尝试从多模态样本图像的特征中分离出通用特征和特有特征，通过混合集成的方式将上述分离出的两种特征进行随机组合，从而丰富两种特征之间的特征多样性，最后再通过对抗学习和比对学习的联合优化使得生物检测模型可以针对不同场景、生物攻击类型具有更好的适应性，提高模型对不同场景、不同生物攻击类型的泛化性。基于本申请实施例提供的训练方法训练得到的生物检测模型，能够对新场景下的复杂生物攻击进行准确的生物攻击检测和识别。
进一步地，本申请实施例还提供一种用于生物攻击检测的生物检测方法，图3示出了本申请实施例提供的一种生物检测方法的流程示意图，如图3所示，本申请实施例提供的生物检测方法可以包括下述步骤：
S202，获取目标场景的多模态目标图像。
其中，目标多模态图像为目标场景下待进行生物识别的图像，其包含待识别攻击攻击类型的目标信息，如人脸图像信息。
目标场景可以为新出现的、未知的待进行生物攻击检测的场景，该场景中设置有多种人脸图像采集设备，如RGB摄像机、红外摄像机、三维景深摄像机，在待进行生物检测的目标进行刷脸时，可以通过多种人脸图像采集设备同时采集目标场景中的多个模态的目标图像，如RGB人脸图像、红外人脸图像、三维深度人脸图像，然后对目标场景中的多个模态的目标图像进行融合，得到目标场景的多模态目标图像。
在一种实现方式中，生物检测模型可以进一步包括图像融合网络，可以从目标场景的多种图像采集设备分别获取相应模态的目标图像，将多个模态的目标图像输入图像融合网络，得到多模态目标图像。
S204，将多模态目标图像输入生物检测模型中，得到多模态目标图像中目标的生物攻击类型。
其中，生物检测模型包括特征提取网络、特征重组网络、攻击识别网络，在将多模态目标图像输入生物检测模型后，可以通过特征提取网络提取多模态目标图像的通用特征和特有特征，通过特征混合网络将多模态目标图像的通用特征和特有特征进行重组，得到多模态目标图像的自组特征，通过攻击识别网络识别该自组特征的生物攻击类型，由此，通过自组特征的生物攻击类型预测多模态目标图像中目标的生物攻击类型，对目标进行生物攻击检测。
可以理解的是，多模态目标图像的自组特征为多模态目标图像的一种表征形式，其生物攻击类型与多模态目标图像的攻击攻击类型是一致的，多模态目标图像的自组特征的生物攻击类型即为多模态目标图像中目标的生物攻击类型。
本申请实施例中采用的训练后的生物检测模型可以采用上述实施例提供的生物检测模型的训练方法训练得到，具体训练方法可以参考前述实施例，在此不再赘述。
对应上述实施例提供的生物检测模型的训练方法，基于相同的技术构思，本申请实施例还提供了一种生物检测模型的训练装置，该训练装置用于执行上述实施例提供的生物检测模型的训练方法。图4为本申请实施例提供的生物检测模型的训练装置的模块示意图，如图4所示，该训练装置包括：样本获取模块402、特征提取模块404、对抗损失计算模块406、特征重组模块408、分类损失计算模块410、对比损失计算模块412以及训练模块414。
其中，样本获取模块402，用于获取多个场景对应的多个多模态样本图像，所述多模态样本图像中包含待生物检测的样本目标的图像信息。
特征提取模块404，用于将所述多个多模态样本图像输入训练模型的特征提取网络，提取所述多个多模态样本图像中每个多模态样本图像的通用特征和特有特征。
对抗损失计算模块406，用于将所述通用特征输入训练模型的场景分类网络，计算生成所述通用特征的对抗损失值；
特征重组模块408，用于将所述通用特征和所述特有特征输入所述训练模型的特征重组网络，对所述通用特征和所述特有特征进行重组，得到多个重组特征；其中，每个重组特征基于一个通用特征和一个特有特征重组而成；
分类损失模块410，用于将所述多个重组特征中的自组特征输入所述训练模型的攻击识别网络，计算识别所述自组特征的生物攻击类型的分类损失值；其中，所述自组特征重组所基于的通用特征和特有特征来自同一多模态样本图像；
对比损失计算模块412，用于将所述多个重组特征输入所述训练模型的对比网络，计算所述多个重组特征中的混合特征与所述自组特征之间的对比损失值，其中，所述混合特征重组所基于的通用特征和特有特征来自不同的多模态样本图像；
训练模块414，用于根据所述对抗损失值、分类损失值以及对比损失值计算总体损失值，根据所述总体损失值训练所述训练模型，根据训练后的所述训练模型中的特征提取网络、特征重组网络、攻击识别网络得到训练后的生物检测模型。
在一种实现方式中，所述获取多个场景对应的多个多模态样本图像，包括：
针对多个预设场景中的每个场景，从多个模态的数据源中获取该场景的多个模态的样本图像；
对所述多个模态的样本图像进行图像融合，得到该场景的多模态样本图像。
在一种实现方式中，所述多个模态的数据源，包括以下中的至少两个数据源：
RGB数据源、红外数据源和三维深度数据源。
在一种实现方式中，所述生物攻击类型包括以下中的至少一项：
纸张类生物攻击、电子屏幕类生物攻击、面具类生物攻击和非生物攻击。
在一种实现方式中，所述特征提取网络包括：通用特征提取网络；
所述将所述多个多模态样本图像输入训练模型的特征提取网络，提取所述多个多模态样本图像中每个多模态样本图像的通用特征和特有特征，包括：
将所述多模态样本图像输入所述特征提取网络，通过所述特征提取网络中的通用特征提取网络提取所述多模态样本图像的通用特征；
所述将所述通用特征输入所述训练模型的场景分类网络，计算生成所述通用特征的对抗损失值，包括：
将所述通用特征输入所述场景分类网络，预测所述通用特征的场景类别；
根据所述通用特征的场景类别预测结果计算所述通用特征的场景分类损失值，根据所述通用特征的场景分类损失值计算所述场景分类网络与所述通用特征提取网络之间的对抗损失值。
在一种实现方式中，所述特征提取网络还包括：特有特征提取网络；
所述将所述至少一个场景的多模态样本图像输入特征提取网络，提取各场景的多模态样本的通用特征和特有特征，还包括：
通过所述特征提取网络中的特有特征提取网络，从所述多模态样本图像中提取所述多模态样本图像的特有特征。
在一种实现方式中，所述将所述多个重组特征中的自组特征输入所述训练模型的攻击识别网络，计算识别所述自组特征的生物攻击类型的分类损失值，包括：
将所述自组特征输入所述攻击识别网络，预测所述自组特征的生物攻击类型；
基于预设分类损失函数，根据所述自组特征的生物攻击类型预测结果计算所述自组特征的生物攻击类型的分类损失值。
在一种实现方式中，所述将所述多个重组特征输入所述训练模型的对比网络，计算所述重组特征与所述重组特征中的自组特征的对比损失值，包括：
通过所述对比网络从所述多个重组特征中抽取第一重组特征对；其中，所述第一重组特征对中包括两个重组特征，所述两个重组特征中的其中一个特征为所述自组特征，另一个特征为所述自组特征对应的混合特征，所述自组特征对应的混合特征与所述自组特征的通用特征相同；
根据所述第一重组特征对中的两个重组特征之间的相似度，计算所述第一重组特征对对应的对比损失值；
根据所述第一重组特征对对应的对比损失值，计算所述重组特征与所述重组特征中的自组特征的对比损失值。
在一种实现方式中，所述根据所述总体损失值训练所述训练模型，包括：
根据所述总体损失值，利用反向传播算法调整所述训练模型中各网络的网络参数。
本申请实施例获取多模态图像作为样本图像，将多模态样本图像的特征分离为通用特征和特有特征，使用通用特征表征多模态样本图像的通用元素，如，语义特征、目标属性特征等，使用特有特征表征多模态样本图像的专有元素，如场景相关的特征、生物攻击类型相关的特征等，然后通过对抗学习和对比学习对训练模型进行联合优化，其中，采用对抗学习对通用特征进行加强，使通用特征非特异于特定场景，通过对比学习对特有特征中与生物攻击类型相关的特征进行加强，对特有特征中与场景相关的特征进行抑制，由此，使得训练后得到的生物检测模型具有更好的场景泛化性，能够更好的适应新场景，在新场景出现时，通过本申请实施例提供的生物检测模型，能够对新场景中的各种类型的复杂生物攻击类型均进行有效的检测识别。
需要说明的是，本申请实施例提供的生物检测模型的训练装置与本申请实施例提供的生物检测模型的训练方法基于同一发明构思，因此，生物检测模型的训练装置实施例的具体实施可以参见前述对应的生物检测模型的训练方法的实施，重复之处不再赘述。
对应上述实施例提供的生物检测方法，基于相同的技术构思，本申请实施例还提供了一种生物检测装置，该生物检测装置用于执行上述实施例提供的生物检测方法。图5是本申请实施例提供的生物检测装置的模块示意图，如图5所示，该生物检测装置包括图像获取模块502以及预测模块504，其中：
图像获取模块502，用于获取目标场景的多模态目标图像，其中，所述多模态目标图像中包含待生物检测的目标的图像信息。
预测模块504，用于将所述多模态目标图像输入训练后的生物检测模型中，预测所述多模态目标图像中的所述目标的生物攻击类型。
其中，生物检测模型可以包括：特征提取网络、特征重组网络、攻击识别网络，在将多模态目标图像输入生物检测模型后，可以通过特征提取网络提取多模态目标图像的通用特征和特有特征，通过特征混合网络将多模态目标图像的通用特征和特有特征进行重组，得到多模态目标图像的自组特征，通过攻击识别网络识别该自组特征的生物攻击类型，由此，通过自组特征的生物攻击类型预测多模态目标图像中目标的生物攻击类型，对目标进行生物攻击检测。
其中，所述生物检测模型通过上述实施例提供的生物检测模型的训练方法训练得到。
需要说明的是，本申请实施例提供的生物检测装置与本申请实施例提供的生物检测模型的训练方法基于同一发明构思，因此该实施例的具体实施可以参见前述对应的生物检测模型的训练方法的实施，重复之处不再赘述。
进一步地，对应上述实施例提供的生物检测模型的训练方法及生物检测方法，基于相同的技术构思，本申请实施例还提供了一种计算机设备，该设备用于执行上述的生物检测模型的训练方法或者用于执行上述的生物检测方法，如图6所示。
计算机设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器和存储器，存储器中可以存储有一个或一个以上存储应用程序或数据。其中，存储器可以是短暂存储或持久存储。存储在存储器的应用程序可以包括一个或一个以上模块，每个模块可以包括对计算机设备中的一系列计算机可执行指令。更进一步地，处理器可以设置为与存储器通信，在计算机设备上执行存储器中的一系列计算机可执行指令。计算机设备还可以包括一个或一个以上电源，一个或一个以上有线或无线网络接口，一个或一个以上输入输出接口，一个或一个以上键盘等。
在一个具体的实施例中，计算机设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对计算机设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：
获取多个场景对应的多个多模态样本图像，所述多模态样本图像中包含待生物检测的样本目标的图像信息；
将所述多个多模态样本图像输入训练模型的特征提取网络，提取所述多个多模态样本图像中每个多模态样本图像的通用特征和特有特征；
将所述通用特征输入训练模型的场景分类网络，计算生成所述通用特征的对抗损失值；
将所述通用特征和所述特有特征输入所述训练模型的特征重组网络，对所述通用特征和所述特有特征进行重组，得到多个重组特征；其中，每个重组特征基于一个通用特征和一个特有特征重组而成；
将所述多个重组特征中的自组特征输入所述训练模型的攻击识别网络，计算识别所述自组特征的生物攻击类型的分类损失值；其中，所述自组特征重组所基于的通用特征和特有特征来自同一多模态样本图像；
将所述多个重组特征输入所述训练模型的对比网络，计算所述多个重组特征中的混合特征与所述自组特征之间的对比损失值，其中，所述混合特征重组所基于的通用特征和特有特征来自不同的多模态样本图像；
根据所述对抗损失值、分类损失值以及对比损失值计算总体损失值，根据所述总体损失值训练所述训练模型，根据训练后的所述训练模型中的特征提取网络、特征重组网络、攻击识别网络得到训练后的生物检测模型。
在一种实现方式中，所述获取多个场景对应的多个多模态样本图像，包括：
针对多个预设场景中的每个场景，从多个模态的数据源中获取该场景的多个模态的样本图像；
对所述多个模态的样本图像进行图像融合，得到该场景的多模态样本图像。
在一种实现方式中，所述多个模态的数据源，包括以下中的至少两个数据源：
RGB数据源、红外数据源和三维深度数据源。
在一种实现方式中，所述生物攻击类型包括以下中的至少一项：
纸张类生物攻击、电子屏幕类生物攻击、面具类生物攻击和非生物攻击。
在一种实现方式中，所述特征提取网络包括：通用特征提取网络；
所述将所述多个多模态样本图像输入训练模型的特征提取网络，提取所述多个多模态样本图像中每个多模态样本图像的通用特征和特有特征，包括：
将所述多模态样本图像输入所述特征提取网络，通过所述特征提取网络中的通用特征提取网络提取所述多模态样本图像的通用特征；
所述将所述通用特征输入所述训练模型的场景分类网络，计算生成所述通用特征的对抗损失值，包括：
将所述通用特征输入所述场景分类网络，预测所述通用特征的场景类别；
根据所述通用特征的场景类别预测结果计算所述通用特征的场景分类损失值，根据所述通用特征的场景分类损失值计算所述场景分类网络与所述通用特征提取网络之间的对抗损失值。
在一种实现方式中，所述特征提取网络还包括：特有特征提取网络；
所述将所述至少一个场景的多模态样本图像输入特征提取网络，提取各场景的多模态样本的通用特征和特有特征，还包括：
通过所述特征提取网络中的特有特征提取网络，从所述多模态样本图像中提取所述多模态样本图像的特有特征。
在一种实现方式中，所述将所述多个重组特征中的自组特征输入所述训练模型的攻击识别网络，计算识别所述自组特征的生物攻击类型的分类损失值，包括：
将所述自组特征输入所述攻击识别网络，预测所述自组特征的生物攻击类型；
基于预设分类损失函数，根据所述自组特征的生物攻击类型预测结果计算所述自组特征的生物攻击类型的分类损失值。
在一种实现方式中，所述将所述多个重组特征输入所述训练模型的对比网络，计算所述重组特征与所述重组特征中的自组特征的对比损失值，包括：
通过所述对比网络从所述多个重组特征中抽取第一重组特征对；其中，所述第一重组特征对中包括两个重组特征，所述两个重组特征中的其中一个特征为所述自组特征，另一个特征为所述自组特征对应的混合特征，所述自组特征对应的混合特征与所述自组特征的通用特征相同；
根据所述第一重组特征对中的两个重组特征之间的相似度，计算所述第一重组特征对对应的对比损失值；
根据所述第一重组特征对对应的对比损失值，计算所述重组特征与所述重组特征中的自组特征的对比损失值。
在一种实现方式中，所述根据所述总体损失值训练所述训练模型，包括：
根据所述总体损失值，利用反向传播算法调整所述训练模型中各网络的网络参数。
在另一个具体的实施例中，计算机设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对计算机设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：
获取目标场景的多模态目标图像，其中，所述多模态目标图像中包含待生物检测的目标的图像信息；
将所述多模态目标图像输入训练后的生物检测模型中，预测所述多模态目标图像中的所述目标的生物攻击类型；
其中，所述生物检测模型通过上述实施例提供的生物检测模型的训练训练方法训练得到的。
需要说明的是，本申请中关于计算机设备的实施例与本申请中关于生物检测模型的训练方法的实施例基于同一发明构思，因此该实施例的具体实施可以参见前述对应的生物检测模型的训练方法的实施，重复之处不再赘述。
进一步地，对应本申请实施例提供的生物检测模型的训练方法及生物检测方法，基于相同的技术构思，本申请实施例还提供了一种存储介质，用于存储计算机可执行指令；
在一种具体的实施例中，该存储介质可以为U盘、光盘、硬盘等，该存储介质存储的计算机可执行指令在被处理器执行时，能实现以下流程：
获取多个场景对应的多个多模态样本图像，所述多模态样本图像中包含待生物检测的样本目标的图像信息；
将所述多个多模态样本图像输入训练模型的特征提取网络，提取所述多个多模态样本图像中每个多模态样本图像的通用特征和特有特征；
将所述通用特征输入训练模型的场景分类网络，计算生成所述通用特征的对抗损失值；
将所述通用特征和所述特有特征输入所述训练模型的特征重组网络，对所述通用特征和所述特有特征进行重组，得到多个重组特征；其中，每个重组特征基于一个通用特征和一个特有特征重组而成；
将所述多个重组特征中的自组特征输入所述训练模型的攻击识别网络，计算识别所述自组特征的生物攻击类型的分类损失值；其中，所述自组特征重组所基于的通用特征和特有特征来自同一多模态样本图像；
将所述多个重组特征输入所述训练模型的对比网络，计算所述多个重组特征中的混合特征与所述自组特征之间的对比损失值，其中，所述混合特征重组所基于的通用特征和特有特征来自不同的多模态样本图像；
根据所述对抗损失值、分类损失值以及对比损失值计算总体损失值，根据所述总体损失值训练所述训练模型，根据训练后的所述训练模型中的特征提取网络、特征重组网络、攻击识别网络得到训练后的生物检测模型。
在一种实现方式中，所述获取多个场景对应的多个多模态样本图像，包括：
针对多个预设场景中的每个场景，从多个模态的数据源中获取该场景的多个模态的样本图像；
对所述多个模态的样本图像进行图像融合，得到该场景的多模态样本图像。
在一种实现方式中，所述多个模态的数据源，包括以下中的至少两个数据源：
RGB数据源、红外数据源和三维深度数据源。
在一种实现方式中，所述生物攻击类型包括以下中的至少一项：
纸张类生物攻击、电子屏幕类生物攻击、面具类生物攻击和非生物攻击。
在一种实现方式中，所述特征提取网络包括：通用特征提取网络；
所述将所述多个多模态样本图像输入训练模型的特征提取网络，提取所述多个多模态样本图像中每个多模态样本图像的通用特征和特有特征，包括：
将所述多模态样本图像输入所述特征提取网络，通过所述特征提取网络中的通用特征提取网络提取所述多模态样本图像的通用特征；
所述将所述通用特征输入所述训练模型的场景分类网络，计算生成所述通用特征的对抗损失值，包括：
将所述通用特征输入所述场景分类网络，预测所述通用特征的场景类别；
根据所述通用特征的场景类别预测结果计算所述通用特征的场景分类损失值，根据所述通用特征的场景分类损失值计算所述场景分类网络与所述通用特征提取网络之间的对抗损失值。
在一种实现方式中，所述特征提取网络还包括：特有特征提取网络；
所述将所述至少一个场景的多模态样本图像输入特征提取网络，提取各场景的多模态样本的通用特征和特有特征，还包括：
通过所述特征提取网络中的特有特征提取网络，从所述多模态样本图像中提取所述多模态样本图像的特有特征。
在一种实现方式中，所述将所述多个重组特征中的自组特征输入所述训练模型的攻击识别网络，计算识别所述自组特征的生物攻击类型的分类损失值，包括：
将所述自组特征输入所述攻击识别网络，预测所述自组特征的生物攻击类型；
基于预设分类损失函数，根据所述自组特征的生物攻击类型预测结果计算所述自组特征的生物攻击类型的分类损失值。
在一种实现方式中，所述将所述多个重组特征输入所述训练模型的对比网络，计算所述重组特征与所述重组特征中的自组特征的对比损失值，包括：
通过所述对比网络从所述多个重组特征中抽取第一重组特征对；其中，所述第一重组特征对中包括两个重组特征，所述两个重组特征中的其中一个特征为所述自组特征，另一个特征为所述自组特征对应的混合特征，所述自组特征对应的混合特征与所述自组特征的通用特征相同；
根据所述第一重组特征对中的两个重组特征之间的相似度，计算所述第一重组特征对对应的对比损失值；
根据所述第一重组特征对对应的对比损失值，计算所述重组特征与所述重组特征中的自组特征的对比损失值。
在一种实现方式中，所述根据所述总体损失值训练所述训练模型，包括：
根据所述总体损失值，利用反向传播算法调整所述训练模型中各网络的网络参数。
在另一种具体的实施例中，该存储介质可以为U盘、光盘、硬盘等，该存储介质存储的计算机可执行指令在被处理器执行时，能实现以下流程：
获取目标场景的多模态目标图像，其中，所述多模态目标图像中包含待生物检测的目标的图像信息；
将所述多模态目标图像输入训练后的生物检测模型中，预测所述多模态目标图像中的所述目标的生物攻击类型，
其中，所述生物检测模型是通过本申请实施例提供的生物检测模型的训练方法训练得到的。
需要说明的是，本申请中关于存储介质的实施例与本申请中关于生物检测模型的训练方法或生物检测方法的实施例基于同一发明构思，因此该实施例的具体实施可以参见前述对应的生物检测模型的训练方法的实施，重复之处不再赘述。
上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本领域内的技术人员应明白，本申请实施例可提供为方法、系统或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本申请实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请的一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本文件的实施例而已，并不用于限制本文件。对于本领域技术人员来说，本文件可以有各种更改和变化。凡在本文件的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本文件的权利要求范围之内。

Claims (14)

1.一种生物检测模型的训练方法，所述方法包括：
获取多个场景对应的多个多模态样本图像；其中，所述多模态样本图像中包含待生物检测的样本目标的图像信息；
将所述多个多模态样本图像输入训练模型的特征提取网络，提取所述多个多模态样本图像中每个多模态样本图像的通用特征和特有特征；
将所述通用特征输入训练模型的场景分类网络，计算生成所述通用特征的对抗损失值；
将所述通用特征和所述特有特征输入所述训练模型的特征重组网络，对所述通用特征和所述特有特征进行重组，得到多个重组特征；其中，每个重组特征基于一个通用特征和一个特有特征重组而成；
将所述多个重组特征中的自组特征输入所述训练模型的攻击识别网络，计算识别所述自组特征的生物攻击类型的分类损失值；其中，所述自组特征重组所基于的通用特征和特有特征来自同一多模态样本图像；
将所述多个重组特征输入所述训练模型的对比网络，计算所述多个重组特征中的混合特征与所述自组特征之间的对比损失值；其中，所述混合特征重组所基于的通用特征和特有特征来自不同的多模态样本图像；
根据所述对抗损失值、分类损失值以及对比损失值计算总体损失值，根据所述总体损失值训练所述训练模型，根据训练后的所述训练模型中的特征提取网络、特征重组网络、攻击识别网络得到训练后的生物检测模型。
2.根据权利要求1所述的训练方法，所述获取多个场景对应的多个多模态样本图像，包括：
针对多个预设场景中的每个场景，从多个模态的数据源中获取该场景的多个模态的样本图像；
对所述多个模态的样本图像进行图像融合，得到该场景的多模态样本图像。
3.根据权利要求2所述的训练方法，所述多个模态的数据源，包括以下中的至少两个数据源：
RGB数据源、红外数据源和三维深度数据源。
4.根据权利要求1所述的训练方法，所述生物攻击类型包括以下中的至少一项：
纸张类生物攻击、电子屏幕类生物攻击、面具类生物攻击和非生物攻击。
5.根据权利要求1所述的训练方法，所述特征提取网络包括：通用特征提取网络；
所述将所述多个多模态样本图像输入训练模型的特征提取网络，提取所述多个多模态样本图像中每个多模态样本图像的通用特征和特有特征，包括：
将所述多模态样本图像输入所述特征提取网络，通过所述特征提取网络中的通用特征提取网络提取所述多模态样本图像的通用特征；
所述将所述通用特征输入所述训练模型的场景分类网络，计算生成所述通用特征的对抗损失值，包括：
将所述通用特征输入所述场景分类网络，预测所述通用特征的场景类别；
根据所述通用特征的场景类别预测结果计算所述通用特征的场景分类损失值，根据所述通用特征的场景分类损失值计算所述场景分类网络与所述通用特征提取网络之间的对抗损失值。
6.根据权利要求5所述的训练方法，所述特征提取网络还包括：特有特征提取网络；
所述将所述至少一个场景的多模态样本图像输入特征提取网络，提取各场景的多模态样本的通用特征和特有特征，还包括：
通过所述特征提取网络中的特有特征提取网络，从所述多模态样本图像中提取所述多模态样本图像的特有特征。
7.根据权利要求1所述的训练方法，所述将所述多个重组特征中的自组特征输入所述训练模型的攻击识别网络，计算识别所述自组特征的生物攻击类型的分类损失值，包括：
将所述自组特征输入所述攻击识别网络，预测所述自组特征的生物攻击类型；
基于预设分类损失函数，根据所述自组特征的生物攻击类型预测结果计算所述自组特征的生物攻击类型的分类损失值。
8.根据权利要求1所述的训练方法，所述将所述多个重组特征输入所述训练模型的对比网络，计算所述重组特征与所述重组特征中的自组特征的对比损失值，包括：
通过所述对比网络从所述多个重组特征中抽取第一重组特征对；其中，所述第一重组特征对中包括两个重组特征，所述两个重组特征中的其中一个特征为所述自组特征，另一个特征为所述自组特征对应的混合特征，所述自组特征对应的混合特征与所述自组特征的通用特征相同；
根据所述第一重组特征对中的两个重组特征之间的相似度，计算所述第一重组特征对对应的对比损失值；
根据所述第一重组特征对对应的对比损失值，计算所述重组特征与所述重组特征中的自组特征的对比损失值。
9.根据权利要求1所述的训练方法，所述根据所述总体损失值训练所述训练模型，包括：
根据所述总体损失值，利用反向传播算法调整所述训练模型中各网络的网络参数。
10.一种生物检测方法，所述方法包括：
获取目标场景的多模态目标图像，其中，所述多模态目标图像中包含待生物检测的目标的图像信息；
将所述多模态目标图像输入训练后的生物检测模型中，预测所述多模态目标图像中的所述目标的生物攻击类型；
其中，所述生物检测模型通过权利要求1-9中任一项权利要求所述的生物检测模型的训练方法训练得到。
11.一种生物检测模型的训练装置，所述装置包括：
样本获取模块，用于获取多个场景对应的多个多模态样本图像，所述多模态样本图像中包含待生物检测的样本目标的图像信息；
特征提取模块，用于将所述多个多模态样本图像输入训练模型的特征提取网络，提取所述多个多模态样本图像中每个多模态样本图像的通用特征和特有特征；
对抗损失计算模块，用于将所述通用特征输入训练模型的场景分类网络，计算生成所述通用特征的对抗损失值；
特征重组模块，用于将所述通用特征和所述特有特征输入所述训练模型的特征重组网络，对所述通用特征和所述特有特征进行重组，得到多个重组特征；其中，每个重组特征基于一个通用特征和一个特有特征重组而成；
分类损失模块，用于将所述多个重组特征中的自组特征输入所述训练模型的攻击识别网络，计算识别所述自组特征的生物攻击类型的分类损失值；其中，所述自组特征重组所基于的通用特征和特有特征来自同一多模态样本图像；
对比损失计算模块，用于将所述多个重组特征输入所述训练模型的对比网络，计算所述多个重组特征中的混合特征与所述自组特征之间的对比损失值，其中，所述混合特征重组所基于的通用特征和特有特征来自不同的多模态样本图像；
训练模块，用于根据所述对抗损失值、分类损失值以及对比损失值计算总体损失值，根据所述总体损失值训练所述训练模型，根据训练后的所述训练模型中的特征提取网络、特征重组网络、攻击识别网络得到训练后的生物检测模型。
12.一种生物检测装置，所述装置包括：
图像获取模块，用于获取目标场景的多模态目标图像，其中，所述多模态目标图像中包含待生物检测的目标的图像信息；
预测模块，用于将所述多模态目标图像输入训练后的生物检测模型中，预测所述多模态目标图像中的所述目标的生物攻击类型；
其中，所述生物检测模型通过权利要求1-9中任一项权利要求所述的生物检测模型的训练方法训练得到。
13.一种计算机设备，其特征在于，所述设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令被配置由所述处理器执行，所述可执行指令包括用于执行如权利要求1-9或10任一项所述的方法中的步骤。
14.一种存储介质，其特征在于，所述存储介质用于存储计算机可执行指令，所述可执行指令使得计算机执行如权利要求1-9或10任一项所述的方法。
CN202310979924.XA 2023-08-04 2023-08-04 生物检测模型的训练方法、生物检测方法及相关产品 Pending CN117115883A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310979924.XA CN117115883A (zh) 2023-08-04 2023-08-04 生物检测模型的训练方法、生物检测方法及相关产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310979924.XA CN117115883A (zh) 2023-08-04 2023-08-04 生物检测模型的训练方法、生物检测方法及相关产品

Publications (1)

Publication Number Publication Date
CN117115883A true CN117115883A (zh) 2023-11-24

Family

ID=88806654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310979924.XA Pending CN117115883A (zh) 2023-08-04 2023-08-04 生物检测模型的训练方法、生物检测方法及相关产品

Country Status (1)

Country Link
CN (1) CN117115883A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117636074A (zh) * 2024-01-25 2024-03-01 山东建筑大学 基于特征交互融合的多模态图像分类方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117636074A (zh) * 2024-01-25 2024-03-01 山东建筑大学 基于特征交互融合的多模态图像分类方法及系统
CN117636074B (zh) * 2024-01-25 2024-04-26 山东建筑大学 基于特征交互融合的多模态图像分类方法及系统

Similar Documents

Publication Publication Date Title
CN112750140B (zh) 基于信息挖掘的伪装目标图像分割方法
CN112597941B (zh) 一种人脸识别方法、装置及电子设备
CN111754396B (zh) 脸部图像处理方法、装置、计算机设备和存储介质
Arietta et al. City forensics: Using visual elements to predict non-visual city attributes
CN112801057B (zh) 图像处理方法、装置、计算机设备和存储介质
Gopalakrishnan et al. Random walks on graphs to model saliency in images
CN111738231A (zh) 目标对象检测方法、装置、计算机设备和存储介质
KR102483650B1 (ko) 사용자 인증 장치 및 방법
CN109784148A (zh) 活体检测方法及装置
CN112734747B (zh) 一种目标检测方法、装置、电子设备和存储介质
CN117115883A (zh) 生物检测模型的训练方法、生物检测方法及相关产品
Chen et al. Emotion recognition using fixed length micro-expressions sequence and weighting method
CN115240280A (zh) 人脸活体检测分类模型的构建方法、检测分类方法及装置
CN114333062B (zh) 基于异构双网络和特征一致性的行人重识别模型训练方法
Tsai et al. A single‐stage face detection and face recognition deep neural network based on feature pyramid and triplet loss
Gupta et al. Race identification from facial images using statistical techniques
Izadpanahkakhk et al. Novel mobile palmprint databases for biometric authentication
CN117932455A (zh) 一种基于神经网络的物联网资产识别方法和系统
CN114494809A (zh) 特征提取模型优化方法、装置及电子设备
CN111783734B (zh) 原版视频识别方法及装置
CN114742170B (zh) 对抗样本生成方法、模型训练方法、图像识别方法及装置
Arigbabu et al. Gender recognition on real world faces based on shape representation and neural network
CN112084815A (zh) 一种基于摄像机焦距变换的目标检测方法、存储介质及处理器
Wu et al. Giid-net: Generalizable image inpainting detection network
CN114663938A (zh) 一种考虑人脸欺诈的车载系统安全认证管理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination