CN117576794A - 一种生物攻击检测方法、装置及电子设备 - Google Patents

一种生物攻击检测方法、装置及电子设备 Download PDF

Info

Publication number
CN117576794A
CN117576794A CN202311557564.0A CN202311557564A CN117576794A CN 117576794 A CN117576794 A CN 117576794A CN 202311557564 A CN202311557564 A CN 202311557564A CN 117576794 A CN117576794 A CN 117576794A
Authority
CN
China
Prior art keywords
modal
image
images
attack detection
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311557564.0A
Other languages
English (en)
Inventor
武文琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202311557564.0A priority Critical patent/CN117576794A/zh
Publication of CN117576794A publication Critical patent/CN117576794A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本说明书一个或多个实施例公开了一种生物攻击检测方法、装置及电子设备。该方法首先获取用于进行生物攻击检测的多种模态图像，其次将多种模态图像输入预先训练的生物攻击检测模型中的特征提取子模型中，分别对多种模态图像进行特征提取，得到每种模态图像的图像特征，然后基于生物攻击检测模型中的注意力模块对每种模态图像的图像特征进行敏感区域增强，对敏感区域增强后的多种模态图像进行特征融合处理，得到融合后的多模态特征，最后通过生物攻击检测模型对融合后的多模态特征进行特征增强处理，并基于特征增强后的多种模态图像的差异性确定多种模态图像对应的生物攻击检测结果。

Description

一种生物攻击检测方法、装置及电子设备
技术领域
本文件涉及攻击检测技术领域，尤其涉及一种生物攻击检测方法、装置及电子设备。
背景技术
随着人们对自己的隐私数据越来越重视，在一些支付平台、安全检测平台中经常用到人脸识别系统，而生物攻击检测是人脸识别系统中不可缺少的环节，通过生物攻击检测能够有效地拦截非生物类型的攻击样本，如：通过手机显示的攻击样本、通过纸张呈现的攻击样本、头模等。随着人脸识别技术中PV(Pageview，网页浏览次数)量的增加，比较高级的生物攻击方式越来越多，例如：注入攻击，此攻击方式采用绕过摄像头的方式注入视频，从而实现对人脸识别系统的攻击。然而，不同的注入攻击方式通常针对一种模态数据对被攻击者进行攻击，因此，需要提供一种基于多模态的生物攻击检测方法，从而能够从多种模态数据的角度识别攻击者的攻击行为，进而及时拦截所识别出的攻击行为。
发明内容
一方面，本说明书一个或多个实施例提供一种生物攻击检测方法，包括：获取用于进行生物攻击检测的多种模态图像；将所述多种模态图像输入预先训练的生物攻击检测模型中的特征提取子模型中，通过所述生物攻击检测模型中的特征提取子模型分别对所述多种模态图像进行特征提取，得到每种模态图像的图像特征，所述生物攻击检测模型是根据多个检测对象的多种模态图像样本以及预设的损失函数进行模型训练得到的模型，所述预设的损失函数是基于不同模态图像之间的不确定性所构建的不确定加权损失函数；基于所述生物攻击检测模型中的注意力模块对所述每种模态图像的图像特征进行敏感区域增强，对敏感区域增强后的多种模态图像进行特征融合处理，得到融合后的多模态特征；通过所述生物攻击检测模型对所述融合后的多模态特征进行特征增强处理，并基于特征增强后的多种模态图像的差异性确定所述多种模态图像对应的生物攻击检测结果。
另一方面，本说明书一个或多个实施例提供一种装置，包括：多模态图像获取模块，获取用于进行生物攻击检测的多种模态图像；特征提取模块，将所述多种模态图像输入预先训练的生物攻击检测模型中的特征提取子模型中，通过所述生物攻击检测模型中的特征提取子模型分别对所述多种模态图像进行特征提取，得到每种模态图像的图像特征，所述生物攻击检测模型是根据多个检测对象的多种模态图像样本以及预设的损失函数进行模型训练得到的模型，所述预设的损失函数是基于不同模态图像之间的不确定性所构建的不确定加权损失函数；融合模块，基于所述生物攻击检测模型中的注意力模块对所述每种模态图像的图像特征进行敏感区域增强，对敏感区域增强后的多种模态图像进行特征融合处理，得到融合后的多模态特征；检测结果确定模块，通过所述生物攻击检测模型对所述融合后的多模态特征进行特征增强处理，并基于特征增强后的多种模态图像的差异性确定所述多种模态图像对应的生物攻击检测结果
再一方面，本说明书一个或多个实施例提供一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，在所述可执行指令被执行时，能够使得所述处理器：获取用于进行生物攻击检测的多种模态图像；将所述多种模态图像输入预先训练的生物攻击检测模型中的特征提取子模型中，通过所述生物攻击检测模型中的特征提取子模型分别对所述多种模态图像进行特征提取，得到每种模态图像的图像特征，所述生物攻击检测模型是根据多个检测对象的多种模态图像样本以及预设的损失函数进行模型训练得到的模型，所述预设的损失函数是基于不同模态图像之间的不确定性所构建的不确定加权损失函数；基于所述生物攻击检测模型中的注意力模块对所述每种模态图像的图像特征进行敏感区域增强，对敏感区域增强后的多种模态图像进行特征融合处理，得到融合后的多模态特征；通过所述生物攻击检测模型对所述融合后的多模态特征进行特征增强处理，并基于特征增强后的多种模态图像的差异性确定所述多种模态图像对应的生物攻击检测结果。
再一方面，本说明书一个或多个实施例提供存储介质，用于存储计算机程序，所属计算机程序能够被处理器执行以实现以下流程：获取用于进行生物攻击检测的多种模态图像；将所述多种模态图像输入预先训练的生物攻击检测模型中的特征提取子模型中，通过所述生物攻击检测模型中的特征提取子模型分别对所述多种模态图像进行特征提取，得到每种模态图像的图像特征，所述生物攻击检测模型是根据多个检测对象的多种模态图像样本以及预设的损失函数进行模型训练得到的模型，所述预设的损失函数是基于不同模态图像之间的不确定性所构建的不确定加权损失函数；基于所述生物攻击检测模型中的注意力模块对所述每种模态图像的图像特征进行敏感区域增强，对敏感区域增强后的多种模态图像进行特征融合处理，得到融合后的多模态特征；通过所述生物攻击检测模型对所述融合后的多模态特征进行特征增强处理，并基于特征增强后的多种模态图像的差异性确定所述多种模态图像对应的生物攻击检测结果。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本说明书一实施例的一种生物攻击检测方法的示意性流程图；
图2是根据本说明书一实施例的一种生物攻击检测方法的实现原理示意图；
图3是根据本说明书一实施例的一种生物攻击检测模型的训练方法的示意性流程图；
图4是根据本说明书一实施例的另一种生物攻击检测方法的示意性流程图；
图5是根据本说明书一实施例的一种生物攻击检测装置的示意性框图；
图6是根据本说明书一实施例的一种电子设备的示意性框图。
具体实施方式
本说明书一个或多个实施例提供一种生物攻击检测方法、装置及电子设备。
为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件保护的范围。
如图1所示，本说明书实施例提供一种生物攻击检测方法，该方法的执行主体可以为终端设备或服务器，其中，该终端设备可以如手机、平板电脑等一定终端设备，还可以如笔记本电脑或台式电脑等计算机设备，或者，也可以为IoT设备(具体如智能手表、车载设备等)等。该服务器可以是独立的一个服务器，还可以是由多个服务器构成的服务器集群等，该服务器可以是如金融业务或网络购物业务等的后台服务器，也可以是某应用程序的后台服务器等。本实施例中以服务器为例进行详细说明，对于终端设备的执行过程可以参见下述相关内容，在此不再赘述。该方法具体可以包括以下步骤：
在步骤S102中，获取用于进行生物攻击检测的多种模态图像。
生物攻击检测指的是在生物识别相关的场景中，判断用户在生物识别过程中的真实生物样本与攻击样本。其中，用于进行生物攻击所需借助的对象可以是电子屏幕、纸张、面具、包含生物的照片中的一种或多种。
本说明书实施例中的多种模态图像是针对同一个检测对象在同一时刻所拍摄的多种模态图像，多种模态图像的纹理特征各不相同，不同模态图像所采集到的检测对象的信息不同，从而能够基于不同的模态图像从不同的角度进行生物攻击检测。例如：RGB(RedGreen Blue，红绿蓝)模态图像能够清晰地表征生物特征区域(如面部区域)和背景区域的纹理特征信息，IR(Infrared Radiat ion，红外线)模态图像只针对生物特征区域进行描述，包含检测对象的生物特征区域的信息。基于真实生物特征所获取的IR模态图像和基于手机屏幕所获取的IR模态图像之间具有明显的差异性，因此基于IR模态图像在手机攻击中具有较佳的识别效果。深度图像(或者称Depth图像)中包含检测对象的深度信息，对于来自手机等电子屏幕或者来自纸张的平面性质的生物攻击具有高度的可辨识性。
在实施中，可以针对检测对象的不同模态的原始图像进行预处理，从而获取到多种模态图像。预处理的方式可以是，首先基于一种模态图像的采集方式进行生物特征检测，然后对检测得到的图像进行截取，最后再进行图像矫正处理，从而得到当前种类的模态图像，然后基于同样的处理方式获取到其余种类的模态图像。
在步骤S104中，将多种模态图像输入预先训练的生物攻击检测模型中的特征提取子模型中，通过生物攻击检测模型中的特征提取子模型分别对多种模态图像进行特征提取，得到每种模态图像的图像特征。
其中，生物攻击检测模型是根据多个检测对象中每个检测对象的多种模态图像样本以及预设的损失函数进行模型训练得到的模型，预设的损失函数是基于不同模态图像之间的不确定性所构建的不确定加权损失函数。
本说明书实施例中的生物攻击检测模型用于根据同一检测对象的多种模态图像之间的差异性确定该同一检测对象的多种模态图像的差异值打分结果。生物攻击检测模型的推理过程可以包括：特征提取、特征融合以及检查结果判断等过程，每个过程可以通过对应的子模型来实现。例如：通过生物攻击检测模型中的特征提取子模型分别对多种模态图像进行特征提取，从而得到每种模态图像的图像特征。
不确定加权损失函数基于不确定加权策略而设计，基于该损失函数，生物攻击检测模型在模型训练过程中通过学习不同检测对象的模态数据的不确定性，自适应调整不同模态数据之间较佳的权重比例，有利于多种模态图像在特征空间中更好地自适应融合，从而能够获取到更加准确的检测结果。
在步骤S106中，基于生物攻击检测模型中的注意力模块对每种模态图像的图像特征进行敏感区域增强，对敏感区域增强后的多种模态图像进行特征融合处理，得到融合后的多模态特征。
对每种模态图像的图像特征进行敏感区域增强，即对每种模态图像的图像特征中不同于其他模态图像的特征进行关注和增强，从而能够更明显地呈现不同模态图像的差异性。注意力模块可以是基于注意力机制构建的各种功能模块，例如：自注意力模块、交叉注意力模块等。
在实施中，可以通过SE(Squeeze-and-Excitat ion，压缩和激励)神经网络实现每种模态图像的图像特征进行敏感区域增强，以及对敏感区域增强后的多种模态图像进行特征融合处理，最终得到融合后的多模态特征。即可以将SE网络嵌入生物攻击检测模型中。
在步骤S108中，通过生物攻击检测模型对融合后的多模态特征进行特征增强处理，并基于特征增强后的多种模态图像的差异性确定多种模态图像对应的生物攻击检测结果。
对多模态特征进行特征增强处理即对融合后的多模态特征进行综合、调优。相比于直接采用融合后的多模态特征确定生物攻击检测结果，本说明书实施例在多模态特征融合处理后增加特征增强处理，能够基于更优化的多模态特征进行生物攻击检测，有利于提高生物攻击检测的效率和准确性。
本说明书实施例提供一种生物攻击检测方法，首先获取用于进行生物攻击检测的多种模态图像，其次将多种模态图像输入预先训练的生物攻击检测模型中的特征提取子模型中，通过生物攻击检测模型中的特征提取子模型分别对多种模态图像进行特征提取，得到每种模态图像的图像特征，其中，生物攻击检测模型是根据多个检测对象的多种模态图像样本以及预设的损失函数进行模型训练得到的模型，预设的损失函数是基于不同模态图像之间的不确定性所构建的不确定加权损失函数，然后基于生物攻击检测模型中的注意力模块对每种模态图像的图像特征进行敏感区域增强，对敏感区域增强后的多种模态图像进行特征融合处理，得到融合后的多模态特征，最后通过生物攻击检测模型对融合后的多模态特征进行特征增强处理，并基于特征增强后的多种模态图像的差异性确定多种模态图像对应的生物攻击检测结果。由于多种模态图像中携带有不同模态的图像信息，通过获取多种模态图像能够使生物攻击检测模型的表现力更好，从而更有利于识别出生物攻击，而且实际情况中攻击者很难同时获取到被攻击者的各种模态图像，因此采用多种模态图像能够提高生物识别链路的鲁棒性，且有利于提高攻击检测的可靠性、稳定性和准确性。在进行多模态融合处理时，首先基于注意力模块对每种模态图像的图像特征进行敏感区域增强后再进行特征融合处理，这种方式既有利于确保融合处理后的多模态特征能够呈现不同模态图像的差异性，又有利于提高特征融合的效率以及整个生物攻击检测的效率，从而对各种攻击对象实现高质量召回。通过对融合后的多模态特征进行特征增强处理，能够基于更优化的多模态特征进行生物攻击检测，从而提高生物攻击检测的效率和准确性。此外，由于本说明书实施例中的多种模态图像是基于同一个检测对象在同一时刻所拍摄的不同模态图像，基于特征增强后的多种模态图像的差异性能够快速而相对准确地确定多种模态图像对应的生物攻击检测结果，也有利于提高生物攻击检测效率以及检测结果的准确性。
本说明书实施例中，生物攻击检测模型可以是基于ResNet卷积神经网络构建的分类模型，注意力模块可以是基于transformer神经网络结构构建的模块，特征提取子模型可以是基于第一resblock网络构建的子模型。
在实施中，生物攻击检测模型可以是基于ResNet卷积神经网络构建的二分类模型，分类结果包括：攻击和非攻击两种。注意力模块采用基于transformer神经网络结构构建的模块，通过transformer神经网络结构中的自注意力机制(即self-attent ion机制)能够为不同模态图像之间的不变特征建立特征长程关系，有利于获取到更加准确、可靠的生物攻击检测结果。第一resblock网络可以采用ResNet卷积神经网络的第一层resblock网络到第三层resblock网络来实现，特征提取子模型可以是ResNet卷积神经网络中第一层到第三层基于resblock的基础网络。
相应地，步骤S108中通过生物攻击检测模型对融合后的多模态特征进行特征增强处理的方法可以多种多样，以下提供一种可选的处理方式，具体可以参见以下步骤S1082的处理。
在步骤S1082中，基于生物攻击检测模型中的第二resbock网络以及全局池化层，对融合后的多模态特征进行特征增强处理。
其中，第二resbock网络可以采用ResNet卷积神经网络的第四层resblock网络和第五层resblock网络来实现。
本说明书实施例中生物攻击检测方法的实现原理可以参见图2所示，图2中res1-res3构成第一resbock网络，res4-res5构成第二resbock网络，且res4、res5以及GAP(Global Average Pool ing，全局平均池化，即全局池化层)用于对多模态特征进行特征增强处理。
本说明书实施例中，上述步骤S104的处理可以多种多样，以下提供一种可选的处理方式，具体可以参见以下步骤S1042-S1044的处理。
在步骤S1042中，分别将每种模态图像输入对应的ResNet卷积神经网络的第一resblock网络中。
在步骤S1044中，通过每个ResNet卷积神经网络的第一resblock网络对相应的模态图像进行特征提取，得到相应模态图像的图像特征。
在实施中，参见图2所示的原理图，以RGB图像、IR图像以及Depth图像三种模态图像为例，采用三个ResNet卷积神经网络，分别将RGB图像、IR图像以及Depth图像输入对应ResNet卷积神经网络的第一resblock网络(即特征提取子模型)中，分别对上述三种模态图像进行特征提取，得到三种模态图像的图像特征。由以上步骤S1042-S1044可知，分别采用三个ResNet卷积神经网络的第一resblock网络对多种模态图像进行特征提取时，多种模态图像中不同种类的模态图像之间的权重是独立的，不共享的。该方法由于同时将三种模态图像分别输入不同的ResNet卷积神经网络的第一resblock网络中，在模型训练过程中可以降低模型训练的难度，有利于提高模型训练的效率。
本说明书实施例中，上述步骤S104的处理可以多种多样，以下提供另一种可选的处理方式，具体可以参见以下步骤S1046-S1048的处理。
在步骤S1046中，依次将多种模态图像输入同一个ResNet卷积神经网络的第一resblock网络中。
在步骤S1048中，通过第一resblock网络对多模态图像进行特征提取，分别得到每种模态图像的图像特征。
由以上步骤S1046-S1048可知，该方法采用一个ResNet卷积神经网络的第一resblock网络对多种模态图像进行特征提取，在实施中，将多种模态图像中不同种类的模态图像依次输入特征提取子模型的过程中，且在此过程中多种模态图像中不同种类的模态图像之间进行权重共享，即：下一个模态图像的权重基于上一个模态图像的权重进行调整，任一模态图像的权重与多模态图像中其他模态图像的权重共享。该方法由于只采用一个ResNet卷积神经网络的第一resblock网络提取图像特征，且不同种类的模态图像之间权重共享，模型训练完成后只有一套模型参数，将三种不同模态图像依次输入模型后能够快速得到模型输出结果，因此该方法有利于提高模型推理效率。
本说明书实施例中，上述步骤S108中基于特征增强后的多种模态图像的差异性确定多种模态图像对应的生物攻击检测结果的处理可以多种多样，以下提供一种可选的处理方式，具体可以参见以下步骤S1084-S1086的处理。
在步骤S1084中，基于特征增强后的多种模态图像的差异性确定多种模态图像的差异值。
在步骤S1086中，如果差异值大于预设的差异值阈值，判定多种模态图像对应的生物攻击检测结果为攻击。
在实施中，继续以RGB图像、IR图像以及Depth图像三种模态图像为例，由于三种模态图像是同一时刻针对同一个检测对象所拍摄的不同模态图像，因此，三种模态图像必定同时是攻击图像或者非攻击图像(即正常生物图像)，本说明书实施例基于三种模态图像的差异性确定差异值，并将该差异值和预设的差异值阈值进行比对，如果差异值大于预设的差异值阈值，判定多种模态图像对应的生物攻击检测结果为攻击，如果差异值小于或等于预设的差异值阈值，则判定多种模态图像对应的生物攻击检测结果为非攻击。
继续参见图2，可以通过softmax函数计算得出差异值，该差异值是0-1之间的差异值打分结果，如果差异值阈值设定为0.5，则该差异值打分结果大于0.5时表示当前获取的多种模态图像所对应的生物攻击检测结果为攻击。
如图3所示，本说明书实施例中生物攻击检测模型的训练方法可以多种多样，以下提供一种可选的处理方式，具体可以参见以下步骤S202-S208的处理。
在步骤S202中，获取不同检测对象的多种模态图像样本。
在步骤S204中，将多种模态图像样本输入生物攻击检测模型中的特征提取子模型中，通过生物攻击检测模型中的特征提取子模型分别对多种模态图像样本进行特征提取，得到每种模态图像样本的图像特征。
在步骤S206中，基于生物攻击检测模型中的注意力模块对每种模态图像样本的图像特征进行敏感区域增强，对敏感区域增强后的多种模态图像样本进行特征融合处理，得到融合后的多模态特征。
在步骤S208中，通过生物攻击检测模型对融合后的多模态特征进行特征增强处理，并基于特征增强后的多种模态图像样本和预设的损失函数，通过反向传播算法对生物攻击检测模型进行模型训练，得到训练后的生物攻击检测模型。
该预设的损失函数是基于不同模态图像样本之间的不确定性所构建的不确定加权损失函数。
本说明书实施例中，上述步骤S208中预设的损失函数可以有多种构建方式，以下提供一种可选的构建方式，具体可以参见以下步骤S2082的处理。
在步骤S2082中，预设的损失函数根据第一子损失函数、第二子损失函数、第三子损失函数以及每个子损失函数对应的权重系数确定，其中，第一子损失函数是RGB图像对应的损失函数，第二子损失函数是IR图像对应的损失函数，第三子损失函数是深度图像对应的损失函数，且每个子损失函数的不确定越大，所对应的权重系数越小。
预设的损失函数可以采用如下数学表达式：
其中，L为预设的损失函数，为不确定加权损失函数，L1(W)为第一子损失函数，L2(W)为第二子损失函数，L3(W)为第三子损失函数，σ1为第一子损失函数的不确定性系数，σ2为第二子损失函数的不确定性系数，σ3为第三子损失函数的不确定性系数，logσ1σ2σ3为正则化项，每个子损失函数的不确定性系数越大，表示对应的模态图像的不确定性越大，相应的权重系数越小。正则化项的设置，能够确保模型训练过程中避免出现梯度爆炸问题，有利于提高模型训练的稳定性。
本说明书实施例中，如图4所示，上述步骤S106的处理可以多种多样，以下提供一种可选的处理方式，具体可以参见以下步骤S1062的处理。
在步骤S1062中，基于生物攻击检测模型中的注意力模块对每种模态图像的图像特征进行敏感区域增强，对敏感区域增强后的多种模态图像中的每种模态图像分别基于相应的模态图像对应的预设交叉熵损失函数进行优化处理，得到优化处理后的多种模态图像，对优化处理后的多种模态图像进行特征融合处理，得到融合后的多模态特征。
根据上述步骤S1062可知，上述步骤S106中对敏感区域增强后的多种模态图像进行特征融合处理，得到融合后的多模态特征之前，还包括：对敏感区域增强后的多种模态图像中的每种模态图像分别基于相应的模态图像对应的预设交叉熵损失函数进行优化处理，得到优化处理后的多种模态图像。
在实施中，可以采用全连接层(即FC层)对特征增强处理后多模态图像进行反向传播优化处理，得到优化处理后的多种模态图像。继续参见图2，多种模态图像在GAP后进入全连接层进行优化处理。
相应地，上述步骤S106中对敏感区域增强后的多种模态图像进行特征融合处理，得到融合后的多模态特征，可以执行为：对优化处理后的多种模态图像进行特征融合处理，得到融合后的多模态特征。
其中，多个交叉熵损失函数组成不确定加权损失函数，即上述步骤S2082中的第一子损失函数、第二子损失函数以及第三子损失函数可以采用交叉熵损失函数。
本说明书实施例提供一种生物攻击检测方法，首先获取用于进行生物攻击检测的多种模态图像，其次将多种模态图像输入预先训练的生物攻击检测模型中的特征提取子模型中，通过生物攻击检测模型中的特征提取子模型分别对多种模态图像进行特征提取，得到每种模态图像的图像特征，其中，生物攻击检测模型是根据多个检测对象的多种模态图像样本以及预设的损失函数进行模型训练得到的模型，预设的损失函数是基于不同模态图像之间的不确定性所构建的不确定加权损失函数，然后基于生物攻击检测模型中的注意力模块对每种模态图像的图像特征进行敏感区域增强，对敏感区域增强后的多种模态图像进行特征融合处理，得到融合后的多模态特征，最后通过生物攻击检测模型对融合后的多模态特征进行特征增强处理，并基于特征增强后的多种模态图像的差异性确定多种模态图像对应的生物攻击检测结果。由于多种模态图像中携带有不同模态的图像信息，通过获取多种模态图像能够使生物攻击检测模型的表现力更好，从而更有利于识别出生物攻击，而且实际情况中攻击者很难同时获取到被攻击者的各种模态图像，因此采用多种模态图像能够提高生物识别链路的鲁棒性，且有利于提高攻击检测的可靠性、稳定性和准确性。在进行多模态融合处理时，首先基于注意力模块对每种模态图像的图像特征进行敏感区域增强后再进行特征融合处理，这种方式既有利于确保融合处理后的多模态特征能够呈现不同模态图像的差异性，又有利于提高特征融合的效率以及整个生物攻击检测的效率，从而对各种攻击对象实现高质量召回。通过对融合后的多模态特征进行特征增强处理，能够基于更优化的多模态特征进行生物攻击检测，从而提高生物攻击检测的效率和准确性。此外，由于本说明书实施例中的多种模态图像是基于同一个检测对象在同一时刻所拍摄的不同模态图像，基于特征增强后的多种模态图像的差异性能够快速而相对准确地确定多种模态图像对应的生物攻击检测结果，也有利于提高生物攻击检测效率以及检测结果的准确性。
综上，已经对本主题的特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作可以按照不同的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序，以实现期望的结果。在某些实施方式中，多任务处理和并行处理可以是有利的。
以上为本说明书一个或多个实施例提供的生物攻击检测方法，基于同样的思路，本说明书一个或多个实施例还提供一种生物攻击检测装置，如图5所示。
该生物攻击检测装置包括：多模态图像获取模块310、特征提取模块320、融合模块330以及检测结果确定模块340，其中：
多模态图像获取模块310，获取用于进行生物攻击检测的多种模态图像；
特征提取模块320，将多种模态图像输入预先训练的生物攻击检测模型中的特征提取子模型中，通过生物攻击检测模型中的特征提取子模型分别对多种模态图像进行特征提取，得到每种模态图像的图像特征，生物攻击检测模型是根据多个检测对象的多种模态图像样本以及预设的损失函数进行模型训练得到的模型，预设的损失函数是基于不同模态图像之间的不确定性所构建的不确定加权损失函数；
融合模块330，基于生物攻击检测模型中的注意力模块对每种模态图像的图像特征进行敏感区域增强，对敏感区域增强后的多种模态图像进行特征融合处理，得到融合后的多模态特征；
检测结果确定模块340，通过生物攻击检测模型对融合后的多模态特征进行特征增强处理，并基于特征增强后的多种模态图像的差异性确定多种模态图像对应的生物攻击检测结果。
本说明书实施例中，多模态图像获取模块310中的多种模态图像包括：RGB图像、IR图像以及深度图像，RGB图像中包含检测对象的人脸区域和背景区域的纹理特征信息，IR图像中包含检测对象的人脸区域的信息，深度图像中包含检测对象的深度信息。
本说明书实施例中，生物攻击检测模型是基于ResNet卷积神经网络构建的分类模型，注意力模块是基于transformer神经网络结构构建的模块，特征提取模块320中的特征提取子模型是基于第一resblock网络构建的子模型。相应地，检测结果确定模块340基于生物攻击检测模型中的第二resbock网络以及全局池化层，对融合后的多模态特征进行特征增强处理。
本说明书实施例中，特征提取模块320，在将多种模态图像中不同种类的模态图像依次输入特征提取子模型的过程中，多种模态图像中不同种类的模态图像之间进行权重共享。
本说明书实施例中，检测结果确定模块340包括：
特征增强单元，通过生物攻击检测模型对融合后的多模态特征进行特征增强处理；
差异值确定单元，基于特征增强后的多种模态图像的差异性确定多种模态图像的差异值；
判断单元，如果差异值大于预设的差异值阈值，判定多种模态图像对应的生物攻击检测结果为攻击。
本说明书实施例中，融合模块330，基于生物攻击检测模型中的注意力模块对每种模态图像的图像特征进行敏感区域增强，对敏感区域增强后的多种模态图像中的每种模态图像分别基于相应的模态图像对应的预设交叉熵损失函数进行优化处理，得到优化处理后的多种模态图像，对优化处理后的多种模态图像进行特征融合处理，得到融合后的多模态特征。
本说明书实施例中，该生物攻击检测装置中还包括模型训练模块，该模型训练模块包括：
多模态图像样本获取单元，获取不同检测对象的多种模态图像样本；
特征提取单元，将多种模态图像样本输入生物攻击检测模型中的特征提取子模型中，通过生物攻击检测模型中的特征提取子模型分别对多种模态图像样本进行特征提取，得到每种模态图像样本的图像特征；
融合单元，基于生物攻击检测模型中的注意力模块对每种模态图像样本的图像特征进行敏感区域增强，对敏感区域增强后的多种模态图像样本进行特征融合处理，得到融合后的多模态特征；
检测结果确定单元，通过生物攻击检测模型对融合后的多模态特征进行特征增强处理，并基于特征增强后的多种模态图像样本和预设的损失函数，通过反向传播算法对生物攻击检测模型进行模型训练，得到训练后的生物攻击检测模型。
本说明书实施例中，检测结果确定单元中预设的损失函数根据第一子损失函数、第二子损失函数、第三子损失函数以及每个子损失函数对应的权重系数确定，其中，第一子损失函数是RGB图像对应的损失函数，第二子损失函数是IR图像对应的损失函数，第三子损失函数是深度图像对应的损失函数，且每个子损失函数的不确定越大，所对应的权重系数越小。
本说明书实施例提供一种生物攻击检测装置，首先通过多模态图像获取模块获取用于进行生物攻击检测的多种模态图像，其次利用特征提取模块将多种模态图像输入预先训练的生物攻击检测模型中的特征提取子模型中，通过生物攻击检测模型中的特征提取子模型分别对多种模态图像进行特征提取，得到每种模态图像的图像特征，其中，生物攻击检测模型是根据多个检测对象的多种模态图像样本以及预设的损失函数进行模型训练得到的模型，预设的损失函数是基于不同模态图像之间的不确定性所构建的不确定加权损失函数，然后通过融合模块基于生物攻击检测模型中的注意力模块对每种模态图像的图像特征进行敏感区域增强，对敏感区域增强后的多种模态图像进行特征融合处理，得到融合后的多模态特征，最后基于检测结果确定模块，通过生物攻击检测模型对融合后的多模态特征进行特征增强处理，并基于特征增强后的多种模态图像的差异性确定多种模态图像对应的生物攻击检测结果。由于多种模态图像中携带有不同模态的图像信息，通过获取多种模态图像能够使生物攻击检测模型的表现力更好，从而更有利于识别出生物攻击，而且实际情况中攻击者很难同时获取到被攻击者的各种模态图像，因此采用多种模态图像能够提高生物识别链路的鲁棒性，且有利于提高攻击检测的可靠性、稳定性和准确性。在进行多模态融合处理时，首先基于注意力模块对每种模态图像的图像特征进行敏感区域增强后再进行特征融合处理，这种方式既有利于确保融合处理后的多模态特征能够呈现不同模态图像的差异性，又有利于提高特征融合的效率以及整个生物攻击检测的效率，从而对各种攻击对象实现高质量召回。通过对融合后的多模态特征进行特征增强处理，能够基于更优化的多模态特征进行生物攻击检测，从而提高生物攻击检测的效率和准确性。此外，由于本说明书实施例中的多种模态图像是基于同一个检测对象在同一时刻所拍摄的不同模态图像，基于特征增强后的多种模态图像的差异性能够快速而相对准确地确定多种模态图像对应的生物攻击检测结果，也有利于提高生物攻击检测效率以及检测结果的准确性。
本领域的技术人员应可理解，上述生物攻击检测装置能够用来实现前文所述的生物攻击检测方法，其中的细节描述应与前文方法部分描述类似，为避免繁琐，此处不另赘述。
基于同样的思路，本说明书一个或多个实施例还提供一种电子设备，如图6所示。电子设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器401和存储器402，存储器402中可以存储有一个或一个以上存储应用程序或数据。其中，存储器402可以是短暂存储或持久存储。存储在存储器402的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对电子设备中的一系列计算机可执行指令。更进一步地，处理器401可以设置为与存储器402通信，在电子设备上执行存储器402中的一系列计算机可执行指令。电子设备还可以包括一个或一个以上电源403，一个或一个以上有线或无线网络接口404，一个或一个以上输入输出接口405，一个或一个以上键盘406。
具体在本实施例中，电子设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对电子设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：
获取用于进行生物攻击检测的多种模态图像；
将多种模态图像输入预先训练的生物攻击检测模型中的特征提取子模型中，通过生物攻击检测模型中的特征提取子模型分别对多种模态图像进行特征提取，得到每种模态图像的图像特征，生物攻击检测模型是根据多个检测对象的多种模态图像样本以及预设的损失函数进行模型训练得到的模型，预设的损失函数是基于不同模态图像之间的不确定性所构建的不确定加权损失函数；
基于生物攻击检测模型中的注意力模块对每种模态图像的图像特征进行敏感区域增强，对敏感区域增强后的多种模态图像进行特征融合处理，得到融合后的多模态特征；
通过生物攻击检测模型对融合后的多模态特征进行特征增强处理，并基于特征增强后的多种模态图像的差异性确定多种模态图像对应的生物攻击检测结果。
本说明书一个或多个实施例提供一种存储介质，存储介质用于存储计算机可执行指令，可执行指令在被处理器执行时实现以下流程：
获取用于进行生物攻击检测的多种模态图像；
将多种模态图像输入预先训练的生物攻击检测模型中的特征提取子模型中，通过生物攻击检测模型中的特征提取子模型分别对多种模态图像进行特征提取，得到每种模态图像的图像特征，生物攻击检测模型是根据多个检测对象的多种模态图像样本以及预设的损失函数进行模型训练得到的模型，预设的损失函数是基于不同模态图像之间的不确定性所构建的不确定加权损失函数；
基于生物攻击检测模型中的注意力模块对每种模态图像的图像特征进行敏感区域增强，对敏感区域增强后的多种模态图像进行特征融合处理，得到融合后的多模态特征；
通过生物攻击检测模型对融合后的多模态特征进行特征增强处理，并基于特征增强后的多种模态图像的差异性确定多种模态图像对应的生物攻击检测结果。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device，PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书一个或多个实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书一个或多个实施例可提供为方法、系统、或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书一个或多个实施例是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(trans itory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书一个或多个实施例而已，并不用于限制本申请。对于本领域技术人员来说，本说明书一个或多个实施例可以有各种更改和变化。凡在本说明书一个或多个实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例的权利要求范围之内。

Claims (10)

1.一种生物攻击检测方法，包括：
获取用于进行生物攻击检测的多种模态图像；
将所述多种模态图像输入预先训练的生物攻击检测模型中的特征提取子模型中，通过所述生物攻击检测模型中的特征提取子模型分别对所述多种模态图像进行特征提取，得到每种模态图像的图像特征，所述生物攻击检测模型是根据多个检测对象的多种模态图像样本以及预设的损失函数进行模型训练得到的模型，所述预设的损失函数是基于不同模态图像之间的不确定性所构建的不确定加权损失函数；
基于所述生物攻击检测模型中的注意力模块对所述每种模态图像的图像特征进行敏感区域增强，对敏感区域增强后的多种模态图像进行特征融合处理，得到融合后的多模态特征；
通过所述生物攻击检测模型对所述融合后的多模态特征进行特征增强处理，并基于特征增强后的多种模态图像的差异性确定所述多种模态图像对应的生物攻击检测结果。
2.根据权利要求1所述的方法，所述多种模态图像包括：RGB图像、IR图像以及深度图像，所述RGB图像中包含检测对象的人脸区域和背景区域的纹理特征信息，所述IR图像中包含检测对象的人脸区域的信息，所述深度图像中包含检测对象的深度信息。
3.根据权利要求1所述的方法，所述生物攻击检测模型是基于ResNet卷积神经网络构建的分类模型，所述注意力模块是基于transformer神经网络结构构建的模块，所述特征提取子模型是基于第一resblock网络构建的子模型；
所述通过所述生物攻击检测模型对所述融合后的多模态特征进行特征增强处理，包括：
基于所述生物攻击检测模型中的第二resbock网络以及全局池化层，对所述融合后的多模态特征进行特征增强处理。
4.根据权利要求1所述的方法，在将所述多种模态图像中不同种类的模态图像依次输入所述特征提取子模型的过程中，所述多种模态图像中不同种类的模态图像之间进行权重共享。
5.根据权利要求1所述的方法，所述基于特征增强后的多种模态图像的差异性确定生物攻击检测结果，包括：
基于特征增强后的多种模态图像的差异性确定所述多种模态图像的差异值；
如果所述差异值大于预设的差异值阈值，判定所述多种模态图像对应的生物攻击检测结果为攻击。
6.根据权利要求1所述的方法，所述生物攻击检测模型的训练方法，包括：
获取不同检测对象的多种模态图像样本；
将所述多种模态图像样本输入生物攻击检测模型中的特征提取子模型中，通过所述生物攻击检测模型中的特征提取子模型分别对所述多种模态图像样本进行特征提取，得到每种模态图像样本的图像特征；
基于所述生物攻击检测模型中的注意力模块对所述每种模态图像样本的图像特征进行敏感区域增强，对敏感区域增强后的多种模态图像样本进行特征融合处理，得到融合后的多模态特征；
通过所述生物攻击检测模型对所述融合后的多模态特征进行特征增强处理，并基于特征增强后的多种模态图像样本和预设的损失函数，通过反向传播算法对所述生物攻击检测模型进行模型训练，得到训练后的生物攻击检测模型。
7.根据权利要求6所述的方法，所述预设的损失函数根据第一子损失函数、第二子损失函数、第三子损失函数以及每个子损失函数对应的权重系数确定，其中，所述第一子损失函数是RGB图像对应的损失函数，所述第二子损失函数是IR图像对应的损失函数，所述第三子损失函数是深度图像对应的损失函数，且每个子损失函数的不确定越大，所对应的权重系数越小。
8.根据权利要求1所述的方法，对敏感区域增强后的多种模态图像进行特征融合处理，得到融合后的多模态特征之前，所述方法还包括：
对敏感区域增强后的多种模态图像中的每种模态图像分别基于相应的模态图像对应的预设交叉熵损失函数进行优化处理，得到优化处理后的多种模态图像；
所述对敏感区域增强后的多种模态图像进行特征融合处理，得到融合后的多模态特征，包括：
对优化处理后的多种模态图像进行特征融合处理，得到融合后的多模态特征。
9.一种生物攻击检测装置，包括：
多模态图像获取模块，获取用于进行生物攻击检测的多种模态图像；
特征提取模块，将所述多种模态图像输入预先训练的生物攻击检测模型中的特征提取子模型中，通过所述生物攻击检测模型中的特征提取子模型分别对所述多种模态图像进行特征提取，得到每种模态图像的图像特征，所述生物攻击检测模型是根据多个检测对象的多种模态图像样本以及预设的损失函数进行模型训练得到的模型，所述预设的损失函数是基于不同模态图像之间的不确定性所构建的不确定加权损失函数；
融合模块，基于所述生物攻击检测模型中的注意力模块对所述每种模态图像的图像特征进行敏感区域增强，对敏感区域增强后的多种模态图像进行特征融合处理，得到融合后的多模态特征；
检测结果确定模块，通过所述生物攻击检测模型对所述融合后的多模态特征进行特征增强处理，并基于特征增强后的多种模态图像的差异性确定所述多种模态图像对应的生物攻击检测结果。
10.一种电子设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，在所述可执行指令被执行时，能够使得所述处理器：
获取用于进行生物攻击检测的多种模态图像；
将所述多种模态图像输入预先训练的生物攻击检测模型中的特征提取子模型中，通过所述生物攻击检测模型中的特征提取子模型分别对所述多种模态图像进行特征提取，得到每种模态图像的图像特征，所述生物攻击检测模型是根据多个检测对象的多种模态图像样本以及预设的损失函数进行模型训练得到的模型，所述预设的损失函数是基于不同模态图像之间的不确定性所构建的不确定加权损失函数；
基于所述生物攻击检测模型中的注意力模块对所述每种模态图像的图像特征进行敏感区域增强，对敏感区域增强后的多种模态图像进行特征融合处理，得到融合后的多模态特征；
通过所述生物攻击检测模型对所述融合后的多模态特征进行特征增强处理，并基于特征增强后的多种模态图像的差异性确定所述多种模态图像对应的生物攻击检测结果。
CN202311557564.0A 2023-11-21 2023-11-21 一种生物攻击检测方法、装置及电子设备 Pending CN117576794A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311557564.0A CN117576794A (zh) 2023-11-21 2023-11-21 一种生物攻击检测方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311557564.0A CN117576794A (zh) 2023-11-21 2023-11-21 一种生物攻击检测方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN117576794A true CN117576794A (zh) 2024-02-20

Family

ID=89893175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311557564.0A Pending CN117576794A (zh) 2023-11-21 2023-11-21 一种生物攻击检测方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN117576794A (zh)

Similar Documents

Publication Publication Date Title
KR102142232B1 (ko) 얼굴 라이브니스 검출 방법 및 장치, 그리고 전자 디바이스
US10817705B2 (en) Method, apparatus, and system for resource transfer
CN111489378B (zh) 视频帧特征提取方法、装置、计算机设备及存储介质
CN111324874B (zh) 一种证件真伪识别方法及装置
CN112800468B (zh) 一种基于隐私保护的数据处理方法、装置及设备
CN111126216A (zh) 风险检测方法、装置及设备
US20140126819A1 (en) Region of Interest Based Image Registration
CN108875519B (zh) 对象检测方法、装置和系统及存储介质
US20140232748A1 (en) Device, method and computer readable recording medium for operating the same
CN113139499A (zh) 一种基于轻量注意力卷积神经网络的步态识别方法和系统
CN111160251B (zh) 一种活体识别方法及装置
CN108665459A (zh) 一种图像模糊检测方法、计算设备及可读存储介质
CN117078962B (zh) 基于纹理采集的数据上链方法及装置
CN113642359B (zh) 人脸图像生成方法、装置、电子设备及存储介质
CN102467658A (zh) 一种笑脸识别方法、装置及移动终端
CN110598555B (zh) 一种图像的处理方法、装置及设备
CN117576794A (zh) 一种生物攻击检测方法、装置及电子设备
CN111753583A (zh) 一种识别方法及装置
CN115905913B (zh) 数字藏品的检测方法及装置
CN115495712B (zh) 数字作品处理方法及装置
KR102502034B1 (ko) 영상의 비 식별 처리 객체를 검색하는 방법 및 시스템
CN117576790A (zh) 一种生物攻击检测方法、装置及设备
CN116740826A (zh) 一种生物检测中的风险确定方法、装置及设备
CN117373091A (zh) 一种模型训练的方法、身份验证的方法及装置
Bondugula et al. Two-Stage Training for Improved Classification of Poorly Localized Object Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination