CN115273251A - 一种基于多模态的模型训练方法、装置以及设备 - Google Patents

一种基于多模态的模型训练方法、装置以及设备 Download PDF

Info

Publication number
CN115273251A
CN115273251A CN202210878259.0A CN202210878259A CN115273251A CN 115273251 A CN115273251 A CN 115273251A CN 202210878259 A CN202210878259 A CN 202210878259A CN 115273251 A CN115273251 A CN 115273251A
Authority
CN
China
Prior art keywords
confidence
mode
training
modal
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210878259.0A
Other languages
English (en)
Inventor
武文琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202210878259.0A priority Critical patent/CN115273251A/zh
Publication of CN115273251A publication Critical patent/CN115273251A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)

Abstract

本说明书实施例公开了一种基于多模态的模型训练方法、装置以及设备。通过获取训练样本，其中，所述训练样本包括N维的置信度标签；提取所述训练样本所包含的N个单模态特征，确定所述N个单模态特征所分别对应的N个置信度；融合所述N个置信度生成特征向量，初始模型根据所述特征向量生成对应于所述N个单模态的N维的预测置信度；确定所述预测置信度和所述置信度标签的多模态损失值，根据所述多模态损失值对所述初始模型进行训练，生成目标模型。从而实现有效的保留原始单模态活体检测能力，同时根据单模态的置信分训练高置信分模态组合，最后利用高质量的模态进行综合预测。

Description

一种基于多模态的模型训练方法、装置以及设备
技术领域
本说明书涉及互联网技术领域，尤其涉及一种基于多模态的模型训练方法、装置以及设备。
背景技术
在关于人脸的识别中，需要判断用户刷脸过程中是真人还是活体攻击。活体攻击的类型主要包括如照片、手机、屏幕、面具等攻击的技术。在体攻击检测中，不同的人脸采集设备具有不同的输入模态，包括诸如rgb、ir和3d等等。
而实践中由于每种模态的纹理差异性较大，并且不同模态的预处理方式不同，导致多模态在训练中融合时，各模态的先天差异性使得模型训练较难收敛，同时训练得到的模型在使用中也会出现检测精度难以满足需求的情形。
基于此，需要一种可以灵活自适应多模态的模型训练方案。
发明内容
本说明书一个或多个实施例提供一种基于多模态的模型训练方法、装置、设备以及存储介质，用以解决如下技术问题：需要一种可以灵活自适应多模态的模型训练方案。
为解决上述技术问题，本说明书一个或多个实施例是这样实现的：
在第一方面，本说明书实施例提供一种基于多模态的模型训练方法，应用于包含N个单模态的训练样本中，N为大于1的自然数，所述方法包括：获取训练样本，其中，所述训练样本包括N维的置信度标签；提取所述训练样本所包含的N个单模态特征，确定所述N个单模态特征所分别对应的N个置信度；融合所述N个置信度生成特征向量，初始模型根据所述特征向量生成对应于所述N个单模态的N维的预测置信度；确定所述预测置信度和所述置信度标签的多模态损失值，根据所述多模态损失值对所述初始模型进行训练，生成目标模型。
在第二方面，本说明书实施例提供一种基于多模态的活体攻击检测方法，包括：获取待识别图片；取所述待识别图片所包含的N个单模态特征，确定所述N个单模态所分别对应的N个置信度；融合所述N个置信度生成特征向量，目标模型根据所述特征向量生成对应于所述N个单模态的N维的预测置信度，其中，所述目标模型如第一方面所述的目标模型；根据所述预测置信度确定所采用的M个单模态特征的组合，其中，1≤M≤N；根据所述M个单模态特征的组合对所述待识别图像进行活体攻击识别。
在第三方面，与第一方面对应的，本说明书实施例提供一种基于多模态的模型训练装置，应用于包含N个单模态的训练样本中，N为大于1的自然数，所述装置包括：样本获取模块获取训练样本，其中，所述训练样本包括N维的置信度标签；第一特征提取模块，提取所述训练样本所包含的N个单模态特征，确定所述N个单模态特征所分别对应的N个置信度；第一融合模块，融合所述N个置信度生成特征向量，初始模型根据所述特征向量生成对应于所述N个单模态的N维的预测置信度；训练模块，确定所述预测置信度和所述置信度标签的多模态损失值，根据所述多模态损失值对所述初始模型进行训练，生成目标模型。
在第四方面，与第二方面对应的，本说明书实施例提供一种基于多模态的活体攻击检测装置，包括：图片获取模块，获取待识别图片；第二特征提取模块，提取所述待识别图片所包含的N个单模态特征，确定所述N个单模态所分别对应的N个置信度；第二融合所述N个置信度生成特征向量，目标模型根据所述特征向量生成对应于所述N个单模态的N维的预测置信度，其中，所述目标模型如第一方面所述的目标模型；模态组合确定模块，根据所述预测置信度确定所采用的M个单模态特征的组合，其中，1≤M≤N；识别模块，根据所述M个单模态特征的组合对所述待识别图像进行活体攻击识别。
在第五方面，本说明书实施例提供一种电子设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面或者第二方面所述的方法。
在第六方面，本说明书实施例提供一种非易失性计算机存储介质存储有计算机可执行指令，当计算机读取存储介质中的计算机可执行指令后，该指令使得一个或多个处理器执行如第一方面或者第二方面所述的方法。
本说明书一个或多个实施例采用的上述至少一个技术方案能够达到以下有益效果：通过获取训练样本，其中，所述训练样本包括N维的置信度标签；提取所述训练样本所包含的N个单模态特征，确定所述N个单模态特征所分别对应的N个置信度；融合所述N个置信度生成特征向量，初始模型根据所述特征向量生成对应于所述N个单模态的N维的预测置信度；确定所述预测置信度和所述置信度标签的多模态损失值，根据所述多模态损失值对所述初始模型进行训练，生成目标模型。从而实现有效的保留原始单模态活体检测能力，同时根据单模态的置信分训练高置信分模态组合，最后利用高质量的模态进行综合预测，在保留单模态活体检测能力的同时，还实现了多模态的灵活的自适应选择。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本说明书实施例提供的一种基于多模态的模型训练方法的流程示意图；
图2为本说明书实施例所提供的一种多个单模态模型分别确定对应的单模态的置信度的示意图；
图3为本说明书实施例所提供的一种基于多模态的活体攻击检测方法的流程示意图；
图4为本说明书实施例提供的一种基于多模态的模型训练装置的结构示意图；
图5为本说明书实施例提供的一种基于多模态的活体攻击检测装置的结构示意图；
图6为本说明书实施例提供的一种电子设备的结构示意图。
具体实施方式
本说明书实施例提供一种基于多模态的模型训练方法、装置、设备以及存储介质。
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
在人脸识别中，首先需要将人脸图像进行特征提取。通过不同的特征提取方式，可以提取得到不同维度上的特征图像，包括诸如RGB、IR和3D等不同的特征图像。这些不同的特征图像都从部分角度反映了输入的人脸图像的某种部分特征，因此，每一种特征图像都可以被称为一种单模态。相应的，多模态特征则是指的两个以及以上的单模态整合到一起所形成的特征图像，这种整合可以是组合也可以是融合。
例如，对于不同的单模态特征进行特征上的多模态融合方式可以有如下方式：第一种在前端直接进行图像层面叠加再端到端预测，第二种在特征层面对三种单模态进行融合，第三种为通过三种模态的损失函数累加进行，端到端优化。
然而由于各种单模态特征本身就存在先天上的结构上的差异，每种单模态的纹图像理差异性较大，因此，在融合中总是导致模型训练收敛困难。基于此，本说明书实施例提供一种可以灵活自适应多模态的模型训练方案。
如图1所示，图1为本说明书实施例提供的一种基于多模态的模型训练方法的流程示意图，包括以下步骤：
S101：获取训练样本，其中，所述训练样本包括N维的置信度标签。
训练样本即为已经标准了多个模态的可信程度的人脸图片。可信程度在置信度标签上通常可以通过相应的值来表征。置信度标签上每一个维度上的值即对应于一个单模态上的可信程度。
例如，假设训练样本有3个维度，那么可以给定置信度标签(0，1，1)来表征第一个维度所对应的单模态特征不可用，而第二个维度和第三个维度上所对应的单模态特征是可用的。
S103，提取所述训练样本所包含的N个单模态特征，确定所述N个单模态特征所分别对应的N个置信度。
可以采用预先训练得到的特征提取模块对训练样本进行特征提取。例如，可以预先训练N个单模态模型，每个单模态模型对于其所对应的单模态都有较好的识别率。这样的单模态模型中的特征提取模块就可以用来提取训练样本中的单模态特征。
如图2所示，图2为本说明书实施例所提供的一种多个单模态模型分别确定对应的单模态的置信度的示意图。每个单模态模型在提取得到相应的单模态特征之后，即可以对提取得到的单模态特征进行评估，并给出相应的置信度，给出的置信度表征了提取得到的单模态特征的可用程度，从而得到对应于N个单模态特征的N个置信度。
例如，当N＝3时，可以预先训练包括有RGB、IR和3D三个不同模态上的单模态识别模型，从而RGB单模态模型可以提取得到对应的RGB模态特征，并对RGB模态特征进行评估，给出相应的RGB模态特征的置信度。其余的两个维度上单模态特征的处理方法也类似。
S105，融合所述N个置信度生成特征向量，初始模型根据所述特征向量生成对应于所述N个单模态的N维的预测置信度。
如图2中所示，将N个单模态模型所给出的N个置信度进行融合，即可以得到相应的特征向量。例如，融合的方式可以是直接拼接，或者，融合的方式还可以是基于预设的权重分布参数加权融合所述N个置信度生成特征向量。
例如，当N＝3时，假设给出的各单模态特征的置信度为0.7、0.8和0.95，那么直接拼接即可以得到相应的特征向量为(0.7，0.8，0.95)；或者，还可以基于预设的权重分布参数对置信度进行加权，假设给定预设的权重分布参数(w1，w2，w3)，各单模态特征所对应的置信度为(a1，a2，a3)，则加权融合后的特征向量可以是(w1*a1，w2*a2，w3*a3)。通过给定预设的权重分布参数，可以通过增大某个维度上的权重值来突出对应的单模态特征，或者，降低某个维度上的权值，使得训练得到的目标模型更加符合实际情形。
初始模型即可以采用诸如卷积神经网络(Convolutional Neural Networks，CNN)以及KNN(K-nearest neighbors)、logistic回归、LDA(Linear discriminant analysis)、QDA(Quadratic discriminant analysis)等分类模型对于输入的特征向量进行分类预测，从而生成对应于所述N个单模态的N维的预测置信度。预测置信度上的每一个维度上的取值则表征了其对应的单模态特征的预测可信度。
S107，确定所述预测置信度和所述置信度标签的多模态损失值，根据所述多模态损失值对所述初始模型进行训练，生成目标模型。
如前所述，预测置信度和置信度标签的维度是相同的N维，各维度上的取值通常是包含浮点的取值。因此，可以采用诸如均方损失MSEloss函数来计算预测置信度和置信度标签的差异。由于预测置信度和置信度标签大小一致，MSEloss＝(xi-yi)^2，xi即为预测置信度中的第i个维度上的取值，yi即为置信度标签中的对应的第i个维度上的取值。
进而即可以采用诸如反向传播等方式基于前述的多模态损失值来对对所述初始模型中的参数进行调整，直至多模态损失值不超过预设阈值，此时，既可以认为预测置信度和置信度标签的差异已经可以接受，训练得到的目标模型已经可以对输入的训练样本中各单模态的优劣进行准确识别，例如，对于输入的训练样本中各单模态的优劣的识别准确率达到预设阈值即壳认为目标模型训练成功。
通过获取训练样本，其中，所述训练样本包括N维的置信度标签；提取所述训练样本所包含的N个单模态特征，确定所述N个单模态特征所分别对应的N个置信度；融合所述N个置信度生成特征向量，初始模型根据所述特征向量生成对应于所述N个单模态的N维的预测置信度；确定所述预测置信度和所述置信度标签的多模态损失值，根据所述多模态损失值对所述初始模型进行训练，生成目标模型。从而实现有效的保留原始单模态活体检测能力，同时根据单模态的置信分训练高置信分模态组合，最后利用高质量的模态进行综合预测，在保留单模态活体检测能力的同时，还实现了多模态的灵活的自适应选择。
在一种实施例中，对于融合所述N个置信度生成特征向量时，还可以获取有其它与所述置信度相关的其它图像特征，进而融合所述其它图像特征和所述N个置信度生成特征向量。例如，还可以引入诸如图像质量(与RGB模态特征相关)，人脸居中位置(与3D模态特征相关)等等。
在融合时，可以直接基于引入的特征的标签进行相应的拼接，以及，还可以基于引入的特征的标签值对相关特征进行置信度修正。
例如，假设一个N维的预测置信度向量为T＝(a1，a2，……，an)，现在引入一个新的第n+1维度的信息b(例如，可以是图像质量)。第n+1维度的信息与第一至第三维度上的单模态特征相关，其中，与第一维度是正相关，与第二和第三维度负相关。
此时，即可以基于预先给定的维度修正函数对第一至第三维度上的取值进行修正，假设对于第n+1维度的信息b而言，维度上的修正函数为f1、f2至fn。
那么在融合时可以首先基于第n+1维度的信息b和维度修正函数对于预测置信度向量中与其相关的维度上的值进行修正，得到维度修正后的预测置信度向量T’＝(f1(b)*a1，f2(b)*a2，f3(b)*a1，a4，……，an)，其中f1(b)即为维度修正函数f1中的变量取值为b时的取值，其余的f2(b)和f3(b)类似。进而，即可以拼接所述维度修正后的预测置信度向量T’和所述第n+1维度的信息b而得到特征向量(f1(b)*a1，f2(b)*a2，f3(b)*a1，a4，……，an，n)。
在有多个需要引入的其它维度的信息时，可以参照前述的修正方式，基于所引入的维度信息，依次对与所引入的维度信息相关的各单模态特征的置信分进行修正，再拼接而得到特征向量。
通过该该方式，可以融合更多维度的信息，从而辅助目标模型对于更高置信度的单模态特征的筛选。
在一种实施例中，根据所述多模态损失值对所述初始模型进行训练时，还可以融合前端预测所产生的损失值进行训练。即根据所述N个单模态特征的置信度与所述N维的置信度标签的差异确定N个单模态损失值；融合所述N个单模态损失值和所述多模态损失值生成目标损失值，根据所述目标损失值对所述初始模型进行训练。
例如，假设当N＝3时，置信度标签为(0,1,1)。3个单模态特征的置信度分别为0.7，0.8和0.95，这意味着在第一阶段预测各单模态特征的置信度时就已经与输入的标签存在了一定偏差。因此，即可以对于任意的第i单模态特征，基于单模态特征的置信度与标签上对应的第i维度上的差异而生成在第i个维度上的单模态损失值损失值Li，这个过程即可以生成相应的N个单模态损失值损失值。
进而即可以融合所述N个单模态损失值和所述多模态损失值生成目标损失值，并根据所述目标损失值对所述初始模型进行训练。例如，可以对N个单模态损失值的平均值和所述多模态损失值进行加权求和生成目标损失值，并进行模型训练。通过该方式，可以在训练过程中实现模型的前端和后端的同时优化。
在训练得到可用的目标模型之后，即可以基于训练得到的目标模型进行活体检测的识别。在第二方面，如图3所示，图3为本说明书实施例所提供的一种基于多模态的活体攻击检测方法的流程示意图，包括如下步骤：
S301，获取待识别图片。待识别图片中同样包含有如前所述的N个单模态特征。
S303，提取所述待识别图片所包含的N个单模态特征，确定所述N个单模态所分别对应的N个置信度。
这部分的架构如图2中类似，同样可以采用N个预先训练得到的单模态检测模型来提取得到待识别图片所包含的N个单模态特征，并且确定所述N个单模态所分别对应的N个置信度。可选的，所述的N个单模态检测模型还可以是与前述的目标模型同步训练得到的。
S305，融合所述N个置信度生成特征向量，目标模型根据所述特征向量生成对应于所述N个单模态的N维的预测置信度。
所述目标模型即为基于前述第一方面的方法所训练得到的目标模型。融合所述N个置信度生成特征向量的方式也与前述步骤S105中的相同。在这个过程中同样也可以融合与所述置信度相关的其它图像特征以提高最终识别的准确率。
S307，根据所述预测置信度确定所采用的M个单模态特征的组合，其中，1≤M≤N。
目标模型即可以基于预测得到的预测置信度进行分类，从而得到单模态特征的组合。例如，当目标模型是CNN模型时，即可以采用全连接层连接所述预测置信度输出对于各单模态特征的评估值，并将评估值高于预设值的M个单模态确定为最终所采用的M个单模态特征的组合。当目标模型是KNN、logistic回归、LDA以及QDA等分类模型时，即可以直接将输入的预测置信度分类至某个类别，该类别对应的即为M个单模态特征的组合。当M＝1时，所谓的M个单模态特征的组合实际上即为单模态。
S309，根据所述M个单模态特征的组合对所述待识别图像进行活体攻击识别。
这个过程中，当M小于N时，实际上即为直接舍弃了部分可用程度较低的单模态特征，而仅采用其他部分可用程度较高的单模态特征。例如，当N＝3时，若单模态特征为rgb、ir和3d活体特征，而最终由目标模型确定的单模态特征的组合为ir和3d活体特征，那么在后续的识别过程中，rgb特征将被直接舍弃，而仅采用ir和3d活体特征进行后续的特征融合以及识别，而最终生成识别结果。
在这个过程中，通过预先训练得到的目标模型确定高置信分模态或高置信分模态组合，从而实现自适应的确定用于活体攻击检测的模态，从而避免低质量模态对于最终的活体攻击预测产生副作用，实现多模态活体预测中的对于模态的自适应选择。
基于同样的思路，本说明书一个或多个实施例还提供了上述方法对应的装置和设备，
在第三方面，如图4所示，图4为本说明书实施例提供的一种基于多模态的模型训练装置的结构示意图，应用于包含N个单模态的训练样本中，N为大于1的自然数，所述装置包括：
样本获取模块401，获取训练样本，其中，所述训练样本包括N维的置信度标签；
第一特征提取模块403，提取所述训练样本所包含的N个单模态特征，确定所述N个单模态特征所分别对应的N个置信度；
第一融合模块405，融合所述N个置信度生成特征向量，初始模型根据所述特征向量生成对应于所述N个单模态的N维的预测置信度；
训练模块407，确定所述预测置信度和所述置信度标签的多模态损失值，根据所述多模态损失值对所述初始模型进行训练，生成目标模型。
可选地，第一特征提取模块403，所述采用与所述N个单模态特征所对应的的N个单模态攻击检测模型分别确定所述N个单模态的置信度。
可选地，所述第一融合模块405，拼接所述N个置信度生成特征向量；或者，基于预设的权重分布参数加权融合所述N个置信度生成特征向量。
可选地，所述第一融合模块405，获取与所述置信度相关的其它图像特征；融合所述其它图像特征和所述N个置信度生成特征向量。
可选地，所述训练模块407，根据所述N个单模态特征的置信度与所述N维的置信度标签的差异确定N个单模态损失值；融合所述N个单模态损失值和所述多模态损失值生成目标损失值，根据所述目标损失值对所述初始模型进行训练。
可选地，在所述装置中，所述N个单模态特征包括rgb模态特征、ir模态特征和3d活体模态特征中的至少两种。
在第四方面，如图5所示，图5为本说明书实施例提供的一种基于多模态的活体攻击检测装置的结构示意图，包括：
图片获取模块501，获取待识别图片；
第二特征提取模块503，提取所述待识别图片所包含的N个单模态特征，确定所述N个单模态所分别对应的N个置信度；
第二融合模块505，所述N个置信度生成特征向量，目标模型根据所述特征向量生成对应于所述N个单模态的N维的预测置信度，其中，所述目标模型如第一方面所述的目标模型；
模态组合确定模块507，根据所述预测置信度确定所采用的M个单模态特征的组合，其中，1≤M≤N；
识别模块509，根据所述M个单模态特征的组合对所述待识别图像进行活体攻击识别。
在第五方面，如图6所示，图6为本说明书实施例提供的一种电子设备的结构示意图，所述设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面或者第二方面所述的方法。
在第六方面，基于同样的思路，本说明书实施例还提供了对应于上述方法的一种非易失性计算机存储介质，存储有计算机可执行指令，当计算机读取存储介质中的计算机可执行指令后，该指令使得一个或多个处理器执行如第一方面或者第二方面所述的方法。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书实施例可提供为方法、系统、或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备、非易失性计算机存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
以上所述仅为本说明书的一个或多个实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书的一个或多个实施例可以有各种更改和变化。凡在本说明书的一个或多个实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (10)

1.一种基于多模态的模型训练方法，应用于包含N个单模态的训练样本中，N为大于1的自然数，所述方法包括：
获取训练样本，其中，所述训练样本包括N维的置信度标签；
提取所述训练样本所包含的N个单模态特征，确定所述N个单模态特征所分别对应的N个置信度；
融合所述N个置信度生成特征向量，初始模型根据所述特征向量生成对应于所述N个单模态的N维的预测置信度；
确定所述预测置信度和所述置信度标签的多模态损失值，根据所述多模态损失值对所述初始模型进行训练，生成目标模型。
2.如权利要求1所述的方法，其中，确定所述N个单模态特征所分别对应的N个置信度，包括：
采用与所述N个单模态特征所对应的的N个单模态攻击检测模型分别确定所述N个单模态的置信度。
3.如权利要求1所述的方法，其中，融合所述N个置信度生成特征向量，包括：
拼接所述N个置信度生成特征向量；或者，
基于预设的权重分布参数加权融合所述N个置信度生成特征向量。
4.如权利要求1所述的方法，其中，融合所述N个置信度生成特征向量，包括：
获取与所述置信度相关的其它图像特征；
融合所述其它图像特征和所述N个置信度生成特征向量。
5.如权利要求2所述的方法，其中，根据所述多模态损失值对所述初始模型进行训练，包括：
根据所述N个单模态特征的置信度与所述N维的置信度标签的差异确定N个单模态损失值；
融合所述N个单模态损失值和所述多模态损失值生成目标损失值，根据所述目标损失值对所述初始模型进行训练。
6.如权利要求1所述的方法，其中，所述N个单模态特征包括rgb模态特征、ir模态特征和3d活体模态特征中的至少两种。
7.一种基于多模态的活体攻击检测方法，包括：
获取待识别图片；
提取所述待识别图片所包含的N个单模态特征，确定所述N个单模态所分别对应的N个置信度；
融合所述N个置信度生成特征向量，目标模型根据所述特征向量生成对应于所述N个单模态的N维的预测置信度，其中，所述目标模型如权利要求1至6任一项所述的目标模型；
根据所述预测置信度确定所采用的M个单模态特征的组合，其中，1≤M≤N；
根据所述M个单模态特征的组合对所述待识别图像进行活体攻击识别。
8.一种基于多模态的模型训练装置，应用于包含N个单模态的训练样本中，N为大于1的自然数，所述装置包括：
样本获取模块，获取训练样本，其中，所述训练样本包括N维的置信度标签；
第一特征提取模块，提取所述训练样本所包含的N个单模态特征，确定所述N个单模态特征所分别对应的N个置信度；
第一融合模块，融合所述N个置信度生成特征向量，初始模型根据所述特征向量生成对应于所述N个单模态的N维的预测置信度；
训练模块，确定所述预测置信度和所述置信度标签的多模态损失值，根据所述多模态损失值对所述初始模型进行训练，生成目标模型。
9.一种基于多模态的活体攻击检测装置，包括：
图片获取模块，获取待识别图片；
第二特征提取模块，提取所述待识别图片所包含的N个单模态特征，确定所述N个单模态所分别对应的N个置信度；
第二融合模块，融合所述N个置信度生成特征向量，目标模型根据所述特征向量生成对应于所述N个单模态的N维的预测置信度，其中，所述目标模型如权利要求1至6任一项所述的目标模型；
模态组合确定模块，根据所述预测置信度确定所采用的M个单模态特征的组合，其中，1≤M≤N；
识别模块，根据所述M个单模态特征的组合对所述待识别图像进行活体攻击识别。
10.一种电子设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7任一项所述的方法。
CN202210878259.0A 2022-07-25 2022-07-25 一种基于多模态的模型训练方法、装置以及设备 Pending CN115273251A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210878259.0A CN115273251A (zh) 2022-07-25 2022-07-25 一种基于多模态的模型训练方法、装置以及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210878259.0A CN115273251A (zh) 2022-07-25 2022-07-25 一种基于多模态的模型训练方法、装置以及设备

Publications (1)

Publication Number Publication Date
CN115273251A true CN115273251A (zh) 2022-11-01

Family

ID=83769262

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210878259.0A Pending CN115273251A (zh) 2022-07-25 2022-07-25 一种基于多模态的模型训练方法、装置以及设备

Country Status (1)

Country Link
CN (1) CN115273251A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115828162A (zh) * 2023-02-08 2023-03-21 支付宝(杭州)信息技术有限公司 一种分类模型训练的方法、装置、存储介质及电子设备
CN117746518A (zh) * 2024-02-19 2024-03-22 河海大学 一种多模态特征融合和分类的方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115828162A (zh) * 2023-02-08 2023-03-21 支付宝(杭州)信息技术有限公司 一种分类模型训练的方法、装置、存储介质及电子设备
CN117746518A (zh) * 2024-02-19 2024-03-22 河海大学 一种多模态特征融合和分类的方法
CN117746518B (zh) * 2024-02-19 2024-05-31 河海大学 一种多模态特征融合和分类的方法

Similar Documents

Publication Publication Date Title
CN107358157B (zh) 一种人脸活体检测方法、装置以及电子设备
CN108170667B (zh) 词向量处理方法、装置以及设备
CN115273251A (zh) 一种基于多模态的模型训练方法、装置以及设备
CN111563551A (zh) 一种多模态信息融合方法、装置及电子设备
TW202011280A (zh) 操作搜索框架系統之方法
CN116884391B (zh) 基于扩散模型的多模态融合音频生成方法及装置
CN112308113A (zh) 一种基于半监督的目标识别方法、设备及介质
CN110728147B (zh) 一种模型训练方法及命名实体识别方法
CN116205290A (zh) 一种基于中间特征知识融合的知识蒸馏方法和装置
CN116630480B (zh) 一种交互式文本驱动图像编辑的方法、装置和电子设备
WO2023208134A1 (zh) 图像处理方法及模型生成方法、装置、车辆、存储介质及计算机程序产品
CN117036829A (zh) 一种基于原型学习实现标签增强的叶片细粒度识别方法和系统
CN115018059B (zh) 数据处理方法及装置、神经网络模型、设备、介质
CN115797948A (zh) 一种文字识别方法、装置及设备
CN112949642B (zh) 一种文字生成方法、装置、存储介质及电子设备
CN115600090A (zh) 一种模型的所有权验证方法、装置、存储介质及电子设备
CN114997277A (zh) 一种模型训练的方法、任务执行的方法及装置
CN111539520A (zh) 增强深度学习模型鲁棒性的方法及装置
CN110929871A (zh) 博弈决策方法和系统
CN113887326B (zh) 一种人脸图像处理方法及装置
CN116451808B (zh) 一种模型训练的方法、装置、存储介质及电子设备
CN115017915B (zh) 一种模型训练、任务执行的方法及装置
CN114065768B (zh) 特征融合模型的训练、文本处理方法及装置
CN115512446A (zh) 一种活体攻击检测模型的训练方法、装置、设备及介质
CN116434787B (zh) 一种语音情感识别的方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination