CN116052286A - 活体检测模型的训练方法、活体检测方法及相关设备 - Google Patents

活体检测模型的训练方法、活体检测方法及相关设备 Download PDF

Info

Publication number
CN116052286A
CN116052286A CN202310014613.XA CN202310014613A CN116052286A CN 116052286 A CN116052286 A CN 116052286A CN 202310014613 A CN202310014613 A CN 202310014613A CN 116052286 A CN116052286 A CN 116052286A
Authority
CN
China
Prior art keywords
living body
feature
modal
cross
supervision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310014613.XA
Other languages
English (en)
Inventor
李永凯
王宁波
郝敬松
朱树磊
殷俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202310014613.XA priority Critical patent/CN116052286A/zh
Publication of CN116052286A publication Critical patent/CN116052286A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种活体检测模型的训练方法、活体检测方法、电子设备及计算机可读存储介质。该训练方法包括：获取训练图像对，训练图像对包括第一模态图像和第二模态图像；利用活体检测模型的第一特征提取分支对第一模态图像特征提取，得到第一特征，第一特征包括第一跨模态监督特征；利用活体检测模型的第二特征提取分支对第二模态图像进行特征提取，得到第二特征，第二特征包括第二跨模态监督特征；基于第一跨模态监督特征和第二跨模态监督特征构建跨模态监督损失；至少基于跨模态监督损失调整活体检测模型的参数。通过上述方式，能够提高活体检测模型提取的特征对活体类别的表达能力、在应用阶段活体检测时基于特征得到的活体判别结果的准确度。

Description

活体检测模型的训练方法、活体检测方法及相关设备
技术领域
本申请涉及目标识别技术领域，特别是涉及一种活体检测模型的训练方法、活体检测方法、电子设备及计算机可读存储介质。
背景技术
目标识别技术可以应用于闸机门禁、上班考勤机、手机刷脸支付等诸多领域。目标识别技术的一般流程为，获取目标的图像，基于目标的图像进行识别。但是目标识别技术具有伪装目标进行攻击的风险，即获取的目标的图像不是对真实目标(活体)拍摄得到的图像，而是对伪装目标(非活体)拍摄得到的图像，伪装目标例如是目标的纸质照片、目标的电子图像、三维模具等等。
基于此，需要在目标识别过程中对目标的图像进行活体检测，以确定目标是否为活体。但是，现有技术中的活体检测方法，得到的活体判别结果不够准确。
发明内容
本申请提供一种活体检测模型的训练方法、活体检测方法、电子设备及计算机可读存储介质，能够解决现有技术中的活体检测方法，得到的活体判别结果不够准确的问题。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种活体检测模型的训练方法。该方法包括：获取训练图像对，训练图像对包括第一模态图像和第二模态图像，第一模态图像和第二模态图像来自同一活体类别的训练对象；利用活体检测模型的第一特征提取分支对第一模态图像特征提取，得到第一特征，第一特征包括第一跨模态监督特征；利用活体检测模型的第二特征提取分支对第二模态图像进行特征提取，得到第二特征，第二特征包括第二跨模态监督特征；基于第一跨模态监督特征和第二跨模态监督特征构建跨模态监督损失；至少基于跨模态监督损失调整活体检测模型的参数。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种活体检测方法。该方法包括：获取待检测对象的图像，待检测对象的图像包括第一模态和/或第二模态的待检测图像；利用活体检测模型对待检测对象的图像进行特征提取，得到活体判别特征；基于活体判别特征得到待检测对象的活体判别结果；其中，活体检测模型是通过如前所述的训练方法训练得到的。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种电子设备，该电子设备包括处理器、与处理器连接的存储器，其中，存储器存储有程序指令；处理器用于执行存储器存储的程序指令以实现上述方法。
为解决上述技术问题，本申请采用的又一个技术方案是：提供一种计算机可读存储介质，存储有程序指令，该程序指令被执行时能够实现上述方法。
通过上述方式，本申请获取训练图像对，训练图像对包括来自同一活体类别的训练对象的第一模态图像和第二模态图像；利用活体检测模型的第一特征提取分支对第一模态图像特征提取，得到第一跨模态监督特征；利用活体检测模型的第二特征提取分支对第二模态图像进行特征提取，得到第二跨模态监督特征；基于第一跨模态监督特征和第二跨模态监督特征构建跨模态监督损失，基于跨模态监督损失调整活体检测模型的参数。由于第一模态图像和第二模态图像包含了不同模态下同一活体类别的训练对象的信息，因此利用跨模态监督损失对活体检测模型的训练，能够使得第一特征提取分支和第二特征提取分支的特征提取过程跨模态相互监督，以实现第一特征提取分支和第二特征提取分支提取到的特征之间信息的相互补充和增强，从而，提高活体检测模型提取的特征对活体类别的表达能力，提高应用阶段活体检测时依据特征得到的活体判别结果的准确度。
附图说明
图1是本申请活体检测模型的训练方法一实施例的流程示意图；
图2是本申请活体检测模型的训练方法另一实施例的流程示意图；
图3是活体检测模型的训练结构示意图；
图4是中心差分卷积的示意图；
图5是本申请活体检测方法一实施例的流程示意图；
图6是本申请电子设备一实施例的结构示意图；
图7是本申请计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，“若干”的含义是一个或多个，除非另有明确具体的限定。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，在不冲突的情况下，本文所描述的实施例可以与其它实施例相结合。
图1是本申请活体检测模型的训练方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图1所示的流程顺序为限。如图1所示，本实施例可以包括：
S11：获取训练图像对。
训练图像对包括第一模态图像和第二模态图像，第一模态图像和第二模态图像来自同一活体类别的训练对象。
本申请训练方法实施例的执行主体为训练设备，训练设备可以是电脑、手机、服务器等形式的电子设备。
训练对象可以是活体，如人或者动物(如狗)、人或者动物的脸部；训练对象也可以是非活体，如伪装活体的纸质照片、电子图像、三维模具等等。可供活体检测的图像模态包括但不限于近红外模态、可见光模态、深度模态。第一模态图像所属第一模态可以是近红外模态、可见光模态、深度模态中的一种，第二模态图像所属第二模态可以是近红外模态、可见光模态、深度模态中的一种。例如，第一模态图像是可见光图像，第二模态图像是近红外图像。第一模态和第二模态不同，第一模态和第二模态是相对来说的，可以根据实际需求对调。
用于对活体检测模型训练的训练图像对有多个，同一训练图像对中的第一模态图像和第二模态图像来自同一活体类别的训练对象。活体类别包括活体和非活体，同一活体类别的训练对象可以进一步分为同一活体类别、同一ID的训练对象和同一活体类别、不同ID的训练对象。如果第一模态图像和第二模态图像来自同一活体类别、同一ID的训练对象，那么第一模态图像和第二模态图像可以是同一时刻拍摄到的，也可以是不同时刻拍摄到的。至少两个训练图像对来自不同活体类别的训练对象。为了简化描述，本申请实施例仅以一个训练图像对进行说明。
在一些实施例中，训练图像对还可以包括表征训练对象的真实活体类别的活体标签，具体取决于训练需求。
S12：利用活体检测模型的第一特征提取分支对第一模态图像特征提取，得到第一特征。
第一特征包括第一跨模态监督特征。
第一跨模态监督特征可以用于第一模态图像的跨模态监督的训练任务。第一跨模态监督特征可以包括第一模态的监督特征和/或第一模态的被监督特征中的至少一者。在一些实施例中，第一模态的被监督特征为频域特征，第一模态的监督特征为卷积特征。
S13：利用活体检测模型的第二特征提取分支对第二模态图像进行特征提取，得到第二特征。
第二特征包括第二跨模态监督特征。
第二跨模态监督特征可以用于第二模态图像的跨模态监督的训练任务。第二跨模态监督特征可以包括第二模态的监督特征和/或第二模态的被监督特征。在一些实施例中，第二模态的监督特征和第二模态的被监督特征均为卷积特征。
S14：基于第一跨模态监督特征和第二跨模态监督特征构建跨模态监督损失。
跨模态监督损失可以但不限于是L2回归损失。
跨模态监督损失可以包括第一特征提取分支对应的跨模态监督损失和/或第二特征提取分支对应的跨模态监督损失。可以基于第一模态的被监督特征与第二模态的监督特征，构建第一特征提取分支对应的跨模态监督损失，基于第一模态的监督特征与第二模态的被监督特征，构建第二特征提取分支对应的跨模态监督损失。
在一些实施例中，第一模态的监督特征为频域特征的情况下，S14可以包括：将第二模态的被监督特征转换至频域；基于第一模态的监督特征与经转换的第二模态的被监督特征之间的差异，构建第二特征提取分支对应的跨模态监督损失。
在一些实施例中，S14可以包括：将第一模态的被监督特征从第一模态翻译成第二模态；基于经翻译的第一模态的被监督特征与第二模态的监督特征之间的差异，构建第一特征提取分支对应的跨模态监督损失。
S15：至少基于跨模态监督损失调整活体检测模型的参数。
可以基于第一特征提取分支对应的跨模态监督损失调整第一特征提取分支的参数，基于第二特征提取分支对应的跨模态监督损失调整第二特征提取分支的参数。
通过本实施例的实施，本申请获取训练图像对，训练图像对包括来自同一活体类别的训练对象的第一模态图像和第二模态图像；利用活体检测模型的第一特征提取分支对第一模态图像特征提取，得到第一跨模态监督特征；利用活体检测模型的第二特征提取分支对第二模态图像进行特征提取，得到第二跨模态监督特征；基于第一跨模态监督特征和第二跨模态监督特征构建跨模态监督损失，基于跨模态监督损失调整活体检测模型的参数。由于第一模态图像和第二模态图像包含了不同模态下同一活体类别的训练对象的信息，因此利用跨模态监督损失对活体检测模型的训练，能够使得第一特征提取分支和第二特征提取分支的特征提取过程跨模态相互监督，以实现第一特征提取分支和第二特征提取分支提取到的特征之间信息的相互补充和增强，从而，提高活体检测模型提取的特征对活体类别的表达能力，进而提高应用阶段活体检测时依据特征得到的活体判别结果的准确度。
进一步地，在一些实施例中，第一跨模态监督特征还可以用于训练对象的活体判别的训练任务等等。在一些实施例中，第一特征还可以包括第一活体判别特征，第一跨模态监督特征专注于跨模态监督的训练任务，第一活体判别特征应用于活体判别的训练任务。
在一些实施例中，第一特征提取分支可以包括至少两个单独的第一特征提取子分支，这里提及的“单独”是指不共享网络层，第一特征提取子分支可以包括若干第一特征提取层，第一特征提取子分支各个第一特征提取层依序连接，后一个第一特征提取层在前一个第一特征提取层的基础上进行特征提取。第一特征中不同的特征可以由不同的第一特征提取子分支或者不同的第一特征提取层提取得到。示例性地，第一跨模态监督特征中第一模态的被监督特征、第一活体判别特征由同一第一特征提取子分支提取得到，第一跨模态监督特征中第一模态的监督特征和第一模态的被监督特征由不同的第一特征提取子分支提取得到。第一活体判别特征和第一模态的被监督特征的提取顺序不受限，即第一模态的被监督特征可以在第一活体判别特征之前提取(或者说第一活体判别特征在第一模态的被监督特征的基础上提取得到)，也可以在第一活体判别特征之后提取(或者说第一模态的被监督特征在第一活体判别特征的基础上提取得到)。在第一模态的监督特征为频域特征的情况下，相应的第一特征提取子分支可以通过傅里叶变换等等方式提取频域特征，例如可以对第一模态图像进行插值后下采样，也可以是先进行LBP或Hog特征提取之后再下采样，对下采样结果进行傅里叶变换得到频域特征。第一模态的被监督特征、第一活体判别特征为卷积特征的情况下，相应的第一特征提取子分支的结构可以是VGG、ResNet等。
在一些实施例中，第二跨模态监督特征还可以用于训练对象的活体判别的训练任务等等。在一些实施例中，第二特征还可以包括第二活体判别特征，第二跨模态监督特征专注于跨模态监督的训练任务，第二活体判别特征应用于活体判别的训练任务。
在一些实施例中，第二特征提取分支可以包括依序连接的若干第二特征提取层，第二特征中不同的特征由不同的第二特征提取层提取得到。示例性地，第二跨模态监督特征包括第二模态的监督特征和第二模态的被监督特征，第二模态的被监督特征、第二模态的监督特征、第二活体判别特征分别由不同的第二特征提取层提取得到。
基于此，可以在前述实施例的基础上进行如下扩展：
图2是本申请活体检测模型的训练方法另一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图2所示的流程顺序为限。本实施例中S21～S23是S15之前可以包括的步骤，S24是对S15的进一步扩展，在本实施例中不对上述实施例重复的内容赘述。第一特征还包括第一活体判别特征，第二特征还包括第二活体判别特征，训练图像对还包括表征训练对象的真实活体类别的活体标签。如图2所示，本实施例可以包括：
S21：对第一活体判别特征与第二活体判别特征进行融合，得到活体判别特征。
第一跨模态监督特征与第一活体判别特征可以是同一特征，也可以是由第一特征提取分支的不同第一特征提取子分支提取到的，也可以是由第一特征提取子分支的不同第一特征提取层提取到的。第二跨模态监督特征与第二活体判别特征同理。融合的方式包括但不限于相乘、相加。
S22：基于活体判别特征对训练对象进行活体判别，得到训练对象的活体判别结果。
活体判别结果表征训练对象的预测活体类别，与活体标签格式一致。具体来说，活体判别结果可以包括训练对象为活体的概率和不为活体的概率，若为活体的概率大于不为活体的概率，则表征训练对象的预测活体类别为活体，否则表征训练对象的预测活体类别为非活体。
S23：基于活体判别结果与活体标签之间的差异构建活体判别损失。
S24：基于活体判别损失与跨模态监督损失调整活体检测模型的参数。
通过活体判别的训练任务(活体判别损失)与跨模态监督的训练任务(跨模态监督损失)对活体检测模型的训练可以同步进行，也可以分阶段进行，先后顺序不受限。例如，同步进行的情况下，可以对活体判别损失与跨模态监督损失加权，基于加权结果调整活体检测模型的参数，活体判别损失的权重与模态监督特征损失的权重可以相同也可以不同，例如活体判别损失的权重更大。又如，分阶段进行的情况下，可以基于跨模态监督损失调整活体检测模型的参数，以得到满足跨模态监督条件的活体检测模型；基于活体判别损失调整满足跨模态监督条件的活体检测模型的参数，得到满足跨模态监督条件和活体判别条件的活体检测模型。活体判别条件、跨模态监督条件可以包括但不限于训练次数达到预期、训练时间达到预期、训练效果得到预期。
区别于其他实施例，本实施例中结合两种不同模态图像的特征中的信息进行活体判别，并依据活体判别结果构建活体判别损失，基于活体判别损失实现对活体检测模型的训练，能够进一步提高活体检测模型提取的特征对活体类别的表达能力，进一步提高应用阶段活体检测时依据特征得到的活体判别结果的准确度。
如下以一个例子的形式对本申请提供的训练方法进行说明：
结合参阅图3，图3是活体检测模型的训练结构示意图，如图3所示，活体检测模型包括第一特征提取分支、第二特征提取分支、翻译层、转换层和活体判别器。第一特征提取分支包括两个单独的第一特征提取子分支，分别是频域特征提取子分支和卷积特征提取子分支，卷积特征提取子分支包括若干第一卷积特征提取层M1i，第二特征提取分支包括若干第二卷积特征提取层M2i。
1)获取训练图像对，包括来自同一人脸的可见光图像和近红外图像、人脸的活体标签，第一模态为可见光模态，第二模态为近红外模态。
2)将可见光图像分别输入第一特征提取分支包括的频域特征提取子分支和卷积特征提取子分支，将近红外图像输入第二特征提取分支。
3)第一特征提取分支的处理：频域特征提取子分支提取得到可见光图像的频域特征(第一模态的监督特征)；卷积特征提取子分支的M11对可见光图像处理，输出为第一模态的被监督特征；接着M12继续对第一模态的被监督特征处理，输出为第一活体判别特征。示例性地，M11包括基础特征提取层和较高级特征提取层，基础特征提取层可以利用中心差分卷积对可见光图像进行处理，得到细粒度特征，较高级特征提取层可以对细粒度特征处理，得到第一模态的被监督特征。中心差分卷积的处理实例参阅图4。
4)第二特征提取分支的处理：M21对近红外图像处理，输出为一第二模态的被监督特征；接着M22继续对该第二模态的监督特征处理，输出为第二模态的监督特征；接着M23对第二模态的监督特征处理，输出为第二活体判别特征。M21的网络结构可以与M11类似。
5)翻译层的处理：将第一模态的被监督特征从第一模态翻译成第二模态，得到经翻译的第一模态的被监督特征。
6)转换层的处理：将第二模态的被监督特征转换至频域，得到经转换的第二模态的被监督特征。
7)基于第一模态的监督特征与经转换的第二模态的被监督特征之间的差异，构建第二特征提取分支对应的跨模态监督损失；基于经翻译的第一模态的被监督特征与第二模态的监督特征之间的差异，构建第一特征提取分支对应的跨模态监督损失。具体依据的公式可以如下：
Figure BDA0004039697620000091
Figure BDA0004039697620000092
其中，LGD1、LGD2分别表示第二特征提取分支、第一特征提取分支对应的跨模态监督损失，n表示维度总数，
Figure BDA0004039697620000093
表示经转换的第二模态的被监督特征的第j维，
Figure BDA0004039697620000101
表示第一模态的监督特征的第j维，
Figure BDA0004039697620000102
表示经翻译的第一模态的被监督特征的第j维，
Figure BDA0004039697620000103
表示第二模态的监督特征的第j维。
8)对第一活体判别特征和第二活体判别特征进行融合，得到活体判别特征，活体判别器基于活体判别特征得到活体判别结果；基于活体判别结果与活体标签之间的差异，构建活体判别损失。具体依据的公式可以如下：
Figure BDA0004039697620000104
其中，Lcls表示活体判别损失，C表示活体类别总数，
Figure BDA0004039697620000105
表示活体标签中第j个活体类别的概率，pj表示活体判别结果中第j个活体类别的概率。
9)对各个损失加权，得到活体检测模型的最终损失；基于最终损失调整活体检测模型的参数。最终损失具体依据的公式可以如下：
Lall＝γ1LGD1+γ2LGD2+γ3Lcls；
其中，γ1、γ2、γ3可根据需求设置。例如设置γ1、γ2为0.4，γ3为0.6。
需要说明的是，在一些实施例中，可以适应性增加训练图像对中模态数量，即将训练图像对扩展为训练图像组，训练图像组中包括至少三个模态的图像。相应地，可以适应性增加活体检测模型的特征提取分支，即活体检测模型包括至少三个特征提取分支。增加之后的处理可以根据两个模态的情况推导得出，在此不赘述。
通过上述任一实施例训练得到的活体检测模型可以用于活体检测方法。具体可以如下：
图5是本申请活体检测方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图5所示的流程顺序为限。如图5所示，本实施例可以包括：
S31：获取待检测对象的图像。
待检测对象的图像包括第一模态和/或第二模态的待检测图像。
本申请活体检测方法实施例的执行主体为应用设备，应用设备可以是电脑、手机、服务器等形式的电子设备。
S32：利用活体检测模型对待检测对象的图像进行特征提取，得到活体判别特征。
活体判别特征包括待检测对象的第一活体判别特征和/或第二活体判别特征。第一活体判别特征可以由第一特征提取分支对第一模态的待检测图像进行特征提取得到，第二活体判别特征可以由第二特征提取分支对第二模态的待检测图像进行特征提取得到。
S33：基于活体判别特征得到待检测对象的活体判别结果。
在活体判别特征包括第一活体判别特征和第二活体判别特征的情况下，可以对第一活体判别特征和第二活体判别特征融合，对融合结果进行活体判别得到活体判别结果。
本实施例其他详细描述参考前面实施例，在此不赘述。
通过本实施例的实施，由于活体检测模型是通过前面实施例训练方法训练得到的，因此活体检测模型提取到的活体判别特征的表达能力强、准确度高，基于此得到的活体判别结果准确度高。
图6是本申请电子设备一实施例的结构示意图。如图6所示，该电子设备包括处理器21、与处理器21耦接的存储器22。
其中，存储器22存储有用于实现上述任一实施例的方法的程序指令；处理器21用于执行存储器22存储的程序指令以实现上述方法实施例的步骤。其中，处理器21还可以称为CPU(Central Processing Unit，中央处理单元)。处理器21可能是一种集成电路芯片，具有信号的处理能力。处理器21还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本实施例中，电子设备可以是前述提及的训练设备或者应用设备。
图7是本申请计算机可读存储介质一实施例的结构示意图。如图7所示，本申请实施例的计算机可读存储介质30存储有程序指令31，该程序指令31被执行时实现本申请上述实施例提供的方法。其中，该程序指令31可以形成程序文件以软件产品的形式存储在上述计算机可读存储介质30中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的计算机可读存储介质30包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种活体检测模型的训练方法，其特征在于，包括：
获取训练图像对，所述训练图像对包括第一模态图像和第二模态图像，所述第一模态图像和所述第二模态图像来自同一活体类别的训练对象；
利用所述活体检测模型的第一特征提取分支对所述第一模态图像特征提取，得到第一特征，所述第一特征包括第一跨模态监督特征；
利用所述活体检测模型的第二特征提取分支对所述第二模态图像进行特征提取，得到第二特征，所述第二特征包括第二跨模态监督特征；
基于所述第一跨模态监督特征和所述第二跨模态监督特征构建跨模态监督损失；
至少基于所述跨模态监督损失调整所述活体检测模型的参数。
2.根据权利要求1所述的方法，其特征在于，所述第一跨模态监督特征包括第一模态的监督特征，所述第二跨模态监督特征包括第二模态的被监督特征，所述第一模态的监督特征为频域特征，所述基于所述第一跨模态监督特征和所述第二跨模态监督特征构建跨模态监督损失，包括：
将所述第二模态的被监督特征转换至频域；
基于所述第一模态的监督特征与经转换的所述第二模态的被监督特征之间的差异，构建所述第二特征提取分支对应的所述跨模态监督损失。
3.根据权利要求1所述的方法，其特征在于，所述第一跨模态监督特征包括第一模态的被监督特征，所述第二跨模态监督特征包括第二模态的监督特征，包括：
将所述第一模态的被监督特征从第一模态翻译成第二模态；
基于经翻译的所述第一模态的被监督特征与所述第二模态的监督特征之间的差异，构建所述第一特征提取分支对应的所述跨模态监督损失。
4.根据权利要求2或3所述的方法，其特征在于，所述第一模态图像为可见光图像，所述第二模态图像为近红外图像。
5.根据权利要求1所述的方法，其特征在于，所述第一特征还包括第一活体判别特征，所述第二特征还包括第二活体判别特征，所述训练图像对还包括表征所述训练对象的真实活体类别的活体标签，所述方法还包括：
对所述第一活体判别特征与所述第二活体判别特征进行融合，得到活体判别特征；
基于所述活体判别特征对所述训练对象进行活体判别，得到所述训练对象的活体判别结果；
基于所述活体判别结果与所述活体标签之间的差异构建活体判别损失；
所述至少基于所述跨模态监督损失调整所述活体检测模型的参数，包括：
基于所述活体判别损失与所述跨模态监督损失调整所述活体检测模型的参数。
6.根据权利要求5所述的方法，其特征在于，所述基于所述活体判别损失与所述跨模态监督损失调整所述活体检测模型的参数，包括：
基于所述跨模态监督损失调整所述活体检测模型的参数，以得到满足跨模态监督条件的活体检测模型；
基于所述活体判别损失调整所述满足跨模态监督条件的活体检测模型的参数，得到满足所述跨模态监督条件和活体判别条件的活体检测模型。
7.根据权利要求5所述的方法，其特征在于，所述第一特征提取分支包括两个单独的第一特征提取子分支，所述第一跨模态监督特征包括第一模态的监督特征和第一模态的被监督特征，所述第一模态的被监督特征和所述第一活体判别特征由同一所述第一特征提取子分支提取得到，所述第一模态的被监督特征和所述第一模态的监督特征分别由不同的所述第一特征提取子分支提取得到；和/或
所述第二特征提取分支包括依序连接的若干第二特征提取层，所述第二跨模态监督特征包括第二模态的监督特征和第二模态的被监督特征，所述第二模态的被监督特征、所述第二模态的监督特征、所述第二活体判别特征分别由不同的所述第二特征提取层提取得到。
8.一种活体检测方法，其特征在于，包括：
获取待检测对象的图像，所述待检测对象的图像包括第一模态和/或第二模态的待检测图像；
利用活体检测模型对所述待检测对象的图像进行特征提取，得到活体判别特征；
基于所述活体判别特征得到所述待检测对象的活体判别结果；
其中，所述活体检测模型是通过权利要求1-7中任一项方法训练得到的。
9.一种电子设备，其特征在于，包括处理器、与所述处理器连接的存储器，其中，
所述存储器存储有程序指令；
所述处理器用于执行所述存储器存储的所述程序指令以实现权利要求1-8中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储程序指令，所述程序指令能够被处理器执行，被执行时实现如权利要求1-8中任一项所述的方法。
CN202310014613.XA 2023-01-05 2023-01-05 活体检测模型的训练方法、活体检测方法及相关设备 Pending CN116052286A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310014613.XA CN116052286A (zh) 2023-01-05 2023-01-05 活体检测模型的训练方法、活体检测方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310014613.XA CN116052286A (zh) 2023-01-05 2023-01-05 活体检测模型的训练方法、活体检测方法及相关设备

Publications (1)

Publication Number Publication Date
CN116052286A true CN116052286A (zh) 2023-05-02

Family

ID=86129046

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310014613.XA Pending CN116052286A (zh) 2023-01-05 2023-01-05 活体检测模型的训练方法、活体检测方法及相关设备

Country Status (1)

Country Link
CN (1) CN116052286A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116776157A (zh) * 2023-08-17 2023-09-19 鹏城实验室 支持模态增加的模型学习方法及其装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116776157A (zh) * 2023-08-17 2023-09-19 鹏城实验室 支持模态增加的模型学习方法及其装置
CN116776157B (zh) * 2023-08-17 2023-12-12 鹏城实验室 支持模态增加的模型学习方法及其装置

Similar Documents

Publication Publication Date Title
Jin et al. Cascade knowledge diffusion network for skin lesion diagnosis and segmentation
CN110276411B (zh) 图像分类方法、装置、设备、存储介质和医疗电子设备
Kou et al. Microaneurysms segmentation with a U-Net based on recurrent residual convolutional neural network
Mithra et al. Automated identification of mycobacterium bacillus from sputum images for tuberculosis diagnosis
WO2021063056A1 (zh) 人脸属性识别方法、装置、电子设备和存储介质
CN111091536B (zh) 医学图像处理方法、装置、设备、介质以及内窥镜
CN111695616B (zh) 基于多模态数据的病灶分类方法及相关产品
CN111144284B (zh) 深度人脸图像的生成方法、装置、电子设备及介质
WO2021120961A1 (zh) 大脑成瘾结构图谱评估方法及装置
CN113033305B (zh) 活体检测方法、装置、终端设备和存储介质
CN115147705B (zh) 人脸翻拍检测方法、装置、电子设备及存储介质
CN116309590B (zh) 一种基于人工智能的视觉计算方法、系统、电子设备和介质
CN108399401B (zh) 用于检测人脸图像的方法和装置
CN116052286A (zh) 活体检测模型的训练方法、活体检测方法及相关设备
CN112307934A (zh) 图像检测方法及相关模型的训练方法、装置、设备、介质
Sharma et al. Automatic leukaemia segmentation approach for blood cancer classification using microscopic images
Dwivedi et al. A deep learning based approach for automated skin disease detection using Fast R-CNN
Agarwal et al. Skin disease classification using CNN algorithms
Ashfaq et al. Convolutional neural network based thermal image classification
CN113850796A (zh) 基于ct数据的肺部疾病识别方法及装置、介质和电子设备
CN113792807A (zh) 皮肤病分类模型训练方法、系统、介质和电子设备
CN113221842A (zh) 模型训练方法、图像识别方法、装置、设备及介质
CN112308035A (zh) 图像检测方法、装置、计算机设备和存储介质
Sharma et al. Solving image processing critical problems using machine learning
Biswas et al. XAI-FusionNet: Diabetic foot ulcer detection based on multi-scale feature fusion with explainable artificial intelligence

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination