CN114677730A - 活体检测方法、装置、电子设备及存储介质 - Google Patents

活体检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114677730A
CN114677730A CN202210283792.2A CN202210283792A CN114677730A CN 114677730 A CN114677730 A CN 114677730A CN 202210283792 A CN202210283792 A CN 202210283792A CN 114677730 A CN114677730 A CN 114677730A
Authority
CN
China
Prior art keywords
face
feature map
face feature
image
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210283792.2A
Other languages
English (en)
Inventor
王柏润
刘建博
张帅
伊帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202210283792.2A priority Critical patent/CN114677730A/zh
Publication of CN114677730A publication Critical patent/CN114677730A/zh
Priority to PCT/CN2022/110261 priority patent/WO2023178906A1/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种活体检测方法、装置、电子设备及存储介质，该方法包括：获取双目相机采集的检测对象的红外人脸图像和彩色人脸图像；对红外人脸图像进行特征提取，得到第一人脸特征图，以及对彩色人脸图像进行特征提取，得到第二人脸特征图；根据第二人脸特征图，得到检测对象的目标类别属性信息；根据目标类别属性信息和第二人脸特征图，得到第三人脸特征图；根据第一人脸特征图和第三人脸特征图，得到检测对象的活体检测结果。本申请实施例有利于提升双目活体检测的精度。

Description

活体检测方法、装置、电子设备及存储介质
技术领域
本申请涉及计算机视觉技术领域，尤其涉及一种活体检测方法、装置、电子设备及存储介质。
背景技术
计算机视觉是当前研究的热点方向，是图像处理、人工智能和模式识别等技术的综合，在社会各领域也取得了广泛的应用。谈到计算机视觉的应用，总是离不开人脸识别，而人脸识别中一个关键的步骤便是活体检测，常见的活体算法按活体检验形式可以分为交互式活体算法和静默式活体算法，按相机模组类型可分为单目活体算法、双目活体算法和3D活体算法。目前的活体检测算法往往以单个模型的形式出现，但在部分场景中，单个模型的容量通常难以保证活体检测的精度。
发明内容
本申请实施例提供了一种活体检测方法、装置、电子设备及存储介质，有利于提升双目活体检测的精度。
本申请实施例第一方面提供了一种活体检测方法，该方法包括：
获取双目相机采集的检测对象的红外人脸图像和彩色人脸图像；
对红外人脸图像进行特征提取，得到第一人脸特征图，以及对彩色人脸图像进行特征提取，得到第二人脸特征图；
根据第二人脸特征图，得到检测对象的目标类别属性信息；
根据目标类别属性信息和第二人脸特征图，得到第三人脸特征图；
根据第一人脸特征图和第三人脸特征图，得到检测对象的活体检测结果。
可以看出，本申请实施例通过获取双目相机采集的检测对象的红外人脸图像和彩色人脸图像；对所述红外人脸图像进行特征提取，得到第一人脸特征图，以及对所述彩色人脸图像进行特征提取，得到第二人脸特征图；根据所述第二人脸特征图，得到所述检测对象的目标类别属性信息；根据所述目标类别属性信息和所述第二人脸特征图，得到第三人脸特征图；根据所述第一人脸特征图和所述第三人脸特征图，得到所述检测对象的活体检测结果。这样对彩色人脸图像提取出的第二人脸特征图进行分类，得到检测对象的类别属性信息(即目标类别属性信息)，基于检测对象的类别属性信息将第二人脸特征图转化为第三人脸特征图，以实现带类别属性信息的特征提取，利用带类别属性信息的特征(即第三人脸特征图)和红外人脸特征(即第一人脸特征图)进行活体检测，有利于提升双目活体检测的精度。
结合第一方面，在一种可能的实施方式中，根据第一人脸特征图和第三人脸特征图，得到检测对象的活体检测结果，包括：
将第一人脸特征图和第三人脸特征图拼接，得到第四人脸特征图；
获取第四人脸特征图中各人脸特征的关注度，得到关注度矩阵；
将第四人脸特征图与关注度矩阵相乘，得到第一加权特征图；
对第一加权特征图进行分类，得到检测对象的活体检测结果。
可以看出，该实施方式中，将第四人脸特征图中的特征与关注度矩阵中对应位置的元素相乘，即得到第一加权特征图，第一加权特征图中的特征更能表达出检测对象脸部重点关注区域的语义信息。
结合第一方面，在一种可能的实施方式中，获取第四人脸特征图中各人脸特征的关注度，得到关注度矩阵，包括：
采用注意力模型生成第四人脸特征图中各人脸特征的注意力系数，将注意力系数构成的矩阵确定为第一关注度矩阵；
对彩色人脸图像进行关键点检测，得到预设关注区域的M个关键点，M大于1；
基于第四人脸特征图和M个关键点，得到第二关注度矩阵；
将第一关注度矩阵与第二关注度矩阵相加，得到关注度矩阵。
可以看出，该实施方式中，采用注意力模型生成第一关注度矩阵，再基于关键点检测和权重分配的方式为第四特征图构造第二关注度矩阵，由于注意力模型在生成注意力系数时有可能会遗漏少部分重点关注区域的信息，而基于预先设定的权重再为第四特征图中的特征分配权重，能够弥补注意力模型可能存在的遗漏，从而使人脸的重点关注区域均能受到关注，这就使得到的第一加权特征图能够充分表达重点关注区域的语义信息，进而有利于提升活体分类的精度。
结合第一方面，在一种可能的实施方式中，M个关键点还包括每个关键点的坐标信息和类别信息，基于第四人脸特征图和M个关键点，得到第二关注度矩阵，包括：
对于第四人脸特征图中的每个特征所在的位置，确定该每个特征所在的位置在彩色人脸图像中对应的多个像素点，并获取多个像素点的坐标信息；
对于多个像素点中的每个像素点，采用每个像素点的坐标信息和M个关键点的坐标信息，计算每个像素点与M个关键点中每个关键点之间的距离；
基于每个像素点与M个关键点中每个关键点之间的距离和每个关键点的类别信息，为每个像素点分配权重，得到每个像素点的M个参考权重；
将M个参考权重的平均值确定为每个像素点的权重；
基于每个像素点的权重，得到每个特征的权重，将每个特征的权重构成的矩阵确定为第二关注度矩阵。
可以看出，该实施方式中，基于预先设定的权重再为第四人脸特征图中的特征分配权重，得到第二关注度矩阵，能够弥补注意力模型可能存在的遗漏，从而使人脸的重点关注区域均能受到关注。
结合第一方面，在一种可能的实施方式中，对红外人脸图像进行特征提取，得到第一人脸特征图，包括：
将红外人脸图像输入活体检测模型的第一分支进行特征提取，得到第一人脸特征图；
对彩色人脸图像进行特征提取，得到第二人脸特征图，包括：
将彩色人脸图像输入活体检测模型的第二分支进行特征提取，得到第二人脸特征图。
可以看出，该实施方式中，采用不同的神经网络分支分别对红外人脸图像和彩色人脸图像进行特征提取，由于第一分支采用红外人脸样本图像的监督信息训练得到，第二分支采用彩色人脸样本图像的监督信息训练得到，则将红外人脸图像和彩色人脸图像分别输入各自对应的分支进行特征提取，有利于提取出语义信息更丰富的特征。
结合第一方面，在一种可能的实施方式中，活体检测模型还包括类别属性分类器、多个第三分支和活体检测分类器，其中，第二分支、属性分类器和多个第三分支依次连接，多个第三分支相互独立，且多个第三分支中的每个第三分支与不同的类别属性信息对应，每个第三分支的输出分别与第一分支的输出拼接以作为活体检测分类器的输入。
可以看出，该实施方式中，针对具有不同类别属性信息的检测对象，可以在同一活体检测模型中采用对应的第三分支进行推理，相比针对不同类别属性信息的检测对象需要采用不同的活体检测模型进行活体检测的方案，有利于节省存储多个模型所带来的内存开销、鲁棒性更强，模型内的各第三分支可使用已有模型的参数进行迁移，在训练阶段能够实现高效迭代，同时，在第二分支后仅添加了一个类别属性分类器，其对整个模型的推理速度的影响可忽略不计。
结合第一方面，在一种可能的实施方式中，第二人脸特征图中的特征包括材质、纹理和光泽中的一种或多种语义信息，根据第二人脸特征图，得到检测对象的目标类别属性信息，包括：
将第二人脸特征图输入属性分类器，并通过属性分类器对一种或多种语义信息进行分类预测，得到目标类别属性信息，目标类别属性信息包括国籍；
根据目标类别属性信息和第二人脸特征图，得到第三人脸特征图，包括：
从多个第三分支中确定出与国籍对应的第三分支，将第二人脸特征图输入与国籍对应的第三分支进行特征提取，得到第三人脸特征图。
可以看出，该实施方式中，通过活体检测模型中的属性分类器对第二人脸特征图进行分类，得到检测对象的目标类别属性信息(比如国籍)，再从多个第三分支中确定出与目标类别属性信息对应的第三分支，采用该第三分支对第二人脸特征图进行特征提取，能够使第三人脸特征图携带有该类别属性信息所特有的特征，从而能够相对提升活体检测的精度。
本申请实施例第二方面提供了一种活体检测装置，该装置包括获取单元和处理单元；
获取单元，用于获取双目相机采集的检测对象的红外人脸图像和彩色人脸图像；
处理单元，用于对红外人脸图像进行特征提取，得到第一人脸特征图，以及对彩色人脸图像进行特征提取，得到第二人脸特征图；
处理单元，还用于根据第二人脸特征图，得到检测对象的目标类别属性信息；
处理单元，还用于根据目标类别属性信息和第二人脸特征图，得到第三人脸特征图；
处理单元，还用于根据第一人脸特征图和第三人脸特征图，得到检测对象的活体检测结果。
本申请实施例第三方面提供一种电子设备，该电子设备包括：处理器，所述处理器与存储器相连，所述存储器用于存储计算机程序，所述处理器用于执行所述存储器中存储的计算机程序，以使得所述电子设备执行如第一方面所述的方法。
本申请实施例第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序使得计算机执行如第一方面所述的方法。
本申请实施例第五方面提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机可操作来使计算机执行如第一方面所述的方法。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种应用环境的示意图；
图2为本申请实施例提供的一种活体检测方法的流程示意图；
图3为本申请实施例提供的一种活体检测模型的网络结构示意图；
图4为本申请实施例提供的一种选择第三分支的示意图；
图5为本申请实施例提供的一种确定特征对应的多个像素点的示意图；
图6为本申请实施例提供的另一种活体检测方法的流程示意图；
图7为本申请实施例提供的一种活体检测装置的结构示意图；
图8为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
本申请说明书、权利要求书和附图中出现的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。此外，术语“第一”、“第二”和“第三”等是用于区别不同的对象，而并非用于描述特定的顺序。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。
请参见图1，图1为本申请实施例提供的一种应用环境的示意图，如图1所示，该应用环境至少包括双目相机101和电子设备102，双目相机101和电子设备102之间通过有线或无线网络连接。其中，双目相机101包括可见光相机模组1011和红外相机模组1012，可见光相机模组1011和红外相机模组1012用于在检测对象进入图像采集范围的情况下，同步对检测对象进行图像采集，分别得到彩色图像和红外图像，并将该彩色图像和红外图像存入人脸识别系统或者直接发送到电子设备102，电子设备102在接收到或者从系统中匹配出彩色图像和红外图像的情况下，对其进行人脸检测，基于人脸检测框的位置信息分别从彩色图像中截取彩色人脸图像、从红外图像中截取出红外人脸图像，电子设备102调用支持多类别属性信息的活体检测模型对彩色人脸图像和红外人脸图像进行活体检测，由于该活体检测模型采用每种类别属性信息对应的分支进行特征提取，使提取出的活体特征带有特有的类别属性信息，从而能够提升活体分类的精度，进而提升活体检测的精度。
示例性的，电子设备102可以是独立的物理服务器、服务器集群，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、以及大数据和人工智能平台等基础云计算服务的云服务器，等等。
请参见图2，图2为本申请实施例提供的一种活体检测方法的流程示意图，该方法可基于图1所示的应用环境实施，应用于电子设备，如图2所示，该方法包括步骤201-205：
201：获取双目相机采集的检测对象的红外人脸图像和彩色人脸图像。
本申请实施例中，电子设备可以实时获取到双目相机同步采集的检测对象的红外图像和彩色图像，也可从人脸识别系统中获取到双目相机同步采集的检测对象的红外图像和彩色图像，此处不作限定。示例性的，电子设备在获取到红外图像和彩色图像的情况下，基于人脸检测算法生成的检测框从两张图像中分别截取出红外人脸图像和彩色人脸图像。
示例性的，获取双目相机采集的检测对象的红外人脸图像和彩色人脸图像，包括：
A1：从人脸识别系统存储的检测对象的多张彩色图像中选取出人脸质量最高的一张作为目标彩色图像，其中，该多张彩色图像由双目相机中的可见光相机模组对检测对象进行连续采集得到。电子设备通过预先训练的人脸质量检测模型对该多张彩色图像中的人脸进行特征提取，以得到包含人脸大小、角度、清晰度信息的特征，然后对该特征进行分类预测，得到多张彩色图像中每张彩色图像的人脸质量检测得分，并选取得分最高的一张作为目标彩色图像。
A2：对人脸识别系统中存储的多张红外图像中的人脸进行人脸质量检测，得到多张红外图像中每张红外图像的人脸质量检测得分，并计算该人脸质量检测得分与目标彩色图像的人脸质量检测得分的差值。电子设备同样通过人脸质量检测模型提取出包含人脸大小、角度、清晰度信息的特征，再进行分类得到每张红外图像的人脸质量检测得分。
A3：将多张红外图像中人脸质量检测得分与目标彩色图像的人脸质量检测得分的差值最小的一张作为候选红外图像。
A4：对目标彩色图像和候选红外图像分别进行人脸关键点检测，得到目标彩色图像中包括人眼、颧骨、鼻子、耳朵、下巴和脸颊区域的106个第一关键点和候选红外图像中包括人眼、颧骨、鼻子、耳朵、下巴和脸颊区域的106个第二关键点。
A5：计算106个第一关键点与106个第二关键点之间的相似度，若该相似度小于预设阈值，则将目标彩色图像和候选红外图像确定为双目相机同一时刻对检测对象进行采集得到的图像对，基于人脸关键点检测时目标彩色图像和候选红外图像中的检测框，分别从目标彩色图像和候选红外图像中截取出人脸区域图像，得到检测对象的红外人脸图像和彩色人脸图像。
该实施方式中，当电子设备需要从人脸识别系统中获取图像时，电子设备可能并不知道哪两张彩色图像和红外图像是同一时刻对检测对象进行采集得到的，针对任一检测对象，先从其多张彩色图像中选取出人脸质量最高的一张，然后再从人脸识别系统的所有红外图像中选取出与该张彩色图像的人脸质量检测得分最接近的一张作为候选红外图像，然后选取106个人脸关键点对两张图像进行关键点匹配，若关键点之间的相似度小于预设阈值，则认为候选红外图像与目标彩色图像是在同一时刻对检测对象进行采集得到，从而在电子设备需要从人脸识别系统中获取图像的场景中，有利于提升图像匹配的精度。
202：对红外人脸图像进行特征提取，得到第一人脸特征图，以及对彩色人脸图像进行特征提取，得到第二人脸特征图。
本申请实施例中，提出一种活体检测模型结构，如图3所示，该活体检测模型包括第一分支、第二分支、类别属性分类器、多个第三分支和活体检测分类器，其中，第一分支用于对输入的红外人脸图像进行特征提取，得到第一人脸特征图，第二分支用于对输入的彩色人脸图像进行特征提取，得到第二人脸特征图，其中，第一人脸特征图和第二人脸特征图涵盖了人脸上的重要区域(比如：人眼、颧骨、鼻子、耳朵、下巴、脸颊等)是否为活体的语义信息，比如该语义信息可以是材质、纹理和光泽中的一种或多种。可选的，第一分支和第二分支均可采用连续串联的多个inception结构进行特征提取，inception结构采用不同大小的卷积核意味着不同大小的感受野，也即实现了不同尺度的特征的融合，因此，第一人脸特征图和第二人脸特征图具有更加丰富的语义信息。
203：根据第二人脸特征图，得到检测对象的目标类别属性信息。
本申请实施例中，将第二人脸特征图输入属性分类器，以通过属性分类器对一种或多种语义信息进行分类预测，得到目标类别属性信息。示例性的，目标类别属性信息可以是性别、年龄段、国籍等等，属性分类器在训练时以类别属性信息为监督，因此，其基于包含丰富语义信息的第二特征图能够预测出检测对象的目标类别属性信息，比如检测对象是哪个国家的，检测对象属于哪个年龄段。
204：根据目标类别属性信息和第二人脸特征图，得到第三人脸特征图。
本申请实施例中，电子设备在得到检测对象的目标类别属性信息后，即可从多个第三分支中确定出与该目标类别属性信息对应的第三分支，如图4所示，若检测对象的国籍为中国，则可从中国分支、日本分支、加拿大分支等多个第三分支中确定出中国分支，将第二人脸特征图输入该中国分支进行特征提取，得到第三人脸特征图。可选的，多个第三分支同样可采用连续串联的多个inception结构进行特征提取，每个第三分支在训练过程中采用特有的类别属性信息为监督，因此，第三人脸特征图携带有该类别属性信息所特有的特征，从而能够相对提升活体检测的精度。
205：根据第一人脸特征图和第三人脸特征图，得到检测对象的活体检测结果。
本申请实施例中，示例性的，根据第一人脸特征图和第三人脸特征图，得到检测对象的活体检测结果，包括：
B1：将第一人脸特征图和第三人脸特征图拼接，得到第四人脸特征图；
B2：获取第四人脸特征图中各人脸特征的关注度，得到关注度矩阵；
B3：将第四人脸特征图与关注度矩阵相乘，得到第一加权特征图；
B4：对第一加权特征图进行分类，得到检测对象的活体检测结果。
具体的，在步骤B1中可以先采用注意力模型生成第四人脸特征图中各人脸特征的注意力系数，将注意力系数构成的矩阵确定为第一关注度矩阵。其中，该注意力模型可以是现有的任一注意力模型，应理解，注意力模型可以预测人眼在观看到某张图像时，对哪个目标更为关注，即可以通过该图像的特征计算出特征的注意力系数。电子设备对彩色人脸图像进行关键点检测，得到预设关注区域的M个关键点及该M个关键点的坐标信息和类别信息。其中，预设关注区域即指眼部区域、颧骨区域、鼻子区域、耳部区域、下巴区域和脸颊区域，该M个关键点即指步骤A4中的106个关键点。电子设备基于第四人脸特征图和M个关键点，计算得到第二关注度矩阵，将第一关注度矩阵与第二关注度矩阵对应位置的元素相加，即得到关注度矩阵。
示例性的，基于第四人脸特征图和M个关键点，得到第二关注度矩阵，包括：
C1：对于第四人脸特征图中的每个特征所在的位置，确定该每个特征所在的位置在彩色人脸图像中对应的多个像素点，并获取多个像素点的坐标信息。
应理解，由于第四人脸特征图是将第一人脸特征图和第三人脸特征图拼接得到的，则基于inception结构对原始图像进行卷积和池化的原理，如图5所示，对于第四人脸特征图中的任一特征所在的位置，均能确定其在彩色人脸图像中对应的多个像素点，即该位置上的特征是通过这多个像素点的特征计算得到的，如图5中黑色矩形框中的9个像素点，同时，能够得到该多个像素点在彩色人脸图像中的坐标信息，比如某个像素点a的坐标信息为(x4，y1)。
C2：对于多个像素点中的每个像素点，采用每个像素点的坐标信息和M个关键点的坐标信息，计算每个像素点与M个关键点中每个关键点之间的距离。
具体的，设M个关键点中某个关键点b的坐标信息为(x5，y7)，则像素点a与个关键点b之间的距离为
Figure BDA0003559247010000071
由此可计算出多个像素点中每个像素点与M个关键点中每个关键点之间的距离。
C3：基于每个像素点与M个关键点中每个关键点之间的距离和每个关键点的类别信息，为每个像素点分配权重，得到每个像素点的M个参考权重。
具体的，本申请实施例预先为M个关键点设定权重，示例性的，每个关键点可以对应不同的权重，比如眼部区域的关键点，按照其与眼球中心从近到远的距离，其权重呈递减趋势，也就是更关注离眼球中心更近的眼部区域关键点，其他区域可参照眼部区域采取相同或相似的权重设定方式，则M个关键点的权重可以是α1,α2,…,αM，对于多个像素点中的像素点a，若其与M个关键点中的某个关键点(比如：关键点b)之间的距离小于预设距离阈值，则将该关键点b的权重分配给该像素点a，若其与关键点b之间的距离大于或等于预设距离阈值，则为像素点a分配权重0。示例性的，还可以为相同类别信息的关键点设定相同的权重，比如眼部区域的n个关键点的权重均可设定为α1，鼻子区域的o个关键点的权重均可设定为α2，下巴区域的q个关键点的权重均可设定为α3，等等，则M个关键点同样具有M个权重，区别在于相同类别信息的关键点的权重也是相同的，对于像素点a和关键点b，当二者之间的距离小于预设距离阈值时，同样将关键点b的权重分配给像素点a，当二者之间的距离大于或等于预设距离阈值时，同样为像素点a分配权重0。基于上述两种权重分配方式，每个像素点均会被分配M个权重，将该M个权重作为该每个像素点的参考权重。
C4：将M个参考权重的平均值确定为每个像素点的权重。
C5：基于每个像素点的权重，得到每个特征的权重，将每个特征的权重构成的矩阵确定为第二关注度矩阵。
具体的，由于第四人脸特征图中每个特征与彩色人脸图像中的多个像素点对应，则基于步骤C4中每个像素点的权重可计算出每个特征的权重，比如可将多个像素点的权重的平均值作为第四人脸特征图中对应特征的权重，比如还可将多个像素点的权重的众数作为第四人脸特征图中对应特征的权重，由此将每个特征的权重构成的矩阵确定为第二关注度矩阵。
本申请实施例中，将第四人脸特征图中的特征与关注度矩阵中对应位置的元素相乘，即得到第一加权特征图，第一加权特征图中的特征更能表达出检测对象脸部重点关注区域的语义信息。
该实施方式中，采用注意力模型生成第一关注度矩阵，再基于关键点检测和权重分配的方式为第四人脸特征图构造第二关注度矩阵，由于注意力模型在生成注意力系数时有可能会遗漏少部分重点关注区域的信息，而基于预先设定的权重再为第四人脸特征图中的特征分配权重，能够弥补注意力模型可能存在的遗漏，从而使人脸的重点关注区域均能受到关注，这就使得到的第一加权特征图能够充分表达重点关注区域的语义信息，进而有利于提升活体分类的精度。
示例性的，根据第一人脸特征图和第三人脸特征图，得到检测对象的活体检测结果，包括：
D1：获取第一人脸特征图中各人脸特征的关注度，得到关注度矩阵E。
具体的，可参照步骤B2中的关注度矩阵的获取方法，首先采用注意力模型生成第一人脸特征图中各人脸特征的注意力系数，将注意力系数构成的矩阵确定为第三关注度矩阵，对红外人脸图像进行关键点检测，同样得到预设关注区域的N个关键点(比如106个关键点)及该N个关键点的坐标信息和类别信息，对于第一人脸特征图中的每个特征所在的位置，确定该每个特征所在位置在红外人脸图像中对应的多个像素点，并获取该多个像素点的坐标信息，对于多个像素点中的每个像素点，采用每个像素点的坐标信息和N个关键点的坐标信息，计算每个像素点与N个关键点中每个关键点之间的距离，基于该每个像素点与N个关键点中每个关键点之间的距离和该每个关键点的类别信息，为该每个像素点分配权重，得到每个像素点的N个参考权重，将N个参考权重的平均值确定为该每个像素点的权重，将该多个像素点的权重的平均值或众数确定为第一人脸特征图中的每个特征的权重，将该每个特征的权重构成的矩阵确定为第四关注度矩阵，将第三关注度矩阵与第四关注度矩阵相加，得到关注度矩阵E。
D2：获取第三人脸特征图中各人脸特征的关注度，得到关注度矩阵F。
具体的，首先采用注意力模型生成第三人脸特征图中各人脸特征的注意力系数，将注意力系数构成的矩阵确定为第五关注度矩阵，对彩色人脸图像进行关键点检测，同样得到预设关注区域的S个关键点(比如106个关键点)及该S个关键点的坐标信息和类别信息，对于第三人脸特征图中的每个特征所在的位置，确定该每个特征所在位置在彩色人脸图像中对应的多个像素点，并获取该多个像素点的坐标信息，对于多个像素点中的每个像素点，采用每个像素点的坐标信息和S个关键点的坐标信息，计算每个像素点与S个关键点中每个关键点之间的距离，基于该每个像素点与S个关键点中每个关键点之间的距离和该每个关键点的类别信息，为该每个像素点分配权重，得到每个像素点的S个参考权重，将S个参考权重的平均值确定为该每个像素点的权重，将该多个像素点的权重的平均值或众数确定为第三人脸特征图中的每个特征的权重，将该每个特征的权重构成的矩阵确定为第六关注度矩阵，将第五关注度矩阵与第六关注度矩阵相加，得到关注度矩阵F。
D3：将第一人脸特征图与注度矩阵E相乘，得到第二加权特征图；
D4：将第三人脸特征图与注度矩阵F相乘，得到第三加权特征图；
D5：将第二加权特征图与第三加权特征图拼接，得到拼接加权特征图；
D6：对拼接加权特征图进行分类，得到检测对象的活体检测结果。
该实施方式中，采用另一种特征拼接方式，即采用注意力模型、关键点检测和权重分配为第一人脸特征图生成注意力矩阵E，然后将第一人脸特征图与注度矩阵E相乘，同样能够得到可充分表达重点关注区域的语义信息的第二加权特征图；采用注意力模型、关键点检测和权重分配为第三人脸特征图生成注意力矩阵F，将第三人脸特征图与注度矩阵F相乘，同样能够得到可充分表达重点关注区域的语义信息的第三加权特征图；将第二加权特征图与第三加权特征图拼接，充分融合了彩色人脸图像中重点关注区域的语义信息和红外人脸图像中重点关注区域的语义信息，同样有利于提升活体分类的精度。
可以看出，本申请实施例通过获取双目相机采集的检测对象的红外人脸图像和彩色人脸图像；对所述红外人脸图像进行特征提取，得到第一人脸特征图，以及对所述彩色人脸图像进行特征提取，得到第二人脸特征图；根据所述第二人脸特征图，得到所述检测对象的目标类别属性信息；根据所述目标类别属性信息和所述第二人脸特征图，得到第三人脸特征图；根据所述第一人脸特征图和所述第三人脸特征图，得到所述检测对象的活体检测结果。这样对彩色人脸图像提取出的第二人脸特征图进行分类，得到检测对象的类别属性信息(即目标类别属性信息)，基于检测对象的类别属性信息将第二人脸特征图转化为第三人脸特征图，以实现带类别属性信息的特征提取，利用带类别属性信息的特征(即第三人脸特征图)和红外人脸特征(即第一人脸特征图)进行活体检测，有利于提升双目活体检测的精度。另外，针对具有不同类别属性信息的检测对象，本申请实施例可以在同一活体检测模型中采用对应的第三分支进行推理，相比针对不同类别属性信息的检测对象需要采用不同的活体检测模型进行活体检测的方案，有利于节省存储多个模型所带来的内存开销、鲁棒性更强，模型内的各第三分支可使用已有模型的参数进行迁移，在训练阶段能够实现高效迭代，同时，在第二分支后仅添加了一个类别属性分类器，其对整个模型的推理速度的影响可忽略不计。
请参见图6，图6为本申请实施例提供的另一种活体检测方法的流程示意图，如图6所示，该方法包括步骤601-608：
601：获取双目相机采集的检测对象的红外人脸图像和彩色人脸图像；
602：对红外人脸图像进行特征提取，得到第一人脸特征图，以及对彩色人脸图像进行特征提取，得到第二人脸特征图；
603：根据第二人脸特征图，得到检测对象的目标类别属性信息；
604：根据目标类别属性信息和第二人脸特征图，得到第三人脸特征图；
605：将第一人脸特征图和第三人脸特征图拼接，得到第四人脸特征图；
606：获取第四人脸特征图中各人脸特征的关注度，得到关注度矩阵；
607：将第四人脸特征图与关注度矩阵相乘，得到第一加权特征图；
608：对第一加权特征图进行分类，得到检测对象的活体检测结果。
其中，步骤601-608的具体实施方式在图2-图5所示的实施例中已有相关说明，且能达到相同或相似的有益效果，此处不再赘述。
基于图2或图6所示方法实施例的描述，请参见图7，图7为本申请实施例提供的一种活体检测装置的结构示意图，如图7所示，该装置包括获取单元701和处理单元702，其中：
获取单元701，用于获取双目相机采集的检测对象的红外人脸图像和彩色人脸图像；
处理单元702，用于对红外人脸图像进行特征提取，得到第一人脸特征图，以及对彩色人脸图像进行特征提取，得到第二人脸特征图；
处理单元702，还用于根据第二人脸特征图，得到检测对象的目标类别属性信息；
处理单元702，还用于根据目标类别属性信息和第二人脸特征图，得到第三人脸特征图；
处理单元702，还用于根据第一人脸特征图和第三人脸特征图，得到检测对象的活体检测结果。
可以看出，在图7所示的活体检测装置中，通过获取双目相机采集的检测对象的红外人脸图像和彩色人脸图像；对所述红外人脸图像进行特征提取，得到第一人脸特征图，以及对所述彩色人脸图像进行特征提取，得到第二人脸特征图；根据所述第二人脸特征图，得到所述检测对象的目标类别属性信息；根据所述目标类别属性信息和所述第二人脸特征图，得到第三人脸特征图；根据所述第一人脸特征图和所述第三人脸特征图，得到所述检测对象的活体检测结果。这样对彩色人脸图像提取出的第二人脸特征图进行分类，得到检测对象的类别属性信息(即目标类别属性信息)，基于检测对象的类别属性信息将第二人脸特征图转化为第三人脸特征图，以实现带类别属性信息的特征提取，利用带类别属性信息的特征(即第三人脸特征图)和红外人脸特征(即第一人脸特征图)进行活体检测，有利于提升双目活体检测的精度。
在一种可能的实施方式中，在根据第一人脸特征图和第三人脸特征图，得到检测对象的活体检测结果方面，处理单元702具体用于：
将第一人脸特征图和第三人脸特征图拼接，得到第四人脸特征图；
获取第四人脸特征图中各人脸特征的关注度，得到关注度矩阵；
将第四人脸特征图与关注度矩阵相乘，得到第一加权特征图；
对第一加权特征图进行分类，得到检测对象的活体检测结果。
在一种可能的实施方式中，在获取第四人脸特征图中各人脸特征的关注度，得到关注度矩阵方面，处理单元702具体用于：
采用注意力模型生成第四人脸特征图中各人脸特征的注意力系数，将注意力系数构成的矩阵确定为第一关注度矩阵；
对彩色人脸图像进行关键点检测，得到预设关注区域的M个关键点，M大于1；
基于第四人脸特征图和M个关键点，得到第二关注度矩阵；
将第一关注度矩阵与第二关注度矩阵相加，得到关注度矩阵。
在一种可能的实施方式中，M个关键点还包括每个关键点的坐标信息和类别信息，在基于第四人脸特征图和M个关键点，得到第二关注度矩阵方面，处理单元702具体用于：
对于第四人脸特征图中的每个特征所在的位置，确定该每个特征所在的位置在彩色人脸图像中对应的多个像素点，并获取多个像素点的坐标信息；
对于多个像素点中的每个像素点，采用每个像素点的坐标信息和M个关键点的坐标信息，计算每个像素点与M个关键点中每个关键点之间的距离；
基于每个像素点与M个关键点中每个关键点之间的距离和每个关键点的类别信息，为每个像素点分配权重，得到每个像素点的M个参考权重；
将M个参考权重的平均值确定为每个像素点的权重；
基于每个像素点的权重，得到每个特征的权重，将每个特征的权重构成的矩阵确定为第二关注度矩阵。
在一种可能的实施方式中，在对红外人脸图像进行特征提取，得到第一人脸特征图方面，处理单元702具体用于：
将红外人脸图像输入活体检测模型的第一分支进行特征提取，得到第一人脸特征图；
在对彩色人脸图像进行特征提取，得到第二人脸特征图方面，处理单元702具体用于：
将彩色人脸图像输入活体检测模型的第二分支进行特征提取，得到第二人脸特征图。
在一种可能的实施方式中，活体检测模型还包括类别属性分类器、多个第三分支和活体检测分类器，其中，第二分支、属性分类器和多个第三分支依次连接，多个第三分支相互独立，且多个第三分支中的每个第三分支与不同的类别属性信息对应，每个第三分支的输出分别与第一分支的输出拼接以作为活体检测分类器的输入。
在一种可能的实施方式中，第二人脸特征图中的特征包括材质、纹理和光泽中的一种或多种语义信息，在根据第二人脸特征图，得到检测对象的目标类别属性信息方面，处理单元702具体用于：
将第二人脸特征图输入属性分类器，以通过属性分类器对一种或多种语义信息进行分类预测，得到目标类别属性信息，目标类别属性信息包括国籍；
在根据目标类别属性信息和第二人脸特征图，得到第三人脸特征图方面，处理单元702具体用于：
从多个第三分支中确定出与国籍对应的第三分支，将第二人脸特征图输入与国籍对应的第三分支进行特征提取，得到第三人脸特征图。
根据本申请的一个实施例，图7所示的活体检测装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本申请的其它实施例中，活体检测装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。
根据本申请的另一个实施例，可以通过在包括中央处理单元(CentralProcessing Unit，CPU)、随机存取存储介质(Random Access Memory，RAM)、只读存储介质(Read-Only Memory，ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2或图6中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图7中所示的活体检测装置，以及来实现本申请实施例的活体检测方法。所述计算机程序可以记载于例如计算机可读记录介质上，并通过计算机可读记录介质装载于上述计算设备中，并在其中运行。
基于上述方法实施例和装置实施例的描述，本申请实施例提供了一种电子设备，请参见图8，电子设备包括收发器801、处理器802和存储器803。它们之间通过总线804连接。存储器803用于存储计算机程序和数据，并可以将存储803存储的数据传输给处理器802。
处理器802用于读取存储器803中的计算机程序执行以下操作：
获取双目相机采集的检测对象的红外人脸图像和彩色人脸图像；
对红外人脸图像进行特征提取，得到第一人脸特征图，以及对彩色人脸图像进行特征提取，得到第二人脸特征图；
根据第二人脸特征图，得到检测对象的目标类别属性信息；
根据目标类别属性信息和第二人脸特征图，得到第三人脸特征图；
根据第一人脸特征图和第三人脸特征图，得到检测对象的活体检测结果。
可以看出，在图8所示的电子设备中，通过获取双目相机采集的检测对象的红外人脸图像和彩色人脸图像；对所述红外人脸图像进行特征提取，得到第一人脸特征图，以及对所述彩色人脸图像进行特征提取，得到第二人脸特征图；根据所述第二人脸特征图，得到所述检测对象的目标类别属性信息；根据所述目标类别属性信息和所述第二人脸特征图，得到第三人脸特征图；根据所述第一人脸特征图和所述第三人脸特征图，得到所述检测对象的活体检测结果。这样对彩色人脸图像提取出的第二人脸特征图进行分类，得到检测对象的类别属性信息(即目标类别属性信息)，基于检测对象的类别属性信息将第二人脸特征图转化为第三人脸特征图，以实现带类别属性信息的特征提取，利用带类别属性信息的特征(即第三人脸特征图)和红外人脸特征(即第一人脸特征图)进行活体检测，有利于提升双目活体检测的精度。
在一种可能的实施方式中，处理器802执行根据第一人脸特征图和第三人脸特征图，得到检测对象的活体检测结果，包括：
将第一人脸特征图和第三人脸特征图拼接，得到第四人脸特征图；
获取第四人脸特征图中各人脸特征的关注度，得到关注度矩阵；
将第四人脸特征图与关注度矩阵相乘，得到第一加权特征图；
对第一加权特征图进行分类，得到检测对象的活体检测结果。
在一种可能的实施方式中，处理器802执行获取第四人脸特征图中各人脸特征的关注度，得到关注度矩阵，包括：
采用注意力模型生成第四人脸特征图中各人脸特征的注意力系数，将注意力系数构成的矩阵确定为第一关注度矩阵；
对彩色人脸图像进行关键点检测，得到预设关注区域的M个关键点，M大于1；
基于第四人脸特征图和M个关键点，得到第二关注度矩阵；
将第一关注度矩阵与第二关注度矩阵相加，得到关注度矩阵。
在一种可能的实施方式中，M个关键点还包括每个关键点的坐标信息和类别信息，处理器802执行基于第四人脸特征图和M个关键点，得到第二关注度矩阵，包括：
对于第四人脸特征图中的每个特征所在的位置，确定该每个特征所在的位置在彩色人脸图像中对应的多个像素点，并获取多个像素点的坐标信息；
对于多个像素点中的每个像素点，采用每个像素点的坐标信息和M个关键点的坐标信息，计算每个像素点与M个关键点中每个关键点之间的距离；
基于每个像素点与M个关键点中每个关键点之间的距离和每个关键点的类别信息，为每个像素点分配权重，得到每个像素点的M个参考权重；
将M个参考权重的平均值确定为每个像素点的权重；
基于每个像素点的权重，得到每个特征的权重，将每个特征的权重构成的矩阵确定为第二关注度矩阵。
在一种可能的实施方式中，处理器802执行对红外人脸图像进行特征提取，得到第一人脸特征图，包括：将红外人脸图像输入活体检测模型的第一分支进行特征提取，得到第一人脸特征图；
处理器802执行对彩色人脸图像进行特征提取，得到第二人脸特征图，包括：
将彩色人脸图像输入活体检测模型的第二分支进行特征提取，得到第二人脸特征图。
在一种可能的实施方式中，活体检测模型还包括类别属性分类器、多个第三分支和活体检测分类器，其中，第二分支、属性分类器和多个第三分支依次连接，多个第三分支相互独立，且多个第三分支中的每个第三分支与不同的类别属性信息对应，每个第三分支的输出分别与第一分支的输出拼接以作为活体检测分类器的输入。
在一种可能的实施方式中，第二人脸特征图中的特征包括材质、纹理和光泽中的一种或多种语义信息，处理器802执行根据第二人脸特征图，得到检测对象的目标类别属性信息，包括：
将第二人脸特征图输入属性分类器，以通过属性分类器对一种或多种语义信息进行分类预测，得到目标类别属性信息，目标类别属性信息包括国籍；
根据目标类别属性信息和第二人脸特征图，得到第三人脸特征图，包括：
从多个第三分支中确定出与国籍对应的第三分支，将第二人脸特征图输入与国籍对应的第三分支进行特征提取，得到第三人脸特征图。
示例性的，该电子设备可包括但不仅限于收发器801、处理器802和存储器803，本领域技术人员可以理解，所述示意图仅仅是电子设备的示例，并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。
需要说明的是，由于电子设备的处理器802执行计算机程序时实现本申请实施例的活体检测方法中的步骤，因此该活体检测方法的实施例均适用于该电子设备，且均能达到相同或相似的有益效果。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现如上述方法实施例中记载的任何一种活体检测方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种活体检测方法的部分或全部步骤。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM)、随机存取存储器(RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(ROM)、随机存取器(RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种活体检测方法，其特征在于，所述方法包括：
获取双目相机采集的检测对象的红外人脸图像和彩色人脸图像；
对所述红外人脸图像进行特征提取，得到第一人脸特征图，以及对所述彩色人脸图像进行特征提取，得到第二人脸特征图；
根据所述第二人脸特征图，得到所述检测对象的目标类别属性信息；
根据所述目标类别属性信息和所述第二人脸特征图，得到第三人脸特征图；
根据所述第一人脸特征图和所述第三人脸特征图，得到所述检测对象的活体检测结果。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一人脸特征图和所述第三人脸特征图，得到所述检测对象的活体检测结果，包括：
将所述第一人脸特征图和所述第三人脸特征图拼接，得到第四人脸特征图；
获取所述第四人脸特征图中各人脸特征的关注度，得到关注度矩阵；
将所述第四人脸特征图与所述关注度矩阵相乘，得到第一加权特征图；
对所述第一加权特征图进行分类，得到所述检测对象的活体检测结果。
3.根据权利要求2所述的方法，其特征在于，所述获取所述第四人脸特征图中各人脸特征的关注度，得到关注度矩阵，包括：
采用注意力模型生成所述第四人脸特征图中各人脸特征的注意力系数，将所述注意力系数构成的矩阵确定为第一关注度矩阵；
对所述彩色人脸图像进行关键点检测，得到预设关注区域的M个关键点，所述M大于1；
基于所述第四人脸特征图和所述M个关键点，得到第二关注度矩阵；
将所述第一关注度矩阵与所述第二关注度矩阵相加，得到所述关注度矩阵。
4.根据权利要求3所述的方法，其特征在于，所述M个关键点还包括每个所述关键点的坐标信息和类别信息，所述基于所述第四人脸特征图和所述M个关键点，得到第二关注度矩阵，包括：
对于所述第四人脸特征图中的每个特征所在的位置，确定所述每个特征所在的位置在所述彩色人脸图像中对应的多个像素点，并获取所述多个像素点的坐标信息；
对于所述多个像素点中的每个像素点，采用所述每个像素点的坐标信息和所述M个关键点的坐标信息，计算所述每个像素点与所述M个关键点中每个关键点之间的距离；
基于所述每个像素点与所述M个关键点中每个关键点之间的距离和所述每个关键点的类别信息，为所述每个像素点分配权重，得到所述每个像素点的M个参考权重；
将所述M个参考权重的平均值确定为所述每个像素点的权重；
基于所述每个像素点的权重，得到所述每个特征的权重，将所述每个特征的权重构成的矩阵确定为第二关注度矩阵。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述对所述红外人脸图像进行特征提取，得到第一人脸特征图，包括：
将所述红外人脸图像输入活体检测模型的第一分支进行特征提取，得到所述第一人脸特征图；
所述对所述彩色人脸图像进行特征提取，得到第二人脸特征图，包括：
将所述彩色人脸图像输入所述活体检测模型的第二分支进行特征提取，得到所述第二人脸特征图。
6.根据权利要求5所述的方法，其特征在于，所述活体检测模型还包括类别属性分类器、多个第三分支和活体检测分类器，其中，所述第二分支、所述属性分类器和所述多个第三分支依次连接，所述多个第三分支相互独立，且所述多个第三分支中的每个第三分支与不同的类别属性信息对应，所述每个第三分支的输出分别与所述第一分支的输出拼接以作为所述活体检测分类器的输入。
7.根据权利要求6所述的方法，其特征在于，所述第二人脸特征图中的特征包括材质、纹理和光泽中的一种或多种语义信息，所述根据所述第二人脸特征图，得到所述检测对象的目标类别属性信息，包括：
将所述第二人脸特征图输入所述属性分类器，并通过所述属性分类器对所述一种或多种语义信息进行分类预测，得到所述目标类别属性信息，所述目标类别属性信息包括国籍；
所述根据所述目标类别属性信息和所述第二人脸特征图，得到第三人脸特征图，包括：
从所述多个第三分支中确定出与所述国籍对应的第三分支，将所述第二人脸特征图输入与所述国籍对应的第三分支进行特征提取，得到所述第三人脸特征图。
8.一种活体检测装置，其特征在于，所述装置包括获取单元和处理单元；
所述获取单元，用于获取双目相机采集的检测对象的红外人脸图像和彩色人脸图像；
所述处理单元，用于对所述红外人脸图像进行特征提取，得到第一人脸特征图，以及对所述彩色人脸图像进行特征提取，得到第二人脸特征图；
所述处理单元，还用于根据所述第二人脸特征图，得到所述检测对象的目标类别属性信息；
所述处理单元，还用于根据所述目标类别属性信息和所述第二人脸特征图，得到第三人脸特征图；
所述处理单元，还用于根据所述第一人脸特征图和所述第三人脸特征图，得到所述检测对象的活体检测结果。
9.一种电子设备，包括：处理器，所述处理器与存储器相连，所述存储器用于存储计算机程序，所述处理器用于执行所述存储器中存储的计算机程序，以使得所述电子设备执行如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1-7任一项所述的方法。
CN202210283792.2A 2022-03-22 2022-03-22 活体检测方法、装置、电子设备及存储介质 Withdrawn CN114677730A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210283792.2A CN114677730A (zh) 2022-03-22 2022-03-22 活体检测方法、装置、电子设备及存储介质
PCT/CN2022/110261 WO2023178906A1 (zh) 2022-03-22 2022-08-04 活体检测方法及装置、电子设备、存储介质、计算机程序、计算机程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210283792.2A CN114677730A (zh) 2022-03-22 2022-03-22 活体检测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114677730A true CN114677730A (zh) 2022-06-28

Family

ID=82074801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210283792.2A Withdrawn CN114677730A (zh) 2022-03-22 2022-03-22 活体检测方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN114677730A (zh)
WO (1) WO2023178906A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116363762A (zh) * 2022-12-23 2023-06-30 北京百度网讯科技有限公司 活体检测方法、深度学习模型的训练方法及装置
CN116453194A (zh) * 2023-04-21 2023-07-18 无锡车联天下信息技术有限公司 一种人脸属性判别方法及装置
WO2023178906A1 (zh) * 2022-03-22 2023-09-28 上海商汤智能科技有限公司 活体检测方法及装置、电子设备、存储介质、计算机程序、计算机程序产品

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105975908A (zh) * 2016-04-26 2016-09-28 汉柏科技有限公司 人脸识别方法及装置
CN111382642A (zh) * 2018-12-29 2020-07-07 北京市商汤科技开发有限公司 人脸属性识别方法及装置、电子设备和存储介质
CN112818722B (zh) * 2019-11-15 2023-08-18 上海大学 模块化动态可配置的活体人脸识别系统
CN111401134A (zh) * 2020-02-19 2020-07-10 北京三快在线科技有限公司 活体检测方法、装置、电子设备及存储介质
CN113449623B (zh) * 2021-06-21 2022-06-28 浙江康旭科技有限公司 一种基于深度学习的轻型活体检测方法
CN114677730A (zh) * 2022-03-22 2022-06-28 北京市商汤科技开发有限公司 活体检测方法、装置、电子设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023178906A1 (zh) * 2022-03-22 2023-09-28 上海商汤智能科技有限公司 活体检测方法及装置、电子设备、存储介质、计算机程序、计算机程序产品
CN116363762A (zh) * 2022-12-23 2023-06-30 北京百度网讯科技有限公司 活体检测方法、深度学习模型的训练方法及装置
CN116453194A (zh) * 2023-04-21 2023-07-18 无锡车联天下信息技术有限公司 一种人脸属性判别方法及装置
CN116453194B (zh) * 2023-04-21 2024-04-12 无锡车联天下信息技术有限公司 一种人脸属性判别方法及装置

Also Published As

Publication number Publication date
WO2023178906A1 (zh) 2023-09-28

Similar Documents

Publication Publication Date Title
CN111709409B (zh) 人脸活体检测方法、装置、设备及介质
US11487995B2 (en) Method and apparatus for determining image quality
CN107992842B (zh) 活体检测方法、计算机装置及计算机可读存储介质
WO2020114118A1 (zh) 面部属性识别方法、装置、存储介质及处理器
WO2023098128A1 (zh) 活体检测方法及装置、活体检测系统的训练方法及装置
CN114677730A (zh) 活体检测方法、装置、电子设备及存储介质
CN108830237B (zh) 一种人脸表情的识别方法
US20220254134A1 (en) Region recognition method, apparatus and device, and readable storage medium
CN110555481A (zh) 一种人像风格识别方法、装置和计算机可读存储介质
CN112131978A (zh) 一种视频分类方法、装置、电子设备和存储介质
CN111476806B (zh) 图像处理方法、装置、计算机设备和存储介质
CN110472582B (zh) 基于眼部识别的3d人脸识别方法、装置和终端
CN108960260B (zh) 一种分类模型生成方法、医学影像图像分类方法及装置
CN110222718A (zh) 图像处理的方法及装置
CN111325107B (zh) 检测模型训练方法、装置、电子设备和可读存储介质
CN112446322B (zh) 眼球特征检测方法、装置、设备及计算机可读存储介质
WO2024109374A1 (zh) 换脸模型的训练方法、装置、设备、存储介质和程序产品
CN110751069A (zh) 一种人脸活体检测方法及装置
CN112036284B (zh) 图像处理方法、装置、设备及存储介质
CN115050064A (zh) 人脸活体检测方法、装置、设备及介质
CN110728242A (zh) 基于人像识别的图像匹配方法、装置、存储介质及应用
CN113239866B (zh) 一种时空特征融合与样本注意增强的人脸识别方法及系统
CN114764870A (zh) 对象定位模型处理、对象定位方法、装置及计算机设备
CN117152566A (zh) 一种分类模型训练方法、模型、分类方法以及产品
CN116912924A (zh) 一种目标图像识别方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20220628