CN114005169B - 人脸关键点检测方法、装置、电子设备及存储介质 - Google Patents

人脸关键点检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114005169B
CN114005169B CN202111667944.0A CN202111667944A CN114005169B CN 114005169 B CN114005169 B CN 114005169B CN 202111667944 A CN202111667944 A CN 202111667944A CN 114005169 B CN114005169 B CN 114005169B
Authority
CN
China
Prior art keywords
face
image
features
key point
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111667944.0A
Other languages
English (en)
Other versions
CN114005169A (zh
Inventor
王金桥
刘智威
李碧莹
赵朝阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Objecteye Beijing Technology Co Ltd
Original Assignee
Objecteye Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Objecteye Beijing Technology Co Ltd filed Critical Objecteye Beijing Technology Co Ltd
Priority to CN202111667944.0A priority Critical patent/CN114005169B/zh
Publication of CN114005169A publication Critical patent/CN114005169A/zh
Application granted granted Critical
Publication of CN114005169B publication Critical patent/CN114005169B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种人脸关键点检测方法、装置、电子设备及存储介质，其中方法包括：获取待检测人脸图；将所述待检测人脸图输入至人脸关键点检测模型，得到所述人脸关键点检测模型输出的关键点检测结果；其中，所述人脸关键点检测模型是基于样本人脸图，以及样本人脸图对应的样本脸部UV图、样本脸部掩模图和样本关键点的真实坐标训练得到的；所述人脸关键点检测模型用于基于所述待检测人脸图的脸部UV图和脸部掩模图对所述待检测人脸图的人脸特征进行空间自注意力增强得到人脸增强特征，并基于所述人脸增强特征进行人脸关键点检测。本发明提供的方法和装置，提高了人脸关键点检测的准确率。

Description

人脸关键点检测方法、装置、电子设备及存储介质
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种人脸关键点检测方法、装置、电子设备及存储介质。
背景技术
人脸关键点检测是计算机领域的一项重要任务，其目的是定位一组预定义的关键点，从而了解人脸的结构。人脸关键点检测在许多人脸分析任务中都有所使用，如人脸识别、表情识别、年龄估计等。
现有技术中，通常根据关键点坐标或者人脸热力图来检测人脸关键点，不仅容易遗漏人脸的细节纹理信息，而且无法对人脸的全局面部特征进行学习，使得人脸关键点检测的准确率低。
发明内容
本发明提供一种人脸关键点检测方法、装置、电子设备及存储介质，用于解决现有技术中人脸关键点检测准确率低的技术问题。
本发明提供一种人脸关键点检测方法，包括：
获取待检测人脸图；
将所述待检测人脸图输入至人脸关键点检测模型，得到所述人脸关键点检测模型输出的关键点检测结果；
其中，所述人脸关键点检测模型是基于样本人脸图，以及样本人脸图对应的样本脸部UV图、样本脸部掩模图和样本关键点的真实坐标训练得到的；
所述人脸关键点检测模型用于基于所述待检测人脸图的脸部UV图和脸部掩模图对所述待检测人脸图的人脸特征进行空间自注意力增强得到人脸增强特征，并基于所述人脸增强特征进行人脸关键点检测。
根据本发明提供的人脸关键点检测方法，所述将所述待检测人脸图输入至人脸关键点检测模型，得到所述人脸关键点检测模型输出的关键点检测结果，包括：
将所述待检测人脸图输入至所述人脸关键点检测模型的特征提取层，得到所述特征提取层输出的人脸特征；
将所述人脸特征输入至所述人脸关键点检测模型的三维信息提取层，得到所述三维信息提取层输出的脸部UV图和脸部掩模图；
将所述人脸特征、所述脸部UV图和所述脸部掩模图输入至所述人脸关键点检测模型的特征增强层，得到所述特征增强层输出的人脸增强特征；
将所述人脸增强特征输入至所述人脸关键点检测模型的特征识别层，得到所述特征识别层输出的关键点检测结果。
根据本发明提供的人脸关键点检测方法，所述将所述人脸特征、所述脸部UV图和所述脸部掩模图输入至所述人脸关键点检测模型的特征增强层，得到所述特征增强层输出的人脸增强特征，包括：
将所述人脸特征、所述脸部UV图和所述脸部掩模图输入至所述特征增强层的特征变换层，由所述特征变换层基于所述脸部UV图和所述脸部掩模图将所述人脸特征变换至所述脸部UV图所表示的UV空间，得到结构归一化的人脸特征；
将所述结构归一化的人脸特征输入至所述特征增强层的空间注意力层，由所述空间注意力层基于自注意力机制对所述结构归一化的人脸特征进行增强，得到所述人脸增强特征。
根据本发明提供的人脸关键点检测方法，所述将所述结构归一化的人脸特征输入至所述特征增强层的空间注意力层，由所述空间注意力层基于自注意力机制对所述结构归一化的人脸特征进行增强，得到所述人脸增强特征，包括：
将所述结构归一化的人脸特征输入至所述空间注意力层的注意力变换层，由所述注意力变换层基于所述结构归一化的人脸特征确定自注意力机制中的键向量特征、查询向量特征和值向量特征，并基于所述键向量特征、所述查询向量特征和所述值向量特征对所述结构归一化的人脸特征进行增强，得到UV空间中的人脸特征自注意力，将所述结构归一化的人脸特征和所述UV空间中的人脸特征自注意力进行逐元素加和操作，得到UV空间中的人脸增强特征；
将所述UV空间中的人脸增强特征，输入至所述空间注意力层的特征反变换层，由所述特征反变换层将所述UV空间中的人脸增强特征反变换至所述人脸特征所在的图像空间，并基于反变换结果和所述人脸特征确定所述人脸增强特征。
根据本发明提供的人脸关键点检测方法，所述样本脸部UV图和样本脸部掩模图是基于如下步骤确定的：
确定任一样本人脸图，以及所述任一样本人脸图对应的样本关键点的真实坐标；
将人脸基准三维模型投影到所述任一样本人脸图中，基于每一样本关键点的真实坐标在所述人脸基准三维模型中的对应点投影到所述任一样本人脸图中的投影位置，以及每一样本关键点的真实坐标在所述任一样本人脸图中的位置，确定所述任一样本人脸图对应的人脸三维模型；
对所述任一样本人脸图对应的人脸三维模型进行二维展开，得到所述任一样本人脸图对应的样本脸部UV图，并基于所述样本脸部UV图中的人脸区域和所述任一样本人脸图，确定所述任一样本人脸图对应的样本脸部掩模图；
其中，所述人脸基准三维模型是基于人脸基准形状、中性表情变换基矩阵和表情偏差基矩阵确定的。
根据本发明提供的人脸关键点检测方法，所述人脸关键点检测模型的损失函数包括3D人脸信息预测损失和关键点检测损失；
所述3D人脸信息预测损失是基于每一样本人脸图对应的样本脸部UV图和样本脸部掩模图，以及所述人脸关键点检测模型的三维信息提取层输出的每一样本人脸图的脸部UV图预测结果和样本掩模预测结果确定的；
所述关键点检测损失是基于每一样本人脸图对应的样本关键点的真实坐标，以及所述人脸关键点检测模型的特征识别层输出的每一样本人脸图的关键点检测结果确定的。
根据本发明提供的人脸关键点检测方法，所述人脸关键点检测模型的特征提取层包括HRNet-v2网络模型。
本发明提供一种人脸关键点检测装置，包括：
获取单元，用于获取待检测人脸图；
检测单元，用于将所述待检测人脸图输入至人脸关键点检测模型，得到所述人脸关键点检测模型输出的关键点检测结果；
其中，所述人脸关键点检测模型是基于样本人脸图，以及样本人脸图对应的样本脸部UV图、样本脸部掩模图和样本关键点的真实坐标训练得到的；
所述人脸关键点检测模型用于基于所述待检测人脸图的脸部UV图和脸部掩模图对所述待检测人脸图的人脸特征进行空间自注意力增强得到人脸增强特征，并基于所述人脸增强特征进行人脸关键点检测。
本发明提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现所述人脸关键点检测方法的步骤。
本发明提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述人脸关键点检测方法的步骤。
本发明实施例提供的人脸关键点检测方法、装置、电子设备及存储介质，通过人脸关键点检测模型对待检测人脸图进行检测得到关键点检测结果，人脸关键点检测模型根据待检测人脸图的人脸特征预测得到脸部UV图和脸部掩模图，根据脸部UV图和脸部掩模图对待检测人脸图的人脸特征进行空间自注意力增强得到人脸增强特征，并根据人脸增强特征进行人脸关键点检测，由于脸部UV图能够提供人脸的细节纹理信息，脸部掩模图能够排除无关信息的干扰，采用空间自注意力增强使得人脸增强特征能够包含人脸关键点分布规律和关键点之间的位置关联信息，具有丰富的表达能力，提高了人脸关键点检测的准确率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的人脸关键点检测方法的流程示意图；
图2是本发明提供的人脸关键点检测模型的结构示意图之一；
图3是本发明提供的人脸关键点检测模型的结构示意图之二；
图4是本发明提供的人脸关键点检测装置的结构示意图；
图5是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明提供的人脸关键点检测方法的流程示意图，如图1所示，该方法包括：
步骤110，获取待检测人脸图。
具体地，待检测人脸图可以为包含人脸区域的图像。人脸关键点为用于对人脸的关键位置进行标记的点，关键位置包括眉毛、眼睛、鼻子、嘴巴和脸部轮廓等。
对待检测人脸图进行关键点检测，目的在于确定人脸图中每一关键点的具体位置，从而定位出人脸面部的关键区域，进而实现对人脸进行表情识别或者年龄估计等人脸分析任务。
步骤120，将待检测人脸图输入至人脸关键点检测模型，得到人脸关键点检测模型输出的关键点检测结果；
其中，人脸关键点检测模型是基于样本人脸图，以及样本人脸图对应的样本脸部UV图、样本脸部掩模图和样本关键点的真实坐标训练得到的；人脸关键点检测模型用于基于待检测人脸图的脸部UV图和脸部掩模图对待检测人脸图的人脸特征进行空间自注意力增强得到人脸增强特征，并基于人脸增强特征进行人脸关键点检测。
具体地，关键点检测结果可以包括待检测人脸图中每一关键点的具体位置。
脸部UV图是指脸部纹理贴图，图中的每个点与脸部三维模型是相互联系的，每个 点包含了一个二维位置坐标，根据每个点的二维位置坐标，可以将每个点精确地对应到脸 部三维模型的表面。该二维位置坐标可以采用纹理贴图坐标
Figure 343121DEST_PATH_IMAGE001
表示，与脸部三维模型 所在的空间坐标
Figure 886098DEST_PATH_IMAGE002
区分。
掩模图在图像处理中，用于对被处理的图像进行全部遮挡或者局部遮挡，实现对被处理的图像的全部区域或者局部区域进行处理的图。脸部掩模图为对图像中非脸部区域进行遮挡的图。
在人脸关键点检测过程中，脸部UV图能够提供人脸的细节纹理信息，有助于使深度学习模型学习得到人脸面部形状的分布规律，以及关键点之间的位置关联；脸部掩模图能够使深度学习模型专注于人脸区域的特征学习，排除无关信息的干扰。
因此，可以通过对深度学习模型进行训练的方式得到人脸关键点检测模型，具体可以通过如下训练方式得到：
首先，收集大量的样本人脸图；其次，对每一样本人脸图进行标注，确定每一样本人脸图对应的样本关键点的真实坐标；再次，采用三维面部重建的方法，根据每一样本人脸图对应的样本关键点的真实坐标，确定每一样本人脸图对应的样本脸部UV图和样本脸部掩模图；最后，根据大量的样本人脸图，以及样本人脸图对应的样本标签（包括样本脸部UV图、样本脸部掩模图和样本关键点的真实坐标）对初始模型进行训练，通过归一化映射，使得初始模型能够学习到样本人脸图中关键点在人脸区域中的分布规律和关键点之间的位置关联等人脸特征，提高初始模型对人脸关键点的检测能力，得到人脸关键点检测模型。
初始模型可以选择卷积神经网络模型、循环神经网络模型或者递归神经网络模型等，本发明实施例对于初始模型的选择不作具体限定。
在检测人脸关键点时，人脸关键点检测模型首先对待检测人脸图像进行特征提取，得到人脸特征。在此基础上，人脸关键点检测模型根据人脸特征，预测得到待检测人脸图的脸部UV图和脸部掩模图。在得到脸部UV图和脸部掩模图后，人脸关键点检测模型根据注意力机制，利用脸部UV图和脸部掩模图中的人脸三维信息对人脸特征进行增强，使得增强后得到的人脸增强特征能够包含人脸关键点分布规律和关键点之间的位置关联信息等。此后，人脸关键点检测模型根据人脸增强特征进行人脸关键点检测。
本发明实施例提供的人脸关键点检测方法，通过人脸关键点检测模型对待检测人脸图进行检测得到关键点检测结果，人脸关键点检测模型根据待检测人脸图的人脸特征预测得到脸部UV图和脸部掩模图，根据脸部UV图和脸部掩模图对待检测人脸图的人脸特征进行映射，并使用空间自注意力模块进行增强，得到人脸增强特征，并根据人脸增强特征进行人脸关键点检测，由于脸部UV图能够提供人脸的细节纹理信息，脸部掩模图能够排除无关信息的干扰，采用空间自注意力增强使得人脸增强特征能够包含人脸关键点分布规律和关键点之间的位置关联信息，具有丰富的表达能力，提高了人脸关键点检测的准确率。
基于上述实施例，步骤120包括：
将待检测人脸图输入至人脸关键点检测模型的特征提取层，得到特征提取层输出的人脸特征；
将人脸特征输入至人脸关键点检测模型的三维信息提取层，得到三维信息提取层输出的脸部UV图和脸部掩模图；
将人脸特征、脸部UV图和脸部掩模图输入至人脸关键点检测模型的特征增强层，得到特征增强层输出的人脸增强特征；
将人脸增强特征输入至人脸关键点检测模型的特征识别层，得到特征识别层输出的关键点检测结果。
具体地，图2是本发明提供的人脸关键点检测模型的结构示意图之一，如图2所示，人脸关键点检测模型可以包括特征提取层、三维信息提取层、特征增强层和特征识别层。
将待检测人脸图输入至特征提取层，得到特征提取层输出的人脸特征
Figure 444119DEST_PATH_IMAGE003
。特征提 取层可以采用并行的多分辨率卷积网络构成，不同分辨率的卷积网络之间可以采用相互融 合的机制，从而获取多级分辨率下人脸的特征表达，即人脸特征
Figure 885506DEST_PATH_IMAGE003
。
例如，对于待检测人脸图，可以通过特征提取层提取到大小为
Figure 907688DEST_PATH_IMAGE004
的多分 辨率的人脸特征
Figure 824829DEST_PATH_IMAGE003
，
Figure 198041DEST_PATH_IMAGE005
是特征图通道数，
Figure 655567DEST_PATH_IMAGE006
和
Figure 971404DEST_PATH_IMAGE007
分别代表单通道特征的高和宽。
将人脸特征
Figure 387342DEST_PATH_IMAGE003
输入至三维信息提取层，得到三维信息提取层输出的脸部UV图
Figure 919955DEST_PATH_IMAGE008
和脸部掩模图
Figure 915593DEST_PATH_IMAGE009
。
将人脸特征
Figure 912368DEST_PATH_IMAGE003
、脸部UV图
Figure 935425DEST_PATH_IMAGE008
和脸部掩模图
Figure 752071DEST_PATH_IMAGE009
输入至特征增强层，得 到特征增强层输出的人脸增强特征
Figure 20241DEST_PATH_IMAGE010
。
将人脸增强特征
Figure 605944DEST_PATH_IMAGE010
输入至特征识别层，得到特征识别层输出的关键点检测 结果。
基于上述任一实施例，将人脸特征、脸部UV图和脸部掩模图输入至人脸关键点检测模型的特征增强层，得到特征增强层输出的人脸增强特征，包括：
将人脸特征、脸部UV图和脸部掩模图输入至特征增强层的特征变换层，由特征变换层基于脸部UV图和脸部掩模图将人脸特征变换至脸部UV图所表示的UV空间，得到结构归一化的人脸特征；
将结构归一化的人脸特征输入至特征增强层的空间注意力层，由空间注意力层基于自注意力机制对结构归一化的人脸特征进行增强，得到人脸增强特征。
具体地，特征增强层包括特征变换层和空间注意力层。
将人脸特征
Figure 98105DEST_PATH_IMAGE003
、脸部UV图
Figure 106774DEST_PATH_IMAGE008
和脸部掩模图
Figure 975373DEST_PATH_IMAGE009
输入至特征变换层，由 特征变换层将人脸特征
Figure 618844DEST_PATH_IMAGE003
投影到脸部UV图
Figure 547486DEST_PATH_IMAGE008
所在的UV空间，并根据脸部掩模图
Figure 73145DEST_PATH_IMAGE009
对人脸特征
Figure 181653DEST_PATH_IMAGE003
进行选择处理，得到结构归一化的人脸特征
Figure 7527DEST_PATH_IMAGE011
，可以用公式表示 为：
Figure 779174DEST_PATH_IMAGE012
其中，
Figure 57708DEST_PATH_IMAGE013
为人脸特征所在的图像空间到脸部UV图所表示的UV空间的变换。
通过特征变换层，将人脸特征从图像空间投影到UV空间，使人脸特征与UV空间中的确定位置一一对应，可以起到归一化的作用。
将结构归一化的人脸特征
Figure 268110DEST_PATH_IMAGE011
输入至空间注意力层，由空间注意力层基于自注意 力机制对结构归一化的人脸特征进行增强，得到人脸增强特征
Figure 387638DEST_PATH_IMAGE010
。
通过空间注意力层，在UV空间对结构归一化的人脸特征进行空间自注意力增强，能够保证结构归一化的人脸特征在关键点位置的人脸信息得到固定，从而解决了人脸姿态的干扰，提高了自注意力增强的效率，也减少了与人脸无关内容（如背景）的干扰。
基于上述任一实施例，将结构归一化的人脸特征输入至特征增强层的空间注意力层，由空间注意力层基于自注意力机制对结构归一化的人脸特征进行增强，得到人脸增强特征，包括：
将结构归一化的人脸特征输入至空间注意力层的注意力变换层，由注意力变换层基于结构归一化的人脸特征确定自注意力机制中的键向量特征、查询向量特征和值向量特征，并基于键向量特征、查询向量特征和值向量特征对结构归一化的人脸特征进行增强，得到UV空间中的人脸特征自注意力，将结构归一化的人脸特征和UV空间中的人脸特征自注意力进行逐元素加和操作，得到UV空间中的人脸增强特征；
将UV空间中的人脸增强特征，输入至空间注意力层的特征反变换层，由特征反变换层将UV空间中的人脸增强特征反变换至人脸特征所在的图像空间，并基于反变换结果和人脸特征确定人脸增强特征。
具体地，空间注意力层包括注意力变换层和特征反变换层。
将结构归一化的人脸特征
Figure 392503DEST_PATH_IMAGE011
输入至注意力变换层，由注意力变换层根据结构归 一化的人脸特征
Figure 892754DEST_PATH_IMAGE011
确定自注意力机制中的键向量特征
Figure 844530DEST_PATH_IMAGE014
、查询向量特征
Figure 379416DEST_PATH_IMAGE015
和 值向量特征
Figure 53718DEST_PATH_IMAGE016
。
例如，注意力变换层可以通过2个
Figure 244528DEST_PATH_IMAGE017
卷积核，分别对结构归一化的人脸特征进 行变换，得到
Figure 796732DEST_PATH_IMAGE018
大小的特征
Figure 389387DEST_PATH_IMAGE014
和
Figure 1634DEST_PATH_IMAGE015
。
Figure 712364DEST_PATH_IMAGE019
是提取特征后的特征图通道数。 另外，注意力变换层通过1个的
Figure 5942DEST_PATH_IMAGE017
卷积核对结构归一化的人脸特征进行变换，得到
Figure 515420DEST_PATH_IMAGE004
大小的特征
Figure 236252DEST_PATH_IMAGE016
。
注意力变换层根据键向量特征
Figure 463971DEST_PATH_IMAGE014
、查询向量特征
Figure 590933DEST_PATH_IMAGE015
和值向量特征
Figure 892602DEST_PATH_IMAGE016
对结构归一化的人脸特征进行增强，得到UV空间中的人脸增强特征
Figure 846651DEST_PATH_IMAGE020
， 过程包括：
对键向量特征
Figure 233770DEST_PATH_IMAGE014
、查询向量特征
Figure 931468DEST_PATH_IMAGE015
进行特征张量变换，将其大小从
Figure 651424DEST_PATH_IMAGE018
转换为
Figure 714058DEST_PATH_IMAGE021
，然后采用乘法得到大小为
Figure 650790DEST_PATH_IMAGE022
的空间 自注意力矩阵
Figure 824283DEST_PATH_IMAGE023
，用公式表示为：
Figure 162860DEST_PATH_IMAGE024
其中，
Figure 691668DEST_PATH_IMAGE025
为转置运算符。
然后使用空间自注意力矩阵
Figure 53379DEST_PATH_IMAGE026
对结构归一化的人脸特征
Figure 92880DEST_PATH_IMAGE011
进行增强后， 转换为
Figure 489226DEST_PATH_IMAGE004
大小，得到UV空间中的人脸增强特征
Figure 955979DEST_PATH_IMAGE020
，增强方式可以用公式 表示为：
Figure 837610DEST_PATH_IMAGE027
其中，
Figure 618484DEST_PATH_IMAGE028
为可学习的权重，可以在人脸关键点检测模型的训练过程中进行调整。
将人脸特征
Figure 931654DEST_PATH_IMAGE003
和UV空间中的人脸增强特征
Figure 506992DEST_PATH_IMAGE029
输入至特征反变换层， 由特征反变换层将UV空间中的人脸增强特征
Figure 640033DEST_PATH_IMAGE029
反变换至人脸特征
Figure 254291DEST_PATH_IMAGE003
所在的图 像空间，并根据反变换结果和人脸特征确定人脸增强特征
Figure 359651DEST_PATH_IMAGE010
，用公式可以表示为：
Figure 168207DEST_PATH_IMAGE030
其中，
Figure 991806DEST_PATH_IMAGE031
为可学习的参数，可以在人脸关键点检测模型的训练过程中进行调整；
Figure 911221DEST_PATH_IMAGE032
是脸部UV图所表示的UV空间到人脸特征所在的图像空间的变换，与
Figure 434868DEST_PATH_IMAGE013
互 为反变换。
此处，反变换结果为
Figure 352008DEST_PATH_IMAGE033
。
最后，将人脸增强特征输入特征识别层，得到特征识别层输出的关键点检测结果，用公式表示为：
Figure 459642DEST_PATH_IMAGE034
其中，
Figure 120430DEST_PATH_IMAGE035
为关键点检测结果，
Figure 997119DEST_PATH_IMAGE036
为特征识别层对应的函数表达式。
基于上述任一实施例，样本脸部UV图和样本脸部掩模图是基于如下步骤确定的：
确定任一样本人脸图，以及该样本人脸图对应的样本关键点的真实坐标；
将人脸基准三维模型投影到任一样本人脸图中，基于每一样本关键点的真实坐标在人脸基准三维模型中的对应点投影到任一样本人脸图中的投影位置，以及每一样本关键点的真实坐标在任一样本人脸图中的位置，确定任一样本人脸图对应的人脸三维模型；
对该样本人脸图对应的人脸三维模型进行二维展开，得到该样本人脸图对应的样本脸部UV图，并基于样本脸部UV图中的人脸区域和该样本人脸图，确定该样本人脸图对应的样本脸部掩模图；
其中，人脸基准三维模型是基于人脸基准形状、中性表情变换基矩阵和表情偏差基矩阵确定的。
具体地，可以采用在中性人脸加入面部表情表达的3DMM（3D Morphable models）方法对样本人脸图进行处理，得到每一样本人脸图对应的样本脸部UV图和样本脸部掩模图。
首先，可以根据人脸基准形状、中性表情变换基矩阵和表情偏差基矩阵确定人脸基准三维模型，可以用公式表示为：
Figure 646013DEST_PATH_IMAGE037
其中，
Figure 841544DEST_PATH_IMAGE038
为人脸基准三维模型，
Figure 306023DEST_PATH_IMAGE039
为人脸基准形状，
Figure 801333DEST_PATH_IMAGE040
为中性表情变换基矩阵，
Figure 60276DEST_PATH_IMAGE041
为中性表情的权重，
Figure 142502DEST_PATH_IMAGE042
为表情偏差基矩阵，
Figure 207410DEST_PATH_IMAGE043
为表情偏差的权重。
中性表情变换基矩阵可以为BFM（Basel Face Model）人脸数据库中的基矩阵，表情偏差基矩阵可以为Face Warehouse人脸表情数据库中的基矩阵。
采用弱透视投影操作，将人脸基准三维模型投影到任一样本人脸图中，可以用公式表示为：
Figure 996374DEST_PATH_IMAGE044
式中，
Figure 990000DEST_PATH_IMAGE045
为人脸基准三维模型S上的点在该样本人脸图中的投影位置，
Figure 497205DEST_PATH_IMAGE046
为尺度 因子，
Figure 365804DEST_PATH_IMAGE047
为正交投影矩阵
Figure 9275DEST_PATH_IMAGE048
，
Figure 672337DEST_PATH_IMAGE049
为
Figure 962111DEST_PATH_IMAGE050
的旋转矩阵，
Figure 572084DEST_PATH_IMAGE051
为俯仰角，
Figure 132378DEST_PATH_IMAGE052
为偏航角，
Figure 966342DEST_PATH_IMAGE028
为翻滚角，
Figure 182560DEST_PATH_IMAGE053
为变换向量。
根据人脸基准三维模型和任一样本人脸图，确定该样本人脸图对应的人脸三维模 型的过程，即是找到一组模型参数（
Figure 894426DEST_PATH_IMAGE046
，
Figure 309227DEST_PATH_IMAGE049
，
Figure 517354DEST_PATH_IMAGE053
，
Figure 283185DEST_PATH_IMAGE041
，
Figure 530233DEST_PATH_IMAGE043
），确定该样本人脸图的 每个关键点在人脸基准三维模型S中的对应点投影到该样本人脸图中的投影位置
Figure 2803DEST_PATH_IMAGE045
，以及 每个关键点在该样本人脸图中的位置
Figure 444148DEST_PATH_IMAGE054
，使得这两个位置之间的距离最小，用公式表示 为：
Figure 634958DEST_PATH_IMAGE055
得到最优的模型参数后，也就确定了该样本人脸图对应的人脸三维模型。
对于该样本人脸图对应的人脸三维模型的每个表面点，使用三角网络对人脸三维 模型进行二维展开后，对应的二维坐标为
Figure 921583DEST_PATH_IMAGE056
，将二维坐标点的数值标记在样本人脸图 的对应点上，仅选取可见的人脸部分，就得到了一个二通道张量，即样本脸部UV图。
根据样本脸部UV图中的人脸区域，在样本人脸图上选取对应的人脸区域，得到一个单通道张量，即样本脸部掩模图。在样本脸部掩模图中，可以用1值标记人脸可见部分，可以用0值标记背景及其他部分。
基于上述任一实施例，人脸关键点检测模型的损失函数包括3D人脸信息预测损失和关键点检测损失；
3D人脸信息预测损失是基于每一样本人脸图对应的样本脸部UV图和样本脸部掩模图，以及人脸关键点检测模型的三维信息提取层输出的每一样本人脸图的脸部UV图预测结果和脸部掩模图预测结果确定的；
关键点检测损失是基于每一样本人脸图对应的样本关键点的真实坐标，以及人脸关键点检测模型的特征识别层输出的每一样本人脸图的关键点检测结果确定的。
具体地，3D人脸信息预测损失可以根据每一样本人脸图对应的样本脸部UV图和样 本脸部掩模图，以及人脸关键点检测模型的三维信息提取层输出的每一样本人脸图的脸部 UV图预测结果和脸部掩模图预测结果确定的，具体可以根据样本脸部UV图和样本脸部掩模 图的拼接张量
Figure 78020DEST_PATH_IMAGE057
，以及三维信息提取层输出的样本人脸图的脸部UV图预测结果和 脸部掩膜图的拼接张量
Figure 362371DEST_PATH_IMAGE058
之间的均方误差（MSE）确定，用公式表示为：
Figure 102794DEST_PATH_IMAGE059
其中，
Figure 193110DEST_PATH_IMAGE060
为3D人脸信息预测损失，
Figure 640272DEST_PATH_IMAGE006
为样本脸 部UV图的高度，
Figure 921955DEST_PATH_IMAGE007
为样本脸部UV图的宽度，
Figure 821778DEST_PATH_IMAGE061
为样本脸部UV图中的像素点的标号，像素点
Figure 715785DEST_PATH_IMAGE062
在拼接张量
Figure 79770DEST_PATH_IMAGE057
中的位置与像素点
Figure 971502DEST_PATH_IMAGE063
在拼接张量
Figure 922403DEST_PATH_IMAGE058
中的位置相对应。
关键点检测损失可以根据每一样本人脸图对应的样本关键点的真实坐标，以及人 脸关键点检测模型的特征识别层输出的每一样本人脸图的关键点检测结果确定，具体可以 根据样本关键点的真实坐标
Figure 557784DEST_PATH_IMAGE064
（样本标签），以及特征识别层输出的每一样本人脸图的关键 点检测结果
Figure 41855DEST_PATH_IMAGE035
（预测结果）之间的均方误差（MSE）确定用公式表示为：
Figure 901226DEST_PATH_IMAGE065
其中，
Figure 775642DEST_PATH_IMAGE066
为关键点检测损失，
Figure 509986DEST_PATH_IMAGE067
为样本人脸图中关键点的数量，
Figure 786246DEST_PATH_IMAGE068
为关键点的标号，
Figure 82099DEST_PATH_IMAGE069
为第
Figure 240547DEST_PATH_IMAGE068
个关键点在样本人脸图中的标注位置，
Figure 217731DEST_PATH_IMAGE070
为第
Figure 912280DEST_PATH_IMAGE068
个关键 点在样本人脸图中的检测位置（模型预测位置）。
人脸关键点检测模型的损失函数
Figure 316716DEST_PATH_IMAGE071
可以包括UV图预测损失和关键点检测损 失，用公式表示为：
Figure 228040DEST_PATH_IMAGE072
其中，
Figure 805652DEST_PATH_IMAGE073
为UV图预测损失的权重。
基于上述任一实施例，人脸关键点检测模型的特征提取层包括HRNet-v2网络模型。
具体地，特征提取层可以是HRNet-v2网络模型。具体可以包括一个枝干模块和多分辨率特征提取模块。枝干模块可以为两个卷积层，用于对待检测人脸图提取初始特征。多分辨率特征提取模块包括并行的多分辨率卷积网络，各分辨率卷积网络与枝干模块输出的初始特征的分辨率比值可以为1/4、1/8、1/16、1/32等。不同分辨率的卷积网络层级之间有相互融合的机制，从而能够获取多级分辨率下人脸的特征表达。
基于上述任一实施例，本发明实施例提供一种人脸关键点检测方法，选取人脸关键点公开数据集WFLW中的图像为训练数据集。图3是本发明提供的人脸关键点检测模型的结构示意图之二，如图3所示，该人脸关键点检测模型包括特征提取层、三维信息提取层、特征增强层和特征识别层。其中，特征提取层以HRNet-v2为基础模型。
该方法包括：
步骤一、使用3DMM方法处理训练数据集，得到数据的UV图和面部掩模；
步骤二、三维信息生成。使用HRNet-v2作为基础模型，HRNet-v2的多分辨率特征提取模块中各分辨率卷积网络与枝干模块输出的初始特征的分辨率比值可以为1/4、1/8、1/16、1/32等，输出三通道热图，分别拟合输入图像的UV图（二通道）和面部掩模（单通道）。
步骤三、人脸关键点检测。输入图像提取的特征分别进入两个路径，一个用于产生输入图片对应的UV图和面部掩模（见步骤二），一个使用UV图和面部掩模预测将提取出的多分辨率特征转换到归一化的UV空间，将空间自注意力模块接入HRNet-v2网络的多分辨率特征输出端，对UV空间中的特征进行自注意力增强。然后使用UV图与面部掩模将该特征重新转换回图片空间，与原特征加权逐元素相加，进行预测。
步骤四、网络测试。对输入图片生成UV图和面部掩模，然后将多分辨率特征映射到UV空间，进行自注意力机制增强，随后将特征映射回图像空间，与原特征以0.01:1的比例相加，据此进行关键点位置估计，得到最终结果。
基于上述任一实施例，图4是本发明提供的人脸关键点检测装置的结构示意图，如图4所示，该装置包括：
获取单元410，用于获取待检测人脸图；
检测单元420，用于将待检测人脸图输入至人脸关键点检测模型，得到人脸关键点检测模型输出的关键点检测结果；
其中，人脸关键点检测模型是基于样本人脸图，以及样本人脸图对应的样本脸部UV图、样本脸部掩模图和样本关键点的真实坐标训练得到的；
人脸关键点检测模型用于基于待检测人脸图的脸部UV图和脸部掩模图对待检测人脸图的人脸特征进行结构归一化的空间自注意力增强，得到人脸增强特征，并基于人脸增强特征进行人脸关键点检测。
本发明实施例提供的人脸关键点检测装置，通过人脸关键点检测模型对待检测人脸图进行检测得到关键点检测结果，人脸关键点检测模型根据待检测人脸图的人脸特征预测得到脸部UV图和脸部掩模图，根据脸部UV图和脸部掩模图对待检测人脸图的人脸特征进行空间自注意力增强得到人脸增强特征，并根据人脸增强特征进行人脸关键点检测，由于脸部UV图能够提供人脸的细节纹理信息，脸部掩模图能够排除无关信息的干扰，采用空间自注意力增强使得人脸增强特征能够包含人脸关键点分布规律和关键点之间的位置关联信息，具有丰富的表达能力，提高了人脸关键点检测的准确率。
基于上述任一实施例，检测单元包括：
特征提取子单元，用于将待检测人脸图输入至人脸关键点检测模型的特征提取层，得到特征提取层输出的人脸特征；
三维信息提取子单元，用于将人脸特征输入至人脸关键点检测模型的三维信息提取层，得到三维信息提取层输出的脸部UV图和脸部掩模图；
特征增强子单元，用于将人脸特征、脸部UV图和脸部掩模图输入至人脸关键点检测模型的特征增强层，得到特征增强层输出的人脸增强特征；
特征识别子单元，用于将人脸增强特征输入至人脸关键点检测模型的特征识别层，得到特征识别层输出的关键点检测结果。
基于上述任一实施例，特征增强子单元包括：
特征变换模块，用于将人脸特征、脸部UV图和脸部掩模图输入至特征增强层的特征变换层，由特征变换层基于脸部UV图和脸部掩模图将人脸特征变换至脸部UV图所表示的UV空间，得到结构归一化的人脸特征；
注意力增强模块，用于将结构归一化的人脸特征输入至特征增强层的空间注意力层，由空间注意力层基于自注意力机制对结构归一化的人脸特征特征进行增强，得到人脸增强特征。
基于上述任一实施例，特征变换模块包括：
注意力变换子模块，用于将结构归一化的人脸特征输入至空间注意力层的注意力变换层，由注意力变换层基于结构归一化的人脸特征确定自注意力机制中的键向量特征、查询向量特征和值向量特征，并基于键向量特征、查询向量特征和值向量特征对结构归一化的人脸特征进行增强，得到UV空间中的人脸特征自注意力，将人脸特征和所述UV空间中的人脸特征自注意力进行逐元素加和操作，得到UV空间中的人脸增强特征；
特征反变换子模块，用于将UV空间中的人脸增强特征输入至空间注意力层的特征反变换层，由特征反变换层将UV空间中的人脸增强特征反变换至人脸特征所在的图像空间，并基于反变换结果和人脸特征确定人脸增强特征。
基于上述任一实施例，还包括：
三维信息生成单元，用于确定任一样本人脸图，以及任一样本人脸图对应的样本关键点的真实坐标；
将人脸基准三维模型投影到任一样本人脸图中，基于每一样本关键点的真实坐标在人脸基准三维模型中的对应点投影到任一样本人脸图中的投影位置，以及每一样本关键点的真实坐标在任一样本人脸图中的位置，确定任一样本人脸图对应的人脸三维模型；
对任一样本人脸图对应的人脸三维模型进行二维展开，得到任一样本人脸图对应的样本脸部UV图，并基于样本脸部UV图中的人脸区域和任一样本人脸图，确定任一样本人脸图对应的样本脸部掩模图；
其中，人脸基准三维模型是基于人脸基准形状、中性表情变换基矩阵和表情偏差基矩阵确定的。
基于上述任一实施例，人脸关键点检测模型的损失函数包括3D人脸信息预测损失和关键点检测损失；
3D（三维）人脸信息预测损失是基于每一样本人脸图对应的样本脸部UV图和样本脸部掩模图，以及人脸关键点检测模型的三维信息提取层输出的每一样本人脸图的脸部UV图预测结果和脸部掩模图预测结果确定的；
关键点检测损失是基于每一样本人脸图对应的样本关键点的真实坐标，以及人脸关键点检测模型的特征识别层输出的每一样本人脸图的关键点检测结果确定的。
基于上述任一实施例，人脸关键点检测模型的特征提取层包括HRNet-v2网络模型。
基于上述任一实施例，图5为本发明提供的电子设备的结构示意图，如图5所示，该电子设备可以包括：处理器（Processor）510、通信接口（Communications Interface）520、存储器（Memory）530和通信总线（Communications Bus）540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑命令，以执行如下方法：
获取待检测人脸图；将待检测人脸图输入至人脸关键点检测模型，得到人脸关键点检测模型输出的关键点检测结果；其中，人脸关键点检测模型是基于样本人脸图，以及样本人脸图对应的样本脸部UV图、样本脸部掩模图和样本关键点的真实坐标训练得到的；人脸关键点检测模型用于基于待检测人脸图的脸部UV图和脸部掩模图对待检测人脸图的人脸特征进行空间自注意力增强得到人脸增强特征，并基于人脸增强特征进行人脸关键点检测。
此外，上述的存储器530中的逻辑命令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干命令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例提供的电子设备中的处理器可以调用存储器中的逻辑指令，实现上述方法，其具体的实施方式与前述方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：
获取待检测人脸图；将待检测人脸图输入至人脸关键点检测模型，得到人脸关键点检测模型输出的关键点检测结果；其中，人脸关键点检测模型是基于样本人脸图，以及样本人脸图对应的样本脸部UV图、样本脸部掩模图和样本关键点的真实坐标训练得到的；人脸关键点检测模型用于基于待检测人脸图的脸部UV图和脸部掩模图对待检测人脸图的人脸特征进行空间自注意力增强得到人脸增强特征，并基于人脸增强特征进行人脸关键点检测。
本发明实施例提供的非暂态计算机可读存储介质上存储的计算机程序被执行时，实现上述方法，其具体的实施方式与前述方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干命令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种人脸关键点检测方法，其特征在于，包括：
获取待检测人脸图；
将所述待检测人脸图输入至人脸关键点检测模型，得到所述人脸关键点检测模型输出的关键点检测结果；
其中，所述人脸关键点检测模型是基于样本人脸图，以及样本人脸图对应的样本脸部UV图、样本脸部掩模图和样本关键点的真实坐标训练得到的；
所述人脸关键点检测模型用于基于所述待检测人脸图的脸部UV图和脸部掩模图对所述待检测人脸图的人脸特征进行空间自注意力增强得到人脸增强特征，并基于所述人脸增强特征进行人脸关键点检测；
所述将所述待检测人脸图输入至人脸关键点检测模型，得到所述人脸关键点检测模型输出的关键点检测结果，包括：
将所述待检测人脸图输入至所述人脸关键点检测模型的特征提取层，得到所述特征提取层输出的人脸特征；
将所述人脸特征输入至所述人脸关键点检测模型的三维信息提取层，得到所述三维信息提取层输出的脸部UV图和脸部掩模图；
将所述人脸特征、所述脸部UV图和所述脸部掩模图输入至所述人脸关键点检测模型的特征增强层，得到所述特征增强层输出的人脸增强特征；
将所述人脸增强特征输入至所述人脸关键点检测模型的特征识别层，得到所述特征识别层输出的关键点检测结果；
所述将所述人脸特征、所述脸部UV图和所述脸部掩模图输入至所述人脸关键点检测模型的特征增强层，得到所述特征增强层输出的人脸增强特征，包括：
将所述人脸特征、所述脸部UV图和所述脸部掩模图输入至所述特征增强层的特征变换层，由所述特征变换层基于所述脸部UV图和所述脸部掩模图将所述人脸特征变换至所述脸部UV图所表示的UV空间，得到结构归一化的人脸特征；
将所述结构归一化的人脸特征输入至所述特征增强层的空间注意力层，由所述空间注意力层基于自注意力机制对所述结构归一化的人脸特征进行增强，得到所述人脸增强特征。
2.根据权利要求1所述的人脸关键点检测方法，其特征在于，所述将所述结构归一化的人脸特征输入至所述特征增强层的空间注意力层，由所述空间注意力层基于自注意力机制对所述结构归一化的人脸特征进行增强，得到所述人脸增强特征，包括：
将所述结构归一化的人脸特征输入至所述空间注意力层的注意力变换层，由所述注意力变换层基于所述结构归一化的人脸特征确定自注意力机制中的键向量特征、查询向量特征和值向量特征，并基于所述键向量特征、所述查询向量特征和所述值向量特征对所述结构归一化的人脸特征进行增强，得到UV空间中的人脸特征自注意力，将所述结构归一化的人脸特征和所述UV空间中的人脸特征自注意力进行逐元素加和操作，得到UV空间中的人脸增强特征；
将所述UV空间中的人脸增强特征，输入至所述空间注意力层的特征反变换层，由所述特征反变换层将所述UV空间中的人脸增强特征反变换至所述人脸特征所在的图像空间，并基于反变换结果和所述人脸特征确定所述人脸增强特征。
3.根据权利要求1或2所述的人脸关键点检测方法，其特征在于，所述样本脸部UV图和样本脸部掩模图是基于如下步骤确定的：
确定任一样本人脸图，以及所述任一样本人脸图对应的样本关键点的真实坐标；
将人脸基准三维模型投影到所述任一样本人脸图中，基于每一样本关键点的真实坐标在所述人脸基准三维模型中的对应点投影到所述任一样本人脸图中的投影位置，以及每一样本关键点的真实坐标在所述任一样本人脸图中的位置，确定所述任一样本人脸图对应的人脸三维模型；
对所述任一样本人脸图对应的人脸三维模型进行二维展开，得到所述任一样本人脸图对应的样本脸部UV图，并基于所述样本脸部UV图中的人脸区域和所述任一样本人脸图，确定所述任一样本人脸图对应的样本脸部掩模图；
其中，所述人脸基准三维模型是基于人脸基准形状、中性表情变换基矩阵和表情偏差基矩阵确定的。
4.根据权利要求1或2所述的人脸关键点检测方法，其特征在于，所述人脸关键点检测模型的损失函数包括3D人脸信息预测损失和关键点检测损失；
所述3D人脸信息预测损失是基于每一样本人脸图对应的样本脸部UV图和样本脸部掩模图，以及所述人脸关键点检测模型的三维信息提取层输出的每一样本人脸图的脸部UV图预测结果和脸部掩模图预测结果确定的；
所述关键点检测损失是基于每一样本人脸图对应的样本关键点的真实坐标，以及所述人脸关键点检测模型的特征识别层输出的每一样本人脸图的关键点检测结果确定的。
5.根据权利要求1或2所述的人脸关键点检测方法，其特征在于，所述人脸关键点检测模型的特征提取层包括HRNet-v2网络模型。
6.一种人脸关键点检测装置，其特征在于，包括：
获取单元，用于获取待检测人脸图；
检测单元，用于将所述待检测人脸图输入至人脸关键点检测模型，得到所述人脸关键点检测模型输出的关键点检测结果；
其中，所述人脸关键点检测模型是基于样本人脸图，以及样本人脸图对应的样本脸部UV图、样本脸部掩模图和样本关键点的真实坐标训练得到的；
所述人脸关键点检测模型用于基于所述待检测人脸图的脸部UV图和脸部掩模图对所述待检测人脸图的人脸特征进行空间自注意力增强得到人脸增强特征，并基于所述人脸增强特征进行人脸关键点检测；
所述检测单元包括：
特征提取子单元，用于将所述待检测人脸图输入至所述人脸关键点检测模型的特征提取层，得到所述特征提取层输出的人脸特征；
三维信息提取子单元，用于将所述人脸特征输入至所述人脸关键点检测模型的三维信息提取层，得到所述三维信息提取层输出的脸部UV图和脸部掩模图；
特征增强子单元，用于将所述人脸特征、所述脸部UV图和所述脸部掩模图输入至所述人脸关键点检测模型的特征增强层，得到所述特征增强层输出的人脸增强特征；
特征识别子单元，用于将所述人脸增强特征输入至所述人脸关键点检测模型的特征识别层，得到所述特征识别层输出的关键点检测结果；
所述特征增强子单元包括：
特征变换模块，用于将所述人脸特征、所述脸部UV图和所述脸部掩模图输入至所述特征增强层的特征变换层，由所述特征变换层基于所述脸部UV图和所述脸部掩模图将所述人脸特征变换至所述脸部UV图所表示的UV空间，得到结构归一化的人脸特征；
注意力增强模块，用于将所述结构归一化的人脸特征输入至所述特征增强层的空间注意力层，由所述空间注意力层基于自注意力机制对所述结构归一化的人脸特征进行增强，得到所述人脸增强特征。
7.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述人脸关键点检测方法的步骤。
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述人脸关键点检测方法的步骤。
CN202111667944.0A 2021-12-31 2021-12-31 人脸关键点检测方法、装置、电子设备及存储介质 Active CN114005169B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111667944.0A CN114005169B (zh) 2021-12-31 2021-12-31 人脸关键点检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111667944.0A CN114005169B (zh) 2021-12-31 2021-12-31 人脸关键点检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114005169A CN114005169A (zh) 2022-02-01
CN114005169B true CN114005169B (zh) 2022-03-22

Family

ID=79932530

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111667944.0A Active CN114005169B (zh) 2021-12-31 2021-12-31 人脸关键点检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114005169B (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287846B (zh) * 2019-06-19 2023-08-04 南京云智控产业技术研究院有限公司 一种基于注意力机制的人脸关键点检测方法
CN111563417B (zh) * 2020-04-13 2023-03-21 华南理工大学 一种基于金字塔结构卷积神经网络的人脸表情识别方法
CN111860400A (zh) * 2020-07-28 2020-10-30 平安科技（深圳）有限公司 人脸增强识别方法、装置、设备及存储介质
CN112002014B (zh) * 2020-08-31 2023-12-15 中国科学院自动化研究所 面向精细结构的三维人脸重建方法、系统、装置
CN112329598A (zh) * 2020-11-02 2021-02-05 杭州格像科技有限公司 人脸关键点定位的方法、系统、电子装置和存储介质
CN112418074B (zh) * 2020-11-20 2022-08-23 重庆邮电大学 一种基于自注意力的耦合姿态人脸识别方法

Also Published As

Publication number Publication date
CN114005169A (zh) 2022-02-01

Similar Documents

Publication Publication Date Title
KR102266529B1 (ko) 이미지 기반의 데이터 처리 방법, 장치, 기기 및 판독 가능 저장 매체
CN108549873B (zh) 三维人脸识别方法和三维人脸识别系统
CN111328396B (zh) 用于图像中的对象的姿态估计和模型检索
CN108960036B (zh) 三维人体姿态预测方法、装置、介质及设备
CN108460338B (zh) 人体姿态估计方法和装置、电子设备、存储介质、程序
CN108764048B (zh) 人脸关键点检测方法及装置
CN111709409B (zh) 人脸活体检测方法、装置、设备及介质
US20220414911A1 (en) Three-dimensional reconstruction method and three-dimensional reconstruction apparatus
Huang et al. A coarse-to-fine algorithm for matching and registration in 3D cross-source point clouds
Shi et al. Distance-normalized unified representation for monocular 3d object detection
CN109960742B (zh) 局部信息的搜索方法及装置
CN112418074A (zh) 一种基于自注意力的耦合姿态人脸识别方法
CN111723691B (zh) 一种三维人脸识别方法、装置、电子设备及存储介质
US20220392201A1 (en) Image feature matching method and related apparatus, device and storage medium
CN112084849A (zh) 图像识别方法和装置
WO2023151237A1 (zh) 人脸位姿估计方法、装置、电子设备及存储介质
JP2023073231A (ja) イメージ処理方法及び装置
KR20190061538A (ko) 멀티 인식모델의 결합에 의한 행동패턴 인식방법 및 장치
CN115050064A (zh) 人脸活体检测方法、装置、设备及介质
CN114897136A (zh) 多尺度注意力机制方法及模块和图像处理方法及装置
CN115457492A (zh) 目标检测方法、装置、计算机设备及存储介质
CN113326851A (zh) 图像特征提取方法、装置、电子设备及存储介质
CN111723688B (zh) 人体动作识别结果的评价方法、装置和电子设备
CN116758419A (zh) 针对遥感图像的多尺度目标检测方法、装置和设备
CN114005169B (zh) 人脸关键点检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant