CN116311422A - 关键点检测模型的训练方法、装置及存储介质 - Google Patents

Abstract

本申请提供了一种关键点检测模型的训练方法、装置及存储介质，以经过面部关键点的轮廓曲线在面部关键点处的切线方向作为椭圆高斯核的长轴方向，以该轮廓曲线在面部关键点处的法线方向作为椭圆高斯核的短轴方向，并以面部关键点的坐标数据作为椭圆高斯核的中心点坐标分别生成每个面部关键点对应的椭圆高斯热图。本申请根据各张椭圆高斯热图进行模型训练，从而可训练得到的关键点检测模型增加在面部边缘法线方向上的约束，并降低关键点检测模型在切线方向上的约束，使得关键点检测模型学习到的热图约束与面部关键点的实际分布情况更加契合，进而提高关键点检测模型的检测准确性。

Description

关键点检测模型的训练方法、装置及存储介质

技术领域

本申请涉及面部检测技术领域，尤其涉及一种关键点检测模型的训练方法、装置、存储介质及计算机设备。

背景技术

面部关键点检测是指针对给定的面部图像，定位出该面部图像的关键区域位置，其中，关键区域可以包括脸部外轮廓、眼镜、鼻子和嘴巴。面部关键点检测算法主要可分为两种实现方式：一种是使用全连接层直接回归面部关键点；另一种是热图回归，也即分别生成每个面部关键点的热图，并将每个热图中像素值最大的点作为面部关键点。然而，在使用热图回归的方式进行面部关键点检测时，其检测准确性仍有待提高。

发明内容

本申请的目的旨在至少能解决上述的技术缺陷之一，特别是现有技术中面部关键点检测准确性低的技术缺陷。

第一方面，本申请实施例提供了一种关键点检测模型的训练方法，该方法包括：

获取面部图像和所述面部图像的标注数据，所述标注数据包括预先标注的各个面部关键点的坐标数据；

针对每个所述面部关键点，获取经过该面部关键点的目标轮廓曲线，并确定所述目标轮廓曲线在该面部关键点处的切线方向和法线方向，以所述切线方向作为椭圆高斯核的长轴方向，以所述法线方向作为所述椭圆高斯核的短轴方向，以该面部关键点的坐标数据作为所述椭圆高斯核的中心点坐标生成该面部关键点对应的椭圆高斯热图；

采用所述面部图像和所述面部图像对应的各张所述椭圆高斯热图对初始检测模型进行迭代训练，直至所述初始检测模型满足预设的训练完成条件并得到关键点检测模型。

在其中一个实施例中，所述以所述切线方向作为椭圆高斯核的长轴方向，以所述法线方向作为所述椭圆高斯核的短轴方向，以该面部关键点的坐标数据作为所述椭圆高斯核的中心点坐标生成该面部关键点对应的椭圆高斯热图的步骤，包括：

计算圆形高斯核的核半径；

分别计算预设的第一系数与所述核半径之间的第一乘积，以及预设的第二系数与所述核半径之间的第二乘积；所述第一系数大于1，所述第二系数为小于1的正数；

以所述切线方向作为椭圆高斯核的长轴方向，以所述第一乘积作为所述椭圆高斯核的半长轴，以所述法线方向作为所述椭圆高斯核的短轴方向，以所述第二乘积作为所述椭圆高斯核的半短轴，并以该面部关键点的坐标数据作为所述椭圆高斯核的中心点坐标生成该面部关键点对应的椭圆高斯热图。

在其中一个实施例中，所述第一系数为1.25，所述第二系数为0.75。

在其中一个实施例中，所述标注数据还包括每个所述面部关键点的标注遮挡属性，所述初始检测模型包括热图生成网络；

所述采用所述面部图像和所述面部图像对应的各张所述椭圆高斯热图对初始检测模型进行迭代训练，直至所述初始检测模型的输出满足预设的训练完成条件并得到关键点检测模型的步骤，包括：

针对每个所述面部关键点，若该面部关键点的标注遮挡属性反映该面部关键点被遮挡，则以预设的第一权重或预设的第二权重作为该面部关键点对应的通道损失权重，否则，以预设的第三权重作为该面部关键点对应的通道损失权重；所述第一权重和所述第二权重均小于所述第三权重；

在每轮次模型训练中，将所述面部图像输入至所述初始检测模型中，并分别获取由所述热图生成网络生成的预测高斯热图，根据各张所述椭圆高斯热图、各个所述通道损失权重和本轮次生成的各张所述预测高斯热图，确定本轮次模型训练对应的总损失值，若本轮次模型训练对应的总损失值不满足所述训练完成条件，则调整所述初始检测模型的模型参数并进入下一轮次的模型训练，否则，得到所述关键点检测模型。

在其中一个实施例中，所述初始检测模型还包括遮挡检测网络；

所述根据各张所述椭圆高斯热图、各个所述通道损失权重和本轮次生成的各张所述预测高斯热图，确定本轮次模型训练对应的总损失值的步骤，包括：

基于各张所述椭圆高斯热图、各个所述通道损失权重和本轮次生成的各张所述预测高斯热图，计算本轮次模型训练对应的热图损失值；

分别获取由所述遮挡检测网络生成的每个所述面部关键点的检测遮挡属性，并根据各个所述标注遮挡属性和本轮次生成的各个所述检测遮挡属性，计算本轮次模型训练对应的遮挡检测损失值；

根据本轮次模型训练对应的热图损失值和本轮次模型训练对应的遮挡检测损失值，确定本轮次模型训练对应的总损失值。

在其中一个实施例中，所述基于各张所述椭圆高斯热图、各个所述通道损失权重和本轮次生成的各张所述预测高斯热图，计算本轮次模型训练对应的热图损失值的步骤，包括：

以Wing Loss函数作为损失函数，基于各张所述椭圆高斯热图、各个所述通道损失权重和本轮次生成的各张所述预测高斯热图，计算本轮次模型训练对应的热图损失值。

在其中一个实施例中，所述若该面部关键点的标注遮挡属性反映该面部关键点被遮挡，则以预设的第一权重或预设的第二权重作为该面部关键点对应的通道损失权重的步骤，包括：

若该面部关键点的标注遮挡属性为自遮挡属性，则以所述第一权重作为该面部关键点对应的通道损失权重；

若该面部关键点的标注遮挡属性为外物遮挡属性，则以所述第二权重作为该面部关键点对应的通道损失权重；所述第一权重小于所述第二权重。

第二方面，本申请实施例提供了一种关键点检测模型的训练装置，该装置包括：

数据获取模块，用于获取面部图像和所述面部图像的标注数据，所述标注数据包括预先标注的各个面部关键点的坐标数据；

椭圆高斯热图生成模块，用于针对每个所述面部关键点，获取经过该面部关键点的目标轮廓曲线，并确定所述目标轮廓曲线在该面部关键点处的切线方向和法线方向，以所述切线方向作为椭圆高斯核的长轴方向，以所述法线方向作为所述椭圆高斯核的短轴方向，以该面部关键点的坐标数据作为所述椭圆高斯核的中心点坐标生成该面部关键点对应的椭圆高斯热图；

模型训练模块，用于采用所述面部图像和所述面部图像对应的各张所述椭圆高斯热图对初始检测模型进行迭代训练，直至所述初始检测模型满足预设的训练完成条件并得到关键点检测模型。

第三方面，本申请实施例提供了一种存储介质，该存储介质中存储有计算机可读指令，该计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述任一实施例所述的关键点检测模型的训练方法的步骤。

第四方面，本申请实施例提供了一种计算机设备，该计算机设备包括：一个或多个处理器，以及存储器；

所述存储器中存储有计算机可读指令，所述计算机可读指令被所述一个或多个处理器执行时，执行上述任一实施例所述的关键点检测模型的训练方法的步骤。

在本申请提供的关键点检测模型的训练方法、装置、存储介质及计算机设备中，计算机设备在获取面部图像和预先标注各个面部关键点的坐标数据。对于每个面部关键点，计算机设备可以获取经过该面部关键点的目标轮廓曲线，并确定目标轮廓曲线在该面部关键点处的切线方向和法线方向，以切线方向作为椭圆高斯核的长轴方向，以法线方向作为椭圆高斯核的短轴方向，以该面部关键点的坐标数据作为椭圆高斯核的中心点坐标生成该面部关键点对应的椭圆高斯热图。计算机设备可以利用面部图像和各个面部关键点对应的椭圆高斯热图对初始检测模型进行模型训练，以得到关键点检测模型。相比于面部轮廓的切线方向，关键点检测模型生成的热图需要在面部轮廓的法线方向上收缩到更小范围，也即关键点检测模型增加在面部边缘法线方向上的约束，并降低关键点检测模型在切线方向上的约束，使得关键点检测模型学习到的热图约束与面部关键点的实际分布情况更加契合，从而令关键点检测模型输出的面部关键点更为准确。此外，本申请的方案还可不增加模型推理难度，适用于各种场景。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为一个实施例中面部关键点的排布示意图之一；

图2为一个实施例中面部关键点的排布示意图之二；

图3为一个实施例中关键点检测模型的训练方法的流程示意图；

图4为一个实施例中初始检测模型的模型结构示意图；

图5为一个实施例中生成椭圆高斯热图步骤的流程示意图；

图6为一个实施例中关键点检测模型的训练装置的结构示意图；

图7为一个实施例中计算机设备的内部结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

正如背景技术所言，现有技术在采用热图回归的方式检测面部关键点时，其检测准确性仍有待提高。经发明人研究发现，导致这一问题的原因在于，在模型训练集合中，面部关键点的标注数据会沿着面部边缘方向存在不确定性，例如，面部外轮廓关键点无法做到绝对均匀的分布或者标注的外轮廓关键点无法完全准确地位于面部最边缘的位置。而在生成模型训练集合的热图集合时，现有技术是基于圆形高斯核函数来生成的，换言之，高斯核在每个方向上的半径均相同，导致训练后的关键点检测模型在各个方向上的约束都是相同的。

然而，面部关键点检测在不同方向上的容错度是不相同的。以图1和图2为例，当训练后的关键点检测模型输出图1所示的多个面部关键点时，虽然各个面部关键点的分布并不均匀，但由于各个面部关键点均贴合面部外轮廓，因此这种输出结果通常被认为是可接受的。当训练后的关键点检测模型输出图2所示的多个面部关键点时，虽然各个面部关键点的分布比图1示出的情况均匀，但由于部分面部关键点偏离实际面部区域，因此这种输出结果通常被认为是不可接受的。

现有技术在生成模型训练集合的热图集合时并没有考虑标注数据的不确定性，使得训练后的关键点检测模型各个方向上的约束都是相同的，从而增加了热图回归的难度，进而降低了检测准确性。

为解决前述问题，本申请提供了一种关键点检测模型的训练方法、装置、存储介质及计算机设备。本申请通过确定轮廓线在每个预先标注的面部关键点处的切线方向和法线方向，并以每个面部关键点对应的切线方向和法线方向作为椭圆高斯核的参数来生成每个面部关键对应的椭圆高斯热图，且利用各张椭圆高斯热图对初始检测模型进行训练以得到关键点检测模型，从而可增加关键点检测模型在面部边缘法线方向上的约束，并降低关键点检测模型在切线方向上的约束，使得关键点检测模型学习到的热图约束与面部关键点的实际分布情况更加契合，使得关键点检测模型可以输出更加准确的面部关键点。

在一个实施例中，本申请提供了一种关键点检测模型的训练方法，该方法可以应用于计算机设备。其中，计算机设备是指具备数据处理功能的设备，可以但不限于是笔记本电脑、台式电脑、单个服务器或由多个服务器构成的服务器集群。如图3所示，本申请的关键点检测模型的训练方法可以包括如下步骤：

S302：获取面部图像和面部图像的标注数据，标注数据包括预先标注的各个面部关键点的坐标数据。

其中，面部图像是指记录有至少一张面部的图像，记录在面部图像中的每张面部可以是未被遮挡的或者是被部分遮挡的，本申请对此不作具体限制。同时，每张面部可以以任意角度被记录在面部图像中，例如可以是仰视角度、俯视角度或侧脸角度等。

进一步地，本文所述的面部图像可以是经过数据增强处理的面部图像。换言之，在获取到原始图像和原始图像所对应的由人工预先标注的原始标注数据后，计算机设备可以采用任意一种或任意多种数据增强算法对原始图像进行处理，以得到面部图像。在其中一个实施例中，计算机设备还可以依据所采用的数据增强算法和原始标注数据，得到面部图像的标注数据。其中，数据增强算法包括但不限于图像旋转和图像缩放。

面部图像的标注数据包括各个面部关键点在面部图像中的坐标数据，各个面部关键点的坐标数据可以是由人工预先标注的，也可以是依据所采用的数据增强算法和原始标注数据进行计算得到的，本文对此不作具体限定。可以理解，每张面部所对应的面部关键点的数量可以依据实际情况确定，例如可以是68个、98个或更多。

在其中一个实施例中，S302可以包括如下步骤：

步骤A1：获取初始图像，并将初始图像输入至面部检测模型中，以使面部检测模型检测初始图像中的面部区域并根据面部区域输出面部框位置信息；

步骤A2：基于面部检测模型输出的面部框位置信息，对初始图像的面部区域进行裁剪，以得到面部图像；

步骤A3：获取面部图像的标注数据，其中，该标注数据包括每个面部关键点的坐标数据和每个面部关键点的遮挡属性，该标注数据是由人工标注得到的。

S304：针对每个面部关键点，获取经过该面部关键点的目标轮廓曲线，并确定目标轮廓曲线在该面部关键点处的切线方向和法线方向，以切线方向作为椭圆高斯核的长轴方向，以法线方向作为椭圆高斯核的短轴方向，以该面部关键点的坐标数据作为椭圆高斯核的中心点坐标生成该面部关键点对应的椭圆高斯热图。

其中，椭圆高斯热图是指具备椭圆高斯核的高斯热图，椭圆高斯核为椭圆形状的高斯核，换言之，椭圆高斯核的半长轴大于半短轴。每个面部关键点所对应的目标轮廓曲线是指经过该面部关键点的轮廓曲线。

进一步地，轮廓曲线可主要被划分为脸部边缘轮廓曲线、眼睛轮廓曲线、眉毛轮廓曲线和鼻子轮廓曲线，在执行S304之前，计算机设备可以根据面部关键点的总数量和各个面部关键点的分布情况，确定待拟合的曲线数量，并根据各个面部关键点的坐标数据进行曲线拟合，以得到各条轮廓曲线。

例如，当面部图像被标注有68个面部关键点时，计算机设备可以根据第0至16号面部关键点的坐标数据拟合下巴轮廓曲线，根据第17至21号面部关键点的坐标数据拟合右眉毛轮廓曲线，根据第22至26号面部关键点的坐标数据拟合左眉毛轮廓曲线，根据第22至26号面部关键点的坐标数据拟合左眉毛轮廓曲线，根据第27至30号面部关键点的坐标数据拟合鼻梁轮廓曲线，根据第31至35号面部关键点的坐标数据拟合鼻子下方轮廓曲线，根据第36至41号面部关键点的坐标数据拟合右眼轮廓曲线，根据第42至47号面部关键点的坐标数据拟合左眼轮廓曲线，根据第48至59号面部关键点的坐标数据拟合第一嘴巴轮廓曲线，根据第60至67号面部关键点的坐标数据拟合第二嘴巴轮廓曲线。

在本步骤中，计算机设备需要根据预先标注的各个面部关键点的坐标数据，分别生成每个面部关键点所对应的椭圆高斯热图。具体而言，针对每个面部关键点，计算机设备均可执行步骤B1至步骤B3，以生成该面部关键点所对应的椭圆高斯热图：

步骤B1：获取经过该面部关键点的目标轮廓曲线。在其中一个实施例中，计算机设备可以从生成的各条轮廓曲线中确定经过该面部关键点的轮廓曲线，所确定的轮廓曲线即为目标轮廓曲线。

步骤B2：确定目标轮廓曲线在该面部关键点处的切线方向和法线方向。若目标轮廓曲线为Y，该面部关键点的坐标为(x0,y0)，则计算机设备需要确定Y在(x0,y0)处的切线方向和法线方向。

步骤B3：以切线方向作为椭圆高斯核的长轴方向，以法线方向作为椭圆高斯核的短轴方向，以该面部关键点的坐标数据作为椭圆高斯核的中心点坐标生成该面部关键点对应的椭圆高斯热图。在确定椭圆高斯核的长轴方向、短轴方向和中心点坐标后，计算机设备可以基于二维的椭圆高斯函数生成对应的椭圆高斯热图。在其中一个实施例中，计算机设备可以随机确定椭圆高斯核的半长轴和半短轴，且半长轴大于半短轴，计算机设备可根据长轴方向、半长轴、短轴方向、半短轴和中心点坐标，采用二维的椭圆高斯函数生成对应的椭圆高斯热图。

S306：采用面部图像和面部图像对应的各张所述椭圆高斯热图对初始检测模型进行迭代训练，直至初始检测模型满足预设的训练完成条件并得到关键点检测模型。

具体而言，计算机设备可以利用面部图像和该面部图像所对应的各张椭圆高斯热图对初始检测模型进行模型训练，使得初始检测模型生成的高斯热图趋向于椭圆高斯热图。当初始检测模型的模型表现满足预设的训练完成条件时，计算机设备可确定训练完成，并将训练后的初始检测模型作为关键点检测模型。该关键点检测模型可用于接收面部图像，并基于热图回归的方式实现面部关键点检测，且输出各个面部关键点的信息。

可以理解，初始检测模型的模型结构可以根据实际情况来确定，本申请对此不作具体限制，只需初始检测模型能够基于高斯热图回归来进行面部关键点检测即可。

在其中一个实施例中，如图4所示，初始检测模型可以包括主干网络、特征融合网络和热图生成网络。其中，主干网络用于进行特征提取，其可从输入的面部图像中提取出多尺度特征图。特征融合网络用于将主干网络提取的多尺度特征图进行融合和上采样，以得到融合特征。热图生成网络用于根据融合特征分别生成N个通道的高斯热图，以便于根据N张高斯热图分别确定各个面部关键点的坐标，其中N为待检测的面部关键点总数量。在一个示例中，主干网络可以是CNN(Convolutional Neural Network，卷积神经网络)，热图生成网络可以由多个卷积层叠加而成。

本申请中，计算机设备在获取面部图像和预先标注各个面部关键点的坐标数据。对于每个面部关键点，计算机设备可以获取经过该面部关键点的目标轮廓曲线，并确定目标轮廓曲线在该面部关键点处的切线方向和法线方向，以切线方向作为椭圆高斯核的长轴方向，以法线方向作为椭圆高斯核的短轴方向，以该面部关键点的坐标数据作为椭圆高斯核的中心点坐标生成该面部关键点对应的椭圆高斯热图。计算机设备可以利用面部图像和各个面部关键点对应的椭圆高斯热图对初始检测模型进行模型训练，以得到关键点检测模型。相比于面部轮廓的切线方向，关键点检测模型生成的热图需要在面部轮廓的法线方向上收缩到更小范围，也即关键点检测模型增加在面部边缘法线方向上的约束，并降低关键点检测模型在切线方向上的约束，使得关键点检测模型学习到的热图约束与面部关键点的实际分布情况更加契合，从而令关键点检测模型输出的面部关键点更为准确。

在一个实施例中，如图5所示，以切线方向作为椭圆高斯核的长轴方向，以法线方向作为椭圆高斯核的短轴方向，以该面部关键点的坐标数据作为椭圆高斯核的中心点坐标生成该面部关键点对应的椭圆高斯热图的步骤，包括：

S502：计算圆形高斯核的核半径。

具体而言，计算机设备可以采用现有技术已公开的任意方式来计算圆形高斯核的核半径，本申请对此不作具体限定。

S504：分别计算预设的第一系数与核半径之间的第一乘积，以及预设的第二系数与核半径之间的第二乘积；第一系数大于1，第二系数为小于1的正数。

由于第一系数大于1，且第二系数为小于1的正数，因此，第一乘积大于核半径，第二乘积小于核半径，第一乘积大于第二乘积。可以理解，本申请中，第一系数和第二系数的具体数值可以依据实际情况确定。在一个示例中，第一系数为1.25，第二系数为0.75，以进一步提高面部关键点的检测准确性。

S506：以切线方向作为椭圆高斯核的长轴方向，以第一乘积作为椭圆高斯核的半长轴，以法线方向作为椭圆高斯核的短轴方向，以第二乘积作为椭圆高斯核的半短轴，并以该面部关键点的坐标数据作为椭圆高斯核的中心点坐标生成该面部关键点对应的椭圆高斯热图。

也即，计算机设备在切线方向使用第一乘积作为半径，在法线方向使用第二乘积作为半径来生成椭圆高斯热图。

本实施例中，通过以圆形高斯核的半径作为基础分别确定椭圆高斯核的半长轴和半短轴，使得椭圆热图可以更为准确地表示相应的面部关键点的位置分布，以进一步提高关键点检测模型的检测准确性。

在一个实施例中，标注数据还包括每个面部关键点的标注遮挡属性，标注遮挡属性是指预先标注的且用于反映相应的面部关键点是否被遮挡的信息。当某个面部关键点的标注遮挡属性反映该面部关键点被遮挡时，表明难以较为准确地标注该面部关键点，例如自遮挡、外物遮挡或超出图像边界等情况均可被认为是遮挡。当某个面部关键点的标注遮挡属性反映该面部关键点未被遮挡时，表明该面部关键点在面部图像中可见。

初始检测模型包括热图生成网络，热图生成网络是指用于输出每个面部关键点对应的高斯热图的网络，其具体说明可参阅上述实施例，在此不再赘述。

采用面部图像和面部图像对应的各张椭圆高斯热图对初始检测模型进行迭代训练，直至初始检测模型的输出满足预设的训练完成条件并得到关键点检测模型的步骤，包括：

针对每个面部关键点，若该面部关键点的标注遮挡属性反映该面部关键点被遮挡，则以预设的第一权重或预设的第二权重作为该面部关键点对应的通道损失权重，否则，以预设的第三权重作为该面部关键点对应的通道损失权重；第一权重和第二权重均小于第三权重；

在每轮次模型训练中，将面部图像输入至初始检测模型中，并分别获取由热图生成网络生成的预测高斯热图，根据各张椭圆高斯热图、各个通道损失权重和本轮次生成的各张预测高斯热图，确定本轮次模型训练对应的总损失值，若本轮次模型训练对应的总损失值不满足训练完成条件，则调整初始检测模型的模型参数并进入下一轮次的模型训练，否则，得到关键点检测模型。

具体而言，在模型训练时，若被遮挡的面部关键点与未被遮挡的面部关键点使用相同的通道损失权重，则不利于初始检测模型的学习。因此，计算机设备可以根据每个面部关键点的标注遮挡属性，分别确定每个面部关键点所对应的通道损失权重，使得被遮挡的面部关键点对应着较小的通道损失权重，未被遮挡的面部关键点对应着较大的通道损失权重，以减少被遮挡的面部关键点所对应的通道损失。

在迭代训练的每轮次模型训练中，计算机设备可以将面部图像输入到初始检测模型中，以利用初始检测模型的热图生成网络生成各个面部关键点所对应的预测高斯热图。计算机设备可以根据各张椭圆高斯热图、各个面部关键点所对应的通道损失权重和热图生成网络在本轮次生成的预测高斯热图，计算本轮次训练的总损失值。根据本轮次训练的总损失值判断初始检测模型是否已经训练完成，若是，则将训练后的初始检测模型作为关键点检测模型。若未训练完成，则调整初始检测模型的模型参数并进入下一轮次的模型训练中。

本实施例中，考虑到被遮挡的面部关键点的定位准确性低于未被遮挡的面部关键点的定位准确性，因此，本申请通过减小被遮挡的面部关键点所对应的通道损失权重，从而可缓解被遮挡的面部关键点损失过大问题，以进一步提高关键点检测模型的检测准确性。

在一个实施例中，若该面部关键点的标注遮挡属性反映该面部关键点被遮挡，则以预设的第一权重或预设的第二权重作为该面部关键点对应的通道损失权重的步骤，包括：

若该面部关键点的标注遮挡属性为自遮挡属性，则以第一权重作为该面部关键点对应的通道损失权重；

若该面部关键点的标注遮挡属性为外物遮挡属性，则以第二权重作为该面部关键点对应的通道损失权重；第一权重小于第二权重。

其中，自遮挡是指受限于面部角度，部分面部关键点在面部图像上不可见的情况。例如，当面部图像为左侧脸图像时，位于右脸的部分面部关键点不可见，这部分不可见的面部关键点的遮挡属性可为自遮挡属性。

外物遮挡是指部分面部被除本人面部以外的物体遮挡的情况。例如，当面部图像为正面图像时，部分面部被手掌、其他面部或任意物体遮挡。位于被外物遮挡的部分面部的面部关键点可为外物遮挡属性的面部关键点。

由于自遮挡属性的面部关键点在面部图像中是不可见的，其标注难度较高，而外物遮挡属性的面部关键点在面部图像中是可见的，标注人员可以在面部图像中大致确定各个外物遮挡属性的面部关键点的坐标，因此，本申请可以针对遮挡情况不同的面部关键点，分别使用不同的通道损失权重，使得自遮挡属性的面部关键点所对应的通道损失权重小于外物遮挡属性的面部关键点所对应的通道损失权重。换言之，自遮挡属性的面部关键点所对应的通道损失权重为第一权重，外物遮挡属性的面部关键点所对应的通道损失权重为第二权重，未被遮挡的面部关键点所对应的通道损失权重为第三权重，且第一权重小于第二权重，第二权重小于第三权重。

本实施例中，针对不同的遮挡情况使用不同的通道损失权重，从而可考虑到不同遮挡情况对于模型训练的影响，以进一步缓解被遮挡的面部关键点损失过大问题，以进一步提高关键点检测模型的检测准确性。

在一个实施例中，初始检测模型还包括遮挡检测网络，其中，遮挡检测网络是指用于检测每个面部关键点是否被遮挡，并分别输出每个面部关键点的遮挡属性的网络，其具体实现可根据实际情况确定，本申请对此不作具体限定。

进一步地，遮挡检测网络可以是二分类网络，用于区分面部关键点被遮挡或未被遮挡。遮挡检测网络的全连接层输出可以使用sigmoid激活函数，并可生成每个面部关键点的可见性得分。针对每个面部关键点，若该面部关键点的可见性得分大于预设得分阈值，则遮挡检测网络可将该面部关键点的遮挡属性确定为未被遮挡属性，否则，将该面部关键点的遮挡属性确定为被遮挡属性。

根据各张椭圆高斯热图、各个通道损失权重和本轮次生成的各张预测高斯热图，确定本轮次模型训练对应的总损失值的步骤，包括：

基于各张椭圆高斯热图、各个通道损失权重和本轮次生成的各张预测高斯热图，计算本轮次模型训练对应的热图损失值；

分别获取由遮挡检测网络生成的每个面部关键点的检测遮挡属性，并根据各个标注遮挡属性和本轮次生成的各个检测遮挡属性，计算本轮次模型训练对应的遮挡检测损失值；

根据本轮次模型训练对应的热图损失值和本轮次模型训练对应的遮挡检测损失值，确定本轮次模型训练对应的总损失值。

由于初始检测模型包括热图生成网络和遮挡检测网络，为完成两个网络的训练，在每轮次的模型训练中，计算机设备可根据热图生成网络在本轮次模型训练中生成的各个预测高斯热图计算本轮次模型训练所对应的热图损失值，并根据遮挡检测网络在本轮次模型训练中生成的检测遮挡属性计算本轮次模型训练所对应的遮挡检测损失值。其中，热图损失值可以反映热图生成网络在本轮次模型训练中的损失值，遮挡检测损失值可以反映遮挡检测网络在本轮次模型训练中的损失值。计算机设备可根据本轮次模型训练分别对应的热图损失值和遮挡检测损失值，确定本轮次模型训练对应的总损失值，以便于所确定的损失值判断热图生成网络和遮挡检测网络的表现是否均可满足预设训练完成条件。

可以理解，在确定总损失值时，本申请可采用任意方式来实现，只需总损失值是基于热图损失值和遮挡检测损失值来确定即可。进一步地，计算机设备可以将本轮次模型训练分别对应的热图损失值和遮挡检测损失值进行求和，以得到本轮次模型训练的总损失值，如此，既可令总损失值同时反映热图生成网和遮挡检测网络的损失值，又可简化总损失值的计算方式，以提高模型训练速度。

在一个实施例中，计算机设备可以以Wing Loss函数作为损失函数来计算每轮次模型训练对应的热图损失值，由于Wing Loss函数更为适合面部关键点检测任务，因此，通过Wing Loss函数计算热图损失值并根据所计算的热图损失值来训练初始检测模型，可以提高关键点检测模型的检测准确性。

在一个实施例中，计算机设备可以以均方误差函数(即MSE Loss函数)作为损失函数来计算每轮次模型训练对应的热图损失值，以降低模型训练过程中的计算量，进而提高模型训练效率。

在一个实施例中，计算机设备可以基于二分类交叉熵损失函来计算每轮次模型训练对应的遮挡检测损失值。

下面对本申请实施例提供的关键点检测模型的训练装置进行描述，下文描述的关键点检测模型的训练装置与上文描述的关键点检测模型的训练方法可相互对应参照。

在一个实施例中，本申请提供了一种关键点检测模型的训练装置600。如图6所示，关键点检测模型的训练装置600包括数据获取模块610、椭圆高斯热图生成模块620和模型训练模块630。其中：

数据获取模块610，用于获取面部图像和面部图像的标注数据，标注数据包括预先标注的各个面部关键点的坐标数据；

椭圆高斯热图生成模块620，用于针对每个面部关键点，获取经过该面部关键点的目标轮廓曲线，并确定目标轮廓曲线在该面部关键点处的切线方向和法线方向，以切线方向作为椭圆高斯核的长轴方向，以法线方向作为椭圆高斯核的短轴方向，以该面部关键点的坐标数据作为椭圆高斯核的中心点坐标生成该面部关键点对应的椭圆高斯热图；

模型训练模块630，用于采用面部图像和面部图像对应的各张椭圆高斯热图对初始检测模型进行迭代训练，直至初始检测模型满足预设的训练完成条件并得到关键点检测模型。

在一个实施例中，椭圆高斯热图生成模块620包括核半径计算单元、乘积计算单元和热图生成单元。其中，核半径计算单元用于计算圆形高斯核的核半径。乘积计算单元用于分别计算预设的第一系数与核半径之间的第一乘积，以及预设的第二系数与核半径之间的第二乘积；第一系数大于1，第二系数为小于1的正数。热图生成单元用于以切线方向作为椭圆高斯核的长轴方向，以第一乘积作为椭圆高斯核的半长轴，以法线方向作为椭圆高斯核的短轴方向，以第二乘积作为椭圆高斯核的半短轴，并以该面部关键点的坐标数据作为椭圆高斯核的中心点坐标生成该面部关键点对应的椭圆高斯热图。

在一个实施例中，第一系数为1.25，第二系数为0.75。

在一个实施例中，标注数据还包括每个面部关键点的标注遮挡属性，初始检测模型包括热图生成网络。本申请的模型训练模块630包括通道损失权重确定单元和训练单元。其中，通道损失权重确定单元用于针对每个面部关键点，若该面部关键点的标注遮挡属性反映该面部关键点被遮挡，则以预设的第一权重或预设的第二权重作为该面部关键点对应的通道损失权重，否则，以预设的第三权重作为该面部关键点对应的通道损失权重；第一权重和第二权重均小于第三权重。训练单元用于在每轮次模型训练中，将面部图像输入至初始检测模型中，并分别获取由热图生成网络生成的预测高斯热图，根据各张椭圆高斯热图、各个通道损失权重和本轮次生成的各张预测高斯热图，确定本轮次模型训练对应的总损失值，若本轮次模型训练对应的总损失值不满足训练完成条件，则调整初始检测模型的模型参数并进入下一轮次的模型训练，否则，得到关键点检测模型。

在一个实施例中，本申请的通道损失权重确定单元包括第一遮挡属性权重确定单元和第二遮挡属性权重确定单元。其中，第一遮挡属性权重确定单元用于在该面部关键点的标注遮挡属性为自遮挡属性的情况下，以第一权重作为该面部关键点对应的通道损失权重。第二遮挡属性权重确定单元用于在该面部关键点的标注遮挡属性为外物遮挡属性的情况下，以第二权重作为该面部关键点对应的通道损失权重；第一权重小于第二权重。

在一个实施例中，初始检测模型还包括遮挡检测网络。本申请的训练单元包括热图损失值计算单元、遮挡检测损失值计算单元和总损失值计算单元。热图损失值计算单元用于基于各张椭圆高斯热图、各个通道损失权重和本轮次生成的各张预测高斯热图，计算本轮次模型训练对应的热图损失值。遮挡检测损失值计算单元用于分别获取由遮挡检测网络生成的每个面部关键点的检测遮挡属性，并根据各个标注遮挡属性和本轮次生成的各个检测遮挡属性，计算本轮次模型训练对应的遮挡检测损失值。总损失值计算单元用于根据本轮次模型训练对应的热图损失值和本轮次模型训练对应的遮挡检测损失值，确定本轮次模型训练对应的总损失值。

在一个实施例中，热图损失值计算单元还用于以Wing Loss函数作为损失函数，基于各张椭圆高斯热图、各个通道损失权重和本轮次生成的各张预测高斯热图，计算本轮次模型训练对应的热图损失值。

在一个实施例中，本申请还提供了一种存储介质，该存储介质中存储有计算机可读指令，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如任意实施例中关键点检测模型的训练方法的步骤。

在一个实施例中，本申请还提供了一种计算机设备，所述计算机设备中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如任意实施例中关键点检测模型的训练方法的步骤。

示意性地，图7为本申请实施例提供的一种计算机设备的内部结构示意图，在一个示例中，该计算机设备可以为服务器。参照图7，计算机设备900包括处理组件902，其进一步包括一个或多个处理器，以及由存储器901所代表的存储器资源，用于存储可由处理组件902的执行的指令，例如应用程序。存储器901中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件902被配置为执行指令，以执行上述任意实施例所述关键点检测模型的训练方法的步骤。

计算机设备900还可以包括一个电源组件903被配置为执行计算机设备900的电源管理，一个有线或无线网络接口904被配置为将计算机设备900连接到网络，和一个输入输出(I/O)接口905。计算机设备900可以操作基于存储在存储器901的操作系统，例如WindowsServer TM、Mac OS XTM、Unix TM、Linux TM、Free BSDTM或类似。

本领域技术人员可以理解，本申请示出的计算机设备的内部结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。本文中，“一”、“一个”、“所述”、“该”和“其”也可以包括复数形式，除非上下文清楚指出另外的方式。多个是指至少两个的情况，如2个、3个、5个或8个等。“和/或”包括相关所列项目的任何及所有组合。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间可以根据需要进行组合，且相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种关键点检测模型的训练方法，其特征在于，所述方法包括：

获取面部图像和所述面部图像的标注数据，所述标注数据包括预先标注的各个面部关键点的坐标数据；

针对每个所述面部关键点，获取经过该面部关键点的目标轮廓曲线，并确定所述目标轮廓曲线在该面部关键点处的切线方向和法线方向，以所述切线方向作为椭圆高斯核的长轴方向，以所述法线方向作为所述椭圆高斯核的短轴方向，以该面部关键点的坐标数据作为所述椭圆高斯核的中心点坐标生成该面部关键点对应的椭圆高斯热图；

采用所述面部图像和所述面部图像对应的各张所述椭圆高斯热图对初始检测模型进行迭代训练，直至所述初始检测模型满足预设的训练完成条件并得到关键点检测模型。

2.根据权利要求1所述的关键点检测模型的训练方法，其特征在于，所述以所述切线方向作为椭圆高斯核的长轴方向，以所述法线方向作为所述椭圆高斯核的短轴方向，以该面部关键点的坐标数据作为所述椭圆高斯核的中心点坐标生成该面部关键点对应的椭圆高斯热图的步骤，包括：

计算圆形高斯核的核半径；

分别计算预设的第一系数与所述核半径之间的第一乘积，以及预设的第二系数与所述核半径之间的第二乘积；所述第一系数大于1，所述第二系数为小于1的正数；

以所述切线方向作为椭圆高斯核的长轴方向，以所述第一乘积作为所述椭圆高斯核的半长轴，以所述法线方向作为所述椭圆高斯核的短轴方向，以所述第二乘积作为所述椭圆高斯核的半短轴，并以该面部关键点的坐标数据作为所述椭圆高斯核的中心点坐标生成该面部关键点对应的椭圆高斯热图。

3.根据权利要求2所述的关键点检测模型的训练方法，其特征在于，所述第一系数为1.25，所述第二系数为0.75。

4.根据权利要求1所述的关键点检测模型的训练方法，其特征在于，所述标注数据还包括每个所述面部关键点的标注遮挡属性，所述初始检测模型包括热图生成网络；

所述采用所述面部图像和所述面部图像对应的各张所述椭圆高斯热图对初始检测模型进行迭代训练，直至所述初始检测模型的输出满足预设的训练完成条件并得到关键点检测模型的步骤，包括：

针对每个所述面部关键点，若该面部关键点的标注遮挡属性反映该面部关键点被遮挡，则以预设的第一权重或预设的第二权重作为该面部关键点对应的通道损失权重，否则，以预设的第三权重作为该面部关键点对应的通道损失权重；所述第一权重和所述第二权重均小于所述第三权重；

在每轮次模型训练中，将所述面部图像输入至所述初始检测模型中，并分别获取由所述热图生成网络生成的预测高斯热图，根据各张所述椭圆高斯热图、各个所述通道损失权重和本轮次生成的各张所述预测高斯热图，确定本轮次模型训练对应的总损失值，若本轮次模型训练对应的总损失值不满足所述训练完成条件，则调整所述初始检测模型的模型参数并进入下一轮次的模型训练，否则，得到所述关键点检测模型。

5.根据权利要求4所述的关键点检测模型的训练方法，其特征在于，所述初始检测模型还包括遮挡检测网络；

所述根据各张所述椭圆高斯热图、各个所述通道损失权重和本轮次生成的各张所述预测高斯热图，确定本轮次模型训练对应的总损失值的步骤，包括：

基于各张所述椭圆高斯热图、各个所述通道损失权重和本轮次生成的各张所述预测高斯热图，计算本轮次模型训练对应的热图损失值；

分别获取由所述遮挡检测网络生成的每个所述面部关键点的检测遮挡属性，并根据各个所述标注遮挡属性和本轮次生成的各个所述检测遮挡属性，计算本轮次模型训练对应的遮挡检测损失值；

根据本轮次模型训练对应的热图损失值和本轮次模型训练对应的遮挡检测损失值，确定本轮次模型训练对应的总损失值。

6.根据权利要求5所述的关键点检测模型的训练方法，其特征在于，所述基于各张所述椭圆高斯热图、各个所述通道损失权重和本轮次生成的各张所述预测高斯热图，计算本轮次模型训练对应的热图损失值的步骤，包括：

以Wing Loss函数作为损失函数，基于各张所述椭圆高斯热图、各个所述通道损失权重和本轮次生成的各张所述预测高斯热图，计算本轮次模型训练对应的热图损失值。

7.根据权利要求4至6任一项所述的关键点检测模型的训练方法，其特征在于，所述若该面部关键点的标注遮挡属性反映该面部关键点被遮挡，则以预设的第一权重或预设的第二权重作为该面部关键点对应的通道损失权重的步骤，包括：

若该面部关键点的标注遮挡属性为自遮挡属性，则以所述第一权重作为该面部关键点对应的通道损失权重；

若该面部关键点的标注遮挡属性为外物遮挡属性，则以所述第二权重作为该面部关键点对应的通道损失权重；所述第一权重小于所述第二权重。

8.一种关键点检测模型的训练装置，其特征在于，所述装置包括：

数据获取模块，用于获取面部图像和所述面部图像的标注数据，所述标注数据包括预先标注的各个面部关键点的坐标数据；

椭圆高斯热图生成模块，用于针对每个所述面部关键点，获取经过该面部关键点的目标轮廓曲线，并确定所述目标轮廓曲线在该面部关键点处的切线方向和法线方向，以所述切线方向作为椭圆高斯核的长轴方向，以所述法线方向作为所述椭圆高斯核的短轴方向，以该面部关键点的坐标数据作为所述椭圆高斯核的中心点坐标生成该面部关键点对应的椭圆高斯热图；

模型训练模块，用于采用所述面部图像和所述面部图像对应的各张所述椭圆高斯热图对初始检测模型进行迭代训练，直至所述初始检测模型满足预设的训练完成条件并得到关键点检测模型。

9.一种存储介质，其特征在于，所述存储介质中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至7中任一项所述关键点检测模型的训练方法的步骤。

10.一种计算机设备，其特征在于，包括：一个或多个处理器，以及存储器；

所述存储器中存储有计算机可读指令，所述计算机可读指令被所述一个或多个处理器执行时，执行如权利要求1至7中任一项所述关键点检测模型的训练方法的步骤。

Images