CN113128277A - 一种人脸关键点检测模型的生成方法及相关设备 - Google Patents

Abstract

本发明提供了一种基于神经网络的人脸关键点检测方法及相关设备，在对人脸图片进行关键点位置信息检测时，通过将含有人脸关键点信息的特征图与热度图相融合进行人脸图片中关键点位置信息检测，由于热度图表征有关键点与其周边关键点之间相似的强度，因此将特征图与热度图相融合，提高人脸关键点位置信息周边比例，减少人脸关键点检测任务上与人脸关键点无关信息的干扰，且在多种尺度下将特征图与融合后特征融合图信息合并，避免了重要信息的丢失，从而实现人脸关键点检测的速度和精度上的提高。

Description

一种人脸关键点检测模型的生成方法及相关设备

技术领域

本发明涉及人脸检测技术领域，尤其涉及的是一种人脸关键点检测模型的生成方法及相关设备。

背景技术

人脸关键点检测,人脸关键点检测任务是要根据给定的人脸预测出如脸部轮廓、眼部、嘴部、眉毛等预先定义好的一系列关键点的坐标，又称作人脸对齐,是计算机视觉领域中的经典问题之一。精确的人脸关键点定位是许多其他人脸分析人物的基础,如表情识别,3D人脸重建,姿态估计等任务。

用于人脸关键点检测的SBR模型(Supervision-by-Registration，SBR)主要是基于人脸在实际视频中运动过程较为平滑，不需要提供任何额外的人工标注数据，通过人脸运动平滑的特性就能提升检测器的性能，尤其对视频中人脸关键点检测的稳定性要有很大提升。但是整个网络基于的基础网络结构复杂冗余，使得对算法分析验证变得十分困难。

现有技术中的人脸关键点检测算法的基础网络结构复杂，导致网络对于人脸关键点相关信息的提取效率低，且对算法分析验证难度高等缺点，因此现有技术中的人脸关键点检测方法无法满足精度高和检测速度快的要求。

因此，现有技术有待于进一步的改进。

发明内容

鉴于上述现有技术中的不足之处，本发明提供了一种人脸关键点检测模型的生成方法及相关设备，克服现有技术中人脸关键点提取时，由于现有技术中的人脸关键点检测算法的基础网络结构复杂，导致的检测结果精度差，检测速度慢等缺陷。

第一方面，本实施例公开了一种人脸关键点检测模型的生成方法，其中，包括：

预设网络模型根据训练集中人脸图片，生成所述人脸图片对应的预测关键点位置信息组和预测关键点热度图，其中，所述训练集包括多组训练样本，每组训练样本包括人脸图片以及人脸图片对应的关键点热度图和关键点位置信息；

所述预设网络模型根据所述人脸图片对应的预测关键点位置信息组和所述预测关键点热度图，以及所述人脸图片对应的关键点热度图和关键点位置信息，对模型参数进行修正，并继续执行根据所述训练集中人脸图片，生成所述人脸图片对应的预测关键点位置信息组和预测关键点热度图的步骤，直至所述预设网络模型的训练情况满足预设条件，以得到所述人脸关键点检测模型。

可选的，所述预设网络模型根据所述人脸图片对应的预测关键点位置信息组和所述预测关键点热度图，以及所述人脸图片对应的关键点热度图和关键点位置信息，对模型参数进行修正的步骤包括：

根据所述人脸图片对应的预测关键点位置信息组和所述关键点位置信息，计算出位置损失值；

根据所述预测关键点热度图、关键点热度图计算出热度图损失值；

根据所述位置损失值和热度图损失值计算出总损失值；

根据所述总损失值对模型参数进行修正。

可选的，所述预设网络模型包括：特征图提取模块、融合图生成模块和预测模块；

所述预设网络模型根据训练集中人脸图片，生成所述人脸图片对应的预测关键点位置信息组和预测关键点热度图的步骤包括：

将所述人脸图片输入所述特征图提取模块，通过所述特征图提取模块得到所述人脸图片对应的下采样特征图组，所述下采样特征图组包括多张预设尺寸不同的下采样特征图；

将所述下采样特征图组输入所述融合图生成模块，通过所述融合图生成模块得到融合图组；其中，所述融合图组包括多张融合图，每张融合图对应一张下采样特征图，且各张融合图对应的下采样特征图不同；

将所述下采样特征图组中指定下采样特征图和所述融合图组输入到预测模块，通过所述预测模块得到所述人脸图片对应的预测关键点位置信息组和预测关键点热度图。

可选的，所述特征图提取模块包括：k层下采样单元，其中，k为正整数。

将所述人脸图片输入所述特征图提取模块，通过所述特征图提取模块得到所述人脸图片对应的下采样特征图组的步骤包括：

将所述人脸图片输入第一层下采样单元，通过所述第一层下采样单元输出第一下采样特征图；

将第二层下采样单元作为目标下采样单元，将所述第一下采样特征图作为目标特征图；

将所述目标特征图分别输入到所述目标下采样单元和所述融合图生成模块，通过所述目标下采样单元输出第二下采样特征图；

将所述目标下采样单元输出的第二下采样特征图作为目标特征图，并将所述目标下采样单元的后一层下采样单元作为目标下采样单元；

继续执行将目标特征图分别输入到所述目标下采样单元和所述融合图生成模块的步骤，直至通过第k层下采样单元输出第k下采样特征图，得到所述特征图提取模块输出的所述下采样特征图组。

可选的，所述融合图生成模块包括关键点信息生成单元和融合单元；

所述将所述下采样特征图组输入所述融合图生成模块，通过所述融合图生成模块得到融合图组的步骤包括：

将第k层下采样单元输出的所述第k下采样特征图输入到所述关键点信息生成单元，通过所述关键点信息生成单元得到与所述第k下采样特征图对应的关键点位置特征图；其中，所述关键点位置特征图包括预测出的关键点坐标信息；

将所述关键点位置特征图和所述下采样特征图组中除所述指定下采样特征图之外的其他下采样特征图输入到所述融合单元，通过所述融合单元输出所述融合图组。

可选的，所述融合单元包括：热度图生成子单元和融合子单元；

将所述关键点位置特征图和所述下采样特征图组中除所述指定下采样特征图之外的其他下采样特征图输入到所述融合单元，通过所述融合单元输出所述融合图组的步骤包括：

将所述关键点位置特征图和所述下采样特征图组中除所述指定下采样特征图之外的其他下采样特征图输入所述热度图生成子单元，通过所述热度图生成子单元输出热度图组，其中，所述热度图组包括多个热度图，每张热度图对应一张下采样特征图，且各张热度图对应的下采样特征图不同；

将所述下采样特征图组中除所述指定下采样特征图之外的其他下采样特征图和所述热度图组输入到所述融合子单元，通过所述融合子单元输出融合图组。

可选的，所述预测模块包括：若干层上采样单元和输出层，每层上采样单元各自连接有一个输出层；所述指定下采样特征图为第k下采样特征图；各个输出层输出的预测关键点位置信息精确度不同；

所述将所述下采样特征图组中指定下采样特征图和所述融合图组输入到预测模块，通过所述预测模块得到所述人脸图片对应的预测关键点位置信息组和预测关键点热度图的步骤包括：

将所述第k下采样特征图输入到第一层上采样单元，通过第一层上采样单元输出第一上采样特征图；

将第二层上采样单元作为目标上采样单元，将所述第一上采样特征图作为目标特征图；

将所述目标特征图和与所述目标特征图等尺寸的融合图输入到目标上采样单元，通过所述目标上采样单元输出第二上采样特征图；

将所述目标上采样单元输出的第二上采样特征图作为目标特征图，并将所述目标上采样单元的后一层上采样单元作为目标上采样单元；

继续执行将目标特征图和与所述目标特征图等尺寸的融合图输入到所述目标下采样单元的步骤，直至最后一层的上采样单元输出第N上采样特征图；N为正整数；

将除所述第N上采样特征图之外的其他N-1个上采样特征图均输入到对应上采样单元各自连接的输出层，通过各自连接的输出层得到预测关键点位置信息组，将最后一层的上采样单元输出的所述第N上采样特征图作为预测关键点热度图，得到所述预测关键点位置信息组和所述预测关键点热度图。

第二方面，本实施例还提出了一种基于神经网络的人脸关键点检测方法，其中，应用如权利要求1-7任一所述的人脸关键点检测模型的生成方法生成的人脸关键点检测模型，所述人脸关键点检测方法包括：

获取待检测图像；所述待检测图像包括人脸图像；

将所述待检测图像输入已训练的人脸关键点检测模型，通过所述人脸关键点检测模型输出与所述待检测图像对应的人脸关键点位置信息。

可选的，所述人脸关键点检测模型包括多个输出层，各个输出层对应的人脸关键点位置信息的精确度不同，所述将所述待检测图像输入已训练的人脸关键点检测模型的步骤包括：

根据所述待检测图像的预设检测信息精确度，确定目标输出层，并采用确定目标输出层调整所述人脸关键点检测模型的输出层；

将所述待检测图像输入至调整后的人脸关键点检测模型。

可选的，所述将所述待检测图像输入已训练的人脸关键点检测模型的步骤包括：

检测所述待检测图像中所含人脸个数；

若所述人脸个数大于1，则从所述待检测图像中分割出各个人脸图；

将所述各个人脸图分别作为待检测图像，输入到所述已训练的人脸关键点检测模型。

第三方面、一种图像处理终端，包括存储器和处理器，所述存储器存储有计算机程序，其中，所述处理器执行所述计算机程序时实现所述方法的步骤。

第四方面，一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现所述的方法的步骤。

与现有技术相比，本发明实施例具有以下优点：

根据本发明实施方式提供的方法，在对人脸图像进行关键点位置信息检测时，通过将含有人脸关键点信息的特征图与热度图相融合进行人脸图像中关键点位置信息组检测，由于热度图表征有关键点与其周边关键点之间相似的强度，因此将特征图与热度图相融合，提高人脸关键点位置信息周边比例，并且使用热度图加速了网络收敛，且在多种尺度下将特征图与融合后特征融合图信息合并，避免了重要信息的丢失，从而提高了人脸关键点检测的速度和精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例中人脸关键点检测模型的生成方法的步骤流程图；

图2是本发明实施例中人脸关键点检测模型的结构示意图；

图3是本发明实施例中人脸关键点坐标的真实值及其对应不同分辨率的热度图真实值示意图；

图4是本发明实施例中人脸关键点坐标的预测值及其对应不同分辨率的热度图预测值示意图；

图5是本发明实施例中人脸68关键点标注的示意图；

图6是本发明实施例中所述人脸关键点检测方法的步骤流程图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

发明人经过研究发现，现有技术中的人脸关键点检测算法所基于的基础网络中包含大量重复的网络结构，导致网络复杂，并且由于结构复杂冗余，最终导致网络模型预测出的关键点精度不高和检测速度不快等缺陷。

本发明提供了一种人脸关键点检测模型的生成方法及相关设备，在进行人脸关键点检测模型的生成训练时，通过提取人脸关键点信息的特征图，利用特征图生成人脸关键点信息的热度图，并将人脸关键点信息的热度图与特征图融合得到融合图，将特征图与融合图相结合进行人脸关键点信息检测处理，得到人脸关键点检测模型。利用已训练出的人脸关键点检测模型进行待检测图像中人脸关键点信息的检测，得到人脸关键点信息的检测结果。本本实施例所提供的方法及设备，由于在进行人脸关键点模型的生成训练时，将特征图与热度图相融合进行训练，从而提高了了网络模型输出检测数据的精确度和加快了网络的收敛速度。

人脸关键点信息的热度图，是一种表示强度的图像，热度图中人脸关键点坐标位置的像素点强度值最高，关键点周边像素点的强度随着像素点和与像素点最近关键点的距离增加不断减小，热度图中各个关键点位置的强度值满足高斯分布，关键点位置的强度值计算公式如下所示：

其中，(x_i，y_i)为第i个关键点位置的坐标，M(x_i，y_i)为热度图中各个关键点位置的强度值，D(x_i，y_i)为某个关键点位置(x_i，y_i)和与该关键点位置距离最近关键点之间距离的平方和。设置3σ²为D(x_i，y_i)的阈值，通过所述阈值过滤掉与关键点不相关区域对关键点热度图的干扰，同时减小了热度图的计算量。基于上述公式(1)和公式(2)基于预测出的关键点位置信息得到该关键点位置强度值，并根据预测出的各个关键点位置信息得到表征多个关键点位置强度值的强度图。

本实施例的人脸关键点检测模型是将人脸关键点信息与其热度图相结合进行训练，具体的，一方面，训练时将网络提取到的特征图与基于特征图生成的热度图相融合，利用融合图做人脸关键点信息提取，由于融合图中融入了热度图的信息，而将热度图融合到特征图中提高了关键点周边信息比例，从而使得提取出的关键点信息的精度值增加，另一方面，网络在训练时加入热度图损失值的计算，由于网络训练是朝向损失值减少的方向训练，并且多任务的网络训练可以加快了神经网络模型在训练时的收敛速度，因此网络中的在特征图中融入热度图以及热度图损失值的计算使得所述人脸关键点检测模型具有较高的检测精度和较快的检测速度。

举例说明，本发明实施例可以应用到如下的场景。在该场景中，首先，终端设备可以采集待检测图像，并将所述待检测图像输入到服务器，以使得服务器利用已训练的人脸关键点检测模型对待检测图像进行人脸关键点信息检测。服务器预先存储有已训练的人脸关键点检测模型，其响应所述终端设备输入的待检测图像，将所述待检测如下输入到所述人脸关键点检测模型，得到所述人脸关键点检测模型输出的人脸关键点信息。

可以理解的是，在上述应用场景中，虽然将本发明实施方式的动作描述为部分由终端设备执行、部分由服务器执行，但是这些动作可以完全由服务器执行，或者完全由终端设备执行。本发明在执行主体方面不受限制，只要执行了本发明实施方式所公开的动作即可。

进一步，在实际应用中，所述已训练的人脸关键点检测模型可作为一个具有人脸关键点检测模块配置于具有屏下成像系统(如，屏下摄像头)的终端设备，当具有屏下成像系统(如，屏下摄像头)的终端设备拍摄到人脸照片时，启动所述人脸关键点检测模块，通过所述人脸关键点检测模块对该人脸照片进行关键点检测处理，使得具有所述屏下成像系统(如，屏下摄像头)的终端设备输出检测到的人脸关键点位置信息。

需要注意的是，上述应用场景仅是为了便于理解本发明而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。

进一步，为了对发明内容作进一步说明，下面结合附图，通过对实施例进行具体描述。

本实施例公开了一种人脸关键点检测模型的生成方法，如图1所示，包括：

步骤S1、预设网络模型根据训练集中人脸图片，生成所述人脸图片对应的预测关键点位置信息组和预测关键点热度图，其中，所述训练集包括多组训练样本，每组训练样本包括人脸图片以及人脸图片对应的关键点热度图和关键点位置信息。

本实施例中，首先获取用来训练预设网络模型的训练集。所述训练集中含有多组训练样本，每组训练样本包括人脸图片以及人脸图片对应的关键点热度图和关键点位置信息。通过基于人脸图片以及与所述人脸图片对应的关键点热度图和关键点位置信息的对应关系，对预设网络模型进行训练，得到的已训练的人脸关键点检测模型。

所述多张人脸图片均可以为包含单张人脸图的图片或包含多张人脸的图片，由于人脸关键点检测的准确性与图片的背景、图片获取时的光照，图片中人物的表情变化、头部姿态、以及是否遮挡等因素有关，因此为了使得训练后的神经网络模型输出准确度高的关键点位置信息，所述人脸图片集中所包含的所述多张人脸图片分别为不同背景、不同光照、含有不同的人物表情变化、不同头部姿态、不同遮挡情况下的图片。其中，所述人脸图片集中所包含的多张人脸图片可以是基于摄像系统拍摄得到，也可以是通过网络搜索得到的，还可以是通过其他外部设备发送的，例如：智能手机或电脑等。

所述人脸图片集中包含的多张人脸图片分别包含不同的表情变化、不同头部姿态、不同遮挡情况下的人脸图片。在一种实现方式中，可选择使用的训练集名称为300-W(300Faces-in-the-Wild，300人脸识别数据集)的图片集中的图片作为训练集的人脸图片。300-W是最具代表性的数据集，其中所含有人脸图片样本考虑了室内和室外的场景，并且每个人脸图片样本标注了68个关键点。根据标注出的68个关键点生成对应的人脸图片热度图，应用于本实施例中所述的训练集中。

当终端设备采集到训练集，并将所述训练集输入到服务器，以使得服务器依据所述训练集对预设网络模型进行训练。所述服务器接收所述终端设备输入的训练集，将所述训练集中人脸图片作为输入项输入预先存储的预设网络模型，然后，获取所述预设网络模型输出的所述人脸图片对应的预测关键点位置信息组和预测关键点热度图。

步骤S2、所述预设网络模型根据所述人脸图片对应的预测关键点位置信息组和所述预测关键点热度图，以及所述人脸图片对应的关键点热度图和关键点位置信息组，对模型参数进行修正，并继续执行根据所述训练集中人脸图片，生成所述人脸图片对应的预测关键点特征图和预测关键点热度图的步骤，直至所述预设网络模型的训练情况满足预设条件，以得到所述人脸关键点检测模型。

具体的，步骤S2中所述预设网络模型根据所述人脸图片对应的预测关键点位置信息和所述预测关键点热度图，以及所述人脸图片对应的关键点热度图和关键点位置信息，对模型参数进行修正的步骤包括：

根据所述人脸图片对应的预测关键点位置信息组和所述关键点位置信息，计算出位置损失值；

根据所述预测关键点热度图、关键点热度图计算出热度图损失值；

根据所述位置损失值和热度图损失值计算出总损失值，以及根据所述总损失值对模型参数进行修正。

上述模型训练的过程中存在两组误差，一组为预测关键点位置信息组和关键点位置信息组的真实值之间的误差，另一组为关键点位置信息组所对应的热度图与其真实值的热度图之间的误差。

在计算总的网络误差值时，可以选择其中一组或多组预测关键点位置信息与关键点位置信息组的真实值计算关键点位置信息的误差，将一组或多组关键点坐标的误差与预测的关键点热度图的误差作为总误差，使得训练出的人脸关键点检测模型整个网络更容易收敛，保证了整个网络模型能够取得有效的训练。

在一种实现方式中，分别根据人脸关键点检测模型中输出的预测关键点位置信息组与所述关键点位置信息的真实值得到关键点位置信息组的误差，和根据预测关键点热度图得到其与热度图的真实值之间的误差，将关键点检测的误差按照不同的权重计算出关键点位置的误差总和，再将关键点位置的误差总和与热度图的误差相加，得到总的误差和，根据总的误差和对模型参数进行修正。

在另一种实现方式中，可以仅仅选择预测关键点位置信息最为准确的一组计算关键点位置的损失，并将该组关键点位置的损失与预测的关键点热度图的损失作为模型的总损失，对模型参数进行修正。

具体地，所述预设条件包括损失函数值满足预设要求或者训练次数达到预设次数。所述预设要求可以是根据人脸关键点检测模型的精度来确定，这里不做详细说明，所述预设次数可以为预设网络模型的最大训练次数，例如，5000次等。由此，在预设网络模型输出预测关键点位置信息组和预测关键点热度图，根据预测关键点位置信息组和预测关键点热度图，以及所述人脸图片对应的关键点热度图和关键点位置信息组，计算得到损失函数值后，判断所述损失函数值是否满足预设要求；若损失函数值满足预设要求，则结束训练；若损失函数值不满足预设要求，则判断所述预设网络模型的训练次数是否达到预测次数，若未达到预设次数，则根据所述损失函数值对所述预设网络模型的网络参数进行修正；若达到预设次数，则结束训练。这样通过损失函数值和训练次数来判断预设网络模型训练是否结束，可以避免因损失函数值无法达到预设要求而造成预设网络模型的训练进入死循环。

进一步，由于对预设网络模型的网络参数进行修正是在预设网络模型的训练情况未满足预设条件(即，损失函数值未满足预设要求并且训练次数未达到预设次数)，从而在根据损失函数值对所述预设网络模型的网络参数进行修正后，需要继续对网络模型进行训练，即继续执行将训练集中的人脸图片输入预设网络模型的步骤。其中，继续执行将训练集中人脸图片输入预设网络模型中的人脸图片为未作为输入项输入过预设网络模型的人脸图片。例如，训练图像集中所有人脸图片具有唯一图像标识(例如，图像编号)，第一次训练输入的人脸图片为图像标识与第二次训练输入的人脸图片的图像标识不同，如，第一次训练输入的人脸图片的图像编号为1，第二次训练输入的人脸图片的图像编号为2，第N次训练输入的人脸图片的图像编号为N。当然，在实际应用中，由于训练集中的人脸图片的数量有限，为了提高人脸关键点检测模型的训练效果，可以依次将训练集中的人脸图片输入至预设网络模型以对预设网络模型进行训练，当训练图像集中的所有人脸图片均输入过预设网络模型后，可以继续执行依次将训练集中的人脸图片输入至预设网络模型的操作，以使得训练集中的人脸图片按循环输入至预设网络模型。

接下来，将介绍预设网络模型的训练过程，结合图2中预设网络模型的结构示意图，对其训练过程做详细的说明。

如图2所示，所述预设网络模型包括：特征图提取模块10、融合图生成模块20和预测模块30；

所述特征图提取模块10，用于接收输入的人脸图片，对输入的人脸图片中含有的关键点特征进行提取，并输出提取到的与关键点特征相对应的特征图。特征图提取模块包括多个卷积池化层，每个卷积池化层分别对输入的人脸图片进行卷积池化操作后生成不同尺寸的特征图。例如：网络的输入尺寸为112×112的人脸图片，经过多次卷积池化操作后，分别生成尺寸为56×56、28×28、14×14、7×7、4×4的特征图。

所述融合图生成模块20，用于接收所述特征图提取模块中多个卷积池化层生成的特征图，同时还根据接收到的尺寸最小的特征图生成预测人脸关键点的坐标，根据预测出的关键点坐标计算不同尺寸的人脸关键点热度图，其中不同尺寸的关键点热度图分别与其接收到的特征图的尺寸相对应，即人脸关键点热度图的尺寸分别为56×56、28×28、14×14、7×7、4×4。将热度图与等尺寸特征图相融合生成多个融合图。

所述预测模块30，用于接收所述特征图提取模块10中最后一个卷积池化层输出的特征图和接收所述融合图生成模块20生成的多个融合图，通过多个卷积池化层输出预测关键点位置信息和预测关键点热度图。

进一步的，所述步骤S1中预设网络模型根据训练集中人脸图片，生成所述人脸图片对应的预测关键点位置信息组和预测关键点热度图的步骤包括：

步骤S201、将所述人脸图片输入所述特征图提取模块10，通过所述特征图提取模块10得到所述人脸图片对应的下采样特征图组，所述下采样特征图组包括多张预设尺寸不同的下采样特征图。

所述特征图提取模块10，用于输出人脸图片对应的下采样特征图组，由于所述特征图提取模块包括k层下采样单元；K为正整数；每层下采样单元均对应输出一个下采样特征图。每层下采样单元单元输出的下采样特征图的尺寸不同，各层下采样单元均是对输入的特征图进行人脸关键点特征提取，因此输出的均是含有人脸关键点特征的特征图，由于各个下采样单元所接收的特征图尺寸不同，因此在相同采样步长下，输出的下采样特征图的尺寸不同。

结合图2所示，所述特征图提取模块10包括多层下采样单元，第一层下采样单元接收输入都网络模型中的人脸图片，对输入的人脸图片进行下采样后，将提取到的第一下采样特征图输入至下一层的下采样单元和融合图生成模块20。

第二层下采样单元接收第一层下采样单元输入的第一下采样特征图，对输入的第一下采样特征图进行下采样操作后，将提取到的特征图输入到第三层下采样单元，以及将提取到的第三下采样特征图输入到融合图生成模块20，重复上述前一层的下采样单元输出的特征图输入到后一层的下采样单元，通过后一层的下采样单元提取到特征图，并将提取到的特征图输出至后一层下采样单元以及融合图生成模块20的步骤，直至最后一层的下采样单元，将提取到的特征图输入至融合图生成模块20。

由于每层下采样单元输出的特征图的尺寸不同，且层数越多输出的特征图的尺寸越小，因此融合图生成模块接收到的是多个不同尺寸的特征图。

具体的，将所述人脸图片输入所述特征图提取模块，通过所述特征图提取模块得到所述人脸图片对应的下采样特征图组的步骤包括：

S2011、将所述人脸图片输入第一层下采样单元，通过所述第一层下采样单元输出第一下采样特征图。

所述第一层下采样单元用于对输入的人脸图片进行第一次下采样，输出对所述人脸图片进行第一次下采样后得到的第一下采样特征图，例如：若所述第一层下采样单元使用3×3且步长为2的卷积核对分辨率为112×112的所述人脸图片进行第一次下采样，得到56×56分辨率的第一下采样特征图。

S2012、将第二层下采样单元作为目标下采样单元，将所述第一下采样特征图作为目标特征图，将所述目标特征图分别输入到所述目标下采样单元和所述融合图生成模块，通过所述目标下采样单元输出第二下采样特征图。

所述第二层下采样单元作为目标下采样单元，将所述第一下采样特征图作为目标特征图，将所述目标特征图输入到目标下采样单元和所述融合图生成模块，通过目标下采样单元得到第二下采样特征图。例如：将分辨率为56×56的第一下采样特征图输入到第二层下采样单元后，经过3×3且步长为2的卷积核进行下采样后，得到分辨率为28×28的第二下采样特征图。

S2013、将所述目标下采样单元输出的第二下采样特征图作为目标特征图，并将所述目标下采样单元的后一层下采样单元作为目标下采样单元，继续执行将目标特征图分别输入到所述目标下采样单元和所述融合图生成模块的步骤，直至通过第k层下采样单元输出第k下采样特征图，得到所述特征图提取模块输出的所述下采样特征图组，其中，k为正整数。

依次进行将目标下采样单元输出的下采样特征图输入到下一个目标下采样单元，得到多个下采样特征图，多个下采样特征图组成下采样特征图组。例如：经过五个下采样单元依次进行下采样后，分别得到分辨率依次为56×56、28×28、14×14、7×7和4×4的下采样特征图。

各个下采样单元输出的下采样特征图在输入到下一个下采样单元的同时，还输入到融合图生成模块。

步骤S202、将所述下采样特征图组输入所述融合图生成模块，通过所述融合图生成模块得到融合图组；其中，所述融合图组包括多张融合图，每张融合图对应一张下采样特征图，且各张融合图对应的下采样特征图不同。

结合图2所示，融合图生成模块20接收各个下采样单元输入的特征图，并对其接收到的尺寸最小的下采样特征图处理后，得到预测的关键点位置的坐标值，并个功能键预测出的关键点位置的坐标值生成关键点位置信息图，根据关键点位置信息图所含有的关键点位置信息生成对应不同尺寸下采样特征图的热度图，将不同尺寸的热度图分别与等尺寸的下采样特征图相融合，得到对应不同尺寸的融合图，多张尺寸不同的融合图组成融合图组。

接下来结合图2举例说明，假设下采样单元有5层下采样单元，分别为第一层下采样单元DS1、第二层下采样单元DS2、第三层下采样单元DS3、第四层下采样单元DS4和第五层下采样单元DS5。第一层下采样单元DS1输出的第一下采样特征图与其等尺寸的融合图相融合，生成与第一下采样特征图的尺寸相同的融合图，所述第二层下采样单元DS2输出的第二下采样特征图与其等尺寸的融合图相融合，生成与第二下采样特征图的尺寸相同的融合图，所述第三层下采样单元DS3输出的第三下采样特征图与其等尺寸的融合图相融合，生成与第三下采样特征图的尺寸相同的融合图，所述第四层下采样单元DS4输出的第四下采样特征图与其等尺寸的融合图相融合，生成与第四下采样特征图的尺寸相同的融合图。因此，第一层下采样单元、第二层下采样单元、第三层下采样单元和第四层下采样单元分别对应的四个尺寸不同的融合图组成融合图组。

所述融合图生成模块包括关键点信息生成单元和融合单元；

关键点信息生成单元，用于接收尺寸最小的下采样特征图，对其处理后，生成预测的关键点坐标信息。由于尺寸最小的下采样特征图分辨率最小，进行关键点坐标信息提取时，所要处理的信息最少，因此可以较快的得到预测出的关键点坐标信息。

关键点信息生成单元包括扁平层和全连接层，所述扁平层对其接收到的尺寸最小的下采样特征图进行扁平层处理后，将得到1×1尺寸的特征图输入到全连接层，全连接层输出预测的关键点坐标信息。

所述融合单元，用于将接收到的各个下采样单元输入的下采样特征图，与基于关键点坐标信息生成的各个尺寸的热度图相融合，得到融合图。

具体的，所述将所述下采样特征图组输入所述融合图生成模块，通过所述融合图生成模块得到融合图组的步骤包括：

步骤S2021、将第k层下采样单元输出的第k下采样特征图输入到所述关键点信息生成单元，通过所述关键点信息生成单元得到与所述第k下采样特征图对应的关键点位置特征图；其中，所述关键点位置特征图包括预测出的关键点坐标信息。

所述关键点信息生成单元，用于根据输入的第k下采样特征图生成关键点位置特征图，所述关键点位置特征图包含有预测出的关键点位置信息。

所述第k下采样特征图为最后一层下采样单元DS5输出的尺寸最小的下采样特征图，结合图2所示的举例，最后一层下采样单元DS5输出的4×4大小的下采样特征图经过扁平层(图中flatten标记的flatten层)后，得到1×1尺寸的特征图，1×1尺寸的特征图再经过全连接层Fc后，输出预测人脸关键点坐标，得到人脸关键点坐标信息对应的关键点位置特征图。

步骤S2022、将所述关键点位置特征图和所述下采样特征图组中除所述第k下采样特征图之外的其他下采样特征图输入到所述融合单元，通过所述融合单元输出所述融合图组。

所述关键点信息生成单元输出含有关键点坐标信息的关键点位置特征图，并将所述关键点位置特征图输入到融合单元，所述融合单元接收关键点信息生成单元输入的关键点位置特征图和各个下采样单元输入的下采样特征图，首先根据所述下采样特征图的尺寸，以及所述关键点位置特征图中所述关键点坐标信息生成与各个特征图的尺寸相同的热度图，再将生成的热度图与其等尺寸的下采样特征图相融合，得到融合图，由于融合单元接收到的下采样特征图不含有最后一层下采样单元输出的尺寸最小的下采样特征图，因此其所生成的热度图中不含有与尺寸最小的下采样特征图对应的热度图，其所生成的融合图也不含有与尺寸最小的下采样特征图对应的融合图，因此融合单元输出的融合图组包括除与尺寸最小的下采样特征图之外的其他下采样特征图一一对应的多个融合图。

结合图2所示，融合单元20生成的融合图包括与第一层下采样单元DS1生成的第一下采样特征图对应的融合图、与第二层下采样单元DS2生成的第二下采样特征图对应的等尺寸的融合图、与第三层下采样单元DS3生成的第三下采样特征图对应的等尺寸的融合图，与第四层下采样单元DS4生成的第四下采样特征图对应的等尺寸的融合图，不含有与第五层下采样单元DS5生成的第五下采样特征图对应的等尺寸的融合图。

具体的，所述融合单元包括：热度图生成子单元和融合子单元；

将所述关键点位置特征图和所述下采样特征图组中除所述第k下采样特征图之外的其他下采样特征图输入到所述融合单元，通过所述融合单元输出所述融合图组的步骤包括：

步骤S20221、将所述关键点位置特征图和所述下采样特征图组中除所述第k下采样特征图之外的其他下采样特征图输入所述热度图生成子单元，通过所述热度图生成子单元输出热度图组，其中，所述热度图组包括多个热度图，每张热度图对应一张下采样特征图，且各张热度图对应的下采样特征图不同。

热度图生成单元根据接收到的各个下采样特征图的尺寸分别生成与其尺寸相对应的热度图，结合图2所示，热度图生成单元所生成的热度图包括：与第一层下采样单元DS1生成的第一下采样特征图对应的等尺寸的热度图、与第二层下采样单元DS2生成的第二下采样特征图对应的等尺寸的热度图、与第三层下采样单元DS3生成的第三下采样特征图对应的等尺寸的热度图，与第四层下采样单元DS4生成的第四下采样特征图对应的等尺寸的热度图，由于第五层下采样单元DS5生成的第五下采样特征图输入到关键点信息生成单元，通过所述关键点信息生成单元生成关键点位置特征图，因此所述热度图生成单元中不含有第五下采样特征图的输入，故此不含有与第五层下采样单元DS5生成的第五下采样特征图对应的等尺寸的热度图。

所述热度图生成子单元，用于根据接收到的下采样特征图和关键点位置特征图，生成与所述下采样特征图等尺寸的热度图。结合图3和图4所示,分别为不同尺寸的特征图所对应的热度图。

每个输入到热度图生成子单元中的下采样特征图均通过热度图生成子单元生成一个等尺寸的热度图，因此经过热度图生成子单元进行处理，得到含有多个不同尺寸的热度图组，并且每个热度图均与一个输入到热度图生成子单元的下采样特征图相对应。

步骤S20222、将所述热度图组输入到所述融合子单元，通过所述融合子单元输出融合图组。

所述融合子单元，用于将所述热度图生成子单元中生成的热度图依次与等尺寸的下采样特征图相融合，得到融合图。

由于除第k下采样特征图之外，其他各个下采样特征图均对应一个等尺寸的热度图，并且各个下采样特征图均对应与热度图融合后的融合图，因此得到的融合图组中包含k-1个融合图。

由于除第k个下采样特征图之外，其他各个下采样特征图均有一个对应的热度图，因此热度图生成子单元中生成的热度图有k-1个，且每个热度图均与其等尺寸的下采样特征图生成融合图，因此融合图的个数与热度图相同，均为k-1个。

例如：若下采样单元的个数为5个，则输入到融合子单元的热度图包括与第一层下采样单元US1生成的第一下采样特征图对应的等尺寸的热度图、与第二层下采样单元US2生成的第二下采样特征图对应的等尺寸的热度图、与第三层下采样单元US3生成的第三下采样特征图对应的等尺寸的热度图，与第四层下采样单元US4生成的第四下采样特征图对应的等尺寸的热度图，因此分别将与各个下采样特征图对应的热度图与相同尺寸的下采样特征图相融合，得到与各个下采样特征图相对应的融合图。由于最后一层下采样单元DS5输出的下采样特征图并未直接输入到所述融合子单元，因此得到的融合图中仅包含与第一层下采样单元至第四层下采样单元输出的下采样特征图对应的4个融合图。

步骤S203、将所述下采样特征图组中指定下采样特征图和所述融合图组输入到预测模块，通过所述预测模块得到所述人脸图片对应的预测关键点位置信息组。

结合图2中所示的网络结构，融合图组中所含有的融合图均输入到预测模块，以及下采样特征图中最后一个下采样单元输出的第k下采样特征图输入到预测模块，所述预测模块根据输入的融合图组和第k下采样特征图生成与所述人脸图片对应的预测关键点位置组。

在一种实施方式中，所述预测模块包括：若干层上采样单元和输出层，各个上采样单元依次连接，且每层上采样单元各自连接有一个输出层；所述指定下采样特征图为第k下采样特征图；各个输出层输出的预测关键点位置信息精确度不同，各个输出层可以均为全连接层。

由于各个上采样单元接收到的融合图尺寸不同，并且后一个上采样单元接收到的融合图含有前面所有特征图及融合图中的人脸关键点位置信息，因此各个输出层输出的预测关键点位置信息的精确度随着连接层级的增加，输出的预测关键点位置信息的精确度增加，也即输出预测关键点位置信息的精确度随着上采样单元的级数从小到大，输出的精确度从低到高。因此各个输出层输出的预测关键点位置信息精确度不同。

所述将所述下采样特征图组中指定下采样特征图和所述融合图组输入到预测模块，通过所述预测模块得到所述人脸图片对应的预测关键点位置信息的步骤包括：

步骤S2031、将所述第k下采样特征图输入到第一层上采样单元，通过第一层上采样单元输出第一上采样特征图。

所述第一层上采样单元用于根据接收到的第k下采样特征图，输入第一上采样特征图。例如经过上采样后，将输入的分辨率为4×4的第k下采样特征图处理为分辨率为7×7的第一上采样特征图。

结合图2所示，预测模块30接收所述融合图生成单元20生成的各个融合图和特征图提取模块中的最后一层下采样单元US5输出的尺寸最小的下采样特征图，具体的，所述预测模块30中含有的第一层上采样单元US1接收尺寸最小的下采样特征图，通过第一层上采样单元US1输出第一上采样特征图。

步骤S2032、将第二层上采样单元US2作为目标上采样单元，将所述第一上采样特征图作为目标特征图；将所述目标特征图和与所述目标特征图等尺寸的融合图输入到目标上采样单元，通过所述目标上采样单元输出第二上采样特征图。

所述第二层上采样单元US2用于根据接收到的第一上采样特征图和与第一上采样特征图等尺寸的热度图融合后生成的融合图，生成第二上采样特征图。

具体的，结合图2所示，第二层上采样单元US2接收与第四层下采样单元DS4输出的第四下采样特征图相对应的融合图以及第一层上采样单元US1输出的第一上采样特征图，输出第二上采样特征图。第二层上采样单元US2接收到的第四下采样特征图的尺寸7×7，其等尺寸的融合图的尺寸同样为7×7，则通过所述第二层上采样单元US2对接收到的融合图与第一层上采样单元US1输出的第一上采样特征图进行上采样处理后，输出的所述第二上采样特征图的尺寸为14×14。

步骤S2033、将所述目标上采样单元输出的第二上采样特征图作为目标特征图，并将所述目标上采样单元的后一层上采样单元作为目标上采样单元。继续执行将目标特征图和与所述目标特征图等尺寸的融合图输入到所述目标下采样单元的步骤，直至最后一层的上采样单元输出第N上采样特征图；N为正整数。

将第二层上采样单元US2作为目标上采样单元，第二上采样特征图作为目标特征图，执行将所述目标上采样单元的后一层上采样单元US5作为目标上采样单元，也即是将第二层上采样单元US2为的后一层上采样单元，即第三层上采样单元US3作为目标上采样单元，将与第三层下采样单元输出的第三下采样特征图对应的融合图以及第二层上采样单元US2输出的第二上采样特征图，输出第三上采样特征图的步骤，得到第三层上采样单元US3输出的第三上采样特征图。然后执行将与第二层下采样单元US2输出的第二下采样特征图对应的融合图以及第三层上采样单元US3输出的第三上采样特征图输入到第四层上采样单元US4的步骤，得到第四层上采样单元US4输出的第四上采样特征图，直至最后一层的上采样单元US5输出第N上采样特征图。结合图2所示，N等于5，最后一层的上采样单元US5输入的是与第一层下采样单元DS1输出的第一下采样特征图相对应的融合图和第四层上采样单元US4输出的第四上采样特征图，所述第五层上采样单元US5输出的是第五上采样特征图。其中，第一上采样特征图(尺寸为7×7)、第二上采样特征图(尺寸为14×14)、第三上采样特征图(尺寸为28×28)、第四上采样特征图(尺寸为56×56)和第五上采样特征图(尺寸为112×112)的尺寸依次增加。

步骤S2034、将各个上采样单元输出的上采样特征图输入到各层上采样单元各自连接的输出层，通过各自连接的输出层得到与各个上采样特征图对应的预测关键点位置信息。

下面以图2中给出的网络结构为例，对本实施例给出的基于神经网络的人脸关键点检测模型的生成方法做进一步的解释。

所述预设网络模型的特征图提取模块10多个下采样单元，如图2所示，包括第一层下采样单元DS1、第二层下采样单元DS2、第三层下采样单元DS3、第四层下采样单元DS4、第五层下采样单元DS5，分别建立各个下采样单元之间的连接。具体的，预设网络模型的输入为112×112的图片，利用上述多个下采样单元依次进行卷积池化操作，得到第一层下采样单元DS1输出的尺寸大小为56×56第一下采样特征图、第二层下采样单元DS2输出的尺寸大小为28×28的第二下采样特征图、第三层下采样单元DS3输出的尺寸大小为14×14的第三下采样特征图、第四层下采样单元DS4输出的尺寸大小为7×7的第四下采样特征图和第五层下采样单元DS5输出的尺寸大小为4×4的第五下采样特征图。

进一步的，第五下采样特征图输入到扁平层(flatten层)，通过扁平层对输出1×1的特征图，所述扁平层后连接有全连接层fc，扁平层输出的1×1的特征图输入至全连接层fc后，输出预测的人脸关键点坐标信息L1。

进一步的，根据全连接层fc输出的人脸关键点坐标信息得到关键点位置特征图，将关键点位置特征图与接收到的各个下采样特征图相结合，与各个下采样特征图相对应尺寸的热度图。再将各个热度图与其等尺寸的下采样特征图相融合得到与各个下采样特征图尺寸相同的融合图。

图2中

表示各个下采样单元输出的各个下采样特征图与其等尺寸热度图的融合，

表示融合后的融合图输入到与其对应的下采样单元相对称设置的上采样单元，融合后生成的融合图的公式为：

其中，F_fuse表示表示特征图不同通道中特征图与热度图融合后得到的融合图按通道连接，再与原特征图所有通道特征图连接得到的融合特征图，该融合特征图表示该通道内的融合图与该通道的特征图融合后的图片，F通道的特征图，c通道个数，F₁表示第一通道输出的下采样特征图，F_C表示最后一通道输出的下采样特征图，M表示热度图。

进一步的，所述预设网络模型中的预测模块30中包括多个上采样单元，包括第一层上采样单元US1、第二层上采样单元US2、第三层上采样单元US3、第四层下采样单元US4、第五层上采样单元US5，分别建立各个上采样单元之间的连接。具体的，利用上述多个上采样单元依次对输入的融合图与特征图进行卷积池化操作，得到第一层上采样单元US1输出的尺寸大小为4×4第一上采样特征图、第二层上采样单元US2输出的尺寸大小为7×7的第二下采样特征图、第三层上采样单元US3输出的尺寸大小为14×14的第三上采样特征图、第四层上采样单元US4输出的尺寸大小为28×28的第四下采样特征图和第五层下采样单元DS5输出的尺寸大小为56×56的第五上采样特征图。

具体的，所述第一层上采样单元US1中输入的是第五层下采样单元DS5输出的第五下采样特征图，所述第二层上采样单元US2中输入的是第一层上采样单元US2中输出的第一上采样特征图和与所述第四下采样特征图对应的融合图，所述第三层上采样单元US3中输入的是第二层上采样单元US3中输出的第二上采样特征图和与所述第三下采样特征图对应的融合图。所述第四层上采样单元US4中输入的是第三层上采样单元US3输出的第三上采样特征图和与所述第二下采样特征图对应的融合图，所述第五层上采样单元US5输入的是第四层上采样单元US4输出的第四上采样特征图和与所述第一下采样特征图对应的融合图。

为了保证在融合过程中不会有太多信息丢失，融合后的结构再与融合前的特征图相结合输入到预测模块，保证了特征图中的全部信息传递到下一层网络中去。为了最大程度的提升网络对于目标任务相关信息的注意力，同时避免了有用信息的丢失，提出了多尺度热度图融合。融合后的融合图再依次预测四组关键点坐标和一组关键点热度图(如图2中第一层上采样单元DS1的输出层输出的第一组关键点坐标L1,第二层上采样单元DS2的输出层输出的第二组关键点坐标L2,第三层上采样单元DS3的输出层输出的第三组关键点坐标L3,第四层上采样单元DS4的输出层输出的第四组关键点坐标L4和第五层上采样单元DS5输出的关键点热度图L5)，计算所有五组预测的关键点坐标损失和关键点热度图损失作为网络的损失函数，总的损失函数的计算公式如下式：

其中，Loss(total)表示总的损失函数，i表示关键点位置预测值的组数，α_i表示第i组关键点位置预测值与真实值之间的误差所占的比重，β表示热度图预测值与真实值之间的误差所占的比重，Loss(L_i)表示第i个关键点位置预测值与真实值之间的误差，所述Loss(heatmap)表示热度图预测值与真实值之间的误差。

使用上述预设网络模型进行训练，得到已训练的人脸关键点检测模型，将人脸图片输入到所述人脸关键点检测模型，得到所述人脸关键点检测模型输入的人脸关键点位置信息，从而实现对人脸图片中人脸关键点位置信息的检测，由于本次人脸关键点检测模型在训练时增加了热度图损失的修正，因此使得训练出的人脸关键点检测模型检测出的数据可以更加准确，并且由于训练和使用时将热度图与特征图相融合，以得到的融合图进行关键点位置信息的提取，提高了输出的关键点位置周边信息比例，从而进一步提高检测出的关键点位置信息的准确信息。

在上述人脸关键点检测模生成方法的基础上，本实施例还提供了一种基于神经网络的人脸关键点检测方法，具体的，如图6所示，所述检测方法包括：

步骤H1、获取待检测图像；所述待检测图像包括人脸图像。

本步骤的执行主体可以为设备终端也可以为服务器，设备终端可以为移动终端也可以为计算机，当设备终端或服务器获取待检测图像时，可以有很多获取图像的方式。所述获取待检测图像的方式可以为接收另一个终端设备发送的待检测图像，其接收的方式可以通过有线网络连接的方式也可以通过无线网络连接的方式实现，例如：通过通信网络连接，将手机中的一张图片传输到电脑上，通过wifi模块或蓝牙模块将手机拍摄的照片传输到电脑上，另外终端设备获取待检测图像的方式还可以由终端设备自身的摄像头直接采集到待检测图像，或从其内存中提取一张人脸图片作为待检侧图像。

所述待检测图像为人脸图像，其中含有人脸，所含有人脸的个数可以为1个也可以为多个。

步骤H2、将所述待检测图像输入已训练的人脸关键点检测模型，通过所述人脸关键点检测模型得到人脸关键点位置信息；其中，所述人脸关键点检测模型是基于人脸图片与所述人脸图片对应的关键点热度图和关键点位置信息组的对应关系训练得到的，所述关键点位置信息组中含有多组精确度不同的人脸关键点位置信息。

所述人脸图片中可以为单个人脸，也可以含有多个人脸，当含有多个人脸时，所述将所述待检测图像输入已训练的人脸关键点检测模型的步骤包括：

步骤H21、检测所述待检测图像中所含人脸个数。

由于一张人物照片中含有的人脸个数可能为单个，也可能为多个，因此当需要对人脸关键点信息进行检测之前，还包含对所述待检测图像中含有的人脸个数进行检测，判断含有人脸的个数是否大于1，若不大于1，则说明待检测图像中含有的人脸个数为1，直接将其输入到已训练的人脸关键点检测模型中，若大于1，则执行步骤H22。

具体的，本步骤中人脸个数的检测可以为根据人脸的轮廓对人脸的个数进行识别，判断待检测图像中含有物体的轮廓是否与人脸相匹配，若匹配，则判定含有人脸。或者使用现有技术中的人脸检测技术，检测出待检测图像中所有人脸位置，该人脸检测技术输入的是人脸图片，输出的是若干个包含人脸的矩形框位置信息。

步骤H22、若所述人脸个数大于1，则从所述待检测图像中分割出各个人脸图，将各个人脸图各自独立作为一张待检测图像，分别输入到已训练的人脸关键点检测模型。

当检测出待检测图像中人脸个数大于1，则根据识别出的人脸所在位置坐标，从待检测图像中分割中各个人脸图，并将各个人脸图各自独立的作为一个待检测图像输入到人脸关键点检测模型中，获取各个人脸图中所含人脸的关键点位置信息组。

所述对所述待检测图像进行切割，获取所述待检测图中含有的各个人脸图的方式可以为根据检测出的人脸轮廓，也可以根据检测出的人脸所在矩形框的位置信息，进行图像的切割。

在步骤H2中，终端设备或服务器将上述步骤H1中获取到的待检测图像输入到已训练的人脸关键点检测模型中，利用所述人脸关键点检测模型得到待检测图像中所含人脸的关键点位置信息组。

进一步的，所述人脸关键点检测模型包括多个输出层，各个输出层对应的人脸关键点位置信息的精确度不同，所述将所述待检测图像输入已训练的人脸关键点检测模型的步骤包括：

根据所述待检测图像的预设检测信息精确度，确定目标输出层，并采用确定目标输出层调整所述人脸关键点检测模型的输出层；

将所述待检测图像输入至调整后的人脸关键点检测模型。

由于各个上采样单元均各自连接有一个输出层，各个上采样单元输出的上采样特征图输入到各个上采样单元连接的输出层，输出与各个上采样特征图对应的关键点位置信息。

具体的，每个上采样特征图均对应一组关键点位置信息，因此预测模块输出的多个关键点位置信息组成关键点位置信息组。

最后一层上采样单元均各自连接有输出层，其用于输出的预测热度图，在训练时，根据输出的预测热度图计算热度图损失。当使用已训练的人脸关键点检测模型进行关键点信息检测时，则控制最后一层输出层不输出热度图。

进一步的，由于已训练的人脸关键点检测模型输出的关键点位置信息含有多组，在具体使用所述人脸关键点检测模型时，可以根据需要对模型的输出层进行调整，使得所述人脸关键点检测模型仅仅输出使用者需要的数据。具体的使用已训练的人脸关键点检测模型或存在以下几种数据输出的情况：

第一种，不对已训练的人脸关键点检测模型的各个输出层进行调整修正，直接使用已训练的人脸关键点检测模型，则所述人脸关键点检测模型的输出项为预测模块中各个上采样单元对应的关键点位置信息组和热度图。

第二种，由于上采样单元的最后一层中输出的热度图是为了计算出热度图损失，通过计算热度图和关键点位置信息组的总损失值，提高预设神经网络训练时的准确度，而在使用时最后一层的热度图不需要输出，因此第二种情况，可以将已训练的人脸关键点检测模型中最后一层的输出层进行删除，从而实现最后一层上采样单元不输出热度图。

第三种，由于已训练的人脸关键点检测模型中输出的多组关键点位置信息，基于网络结构中每个通道中处理的信息不同，各个通道所对应的预测值准确度和输出计算数据的时间是不同的，随着层数的增加，输出数据的准确性依次增加，输出数据时间则依次降低，因此针对不同的书架准确度和数据输出时间的要求不同，可以控制某一个或多个通道的数据不输出，仅仅控制输出需要数据的通道进行数据处理，并输出数据，从而减少人脸关键点检测模型数据处理量，提高输出数据的效率，减少了输出数据结果的等待时间，因此第三种对人脸关键点检测模型进行调整修正的方法为，根据预先选择出的通道，对该通道之后连接的上采样单元进行删除，从而实现获取到所需数据，且提高了人脸关键点检测模型输出数据的效率。

在一种实施方式中，针对如图2所示的已训练的人脸关键点检测模型，对其输出层进行调整，根据待检测图像所对应的预设检测信息精确度，确定目标输出层，例如：若待检测图像所对应的预设检测信息精确度为90％，则可控制仅仅输出数据最为准确的一组关键点位置信息的输出层进行预测数据输出，因此对已训练的人脸关键点检测模型的输出层进行调整修正，删除最后一层输出层，通过与第一层上采样单元US1、第二层上采样单元U2、第三层上采样单元US3和第四层上采样单元US4相连接的输出层输出关键点位置信息，并且选择使用与第四层上采样单元US4相连接的输出层输出的最准确的一组。若预设检测信息精确度为50％，为了快速的获取到预测关键点位置信息，则可以确定选择准确度最低的一组数据输出，即仅仅控制与第一层上采样单元US1相连接的输出层输出关键点位置信息，则将第一层上采样单元US1之后各层上采样单元的输出层均删除。

本实施例还公开了一种图像处理终端，包括存储器和处理器，所述存储器存储有计算机程序，其中，所述处理器执行所述计算机程序时实现所述方法的步骤。

所述处理器通常控制装置的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理器可以完成上述的方法的全部或部分步骤。此外，处理器可以包括一个或多个模块，便于处理器和其他组件之间的交互。例如，处理器可以包括多媒体模块，以方便多媒体组件和处理器之间的交互。所述处理器在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行所述存储器中存储的程序代码或处理数据，例如执行所述人脸关键点检测方法等。

存储器被配置为存储各种类型的数据以支持在设备的操作。这些数据的示例包括用于在装置上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

所述存储器在一些实施例中可以是播放装置的内部存储单元，例如智能电视的硬盘或内存。所述存储器在另一些实施例中也可以是所述播放装置的外部存储设备，例如所述智能电视上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器还可以既包括所述播放装置的内部存储单元也包括外部存储设备。所述存储器用于存储安装于所述播放装置的应用软件及各类数据，例如所述安装智能电视的程序代码等。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器上存储有人脸关键点信息检测的控制程序，该基于人脸关键点检测的控制程序可被处理器所执行，从而实现本申请中人脸关键点信息检测方法。

在示例性实施例中，装置可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

本实施例还公开一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现所述的方法的步骤。

脸关键点检测模型的训练方法或所述人脸关键点检测方法的步骤。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种人脸关键点检测模型的生成方法，其特征在于，包括：

预设网络模型根据训练集中人脸图片，生成所述人脸图片对应的预测关键点位置信息组和预测关键点热度图，其中，所述训练集包括多组训练样本，每组训练样本包括人脸图片以及人脸图片对应的关键点热度图和关键点位置信息；

所述预设网络模型根据所述人脸图片对应的预测关键点位置信息组和所述预测关键点热度图，以及所述人脸图片对应的关键点热度图和关键点位置信息，对模型参数进行修正，并继续执行所述根据所述训练集中人脸图片，生成所述人脸图片对应的预测关键点位置信息组和预测关键点热度图的步骤，直至所述预设网络模型的训练情况满足预设条件，以得到所述人脸关键点检测模型。

2.根据权利要求1所述的人脸关键点检测模型的生成方法，其特征在于，所述预设网络模型根据所述人脸图片对应的预测关键点位置信息组和所述预测关键点热度图，以及所述人脸图片对应的关键点热度图和关键点位置信息，对模型参数进行修正的步骤包括：

根据所述人脸图片对应的预测关键点位置信息组和所述关键点位置信息，计算出位置损失值；

根据所述预测关键点热度图、关键点热度图计算出热度图损失值；

根据所述位置损失值和热度图损失值计算出总损失值；

根据所述总损失值对模型参数进行修正。

3.根据权利要求1所述的人脸关键点检测模型的生成方法，其特征在于，所述预设网络模型包括：特征图提取模块、融合图生成模块和预测模块；

所述预设网络模型根据训练集中人脸图片，生成所述人脸图片对应的预测关键点位置信息组和预测关键点热度图的步骤包括：

将所述人脸图片输入所述特征图提取模块，通过所述特征图提取模块得到所述人脸图片对应的下采样特征图组，所述下采样特征图组包括多张预设尺寸不同的下采样特征图；

将所述下采样特征图组输入所述融合图生成模块，通过所述融合图生成模块得到融合图组；其中，所述融合图组包括多张融合图，每张融合图对应一张下采样特征图，且各张融合图对应的下采样特征图不同；

将所述下采样特征图组中指定下采样特征图和所述融合图组输入到预测模块，通过所述预测模块得到所述人脸图片对应的预测关键点位置信息组和预测关键点热度图。

4.根据权利要求3所述的人脸关键点检测模型的生成方法，其特征在于，所述特征图提取模块包括：k层下采样单元，其中，k为正整数；

将所述人脸图片输入所述特征图提取模块，通过所述特征图提取模块得到所述人脸图片对应的下采样特征图组的步骤包括：

将所述人脸图片输入第一层下采样单元，通过所述第一层下采样单元输出第一下采样特征图；

将第二层下采样单元作为目标下采样单元，将所述第一下采样特征图作为目标特征图；

将所述目标特征图分别输入到所述目标下采样单元和所述融合图生成模块，通过所述目标下采样单元输出第二下采样特征图；

将所述目标下采样单元输出的第二下采样特征图作为目标特征图，并将所述目标下采样单元的后一层下采样单元作为目标下采样单元；

继续执行将目标特征图分别输入到所述目标下采样单元和所述融合图生成模块的步骤，直至通过第k层下采样单元输出第k下采样特征图，得到所述特征图提取模块输出的所述下采样特征图组。

5.根据权利要求3所述的人脸关键点检测模型的生成方法，其特征在于，所述融合图生成模块包括关键点信息生成单元和融合单元；

所述将所述下采样特征图组输入所述融合图生成模块，通过所述融合图生成模块得到融合图组的步骤包括：

将第k层下采样单元输出的所述第k下采样特征图输入到所述关键点信息生成单元，通过所述关键点信息生成单元得到与所述第k下采样特征图对应的关键点位置特征图；其中，所述关键点位置特征图包括预测出的关键点坐标信息；

将所述关键点位置特征图和所述下采样特征图组中除所述指定下采样特征图之外的其他下采样特征图输入到所述融合单元，通过所述融合单元输出所述融合图组。

6.根据权利要求5所述的人脸关键点检测模型的生成方法，其特征在于，所述融合单元包括：热度图生成子单元和融合子单元；

将所述关键点位置特征图和所述下采样特征图组中除所述指定下采样特征图之外的其他下采样特征图输入到所述融合单元，通过所述融合单元输出所述融合图组的步骤包括：

将所述关键点位置特征图和所述下采样特征图组中除所述指定下采样特征图之外的其他下采样特征图输入所述热度图生成子单元，通过所述热度图生成子单元输出热度图组，其中，所述热度图组包括多个热度图，每张热度图对应一张下采样特征图，且各张热度图对应的下采样特征图不同；

将所述下采样特征图组中除所述指定下采样特征图之外的其他下采样特征图和所述热度图组输入到所述融合子单元，通过所述融合子单元输出融合图组。

7.根据权利要求3所述的人脸关键点检测模型的生成方法，其特征在于，所述预测模块包括：若干层上采样单元和输出层，每层上采样单元各自连接有一个输出层；所述指定下采样特征图为第k下采样特征图；各个输出层输出的预测关键点位置信息精确度不同；

所述将所述下采样特征图组中指定下采样特征图和所述融合图组输入到预测模块，通过所述预测模块得到所述人脸图片对应的预测关键点位置信息组和预测关键点热度图的步骤包括：

将所述第k下采样特征图输入到第一层上采样单元，通过第一层上采样单元输出第一上采样特征图；

将第二层上采样单元作为目标上采样单元，将所述第一上采样特征图作为目标特征图；

将所述目标特征图和与所述目标特征图等尺寸的融合图输入到目标上采样单元，通过所述目标上采样单元输出第二上采样特征图；

将所述目标上采样单元输出的第二上采样特征图作为目标特征图，并将所述目标上采样单元的后一层上采样单元作为目标上采样单元；

继续执行将目标特征图和与所述目标特征图等尺寸的融合图输入到所述目标下采样单元的步骤，直至最后一层的上采样单元输出第N上采样特征图；N为正整数；

将除所述第N上采样特征图之外的其他N-1个上采样特征图均输入到对应上采样单元各自连接的输出层，通过各自连接的输出层得到预测关键点位置信息组，将最后一层的上采样单元输出的所述第N上采样特征图作为预测关键点热度图，得到所述预测关键点位置信息组和所述预测关键点热度图。

8.一种基于神经网络的人脸关键点检测方法，其特征在于，应用如权利要求1-7任一项所述的人脸关键点检测模型的生成方法生成的人脸关键点检测模型，所述人脸关键点检测方法包括：

获取待检测图像；所述待检测图像包括人脸图像；

将所述待检测图像输入所述人脸关键点检测模型，通过所述人脸关键点检测模型输出与所述待检测图像对应的人脸关键点位置信息。

9.根据权利要求8所述的基于神经网络的人脸关键点检测方法，其特征在于，所述人脸关键点检测模型包括多个输出层，各个输出层对应的人脸关键点位置信息的精确度不同，所述将所述待检测图像输入已训练的人脸关键点检测模型的步骤包括：

根据所述待检测图像的预设检测信息精确度，确定目标输出层，并根据所述目标输出层调整所述人脸关键点检测模型的输出层；

将所述待检测图像输入至调整后的人脸关键点检测模型。

10.根据权利要求8或9所述的基于神经网络的人脸关键点检测方法，其特征在于，所述将所述待检测图像输入已训练的人脸关键点检测模型的步骤包括：

检测所述待检测图像中所含人脸个数；

若所述人脸个数大于1，则从所述待检测图像中分割出各个人脸图；

将所述各个人脸图分别作为待检测图像，输入到所述已训练的人脸关键点检测模型。

11.一种图像处理终端，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述方法的步骤。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images