CN109063695A - 一种人脸关键点检测方法、装置及其计算机存储介质 - Google Patents

Abstract

本发明提供了一种人脸关键点检测方法、装置及其计算机存储介质，涉及人脸识别技术领域。所述人脸关键点检测方法包括：获取人脸图像；将所述人脸图像转换为多角度人脸图像；将所述多角度人脸图像输入包括位置解码器和可见性解码器的位置及可见性估计神经网络；获得所述位置及可见性估计神经网络输出的包含关键点位置热度和关键点可见性热度的热度图，基于所述热度图获得包含关键点位置信息和关键点遮挡信息的检测结果。所述人脸关键点检测方法通过对多角度人脸图像的转换和分析，提高了关键点检测的在多角度和遮挡条件下的鲁棒性，同时还能有效识别关键点是否存在遮挡异常，从而提高了关键点检测的准确性。

Description

一种人脸关键点检测方法、装置及其计算机存储介质

技术领域

本发明涉及人脸识别技术领域，具体而言，涉及一种人脸关键点检测方法、装置及其计算机存储介质。

背景技术

随着计算机设备、网络以及图像处理技术的迅速发展，传统的肉眼图像识别方式已经逐渐被由计算机自动进行的图像识别方式替代，从而极大的提高了图像识别的效率和准确率。通过计算机自动的检测人脸关键点是一项计算机视觉领域常见的任务，应用也很多。所谓的关键点指人脸上具有比较明显的特征的位置，比如嘴角，鼻尖，眼角之类。关键点检测算法从人脸图像自动计算出这些点在图像中的位置，进而可以应用到人脸识别，人脸动画，人脸追踪等后续的任务当中。

但是现有的人脸关键点检测方案都没有对关键点的遮挡情况进行分析，无法获得关键点的具体可见性信息，从而影响了关键点检测的结果可靠性。

发明内容

有鉴于此，本发明实施例的目的在于提供一种人脸关键点检测方法、装置及其存储介质，以解决上述问题。

第一方面，本发明实施例提供了一种人脸关键点检测方法，所述人脸关键点检测方法包括：获取人脸图像；将所述人脸图像转换为多角度人脸图像；将所述多角度人脸图像输入包括位置解码器和可见性解码器的位置及可见性估计神经网络；获得所述位置及可见性估计神经网络输出的包含关键点位置热度和关键点可见性热度的热度图，基于所述热度图获得包含关键点位置信息和关键点遮挡信息的检测结果。

综合第一方面，所述将所述人脸图像转换为多角度人脸图像，包括：基于三维人脸重建将单张人脸图像转换为多张多角度人脸图像；对所述多角度人脸图像进行多角度关键点可见性标注和多角度关键点位置标注，获得标注后的多角度人脸图像。

综合第一方面，所述对所述多角度人脸图像进行多角度关键点可见性标注，包括：识别所述多角度人脸图像中的关键点的自遮挡和/或外物遮挡的情况，基于所述自遮挡和/或外物遮挡的情况进行多角度关键点可见性标注。

综合第一方面，所述识别所述多角度人脸图像中的关键点的自遮挡和/或外物遮挡的情况，包括：基于所述多角度人脸图像中的关键点的法向量测试结果、投影遮挡测试结果以及正脸水平位移测试结果识别所述关键点的自遮挡情况；基于所述多角度人脸图像中的关键点的人脸分割结果识别所述关键点的外物遮挡情况。

综合第一方面，在所述将所述多角度人脸图像输入包括位置解码器和可见性解码器的位置及可见性估计神经网络之前，所述人脸关键点检测方法还包括：将所述多角度人脸图像作为训练集，基于Hourglass深度卷积神经网络训练获得所述位置及可见性估计神经网络。

综合第一方面，在所述基于Hourglass深度卷积神经网络训练获得所述位置及可见性估计神经网络之后，所述人脸关键点检测方法还包括：基于所述多角度人脸图像的多角度关键点可见性标注、多角度关键点位置标注以及所述位置及可见性估计神经网络输出的检测结果获得损失函数；基于所述损失函数对所述位置及可见性估计神经网络进行参数优化。

第二方面，本发明实施例提供了一种人脸关键点检测装置，所述人脸关键点检测装置包括：获取模块，用于获取人脸图像；转换模块，用于将所述人脸图像转换为多角度人脸图像；输入模块，用于将所述多角度人脸图像输入包括位置解码器和可见性解码器的位置及可见性估计神经网络；输出模块，用于获得所述位置及可见性估计神经网络输出的包含关键点位置热度和关键点可见性热度的热度图，基于所述热度图获得包含关键点位置信息和关键点遮挡信息的检测结果。

综合第二方面，所述转换模块包括：角度转换单元，用于基于三维人脸重建将单张人脸图像转换为多张多角度人脸图像；标注单元，用于对所述多角度人脸图像进行多角度关键点可见性标注和多角度关键点位置标注，获得标注后的多角度人脸图像。

综合第二方面，所述人脸关键点检测装置还包括：建模模块，用于将所述多角度人脸图像作为训练集，基于Hourglass深度卷积神经网络训练获得所述位置及可见性估计神经网络。

第三方面，本发明实施例还提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行上述任一方面所述方法中的步骤。

本发明提供的有益效果是：

本发明提供了一种人脸关键点检测方法、装置及其计算机存储介质，所述人脸关键点检测方法通过将人脸图像转换为多角度人脸图像，以使位置及可见性估计神经网络基于多角度人脸图像进行关键点检测，以多个角度的人脸图像作为关键点检测参考数据，提高了关键点检测的准确性；位置及可见性估计神经网络包括位置解码器和可见性解码器，其输出结果为包含关键点位置热度和关键点可见性热度的热度图，从而在进行关键点位置检测的同时还能够对每个关键点是否被遮挡进行判断，确定关键点信息是否可靠。

本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为现有人脸关键点算法模型的Hourglass的经典设计示意图；

图2为本发明第一实施例提供的一种人脸关键点检测方法的流程示意图；

图3为本发明第一实施例提供的一种关键点遮挡情况识别子步骤的流程示意图；

图4为本发明第二实施例提供的一种人脸关键点检测装置的模块示意图；

图5为本发明第三实施例提供的一种可应用于本申请实施例中的电子设备的结构框图。

图标：100-人脸关键点检测装置；110-获取模块；120-转换模块；130-输入模块；140-输出模块；200-电子设备；201-存储器；202-存储控制器；203-处理器；204-外设接口；205-输入输出单元；206-音频单元；207-显示单元。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

第一实施例

经本申请人研究发现，当前能用于各种实际场景并且鲁棒性很强的人脸关键点算法主要基于深度卷积神经网络，主干的网络设计称为Hourglass，通过回归各个关键点的热度图并堆叠多个Hourglass实现关键点的检测。这种算法分为两个阶段，模型训练阶段，模型使用阶段。在训练阶段，神经网络模型根据人脸图像和标注的关键点信息进行有监督的训练，训练完成后，使用阶段只需要将人脸图像输入神经网络，神经网络就会输出关键点的位置估计。请参考图1，图1为现有人脸关键点算法模型的Hourglass的经典设计示意图，Hourglass的经典设计为四个Hourglass的堆叠，每个Hourglass包括用于提取图片特征的编码器以及用于确定关键点位置的位置解码器。当前所有基于Hourglass的人脸关键点检测方案都没有考虑的一个问题是，如何在检测如所有关键点(不论是否被遮挡)的同时，推断出该关键点的可见性，即如果一个关键点是被遮挡的，如何在推断出这个关键点的位置的同时，推断出这个关键点是不可见的，或者说是异常的。这个问题很重要，对于一个使用人脸关键点的系统，每个关键点本身的是否被遮挡，是否异常，是否可靠，是非常重要的信息，很多时候不可或缺。为了改善上述问题，本发明第一实施例提供了一种人脸关键点检测方法，应当理解的是，所述人脸关键点检测方法的执行主体可以为个人计算机、智能手机等具备图像处理和逻辑运算能力的处理设备。

请参考图2，图2为本发明第一实施例提供的一种人脸关键点检测方法的流程示意图。所述人脸关键点检测方法的具体步骤可以如下：

步骤S10：获取人脸图像。

本实施例中，人脸图像可以是监控摄像头、手机摄像头等装置采集的图像。可选地，该图像可以是直接采集的图片，也可以是从视频中截取的某帧图片。

步骤S20：将所述人脸图像转换为多角度人脸图像。

应当理解的是，人脸关键点检测对作为参考的人脸关键点数据集的依赖性极强，在人脸关键点数据集的数据量和差异性足够大时，人脸关键点检测的结果更加可靠，其准确度更高，因此将一个角度的单张人脸图像转换为不同角度的多张多角度人脸图像，可以提高人脸关键点数据集的数据量和差异性，以提高人脸关键点检测的可靠性和准确度。

步骤S30：将所述多角度人脸图像输入包括位置解码器和可见性解码器的位置及可见性估计神经网络。

位置及可见性估计神经网络中的主干的网络设计可以是对Hourglass改造获得，可选地，其改造可以是直接对Hourglass的输出进行改造，也可以是对Hourglass进行功能性解码器的添加等。

步骤S40：获得所述位置及可见性估计神经网络输出的包含关键点位置热度和关键点可见性热度的热度图，基于所述热度图获得包含关键点位置信息和关键点遮挡信息的检测结果。

本实施例中的热度图对关键点位置和关键点可见性进行热度显示，对每个关键点位置及其可见性进行标注，该标注方式可以是用不同颜色区分或不同数值区分，以表示关键点具体位置以及关键点是否被遮挡。

本发明通过步骤S10-S40，将人脸图像转换为多角度人脸图像，以使位置及可见性估计神经网络基于多角度人脸图像进行关键点检测，以多个角度的人脸图像作为关键点检测参考数据，提高了关键点检测的准确性；位置及可见性估计神经网络包括位置解码器和可见性解码器，其输出结果为包含关键点位置热度和关键点可见性热度的热度图，从而在进行关键点位置检测的同时还能够对每个关键点是否被遮挡进行判断，确定关键点信息是否可靠。

对于步骤S20，可选地，所述“将所述人脸图像转换为多角度人脸图像”的步骤可以具体为：基于三维人脸重建将单张人脸图像转换为多张多角度人脸图像；对所述多角度人脸图像进行多角度关键点可见性标注和多角度关键点位置标注，获得标注后的多角度人脸图像。其中，三维人脸重建就是从一张或多张照片中重建出人脸的3D的模型，2D的人脸图片可以看做是3D人脸在2D平面上的一个投影。M＝(S，T)表示一个3D人脸，其中S∈{(x_i，y_i，z_i)|i＝1，2，...，m}代表人脸的三维坐标形状，M∈{ti|i＝1，2，...，m}代表纹理信息，下标m代表3D人脸点云上所有点的个数，I代表M的2D投影，I(u，v)代表像素(u，v)处的纹理值，3D人脸重建就是从2D图片I中计算出M的估计完成三维人脸重建后可以对获得的3D人脸模型进行多个角度的图像截取，从而获得不同角度的多角度人脸图像。

应当理解的是，传统的人脸关键点标注在人脸图像上，在人脸图像角度变化后被轮廓遮挡不可见的关键点会偏移显示在人脸轮廓上，出现标注点的显示位置错误，本实施例中的关键点标注通过多角度人脸图像处理后，在人脸轮廓挡住关键点后该关键点的标注位置不会出现在轮廓上，而是在其被遮挡的原位置上。

在本实施例中，所述“对所述多角度人脸图像进行多角度关键点可见性标注和多角度关键点位置标注”的步骤可以具体包括：识别所述多角度人脸图像中的关键点的自遮挡和/或外物遮挡的情况，基于所述自遮挡和/或外物遮挡的情况进行多角度关键点可见性标注。其中，关键点的识别可以通过传统的包括编码器和位置解码器的Hourglass卷积神经网络完成。

进一步地，所述“识别所述多角度人脸图像中的关键点的自遮挡和/或外物遮挡的情况”还可以包括如图3所示的子步骤，所述子步骤具体可以如下：

步骤S21：基于所述多角度人脸图像中的关键点的法向量测试结果、投影遮挡测试结果以及正脸水平位移测试结果识别所述关键点的自遮挡情况。

关键点自遮挡指因为人脸角度的问题，某些关键点被人脸自身遮挡。本实施例中的自遮挡的标注基于3D人脸的几何算法计算得到，考虑到鲁棒性和实用性，该计算方法综合考虑了法向量测试和正脸水平位移测试。其中，法向量测试即计算关键点区域的法向量和人脸图像朝向面的法向量的夹角大小，在该夹角大小大于预设阈值时则判断该关键点存在自遮挡情况。正脸水平位移测试即将人脸图像中的正脸投影在平面上，计算关键点区域的投影与正脸投影可见区域的距离，在该距离处于预设阈值范围外时则判断该关键点存在自遮挡情况。

可选地，本实施例中的自遮挡判断还可以基于常见的投影测试方法进行。

步骤S22：基于所述多角度人脸图像中的关键点的人脸分割结果识别所述关键点的外物遮挡情况。

关键点的外物遮挡，如字面意思，是指该关键点位置被人脸以外的物体遮挡，比如手、头发、他人的身体部分、手机等等。人脸分割即在一张图片中将人脸图像从图片背景中识别并分离出来，本实施例在获得人脸分割结果后确定人脸缺失部分，则该缺失部分即为外物遮挡部分，并对其进行相应的标注。应当理解的是，本实施例中的关键点标注以及人脸关键点识别等步骤均为程序或算法自动控制，不需要人工进行干涉，提高了人脸关键点检测的效率，节省了人力和时间成本。

进一步地，本实施例还可以通过遮挡合成算法，生成人脸图像存在外物遮挡的模拟图像，在合成外物遮挡进行数据增强的同时，计算得到相应的遮挡标注，从而进一步增加数据集的数量和差异性。

应当理解的是，在执行步骤S30之前，本实施例还应当进行位置及可见性估计神经网络的训练建模，该步骤具体可以为：将所述多角度人脸图像作为训练集，基于Hourglass深度卷积神经网络训练获得所述位置及可见性估计神经网络。

可选地，本实施例中的位置及可见性估计神经网络可以直接在输出每个关键点的位置热度图的同时回归一个该关键点的可见性热度图，其中，位置热度图依赖于可见性热度图，此方案只需要改动Hourglass的输出端即可；还可以在Hourglass增加一个可见性解码器，改为两个并行的解码器，通过位置解码器回归位置热度图、通过可见性解码器回归可见性解码器；还可以将分别包括可见性解码器和位置解码器的两个Hourglass进行串联，两个Hourglass的编码器均接收多角度人脸图像，可见性解码器对应的第一个Hourglass回归可见性热度图，位置解码器对应的第二个Hourglass接收多角度人脸图像和可见性热度图并回归位置热度图。

进一步地，在完成位置及可见性估计神经网络的建模及训练后，可以通过损失函数对其进行参数优化，提高准确度，其具体步骤为：基于所述多角度人脸图像的多角度关键点可见性标注、多角度关键点位置标注以及所述位置及可见性估计神经网络输出的检测结果获得损失函数；基于所述损失函数对所述位置及可见性估计神经网络进行参数优化。其中，损失函数(Loss function)是用来估量模型的预测值f(x)与真实值Y的不一致程度的，它是一个非负实值函数，通常用L(Y,f(x))来表示。损失函数越小，模型的鲁棒性就越好，损失函数是经验风险函数的核心部分，也是结构风险函数的重要组成部分。

针对步骤S30：将所述多角度人脸图像输入包括位置解码器和可见性解码器的位置及可见性估计神经网络。输入可见性估计神经网络的图片可以还可以是单张人脸图像，本实施例为了获得更高的精确度从而输入不同角度的多张多角度人脸图像。

第二实施例

为了配合本发明第一实施例提供的人脸关键点检测方法，本发明第二实施例还提供了一种人脸关键点检测装置100。

请参考图4，图4为本发明第二实施例提供的一种人脸关键点检测装置的模块示意图。

人脸关键点检测装置100包括获取模块110、转换模块120、输入模块130和输出模块140。

获取模块110，用于获取人脸图像。

转换模块120，用于将所述人脸图像转换为多角度人脸图像。

输入模块130，用于将所述多角度人脸图像输入包括位置解码器和可见性解码器的位置及可见性估计神经网络。

输出模块140，用于获得所述位置及可见性估计神经网络输出的包含关键点位置热度和关键点可见性热度的热度图，基于所述热度图获得包含关键点位置信息和关键点遮挡信息的检测结果。

可选地，本实施例提供的转换模块120可以包括：角度转换单元，用于基于三维人脸重建将单张人脸图像转换为多张多角度人脸图像；标注单元，用于对所述多角度人脸图像进行多角度关键点可见性标注和多角度关键点位置标注，获得标注后的多角度人脸图像。

可选地，本实施例提供的人脸关键点检测装置100还可以包括：建模模块，用于将所述多角度人脸图像作为训练集，基于Hourglass深度卷积神经网络训练获得所述位置及可见性估计神经网络。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法中的对应过程，在此不再过多赘述。

第三实施例

请参照图5，图5为本发明第三实施例提供的一种可应用于本申请实施例中的电子设备的结构框图。本实施例提供的电子设备200可以包括人脸关键点检测装置100、存储器201、存储控制器202、处理器203、外设接口204、输入输出单元205、音频单元206、显示单元207。

所述存储器201、存储控制器202、处理器203、外设接口204、输入输出单元205、音频单元206、显示单元207各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述人脸关键点检测装置100包括至少一个可以软件或固件(firmware)的形式存储于所述存储器201中或固化在人脸关键点检测装置100的操作系统(operating system，OS)中的软件功能模块。所述处理器203用于执行存储器201中存储的可执行模块，例如人脸关键点检测装置100包括的软件功能模块或计算机程序。

其中，存储器201可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器201用于存储程序，所述处理器203在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的服务器所执行的方法可以应用于处理器203中，或者由处理器203实现。

处理器203可以是一种集成电路芯片，具有信号的处理能力。上述的处理器203可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器203也可以是任何常规的处理器等。

所述外设接口204将各种输入/输出装置耦合至处理器203以及存储器201。在一些实施例中，外设接口204，处理器203以及存储控制器202可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。

输入输出单元205用于提供给用户输入数据实现用户与所述服务器(或本地终端)的交互。所述输入输出单元205可以是，但不限于，鼠标和键盘等设备。

音频单元206向用户提供音频接口，其可包括一个或多个麦克风、一个或者多个扬声器以及音频电路。

显示单元207在所述电子设备200与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。在本实施例中，所述显示单元207可以是液晶显示器或触控显示器。若为触控显示器，其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作，并将该感应到的触控操作交由处理器203进行计算和处理。

可以理解，图5所示的结构仅为示意，所述电子设备200还可包括比图5中所示更多或者更少的组件，或者具有与图5所示不同的配置。图5中所示的各组件可以采用硬件、软件或其组合实现。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法中的对应过程，在此不再过多赘述。

综上所述，本发明实施例提供了一种人脸关键点检测方法、装置及其计算机存储介质，所述人脸关键点检测方法通过将人脸图像转换为多角度人脸图像，以使位置及可见性估计神经网络基于多角度人脸图像进行关键点检测，以多个角度的人脸图像作为关键点检测参考数据，提高了关键点检测的准确性；位置及可见性估计神经网络包括位置解码器和可见性解码器，其输出结果为包含关键点位置热度和关键点可见性热度的热度图，从而在进行关键点位置检测的同时还能够对每个关键点是否被遮挡进行判断，确定关键点信息是否可靠。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种人脸关键点检测方法，其特征在于，所述人脸关键点检测方法包括：

获取人脸图像；

将所述人脸图像转换为多角度人脸图像；

将所述多角度人脸图像输入包括位置解码器和可见性解码器的位置及可见性估计神经网络；

获得所述位置及可见性估计神经网络输出的包含关键点位置热度和关键点可见性热度的热度图，基于所述热度图获得包含关键点位置信息和关键点遮挡信息的检测结果。

2.根据权利要求1所述的人脸关键点检测方法，其特征在于，所述将所述人脸图像转换为多角度人脸图像，包括：

基于三维人脸重建将单张人脸图像转换为多张多角度人脸图像；

对所述多角度人脸图像进行多角度关键点可见性标注和多角度关键点位置标注，获得标注后的多角度人脸图像。

3.根据权利要求2所述的人脸关键点检测方法，其特征在于，所述对所述多角度人脸图像进行多角度关键点可见性标注，包括：

识别所述多角度人脸图像中的关键点的自遮挡和/或外物遮挡的情况，基于所述自遮挡和/或外物遮挡的情况进行多角度关键点可见性标注。

4.根据权利要求3所述的人脸关键点检测方法，其特征在于，所述识别所述多角度人脸图像中的关键点的自遮挡和/或外物遮挡的情况，包括：

基于所述多角度人脸图像中的关键点的法向量测试结果、投影遮挡测试结果以及正脸水平位移测试结果识别所述关键点的自遮挡情况；

基于所述多角度人脸图像中的关键点的人脸分割结果识别所述关键点的外物遮挡情况。

5.根据权利要求1所述的人脸关键点检测方法，其特征在于，在所述将所述多角度人脸图像输入包括位置解码器和可见性解码器的位置及可见性估计神经网络之前，所述人脸关键点检测方法还包括：

将所述多角度人脸图像作为训练集，基于Hourglass深度卷积神经网络训练获得所述位置及可见性估计神经网络。

6.根据权利要求5所述的人脸关键点检测方法，其特征在于，在所述基于Hourglass深度卷积神经网络训练获得所述位置及可见性估计神经网络之后，所述人脸关键点检测方法还包括：

基于所述多角度人脸图像的多角度关键点可见性标注、多角度关键点位置标注以及所述位置及可见性估计神经网络输出的检测结果获得损失函数；

基于所述损失函数对所述位置及可见性估计神经网络进行参数优化。

7.一种人脸关键点检测装置，其特征在于，所述人脸关键点检测装置包括：

获取模块，用于获取人脸图像；

转换模块，用于将所述人脸图像转换为多角度人脸图像；

输入模块，用于将所述多角度人脸图像输入包括位置解码器和可见性解码器的位置及可见性估计神经网络；

输出模块，用于获得所述位置及可见性估计神经网络输出的包含关键点位置热度和关键点可见性热度的热度图，基于所述热度图获得包含关键点位置信息和关键点遮挡信息的检测结果。

8.根据权利要求7所述的人脸关键点检测装置，其特征在于，所述转换模块包括：

角度转换单元，用于基于三维人脸重建将单张人脸图像转换为多张多角度人脸图像；

标注单元，用于对所述多角度人脸图像进行多角度关键点可见性标注和多角度关键点位置标注，获得标注后的多角度人脸图像。

9.根据权利要求7所述的人脸关键点检测装置，其特征在于，所述人脸关键点检测装置还包括：

建模模块，用于将所述多角度人脸图像作为训练集，基于Hourglass深度卷积神经网络训练获得所述位置及可见性估计神经网络。

10.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行权利要求1-6任一项所述方法中的步骤。