CN109960974A - 人脸关键点检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施方式公开了人脸关键点检测方法、神经网络的训练方法、装置、电子设备、计算机可读存储介质以及计算机程序，其中的人脸关键点检测方法包括：获取待处理图像的图像特征；将所述图像特征提供给第一神经网络单元，基于所述第一神经网络单元获得所述待处理图像的像素点的被遮挡信息；根据所述像素点的被遮挡信息确定所述待处理图像中的人脸关键点是否被遮挡。

Description

人脸关键点检测方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机视觉技术，尤其是涉及一种人脸关键点检测方法、神经网络的训练方法、人脸关键点检测装置、神经网络的训练装置、用于人脸关键点检测的神经网络、电子设备、计算机可读存储介质以及计算机程序。

背景技术

人脸关键点检测是人脸识别、变脸处理、美颜处理、美妆处理、人脸的图像渲染、人脸状态检测、表情检测以及属性检测等诸多应用中不可或缺的一部分。准确的确定出人脸关键点，不仅有利于对人脸的相关位置进行矫正处理，而且有利于增强人脸的语义信息。

发明内容

本申请实施方式提供人脸关键点检测以及神经网络的训练的技术方案。

根据本申请实施方式的其中一方面，提供了一种人脸关键点检测方法，该方法包括：获取待处理图像的图像特征；将所述图像特征提供给第一神经网络单元，基于所述第一神经网络单元获得所述待处理图像的像素点的被遮挡信息；根据所述像素点的被遮挡信息确定所述待处理图像中的人脸关键点是否被遮挡。

在本申请一实施方式中，所述获取待处理图像的图像特征包括：将待处理图像提供给前级神经网络单元，经由所述前级神经网络单元获得所述待处理图像的图像特征。

在本申请又一实施方式中，所述方法还包括：将所述图像特征提供给第二神经网络单元，经由所述第二神经网络单元提取所述待处理图像中的人脸关键点；其中，所述提取出的人脸关键点用于与所述像素点的被遮挡信息一起确定所述待处理图像中的人脸关键点是否被遮挡。

在本申请再一实施方式中，所述像素点的被遮挡信息包括：像素点的被遮挡概率。

在本申请再一实施方式中，所述根据所述像素点的被遮挡信息确定所述待处理图像中的人脸关键点是否被遮挡包括：在人脸关键点所在像素点的被遮挡概率达到预定概率阈值的情况下，确定该人脸关键点被遮挡；和/或在人脸关键点所在像素点的被遮挡概率未达到预定概率阈值的情况下，确定该人脸关键点未被遮挡。

在本申请再一实施方式中，所述方法还包括：在根据被遮挡的人脸关键点确定出人脸中的相应部位处于被遮挡状态的情况下，针对所述部位不进行处理；其中，所述处理包括：变脸处理、美颜处理、美妆处理、人脸的图像渲染处理、人脸状态检测处理、表情检测处理以及器官精细定位处理中的至少一个。

在本申请再一实施方式中，所述方法还包括：基于样本数据集训练所述第一神经网络单元；其中，所述样本数据集中的图像样本包括有表示人脸关键点是否被遮挡的标注信息表示人脸关键点是否被遮挡的标注信息表示人脸关键点是否被遮挡的标注信息。

在本申请再一实施方式中，所述样本数据集还包括：图像样本的人脸关键点标注数据。

在本申请再一实施方式中，所述图像样本包括：设置有遮挡物的图像样本。

在本申请再一实施方式中，该方法还包括：在图像样本上设置遮挡物，并在样本数据集中设置被所述遮挡物遮挡的人脸关键点的表示人脸关键点是否被遮挡的标注信息表示人脸关键点是否被遮挡的标注信息。

在本申请再一实施方式中，所述遮挡物包括：色块。

在本申请再一实施方式中，所述方法还包括：对所述图像样本进行变换处理，形成新的图像样本；所述变换处理包括：平移、旋转、缩放以及镜像处理中的一个或多个。

在本申请再一实施方式中，所述基于样本数据集训练所述第一神经网络单元包括：在保持已成功训练的前级神经网络单元以及第二神经网络单元的参数不发生变化的情况下，基于样本数据集训练所述第一神经网络单元。

在本申请再一实施方式中，所述基于样本数据集训练所述第一神经网络单元包括：基于softmax损失函数，根据所述第一神经网络单元输出的图像样本的各像素点的被遮挡信息以及所述图像样本的人脸关键点的表示人脸关键点是否被遮挡的标注信息，对所述第一神经网络单元进行监督学习。

根据本申请实施方式的其中另一个方面，提供了一种神经网络的训练方法，所述神经网络包括：第一神经网络单元，所述方法包括下述步骤：获取图像样本的图像特征，其中，所述图像样本的标注信息包括：表示人脸关键点是否被遮挡的标注信息；将所述图像特征提供给待训练的第一神经网络单元，基于所述待训练的第一神经网络单元，获得所述图像样本的像素点的被遮挡信息；基于所述像素点的被遮挡信息和所述图像样本的标注信息，对所述待训练的第一神经网络单元进行监督学习。

在本申请一实施方式中，所述图像样本的标注信息还包括：图像样本的人脸关键点标注数据。

在本申请又一实施方式中，所述图像样本包括：设置有遮挡物的图像样本。

在本申请再一实施方式中，该方法还包括：在图像样本上设置遮挡物，并在样本数据集中设置被所述遮挡物遮挡的人脸关键点的表示人脸关键点是否被遮挡的标注信息。

在本申请再一实施方式中，所述遮挡物包括：色块。

在本申请再一实施方式中，所述方法还包括：对所述图像样本进行变换处理，形成新的图像样本；所述变换处理包括：平移、旋转、缩放以及镜像处理中的一个或多个。

在本申请再一实施方式中，所述神经网络还包括：用于获得所述图像样本的图像特征的前级神经网络单元，以及用于根据将所述图像特征提取所述图像样本中的人脸关键点的第二神经网络，所述神经网络的训练方法包括：在保持已成功训练的前级神经网络单元以及第二神经网络单元的参数不发生变化的情况下，训练所述第一神经网络单元。

根据本申请实施方式的其中再一个方面，提供了一种人脸关键点检测装置，该装置包括：获取图像特征模块，用于获取待处理图像的图像特征；获取被遮挡信息模块，用于将所述图像特征提供给第一神经网络单元，基于所述第一神经网络单元获得所述待处理图像的像素点的被遮挡信息；判断遮挡模块，用于根据所述像素点的被遮挡信息确定所述待处理图像中的人脸关键点是否被遮挡。

在本申请一实施方式中，所述装置还包括：获取关键点模块，用于将所述图像特征提供给第二神经网络单元，经由所述第二神经网络单元从所述待处理图像中提取人脸关键点；其中，所述提取出的人脸关键点用于与所述像素点的被遮挡信息一起确定所述待处理图像中的人脸关键点是否被遮挡。

在本申请又一实施方式中，所述装置还包括：处理模块，用于在根据被遮挡的人脸关键点确定出人脸中的相应部位处于被遮挡状态的情况下，针对所述部位不进行处理；其中，所述处理包括：变脸处理、美颜处理、美妆处理、人脸的图像渲染处理、人脸状态检测处理、表情检测处理以及器官精细定位处理中的至少一个。

在本申请再一实施方式中，所述装置还包括：神经网络的训练装置，用于：基于样本数据集训练所述第一神经网络单元；其中，所述样本数据集包括：表示人脸关键点是否被遮挡的标注信息。

在本申请再一实施方式中，所述神经网络的训练装置包括：获取样本特征模块，获取图像样本的图像特征，其中，所述图像样本的标注信息包括：表示人脸关键点是否被遮挡的标注信息；获取样本遮挡信息模块，用于将所述图像特征提供给待训练的第一神经网络单元，基于所述待训练的第一神经网络单元，获得所述图像样本的像素点的被遮挡信息；监督模块，用于基于所述像素点的被遮挡信息和所述图像样本的标注信息，对所述待训练的第一神经网络单元进行监督学习。

在本申请再一实施方式中，所述神经网络的训练装置还包括：设置遮挡物模块，用于在图像样本上设置遮挡物，并在样本数据集中设置被所述遮挡物遮挡的人脸关键点的表示人脸关键点是否被遮挡的标注信息。

在本申请再一实施方式中，所述神经网络的训练装置还包括：变换处理模块，用于：对所述图像样本进行变换处理，形成新的图像样本；所述变换处理包括：平移、旋转、缩放以及镜像处理中的一个或多个。

根据本申请实施方式的其中再一个方面，提供了一种神经网络的训练装置，所述神经网络包括：第一神经网络单元，所述装置主要包括：获取样本特征模块，用于获取图像样本的图像特征，其中，所述图像样本的标注信息包括：表示人脸关键点是否被遮挡的标注信息；获取样本遮挡信息模块，用于将所述图像特征提供给待训练的第一神经网络单元，基于所述待训练的第一神经网络单元，获得所述图像样本的像素点的被遮挡信息；监督模块，用于基于所述像素点的被遮挡信息和所述图像样本的标注信息，对所述待训练的第一神经网络单元进行监督学习。

在本申请一实施方式中，所述装置还包括：设置遮挡物模块，用于在图像样本上设置遮挡物，并在样本数据集中设置被所述遮挡物遮挡的人脸关键点的表示人脸关键点是否被遮挡的标注信息。

在本申请又一实施方式中，所述装置还包括：变换处理模块，用于对所述图像样本进行变换处理，形成新的图像样本；所述变换处理包括：平移、旋转、缩放以及镜像处理中的一个或多个。

根据本申请实施方式的其中再一个方面，提供了一种用于人脸关键点检测的神经网络，所述神经网络包括：前级神经网络单元，用于获取待处理图像的图像特征；第一神经网络单元，用于根据所述图像特征获取所述待处理图像的像素点的被遮挡信息；第二神经网络单元，用于根据所述图像特征提取所述待处理图像中的人脸关键点；其中，所述像素点的被遮挡信息和人脸关键点用于确定所述待处理图像中的人脸关键点是否被遮挡。

根据本申请实施方式的再一个方面，提供了一种电子设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述存储器中存储的计算机程序，所述计算机程序被执行时，实现本申请任一可能的实施方式中的方法。

根据本申请实施方式的再一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现本申请任一可能的实施方式中的方法。

根据本申请实施方式的再一个方面，提供的一种计算机程序，用于存储计算机可读指令，所述指令被执行时，使得设备执行上述任一可能的实现方式中的方法。

在一可选实施方式中，上述计算机程序产品具体为计算机存储介质，在另一可选实施方式中，所述计算机程序产品具体为软件产品，例如SDK等。

基于本申请提供的人脸关键点检测方法、装置、电子设备以及计算机可读存储介质，本申请通过利用第一神经网络单元来获取待处理图像的像素点的被遮挡信息，这样，可以根据像素点的被遮挡信息确定出待处理图像中的人脸关键点是否被遮挡；从而在相应的应用中可以根据人脸关键点是否被遮挡而确定出是否对人脸的相应部位进行相应的处理，例如，如果待处理图像中的人脸带有口罩，则由于本申请可以判断出位于嘴部位置处的所有人脸关键点均被遮挡，因此本申请可以不再对待处理图像中的人脸进行嘴部特效处理或者嘴部开合状态检测处理或者涂唇彩处理等；再例如，如果待处理图像中的人脸带有墨镜，则由于本申请可以判断出位于眼睛位置处的所有人脸关键点均被遮挡，因此，本申请可以不再对待处理图像中的人脸进行眼睛特效处理或者眼睛开合状态检测处理或者描眼睑线处理等。由此可知，本申请的人脸关键点检测技术能够确提取出更为丰富的人脸关键点信息，从而不仅有利于增强人脸的语义信息，还有利于避免由于不必要的处理操作而造成的资源浪费或渲染失真。

下面通过附图和实施方式，对本申请的技术方案做进一步的详细描述。

附图说明

构成说明书的一部分的附图描述了本申请的实施方式，并且连同描述一起用于解释本申请的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：

图1为本申请人脸关键点检测方法一个实施方式的流程图；

图2为本申请人脸关键点检测方法另一个实施方式的流程图；

图3为本申请的神经网络的示意图；

图4为本申请训练神经网络的方法的一个实施方式的流程图；

图5为本申请训练神经网络的方法的另一个实施方式的流程图；

图6为本申请人脸关键点检测装置一个实施方式的结构示意图；

图7为本申请训练神经网络的装置的一个实施方式的结构示意图；

图8为实现本申请实施方式的一示例性设备的框图。

具体实施方式

现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或者使用的任何限制。

对于相关领域普通技术人员已知的技术、方法以及设备可能不作详细讨论，但在适当情况下，所述技术、方法及设备应当被视为说明书的一部分。

应注意到：相似的标号以及字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本申请实施例可以应用于终端设备、计算机系统以及服务器等电子设备中，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统以及包括上述任何系统的分布式云计算技术环境等等。

终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

示例性实施例

下面结合图1至图8对本申请提供的人脸关键点检测的技术方案进行说明。

图1为本申请方法一个实施例的流程图。如图1所示，该实施例方法包括：步骤S100、步骤S110以及步骤S120。

S100、获取待处理图像的图像特征。

在一个可选示例中，本申请中的待处理图像(如基于RGB的待处理图像)可以为呈现静态的图片或者照片等图像，也可以为呈现动态的视频中的视频帧等。该待处理图像通常包含有人脸，待处理图像中的人脸可以为正脸，也可以为侧脸。本申请不限制待处理图像中的人脸所表现出的偏转角度以及表情等具体形态。

在一个可选示例中，本申请可以基于神经网络获取待处理图像的图像特征，例如，将待处理图像作为输入提供给用于提取图像特征的神经网络，由该神经网络对该待处理图像进行人脸检测，形成人脸外接框，并进一步基于该人脸外接框形成待处理图像的图像特征，该神经网络输出图像特征，从而本申请基于该神经网络的输出信息获得待处理图像的图像特征。由于该神经网络位于本申请的第一神经网络单元的上游，为了区别描述，本申请将该神经网络称为前级神经网络单元。

在一个可选示例中，本申请中的前级神经网络单元的网络结构可以根据提取图像特征的实际需求灵活设计，本申请并不限制该前级神经网络单元的具体网络结构。例如，本申请中的前级神经网络单元可以包括但不限于至少一卷积层、至少一非线性ReLU(Rectified Linear Units，修正线性单元)层、至少一池化层以及至少一全连接层等(如图3所示)，前级神经网络单元所包含的层数越多，则网络越深。

S110、将图像特征提供给第一神经网络单元，基于第一神经网络单元获得待处理图像的像素点的被遮挡信息。

在一个可选示例中，本申请中的第一神经网络单元主要用于根据待处理图像的图像特征确定待处理图像中的多个像素点(例如，图像包括的部分像素点或者所有像素点)的被遮挡信息，例如，第一神经网络单元可以根据待处理图像的图像特征确定出待处理图像中的所有像素点的被遮挡概率，该被遮挡概率的取值范围通常为0-1之间。另外，像素点的被遮挡信息也可以具体为被遮挡或者未被遮挡等。本申请不限制像素点的被遮挡信息的具体表现形式。

在一个可选示例中，本申请中的第一神经网络单元的网络结构可以根据实际需求灵活设计，本申请并不限制第一神经网络单元的具体网络结构。例如，本申请中的第一神经网络单元可以包括但不限于至少一卷积层、至少一全连接层以及Softmax层等(如图3所示)，第一神经网络单元所包含的层数越多，则网络越深。第一神经网络单元的训练过程可以参见下述针对图4和图5的描述，在此不再重复说明。

S120、根据像素点的被遮挡信息确定待处理图像中的人脸关键点是否被遮挡。

在一个可选示例中，本申请的待处理图像中的人脸关键点可以是基于神经网络获得的，例如，将前级神经网络单元输出的待处理图像的图像特征作为输入提供给用于基于图像特征提取人脸关键点的神经网络，由该神经网络针对该待处理图像的图像特征进行判别处理，输出人脸关键点判别结果，从而本申请可以基于该神经网络的输出信息获得待处理图像的人脸关键点。人脸关键点通常是指用于定位人脸的多个点，人脸关键点通常包括人脸轮廓关键点、眼睛关键点、眉毛关键点、嘴唇关键点以及鼻子关键点等。为了区别描述，本申请将该神经网络称为第二神经网络单元。本申请基于第二神经网络单元可以获得21或68或106或186或240或220或274或其他个数的人脸关键点，本申请不限制获得的人脸关键点的数量。

在一个可选示例中，本申请中的第二神经网络单元的网络结构可以根据实际需求灵活设计，本申请并不限制第二神经网络单元的具体网络结构。例如，本申请中的第二神经网络单元可以包括但不限于至少一卷积层、至少一非线性ReLU层以及至少一全连接层等(如图3所示)，第二神经网络单元所包含的层数越多，则网络越深。由于人脸特征提取技术以及人脸关键点检测技术属于发展较为成熟的技术，因此，本申请从待处理图像中获得的人脸特征以及人脸关键点具有较佳的可靠性。

需要特别说明的是，本申请中的前级神经网络单元和输入端与前级神经网络单元的输出端连接的第二神经网络单元，通常可以为现有的用于从待处理图像中提取人脸关键点的神经网络；而本申请中的第一神经网络单元可以看做是从该神经网络的一中间层引出的与第二神经网络单元相并列的一支路神经网络单元。本申请中的用于从待处理图像中提取人脸关键点的神经网络(即包含前级神经网络单元和第二神经网络单元的神经网络)的网络结构可以采用但不限于AlexNet、深度残差网络(Deep Residual Network，ResNet)或者VGGNet(Visual Geometry Group Network，视觉几何组网络)等神经网络所采用的网络结构。

在一个可选示例中，本申请可以根据预先设置有预定概率阈值确定人脸关键点是否被遮挡，例如，本申请可以根据第二神经网络单元的输出获得各人脸关键点的坐标，并利用各人脸关键点的坐标从第一神经网络单元输出的各像素点的被遮挡概率中，获得各人脸关键点对应的被遮挡概率，本申请可以将被遮挡概率超过预定概率阈值的关键点确定为被遮挡的人脸关键点，将被遮挡概率未超过预定概率阈值的关键点确定为未被遮挡的人脸关键点。

在一个可选示例中，本申请可以根据未被遮挡的人脸关键点和/或被遮挡的人脸关键点确定出人脸的相应部位(例如，相应器官)是否处于被遮挡状态，从而针对处于被遮挡状态的部位可以不进行后续的处理操作，例如，不再针对处于被遮挡状态的部位进行变脸处理、美颜处理(例如，去皱去斑处理等)、美妆处理(例如，描眉处理等)、人脸的图像渲染处理(例如，针对眉毛的特效处理等)、人脸状态检测处理(例如，判断眼睛/嘴部的开合程度等)、表情检测处理(例如，判断眼睛/嘴部的开合程度等)以及器官精细定位处理(例如，眼睑线、上/下嘴唇内/外唇线定位等)中的至少一个。而针对处于未被遮挡状态的部位可以进行后续的处理操作，例如，针对人脸处于未被遮挡状态的相应部位进行变脸处理、美颜处理、美妆处理、人脸的图像渲染处理、人脸状态检测处理、表情检测处理以及器官精细定位处理中的至少一个。本申请不限制处理操作所包含的具体内容。

基于图3所示的神经网络，来实现人脸关键点检测的一个实施例的流程如图2所示。图2中，该实施例方法包括：步骤S200、步骤S210、步骤S220以及步骤S230。

S200、将待处理图像提供给前级神经网络单元，基于前级神经网络单元获取待处理图像的图像特征。

S210、将基于前级神经网络单元获得的图像特征，提供给第一神经网络单元，并基于第一神经网络单元获得待处理图像的各像素点的被遮挡信息。

S220、将基于前级神经网络单元获得的图像特征，提供给第二神经网络单元，并基于第二神经网络单元获得待处理图像的人脸关键点。

S230、根据待处理图像的各像素点的被遮挡信息确定待处理图像中的每一个人脸关键点是否被遮挡。

在一个可选示例中，本申请可以基于样本数据集对第一神经网络单元进行训练。本申请中的样本数据集包括：图像样本的人脸关键点的表示人脸关键点是否被遮挡的标注信息，例如，针对图像样本标注的人脸关键点的被遮挡概率，该被遮挡概率的取值通常被设置为0或者1，例如，针对图像样本中的未被遮挡的人脸关键点，可以将其被遮挡概率设置为0，针对图像样本中的被遮挡的人脸关键点，可以将其被遮挡概率设置为1。另外，在通常情况下，本申请中的样本数据集还包括：图像样本的人脸关键点标注数据，例如，人脸关键点编号以及人脸关键点坐标等。

在一个可选示例中，图像样本中的人脸关键点有时会由于两侧或者前侧的头发、眼镜、口罩或者帽子等因素而被遮挡。本申请可以利用这样的图像样本对第一神经网络单元进行训练。本申请也可以利用额外设置了遮挡物的图像样本对第一神经网络单元进行训练，例如，标注人员根据需要遮挡的人脸关键点在原始图像样本上设置遮挡物，从而形成新的图像样本，并根据被遮挡物遮挡的人脸关键点在样本数据集中，为该新的图像样本设置人脸关键点的表示人脸关键点是否被遮挡的标注信息。另外，本申请也可以在原始图像样本上随机设置遮挡物，例如，随机设置遮挡物的位置，再例如，随机选择多边形的色块等。本申请中的遮挡物可以为色块，该色块的形状可以为长方形、三角形或者圆形等，本申请不限制色块的形状、颜色以及色块上带有的图案等内容。本申请通过在图像样本中设置遮挡物，可以模仿带墨镜或者带口罩或者移动过程中的随机遮挡等具有一定遮挡的人脸，有利于提高图像样本的多样性，从而有利于提高第一神经网络单元的训练效果，例如，有利于提高第一神经网络单元对运动场景或者复杂场景等场景的适应性。

在一个可选示例中，本申请可也对图像样本进行变换处理，从而形成新的图像样本，并在样本数据集中，为该新的图像样本设置人脸关键点的表示人脸关键点是否被遮挡的标注信息。一个可选例子，本申请可以对原始图像样本进行变换处理，也可以对设置有遮挡物的图像样本进行变换处理。本申请中的变换处理可以具体为平移、旋转、缩放以及镜像处理中的一个或多个。本申请可以采用矩阵的方式对图像样本进行变换处理。在对图像样本进行变换处理后，变换处理前的图像样本的人脸关键点的表示人脸关键点是否被遮挡的标注信息也应随之发生变化(例如，利用相应的矩阵对人脸关键点的表示人脸关键点是否被遮挡的标注信息进行处理)，并将发生变化后的人脸关键点的表示人脸关键点是否被遮挡的标注信息存储在样本数据集中。

本申请通过对图像样本进行变换处理，形成新的图像样本，不仅有利于增加图像样本的数量，还有利于提高图像样本的多样性，从而有利于提高第一神经网络单元的训练效果，例如，有利于提高第一神经网络单元对运动场景或者复杂场景等场景的适应性。

本申请的神经网络的训练方法的流程如图4所示。图4所示的训练方法主要包括：步骤S400、S410以及S420。下面对训练方法中的各个步骤分别进行说明。

S400、获取图像样本的图像特征。

在一个可选示例中，本申请可以从样本数据集中获取带有标注信息的图像样本，并基于前级神经网络单元获取图像样本的图像特征，例如，将图像样本作为输入，提供给前级神经网络单元，由该前级神经网络单元对该图像样本进行人脸检测，形成人脸外接框，并进一步基于该人脸外接框形成该图像样本的图像特征，从而本申请可以根据该前级神经网络单元的输出信息获得图像样本的图像特征。

在一个可选示例中，图像样本的标注信息可以包括：表示人脸关键点是否被遮挡的标注信息；该图像样本的标注信息还可以包括：图像样本的人脸关键点标注数据。本申请中的图像样本可以为设置有遮挡物的图像样本。形成设置有遮挡物(如色块)的图像样本及其标注信息的实现方式、通过变换处理形成新的图像样本及其标注信息的实现方式可以参见上述方法实施方式中的相关描述，在此不再重复说明。

S410、将图像特征提供给待训练的第一神经网络单元，基于待训练的第一神经网络单元，获得图像样本的像素点的被遮挡信息。

在一个可选示例中，待训练的第一神经网络单元可以根据图像样本的图像特征确定出图像样本中的所有像素点的被遮挡概率，该被遮挡概率的取值范围通常为0-1之间。另外，图像样本中的像素点的被遮挡信息也可以具体为被遮挡或者未被遮挡等。本申请不限制图像样本中的像素点的被遮挡信息的具体表现形式。

S420、基于上述获得的像素点的被遮挡信息和图像样本的标注信息，对待训练的第一神经网络单元进行监督学习。

在一个可选示例中，本申请可以以图像样本的标注信息为指导信息，对待训练的第一神经网络单元进行监督学习，以减小基于待训练的第一神经网络单元获得的图像样本的像素点的被遮挡信息与图像样本的表示人脸关键点是否被遮挡的标注信息之间的差异。

在一个可选示例中，本申请的监督学习过程可以采用softmax损失函数等。通过利用损失函数对第一神经网络单元输出的图像样本中的位于人脸关键点位置处的像素点的被遮挡信息以及图像样本的标注信息进行计算，可以形成第一神经网络单元的一反向传播过程。在反向传播过程中，本申请实施方式可以采用随机梯度下降法等方式，调整待训练的第一神经网络单元中的网络参数(例如，卷积核的权重等)，以便于使第一神经网络单元输出的图像样本中的位于人脸关键点位置处的像素点的被遮挡概率尽量接近于1，而使第一神经网络单元输出的图像样本中的位于非人脸关键点位置处的像素点的被遮挡概率尽量接近于0。在待训练的第一神经网络单元训练的迭代次数达到预定次数或者待训练的第一神经网络单元输出的被遮挡信息与图像样本的表示人脸关键点是否被遮挡的标注信息之间的差异，已经达到预定要求的情况下，该待训练的第一神经网络单元的训练过程结束。如果训练结束后的第一神经网络单元所输出的被遮挡信息与图像样本的表示人脸关键点是否被遮挡的标注信息之间的差异达到预定差异要求，则第一神经网络单元训练成功。

在一个可选示例中，本申请在训练第一神经网络单元的过程中，通常应保持前级神经网络单元和第二神经网络单元中的参数不发生变化。

在一个可选示例中，本申请基于样本数据集对第一神经网络单元进行训练的一个可选例子如图5所示。图5所示的训练过程包括如下步骤：

S500、开始本申请的对第一神经网络单元的训练过程。

S510、从样本数据集中获取至少一图像样本，并将获取到的图像样本提供给前级神经网络单元。

S520、经由前级神经网络单元提取该图像样本的图像特征，前级神经网络单元输出的图像特征被分别提供给第一神经网络单元以及第二神经网络单元。

S530、经由第一神经网络单元，获得相应图像样本中的各像素点的被遮挡概率。

S540、经由第二神经网络单元，获得相应图像样本中的各人脸关键点。

S550、根据第一神经网络单元输出的图像样本的各像素点的被遮挡概率以及第二神经网络单元输出的图像样本的各人脸关键点，确定相应图像样本的各人脸关键点的被遮挡概率。

S560、基于softmax损失函数，根据上述确定出的相应图像样本的各人脸关键点的被遮挡概率以及针对图像样本标注的人脸关键点的被遮挡概率对第一神经网络单元进行监督学习，例如，调整第一神经网络单元中的卷积层以及全连接层的参数等；以便于使第一神经网络单元输出的相应图像样本中的位于人脸关键点位置处的各像素点的被遮挡概率尽量接近于1，使第一神经网络单元输出的相应图像样本中的位于非人脸关键点位置处的各像素点的被遮挡概率尽量接近于0。

S570、判断第一神经网络是否符合预定收敛条件，如果符合预定收敛条件，则到步骤S580，否则，返回到步骤S510。本实施方式中的预定收敛条件可以为迭代次数已经达到预定迭代次数、样本数据集不存在未被读取的图像样本或者第一神经网络单元输出的图像样本的各像素点的被遮挡概率与图像样本的标注信息的差异符合预定差异要求等。

S580、本次训练过程结束。

由上述描述可知，本申请是在保持已成功训练的前级神经网络单元以及第二神经网络单元的参数不发生变化的情况下，基于样本数据集对第一神经网络单元进行训练。由于前级神经网络单元以及第二神经网络单元可以利用现有的用于提取关键点的神经网络来实现，因此，本申请可以利用现有的已完成训练的神经网络，避免了对整个神经网络进行训练而导致的训练难度大以及训练时间长等问题。

图6为本申请人脸关键点检测装置一个实施例的结构示意图。如图6所示，该实施例的装置主要包括：获取图像特征模块600、获取被遮挡信息模块610以及判断遮挡模块620。可选的，该实施例的装置还可以包括：获取关键点模块630、处理模块640以及神经网络的训练装置650。

获取图像特征模块600用于获取待处理图像的图像特征。获取图像特征模块600所执行的具体操作，可以参见上述方法实施方式的S100中的相关描述，在此不再重复说明。

获取被遮挡信息模块610用于将获取图像特征模块600获取到的图像特征提供给第一神经网络单元，基于第一神经网络单元获得待处理图像的像素点的被遮挡信息。获取被遮挡信息模块610所执行的具体操作，可以参见上述方法实施方式的S110中的相关描述，在此不再重复说明。

判断遮挡模块620用于根据获取被遮挡信息模块610获得的像素点的被遮挡信息确定待处理图像中的人脸关键点是否被遮挡。判断遮挡模块620所执行的具体操作，可以参见上述方法实施方式的S120中的相关描述，在此不再重复说明。

获取关键点模块630用于将获取图像特征模块600获取到的图像特征提供给第二神经网络单元，经由第二神经网络单元从待处理图像中提取人脸关键点。判断遮挡模块620可以根据获取关键点模块630提取出的人脸关键点以及获取被遮挡信息模块610获得的像素点的被遮挡信息确定待处理图像中的人脸关键点是否被遮挡。获取关键点模块630所执行的具体操作，可以参见上述方法实施方式中的与第二神经网络单元相关的描述，在此不再重复说明。

处理模块640用于在根据被遮挡的人脸关键点确定出人脸中的相应部位处于被遮挡状态的情况下，针对该部位不进行处理；例如，不进行变脸处理、美颜处理、美妆处理、人脸的图像渲染处理、人脸状态检测处理、表情检测处理或者器官精细定位处理等。

神经网络的训练装置650用于基于样本数据集训练第一神经网络单元；其中的样本数据集包括：表示人脸关键点是否被遮挡的标注信息。神经网络的训练装置650所执行的具体操作可以参见上述方法实施方式中针对图4和图5的描述。另外，神经网络的训练装置650的具体结构可以参见下述针对图7的描述。在此不再重复说明。

图7为本申请神经网络的训练装置一个实施例的结构示意图。如图7所示，该实施例的装置主要包括：获取样本特征模块700、获取样本遮挡信息模块710以及监督模块720。可选的，该实施例的装置还可以包括：设置遮挡物模块730以及变换处理模块740。

获取样本特征模块700用于获取图像样本的图像特征。该图像样本的标注信息包括：表示人脸关键点是否被遮挡的标注信息。

获取样本遮挡信息模块710用于将图像特征提供给待训练的第一神经网络单元，基于待训练的第一神经网络单元，获得图像样本的像素点的被遮挡信息。

监督模块720用于基于获取样本遮挡信息模块710获得的像素点的被遮挡信息和所述图像样本的标注信息，对待训练的第一神经网络单元进行监督学习；即本申请可以以图像样本的标注信息为指导信息，对待训练的第一神经网络单元进行监督学习，以减小基于待训练的第一神经网络单元获得的图像样本的像素点的被遮挡信息与图像样本的表示人脸关键点是否被遮挡的标注信息之间的差异。

设置遮挡物模块730用于在图像样本上设置遮挡物，并在样本数据集中设置被遮挡物遮挡的人脸关键点的表示人脸关键点是否被遮挡的标注信息。

变换处理模块740用于对图像样本进行变换处理，形成新的图像样本，例如，对图像样本进行平移、旋转、缩放以及镜像处理中的一个或多个等变换处理。变换处理模块740还应为该新的图像样本设置人脸关键点的表示人脸关键点是否被遮挡的标注信息。

一个可选例子，变换处理模块740可以对原始图像样本进行变换处理，也可以对设置有遮挡物的图像样本进行变换处理，变换处理模块740可以采用矩阵的方式针对图像样本进行的变换处理，且变换处理模块740还应针对变换处理后的图像样本，设置相应的标注信息，如表示人脸关键点是否被遮挡的标注信息以及人脸关键点标注信息等。

示例性设备

图8示出了适于实现本申请的示例性设备800，设备800可以是汽车中配置的控制系统/电子系统、移动终端(例如，智能移动电话等)、个人计算机(PC，例如，台式计算机或者笔记型计算机等)、平板电脑以及服务器等。图8中，设备800包括一个或者多个处理器、通信部等，所述一个或者多个处理器可以为：一个或者多个中央处理单元(CPU)801，和/或，一个或者多个利用神经网络进行人脸关键点检测的图像处理器(GPU)813等，处理器可以根据存储在只读存储器(ROM)802中的可执行指令或者从存储部分808加载到随机访问存储器(RAM)803中的可执行指令而执行各种适当的动作和处理。通信部812可以包括但不限于网卡，所述网卡可以包括但不限于IB(Infiniband)网卡。处理器可与只读存储器802和/或随机访问存储器830中通信以执行可执行指令，通过总线804与通信部812相连、并经通信部812与其他目标设备通信，从而完成本申请中的相应步骤。

上述各指令所执行的操作可以参见上述方法实施例中的相关描述，在此不再详细说明。

此外，在RAM 803中，还可以存储有装置操作所需的各种程序以及数据。CPU801、ROM802以及RAM803通过总线804彼此相连。在有RAM803的情况下，ROM802为可选模块。RAM803存储可执行指令，或在运行时向ROM802中写入可执行指令，可执行指令使中央处理单元801执行上述物体分割方法所包括的步骤。输入/输出(I/O)接口805也连接至总线804。通信部812可以集成设置，也可以设置为具有多个子模块(例如，多个IB网卡)，并分别与总线连接。

以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装在存储部分808中。

需要特别说明的是，如图8所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图8的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如，GPU和CPU可分离设置，再如理，可将GPU集成在CPU上，通信部可分离设置，也可集成设置在CPU或GPU上等。这些可替换的实施方式均落入本申请的保护范围。

特别地，根据本申请的实施方式，下文参考流程图描述的过程可以被实现为计算机软件程序，例如，本申请实施方式包括一种计算机程序产品，其包含有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的步骤的程序代码，程序代码可包括对应执行本申请提供的方法中的步骤对应的指令。

在这样的实施方式中，该计算机程序可以通过通信部分809从网络上被下载及安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时，执行本申请中记载的实现上述相应步骤的指令。

在一个或多个可选实施方式中，本公开实施例还提供了一种计算机程序程序产品，用于存储计算机可读指令，所述指令被执行时使得计算机执行上述任意实施例中所述的人脸关键点检测方法或者神经网络的训练方法。

该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选例子中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选例子中，所述计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

在一个或多个可选实施方式中，本公开实施例还提供了另一种人脸关键点检测方法和神经网络的训练方法及其对应的装置和电子设备、计算机存储介质、计算机程序以及计算机程序产品，其中，该方法包括：第一装置向第二装置发送人脸关键点检测至少或者训练神经网络指示，该指示使得第二装置执行上述任一可能的实施例中的人脸关键点检测方法或者训练神经网络方法；第一装置接收第二装置发送的人脸关键点检测结果或者神经网络训练结果。

在一些实施例中，该人脸关键点检测指示或者训练神经网络指示可以具体为调用指令，第一装置可以通过调用的方式指示第二装置执行人脸关键点检测操作或者训练神经网络操作，相应地，响应于接收到调用指令，第二装置可以执行上述人脸关键点检测方法或者训练神经网络的方法中的任意实施例中的步骤和/或流程。

应理解，本公开实施例中的“第一”、“第二”等术语仅仅是为了区分，而不应理解成对本公开实施例的限定。

还应理解，在本公开中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。

还应理解，对于本公开中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。

还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。

可能以许多方式来实现本申请的方法和装置、电子设备以及计算机可读存储介质。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本申请的方法和装置、电子设备以及计算机可读存储介质。用于方法的步骤的上述顺序仅是为了进行说明，本申请的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施方式中，还可将本申请实施为记录在记录介质中的程序，这些程序包括用于实现根据本申请的方法的机器可读指令。因而，本申请还覆盖存储用于执行根据本申请的方法的程序的记录介质。

本申请的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本申请限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言，是显然的。选择和描述实施方式是为了更好说明本申请的原理以及实际应用，并且使本领域的普通技术人员能够理解本申请实施例可以从而设计适于特定用途的带有各种修改的各种实施方式。

Claims (10)

1.一种人脸关键点检测方法，其特征在于，所述方法包括：

获取待处理图像的图像特征；

将所述图像特征提供给第一神经网络单元，基于所述第一神经网络单元获得所述待处理图像的像素点的被遮挡信息；

根据所述像素点的被遮挡信息确定所述待处理图像中的人脸关键点是否被遮挡。

2.根据权利要求1所述的方法，其特征在于，所述获取待处理图像的图像特征包括：

将待处理图像提供给前级神经网络单元，经由所述前级神经网络单元获得所述待处理图像的图像特征。

3.根据权利要求1至2中任一项所述的方法，其特征在于，所述方法还包括：

将所述图像特征提供给第二神经网络单元，经由所述第二神经网络单元提取所述待处理图像中的人脸关键点；

其中，所述提取出的人脸关键点用于与所述像素点的被遮挡信息一起确定所述待处理图像中的人脸关键点是否被遮挡。

4.一种神经网络的训练方法，其特征在于，所述神经网络包括：第一神经网络单元，所述方法包括下述步骤：

获取图像样本的图像特征，其中，所述图像样本的标注信息包括：表示人脸关键点是否被遮挡的标注信息；

将所述图像特征提供给待训练的第一神经网络单元，基于所述待训练的第一神经网络单元，获得所述图像样本的像素点的被遮挡信息；

基于所述像素点的被遮挡信息和所述图像样本的标注信息，对所述待训练的第一神经网络单元进行监督学习。

5.一种人脸关键点检测装置，其特征在于，包括：

获取图像特征模块，用于获取待处理图像的图像特征；

获取被遮挡信息模块，用于将所述图像特征提供给第一神经网络单元，基于所述第一神经网络单元获得所述待处理图像的像素点的被遮挡信息；

判断遮挡模块，用于根据所述像素点的被遮挡信息确定所述待处理图像中的人脸关键点是否被遮挡。

6.一种神经网络的训练装置，其特征在于，所述神经网络包括：第一神经网络单元，所述装置包括：

获取样本特征模块，用于获取图像样本的图像特征，其中，所述图像样本的标注信息包括：表示人脸关键点是否被遮挡的标注信息；

获取样本遮挡信息模块，用于将所述图像特征提供给待训练的第一神经网络单元，基于所述待训练的第一神经网络单元，获得所述图像样本的像素点的被遮挡信息；

监督模块，用于基于所述像素点的被遮挡信息和所述图像样本的标注信息，对所述待训练的第一神经网络单元进行监督学习。

7.一种用于人脸关键点检测的神经网络，所述神经网络包括：

前级神经网络单元，用于获取待处理图像的图像特征；

第一神经网络单元，用于根据所述图像特征获取所述待处理图像的像素点的被遮挡信息；

第二神经网络单元，用于根据所述图像特征提取所述待处理图像中的人脸关键点；

其中，所述像素点的被遮挡信息和人脸关键点用于确定所述待处理图像中的人脸关键点是否被遮挡。

8.一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述权利要求1-4中任一项所述的方法。

9.一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述权利要求1-4中任一项所述的方法。

10.一种计算机程序，包括计算机指令，当所述计算机指令在设备的处理器中运行时，实现上述权利要求1-4中任一项所述的方法。