CN109635752B - 人脸关键点的定位方法、人脸图像处理方法和相关装置 - Google Patents

Abstract

本发明公开了一种人脸关键点的定位方法、人脸图像处理方法和相关装置，属于图像处理技术领域，本发明提供的方法中，根据获取到的人脸图像和训练得到的人脸配准模型，确定人脸的关键点的位置信息及各个关键点是否可见的结果；分别确定人脸的各个特征部位中可见的关键点的数量；针对每一特征部位，若该特征部位中可见的关键点的数量大于预设数量阈值，则提取仅包含该特征部位的特征部位图像；根据该特征部位的特征部位图像和该特征部位对应的特征部位配准模型，修正该特征部位的关键点的位置信息；基于修正的各个特征部位的关键点的位置信息，更新基于人脸配准模型确定出的人脸的关键点的位置信息。大大提高了定位出的关键点的位置信息的准确性。

Description

人脸关键点的定位方法、人脸图像处理方法和相关装置

本申请要求在2018年12月12日提交中国专利局、申请号为201811516620.5、发明名称为“人脸关键点的定位方法、人脸图像处理方法和相关装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种人脸关键点的定位方法、人脸图像处理方法和相关装置。

背景技术

随着自拍、短视频的流行，用户对自动美颜、自动化妆、自动加挂件等功能的需求不断提升，人脸配准作为实现这些功能的基础也取得了更加广泛的应用。而人脸配准是指在一幅人脸图像中自动定位出人脸各个器官的准确位置以及人脸的外轮廓，为进一步地人脸图像的处理与分析提供重要的形状信息，是人脸识别、人脸验证、人脸动画及人脸姿态表情分析等领域的关键技术之一。

现有技术中采用的人脸配准方法大致过程为：先检测图片中的人脸，然后直接利用深度卷积神经网络(Convolutional Neural Network，CNN)直接回归人脸的关键点坐标，参考图1所示。

现有技术提供的方法存在下述问题，人脸关键点定位精度较低，影响候选自动美颜、上妆、加挂件等功能的准确性，另外，现有技术无法确定定位出的关键点的可见性，对自动化妆等功能造成影响，例如，图1中左眼明显被头发遮挡，构成左眼的关键点明显不可见，如果按照现有的方案识别出的关键点，则由于无法确定关键点是否可见，故在自动化妆时仍然会给左眼上妆(眼影和美瞳等)，从而造成在头发上面出现妆容，影响用户体验。

因此，如何提高定位出的人脸的关键点的准确性以及确定定位出的关键点是否可见是首要考虑的问题之一。

发明内容

本发明实施例提供一种人脸关键点的定位方法、人脸图像处理方法和相关装置，用以提高定位出的人脸的关键点的准确性以及确定定位出的关键点的可见性。

一方面，本发明实施例提供一种人脸关键点的定位方法，包括：

获取人脸图像，并根据所述人脸图像和训练得到的人脸配准模型，确定人脸的关键点的位置信息及各个关键点是否可见的结果；

分别确定人脸的各个特征部位中可见的关键点的数量；

针对每一特征部位，若该特征部位中可见的关键点的数量大于预设数量阈值，则提取仅包含该特征部位的特征部位图像；

根据该特征部位的特征部位图像和该特征部位对应的特征部位配准模型，修正该特征部位的关键点的位置信息；

基于修正的各个特征部位的关键点的位置信息，更新基于人脸配准模型确定出的人脸的关键点的位置信息。

采用上述方法，大大提高了定位出人脸的关键点的位置信息的准确性。

另一方面，本发明实施例提供一种人脸图像处理方法，包括：

采用本发明实施例提供的人脸关键点的定位方法，从人脸图像中定位人脸的关键点的位置信息和确定关键点是否可见的结果；

基于定位出的关键点的位置信息和关键点是否可见的结果，对人脸图像进行处理。

采用上述方法，有效解决了现有技术中因不知道关键点是否可见而导致的在不可见的关键点上添加特效所造成的用户体验效果不佳的问题。

再一方面，本发明实施例提供一种人脸关键点的定位装置，包括：

第一确定单元，用于获取人脸图像，并根据所述人脸图像和训练得到的人脸配准模型，确定人脸的关键点的位置信息及各个关键点是否可见的结果；

第二确定单元，用于确定人脸的各个特征部位中可见的关键点的数量；

提取单元，用于针对每一特征部位，若该特征部位中可见的关键点的数量大于预设数量阈值，则提取仅包含该特征部位的特征部位图像；

修正单元，用于根据该特征部位的特征部位图像和该特征部位对应的特征部位配准模型，修正该特征部位的关键点的位置信息；

更新单元，用于基于修正的各个特征部位的关键点的位置信息，更新基于人脸配准模型确定出的人脸的关键点的位置信息。

再一方面，本发明实施例提供一种人脸图像处理装置，包括：

人脸关键点的定位装置，用于采用本发明实施例提供的人脸关键点的定位方法，从人脸图像中定位人脸的关键点的位置信息和确定关键点是否可见的结果；

处理单元，用于基于定位出的关键点的位置信息和关键点是否可见的结果，对人脸图像进行处理。

再一方面，本发明实施例提供一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请提供的人脸关键点的定位方法，和/或执行本申请提供的人脸图像处理方法。

本发明有益效果：

本发明实施例提供的人脸关键点的定位方法、人脸图像处理方法和相关装置，利用人脸配准模型进行人脸关键点的粗定位，得到人脸的关键点的位置信息和各个关键点是否可见的结果，然后针对每一特征部位，确定构成该特征部位的关键点中可见的关键点的数量，在确定出可见的关键点的数量大于预设数量阈值时，提取出仅包含该特征部位的特征部位图像，并基于特征部位配准模型对提取出的特征部位图像进行关键点的精确定位，准确地确定出构成该特征部位的关键点的位置信息，然后基于各个特征部位配准模型确定出的关键点的位置信息更新基于人脸配准模型确定出的人脸的关键点的位置信息，从而提高了最终得到的人脸的关键点的位置信息的准确度；此外，本发明基于人脸配准模型确定出了人脸的各个关键点是否可见的结果，故基于各个关键点的位置信息及各个关键点是否可见的结果，在对人脸图像进行处理时，可以只对可见的关键点进行处理，这样就不会出现处理后的人脸图像效果不佳的情况发生。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为现有技术提供的人脸关键点的定位方法的执行逻辑示意图；

图2为本发明实施例提供的ResNet的残差模块的原理示意图；

图3为本发明实施例提供的人脸关键点的定位方法的应用场景示意图；

图4为本发明实施例提供的人脸关键点的定位方法的流程示意图；

图5a为本发明实施例提供的确定人脸的关键点的位置信息及关键点是否可见的结果的流程示意图；

图5b为本发明实施例提供的对人脸图像进行人脸检测的效果示意图；

图5c为本发明实施例提供的人脸区域图像和人脸配准模型获得人脸的关键点的位置信息及关键点是否可见的结果的执行逻辑示意图；

图5d为本发明实施例提供的ResNet网络结构中残差模块(block)的结构示意图；

图6为本发明实施例提供的修正该特征部位的关键点的位置信息的执行逻辑示意图；

图7为本发明实施例提供的训练人脸配准模型的流程示意图之一；

图8为本发明实施例提供的训练人脸配准模型的流程示意图之二；

图9为本发明实施例提供的训练特征部位配准模型的流程示意图之一；

图10为本发明实施例提供的训练特征部位配准模型的流程示意图之二；

图11为本发明实施例提供的人脸关键点的定位装置110的结构示意图；

图12为本发明实施例提供的人脸图像处理装置的结构示意图；

图13为本发明实施例提供的实施人脸关键点的定位方法的计算装置的结构示意图。

具体实施方式

本发明实施例提供的人脸关键点的定位方法、人脸图像处理方法和相关装置，用以提高定位出的人脸的关键点的准确性以及确定定位出的关键点的可见性。

以下结合说明书附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明，并且在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

为了便于理解本发明，本发明涉及的技术术语中：

1、残差神经网络，(Residual Neural Network，ResNet)，ResNet的结构可以极快的加速神经网络的训练，模型的准确率也有比较大的提升，图2为ResNet的残差模块，基于该图可以看出，ResNet网络结构通过直接将输入信息绕道传到输出，保护信息的完整性，整个网络只需要学习输入、输出差别的那一部分，简化学习目标和难度。

2、ImageNet项目是一个用于视觉对象识别软件研究的大型可视化数据库，本发明利用ImageNet数据集对ResNet网络进行训练。

3、用户设备，为可以安装各类客户端，并且能够将已安装的客户端中提供的对象进行显示的电子设备，该电子设备可以是移动的，也可以是固定的。例如，手机、平板电脑、各类可穿戴设备、车载设备、个人数字助理(personal digital assistant，PDA)、销售终端(point of sales，POS)或其它能够实现上述功能的电子设备等。

4、客户端，为可以完成某项或多项特定工作的计算机程序，它具有可视的显示界面，能与用户进行交互，比如电子地图和微信等都可以称为客户端。

为了解决现有技术中人脸关键点的定位方法存在定位出的关键点的位置信息准确度较低且无法确定定位出关键点是否可见的问题，本发明实施例给出了解决方案，参考图3所示的应用场景示意图，用户设备11中安装有人脸图像处理客户端，当用户10基于该人脸图像处理客户端获取一张人脸图像后，用户10欲在该人脸图像上添加特效(如自动美颜、自动化妆、自动加挂件)时，客户端可以将该人脸图像发送给服务器12，由服务器12在获取到人脸图像后，根据该人脸图像和训练得到的人脸配准模型，确定人脸的关键点的位置信息及各个关键点是否可见的结果；然后分别确定人脸的各个特征部位中可见的关键点的数量，针对每一特征部位，若确定出该特征部位中可见的关键点的数量大于预设数量阈值，则提取仅包含该特征部位的特征部位图像，然后基于该特征部位提出的特征部位图像和该特征部位对应的特征部位配准模型，修正该特征部位的关键点的位置信息；然后基于修正的各个特征部位的关键点的位置信息，更新基于人脸配准模型确定出的人脸的关键点的位置信息，基于上述方法，服务器12不仅可以准确地确定出人脸图像中人脸的关键点的位置信息，而且还可以确定出定位出的关键点是否可见的结果，这样一来，服务器12在对人脸图像进行添加特效时，仅对可见的关键点的位置信息添加特效，从而也就不会出现现有技术中因无法确定定位出的关键点是否可见的结果而导致的在定位出的所有关键点上添加特效而导致的用户体验效果不佳的情况。

需要说明的是，用户设备11与服务器12之间通过网络进行通信连接，该网络可以为局域网、广域网等。用户设备11可以为便携设备(例如：手机、平板、笔记本电脑等)，也可以为个人电脑(PC，PersonalComputer)，服务器12可以为任何能够提供互联网服务的设备，用户设备11中的客户端可以为人脸图像处理客户端，例如，美颜相机客户端和微视客户端等等。

需要说明的是，本发明实施例提供的人脸的关键点的定位方法还可以在用户设备上实施，即：由用户10的智能手机来实施人脸图像的定位方法，再基于本发明提供的方法定位出人脸的关键点的位置信息和关键点是否可见的结果后，仅对可见的关键点进行处理。

本发明实施例提供的人脸关键点的定位方法的应用场景为，以在人脸图像上自动美颜，人脸的特征部位包括左眼眉、右眼眉、鼻子和嘴巴为例进行说明，当用户10基于美颜客户端拍摄或提取出一张人脸图像后，用户10可以点击自动美颜功能以触发自动美颜指令，美颜客户端在接收到该指令后，将上述人脸图像和自动美颜指令发送给服务器12，由服务器在接收到该人脸图像后，首先将上述人脸图像输入到训练得到的人脸配准模型中，基于该人脸配准模型可以输出人脸图像中的关键点的位置信息和输出定位出的关键点是否可见的结果，然后基于各个关键点是否可见的结果，分别确定人脸中左眼眉、右眼眉、鼻子和嘴巴中可见的关键点的数量，进而可以针对鼻子，可以确定出构成鼻子的关键点中可见的关键点的数量是否大于预设数量阈值，若大于则提取出仅包含鼻子的鼻子图像，然后将提取的鼻子图像输入到鼻子配准模型中，该鼻子配准模型可以输出修正后的构成鼻子的关键点的位置信息，相应地，左眼眉、右眼眉、嘴巴的处理过程与鼻子类似，最终可以确定出修正的各个特征部位的关键点的位置信息，然后利用修正的各个特征部位的关键点的位置信息更新基于人脸配准模型确定出的人脸的关键点的位置信息。

服务器12在获得更新后的人脸的关键点的位置信息和关键点是否可见的结果后，仅对可见的关键点的位置信息处进行美颜处理，不可见的关键点不做任何处理，然后将美颜后的人脸图像发送给美颜客户端展示给用户10，这样一来，不仅可以节省自动美颜的处理时间，而且不影响美颜后的人脸图像的效果，提高用户体验。

下面结合图3和上述描述的应用场景，参考图4-图13来描述根据本发明示例性实施方式提供的人脸关键点的定位方法。需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。

如图4所示，为本发明实施例提供的人脸关键点的定位方法的流程示意图，以将该方法应用到服务器中为例进行说明，服务器实施的人脸关键点的定位方法可以包括以下步骤：

S41、获取人脸图像，并根据所述人脸图像和训练得到的人脸配准模型，确定人脸的关键点的位置信息及各个关键点是否可见的结果。

具体地，当用户利用用户设备中的图像处理客户端拍摄一张人脸图像后，欲对该人脸图像进行处理，则图像处理客户端可以将上述人脸图像和处理指示发送给服务器，由服务器在获取到人脸图像后，先基于获取到人脸图像定位出人脸的关键点的位置信息，即：将人脸图像输入到训练得到的人脸配准模型中，该人脸配准模型输出结果包括人脸的关键点的位置信息和各个关键点是否可见的结果。

具体地，本发明中的人脸配准模型包括两个全连接层，一个全连接层用于输出人脸的关键点的位置信息，另一个全连接层用于输出定位出的人脸的关键点是否可见的结果。需要说明的是，人脸配准模型中人脸的关键点的数量是预先设定好的，且人脸特征部位中关键点的数量也是预先设定好的，也就是说将任何一张人脸图像输入到人脸配准模型中，输出的人脸的关键点的数量是相同的，只是输出的关键点的位置信息不同和关键点是否可见的结果不同。

具体地，以人脸的关键点的数量为N为例进行说明，则输出的人脸的关键点的位置信息为关键点在人脸图像对应的像素点的坐标，若人脸图像为二维图像，则人脸配准模型中用于确定人脸关键点的位置信息的全连接层输出N个二维的位置信息，另一个全连接层输出N个关键点是否可见的结果，如输出1表示可见，输出0表示该关键点不可见。

本发明中的可见的关键点可以理解为，该关键点没有被遮挡，如图1中左眼眉被头发遮挡，则构成左眼眉的关键点为不可见关键点，右眼眉没有被遮挡，则构成右眼眉的关键点为可见的关键点。

较佳地，可以按照图5a所示的流程实施步骤S41，包括以下步骤：

S51、从人脸图像中检测出仅包含人脸的人脸区域图像。

本步骤中，可以利用人脸检测技术从人脸图像中检测出仅包含人脸的人脸区域图像，即从图5b中第一张人脸图像确定人脸坐标框，然后基于该人脸坐标框从第一张人脸图像中提取出图5b中第二张图像，即人脸区域图像。

具体地，可以利用人脸检测技术确定人脸的顶点坐标(若图5b中四方框左上角顶点坐标)，然后确定出图像中人脸的长和宽(x,y,length,width；顶点横坐标，顶点纵坐标，人脸长度，人脸宽度)，基于此可以从人脸图像中确定出人脸区域图像。

S52、对人脸区域图像进行归一化处理。

本步骤中，为了匹配人脸配准模型的输入需求，本发明中的人脸配准模型的输入图像的大小为112*112，而提取出的人脸区域图像规格可能与人脸配准模型的输入要求不匹配，故需要将人脸区域图像进行归一化处理。

S53、将归一化处理后的图像输入到所述人脸配准模型中，由所述人脸配准模型的两个全连接层分别输出人脸的关键点的位置信息和各个关键点是否可见的结果。

本步骤中，将归一化处理后的图像输入到人脸配准模型中，参考图5c所示，该人脸配准模型的两个全连接层分别输出人脸的关键点的位置信息和各个关键点是否可见的结果，图5c中给出了53个关键点的位置信息，其中，左眼眉和右眼眉均包括12个关键点，鼻子包括9个关键点，嘴巴包括20个关键点。为了方便理解，本发明将确定出的关键点的位置信息标注到人脸区域图像中，如图5c中左眼眉的关键点为不可见的关键点，右眼眉、鼻子和嘴巴的关键点为可见的关键点。

具体实施时，本发明中的人脸配准模型可以为残差神经网络ResNet模型，本发明中该模型实质上是基于多任务卷积神经网络(CNN)。以本发明中ResNet模型为ResNet-18模型为例进行说明，ResNet-18模型包括卷积层Conv_1、Conv2_x、Conv3_x、Conv4_x和Conv5_x和全连接层共18个层，其中，本发明中ResNet-18的参数可以参考表1所示，表1中的maxpool为池化层，其中，Conv3_x、Conv4_x和Conv5_x的第一层的步长stride均为2，每个卷积层之后都连接有激活层ReLU和正则化层Batech Normalization，表1中Conv2_x、Conv3_x、Conv4_x和Conv5_x均包括2个残差模块(X2blocks)，每个残差模块(block)的结构如图5d所示，为了实现本发明中人脸配准模型的多任务，卷积层Conv5_x的最后一层分别连接2个独立的全连接层(即本发明中2个多任务分支)，这两个全连接层分别输出人脸关键点的位置信息和关键点是否可见的结果。

表1

S42、分别确定人脸的各个特征部位中可见的关键点的数量。

需要说明的是，本发明中的人脸配准模型输出的人脸的关键点的位置信息为关键点在人脸图像中的大致位置，故为了更加准确地定位出人脸的关键点的位置信息，本发明提出实施步骤S42～S45的流程。

本步骤中，在基于人脸区域图像确定出人脸的关键点的位置信息后，可以基于人脸的五官位置关系，确定出人脸各个特征部位的关键点，例如，可以分别确定出构成左眼眉的关键点、构成右眼眉的关键点、构成鼻子的关键点和构成嘴巴的关键点。参考图5c所示，构成鼻子的关键点中可见的关键点的数量为9个。

需要说明的是，上述左眼眉包括左眼睛和左眉毛，以及右眼眉包括右眼睛和右眉毛。本发明可以将这两个部位当成一个特征部位，也可以将这两个部位当成两个独立的特征部位。

以右眼眉为一个特征部位为例进行说明，则可以基于人脸配准模型确定出的人脸的各个关键点是否可见的结果，确定出构成该右眼眉特征部位的所有关键点中可见的关键点的数量，参考图5c所示，构成右眼眉的关键点全部可见，可见的关键点的数量为12。

当将右眉毛、右眼角当成两个特征部位时，则基于人脸配准模型确定出的关键点的位置信息，可以确定出构成右眉毛的关键点的位置信息和构成右眉毛的关键点是否可见的结果，然后基于构成右眉毛的关键点是否可见的结果确定出构成右眉毛的关键点中可见的关键点的数量；同理，可以确定出构成右眼睛的关键点中可见的关键点的数量。参考图5c可知，右眉毛和右眼睛均没有被遮挡，关键点全部可见，可以得出构成右眉毛的关键点中可见的关键点的数量为6，构成右眼睛的关键点中可见的关键点的数量为6。

而图5c中左眉眼几乎全部被头发遮挡，故可见的关键点的数量是非常少的。

S43、针对每一特征部位，若该特征部位中可见的关键点的数量大于预设数量阈值，则提取仅包含该特征部位的特征部位图像。

可选地，本发明中各个特征部位可以对应一个预设数量阈值，但由于每个特征部位中关键点的数量可能是不相同的，故可以为每一特征部位设置一个预设数量阈值，具体可以根据实际情况而定。为了描述方便，以每一特征部位具有一个预设数量阈值为例进行说明。

本步骤中，以人脸的特征部位包括左眼眉、右眼眉、鼻子和嘴巴共4个特征部位为例进行说明，则基于步骤S42可以分别确定出这4个特征部位中可见的关键点的数量，然后针对左眉眼，可以判断左眼眉中可见的关键点的数量是否大于左眼眉对应的预设数量阈值，从图5c可以得出左眼眉几乎被头发全部遮挡，故可以确定出左眼眉中可见的关键点的数量小于左眼眉对应的预设数量阈值，则不对左眼眉的关键点做任何处理，可以得出右眼眉、鼻子和嘴巴中的关键点几乎全部可见，而各个特征部位的预设数量阈值显然会小于特征部位的关键点的数量，故可以得出右眼眉、鼻子和嘴巴中可见的关键点的数量均大于各自的预设数量阈值，则从人脸区域图像中提取出仅包含右眼眉的右眼眉图像，提取出仅包含鼻子的鼻子图像，以及提取出仅包含嘴巴的嘴巴图像，参考图6所示。

S44、根据该特征部位的特征部位图像和该特征部位对应的特征部位配准模型，修正该特征部位的关键点的位置信息。

本步骤中，为了匹配特征部位配准模型的输入需求，本发明中的特征部位配准模型的输入图像的大小为64*64，而提取出的特征部位图像一般都比64*64大，故需要对提取出的特征部位图像进行归一化处理，使得归一化处理后的特征部位图像的大小为64*64。以特征部位为嘴巴为例进行说明，在将嘴巴图像归一化处理后，将处理后的嘴巴图像输入到训练好的嘴巴配准模型中，该嘴巴模型可以更准确地的输出嘴巴的关键点的位置信息；同理可以得到更加准确的鼻子和右眼眉的关键点的位置信息，即可以得出图6中嘴巴的20个关键点的位置信息，鼻子的9个关键点的位置信息和右眼眉的12个关键点的位置信息。

可选地，本发明中的特征部位配准模型的基本结果与人脸配准模型一致，都是基于ResNet-18网络模型，区别在于特征部位图像模型仅有一个全连接层，用于输出特征部位的关键点的位置信息，每一关键点是否可见的结果参考人脸配准模型确定出的该关键点是否可见的结果。

S45、基于修正的各个特征部位的关键点的位置信息，更新基于人脸配准模型确定出的人脸的关键点的位置信息。

本步骤中，基于步骤S44得到的嘴巴、鼻子和右眼眉共41个关键点的位置信息，可以利用这41个关键点的位置信息更新基于人脸配准模型定位出的嘴巴、鼻子和右眼眉的关键点的位置信息，各个关键点是否可见的结果参考人脸配准模型确定出的结果，从而可以得到更加准确地人脸图像中人脸的关键点的位置信息和各个关键点是否可见的结果。

为了便于理解，将基于特征部位配准模型确定出的关键点的位置信息标注到人脸区域图像中，即图6中最右侧的人脸区域图像所示的关键点位置信息即为最终结果。虽然左眼眉的关键点的位置信息为基于人脸配准模型确定出的，但由于左眼眉被遮挡，在对人脸图像进行处理时并不会对左眼眉进行处理，故左眼眉的关键点的位置信息的准确度并不影响人脸图像的处理结果。

在对本发明中人脸关键点的定位方法进行描述之后，接下来对本发明中使用的人脸配准模型和特征部位配准模型的训练过程进行介绍，以下详细介绍之：

可选地，当本发明中的人脸配准模型为残差神经网络ResNet模型时，可以按照下述图7所示的流程训练人脸配准模型(ResNet-18模型)，包括以下步骤：

S71、利用ImageNet数据集对ResNet模型进行预训练。

以本发明中ResNet模型具有18层为例进行说明，本发明中采用ImageNet数据集来训练ResNet-18模型中的参数，上述参数可以但不限于为神经元的权重ω和偏差bias等等。

S72、利用用于定位人脸的关键点的全连接层和用于确定关键点是否可见的全连接层替换预训练得到的ResNet模型中的全连接层，得到替换后的ResNet模型。

本步骤中，在对上述ResNet-18模型训练完成后，为了能够使得本发明中的人脸配准模型能够输出关键点的位置信息和关键点是否可见的结果，本发明需要将训练得到的ResNet-18模型中的全连接层替换为用于定位人脸的关键点的全连接层和用于确定关键点是否可见的全连接层。

S73、对替换后的ResNet模型进行初始化。

本步骤中，可以采用方差为0.01，均值为0的高斯分布函数对替换后的ResNet-18模型中的两个全连接层进行初始化。

S74、利用人脸训练样本对初始化后的ResNet模型进行训练，得到所述人脸配准模型。

待初始化完成之后，利用人脸训练样本对初始化后的ResNet-18模型进行训练，得到人脸配准模型。

可选地，本发明中的人脸训练样本可以为人脸样本图像，且已知该人脸样本图像的实际关键点信息，所述实际关键点信息包括样本人脸的关键点的实际位置信息及关键点是否可见的结果。

基于上述对人脸训练样本的限定，可以按照图8所示的流程实施步骤S74，包括以下步骤：

S81、将人脸样本图像输入至初始化后的ResNet模型中。

S82、根据初始化后的ResNet-18模型的输出结果及所述人脸样本图像的实际关键点信息，对所述ResNet-18模型中的神经元的权重进行调整，直至满足模型训练结束条件为止。

本步骤中，基于随机梯度下降算法，利用人脸样本图像对初始化后的ResNet-18模型进行训练。

具体地，在将人脸样本图像输入到初始化后的ResNet-18模型后，该模型会确定并输出人脸样本图像中人脸的关键点的位置信息和关键点是否可见的结果，然后针对每一关键点，利用softmax函数比较基于上述ResNet-18模型输出的该关键点是否可见的结果与实际关键点信息中包括的该关键点是否可见的结果，根据比较结果对ResNet-18模型中影响可见性信息的参数进行调整；此外，针对每一关键点，利用损失函数L2比较基于上述ResNet-18模型输出的该关键点的位置信息与实际关键点信息中包括的该关键点的实际位置信息，根据比较结果对上述ResNet-18中影响位置信息的相关参数进行调整，直至满足训练结束条件为止，该训练结束条件可以但不限于为循环次数等。

可选地，本发明中的特征部位配准模型为ResNet模型，人脸的每一特征部位对应一个特征部位配准模型，故针对每一特征部位配准，均可以按照图9所示的流程训练特征部位配准模型，包括以下步骤：

S91、利用ImageNet数据集对ResNet模型进行预训练。

具体地，以特征部位配准模型为ResNet-18为例进行说明，具体参考步骤S71中的描述，此处不再详细赘述。

S92、利用用于定位特征部位中的关键点的全连接层替换预训练得到的ResNet模型中的全连接层，得到替换后的ResNet模型。

本步骤中，以特征部位为嘴巴为例进行说明，在对上述ResNet-18模型训练完成后，为了能够使得本发明中的嘴巴配准模型能够输出该嘴巴的关键点的位置信息，本发明需要将训练得到的ResNet-18模型中的全连接层替换为用于定位嘴巴中的关键点的全连接层。

S93、对替换后的ResNet模型进行初始化。

本步骤中，可以采用方差为0.01，均值为0的高斯分布函数对替换后的ResNet-18模型中的全连接层进行初始化。

S94、利用特征部位训练样本对初始化后的ResNet模型进行训练，得到所述特征部位的特征部位配准模型。

本步骤中，利用嘴巴训练样本对初始化后的ResNet-18模型进行训练，即可得到嘴巴配准模型。

可选地，本发明中的特征部位训练样本为特征部位样本图像，且已知该特征部位样本图像中关键点的实际位置信息；则可以按照图10所示的流程实施步骤S94，包括以下步骤：

S101、将特征部位样本图像输入到初始化后的ResNet模型中。

S102、根据初始化后的ResNet模型的输出结果及特征部位样本图像中关键点的实际位置信息，对所述ResNet模型中的神经元的权重进行调整，直至满足模型训练结束条件为止。

本步骤中，同样可以基于随机梯度下降算法，利用嘴巴样本图像对初始化后的ResNet-18模型进行训练。

具体地，将嘴巴样本图像输入到初始化后的ResNet-18模型后，该模型会确定并输出嘴巴的关键点的位置信息，然后针对每一关键点，利用损失函数L2比较基于上述ResNet-18模型输出的该关键点的位置信息与该关键点的实际位置信息，根据比较结果对上述ResNet-18中影响位置信息的相关参数进行调整，直至满足训练结束条件为止，该训练结束条件可以但不限于为循环次数等。

基于同一发明构思，本发明实施例还提供了一种人脸图像处理方法，包括：

首先，采用本发明提供的人脸的关键点的定位方法，从人脸图像中定位人脸的关键点的位置信息和确定关键点是否可见的结果。

其次，基于定位出的关键点的位置信息和关键点是否可见的结果，对人脸图像进行处理。

在基于上述描述定位出人脸的关键点的位置信息和确定出关键点是否可见的结果后，即可对人脸图像进行自动美颜处理时，仅对可见的关键点的位置信息进行美颜处理，对不可见的关键点不执行美颜处理，这样即不影响美颜处理后的人脸图像的美观性，也不会出现对不可见的关键点进行美颜处理所带来的遮挡物上出现美颜效果的情况发生，有效解决了现有技术中因不知道关键点是否可见而导致的在不可见的关键点上添加特效所造成的用户体验效果不佳的问题。

本发明提供的人脸的关键点的定位方法，利用人脸配准模型进行人脸关键点的粗定位，得到人脸的关键点的位置信息和各个关键点是否可见的结果，然后针对每一特征部位，确定构成该特征部位的关键点中可见的关键点的数量，在确定出可见的关键点的数量大于预设数量阈值时，提取出仅包含该特征部位的特征部位图像，并基于特征部位配准模型对提取出的特征部位图像进行关键点的精确定位，准确地确定出构成该特征部位的关键点的位置信息，然后基于各个特征部位配准模型确定出的关键点的位置信息更新基于人脸配准模型确定出的人脸的关键点的位置信息，从而提高了最终得到的人脸的关键点的位置信息的准确度；此外，本发明基于人脸配准模型确定出了人脸的各个关键点是否可见的结果，故基于各个关键点的位置信息及各个关键点是否可见的结果，在对人脸图像进行处理时，可以只对可见的关键点进行处理，这样就不会出现处理后的人脸图像效果不佳的情况发生。

基于同一发明构思，本发明实施例中还提供了一种人脸关键点的定位装置，由于上述装置解决问题的原理与人脸关键点的定位方法相似，因此上述装置的实施可以参见方法的实施，重复之处不再赘述。

如图11所示，为本发明实施例提供的人脸关键点的定位装置110的结构示意图，包括：

第一确定单元111，用于获取人脸图像，并根据所述人脸图像和训练得到的人脸配准模型，确定人脸的关键点的位置信息及各个关键点是否可见的结果；

第二确定单元112，用于确定人脸的各个特征部位中可见的关键点的数量；

提取单元113，用于针对每一特征部位，若该特征部位中可见的关键点的数量大于预设数量阈值，则提取仅包含该特征部位的特征部位图像；

修正单元114，用于根据该特征部位的特征部位图像和该特征部位对应的特征部位配准模型，修正该特征部位的关键点的位置信息；

更新单元115，用于基于修正的各个特征部位的关键点的位置信息，更新基于人脸配准模型确定出的人脸的关键点的位置信息。

可选地，所述人脸配准模型包括两个全连接层，分别输出人脸的关键点的位置信息和关键点是否可见的结果；

所述第一确定单元111，具体用于从所述人脸图像中检测出仅包含人脸的人脸区域图像；对所述人脸区域图像进行归一化处理；将归一化处理后的图像输入到所述人脸配准模型中，由所述人脸配准模型的两个全连接层分别输出人脸的关键点的位置信息和各个关键点是否可见的结果。

一种可能的实施方式中，所述人脸配准模型为残差神经网络ResNet模型，则本发明提供的人脸关键点的定位装置，还包括：

人脸配准模型训练单元116，用于利用ImageNet数据集对所述ResNet模型进行预训练；利用用于定位人脸的关键点的全连接层和用于确定关键点是否可见的全连接层替换预训练得到的ResNet模型中的全连接层，得到替换后的ResNet模型；对替换后的ResNet模型进行初始化；利用人脸训练样本对初始化后的ResNet模型进行训练，得到所述人脸配准模型。

可选地，所述人脸训练样本为人脸样本图像，且已知该人脸样本图像的实际关键点信息，所述实际关键点信息包括样本人脸的关键点的实际位置信息及关键点是否可见的结果；则

所述人脸配准模型训练单元116，具体用于将所述人脸样本图像输入至初始化后的ResNet模型中；根据所述初始化后的ResNet模型的输出结果及所述人脸样本图像的实际关键点信息，对所述ResNet模型中的神经元的权重进行调整，直至满足模型训练结束条件为止。

一种可能的实施方式中，所述人脸配准模型为残差神经网络ResNet模型，则本发明提供的人脸关键点的定位装置，还包括：

特征部位配准模型训练单元117，用于利用ImageNet数据集对所述ResNet模型进行预训练；利用用于定位所述特征部位中的关键点的全连接层替换预训练得到的ResNet模型中的全连接层，得到替换后的ResNet模型；对替换后的ResNet模型进行初始化；利用特征部位训练样本对初始化后的ResNet模型进行训练，得到所述特征部位的特征部位配准模型。

可选地，所述特征部位训练样本为特征部位样本图像，且已知该特征部位样本图像中关键点的实际位置信息；则

所述特征部位配准模型训练单元117，具体用于将所述特征部位样本图像输入到初始化后的ResNet模型中；根据所述初始化后的ResNet模型的输出结果及所述特征部位样本图像中关键点的实际位置信息，对所述ResNet模型中的神经元的权重进行调整，直至满足模型训练结束条件为止。

为了描述的方便，以上各部分按照功能划分为各模块(或单元)分别描述。当然，在实施本发明时可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。

基于同一发明构思，本发明实施例中还提供了一种人脸图像处理装置，由于上述装置解决问题的原理与人脸图像处理方法相似，因此上述装置的实施可以参见方法的实施，重复之处不再赘述。

如图12所示，为本发明实施例提供的人脸图像处理装置的结构示意图，包括：

人脸关键点的定位装置110，用于采用本发明实施例提供的人脸关键点的定位方法，从人脸图像中定位人脸的关键点的位置信息和确定关键点是否可见的结果；

处理单元121，用于基于定位出的关键点的位置信息和关键点是否可见的结果，对人脸图像进行处理。

为了描述的方便，以上各部分按照功能划分为各模块(或单元)分别描述。当然，在实施本发明时可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。

在介绍了本发明示例性实施方式的人脸关键点的定位方法、人脸图像处理方法和相关装置之后，接下来，介绍根据本发明的另一示例性实施方式的计算装置。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

在一些可能的实施方式中，根据本发明的计算装置可以至少包括至少一个处理单元、以及至少一个存储单元。其中，所述存储单元存储有程序代码，当所述程序代码被所述处理单元执行时，使得所述处理单元执行本说明书上述描述的根据本发明各种示例性实施方式的人脸关键点的定位方法中的步骤，和/或执行人脸图像处理方法中的步骤。例如，所述处理单元可以执行如图4所示的步骤S41～S45中人脸关键点的定位流程。

下面参照图13来描述根据本发明的这种实施方式的计算装置130。图13显示的计算装置130仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图13所示，计算装置130以通用计算设备的形式表现。计算装置130的组件可以包括但不限于：上述至少一个处理单元131、上述至少一个存储单元132、连接不同系统组件(包括存储单元132和处理单元131)的总线133。

总线133表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。

存储单元132可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)1321和/或高速缓存存储器1322，还可以进一步包括只读存储器(ROM)1323。

存储单元132还可以包括具有一组(至少一个)程序模块1324的程序/实用工具1325，这样的程序模块1324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

计算装置130也可以与一个或多个外部设备134(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与计算装置130交互的设备通信，和/或与使得该计算装置130能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口135进行。并且，计算装置130还可以通过网络适配器136与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器136通过总线133与用于计算装置13的其它模块通信。应当理解，尽管图中未示出，可以结合计算装置130使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种人脸关键点的定位方法，其特征在于，包括：

获取人脸图像，并根据所述人脸图像和训练得到的人脸配准模型，确定人脸的关键点的位置信息及各个关键点是否可见的结果，所述人脸配准模型包括两个全连接层，分别输出人脸的关键点的位置信息和关键点是否可见的结果；

分别确定人脸的各个特征部位中可见的关键点的数量；

针对每一特征部位，若该特征部位中可见的关键点的数量大于预设数量阈值，则提取仅包含该特征部位的特征部位图像；

根据该特征部位的特征部位图像和该特征部位对应的特征部位配准模型，修正该特征部位的关键点的位置信息；

基于修正的各个特征部位的关键点的位置信息，更新基于人脸配准模型确定出的人脸的关键点的位置信息。

2.如权利要求1所述的方法，其特征在于，所述根据所述人脸图像和训练得到的人脸配准模型，确定人脸的关键点的位置信息及各个关键点是否可见的结果，具体包括：

从所述人脸图像中检测出仅包含人脸的人脸区域图像；

对所述人脸区域图像进行归一化处理；

将归一化处理后的图像输入到所述人脸配准模型中，由所述人脸配准模型的两个全连接层分别输出人脸的关键点的位置信息和各个关键点是否可见的结果。

3.如权利要求1所述的方法，其特征在于，所述人脸配准模型为残差神经网络ResNet模型，则按照下述方法训练所述人脸配准模型：

利用ImageNet数据集对所述ResNet模型进行预训练；

利用用于定位人脸的关键点的全连接层和用于确定关键点是否可见的全连接层替换预训练得到的ResNet模型中的全连接层，得到替换后的ResNet模型；

对替换后的ResNet模型进行初始化；

利用人脸训练样本对初始化后的ResNet模型进行训练，得到所述人脸配准模型。

4.如权利要求3所述的方法，其特征在于，所述人脸训练样本为人脸样本图像，且已知该人脸样本图像的实际关键点信息，所述实际关键点信息包括样本人脸的关键点的实际位置信息及关键点是否可见的结果；则

利用人脸训练样本对初始化后的ResNet模型进行训练，具体包括：

将所述人脸样本图像输入至初始化后的ResNet模型中；

根据所述初始化后的ResNet模型的输出结果及所述人脸样本图像的实际关键点信息，对所述ResNet模型中的神经元的权重进行调整，直至满足模型训练结束条件为止。

5.如权利要求1所述的方法，其特征在于，所述特征部位配准模型为ResNet模型，则按照下述方法训练所述特征部位配准模型：

利用ImageNet数据集对所述ResNet模型进行预训练；

利用用于定位所述特征部位中的关键点的全连接层替换预训练得到的ResNet模型中的全连接层，得到替换后的ResNet模型；

对替换后的ResNet模型进行初始化；

利用特征部位训练样本对初始化后的ResNet模型进行训练，得到所述特征部位的特征部位配准模型。

6.如权利要求5所述的方法，其特征在于，所述特征部位训练样本为特征部位样本图像，且已知该特征部位样本图像中关键点的实际位置信息；则

利用特征部位训练样本对初始化后的ResNet模型进行训练，具体包括：

将所述特征部位样本图像输入到初始化后的ResNet模型中；

根据所述初始化后的ResNet模型的输出结果及所述特征部位样本图像中关键点的实际位置信息，对所述ResNet模型中的神经元的权重进行调整，直至满足模型训练结束条件为止。

7.一种人脸图像处理方法，其特征在于，包括：

采用权利要求1～6任一所述人脸关键点的定位方法，从人脸图像中定位人脸的关键点的位置信息和确定关键点是否可见的结果；

基于定位出的关键点的位置信息和关键点是否可见的结果，对人脸图像进行处理。

8.一种人脸关键点的定位装置，其特征在于，包括：

第一确定单元，用于获取人脸图像，并根据所述人脸图像和训练得到的人脸配准模型，确定人脸的关键点的位置信息及各个关键点是否可见的结果，所述人脸配准模型包括两个全连接层，分别输出人脸的关键点的位置信息和关键点是否可见的结果；

第二确定单元，用于确定人脸的各个特征部位中可见的关键点的数量；

提取单元，用于针对每一特征部位，若该特征部位中可见的关键点的数量大于预设数量阈值，则提取仅包含该特征部位的特征部位图像；

修正单元，用于根据该特征部位的特征部位图像和该特征部位对应的特征部位配准模型，修正该特征部位的关键点的位置信息；

更新单元，用于基于修正的各个特征部位的关键点的位置信息，更新基于人脸配准模型确定出的人脸的关键点的位置信息。

9.一种人脸图像处理装置，其特征在于，包括：

人脸关键点的定位装置，用于采用权利要求1～6任一所述人脸关键点的定位方法，从人脸图像中定位人脸的关键点的位置信息和确定关键点是否可见的结果；

处理单元，用于基于定位出的关键点的位置信息和关键点是否可见的结果，对人脸图像进行处理。

Images