CN111178266A - 一种生成人脸关键点的方法及装置 - Google Patents

Abstract

本发明公开了一种生成人脸关键点的方法及装置，通过获取包括若干个标注数据点的待处理图像，然后对该待处理图像进行3D处理和旋转，并对旋转后的信息进行划分，得到边界信息，并利用所述边界信息将所述第二信息中的目标信息转换为与所述待处理图像相匹配的目标图像。实现了根据图像和已经标注的点生成不同角度的图像和2D关键点的标注信息，实现了对不同姿态角度数据的数据集的扩充，从而实现了提升数据标注效率和标注准确性的目的。

Description

一种生成人脸关键点的方法及装置

技术领域

本发明涉及图像处理技术领域，特别是涉及一种生成人脸关键点的方法及装置。

背景技术

近年来随着图像处理技术的不断发展，人脸解锁、人脸支付、人脸美化等技术在生活中应用越来越广泛。而人脸关键点检测是人脸图像处理过程中重要的环节之一。人脸关键点检测即在人脸图像上检测出人脸五官或者外轮廓的位置，为人脸识别、姿态表情分析等技术提供重要的位置信息。

人脸关键点检测多以训练的方法为主，如深度学习算法、回归森林算法等，训练需要大量的样本提取特征，因此关键点标注极其重要，标注的质量直接影响算法的准确性。虽然有公开的数据集但是由于样本数较少，尤其是针对不同姿态角度的数据较少，不能满足现实场景中多姿态需求的应用。于是会存在开发人员对不同姿态角度图像，进行手动标注数据，但是手动标注数据效率低，并且受人员的主观因素影响，导致数据标注不准确。

发明内容

针对于上述问题，本发明提供一种生成人脸关键点的方法及装置，基于生成不同姿态角度的人脸关键点数据，实现了提升数据标注效率和标注准确性的目的。

为了实现上述目的，本发明提供了如下技术方案：

一种生成人脸关键点的方法，所述方法包括：

获取待处理图像，所述待处理图像包括若干个标注数据点；

对所述待处理图像进行3D处理，得到处理后的图像，所述处理后的图像包括第一信息，所述第一信息表征与所述标注数据点对应的3D位置信息；

对所述处理后的图像进行3D旋转，得到旋转后的图像，所述旋转后的图像包括旋转后的第一信息对应的第二信息；

将所述第二信息进行划分，得到边界信息，并利用所述边界信息将所述第二信息中的目标信息转换为与所述待处理图像相匹配的目标图像，所述目标图像包括所述待处理图像中无法获得的数据点。

可选地，所述对所述待处理图像进行3D处理，得到处理后的图像，包括：

依据预存储的3D模型，对所述待处理图像进行3D处理，得到处理后的图像，所述预存储的3D模型包括依据3DMM和BFM算法生成的模型。

可选地，所述对所述处理后的图像进行3D旋转，得到旋转后的图像，包括：

获取所述待处理图像的角度信息；

依据所述角度信息确定旋转角度；

按照所述旋转角度，对所述处理后的图像进行3D旋转，得到旋转后的图像。

可选地，所述方法还包括：

若旋转后的图像中存在不可见数据点，将所述不可见数据点移动至所述旋转后的图像的边缘区域。

可选地，所述将所述第二信息进行划分，得到边界信息，并利用所述边界信息将所述第二信息中的目标信息转换为与所述待处理图像相匹配的目标图像，包括：

对所述第二信息进行划分，得到边界信息，并依据所述边界信息，得到划分后的信息；

依据预设的索引序列，对所述划分后的信息进行轮廓点搜索，得到关键点，所述索引序列为所述标注数据点的顺序序列；

依据所述关键点确定目标图像。

一种生成人脸关键点的装置，所述装置包括：

图像获取单元，用于获取待处理图像，所述待处理图像包括若干个标注数据点；

3D处理单元，用于对所述待处理图像进行3D处理，得到处理后的图像，所述处理后的图像包括第一信息，所述第一信息表征与所述标注数据点对应的3D位置信息；

旋转单元，用于对所述处理后的图像进行3D旋转，得到旋转后的图像，所述旋转后的图像包括旋转后的第一信息对应的第二信息；

转换单元，用于将所述第二信息进行划分，得到边界信息，并利用所述边界信息将所述第二信息中的目标信息转换为与所述待处理图像相匹配的目标图像，所述目标图像包括所述待处理图像中无法获得的数据点。

可选地，所述3D处理单元具体用于：

依据预存储的3D模型，对所述待处理图像进行3D处理，得到处理后的图像，所述预存储的3D模型包括依据3DMM和BFM算法生成的模型。

可选地，所述旋转单元包括：

角度获取子单元，用于获取所述待处理图像的角度信息；

角度确定子单元，用于依据所述角度信息确定旋转角度；

旋转子单元，用于按照所述旋转角度，对所述处理后的图像进行3D旋转，得到旋转后的图像。

可选地，所述装置还包括：

移动单元，用于若旋转后的图像中存在不可见数据点，将所述不可见数据点移动至所述旋转后的图像的边缘区域。

可选地，所述转换单元包括：

划分子单元，用于对所述第二信息进行划分，得到边界信息，并依据所述边界信息，得到划分后的信息；

搜索子单元，用于依据预设的索引序列，对所述划分后的信息进行轮廓点搜索，得到关键点，所述索引序列为所述标注数据点的顺序序列；

图像确定子单元，用于依据所述关键点确定目标图像。

相较于现有技术，本发明提供了一种生成人脸关键点的方法及装置，通过获取包括若干个标注数据点的待处理图像，然后对该待处理图像进行3D处理和旋转，并对旋转后的信息进行划分，得到边界信息，并利用所述边界信息将所述第二信息中的目标信息转换为与所述待处理图像相匹配的目标图像。实现了根据图像和已经标注的点生成不同角度的图像和2D关键点的标注信息，实现了对不同姿态角度数据的数据集的扩充，从而实现了提升数据标注效率和标注准确性的目的。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种生成人脸关键点方法的流程示意图；

图2为本发明实施例提供的一种人脸图像的3D信息的示意图；

图3为本发明实施例提供的一种2D和3D关键点的位置信息的示意图；

图4为本发明实施例提供的一种旋转后的3D人脸示意图；

图5为本发明实施例提供的一种旋转后的3D关键点转换投影到2D图像的示意图；

图6为本发明实施例提供的对应图5中轮廓点平移至边缘处的示意图；

图7为本发明实施例提供的一种生成人脸关键点装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。

在本发明实施例中提供了一种生成人脸关键点的方法，参见图1，该方法可以包括以下步骤：

S101、获取待处理图像。

所述待处理图像包括若干个标注数据点，即待处理图像是已经标注有人脸关键点的人脸图像。通常会利用现有的人脸关键点数据集来作为待处理图像，而在该待处理图像中标注的数据点即关键点的数量可以根据实际需求进行确定。例如，常见的几种关键点数据集包含有5个关键点、21个关键点、68个关键点、98个关键点等。为了便于描述，在本发明实施例中选择了68个关键点作为已标注数据点。

S102、对所述待处理图像进行3D处理，得到处理后的图像。

S103、对所述处理后的图像进行3D旋转，得到旋转后的图像。

所述处理后的图像包括第一信息，所述第一信息表征与所述标注数据点对应的3D位置信息。由于待处理图像的图像信息及标注的数据点的相关信息均为2D信息。为了能够生成任意姿态角度对应的信息，需要先将2D信息转换为3D信息。可以通过现有基于3D结构重建的3D合成技术实现。也可以利用已有的算法模型生成3D信息。例如，依据预存储的3D模型，对待处理图像进行3D处理，得到处理后的图像。所述预存储的3D模型表征根据3DMM、BFM和3DDFA算法生成的模型。其中，3DMM(3D Morphable Model,3D形变模型)；BFM(Basel FaceModel，巴塞尔人脸模型)；3DDFA(3D Dense Face Alignment,3D稠密人脸对齐)。

通过3DMM和BFM算法生成图像的3D信息如图2所示。图3展示了2D关键点(z＝0)与3D关键点标注的位置信息，其中，包括了代表3D的68个点的位置信息，以及表示2D的68个点的位置信息，为了更直观的看出它们的不同，将图像进行了旋转可看到2D不可见面，如图4所示，从侧面的3D图可以看出，当图像旋转角度大时，部分轮廓点被遮挡不可见，采用3D的关键点表达时就分为可见点和不可见点，不可见点即是被遮住的点，但是点定义的位置没有改变例如某些点是轮廓与耳朵的交接处，无论图像如何变化，这3个点都标在轮廓与耳朵的交接处，如图4下面耳朵附近的点所示。但是2D关键点全部为可见，所以被遮住的点就标到了边缘处，轮廓的点被标到了鼻子边上。为了更直观的区分3D关键点与2D关键点的不同，将3D关键点标在2D图像上。

所述旋转后的图像包括旋转后的第一信息对应的第二信息。

通过3DDFA算法驱动3D模型旋转指定的角度，为了不影响旋转后图像的失真度，在本发明实施例中还提供了一种旋转处理的方法，包括：

获取所述待处理图像的角度信息；

依据所述角度信息确定旋转角度；

按照所述旋转角度，对所述处理后的图像进行3D旋转，得到旋转后的图像。

对应的，若旋转后的图像中存在不可见数据点，将所述不可见数据点移动至所述旋转后的图像的边缘区域。

只能在图像现有角度方向的基础上进行旋转，例如原图为右侧脸，只能向右旋转，例如，以原始图像向右旋转10度后生成图像。3D的68个点是点云上固定索引的序列，随着模型的旋转，即可获得旋转后的68个3D关键点，经过转换投影到2D图像上，对于不可见点需要移到边缘处。

S104、将所述第二信息进行划分，得到边界信息，并利用所述边界信息将所述第二信息中的目标信息转换为与所述待处理图像相匹配的目标图像。

所述目标图像包括所述待处理图像中无法获得的数据点。

例如，参见图5，其示出了旋转后的3D关键点转换投影到2D图像的示意图。在图5中对于不可见点需要将其移动到边缘处，即将图5中右边的轮廓点应平移到边缘处才是2D关键点的位置，将68个点包含的区域分为左半边脸和右半边脸，并找到对应的索引序列，若图像为左侧脸，则沿水平方向向左搜寻最小值点为轮廓点，若图像为右侧脸，则沿水平方向向右搜寻最大值点为轮廓点。如图6所示，虚线表示平移的参照线，虚线右侧对照的点为移动后的点，将点保存为pts格式即可和公开数据集一块使用了。

为了保证旋转后的效果，尽量选择正脸图像进行旋转，当pitch角角度过大时也会出现边缘不准的现象，但是此时的图像也比较抽象不像一个人脸了，因此为了不影响训练效果，pitch旋转角度不宜过大，roll角是平面内旋转不会影响点的标注可以随便旋转，可以只旋转一个角度，也可以多个角度共同旋转。

对应的，在本发明实施例中进行信息转换时，还包括：

对所述第二信息进行划分，得到边界信息，并依据所述边界信息，得到划分后的信息；

依据预设的索引序列，对所述划分后的信息进行轮廓点搜索，得到关键点，所述索引序列为所述标注数据点的顺序序列；

依据所述关键点确定目标图像。

需要说明的是，对第二信息进行划分时，可以基于设定的划分标准，该划分标准可以为根据不同的需要进行划分，例如，在对人脸进行识别则可以人脸中线为划分标准，若对不同人脸部位进行识别可以确定不同的边界信息。然后再将对应的信息转换为待处理图像匹配的目标图像。

本发明的关键点是根据3D关键点寻找2D关键点，主要是当人脸角度过大时边缘点的确定。是根据图像和已经标定好的点生成不同角度的图像和68个(或其他点数，包含不限于106点，98点等)2D关键点的标注信息，扩充数据集。

因此，本发明可快速对样本进行扩充，并且生成不同角度姿态的图片和标注信息，增加角度的多样性可使训练更加鲁棒，和手工标定相比，本发明3D的68个点的位置已经标准标记，若图像相同，生成的2D关键点的结果就相同，除去了人为因素的干扰，而且效率高，点标注准确。

对应的，在本发明实施例中还提供了一种生成人脸关键点的装置，参见图7，所述装置包括：

图像获取单元10，用于获取待处理图像，所述待处理图像包括若干个标注数据点；

3D处理单元20，用于对所述待处理图像进行3D处理，得到处理后的图像，所述处理后的图像包括第一信息，所述第一信息表征与所述标注数据点对应的3D位置信息；

旋转单元30，用于对所述处理后的图像进行3D旋转，得到旋转后的图像，所述旋转后的图像包括旋转后的第一信息对应的第二信息；

转换单元40，用于将所述第二信息进行划分，得到边界信息，并利用所述边界信息将所述第二信息中的目标信息转换为与所述待处理图像相匹配的目标图像，所述目标图像包括所述待处理图像中无法获得的数据点。

在上述实施例的基础上，所述3D处理单元具体用于：

依据预存储的3D模型，对所述待处理图像进行3D处理，得到处理后的图像，所述预存储的3D模型包括依据3DMM和BFM算法生成的模型。

在上述实施例的基础上，所述旋转单元包括：

角度获取子单元，用于获取所述待处理图像的角度信息；

角度确定子单元，用于依据所述角度信息确定旋转角度；

旋转子单元，用于按照所述旋转角度，对所述处理后的图像进行3D旋转，得到旋转后的图像。

在上述实施例的基础上，所述装置还包括：

移动单元，用于若旋转后的图像中存在不可见数据点，将所述不可见数据点移动至所述旋转后的图像的边缘区域。

在上述实施例的基础上，所述转换单元包括：

划分子单元，用于对所述第二信息进行划分，得到边界信息，并依据所述边界信息，得到划分后的信息；

搜索子单元，用于依据预设的索引序列，对所述划分后的信息进行轮廓点搜索，得到关键点，所述索引序列为所述标注数据点的顺序序列；

图像确定子单元，用于依据所述关键点确定目标图像。

本发明提供了一种生成人脸关键点的装置，通过获取包括若干个标注数据点的待处理图像，然后对该待处理图像进行3D处理和旋转，并对旋转后的信息进行划分，得到边界信息，并利用所述边界信息将所述第二信息中的目标信息转换为与所述待处理图像相匹配的目标图像。实现了根据图像和已经标注的点生成不同角度的图像和2D关键点的标注信息，实现了对不同姿态角度数据的数据集的扩充，从而实现了提升数据标注效率和标注准确性的目的。

本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时实现以上各方法实施例描述的生成人脸关键点的方法。

本申请实施例提供了一种处理器，该处理器用于运行程序，其中，该程序运行时实现以上各方法实施例描述的生成人脸关键点的方法。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，使得数据处理设备实现以上各方法实施例描述的生成人脸关键点的方法。

其中，本申请的上述实施例提供的电子设备、处理器、计算机可读介质或计算机程序产品可以均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种生成人脸关键点的方法，其特征在于，所述方法包括：

获取待处理图像，所述待处理图像包括若干个标注数据点；

对所述待处理图像进行3D处理，得到处理后的图像，所述处理后的图像包括第一信息，所述第一信息表征与所述标注数据点对应的3D位置信息；

对所述处理后的图像进行3D旋转，得到旋转后的图像，所述旋转后的图像包括旋转后的第一信息对应的第二信息；

将所述第二信息进行划分，得到边界信息，并利用所述边界信息将所述第二信息中的目标信息转换为与所述待处理图像相匹配的目标图像，所述目标图像包括所述待处理图像中无法获得的数据点。

2.根据权利要求1所述的方法，其特征在于，所述对所述待处理图像进行3D处理，得到处理后的图像，包括：

依据预存储的3D模型，对所述待处理图像进行3D处理，得到处理后的图像，所述预存储的3D模型包括依据3DMM和BFM算法生成的模型。

3.根据权利要求1所述的方法，其特征在于，所述对所述处理后的图像进行3D旋转，得到旋转后的图像，包括：

获取所述待处理图像的角度信息；

依据所述角度信息确定旋转角度；

按照所述旋转角度，对所述处理后的图像进行3D旋转，得到旋转后的图像。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

若旋转后的图像中存在不可见数据点，将所述不可见数据点移动至所述旋转后的图像的边缘区域。

5.根据权利要求1所述的方法，其特征在于，所述将所述第二信息进行划分，得到边界信息，并利用所述边界信息将所述第二信息中的目标信息转换为与所述待处理图像相匹配的目标图像，包括：

对所述第二信息进行划分，得到边界信息，并依据所述边界信息，得到划分后的信息；

依据预设的索引序列，对所述划分后的信息进行轮廓点搜索，得到关键点，所述索引序列为所述标注数据点的顺序序列；

依据所述关键点确定目标图像。

6.一种生成人脸关键点的装置，其特征在于，所述装置包括：

图像获取单元，用于获取待处理图像，所述待处理图像包括若干个标注数据点；

3D处理单元，用于对所述待处理图像进行3D处理，得到处理后的图像，所述处理后的图像包括第一信息，所述第一信息表征与所述标注数据点对应的3D位置信息；

旋转单元，用于对所述处理后的图像进行3D旋转，得到旋转后的图像，所述旋转后的图像包括旋转后的第一信息对应的第二信息；

转换单元，用于将所述第二信息进行划分，得到边界信息，并利用所述边界信息将所述第二信息中的目标信息转换为与所述待处理图像相匹配的目标图像，所述目标图像包括所述待处理图像中无法获得的数据点。

7.根据权利要求6所述的装置，其特征在于，所述3D处理单元具体用于：

依据预存储的3D模型，对所述待处理图像进行3D处理，得到处理后的图像，所述预存储的3D模型包括依据3DMM和BFM算法生成的模型。

8.根据权利要求6所述的装置，其特征在于，所述旋转单元包括：

角度获取子单元，用于获取所述待处理图像的角度信息；

角度确定子单元，用于依据所述角度信息确定旋转角度；

旋转子单元，用于按照所述旋转角度，对所述处理后的图像进行3D旋转，得到旋转后的图像。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：

移动单元，用于若旋转后的图像中存在不可见数据点，将所述不可见数据点移动至所述旋转后的图像的边缘区域。

10.根据权利要求1所述的方法，其特征在于，所述转换单元包括：

划分子单元，用于对所述第二信息进行划分，得到边界信息，并依据所述边界信息，得到划分后的信息；

搜索子单元，用于依据预设的索引序列，对所述划分后的信息进行轮廓点搜索，得到关键点，所述索引序列为所述标注数据点的顺序序列；

图像确定子单元，用于依据所述关键点确定目标图像。

Images