CN110533777A - 三维人脸图像修正方法、装置、电子设备和存储介质 - Google Patents

Abstract

本公开关于三维人脸图像修正方法、装置、电子设备和存储介质，所述方法包括：根据二维人脸图像构建三维人脸图像，其中，三维人脸图像包含多个第一关键点，每个第一关键点与二维人脸图像中的一个第二关键点对应；基于多个第一关键点构建多个三角形；确定三维人脸图像中的目标像素点在多个三角形中所在的目标三角形；根据重心坐标插值公式、目标三角形的顶点的坐标，以及目标像素点的坐标，确定第一权重、第二权重和第三权重。根据本公开的实施例，可以保证修正后的三维人脸图像中的像素点的位置信息，和三维人脸图像中的像素点在二维人脸图像中对应像素点的位置信息相同，确保三维人脸图像准确地匹配二维人脸图像的变化。

Description

三维人脸图像修正方法、装置、电子设备和存储介质

技术领域

本公开涉及图像处理技术领域，尤其涉及三维人脸图像修正方法，三维人脸图像修正装置，电子设备和存储介质。

背景技术

相关技术中，根据二维人脸图像构建三维人脸图像，主要是将二维人脸图像通过一组参数化的基来表示，根据二维人脸图像中的关键点，确定三维人脸图像中的关键点。

其中，由于参数化的基是有限的，所能表示的三维人脸的属性也就很有限，从而只能得到全局最优的结果，也即得到的三维人脸图像中的关键点，在二维人脸图像中的投影到二维人脸图像中对应关键点的距离之和最小。这并不能保证三维人脸图像中的关键点，在二维人脸图像中的投影与二维人脸图像中对应关键点重合，从而当二维人脸图像中的人脸变化时，三维人脸图像中的人脸并不能准确地模仿二维人脸图像的变化。

发明内容

本公开提供一种三维人脸图像修正方法，三维人脸图像修正装置，电子设备和存储介质，以至少解决相关技术中当二维人脸图像中的人脸变化时，三维人脸图像中的人脸不能准确地模仿二维人脸图像的变化的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种三维人脸图像修正方法，包括：

根据二维人脸图像构建三维人脸图像，其中，所述三维人脸图像包含多个第一关键点，每个第一关键点与所述二维人脸图像中的一个第二关键点对应；

基于所述多个第一关键点构建多个三角形；

确定所述三维人脸图像中的目标像素点在所述多个三角形中所在的目标三角形；

根据重心坐标插值公式、所述目标三角形的顶点的坐标，以及所述目标像素点的坐标，确定第一权重、第二权重和第三权重，其中，所述第一权重表征所述目标像素点向所述目标三角形的第一顶点偏移的权重，所述第二权重表征所述目标像素点向所述目标三角形的第二顶点偏移的权重，所述第三权重表征所述目标像素点向所述目标三角形的第三顶点偏移的权重；

基于所述第一权重、所述第二权重和所述第三权重，以及所述目标三角形的顶点对应的第二关键点的坐标对所述目标像素点的坐标进行修正，以得到对所述目标像素点的坐标进行修正后的坐标。

可选地，所述基于所述多个第一关键点构建多个三角形包括：

以所述多个第一关键点以及所述三维人脸图像的边框顶点作为顶点构建多个三角形。

可选地，所述根据重心坐标插值公式、所述目标三角形顶点的坐标，以及所述目标像素点的坐标，确定第一权重、第二权重和第三权重包括：

根据所述重心坐标插值公式、所述目标三角形顶点的坐标、所述目标像素点的坐标，以及所述第三权重与所述第一权重和所述第二权重的关系，构建两个包含所述第一权重和所述第二权重的二元方程；

根据所述两个二元方程构成的方程组计算所述第一权重和所述第二权重；

根据所述第一权重和所述第二权重，以及所述第三权重与所述第一权重和所述第二权重的关系计算所述第三权重。

可选地，所述基于所述第一权重、所述第二权重和所述第三权重，以及所述目标三角形的顶点对应的第二关键点的坐标对所述目标像素点的坐标进行修正，以得到对所述目标像素点的坐标进行修正后的坐标包括：

根据所述重心坐标插值公式，所述第一权重、所述第二权重、所述第三权重，以及所述目标三角形的顶点对应的第二关键点的坐标，计算对所述目标像素点的坐标进行修正后的坐标。

可选地，不同的所述三角形的边不相交。

根据本公开实施例的第二方面，提供一种三维人脸图像修正装置，包括：

三维图像构建模块，被配置为执行根据二维人脸图像构建三维人脸图像，其中，所述三维人脸图像包含多个第一关键点，每个第一关键点与所述二维人脸图像中的一个第二关键点对应；

三角形构建模块，被配置为执行基于所述多个第一关键点构建多个三角形；

三角形确定模块，被配置为执行确定所述三维人脸图像中的目标像素点在所述多个三角形中所在的目标三角形；

权重确定模块，被配置为执行根据重心坐标插值公式、所述目标三角形的顶点的坐标，以及所述目标像素点的坐标，确定第一权重、第二权重和第三权重，其中，所述第一权重表征所述目标像素点向所述目标三角形的第一顶点偏移的权重，所述第二权重表征所述目标像素点向所述目标三角形的第二顶点偏移的权重，所述第三权重表征所述目标像素点向所述目标三角形的第三顶点偏移的权重；

坐标修正模块，被配置为执行基于所述第一权重、所述第二权重和所述第三权重，以及所述目标三角形的顶点对应的第二关键点的坐标对所述目标像素点的坐标进行修正，以得到对所述目标像素点的坐标进行修正后的坐标。

可选地，所述三角形构建模块，被配置为执行以所述多个第一关键点以及所述三维人脸图像的边框顶点作为顶点构建多个三角形。

可选地，所述权重确定模块包括：

方程构建子模块，被配置为执行根据所述重心坐标插值公式、所述目标三角形顶点的坐标、所述目标像素点的坐标，以及所述第三权重与所述第一权重和所述第二权重的关系，构建两个包含所述第一权重和所述第二权重的二元方程；

第一计算子模块，被配置为执行根据所述两个二元方程构成的方程组计算所述第一权重和所述第二权重；

第二计算子模块，被配置为执行根据所述第一权重和所述第二权重，以及所述第三权重与所述第一权重和所述第二权重的关系计算所述第三权重。

可选地，所述坐标修正模块，被配置为执行根据所述重心坐标插值公式，所述第一权重、所述第二权重、所述第三权重，以及所述目标三角形的顶点对应的第二关键点的坐标，计算对所述目标像素点的坐标进行修正后的坐标。

可选地，不同的所述三角形的边不相交。

根据本公开实施例的第三方面，提供一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如上述任一实施例所述的三维人脸图像修正方法。

根据本公开实施例的第四方面，提供一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上述任一实施例所述的三维人脸图像修正方法。

根据本公开实施例的第五方面，提供一种计算机程序产品，所述计算机程序产品被配置为执行上述任一实施例所述的三维人脸图像修正方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

可以保证修正后的三维人脸图像中的像素点的位置信息，和三维人脸图像中的像素点在二维人脸图像中对应点的位置信息在很大程度上是相同的，进而当二维人脸图像中的人脸变化时，每一帧二维人脸图像对应的三维人脸图像中的像素点，都能够与二维人脸图像中对应点的位置相同，也即可以随着二维人脸图像中对应点运动，确保三维人脸图像中的像素点与二维人脸图像中的像素点完全匹配。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据本公开的实施例示出的一种三维人脸图像修正方法的示意流程图。

图2是根据本公开的实施例示出的一种构建三角形的示意图。

图3是相关技术中三维人脸图像模仿二维人脸图像变化的示意图。

图4是根据本公开的实施例示出的三维人脸图像模仿二维人脸图像变化的示意图。

图5是根据本公开的实施例示出的另一种三维人脸图像修正方法的示意流程图。

图6是根据本公开的实施例示出的又一种三维人脸图像修正方法的示意流程图。

图7是根据本公开的实施例示出的又一种三维人脸图像修正方法的示意流程图。

图8是根据本公开的实施例示出的三维人脸图像修正装置所在设备的一种硬件结构图。

图9是根据本公开的实施例示出的一种三维人脸图像修正装置的示意框图。

图10是根据本公开的实施例示出的一种权重确定模块的示意框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

由于在二维人脸图像构建三维人脸图像的过程中，所依据的参数化的基是有限的，所能表示的三维人脸的属性也就很有限，导致三维人脸图像中的第一关键点，在二维人脸图像中的投影与二维人脸图像中对应第二关键点并不重合。

其中，对于关键点可以预先设置标识，例如序号，第一关键点和第二关键点的对应关系可以根据标识来确定，例如具有相同标识的第一关键点和第二关键点是相对应的，针对标识为1的第一关键点，可以确定与二维人脸图像中标识为1的第二关键点对应。

在上述情况下，除了三维人脸图像中的关键点，在二维人脸图像中的投影与二维人脸图像中对应关键点并不重合，三维人脸图像中的其他点，在二维人脸图像中的投影与二维人脸图像中的对应点也不重合，

三维人脸图像中的第一关键点在二维人脸图像中的投影，可以通过第一关键点的坐标中平行于三维人脸图像所在平面的两维坐标来表示，例如三维人脸图像中某个点的坐标为(x,y,z)，其中前两维x和y为平行于三维人脸图像所在平面的两维坐标，那么该坐标在二维人脸图像中的投影可以通过前两维坐标(x,y)来表示。

例如三维人脸图像中的某个第一关键点，在二维人脸图像中对应的第二关键点的坐标也是(4,5)，但是该第一关键点的前两维坐标(x,y)是(4.2,5.5)，与第二关键点并不重合。

而且并不仅仅是针对三维人脸图像中的第二关键点存在上述问题，针对三维人脸图像中的所有点都存在上述问题，也即在三维人脸图像中的某个点(以下称作目标像素点)，其前两维坐标，与二维人脸图像中对应点不重合。

上述问题会导致，当二维人脸图像中变化时，三维人脸图像中并不能准确地模仿二维人脸图像的变化，例如二维人脸图像中点A的坐标改变时，三维人脸图像中与点对应的像素点A’前两维坐标改变的结果，与改变后的像素点A的坐标不重合，从而导致三维人脸中的像素点A’不能准确地模仿二维人脸图像点A的变化。

图1是根据本公开的实施例示出的一种三维人脸图像修正方法的示意流程图。本公开的实施例所述的三维人脸图像修方法，可以适用于能够根据二维人脸图像构建三维人脸图像的电子设备，所述电子设备可以是手机，平板电脑，可穿戴设备等终端，也可以是服务器。

如图1所示，所述三维人脸图像修正方法可以包括以下步骤：

在步骤S1中，根据二维人脸图像构建三维人脸图像，其中，所述三维人脸图像包含多个第一关键点，每个第一关键点与所述二维人脸图像中的一个第二关键点对应；

在一个实施例中，根据二维人脸图像构建三维人脸图像，可以基于3dmm(3dmm，3dmorphable model，三维形变模型)来根据二维人脸图像构建三维人脸图像，具体的3dmm可以根据需要进行选择。例如可以将二维人脸图像中的人脸通过一组参数化的基(可以理解为特征向量)来表示，然后根据所述基对二维人脸图像中的第二关键点进行处理，得到三维人脸图像中的第一关键点，由于三维人脸图像可以基于其中的第一关键点来表示，所以确定了三维人脸图像中的第一关键点，就确定了三维人脸图像。

其中，可以根据单帧二维人脸图像来构建三维人脸图像，也可以根据多帧二维人脸图像来构建三维人脸图像；关键点的数量可以根据需要进行设置，例如可以设置101个关键点，那么二维人脸图像包含101个第二关键点，三维人脸图像中包含101个第一关键点。

其中，对于关键点可以预先设置标识，例如序号，第一关键点和第二关键点的对应关系可以根据标识来确定，例如具有相同标识的第一关键点和第二关键点是相对应的，针对标识为1的第一关键点，可以确定与二维人脸图像中标识为1的第二关键点对应。

在步骤S2中，基于所述多个第一关键点构建多个三角形；

图2是根据本公开的实施例示出的一种构建三角形的示意图。以在二维人脸图像中有101个第二关键点为例，那么如图2所示，可以在三维人脸图像中确定101个第一关键点，进而可以将三维人脸图像中的第一关键点作为顶点构建三角形，除了第一关键点，三维人脸图像还包括边框的4个顶点，连同101个第一关键点共105个点，还可以将这105个点作为顶点构建三角形。

需要说明的是，本实施例中的三角形，是基于三维人脸图像中第一关键点的前两维坐标(x,y)来构建的，不考虑第一关键点的高度坐标，可以将第一关键点向图2所示的二维人脸图像投影，在二维人脸图像中显示第一关键点的前两维坐标对应的点作为顶点来构建三角形。

在步骤S3中，确定所述三维人脸图像中的目标像素点在所述多个三角形中所在的目标三角形；

在步骤S4中，根据重心坐标插值公式、所述目标三角形的顶点的坐标，以及所述目标像素点的坐标，确定第一权重、第二权重和第三权重，其中，所述第一权重表征所述目标像素点向所述目标三角形的第一顶点偏移的权重，所述第二权重表征所述目标像素点向所述目标三角形的第二顶点偏移的权重，所述第三权重表征所述目标像素点向所述目标三角形的第三顶点偏移的权重；

在步骤S5中，基于所述第一权重、所述第二权重和所述第三权重，以及所述目标三角形的顶点对应的第二关键点的坐标对所述目标像素点的坐标进行修正，以得到对所述目标像素点的坐标进行修正后的坐标。

由于第一关键点是根据第二关键点得到的，所以针对第一关键点而言，第二关键点位于二维人脸图像中，其位置是准确的，所以第二关键点的坐标就是第一关键点修正后的坐标。

其中，第二关键点的坐标可以表示第一关键点的坐标与第一关键点相对第二关键点的偏移量，例如作为顶点的第一关键点的坐标为(x1,y1)，对应的第二关键点的坐标为(x1',y1')，可以表示(x1+a1,y1+b1)，a1为第一关键点在x方向上相对第二关键点的偏移量，b1为第一关键点在y方向上相对第二关键点的偏移量，其中(x1',y1')作为第二关键点是预先确定的，是已知的，(x1,y1)作为第一关键点是根据第二关键点得到的，也是已知的。

由于三角形中任一像素点的坐标可以根据三角形的顶点的坐标来确定，那么基于第一关键点相对第二关键点的偏移量，就可以确定以第一关键点作为顶点的三角形中任一像素点的坐标与其修正后的坐标之间的偏移量，进而基于第一关键点的坐标和第一关键点相对第二关键点的偏移量，就可以确定以第一关键点作为顶点的三角形中任一像素点修正后的坐标，并且由于第二关键点的坐标表示第一关键点的坐标与第一关键点相对第二关键点的偏移量，也就可以根据第二关键点的坐标确定以第一关键点作为顶点的三角形中任一像素点修正后的坐标。

根据本公开的实施例，先确定三维人脸图像中的目标像素点所在的目标三角形，然后根据重心坐标插值公式、所述目标三角形的顶点的坐标，以及所述目标像素点的坐标，确定第一权重、第二权重和第三权重，其中，所述第一权重表征所述目标像素点向所述目标三角形的第一顶点偏移的权重，所述第二权重表征所述目标像素点向所述目标三角形的第二顶点偏移的权重，所述第三权重表征所述目标像素点向所述目标三角形的第三顶点偏移的权重。

而目标三角形的顶点可以都是第一关键点，第一关键点的坐标和在二维人脸图像中对应的第二关键点的坐标都是已知的，进而基于得到的第一权重、第二权重和第三权重对目标三角形的顶点对应的第二关键点的坐标进行加权求和，就可以确定目标三角形中任一像素点修正后的坐标，也即对目标像素点修正后的坐标。

据此，可以保证修正后的三维人脸图像中的像素点的位置信息，和三维人脸图像中的像素点在二维人脸图像中对应点的位置信息在很大程度上是相同的，进而当二维人脸图像中的人脸变化时，每一帧二维人脸图像对应的三维人脸图像中的像素点，都能够与二维人脸图像中对应点的位置相同，确保三维人脸图像准确地匹配二维人脸图像的变化。

图3是相关技术中三维人脸图像模仿二维人脸图像变化的示意图。图4是根据本公开的实施例示出的三维人脸图像模仿二维人脸图像变化的示意图。

如图3和图4所示，当二维图像中人的左眼闭合时，在相关技术中，如图3所示，左眼未完全闭合，而根据本公开的实施例，如图4所示，左眼完全闭合。并且除了左眼的显示存在问题，图3所示的图像中鼻子尺寸与二维图像中鼻子尺寸不符，嘴巴内边缘贴合效果差，图4中则不存在类似问题。

可见，根据本公开的实施例，三维人脸图像中的像素点与二维人脸图像中的像素点完全匹配，三维人脸图像准确地模仿二维人脸图像变化，实现了良好的显示效果。

需要说明的是，本实施例中的目标三角形并不是特指某个三角形，而是以多个第一关键点作为顶点构建多个三角形中的任一三角形。目标像素点并不是特指三维人脸图像中的某一点，而是三维人脸图像中的任一像素点。

图5是根据本公开的实施例示出的另一种三维人脸图像修正方法的示意流程图。如图5所示，所述基于所述多个第一关键点构建多个三角形包括：

在步骤S21中，以所述多个第一关键点以及所述三维人脸图像的边框顶点作为顶点构建多个三角形。

在一个实施例中，构建三角形所依据的像素点除了第一关键点，还可以包括三维人脸图像的边框顶点，例如图2所示三维人脸图像为矩形，那么存在4个边框顶点，与101个第一关键点一起共105个点作为顶点构建三角形。

由于第二关键点一般选择在眉毛，眼睛，嘴唇，鼻子，脸颊附近，根据第二关键点确定的第一关键点也位于眉毛，眼睛，嘴唇，鼻子，脸颊附近，而基于这些第一关键点构建三角形，额头，耳朵上的像素点并不位于这些三角形之中，那么就确定不出额头和耳朵上的目标像素点所在的目标三角形，从而不能完成对额头和耳朵上的目标像素点的修正。

而根据本公开的实施例，以多个第一关键点以及三维人脸图像的边框顶点作为顶点构建多个三角形，由于三维人脸图像的边框顶点和边框顶点之间，以及边框顶点和第一关键点之间构成的三角形可以包含额头，耳朵上的像素点，从而能够确定出额头和耳朵上的目标像素点所在的目标三角形，进而可以完成对额头和耳朵上的目标像素点的修正。

图6是根据本公开的实施例示出的又一种三维人脸图像修正方法的示意流程图。如图6所示，所述根据重心坐标插值公式、所述目标三角形顶点的坐标，以及所述目标像素点的坐标，确定第一权重、第二权重和第三权重包括：

在步骤S41中，根据所述重心坐标插值公式、所述目标三角形顶点的坐标、所述目标像素点的坐标，以及所述第三权重与所述第一权重和所述第二权重的关系，构建两个包含所述第一权重和所述第二权重的二元方程；

在步骤S42中，根据所述两个二元方程构成的方程组计算所述第一权重和所述第二权重；

在步骤S43中，根据所述第一权重和所述第二权重，以及所述第三权重与所述第一权重和所述第二权重的关系计算所述第三权重。

在一个实施例中，对于目标像素点(x,y)而言，其所在的目标三角形的三个顶点的坐标分别为(x1,y1)，(x2,y2)，(x3,y3)，这三个顶点都是第一关键点，坐标是已知的，待修正三角在二维人脸图像中对应三角形的三个第二关键点的坐标分别为(x1',y1')，(x2',y2')，(x3',y3')，这三个第二关键点的坐标也是已知的。

对于目标三角形内的目标像素点(x,y)，基于重心坐标插值公式可以得到：

(x,y)＝w1(x1,y1)+w2(x2,y2)+w3(x3,y3)；

据此可以得到两个二元方程：

x＝x1-w1*x1-w2*x1+w2*x2+w2*x3；

y＝y1-w1*y1-w2*y1+w2*y2+w2*y3；

由于x,y,x1,x2,x3,y1,y2,y3都是已知的，也即上述两个二元方程中只有w1和w2是未知数，进而根据上述两个二元方程组成的二元方程组可以求得w1和w2。

其中，w1＝[(y2-y3)*(x-x3)+(x3-x2)*(y-y3)]/[(y2-y3)*(x1-x3)+(x3-x2)*(y1-y3)]；

w2＝[(y3-y1)*(x-x3)+(x1-x3)*(y-y3)]/[(y2-y3)*(x1-x3)+(x3-x2)*(y1-y3)]；

w3＝1-w1-w2。

图7是根据本公开的实施例示出的又一种三维人脸图像修正方法的示意流程图。如图7所示，所述基于所述第一权重、所述第二权重和所述第三权重，以及所述目标三角形的顶点对应的第二关键点的坐标对所述目标像素点的坐标进行修正，以得到对所述目标像素点的坐标进行修正后的坐标包括：

在步骤S51中，根据所述重心坐标插值公式，所述第一权重、所述第二权重、所述第三权重，以及所述目标三角形的顶点对应的第二关键点的坐标，计算对所述目标像素点的坐标进行修正后的坐标。

在一个实施例中，在确定第一权重w1、第二权重w2和第三权重w3后，可以根据第一权重w1、所述第二权重w2和第三权重w3，可以对目标三角形的顶点对应的第二关键点(x1',y1')，(x2',y2')，(x3',y3')进行加权求和。

目标三角形的一个顶点坐标为(x1,y1)，该顶点对应的第二关键点的坐标为(x1',y1')，可以表示(x1+a1,y1+b1)，a1为第一关键点在x方向上相对第二关键点的偏移量，b1为第一关键点在y方向上相对第二关键点的偏移量，其中(x1',y1')作为第二关键点是已知的，(x1,y1)作为第一关键点是根据第二关键点得到的，也是已知的。

由于三角形中任一像素点的坐标可以根据三角形的顶点的坐标来确定，那么基于第一关键点相对第二关键点的偏移量，就可以确定以第一关键点作为顶点的三角形中任一像素点的坐标与其修正后的坐标之间的偏移量。进而基于第一关键点的坐标和第一关键点相对第二关键点的偏移量，就可以确定以第一关键点作为顶点的三角形中任一像素点修正后的坐标，并且由于第二关键点的坐标表示第一关键点的坐标与第一关键点相对第二关键点的偏移量，也就可以根据第二关键点的坐标确定以第一关键点作为顶点的三角形中任一像素点修正后的坐标。

对于上述重心坐标插值公式中的顶点(x1,y1)，可以通过该顶点对应的第二关键点的坐标(x1',y1')来替换，相应地，对于上述重心坐标插值公式中的顶点(x2,y2)，可以通过该顶点对应的第二关键点的坐标(x2',y2')来替换，对于上述重心坐标插值公式中的顶点(x3,y3)，可以通过该顶点对应的第二关键点的坐标(x3',y3')来替换，从而得到目标像素点(x,y)修正后的坐标(x',y')：

(x',y')＝w1(x1',y1')+w2(x2',y2')+w3(x3',y3')；

也即：

x'＝w1*x1'+w2*x2'+w3*x3'；

y'＝w1*y1'+w2*y2'+w3*y3'；

据此，可以解出x'和y'，从而求出对目标像素点的坐标(x,y)进行修正后的坐标(x',y')。

需要说明的是，上述实施例是在二维人脸图像中的坐标系和三维人脸图像的坐标系相同的情况下举例。而对于二维人脸图像中的坐标系和三维人脸图像的坐标系不同的情况，本实施例也同样适用，在基于上述三个权重对目标三角形的顶点对应的第二关键点进行加权求和后，可以根据二维人脸图像中的坐标系和三维人脸图像的坐标系之间的转换矩阵进行转换，才能完成对目标像素点的修正

可选地，不同的所述三角形的边不相交。

在一个实施例中，在构建三角形时，设定不同的三角形的边不相交，可以在确定目标像素点所在的目标三角形时，避免目标像素点位于两个目标三角形中，导致不能方便的确定目标像素点所在的目标三角形。

可选地，所述多个第一关键点为101个关键点，所述多个第二关键点为101个关键点。

在一个实施例中，可以通过101个关键点表示人脸的特征。也可以根据需要设置第一关键点和第二关键点的数量，例如多于101个或者少于101个。

本公开实施例示出的三维人脸图像修正装置的实施例可以应用在终端或服务器等设备上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图8所示，为根据本公开的实施例示出的三维人脸图像修正装置所在设备的一种硬件结构图，除了图8所示的处理器、网络接口、内存以及非易失性存储器之外，实施例中装置所在的设备通常还可以包括其他硬件，如负责处理报文的转发芯片等等；从硬件结构上来讲该设备还可能是分布式的设备，可能包括多个接口卡，以便在硬件层面进行报文处理的扩展。

与前述三维人脸图像修正方法的实施例相对应地，本公开还提出了三维人脸图像修正装置的实施例。

图9是根据本公开的实施例示出的一种三维人脸图像修正装置的示意框图。本公开的实施例所述的三维人脸图像修装置，可以适用于能够根据二维人脸图像构建三维人脸图像的电子设备，所述电子设备可以是手机，平板电脑，可穿戴设备等终端，也可以是服务器。

如图9所示，所述三维人脸图像修正装置可以包括：

三维图像构建模块1，被配置为执行根据二维人脸图像构建三维人脸图像，其中，所述三维人脸图像包含多个第一关键点，每个第一关键点与所述二维人脸图像中的一个第二关键点对应；

三角形构建模块2，被配置为执行基于所述多个第一关键点构建多个三角形；

三角形确定模块3，被配置为执行确定所述三维人脸图像中的目标像素点在所述多个三角形中所在的目标三角形；

权重确定模块，4被配置为执行根据重心坐标插值公式、所述目标三角形的顶点的坐标，以及所述目标像素点的坐标，确定第一权重、第二权重和第三权重，其中，所述第一权重表征所述目标像素点向所述目标三角形的第一顶点偏移的权重，所述第二权重表征所述目标像素点向所述目标三角形的第二顶点偏移的权重，所述第三权重表征所述目标像素点向所述目标三角形的第三顶点偏移的权重；

坐标修正模块5，被配置为执行基于所述第一权重、所述第二权重和所述第三权重，以及所述目标三角形的顶点对应的第二关键点的坐标对所述目标像素点的坐标进行修正，以得到对所述目标像素点的坐标进行修正后的坐标。

可选地，所述三角形构建模块，被配置为执行以所述多个第一关键点以及所述三维人脸图像的边框顶点作为顶点构建多个三角形。

图10是根据本公开的实施例示出的一种权重确定模块的示意框图。如图10所示，所述权重确定模块4包括：

方程构建子模块41，被配置为执行根据所述重心坐标插值公式、所述目标三角形顶点的坐标、所述目标像素点的坐标，以及所述第三权重与所述第一权重和所述第二权重的关系，构建两个包含所述第一权重和所述第二权重的二元方程；

第一计算子模块42，被配置为执行根据所述两个二元方程构成的方程组计算所述第一权重和所述第二权重；

第二计算子模块43，被配置为执行根据所述第一权重和所述第二权重，以及所述第三权重与所述第一权重和所述第二权重的关系计算所述第三权重。

可选地，所述坐标修正模块，被配置为执行根据所述重心坐标插值公式，所述第一权重、所述第二权重、所述第三权重，以及所述目标三角形的顶点对应的第二关键点的坐标，计算对所述目标像素点的坐标进行修正后的坐标。

可选地，不同的所述三角形的边不相交。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本公开的实施例还提出一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现上述任一实施例所述的三维人脸图像修正方法。

本公开的实施例还提出一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述任一实施例所述的三维人脸图像修正方法。

可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本公开的实施例还提出一种计算机程序产品，所述计算机程序产品被配置为执行上述任一实施例所述的三维人脸图像修正方法。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本公开实施例所提供的方法和装置进行了详细介绍，本文中应用了具体个例对本公开的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本公开的方法及其核心思想；同时，对于本领域的一般技术人员，依据本公开的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本公开的限制。

Claims (12)

1.一种三维人脸图像修正方法，其特征在于，包括：

根据二维人脸图像构建三维人脸图像，其中，所述三维人脸图像包含多个第一关键点，每个第一关键点与所述二维人脸图像中的一个第二关键点对应；

基于所述多个第一关键点构建多个三角形；

确定所述三维人脸图像中的目标像素点在所述多个三角形中所在的目标三角形；

根据重心坐标插值公式、所述目标三角形的顶点的坐标，以及所述目标像素点的坐标，确定第一权重、第二权重和第三权重，其中，所述第一权重表征所述目标像素点向所述目标三角形的第一顶点偏移的权重，所述第二权重表征所述目标像素点向所述目标三角形的第二顶点偏移的权重，所述第三权重表征所述目标像素点向所述目标三角形的第三顶点偏移的权重；

基于所述第一权重、所述第二权重和所述第三权重，以及所述目标三角形的顶点对应的第二关键点的坐标对所述目标像素点的坐标进行修正，以得到对所述目标像素点的坐标进行修正后的坐标。

2.根据权利要求1所述的方法，其特征在于，所述基于所述多个第一关键点构建多个三角形包括：

以所述多个第一关键点以及所述三维人脸图像的边框顶点作为顶点构建多个三角形。

3.根据权利要求1所述的方法，其特征在于，所述根据重心坐标插值公式、所述目标三角形顶点的坐标，以及所述目标像素点的坐标，确定第一权重、第二权重和第三权重包括：

根据所述重心坐标插值公式、所述目标三角形顶点的坐标、所述目标像素点的坐标，以及所述第三权重与所述第一权重和所述第二权重的关系，构建两个包含所述第一权重和所述第二权重的二元方程；

根据所述两个二元方程构成的方程组计算所述第一权重和所述第二权重；

根据所述第一权重和所述第二权重，以及所述第三权重与所述第一权重和所述第二权重的关系计算所述第三权重。

4.根据权利要求3所述的方法，其特征在于，所述基于所述第一权重、所述第二权重和所述第三权重，以及所述目标三角形的顶点对应的第二关键点的坐标对所述目标像素点的坐标进行修正，以得到对所述目标像素点的坐标进行修正后的坐标包括：

根据所述重心坐标插值公式，所述第一权重、所述第二权重、所述第三权重，以及所述目标三角形的顶点对应的第二关键点的坐标，计算对所述目标像素点的坐标进行修正后的坐标。

5.根据权利要求1至4中任一项所述的方法，其特征在于，不同的所述三角形的边不相交。

6.一种三维人脸图像修正装置，其特征在于，包括：

三维图像构建模块，被配置为执行根据二维人脸图像构建三维人脸图像，其中，所述三维人脸图像包含多个第一关键点，每个第一关键点与所述二维人脸图像中的一个第二关键点对应；

三角形构建模块，被配置为执行基于所述多个第一关键点构建多个三角形；

三角形确定模块，被配置为执行确定所述三维人脸图像中的目标像素点在所述多个三角形中所在的目标三角形；

权重确定模块，被配置为执行根据重心坐标插值公式、所述目标三角形的顶点的坐标，以及所述目标像素点的坐标，确定第一权重、第二权重和第三权重，其中，所述第一权重表征所述目标像素点向所述目标三角形的第一顶点偏移的权重，所述第二权重表征所述目标像素点向所述目标三角形的第二顶点偏移的权重，所述第三权重表征所述目标像素点向所述目标三角形的第三顶点偏移的权重；

坐标修正模块，被配置为执行基于所述第一权重、所述第二权重和所述第三权重，以及所述目标三角形的顶点对应的第二关键点的坐标对所述目标像素点的坐标进行修正，以得到对所述目标像素点的坐标进行修正后的坐标。

7.根据权利要求6所述的装置，其特征在于，所述三角形构建模块，被配置为执行以所述多个第一关键点以及所述三维人脸图像的边框顶点作为顶点构建多个三角形。

8.根据权利要求6所述的装置，其特征在于，所述权重确定模块包括：

方程构建子模块，被配置为执行根据所述重心坐标插值公式、所述目标三角形顶点的坐标、所述目标像素点的坐标，以及所述第三权重与所述第一权重和所述第二权重的关系，构建两个包含所述第一权重和所述第二权重的二元方程；

第一计算子模块，被配置为执行根据所述两个二元方程构成的方程组计算所述第一权重和所述第二权重；

第二计算子模块，被配置为执行根据所述第一权重和所述第二权重，以及所述第三权重与所述第一权重和所述第二权重的关系计算所述第三权重。

9.根据权利要求8所述的装置，其特征在于，所述坐标修正模块，被配置为执行根据所述重心坐标插值公式，所述第一权重、所述第二权重、所述第三权重，以及所述目标三角形的顶点对应的第二关键点的坐标，计算对所述目标像素点的坐标进行修正后的坐标。

10.根据权利要求6至9中任一项所述的装置，其特征在于，不同的所述三角形的边不相交。

11.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至5中任一项所述的三维人脸图像修正方法。

12.一种存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至5中任一项所述的三维人脸图像修正方法。