CN109741438A - 三维人脸建模方法、装置、设备及介质 - Google Patents

Abstract

本发明公开了一种三维人脸建模方法、装置、设备及介质。该方法包括：将人脸二维图像的特征点信息映射到人脸三维模型的纹理贴图UV坐标上，并通过后续的图像无色差融合、骨骼点调整，得到人脸二维图像对应的人脸三维模型。根据本发明实施例，能够根据人脸二维图像构建人脸的三维模型，提升用户体验。

Description

三维人脸建模方法、装置、设备及介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种三维人脸建模方法、装置、设备及介质。

背景技术

自从上世纪70年代Parke建立第一个三维人脸模型以来，三维人脸重建就成为了计算机图形学领域中的研究重点，并取得了一定的突破和进展。三维人脸重建的应用领域非常广泛，可以用于影视动漫、医学图形、人脸识别、虚拟试发、虚拟试衣等。

例如，各大网络游戏产品《剑灵》、《EVE》、《楚留香》等均使用了捏脸系统。在玩游戏的过程中，用户可以根据特定的人物模型对五官做出相应的修改，表达对对方的喜爱之情或对其某行为做出惩罚。网络游戏中玩家对虚拟角色样貌进行自行制作(Do It Yourself，DIY)等数据操作，以此增加游戏乐趣。

但是，传统的人脸建模往往是由美工手工进行建模，会耗费大量的时间和人力，也使得三维人脸重建的技术难以普及。而现有的快速人脸建模方法稳定性低、建模速度慢、用户体验差。

发明内容

为了解决上述中的至少一个技术问题，本发明实施例提供了一种三维人脸建模方法、装置、设备及介质，能够根据人脸二维图像构建人脸的三维模型，提升用户体验。

第一方面，本发明实施例提供了一种三维人脸建模方法，方法包括：

获取目标人脸图像的关键特征点，并根据所述关键特征点确定所述目标人脸图像的脸型；

获取与所述脸型对应的原始三维人脸模型，并获取与所述原始三维人脸模型对应的原始三维人脸面板；

将所述目标人脸图像的关键特征点映射到所述原始三维人脸面板的纹理贴图UV坐标上，得到映射后的人脸图像，并从所述映射后的人脸图像上提取人脸面部区域得到第一人脸贴图；

获取与所述原始三维人脸模型对应的原始纹理贴图、所述原始纹理贴图的灰度图及与所述原始纹理贴图对应的蒙版Mask图，并将所述第一人脸贴图、所述原始纹理贴图、所述原始纹理贴图的灰度图及所述Mask图进行融合，得到第二人脸贴图；

将所述第二人脸贴图贴到所述原始三维人脸模型上得到第一三维人脸模型，并调整所述第一三维人脸模型的骨骼点，使所述第一三维人脸模型上的关键特征点到预设标准位置的距离与对应的所述目标人脸图像的关键特征点到所述预设标准位置的距离的比例为等比例关系，得到目标三维人脸模型。

根据本发明实施例的三维人脸建模方法，所述调整所述第一三维人脸模型的骨骼点，使所述第一三维人脸模型上的关键特征点到预设标准位置的距离与对应的所述目标人脸图像的关键特征点到所述预设标准位置的距离的比例为等比例关系，包括：

使所述第一三维人脸模型上的预设标准位置与所述目标人脸图像上的预设标准位置对齐，基于所述预设标准位置调整所述第一三维人脸模型的骨骼点；

得到所述第一三维人脸模型的第一关键特征点到所述预设标准位置的距离L1、所述目标人脸图像上的与所述第一关键特征点对应的关键特征点到预设标准位置的距离L11、所述第一三维人脸模型的第二关键特征点到所述预设标准位置的距离L2、及所述目标人脸图像上的与所述第二关键特征点对应的关键特征点到预设标准位置的距离L22，所述L1与L11的比值等于所述L2与L22的比值。

根据本发明实施例的三维人脸建模方法，所述将所述第一人脸贴图、所述原始纹理贴图、所述原始纹理贴图的灰度图及所述Mask图进行融合，包括：

根据三维着色器Unity3D shader将所述第一人脸贴图、所述原始纹理贴图、所述原始纹理贴图的灰度图及所述Mask图进行融合，使所述第一人脸贴图与所述原始纹理贴图能够无色差融合。

根据本发明实施例的三维人脸建模方法，所述融合包括下列中的一项或者多项：修边、美白、磨皮、调色。

根据本发明实施例的三维人脸建模方法，所述从所述映射后的人脸图像上提取人脸面部区域得到第一人脸贴图，包括：

利用相机拍摄渲染从所述映射后的人脸图像上提取人脸面部区域，得到与所述目标人脸图像尺寸相同的第一人脸贴图，所述第一人脸贴图上的人脸面部区域之外的区域为透明区域。

根据本发明实施例的三维人脸建模方法，所述方法还包括：

按照标准脸型的人脸图像建立原始三维人脸模型、与所述原始三维人脸模型对应的原始三维人脸面板、与所述原始三维人脸模型对应的原始纹理贴图、所述原始纹理贴图的灰度图、及与所述原始三维人脸面板对应的Mask图；

所述标准脸型包括下项中的一项或多项：方形脸、三角脸、椭圆脸、心形脸、圆脸。

根据本发明实施例的三维人脸建模方法，所述按照标准脸型的人脸图像建立原始三维人脸模型，包括：

按照标准脸型的人脸图像的关键特征点建立原始三维人脸模型，使所述关键特征点均匀地分布在所述原始三维人脸模型的面部线条上。

根据本发明实施例的三维人脸建模方法，所述原始三维人脸面板包括多个顶点，所述顶点与所述目标人脸图像的关键特征点一一对应，其中，所述顶点为所述原始三维人脸面板上的多个三角形面片共用的顶点。

第二方面，本发明实施例提供了一种三维人脸建模装置，装置包括：

人脸图像获取模块，用于获取目标人脸图像的关键特征点，并根据所述关键特征点确定所述目标人脸图像的脸型；

原始模型获取模块，用于获取与所述脸型对应的原始三维人脸模型，并获取与所述原始三维人脸模型对应的原始三维人脸面板；

特征点调整模块，用于将所述目标人脸图像的关键特征点映射到所述原始三维人脸面板的UV坐标上，得到映射后的人脸图像，并从所述映射后的人脸图像上提取人脸面部区域得到第一人脸贴图；

图像融合模块，用于获取与所述原始三维人脸模型对应的原始纹理贴图、所述原始纹理贴图的灰度图及与所述原始纹理贴图对应的Mask图，并将所述第一人脸贴图、所述原始纹理贴图、所述原始纹理贴图的灰度图及所述Mask图进行融合，得到第二人脸贴图；

骨骼点调整模块，用于将所述第二人脸贴图贴到所述原始三维人脸模型上得到第一三维人脸模型，并调整所述第一三维人脸模型的骨骼点，使所述第一三维人脸模型上的关键特征点到预设标准位置的距离与对应的所述目标人脸图像的关键特征点到所述预设标准位置的距离的比例为等比例关系，得到目标三维人脸模型。

本发明实施例提供了一种三维人脸建模设备，包括：至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。

本发明实施例提供的三维人脸建模方法、装置、设备及介质，通过获取目标人脸图像的关键特征点，并根据关键特征点确定目标人脸图像的脸型；获取与脸型对应的原始三维人脸模型，并获取与原始三维人脸模型对应的原始三维人脸面板；将目标人脸图像的关键特征点映射到原始三维人脸面板的纹理贴图UV坐标上，得到映射后的人脸图像，并从映射后的人脸图像上提取人脸面部区域得到第一人脸贴图；获取与原始三维人脸模型对应的原始纹理贴图、原始纹理贴图的灰度图及与原始纹理贴图对应的蒙版Mask图，并将第一人脸贴图、原始纹理贴图、原始纹理贴图的灰度图及Mask图进行融合，得到第二人脸贴图；将第二人脸贴图贴到原始三维人脸模型上得到第一三维人脸模型，并调整第一三维人脸模型的骨骼点，使第一三维人脸模型上的关键特征点到预设标准位置的距离与对应的目标人脸图像的关键特征点到预设标准位置的距离的比例为等比例关系，得到目标三维人脸模型。能够根据人脸二维图像构建人脸的三维模型，提升用户体验。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例的三维人脸建模方法的流程示意图；

图2示出了本发明实施例的标记关键特征点的目标人脸图像；

图3示出了本发明实施例的原始三维人脸模型；

图3-1示出了本发明实施例的原始三维人脸模型的脸部轮廓布线示意图；

图3-2示出了本发明实施例的原始三维人脸模型的额头布线示意图；

图3-3示出了本发明实施例的原始三维人脸模型的鼻梁根部位置示意图；

图3-4示出了本发明实施例的第一截图与纹理分布UVs图的合成示意图；

图4示出了本发明实施例的原始三维人脸面板；

图5示出了本发明实施例的目标人脸图像的关键特征点调整后的人脸目标区域图像；

图6示出了本发明实施例的原始纹理贴图、原始纹理贴图的灰度图及与蒙版Mask图；

图7示出了本发明实施例的图像融合过程示意图；

图8示出了本发明实施例的融合前后对比图；

图9示出了本发明实施例的标记骨骼点且带有原始纹理贴图的原始三维人脸模型；

图10示出了本发明实施例的目标人脸图像与生成的目标三维人脸模型的对比图；

图11示出了本发明实施例的三维人脸建模装置的结构图；

图12示出了本发明实施例的三维人脸建模设备的硬件结构图。

具体实施方式

下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

下面结合图，对本发明实施例的三维人脸建模方法、装置、设备及介质进行详细说明。应注意，这些实施例并不是用来限制本发明保护的范围。

图1示出了本发明实施例的三维人脸建模方法的流程示意图。如图1所示，三维人脸建模方法包括以下步骤：

S10，获取目标人脸图像的关键特征点，并根据关键特征点确定目标人脸图像的脸型；

S20，获取与脸型对应的原始三维人脸模型，并获取与原始三维人脸模型对应的原始三维人脸面板；

S30，将目标人脸图像的关键特征点映射到原始三维人脸面板的纹理贴图UV坐标上，得到映射后的人脸图像，并从映射后的人脸图像上提取人脸面部区域得到第一人脸贴图；

S40，获取与原始三维人脸模型对应的原始纹理贴图、原始纹理贴图的灰度图及与原始纹理贴图对应的蒙版Mask图，并将第一人脸贴图、原始纹理贴图、原始纹理贴图的灰度图及Mask图进行融合，得到第二人脸贴图；

S50，将第二人脸贴图贴到原始三维人脸模型上得到第一三维人脸模型，并调整第一三维人脸模型的骨骼点，使第一三维人脸模型上的关键特征点到预设标准位置的距离与对应的目标人脸图像的关键特征点到预设标准位置的距离的比例为等比例关系，得到目标三维人脸模型。

在S10中，获取如图2所示的标记关键特征点的目标人脸图像。人脸图像的关键特征点信包括脸部轮廓、嘴巴、鼻子、眼睛、眉毛上的特征点。关键特征点至少包括脸部轮廓的33个特征点、嘴巴的17个特征点、鼻子的15个特征点、两只眼睛的16个特征点。

根据脸部轮廓的特征点信息可以确定目标人脸图像的脸型，脸型包括方形脸、三角脸、椭圆脸、心形脸、圆脸。如图2所示的目标人脸图像为方形脸。

在S20中，根据目标人脸图像的脸型找到与其脸型对应的原始三维人脸模型。如图3所示的原始三维人脸模型即为与图2所示的目标人脸图像的脸型对应。

本发明的一个实施例中，提前制作各种脸型对应的原始三维人脸模型、与原始三维人脸模型对应的原始三维人脸面板、与原始三维人脸模型对应的原始纹理贴图、原始纹理贴图的灰度图及与原始纹理贴图对应的蒙版Mask图，并将制作好的各种脸型对应的原始三维人脸模型、原始三维人脸面板、原始纹理贴图、原始纹理贴图的灰度图及Mask图存入数据库中，以保证任意一张目标人脸图像都有与其脸型对应的原始三维人脸模型。

这里，原始三维人脸模型可以按照如下方式制作。按照标准脸型的人脸图像建立原始三维人脸模型，例如，方形脸。按照标准脸型的人脸图像的关键特征点建立原始三维人脸模型，使关键特征点均匀地分布在原始三维人脸模型的面部线条上。

例如，可以是根据图1所示的标记关键特征点的目标人脸图像。图3-1示出了本发明实施例的原始三维人脸模型的脸部轮廓布线示意图。根据脸部轮廓的33个关键特征点重新规划原始三维人脸模型的脸部轮廓的布线，根据关键特征点的相对位置，使脸部轮廓线条均匀、流畅。图3-2示出了本发明实施例的原始三维人脸模型的额头布线示意图。制作额头上的取样点时，没有参照的关键特征点，取样点之间的小距离向大距离转变时，距离是渐进的，保证中间距离的过渡性，防止目标人脸图像贴在原始三维模型上时出现大的拉扯。

根据嘴巴的17个关键特征点重新规划原始三维人脸模型的嘴巴的布线，使原始三维人脸模型的嘴巴的转折处都有对应的关键特征点，使嘴巴线条均匀、流畅。

根据鼻子的17个关键特征点重新规划原始三维人脸模型的鼻子的布线，使原始三维人脸模型的鼻子的转折处都有对应的关键特征点。图3-2示出了本发明实施例的原始三维人脸模型的鼻梁根部位置示意图。尤其是鼻梁根部的位置，鼻梁根部的位置要有对应的关键特征点，是鼻子线条均匀、流畅。

在本发明的一个实施例中，为了保留人物的具体特征，可以取消参照标准脸型的人脸图像的眉毛关键特征点，只需找准眼睛的关键特征点即可。根据眼睛的16个关键特征点重新规划原始三维人脸模型的眼睛的布线，使原始三维人脸模型的眼睛的转折处都有对应的关键特征点，使眼睛线条均匀、流畅。眼球的模型单独设置一个材质球，在三维软件unity取样人脸的时候不会算的眼球的部分，以保证眼球瞳仁的圆弧度。这里应当注意的是，眼睛的形状是菱形，在制作眼部模型时，取样点的位置应当根据眼睛的菱形形状放置。

将脸部区域的共计81个取样点，放在纹理贴图UV坐标系上进行选择，然后将带有81个取样点位置的图片截图，截图的长和宽的尺寸相同，得到第一截图。并导出对应的纹理分布UVs图，保存成4096*4096的图片形png格式。

将第一截图的尺寸改成4096*4096，叠放在UVs图下，在PS中进行合成，得到合成图。若第一截图的线与UVs图对准效果不佳，可以手动对准。

另外，可以用三维软件maya2018给建立的10*10的小单位构成的面片设置新的材质球，并且将合成图贴纸面片上，得到原始三维人脸模型和原始三维人脸模型对应的原始三维人脸面板。并将原始三维人脸面板保存为fbx格式。图4示出了本发明实施例的原始三维人脸面板。

原始三维人脸面板包括多个顶点，顶点与目标人脸图像的关键特征点一一对应，其中，顶点为原始三维人脸面板上的多个三角形面片共用的顶点。

在本发明的一个实施例中，将做好的面片原始纹理贴图导出到PS中，选中图片外边缘线，将选区收缩50个像素，新建一个图层，在图层上选区内用纯黑色填充(HSB中B值为0％)，再新建一个图层，将选区大小扩充5个像素，然后在新建的图层上填充黑色亮度B值为10％，如此循环做10次，最后使亮度B值达到100％(纯白)。

选中所有新建的图层并合并，选择高斯模糊，模糊半径2.5个像素，最后得到Mask图。

在S30中，目标人脸图像的将所述目标人脸图像的关键特征点映射到原始三维人脸面板的纹理贴图UV坐标上，得到映射后的人脸图像，并利用相机拍摄渲染从映射后的人脸图像上提取人脸面部区域得到如图5所示的第一人脸贴图。第一人脸贴图与目标人脸图像尺寸相同，第一人脸贴图上的人脸面部区域之外的区域为透明区域。

在S40中，根据三维着色器Unity3D shader将第一人脸贴图、原始纹理贴图、原始纹理贴图的灰度图及Mask图进行融合，使第一人脸贴图与原始纹理贴图能够无色差融合。融合操作可以是修边、美白、磨皮、调色。

根据图6的原始纹理贴图、原始纹理贴图的灰度图及与蒙版Mask图、图7的图像融合过程示意图、图8的融合前后对比图，可知融合后的人脸自然的呈现在原始三维模型上。

在S50中，将融合后的人脸图像贴到原始三维人脸模型上得到第一三维人脸模型，使第一三维人脸模型上的预设标准位置与目标人脸图像上的预设标准位置对齐，基于预设标准位置调整第一三维人脸模型的骨骼点。得到第一三维人脸模型的第一关键特征点到预设标准位置的距离L1、目标人脸图像上的与第一关键特征点对应的关键特征点到预设标准位置的距离L11、第一三维人脸模型的第二关键特征点到预设标准位置的距离L2、及目标人脸图像上的与第二关键特征点对应的关键特征点到预设标准位置的距离L22，L1与L11的比值等于L2与L22的比值。

例如，如图9所示的带有骨骼点信息的原始三维人脸模型，可以选取两只眼睛的中心点作为标准位置，基于两只眼睛的中心点位置调整第一三维人脸模型的骨骼点。使第一三维人脸模型上的关键特征点到两只眼睛的中心点位置的距离与对应的目标人脸图像的关键特征点到两只眼睛的中心点位置的距离的比例为等比例关系，得到如图10所示的与目标人脸图像面部特征一致的目标三维人脸模型。

根据本发明实施例，能够根据人脸二维图像构建人脸的三维模型，提升用户体验。另外，本发明可应用在三维游戏中，将传统游戏中的完全虚拟三维人物替换成与用户人脸特征一致的三维人物，增加的真实性和趣味性。

图11示出了本发明实施例的三维人脸建模装置的结构图。如图11所示，本发明实施例的三维人脸建模装置包括以下模块：

人脸图像获取模块01，用于获取目标人脸图像的关键特征点，并根据关键特征点确定目标人脸图像的脸型；

原始模型获取模块02，用于获取与脸型对应的原始三维人脸模型，并获取与原始三维人脸模型对应的原始三维人脸面板；

特征点调整模块03，用于将目标人脸图像的关键特征点映射到原始三维人脸面板的UV坐标上，得到映射后的人脸图像，并从映射后的人脸图像上提取人脸面部区域得到第一人脸贴图；

图像融合模块04，用于获取与原始三维人脸模型对应的原始纹理贴图、原始纹理贴图的灰度图及与原始纹理贴图对应的Mask图，并将第一人脸贴图、原始纹理贴图、原始纹理贴图的灰度图及Mask图进行融合，得到第二人脸贴图；

骨骼点调整模块05，用于将第二人脸贴图贴到原始三维人脸模型上得到第一三维人脸模型，并调整第一三维人脸模型的骨骼点，使第一三维人脸模型上的关键特征点到预设标准位置的距离与对应的目标人脸图像的关键特征点到预设标准位置的距离的比例为等比例关系，得到目标三维人脸模型。

在本发明的一个实施例中，骨骼点调整模块05具体用于，使第一三维人脸模型上的预设标准位置与目标人脸图像上的预设标准位置对齐，基于预设标准位置调整第一三维人脸模型的骨骼点；

得到第一三维人脸模型的第一关键特征点到预设标准位置的距离L1、目标人脸图像上的与第一关键特征点对应的关键特征点到预设标准位置的距离L11、第一三维人脸模型的第二关键特征点到预设标准位置的距离L2、及目标人脸图像上的与第二关键特征点对应的关键特征点到预设标准位置的距离L22，L1与L11的比值等于L2与L22的比值。

在本发明的一个实施例中，图像融合模块04具体用于，根据三维着色器Unity3Dshader将第一人脸贴图、原始纹理贴图、原始纹理贴图的灰度图及Mask图进行融合，使第一人脸贴图与原始纹理贴图能够无色差融合。

在本发明的一个实施例中，图像融合模块04具体用于，融合包括下列中的一项或者多项：修边、美白、磨皮、调色。

在本发明的一个实施例中，特征点调整模块03具体用于，利用相机拍摄渲染从映射后的人脸图像上提取人脸面部区域，得到与目标人脸图像尺寸相同的第一人脸贴图，第一人脸贴图上的人脸面部区域之外的区域为透明区域。

在本发明的一个实施例中，原始模型获取模块02具体用于，按照标准脸型的人脸图像建立原始三维人脸模型、与原始三维人脸模型对应的原始三维人脸面板、与原始三维人脸模型对应的原始纹理贴图、原始纹理贴图的灰度图、及与原始三维人脸面板对应的Mask图；

标准脸型包括下项中的一项或多项：方形脸、三角脸、椭圆脸、心形脸、圆脸。

在本发明的一个实施例中，原始模型获取模块02具体用于，按照标准脸型的人脸图像的关键特征点建立原始三维人脸模型，使关键特征点均匀地分布在原始三维人脸模型的面部线条上。

在本发明的一个实施例中，原始模型获取模块02具体用于，原始三维人脸面板包括多个顶点，顶点与目标人脸图像的关键特征点一一对应，其中，顶点为原始三维人脸面板上的多个三角形面片共用的顶点。

根据本发明实施例，能够根据人脸二维图像构建人脸的三维模型，提升用户体验。另外，本发明可应用在三维游戏中，将传统游戏中的完全虚拟三维人物替换成与用户人脸特征一致的三维人物，增加的真实性和趣味性。

另外，结合图1描述的本发明实施例的三维人脸建模方法可以由三维人脸建模设备来实现。图12示出了本发明实施例提供的三维人脸建模设备的硬件结构示意图。

计算设备1000包括输入设备1001、输入接口1002、处理器1003、存储器1004、输出接口1005、以及输出设备1006。

其中，输入接口1002、处理器1003、存储器1004、以及输出接口1005通过总线1010相互连接，输入设备1001和输出设备1006分别通过输入接口1002和输出接口1005与总线1010连接，进而与计算设备1000的其他组件连接。

具体地，输入设备1001接收来自外部的输入信息，并通过输入接口1002将输入信息传送到处理器1003；处理器1003基于存储器1004中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器1004中，然后通过输出接口1005将输出信息传送到输出设备1006；输出设备1006将输出信息输出到计算设备1000的外部供用户使用。

计算设备1000可以执行本申请上述的通信方法中的各步骤。

处理器1003可以是一个或多个中央处理器(英文：Central Processing Unit，CPU)。在处理器601或处理器701是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。

存储器1004可以是但不限于随机存储存储器(RAM)、只读存储器(ROM)，可擦除可编程只读存储器(EPROM)、光盘只读存储器(CD-ROM)、硬盘等中的一种或多种。存储器1004用于存储程序代码。

可以理解的是，在本申请实施例中，图11提供的各个理模块中任一模块或全部模块的功能可以用图12所示的中央处理器1003实现。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序指令，当所述计算器程序指令被处理器执行时实现本发明实施例所述的三维人脸建模方法中的各步骤。

根据本发明实施例，能够根据人脸二维图像构建人脸的三维模型，提升用户体验。另外，本发明可应用在三维游戏中，将传统游戏中的完全虚拟三维人物替换成与用户人脸特征一致的三维人物，增加的真实性和趣味性。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。

本说明书的各个部分均采用递进的方式进行描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点介绍的都是与其他实施例不同之处。尤其，对于装置和系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例部分的说明即可。

Claims (11)

1.一种三维人脸建模方法，其特征在于，所述方法包括：

获取目标人脸图像的关键特征点，并根据所述关键特征点确定所述目标人脸图像的脸型；

获取与所述脸型对应的原始三维人脸模型，并获取与所述原始三维人脸模型对应的原始三维人脸面板；

将所述目标人脸图像的关键特征点映射到所述原始三维人脸面板的纹理贴图UV坐标上，得到映射后的人脸图像，并从所述映射后的人脸图像上提取人脸面部区域得到第一人脸贴图；

获取与所述原始三维人脸模型对应的原始纹理贴图、所述原始纹理贴图的灰度图及与所述原始纹理贴图对应的蒙版Mask图，并将所述第一人脸贴图、所述原始纹理贴图、所述原始纹理贴图的灰度图及所述Mask图进行融合，得到第二人脸贴图；

将所述第二人脸贴图贴到所述原始三维人脸模型上得到第一三维人脸模型，并调整所述第一三维人脸模型的骨骼点，使所述第一三维人脸模型上的关键特征点到预设标准位置的距离与对应的所述目标人脸图像的关键特征点到所述预设标准位置的距离的比例为等比例关系，得到目标三维人脸模型。

2.根据权利要求1所述的方法，其特征在于，所述调整所述第一三维人脸模型的骨骼点，使所述第一三维人脸模型上的关键特征点到预设标准位置的距离与对应的所述目标人脸图像的关键特征点到所述预设标准位置的距离的比例为等比例关系，包括：

使所述第一三维人脸模型上的预设标准位置与所述目标人脸图像上的预设标准位置对齐，基于所述预设标准位置调整所述第一三维人脸模型的骨骼点；

得到所述第一三维人脸模型的第一关键特征点到所述预设标准位置的距离L1、所述目标人脸图像上的与所述第一关键特征点对应的关键特征点到预设标准位置的距离L11、所述第一三维人脸模型的第二关键特征点到所述预设标准位置的距离L2、及所述目标人脸图像上的与所述第二关键特征点对应的关键特征点到预设标准位置的距离L22，所述L1与L11的比值等于所述L2与L22的比值。

3.根据权利要求1所述的方法，其特征在于，所述将所述第一人脸贴图、所述原始纹理贴图、所述原始纹理贴图的灰度图及所述Mask图进行融合，包括：

根据三维着色器Unity3D shader将所述第一人脸贴图、所述原始纹理贴图、所述原始纹理贴图的灰度图及所述Mask图进行融合，使所述第一人脸贴图与所述原始纹理贴图能够无色差融合。

4.根据权利要求3所述的方法，其特征在于，所述融合包括下列中的一项或者多项：修边、美白、磨皮、调色。

5.根据权利要求1所述的方法，其特征在于，所述从所述映射后的人脸图像上提取人脸面部区域得到第一人脸贴图，包括：

利用相机拍摄渲染从所述映射后的人脸图像上提取人脸面部区域，得到与所述目标人脸图像尺寸相同的第一人脸贴图，所述第一人脸贴图上的人脸面部区域之外的区域为透明区域。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

按照标准脸型的人脸图像建立原始三维人脸模型、与所述原始三维人脸模型对应的原始三维人脸面板、与所述原始三维人脸模型对应的原始纹理贴图、所述原始纹理贴图的灰度图、及与所述原始三维人脸面板对应的Mask图；

所述标准脸型包括下项中的一项或多项：方形脸、三角脸、椭圆脸、心形脸、圆脸。

7.根据权利要求6所述的方法，其特征在于，所述按照标准脸型的人脸图像建立原始三维人脸模型，包括：

按照标准脸型的人脸图像的关键特征点建立原始三维人脸模型，使所述关键特征点均匀地分布在所述原始三维人脸模型的面部线条上。

8.根据权利要求6所述的方法，其特征在于，所述原始三维人脸面板包括多个顶点，所述顶点与所述目标人脸图像的关键特征点一一对应，其中，所述顶点为所述原始三维人脸面板上的多个三角形面片共用的顶点。

9.一种三维人脸建模装置，其特征在于，所述装置包括：

人脸图像获取模块，用于获取目标人脸图像的关键特征点，并根据所述关键特征点确定所述目标人脸图像的脸型；

原始模型获取模块，用于获取与所述脸型对应的原始三维人脸模型，并获取与所述原始三维人脸模型对应的原始三维人脸面板；

特征点调整模块，用于将所述目标人脸图像的关键特征点映射到所述原始三维人脸面板的UV坐标上，得到映射后的人脸图像，并从所述映射后的人脸图像上提取人脸面部区域得到第一人脸贴图；

图像融合模块，用于获取与所述原始三维人脸模型对应的原始纹理贴图、所述原始纹理贴图的灰度图及与所述原始纹理贴图对应的Mask图，并将所述第一人脸贴图、所述原始纹理贴图、所述原始纹理贴图的灰度图及所述Mask图进行融合，得到第二人脸贴图；

骨骼点调整模块，用于将所述第二人脸贴图贴到所述原始三维人脸模型上得到第一三维人脸模型，并调整所述第一三维人脸模型的骨骼点，使所述第一三维人脸模型上的关键特征点到预设标准位置的距离与对应的所述目标人脸图像的关键特征点到所述预设标准位置的距离的比例为等比例关系，得到目标三维人脸模型。

10.一种三维人脸建模设备，其特征在于，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如权利要求1-8中任一项所述的方法。

11.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现如权利要求1-8中任一项所述的方法。