CN117765147A - 一种人脸几何模型的纹理重建方法及电子设备 - Google Patents
一种人脸几何模型的纹理重建方法及电子设备 Download PDFInfo
- Publication number
- CN117765147A CN117765147A CN202310174057.2A CN202310174057A CN117765147A CN 117765147 A CN117765147 A CN 117765147A CN 202310174057 A CN202310174057 A CN 202310174057A CN 117765147 A CN117765147 A CN 117765147A
- Authority
- CN
- China
- Prior art keywords
- face
- image
- texture image
- face texture
- standard
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 210000000697 sensory organ Anatomy 0.000 claims abstract description 22
- 210000000056 organ Anatomy 0.000 claims description 56
- 230000004927 fusion Effects 0.000 claims description 22
- 238000013507 mapping Methods 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 13
- 230000000295 complement effect Effects 0.000 claims description 12
- 238000005516 engineering process Methods 0.000 claims description 10
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 5
- 230000001815 facial effect Effects 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 238000009877 rendering Methods 0.000 claims description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000012886 linear function Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 210000004209 hair Anatomy 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004215 skin function Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Generation (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请提供一种人脸几何模型的纹理重建方法及电子设备，提高纹理质量。包括：针对任一人脸图像，利用预设人脸类别与标准纹理图像的对应关系，确定人脸图像的人脸类别对应的标准人脸纹理图像；利用人脸图像的人脸几何模型重建真实人脸纹理图像，将真实人脸纹理图像中的皮肤区域与标准人脸纹理图像中的皮肤区域融合得到第一中间人脸真实纹理图像，利用标准人脸纹理图像中的五官区域调整第一中间真实人脸图像中的五官区域，得到第二中间真实人脸纹理图像；根据通过标准人脸纹理图像对第二中间真实人脸纹理图像五官补全得到的第三中间真实人脸纹理图像和通过人脸几何模型对标准人脸纹理图像调整得到的标准人脸纹理图像融合，得到目标人脸纹理图像。
Description
技术领域
本申请涉及几何重建技术领域，尤其涉及一种人脸几何模型的纹理重建方法及电子设备。
背景技术
人脸几何模型的纹理重建，是对人脸几何模型中的每一个顶点和面片进行上色。也就是获得人脸几何模型中每一个顶点的像素值，再根据各顶点组成的人脸面片上的像素值进行纹理计算得到人脸面片的像素值，完成整个人脸几何模型的纹理重建。
目前，针对单图片的人脸几何模型的纹理重建方法，一种就是将模型中的顶点与人脸图像中各像素点的UV坐标进行一一对应，然后对三角面片进行纹理计算。但是该方式往往需要动画师手工修正人脸几何模型与人脸图像之间映射关系。如果采用图形学算法自动映射，则会存在纹理间隙，纹理错位等问题。并且如果存在眼镜、头发、帽子等遮挡人脸部分区域，或者图片中人脸是侧面等人脸区域的残缺的情况，会出现重建后的纹理图像没有对应的区域。即该方式不能得到完整的人脸纹理图像。所以，导致纹理重建的质量较低。
另一种方式是采用机器学习方法基于单张人像图像对整个几何模型进行纹理重建，该方式虽然不会存在纹理间隙，纹理错位等问题。但是机器学习是通过大量的训练数据得到的一个通用网络模型，然后基于该网络模型进行纹理重建，所以会出现重建出的纹理与输入的人脸图像中的人脸的相似度比较低，也会导致纹理重建的质量较低。
发明内容
本申请提供了一种人脸几何模型的纹理重建方法及电子设备，用于提高纹理重建的质量。
第一方面，本申请实施例提供一种人脸几何模型的纹理重建方法，所述方法包括：
针对任意一张人脸图像，利用预先设置好的人脸类别与标准人脸纹理图像的对应关系，确定与所述人脸图像的人脸类别相对应的标准人脸纹理图像；
利用所述人脸图像的人脸几何模型以及所述人脸图像进行真实人脸纹理重建，得到真实人脸纹理图像，其中，所述人脸几何模型是基于所述人脸图像得到的；
将所述真实人脸纹理图像中的皮肤区域和所述标准人脸纹理图像中的皮肤区域进行图像融合，得到第一中间真实人脸纹理图像，并利用所述标准人脸纹理图像中的五官区域的对所述第一中间真实人脸图像中的五官区域进行调整，得到第二中间真实人脸纹理图像，其中，所述皮肤区域和所述五官区域组成所述人脸图像中的人脸区域；
通过所述标准人脸纹理图像对所述第二中间真实人脸纹理图像进行五官补全，得到第三中间真实人脸纹理图像；
根据所述第三中间真实人脸纹理图像和所述标准人脸纹理图像进行融合，得到与所述人脸图像相对应的目标人脸纹理图像。
本申请第二方面提供一种电子设备，包括处理器和存储器，所述处理器和所述存储器通过总线连接；
所述存储器中存储有计算机程序，所述处理器被配置为基于所述计算机程序执行以下操作：
针对任意一张人脸图像，利用预先设置好的人脸类别与标准人脸纹理图像的对应关系，确定与所述人脸图像的人脸类别相对应的标准人脸纹理图像；
利用所述人脸图像的人脸几何模型以及所述人脸图像进行真实人脸纹理重建，得到真实人脸纹理图像，其中，所述人脸几何模型是基于所述人脸图像得到的；
将所述真实人脸纹理图像中的皮肤区域和所述标准人脸纹理图像中的皮肤区域进行图像融合，得到第一中间真实人脸纹理图像，并利用所述标准人脸纹理图像中的五官区域的对所述第一中间真实人脸图像中的五官区域进行调整，得到第二中间真实人脸纹理图像，其中，所述皮肤区域和所述五官区域组成所述人脸图像中的人脸区域；
通过所述标准人脸纹理图像对所述第二中间真实人脸纹理图像进行五官补全，得到第三中间真实人脸纹理图像；
根据所述第三中间真实人脸纹理图像和所述标准人脸纹理图像进行融合，得到与所述人脸图像相对应的目标人脸纹理图像。
根据本发明实施例提供的第三方面，提供一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序用于执行如第一方面所述的方法。
本申请的上述实施例中，通过单张人脸图像得到对应的真实人脸纹理图像以及标准人脸纹理图像，并利用标准人脸纹理图像对真实人脸纹理图像进行纹理补全，以及利用标准人脸纹理图像中的五官区域的对真实人脸纹理图像中的五官区域进行调整和补全，得到拥有完整的人脸纹理图像的第三中间真实人脸纹理图像，然后将第三中间真实人脸纹理图像和标准人脸纹理图像进行融合，得到重建后的目标人脸纹理图像，使得重建后的目标人脸纹理图像中的人脸纹理与输入的人脸图像中的人脸纹理保持较高的一致性。由此，本实施例中既可以得到完整的人脸纹理图像，又保证了重建后的纹理图像与输入的人脸图像的纹理具有较高的相似度，所以，提高了纹理重建的质量。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示例性示出了本申请实施例提供的应用场景示意图之一；
图2示例性示出了本申请实施例提供的应用场景示意图之二；
图3示例性示出了本申请实施例提供的人脸几何模型的纹理重建方法的流程图之一；
图4示例性示出了本申请实施例提供的确定人脸图像对应的人脸几何模型的流程图；
图5示例性示出了本申请实施例提供的确定真实人脸纹理图像的流程图；
图6示例性示出了本申请实施例提供的确定标准人脸纹理图像的流程图；
图7示例性示出了本申请实施例提供的确定第一中间真实人脸纹理图像的流程图；
图8示例性示出了本申请实施例提供的五官对称补全的流程图；
图9示例性示出了本申请实施例提供的人脸几何模型的纹理重建方法的流程图之二；
图10示例性示出了本申请实施例提供的人脸几何模型的纹理重建装置示意图；
图11示例性示出了本申请实施例提供的电子设备的硬件结构图。
具体实施方式
为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。
基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。
需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
本申请的说明书和权利要求书及上述附图中的术语″第一″、″第二″等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语″包括″和″具有″以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
本申请中使用的术语″模块″，是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。
下面对本申请实施例的思想进行概述。
目前，针对单图片的人脸几何模型的纹理重建方法，一种就是将模型中的顶点与人脸图像中各像素点的UV坐标进行一一对应，然后对三角面片进行纹理计算。但是该方式往往需要动画师手工修正人脸几何模型与人脸图像之间映射关系。如果采用图形学算法自动映射，则会存在纹理间隙，纹理错位等问题，并且如果存在眼镜、头发、帽子等遮挡人脸部分区域，或者图片中人脸是侧面等人脸区域的残缺的情况，会出现重建后的纹理图像没有对应的区域。即该方式不能得到完整的人脸纹理图像。所以，导致纹理重建的质量较低。另一种方式是采用机器学习方法基于单张人像图像对整个几何模型进行纹理重建，该方式虽然不会存在纹理间隙，纹理错位等问题。但是机器学习是通过大量的训练数据得到的一个通用网络模型，然后基于该网络模型进行纹理重建，所以会出现重建出的纹理与输入的人脸图像中的人脸的相似度比较低，也会导致纹理重建的质量较低。
基于现有技术中会存在对人脸几何模型进行纹理重建的质量较低的问题，本申请实施例提供了一种人脸几何模型的纹理重建方法，通过单张人脸图像得到对应的真实人脸纹理图像以及标准人脸纹理图像，并利用标准人脸纹理图像对真实人脸纹理图像进行纹理补全，以及利用标准人脸纹理图像中的五官区域的对真实人脸纹理图像中的五官区域进行调整和补全，得到拥有完整的人脸纹理图像的第三中间真实人脸纹理图像，然后将第三中间真实人脸纹理图像和标准人脸纹理图像进行融合，得到重建后的目标人脸纹理图像，使得重建后的目标人脸纹理图像中的人脸纹理与输入的人脸图像中的人脸纹理保持较高的一致性。由此，本实施例中既可以得到完整的人脸纹理图像，又保证了重建后的纹理图像与输入的人脸图像的纹理具有较高的相似度，所以，提高了纹理重建的质量。
下面结合附图详细描述本申请的实施例。
图1示例性示出了本申请实施例提供的人脸几何模型的纹理重建的应用场景示意图；如图1所示，该应用场景中是以电子设备为服务器为例进行说明的。该应用场景中包括终端设备110和服务器120。服务器120可以通过单个服务器实现，也可以通过多个服务器实现。服务器130可以通过实体服务器实现，也可以通过虚拟服务器实现。
在一种可能的应用场景中，终端设备获取一张人脸图像，并将所述人脸图像发送至服务器120中，服务器120利用预先设置好的人脸类别与标准人脸纹理图像的对应关系，确定与所述人脸图像的人脸类别相对应的标准人脸纹理图像；然后服务器120利用所述人脸几何模型以及所述人脸图像进行真实人脸纹理重建，得到真实人脸纹理图像；然后服务器120将所述真实人脸纹理图像中的皮肤区域和所述标准人脸纹理图像中的皮肤区域进行图像融合，得到第一中间真实人脸纹理图像，以及利用所述标准人脸纹理图像中的五官区域的对所述第一中间真实人脸图像中的五官区域进行调整，得到第二中间真实人脸纹理图像，其中，所述皮肤区域和所述五官区域组成所述人脸图像中的人脸区域；最后服务器120通过所述标准人脸纹理图像对所述第二中间真实人脸纹理图像进行五官补全，得到第三中间真实人脸纹理图像；并根据所述第三中间真实人脸纹理图像和所述标准人脸纹理图像进行融合，得到与所述人脸图像相对应的目标人脸纹理图像。
如图2所示，为本申请的另一应用场景示意图，该应用场景中包括终端设备110、服务器120和存储器130。终端设备获取一张人脸图像并将所述人脸图像发送至服务器120中，服务器120利用预先设置好的人脸类别与标准人脸纹理图像的对应关系，确定与所述人脸图像的人脸类别相对应的标准人脸纹理图像；服务器120从存储器130中获取该标准人脸纹理图像。然后服务器120利用所述人脸几何模型以及所述人脸图像进行真实人脸纹理重建，得到真实人脸纹理图像；然后服务器120将所述真实人脸纹理图像中的皮肤区域和所述标准人脸纹理图像中的皮肤区域进行图像融合，得到第一中间真实人脸纹理图像，以及利用所述标准人脸纹理图像中的五官区域的对所述第一中间真实人脸图像中的五官区域进行调整，得到第二中间真实人脸纹理图像，其中，所述皮肤区域和所述五官区域组成所述人脸图像中的人脸区域；最后服务器120通过所述标准人脸纹理图像对所述第二中间真实人脸纹理图像进行五官补全，得到第三中间真实人脸纹理图像；并根据所述第三中间真实人脸纹理图像和所述标准人脸纹理图像进行融合，得到与所述人脸图像相对应的目标人脸纹理图像。
其中，图1以及图2中的服务器120与终端设备110之间可通过通信网络进行信息交互，其中，通信网络采用的通信方式可分为无线通信方式或有线通信方式。
示例性的，服务器120可通过蜂窝移动通信技术接入网络，与终端设备110进行通信，其中，所述蜂窝移动通信技术，比如，包括第五代移动通信(5th Generation MobileNetworks，5G)技术。
可选的，服务器120可通过短距离无线通信方式接入网络，与终端设备110进行通信，其中，所述短距离无线通信方式，比如，包括无线保真(wireless Fidelity，Wi-Fi)技术。
其中，本申请中的描述中仅就单个服务器120以及单个终端设备110加以详述，但是本领域技术人员应当理解的是，示出的服务器120以及终端设备110旨在表示本申请的技术方案涉及服务器120以及终端设备110的操作。而非暗示对服务器120以及终端设备110的数量、类型或是位置等具有限制。应当注意，如果向图示环境中添加附加模块或从其中去除个别模块，不会改变本申请的示例实施例的底层概念。
示例性的，终端设备110包括但不限于：可视化大屏、平板电脑、笔记本电脑、掌上电脑、移动互联网设备(Mobile Internet Device，MID)、可穿戴设备，虚拟现实(VirtualReality，VR)设备、增强现实(Augmented Reality，AR)设备、工业控制中的无线终端设备、无人驾驶中的无线终端设备、智能电网中的无线终端设备、运输安全中的无线终端设备、智慧城市中的无线终端设备，或智慧家庭中的无线终端设备等设备；终端设备上可以安装有相关的客户端，该客户端可以是软件(例如，浏览器、短视频软件等)，也可以是网页、小程序等。
需要说明的是，本申请提出的人脸几何模型的纹理重建方法不仅适用于图1和图2所示的应用场景，还适用于任何有人脸几何模型的纹理重建装置。
下面结合上述描述的应用场景，参考附图来描述本申请示例性实施方式人脸几何模型的纹理重建方法，需要注意的是，上述应用场景仅是为了便于理解本申请的方法和原理而示出，本申请的实施方式在此方面不受任何限制。
如图3所示，为人脸几何模型的纹理重建方法的流程示意图，可包括以下步骤：
步骤301：针对任意一张人脸图像，利用预先设置好的人脸类别与标准人脸纹理图像的对应关系，确定与所述人脸图像的人脸类别相对应的标准人脸纹理图像；
本申请实施例中人脸类别是基于性别来进行划分的。可根据具体的实际情况对人脸类别进行设置，本实施例在此并不对人脸类别进行限定。
在一个实施例中，本实施例中可通过以下方式确定各人脸类别对应的标准人脸纹理图像：
针对任意一个人脸类别，利用高精度的3D扫描设备，扫描所述人脸类别对应的多个的头部几何数据和纹理数据，每个人的纹理数据通过头部几何数据展开到预置的固定纹理图中，得到语义一致的多个纹理图像。利用主成分分析(Principal ComponentAnalysis，PCA)技术，得到与所述多个纹理图像对应的均值纹理和偏置纹理，根据所述均值纹理和所述偏置纹理得到与所述人脸类别对应的标准人脸纹理图像，并将得到标准人脸纹理图像与人脸类别进行对应存储。
需要说明的是：本实施例中的各人脸类别对应的标准人脸纹理图像的确定方法仅用于举例说明，并不对标准人脸纹理图像的确定方法进行限定，可根据实际情况来进行设置。
步骤302：利用所述人脸几何模型以及所述人脸图像进行真实人脸纹理重建，得到真实人脸纹理图像；
本申请实施例中，执行步骤302之前，需要重建人脸几何模型，在一个实施例中，如图4所示，为确定人脸图像对应的人脸几何模型的流程示意图，包括以下步骤：
步骤401：通过与所述人脸图像相对应的相机的投影矩阵将预设的人脸几何模型中的各3D人脸关键点在所述人脸图像进行投影，得到与所述各3D人脸关键点分别对应的各2D人脸投影关键点；
其中，本实施例中预设的人脸几何模型是通过可变形三维人脸模板来得到的，即将预设的初始三维人脸参数(包括初始姿态参数、初始形体参数和初始表情参数)输入至可变形三维人脸模板中，得到预设的人脸几何模型。该变形三维人脸模板可以是任意的具有拓扑一致的模板参数化模型，下面以FLAME模型为例进行介绍：
FLAME模型为包含姿态参数、形体参数、表情参数的一个基于统计的参数化线性人脸模型。其中，姿态参数包含全局的头部节点、脖子节点、下颚节点、以及左右眼睛节点。通过给出姿态参数进行线性绑定蒙皮(Linear Blending Skinning，LBS)，以及给出姿态参数和表情参数进行线性组合，可以得到最终的基于flame模板的三维人脸重建，其中，可通过公式(1)得到基于flame模板的三维人脸重建：
其中，β是形体参数，θ为所述姿态参数，为所述表情参数，即本实施例中预设的初始三维人脸参数，TP为flame模板中的线性函数，w为预设的蒙皮权重，J是flame模板中预设的关于形体参数的函数，W是线性绑定蒙皮函数。
其中，线性函数TP可通过公式(2)确定出：
其中，T是初始状态下的flame模板，S为预设的形体参数基，BS是flame模板中的形体参数β和形体参数基S线性相加的线性函数，P为预设的姿态参数基，BP是flame模板中的是姿态参数θ和姿态参数基P线性相加的线性函数，ξ是预设的表情参数基，BE是flame模板中的表情参数和表情参数基ξ线性相加的线性函数。
需要说明的是：本实施例中人脸几何中的各3D关键点是提前设置好的。
本申请实施例中，相机的投影矩阵基于所述相机的外参和内参得到的，相机的内参和外参是可以直接获取到的，基于相机的内参和外参得到相机的投影矩阵为现有技术中的方式，本实施例在此不再进行赘述。
步骤402：根据所述人脸图像中的各2D人脸关键点以及所述各2D人脸投影关键点的位置，得到关键点误差值；其中，可通过公式(3)确定所述关键点误差值：
其中，E为所述关键点误差值，K*[RT]为所述相机的投影矩阵，且K为相机的内参，R和T为相机的外参，为第n个3D人脸关键点的3D位置坐标，/>为第n个2D人脸关键点的2D位置坐标，且/>代表第n个3D人脸关键点对应的2D人脸投影关键点的位置，n为3D人脸关键点的总数量。
本申请实施例中，所述人脸图像中的各2D特征点是利用预先设置好的2D关键点提取算法来对人脸图像进行2D关键点特征提取得到的。作为一种示例，本实施例中的2D关键点提取算法可为Dlib或Face alignment。但是，本实施例中并不对2D关键点提取算法进行限定，可根据实际情况进行设置。
步骤403：判断所述关键点误差值是否大于第一指定误差值，若是，则执行步骤404，若否，则执行步骤405；
需要说明的是：本申请实施例中的第一指定误差值可根据实际情况来进行设置，本实施例在此并不进行限定。
步骤404：对所述人脸几何模型中的3D关键点的位置进行调整后，返回执行步骤401；
本申请实施例中，通过对前文所述的变形三维人脸模板中的姿态参数、形体参数、表情参数进行调整来实现对所述人脸几何模型中的3D关键点的位置进行调整。作为一个示例，调整方式可为：针对任意一个参数，每次将该参数增加或减少指定数值。各参数对应的调整方式可以相同，也可以不同，本实施例在此并不对调整方式进行限定，可根据实际情况来进行设置。
步骤405：将当前的人脸几何模型确定为与所述人脸图像对应的人脸几何模型。
下面，对确定真实人脸纹理图像的具体方式进行说明。在一个实施例中，如图5所示，为确定真实人脸纹理图像的流程示意图，包括以下步骤：
步骤501：利用与所述人脸图像相对应的相机的投影矩阵将所述人脸几何模型中的人脸面片投影至所述人脸图像中，得到所述人脸图像中的各投影人脸面片；
本申请实施例中相机的投影矩阵的确定方式与前文所述的方式相同，本实施例在此不再进行赘述。
步骤502：针对所述标准人脸纹理图像中的任意一个人脸面片，基于所述人脸面片在所述标准人脸纹理图像中的位置，确定所述人脸图像中与所述人脸面片位置相同的投影人脸面片；
其中，述标准人脸纹理图像、所述人脸图像、所述真实人脸纹理图像以及所述标准人脸纹理图像的尺寸均相同的。
步骤503：利用所述投影人脸面片中各像素点的像素值，对所述标准人脸纹理图像中各像素点的像素值进行替换，得到所述真实人脸纹理图像。
在一个实施例中，针对所述标准人脸纹理图像中的任意一个像素点，将所述像素点的像素值设置为所述投影人脸面片中与所述像素点位置相同的像素点的像素值。
为了进一步提高重建纹理的质量，在执行步骤303之前，在一个实施例中，通过所述人脸几何模型对所述标准人脸纹理图像进行调整，得到调整后的标准人脸纹理图像，并将所述调整后的标准人脸纹理图像确定为所述标准人脸纹理图像。由此，进一步提高标准人脸纹理图像之间的相似度。如图6所示，为确定标准人脸纹理图像的流程示意图，包括以下步骤：
步骤601：利用所述标准人脸纹理图像对所述人脸几何模型进行纹理贴图，得到贴图后的人脸几何模型；
本申请实施例中，可以使用3D建模渲染和制作软件(3D Studio Max，3ds Max)来进行纹理贴图，但是，本实施例在此并不对纹理贴图的方式进行限定。
步骤602：对所述贴图后的人脸几何模型进行可微渲染，得到人脸纹理贴图图像；
需要说明的是：本实施例中的可微渲染的方式可根据实际情况来进行设置，本实施例在此并不对可微渲染的方式进行限定。
步骤603：基于所述人脸纹理贴图图像中各像素点的像素值以及所述人脸图像中各像素点的像素值，得到像素误差值；
在一个实施例中，通过以下方式得到所述像素误差值：
针对任意一个像素点，根据所述像素点在人脸纹理贴图图像中的像素值以及所述像素点在人脸图像中的像素值，得到所述像素点的中间误差值，将各像素点的中间误差值相加，得到所述像素误差值。其中，可通过公式(4)得到所述任意一个像素点的中间误差值：
其中，Sn为像素点n的中间误差值，为像素点n在人脸纹理贴图图像中的像素值，为在人脸图像中的像素值，vn为像素点n在人脸图像中皮肤区域的掩膜图像中的像素值。
步骤604：判断所述像素误差值是否大于第二指定误差值，若是，则执行步骤605，若否，则执行步骤606；
步骤605：对所述标准人脸纹理图像中的偏置纹理进行调整后，返回执行步骤601；
其中，标准人脸纹理图像是由均值纹理和偏置纹理所组成，可通过公式(5)得到所述标准人脸纹理图像：
其中，I为所述标准人脸纹理图像，T为所述标准人脸纹理图像中的均值纹理，ti为第i个偏置纹理，ai为第i个偏置纹理对应的权重，m为偏置纹理的总数量。
本申请实施例中，对偏置纹理的调整方式可为：针对任意一个偏置纹理，每次将所述偏置纹理增加指定值或减少指定值，具体的可根据实际情况来进行设置，本实施例在此不进行限定。并且，本实施例中各偏置纹理的调整方式可相同，也可不同，本实施例在此不进行限定。
步骤606：将人脸纹理贴图图像确定为所述调整后的标准人脸纹理图像。
需要说明的是：本实施例中的第二指定误差值可根据实际情况来进行设置，本实施例在此并不对第二指定误差值进行限定。
步骤303：将所述真实人脸纹理图像中的皮肤区域和所述标准人脸纹理图像中的皮肤区域进行图像融合，得到第一中间真实人脸纹理图像，并利用所述标准人脸纹理图像中的五官区域的对所述第一中间真实人脸图像中的五官区域进行调整，得到第二中间真实人脸纹理图像，其中，所述皮肤区域和所述五官区域组成所述人脸图像中的人脸区域；
如图7所示，为确定第一中间真实人脸纹理图像的流程示意图，包括以下步骤：
步骤701：针对所述标准人脸纹理图像的皮肤区域中的任意一个像素点，基于所述像素点的像素值、所述真实人脸纹理图像的皮肤区域中各像素点的平均像素值以及所述标准人脸纹理图像的皮肤区域中各像素点的平均像素值，得到与所述像素点对应的融合像素值；
本申请实施例中，所述真实人脸纹理图像的皮肤区域中各像素点的平均像素值是将所述真实人脸纹理图像的皮肤区域中各像素点的像素值的和与所述真实人脸纹理图像的皮肤区域中各像素点的数量相除得到的。相应的，所述标准人脸纹理图像的皮肤区域中各像素点的平均像素值为将所述标准人脸纹理图像的皮肤区域中各像素点的像素值之和与所述标准人脸纹理图像的皮肤区域中各像素点的总数量相除得到的。
在一个实施例中，在步骤701中，通过以下方式得到所述像素点对应的融合像素值：
将所述真实人脸纹理图像的皮肤区域中各像素点的平均像素值与所述标准人脸纹理图像的皮肤区域中各像素点的平均像素值相减，得到像素差值；将所述像素点的像素值与所述像素差值相加，得到与所述像素点对应的融合像素值。其中，可通过公式(6)得到任意一个像素点对应的融合像素值：
Pir＝P1-P2+Pi...(6)；
其中，Pr为像素点i的融合像素值，P1为所述真实人脸纹理图像的皮肤区域中各像素点的平均像素值，P2为所述标准人脸纹理图像的皮肤区域中各像素点的平均像素值，Pi为像素点i的像素值。
步骤702：基于与各像素点对应的融合像素值，得到所述第一中间真实人脸纹理图像。
在一个实施例中，步骤702可实施为：针对所述真实人脸纹理图像中的皮肤区域中的任意一个像素点，将所述像素点的像素值设置为所述融合像素值，得到所述第一中间真实人脸纹理图像。
在一个实施例中，通过以下方式得到所述第二中间真实人脸纹理图像：
利用仿射变换技术，将所述第一中间真实人脸图像中五官区域的掩膜图像变形至与所述标准人脸纹理图像中五官区域的掩膜图像相同，得到变形后的五官区域的掩膜图像；基于所述变形后的五官区域的掩膜图像对所述第一中间真实人脸图像中的五官区域的形状进行调整，得到所述第二中间真实人脸纹理图像。
其中，本申请实施例中五官区域的掩膜图像是利用预先设置好的语义分割算法对第一中间真实人脸图像进行语义分割得到的。该语义分割算法可以为人脸解析faceparsing网络等。但是，本实施例并不对语义分割算法进行限定，本实施例中的语义分割算法可根据具体的实际情况来进行设置。同样的，本申请中前文所述的皮肤区域的掩膜图像的确定与五官区域相同，本申请实施例不再赘述。
需要说明的是：本申请实施例中的仿射变换技术属于现有技术，本申请实施例不再赘述。
为了进一步提高纹理重建的质量，在执行步骤304之前，在一个实施例中，如图8所示，包括以下步骤：
步骤801：统计所述第二中间真实人脸纹理图像的人脸区域中各像素点的数量，得到第一数量；
步骤802：统计所述标准人脸纹理图像的人脸区域中各像素点的数量，得到第二数量；
需要说明的是：本实施例中的可以先执行步骤801，再执行步骤802；也可以先执行步骤802，再执行步骤801；也可以步骤801和步骤802同时执行，本实施例在此并不进行限定。
步骤803：将所述第一数量和所述第二数量相减，得到像素重叠率；
步骤804：判断所述像素重叠率是否不小于指定像素重叠率，若是，则执行步骤806，若否，则执行步骤805；
需要说明的是：本实施例中的指定像素重叠率可根据实际情况来进行设置，本实施例在此并不进行限定。
步骤805：基于所述第二中间真实人脸纹理图像的中线对所述第二中间真实人脸纹理图像进行对称补全，并将对称补全后的第二中间真实人脸纹理图像确定为所述第二中间真实人脸纹理；
在一个实施例中，步骤805可具体实施为：基于所述第二中间真实人脸纹理图像中五官区域的掩膜图像的中线，确定所述五官区域中各待补全的像素点，基于所述第二中间真实人脸纹理图像的中线，利用与所述五官区域中各待补全的像素点分别对称的各目标像素点，分别对所述五官区域中各待补全的像素点进行补全，得到五官补全后的第二中间真实人脸纹理图像；以及基于所述第二中间真实人脸纹理图像中皮肤区域的掩膜图像的中线，确定所述皮肤区域中各待补全的像素点，并基于所述第二中间真实人脸纹理图像的中线，利用与所述皮肤区域中各待补全的像素点分别对称的目标像素点，分别对所述皮肤区域中各待补全的像素点进行补全，得到皮肤补全后的第二中间真实人脸纹理图像；基于所述五官补全后的第二中间真实人脸纹理图像和所述皮肤补全后的第二中间真实人脸纹理图像进行融合，得到所述对称补全后的第二中间真实人脸纹理图像。
由于五官区域和皮肤区域的对称补全的方法是相同，所以，下面以五官区域进行对称补全的方式为例对本实施例中对称补全的具体方式进行说明，本实施例不再对皮肤区域的对称补全方式进行赘述。
由于掩膜图像中的各像素点的像素值为0或1，所以，本实施例中可以基于五官区域的掩膜图像的中线，得到所述五官区域中多个对称像素点对；针对任意一个像素点对称点对，将所述像素点对称点对中的两个像素点进行比较，若所述两个像素点的像素值不相同，则将像素值为0的像素点确定为待补全像素点；针对任意一个待补全像素点，将与所述待补全像素点的像素值设置为与所述待补全像素点的目标像素点的像素值相同，得到所述五官补全后的第二中间真实人脸纹理图像；其中，所述待补全像素点的目标像素点为与所述待补全像素点基于所述中线对称的像素点，且所述对称像素点对为基于所述中线对称的两个像素点。
步骤806：通过所述标准人脸纹理图像对所述第二中间真实人脸纹理图像进行五官补全，得到第三中间真实人脸纹理图像(本申请实施例中的步骤305)。
在一个实施例中，步骤806可具体实施为：将所述标准人脸纹理图像中五官区域的掩膜图像以及所述第二中间真实人脸纹理图像中五官区域的掩膜图像进行比对，得到所述第二中间真实人脸纹理图像中的至少一个待补全的像素点，针对任意一个待补全的像素点，将所述待补全像素点的像素值设置为所述标准人脸纹理图像中与所述待补全像素点位置相同的像素点的像素值。
具体的，将所述标准人脸纹理图像中五官区域的掩膜图像以及所述第二中间真实人脸纹理图像中五官区域的掩膜图像位置相同的两个像素点进行比对，若所述两个像素点的像素值不相同，则将所述第二中间真实人脸纹理图像中五官区域的掩膜图像中的像素点确定为所述待补全的像素点。
步骤304：通过所述标准人脸纹理图像对所述第二中间真实人脸纹理图像进行五官补全，得到第三中间真实人脸纹理图像；
需要说明的是：步骤304中五官补全的方式与步骤806中五官补全的方式相同，本实施例不再赘述。
步骤305：根据所述第三中间真实人脸纹理图像和所述标准人脸纹理图像进行融合，得到与所述人脸图像相对应的目标人脸纹理图像。
在一个实施例中，步骤305可实施为：根据所述第三中间真实人脸纹理图像和所述标准人脸纹理图像按照对应的权重进行线性融合，得到中间融合人脸纹理图像，然后将所述中间融合人脸纹理图像与所述第三中间真实人脸纹理图像进行泊松融合，得到所述目标人脸纹理图像。
需要说明的是：本实施例中的第三中间真实人脸纹理图像以及所述标准人脸纹理图像各自的权重是预先设置好的，本实施例不进行限定。并且，本实施例中的线性融合以及泊松融合为现有技术中的图像融合方式，本实施例不再进行赘述。
为了进一步连接本申请中的技术方案，下面结合图9进行详细的说明，可包括以下步骤：
步骤901：针对任意一张人脸图像，利用预先设置好的人脸类别与标准人脸纹理图像的对应关系，确定与所述人脸图像的人脸类别相对应的标准人脸纹理图像；
步骤902：基于所述人脸图像中的2D特征点，对预设的人脸几何模型进行重建，得到与所述人脸图像对应的人脸几何模型；
步骤903：利用与所述人脸图像相对应的相机的投影矩阵将所述人脸几何模型中的人脸面片投影至所述人脸图像中，得到所述人脸图像中的各投影人脸面片；
步骤904：针对所述标准人脸纹理图像中的任意一个人脸面片，基于所述人脸面片在所述标准人脸纹理图像中的位置，确定所述人脸图像中与所述人脸面片位置相同的投影人脸面片；
步骤905：利用所述投影人脸面片中各像素点的像素值，对所述标准人脸纹理图像中各像素点的像素值进行替换，得到所述真实人脸纹理图像；
步骤906：通过所述人脸几何模型对所述标准人脸纹理图像进行调整，得到调整后的标准人脸纹理图像，并将所述调整后的标准人脸纹理图像确定为所述标准人脸纹理图像；
步骤907：针对所述标准人脸纹理图像的皮肤区域中的任意一个像素点，基于所述像素点的像素值、所述真实人脸纹理图像的皮肤区域中各像素点的平均像素值以及所述标准人脸纹理图像的皮肤区域中各像素点的平均像素值，得到与所述像素点对应的融合像素值；
步骤908：基于与各像素点对应的融合像素值，得到所述第一中间真实人脸纹理图像；
步骤909：利用仿射变换技术，将所述第一中间真实人脸图像中五官区域的掩膜图像变形至与所述标准人脸纹理图像中五官区域的掩膜图像相同，得到变形后的五官区域的掩膜图像；
步骤910：基于所述变形后的五官区域的掩膜图像对所述第一中间真实人脸图像中的五官区域的形状进行调整，得到所述第二中间真实人脸纹理图像；
步骤911：通过所述标准人脸纹理图像对所述第二中间真实人脸纹理图像进行五官补全，得到第三中间真实人脸纹理图像；
步骤912：根据所述第三中间真实人脸纹理图像和所述标准人脸纹理图像进行融合，得到与所述人脸图像相对应的目标人脸纹理图像。
基于相同的发明构思，本公开如上所述的人脸几何模型的纹理重建方法还可以由一种人脸几何模型的纹理重建装置实现。该人脸几何模型的纹理重建装置的效果与前述方法的效果相似，在此不再赘述。
图10为根据本公开一个实施例的人脸几何模型的纹理重建装置的结构示意图。
如图10所示，本公开的人脸几何模型的纹理重建装置1000可以包括标准人脸纹理图像确定模块1010、真实纹理重建模块1020、第一纹理调整模块1030、五官补全模块1040和图像融合模块1050。
标准人脸纹理图像确定模块1010，用于针对任意一张人脸图像，利用预先设置好的人脸类别与标准人脸纹理图像的对应关系，确定与所述人脸图像的人脸类别相对应的标准人脸纹理图像；
真实纹理重建模块1020，用于利用所述人脸图像的人脸几何模型以及所述人脸图像进行真实人脸纹理重建，得到真实人脸纹理图像，其中，所述人脸几何模型是基于所述人脸图像得到的；
第一纹理调整模块1030，用于将所述真实人脸纹理图像中的皮肤区域和所述标准人脸纹理图像中的皮肤区域进行图像融合，得到第一中间真实人脸纹理图像，并利用所述标准人脸纹理图像中的五官区域的对所述第一中间真实人脸图像中的五官区域进行调整，得到第二中间真实人脸纹理图像，其中，所述皮肤区域和所述五官区域组成所述人脸图像中的人脸区域；
五官补全模块1040，用于通过所述标准人脸纹理图像对所述第二中间真实人脸纹理图像进行五官补全，得到第三中间真实人脸纹理图像；
图像融合模块1050，用于根据所述第三中间真实人脸纹理图像和所述标准人脸纹理图像进行融合，得到与所述人脸图像相对应的目标人脸纹理图像。
在一个实施例中，所述装置还包括：
人脸几何模型重建模块1060，用于通过以下方式确定所述人脸图像的人脸几何模型，包括：
通过与所述人脸图像相对应的相机的投影矩阵将预设的人脸几何模型中的各3D人脸关键点在所述人脸图像进行投影，得到与所述各3D人脸关键点分别对应的各2D人脸投影关键点；
根据所述人脸图像中的各2D人脸关键点以及所述各2D人脸投影关键点的位置，得到关键点误差值；
若所述关键点误差值大于第一指定误差值，则对所述人脸几何模型中的3D关键点的位置进行调整后，返回通过与所述人脸图像相对应的相机的投影矩阵将预设的人脸几何模型中的各3D人脸关键点在所述人脸图像进行投影的步骤，直至所述关键点误差值不大于所述第一指定误差值，则将调整后的人脸几何模型确定为与所述人脸图像对应的人脸几何模型。
在一个实施例中，所述真实纹理重建模块1020，具体用于：
利用与所述人脸图像相对应的相机的投影矩阵将所述人脸几何模型中的人脸面片投影至所述人脸图像中，得到所述人脸图像中的各投影人脸面片；
针对所述标准人脸纹理图像中的任意一个人脸面片，基于所述人脸面片在所述标准人脸纹理图像中的位置，确定所述人脸图像中与所述人脸面片位置相同的投影人脸面片；并，
利用所述投影人脸面片中各像素点的像素值，对所述标准人脸纹理图像中各像素点的像素值进行替换，得到所述真实人脸纹理图像。
在一个实施例中，所述装置还包括：
第二纹理调整模块1070，用于所述利用所述标准人脸纹理图像中的五官区域的对所述第一中间真实人脸图像中的五官区域进行调整，得到第二中间真实人脸纹理图像之前，通过所述人脸几何模型对所述标准人脸纹理图像进行调整，得到调整后的标准人脸纹理图像，并将所述调整后的标准人脸纹理图像确定为所述标准人脸纹理图像。
在一个实施例中，所述第二纹理调整模块1070，具体用于：
利用所述标准人脸纹理图像对所述人脸几何模型进行纹理贴图，得到贴图后的人脸几何模型；
对所述贴图后的人脸几何模型进行可微渲染，得到人脸纹理贴图图像；
基于所述人脸纹理贴图图像中各像素点的像素值以及所述人脸图像中各像素点的像素值，得到像素误差值；
若所述像素误差值大于第二指定误差值，则对所述标准人脸纹理图像中的偏置纹理进行调整后，返回利用所述标准人脸纹理图像对所述人脸几何模型进行纹理贴图，得到贴图后的人脸几何模型的步骤，直至所述像素误差值不大于所述第二指定误差值，则将人脸纹理贴图图像确定为所述调整后的标准人脸纹理图像。
在一个实施例中，所述第一纹理调整模块1030，具体用于：
针对所述标准人脸纹理图像的皮肤区域中的任意一个像素点，基于所述像素点的像素值、所述真实人脸纹理图像的皮肤区域中各像素点的平均像素值以及所述标准人脸纹理图像的皮肤区域中各像素点的平均像素值，得到与所述像素点对应的融合像素值；
基于与各像素点对应的融合像素值，得到所述第一中间真实人脸纹理图像。
在一个实施例中，所述第一纹理调整模块1030，具体用于：
通过以下方式得到所述像素点对应的融合像素值：
将所述真实人脸纹理图像的皮肤区域中各像素点的平均像素值与所述标准人脸纹理图像的皮肤区域中各像素点的平均像素值相减，得到像素差值；
将所述像素点的像素值与所述像素差值相加，得到与所述像素点对应的融合像素值。
在一个实施例中，所述第一纹理调整模块1030，具体用于：
利用仿射变换技术，将所述第一中间真实人脸图像中五官区域的掩膜图像变形至与所述标准人脸纹理图像中五官区域的掩膜图像相同，得到变形后的五官区域的掩膜图像；
基于所述变形后的五官区域的掩膜图像对所述第一中间真实人脸图像中的五官区域的形状进行调整，得到所述第二中间真实人脸纹理图像。
在一个实施例中，所述装置还包括：
对称补全模块1080，用于统计所述第二中间真实人脸纹理图像的人脸区域中各像素点的数量，得到第一数量；以及，
统计所述标准人脸纹理图像的人脸区域中各像素点的数量，得到第二数量；
将所述第一数量和所述第二数量相减，得到像素重叠率；
若确定所述像素重叠率不小于指定像素重叠率，则确定执行通过所述标准人脸纹理图像对所述第二中间真实人脸纹理图像进行五官补全，得到第三中间真实人脸纹理图像的步骤；
若确定所述像素重叠率小于指定像素重叠率，则基于所述第二中间真实人脸纹理图像的中线对所述第二中间真实人脸纹理图像进行对称补全，并将对称补全后的第二中间真实人脸纹理图像确定为所述第二中间真实人脸纹理后，确定执行通过所述标准人脸纹理图像对所述第二中间真实人脸纹理图像进行五官补全，得到第三中间真实人脸纹理图像的步骤。
在介绍了本发明示例性实施方式的一种人脸几何模型的纹理重建方法及装置之后，接下来，介绍根据本发明的另一示例性实施方式的电子设备。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为″电路″、″模块″或″系统″。
在一些可能的实施方式中，根据本发明的电子设备可以至少包括至少一个处理器、以及至少一个计算机存储介质。其中，计算机存储介质存储有程序代码，当程序代码被处理器执行时，使得处理器执行本说明书上述描述的根据本发明各种示例性实施方式的人脸几何模型的纹理重建方法中的步骤。例如，处理器可以执行如图3中所示的步骤301-305。
下面参照图11来描述根据本发明的这种实施方式的电子设备1100。图11显示的电子设备1100仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图11所示，电子设备1100以通用电子设备的形式表现。电子设备1100的组件可以包括但不限于：上述至少一个处理器1101、上述至少一个计算机存储介质1102、连接不同系统组件(包括计算机存储介质1102和处理器1101)的总线1103。
总线1103表示几类总线结构中的一种或多种，包括计算机存储介质总线或者计算机存储介质控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
计算机存储介质1102可以包括易失性计算机存储介质形式的可读介质，例如随机存取计算机存储介质(RAM)1121和/或高速缓存存储介质1122，还可以进一步包括只读计算机存储介质(ROM)1123。
计算机存储介质1102还可以包括具有一组(至少一个)程序模块1124的程序/实用工具1125，这样的程序模块1124包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
电子设备1100也可以与一个或多个外部设备1104(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与电子设备1100交互的设备通信，和/或与使得该电子设备1100能与一个或多个其它电子设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1105进行。并且，电子设备1100还可以通过网络适配器1106与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器1106通过总线1103与用于电子设备1100的其它模块通信。应当理解，尽管图中未示出，可以结合电子设备1100使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAI D系统、磁带驱动器以及数据备份存储系统等。
在一些可能的实施方式中，本发明提供的一种人脸几何模型的纹理重建方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在计算机设备上运行时，程序代码用于使计算机设备执行本说明书上述描述的根据本发明各种示例性实施方式的人脸几何模型的纹理重建方法中的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种人脸几何模型的纹理重建方法，其特征在于，所述方法包括：
针对任意一张人脸图像，利用预先设置好的人脸类别与标准人脸纹理图像的对应关系，确定与所述人脸图像的人脸类别相对应的标准人脸纹理图像；
利用所述人脸图像的人脸几何模型以及所述人脸图像进行真实人脸纹理重建，得到真实人脸纹理图像，其中，所述人脸几何模型是基于所述人脸图像得到的；
将所述真实人脸纹理图像中的皮肤区域和所述标准人脸纹理图像中的皮肤区域进行图像融合，得到第一中间真实人脸纹理图像，并利用所述标准人脸纹理图像中的五官区域的对所述第一中间真实人脸图像中的五官区域进行调整，得到第二中间真实人脸纹理图像，其中，所述皮肤区域和所述五官区域组成所述人脸图像中的人脸区域；
通过所述标准人脸纹理图像对所述第二中间真实人脸纹理图像进行五官补全，得到第三中间真实人脸纹理图像；
根据所述第三中间真实人脸纹理图像和所述标准人脸纹理图像进行融合，得到与所述人脸图像相对应的目标人脸纹理图像。
2.根据权利要求1所述的方法，其特征在于，通过以下方式确定所述人脸图像的人脸几何模型，包括：
通过与所述人脸图像相对应的相机的投影矩阵将预设的人脸几何模型中的各3D人脸关键点在所述人脸图像进行投影，得到与所述各3D人脸关键点分别对应的各2D人脸投影关键点；
根据所述人脸图像中的各2D人脸关键点以及所述各2D人脸投影关键点的位置，得到关键点误差值；
若所述关键点误差值大于第一指定误差值，则对所述人脸几何模型中的3D关键点的位置进行调整后，返回通过与所述人脸图像相对应的相机的投影矩阵将预设的人脸几何模型中的各3D人脸关键点在所述人脸图像进行投影的步骤，直至所述关键点误差值不大于所述第一指定误差值，则将调整后的人脸几何模型确定为与所述人脸图像对应的人脸几何模型。
3.根据权利要求1所述的方法，其特征在于，所述利用所述人脸图像的人脸几何模型以及所述人脸图像进行真实人脸纹理重建，得到真实人脸纹理图像，包括：
利用与所述人脸图像相对应的相机的投影矩阵将所述人脸几何模型中的人脸面片投影至所述人脸图像中，得到所述人脸图像中的各投影人脸面片；
针对所述标准人脸纹理图像中的任意一个人脸面片，基于所述人脸面片在所述标准人脸纹理图像中的位置，确定所述人脸图像中与所述人脸面片位置相同的投影人脸面片；并，
利用所述投影人脸面片中各像素点的像素值，对所述标准人脸纹理图像中各像素点的像素值进行替换，得到所述真实人脸纹理图像。
4.根据权利要求1所述的方法，其特征在于，所述利用所述标准人脸纹理图像中的五官区域的对所述第一中间真实人脸图像中的五官区域进行调整，得到第二中间真实人脸纹理图像之前，所述方法还包括：
通过所述人脸几何模型对所述标准人脸纹理图像进行调整，得到调整后的标准人脸纹理图像，并将所述调整后的标准人脸纹理图像确定为所述标准人脸纹理图像。
5.根据权利要求4所述的方法，其特征在于，所述通过所述人脸几何模型对所述标准人脸纹理图像进行调整，得到调整后的标准人脸纹理图像，包括：
利用所述标准人脸纹理图像对所述人脸几何模型进行纹理贴图，得到贴图后的人脸几何模型；
对所述贴图后的人脸几何模型进行可微渲染，得到人脸纹理贴图图像；
基于所述人脸纹理贴图图像中各像素点的像素值以及所述人脸图像中各像素点的像素值，得到像素误差值；
若所述像素误差值大于第二指定误差值，则对所述标准人脸纹理图像中的偏置纹理进行调整后，返回利用所述标准人脸纹理图像对所述人脸几何模型进行纹理贴图，得到贴图后的人脸几何模型的步骤，直至所述像素误差值不大于所述第二指定误差值，则将人脸纹理贴图图像确定为所述调整后的标准人脸纹理图像。
6.根据权利要求1所述的方法，其特征在于，所述将所述真实人脸纹理图像中的皮肤区域和所述标准人脸纹理图像中的皮肤区域进行图像融合，得到第一中间真实人脸纹理图像，包括：
针对所述标准人脸纹理图像的皮肤区域中的任意一个像素点，基于所述像素点的像素值、所述真实人脸纹理图像的皮肤区域中各像素点的平均像素值以及所述标准人脸纹理图像的皮肤区域中各像素点的平均像素值，得到与所述像素点对应的融合像素值；
基于与各像素点对应的融合像素值，得到所述第一中间真实人脸纹理图像。
7.根据权利要求6所述的方法，其特征在于，所述基于所述像素点的像素值、所述真实人脸纹理图像的皮肤区域中各像素点的平均像素值以及所述标准人脸纹理图像的皮肤区域中各像素点的平均像素值，得到与所述像素点对应的融合像素值，包括：
通过以下方式得到所述像素点对应的融合像素值：
将所述真实人脸纹理图像的皮肤区域中各像素点的平均像素值与所述标准人脸纹理图像的皮肤区域中各像素点的平均像素值相减，得到像素差值；
将所述像素点的像素值与所述像素差值相加，得到与所述像素点对应的融合像素值。
8.根据权利要求1所述的方法，其特征在于，所述利用所述标准人脸纹理图像中的五官区域的对所述第一中间真实人脸图像中的五官区域进行调整，得到第二中间真实人脸纹理图像，包括：
利用仿射变换技术，将所述第一中间真实人脸图像中五官区域的掩膜图像变形至与所述标准人脸纹理图像中五官区域的掩膜图像相同，得到变形后的五官区域的掩膜图像；
基于所述变形后的五官区域的掩膜图像对所述第一中间真实人脸图像中的五官区域的形状进行调整，得到所述第二中间真实人脸纹理图像。
9.根据权利要求1所述的方法，其特征在于，所述通过所述标准人脸纹理图像对所述第二中间真实人脸纹理图像进行五官补全，得到第三中间真实人脸纹理图像之前，所述方法还包括：
统计所述第二中间真实人脸纹理图像的人脸区域中各像素点的数量，得到第一数量；以及，
统计所述标准人脸纹理图像的人脸区域中各像素点的数量，得到第二数量；
将所述第一数量和所述第二数量相减，得到像素重叠率；
若确定所述像素重叠率不小于指定像素重叠率，则确定执行通过所述标准人脸纹理图像对所述第二中间真实人脸纹理图像进行五官补全，得到第三中间真实人脸纹理图像的步骤；
若确定所述像素重叠率小于指定像素重叠率，则基于所述第二中间真实人脸纹理图像的中线对所述第二中间真实人脸纹理图像进行对称补全，并将对称补全后的第二中间真实人脸纹理图像确定为所述第二中间真实人脸纹理后，确定执行通过所述标准人脸纹理图像对所述第二中间真实人脸纹理图像进行五官补全，得到第三中间真实人脸纹理图像的步骤。
10.一种电子设备，其特征在于，包括处理器和存储器，所述处理器和所述存储器通过总线连接；
所述存储器中存储有计算机程序，所述处理器被配置为基于所述计算机程序执行以下操作：
针对任意一张人脸图像，利用预先设置好的人脸类别与标准人脸纹理图像的对应关系，确定与所述人脸图像的人脸类别相对应的标准人脸纹理图像；
利用所述人脸图像的人脸几何模型以及所述人脸图像进行真实人脸纹理重建，得到真实人脸纹理图像，其中，所述人脸几何模型是基于所述人脸图像得到的；
将所述真实人脸纹理图像中的皮肤区域和所述标准人脸纹理图像中的皮肤区域进行图像融合，得到第一中间真实人脸纹理图像，并利用所述标准人脸纹理图像中的五官区域的对所述第一中间真实人脸图像中的五官区域进行调整，得到第二中间真实人脸纹理图像，其中，所述皮肤区域和所述五官区域组成所述人脸图像中的人脸区域；
通过所述标准人脸纹理图像对所述第二中间真实人脸纹理图像进行五官补全，得到第三中间真实人脸纹理图像；
根据所述第三中间真实人脸纹理图像和所述标准人脸纹理图像进行融合，得到与所述人脸图像相对应的目标人脸纹理图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310174057.2A CN117765147A (zh) | 2023-02-28 | 2023-02-28 | 一种人脸几何模型的纹理重建方法及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310174057.2A CN117765147A (zh) | 2023-02-28 | 2023-02-28 | 一种人脸几何模型的纹理重建方法及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117765147A true CN117765147A (zh) | 2024-03-26 |
Family
ID=90314912
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310174057.2A Pending CN117765147A (zh) | 2023-02-28 | 2023-02-28 | 一种人脸几何模型的纹理重建方法及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117765147A (zh) |
-
2023
- 2023-02-28 CN CN202310174057.2A patent/CN117765147A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109325437B (zh) | 图像处理方法、装置和系统 | |
| WO2021174939A1 (zh) | 人脸图像的获取方法与系统 | |
| JP7476428B2 (ja) | 画像の視線補正方法、装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラム | |
| CN107507217B (zh) | 证件照的制作方法、装置及存储介质 | |
| EP3971841A1 (en) | Three-dimensional model generation method and apparatus, and computer device and storage medium | |
| CN111768477B (zh) | 三维人脸表情基建立方法及装置、存储介质及电子设备 | |
| WO2023050992A1 (zh) | 用于人脸重建的网络训练方法、装置、设备及存储介质 | |
| CN113628327B (zh) | 一种头部三维重建方法及设备 | |
| WO2022143645A1 (zh) | 三维人脸重建的方法、装置、设备和存储介质 | |
| CN111652123B (zh) | 图像处理和图像合成方法、装置和存储介质 | |
| WO2022197431A1 (en) | Methods and systems for personalized 3d head model deformation | |
| CN116977522A (zh) | 三维模型的渲染方法、装置、计算机设备和存储介质 | |
| WO2022197428A1 (en) | Methods and systems for constructing facial position map | |
| CN113705295A (zh) | 对象姿态迁移方法、装置、设备及存储介质 | |
| KR20230085931A (ko) | 얼굴 이미지에서 색상을 추출하기 위한 방법 및 시스템 | |
| CN111382618A (zh) | 一种人脸图像的光照检测方法、装置、设备和存储介质 | |
| JP2024506170A (ja) | 個人化された３ｄ頭部モデルおよび顔モデルを形成するための方法、電子装置、およびプログラム | |
| CN116863044A (zh) | 人脸模型的生成方法、装置、电子设备及可读存储介质 | |
| US20240062495A1 (en) | Deformable neural radiance field for editing facial pose and facial expression in neural 3d scenes | |
| CN116977539A (zh) | 图像处理方法、装置、计算机设备、存储介质和程序产品 | |
| CN117765147A (zh) | 一种人脸几何模型的纹理重建方法及电子设备 | |
| CN112561784B (zh) | 图像合成方法、装置、电子设备及存储介质 | |
| CN112862981B (zh) | 用于呈现虚拟表示的方法和装置、计算机设备和存储介质 | |
| CN115393471A (zh) | 图像处理方法、装置及电子设备 | |
| CN114742954A (zh) | 一种构建大规模多样化人脸图片和模型数据对的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |