CN115082640A - 基于单张图像的3d人脸模型纹理重建方法及设备 - Google Patents

基于单张图像的3d人脸模型纹理重建方法及设备 Download PDF

Info

Publication number
CN115082640A
CN115082640A CN202210918308.9A CN202210918308A CN115082640A CN 115082640 A CN115082640 A CN 115082640A CN 202210918308 A CN202210918308 A CN 202210918308A CN 115082640 A CN115082640 A CN 115082640A
Authority
CN
China
Prior art keywords
image
texture
front face
points
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210918308.9A
Other languages
English (en)
Inventor
刘元伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Juhaokan Technology Co Ltd
Original Assignee
Juhaokan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Juhaokan Technology Co Ltd filed Critical Juhaokan Technology Co Ltd
Priority to CN202210918308.9A priority Critical patent/CN115082640A/zh
Publication of CN115082640A publication Critical patent/CN115082640A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Generation (AREA)

Abstract

本申请涉及人脸三维重建技术领域，提供一种基于单张图像的3D人脸模型纹理重建方法及设备，通过对正面人脸图像进行语义分割，用分割后各肤色区域的颜色均值，校正预置纹理图像的颜色值，从而在保留完整人脸纹理的情况下，提高了纹理的真实性；同时，根据正面人脸图像中2D特征点和目标几何模型中相应3D特征点间的映射关系，确定非刚性变形后的正面人脸图像，并基于2D图像和3D模型间的目标全局投影矩阵，用变形后的正面人脸图像进行纹理映射，得到用于对个性化几何模型进行纹理贴图的目标纹理图像，从而解决局部纹理错位问题，提高纹理重建的精度，且通过对目标纹理图像进行前景背景的融合，解决光栅化造成的边界颜色过渡不均匀的问题。

Description

基于单张图像的3D人脸模型纹理重建方法及设备
技术领域
本申请涉及人脸三维重建技术领域，提供一种基于单张图像的3D人脸模型纹理重建方法及设备。
背景技术
随着元宇宙概念的兴起，获得具有个性化的虚拟数字人吸引了人们更多的兴趣，而人脸作为虚拟数字人的主要关注点之一，生成真实的3D人脸模型称为虚拟数字人的研究重点。
3D人脸模型是指同时具有几何模型和纹理贴图的三维空间表达，相比于二维图像，具有更强的表现力，从而广泛应用于电影、游戏、虚拟社交等领域。
目前，基于图像的人脸三维重建支持基于单张图像重建3D人脸模型。其中，基于单张图像重建3D人脸模型在重建人脸纹理时，主要有两种方案：方案一是根据大量数据集构建出纹理基空间，然后通过对基向量线性组合的方法得到与用户相近的纹理；方案二是直接从输入的原始人脸图像上获取纹理片段，通过估计投影矩阵后进行纹理映射。然而，方案一是通过数据库中现存的纹理组合得到的，因此，存在合成的纹理与用户的真实纹理相似度不高和细节损失严重的问题。方案二虽然直接从原始人脸图像中获取纹理，保证了纹理相似度，但是因为原始人脸图像一般只为正面图像，无法提供完整的纹理，另外，由于纹理映射时估计的投影矩阵是全局最优解，无法保证在每一个局部都能够和人脸特征绝对对齐，存在纹理局部错位的问题。
因此，提高人脸纹理重建的完整性、真实性和精度，是虚拟数字人领域亟待解决的问题。
发明内容
本申请提供一种基于单张图像的3D人脸模型纹理重建方法及设备，用于提高3D人脸模型的纹理重建精度、真实性和完整性。
一方面，本申请提供一种基于单张图像的3D人脸模型纹理重建方法，包括：
获取一张正面人脸图像和预制纹理图像，并提取所述正面人脸图像中的多个2D特征点；
根据多个2D特征点的图像坐标，以及预先生成的参数化几何模型中相应的3D特征点的三维坐标，确定目标全局投影矩阵以得到目标几何模型；
根据所述正面人脸图像校正所述预制纹理图像的颜色值，得到初始纹理图像；
根据多个2D特征点和相应的3D特征点间的映射关系，确定非刚性变形后的正面人脸图像；
根据所述目标全局投影矩阵，将变形后的正面人脸图像中像素点的颜色值，赋值给初始纹理图像中像素点，得到用于对所述目标几何模型进行纹理贴图的目标纹理图像。
另一方面，本申请提供一种重建设备，包括处理器和存储器，所述存储器和所述处理器通过总线连接；
所述存储器存储有计算机程序，所述处理器根据所述计算机程序，执行以下操作：
获取一张正面人脸图像和预制纹理图像，并提取所述正面人脸图像中的多个2D特征点；
根据多个2D特征点的图像坐标，以及预先生成的参数化几何模型中相应的3D特征点的三维坐标，确定目标全局投影矩阵以得到目标几何模型；
根据所述正面人脸图像校正所述预制纹理图像的颜色值，得到初始纹理图像；
根据多个2D特征点和相应的3D特征点间的映射关系，确定非刚性变形后的正面人脸图像；
根据所述目标全局投影矩阵，将变形后的正面人脸图像中像素点的颜色值，赋值给初始纹理图像中像素点，得到用于对所述目标几何模型进行纹理贴图的目标纹理图像。
另一方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机设备执行本申请实施例提供的基于单张图像的3D人脸模型纹理重建方法。
本申请提供的基于单张图像的3D人脸模型纹理重建方法及设备中，获取了预先生成的参数化几何模型对应的一张预制纹理图像，由于预制纹理图像包含完整的人脸纹理，但与真实纹理的相似度较低，无法直接进行纹理贴图，因此，用获取的正面人脸图像校正了预制纹理图像的颜色值，在保留完整人脸纹理的情况下，提高了纹理的真实性；根据正面人脸图像中提取的多个2D特征点的图像坐标以及参数化几何模型中相应的3D特征点的三维坐标，确定目标全局投影矩阵，当基于目标全局投影矩阵进行纹理映射时，可能在眼角、嘴角等局部位置出现纹理错位，因此，根据多个2D特征点和相应3D特征点间的映射关系，确定非刚性变形后的正面人脸图像，用变形后的正面人脸图像进行纹理映射得到目标纹理图像，从而解决局部纹理错位问题，提高纹理重建的精度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的参数化几何模型和预制纹理图像的生成方法流程图；
图2为本申请实施例提供的不同形状参数和表情参数对参数化几何模型的影响效果图；
图3A为本申请实施例提供的预制纹理图像示意图；
图3B为本申请实施例提供的预制纹理图像贴图后的效果图；
图4为本申请实施例提供的基于单张图像的3D人脸模型纹理重建方法结构图；
图5为本申请实施例提供的一种基于单张图像的3D人脸模型纹理重建方法流程图；
图6为本申请实施例提供的正面人脸图像中提取的68个2D特征点示意图；
图7为本申请实施例提供的生成个性化的目标几何模型的方法流程图；
图8为本申请实施例提供的生成初始纹理图像的方法流程图；
图9为本申请实施例提供的正面人脸图像的语义分割示意图；
图10为本申请实施例提供的原始的正面人脸图像中的2D特征点和对应的3D特征点的投影效果图；
图11为本申请实施例提供的对正面人脸图像进行非刚性变形的方法流程图；
图12为本申请实施例提供的正面人脸图像一种剖分示意图；
图13为本申请实施例提供的空白图像一种剖分示意图；
图14本申请实施例提供的一个三角形区域的填充过程示意图；
图15本申请实施例提供的几何模型空间、纹理空间和RGB图像空间的关系图；
图16本申请实施例提供的目标纹理图像的生成方法流程图；
图17为本申请实施例提供的重建设备的硬件结构图；
图18为本申请实施例提供的重建设备的功能结构图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请技术方案的一部分实施例，而不是全部的实施例。基于本申请文件中记载的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请技术方案保护的范围。
目前，在虚拟数字人的人脸三维重建领域中，获得3D人脸模型的方法主要包括基于3D扫描设备获取点云进行重建，以及基于2D人脸图像恢复3D人脸模型这两种形式。其中，通过3D扫描设备进行人脸三维重建的模型精度高、细节丰富，但由于3D扫描设备较为昂贵、不方便携带，且需要扫描完成后进行重建，速度较慢。相对而言，基于2D人脸图像的人脸重建的方法使用普通相机便可完成，成本低廉，应用场景更为广泛。
基于2D人脸图像的人脸三维重建包括：基于多视角的人脸图像的三维重建以及基于单视角的人脸图像的三维重建。基于多张人脸图像的三维重建过程中，通过匹配相邻图像间的特征点恢复出三维点的坐标进而完成稠密的人脸点云重建，最终呈现的3D几何模型与基于3D扫描设备重建的3D几何模型类似，具有较多的顶点和面片数量，细节也能较好的保持，并在得到3D几何模型后，选取最佳视角的图像通过透视投影关系进行纹理贴图，从而得到带纹理的3D人脸模型。但该方法为了获得好的重建效果，通常需要采集10-20张不同角度的人脸图像，且采集时人头必须保持不动，对采集的图像进行后续处理和重建的工作也比较耗时，从而限制了该方法的使用。
由于基于单张人脸图像的三维重建方法时间成本和受限程度较低，已成为目前人脸三维重建领域的研究重点。然而，现有的基于单张人脸图像重建3D人脸模型的纹理时，大多是将人脸图像中提取的纹理与模板纹理从线性空间组合或变形得到，导致纹理合成相似度不佳，还有的是从单张人脸图像获得的纹理不完整，不能够覆盖整个头部，因此无法直接使用。
鉴于此，本申请实施例提供一种基于单张图像的3D人脸模型纹理重建方法及设备，考虑到正面人脸图像包含的细节丰富，因此，该单张图像使用的为正面人脸图像。在该方法和设备中，基于人脸图像和已构建的参数化几何模型，生成个性化的目标几何模型，并获取了参数化几何模型对应的预制纹理图像，用人脸图像语义分割后各区域的像素颜色值，校正于预制纹理图像，得到初始纹理图像，由于预制纹理图像包含完整的人脸纹理，保证了纹理的完整性，且用人脸图像的像素颜色校正后，提高了纹理的真实性；然后根据人脸图像中提取的2D特征点和目标几何模型的3D特征点，确定全局投影矩阵，并通过3D特征点对2D特征点进行局部移动以使人脸图像发生非刚性变形，从而解决了单一的全局投影矩阵存在的投影误差问题，保证了纹理贴图的局部精度；最后，采用肤色迁移和纹理映射方法，将非刚性变形后的人脸图像和初始纹理图像进行融合，得到目标纹理图像，进一步保证了纹理风格与真实纹理的一致性。
基于单张人脸图像的3D人脸模型重建从内容上大致划分为几何重建和纹理重建两部分，其中，几何重建主要借助同拓扑的参数化几何模型，根据人脸图像中提取的特征点，调整参数化几何模型，使该模型具备输入的人脸图像的生物特征；纹理重建则是将输入的人脸图像通过投影关系″光栅化″到参数化几何模型的纹理空间中。
考虑到单张人脸图像无法给出人脸深度信息，这成为了从2D人脸图像中恢复出人脸3D信息存在的″病态″问题。为此，本申请实施例在基于单张人脸图像重建3D人脸模型的纹理时，基于已有的人头数据集，预先生成了代表多数人脸平均特性的3D参数化几何模型，以及该模型对应的预制纹理图像。其中，通用的参数化几何模型中使用固定的点数来表达人脸。其生成过程为：采用主成分分析(Principal Components Analysis，PCA)方法，将采集的几百个真实人脸图像进行降维分解后的向量作为基空间，通过对基向量的线性组合，得到人脸的参数化几何模型。这样，人脸三维重建的问题便转变成了估计线性组合系数的低维问题。除了几何部分可以用基空间表示外，也可以用同样的方法构建纹理的基空间。
假设已有的人头数据集中，包含高精度的3D扫描设备采集的500个人体头部图像，则参数化几何模型和预制纹理图像的具体生成过程参见图1，主要包括以下几步：
S101：分别从500个人体头部图像中提取3D特征点云数据，并将每个图像中提取的3D特征点云数据进行融合，得到目标点云数据集。
S102：从目标点云数据集中下采样5000个点。
S103：采用泊松重建方法，将5000个点重建为带面片的参数化几何模型。
其中，参数化几何模型代表了500个人头的平均几何模型。
S104：采用PCA算法，从5000个点中降维得到50个主成分向量，这50个主成分向量用于表征人脸形状。
S105：将50主成分向量分别使用不同的系数加到平均的参数化几何模型，使得参数化几何模型中人脸的形状发生不同的变化，得到通用的参数化几何模型。
其中，不同的人脸形状参数对参数化几何模型的影响效果如图2中的(a)所示。
S106：使用三维模型软件，通过融合变形(Blend Shape)选项为参数化几何模型中的眼镜、嘴巴等部位添加30个表情参数。
通过控制人脸表情参数的变化，参数化几何模型可以产生丰富的表情，进一步增加了3D人脸模型的个性化表达空间。如图2中的(b)所示，为不同的人脸表现参数对参数化几何模型的影响效果图。
在生成参数化几何模型时，预先定义好进行纹理映射的三角形面片索引并保存。
S107：使用三维模型软件，生成用于对参数化几何模型进行纹理贴图的预制纹理图像。
在生成预制纹理图像的过程中，预制纹理图像及其在纹理空间的几何UV坐标展开方式均保存下来用于纹理贴图时使用。如图2中的(c)所示，为基于预制纹理图像为不同形状参数和表情参数对应的参数化几何模型纹理贴图后的效果图。
可选的，上述三维模型软件可以是Maya、3DsMax等，本申请实施例不做限制性要求不做限制性约束。
本申请实施例在生成参数化几何模型的过程中，从500个人头图像提取的3D特征点云数据中，降采样得到的5000个点作为表达通用的参数化几何模型的基础，通过对5000个点进行PCA获得50个形状参数，记为S＝{S1，S2，S3，…，S50}，以及，通过三维建模软件获得30个表情参数，记为E＝{E1，E2，E3，…，E30}，通过50个形状参数和30个表情参数的线性组合，可以改变通过的参数化几何模型使其成为个性化的人脸几何模型。在获得通用的参数化几何模型后，通过三维建模软件生成一张预制纹理图像，如图3A所示，该预制纹理图像可作为后续纹理贴图的模板纹理。至此，纹理贴图后获得的带有模板纹理的3D人脸模型如图3B所示。
基于上述预先生成的参数化几何模型和预制纹理图像，本申请实施提供了一种基于单张图像的3D人脸模型纹理重建方法，如图4所示，为该方法的整体结构图，整个纹理重建过程主要包括以下模块：生成个性化的目标几何模型、正面人脸图像的语义分割、肤色迁移、正面人脸图像的非刚性变形、纹理映射和纹理融合。
下面结合具体实施例，详细描述各模块的具体实现方式。
参见图5，为本申请实施例提供了一种基于单张图像的3D人脸模型纹理重建方法流程图，该流程主要包括以下几步：
S501：获取一张正面人脸图像和预制纹理图像，并提取正面人脸图像中的多个2D特征点。
由于正面人脸图像包含的细节最为丰富，因此，在S501中，使用单张图像进行3D人脸模型的纹理重建时，使用正面人脸图像，并使用开源的人脸特征点检测库，从真实的正面人脸图像中提取多个2D特征点。
以使用dlib库为例，可提取出68个2D特征点，用像素坐标(即图像坐标)表示为：
Figure BDA0003776551350000061
其中，(ui，vi)分别表示第i(i＝1，2，...，68)个2D特征点在正面人脸图像中的行列数。
如图6所示，为正面人脸图像中提取的68个2D特征点示意图，如图6示出了，68个特征点有序编号，每个特征点都代表了脸部的某处的生物特征，如眼角、嘴角等。
S502：根据多个2D特征点的图像坐标，以及预先生成的参数化几何模型中相应的3D特征点的三维坐标，确定目标全局投影矩阵以得到目标几何模型。
由参数化几何模型的生成过程可知，参数化几何模型是基于50个形状参数和30个表情参数线性组合得到的，通过真实的正面人脸图像估计出符合目标对象人脸特征的50个形状参数和30个表情参数，可以得到该目标对象的个性化的目标几何模型。
在S502中，获得个性化的目标几何模型的过程中，按照正面人脸图像中提取的68个2D特征点所定义的生物特征顺序，在参数化几何模型中同样定义68个3D特征点，这68个特征点在参数化几何模型中的位置用三维坐标表示为：
Figure BDA0003776551350000071
在S502中，获得68个2D特征点的图像坐标以及68个3D特征点的三维坐标后，根据2D特征点和3D特征点之间的对应关系，确定2D-3D间的全局投影矩阵，并根据全局投影矩阵计算投影误差，2D-3D间的投影误差，并通过至少一次迭代优化，不断更新50个形状参数和30个表情参数的值，当投影误差降到预设误差区间时，得到目标几何模型。
其中，2D-3D间的全局投影矩阵的公式表示如下：
Figure BDA0003776551350000072
在公式3中，M为2行3列的全局投影矩阵，(u，v)和(x，y，z)分别表示2D特征点的图像坐标和3D特征点的三维坐标。
由于初始的多个3D特征点是从通用的参数几何模型上获得的，考虑到通用的参数几何模型与目标对象的生物特征可能存在误差，如果将参数化几何模型直接作为目标对象的个性化几何模型来计算全局投影矩阵，也可能存在误差，因此，可通过68个2D-3D特征点对，可以构造线性方程组，采用最小二乘法，获得更准确的全局投影矩阵M，使得||P68-MX68||的值最小，从而得到具备目标对象生物特征的个性化目标几何模型。
目标几何模型具体实现过程参见图7，主要包括以下几步：
S5021：根据多个2D特征点的图像坐标，以及相应的3D特征点的三维坐标，确定初始全局投影矩阵。
在S5021中，从参数化几何模型中获得的与多个2D特征点一一对应的3D点，可以作为初始3D点来计算2D图像与3D模型间的初始全局投影矩阵。
S5022：根据初始全局投影矩阵，优化参数化几何模型的形状参数和表情参数以减小投影误差，获得更新多个2D特征点对应的3D特征点的三维坐标。
在S5022中，初始全局投影矩阵优化参数化几何模型的形状参数S＝{S1，S2，S3，…，S50}和表情参数E＝{E1，E2，E3，…，E30}，随着形状参数和表情参数的变化，人脸的多个3D特征点的三维坐标(即位置)也随之改变，从而减小投影误差||P68-MX68||的值。
S5023：根据多个2D特征点的图像坐标和更新后相应的3D点的三维坐标，重新计算全局投影矩阵，直到多个2D特征点与相应的3D特征点间的投影误差在预设误差区间时，停止优化。
在S5023中，一轮优化后，用更新后的多个3D特征点的三维坐标和相应的2D特征点的图像坐标，重新计算全局投影矩阵，并用新的全局投影矩阵再次优化参数化几何模型的形状参数S＝{S1，S2，S3，…，S50}和表情参数E＝{E1，E2，E3，…，E30}，重新计算多个2D特征点与相应的3D点间的投影误差||P68-MX68||的值。每得到一个投影误差，判断投影误差的取值是否在预设误差区间，若不在，则继续优化形状参数和表情参数，若在，则停止优化。
S5024：将投影误差最小的全局投影矩阵作为目标全局投影矩阵，并根据目标全局投影矩阵对应的形状参数和表情参数，得到目标几何模型。
通过不断优化参数化几何模型的形状参数和表情参数，使得投影误差||P68-MX68||的值最小，并将最小投影误差对应的全局投影矩阵作为目标全局投影矩阵，并根据目标全局投影矩阵对应的形状参数和表情参数，得到符合目标对象生物特征的目标几何模型。
S503：根据正面人脸图像校正预制纹理图像的颜色值，得到初始纹理图像。
本申请实施例中，预制纹理图像包含了人脸、头发等整个头部的完整纹理，可以为纹理重建提供参考数据，但在生成参数化几何模型和预制纹理图像时，几何部分和纹理部分都是基于基空间表示的，用PCA降维和线性组合的方式，使得基空间的维度有限，这样，不可避免地导致最终生成的预制纹理图像与目标对象的真实纹理相似度较低，而且损失了脸部细节信息。
为了提高3D人脸模型的纹理效果，在一些相关技术中，基于全局投影矩阵，直接将真实的正面人脸图像逐像素映射到目标几何模型上进行纹理贴图，因为纹理图像的颜色值是直接从正面人脸图像中获取的，所以，该纹理图像最大程度的还原了人脸纹理的细节信息，保证了纹理的真实性。但该方法存在两个问题：一是全局投影矩阵是通过稀疏特征点的对应关系估计得到的，存在一定的估计误差，而且使用单一的全局投影矩阵无法对齐每一处部位的人脸细节，从而使得贴图的纹理图像存在一定的偏差，影响用户观感；二是，单张正面人脸图像只能提供正面人脸区域的纹理，侧面和背后的纹理还是缺失状态，贴图后的3D人脸模型无法直接使用。
因此，本申请实施例在S503中，用真实的正面人脸图像对预制纹理图像进行了颜色校正，从而将正面人脸图像中的真实肤色迁移到预制纹理图像中，得到初始纹理图像。这样，初始纹理图像既可以基于预制纹理图像保证纹理的完整性，又能保留正面人脸图像中的纹理细节，真实性较高。其中，初始纹理图像的生成过程具体参见图8，主要包括以下几步：
S5031：对正面人脸图像进行语义分割，确定各分割区域内像素点的颜色均值。
在S5031中，可采用深度学习模型对人脸进行语义分割。例如，如图9所示，为本申请实施例提供的基于BiSeNet网络得到的人脸语义分割的结果示意图。目前，人脸语义分割技术已经较为成熟，不作为本案的重点，在此不再展开描述。
获得语义分割后的各分割区域后，计算各肤色区域内像素点的颜色均值，其中，各肤色区域为除图像背景、眼睛、眉毛等外的肌肤区域。
通过人脸语义分割，可以精确定位人的面部、鼻子、嘴巴、眼睛、头发等各个区域，这样，在重建纹理时，一方面，可以避免头发、眼睛等非肤色区域对平均肤色的影响，另一方面，纹理贴图时，只需使用肤色区域进行纹理映射，防止图像背景及头发等误贴到初始纹理图像上。
S5032：用各肤色区域的颜色均值，校正预制纹理图像中各肤色区域的颜色均值，得到初始纹理图像。
在S5032中，假设各肤色区域的颜色均值为
Figure BDA0003776551350000091
预制纹理图像中各肤色区域的颜色均值为
Figure BDA0003776551350000092
首先，计算正面人脸图像中各肤色区域的颜色均值
Figure BDA0003776551350000093
与预制纹理图像中各肤色区域的颜色均值
Figure BDA0003776551350000094
的平均肤色差值，记为
Figure BDA0003776551350000095
Figure BDA0003776551350000096
然后，针对预制纹理图像中各肤色区域内的每一像素点，将该像素点的颜色值加上平均肤色差值，从而使得初始纹理图像的肤色分布接近目标对象的真实肤色分布，为后续纹理映射和纹理融合做好基础。
S504：根据多个2D特征点和相应3D特征点间的映射关系，确定非刚性变形后的正面人脸图像。
在生成个性化的目标几何模型的过程中，采用最小二乘法，获得了令2D图像和3D模型间目标全局投影矩阵，该目标全局投影矩阵使得目标几何模型上的68个3D特征点投影到人脸正面图像上时与正面人脸图像中的68个2D特征点之间的投影误差||P68-MX68||最小。由于最小二乘法是全局最优方案，它保证了68个特征点对的投影误差和达到最小，但是具体到某一个特征点对，则可能存在像素级的偏差。
例如，如图10所示，实心圆点为正面人脸图像中得到的68个2D特征点，实心三角形点为目标几何模型上68个3D特征点在目标全局投影矩阵M的作用下得到的投影点，可以看到对每一对实心圆和实心三角形点均存在像素误差。这种误差的存在体现在最终的纹理贴图上就会导致眼角、嘴角等关键特征无法对齐的现象，显著影响了最终3D人脸模型的观感。
因此，如果直接使用原始的正面人脸图像进行纹理映射，会导致局部特征无法准确对齐，影响3D人脸模型的观感。为了解决该问题，本申请实施例在S504中，基于正面人脸图像中多个2D特征点和目标几何模型中相应的3D特征点间的映射关系，对多个2D特征点进行局部移动，使得多个2D特征点和目标几何模型中相应的3D特征点的投影点的位置重合，驱动正面人脸图像发生非刚性变形，从而用非刚性变形后的正面人脸图像进行纹理映射时，能够提高人脸特征点在目标几何模型上的贴图精度，解决局部纹理错位的问题。
其中，非刚性变形过程参见图11，主要包括以下几步：
S5041：将多个3D特征点投影到一张与正面人脸图像同分辨率大小的空白图像上。
在S5041中，空白图像的分辨率与正面人脸图像的分辨率大小相同，可以保证3D特征点投影到正面人脸图像上和空白图像上的一致性。
S5042：根据多个2D特征点和正面人脸图像的四个角点以及四边中点，将正面人脸图像划分为多个三角形，以及，根据多个3D特征点在空白图像上的投影点和空白图像的四个角点以及四边中点，将空白图像划分为多个三角形。
在S5042中，针对正面人脸图像，将提取的68个2D特征点和四个角点以及四边中点共76个点作为网格顶点，按照一定的规则，用这76个网格顶点将正面人脸图像剖分成多个三级形。
例如，图6中编号为{18，19，37}的三个2D特征点组成一个三角形，编号为{19，37，38}的三个2D特征点组成另一个三角形。
其中，本申请实施例对剖分规则的顺序不做限制性要求，但最终剖分得到的多个三角形需要彼此无覆盖的占满整幅图像。参见图12，为本申请实施例提供的正面人脸图像一种剖分示意图。
同时，针对空白图像，将68个3D特征点在空白图像上的投影点，和四个角点以及四边中点共76个点作为网格顶点，按照正面人脸图像的剖分规则和顺序，用这76个网格顶点将空白图像剖分成多个三级形。参见图13，为本申请实施例提供的空白图像一种剖分示意图。
S5043：计算正面人脸图像中每个三角形，与空白图像中相应三角形间的局部仿射变化矩阵。
为便于描述，将正面人脸图像中剖分得到的三角形记为第一三角形，将空白图像中剖分得到的三角形记为第二三角形。
在S5043中，遍历正面人脸图像中剖分得到的每一个第一三角形，针对遍历的每一个第一三角形，执行以下操作：确定该第一三角形在空白图像中对应的第二三角形，根据第一三角形三个网格顶点与第二三角形三个网格顶点间的对应关系，唯一求解一个局部仿射变换矩阵。
S5044：根据各局部仿射变化矩阵，将正面人脸图像中相应三角形的图像区域填充到空白图像的三角形中，得到非刚性变形后的正面人脸图像。
在S5044中，针对每一个局部仿射变换矩阵，将该局部仿射变换矩阵对应的第一三角形从正面人脸图像中裁剪出来，并通过局部仿射变换矩阵，将裁剪出的第一三角形变形为空白图像中对应的第二三角形的形状，并将变形后的第一三角形的图像区域填充到对应的第二三角形中。参见图14，本申请实施例提供的一个三角形区域的填充过程示意图。
对正面人脸图像和空白图像中剖分中的每一对三角形均进行上述操作，直至将空白图像填满，从而得到非刚性变形后的正面人脸图像。
通过对正面人脸图像进行非刚性变形后，正面人脸图像上每一2D特征点的位置，都能与相应的3D特征点的投影点位置精准的对齐，从而在使用非刚性变形后的正面人脸图像进行纹理映射时，就能够使纹理贴图上的关键部位特征与目标几何模型完全对齐，从而解决了纹理错位的问题。
S505：根据目标全局投影矩阵，将变形后的正面人脸图像中像素点的颜色值，赋值给初始纹理图像中像素点，得到用于对目标几何模型进行纹理贴图的目标纹理图像。
本申请的实施例中，可基于目标全局投影矩阵，实现非刚性形变后的正面人脸图像与预制纹理图像进行纹理映射。纹理映射指的是按照逐像素插值的方法，将正面人脸图像的颜色值赋值到3D人脸模型的纹理空间中，从而使3D人脸模型具有与目标对象相同的纹理信息，使3D人脸模型最大程度地具有目标对象的皮肤细节信息。
纹理映射涉及到几何模型空间、RGB图像空间和纹理空间，三个空间的关系如图15所示。基于目标全局投影矩阵，实现几何模型空间和RGB图像空间的转换，基于生成参数化几何模型和预制纹理图像时预定义的几何UV坐标展示方式，实现几何模型空间和纹理空间的转换，从而借助几何模型空间，实现RGB图像空间和纹理空间的转换。
通常的，目标几何模型外表面由多个三角形面片组成，每个三角形面片对应一个索引。在S505中，通过面片索引，遍历目标几何模型中人脸区域内的每一个三角形面片，基于几何模型空间、RGB图像空间和纹理空间之间的关系，将非刚性变形后的正面人脸图像中逐像素点的颜色值，映射到预制纹理图像中，从而获得用于对目标几何模型进行纹理贴图的目标纹理图像。
参见图16，针对目标几何模型中人脸区域内的每个三角形面片，执行以下操作：
S5051：确定该三角形面片包含的顶点在初始纹理图像中对应的纹理点。
如图15所示，假设该三角形面片的三个顶点分别用X1、X2、X3表示，基于生成参数化几何模型和预制纹理图像时预定义的几何UV坐标展示方式获得该三角形面片的三个顶点X1、X2、X3在预制纹理图像(即纹理空间)中对应的纹理点，记为T1、T2、T3。
S5052：根据目标全局投影矩阵，确定该三角形面片包含的顶点在变形后的正面人脸图像中的二维投影点。
在生成目标几何模型时，通过最小二乘法优化算法，计算出了3D几何模型空间和RGB空间的目标全局投影矩阵M，通过目标全局投影矩阵M，可计算出该三角形面片包含的三个顶点X1，X2，X3在RGB空间(即非刚性变形后的正面人脸图像)中的二维投影点，如图15所示，分别记为P1，P2，P3，公式表示如下：
Figure BDA0003776551350000121
S5053：计算三个纹理点组成的第一三角形区域中每个像素点，在第一三角形区域内的重心坐标，并确定重心坐标在三个二维投影点组成的第二三角形区域内对应的像素点，将第二三角形区域内像素点的颜色值，赋值给第一三角形区域内相应的像素点。
在S5053中，针对该三角形面片包含的顶点对应的三个纹理点组成的第一三角形区域ΔT1T2T3中的每个像素点(tx，ty)，首先，计算该像素点在第一三角形区域ΔT1T2T3中的重心坐标，记为(α，β，γ)，其中，α+β+γ＝1，然后，在该三角形面片包含的顶点对应的三个二维投影点组成的第二三角形区域ΔP1P2P3中，确定该重心坐标(α，β，γ)对应的像素点，最后，将第二三角形区域ΔP1P2P3中该像素点的颜色值，赋值给第一三角形区域(即纹理空间)内像素点(tx，tv)。
在一些实施例中，考虑到重心坐标并不一定都是整数，可能在三个二维投影点组成的第二三角形区域中没有对应的像素点，此时，首先获取该重心坐标在第二三角形区域内相应位置点周围的各像素点，然后对相应位置点周围的各像素点的颜色值进行双线性插值，得到目标颜色值，最后将目标颜色值赋值给该重心坐标在第一三角形区域内对应的像素点。
上述颜色值赋值过程在计算机图形学中被称作″光栅化″。在不断″光栅化″的过程中，预制纹理图像中部分像素点的颜色值，会逐渐被非刚性变形后正面人脸图像中相应像素点的颜色值所替换，从而使对目标几何模型进行纹理贴图的目标纹理图像具备了目标对象的真实皮肤细节信息。
本申请实施例为保证重建的3D人脸模型具有完整的纹理，使用了预先生成的预制纹理图像，然后采用″光栅化″方法对预制纹理图像中的部分像素点的颜色值进行替换。在″光栅化″过程中，只有生成参数化几何模型时保存的人脸区域的三角形面片索引对应的纹理才会被替换，虽然用真实的正面人脸图像中各肤色区域的颜色均值对预制纹理图像进行了颜色校正，但″光栅化″后被替换的纹理和未被替换的纹理之间不可避免会存在明显的边界痕迹。
为解决上述问题，在一些实施例中，得到目标纹理图像后，还执行：将目标纹理图像中，被正面人脸图像中像素点的颜色值替换的纹理区域作为前景，以及，将目标纹理图像中，未被正面人脸图像中像素点的颜色值替换的纹理区域作为背景，采用泊松编辑(Poisson Editing)算法，对前景和背景进行融合，以平滑目标纹理图像中边界部分的颜色，从而消除″光栅化″后目标纹理图像中边界颜色过渡不均匀的问题，得到颜色一致性且带有真实皮肤细节的完整纹理。
本申请提供的基于单张图像的3D人脸模型纹理重建方法中，获取了预先生成的参数化几何模型对应的一张预制纹理图像，通过对正面人脸图像进行语义分割，用真实的正面人脸图像中各肤色区域的颜色均值校正预置纹理图像的颜色值，从而在保留完整人脸纹理的情况下，提高了纹理的真实性；同时，根据多个2D特征点和相应3D特征点间的映射关系，获得了非刚性变形后的正面人脸图像，从而在根据正面人脸图像中提取的多个2D特征点的图像坐标以及参数化几何模型中相应的3D特征点的三维坐标，确定的目标全局投影矩阵进行纹理映射时，从而解决局部纹理错位问题，提高纹理重建的精度；并且，在得到带有真实皮肤细节的完整目标纹理图像后，进行了前景和背景的融合，从而消除″光栅化″后目标纹理图像中边界颜色过渡不均匀的问题，提高了目标纹理图像的颜色一致性。
基于相同的技术构思，本申请实施例提供一种重建设备，该重建设备可以是具有数据处理能力的笔记本电脑、台式计算机、智能手机、平板、VR眼镜、AR眼镜等客户端，还可以是用于实现交互过程的服务器，包括但不限于微服务器、云服务器、服务器集群等。该重建设备可实现上述实施例中单张图像的3D人脸模型纹理重建方法的步骤，且能达到相同的技术效果。
参见图17，该重建设备包括处理器1701和存储器1702，所述存储器1702和所述处理器1701通过总线1703连接；
所述存储器1702存储有计算机程序，所述处理器1701根据所述计算机程序，执行以下操作：
获取一张正面人脸图像和预制纹理图像，并提取所述正面人脸图像中的多个2D特征点；
根据多个2D特征点的图像坐标，以及预先生成的参数化几何模型中相应的3D特征点的三维坐标，确定目标全局投影矩阵以得到目标几何模型；
根据所述正面人脸图像校正所述预制纹理图像的颜色值，得到初始纹理图像；
根据多个2D特征点和相应的3D特征点间的映射关系，确定非刚性变形后的正面人脸图像；
根据所述目标全局投影矩阵，将变形后的正面人脸图像中像素点的颜色值，赋值给初始纹理图像中像素点，得到用于对所述目标几何模型进行纹理贴图的目标纹理图像。
可选的，所述处理器1701根据所述正面人脸图像校正所述预制纹理图像的颜色值，得到初始纹理图像，具体操作为：
对所述正面人脸图像进行语义分割，并确定各肤色区域内像素点的颜色均值；
用所述各肤色区域的颜色均值，校正所述预制纹理图像中各肤色区域的颜色均值，得到初始纹理图像。
可选的，所述处理器1701根据多个2D特征点和相应的3D特征点间的映射关系，确定非刚性变形后的正面人脸图像，具体操作为：
将多个3D特征点投影到一张与所述正面人脸图像同分辨率大小的空白图像上；
根据多个2D特征点和所述正面人脸图像的四个角点以及四边中点，将所述正面人脸图像划分为多个三角形，以及，根据多个3D特征点在所述空白图像上的投影点和所述空白图像的四个角点以及四边中点，将所述空白图像划分为多个三角形；
计算所述正面人脸图像中每个三角形，与所述空白图像中相应三角形间的局部仿射变化矩阵；
根据各局部仿射变化矩阵，将所述正面人脸图像中相应三角形的图像区域填充到所述空白图像的三角形中，得到非刚性变形后的正面人脸图像。
可选的，所述处理器1701根据所述目标全局投影矩阵，将变形后的正面人脸图像中像素点的颜色值，赋值给初始纹理图像中的像素点，得到用于对所述目标几何模型进行纹理贴图的目标纹理图像，具体操作为：
针对所述目标几何模型中人脸区域内的每个三角形面片，执行以下操作后得到用于对所述目标几何模型进行纹理贴图的目标纹理图像：
确定所述三角形面片包含的顶点在所述初始纹理图像中对应的纹理点；
根据所述目标全局投影矩阵，确定所述三角形面片包含的顶点在变形后的正面人脸图像中的二维投影点；
计算三个纹理点组成的第一三角形区域中每个像素点，在所述第一三角形区域内的重心坐标，并确定所述重心坐标在三个二维投影点组成的第二三角形区域内对应的像素点，将所述第二三角形区域内像素点的颜色值，赋值给所述第一三角形区域内相应的像素点。
可选的，当所述重心坐标在3个二维投影点组成的第二三角形区域内没有对应的像素点时，所述处理器1701还执行：
获取所述重心坐标在所述第二三角形区域内相应位置点周围的各像素点；
对相应位置点周围的各像素点的颜色值进行双线性插值，得到目标颜色值；
将所述目标颜色值赋值给所述重心坐标在所述第一三角形区域内对应的像素点。
可选的，得到所述目标纹理图像之后，所述处理器1701还执行：
将所述目标纹理图像中，被所述正面人脸图像中像素点的颜色值替换的纹理区域作为前景；
将所述目标纹理图像中，未被所述正面人脸图像中像素点的颜色值替换的纹理区域作为背景；
采用泊松编辑算法，对前景和背景进行融合，以平滑所述目标纹理图像中边界部分的颜色。
可选的，所述处理器1701根据多个2D特征点的图像坐标，以及预先生成的参数化几何模型中相应的3D特征点的三维坐标，确定目标全局投影矩阵以得到目标几何模型，具体操作为：
根据多个2D特征点的图像坐标，以及相应的3D特征点的三维坐标，确定初始全局投影矩阵；
根据所述初始全局投影矩阵，优化所述参数化几何模型的形状参数和表情参数以减小投影误差，得到更新后多个2D特征点对应的3D特征点的三维坐标；
根据多个2D特征点的图像坐标和更新后相应的3D特征点的三维坐标，重新计算全局投影矩阵，直到多个2D特征点与相应的3D特征点间的投影误差在预设误差区间时，停止优化；
将投影误差最小的全局投影矩阵作为所述目标全局投影矩阵，并根据所述目标全局投影矩阵对应的形状参数和表情参数，得到目标几何模型。
需要说明的是，图17仅是一种示例，给出重建设备实现本申请实施例提供的人体模型和衣物模型的融合方法步骤所必要的硬件。可选的，该重建设备还包括显示屏、麦克风、扬声器、电源、通信接口等。
本申请实施例图17中涉及的处理器可以是中央处理器(Central ProcessingUnit，CPU)，通用处理器，图形处理器(Graphics Processing Unit，GPU)数字信号处理器(Digital Signal Processor，DSP)，专用集成电路(Application-specific IntegratedCircuit，ASIC)，现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。
参见图18，为本申请实施例提供的重建设备的功能结构图，该重建设备主要包括图像获取模块1801、几何重建模块1802、纹理校正模块1803、图像变形模块1804和颜色赋值模块1805，其中：
图像获取模块1801，用于获取一张正面人脸图像和预制纹理图像，并提取所述正面人脸图像中的多个2D特征点；
几何重建模块1802，用于根据多个2D特征点的图像坐标，以及预先生成的参数化几何模型中相应的3D特征点的三维坐标，确定目标全局投影矩阵以得到目标几何模型；
纹理校正模块1803，用于根据所述正面人脸图像校正所述预制纹理图像的颜色值，得到初始纹理图像；
图像变形模块1804，用于根据多个2D特征点和相应的3D特征点间的映射关系，确定非刚性变形后的正面人脸图像；
颜色赋值模块1805，用于根据所述目标全局投影矩阵，将变形后的正面人脸图像中像素点的颜色值，赋值给初始纹理图像中像素点，得到用于对所述目标几何模型进行纹理贴图的目标纹理图像。
上述各功能模块的具体实现参见前述实施例，在此不再重复描述。
本申请实施例还提供一种计算机可读存储介质，用于存储一些指令，这些指令被执行时，可以完成前述实施例中一种基于单张图像的3D人脸模型纹理重建方法。
本申请实施例还提供一种计算机程序产品，用于存储计算机程序，该计算机程序用于执行前述实施例中一种基于单张图像的3D人脸模型纹理重建方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种基于单张图像的3D人脸模型纹理重建方法，其特征在于，包括：
获取一张正面人脸图像和预制纹理图像，并提取所述正面人脸图像中的多个2D特征点；
根据多个2D特征点的图像坐标，以及预先生成的参数化几何模型中相应的3D特征点的三维坐标，确定目标全局投影矩阵以得到目标几何模型；
根据所述正面人脸图像校正所述预制纹理图像的颜色值，得到初始纹理图像；
根据多个2D特征点和相应的3D特征点间的映射关系，确定非刚性变形后的正面人脸图像；
根据所述目标全局投影矩阵，将变形后的正面人脸图像中像素点的颜色值，赋值给初始纹理图像中像素点，得到用于对所述目标几何模型进行纹理贴图的目标纹理图像。
2.如权利要求1所述的方法，其特征在于，所述根据所述正面人脸图像校正所述预制纹理图像的颜色值，得到初始纹理图像，包括：
对所述正面人脸图像进行语义分割，并确定各肤色区域内像素点的颜色均值；
用所述各肤色区域的颜色均值，校正所述预制纹理图像中各肤色区域的颜色均值，得到初始纹理图像。
3.如权利要求1所述的方法，其特征在于，所述根据多个2D特征点和相应的3D特征点间的映射关系，确定非刚性变形后的正面人脸图像，包括：
将多个3D特征点投影到一张与所述正面人脸图像同分辨率大小的空白图像上；
根据多个2D特征点和所述正面人脸图像的四个角点以及四边中点，将所述正面人脸图像划分为多个三角形，以及，根据多个3D特征点在所述空白图像上的投影点和所述空白图像的四个角点以及四边中点，将所述空白图像划分为多个三角形；
计算所述正面人脸图像中每个三角形，与所述空白图像中相应三角形间的局部仿射变化矩阵；
根据各局部仿射变化矩阵，将所述正面人脸图像中相应三角形的图像区域填充到所述空白图像的三角形中，得到非刚性变形后的正面人脸图像。
4.如权利要求1所述的方法，其特征在于，所述根据所述目标全局投影矩阵，将变形后的正面人脸图像中像素点的颜色值，赋值给初始纹理图像中的像素点，得到用于对所述目标几何模型进行纹理贴图的目标纹理图像，包括：
针对所述目标几何模型中人脸区域内的每个三角形面片，执行以下操作后得到用于对所述目标几何模型进行纹理贴图的目标纹理图像：
确定所述三角形面片包含的顶点在所述初始纹理图像中对应的纹理点；
根据所述目标全局投影矩阵，确定所述三角形面片包含的顶点在变形后的正面人脸图像中的二维投影点；
计算三个纹理点组成的第一三角形区域中每个像素点，在所述第一三角形区域内的重心坐标，并确定所述重心坐标在三个二维投影点组成的第二三角形区域内对应的像素点，将所述第二三角形区域内像素点的颜色值，赋值给所述第一三角形区域内相应的像素点。
5.如权利要求4所述的方法，其特征在于，当所述重心坐标在三个二维投影点组成的第二三角形区域内没有对应的像素点时；
获取所述重心坐标在所述第二三角形区域内相应位置点周围的各像素点；
对相应位置点周围的各像素点的颜色值进行双线性插值，得到目标颜色值；
将所述目标颜色值赋值给所述重心坐标在所述第一三角形区域内对应的像素点。
6.如权利要求1所述的方法，其特征在于，得到所述目标纹理图像之后，所述方法还包括：
将所述目标纹理图像中，被所述正面人脸图像中像素点的颜色值替换的纹理区域作为前景；
将所述目标纹理图像中，未被所述正面人脸图像中像素点的颜色值替换的纹理区域作为背景；
采用泊松编辑算法，对前景和背景进行融合，以平滑所述目标纹理图像中边界部分的颜色。
7.如权利要求1-6中任一项所述的方法，其特征在于，所述根据多个2D特征点的图像坐标，以及预先生成的参数化几何模型中相应的3D特征点的三维坐标，确定目标全局投影矩阵以得到目标几何模型，包括：
根据多个2D特征点的图像坐标，以及相应的3D特征点的三维坐标，确定初始全局投影矩阵；
根据所述初始全局投影矩阵，优化所述参数化几何模型的形状参数和表情参数以减小投影误差，得到更新后多个2D特征点对应的3D特征点的三维坐标；
根据多个2D特征点的图像坐标和更新后相应的3D特征点的三维坐标，重新计算全局投影矩阵，直到多个2D特征点与相应的3D特征点间的投影误差在预设误差区间时，停止优化；
将投影误差最小的全局投影矩阵作为所述目标全局投影矩阵，并根据所述目标全局投影矩阵对应的形状参数和表情参数，得到目标几何模型。
8.一种重建设备，其特征在于，包括处理器和存储器，所述存储器和所述处理器通过总线连接；
所述存储器存储有计算机程序，所述处理器根据所述计算机程序，执行以下操作：
获取一张正面人脸图像和预制纹理图像，并提取所述正面人脸图像中的多个2D特征点；
根据多个2D特征点的图像坐标，以及预先生成的参数化几何模型中相应的3D特征点的三维坐标，确定目标全局投影矩阵以得到目标几何模型；
根据所述正面人脸图像校正所述预制纹理图像的颜色值，得到初始纹理图像；
根据多个2D特征点和相应的3D特征点间的映射关系，确定非刚性变形后的正面人脸图像；
根据所述目标全局投影矩阵，将变形后的正面人脸图像中像素点的颜色值，赋值给初始纹理图像中像素点，得到用于对所述目标几何模型进行纹理贴图的目标纹理图像。
9.如权利要求8所述的重建设备，其特征在于，所述处理器根据所述正面人脸图像校正所述预制纹理图像的颜色值，得到初始纹理图像，具体操作为：
对所述正面人脸图像进行语义分割，并确定各肤色区域内像素点的颜色均值；
用所述各肤色区域的颜色均值，校正所述预制纹理图像中各肤色区域的颜色均值，得到初始纹理图像。
10.如权利要求8所述的重建设备，其特征在于，所述处理器根据多个2D特征点和相应的3D特征点间的映射关系，确定非刚性变形后的正面人脸图像，具体操作为：
将多个3D特征点投影到一张与所述正面人脸图像同分辨率大小的空白图像上；
根据多个2D特征点和所述正面人脸图像的四个角点以及四边中点，将所述正面人脸图像划分为多个三角形，以及，根据多个3D特征点在所述空白图像上的投影点和所述空白图像的四个角点以及四边中点，将所述空白图像划分为多个三角形；
计算所述正面人脸图像中每个三角形，与所述空白图像中相应三角形间的局部仿射变化矩阵；
根据各局部仿射变化矩阵，将所述正面人脸图像中相应三角形的图像区域填充到所述空白图像的三角形中，得到非刚性变形后的正面人脸图像。
CN202210918308.9A 2022-08-01 2022-08-01 基于单张图像的3d人脸模型纹理重建方法及设备 Pending CN115082640A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210918308.9A CN115082640A (zh) 2022-08-01 2022-08-01 基于单张图像的3d人脸模型纹理重建方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210918308.9A CN115082640A (zh) 2022-08-01 2022-08-01 基于单张图像的3d人脸模型纹理重建方法及设备

Publications (1)

Publication Number Publication Date
CN115082640A true CN115082640A (zh) 2022-09-20

Family

ID=83242534

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210918308.9A Pending CN115082640A (zh) 2022-08-01 2022-08-01 基于单张图像的3d人脸模型纹理重建方法及设备

Country Status (1)

Country Link
CN (1) CN115082640A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115375823A (zh) * 2022-10-21 2022-11-22 北京百度网讯科技有限公司 三维虚拟服饰生成方法、装置、设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101303772A (zh) * 2008-06-20 2008-11-12 浙江大学 一种基于单幅图像的非线性三维人脸建模方法
CN101751689A (zh) * 2009-09-28 2010-06-23 中国科学院自动化研究所 一种三维人脸重建方法
CN107146199A (zh) * 2017-05-02 2017-09-08 厦门美图之家科技有限公司 一种人脸图像的融合方法、装置及计算设备
CN110428491A (zh) * 2019-06-24 2019-11-08 北京大学 基于单帧图像的三维人脸重建方法、装置、设备及介质
CN111127631A (zh) * 2019-12-17 2020-05-08 深圳先进技术研究院 基于单图像的三维形状和纹理重建方法、系统及存储介质
WO2020140832A1 (zh) * 2019-01-04 2020-07-09 北京达佳互联信息技术有限公司 人脸三维重建方法、装置、电子设备及存储介质
CN111445582A (zh) * 2019-01-16 2020-07-24 南京大学 一种基于光照先验的单张图像人脸三维重建方法
WO2020199693A1 (zh) * 2019-03-29 2020-10-08 中国科学院深圳先进技术研究院 一种大姿态下的人脸识别方法、装置及设备
CN113111861A (zh) * 2021-05-12 2021-07-13 北京深尚科技有限公司 人脸纹理特征提取、3d人脸重建方法及设备及存储介质
CN114549651A (zh) * 2021-12-03 2022-05-27 聚好看科技股份有限公司 一种基于多面体几何约束的多个3d相机标定方法和设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101303772A (zh) * 2008-06-20 2008-11-12 浙江大学 一种基于单幅图像的非线性三维人脸建模方法
CN101751689A (zh) * 2009-09-28 2010-06-23 中国科学院自动化研究所 一种三维人脸重建方法
CN107146199A (zh) * 2017-05-02 2017-09-08 厦门美图之家科技有限公司 一种人脸图像的融合方法、装置及计算设备
WO2020140832A1 (zh) * 2019-01-04 2020-07-09 北京达佳互联信息技术有限公司 人脸三维重建方法、装置、电子设备及存储介质
CN111445582A (zh) * 2019-01-16 2020-07-24 南京大学 一种基于光照先验的单张图像人脸三维重建方法
WO2020199693A1 (zh) * 2019-03-29 2020-10-08 中国科学院深圳先进技术研究院 一种大姿态下的人脸识别方法、装置及设备
CN110428491A (zh) * 2019-06-24 2019-11-08 北京大学 基于单帧图像的三维人脸重建方法、装置、设备及介质
CN111127631A (zh) * 2019-12-17 2020-05-08 深圳先进技术研究院 基于单图像的三维形状和纹理重建方法、系统及存储介质
CN113111861A (zh) * 2021-05-12 2021-07-13 北京深尚科技有限公司 人脸纹理特征提取、3d人脸重建方法及设备及存储介质
CN114549651A (zh) * 2021-12-03 2022-05-27 聚好看科技股份有限公司 一种基于多面体几何约束的多个3d相机标定方法和设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
XIAOXING ZENG: "Multi-view self-supervised learning for 3D facial texture reconstruction from single image", IMAGE AND VISION COMPUTING, 20 September 2021 (2021-09-20), pages 1 - 9 *
YAO FENG: "Learning an Animatable Detaile d 3D Face Mo del from In-The-Wild Images", ACM TRANS. GRAPH, 2 June 2021 (2021-06-02), pages 1 - 88 *
吴越: "基于弱监督学习的三维人脸形状与纹理重建", 计算机系统应用, 11 November 2020 (2020-11-11), pages 183 - 189 *
阳策: "基于标准肤色的人脸图像纹理合成与三维重建应用", 计算机系统应用, 3 June 2019 (2019-06-03), pages 28 - 34 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115375823A (zh) * 2022-10-21 2022-11-22 北京百度网讯科技有限公司 三维虚拟服饰生成方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110807836B (zh) 三维人脸模型的生成方法、装置、设备及介质
US20150178988A1 (en) Method and a system for generating a realistic 3d reconstruction model for an object or being
Han et al. Caricatureshop: Personalized and photorealistic caricature sketching
CN112669447A (zh) 一种模型头像创建方法、装置、电子设备和存储介质
CN113628327B (zh) 一种头部三维重建方法及设备
US20220292772A1 (en) Methods and systems for constructing facial position map
WO2022197431A1 (en) Methods and systems for personalized 3d head model deformation
JP7462120B2 (ja) ２次元（２ｄ）顔画像から色を抽出するための方法、システム及びコンピュータプログラム
CN114782645B (zh) 虚拟数字人制作方法、相关设备及可读存储介质
CN113989441B (zh) 基于单张人脸图像的三维漫画模型自动生成方法及系统
CN113808272B (zh) 三维虚拟人头脸建模中的纹理映射方法
EP4214685A1 (en) Methods and systems for forming personalized 3d head and facial models
CN115082640A (zh) 基于单张图像的3d人脸模型纹理重建方法及设备
Zell et al. Elastiface: Matching and blending textured faces
Wu et al. Photogrammetric reconstruction of free-form objects with curvilinear structures
CN115375848A (zh) 基于图表示的单图像三维人体重建方法、系统及存储介质
Bourguignon et al. Relief: A modeling by drawing tool
US20220374649A1 (en) Face swapping with neural network-based geometry refining
CN114742954A (zh) 一种构建大规模多样化人脸图片和模型数据对的方法
KR20120118462A (ko) 이미지 기반의 비주얼 헐에서의 오목 표면 모델링
Liu et al. Animating characters in Chinese painting using two-dimensional skeleton-based deformation
Wilson et al. Facial cartography: interactive scan correspondence
US11783493B2 (en) Obtaining high resolution and dense reconstruction of face from sparse facial markers
Noh et al. Retouch transfer for 3D printed face replica with automatic alignment
Cong et al. Local Geometric Indexing of High Resolution Data for Facial Reconstruction From Sparse Markers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination