CN115375832A - 三维人脸重建方法、电子设备、存储介质及程序产品 - Google Patents

三维人脸重建方法、电子设备、存储介质及程序产品 Download PDF

Info

Publication number
CN115375832A
CN115375832A CN202210691235.4A CN202210691235A CN115375832A CN 115375832 A CN115375832 A CN 115375832A CN 202210691235 A CN202210691235 A CN 202210691235A CN 115375832 A CN115375832 A CN 115375832A
Authority
CN
China
Prior art keywords
face image
target
face
dimensional
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210691235.4A
Other languages
English (en)
Inventor
刘旭东
莫原野
孙宇超
金宇林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kuangshi Technology Co Ltd
Original Assignee
Beijing Kuangshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kuangshi Technology Co Ltd filed Critical Beijing Kuangshi Technology Co Ltd
Priority to CN202210691235.4A priority Critical patent/CN115375832A/zh
Publication of CN115375832A publication Critical patent/CN115375832A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G06T3/14—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本申请实施例提供一种三维人脸重建方法、电子设备、存储介质以及计算机程序产品。方法包括：将待重建的目标人脸图像进行三维重建，以获得初始三维头模、初始纹理底图和模板人脸图像；分别对模板人脸图像和目标人脸图像执行关键点检测，以获得与模板人脸图像对应的模板关键点组和与目标人脸图像对应的目标关键点组；依据目标关键点组和模板关键点组中的关键点间的对应关系，将目标人脸图像执行与模板人脸图像的对齐操作，以获得对齐后的目标人脸图像；将对齐后的目标人脸图像与初始纹理底图进行融合，以得到融合后的纹理底图；将融合后的纹理底图贴合至初始三维头模，以获得纹理贴合后的三维人脸图像。重建的三维人脸图像纹理更逼真，贴合更准确。

Description

三维人脸重建方法、电子设备、存储介质及程序产品
技术领域
本申请涉及三维重建技术领域，更具体地涉及一种三维人脸的重建方法、电子设备、存储介质及计算机程序产品。
背景技术
三维人脸重建是基于一张或多张二维的人脸图像重建出人脸的三维图像的过程。近年来，三维人脸重建技术应用于诸多领域中。例如：在专业影视特效中对真实面部的编辑，包括润色，虚拟化妆，表情驱动等；在诸如电影、广告、音乐视频、3D游戏等高端产品中的完全数字化的逼真人脸生成；以及在娱乐、社交媒体和通信的面部增强现实(AR)和虚拟现实(VR)等领域中均得到广泛应用。
目前存在多种用于实现三维人脸的重建的三维人脸重建模型。其中，细节表达捕获和动画(Detailed Expression Capture and Animation，简称DECA)模型是目前三维重建效果相对较好的模型。然而由于DECA模型对输入人脸图像的三维可变形人脸模型(3DMorphable Models，简称3DMM)的系数预测存在偏差，所以重建出的三维人脸图像与输入人脸图像存在较大的差异性，并且纹理贴合存在较明显的偏差，因此重建效果依然不理想。
发明内容
考虑到上述问题而提出了本申请的实施例。本申请的实施例提供了一种三维人脸的重建方法、电子设备、存储介质及计算机程序产品。
根据本申请一方面，提供了一种三维人脸的重建方法，包括：将待重建的目标人脸图像进行三维重建，以获得初始三维头模、初始纹理底图和模板人脸图像，其中，模板人脸图像是初始三维人脸图像的二维投影图，初始三维人脸图像是初始纹理底图贴合到初始三维头模所获得的；分别对模板人脸图像和目标人脸图像执行关键点检测，以获得与模板人脸图像对应的模板关键点组和与目标人脸图像对应的目标关键点组；依据目标关键点组和模板关键点组中的关键点之间的对应关系，将目标人脸图像执行与模板人脸图像的对齐操作，以获得对齐后的目标人脸图像，其中，对齐后的目标人脸图像中的关键点组与模板关键点组中的对应关键点的位置相同；将对齐后的目标人脸图像与初始纹理底图进行融合，以得到融合后的纹理底图；将融合后的纹理底图贴合至初始三维头模，以获得纹理贴合后的三维人脸图像。
示例性地，将对齐后的目标人脸图像与初始纹理底图进行融合，以得到融合后的纹理底图，包括：提取对齐后的目标人脸图像的纹理，以获得目标纹理底图；将目标纹理底图和初始纹理底图进行融合，以得到融合后的纹理底图。
示例性地，将目标纹理底图和初始纹理底图进行融合，以得到融合后的纹理底图，包括：根据人脸掩码图中各个像素的像素值将目标纹理底图和初始纹理底图进行融合，以得到融合后的纹理底图，其中，人脸掩码图中各个像素的像素值用于确定目标纹理底图和初始纹理底图中对应像素的融合权重，人脸掩码图包括人脸区域、过渡区域和其他区域，过渡区域中的像素与人脸区域的轮廓的距离小于距离阈值，不同区域的像素值不同。
示例性地，在将融合后的纹理底图贴合至初始三维头模，以获得纹理贴合后的三维人脸图像之后，方法还包括：根据目标关键点组和模板关键点组中与至少一个人脸特定部位所对应的关键点的位置对应关系，对纹理贴合后的三维人脸图像中的至少一个人脸特定部位进行形状矫正，以获取重建后的三维人脸图像。
示例性地，根据目标关键点组和模板关键点组中与至少一个人脸特定部位所对应的关键点的位置对应关系，对纹理贴合后的三维人脸图像中的至少一个人脸特定部位进行形状矫正，以获取重建后的三维人脸图像，包括：对于至少一个人脸特定部位中的每个人脸特定部位，确定目标关键点组中的、与该人脸特定部位所对应的至少一个目标关键点对，并且基于目标关键点组与模板关键点组中的关键点之间的对应关系确定模板关键点组中的至少一个模板关键点对，其中，关键点对用于表示该人脸特定部位的形态特征；对于每个目标关键点对以及与该目标关键点对对应的模板关键点对，计算该目标关键点对之间的第一距离，以及计算该模板关键点对之间的第二距离；计算第一距离与第二距离的比值；根据比值对纹理贴合后的三维人脸图像中的该人脸特定部位进行缩放调整，以获得重建后的三维人脸图像。
示例性地，根据比值对纹理贴合后的三维人脸图像中的该人脸特定部位进行缩放调整，包括：对于该目标关键点对中的每个关键点，基于纹理贴合后的三维人脸图像中该人脸特定部位的特定控制点，确定纹理贴合后的三维人脸图像中的与人脸特定部位的形态特征相关的形变区域，其中，特定控制点与该关键点相对应并且位于该人脸特定部位的边缘上；以及根据比值对形变区域进行缩放调整，以获得重建后的三维人脸图像。
示例性地，根据比值对形变区域进行缩放调整，以获得重建后的三维人脸图像，包括：对于形变区域中的每个三维顶点，确定该三维顶点到特定控制点之间的第三距离；根据第三距离和比值确定该三维顶点的位移，其中，第三距离越小，位移越大；根据位移移动该三维顶点，以对形变区域进行缩放调整。
示例性地，分别对模板人脸图像和目标人脸图像执行关键点检测，以获得与模板人脸图像对应的模板关键点组和与目标人脸图像对应的目标关键点组，包括：分别提取模板人脸图像和目标人脸图像中的人脸关键点；分别确定与模板人脸图像对应的模板边界关键点和与目标人脸图像对应的目标边界关键点，其中，模板关键点组中包括模板边界关键点和模板人脸图像中的人脸关键点，目标关键点组包括目标边界关键点和目标人脸图像中的人脸关键点，模板边界关键点和目标边界关键点中的边界关键点的个数相同。
示例性地，依据目标关键点组和模板关键点组中的关键点之间的对应关系，将目标人脸图像执行与模板人脸图像的对齐操作，以获得对齐后的目标人脸图像，包括：基于同样的区域分割方法，根据目标关键点组对目标人脸图像进行区域分割，以获得多个目标人脸分块区域，以及，根据模板关键点组对模板人脸图像进行区域分割，以获得多个模板人脸分块区域；依据目标人脸分块区域与模板人脸分块区域的对应关系，将每个目标人脸分块区域映射至对应的模板人脸分块区域中，以获得对齐后的目标人脸图像。
示例性地，在将待重建的目标人脸图像进行三维重建，以获得初始三维头模、初始纹理底图和模板人脸图像之前，方法还包括：对待重建的目标人脸图像执行人脸对齐操作和/或裁剪操作，以调整待重建的目标人脸图像中的目标人脸的位置。
根据本申请另一方面，提供一种电子设备，包括处理器和存储器，存储器中存储有计算机程序指令，计算机程序指令被处理器运行时用于执行上述三维人脸的重建方法。
根据本申请另一方面，提供一种存储介质，在存储介质上存储了程序指令，程序指令在运行时用于执行上述三维人脸的重建方法。
根据本申请另一方面，提供一种计算机程序产品，计算机程序产品包括计算机程序，计算机程序在运行时用于执行上述三维人脸的重建方法。
根据本申请实施例的三维人脸的重建方法、电子设备、存储介质及计算机程序产品，在对目标人脸图像进行初步三维重建得到初始三维头模及模板人脸图像的基础上，根据提取的目标人脸图像和模板人脸图像上一一对应的多个关键点的对应关系，实现将目标人脸图像与模板人脸图像的精准对齐。进一步地，由于最终获取的三维人脸图像的纹理底图是对齐后的目标人脸图像和初始纹理底图的融合图像，因此纹理贴合后的三维人脸图像与初始头模的人脸形态特征更匹配，纹理贴合更准确；并且也更逼近真实的目标人脸，呈现的可视化效果更佳，从而用户体验更好。此外，由于上述方案仅需执行简单的算法即可实现，因此方法简单，易于实施。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1示出现有技术中通过DECA模型重建的三维人脸图像的局部示意图；
图2示出用于实现根据本申请实施例的三维人脸的重建方法和装置的示例电子设备的示意性框图；
图3示出根据本申请一个实施例的三维人脸的重建方法的示意性流程图；
图4示出根据本申请一个实施例的人脸掩码图；
图5示出根据本申请一个实施例的鼻子的关键点对的示意图；
图6示出根据本申请一个实施例的对纹理贴合后的三维人脸图像进行形状矫正的示意图；
图7示出根据本申请另一个实施例的三维人脸的重建方法的示意性流程图；
图8示出根据本申请一个实施例的三维人脸的重建装置的示意性框图；以及
图9示出根据本申请一个实施例的电子设备的示意性框图。
具体实施方式
近年来，基于人工智能的计算机视觉、深度学习、机器学习、图像处理、图像识别等技术研究取得了重要进展。人工智能(Artificial Intelligence，AI)是研究、开发用于模拟、延伸人的智能的理论、方法、技术及应用系统的新兴科学技术。人工智能学科是一门综合性学科，涉及芯片、大数据、云计算、物联网、分布式存储、深度学习、机器学习、神经网络等诸多技术种类。计算机视觉作为人工智能的一个重要分支，具体是让机器识别世界，计算机视觉技术通常包括人脸识别、解锁、指纹识别与防伪验证、生物特征识别、人脸检测、行人检测、目标检测、行人识别、图像处理、图像识别、图像语义理解、图像检索、文字识别、视频处理、视频内容识别、三维重建、虚拟现实、增强现实、同步定位与地图构建(SLAM)、计算摄影、机器人导航与定位等技术。随着人工智能技术的研究和进步，该项技术在众多领域展开了应用，例如安全防控、城市管理、交通管理、楼宇管理、园区管理、人脸通行、人脸考勤、物流管理、仓储管理、机器人、智能营销、计算摄影、手机影像、云服务、智能家居、穿戴设备、无人驾驶、自动驾驶、智能医疗、人脸支付、人脸解锁、指纹解锁、人证核验、智慧屏、智能电视、摄像机、移动互联网、网络直播、美颜、美妆、医疗美容、智能测温等领域。
为了使得本申请的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。基于本申请中描述的本申请实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本申请的保护范围之内。
如上所述，对于现有技术中的三维人脸重建模型，以DECA模型为例，可以基于单张彩色图片进行三维人脸重建，但是通过该模型得到的三维人脸图像与真实人脸差别较大，并且纹理贴合效果也不理想。图1示出了现有技术中通过DECA模型重建的三维人脸图像的局部示意图。如图1所示，DECA重建后的三维人脸图像，在五官处容易出现明显的纹理贴合偏差，例如图1中三维人脸图像的鼻翼两侧的纹理贴合偏差。此纹理贴合不佳的问题将直接影响用户体验感。
为了至少部分地解决上述技术问题，本申请实施例提供了一种三维人脸的重建方法、电子设备、存储介质及计算机程序产品。根据本申请实施例的三维人脸的重建方案，在细粒度、精准人脸对齐的基本构思下，对输入的目标人脸图像进行三维重建，该方法可以有效地解决纹理贴合存在偏差、重建效果不理想的问题，最终重建出的三维人脸图像纹理更逼近目标人脸，视觉效果也更好。
首先，参照图2来描述用于实现根据本申请实施例的三维人脸的重建方法和装置的示例电子设备200。
如图2所示，电子设备200包括一个或多个处理器202、一个或多个存储装置204。可选地，电子设备200还可以包括输入装置206、输出装置208、以及图像采集装置210，这些组件通过总线系统212和/或其它形式的连接机构(未示出)互连。应当注意，图2所示的电子设备200的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。
所述处理器202可以采用数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、微处理器中的至少一种硬件形式来实现，所述处理器102可以是中央处理单元(CPU)、图像处理器(GPU)、专用的集成电路(ASIC)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元中的一种或几种的组合，并且可以控制所述电子设备200中的其它组件以执行期望的功能。
所述存储装置204可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器202可以运行所述程序指令，以实现下文所述的本申请实施例中(由处理器实现)的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
所述输入装置206可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置208可以向外部(例如用户)输出各种信息(例如图像和/或声音)，并且可以包括显示器、扬声器等中的一个或多个。可选地，所述输入装置206和所述输出装置208可以集成在一起，采用同一交互装置(例如触摸屏)实现。
所述图像采集装置210可以采集图像，并且将所采集的图像存储在所述存储装置204中以供其它组件使用。图像采集装置210可以是单独的相机或移动终端中的摄像头等。应当理解，图像采集装置210仅是示例，电子设备200可以不包括图像采集装置210。在这种情况下，可以利用其他具有图像采集能力的器件采集图像，并将采集的图像发送给电子设备200。
示例性地，用于实现根据本申请实施例的三维人脸的重建方法和装置的示例电子设备可以在诸如个人计算机或远程服务器等的设备上实现。
下面，将参考图3描述根据本申请实施例的三维人脸的重建方法。图3示出根据本申请一个实施例的三维人脸的重建方法300的示意性流程图。如图3所示，三维人脸的重建方法300包括步骤S310、S320、S330、S340和S350。
在步骤S310，将待重建的目标人脸图像进行三维重建，以获得初始三维头模、初始纹理底图和模板人脸图像，其中，模板人脸图像是初始三维人脸图像的二维投影图，初始三维人脸图像是初始纹理底图贴合到初始三维头模所获得的。
示例性地，待重建的目标人脸图像可以是任意的二维人脸图像。其可以是黑白图像，也可以是彩色图像，只要图像中包含人脸即可，本申请可以不对其进行限制。目标人脸图像的数目可以是一张特定人脸位姿的，也可以是多张不同人脸位姿的图像。
可选地，该目标人脸图像满足预设要求，预设要求可以包括以下一项或多项：由特定的图像采集装置拍摄、具有特定尺寸大小、具有特定分辨率、包含特定目标人脸、目标人脸的特定部位在图像的特定区域内，目标人脸具有特定位姿等。
可选地，待重建的目标人脸图像由特定的图像采集装置拍摄。例如，可以通过上述电子设备200中的图像采集装置210拍摄得到，例如上述图像采集装置210中已设置好诸如焦距、亮度、曝光度等拍摄参数，通过该图像采集装置210获取的目标人脸图像可以满足三维重建对图像的要求。
又可选地，待重建的目标人脸图像具有特定大小、具有特定分辨率、包含特定目标人脸、目标人脸的特定部位在图像的特定区域内和/或目标人脸具有特定位姿。例如，待重建的目标人脸图像的大小为504kb、分辨率为512*512、图像中包含目标人脸A、目标人脸的眼睛、鼻子和嘴巴在图像的中心区域内，并且目标人脸为正脸。容易理解，基于满足预设要求的目标人脸图像进行三维重建，在一定程度上可以提高三维重建的效率以及准确度。
根据本申请实施例，对待重建的目标人脸图像进行三维重建所获得的初始三维头模包括完整的人脸三维形态信息，但不包括人脸的纹理信息。示例性地，初始三维头模可以是可以模拟真人的头面部形状的三维头部模型。可选地，初始三维头模也可以是仅包括人脸面部三维信息而不包括头部和颈部信息的三维脸部模型。为了简便，后文以初始三维头模为包括人脸面部形状信息的三维头部模型为例进行展开说明。
示例性地，初始三维头模可以是由多个网格形成的三维网格数据，其中每个网格为三角形网格，每个网格中的三个顶点具有三维坐标，每个网格还有相应的纹理像素。示例性地，初始三维头模可以按照一定的展开路径展开得到二维的UV展开图。容易理解，该UV展开图中包含与该初始三维头模中的网格一一对应的展开网格。示例性地，初始纹理底图可以是包括纹理信息的UV展开图。示例性地，初始纹理底图中的每个展开三角形网格上的三个顶点具有二维坐标，每个展开三角形网格中包括人脸的纹理像素值。示例性地，由于初始纹理底图和初始三维头模中的每个网格一一对应，因此，可以将初始纹理底图中每个包括纹理像素值的展开网格贴合至初始三维头模的对应网格上，可以得到初始三维人脸图像。容易理解，初始三维人脸图像是包括完整的人脸三维形态信息和人脸纹理信息的可视化三维图像。
模板人脸图像是初始三维人脸图像的二维投影图，其可以是将初始三维头模中包含的每个网格连同纹理像素一起投影在诸如初始三维头模的正对平面的特定平面上所得到的投影图。
根据本申请实施例的模板人脸图像与目标人脸图像具有同样的人脸位姿。可选地，目标人脸图像是一张正面人脸图像，则模板人脸图像也是正面人脸图像，特定平面是与初始三维头模正对的前方平面。当然，目标人脸图像也可以是其他位姿的人脸图像，本申请不对其进行限制。
示例性地，可以基于现有的三维人脸的重建算法或三维人脸重建模型对待重建的目标人脸图像进行初步三维重建，以获得初始三维头模、初始纹理底图和模板人脸图像。任何现有的或者未来的可以实现步骤S310的三维人脸重建方法均在本申请的保护范围内，本申请不对其进行限制。
在步骤S320，分别对模板人脸图像和目标人脸图像执行关键点检测，以获得与模板人脸图像对应的模板关键点组和与目标人脸图像对应的目标关键点组。
示例性地，关键点可以包括人脸关键点，关键点组中可以包括多个人脸关键部位的人脸关键点。人脸关键部位例如人脸轮廓、眉毛、眼睛、鼻子、嘴巴。其中，每个人脸关键部位可以设置多个人脸关键点，每两个相邻人脸关键点在图像中的距离可以相同，也可以不同。不同人脸关键部分的人脸关键点的数目可以相同，也可以不同。根据本申请实施例的人脸关键点可以包括任何现有的或者未来的人脸关键点检测技术中可以检测到的人脸关键点，人脸关键点的总数目可以是任何合适的数目，本申请不对其进行限制。
根据本申请实施例，可以通过任何现有的或者未来的人脸关键点检测模型/算法对目标人脸图像和模板人脸图像进行关键点检测，以分别获得与模板人脸图像对应的模板关键点组和与目标人脸图像对应的目标关键点组。根据本申请实施例的模板关键点组和目标关键点组中的关键点的数目可以相同，且可以基于同样的人脸关键点检测算法获得。容易理解，模板关键点组中的关键点与目标关键点组中的关键点存在一一对应的关系。
示例性地，根据本申请实施例的人脸关键点检测还包括人脸关键点的定位，步骤S320还可以提取关键点组中关键点的位置信息。示例性地，该位置信息可以是通过关键点检测算法得到的每个关键点在对应图像中的坐标值。例如，对于目标关键点组中包含n个目标关键点的情况，目标关键点组的位置信息即为n个目标关键点在目标人脸图像中的n个位置坐标。
在步骤S330，依据目标关键点组和模板关键点组中的关键点之间的对应关系，将目标人脸图像执行与模板人脸图像的对齐操作，以获得对齐后的目标人脸图像，其中，对齐后的目标人脸图像中的关键点组与模板关键点组中的对应关键点的位置相同。
根据步骤S320，目标关键点组中的目标关键点与模板关键点组中的模板关键点之间存在一一对应的关系。例如，模板关键点组包括n个关键点，分别是A1，A2，…，An。目标关键点组包括B1，B2，…，Bn。Ai与Bi一一对应，其中，i∈1～n。基于该对应关系，可以通过任何现有的或者未来的图像对齐算法，对目标人脸图像进行变换，以使目标人脸图像与模板人脸图像进行对齐。示例性地，可以基于Ai与Bi的对应关系，对目标人脸图像进行变换，使得变换后的目标人脸图像中每个关键点Bi’的位置坐标与模板关键点Ai的位置坐标相等，并且对齐后的目标人脸图像每个关键点Bi’位置处的像素值与目标关键点Bi位置处的像素值相等。可以理解，通过变换，对齐后的目标人脸图像中的非关键点的像素也相应地变化。
在步骤S340，将对齐后的目标人脸图像与初始纹理底图进行融合，以得到融合后的纹理底图。
根据前述陈述，在初始纹理底图中的每个网格与初始三维头模和初始三维人脸图像上的每个网格的位置一一对应，且与初始三维人脸图像上的每个网格具有相同的纹理像素值。根据本申请实施例，可以将对齐后的目标人脸图像与初始纹理底图进行融合，使得融合后的纹理底图中的人脸区域包括对齐后的目标人脸图像的像素信息。
并且由于在此融合的是对齐后的目标人脸图像，即其与模板人脸图像的关键点是对齐的，所以基于该融合后的纹理底图必然与初始三维头模更加贴合。
在步骤S350，将融合后的纹理底图贴合至初始三维头模，以获得纹理贴合后的三维人脸图像。
示例性地，步骤S350可以采用纹理映射技术实现。纹理映射技术可以将二维的纹理底图上的每一点精确对应到三维模型表面，在点与点之间的间隙位置进行图像光滑插值处理。示例性地，可以将融合后的纹理底图根据纹理映射算法贴合至初始三维头模上，得到纹理贴合后的三维人脸图像。
根据上述技术方案，在对目标人脸图像进行初步三维重建得到初始三维头模及模板人脸图像的基础上，根据提取的目标人脸图像和模板人脸图像上一一对应的多个关键点的对应关系，实现将目标人脸图像与模板人脸图像的精准对齐。进一步地，由于最终获取的三维人脸图像的纹理底图是融合对齐后的目标人脸图像和初始纹理底图的融合图像，因此纹理贴合后的三维人脸图像与初始头模的人脸形态特征更匹配，纹理贴合更准确；并且也更逼近真实的目标人脸，呈现的可视化效果更佳，从而用户体验更好。此外，由于上述方案仅需执行简单的算法即可实现，因此方法简单，易于实施。
示例性地，根据本申请实施例的三维人脸的重建方法可以在具有存储器和处理器的设备、装置或者系统中实现。
根据本申请实施例的三维人脸的重建方法可以部署在图像采集端处，例如，可以部署在个人终端或服务器端处。
替代地，根据本申请实施例的三维人脸的重建方法还可以分布地部署在服务器端(或云端)和个人终端处。例如，可以在客户端采集待重建的目标人脸图像，客户端将待重建的目标人脸图像传送给服务器端(或云端)，由服务器端(或云端)进行待三维人脸的重建。
示例性地，在步骤S310之前，方法还包括：对待重建的目标人脸图像执行人脸对齐操作和/或裁剪操作，以调整待重建的目标人脸图像中的目标人脸的位置。
在将待重建的目标人脸图像输入三维人脸重建模型之前，可以先对待重建的目标人脸图像执行人脸对齐和/或裁剪操作，使得目标人脸在目标人脸图像中位于合适的位置。例如，可以先采用粗略的关键点定位算法，如68关键点定位算法，分别定位出每个关键点的位置区间，然后基于人脸对齐算法将该目标人脸图像进行人脸对齐。可以对对齐后的目标人脸图像进行裁剪，使得裁剪后的目标人脸图像满足模型对输入人脸图像的尺寸要求。可以理解，对齐操作和裁剪操作的顺序可以进行变换，本申请的实施例对此不做限定。
上述技术方案中，对待重建的目标人脸图像进行预处理操作，由此保证了三维重建的精确性。
示例性地，步骤S310可以包括：将待重建的目标人脸图像输入三维人脸重建模型进行立体匹配，以获得初始三维头模和初始纹理底图；将初始纹理底图贴合至初始三维头模上，以获得初始三维人脸图像；将初始三维人脸图像投影到二维空间，以获得模板人脸图像。
根据本申请实施例的三维人脸重建模型可以是DECA模型、运动结构恢复(Structure From Motion，简称SFM)模型或明暗恢复形状(Shape from Shading，简称SFS)模型等。
示例性而非限制性地，三维人脸重建模型可以是DECA模型。根据本申请实施例的步骤S310的三维重建可以包括立体匹配，以及立体匹配之后的后处理操作。例如，可以通过DECA模型中的重建网络实现对待重建的目标人脸图像的立体匹配，得到初始三维头模和初始纹理底图，并通过后处理操作获得初始三维人脸图像和模板人脸图像。示例性地，首先，将待重建的目标人脸图像输入DECA的立体匹配网络中，以由立体匹配网络输出236维向量。通过该236维向量可以可视化出初始三维头模和与初始三维头模的UV展开图对应的初始纹理底图。然后，可以基于DECA中的纹理贴合算法将初始纹理底图贴合至初始三维头模上，得到初始三维人脸图像。示例性地，还可以根据相机参数和人脸位姿将初始三维人脸图像投影到二维空间中，以得到模板人脸图像。
上述步骤S310的具体实现方案，利用三维人脸重建模型对待重建的目标人脸图像进行初始三维重建，再通过纹理贴合和投影操作分别获得初始三维人脸图像和模板人脸图像。由此，有效利用了现有技术的三维重建模型，在简化算法的同时，为本申请实施例的三维重建提供了良好的基础数据，保证了后续步骤的顺利进行。
再次参考图1，图1还可以视为根据步骤S310的初始三维头模的局部的示例。根据图1以及前述陈述，通过诸如DECA模型的现有三维人脸重建模型重建出的三维人脸图像存在纹理贴合效果不好的问题。纹理贴合偏差主要出现在人脸的五官部位。重建出的三维人脸图像的可视化效果也差。由此，本申请的实施例提出了基于精准的人脸关键点对齐方法对获取的初始三维人脸图像进行矫正。
示例性地，步骤S320包括：步骤S321，分别提取模板人脸图像和目标人脸图像中的人脸关键点；步骤S322，分别确定与模板人脸图像对应的模板边界关键点和与目标人脸图像对应的目标边界关键点，其中，模板关键点组中包括模板边界关键点和模板人脸图像中的人脸关键点，目标关键点组包括目标边界关键点和目标人脸图像中的人脸关键点，模板边界关键点和目标边界关键点中的边界关键点的个数相同。
示例性地，关键点可以包括人脸关键点。其中，人脸关键点可以是人脸关键部位的关键点。示例性地，步骤S321可以包括：通过人脸关键点检测模型分别对模板人脸图像和目标人脸图像进行人脸关键点的检测，以提取模板人脸图像和目标人脸图像中的人脸关键点。人脸关键点检测模型可以是任何现有的或者未来的可以实现人脸关键点检测的模型。可选地，人脸关键点检测模型可以是深度卷积网络。通过该人脸关键点检测模型可以得到第一数目的人脸关键点。示例性地，第一数目大于关键点阈值。可选地，关键点阈值为80，第一数目例如81。例如，可以采用81人脸关键点检测模型对模板人脸图像和目标人脸图像进行人脸关键点的检测，模板关键点组和目标关键点组中各包括81个人脸关键点。示例性地，通过81人脸关键点检测模型得到的81个人脸关键点可以包括19个面部轮廓的关键点，18个眼睛部位的关键点，10个鼻子部位的关键点，16个眉毛部位的关键点，18个嘴巴部位的关键点。示例性地，关键点还可以包括图像关键点。示例性地，图像关键点可以是位于图像边界的边界关键点。
示例性地，边界关键点的个数可以是4个，例如包括图像的左上角点、左下角点、右上角点和右下角点。示例性地，关键点组除了包括前述81个关人脸关键点以外，还可以包括4个边界角点，因此，关键点组中包含的关键点的数量为85个。
替代地，边界关键点的数目也可以包括图像的其他边界点，例如也可以是图像的每个边界框上的中点、三等分点等。其边界关键点的数目也可以8个、12个。
通过设置边界关键点，还有助于实现人脸关键点以外的区域的图像对齐。
基于人脸关键点和边界关键点，便于实现更精准地人脸图像对齐，且可以更准确地定位目标人脸在图像中的位置，从而可以获得更准确的三维重建效果。
示例性地，步骤S330将目标人脸图像执行与模板人脸图像对齐操作包括：步骤S331，基于同样的区域分割方法，根据目标关键点组对目标人脸图像进行区域分割，以获得多个目标人脸分块区域，以及，根据模板关键点组对模板人脸图像进行区域分割，以获得多个模板人脸分块区域；步骤S332，依据目标人脸分块区域与模板人脸分块区域的对应关系，将每个目标人脸分块区域映射至对应的模板人脸分块区域中，以获得对齐后的目标人脸图像。
示例性地，区域分割算法可以包括三角形剖分算法或泰森多边形算法等。在区域分割算法为三角形剖分算法的示例中，可以根据目标关键点组对目标人脸图像进行区域分割，以获得多个目标人脸的三角形分块区域。并且，可以根据模板关键点组对模板人脸图像进行区域分割，以获得多个模板人脸的三角形分块区域。
在目标人脸图像的目标关键点组包括81个关人脸关键点和4个边界角点的示例中，通过三角形剖分算法可以获得目标人脸图像的三角形分块区域的数量为158个。模板关键点组的每个模板关键点与目标关键点组的每个目标关键点一一对应，因此，也可以获得相应的158个模板人脸的三角形分块区域。且目标人脸图像的三角形分块区域与模板人脸的三角形分块区域一一对应。因此，可以将每个目标人脸分块区域连同该分块区域中包含的像素信息一起映射至对应的模板人脸分块区域中，以获得对齐后的目标人脸图像。例如，对于由三个模板关键点A1、A2、A3组成的三角形分块区域Sa和由三个相应的目标关键点B1、B2、B3组成的三角形分块区域Sb，首先将根据三对关键点的对应关系，B1、B2、B3位置的像素信息分别映射至A1、A2、A3的位置处，然后采用线性插值的方法，将三角形分块区域Sb中包含的所有纹理信息均映射至三角形分块区域Sa的相应位置处。对齐后的目标人脸图像中包含多个目标人脸分块区域的像素信息。
通过区域分割的方法，可以快速且准确地将目标人脸图像与模板人脸图像的关键点进行对齐，进而可以快速且准确地实现三维重建。
示例性地，上述步骤S340将对齐后的目标人脸图像与初始纹理底图进行融合，以得到融合后的纹理底图，包括：步骤S341，提取对齐后的目标人脸图像的纹理，以获得目标纹理底图；步骤S342，将目标纹理底图和初始纹理底图进行融合，以得到融合后的纹理底图。
示例性地，在步骤S310的初步三维重建中可以得到UV位置图，该UV位置图中包括初始纹理底图与模板人脸图像之间的位置映射关系。示例性地，可以根据该UV位置图提取对齐后的目标人脸图像的纹理，以获得目标纹理底图。目标纹理底图中具有与初始纹理底图中相同的纹理位置信息。然后，将目标纹理底图与初始纹理底图进行融合，得到融合后的纹理底图。
容易理解，由于对齐后的目标人脸图像中和模板人脸图像的关键点的位置是相同的，因此目标纹理底图与初始纹理底图也是充分对齐的，尤其是其中关键点对应的位置是完全相同的。可以直接将目标纹理底图与初始纹理底图叠加在一起进行融合，以得到融合后的纹理底图。并且，在融合后的纹理底图中既包括初始纹理底图中的部分像素信息，也包括目标纹理底图中的部分像素信息，并且这两部分的像素信息不重叠。由于融合后的纹理底图是经过充分对齐的，且包含目标人脸图像的像素信息，因此融合后的纹理底图相对于初始纹理底图与目标人脸的纹理信息更吻合，在此基础上重建出来的三维人脸图像可以更逼近于真实人脸。
示例性地，步骤S342，将目标纹理底图和初始纹理底图进行融合，以得到融合后的纹理底图，包括：根据人脸掩码图中各个像素的像素值将目标纹理底图和初始纹理底图进行融合，以得到融合后的纹理底图，其中，人脸掩码图中各个像素的像素值用于确定目标纹理底图和初始纹理底图中对应像素的融合权重，人脸掩码图包括人脸区域、过渡区域和其他区域，过渡区域中的像素与人脸区域的轮廓的距离小于距离阈值，不同区域的像素值不同。
图4示出了根据本申请一个实施例的人脸掩码图。参考图4，人脸掩码图可以是一个与初始纹理底图和目标纹理底图的大小相同的类二值化图。示例性地，在人脸掩码图中，可以包含多个像素值不同的区域，不同区域具有不同的像素值。示例性地，人脸掩码图中各个像素的像素值可以用于确定目标纹理底图和初始纹理底图中对应像素的融合权重。例如，像素值大的融合权重大，像素值小的融合权重小。示例性地，在图4示出的人脸掩码图中，包含3个区域，分别为人脸区域410、过渡区域420、其他区域430，其中，人脸区域410的像素值为255，过渡区域420的像素值为0～255，其他区域430的像素值为0。示例性地，可以将3个区域的像素值归一之后得到掩码值，人脸区域410的掩码值为0，过渡区域420的掩码值为0～1，其他区域430的掩码值为1。
示例性而非限制性地，人脸区域可以是包括额头在内的整个人脸轮廓内的区域，其可以是包括眼睛、鼻子、嘴巴在内的面部区域。过渡区域可以是人脸轮廓以外与人脸区域的轮廓的距离小于距离阈值的区域，即邻近人脸轮廓的区域，距离阈值例如20px。其他区域是整个图像中除了人脸区域和过渡区域以外的区域。
示例性地，可以根据人脸掩码图中不同区域的掩码值将目标纹理底图和初始纹理底图进行融合，以得到融合后的纹理底图。
可以设目标纹理底图为顶图，初始纹理底图为底图。将顶图中的每个区域的每个像素值与掩码图中的对应区域的掩码值相乘。将底图中的每个区域的每个像素值与掩码图中的对应区域的反向掩码值相乘。最终将两者融合叠加，得到融合后的纹理底图。其中，反向掩码值为1与掩码值的差值。例如，将顶图中的人脸区域、过渡区域、其他区域的每个像素值用pi表示，将底图中的人脸区域、过渡区域、其他区域的每个像素值用qi表示，将人脸掩码图中的每个区域的每个掩码值用λi表示，融合后的纹理底图的每个区域的每个像素用ri表示，则可以通过以下融合公式对初始纹理底图和目标纹理底图进行融合：
ri＝λi*pi+(1-λi)*qi
根据上述方案得到的融合后的纹理底图，其中的人脸区域更逼近于目标人脸图像的纹理信息，而其他区域更逼近于模板人脸图像的纹理信息，过渡区域则充分融合了两者的纹理信息。由此获得的重建后的三维人脸图像纹理信息更完整，且充分模拟了目标人脸的真实纹理信息，纹理贴合效果更好。此外，由于过渡区域充分融合了两者的纹理信息，因此过度区域的融合更平滑，视觉效果更佳。
示例性地，在步骤S350，将融合后的纹理底图贴合至初始三维头模，以获得纹理贴合后的三维人脸图像之后，所述方法300还可以包括步骤S360，根据目标关键点组和模板关键点组中与至少一个人脸特定部位所对应的关键点的位置对应关系，对纹理贴合后的三维人脸图像中的至少一个人脸特定部位进行形状矫正，以获取重建后的三维人脸图像。
为了解决现有技术中的三维人脸重建方法得到的三维人脸图像的形状匹配准确性的问题，在通过步骤S350获得纹理贴合后的三维人脸图像之后，还可以继续对该纹理贴合后的三维人脸图像进行形状矫正。根据本申请实施例的形状矫正可以是对纹理贴合后的三维人脸图像的特定部位进行矫正。示例性而非限制性地，特定部位可以包括鼻子、眼睛和/或嘴巴。
容易理解，由于在初始三维重建中，对立体匹配的参数的预测不准确导致获得的初始三维人脸图像的形状与目标人脸的形状也存在一定的差异，尤其体现在五官的形状。例如，初始三维头模的鼻子比目标人脸中的鼻子窄等。纹理贴合后的三维人脸图像与初始三维头模具有相同的形状，因此也存在形状不准确的问题。由于在步骤S320中通过关键点检测得到了目标关键点组和模板关键点组。因此可以通过两者中与人脸特定部位对应的关键点的相对位置关系进一步对纹理贴合后的三维人脸图像的特定部位进行形状矫正。关键点的相对位置关系例如两个相邻或不相邻的关键点之间的相对距离。
通过基于关键点对纹理贴合后的三维人脸图像进行形状矫正，可以使最终获取的三维人脸图像更贴近于目标人脸。由此，保证了三维重建的效果更理想。
示例性地，步骤S360根据目标关键点组和模板关键点组中与至少一个人脸特定部位所对应的关键点的位置对应关系，对纹理贴合后的三维人脸图像中的至少一个人脸特定部位进行形状矫正，以获取重建后的三维人脸图像，包括：步骤S361，对于至少一个人脸特定部位中的每个人脸特定部位，确定目标关键点组中的、与该人脸特定部位所对应的至少一个目标关键点对，并且基于目标关键点组与模板关键点组中的关键点之间的对应关系确定模板关键点组中的至少一个模板关键点对，其中，关键点对用于表示该人脸特定部位的形态特征；步骤S362，对于每个目标关键点对以及与该目标关键点对对应的模板关键点对，计算该目标关键点对之间的第一距离，以及计算该模板关键点对之间的第二距离；步骤S363，计算第一距离与第二距离的比值；步骤S364，根据比值对纹理贴合后的三维人脸图像中的该人脸特定部位进行缩放调整，以获得重建后的三维人脸图像。
根据本申请实施例，每个关键点对可以用于表示相应的人脸特定部位的形态特征。示例性而非限制性地，每个特定部位的形态特征可以包括该部位的宽度、高度、深度以及形状等，本申请不对其进行限制。
示例性地，以特定部位包括鼻子、眼睛、嘴巴三个部位的情况为例，可以分别确定可以表示每个特定部位的形态特征的一个或多个关键点对。示例性地，对于鼻子部位，可以用一个关键点对来表示鼻子的宽度。对于每个眼睛，可以用两个关键点对分别表示眼睛的高度和宽度。对于嘴巴，也可以用两个关键点对分别表示嘴巴的宽度和高度。当然，还可以采用更多的合适的关键点对来表示每个特定部位的形状特征，本申请不对其进行限制。
示例性地，在确定了一个目标关键点对的情况下，容易根据前述步骤S320中目标关键点与模板关键点之间的一一对应的关系，确定与当前目标关键点对对应的模板关键点对。进而可以依据每个目标关键点对和对应的模板关键点对执行步骤S362和步骤S363。
为了简便，接下来以鼻子为特定部位的具体示例展开阐释。参考图5，图5中示出了根据本申请实施例的特定部位的关键点对的示意图。图5中示出的是将目标关键点与模板关键点叠加后的目标人脸图像。其中，将两个可以表示鼻子宽度的关键点作为一个关键点对，并依据该关键点对，对鼻子的形状进行调整。例如，在图5中，第一模板关键点510、第二模板关键点520组成了一个模板关键点对，第一目标关键点511、第二目标关键点521组成了对应的一个目标关键点对。示例性地，可以根据第一目标关键点511和第二目标关键点521在图像中的坐标值，计算两者之间的第一距离，同样可以得到第一模板关键点510和第二模板关键点520之间的第二距离。计算第一距离与第二距离的比值。在一个示例中，第一距离为8，第二距离为7，因此可以得到比值1.143。示例性地，可以基于该比值对纹理贴合后的三维人脸图像中的该人脸特定部位进行缩放调整，以获得重建后的三维人脸图像。
上述方案中，基于目标关键点组和模板关键点组中与人脸特定部位对应的关键点对之间的距离，对纹理贴合后的三维人脸图像进行形状矫正，在保证三维重建的效果更理想的同时，算法简单，处理速度快。
示例性地，上述步骤S364中根据第一距离与第二距离的比值对纹理贴合后的三维人脸图像中的该人脸特定部位进行缩放调整包括：对于该目标关键点对中的每个关键点，基于纹理贴合后的三维人脸图像中该人脸特定部位的特定控制点，确定纹理贴合后的三维人脸图像中的与人脸特定部位的形态特征相关的形变区域，其中，特定控制点与该关键点相对应并且位于该人脸特定部位的边缘上；以及根据比值对形变区域进行缩放调整，以获得重建后的三维人脸图像。
示例性地，目标关键点对中的每个目标关键点可以对应一个或多个特定控制点。可选地，每个目标关键点可以对应一个特定控制点。特定控制点可以是纹理贴合后的三维人脸图像的一个三维顶点。示例性地，特定控制点可以是位于该人脸特定部位的边缘位置的三维顶点。根据本申请实施例的特定控制点可以基于先验知识确定。
图6示出了根据本申请实施例的对纹理贴合后的三维人脸图像进行形状矫正的示意图。参考图6，以图5中示出的目标关键点对中的第二目标关键点521为例，可以首先获取纹理贴合后的三维人脸图像中与该点521对应的特定控制点610。根据该特定控制点，可以确定与该人脸特定部位的形态特征相关的形变区域。即，可以确定图6中与鼻子宽度相关的形变区域620，如图6中灰色区域所示。示例性而非限制性地，可以通过深度优先遍历或者广度优先遍历的方法确定与鼻子宽度相关的形变区域。可选地，可以基于该特定控制点的坐标值，通过深度优先遍历或者广度优先遍历的方法索引出关于该特定控制点的邻接矩阵，进一步得到对应的纹理贴合后的三维人脸图像中的多个三维顶点，进而确定与鼻子宽度相关的形变区域。需要说明的是，图中示出的形变区域620仅为鼻子右侧的形变区域，类似地，可以采用同样的方法通过鼻子左侧的特定控制点索引出于鼻子宽度相关的另一个形变区域。本领域普通技术人员容易理解上述实现方式，在此不再赘述。
容易理解，该形变区域620可以是以特定控制点610为中心的多个三角形网格组成的区域。确定了形变区域620之后，可以根据上述计算得到的比值对形变区域620进行缩放调整，以获得重建后的三维人脸图像。示例性地，缩放调整的方向可以根据该关键点对的连线方向和比值来确定。例如，对于比值大于1的，可以将形变区域内的各个三维顶点和各个三维网格中的像素向连线的反方向调整；对于比值小于1的，可以将形变区域内各个三维顶点和各个三维网格中的像素按照连线的方向调整。例如，对于比值为1.143的示例，可以通过图6中的特定控制点610将形变区域620中的各个三维顶点和各个三维网格中的像素向鼻子中线的反方向进行移动调整。示例性地，可以计算纹理贴合后的三维人脸图像中的鼻子宽度，例如为2.5cm。则特定控制点610控制形变区域620向鼻子中线的反方向移动的位移为2.5*0.143/2＝0.179cm。示例性地，可以基于该值对形变区域620进行移动，例如将形变区域620中的各个三维顶点和各个三维网格中的像素分别移动合适的位移。示例性地，各个三维顶点和各个三维网格中的像素的位移可以落在[0，0.179cm]范围内。根据本申请实施例，可以采用任何合适的方法的实现该方案，本申请不对其进行限制。
类似的，可以先后基于每个人脸特定部位的每个关键点对中的每个关键点对应的特定控制点，确定相应的形变区域，并根据比值对该形变区域进行缩放调整。最终完成对多个人脸特定部位的形状矫正。可选地，还可以同时对多个人脸特定部位进行矫正。例如，可以通过基于上述原理的自动形状矫正算法，同时自动完成多个人脸特定部位的形状矫正。本领域普通技术人员可以理解该实现方法，在此不再赘述。
根据上述形状矫正的方案，通过模板关键点与目标关键点之间的差异，计算出鼻子、嘴巴和眼睛等部位需要缩放的比例，采用特定控制点对周边区域进行控制缩放的方式对纹理贴合后的三维人脸图像进行调整，最终使重建出的三维人脸图像更加贴合真实的人脸。
示例性地，根据比值对形变区域进行缩放调整，以获得重建后的三维人脸图像，包括：对于形变区域中的每个三维顶点，确定该三维顶点到特定控制点之间的第三距离；根据第三距离和比值确定该三维顶点的位移，其中，第三距离越小，位移越大；根据位移移动该三维顶点，以对形变区域进行缩放调整。
示例性地，再次参考图6，可以根据形变区域620中每个三维顶点到特定控制点610之间的第三距离来确定每个三维顶点和各个三维网格中的像素的位移，进而可以依据该位移实现该形变区域620的缩放调整。示例性地，首先，可以先确定形变区域620中的每个三维顶点的坐标值，进而可以确定每个三维顶点到特定控制点610的第三距离。仅示例性地，第三距离可以是轴向距离，例如第三距离可以是两个点在x轴方向即鼻子宽度方向的距离。如图6所示，可以分别确定第一位置的三维顶点630与特定控制点610的第三距离a和第二位置的三维顶点640与特定控制点的第三距离b。
示例性地，在前述鼻子宽度为2.5cm的示例中，可以进一步根据每个第三距离的大小确定每个三维顶点的位移落在[0，0.179cm]范围内的值。
根据本申请实施例，在每个形变区域中，每个三维顶点的位移可以遵循“第三距离越小，位移越大；第三距离越大，位移越小”的规则进行设置。可选地，在形变区域620中，可以将距离特定控制点610的最远的三维顶点的位移设置为[0，0.179cm]区间的最小值0，可以将距离特定控制点610的最近的三维顶点的位移设置为最大值0.179cm。容易理解，在图6中，第一位置的三维顶点630与特定控制点610的第三距离a小于第二位置的三维顶点640与特定控制点的第三距离b，因此第一位置的三维顶点630的位移可以大于第二位置的三维顶点640的位移。
示例性地，在确定形变区域中的每个三维顶点的位移之后，同样可以依照相应的方法得到每个三维网格中各像素的位移，由此可以实现对每个形变区域的缩放调整。
根据本申请实施例，可以采用移动最小二乘法(Moving Lest Squares，简称MLS)确定形变区域中每个三维顶点和每个三维网格中各像素的位移，以实现对形变区域的缩放调整。本领域普通技术人员容易理解该方案的实现方法，在此不再赘述。
根据上述方案，可以实现循序渐进地移动形变区域内的每个位置点，调整后的三维人脸图像中形变区域的三维网格分布更均匀、纹理过渡更柔和，因此可以得到更加贴合于真实人脸且可视化效果更好的三维人脸图像。
图7示出了根据本申请另一个实施例的三维人脸的重建方法的示意性流程图。参考图7，可以首先对待输入的目标人脸图像进行对齐和裁剪，然后输入DECA立体匹配模型中，得到重建出的初始三维头模和初始纹理底图。示例性地，还可以将初始纹理底图贴合到重建出的初始三维头模中，并对其进行渲染并投影到二维空间，得到模板人脸图像。通过人脸关键点检测网络可以得到模板人脸图像的81个模板人脸关键点。同时，对对齐并且裁剪后的输入目标人脸图像进行人脸关键点检测，可以得到81个目标人脸关键点。为了将目标人脸关键点对齐模板人脸关键点，还可以在81个人脸关键点的基础上增加4个针对于原图边界角点的关键点。基于85个关键点，使用三角剖分算法，进行不同关键点之间的三角形构建。将目标人脸图像作为纹理图，将目标关键点生成的三角形映射到模板关键点生成的三角形中从而完成目标人脸图像的对齐。将对齐后的目标人脸图像与初始纹理底图进行融合，并将融合后的纹理底图贴合在初始三维头模上，得到纹理重建后的三维人脸图像。然而，重建后的三维人脸图像的形状和真实目标人脸的形状差异可能依旧存在，因此还可以对其进行形状矫正。采用控制点对相关区域进行控制缩放的方式对三维人脸图像进行相关区域调整，最终使重建出的三维人脸更加贴合真实的人脸。
根据本申请另一方面，提供一种三维人脸的重建装置。图8示出了根据本申请一个实施例的三维人脸的重建装置800的示意性框图。
如图8所示，根据本申请实施例的三维人脸的重建装置800包括重建模块810、检测模块820、对齐模块830、融合模块840和纹理贴合模块850。各个模块可分别执行上文中图3描述的三维人脸的重建方法300的各个步骤。以下仅对该三维人脸的重建装置800的各部件的主要功能进行描述，而省略以上已经描述过的细节内容。
重建模块810用于将待重建的目标人脸图像进行三维重建，以获得初始三维头模、初始纹理底图和模板人脸图像，其中，模板人脸图像是初始三维人脸图像的二维投影图，初始三维人脸图像是初始纹理底图贴合到初始三维头模所获得的。重建模块810可以由图2所示的电子设备中的处理器202运行存储装置204中存储的程序指令来实现。
检测模块820用于分别对模板人脸图像和目标人脸图像执行关键点检测，以获得与模板人脸图像对应的模板关键点组和与目标人脸图像对应的目标关键点组。检测模块820可以由图2所示的电子设备中的处理器202运行存储装置204中存储的程序指令来实现。
对齐模块830用于依据目标关键点组和模板关键点组中的关键点之间的对应关系，将目标人脸图像执行与模板人脸图像的对齐操作，以获得对齐后的目标人脸图像，其中，对齐后的目标人脸图像中的关键点组与模板关键点组中的对应关键点的位置相同。对齐模块830可以由图2所示的电子设备中的处理器202运行存储装置204中存储的程序指令来实现。
融合模块840用于将对齐后的目标人脸图像与初始纹理底图进行融合，以得到融合后的纹理底图。融合模块840可以由图2所示的电子设备中的处理器202运行存储装置204中存储的程序指令来实现。
纹理贴合模块850用于将融合后的纹理底图贴合至初始三维头模，以获得纹理贴合后的三维人脸图像。纹理贴合模块850可以由图2所示的电子设备中的处理器202运行存储装置204中存储的程序指令来实现。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
图9示出了根据本申请一个实施例的电子设备900的示意性框图。电子设备900包括存储器910和处理器920。
存储器910存储用于实现根据本申请实施例的三维人脸的重建方法中的相应步骤的计算机程序指令。
处理器920用于运行存储器910中存储的计算机程序指令，以执行根据本申请实施例的三维人脸的重建方法的相应步骤。
在一个实施例中，计算机程序指令被处理器920运行时用于执行以下步骤：将待重建的目标人脸图像进行三维重建，以获得初始三维头模、初始纹理底图和模板人脸图像，其中，模板人脸图像是初始三维人脸图像的二维投影图，初始三维人脸图像是初始纹理底图贴合到初始三维头模所获得的；分别对模板人脸图像和目标人脸图像执行关键点检测，以获得与模板人脸图像对应的模板关键点组和与目标人脸图像对应的目标关键点组；依据目标关键点组和模板关键点组中的关键点之间的对应关系，将目标人脸图像执行与模板人脸图像的对齐操作，以获得对齐后的目标人脸图像，其中，对齐后的目标人脸图像中的关键点组与模板关键点组中的对应关键点的位置相同；将对齐后的目标人脸图像与初始纹理底图进行融合，以得到融合后的纹理底图；将融合后的纹理底图贴合至初始三维头模，以获得纹理贴合后的三维人脸图像。
示例性地，电子设备900还可以包括图像采集装置930。图像采集装置930用于采集目标人脸图像。图像采集装置930是可选的，电子设备900可以不包括图像采集装置930。在这种情况下，可以利用其他图像采集装置采集目标人脸图像，并将采集的目标人脸图像发送给电子设备900。
此外，根据本申请实施例，还提供了一种存储介质，在存储介质上存储了程序指令，在程序指令被计算机或处理器运行时用于执行本申请实施例的三维人脸的重建方法的相应步骤，并且用于实现根据本申请实施例的三维人脸的重建装置中的相应模块。存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。
在一个实施例中，程序指令在被计算机或处理器运行时可以使得计算机或处理器实现根据本申请实施例的三维人脸的重建装置的各个功能模块，并和/或者可以执行根据本申请实施例的三维人脸的重建方法。
在一个实施例中，程序指令在运行时用于执行以下步骤：将待重建的目标人脸图像进行三维重建，以获得初始三维头模、初始纹理底图和模板人脸图像，其中，模板人脸图像是初始三维人脸图像的二维投影图，初始三维人脸图像是初始纹理底图贴合到初始三维头模所获得的；分别对模板人脸图像和目标人脸图像执行关键点检测，以获得与模板人脸图像对应的模板关键点组和与目标人脸图像对应的目标关键点组；依据目标关键点组和模板关键点组中的关键点之间的对应关系，将目标人脸图像执行与模板人脸图像的对齐操作，以获得对齐后的目标人脸图像，其中，对齐后的目标人脸图像中的关键点组与模板关键点组中的对应关键点的位置相同；将对齐后的目标人脸图像与初始纹理底图进行融合，以得到融合后的纹理底图；将融合后的纹理底图贴合至初始三维头模，以获得纹理贴合后的三维人脸图像。
此外，根据本申请实施例，还提供了一种计算机程序产品，计算机程序产品包括计算机程序，计算机程序在运行时用于执行上述三维人脸的重建方法300。
根据本申请实施例的电子设备中的各模块可以通过根据本申请实施例的实施三维人脸的重建方法的电子设备的处理器运行在存储器中存储的计算机程序指令来实现，或者可以在根据本申请实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。
尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本申请的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本申请的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本申请的范围之内。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本申请并帮助理解各个申请方面中的一个或多个，在对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本申请的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。
本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的三维人脸的重建装置中的一些模块的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上，仅为本申请的具体实施方式或对具体实施方式的说明，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。本申请的保护范围应以权利要求的保护范围为准。

Claims (13)

1.一种三维人脸的重建方法，包括：
将待重建的目标人脸图像进行三维重建，以获得初始三维头模、初始纹理底图和模板人脸图像，其中，所述模板人脸图像是初始三维人脸图像的二维投影图，所述初始三维人脸图像是所述初始纹理底图贴合到所述初始三维头模所获得的；
分别对所述模板人脸图像和所述目标人脸图像执行关键点检测，以获得与所述模板人脸图像对应的模板关键点组和与所述目标人脸图像对应的目标关键点组；
依据所述目标关键点组和所述模板关键点组中的关键点之间的对应关系，将所述目标人脸图像执行与所述模板人脸图像的对齐操作，以获得对齐后的目标人脸图像，其中，所述对齐后的目标人脸图像中的关键点组与所述模板关键点组中的对应关键点的位置相同；
将所述对齐后的目标人脸图像与所述初始纹理底图进行融合，以得到融合后的纹理底图；
将所述融合后的纹理底图贴合至所述初始三维头模，以获得纹理贴合后的三维人脸图像。
2.根据权利要求1所述的方法，其中，所述将所述对齐后的目标人脸图像与所述初始纹理底图进行融合，以得到融合后的纹理底图，包括：
提取所述对齐后的目标人脸图像的纹理，以获得目标纹理底图；
将所述目标纹理底图和所述初始纹理底图进行融合，以得到所述融合后的纹理底图。
3.根据权利要求2所述的方法，其中，所述将所述目标纹理底图和所述初始纹理底图进行融合，以得到所述融合后的纹理底图，包括：
根据人脸掩码图中各个像素的像素值将所述目标纹理底图和所述初始纹理底图进行融合，以得到所述融合后的纹理底图，
其中，所述人脸掩码图中各个像素的像素值用于确定所述目标纹理底图和所述初始纹理底图中对应像素的融合权重，所述人脸掩码图包括人脸区域、过渡区域和其他区域，所述过渡区域中的像素与所述人脸区域的轮廓的距离小于距离阈值，不同区域的像素值不同。
4.根据权利要求1至3任一项所述的方法，其中，在所述将所述融合后的纹理底图贴合至所述初始三维头模，以获得纹理贴合后的三维人脸图像之后，所述方法还包括：
根据所述目标关键点组和所述模板关键点组中与至少一个人脸特定部位所对应的关键点的位置对应关系，对所述纹理贴合后的三维人脸图像中的所述至少一个人脸特定部位进行形状矫正，以获取重建后的三维人脸图像。
5.根据权利要求4所述的方法，其中，所述根据所述目标关键点组和所述模板关键点组中与至少一个人脸特定部位所对应的关键点的位置对应关系，对所述纹理贴合后的三维人脸图像中的所述至少一个人脸特定部位进行形状矫正，以获取重建后的三维人脸图像，包括：
对于所述至少一个人脸特定部位中的每个人脸特定部位，
确定所述目标关键点组中的、与该人脸特定部位所对应的至少一个目标关键点对，并且基于所述目标关键点组与所述模板关键点组中的关键点之间的对应关系确定所述模板关键点组中的至少一个模板关键点对，其中，所述关键点对用于表示该人脸特定部位的形态特征；
对于每个目标关键点对以及与该目标关键点对对应的模板关键点对，
计算该目标关键点对之间的第一距离，以及计算该模板关键点对之间的第二距离；
计算所述第一距离与所述第二距离的比值；
根据所述比值对所述纹理贴合后的三维人脸图像中的该人脸特定部位进行缩放调整，以获得所述重建后的三维人脸图像。
6.根据权利要求5所述的方法，其中，所述根据所述比值对所述纹理贴合后的三维人脸图像中的该人脸特定部位进行缩放调整，包括：
对于该目标关键点对中的每个关键点，基于所述纹理贴合后的三维人脸图像中该人脸特定部位的特定控制点，确定所述纹理贴合后的三维人脸图像中的与所述人脸特定部位的形态特征相关的形变区域，其中，所述特定控制点与该关键点相对应并且位于该人脸特定部位的边缘上；以及
根据所述比值对所述形变区域进行缩放调整，以获得所述重建后的三维人脸图像。
7.根据权利要求6所述的方法，其中，所述根据所述比值对所述形变区域进行缩放调整，以获得所述重建后的三维人脸图像，包括：
对于所述形变区域中的每个三维顶点，
确定该三维顶点到所述特定控制点之间的第三距离；
根据所述第三距离和所述比值确定该三维顶点的位移，其中，所述第三距离越小，所述位移越大；
根据所述位移移动该三维顶点，以对所述形变区域进行缩放调整。
8.根据权利要求1至7任一项所述的方法，其中，所述分别对所述模板人脸图像和所述目标人脸图像执行关键点检测，以获得与所述模板人脸图像对应的模板关键点组和与所述目标人脸图像对应的目标关键点组，包括：
分别提取所述模板人脸图像和所述目标人脸图像中的人脸关键点；
分别确定与所述模板人脸图像对应的模板边界关键点和与所述目标人脸图像对应的目标边界关键点，
其中，所述模板关键点组中包括所述模板边界关键点和所述模板人脸图像中的人脸关键点，所述目标关键点组包括所述目标边界关键点和所述目标人脸图像中的人脸关键点，所述模板边界关键点和所述目标边界关键点中的边界关键点的个数相同。
9.根据权利要求1至8任一项所述的方法，其中，所述依据所述目标关键点组和所述模板关键点组中的关键点之间的对应关系，将所述目标人脸图像执行与所述模板人脸图像的对齐操作，以获得对齐后的目标人脸图像，包括：
基于同样的区域分割方法，根据所述目标关键点组对所述目标人脸图像进行区域分割，以获得多个目标人脸分块区域，以及，根据所述模板关键点组对所述模板人脸图像进行区域分割，以获得多个模板人脸分块区域；
依据所述目标人脸分块区域与所述模板人脸分块区域的对应关系，将每个目标人脸分块区域映射至对应的模板人脸分块区域中，以获得所述对齐后的目标人脸图像。
10.根据权利要求1至9任一项所述的方法，其中，在所述将待重建的目标人脸图像进行三维重建，以获得初始三维头模、初始纹理底图和模板人脸图像之前，所述方法还包括：
对所述待重建的目标人脸图像执行人脸对齐操作和/或裁剪操作，以调整所述待重建的目标人脸图像中的目标人脸的位置。
11.一种电子设备，包括处理器和存储器，其特征在于，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行如权利要求1至10任一项所述的三维人脸的重建方法。
12.一种存储介质，在所述存储介质上存储了程序指令，其特征在于，所述程序指令在运行时用于执行如权利要求1至10任一项所述的三维人脸的重建方法。
13.一种计算机程序产品，所述计算机程序产品包括计算机程序，其特征在于，所述计算机程序在运行时用于执行如权利要求1至10任一项所述的三维人脸的重建方法。
CN202210691235.4A 2022-06-17 2022-06-17 三维人脸重建方法、电子设备、存储介质及程序产品 Pending CN115375832A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210691235.4A CN115375832A (zh) 2022-06-17 2022-06-17 三维人脸重建方法、电子设备、存储介质及程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210691235.4A CN115375832A (zh) 2022-06-17 2022-06-17 三维人脸重建方法、电子设备、存储介质及程序产品

Publications (1)

Publication Number Publication Date
CN115375832A true CN115375832A (zh) 2022-11-22

Family

ID=84061445

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210691235.4A Pending CN115375832A (zh) 2022-06-17 2022-06-17 三维人脸重建方法、电子设备、存储介质及程序产品

Country Status (1)

Country Link
CN (1) CN115375832A (zh)

Similar Documents

Publication Publication Date Title
US11238644B2 (en) Image processing method and apparatus, storage medium, and computer device
US10679046B1 (en) Machine learning systems and methods of estimating body shape from images
US10042188B2 (en) Process and method for real-time physically accurate and realistic-looking glasses try-on
CN111243093B (zh) 三维人脸网格的生成方法、装置、设备及存储介质
WO2022012192A1 (zh) 三维人脸模型的构建方法、装置、设备及存储介质
JP4284664B2 (ja) 三次元形状推定システム及び画像生成システム
JP2006053694A (ja) 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体
JP2002133446A (ja) 顔画像処理方法およびシステム
EP3533218B1 (en) Simulating depth of field
CN111652123B (zh) 图像处理和图像合成方法、装置和存储介质
WO2021063271A1 (zh) 人体模型重建方法、重建系统及存储介质
Wenninger et al. Realistic virtual humans from smartphone videos
CN113628327A (zh) 一种头部三维重建方法及设备
CN111382618B (zh) 一种人脸图像的光照检测方法、装置、设备和存储介质
WO2023066120A1 (zh) 图像处理方法、装置、电子设备及存储介质
CN109064533A (zh) 一种3d漫游方法及系统
Sandnes Sketching 3D immersed experiences rapidly by hand through 2D cross sections
Onizuka et al. Landmark-guided deformation transfer of template facial expressions for automatic generation of avatar blendshapes
Michael et al. Model-based generation of personalized full-body 3D avatars from uncalibrated multi-view photographs
Zhuang Film and television industry cloud exhibition design based on 3D imaging and virtual reality
US20140306953A1 (en) 3D Rendering for Training Computer Vision Recognition
Luo et al. Sparse rgb-d images create a real thing: a flexible voxel based 3d reconstruction pipeline for single object
Patterson et al. Landmark-based re-topology of stereo-pair acquired face meshes
CN115375832A (zh) 三维人脸重建方法、电子设备、存储介质及程序产品
Jian et al. Realistic face animation generation from videos

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination