CN115619933A - 基于遮挡分割的三维人脸重建方法及系统 - Google Patents
基于遮挡分割的三维人脸重建方法及系统 Download PDFInfo
- Publication number
- CN115619933A CN115619933A CN202211286327.0A CN202211286327A CN115619933A CN 115619933 A CN115619933 A CN 115619933A CN 202211286327 A CN202211286327 A CN 202211286327A CN 115619933 A CN115619933 A CN 115619933A
- Authority
- CN
- China
- Prior art keywords
- face
- segmentation
- image
- target
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 175
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000012549 training Methods 0.000 claims abstract description 77
- 238000003709 image segmentation Methods 0.000 claims abstract description 59
- 238000012805 post-processing Methods 0.000 claims abstract description 18
- 230000006870 function Effects 0.000 claims description 87
- 238000009877 rendering Methods 0.000 claims description 10
- 238000013519 translation Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 4
- 230000008602 contraction Effects 0.000 claims description 4
- 239000013077 target material Substances 0.000 claims description 3
- 208000006440 Open Bite Diseases 0.000 claims 1
- 230000000694 effects Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 10
- 238000005192 partition Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 230000003796 beauty Effects 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 230000003321 amplification Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012821 model calculation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010030 laminating Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Geometry (AREA)
- Artificial Intelligence (AREA)
- Computer Graphics (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种基于遮挡分割的三维人脸重建方法及系统。本申请实施例提供的技术方案，通过将目标人脸图像输入预构建的参数预测模型，该参数预测模型包括图像特征提取器和图像分割解码器，参数预测模型基于多个人脸训练图片、人脸训练图片的人脸关键点信息和人脸遮挡分割区域进行训练，直至图像特征提取器和图像分割解码器的关联损失函数达到设定状态；进而基于参数预测模型输出目标人脸图像的目标人脸重建参数和目标人脸遮挡区域，并基于人脸重建参数和人脸遮挡分割区域进行三维人脸重建后处理。采用上述技术手段，可以减少模型部署对计算资源的占用，减少模型的冗余度，压缩模型计算量，提升三维人脸重建效率。
Description
技术领域
本申请实施例涉及计算机技术领域，尤其涉及一种基于遮挡分割的三维人脸重建方法及系统。
背景技术
目前，三维人脸重建技术广泛应用于影视、游戏、医疗以及直播社交等领域。例如，在直播社交领域中，通过获取用户2D人脸图像，利用三维人脸重建技术可以恢复出用户人脸的3D(表情、纹理)信息，进而实现人脸3D美型、3D美妆等功能。由于在实际应用场景中，用户2D人脸图像不会总如预期一样包含完整脸部，可能会有肢体或物体的遮挡，因此需要进行人脸遮挡分割，定位到人脸遮挡区域。以在三维人脸重建后，基于三维人脸重建结果和人脸遮挡分割结果进行后处理，保障人脸3D美型、3D美妆等功能的实施效果。
但是，现有的三维人脸重建应用场景中，会将三维人脸重建模型和人脸遮挡分割模型独立部署，将三维人脸重建和遮挡区域分割作为独立的两个任务去处理。由于部署平台算力有限，同时部署多个模型会占用过多计算资源，增大平台的计算压力，影响平台计算业务的运行。
发明内容
本申请实施例提供一种基于遮挡分割的三维人脸重建方法及系统，能够减少三维人脸重建应用场景中模型部署对计算资源的占用，压缩模型计算量，解决三维人脸重建应用场景中计算资源占用过多的技术问题。
在第一方面，本申请实施例提供了一种基于遮挡分割的三维人脸重建方法，包括：
将目标人脸图像输入预构建的参数预测模型，参数预测模型包括图像特征提取器和图像分割解码器，参数预测模型基于多个人脸训练图片、人脸训练图片的人脸关键点信息和人脸遮挡分割区域进行训练，直至图像特征提取器和图像分割解码器的关联损失函数达到设定状态；
基于参数预测模型输出目标人脸图像的目标人脸重建参数和目标人脸遮挡区域，并基于人脸重建参数和人脸遮挡分割区域进行三维人脸重建后处理。
在第二方面，本申请实施例提供了一种基于遮挡分割的三维人脸重建系统，包括：
输入模块，配置为将目标人脸图像输入预构建的参数预测模型，参数预测模型包括图像特征提取器和图像分割解码器，参数预测模型基于多个人脸训练图片、人脸训练图片的人脸关键点信息和人脸遮挡分割区域进行训练，直至图像特征提取器和图像分割解码器的关联损失函数达到设定状态；
输出模块，配置为基于参数预测模型输出目标人脸图像的目标人脸重建参数和目标人脸遮挡区域，并基于人脸重建参数和人脸遮挡分割区域进行三维人脸重建后处理。
在第三方面，本申请实施例提供了一种基于遮挡分割的三维人脸重建设备，包括：
存储器以及一个或多个处理器；
所述存储器，配置为存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的基于遮挡分割的三维人脸重建方法。
在第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在由计算机处理器执行时配置为执行如第一方面所述的基于遮挡分割的三维人脸重建方法。
在第五方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品中包含有指令，当指令在计算机或处理器上运行时，使得计算机或处理器执行如第一方面所述的基于遮挡分割的三维人脸重建方法
本申请实施例通过将目标人脸图像输入预构建的参数预测模型，该参数预测模型包括图像特征提取器和图像分割解码器，参数预测模型基于多个人脸训练图片、人脸训练图片的人脸关键点信息和人脸遮挡分割区域进行训练，直至图像特征提取器和图像分割解码器的关联损失函数达到设定状态；进而基于参数预测模型输出目标人脸图像的目标人脸重建参数和目标人脸遮挡区域，并基于人脸重建参数和人脸遮挡分割区域进行三维人脸重建后处理。采用上述技术手段，通过训练包含图像特征提取器和图像分割解码器的参数预测模型，直至图像特征提取器和图像分割解码器的关联损失函数达到设定状态，以此可以使参数预测模型融合三维人脸重建和人脸遮挡分割功能，减少模型部署对计算资源的占用，减少模型的冗余度，压缩模型计算量，提升三维人脸重建效率。
此外，本申请实施例通过自定义目标人脸重建参数的参数维度以及图像分割解码器的通道数，可以适应性配置参数预测模型的计算量，以使参数预测模型适应不同算力支持的部署环境。
附图说明
图1是本申请实施例提供的一种基于遮挡分割的三维人脸重建方法的流程图；
图2是本申请实施例中的参数预测模型训练流程图；
图3是本申请实施例中的参数预测模型的样本输入输出示意图；
图4是本申请实施例中的图像预处理流程图；
图5是本申请实施例中的参数预测模型的预测流程图；
图6是本申请实施例中的目标人脸图像处理流程图；
图7是本申请实施例提供的一种基于遮挡分割的三维人脸重建系统的结构示意图；
图8是本申请实施例提供的一种基于遮挡分割的三维人脸重建设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
本申请提供的一种基于遮挡分割的三维人脸重建方法，旨在通过训练一个融合图像特征提取器和图像分割解码器的参数预测模型，使得参数预测模型可以耦合三维人脸重建和人脸遮挡区域分割的功能。以此来减少模型部署对计算资源的占用，压缩模型计算量。对于传统的三维人脸重建场景，其在进行三维人脸重建过程中，为了避免人脸遮挡影响三维人脸的后处理功能，会通过部署独立的人脸遮挡分割模型预测人脸遮挡区域，进而基于定位到的人脸遮挡区域进行三维人脸后处理。由于三维人脸重建模型和人脸遮挡分割模型独立部署，而两者之间存在冗余的图像处理步骤，将三维人脸重建和遮挡区域分割作为独立的两个任务处理，会增大平台的计算压力，影响平台其他业务的运行。基于此，提供本本申请实施例的一种将三维人脸重建和遮挡区域分割作为独立的两个任务去处理，以解决现有三维人脸重建应用场景中计算资源占用过多的技术问题。
实施例：
图1给出了本申请实施例提供的一种基于遮挡分割的三维人脸重建方法的流程图，本实施例中提供的基于遮挡分割的三维人脸重建方法可以由基于遮挡分割的三维人脸重建设备执行，该基于遮挡分割的三维人脸重建设备可以通过软件和/或硬件的方式实现，该基于遮挡分割的三维人脸重建设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。一般而言，该基于遮挡分割的三维人脸重建设备可以是电脑，手机，平板、图像处理服务器等处理设备。
下述以该基于遮挡分割的三维人脸重建设备为执行基于遮挡分割的三维人脸重建方法的主体为例，进行描述。参照图1，该基于遮挡分割的三维人脸重建方法具体包括：
S110、将目标人脸图像输入预构建的参数预测模型，参数预测模型包括图像特征提取器和图像分割解码器，参数预测模型基于多个人脸训练图片、人脸训练图片的人脸关键点信息和人脸遮挡分割区域进行训练，直至图像特征提取器和图像分割解码器的关联损失函数达到设定状态。
本申请实施例在进行三维人脸重建时，通过将准备进行三维人脸图像的2D人脸图像输入预构建的参数预测模型，定义该2D人脸图像为目标人脸图像，以通过参数预测模型预测目标人脸图像的三维人脸重建参数和人脸遮挡区域，定义为目标人脸重建参数和目标人脸遮挡区域。参数预测模型融合了图像特征提取器和图像分割解码器，并基于两者之间的关联损失函数进行训练，使得三维人脸重建和遮挡区域分割任务可以并行处理，提升模型处理效率，且效果相互促进。
在此之前，通过预先训练该参数预测模型，以使得参数预测模型能够执行三维人脸重建和遮挡区域分割任务。参照图2，参数预测模型的训练流程包括：
S1001、以多个人脸训练图片、人脸训练图片的人脸关键点信息和人脸遮挡分割区域作为训练样本；
S1002、基于训练样本训练参数预测模型，通过图像特征提取器输出对应的人脸预测关键点信息，通过图像分割解码器输出人脸预测遮挡分割区域，基于人脸预测关键点信息进行三维人脸重建，生成三维人脸预测图像；
S1003、以三维人脸预测图像、人脸预测关键点信息和人脸预测遮挡分割区域作为预测样本，基于训练样本和预测样本计算图像特征提取器和图像分割解码器的关联损失函数，在关联损失函数达到设定状态的情况下，完成参数预测模型的训练流程。
本申请实施例的进行参数预测模型训练时，通过输入多个人脸图片作为人脸训练图片，并通过获取各个人脸训练图片的人脸关键点信息，通过预先训练的人脸区域分割模型确定人脸训练图片的人脸遮挡分割区域。以上述以多个人脸训练图片、人脸训练图片的人脸关键点信息和人脸遮挡分割区域作为训练样本，对参数预测模型的图像特征提取器和图像分割解码器进行训练。
其中，通过将人脸训练图片输入图像特征提取器，输出对应的人脸预测关键点信息。进而将人脸预测关键点信息输入三维人脸重建模型进行三维人脸重建，通过人脸预测关键点信息确定三维人脸模型，基于可微分渲染器将三维人脸模型投影到2D平面渲染成2D图像，得到对应的预测渲染图像，即三维人脸预测图像。另一方面，基于图像特征提取器基于人脸训练图片提取到图像特征之后，输入图像分割解码器进行人脸图像分割，即可输出人脸预测遮挡分割区域。参数预测模型以上述三维人脸预测图像、人脸预测关键点信息和人脸预测遮挡分割区域作为预测样本，进而根据训练样本与预测样本计算计算图像特征提取器和图像分割解码器的关联损失函数，并且在关联损失函数达到设定状态的情况下，确定参数预测模型训练完成。
需要说明的是，对于训练样本中的人脸训练图片，图片上的人脸区域可以包含遮挡区域，也可以不包含人脸遮挡区域，通过针对不同遮挡情况的人脸训练图片进行参数预测模型训练，可以提升模型预测的稳定性和可靠性。
本申请实施例通过设计关联损失函数，旨在使预测样本逐渐趋近于训练原本，当关联损失函数处于设定状态下，表示训练样本与预测样本的相似度符合模型预测标准，可以应用于三维人脸重建。
示例性地，如图3所示，通过输入人脸训练图片IT、人脸训练图片的人脸关键点信息ImT和人脸遮挡分割区域MT，基于上述模型训练训练流程，输出对应的三维人脸预测图像IR、人脸预测关键点信息ImR和人脸预测遮挡分割区域MR。需要说明的是，参数预测模型输出的三维人脸预测图像IR只会重建人脸未遮挡的部分，对于具有遮挡的情景并不会重建对应遮挡物。如图3所示，预测的三维人脸预测图像IR并不会重建眼部遮挡物墨镜。以此可以避免人脸遮挡区域对重建的三维人脸的干扰，优化后续的三维人脸重建后处理效果。
进一步地，参数预测模型的关联损失函数包括分割损失函数、分割缩放损失函数以及人脸重建损失函数；其中，分割损失函数用于衡量人脸遮挡分割区域与对应的人脸预测遮挡分割区域之间的差异；分割缩放损失函数用于对人脸预测遮挡分割区域进行缩放调整；人脸重建损失用于衡量人脸训练图片与对应的三维人脸预测图像之间的差异。
本申请实施例将人脸区域分割的相关损失函数与人脸重建的相关损失函数相结合，并引入分割缩放损失函数建立三维人脸重建与人脸遮挡分割之间的联系。以使得在存在遮挡的情况下，人脸重建参数预测更稳定，同时人脸遮挡分割也可以更精确。使图像特征提取器和图像分割解码器以相互促进的方式完成模型训练。
并且，分割缩放损失函数包括分割区域放大函数和分割区域收缩函数；分割区域放大函数用于使人脸预测遮挡分割区域放大，分割区域收缩函数用于使人脸预测遮挡分割区域收缩。
具体地，分割损失函数表示为：
Lseg＝cross_entropy(MR,MT) (1)
分割缩放损失函数表示为：
Lper_ori＝cos(F(IT⊙MR),F(IT)) (3)
Larea＝-SM/ST (4)
Lper_dist＝cos(F(IT⊙MR),F(IR⊙MR)) (6)
其中，Lseg表示分割损失函数，MT表示人脸遮挡分割区域，MR表示人脸预测遮挡分割区域，基于分割损失函数来表示人脸遮挡分割区域与对应的人脸预测遮挡分割区域之间的差异；IT表示人脸训练图片，IR表示三维人脸预测图像，SM人脸遮挡分割区域的像素数量，ST表示人脸预测遮挡分割区域的像素数量，x表示像素值，公式(3)及公式(4)表示分割区域放大函数，其利用图片是否被遮挡不影响其感知特性的特点，以及最大化人脸遮挡分割区域像素数量与人脸预测遮挡分割区域之间的比率，使预测的人脸预测遮挡分割区域有尽量外扩的趋势；同时，公式(5)及公式(6)表示分割区域收缩函数，其中公式(5)表示在对比像素差值时可以允许人脸训练图片IT与三维人脸预测图像IR之间有轻微位移误差；公式(6)表示在预测人脸预测遮挡分割区域下人脸训练图片IT与三维人脸预测图像IR的渲染图片之间的感知误差应该尽量相近；公式(5)与(6)倾向于使人脸预测遮挡分割区域忽略像素级及感知层误差大的部分，从而使预测的人脸预测遮挡分割区域有尽量缩小的趋势。
综合上述公式(1)-公式(6)，利用交叉熵损失可以在保证人脸预测遮挡分割区域基本轮廓的同时，利用分割缩放损失函数对人脸预测遮挡分割区域进行精细化调整。并且，利用分割缩放损失函数与人脸重建部分建立联系，同时考虑施加预测人脸预测遮挡分割区域的情况下，重建人脸的感知层与像素级误差，使三维人脸重建与人脸遮挡分割任务可以并行进行，同时使两者的效果相互促进。
此外，人脸重建损失函数表示为：
Lrecon_per(x)＝cos(F(IT),F(IR)) (9)
其中，公式(7)表示人脸训练图片IT与三维人脸预测图像IR在未被遮挡的部分应该是像素级别类似的；公式(8)表示人脸关键点信息ImT和人脸预测关键点信息ImR应该尽量拟合；公式(9)表示人脸训练图片IT与三维人脸预测图像IR对于模型感知来说应该是类似的。
基于上述图像特征提取器和图像分割解码器的关联损失函数进行参数预测模型训练，直至关联损失函数达到设定状态的情况下，如上述关联损失函数公式(1)-(9)收敛至设定值，则表示参数预测模型训练完成，参数预测模型的预测结果达到预期标准。
本申请实施例通过将三维人脸重建与人脸分割任务耦合在一起，在一个模型中实现三维人脸重建参数以及人脸遮挡区域的同时输出，以此来减少模型部署的开销。并且，通过结合分割损失函数、分割缩放损失函数以及人脸重建损失函数三类损失函数，使模型学习三维人脸重建与人脸遮挡分割任务的内在联系，从而可以更大程度地消除模型的冗余度，进而使用更小的模型即可完成三维人脸重建与人脸遮挡分割任务。以此来压缩模型计算量，提升模型处理效率。
进一步地，基于该已构建的参数预测模型，在进行目标人脸图像的三维人脸重建和人脸遮挡分割时，本申请实施例通过对目标人脸图像进行预处理，将预处理后的目标人脸头像输入参数预测模型，以进行三维人脸重建和人脸遮挡分割。
参照图4，目标人脸图像的预处理流程包括:
S1101、基于人脸关键点检测器以及模板人脸关键点配准目标人脸图像，得到目标人脸图像的拉伸与平移参数；
S1102基于拉伸与平移参数裁剪目标人脸图像，使目标人脸图像符合标准人脸尺寸。
目标人脸图像的预处理模主要是对输入参数预测模型的图片数据进行筛选和校正。通过使用人脸关键点检测器与模板人脸关键点进行目标人脸图像配准，从而得到预处理目标人脸图像的拉伸与平移参数。进而可以对目标人脸图像使用对应参数进行处理并裁剪，使得使目标人脸图像符合标准人脸尺寸，以方便后续参数预测模型使用。可以理解的是，对于不同目标人脸图像，其图像中人脸部分区域的尺寸不一，为了保障参数预测模型的预测效果，是参数预测模型标准化处理目标人脸图像，需要将目标人脸图像的人脸部分区域调整为标准人脸尺寸。
之后，对于完成预处理的目标人脸图像，基于上述完成预训练的参数预测模型进行参数预测。
S120、基于参数预测模型输出目标人脸图像的目标人脸重建参数和目标人脸遮挡区域，并基于目标人脸重建参数和目标人脸遮挡区域进行三维人脸重建后处理。
本申请实施例的参数预测模型接收预处理后的目标人脸图像作为输入，通过模型预测，同时输出对应的目标人脸重建参数和目标人脸遮挡区域。
具体地，在参数预测模型中，通过将目标人脸图像输入图像特征提取器，得到对应的特征图，整合特征图得到目标人脸重建参数，并将特征图输入图像分割解码器，基于图像分割解码器进行图像分割，得到目标人脸遮挡区域。
参数预测模型的整体框架如图5所示，本申请实施例利用改进的轻量化mobilenet-v3网络作为图像级特征提取器，从图像像素中学习完整的三维面部结构几何，并使其更适合在移动端设备上部署。同时，本申请实施例利用轻量化的图像分割解码器LR-ASPP与图像级特征提取器相连，使其能够高效地提取深层特征和细节信息，从而实现高效的图像分割。图5展示了本申请实施例的参数预测模型的详细结构，参数预测模型通过以预处理后的目标人脸图像作为输入，经过一系列bneck块得到一系列黄色特征图，而后通过1x1卷积最终整合提取的特征，输出参数预测向量，即目标人脸重建参数。
图像级特征提取器的核心部件是bneck模块，其主要实现了通道可分离卷积、SE通道注意力机制及残差连接。通道可分离卷积使模型可以使用较少的参数获得更好的特征提取效果，SE通道注意力机制用于调整每个通道的权重，结合残差连接使模型可以更好的结合高低层次特征，为模型学习三维人脸参数打下基础。
需要说明的是，本申请实施例通过将可以捕获三维面部特征的图像级特征提取器与执行人脸分割任务的图像分割解码器LR-ASPP相连接，从而可以同时输出目标人脸重建参数以及目标人脸遮挡分割区域。图像分割解码器LR-ASPP部分以56x56和7x7的featuremap为输入，针对高层次特征图(7x7)使用SE通道注意力机制进行进一步特征重新校准。而后将高低分辨率特征分别使用1x1卷积分类后混合，借助多层次的混合特征学习，实现移动端图像精准分割。最终可以得到目标人脸遮挡分割区域。
可选地，图像特征提取器输出的目标人脸重建参数的参数维度，以及图像分割解码器的通道数对应参数预测模型的模型算力配置。本申请实施例最终输出的目标人脸重建参数的维度可以由用户自由定义，用户可结合所需模型大小及效果在训练阶段自由指定。最终输出维度等于identity(人脸ID)+expression(人脸表情)+albedo(人脸纹理)+光照(27维)+pose(姿态，3维)+translation(变换，3维)之和。
此外，还可以通过一个width参数控制整个模型结构的计算量，该参数可以控制整个模型的通道数量。根据实际测算，表明当width＝0.5时，可以将整个模型压缩到20MFLOPS，并且在评测集上人脸重建和遮挡区域分割可以获得非常不错的效果，从而可以满足部署到各类低端机型上，满足不同算力配置的模块需求。通过结合实际应用场景以及部署环境指定需要得到的identity(人脸ID)、expression(人脸表情)、albedo(人脸纹理)的参数维度，以及通过width参数控制最终模型的计算量，从而生成契合实际需求的定制化模型，提升模型设计的灵活性。
参照图6提供的步骤a1-a5，基于上述参数预测模型，通过将预处理后的目标人脸图像输入参数预测模型，基于参数预测模型的图像特征提取器获取图像特征，图像特征一方面用于生成目标人脸重建参数，一方面输入图像分割解码器，生成目标人脸遮挡区域，进而将目标人脸重建参数和目标人脸遮挡区域输出进行三维人脸重建后处理，完成参数预测。
进一步地，在进行三维人脸重建后处理时，本申请实施例基于目标人脸重建参数进行三维人脸重建，生成目标三维人脸模型，目标三维人脸模型包括目标三维人脸形状和目标三维人脸纹理；基于目标人脸遮挡区域对目标三维人脸模型上的遮挡区域使用目标人脸图像进行渲染，对目标三维人脸模型上的未遮挡区域使用目标素材渲染。
基于该目标人脸重建参数，结合预先生成的人脸模型基底重建三维人脸形状以及三维人脸纹理，生成目标三维人脸模型。
目标三维人脸模型构建公式为：
其中，S为三维人脸形状，T三维人脸纹理，
为平均人脸形状，
为平均人脸纹理，Bid、Bexp和Bt分别是人脸ID、人脸表情以及人脸纹理的PCA基底，α,β以及δ分别是对应的用于生成三维人脸模型的系数向量，这些系数向量从参数预测模型预测得到的目标人脸重建参数中得到。
对于参数预测模型输出的其他参数，如姿态参数以及平移参数，可以用于对重建后的三维人脸模型进行姿态矫正；光照参数则可以用于对重建的人脸纹理进行球谐光照处理，从而使结果更生动细致。
需要说明的是，以直播场景下的3D美妆为例，对本申请实施例的三维人脸重建后处理进行描述。直播3D美妆时，基于用户人脸图像重建的三维人脸模型，可以在此基础上进行3D美妆素材贴合，而后可以根据参数预测模型预测的目标人脸遮挡区域对最终的渲染纹理进行计算。对于被遮挡区域的区域，可选取摄像头采集的原图(及目标人脸图像)进行渲染，对于未被遮挡的区域，可按照正常逻辑渲染3D美妆素材。以此可以达到“被遮挡区域使用摄像头采集原始图片渲染、未被遮挡区域使用重建3D美妆进行渲染”的目的，使用户即享受美观的美妆视觉效果，又避免了美妆效果浮于遮挡物上，优化3D美妆效果。
实际应用场景中，还可以在诸如直播、会议场景下的3D美型美妆、3D特效、医疗整形建模等面向任何需要实时处理可能带遮挡输入的三维人脸重建应用场景中使用本申请实施例的三维人脸重建方法，本申请实施例对具体的应用环境步骤固定限制，在此不多赘述。
上述，通过将目标人脸图像输入预构建的参数预测模型，该参数预测模型包括图像特征提取器和图像分割解码器，参数预测模型基于多个人脸训练图片、人脸训练图片的人脸关键点信息和人脸遮挡分割区域进行训练，直至图像特征提取器和图像分割解码器的关联损失函数达到设定状态；进而基于参数预测模型输出目标人脸图像的目标人脸重建参数和目标人脸遮挡区域，并基于人脸重建参数和人脸遮挡分割区域进行三维人脸重建后处理。采用上述技术手段，通过训练包含图像特征提取器和图像分割解码器的参数预测模型，直至图像特征提取器和图像分割解码器的关联损失函数达到设定状态，以此可以使参数预测模型融合三维人脸重建和人脸遮挡分割功能，减少模型部署对计算资源的占用，减少模型的冗余度，压缩模型计算量，提升三维人脸重建效率。
此外，本申请实施例通过自定义目标人脸重建参数的参数维度以及图像分割解码器的通道数，可以适应性配置参数预测模型的计算量，以使参数预测模型适应不同算力支持的部署环境。
在上述实施例的基础上，图7为本申请提供的一种基于遮挡分割的三维人脸重建系统的结构示意图。参考图7，本实施例提供的基于遮挡分割的三维人脸重建系统具体包括：输入模块和输出模块。
其中，输入模块21配置为将目标人脸图像输入预构建的参数预测模型，参数预测模型包括图像特征提取器和图像分割解码器，参数预测模型基于多个人脸训练图片、人脸训练图片的人脸关键点信息和人脸遮挡分割区域进行训练，直至图像特征提取器和图像分割解码器的关联损失函数达到设定状态；
输出模块22配置为基于参数预测模型输出目标人脸图像的目标人脸重建参数和目标人脸遮挡区域，并基于人脸重建参数和人脸遮挡分割区域进行三维人脸重建后处理。
具体地，参数预测模型的训练流程包括：
以多个人脸训练图片、人脸训练图片的人脸关键点信息和人脸遮挡分割区域作为训练样本；
基于训练样本训练参数预测模型，通过图像特征提取器输出对应的人脸预测关键点信息，通过图像分割解码器输出人脸预测遮挡分割区域，基于人脸预测关键点信息进行三维人脸重建，生成三维人脸预测图像；
以三维人脸预测图像、人脸预测关键点信息和人脸预测遮挡分割区域作为预测样本，基于训练样本和预测样本计算图像特征提取器和图像分割解码器的关联损失函数，在关联损失函数达到设定状态的情况下，完成参数预测模型的训练流程。
其中，关联损失函数包括分割损失函数、分割缩放损失函数以及人脸重建损失函数；分割损失函数用于衡量人脸遮挡分割区域与对应的人脸预测遮挡分割区域之间的差异；分割缩放损失函数用于对人脸预测遮挡分割区域进行缩放调整；人脸重建损失用于衡量人脸训练图片与对应的三维人脸预测图像之间的差异。
分割缩放损失函数包括分割区域放大函数和分割区域收缩函数；分割区域放大函数用于使人脸预测遮挡分割区域放大，分割区域收缩函数用于使人脸预测遮挡分割区域收缩。
具体地，输入模块21配置为将目标人脸图像输入图像特征提取器，得到对应的特征图，整合特征图得到目标人脸重建参数，并将特征图输入图像分割解码器，基于图像分割解码器进行图像分割，得到目标人脸遮挡区域。
图像特征提取器输出的目标人脸重建参数的参数维度，以及图像分割解码器的通道数对应参数预测模型的模型算力配置。
具体地，在将目标人脸图像输入预构建的参数预测模型之前，还包括：
基于人脸关键点检测器以及模板人脸关键点配准目标人脸图像，得到目标人脸图像的拉伸与平移参数；
基于拉伸与平移参数裁剪目标人脸图像，使目标人脸图像符合标准人脸尺寸。
具体地，输出模块22配置为基于目标人脸重建参数进行三维人脸重建，生成目标三维人脸模型，目标三维人脸模型包括目标三维人脸形状和目标三维人脸纹理；基于目标人脸遮挡区域对目标三维人脸模型上的遮挡区域使用目标人脸图像进行渲染，对目标三维人脸模型上的未遮挡区域使用目标素材渲染。
上述，通过将目标人脸图像输入预构建的参数预测模型，该参数预测模型包括图像特征提取器和图像分割解码器，参数预测模型基于多个人脸训练图片、人脸训练图片的人脸关键点信息和人脸遮挡分割区域进行训练，直至图像特征提取器和图像分割解码器的关联损失函数达到设定状态；进而基于参数预测模型输出目标人脸图像的目标人脸重建参数和目标人脸遮挡区域，并基于人脸重建参数和人脸遮挡分割区域进行三维人脸重建后处理。采用上述技术手段，通过训练包含图像特征提取器和图像分割解码器的参数预测模型，直至图像特征提取器和图像分割解码器的关联损失函数达到设定状态，以此可以使参数预测模型融合三维人脸重建和人脸遮挡分割功能，减少模型部署对计算资源的占用，减少模型的冗余度，压缩模型计算量，提升三维人脸重建效率。
此外，本申请实施例通过自定义目标人脸重建参数的参数维度以及图像分割解码器的通道数，可以适应性配置参数预测模型的计算量，以使参数预测模型适应不同算力支持的部署环境。
本申请实施例提供的基于遮挡分割的三维人脸重建系统可以配置为执行上述实施例提供的基于遮挡分割的三维人脸重建方法，具备相应的功能和有益效果。
在上述实际上例的基础上，本申请实施例还提供了一种基于遮挡分割的三维人脸重建设备，参照图8，该基于遮挡分割的三维人脸重建设备包括：处理器31、存储器32、通信模块33、输入装置34及输出装置35。存储器32作为一种计算机可读存储介质，可配置为存储软件程序、计算机可执行程序以及模块，如本申请任意实施例所述的基于遮挡分割的三维人脸重建方法对应的程序指令/模块(例如，基于遮挡分割的三维人脸重建系统中的输入模块和输出模块)。通信模块33配置为进行数据传输。处理器31通过运行存储在存储器中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的基于遮挡分割的三维人脸重建方法。输入装置34可配置为接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置35可包括显示屏等显示设备。上述提供的基于遮挡分割的三维人脸重建设备可配置为执行上述实施例提供的基于遮挡分割的三维人脸重建方法，具备相应的功能和有益效果。
在上述实施例的基础上，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在由计算机处理器执行时配置为执行一种基于遮挡分割的三维人脸重建方法，存储介质可以是任何的各种类型的存储器设备或存储设备。当然，本申请实施例所提供的一种计算机可读存储介质，其计算机可执行指令不限于如上所述的基于遮挡分割的三维人脸重建方法，还可以执行本申请任意实施例所提供的基于遮挡分割的三维人脸重建方法中的相关操作。
在上述实施例的基础上，本申请实施例还提供一种计算机程序产品，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机程序产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备、移动终端或其中的处理器执行本申请各个实施例所述基于遮挡分割的三维人脸重建方法的全部或部分步骤。
Claims (12)
1.一种基于遮挡分割的三维人脸重建方法，其特征在于，包括：
将目标人脸图像输入预构建的参数预测模型，所述参数预测模型包括图像特征提取器和图像分割解码器，所述参数预测模型基于多个人脸训练图片、所述人脸训练图片的人脸关键点信息和人脸遮挡分割区域进行训练，直至所述图像特征提取器和所述图像分割解码器的关联损失函数达到设定状态；
基于所述参数预测模型输出所述目标人脸图像的目标人脸重建参数和目标人脸遮挡区域，并基于所述目标人脸重建参数和目标人脸遮挡区域进行三维人脸重建后处理。
2.根据权利要求1所述的基于遮挡分割的三维人脸重建方法，其特征在于，所述参数预测模型的训练流程包括：
以多个所述人脸训练图片、所述人脸训练图片的人脸关键点信息和人脸遮挡分割区域作为训练样本；
基于所述训练样本训练所述参数预测模型，通过所述图像特征提取器输出对应的人脸预测关键点信息，通过所述图像分割解码器输出人脸预测遮挡分割区域，基于所述人脸预测关键点信息进行三维人脸重建，生成三维人脸预测图像；
以所述三维人脸预测图像、所述人脸预测关键点信息和所述人脸预测遮挡分割区域作为预测样本，基于所述训练样本和所述预测样本计算所述图像特征提取器和所述图像分割解码器的关联损失函数，在所述关联损失函数达到设定状态的情况下，完成所述参数预测模型的训练流程。
3.根据权利要求2所述的基于遮挡分割的三维人脸重建方法，其特征在于，所述关联损失函数包括分割损失函数、分割缩放损失函数以及人脸重建损失函数；
所述分割损失函数用于衡量所述人脸遮挡分割区域与对应的所述人脸预测遮挡分割区域之间的差异；
所述分割缩放损失函数用于对所述人脸预测遮挡分割区域进行缩放调整；
所述人脸重建损失用于衡量所述人脸训练图片与对应的所述三维人脸预测图像之间的差异。
4.根据权利要求3所述的基于遮挡分割的三维人脸重建方法，其特征在于，所述分割缩放损失函数包括分割区域放大函数和分割区域收缩函数；所述分割区域放大函数用于使所述人脸预测遮挡分割区域放大，所述分割区域收缩函数用于使所述人脸预测遮挡分割区域收缩。
5.根据权利要求1所述的基于遮挡分割的三维人脸重建方法，其特征在于，所述基于所述参数预测模型输出所述目标人脸图像的目标人脸重建参数和目标人脸遮挡区域，包括：
将所述目标人脸图像输入所述图像特征提取器，得到对应的特征图，整合所述特征图得到目标人脸重建参数，并将所述特征图输入所述图像分割解码器，基于所述图像分割解码器进行图像分割，得到目标人脸遮挡区域。
6.根据权利要求1所述的基于遮挡分割的三维人脸重建方法，其特征在于，所述图像特征提取器输出的所述目标人脸重建参数的参数维度，以及所述图像分割解码器的通道数对应所述参数预测模型的模型算力配置。
7.根据权利要求1所述的基于遮挡分割的三维人脸重建方法，其特征在于，在将目标人脸图像输入预构建的参数预测模型之前，还包括：
基于人脸关键点检测器以及模板人脸关键点配准所述目标人脸图像，得到所述目标人脸图像的拉伸与平移参数；
基于所述拉伸与平移参数裁剪所述目标人脸图像，使所述目标人脸图像符合标准人脸尺寸。
8.根据权利要求1所述的基于遮挡分割的三维人脸重建方法，其特征在于，所述基于所述目标人脸重建参数和目标人脸遮挡区域进行三维人脸重建后处理，包括：
基于所述目标人脸重建参数进行三维人脸重建，生成目标三维人脸模型，所述目标三维人脸模型包括目标三维人脸形状和目标三维人脸纹理；
基于所述目标人脸遮挡区域对所述目标三维人脸模型上的遮挡区域使用所述目标人脸图像进行渲染，对所述目标三维人脸模型上的未遮挡区域使用目标素材渲染。
9.一种基于遮挡分割的三维人脸重建系统，其特征在于，包括：
输入模块，配置为将目标人脸图像输入预构建的参数预测模型，所述参数预测模型包括图像特征提取器和图像分割解码器，所述参数预测模型基于多个人脸训练图片、所述人脸训练图片的人脸关键点信息和人脸遮挡分割区域进行训练，直至所述图像特征提取器和所述图像分割解码器的关联损失函数达到设定状态；
输出模块，配置为基于所述参数预测模型输出所述目标人脸图像的目标人脸重建参数和目标人脸遮挡区域，并基于所述人脸重建参数和人脸遮挡分割区域进行三维人脸重建后处理。
10.一种基于遮挡分割的三维人脸重建设备，其特征在于，包括：
存储器以及一个或多个处理器；
所述存储器，配置为存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9任一所述的基于遮挡分割的三维人脸重建方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在由计算机处理器执行时配置为执行如权利要求1-9任一所述的基于遮挡分割的三维人脸重建方法。
12.一种计算机程序产品，其特征在于，所述计算机程序产品中包含有指令，当所述指令在计算机或处理器上运行时，使得所述计算机或处理器执行如权利要求1-9任一所述的基于遮挡分割的三维人脸重建方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211286327.0A CN115619933A (zh) | 2022-10-20 | 2022-10-20 | 基于遮挡分割的三维人脸重建方法及系统 |
| PCT/CN2023/122322 WO2024082950A1 (zh) | 2022-10-20 | 2023-09-27 | 基于遮挡分割的三维人脸重建方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211286327.0A CN115619933A (zh) | 2022-10-20 | 2022-10-20 | 基于遮挡分割的三维人脸重建方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115619933A true CN115619933A (zh) | 2023-01-17 |
Family
ID=84865148
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211286327.0A Pending CN115619933A (zh) | 2022-10-20 | 2022-10-20 | 基于遮挡分割的三维人脸重建方法及系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN115619933A (zh) |
| WO (1) | WO2024082950A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117392292A (zh) * | 2023-10-20 | 2024-01-12 | 联通在线信息科技有限公司 | 一种3d数字人生成方法及系统 |
| WO2024082950A1 (zh) * | 2022-10-20 | 2024-04-25 | 广州市百果园信息技术有限公司 | 基于遮挡分割的三维人脸重建方法及系统 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110443883B (zh) * | 2019-07-08 | 2023-04-07 | 杭州电子科技大学 | 一种基于dropblock的单张彩色图片平面三维重建方法 |
| US11594001B2 (en) * | 2020-01-20 | 2023-02-28 | Rapiscan Systems, Inc. | Methods and systems for generating three-dimensional images that enable improved visualization and interaction with objects in the three-dimensional images |
| US11443484B2 (en) * | 2020-05-15 | 2022-09-13 | Microsoft Technology Licensing, Llc | Reinforced differentiable attribute for 3D face reconstruction |
| CN112419170B (zh) * | 2020-10-16 | 2023-09-22 | 上海哔哩哔哩科技有限公司 | 遮挡检测模型的训练方法及人脸图像的美化处理方法 |
| CN112580567B (zh) * | 2020-12-25 | 2024-04-16 | 深圳市优必选科技股份有限公司 | 一种模型获取方法、模型获取装置及智能设备 |
| CN112633191A (zh) * | 2020-12-28 | 2021-04-09 | 百果园技术(新加坡)有限公司 | 一种三维人脸重建的方法、装置、设备和存储介质 |
| CN114972619A (zh) * | 2021-02-22 | 2022-08-30 | 南京大学 | 一种基于自对齐双重回归的单图像人脸三维重建方法 |
| CN114399590A (zh) * | 2021-12-23 | 2022-04-26 | 北京航空航天大学 | 一种基于人脸解析图的人脸遮挡移除和三维模型生成方法 |
| CN114723884A (zh) * | 2022-04-02 | 2022-07-08 | 厦门美图之家科技有限公司 | 三维人脸重建方法、装置、计算机设备及存储介质 |
| CN114862697A (zh) * | 2022-04-10 | 2022-08-05 | 复旦大学 | 一种基于三维分解的人脸盲修复方法 |
| CN114898034A (zh) * | 2022-04-18 | 2022-08-12 | 网易（杭州）网络有限公司 | 三维面部生成方法和装置、三维面部重演方法和装置 |
| CN115131194A (zh) * | 2022-04-22 | 2022-09-30 | 腾讯医疗健康(深圳)有限公司 | 一种图像合成模型的确定方法和相关装置 |
| CN115619933A (zh) * | 2022-10-20 | 2023-01-17 | 百果园技术(新加坡)有限公司 | 基于遮挡分割的三维人脸重建方法及系统 |
-
2022
- 2022-10-20 CN CN202211286327.0A patent/CN115619933A/zh active Pending
-
2023
- 2023-09-27 WO PCT/CN2023/122322 patent/WO2024082950A1/zh unknown
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024082950A1 (zh) * | 2022-10-20 | 2024-04-25 | 广州市百果园信息技术有限公司 | 基于遮挡分割的三维人脸重建方法及系统 |
| CN117392292A (zh) * | 2023-10-20 | 2024-01-12 | 联通在线信息科技有限公司 | 一种3d数字人生成方法及系统 |
| CN117392292B (zh) * | 2023-10-20 | 2024-04-30 | 联通在线信息科技有限公司 | 一种3d数字人生成方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024082950A1 (zh) | 2024-04-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wan et al. | High-fidelity pluralistic image completion with transformers | |
| US11302064B2 (en) | Method and apparatus for reconstructing three-dimensional model of human body, and storage medium | |
| Gao et al. | Reconstructing personalized semantic facial nerf models from monocular video | |
| Dong et al. | Color-guided depth recovery via joint local structural and nonlocal low-rank regularization | |
| CN115619933A (zh) | 基于遮挡分割的三维人脸重建方法及系统 | |
| CN110610526B (zh) | 一种基于wnet对单目人像进行分割和景深渲染的方法 | |
| CN111507333B (zh) | 一种图像矫正方法、装置、电子设备和存储介质 | |
| WO2024007478A1 (zh) | 基于单手机的人体三维建模数据采集与重建方法及系统 | |
| CN110599395A (zh) | 目标图像生成方法、装置、服务器及存储介质 | |
| CN110796593A (zh) | 基于人工智能的图像处理方法、装置、介质及电子设备 | |
| CN113096249B (zh) | 训练顶点重建模型的方法、图像重建方法及电子设备 | |
| JP2024004444A (ja) | ３次元顔再構成モデルトレーニング、３次元顔イメージ生成方法及び装置 | |
| CN113592726A (zh) | 高动态范围成像方法、装置、电子设备和存储介质 | |
| CN115984447A (zh) | 图像渲染方法、装置、设备和介质 | |
| CN114266693A (zh) | 图像处理方法、模型生成方法及设备 | |
| Kim et al. | Progressive contextual aggregation empowered by pixel-wise confidence scoring for image inpainting | |
| CN116385667B (zh) | 三维模型的重建方法、纹理重构模型的训练方法以及装置 | |
| CN111754561A (zh) | 基于自监督深度学习的光场图像深度恢复方法及系统 | |
| CN115082636B (zh) | 基于混合高斯网络的单图像三维重建方法及设备 | |
| CN116486009A (zh) | 单目三维人体重建方法、装置以及电子设备 | |
| CN116168152A (zh) | 人脸图像生成方法、电子设备及计算机可读存储介质 | |
| CN115375816A (zh) | 可微渲染方法、装置、电子设备及存储介质 | |
| Liao et al. | TransRef: Multi-scale reference embedding transformer for reference-guided image inpainting | |
| CN116912433B (zh) | 三维模型骨骼绑定方法、装置、设备及存储介质 | |
| CN116958451B (zh) | 模型处理、图像生成方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |