CN116958404A - 面部图像生成方法、装置、计算机设备、存储介质及产品 - Google Patents

面部图像生成方法、装置、计算机设备、存储介质及产品 Download PDF

Info

Publication number
CN116958404A
CN116958404A CN202310228721.7A CN202310228721A CN116958404A CN 116958404 A CN116958404 A CN 116958404A CN 202310228721 A CN202310228721 A CN 202310228721A CN 116958404 A CN116958404 A CN 116958404A
Authority
CN
China
Prior art keywords
sample
image
face
facial
reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310228721.7A
Other languages
English (en)
Inventor
张振宇
陈人望
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202310228721.7A priority Critical patent/CN116958404A/zh
Publication of CN116958404A publication Critical patent/CN116958404A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种面部图像生成方法、装置、计算机设备、存储介质及产品，涉及图像处理技术领域。该方法包括：通过第一编码网络对样本面部图像集合进行特征提取，得到样本面部图像集合的样本一致性特征；通过第二编码网络对样本面部图像集合进行特征提取，得到样本面部图像集合中各个样本面部图像的样本形变特征；对样本一致性特征和样本形变特征进行相加处理，得到各个样本面部图像的第一样本面部特征；基于样本相机姿态参数和各个第一样本面部特征进行图像重构，生成样本重构图像集合，样本重构图像中的面部视角与样本相机姿态参数有关；基于样本重构图像集合和样本面部图像集合，训练第一编码网络和第二编码网络。该方法可以提高图像重建质量。

Description

面部图像生成方法、装置、计算机设备、存储介质及产品
技术领域
本申请实施例涉及图像处理技术领域，特别涉及一种面部图像生成方法、装置、计算机设备、存储介质及产品。
背景技术
随着深度学习的发展，现有的人脸重建模型在重建质量上取得了显著进步。
相关技术中，可以使用单张人脸图像进行重建，通过使用GAN inversion方法先将人脸图像反投影到风格编码空间，再通过生成器生成对应的人脸图像。
然而，仅基于单张人脸图像进行图像重建过程中，无法保证重构人脸在几何特征上的鲁棒性。
发明内容
本申请实施例提供了一种面部图像生成方法、装置、计算机设备、存储介质及产品。所述技术方案如下：
根据本申请的一个方面，提供了一种面部图像生成方法，所述方法包括：
通过第一编码网络对样本面部图像集合进行特征提取，得到所述样本面部图像集合的样本一致性特征，所述样本面部图像集合中包含至少两张样本面部图像，且各个所述样本面部图像为具备相同面部结构的面部图像，所述样本一致性特征用于表征在所述样本面部图像集合中具备一致性的面部信息；
通过第二编码网络对所述样本面部图像集合进行特征提取，得到所述样本面部图像集合中各个所述样本面部图像的样本形变特征，所述样本形变特征用于表征所述样本面部图像之间的差异面部信息；
对所述样本一致性特征和所述样本形变特征进行相加处理，得到各个所述样本面部图像的第一样本面部特征；
基于样本相机姿态参数和各个所述第一样本面部特征进行图像重构，生成样本重构图像集合，所述样本重构图像集合中包含各个所述样本面部图像的样本重构图像，且所述样本重构图像中的面部视角与所述样本相机姿态参数有关；
基于所述样本重构图像集合和所述样本面部图像集合，训练所述第一编码网络和所述第二编码网络。
根据本申请的另一方面，提供了一种面部图像生成方法，所述方法包括：
对面部图像集合进行特征提取，得到所述面部图像集合的面部一致性特征，所述面部图像集合中包含至少两张面部图像，且各个所述面部图像为具备相同面部结构的面部图像，所述面部一致性特征用于表征在各个所述面部图像中具备一致性的面部信息；
对所述面部图像集合进行特征提取，得到所述面部图像集合中各个所述面部图像的面部形变特征，所述面部形变特征用于表征所述面部图像之间的差异面部信息；
对所述面部一致性特征和所述面部形变特征进行相加处理，得到各个所述面部图像的面部重构特征；
基于相机姿态参数和各个所述面部重构特征进行图像重构，生成重构图像集合，所述重构图像集合中包含各个所述面部图像的重构图像，所述重构图像的面部视角与所述相机姿态参数有关。
根据本申请的另一方面，提供了一种面部图像生成装置，所述装置包括：
第一特征提取模块，用于通过第一编码网络对样本面部图像集合进行特征提取，得到所述样本面部图像集合的样本一致性特征，所述样本面部图像集合中包含至少两张样本面部图像，且各个所述样本面部图像为具备相同面部结构的面部图像，所述样本一致性特征用于表征在所述样本面部图像集合中具备一致性的面部信息；
第二特征提取模块，用于通过第二编码网络对所述样本面部图像集合进行特征提取，得到所述样本面部图像集合中各个所述样本面部图像的样本形变特征，所述样本形变特征用于表征所述样本面部图像之间的差异面部信息；
特征处理模块，用于对所述样本一致性特征和所述样本形变特征进行相加处理，得到各个所述样本面部图像的第一样本面部特征；
图像生成模块，用于基于样本相机姿态参数和各个所述第一样本面部特征进行图像重构，生成样本重构图像集合，所述样本重构图像集合中包含各个所述样本面部图像的样本重构图像，且所述样本重构图像中的面部视角与所述样本相机姿态参数有关；
训练模块，用于基于所述样本重构图像集合和所述样本面部图像集合，训练所述第一编码网络和所述第二编码网络。
根据本申请的另一方面，提供了一种面部图像生成装置，所述装置包括：
第一特征提取模块，用于对面部图像集合进行特征提取，得到所述面部图像集合的面部一致性特征，所述面部图像集合中包含至少两张面部图像，且各个所述面部图像为具备相同面部结构的面部图像，所述面部一致性特征用于表征在各个所述面部图像中具备一致性的面部信息；
第二特征提取模块，用于对所述面部图像集合进行特征提取，得到所述面部图像集合中各个所述面部图像的面部形变特征，所述面部形变特征用于表征所述面部图像之间的差异面部信息；
特征处理模块，用于对所述面部一致性特征和所述面部形变特征进行相加处理，得到各个所述面部图像的面部重构特征；
图像生成模块，用于基于相机姿态参数和各个所述面部重构特征进行图像重构，生成重构图像集合，所述重构图像集合中包含各个所述面部图像的重构图像，所述重构图像的面部视角与所述相机姿态参数有关。
根据本申请的另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现如上方面所述的面部图像生成方法。
根据本申请的另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一段程序，所述至少一段程序由处理器加载并执行以实现如上方面所述的面部图像生成方法。
根据本申请的另一方面，提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述可选实现方式中提供的面部图像生成方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
通过提取样本面部图像集合中各个样本面部图像的一致性面部信息(样本一致性特征)，与提取到的样本面部图像的差异化面部信息(样本形变特征)相加，得到用于面部图像重建的第一样本面部特征，进行面部图像重建。由于预先提取了具备相同面部结构的多张样本面部图像的样本一致性特征，用于参与面部图像重建，可以使得重建出的面部图像不会受到原本单张样本面部图像失真或遮挡等质量较差情况的影响，可以提高面部几何纹理的重建准确性，同时提高在较难场景下的面部重建鲁棒性；此外，在样本重建过程中还引入了样本相机姿态参数，使得可以重构出该样本相机姿态参数下所对应面部朝向的样本重构图像，从而可以重建出多视角的面部图像。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个示例性实施例示出的计算机系统的示意图；
图2示出了本申请一个示例性实施例提供的面部图像生成方法的流程图；
图3示出了本申请一个示例性实施例示出的图像重建模型的训练过程示意图；
图4示出了本申请另一个示例性实施例提供的面部图像生成方法的流程图；
图5示出了本申请另一个示例性实施例示出的图像重建模型的训练过程示意图；
图6示出了本申请另一个示例性实施例提供的面部图像生成方法的流程图；
图7示出了本申请另一个示例性实施例示出的图像重建模型的训练过程示意图；
图8示出了本申请另一个示例性实施例提供的面部图像生成方法的流程图；
图9示出了本申请一个示例性实施例示出的图像重构网络的训练过程示意图；
图10示出了本申请另一个示例性实施例提供的面部图像生成方法的流程图；
图11示出了本申请另一个示例性实施例提供的面部图像生成方法的流程图；
图12示出了本申请一个示例性实施例提供的图像重构效果图；
图13示出了本申请另一个示例性实施例提供的图像重构效果图；
图14是本申请一个示例性实施例提供的面部图像生成装置的结构框图；
图15是本申请另一个示例性实施例提供的面部图像生成装置的结构框图；
图16示出了本申请一个实施例提供的计算机设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
首先，对本申请实施例中涉及的名词进行简单介绍：
人工智能(Artificial Intelligence，AI)：是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。需要说明的是，本申请实施例主要涉及到人工智能技术领域中的机器学习技术领域。
图1是本申请一个示例性实施例示出的计算机系统的示意图。如图1所示，该计算机系统包括第一设备110和第二设备120。
第一设备110是训练面部图像重构模型的训练设备，在面部图像重构模型训练完成之后，第一设备110可以将训练完成的面部图像重构模型发送至第二设备120，以便在第二设备120中部署面部图像重构模型。可选的，第二设备120是使用面部图像重构模型进行面部图像重构的设备。
在模型应用阶段：可以分别对面部图像集合进行一致性特征提取和差异化特征提取，以得到面部图像集合的面部一致性特征和面部形变特征，并将面部形变特征和面部一致性特征相加后得到面部重构特征，进而基于面部重构特征和相机姿态参数进行图像重建，以得到多面部视角的重构图像集合。可选的，相机姿态参数可以人为输入，也可以从面部图像集合中提取得到。
可选的，上述第一设备110和第二设备120可以是具有机器学习能力的计算机设备，比如，该计算机设备可以是终端或服务器。
可选的，上述第一设备110和第二设备120可以是同一个计算机设备，或者，第一设备110和第二设备120也可以是不同的计算机设备。并且，当第一设备110和第二设备120是不同的设备时，第一设备110和第二设备120可以是同一类型的设备，比如第一设备110和第二设备120可以都是服务器；或者，第一设备110和第二设备120也可以是不同类型的设备。上述服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。上述终端可以是智能手机、车载终端、智能电视、可穿戴设备、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
请参考图2，其示出了本申请一个示例性实施例提供的面部图像生成方法的流程图。本实施例以该方法的执行主体是计算机设备为例进行示例性说明，该方法包括：
步骤201，通过第一编码网络对样本面部图像集合进行特征提取，得到样本面部图像集合的样本一致性特征，样本一致性特征用于表征在样本面部图像集合中具备一致性的面部信息。
在图像重建领域中如何提高图像重建质量是图像重建模型的训练目标。相关技术中，由于在图像重建过程中有限的样本数量，从而影响了图像重建模型对图像细节纹理的表达，使得图像重建质量大打折扣。本实施例中，为了使得在各种较难场景下仍然可以鲁棒地重建出较高质量图像，通过使用样本面部图像集合获取样本一致性特征，并利用样本一致性特征参与图像重建，使得可以重建出无畸变的纹理几何效果，重建质量更逼真。
为了使得可以获得更准确的样本一致性特征，设置选取的样本面部图像集合中包含至少两张样本面部图像，且各个样本面部图像为具备相同面部结构的面部图像。相同面部结构可以指面部形状、五官形状相似或相同。以样本面部图像为样本人脸图像为例，则各个样本面部图像为具备相同脸型的面部图像，使得可以从样本面部图像集合中获取相同脸型下的一致性面部信息。
可选的，样本面部图像集合也可以是同一对象的样本面部图像，比如，同一个人的样本面部图像，或者同一类动物的样本面部图像。从而可以获取到更准确的样本一致性特征。
可选的，样本面部图像集合中的各个样本面部图像可以是不同视角下的样本面部图像；以样本面部图像为样本人脸图像为例，样本面部图像集合中可以包含同一个人的左脸图像、正脸图像、右脸图像等；或者，样本面部图像集合中的各个样本面部图像是不同场景下的样本面部图像，以样本面部图像为样本人脸图像为例，样本面部图像集合中可以包含同一个人的妆前面部图像、妆后面部图像、存在遮挡的面部图像以及大光照下的面部图像等。
可选的，同一样本面部图像集合也可以称为同一ID的样本面部图像集合。
在面部图像重建模型中，为了获得可靠准确的一致性面部信息，设置有一致性特征提取网络-第一编码网络，通过第一编码网络对样本面部图像集合进行特征提取，以过滤样本面部图像集合中各个样本面部图像之间差异化较大的面部信息，并保留各个样本面部图像之间差异化较小，且一致性较高的面部信息，比如，面部轮廓、五官形状等，从而提取到样本面部图像集合的样本一致性特征，该样本一致性特征用于表征样本面部图像集合中在各个样本面部图像之间具备一致性的面部信息，也即各个样本面部图像之间相似度较高的面部信息。
步骤202，通过第二编码网络对样本面部图像集合进行特征提取，得到样本面部图像集合中各个样本面部图像的样本形变特征，样本形变特征用于表征样本面部图像之间的差异面部信息。
在重建面部图像时，不仅需要面部轮廓、五官形状等一致性较高的面部信息，还需要重建面部的表情、颜色等差异化信息，而在样本一致性特征提取过程中会导致这些差异化信息的丢失。则为了可以获取到这些差异化面部信息，在一种可能的实施方式中，计算机设备中设置有第二编码网络，通过该第二编码网络对样本面部图像集合进行特征提取，以得到样本面部图像集合中各个样本面部图像的样本形变特征，该样本形变特征用于表征各个样本面部图像之间的差异面部信息。
可选的，样本形变特征的数量与样本面部图像集合中所包含样本面部图像的数量相同，也即样本形变特征为每个样本面部图像的差异化面部信息。
步骤203，对样本一致性特征和样本形变特征进行相加处理，得到各个样本面部图像的第一样本面部特征。
在进行图像重建时，既需要面部结构等一致性面部信息，也需要表情等差异化面部信息。则在获取到样本面部图像集合的样本一致性特征，以及各个样本面部图像的样本形变特征后，即可以对样本一致性特征和样本形变特征进行相加处理，以得到各个样本面部图像重构后的第一样本面部特征，进而基于该第一样本面部特征进行图像重建。
步骤204，基于样本相机姿态参数和各个第一样本面部特征进行图像重构，生成样本重构图像集合，样本重构图像集合中包含各个样本面部图像的样本重构图像，且样本重构图像中的面部视角与样本相机姿态参数有关。
由于在图像重建过程中面部视角也会影响重建图像的真实性，则为了进一步提高图像重建质量，计算机设备还获取到各个样本面部图像所对应的样本相机姿态参数，以便基于样本相机姿态参数和各个第一样本面部特征进行图像重构，以重构出包含至少两张样本重构图像的样本重构图像集合。
可选的，样本重构图像集合中的样本重构图像的数量与样本面部图像集合中的样本面部图像的数量相同。
可选的，由于在图像重建过程中引入了样本面部图像的样本相机姿态参数，使得重构出的样本重构图像中的面部视角与该样本相机姿态参数有关，也即使得样本重构图像中的面部视角与样本面部图像的面部视角相同。
步骤205，基于样本重构图像集合和样本面部图像集合，训练第一编码网络和第二编码网络。
为了使得第一编码网络可以准确提取出样本重构图像集合中的样本一致性特征，且第二编码网络也可以准确提取出样本面部图像的样本形变特征，需要对第一编码网络和第二编码网络进行训练，以使得其学习更有利于面部重建质量的特征。对应计算机设备基于样本重构图像集合和样本面部图像集合之间的面部图像差异，作为损失函数以训练第一编码网络和第二编码网络。
如图3所示，其示出了本申请一个示例性实施例示出的图像重建模型的训练过程示意图。将样本面部图像集合301分别输入第一编码网络302和第二编码网络303，由第一编码网络302从样本面部图像集合301中提取样本一致性特征304，并由第二编码网络303从样本面部图像集合301中提取各个样本面部图像的样本形变特征305；使得可以将样本一致性特征304和样本形变特征305相加得到用于图像重建的第一样本面部特征306；进而基于第一样本面部特征306和样本相机姿态参数307进行图像重建，得到样本重建图像集合308，并基于样本重建图像集合308和样本面部图像集合301之间的损失，训练第一编码网络302和第二编码网络303。
综上所述，本申请实施例提供了一种面部图像重建方式，通过提取样本面部图像集合中各个样本面部图像的一致性面部信息(样本一致性特征)，与提取到的样本面部图像的差异化面部信息(样本形变特征)相加，得到用于面部图像重建的第一样本面部特征，进行面部图像重建。由于预先提取了具备相同面部结构的多张样本面部图像的样本一致性特征，用于参与面部图像重建，可以使得重建出的面部图像不会受到原本单张样本面部图像失真或遮挡等质量较差情况的影响，可以提高面部几何纹理的重建准确性，同时提高在较难场景下的面部重建鲁棒性；此外，在样本重建过程中还引入了样本相机姿态参数，使得可以重构出该样本相机姿态参数下所对应面部朝向的样本重构图像，从而可以重建出多视角的面部图像。
在提取样本一致性特征的过程中，需要过滤差异化较大的面部信息，以及保留差异化较小的面部信息。则为了实现该特征提取效果，通过提取每张样本面部图像的不确定性因子(相当于样本权重因子)，以便使用该不确定性因子对第一样本图像特征进行聚类筛选。
请参考图4，其示出了本申请另一个示例性实施例提供的面部图像生成方法的流程图。本实施例以该方法的执行主体是计算机设备为例进行示例性说明，该方法包括：
步骤401，通过第一子编码网络对样本面部图像集合进行特征提取，得到各个样本面部图像的第一样本图像特征，第一样本图像特征用于表征各个样本面部图像的面部表观信息。
可选的，第一编码网络由第一子编码网络和第二子编码网络构成，第一子编码网络用于提取各个样本面部图像的第一样本图像特征(即面部风格特征)，第二子编码网络用于提取每张样本面部图像的不确定性因子(即样本权重因子)。
在一种可能的实施方式中，将样本面部图像集合输入第一子编码网络中，由第一子编码网络对每张样本面部图像进行风格编码，以得到每张样本面部图像的第一样本图像特征，该第一样本图像特征用于表征各个样本面部图像的面部表观信息。
可选的，第一子编码网络可以采用GAN inversion方法获得每张样本面部图像的风格编码，即第一样本图像特征。
步骤402，通过第二子编码网络对样本面部图像集合进行特征提取，得到各个样本面部图像的样本权重因子，样本权重因子与面部表观信息在样本面部图像集合中的一致性呈负相关关系。
可选的，计算机设备同时将样本面部图像集合输入第二子编码网络中，由第二子编码网络提取每张样本面部图像的不确定性因子，也即样本权重因子，该样本权重因子表示面部表观信息的不确定性高低，若样本权重因子越高，也即面部表观信息的不确定性越高，则该面部表观信息在样本面部图像集合中的一致性越低，在后续生成样本一致性特征的过程中会过滤掉该面部表观信息；反之，若样本权重因子越低，也即面部表观信息的不确定性越低，则该面部表观信息在样本面部图像集合中的一致性越高，在后续生成样本一致性特征的过程中可以保留该面部表观信息。也就是说，样本权重因子与面部表观信息在样本面部图像集合中的一致性呈负相关关系。
步骤403，基于第一样本图像特征和样本权重因子，确定样本面部图像集合的样本一致性特征。
可选的，计算机设备基于样本权重因子，对各张样本面部图像的第一样本图像特征进行聚合，在聚合过程中，样本面部图像中的差异化信息不确定性较强，会被自适应地过滤，而一致性信息比如脸型、五官形状等，由于不确定性较低，则会被较好的保留，使得聚合后得到的样本一致性特征可以较好地表示样本面部图像集合中的面部一致性信息。
在一个示例性的例子中，针对样本权重因子对第一样本图像特征进行聚合的过程可以包括步骤403A～步骤403C(也即步骤403可以包括步骤403A～步骤403C)。
步骤403A，基于各个样本面部图像的样本权重因子，确定出样本权重均值。
步骤403B，确定样本权重均值和各个样本权重因子之间的样本权重比值，样本权重比值与样本权重因子呈负相关关系。
步骤403C，基于各个样本面部图像的样本权重比值与各个第一样本图像特征之间的乘积之和，确定样本面部图像集合的样本一致性特征。
在一个示例性的例子中，基于第一样本图像特征和样本权重因子，确定样本一致性特征的过程可以如公式(1)和公式(2)所示。
其中，表示样本一致性特征，N表示样本面部图像集合中样本面部图像的数量，si表示样本面部图像集合中的第i个样本面部图像的第一样本图像特征，ωi表示第i张样本面部图像的样本权重因子。
由公式(1)和公式(2)可知，在基于样本权重因子对第一样本图像特征进行聚合处理的过程中，首先将各张样本面部图像的样本权重因子带入公式(1)，以求得样本权重均值ω，进而将样本权重均值、样本权重因子和第一样本图像特征带入公式(2)，以得到聚合后的样本一致性特征。其中，在公式(2)的计算过程中，首先根据样本权重均值和样本权重因子之间的样本权重比值进而根据样本权重比值与各个第一样本图像特征之间的乘积之和，确定为样本面部图像集合的样本一致性特征。而且，由公式(2)可知，样本权重因子越大，则样本权重比值越小，样本权重因子越小，则样本权重比值越大(即样本权重比值与样本权重因子呈负相关关系)，从而使得不确定性越高的面部表观信息被过滤掉，而不确定性较低的面部表观信息被保留，从而更好的提取出样本面部图像集合的样本一致性特征。
步骤404通过第三子编码网络对样本面部图像集合进行特征提取，得到样本面部图像集合的第二样本图像特征，第二样本图像特征用于表征样本面部图像集合的全局面部信息。
可选的，第二编码网络由第三子编码网络和第四子编码网络构成，第三子编码网络用于提取全局面部特征，也即第二样本图像特征，而第四子编码网络用于整合第二样本图像特征和样本表情特征，以生成每张样本面部图像的样本形变特征。
在一种可能的实施方式中，计算机设备将样本面部图像集合输入第三子编码网络进行特征提取，可以得到样本面部图像集合的第二样本图像特征，第二样本图像特征的特征数量由第三子编码网络的卷积层数量决定，为样本面部图像不同深度的全局面部特征。
步骤405，将第二样本图像特征和各个样本面部图像的第一样本表情特征，输入第四子编码网络，得到第四子编码网络输出的样本形变特征。
由于每张样本面部图像可能存在表情差异，而表情差异在样本一致性特征的提取过程中会丢失，因此，还需要对每张样本面部图像的表情进行建模。可选的，计算机设备中还部署有3D脸部重建网络，将样本面部图像集合输入3D脸部重建网络中，可以得到每张样本面部图像的第一样本表情特征。
可选的，当计算机设备获取到全局面部特征(第二样本图像特征)以及表情参数(第一样本表情特征)后，即可以将第二样本图像特征和第一样本表情特征输入第四子编码网络(形变网络)，通过多层全连接层处理，输出每张样本面部图像对应的样本形变特征。
可选的，第四子编码网络可以由多层全连接层构成。
步骤406，对样本一致性特征和样本形变特征进行相加处理，得到各个样本面部图像的第一样本面部特征。
步骤407，基于样本相机姿态参数和各个第一样本面部特征进行图像重构，生成样本重构图像集合。
步骤406和步骤407的实施方式可以参考上文实施例，本实施例在此不做赘述。
步骤408，基于样本重构图像集合和样本面部图像集合，训练第一编码网络和第二编码网络。
在一个示例性的例子中，步骤408可以包括步骤408A～步骤408C。
步骤408A，基于样本重构图像集合和样本面部图像集合之间的图像差异，确定第一图像重构损失。
在训练图像重建模型时，首先需要引入图像重构损失。对应在一种可能的实施方式中，计算机设备可以基于样本重构图像集合和样本面部图像集合之间的图像差异，确定第一图像重构损失，以便基于该第一图像重构损失，训练第一编码网络和第二编码网络。
在一个示例性的例子中，第一图像重构损失的计算方式如公式(3)所示。
其中，表示第一图像重构损失，/>表示样本重构图像和样本面部图像之间的图像感知损失，/>表示样本重构图像和样本面部图像之间的均方误差，/>表示样本面部图像，/>表示样本面部图像的样本重构图像。
步骤408B，确定样本形变特征的形变正则项。
由于在生成用于重构的样本脸部特征时，引入了样本形变特征，则为了使得样本形变特征不至于产生过度形变，从而影响后续图像重建质量，在一种可能的实施方式中，通过在损失函数中引入样本形变特征的形变正则项，以约束样本形变特征不会产生过度变化。示意性的，形变正则项可以表示为
步骤408C，基于第一图像重构损失和形变正则项，训练第一编码网络和第二编码网络。
在一个示例性的例子中，模型的总损失函数可以如公式(4)所示。
其中，N表示样本面部图像集合中样本面部图像的数量，表示第i个样本面部图像和第i个样本重构图像之间的图像重构损失，/>表示第i个样本形变特征的形变正则项，λd表示形变正则项的权重，/>表示模型的总损失。
可选的，当计算机设备获取到样本面部图像集合与样本重构图像集合之间的第一图像重构损失，以及样本形变特征的形变正则项后，即可以基于第一图像重构损失和形变正则项，训练第一编码网络和第二编码网络。
如图5所示，其示出了本申请另一个示例性实施例示出的图像重建模型的训练过程示意图。将样本面部图像集合501分别输入第一子编码网络502、第二子编码网络503和第三子编码网络506。由第一子编码网络502从样本面部图像集合501中提取第一样本图像特征505，第二子编码网络503从样本面部图像集合501中提取样本权重因子504，并基于样本权重因子504对第一样本图像特征505进行特征聚合，以得到样本一致性特征510；由第三子编码网络506从样本面部图像集合501中提取各个样本面部图像的第二样本图像特征507，由第四子编码网络509对第二样本图像特征507和第一样本表情特征508进行全连接操作，以得到样本形变特征511；使得可以将样本一致性特征519和样本形变特征511相加得到用于图像重建的第一样本面部特征512；进而基于第一样本面部特征512和样本相机姿态参数513进行图像重建，得到样本重建图像集合514，并基于样本重建图像集合514和样本面部图像集合501之间的损失，训练第一编码网络和第二编码网络。
本实施例中，通过提取样本面部图像的样本权重因子，以便对样本面部图像的风格编码(第一样本图像特征)进行聚合处理，以过滤差异化较大的面部信息，保留差异化较小的面部信息，得到样本一致性特征。此外，在训练模型时除了引入图像重构损失之外，还引入了形变正则项，可以用于约束样本形变特征不至于产生过度变化，以得到更准确的第一样本面部特征用于图像重建，进而提高图像重建质量。
在面部图像重建过程中，比如，重建人脸图像为例，还需要判断重建的面部图像是否具备正确的表情，则还需要对模型施加表情重建损失这一约束项，以进一步提高模型重建的面部图像的真实性。
请参考图6，其示出了本申请另一个示例性实施例提供的面部图像生成方法的流程图。本实施例以该方法的执行主体是计算机设备为例进行示例性说明，该方法包括：
步骤601，通过第一编码网络对样本面部图像集合进行特征提取，得到样本面部图像集合的样本一致性特征。
步骤602，通过第二编码网络对样本面部图像集合进行特征提取，得到样本面部图像集合中各个样本面部图像的样本形变特征。
步骤603，对样本一致性特征和样本形变特征进行相加处理，得到各个样本面部图像的第一样本面部特征。
步骤601～步骤603的实施方式可以参考上文实施例，本实施例在此不做赘述。
步骤604，从样本面部图像集合中提取出各个样本面部图像的样本相机姿态参数。
可选的，相机姿态不同的情况下，面部视角也存在差异，则为了使得重建出的样本重构图像与样本面部图像的面部视角相同，从而使得样本重构图像与样本面部图像更相似，更逼真，在一种可能的实施方式中，计算机设备从样本面部图像集合中提取出各个样本面部图像的样本相机姿态参数，以便基于该样本相机姿态参数进行面部图像重建。
可选的，样本相机姿态参数可以有3D面部重建网络提取得到，也即将样本面部图像集合输入3D面部重建网络后，可以同时输出各个样本面部图像的样本相机姿态参数，以及各个样本面部图像的第一样本表情特征。
步骤605，将样本相机姿态参数和第一样本面部特征输入图像重构网络，得到图像重构网络输出的样本重构图像集合。
可选的，将各个样本面部图像的样本相机姿态参数，以及各个样本面部图像的第一样本面部特征输入图像重构网络，由图像重构网络进行图像重构，以得到图像重构网络输出的样本重构图像集合。
可选的，图像重构网络可以包括EG3D生成网络、体渲染和神经网络超分等结构。EG3D生成网络可以根据输入的第一样本面部特征生成特征三平面，基于此特征三平面，三维空间当中任意一点的特征均可表示为其在各个特征平面上投影和插值得到的特征的加和。在给定样本相机姿态参数，原点，远近平面的情况下，一个像素点可确定一条投射光线。在投射光线上采样若干三维点，计算其根据特征三平面获得的特征，并将这些特征输入三平面解码网络预测得到这些三维点的颜色和密度。则一条投射光线最终代表的像素颜色可通过体渲染方程对这些三维点的颜色进行积分得到。遍历一张图像所有像素点，重复上述过程即可渲染一张生成图像。
步骤606，对样本重构图像集合进行表情特征提取，得到样本重构图像集合中各个样本重构图像的第二样本表情特征。
步骤607，基于第二样本表情特征和各个样本面部图像的第一样本表情特征，确定表情一致性损失。
在训练模型过程中，除了引入图像重构损失之外，为了使得生成的样本重构图像具备正确的表情，还需要额外在损失中引入表情一致性损失。而为了获取表情一致性损失，就需要从样本重构图像中获取到重建图像的重建表情。对应在一种可能的实施方式中，通过对样本重构图像集合进行表情特征提取，以得到样本重构图像集合中各个样本重构图像的第二样本表情特征，进而比较重构的第二样本表情特征与原始样本面部图像的第一样本表情特征之间的差异，确定表情一致性损失。
在一个示例性的例子中，表情一致性损失的计算过程可以如公式(5)所示。
其中，表示样本重构图像和样本面部图像之间的表情一致性损失，表示第i个样本重构图像的第二样本表情特征，βi表示第i个样本面部图像的第一样本表情特征，第i个样本重构图像是第i个样本面部图像的重构图像。
需要说明的是，可以使用3D脸部重建网络对样本重构图像集合进行表情特征提取。也即第一样本表情特征和第二样本表情特征均可以使用同一网络进行表情特征的提取。
步骤608，基于样本重构图像集合和样本面部图像集合之间的图像差异，确定第一图像重构损失。
步骤609，确定样本形变特征的形变正则项。
步骤608和步骤609的实施方式可以参考上文实施例，本实施例在此不做赘述。
步骤610，基于第一图像重构损失、表情一致性损失和形变正则项，训练第一编码网络和第二编码网络。
在一个示例性的例子中，模型的总损失可以如公式(6)所示。
/>
其中，表示模型总损失，/>表示第i个样本重构图像和第i个样本面部图像之间的第一图像重构损失，/>表示第i个样本重构图像和第i个样本面部图像之间的表情一致性损失，λc表示表情一致性损失的损失权重，/>表示第i个样本形变特征的形变正则项，/>表示形变正则项的损失权重。
可选的，当计算机设备获取到第一图像重构损失、表情一致性损失和形变正则项后，即可以基于第一图像重构损失、表情一致性损失和形变正则项之和，共同训练第一编码网络和第二编码网络。
如图7所示，其示出了本申请另一个示例性实施例示出的图像重建模型的训练过程示意图。以样本面部图像为人脸图像为例，将人脸图像集合分别输入不确定性编码网络701(第二子编码网络)、风格编码网络702(第一子编码网络)、全局人脸编码网络703(第三子编码网络)以及3D人脸重建网络704中，得到由不确定性编码网络701提取到的不确定性因子(样本权重因子)、由风格编码网络702提取到的风格编码(第一样本图像特征)、由全局人脸编码网络703提取到的全局人脸特征(第二样本图像特征)，以及由3D人脸重建网络704提取到的表情参数(第一样本表情特征)和相机姿态参数(样本相机姿态参数)。其次，基于不确定性因子对风格编码进行聚合，得到样本一致性编码(样本一致性特征)，由形变网络705基于全局人脸特征和表情参数确定出形变编码(样本形变特征)，并对形变编码和样本一致性编码相加以得到原型编码(第一样本面部特征)；进一步的，将原型编码输入EG3D生成网络706，得到特征三平面，进而通过体渲染和神经网络超分，以生成重构图像集合(样本重构图像集合)。
本实施例中，通过在损失中引入表情一致性损失，用于判断重建面部图像是否具备正确的表情，从而提高模型重建图像的真实性；此外，通过从样本面部图像集合中提取各个样本面部图像的样本相机姿态参数，以便在图像重建过程中可以基于该样本相机姿态参数进行面部视角渲染，从而使得生成的样本重构图像与样本面部图像具备相同面部视角，以进一步提高生成的样本重构图像的真实性。
上文实施例中主要描述了第一编码网络和第二编码网络的训练过程，在第一编码网络和第二编码网络训练阶段，不会更新图像重构网络的网络参数，也即不对图像重构网络进行训练；而是在第一编码网络和第二编码网络训练完成后，对图像重构网络进行优化适配，以使得图像重构网络可以更好重建样本面部图像的纹理和几何。
请参考图8，其示出了本申请另一个示例性实施例提供的面部图像生成方法的流程图。本实施例以该方法的执行主体是计算机设备为例进行示例性说明，该方法包括：
步骤801，获取样本图像集合的第二样本面部特征，第二样本面部特征是通过训练完成的第一编码网络和第二编码网络获取得到。
需要说明的是，步骤801～步骤808在第一编码网络和第二编码网络训练完成后执行。也即本实施例中的模型训练包括两大阶段，第一阶段为：固定图像重构网络的网络参数，训练第一编码网络和第二编码网络，第二阶段为：在第一编码网络和第二编码网络训练完成后，固定第一编码网络和第二编码网络的网络参数，优化适配图像重构网络。可选的，在第一阶段中使用的图像重构网络是预训练好的网络。
当第一编码网络和第二编码网络训练完成后，将样本图像集合输入训练完成的第一编码网络和第二编码网络，以得到样本图像集合的第二样本面部特征，进而由图像重构网络基于该第二样本面部特征进行图像重构。
步骤802，将第二样本面部特征和样本相机姿态参数输入图像重构网络，得到图像重构网络输出的样本优化图像集合。
可选的，计算机设备将第二样本面部特征和样本相机姿态参数输入图像重构网络，可以得到图像重构网络输出的样本优化图像集合。该样本优化图像集合中包含样本面部图像的第一优化重构图像。
需要说明的是，样本优化图像集合的生成过程与样本重构图像集合的生成过程类似，本实施例在此不做赘述。
步骤803，基于样本优化图像集合和样本面部图像集合之间的图像差异，确定第二图像重构损失。
步骤804，基于第二图像重构损失，训练图像重构网络。
为了使得图像重构网络可以基于第二样本面部特征重构出较为真实的面部图像，计算机设备可以基于样本优化图像集合和样本面部图像集合之间的图像差异，确定出第二图像重构损失，进而基于第二图像重构损失训练图像重构网络。
可选的，第二图像重构损失的计算方式与第一图像重构损失的计算方式相同。
步骤805，从第二样本面部特征中确定出第三样本面部特征。
在对图像重构网络进行优化适配的过程中，也包含两个子阶段，第一子阶段是在训练初期使用多图(样本图像集合)对图像重构网络进行权重更新，使得在训练初始可以使得网络初始化到合理的解，不至于因单张图像的歧义性产生集合上的畸变；而在第二子阶段，就需要使用单张样本面部图像对图像重构网络进行优化适配，以使得图像重构网络可以重建每一张样本面部图像的几何纹理。
可选的，为了进行单张图像的优化适配，首先需要从第二样本面部特征中选中单张样本面部图像的第二样本面部特征，以得到第三样本面部特征，进而基于第三样本面部特征进行图像重构。
步骤806，将第三样本面部特征和样本相机姿态参数输入图像重构网络，得到图像重构网络输出的第二优化重构图像。
可选的，计算机设备将第三样本面部特征和样本相机姿态参数输入图像重构网络，得到图像重构网络输出的第二优化重构图像。
步骤807，基于第二优化重构图像和样本面部图像，确定第三图像重构损失。
步骤808，基于第三图像重构损失，训练图像重构网络。
为了使得图像重构网络可以只拟合图像集合中的单张样本图像，则计算机设备可以基于第二优化重构图像和样本面部图像，确定第三图像重构损失，并基于第三图像重构损失，训练图像重构网络，使得图像重构网络可以更好的重建单张样本面部图像的纹理几何。该单张样本面部图像是与第三样本面部特征对应的样本面部图像。
如图9所示，其示出了本申请一个示例性实施例示出的图像重构网络的训练过程示意图。在第一优化阶段中，将样本面部图像集合901输入训练完成的第一编码网络902和第二编码网络903中，得到第二样本面部特征904，使得图像重构网络905基于第二样本面部特征904进行图像重构，得到样本优化图像集合906(该样本优化图像集合906中包含样本面部图像集合中各个样本面部图像的重构图像)；进而基于样本面部图像集合901和样本优化图像集合906之间的第二图像重构损失907，训练图像重构网络905。在第二优化阶段中：从样本面部图像集合901中选出目标面部图像908，并经过训练完成的第一编码网络902和第二编码网络903得到第三样本面部特征909，使得图像重构网络905可以基于第三样本面部特征909进行图像重建，得到目标面部图像908的目标重构图像910，进而基于目标面部图像908和目标重构图像910之间的第三图像重构损失911训练图像重构网络905。
本实施例中，在第一编码网络和第二编码网络训练完成后，基于样本面部图像集合对图像重构网络进行优化适配(训练)，以使得图像重构网络可以生成更逼真的重构图像；此外，在对图像重构网络进行优化适配过程中，先使用样本面部图像集合进行多图训练，以拟合样本面部图像集合中的每一张样本面部图像，使得图像重构网络可以初始化到合理的解，避免因单张图像的歧义性产生几何上的畸变；再使用单张样本面部图像进行优化适配，以使得图像重构网络仅拟合单张样本面部图像，以更好的重建单张样本面部图像的纹理和几何。
上文实施例中主要描述了图像重建模型(第一编码网络+第二编码网络+图像重构网络)的模型训练过程，在模型训练完成后，即可以部署在计算机设备中执行图像重建任务，下文实施例主要对模型应用过程进行示例性说明。
请参考图10，其示出了本申请另一个示例性实施例提供的面部图像生成方法的流程图。本实施例以该方法的执行主体是计算机设备为例进行示例性说明，该方法包括：
步骤1001，对面部图像集合进行特征提取，得到面部图像集合的面部一致性特征，面部一致性特征用于表征在各个面部图像中具备一致性的面部信息。
其中，面部图像集合中包含至少两张面部图像，且各个面部图像为具备相同面部结构的面部图像。
在模型应用过程中，计算机设备可以将面部图像集合输入训练完成的第一编码网络，由第一编码网络提取面部图像集合中的一致性面部信息，以得到面部图像集合的面部一致性特征。
步骤1002，对面部图像集合进行特征提取，得到面部图像集合中各个面部图像的面部形变特征，面部形变特征用于表征面部图像之间的差异面部信息。
可选的，计算机设备同时将面部图像集合输入训练完成的第二编码网络，由第二编码网络提取面部图像集合中各个面部图像之间的差异面部信息，以得到各个面部图像的面部形变特征。
步骤1003，对面部一致性特征和面部形变特征进行相加处理，得到各个面部图像的面部重构特征。
可选的，计算机设备将面部一致性特征和面部形变特征相加后，即可以得到各个面部图像的面部重构特征，以便基于面部重构特征进行面部图像重建。
步骤1004，基于相机姿态参数和各个面部重构特征进行图像重构，生成重构图像集合，重构图像集合中包含各个面部图像的重构图像，重构图像的面部视角与相机姿态参数有关。
其中，与模型训练过程不同的是，在模型应用过程中，相机姿态参数可以基于应用场景的不同选择不同的来源，若需要生成与面部图像集合中各个面部图像相同视角的重构图像，则可以从面部图像集合中提取相机姿态参数；若需要生成其他面部视角的重构图像，则用户可以基于需要手动输入相机姿态参数，对应计算机设备获取到相机姿态参数，以重构该相机姿态参数对应面部视角下的重构图像。
可选的，计算机设备基于相机姿态参数和各个面部重构特征进行图像重构，可以生成重构图像集合，该重构图像集合中包含各个面部图像的重构图像，且重构图像的面部视角与相机姿态参数有关，也即重构图像的面部视角可以与面部图像相同，也可以与面部图像不同。
本实施例中，通过提取面部图像集合中各个面部图像的一致性面部信息(面部一致性特征)，与提取到的面部图像的差异化面部信息(面部形变特征)相加，得到用于面部图像重建的面部重构特征，进行面部图像重建。由于预先提取了具备相同面部结构的多张面部图像的面部一致性特征，用于参与面部图像重建，可以使得重建出的面部图像不会受到原本单张样本面部图像失真或遮挡等质量较差情况的影响，可以提高面部几何纹理的重建准确性，同时提高在较难场景下的面部重建鲁棒性；此外，在样本重建过程中还引入了相机姿态参数，使得可以重构出该相机姿态参数下所对应面部朝向的重构图像，从而可以重建出多视角的面部图像。
与模型训练过程类似，在模型应用过程中，分别通过第一子编码网络和第二子编码网络获取面部一致性特征，以及通过第三子编码网络和第四子编码网络获取面部形变特征。
请参考图11，其示出了本申请另一个示例性实施例提供的面部图像生成方法的流程图。本实施例以该方法的执行主体是计算机设备为例进行示例性说明，该方法包括：
步骤1101，通过第一子编码网络对面部图像集合进行特征提取，得到各个面部图像的第一图像特征，第一图像特征用于表征各个面部图像的面部表观信息。
步骤1102，通过第二子编码网络对面部图像集合进行特征提取，得到各个面部图像的特征权重因子，特征权重因子与面部表观信息在面部图像集合中的一致性呈负相关关系。
步骤1103，基于第一图像特征和特征权重因子，确定面部图像集合的面部一致性特征。
在一个示例性的例子中，步骤1103可以包括步骤1103A～步骤1103C。
步骤1103A，基于各个面部图像的特征权重因子，确定出特征权重均值。
步骤1103B，确定特征权重均值和各个特征权重因子之间的特征权重比值，特征权重比值与特征权重因子呈负相关关系。
步骤1103C，将各个面部图像的特征权重比值与各个第一图像特征之间的乘积之和，确定为面部图像集合的面部一致性特征。
其中，面部一致性特征的获取过程可以参考上文实施例中样本一致性特征的获取过程，本实施例在此不做赘述。
步骤1104，通过第三子编码网络对面部图像集合进行特征提取，得到面部图像集合中各个面部图像的第二图像特征，第二图像特征用于表征各个面部图像的全局面部特征。
步骤1105，将第二图像特征和各个面部图像的表情特征，输入第四子编码网络，得到第四子编码网络输出的面部形变特征。
其中，面部形变特征的获取过程也可以参考上文实施例中样本形变特征的获取过程，本实施例在此不做赘述。
步骤1106，对面部一致性特征和面部形变特征进行相加处理，得到各个面部图像的面部重构特征。
步骤1106的实施方式可以参考上文实施例，本实施例在此不做赘述。
步骤1107，基于相机姿态参数和各个面部重构特征进行图像重构，生成重构图像集合。
本实施例中的图像重构模型可以在面部图像有遮挡或者不清晰的情况下，重建出无遮挡且清晰的重构图像，在该应用场景下，需要使得重构图像的面部视角与原始面部图像相同，则相机姿态参数可以从面部图像集合中提取得到。对应在一个示例性的例子中，步骤1107可以包括步骤1107A和步骤1107B。
步骤1107A，从面部图像集合中提取出各个面部图像的相机姿态参数。
步骤1107B，将相机姿态参数和面部重构特征输入图像重构网络，得到图像重构网络输出的重构图像集合，重构图像的面部视角与面部图像的面部视角相同。
在该应用场景下，使用3D面部重建网络对面部图像集合进行相机姿态参数提取，以得到各个面部图像的相机姿态参数，进而将该相机姿态参数和面部重构特征输入图像重构网络中，可以生成面部视角与面部图像的面部视角相同的重构图像集合。
可选的，本实施例中的图像重构模型还可以用于基于单视角的面部图像，生成多视角的面部图像，则为了生成与原本视角不同的重构图像，需要引入额外的相机姿态参数。对应在另一个示例性的例子中，步骤1107还可以包括步骤1107C和步骤1107D。
步骤1107C，获取输入的相机姿态参数，相机姿态参数与面部图像的相机姿态参数不同。
步骤1107D，将相机姿态参数和面部重构特征输入图像重构网络，得到图像重构网络输出的重构图像集合，重构图像的面部视角与面部图像的面部视角不同。
可选的，用户可以根据自身需求设置所需面部视角对应的相机姿态参数，对应计算机设备获取到输入的相机姿态参数，该相机姿态参数与面部图像的相机姿态参数不同。进而将该相机姿态参数和面部重构特征输入图像重构网络，可以生成该相机姿态参数对应面部视角的重构图像，且重构图像的面部视角与面部图像的面部视角不同。
本实施例中，通过设置不同相机姿态参数的来源，可以重构出不同应用场景所需要的重构图像，既可以应对较难场景下的面部图像重建，也可以在无需拍摄多视角图像数据的情况下，进行多视角面部图像的高精度重建，从而降低获取多视角面部图像的获取成本。
为了验证上文所示面部图像重构模型的重构性能，在MICC和FG3D数据集上，对本实施例所示面部图像生成方法与现有技术的多种图像生成方法进行了重建对比，具体的实验数据如表一、表二和表三所示，具体的实验效果图如下图12和图13所示。
表一
表二
MAD↓ <20°↑ <25°↑ <30°↑
SfS-Net 12.8 83.7％ 90.8％ 94.5％
LAP 12.3 84.9％ 92.4％ 96.3％
PhyDIR 12.0 85.3％ 92.7％ 96.9％
本文方法 11.8 85.9％ 93.0％ 96.9％
表三
如表一所示，本文所示方法在MICC和FG3D数据集上，取得了与一些3DMM方法可比的点对面误差，超越了现有的非3DMM方法。在表二中，我们在Photoface数据集上比较了各方法预测的人脸法向量精度。本文方法取得了当前最佳的效果。图12中展示了本文方法和其他方法重建的人脸几何定性对比。可以看到本文方法对细节重建较好，针对大姿态，极端光照，遮挡等情况较为鲁棒。
纹理方面如表三所示，将重建的3D人脸进行各个角度区间的旋转后，与原图进行ID相似度对比(cos-sim和IDE)，以及计算SSIM重建指标。可以看到我们的方法取得了当前最优的结果。在图13中我们展示了纹理重建的定性对比结果，可以看到我们方法对大姿态图像较为鲁棒，能重建无畸变的纹理效果，质量更为逼真。同时能够获得更好的表情编辑效果。
以下为本申请的装置实施例，对于装置实施例中未详细描述的细节，可参考上述方法实施例。
图14是本申请一个示例性实施例提供的面部图像生成装置的结构框图。该装置包括：
第一特征提取模块1401，用于通过第一编码网络对样本面部图像集合进行特征提取，得到所述样本面部图像集合的样本一致性特征，所述样本面部图像集合中包含至少两张样本面部图像，且各个所述样本面部图像为具备相同面部结构的面部图像，所述样本一致性特征用于表征在所述样本面部图像集合中具备一致性的面部信息；
第二特征提取模块1402，用于通过第二编码网络对所述样本面部图像集合进行特征提取，得到所述样本面部图像集合中各个所述样本面部图像的样本形变特征，所述样本形变特征用于表征所述样本面部图像之间的差异面部信息；
特征处理模块1403，用于对所述样本一致性特征和所述样本形变特征进行相加处理，得到各个所述样本面部图像的第一样本面部特征；
图像生成模块1404，用于基于样本相机姿态参数和各个所述第一样本面部特征进行图像重构，生成样本重构图像集合，所述样本重构图像集合中包含各个所述样本面部图像的样本重构图像，且所述样本重构图像中的面部视角与所述样本相机姿态参数有关；
训练模块1405，用于基于所述样本重构图像集合和所述样本面部图像集合，训练所述第一编码网络和所述第二编码网络。
可选的，所述第一编码网络包括第一子编码网络和第二子编码网络；
所述第一特征提取模块1401，还用于：
通过所述第一子编码网络对所述样本面部图像集合进行特征提取，得到各个所述样本面部图像的第一样本图像特征，所述第一样本图像特征用于表征各个所述样本面部图像的面部表观信息；
通过所述第二子编码网络对所述样本面部图像集合进行特征提取，得到各个所述样本面部图像的样本权重因子，所述样本权重因子与所述面部表观信息在所述样本面部图像集合中的一致性呈负相关关系；
基于所述第一样本图像特征和所述样本权重因子，确定所述样本面部图像集合的所述样本一致性特征。
可选的，所述第一特征提取模块1401，还用于：
基于各个所述样本面部图像的所述样本权重因子，确定出样本权重均值；
确定所述样本权重均值和各个所述样本权重因子之间的样本权重比值，所述样本权重比值与所述样本权重因子呈负相关关系；
基于各个所述样本面部图像的所述样本权重比值与各个所述第一样本图像特征之间的乘积之和，确定所述样本面部图像集合的所述样本一致性特征。
可选的，所述第二编码网络包括第三子编码网络和第四子编码网络；
所述第二特征提取模块1402，还用于：
通过所述第三子编码网络对所述样本面部图像集合进行特征提取，得到所述样本面部图像集合的第二样本图像特征，所述第二样本图像特征用于表征所述样本面部图像集合的全局面部信息；
将所述第二样本图像特征和各个所述样本面部图像的第一样本表情特征，输入所述第四子编码网络，得到所述第四子编码网络输出的所述样本形变特征。
可选的，所述训练模块1405，用于：
基于所述样本重构图像集合和所述样本面部图像集合之间的图像差异，确定第一图像重构损失；
确定所述样本形变特征的形变正则项；
基于所述第一图像重构损失和所述形变正则项，训练所述第一编码网络和所述第二编码网络。
可选的，所述装置还包括：
第三特征提取模块，用于对所述样本重构图像集合进行表情特征提取，得到所述样本重构图像集合中各个所述样本重构图像的第二样本表情特征；
确定模块，用于基于所述第二样本表情特征和各个所述样本面部图像的第一样本表情特征，确定表情一致性损失；
所述训练模块1405，还用于：
基于所述第一图像重构损失、所述表情一致性损失和所述形变正则项，训练所述第一编码网络和所述第二编码网络。
可选的，所述图像生成模块1404，还用于：
从所述样本面部图像集合中提取出各个所述样本面部图像的所述样本相机姿态参数；
将所述样本相机姿态参数和所述第一样本面部特征输入图像重构网络，得到所述图像重构网络输出的所述样本重构图像集合。
可选的，所述装置还包括：
获取模块，用于获取所述样本图像集合的第二样本面部特征，所述第二样本面部特征是通过训练完成的第一编码网络和第二编码网络获取得到；
图像生成模块，用于将所述第二样本面部特征和所述样本相机姿态参数输入图像重构网络，得到所述图像重构网络输出的样本优化图像集合，所述样本优化图像集合中包含所述样本面部图像的第一优化重构图像；
确定模块，用于基于所述样本优化图像集合和所述样本面部图像集合之间的图像差异，确定第二图像重构损失；
训练模块，用于基于所述第二图像重构损失，训练所述图像重构网络。
可选的，所述装置还包括：
所述确定模块，还用于从所述第二样本面部特征中确定出第三样本面部特征；
所述图像生成模块，还用于将所述第三样本面部特征和所述样本相机姿态参数输入所述图像重构网络，得到所述图像重构网络输出的第二优化重构图像，所述样本相机姿态参数是所述第三样本面部特征对应样本面部图像的相机姿态参数；
所述确定模块，还用于基于所述第二优化重构图像和所述样本面部图像，确定第三图像重构损失；
所述训练模块，还用于基于所述第三图像重构损失，训练所述图像重构网络。
综上所述，本申请实施例提供了一种面部图像重建方式，通过提取样本面部图像集合中各个样本面部图像的一致性面部信息(样本一致性特征)，与提取到的样本面部图像的差异化面部信息(样本形变特征)相加，得到用于面部图像重建的第一样本面部特征，进行面部图像重建。由于预先提取了具备相同面部结构的多张样本面部图像的样本一致性特征，用于参与面部图像重建，可以使得重建出的面部图像不会受到原本单张样本面部图像失真或遮挡等质量较差情况的影响，可以提高面部几何纹理的重建准确性，同时提高在较难场景下的面部重建鲁棒性；此外，在样本重建过程中还引入了样本相机姿态参数，使得可以重构出该样本相机姿态参数下所对应面部朝向的样本重构图像，从而可以重建出多视角的面部图像。
图15是本申请另一个示例性实施例提供的面部图像生成装置的结构框图。该装置包括：
第一特征提取模块1501，用于对面部图像集合进行特征提取，得到所述面部图像集合的面部一致性特征，所述面部图像集合中包含至少两张面部图像，且各个所述面部图像为具备相同面部结构的面部图像，所述面部一致性特征用于表征在各个所述面部图像中具备一致性的面部信息；
第二特征提取模块1502，用于对所述面部图像集合进行特征提取，得到所述面部图像集合中各个所述面部图像的面部形变特征，所述面部形变特征用于表征所述面部图像之间的差异面部信息；
特征处理模块1503，用于对所述面部一致性特征和所述面部形变特征进行相加处理，得到各个所述面部图像的面部重构特征；
图像生成模块1504，用于基于相机姿态参数和各个所述面部重构特征进行图像重构，生成重构图像集合，所述重构图像集合中包含各个所述面部图像的重构图像，所述重构图像的面部视角与所述相机姿态参数有关。
可选的，所述第一特征提取模块1501，还用于：
通过第一子编码网络对所述面部图像集合进行特征提取，得到各个所述面部图像的第一图像特征，所述第一图像特征用于表征各个所述面部图像的面部表观信息；
通过第二子编码网络对所述面部图像集合进行特征提取，得到各个所述面部图像的特征权重因子，所述特征权重因子与所述面部表观信息在所述面部图像集合中的一致性呈负相关关系；
基于所述第一图像特征和所述特征权重因子，确定所述面部图像集合的所述面部一致性特征。
可选的，所述第一特征提取模块1501，还用于：
基于各个所述面部图像的所述特征权重因子，确定出特征权重均值；
确定所述特征权重均值和各个所述特征权重因子之间的特征权重比值，所述特征权重比值与所述特征权重因子呈负相关关系；
将各个所述面部图像的所述特征权重比值与各个所述第一图像特征之间的乘积之和，确定为所述面部图像集合的所述面部一致性特征。
可选的，所述第二特征提取模块1502，还用于：
通过第三子编码网络对所述面部图像集合进行特征提取，得到所述面部图像集合中各个所述面部图像的第二图像特征，所述第二图像特征用于表征各个所述面部图像的全局面部特征；
将所述第二图像特征和各个所述面部图像的表情特征，输入第四子编码网络，得到所述第四子编码网络输出的所述面部形变特征。
可选的，所述图像生成模块1503，还用于：
从所述面部图像集合中提取出各个所述面部图像的所述相机姿态参数；
将所述相机姿态参数和所述面部重构特征输入图像重构网络，得到所述图像重构网络输出的所述重构图像集合，所述重构图像的面部视角与所述面部图像的面部视角相同。
可选的，所述图像生成模块1503，还用于：
获取输入的所述相机姿态参数，所述相机姿态参数与所述面部图像的相机姿态参数不同；
将所述相机姿态参数和所述面部重构特征输入图像重构网络，得到所述图像重构网络输出的所述重构图像集合，所述重构图像的面部视角与所述面部图像的面部视角不同。
综上所述，本实施例中，通过提取面部图像集合中各个面部图像的一致性面部信息(面部一致性特征)，与提取到的面部图像的差异化面部信息(面部形变特征)相加，得到用于面部图像重建的面部重构特征，进行面部图像重建。由于预先提取了具备相同面部结构的多张面部图像的面部一致性特征，用于参与面部图像重建，可以使得重建出的面部图像不会受到原本单张样本面部图像失真或遮挡等质量较差情况的影响，可以提高面部几何纹理的重建准确性，同时提高在较难场景下的面部重建鲁棒性；此外，在样本重建过程中还引入了相机姿态参数，使得可以重构出该相机姿态参数下所对应面部朝向的重构图像，从而可以重建出多视角的面部图像。
请参考图16，其示出了本申请一个实施例提供的计算机设备的结构示意图，该计算机设备可以用于实施上述实施例中提供的计算机设备执行的面部图像生成方法。所述计算机设备1600包括中央处理单元(CPU，Central Processing Unit)1601、包括随机存取存储器(RAM，Random Access Memory)1602和只读存储器(ROM，Read-Only Memory)1603的系统存储器1604，以及连接系统存储器1604和中央处理单元1601的系统总线1605。所述计算机设备1600还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O，Input/Output)1606，和用于存储操作系统1613、应用程序1614和其他程序模块1615的大容量存储设备1607。
所述基本输入/输出系统1606包括有用于显示信息的显示器1608和用于用户输入信息的诸如鼠标、键盘之类的输入设备1609。其中所述显示器1608和输入设备1609都通过连接到系统总线1605的输入/输出控制器1610连接到中央处理单元1601。所述基本输入/输出系统1606还可以包括输入/输出控制器1610以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入/输出控制器1610还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备1607通过连接到系统总线1605的大容量存储控制器(未示出)连接到中央处理单元1601。所述大容量存储设备1607及其相关联的计算机可读介质为计算机设备1600提供非易失性存储。也就是说，所述大容量存储设备1607可以包括诸如硬盘或者CD-ROM(Compact Disc Read-Only Memory，只读光盘)驱动器之类的计算机可读介质(未示出)。
不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM(Erasable Programmable Read-Only Memory，可擦除可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read-Only Memory，带电可擦除可编程只读存储器)、闪存或其他固态存储其技术，CD-ROM、DVD(Digital Video Disc，高密度数字视频光盘)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1604和大容量存储设备1607可以统称为存储器。
根据本申请的各种实施例，所述计算机设备1600还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备1600可以通过连接在所述系统总线1605上的网络接口单元1612连接到网络1611，或者说，也可以使用网络接口单元1612来连接到其他类型的网络或远程计算机系统(未示出)。
所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上中央处理单元1601执行。
本申请还提供了一种计算机可读存储介质，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述任意示例性实施例所提供的面部图像生成方法。
本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述可选实现方式中提供的面部图像生成方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (20)

1.一种面部图像生成方法，其特征在于，所述方法包括：
通过第一编码网络对样本面部图像集合进行特征提取，得到所述样本面部图像集合的样本一致性特征，所述样本面部图像集合中包含至少两张样本面部图像，且各个所述样本面部图像为具备相同面部结构的面部图像，所述样本一致性特征用于表征在所述样本面部图像集合中具备一致性的面部信息；
通过第二编码网络对所述样本面部图像集合进行特征提取，得到所述样本面部图像集合中各个所述样本面部图像的样本形变特征，所述样本形变特征用于表征所述样本面部图像之间的差异面部信息；
对所述样本一致性特征和所述样本形变特征进行相加处理，得到各个所述样本面部图像的第一样本面部特征；
基于样本相机姿态参数和各个所述第一样本面部特征进行图像重构，生成样本重构图像集合，所述样本重构图像集合中包含各个所述样本面部图像的样本重构图像，且所述样本重构图像中的面部视角与所述样本相机姿态参数有关；
基于所述样本重构图像集合和所述样本面部图像集合，训练所述第一编码网络和所述第二编码网络。
2.根据权利要求1所述的方法，其特征在于，所述第一编码网络包括第一子编码网络和第二子编码网络；
所述通过第一编码网络对样本面部图像集合进行特征提取，得到所述样本面部图像集合的样本一致性特征，包括：
通过所述第一子编码网络对所述样本面部图像集合进行特征提取，得到各个所述样本面部图像的第一样本图像特征，所述第一样本图像特征用于表征各个所述样本面部图像的面部表观信息；
通过所述第二子编码网络对所述样本面部图像集合进行特征提取，得到各个所述样本面部图像的样本权重因子，所述样本权重因子与所述面部表观信息在所述样本面部图像集合中的一致性呈负相关关系；
基于所述第一样本图像特征和所述样本权重因子，确定所述样本面部图像集合的所述样本一致性特征。
3.根据权利要求2所述的方法，其特征在于，所述基于所述第一样本图像特征和所述样本权重因子，确定所述样本面部图像集合的所述样本一致性特征，包括：
基于各个所述样本面部图像的所述样本权重因子，确定出样本权重均值；
确定所述样本权重均值和各个所述样本权重因子之间的样本权重比值，所述样本权重比值与所述样本权重因子呈负相关关系；
基于各个所述样本面部图像的所述样本权重比值与各个所述第一样本图像特征之间的乘积之和，确定所述样本面部图像集合的所述样本一致性特征。
4.根据权利要求1至3任一所述的方法，其特征在于，所述第二编码网络包括第三子编码网络和第四子编码网络；
所述通过第二编码网络对所述样本面部图像集合进行特征提取，得到所述样本面部图像集合中各个所述样本面部图像的样本形变特征，包括：
通过所述第三子编码网络对所述样本面部图像集合进行特征提取，得到所述样本面部图像集合的第二样本图像特征，所述第二样本图像特征用于表征所述样本面部图像集合的全局面部信息；
将所述第二样本图像特征和各个所述样本面部图像的第一样本表情特征，输入所述第四子编码网络，得到所述第四子编码网络输出的所述样本形变特征。
5.根据权利要求1至3任一所述的方法，其特征在于，所述基于所述样本重构图像集合和所述样本面部图像集合，训练所述第一编码网络和所述第二编码网络，包括：
基于所述样本重构图像集合和所述样本面部图像集合之间的图像差异，确定第一图像重构损失；
确定所述样本形变特征的形变正则项；
基于所述第一图像重构损失和所述形变正则项，训练所述第一编码网络和所述第二编码网络。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
对所述样本重构图像集合进行表情特征提取，得到所述样本重构图像集合中各个所述样本重构图像的第二样本表情特征；
基于所述第二样本表情特征和各个所述样本面部图像的第一样本表情特征，确定表情一致性损失；
所述基于所述第一图像重构损失和所述形变正则项，训练所述第一编码网络和所述第二编码网络，包括：
基于所述第一图像重构损失、所述表情一致性损失和所述形变正则项，训练所述第一编码网络和所述第二编码网络。
7.根据权利要求1至3任一所述的方法，其特征在于，所述基于样本相机姿态参数和各个所述第一样本面部特征进行图像重构，生成样本重构图像集合，包括：
从所述样本面部图像集合中提取出各个所述样本面部图像的所述样本相机姿态参数；
将所述样本相机姿态参数和所述第一样本面部特征输入图像重构网络，得到所述图像重构网络输出的所述样本重构图像集合。
8.根据权利要求1至3任一所述的方法，其特征在于，所述方法还包括：
获取所述样本图像集合的第二样本面部特征，所述第二样本面部特征是通过训练完成的第一编码网络和第二编码网络获取得到；
将所述第二样本面部特征和所述样本相机姿态参数输入图像重构网络，得到所述图像重构网络输出的样本优化图像集合，所述样本优化图像集合中包含所述样本面部图像的第一优化重构图像；
基于所述样本优化图像集合和所述样本面部图像集合之间的图像差异，确定第二图像重构损失；
基于所述第二图像重构损失，训练所述图像重构网络。
9.根据权利要求8所述的方法，其特征在于，所述方法还包括：
从所述第二样本面部特征中确定出第三样本面部特征；
将所述第三样本面部特征和所述样本相机姿态参数输入所述图像重构网络，得到所述图像重构网络输出的第二优化重构图像，所述样本相机姿态参数是所述第三样本面部特征对应样本面部图像的相机姿态参数；
基于所述第二优化重构图像和所述样本面部图像，确定第三图像重构损失；
基于所述第三图像重构损失，训练所述图像重构网络。
10.一种面部图像生成方法，其特征在于，所述方法包括：
对面部图像集合进行特征提取，得到所述面部图像集合的面部一致性特征，所述面部图像集合中包含至少两张面部图像，且各个所述面部图像为具备相同面部结构的面部图像，所述面部一致性特征用于表征在各个所述面部图像中具备一致性的面部信息；
对所述面部图像集合进行特征提取，得到所述面部图像集合中各个所述面部图像的面部形变特征，所述面部形变特征用于表征所述面部图像之间的差异面部信息；
对所述面部一致性特征和所述面部形变特征进行相加处理，得到各个所述面部图像的面部重构特征；
基于相机姿态参数和各个所述面部重构特征进行图像重构，生成重构图像集合，所述重构图像集合中包含各个所述面部图像的重构图像，所述重构图像的面部视角与所述相机姿态参数有关。
11.根据权利要求10所述的方法，其特征在于，所述对面部图像集合进行特征提取，得到所述面部图像集合的面部一致性特征，包括：
通过第一子编码网络对所述面部图像集合进行特征提取，得到各个所述面部图像的第一图像特征，所述第一图像特征用于表征各个所述面部图像的面部表观信息；
通过第二子编码网络对所述面部图像集合进行特征提取，得到各个所述面部图像的特征权重因子，所述特征权重因子与所述面部表观信息在所述面部图像集合中的一致性呈负相关关系；
基于所述第一图像特征和所述特征权重因子，确定所述面部图像集合的所述面部一致性特征。
12.根据权利要求11所述的方法，其特征在于，所述基于所述第一图像特征和所述特征权重因子，确定所述面部图像集合的所述面部一致性特征，包括：
基于各个所述面部图像的所述特征权重因子，确定出特征权重均值；
确定所述特征权重均值和各个所述特征权重因子之间的特征权重比值，所述特征权重比值与所述特征权重因子呈负相关关系；
将各个所述面部图像的所述特征权重比值与各个所述第一图像特征之间的乘积之和，确定为所述面部图像集合的所述面部一致性特征。
13.根据权利要求10至12任一所述的方法，其特征在于，所述对所述面部图像集合进行特征提取，得到所述面部图像集合中各个所述面部图像的面部形变特征，包括：
通过第三子编码网络对所述面部图像集合进行特征提取，得到所述面部图像集合中各个所述面部图像的第二图像特征，所述第二图像特征用于表征各个所述面部图像的全局面部特征；
将所述第二图像特征和各个所述面部图像的表情特征，输入第四子编码网络，得到所述第四子编码网络输出的所述面部形变特征。
14.根据权利要求10至12任一所述的方法，其特征在于，所述基于相机姿态参数和各个所述面部重构特征进行图像重构，生成重构图像集合，包括：
从所述面部图像集合中提取出各个所述面部图像的所述相机姿态参数；
将所述相机姿态参数和所述面部重构特征输入图像重构网络，得到所述图像重构网络输出的所述重构图像集合，所述重构图像的面部视角与所述面部图像的面部视角相同。
15.根据权利要求10至12任一所述的方法，其特征在于，所述基于相机姿态参数和各个所述面部重构特征进行图像重构，生成重构图像集合，包括：
获取输入的所述相机姿态参数，所述相机姿态参数与所述面部图像的相机姿态参数不同；
将所述相机姿态参数和所述面部重构特征输入图像重构网络，得到所述图像重构网络输出的所述重构图像集合，所述重构图像的面部视角与所述面部图像的面部视角不同。
16.一种面部图像生成装置，其特征在于，所述装置包括：
第一特征提取模块，用于通过第一编码网络对样本面部图像集合进行特征提取，得到所述样本面部图像集合的样本一致性特征，所述样本面部图像集合中包含至少两张样本面部图像，且各个所述样本面部图像为具备相同面部结构的面部图像，所述样本一致性特征用于表征在所述样本面部图像集合中具备一致性的面部信息；
第二特征提取模块，用于通过第二编码网络对所述样本面部图像集合进行特征提取，得到所述样本面部图像集合中各个所述样本面部图像的样本形变特征，所述样本形变特征用于表征所述样本面部图像之间的差异面部信息；
特征处理模块，用于对所述样本一致性特征和所述样本形变特征进行相加处理，得到各个所述样本面部图像的第一样本面部特征；
图像生成模块，用于基于样本相机姿态参数和各个所述第一样本面部特征进行图像重构，生成样本重构图像集合，所述样本重构图像集合中包含各个所述样本面部图像的样本重构图像，且所述样本重构图像中的面部视角与所述样本相机姿态参数有关；
训练模块，用于基于所述样本重构图像集合和所述样本面部图像集合，训练所述第一编码网络和所述第二编码网络。
17.一种面部图像生成装置，其特征在于，所述装置包括：
第一特征提取模块，用于对面部图像集合进行特征提取，得到所述面部图像集合的面部一致性特征，所述面部图像集合中包含至少两张面部图像，且各个所述面部图像为具备相同面部结构的面部图像，所述面部一致性特征用于表征在各个所述面部图像中具备一致性的面部信息；
第二特征提取模块，用于对所述面部图像集合进行特征提取，得到所述面部图像集合中各个所述面部图像的面部形变特征，所述面部形变特征用于表征所述面部图像之间的差异面部信息；
特征处理模块，用于对所述面部一致性特征和所述面部形变特征进行相加处理，得到各个所述面部图像的面部重构特征；
图像生成模块，用于基于相机姿态参数和各个所述面部重构特征进行图像重构，生成重构图像集合，所述重构图像集合中包含各个所述面部图像的重构图像，所述重构图像的面部视角与所述相机姿态参数有关。
18.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现如权利要求1至9任一所述的面部图像生成方法，或，实现如权利要求10至15任一所述的面部图像生成方法。
19.一种计算机可读存储介质，其特征在于，所述可读存储介质中存储有至少一段程序，所述至少一段程序由处理器加载并执行以实现如权利要求1至9任一所述的面部图像生成方法，或，实现如权利要求10至15任一所述的面部图像生成方法。
20.一种计算机程序产品，其特征在于，所述计算机程序产品存储有计算机程序，所述计算机程序由处理器加载并执行以实现如权利要求1至9任一所述的面部图像生成方法，或，实现如权利要求10至15任一所述的面部图像生成方法。
CN202310228721.7A 2023-02-28 2023-02-28 面部图像生成方法、装置、计算机设备、存储介质及产品 Pending CN116958404A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310228721.7A CN116958404A (zh) 2023-02-28 2023-02-28 面部图像生成方法、装置、计算机设备、存储介质及产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310228721.7A CN116958404A (zh) 2023-02-28 2023-02-28 面部图像生成方法、装置、计算机设备、存储介质及产品

Publications (1)

Publication Number Publication Date
CN116958404A true CN116958404A (zh) 2023-10-27

Family

ID=88451736

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310228721.7A Pending CN116958404A (zh) 2023-02-28 2023-02-28 面部图像生成方法、装置、计算机设备、存储介质及产品

Country Status (1)

Country Link
CN (1) CN116958404A (zh)

Similar Documents

Publication Publication Date Title
CN111369681B (zh) 三维模型的重构方法、装置、设备及存储介质
CN109255831B (zh) 基于多任务学习的单视图人脸三维重建及纹理生成的方法
CN111598998B (zh) 三维虚拟模型重建方法、装置、计算机设备和存储介质
CN111325851B (zh) 图像处理方法及装置、电子设备和计算机可读存储介质
CN111784821B (zh) 三维模型生成方法、装置、计算机设备及存储介质
EP3905194A1 (en) Pose estimation method and apparatus
CN114339409B (zh) 视频处理方法、装置、计算机设备及存储介质
CN112085835B (zh) 三维卡通人脸生成方法、装置、电子设备及存储介质
CN113723317B (zh) 3d人脸的重建方法、装置、电子设备和存储介质
US20230100427A1 (en) Face image processing method, face image processing model training method, apparatus, device, storage medium, and program product
CN114821404B (zh) 一种信息处理方法、装置、计算机设备及存储介质
CN113593001A (zh) 目标对象三维重建方法、装置、计算机设备和存储介质
CN116416376A (zh) 一种三维头发的重建方法、系统、电子设备及存储介质
CN115131492A (zh) 目标对象的重光照方法、装置及存储介质和背景替换方法
CN114266693A (zh) 图像处理方法、模型生成方法及设备
CN113538254A (zh) 图像恢复方法、装置、电子设备及计算机可读存储介质
Yuan et al. 3d face reprentation and reconstruction with multi-scale graph convolutional autoencoders
CN109829857B (zh) 一种基于生成对抗网络的倾斜图像的矫正方法及装置
CN114898244B (zh) 一种信息处理方法、装置、计算机设备及存储介质
CN115482557A (zh) 人体图像生成方法、系统、设备及存储介质
CN116958404A (zh) 面部图像生成方法、装置、计算机设备、存储介质及产品
CN114943799A (zh) 一种面部图像处理方法、装置和计算机可读存储介质
Chen et al. MoCo‐Flow: Neural Motion Consensus Flow for Dynamic Humans in Stationary Monocular Cameras
CN111581411B (zh) 高精度人脸形状库的构建方法、装置、设备及存储介质
CN111651623B (zh) 高精度人脸表情库的构建方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication