CN112926543A - 图像生成、三维模型生成方法、装置、电子设备及介质 - Google Patents

图像生成、三维模型生成方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN112926543A
CN112926543A CN202110387786.7A CN202110387786A CN112926543A CN 112926543 A CN112926543 A CN 112926543A CN 202110387786 A CN202110387786 A CN 202110387786A CN 112926543 A CN112926543 A CN 112926543A
Authority
CN
China
Prior art keywords
image
normal vector
fusion processing
data fusion
texture feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110387786.7A
Other languages
English (en)
Inventor
朴镜潭
林君仪
孙克强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sensetime Group Ltd
Original Assignee
Sensetime Group Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sensetime Group Ltd filed Critical Sensetime Group Ltd
Priority to CN202110387786.7A priority Critical patent/CN112926543A/zh
Publication of CN112926543A publication Critical patent/CN112926543A/zh
Priority to PCT/CN2021/133390 priority patent/WO2022213623A1/zh
Priority to TW110147533A priority patent/TW202240531A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本公开提供了一种图像生成、三维模型生成方法、装置、电子设备及介质，其中，该人脸图像生成方法，包括：获取法向量图像、以及纹理特征数据；其中，所述法向量图像中每个像素点的像素值表征与所述法向量图像对应的三维人脸模型中与该像素点对应的模型顶点的法向量的值；对所述法向量图像、以及所述纹理特征数据进行多级数据融合处理，得到重构人脸图像。

Description

图像生成、三维模型生成方法、装置、电子设备及介质
技术领域
本公开涉及图像处理技术领域，具体而言，涉及一种图像生成、三维模型生成方法、装置、电子设备及介质。
背景技术
三维人脸重建是指基于人脸图像恢复人脸的三维模型。在生成人脸的三维模型后，能够基于人脸的三维模型生成人脸图像。
当前的人脸图像生成方法存在生成的人脸图像准确度较差的问题。
发明内容
本公开实施例至少提供一种图像生成、三维模型生成方法、装置、电子设备及介质。
第一方面，本公开实施例提供了一种人脸图像生成方法，包括：获取法向量图像、以及纹理特征数据；其中，所述法向量图像中每个像素点的像素值表征与所述法向量图像对应的三维人脸模型中与该像素点对应的模型顶点的法向量的值；对所述法向量图像、以及所述纹理特征数据进行多级数据融合处理，得到重构人脸图像。
这样，以法向量图像作为几何条件，以纹理特征数据建模对人脸图像的其他影响因素，通过将法向量图像和纹理特征数据进行数据融合处理，所得的重构人脸图像具有更高的准确度。
一种可能的实施方式中，所述对所述法向量图像、以及所述纹理特征数据进行多级数据融合处理，得到重构人脸图像，包括：对所述纹理特征数据进行特征变换，得到所述多级数据融合处理分别对应的变换纹理特征数据；针对所述多级数据融合处理中的每级数据融合处理，将该级数据融合处理对应的变换纹理特征数据、与对该级数据融合处理对应的输入特征图进行第一特征融合，得到该级数据融合处理的中间特征图；对该级数据融合处理的中间特征图、以及所述法向量图像进行第二特征融合，得到该级数据融合处理对应的结果特征图；基于最后一级数据融合处理对应结果特征图，得到所述重构人脸图像。
这样，实现了将法向量图像、以及纹理特征数据之间的解耦融合，提升得到的重构人脸图像的真实度和精确度。
一种可能的实施方式中，所述对所述纹理特征数据进行特征变换，得到多级数据融合处理分别对应的变换纹理特征数据，包括：对所述纹理特征数据进行第一全连接处理，得到第一中间纹理特征数据；对所述第一中间纹理特征数据进行多次第二全连接处理，得到所述多级数据融合处理分别对应的变换纹理特征数据；其中，不同第二全连接处理的全连接参数不同。
这样，对纹理特征数据进行特征变换，使得变换后所形成的多级数据融合处理分别对应的变换纹理特征数据，既能够提升与目标三维人脸模型之间的适配度，又能够保证在不同级别的数据融合处理对应的变换纹理特征数据中，包括了纹理特征数据中的不同特征，然后针对每级数据融合处理，将每级数据融合处理对应的变换纹理特征数据和法向量图像进行融合，进而实现了将纹理特征数据和法向量图像的逐步融合，使得得到的重构人脸图像具有更高的精度，且具有更强的真实感。
一种可能的实施方式中，所述针对多级数据融合处理中的每级数据融合处理，将该级数据融合处理对应的变换纹理特征数据、与对该级数据融合处理对应的输入特征图进行第一特征融合，得到该级数据融合处理的中间特征图之前，还包括：针对该级数据融合处理为第一级数据融合处理的情况，对预设特征图进行上采样，得到该级数据融合处理对应的输入特征图；针对该级数据融合处理为非第一级数据融合处理的情况，对该级数据融合处理的上一级数据融合处理输出的结果特征图进行上采样，得到该级数据融合处理对应的输入特征图。
这样，基于预设特征图，逐级对各级数据融合处理的结果特征图进行上采样处理，从而使得最后一级数据融合处理的结果特征图的尺寸能够符合生成的重构人脸图像的尺寸，使得生成的人脸图像具有较高的分辨率，提升重构人脸图像的清晰度。
一种可能的实施方式中，所述针对所述多级数据融合处理中的每级数据融合处理，将该级数据融合处理对应的变换纹理特征数据、与对该级数据融合处理对应的输入特征图进行第一特征融合，得到该级数据融合处理的中间特征图，包括：针对所述多级数据融合处理中的每级数据融合处理，利用该级数据融合处理对应的变换纹理特征数据，对该级融合处理对应的卷积核进行变换，得到变换卷积核；利用所述变换卷积核对所述输入特征图进行卷积处理，得到该级数据融合处理的中间特征图。
利用该种方式，由于是利用变换纹理特征数据对卷积核进行变换，而卷积核的数据量通常是小于输入特征图的数据量的，因此能够大量减少在变换过程中所需要处理的数据，提升数据处理效率。
一种可能的实施方式中，所述针对所述多级数据融合处理中的每级数据融合处理，将该级数据融合处理对应的变换纹理特征数据、与对该级数据融合处理对应的输入特征图进行第一特征融合，得到该级数据融合处理的中间特征图，包括：针对所述多级数据融合处理中的每级数据融合处理，利用该级数据融合处理对应的变换纹理特征数据，对该级融合处理对应的输入特征图进行变换，得到变换特征图；利用该级数据融合处理对应的卷积核，对所述变换特征图进行卷积处理，得到该级数据融合处理对应的中间特征图。
一种可能的实施方式中，所述对该级数据融合处理的中间特征图、以及所述法向量图像进行第二特征融合，得到该级数据融合处理对应的结果特征图，包括：确定该级数据融合处理的中间特征图、以及所述法向量图像的乘积结果矩阵；基于所述乘积结果矩阵确定该级数据融合处理对应的结果特征图。
一种可能的实施方式中，所述基于所述乘积结果矩阵确定该级数据融合处理对应的结果特征图，包括：基于该级数据融合处理对应的乘积结果矩阵、以及该级数据融合处理的预设偏差矩阵和/或噪声矩阵，得到该级数据融合处理对应的结果特征图。
此处，由于人脸的纹理特征数据无法完全表达人脸图像的所有细节，为了使得最终生成的重构人脸图像更具有真实度，可以在得到乘积结果矩阵后，基于该级数据融合处理对应的乘积结果矩阵、以及该级数据融合处理的预设偏差矩阵和/或噪声矩阵，得到该级数据融合处理对应的结果特征图，从而使得生成的重构人脸图像能够包括人脸的细节特征，真实度更高。
一种可能的实施方式中，所述基于该级数据融合处理对应的乘积结果矩阵、以及该级数据融合处理的预设偏差矩阵和/或噪声矩阵，得到该级数据融合处理对应的结果特征图，包括：将该级数据融合处理对应的乘积结果矩阵、以及该级数据融合处理的预设偏差矩阵和/或噪声矩阵进行对位相加，得到该级数据融合处理对应的结果特征图。
一种可能的实施方式中，所述人脸图像生成方法通过预先训练好的第一目标神经网络实现。
一种可能的实施方式中，采用下述方式得到所述第一目标神经网络：获取第一样本三维人脸模型的第一样本法向量图像、以及第一样本纹理特征数据；利用待训练的第一神经网络，对所述第一样本法向量图像、以及所述第一样本纹理特征数据进行数据融合处理，得到所述第一样本三维人脸模型的重建图像；基于所述重建图像，获取第一训练损失，并利用所述第一训练损失，训练所述待训练的第一神经网络，得到所述第一目标神经网络。
一种可能的实施方式中，所述第一训练损失包括下述至少一种：法向量一致性损失、人脸关键点一致性损失、身份一致性损失以及对抗损失。
一种可能的实施方式中，所述第一训练损失包括法向量一致性损失，所述基于所述重建图像，获取第一训练损失，包括：对所述重建图像进行法向量预测处理，得到所述重建图像的预测法向量图像；利用所述第一样本法向量图像、和所述预测法向量图像，得到所述法向量一致性损失。
一种可能的实施方式中，所述第一训练损失包括关键点一致性损失，所述第一样本纹理特征数据包括：第一样本纹理特征数据以及第二样本纹理特征数据；所述重建图像，包括基于所述第一样本纹理特征数据得到的第一重建图像、以及基于所述第二样本纹理特征数据得到的第二重建图像；所述基于所述重建图像，获取第一训练损失，包括：对所述第一重建图像进行关键点识别，得到所述第一重建图像的第一关键点；以及基于所述第二重建图像进行关键点识别，得到所述第二重建图像的第二关键点；利用所述第一关键点和所述第二关键点，得到所述关键点一致性损失。
一种可能的实施方式中，所述第一训练损失包括身份一致性损失，所述第一样本三维人脸模型的第一样本法向量图像包括：第一样本法向量图像、以及第二样本法向量图像；其中，所述第一样本法向量图像和所述第二样本法向量图像对应的人脸表情、和/或人脸位姿不同；所述利用待训练的第一神经网络，对所述第一样本法向量图像、以及所述第一样本纹理特征数据进行数据融合处理，得到所述第一样本三维人脸模型进行重建生成的重建图像，包括：利用所述待训练的第一神经网络，对所述第一样本法向量图像和所述第一样本纹理特征数据进行数据融合处理，得到所述第一样本三维人脸模型第三重建图像；对利用所述待训练的第一神经网络，对所述第二样本法向量图像和所述第一样本纹理特征数据进行数据融合处理，得到所述第一样本三维人脸模型第四重建图像；所述基于所述重建图像，获取第一训练损失，包括：对所述第三重建图像进行身份识别，得到第一身份识别结果；以及对所述第四重建图像进行身份识别，得到第二身份识别结果；基于所述第一身份识别结果和所述第二身份识别结果，得到所述身份一致性损失。
第二方面，本公开实施例还提供一种三维人脸模型生成方法，包括：对目标人脸图像进行三维人脸重建和纹理特征恢复，得到所述目标人脸的初始法向量图像、以及所述目标人脸的初始纹理特征数据；基于所述初始法向量图像、以及所述初始纹理特征数据，得到所述目标人脸的三维人脸模型。
这样，通过基于目标人脸的目标人脸图像，预测目标人脸的初始法向量图像，然后基于初始法向量图像、以及所述初始纹理特征数据，得到目标人脸的三维人脸模型，在该方法中，由于基于初始法向量图像、以及初始纹理特征数生成的人脸图像具有更高的准确度，因而所生成的目标人脸的三维人脸模型也具有更高的精度。
一种可能的实施方式中，所述基于所述初始法向量图像、以及所述初始纹理特征数据，得到所述目标人脸的三维人脸模型，包括：将所述初始法向量图像作为当前法向量图像、以及将所述初始纹理特征数据作为当前纹理特征数据，基于所述当前法向量图像、以及所述当前纹理特征数据，生成当前重构人脸图像；基于所述目标人脸图像、以及所述当前重构人脸图像，对所述当前法向量进行调整，得到所述目标人脸的目标法向量图像；基于所述目标法向量图像，生成所述目标人脸的三维人脸模型。
一种可能的实施方式中，所述基于所述当前法向量图像、以及所述纹理特征数据，生成重构人脸图像，包括：将所述当前法向量图像作为法向量图像、以及将所述当前纹理特征数据作为纹理特征数据，利用第一方面任一项所述的人脸图像生成方法生成重构人脸图像；将所述重构人脸图像作为基于所述当前法向量图像和所述当前重构人脸图像生成的所述当前重构人脸图像。
一种可能的实施方式中，所述基于所述目标人脸图像、以及所述当前重构人脸图像，对所述当前法向量进行调整，得到所述目标人脸的目标法向量图像，包括：执行下述迭代过程，直至所述第二损失小于预设的损失阈值：基于所述目标人脸图像、以及所述当前重构人脸图像，得到第二损失；利用所述第二损失对所述当前法向量图像、以及所述当前纹理特征数据进行调整得到新的法向量图像、以及新的纹理特征数据；将所述新的法向量图像作为当前法向量图像，以及将所述新的纹理特征数据作为当前纹理特征数据，返回至基于所述当前法向量图像、以及所述当前纹理特征数据，生成当前重构人脸图像的步骤；将最后一次迭代过程中的当前法向量图像作为所述目标法向量图像。
这样，能够通过多轮迭代，根据本公开实施例提供的人脸图像生成方法生成逐渐接近目标人脸的三维人脸模型。
一种可能的实施方式中，所述第二损失，包括：像素一致性损失、和/或分类特征一致性损失。
一种可能的实施方式中，所述第二损失包括分类特征一致性损失，所述基于所述目标人脸图像、以及所述当前重构人脸图像，得到第二损失包括：利用预先训练的图像分类网络对所述目标人脸图像进行分类处理，得到所述图像分类网络的目标网络层输出的第一特征数据；以及利用所述图像分类网络对所述当前重构人脸图像进行分类处理，得到所述目标网络层输出的第二特征数据；基于所述第一特征数据和所述第二特征数据，得到所述分类特征一致性损失；其中，所述图像分类网络利用所述目标人脸图像和所述当前重构人脸图像训练得到。
一种可能的实施方式中，对包括目标人脸的目标人脸图像进行纹理特征恢复，得到所述目标人脸的初始纹理特征数据，包括：利用预先训练的第二目标神经网络对所述目标人脸图像进行纹理特征恢复，得到所述目标人脸的初始纹理特征数据；其中，所述第二目标神经网络利用第一方面所述的第一目标神经网络训练得到。
一种可能的实施方式中，采用下述方式训练所述第二目标神经网络：利用所述第一目标神经网络，对样本三维人脸模型的第二样本法向量图像、以及第二样本纹理特征数据进行处理，得到样本三维人脸模型的样本人脸图像；利用待训练的第二神经网络对所述样本人脸图像进行处理，得到所述样本人脸图像对应的预测纹理特征数据；基于所述预测纹理特征数据、以及所述第二样本纹理特征数据，确定第三损失；基于所述第三损失，训练所述待训练的第二神经网络，得到第二目标神经网络。
第三方面，本公开实施例提供的一种人脸图像生成装置，包括：
第一获取模块，用于获取法向量图像、以及纹理特征数据；其中，所述法向量图像中每个像素点的像素值表征与所述法向量图像对应的三维人脸模型中与该像素点对应的模型顶点的法向量的值；第一处理模块，用于对所述法向量图像、以及所述纹理特征数据进行多级数据融合处理，得到重构人脸图像。
第四方面，本公开实施例还提供一种三维人脸模型生成装置，包括：第二获取模块，用于对目标人脸图像进行三维人脸重建和纹理特征恢复，得到所述目标人脸的初始法向量图像、以及所述目标人脸的初始纹理特征数据；第二处理模块，用于基于所述初始法向量图像、以及所述初始纹理特征数据，得到所述目标人脸的三维人脸模型。
第五方面，本公开可选实现方式还提供一种电子设备，处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤；
或执行上述第二方面，或第二方面中任一种可能的实施方式中的步骤。
第六方面，本公开可选实现方式还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤；
或执行上述第二方面，或第二方面中任一种可能的实施方式中的步骤。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种人脸图像生成方法的流程图；
图2示出了本公开实施例所提供的对法向量图像、以及纹理特征数据进行多级数据融合处理的具体方法的流程图；
图3示出了本公开实施例所提供的训练第一目标神经网络的具体方法的流程图；
图4示出了本公开实施例所提供的一种第一目标神经网络的结构示意图；
图5示出了本公开实施例所提供的一种第一目标神经网络中渲染块的结构示意图；
图6示出了本公开实施例所提供的一种三维人脸模型生成方法的流程图；
图7示出了本公开实施例所提供的一种人脸图像生成装置的示意图；
图8示出了本公开实施例所提供的一种三维人脸模型生成装置的示意图；
图9示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
经研究发现，以单目人脸图像作为输入，对人脸进行三维人脸重建能够恢复三维人脸模型。三维人脸模型包括：多个模型顶点、以及模型顶点之间的连接关系；模型顶点之间相互连接，形成多个面片，能够表征人脸的轮廓。对三维人脸进行三维几何重建，目的即为恢复构成三维人脸模型的多个模型顶点中每个模型顶点的三维位置信息。当前基于深度学习技术生成三维人脸模型的方式，通常是将人脸图像作为输入，学习回归相应的三维人脸模型参数，例如采用三维变形模型(3Dimension Morphable Model，3DMM)来对图像进行三维人脸重建。但这种三维人脸重建的方法需要大量的标注数据，而标注数据的获取往往比较困难，且生成的三维人脸模型的精度较低。
另外，基于三维人脸模型生成人脸图像在影视，游戏，虚拟社交等领域有着重要的作用。例如，在原始人脸的三维人脸模型后，可以按照一定的方式对三维人脸模型中的模型顶点进行位置上的调整，从而生成新的人脸图像，通过该种方式可以变换原始人脸的表情、使得生成的人脸图像既具有原始人脸的特征、又具有某种风格的特征。当前利用三维人脸模型生成人脸图像的方式，通常是爱用优化的方法，该方法通过获取人脸参数，如反射率、纹理、光照、视角等，然后基于获取的人脸参数，根据一定的图形规则生成人脸图像；然而由图形规则通常采用简化的模型来描述人脸图像捕获的物理过程，许多成像过程的细节无法被建模，造成生成的人脸图像准确度较差。
基于上述研究，本公开提供了一种人脸图像生成方法，以人脸的法向量图像作为几何条件，以纹理特征数据建模对人脸图像的其他影响因素，通过将法向量图像和纹理特征数据进行数据融合处理，所得的重构人脸图像具有更高的准确度。
另外，本公开实施例还提供了一种三维人脸模型生成方法，通过基于目标人脸的目标人脸图像，预测目标人脸的初始法向量图像，然后基于初始法向量图像、以及所述初始纹理特征数据，得到目标人脸的三维人脸模型，在该方法中，由于基于初始法向量图像、以及初始纹理特征数进行人脸图像具有更高的准确度，因而所生成的目标人脸的三维人脸模型也具有更高的精度。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种人脸图像生成方法进行详细介绍，本公开实施例所提供的人脸图像生成的执行主体一般为具有一定计算能力的电子设备，该电子设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该人脸图像生成可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
下面对本公开实施例提供的人脸图像生成加以说明。
参见图1所示，为本公开实施例提供的人脸图像生成方法的流程图，所述方法包括步骤S101～S102，其中：
S101：获取法向量图像、以及纹理特征数据；其中，所述法向量图像中每个像素点的像素值表征与所述法向量图像对应的三维人脸模型中与该像素点对应的模型顶点的法向量的值。
S102：对所述法向量图像、以及所述纹理特征数据进行多级数据融合处理，得到重构人脸图像。
本公开实施例通过获取三维人脸模型的法向量图像以及纹理特征数据，并对所述法向量图像、以及所述纹理特征数据进行多级数据融合处理，得到重构人脸图像，从而实现了以人脸的法向量图像作为几何条件，以纹理特征数据建模对人脸图像的其他影响因素，所得的重构人脸图像具有更高的准确度。
下面对上述S101～S102分别加以详细说明。
针对上述S101：
三维人脸模型，例如是利用包括人脸的图像进行三维人脸重建得到的，将对包括人脸的图像进行三维人脸重建得到的三维人脸模型直接确定为要进行人脸图像重建的三维人脸模型；或者，也可以在对包括人脸的图像进行三维人脸重建得到三维人脸模型后，对重建得到的三维人脸模型中各个模型顶点在三维坐标系中的位置进行调整，得到要进行人脸图像重建的三维人脸模型。
此处，该调整例如是针对人脸胖瘦程度的调整、针对人脸表情的调整、基于某种风格的调整。
三维人脸模型的法向量图像，例如可以利用三维人脸模型中给每个模型顶点的法向量生成。
在具体实施中，在三维人脸模型所在的三维坐标系中，每个模型顶点的法向量的值包括在三维坐标系中各个坐标轴对应的坐标值。则法向量图像例如是一个三通道的图像，该图像中每个像素点的像素值，表征与该像素点对用的模型顶点的法向量在三个坐标轴分别对应的坐标值。
在生成三维人脸模型的法向量图像时，例如可以针对三维人脸模型中的每个模型顶点，确定以该模型顶点作为其中一个顶点的至少一个网格，然后根据至少一个网格分别所在的平面，确定至少一个网格分别对应的法向量；然后利用至少一个网格分别对应的法向量，确定该模型顶点对应的法向量。在利用至少一个网格分别对应的法向量，确定该模型星顶点对应的法向量时，例如可以对至少一个网格分别对应的法向量求均值，得到该模型顶点对应的法向量。
纹理特征数据可以是对任一张人脸的图像进行随机高斯采样得到。具体地，针对本公开实施例的不同应用场景，纹理特征数据的获取方式有所区别；例如，若应用场景为生成具有某种风格的重构人脸图像，则针对该种风格的人脸图像进行纹理信息的随机高斯采样，得到纹理特征数据；若要生成具有某种光照环境下的重构人脸图像，则针对该种光照环境下的人脸图像进行纹理信息的随机告诉采样，得到纹理特征数据。具体的，根据不同的需要确定纹理特征数据的提取来源。
针对上述S102：
参见图2所示，本公开实施例提供一种对所述法向量图像、以及所述纹理特征数据进行多级数据融合处理，得到重构人脸图像的具体方法，包括：
S201：对所述纹理特征数据进行特征变换，得到多级数据融合处理分别对应的变换纹理特征数据。
在具体实施中，由于采用随机高斯采样得到的纹理特征数据可能是利用另一张包括人脸的图像确定的，因而若用于采集纹理特征数据的人脸图像和三维人脸模型对应的无法适配，若直接将纹理特征数据和法向量图像进行数据融合处理，可能会造成生成的三维人脸模型的重构人脸图像存在真实度较差的问题。因而，本公开实施例中，在将法向量图像和纹理特征数据进行多级数据融合处理时，会对纹理特征数据进行特征变换，使得变换后所形成的多级数据融合处理分别对应的变换纹理特征数据，既能够提升与三维人脸模型之间的适配度，又能够保证在不同级别的数据融合处理对应的变换纹理特征数据中，包括了纹理特征数据中的不同特征，然后针对每级数据融合处理，将每级数据融合处理对应的变换纹理特征数据和法向量图像进行融合，进而实现了将纹理特征数据和法向量图像的逐步融合，使得得到的重构人脸图像具有更高的精度，且具有更强的真实感。
本公开实施例提供一种对纹理特征数据进行特征变换，得到多级数据融合处理分别对应的变换纹理特征数据的具体方法，包括：
对所述纹理特征数据进行第一全连接处理，得到第一中间纹理特征数据；对所述第一中间纹理特征数据进行多次第二全连接处理，得到所述多级数据融合处理分别对应的变换纹理特征数据；其中，不同第二全连接处理的全连接参数不同。
其中，对纹理特征数据进行第一全连接处理时，例如可以利用具有多层全连接层的第一全连接网络对纹理特征数据进行第一全连接处理，得到第一中间纹理特征数据。
对纹理特征数据进行多次第二全连接处理时，例如可以利用多个第二全连接网络对第一中间纹理特征数据分别进行全连接处理，得到与多个第二全连接网络分别对应的变换纹理特征数据。
其中，每个第二全连接网络对应一级数据融合处理，且不同的第二全连接网络的网络参数不同，不同的第二全连接网络能够从第一中间纹理特征数据中提取到不同的纹理特征，从而通过将不同的纹理特征分为多级与法向量图像逐渐融合，提升生成的重构人脸图像的真实度。
示例性的，纹理特征数据表示为：z；对纹理特征数据进行第一全连接处理后，得到的第一中间纹理特征数据表示为z′。则z和z′之间的关系表示为则z′＝M1(z)；变换纹理特征数据表示为w，则对第一中间纹理特征数据进行第二全连接处理后，则z′和w之间的关系表示为：w＝M(z′)。其中，M1(·)表示为第一全连接处理；M2(·)表示第二全连接处理；则对纹理特征数据进行特征变换，得到多级数据融合处理分别对应的变换纹理特征数据可以简化表示为下述公式(1)：
w＝M(z) (1)
承接上述S201，本公开实施例提供的对法向量图像、以及纹理特征数据进行多级数据融合处理的方法还包括：
S202：针对多级数据融合处理中的每级数据融合处理，将该级数据融合处理对应的变换纹理特征数据、与对该级数据融合处理对应的输入特征图进行第一特征融合，得到该级数据融合处理的中间特征图。
在具体实施中，针对每级数据融合处理，均有与该级数据融合处理对应的输入特征图。其中，针对该级数据融合处理为第一级数据融合处理的情况，该第一级数据融合处理对应的输入特征图，是利用预设特征图确定的。针对不同的三维人脸模型、以及纹理特征数据，该预设特征图可以相同。在利用图像生成神经网络实现本公开示例提供的人脸图像生成方法的情况下，该预设特征图可以是在对图像生成神经网络进行训练的过程中确定的，具体确定方式，可参见下述图3对应的实施例所示，在此不再赘述。
此处，针对第一级数据融合处理，可以直接将预设特征图确定为该第一级数据融合处理对应的输入特征图，也可以对该预设特征图进行上采样处理，得到与该第一级数据融合处理对应的输入特征图。
另外，针对每级数据融合处理，若该级数据融合处理为非第一级数据融合处理，则该级数据融合处理对应的输入特征图是利用上一级数据融合处理输出的结果特征图确定的。
此处，针对除第一级数据融合处理外的其他各级数据融合处理，可以直接将对应的上一级数据融合处理输出的结果特征图作为该级数据融合处理对应的输入特征图；另外，也可以对上一级数据融合处理输出的结果特征图进行上采样处理，得到与该级数据融合处理对应的输入特征图。
这样，基于预设特征图，逐级对各级数据融合处理的结果特征图进行上采样处理，从而使得最后一级数据融合处理的结果特征图的尺寸能够符合生成的重构人脸图像的尺寸，使得生成的重构人脸图像具有较高的分辨率，提升重构人脸图像的清晰度。
示例性的，以将上一级数据融合处理输出的结果特征图为例，在对结果特征图进行上采样时，例如是将结果特征图中各个特征点(连同特征值)进行复制，并填充至对应特征点的相邻位置，若结果特征图的尺寸为m*n，则进行复制填充后得到的特征图的尺寸为2m*2n；之后，复制填充后形成的特征图进行高斯滤波，得到本级数据融合处理对应的输入特征图。
将该级数据融合处理对应的变换纹理特征数据、与对该级数据融合处理对应的输入特征图进行第一特征融合，得到该级数据融合处理的中间特征图的具体方法例如可采用下述A或B中任一种：
A：
针对多级数据融合处理中的每级数据融合处理，利用该级数据融合处理对应的变换纹理特征数据，对该级融合处理对应的卷积核进行变换，得到变换卷积核。
例如可以基于下述公式(2)，用该级数据融合处理对应的变换纹理特征数据，对该级数据融合处理对应的卷积核进行变换：
Figure BDA0003014516520000121
其中，kcij为对该级数据融合处理对应的卷积核中第c个卷积核通道中位置为(i,j)的卷积核参数；wc表示变换纹理特征数据中，与第c个卷积核通道对应的纹理特征元素；其中，卷积核的通道数量、输入特征图的通道数量、以及变换纹理特征数据中纹理特征元素的数量相同。δ为超参数，其用于避免被除数为0；k′cij表示变换卷积核中第c个卷积核通道中位置为(i,j)的卷积核参数。
利用所述变换卷积核对所述输入特征图进行卷积处理，得到该级数据融合处理的中间特征图。
此处，例如可以基于下述公式(3)，用变换卷积核对输入特征图进行卷积处理：
Figure BDA0003014516520000122
其中，fc,x+i,y+j表示输入特征图中第l个通道中位置为(x+i,y+j)的特征点的特征值；
Figure BDA0003014516520000123
表示变换卷积核的第l个通道中位置为(i,j)的卷积核参数；f′lxy表示中间特征图中第l个通道中位置为(x,y)的特征点的特征值。
通过上述过程，实现将变换纹理特征数据、和输入特征图进行第一特征融合。
这样，利用该种方式，由于是利用变换纹理特征数据对卷积核进行变换，而卷积核的数据量通常是小于输入特征图的数据量的，因此能够大量减少在变换过程中所需要处理的数据，提升数据处理效率。
B：
针对多级数据融合处理中的每级数据融合处理，利用该级数据融合处理对应的变换纹理特征数据，对该级数据融合处理对应的输入特征图进行变换，得到变换特征图；
利用该级数据融合处理对应的卷积核，对变换特征图进行卷积处理，得到该级数据融合处理对应的中间特征图。
此处，利用变换纹理特征数据对输入特征图进行变换的方式，与上述A中利用变换纹理特征数据对卷积核进行变换的方式类似，在此不再赘述。
承接上述S202，本公开实施例提供的对法向量图像、以及纹理特征数据进行多级数据融合处理的方法还包括：
S203：对该级数据融合处理的中间特征图、以及所述法向量图像进行第二特征融合，得到该级数据融合处理对应的结果特征图。
在具体实施中，在对该级数据融合处理的中间特征图和法向量图像进行第二特征融合时，例如可以计算中间特征图和法向量图像之间的乘积，可以将乘积结果矩阵直接作为该级数据融合处理对应的结果特征图。
此处，乘积结果矩阵即为结果特征图，结果特征图例如满足下述公式(4)：
f″lxy＝nxyf′lxy (4)
f′lxy表示中间特征图中第l个通道中位置为(x,y)的特征点的特征值；f″lxy表示结果特征图中第l个通道中位置为(x,y)的特征点的特征值；nxy表示法向量图像中位置为(x,y)的像素点对应的法向量的值。
另外，本公开另一实施例中，由于法向量图像的尺寸和中间特征图的尺寸可能会有所差异，因此在将法向量图像与中间特征图进行第二特征融合之前，对法向量图像进行尺寸调整，使得其尺寸能够满足与中间特征图的第二特征融合要求。示例性的，可以通过对法向量图像进行上采样或者下采样处理，以实现对其尺寸的调整，具体的调整方式，与各级数据融合处理对应的中间特征图的尺寸相关，在此不再赘述。
另一种实施例中，由于人脸的纹理特征数据无法完全表达人脸图像的所有细节，因此，本公开实施例中，为了使得最终生成的重构人脸图像更具有真实度，可以在得到乘积结果矩阵后，基于该级数据融合处理对应的乘积结果矩阵、以及该级数据融合处理的预设偏差矩阵和/或噪声矩阵，得到该级数据融合处理对应的结果特征图。
示例性的，此处的学习偏差矩阵是超参数，噪声矩阵例如为随机高斯噪声映射。
此处，在基于该级数据融合处理对应的乘积结果矩阵、以及该级数据融合处理的预设偏差矩阵和/或噪声矩阵，得到该级数据融合处理对应的结果特征图时，例如可以将该级数据融合处理对应的乘积结果矩阵、以及该级数据融合处理的预设偏差矩阵和/或噪声矩阵进行对位相加，得到该级数据融合处理对应的结果特征图。
在得到最后一级数据融合处理输出的结果特征图后，可以直接将该结果特征图中各个特征点的特征值，作为重构人脸图像中各个像素点的像素值，渲染生成重构人脸图像。
在本公开另一实施例中，本公开实施例提供的人脸头像生成方法利用预先训练好的第一目标神经网络实现。
具体地，参见图3所示，本公开示例提供一种训练第一目标神经网络的具体方法，包括：
S301：获取第一样本三维人脸模型的第一样本法向量图像、以及第一样本纹理特征数据。
此处，第一样本三维人脸模型的第一样本法向量图像和第一样本纹理特征数据的获取方式，与上述S101中，三维人脸模型的法向量图像和纹理特征数据获取方式相似，在此不再赘述。
S302：利用待训练的第一神经网络，对所述第一样本法向量图像、以及所述第一样本纹理特征数据进行数据融合处理，得到所述第一样本三维人脸模型进行重建生成的重建图像。
此处，待训练的第一神经网络生成重建图像的过程，与上述生成重构人脸图像的过程类似，在此不再赘述。
S303：基于所述重建图像，获取第一训练损失，并利用所述第一训练损失，训练所述待训练的第一神经网络，得到所述第一目标神经网络。
在具体实施中，第一训练损失，包括下述至少一种：法向量一致性损失、人脸关键点一致性损失、以及身份一致性损失。
(1)：针对所述第一训练损失包括法向量一致性损失的情况，所述基于所述重建图像，获取第一训练损失，包括：
对所述重建图像进行法向量预测处理，得到所述重建图像的预测法向量图像。
此处，在对重建图像进行法向量预测处理时，例如可以首先基于重建图像生成三维人脸模型，然后基于生成的三维人脸模型，得到重建图像的预测法向量图像。
利用所述第一样本法向量图像、和所述预测法向量图像，得到所述法向量一致性损失。
在具体实施中，给定一组第一样本法向量图像n、一组第一样本纹理特征数据z，和一组随机噪声矩阵ε，经过第一目标神经网络G输出的重建图像Iout满足下述公式(5)：
Iout＝G(n,z,ε) (5)
利用人脸法向量预测网络N预测生成Iout的法向量图像ns，若生成的Iout与第一样本三维人脸模型的一致性足够高，则Iout的法向量图像zs和第一样本三维人脸模型的第一样本法向量图像n也应当足够一致，因此，法向量一致性损失Ln满足描述公式(6)：
Ln＝||P(Iout)⊙(n-N(Iout))||1 (6)
其中，P(·)为人脸检测网络，输出人脸区域掩码，该人脸区域掩码使得法向量一致性损失只在人脸区域有效；N(·)为预训练的人脸法向量预测网络，用于预测得到Iout的法向量图像ns；⊙表示元素乘。此处，N(·)例如可以采用SfSNet(Learning Shape,Reflectance and Illuminance of Faces in the Wild)网络。
(2)：针对所述第一训练损失包括关键点一致性损失的情况，所述基于所述重建图像，获取第一训练损失，包括：
对所述第一重建图像进行关键点识别，得到所述第一重建图像的第一关键点；以及
基于所述第二重建图像进行关键点识别，得到所述第二重建图像的第二关键点；
利用所述第一关键点和所述第二关键点，得到所述关键点一致性损失。
在该实施例中，所述第一样本纹理特征数据包括：第一样本纹理特征数据以及第二样本纹理特征数据；
在具体实施中，所述重建图像，包括基于所述第一样本纹理特征数据得到的第一重建图像、以及基于所述第二样本纹理特征数据得到的第二重建图像；其中，第一重建图像和第二重建图像对应的第一样本法向量图像相同。
由于法向量图像关注的是人脸表面的一般结构，而对于人脸而言，较为关注人脸中各个关键点的位置是否对应；本公开实施例中，给定两组不同的第一样本纹理特征数据，利用两组不同的第一样本纹理特征数据和同一组第一样本法向量图像，生成第一重建图像和第二重建图像，原理上而言，生成的人脸图像和第一样本三维人脸模型之间的匹配度越高，则利用不同纹理特征数据生成的不同重建图像中的人脸关键点的位置也较为接近。因此，本公开实施例中将人脸关键点作为一个重要的约束条件，通过利用第一重建图像和第二重建图像之间的关键点一致性损失，进一步提升第一目标神经网络的精度。
其中，关键点一致性损失Lldmk例如满足下述公式(7)：
Lldmk(n,z1,z2)＝||H(G(n,z1,ε))-H(G(n,z2,ε))||2 (7)
其中，z1表示第一样本纹理特征数据；z2表示目标人脸纹理特征数据；H(·)表示对图像进行关键点识别。
(3)：针对所述第一训练损失包括身份一致性损失的情况，
所述第一样本三维人脸模型的第一样本法向量图像包括：第一样本法向量图像、以及第二样本法向量图像；
其中，所述第一样本法向量图像和所述第二样本法向量图像对应的人脸表情、和/或人脸位姿不同；
所述利用待训练的第一神经网络，对所述第一样本法向量图像、以及所述第一样本纹理特征数据进行数据融合处理，得到所述第一样本三维人脸模型进行重建生成的重建图像，包括：
利用所述待训练的第一神经网络，对所述第一样本法向量图像和所述第一样本纹理特征数据进行数据融合处理，得到所述第一样本三维人脸模型第三重建图像；以及
对利用所述待训练的第一神经网络，对所述第二样本法向量图像和所述第一样本纹理特征数据进行数据融合处理，得到所述第一样本三维人脸模型第四重建图像；
所述基于所述重建图像，获取第一训练损失，包括：
对所述第三重建图像进行身份识别，得到第一身份识别结果；以及对所述第四重建图像进行身份识别，得到第二身份识别结果；
基于所述第一身份识别结果和所述第二身份识别结果，得到所述身份一致性损失。
在具体实施中，当同一个人的人脸位姿或者人脸表情发生变化，而人脸未发生变化时，应当能够识别到人脸位姿或者人脸表情不同的图像为同一人的图像。因此，本公开实施例中，第一样本三维人脸模型的第一样本法向量图像包括：第一样本法向量图像、以及第二样本法向量图像；其中，所述第一样本法向量图像和所述第二样本法向量图像对应的人脸表情、和/或人脸位姿不同。所得到的重建图像中，包括了基于第一样本法向量图像得到的第三重建图像和基于第二样本法向量图像得到的第四重建图像，然后分别对第三重建图像和第四重建图像进行身份识别结果，然后利用两者的身份识别结果，得到身份一致性损失。
示例性的，身份一致性损失Lid例如满足下述公式(8)：
Figure BDA0003014516520000161
其中，α表示人脸形状；β1和β2分别表示不同的人脸表情；θ1和θ2分别表示不同的人脸位姿；R(·)表示对图像进行身份识别处理。
这样，利用保持z不变，使用不同表情和姿态进行生成后人脸身份一致性，即通过人脸识别得到的特征相近，完成对纹理特征数据z和表情形状参数的解藕。
(4)：针对所述第一训练损失包括对抗损失的情况，
在训练第一目标神经网络时，可以构造一个第一目标神经网络的对抗网络；在训练第一目标神经网络的过程中，利用待训练的待训练的第一神经网络预测得到的重建图像，作为对抗网络的输入，利用对抗网络预测重建图像的真实度；对抗网络产生的损失，即对抗损失Ladv。
这样引入对抗损失Ladv作为对第一目标神经网络进行训练的第一损失中的一部分损失，提升第一目标神经网络产生的重构人脸图像的真实度。
在本公开一实施例中，针对本公开实施例提供的第一损失包括上述法向量一致性损失、人脸关键点一致性损失、以及身份一致性损失、对抗损失中多种损失的情况，可以对多种损失进行加权求和，作为第一损失。
示例性的，在训练得到第一目标神经网络时的损失LGAR满足下述公式(9)：
LGAR＝λnLn+λldmkLldmk+λidLid+λadvLadv (9)
其中，λ表示相应损失的权值。
参见图4所示，本公开实施例还提供一种第一目标神经网络GAR的具体结构的示例，第一目标神经网络GAR包括：N个渲染块。
第一全连接网络：用于对纹理特征数据z进行第一全连接处理，得到第一中间纹理特征数据。
第二全连接网络：用于对第一中间纹理特征数据进行第二全连接处理，得到与对应渲染块对应的变换纹理特征数据w。
噪声传播模块：用于将噪声矩阵ε向各个渲染块中传播。
上采样模块，用于对法向量图像n进行尺寸调整，以将法向量调整至每个渲染块所需要的尺寸。
上述图4可以基于纹理特征数据z、法向量图像n以及噪声矩阵ε得到真实度较强的重构人脸图像。
参见图5所示，本公开示例还提供一种渲染块的具体结构，其包括：
卷积核变换模块，用于利用变换纹理特征数据w对卷积核k进行变换，得到变换卷积核k′。
上采样层：用于对上一渲染块输出的结果特征图，或者预设特征图进行上采样处理，得到当前渲染块对应的输入特征图。
卷积层：用于利用变换卷积核k′对当前渲染块对应的输入特征图进行卷积处理，得到当前渲染块对应的中间特征图。
融合模块：用于对中间特征图和法向量图像进行第二特征融合，得到融合特征图。
然后将融合特征图、噪声矩阵ε以及偏差矩阵b进行对位相加，得到当前渲染块对应的结果特征图。
下面对本公开实施例提供的三维模型生成方法加以说明。
参见图6所示，本公开实施例提供一种三维人脸模型生成方法，包括：
S601：对包括目标人脸的目标人脸图像进行三维人脸重建和纹理特征恢复，得到所述目标人脸的初始法向量图像、以及所述目标人脸的初始纹理特征数据。
S602：基于所述初始法向量图像、以及所述初始纹理特征数据，得到所述目标人脸的三维人脸模型。
本公开实施例通过基于目标人脸的目标人脸图像，预测目标人脸的初始法向量图像，然后基于初始法向量图像、以及所述初始纹理特征数据，得到目标人脸的三维人脸模型，在该方法中，由于基于初始法向量图像、以及初始纹理特征数进行人脸图像具有更高的准确度，因而所生成的目标人脸的三维人脸模型也具有更高的精度。
下面对上述S601～S602分别加以详细说明。
针对上述S601：
在对目标人脸的目标人脸图像进行三维人脸重建，得到所述目标人脸的初始法向量图像时，利用可以采用预先训练的三维模型预测网络对目标人脸图像进行处理，得到目标人脸图像的三维人脸模型，然后利用目标人脸图像的三维人脸模型，确定目标人脸的初始法向量图像。
示例性的，例如可以采用3DMM算法对目标人脸图像进行三维人脸重建。
在对包括目标人脸的目标人脸图像进行纹理特征恢复，得到所述目标人脸的初始纹理特征数据时，例如可以是利用利用预先训练的第二目标神经网络对所述目标人脸图像进行纹理特征恢复，得到所述目标人脸的初始纹理特征数据。
本公开实施例中，该第二目标神经网络例如可以是利用本公开实施例提供的第一目标神经网络训练得到。
在具体实施中，在训练该第二目标神经网络时，例如可以和对抗的第一目标神经网络采用耦合训练的方式得到。例如，可以将第二目标神经网络的网络结构设计为第一目标神经网络的逆结构，也即，在第二目标神经网络中包括多个逆渲染块；在每个逆渲染块中，利用卷积层替代第一目标神经网络中各个渲染块中的上采样层，利用上采样层替代渲染块中的卷积层，每个逆渲染块都能够输出与一输出特征图；利用各级逆渲染块的输出特征图，得到预测的初始纹理特征数据。
第二目标神经网络中，各个网络层的输出特征图，与第一目标神经网络对应的网络层的输入特征图的尺寸相同。
在利用第二目标神经网络恢复目标人脸图像的初始纹理特征数据时，例如可以获取第二目标神经网络中各个逆渲染块的输出特征图；然后针对每个逆渲染块，计算该逆渲染块的输出特征图中特征点特征值的均值和方差；然后将各个逆渲染块对应的均值和方差进行组合，得到目标特征图，利用全连接网络对该目标特征图进行全连接处理，得到初始纹理特征数据。
本公开实施例还提供一种训练第二目标神经网络的具体方法，包括：
利用第一目标神经网络，对样本三维人脸模型的第二样本法向量图像、以及第二样本纹理特征数据进行处理，得到样本三维人脸模型的样本人脸图像；
利用待训练的第二神经网络对所述样本人脸图像进行处理，得到所述样本人脸图像对应的预测纹理特征数据；
基于所述预测纹理特征数据、以及所述第二样本纹理特征数据，确定第三损失；
基于所述第三损失，训练所述待训练的第二神经网络，得到第二目标神经网络。
此处，预测纹理特征数据的获取方式，与初始纹理特征数据的获取方式类似，在此不再赘述。
示例性的，在训练第二目标神经网络时，其第三损失的损失函数例如满足下述公式(10)：
Figure BDA0003014516520000181
其中，R表示第二目标神经网络；Iout表示第一目标神经网络的输出；其满足：Iout＝G(n,z,ε)；在训练第二目标神经网络时，Iout用作输入至待训练的第二目标神经网络的样本人脸图像。Ri(Iout)表示第二目标神经网络的第i个逆渲染块的输出特征图；Gi表示第一目标神经网络的第i个渲染块的输入纹理特征数据w；μ和σ分别表示均值和标准方差。
MLP([μ(Ri(Iout))；σ(Ri(Iout))])表示对利用全连接层MLP对该目标特征图进行全连接处理，得到的预测纹理特征数据；z表示第二样本纹理特征数据；Gi(n,z,θ)表示第一目标神经网络的第i个渲染块输出的结果特征图；Ri(Iout)表示第二目标神经网络(待训练)的第i个逆渲染块输出的输出特征图。
在训练得到第二目标神经网络后，即可以利用该第二目标神经网络对目标人脸图像进行处理，得到目标人脸图像对应的初始法向量图像、以及初始纹理特征数据
针对上述S602：在基于所述初始法向量图像、以及所述初始纹理特征数据，得到所述目标人脸的三维人脸模型时，例如可以采用下述方式：
将所述初始法向量图像作为当前法向量图像、以及将所述初始纹理特征数据作为当前纹理特征数据，
基于所述当前法向量图像、以及所述当前纹理特征数据，生成当前重构人脸图像。
此处，在基于所述当前法向量图像、以及所述当前纹理特征数据，生成当前重构人脸图像时，例如可以将当前法向量图像作为法向量图像、以及将所述当前纹理特征数据作为纹理特征数据，利用本公开任一实施例提供的人脸图像生成方法，生成重构人脸图像；将所述重构人脸图像作为基于所述当前法向量图像和所述当前重构人脸图像生成的所述当前重构人脸图像。
具体可参见上述图1～图5对应的实施例所示，在此不再赘述。
基于所述目标人脸图像、以及所述当前重构人脸图像，对所述当前法向量进行调整，得到所述目标人脸的目标法向量图像。
此处，执行下述迭代过程，直至所述第二损失小于预设的损失阈值：
基于所述目标人脸图像、以及所述当前重构人脸图像，得到第二损失；
利用所述第二损失对所述当前法向量图像、以及所述当前纹理特征数据进行调整得到新的法向量图像、以及新的纹理特征数据；
将所述新的法向量图像作为当前法向量图像，以及将所述新的纹理特征数据作为当前纹理特征数据，返回至基于所述当前法向量图像、以及所述当前纹理特征数据，生成当前重构人脸图像的步骤。
在第二损失小于预设的损失阈值后，将最后一次迭代过程中的当前法向量图像作为所述目标法向量图像。
在得到目标法向量图像后，即可以利用目标法向量图像生成所述目标人脸的三维人脸模型。
在上述实施例中，第二损失例如包括：像素一致性损失和/或分类特征一致性损失。
其中，在第二损失包括像素一致性损失的情况下，例如计算当前重构人脸图像的像素值、与目标人脸图像的像素值的差值，并对差值计算L2范数，并基于L2范数的结果确定像素一致性损失。
在第二损失包括分类特征一致性损失的情况下，例如可以利用预先训练的图像分类网络对所述目标人脸图像进行分类处理，得到所述图像分类网络的目标网络层输出的第一特征数据；以及
利用所述图像分类网络对所述当前重构人脸图像进行分类处理，得到所述目标网络层输出的第二特征数据；
基于所述第一特征数据和所述第二特征数据，得到所述分类特征一致性损失；其中，所述图像分类网络利用所述目标人脸图像和所述当前重构人脸图像训练得到。
目标网络层的具体位置可以根据实际的情况确定，示例性的，目标网络层例如为图像分类网络中第1～第5层网络层。
示例性的，第二损失的损失函数例如满足下述公式(11)：
Figure BDA0003014516520000201
其中，其中，G表示第一目标神经网络；
Figure BDA0003014516520000202
是利用α,β,θ生成的法向量图像；其中，α,β,θ含义同上述公式(8)；It表示目标人脸图像；
Figure BDA0003014516520000203
表示像素一致性损失；F表示利用目标人脸图像和当前重构人脸图像训练的分类网络；Fi表示分类网络的第i个网络层输出的特征数据；
Figure BDA0003014516520000204
表示分类特征一致性损失；λn表示正则化项对随机噪声的权重；最小化上述第二损失Lf，得到优化的几何参数α、β和θ。基于优化后的几何参数α、β和θ，即可确定目标人脸的目标法向量图像。
这样，通过将目标人脸图像和当前重构人脸图像在分类特征上保持一致，以作为优化过程的监督，得到的三维人脸模型与目标人脸之间的匹配度更高，因此三维人脸模型具有更高的精度。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与人脸图像生成方法对应的人脸图像生成装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述人脸图像生成方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图7所示，为本公开实施例提供的一种人脸图像生成装置的示意图，所述装置包括：
第一获取模块71，用于获取法向量图像、以及纹理特征数据；其中，所述法向量图像中每个像素点的像素值表征与所述法向量图像对应的三维人脸模型中与该像素点对应的模型顶点的法向量的值；
第一处理模块72，用于对所述法向量图像、以及所述纹理特征数据进行多级数据融合处理，得到重构人脸图像。
一种可能的实施方式中，所述第一处理模块72，在对所述法向量图像、以及所述纹理特征数据进行多级数据融合处理，得到重构人脸图像时，用于：对所述纹理特征数据进行特征变换，得到多级数据融合处理分别对应的变换纹理特征数据；针对多级数据融合处理中的每级数据融合处理，将该级数据融合处理对应的变换纹理特征数据、与对该级数据融合处理对应的输入特征图进行第一特征融合，得到该级数据融合处理的中间特征图；对该级数据融合处理的中间特征图、以及所述法向量图像进行第二特征融合，得到该级数据融合处理对应的结果特征图；基于最后一级数据融合处理对应结果特征图，得到所述重构人脸图像。
一种可能的实施方式中，所述第一处理模块72，对所述纹理特征数据进行特征变换，得到多级数据融合处理分别对应的变换纹理特征数据时，用于：对所述纹理特征数据进行第一全连接处理，得到第一中间纹理特征数据；对所述第一中间纹理特征数据进行多次第二全连接处理，得到所述多级数据融合处理分别对应的变换纹理特征数据；其中，不同第二全连接处理的全连接参数不同。
一种可能的实施方式中，所述第一处理模块72，在针对多级数据融合处理中的每级数据融合处理，将该级数据融合处理对应的变换纹理特征数据、与对该级数据融合处理对应的输入特征图进行第一特征融合，得到该级数据融合处理的中间特征图之前，还用于：针对该级数据融合处理为第一级数据融合处理的情况，对预设特征图进行上采样，得到该级数据融合处理对应的输入特征图；针对该级数据融合处理为非第一级数据融合处理的情况，对该级数据融合处理的上一级融合处理输出的结果特征图进行上采样，得到该级数据融合处理对应的输入特征图。
一种可能的实施方式中，所述第一处理模块72，在针对多级数据融合处理中的每级数据融合处理，将该级数据融合处理对应的变换纹理特征数据、与对该级数据融合处理对应的输入特征图进行第一特征融合，得到该级数据融合处理的中间特征图时，用于：针对多级数据融合处理中的每级数据融合处理，利用该级数据融合处理对应的变换纹理特征数据，对该级融合处理对应的卷积核进行变换，得到变换卷积核；利用所述变换卷积核对所述输入特征图进行卷积处理，得到该级数据融合处理的中间特征图。
一种可能的实施方式中，所述第一处理模块72，在针对多级数据融合处理中的每级数据融合处理，将该级数据融合处理对应的变换纹理特征数据、与对该级数据融合处理对应的输入特征图进行第一特征融合，得到该级数据融合处理的中间特征图时，用于：针对多级数据融合处理中的每级数据融合处理，利用该级数据融合处理对应的变换纹理特征数据，对该级融合处理对应的输入特征图进行变换，得到变换特征图；利用该级数据融合处理对应的卷积核，对变换特征图进行卷积处理，得到该级数据融合处理对应的中间特征图。
一种可能的实施方式中，所述第一处理模块72，在对该级数据融合处理的中间特征图、以及所述法向量图像进行第二特征融合，得到该级数据融合处理对应的结果特征图时，用于：确定该级数据融合处理的中间特征图、以及所述法向量图像的乘积结果矩阵；基于所述乘积结果矩阵确定该级数据融合处理对应的结果特征图。
一种可能的实施方式中，所述第一处理模块72，在基于所述乘积结果矩阵确定该级数据融合处理对应的结果特征图时，用于：基于该级数据融合处理对应的乘积结果矩阵、以及该级数据融合处理的预设偏差矩阵和/或噪声矩阵，得到该级数据融合处理对应的结果特征图。
一种可能的实施方式中，所述第一处理模块72，在基于该级数据融合处理对应的乘积结果矩阵、以及该级数据融合处理的预设偏差矩阵和/或噪声矩阵，得到该级数据融合处理对应的结果特征图时，用于：将该级数据融合处理对应的乘积结果矩阵、以及该级数据融合处理的预设偏差矩阵和/或噪声矩阵进行对位相加，得到该级数据融合处理对应的结果特征图。
一种可能的实施方式中，所述人脸图像生成方法通过预先训练好的第一目标神经网络实现。
一种可能的实施方式中，还包括：第一训练模块73，用于采用下述方法得到所述第一目标神经网络：获取第一样本三维人脸模型的第一样本法向量图像、以及第一样本纹理特征数据；利用待训练的第一神经网络，对所述第一样本法向量图像、以及所述第一样本纹理特征数据进行数据融合处理，得到所述第一样本三维人脸模型的重建图像；基于所述重建图像，获取第一训练损失，并利用所述第一训练损失，训练所述待训练的第一神经网络，得到所述第一目标神经网络。
一种可能的实施方式中，所述第一训练损失包括下述至少一种：法向量一致性损失、人脸关键点一致性损失、身份一致性损失以及对抗损失。
一种可能的实施方式中，所述第一训练损失包括法向量一致性损失，所述第一训练模块73，在基于所述重建图像，获取第一训练损失时，用于：对所述重建图像进行法向量预测处理，得到所述重建图像的预测法向量图像；利用所述第一样本法向量图像、和所述预测法向量图像，得到所述法向量一致性损失。
一种可能的实施方式中，所述第一训练损失包括关键点一致性损失，所述第一样本纹理特征数据包括：第一样本纹理特征数据以及第二样本纹理特征数据；所述重建图像，包括基于所述第一样本纹理特征数据得到的第一重建图像、以及基于所述第二样本纹理特征数据得到的第二重建图像；所述第一训练模块73，在基于所述重建图像，获取第一训练损失时，用于：对所述第一重建图像进行关键点识别，得到所述第一重建图像的第一关键点；以及基于所述第二重建图像进行关键点识别，得到所述第二重建图像的第二关键点；利用所述第一关键点和所述第二关键点，得到所述关键点一致性损失。
一种可能的实施方式中，所述第一训练损失包括身份一致性损失，所述第一样本三维人脸模型的第一样本法向量图像包括：第一样本法向量图像、以及第二样本法向量图像；其中，所述第一样本法向量图像和所述第二样本法向量图像对应的人脸表情、和/或人脸位姿不同；所述第一训练模块73，在利用待训练的第一神经网络，对所述第一样本法向量图像、以及所述第一样本纹理特征数据进行数据融合处理，得到所述第一样本三维人脸模型进行重建生成的重建图像时，用于：利用所述待训练的第一神经网络，对所述第一样本法向量图像和所述第一样本纹理特征数据进行数据融合处理，得到所述第一样本三维人脸模型第三重建图像；以及对利用所述待训练的第一神经网络，对所述第二样本法向量图像和所述第一样本纹理特征数据进行数据融合处理，得到所述第一样本三维人脸模型第四重建图像；所述第一训练模块73，在基于所述重建图像，获取第一训练损失时，用于：对所述第三重建图像进行身份识别，得到第一身份识别结果；以及对所述第四重建图像进行身份识别，得到第二身份识别结果；基于所述第一身份识别结果和所述第二身份识别结果，得到所述身份一致性损失。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
参见图8所示，本公开实施例还提供一种三维人脸模型生成装置，包括：
第二获取模块81，用于对包括目标人脸的目标人脸图像进行三维人脸重建和纹理特征恢复，得到所述目标人脸的初始法向量图像、以及所述目标人脸的初始纹理特征数据；
第二处理模块82，用于基于所述初始法向量图像、以及所述初始纹理特征数据，得到所述目标人脸的三维人脸模型。
一种可能的实施方式中，所述第二处理模块82，在基于所述初始法向量图像、以及所述初始纹理特征数据，得到所述目标人脸的三维人脸模型时，用于：将所述初始法向量图像作为当前法向量图像、以及将所述初始纹理特征数据作为当前纹理特征数据，基于所述当前法向量图像、以及所述当前纹理特征数据，生成当前重构人脸图像；基于所述目标人脸图像、以及所述当前重构人脸图像，对所述当前法向量进行调整，得到所述目标人脸的目标法向量图像；基于所述目标法向量图像，生成所述目标人脸的三维人脸模型。
一种可能的实施方式中，所述第二处理模块82，在基于所述当前法向量图像、以及所述纹理特征数据，生成重构人脸图像时，用于：将所述当前法向量图像作为法向量图像、以及将所述当前纹理特征数据作为纹理特征数据，利用第一方面任一项所述的人脸图像生成方法生成重构人脸图像；将所述重构人脸图像作为基于所述当前法向量图像和所述当前重构人脸图像生成的所述当前重构人脸图像。
一种可能的实施方式中，所述第二处理模块82，在基于所述目标人脸图像、以及所述当前重构人脸图像，对所述当前法向量进行调整，得到所述目标人脸的目标法向量图像时，用于：执行下述迭代过程，直至所述第二损失小于预设的损失阈值：基于所述目标人脸图像、以及所述当前重构人脸图像，得到第二损失；利用所述第二损失对所述当前法向量图像、以及所述当前纹理特征数据进行调整得到新的法向量图像、以及新的纹理特征数据；将所述新的法向量图像作为当前法向量图像，以及将所述新的纹理特征数据作为当前纹理特征数据，返回至基于所述当前法向量图像、以及所述当前纹理特征数据，生成当前重构人脸图像的步骤。
一种可能的实施方式中，所述第二损失，包括：像素一致性损失、和/或分类特征一致性损失。
一种可能的实施方式中，针对所述第二损失包括分类特征一致性损失的情况，所述第二处理模块82，在基于所述目标人脸图像、以及所述当前重构人脸图像，得到第二损失时，用于：利用预先训练的图像分类网络对所述目标人脸图像进行分类处理，得到所述图像分类网络的目标网络层输出的第一特征数据；以及利用所述图像分类网络对所述当前重构人脸图像进行分类处理，得到所述目标网络层输出的第二特征数据；基于所述第一特征数据和所述第二特征数据，得到所述分类特征一致性损失；其中，所述图像分类网络利用所述目标人脸图像和所述当前重构人脸图像训练得到。
一种可能的实施方式中，所述第二获取模块81，在对包括目标人脸的目标人脸图像进行纹理特征恢复，得到所述目标人脸的初始纹理特征数据时，用于：利用预先训练的第二目标神经网络对所述目标人脸图像进行纹理特征恢复，得到所述目标人脸的初始法向量图像；其中，所述第二目标神经网络利用本公开任一实施例所述的第一目标神经网络训练得到。
一种可能的实施方式中，还包括：第二训练模块83，用于采用下述方式训练所述第二目标神经网络：利用所述第一目标神经网络，对样本三维人脸模型的第二样本法向量图像、以及第二样本纹理特征数据进行处理，得到样本三维人脸模型的样本人脸图像；利用待训练的第二神经网络对所述样本人脸图像进行处理，得到所述样本人脸图像对应的预测纹理特征数据；基于所述预测纹理特征数据、以及所述第二样本纹理特征数据，确定第三损失；基于所述第三损失，训练所述待训练的第二神经网络，得到第二目标神经网络。
本公开实施例还提供了一种电子设备，如图9所示，为本公开实施例提供的电子设备结构示意图，包括：
处理器91和存储器92；所述存储器92存储有处理器91可执行的机器可读指令，处理器91用于执行存储器92中存储的机器可读指令，所述机器可读指令被处理器91执行时，处理器91执行下述步骤：
获取法向量图像、以及纹理特征数据；其中，所述法向量图像中每个像素点的像素值表征与所述法向量图像对应的三维人脸模型中与该像素点对应的模型顶点的法向量的值；
对所述法向量图像、以及所述纹理特征数据进行多级数据融合处理，得到重构人脸图像。
或执行下述步骤：对包括目标人脸的目标人脸图像进行三维人脸重建和纹理特征恢复，得到所述目标人脸的初始法向量图像、以及所述目标人脸的初始纹理特征数据；
基于所述初始法向量图像、以及所述初始纹理特征数据，得到所述目标人脸的三维人脸模型。
上述存储器92包括内存921和外部存储器922；这里的内存921也称内存储器，用于暂时存放处理器91中的运算数据，以及与硬盘等外部存储器922交换的数据，处理器91通过内存921与外部存储器922进行数据交换。
上述指令的具体执行过程可以参考本公开实施例中所述的人脸图像生成方法或三维人脸模型生成方法的步骤，此处不再赘述。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的人脸图像生成方法或三维人脸模型生成方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的人脸图像生成方法或三维人脸模型生成方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (27)

1.一种人脸图像生成方法，其特征在于，包括：
获取法向量图像、以及纹理特征数据；其中，所述法向量图像中每个像素点的像素值表征与所述法向量图像对应的三维人脸模型中与该像素点对应的模型顶点的法向量的值；
对所述法向量图像、以及所述纹理特征数据进行多级数据融合处理，得到重构人脸图像。
2.根据权利要求1所述的人脸图像生成方法，其特征在于，所述对所述法向量图像、以及所述纹理特征数据进行多级数据融合处理，得到重构人脸图像，包括：
对所述纹理特征数据进行特征变换，得到所述多级数据融合处理分别对应的变换纹理特征数据；
针对所述多级数据融合处理中的每级数据融合处理，将该级数据融合处理对应的变换纹理特征数据、与对该级数据融合处理对应的输入特征图进行第一特征融合，得到该级数据融合处理的中间特征图；
对该级数据融合处理的中间特征图、以及所述法向量图像进行第二特征融合，得到该级数据融合处理对应的结果特征图；
基于最后一级数据融合处理对应结果特征图，得到所述重构人脸图像。
3.根据权利要求2所述的人脸图像生成方法，其特征在于，所述对所述纹理特征数据进行特征变换，得到多级数据融合处理分别对应的变换纹理特征数据，包括：
对所述纹理特征数据进行第一全连接处理，得到第一中间纹理特征数据；
对所述第一中间纹理特征数据进行多次第二全连接处理，得到所述多级数据融合处理分别对应的变换纹理特征数据；其中，不同第二全连接处理的全连接参数不同。
4.根据权利要求2或3所述的人脸图像生成方法，其特征在于，所述针对所述多级数据融合处理中的每级数据融合处理，将该级数据融合处理对应的变换纹理特征数据、与对该级数据融合处理对应的输入特征图进行第一特征融合，得到该级数据融合处理的中间特征图之前，还包括：
针对该级数据融合处理为第一级数据融合处理的情况，对预设特征图进行上采样，得到该级数据融合处理对应的输入特征图；
针对该级数据融合处理为非第一级数据融合处理的情况，对该级数据融合处理的上一级数据融合处理输出的结果特征图进行上采样，得到该级数据融合处理对应的输入特征图。
5.根据权利要求2-4任一项所述的人脸图像生成方法，其特征在于，所述针对所述多级数据融合处理中的每级数据融合处理，将该级数据融合处理对应的变换纹理特征数据、与对该级数据融合处理对应的输入特征图进行第一特征融合，得到该级数据融合处理的中间特征图，包括：
针对所述多级数据融合处理中的每级数据融合处理，利用该级数据融合处理对应的变换纹理特征数据，对该级融合处理对应的卷积核进行变换，得到变换卷积核；
利用所述变换卷积核对所述输入特征图进行卷积处理，得到该级数据融合处理的中间特征图。
6.根据权利要求2-5任一项所述的人脸图像生成方法，其特征在于，所述针对所述多级数据融合处理中的每级数据融合处理，将该级数据融合处理对应的变换纹理特征数据、与对该级数据融合处理对应的输入特征图进行第一特征融合，得到该级数据融合处理的中间特征图，包括：
针对所述多级数据融合处理中的每级数据融合处理，利用该级数据融合处理对应的变换纹理特征数据，对该级融合处理对应的输入特征图进行变换，得到变换特征图；
利用该级数据融合处理对应的卷积核，对所述变换特征图进行卷积处理，得到该级数据融合处理对应的中间特征图。
7.根据权利要求2-6任一项所述的人脸图像生成方法，其特征在于，所述对该级数据融合处理的中间特征图、以及所述法向量图像进行第二特征融合，得到该级数据融合处理对应的结果特征图，包括：
确定该级数据融合处理的中间特征图、以及所述法向量图像的乘积结果矩阵；
基于所述乘积结果矩阵确定该级数据融合处理对应的结果特征图。
8.根据权利要求7所述的人脸图像生成方法，其特征在于，所述基于所述乘积结果矩阵确定该级数据融合处理对应的结果特征图，包括：
基于该级数据融合处理对应的乘积结果矩阵、以及该级数据融合处理的预设偏差矩阵和/或噪声矩阵，得到该级数据融合处理对应的结果特征图。
9.根据权利要求8所述的人脸图像生成方法，其特征在于，所述基于该级数据融合处理对应的乘积结果矩阵、以及该级数据融合处理的预设偏差矩阵和/或噪声矩阵，得到该级数据融合处理对应的结果特征图，包括：
将该级数据融合处理对应的乘积结果矩阵、以及该级数据融合处理的预设偏差矩阵和/或噪声矩阵进行对位相加，得到该级数据融合处理对应的结果特征图。
10.根据权利要求1-9任一项所述的人脸图像生成方法，其特征在于，所述人脸图像生成方法通过预先训练好的第一目标神经网络实现。
11.根据权利要求10所述的人脸图像生成方法，其特征在于，采用下述方式得到所述第一目标神经网络：
获取第一样本三维人脸模型的第一样本法向量图像、以及第一样本纹理特征数据；
利用待训练的第一神经网络，对所述第一样本法向量图像、以及所述第一样本纹理特征数据进行数据融合处理，得到所述第一样本三维人脸模型的重建图像；
基于所述重建图像，获取第一训练损失，并利用所述第一训练损失，训练所述待训练的第一神经网络，得到所述第一目标神经网络。
12.根据权利要求11所述的人脸图像生成方法，其特征在于，所述第一训练损失包括下述至少一种：法向量一致性损失、人脸关键点一致性损失、身份一致性损失以及对抗损失。
13.根据权利要求12所述的人脸图像生成方法，其特征在于，所述第一训练损失包括法向量一致性损失，所述基于所述重建图像，获取第一训练损失，包括：
对所述重建图像进行法向量预测处理，得到所述重建图像的预测法向量图像；
利用所述第一样本法向量图像、和所述预测法向量图像，得到所述法向量一致性损失。
14.根据权利要求12或13所述的人脸图像生成方法，其特征在于，所述第一训练损失包括关键点一致性损失，所述第一样本纹理特征数据包括：第一样本纹理特征数据以及第二样本纹理特征数据；所述重建图像，包括基于所述第一样本纹理特征数据得到的第一重建图像、以及基于所述第二样本纹理特征数据得到的第二重建图像；
所述基于所述重建图像，获取第一训练损失，包括：
对所述第一重建图像进行关键点识别，得到所述第一重建图像的第一关键点；
基于所述第二重建图像进行关键点识别，得到所述第二重建图像的第二关键点；
利用所述第一关键点和所述第二关键点，得到所述关键点一致性损失。
15.根据权利要求12-14任一项所述的人脸图像生成方法，其特征在于，所述第一训练损失包括身份一致性损失，所述第一样本三维人脸模型的第一样本法向量图像包括：第一样本法向量图像、以及第二样本法向量图像；所述第一样本法向量图像和所述第二样本法向量图像对应的人脸表情和/或人脸位姿不同；
所述利用待训练的第一神经网络，对所述第一样本法向量图像、以及所述第一样本纹理特征数据进行数据融合处理，得到所述第一样本三维人脸模型进行重建生成的重建图像，包括：
利用所述待训练的第一神经网络，对所述第一样本法向量图像和所述第一样本纹理特征数据进行数据融合处理，得到所述第一样本三维人脸模型的第三重建图像；以及
对利用所述待训练的第一神经网络，对所述第二样本法向量图像和所述第一样本纹理特征数据进行数据融合处理，得到所述第一样本三维人脸模型的第四重建图像；
所述基于所述重建图像，获取第一训练损失，包括：
对所述第三重建图像进行身份识别，得到第一身份识别结果；以及对所述第四重建图像进行身份识别，得到第二身份识别结果；
基于所述第一身份识别结果和所述第二身份识别结果，得到所述身份一致性损失。
16.一种三维人脸模型生成方法，其特征在于，包括：
对目标人脸图像进行三维人脸重建和纹理特征恢复，得到目标人脸的初始法向量图像、以及所述目标人脸的初始纹理特征数据；
基于所述初始法向量图像、以及所述初始纹理特征数据，得到所述目标人脸的三维人脸模型。
17.根据权利要求16所述的三维人脸模型生成方法，其特征在于，所述基于所述初始法向量图像、以及所述初始纹理特征数据，得到所述目标人脸的三维人脸模型，包括：
将所述初始法向量图像作为当前法向量图像、以及将所述初始纹理特征数据作为当前纹理特征数据，
基于所述当前法向量图像、以及所述当前纹理特征数据，生成当前重构人脸图像；
基于所述目标人脸图像、以及所述当前重构人脸图像，对所述当前法向量图像进行调整，得到所述目标人脸的目标法向量图像；
基于所述目标法向量图像，生成所述目标人脸的三维人脸模型。
18.根据权利要求17所述的三维人脸模型生成方法，其特征在于，所述基于所述当前法向量图像、以及所述纹理特征数据，生成重构人脸图像，包括：
将所述当前法向量图像作为法向量图像、以及将所述当前纹理特征数据作为纹理特征数据，利用权利要求1-15任一项所述的人脸图像生成方法生成重构人脸图像；
将所述重构人脸图像作为基于所述当前法向量图像和所述当前重构人脸图像生成的所述当前重构人脸图像。
19.根据权利要求17或18所述的三维人脸模型生成方法，其特征在于，所述基于所述目标人脸图像、以及所述当前重构人脸图像，对所述当前法向量图像进行调整，得到所述目标人脸的目标法向量图像，包括：
执行下述迭代过程，直至所述第二损失小于预设的损失阈值：
基于所述目标人脸图像、以及所述当前重构人脸图像，得到第二损失；
利用所述第二损失对所述当前法向量图像、以及所述当前纹理特征数据进行调整得到新的法向量图像、以及新的纹理特征数据；
将所述新的法向量图像作为当前法向量图像，以及将所述新的纹理特征数据作为当前纹理特征数据，返回至基于所述当前法向量图像、以及所述当前纹理特征数据，生成当前重构人脸图像的步骤；
将最后一次迭代过程中的当前法向量图像作为所述目标法向量图像。
20.根据权利要求19所述的人脸模型生成方法，其特征在于，所述第二损失，包括：像素一致性损失、和/或分类特征一致性损失。
21.根据权利要求20所述的人脸模型生成方法，其特征在于，所述第二损失包括分类特征一致性损失，所述基于所述目标人脸图像、以及所述当前重构人脸图像，得到第二损失，包括：
利用预先训练的图像分类网络对所述目标人脸图像进行分类处理，得到所述图像分类网络的目标网络层输出的第一特征数据；以及
利用所述图像分类网络对所述当前重构人脸图像进行分类处理，得到所述目标网络层输出的第二特征数据；
基于所述第一特征数据和所述第二特征数据，得到所述分类特征一致性损失；
其中，所述图像分类网络利用所述目标人脸图像和所述当前重构人脸图像训练得到。
22.根据权利要求16-21任一项所述的三维人脸模型生成方法，其特征在于，对包括目标人脸的目标人脸图像进行纹理特征恢复，得到所述目标人脸的初始纹理特征数据，包括：
利用预先训练的第二目标神经网络对所述目标人脸图像进行纹理特征恢复，得到所述目标人脸的初始纹理特征数据；
其中，所述第二目标神经网络利用权利要求11～15任一项中的第一目标神经网络训练得到。
23.根据权利要求22所述的人脸模型生成方法，其特征在于，采用下述方式训练所述第二目标神经网络：
利用所述第一目标神经网络，对样本三维人脸模型的第二样本法向量图像、以及第二样本纹理特征数据进行处理，得到样本三维人脸模型的样本人脸图像；
利用待训练的第二神经网络对所述样本人脸图像进行处理，得到所述样本人脸图像对应的预测纹理特征数据；
基于所述预测纹理特征数据、以及所述第二样本纹理特征数据，确定第三损失；
基于所述第三损失，训练所述待训练的第二神经网络，得到第二目标神经网络。
24.一种人脸图像生成装置，其特征在于，包括：
第一获取模块，用于获取法向量图像、以及纹理特征数据；其中，所述法向量图像中每个像素点的像素值表征与所述法向量图像对应的三维人脸模型中与该像素点对应的模型顶点的法向量的值；
第一处理模块，用于对所述法向量图像、以及所述纹理特征数据进行多级数据融合处理，得到重构人脸图像。
25.一种三维人脸模型生成装置，其特征在于，包括：
第二获取模块，用于对包括目标人脸的目标人脸图像进行三维人脸重建和纹理特征恢复，得到所述目标人脸的初始法向量图像、以及所述目标人脸的初始纹理特征数据；
第二处理模块，用于基于所述初始法向量图像、以及所述初始纹理特征数据，得到所述目标人脸的三维人脸模型。
26.一种电子设备，其特征在于，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述处理器执行如权利要求1至15任一项所述的人脸图像生成方法，或执行如权利要求16-23任一项所述的三维人脸模型生成方法。
27.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被电子设备运行时，所述电子设备执行如权利要求1至15任一项所述的人脸图像生成方法，或执行如权利要求16-23任一项所述的三维人脸模型生成方法。
CN202110387786.7A 2021-04-09 2021-04-09 图像生成、三维模型生成方法、装置、电子设备及介质 Pending CN112926543A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110387786.7A CN112926543A (zh) 2021-04-09 2021-04-09 图像生成、三维模型生成方法、装置、电子设备及介质
PCT/CN2021/133390 WO2022213623A1 (zh) 2021-04-09 2021-11-26 图像生成、三维人脸模型生成的方法、装置、电子设备及存储介质
TW110147533A TW202240531A (zh) 2021-04-09 2021-12-17 影像生成、三維人臉模型生成的方法、裝置、電子設備及儲存媒體

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110387786.7A CN112926543A (zh) 2021-04-09 2021-04-09 图像生成、三维模型生成方法、装置、电子设备及介质

Publications (1)

Publication Number Publication Date
CN112926543A true CN112926543A (zh) 2021-06-08

Family

ID=76174048

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110387786.7A Pending CN112926543A (zh) 2021-04-09 2021-04-09 图像生成、三维模型生成方法、装置、电子设备及介质

Country Status (3)

Country Link
CN (1) CN112926543A (zh)
TW (1) TW202240531A (zh)
WO (1) WO2022213623A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022213623A1 (zh) * 2021-04-09 2022-10-13 上海商汤智能科技有限公司 图像生成、三维人脸模型生成的方法、装置、电子设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116523414B (zh) * 2023-06-29 2023-09-05 深圳市鑫冠亚科技有限公司 一种复合镍铜散热底板的生产管理方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292234A (zh) * 2017-05-17 2017-10-24 南京邮电大学 一种基于信息边缘和多模态特征的室内场景布局估计方法
CN110428491A (zh) * 2019-06-24 2019-11-08 北京大学 基于单帧图像的三维人脸重建方法、装置、设备及介质
CN111739146A (zh) * 2019-03-25 2020-10-02 华为技术有限公司 物体三维模型重建方法及装置
WO2020199693A1 (zh) * 2019-03-29 2020-10-08 中国科学院深圳先进技术研究院 一种大姿态下的人脸识别方法、装置及设备
CN111784821A (zh) * 2020-06-30 2020-10-16 北京市商汤科技开发有限公司 三维模型生成方法、装置、计算机设备及存储介质
CN111882643A (zh) * 2020-08-10 2020-11-03 网易（杭州）网络有限公司 三维人脸构建方法、装置和电子设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104598878A (zh) * 2015-01-07 2015-05-06 深圳市唯特视科技有限公司 基于灰度和深度信息的多层融合的多模态人脸识别装置及方法
CN108229548A (zh) * 2017-12-27 2018-06-29 华为技术有限公司 一种物体检测方法及装置
CN112926543A (zh) * 2021-04-09 2021-06-08 商汤集团有限公司 图像生成、三维模型生成方法、装置、电子设备及介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292234A (zh) * 2017-05-17 2017-10-24 南京邮电大学 一种基于信息边缘和多模态特征的室内场景布局估计方法
CN111739146A (zh) * 2019-03-25 2020-10-02 华为技术有限公司 物体三维模型重建方法及装置
WO2020199693A1 (zh) * 2019-03-29 2020-10-08 中国科学院深圳先进技术研究院 一种大姿态下的人脸识别方法、装置及设备
CN110428491A (zh) * 2019-06-24 2019-11-08 北京大学 基于单帧图像的三维人脸重建方法、装置、设备及介质
CN111784821A (zh) * 2020-06-30 2020-10-16 北京市商汤科技开发有限公司 三维模型生成方法、装置、计算机设备及存储介质
CN111882643A (zh) * 2020-08-10 2020-11-03 网易（杭州）网络有限公司 三维人脸构建方法、装置和电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022213623A1 (zh) * 2021-04-09 2022-10-13 上海商汤智能科技有限公司 图像生成、三维人脸模型生成的方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2022213623A1 (zh) 2022-10-13
TW202240531A (zh) 2022-10-16

Similar Documents

Publication Publication Date Title
US11501415B2 (en) Method and system for high-resolution image inpainting
Chen et al. Point-based multi-view stereo network
CN111784821B (zh) 三维模型生成方法、装置、计算机设备及存储介质
US11232286B2 (en) Method and apparatus for generating face rotation image
Gu et al. Learning dynamic guidance for depth image enhancement
CN112001914A (zh) 深度图像补全的方法和装置
CN112396645B (zh) 一种基于卷积残差学习的单目图像深度估计方法和系统
CN111598111B (zh) 三维模型生成方法、装置、计算机设备及存储介质
CN112215050A (zh) 非线性3dmm人脸重建和姿态归一化方法、装置、介质及设备
CN106548159A (zh) 基于全卷积神经网络的网纹人脸图像识别方法与装置
EP3971840A1 (en) Three-dimensional model generation method, neural network generation method, and devices
Shen et al. Exploiting semantics for face image deblurring
CN113256529B (zh) 图像处理方法、装置、计算机设备及存储介质
US20230169727A1 (en) Generative Nonlinear Human Shape Models
CN112926543A (zh) 图像生成、三维模型生成方法、装置、电子设备及介质
CN113962858A (zh) 一种多视角深度获取方法
WO2023071806A1 (zh) 先验空间的生成方法、装置、计算机设备、存储介质、计算机程序及计算机程序产品
CN115830241A (zh) 一种基于神经网络的真实感三维人脸纹理重建方法
CN114170290A (zh) 图像的处理方法及相关设备
CN117894038A (zh) 一种图像中对象姿态生成方法和装置
Kumar et al. Accurate structure recovery via weighted nuclear norm: A low rank approach to shape-from-focus
CN114078149A (zh) 一种图像估计方法、电子设备及存储介质
Lee et al. Holistic 3D face and head reconstruction with geometric details from a single image
Shiralkar et al. A self-organization based optical flow estimator with GPU implementation
CN112184611A (zh) 图像生成模型训练方法以及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40049926

Country of ref document: HK