CN115984947A - 图像生成方法、训练方法、装置、电子设备以及存储介质 - Google Patents

Abstract

本申请提供了图像生成方法、训练方法、装置、电子设备以及存储介质，涉及数据处理技术领域，尤其涉及深度学习技术领域和计算机视觉技术领域。具体实现方案为：对表征待处理对象的目标面部属性参数进行图像渲染，得到中间图像，其中，目标面部属性参数为基于目标风格属性参数，对表征待处理对象的初始面部属性参数进行更新后得到的；对中间图像进行编码，得到中间图像编码信息；以及根据中间图像编码信息生成目标图像。

Description

图像生成方法、训练方法、装置、电子设备以及存储介质

技术领域

本申请涉及数据处理技术领域，尤其涉及深度学习技术领域和计算机视觉技术领域。

背景技术

随着科技的快速发展，在影视产品、游戏动画等场景中，相关产品制作人员可以利用人工智能算法等图像处理技术来构建多样化的图片、视频等图像信息。例如可以将多样化的风格迁移至原图像人物中生成重建后的图像，以满足影视制作等应用场景中的多样化需求。因此提升所生成的图像的精确度具有十分重要的意义。

发明内容

本申请提供了一种图像生成方法、训练方法、装置、电子设备、存储介质以及程序产品。

根据本申请的一方面，提供了一种图像生成方法，包括：对表征待处理对象的目标面部属性参数进行图像渲染，得到中间图像，其中，所述目标面部属性参数为基于目标风格属性参数，对表征所述待处理对象的初始面部属性参数进行更新后得到的；对所述中间图像进行编码，得到中间图像编码信息；以及根据所述中间图像编码信息生成目标图像。

根据本申请的另一方面，提供了一种深度学习模型的训练方法，包括：获取训练样本，其中，所述训练样本包括样本数据和样本标签，所述样本数据包括表征样本待处理对象的样本初始面部属性参数，所述样本标签为与所述样本初始面部属性参数对应的样本标签图像；对所述样本初始面部属性参数进行图像渲染，得到样本中间图像；以及利用所述样本中间图像和所述样本标签图像训练初始深度学习模型，得到训练后的深度学习模型。

根据本申请的另一方面，提供了一种图像生成装置，包括：图像渲染模块，用于对表征待处理对象的目标面部属性参数进行图像渲染，得到中间图像，其中，所述目标面部属性参数为基于目标风格属性参数，对表征所述待处理对象的初始面部属性参数进行更新后得到的；编码模块，用于对所述中间图像进行编码，得到中间图像编码信息；以及目标图像生成模块，用于根据所述中间图像编码信息生成目标图像。

根据本申请的另一方面，提供了一种深度学习模型的训练装置，包括：训练样本获取模块，用于获取训练样本，其中，所述训练样本包括样本数据和样本标签，所述样本数据包括表征样本待处理对象的样本初始面部属性参数，所述样本标签为与所述样本初始面部属性参数对应的样本标签图像；样本中间图像渲染模块，用于对所述样本初始面部属性参数进行图像渲染，得到样本中间图像；以及训练模块，用于利用所述样本中间图像和所述样本标签图像训练初始深度学习模型，得到训练后的深度学习模型。

根据本申请的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。

根据本申请的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行如上所述的方法。

根据本申请的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的方法。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。

图1示意性示出了根据本申请实施例的可以应用图像生成方法及装置的示例性系统架构。

图2示意性示出了根据本申请实施例的图像生成方法的流程图。

图3示意性示出了根据本申请实施例的图像生成方法的应用场景图。

图4示意性示出了根据本申请实施例的深度学习模型的训练方法的流程图。

图5示意性示出了根据本申请实施例的利用样本中间图像和样本标签图像训练初始深度学习模型的流程图。

图6示意性示出了根据本申请实施例的深度学习模型的训练方法的应用场景图。

图7示意性示出了根据本申请实施例的图像生成装置的框图。

图8示意性示出了根据本申请实施例的深度学习模型的训练装置的框图。

图9示出了可以用来实施本申请的实施例的示例电子设备的示意性框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在本申请的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。相应地，在对所涉及的用户个人信息的获取之前，均已向用户告知所需获取的信息的用途，并获取到用户的授权后获取所涉及的信息。

在实现本申请的发明构思过程中，发明人发现相关技术中用于生成重建后的人物图像的方法需要依赖大量的训练数据，且生成的人物图像精度较低，难以满足影视产品制作等实际应用场景中的需求。

本申请提供了图像生成方法、训练方法、装置、电子设备、存储介质以及程序产品。

根据本申请的实施例，图像生成方法包括：对表征待处理对象的目标面部属性参数进行图像渲染，得到中间图像，其中，目标面部属性参数为基于目标风格属性参数，对表征待处理对象的初始面部属性参数进行更新后得到的；对中间图像进行编码，得到中间图像编码信息；以及根据中间图像编码信息生成目标图像。

根据本申请的实施例，通过根据目标面部属性参数进行图像渲染，并对得到的中间图像进行编码，可以使得到的中间图像编码信息较为精准地保留目标面部属性参数中关于面部属性的特征信息，解决相关技术中生成的图像存在面部属性信息丢失的技术问题，从而根据中间图像编码信息生成的目标图像，能够较为精确地表征待处理对象与目标风格属性参数相对应的面部风格属性，提升目标图像的图像精度，实现提升图像中面部展示效果生动程度的技术效果。

图1示意性示出了根据本申请实施例的可以应用图像生成方法及装置的示例性系统架构。

需要注意的是，图1所示仅为可以应用本申请实施例的系统架构的示例，以帮助本领域技术人员理解本申请的技术内容，但并不意味着本申请实施例不可以用于其他设备、系统、环境或场景。例如，在另一实施例中，可以应用图像生成方法及装置的示例性系统架构可以包括终端设备，但终端设备可以无需与服务器进行交互，即可实现本申请实施例提供的图像生成方法及装置。

如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如知识阅读类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等（仅为示例）。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的内容提供支持的后台管理服务器（仅为示例）。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果（例如根据用户请求获取或生成的网页、信息、或数据等）反馈给终端设备。

需要说明的是，本申请实施例所提供的图像生成方法一般可以由终端设备101、102、或103执行。相应地，本申请实施例所提供的图像生成装置也可以设置于终端设备101、102、或103中。

或者，本申请实施例所提供的图像生成方法一般也可以由服务器105执行。相应地，本申请实施例所提供的图像生成装置一般可以设置于服务器105中。本申请实施例所提供的图像生成方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本申请实施例所提供的图像生成装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

图2示意性示出了根据本申请实施例的图像生成方法的流程图。

如图2所示，该图像生成方法包括操作S210~S230。

在操作S210，对表征待处理对象的目标面部属性参数进行图像渲染，得到中间图像，其中，目标面部属性参数为基于目标风格属性参数，对表征待处理对象的初始面部属性参数进行更新后得到的。

在操作S220，对中间图像进行编码，得到中间图像编码信息。

在操作S230，根据中间图像编码信息生成目标图像。

根据本申请的实施例，待处理对象可以包括任意类型的生物对象，例如成年人、宠物猫等。但不仅局限于此，待处理对象还可以包括虚拟对象，例如卡通人物、卡通动物等。本申请的实施例对待处理对象的具体类型不做限定，本领域技术人员可以根据实际需求进行选择。

根据本申请的实施例，初始面部属性参数可以是能够表征待处理对象的身份、表情等面部属性特征的参数信息。初始面部属性参数可以是对能够表征待处理对象的面部特征信息的数据进行检测后得到的。例如可以对记录有待处理对象的图像进行检测后得到初始面部属性参数，但不仅限于此，还可以对音频数据、文本数据等任意类型的数据进行检测后生成初始面部属性参数，或者还可以是通过人工录入的方式来获取到初始面部属性参数。本申请的实施例对获取到初始面部属性参数的具体方式不做限定，本领域技术人员可以根据实际需求进行选择。

根据本申请的实施例，目标风格属性参数可以包括表征表情属性、姿态属性等任意类型的风格属性的参数信息。目标面部属性参数可以是通过目标风格属性参数更新初始面部属性参数对应的风格属性参数后生成的，因此目标面部属性参数可以融合目标风格属性参数对应的风格属性特性的同时，保留能够精确表征待处理对象的面部属性特性的面部属性参数，避免面部属性参数丢失。

需要说明的是，目标风格属性参数也可以基于图像检测方法、音频检测方法、文本数据检测方法、人工录入等与获取到初始面部属性参数相同或相似的方法提取得到，本申请的实施例对目标风格属性参数的提取方法或获取方式不做限定。

根据本申请的实施例，可以基于相关技术中任意的图像渲染方法来得到中间图像，例如可以基于图像渲染引擎来实现图像渲染，或者还可以基于神经网络算法构建的图像生成模型来渲染得到中间图像。本申请的实施例对得到中间图像的渲染方法不做限定，本领域技术人员可以根据实际需求进行选择。

需要说明的是，中间图像可以包括任意类型的图像信息，例如二维图像，或者还可以包括三维图像。本申请的实施例对中间图像的具体类型不做限定，本领域技术人员可以根据实际需求进行选择。

根据本申请的实施例，对中间图像编码信息可以包括记载有能够表征待处理对象的目标面部属性参数的数据，中间图像编码信息的数据类型例如可以是编码向量等。

根据本申请的实施例，可以基于相关技术中的图像生成算法来生成目标图像，例如可以基于SAGAN（Self-Attention Generative Adversarial Networks）等深度学习算法来生成目标图像，但不仅限于此，还可以基于其他类型的深度学习算法，例如扩散模型（Diffusion Model）来生成目标图像，本申请的实施例对生成目标图像的具体方法不做限定，本领域技术人员可以根据实际需求进行选择。

根据本申请的实施例，通过根据目标面部属性参数进行图像渲染，并对得到的中间图像进行编码，可以使得到的中间图像编码信息较为精准地保留目标面部属性参数中关于面部属性的特征信息，解决相关技术中生成的图像存在面部属性信息丢失的技术问题，从而根据中间图像编码信息生成的目标图像，能够较为精确地表征待处理对象与目标风格属性参数相对应的面部风格属性，提升目标图像的图像精度，实现提升图像中面部展示效果生动程度的技术效果。

需要说明的是，在本申请的实施例中，涉及待检测对象的面部属性参数的检测、处理、获取的过程均经过了面部属性参数对应的用户授权后进行的，或者通过其他合法合规的方式获取到初始面部属性参数等数据。同时生成的目标图像的用途符合相关法律法规的要求，且不违背公序良俗。

下面结合具体实施例，以及参考图3对图2所示的方法做进一步说明。

根据本申请的实施例，图像生成方法还可以包括如下操作。

对表征待处理对象的初始数据进行面部属性检测，得到初始面部属性参数。

根据本申请的实施例，初始数据的数据类型可以包括任意的数据类型，例如可以包括图像类型数据、音频类型数据或文本类型数据等，本申请的实施例对初始数据的数据类型不做限定，本领域技术人员可以根据实际需求进行选择。

根据本申请的实施例，可以基于神经网络算法构建的面部检测模型对初始数据进行面部属性检测，例如可以基于Nonlinear 3DMM（非线性三维形变面部模型，Nonlinear 3DMorphable FaceModel）、Transformer网络、卷积神经网络等神经网络模型对初始数据进行面部属性检测。但不仅局限于此，还可以基于面部扫描装置等检测装置来对初始数据进行面部属性检测，本申请的实施例对面部属性检测的具体算法类型不做限定，本领域技术人员可以根据实际需求进行选择。

需要说明的是，在本申请的实施例中，对初始数据进行面部属性检测前是经过了对应的用户授权后进行的，或者通过其他合法合规的方式获取到面部属性检测的授权后进行的，面部属性检测的过程符合相关法规或检测标准要求且不会对待检测对象造成负面影响。同时生成的初始面部属性参数的用途符合相关法律法规的要求，且不违背公序良俗。

根据本申请的实施例，初始数据包括初始图像。

上述操作中，对表征待处理对象的初始数据进行面部属性检测可以包括如下操作。

对初始图像中的待处理对象进行面部图像特征检测，得到初始面部属性参数。

根据本申请的实施例，面部图像特征可以包括表征待处理对象面部的二维关键点特征、三维关键点特征、抽象特征等任意类型的图像面部特征，本申请的实施例对面部图像特征的具体类型不做限定，本领域技术人员可以根据实际需求进行选择。

根据本申请的实施例，可以通过对初始图像进行面部关键点检测的方式来实现面部图像特征检测，例如基于3DMM模型来对初始图像进行面部关键点检测。面部关键点检测可以通过对初始图像中表征待处理对象面部的关键点的位置、纹理等面部属性信息进行检测，从而可以通过对关键点的检测结果表征初始图像中的待处理对象的面部属性特征的特征信息。

需要说明的是，表征待处理对象的面部的关键点的数量可以包括任意数量，本申请的实施例对关键点的数量不做限定。面部的关键点可以包括初始图像中任意能够表征待处理对象的像素点。

根据本申请的实施例，初始图像可以包括任意类型的图像信息，例如图片信息，但不仅限于此还可以是视频帧图像。在初始图像包括多个的情况下，得到多个初始图像各自可以对应有检测到的初始面部属性信息。

根据本申请的实施例，在仅包含一个初始图像的情况下，可以通过对该初始图像进行面部图像特征检测，得到初始面部属性参数，进而通过本申请实施例提供的图像生成方法生成与该初始图像对应的目标图像，从而减少用于生成重建后的目标图像的数据量，提升目标图像的生成效率，降低目标图像生成难度。

根据本申请的实施例，上述操作中，对初始图像中的待处理对象进行面部图像特征检测可以包括如下操作。

将初始图像输入至第一检测层，输出初始面部属性参数。

其中，第一检测层包括以下至少一项：三维可变面部模型层、深度三维面部检测层。

根据本申请的实施例，三维可变面部模型层可以是基于三维可变面部模型（3DMorphable FaceModel，3DMM）构建得到的深度学习模型层。在初始图像为二维图像的情况下，三维可变面部模型可以通过检测初始图像中的面部关键点，进行二维面部关键点与三维面部关键点进行映射，并计算得到表征待检测对象的初始面部属性参数。

根据本申请的实施例，初始面部属性参数可以通过面部的关键点位置、面部的关键点的纹理属性等数据表示。通过上述三维可变面部模型层、深度三维面部检测层中任意一个或多个来构建得到第一检测层，可以提升初始面部属性参数的检测精度，进而为后续生成高精度的目标图像奠定基础。

根据本申请的实施例，深度三维面部检测层可以是基于Deep3DFace（深度三维面部）算法构建得到的深度学习模型层。

根据本申请的实施例，还可以基于Nonlinear 3DMM算法来构建得到第一检测层，以实现多样化方式提取到初始面部属性参数。

需要说明的是，在本申请的实施例中，对初始数据进行面部属性检测前是经过了对应的用户授权后进行的，或者通过其他合法合规的方式获取到面部属性检测的授权后进行的，面部属性检测的过程符合相关法规或检测标准要求且不会对待检测对象造成负面影响。同时生成的初始面部属性参数的用途符合相关法律法规的要求，且不违背公序良俗。

根据本申请的实施例，对表征待处理对象的初始数据进行面部属性检测还可以包括如下操作。

提取初始数据中表征待处理对象的面部属性特征，以便基于面部属性特征，生成初始面部属性参数。

其中，初始数据包括以下至少一项：初始文本数据、初始音频数据、初始图形数据。

根据本申请的实施例，在初始数据为初始音频数据的情况下，利用初始音频数据可以通过数字矩阵或数据向量进行数字化存储的特性，基于Speech2Face（也称Speech toFace）算法来构建第二检测层，或者还可以基于卷积神经网络、Transformer网络等深度学习网络来构建第二检测层，从而可以将初始音频数据输入至第二检测层，输出包含有初始身份属性参数和初始风格属性参数的初始面部属性参数。

根据本申请的实施例，在初始数据为初始文本数据的情况下，可以基于相关数据格式转换方法来处理初始文本数据，例如基于独热模型（One Hot Model）、词袋模型（Bagof Words Model）、词频-逆文档频率（Term Frequency- Inverse Document Frequency，TF-IDF）、N元（N-Gram）模型、单词-向量（Word2vec）模型等任意的数据格式转换方法来处理初始文本数据，得到初始文本数据对应的文本向量，然后基于T2F（Text2Face）模型等检测算法提取初始文本数据中表征待处理对象的面部属性特征，进而生成初始面部属性参数。

根据本申请的实施例，本申请实施例提供的图像生成方法可以基于多样化数据类型的初始数据来获取到初始面部属性参数，进而拓宽了生成目标图像的数据类型范围，降低了生成目标图像的生成难度，提升了重建目标图像的泛化性和便捷性，使本申请实施例提供的图像生成方法能够更加便捷地应用于影视产品制作、游戏动画制作等多个应用场景中。

需要说明的是，在本申请的实施例中，对初始数据进行面部属性检测前是经过了对应的用户授权后进行的，或者通过其他合法合规的方式获取到面部属性检测的授权后进行的，面部属性检测的过程符合相关法规或检测标准要求且不会对待检测对象造成负面影响。同时生成的初始面部属性参数的用途符合相关法律法规的要求，且不违背公序良俗。

根据本申请的实施例，初始面部属性参数包括初始风格属性参数。

图像生成方法还可以包括如下操作。

基于目标风格属性参数更新初始面部属性参数中的初始风格属性参数，得到目标面部属性参数。

根据本申请的实施例，初始面部属性参数可以包括初始身份属性参数和初始风格属性参数。初始风格属性参数可以包括一个或多个风格属性类型，初始风格属性参数的风格属性类型例如可以包括姿态属性类型、表情属性类型等。

根据本申请的实施例，基于目标风格属性参数更新初始面部属性参数中的初始风格属性参数，可以是基于目标风格属性参数的目标风格属性类型，更新初始面部属性参数中具有相同的目标风格属性类型的初始风格属性参数。例如，在目标风格属性参数的目标风格属性类型为表情属性类型的情况下，可以利用目标风格属性参数更新初始风格属性参数中的具有表情属性类型的初始风格属性参数，同时保留初始面部属性参数中的初始身份属性参数，以及其他风格属性类型的初始风格属性参数，生成目标面部属性参数。

根据本申请的实施例，目标风格属性参数包括以下至少一项：

目标姿态属性参数、目标口型属性参数、目标表情属性参数。

根据本申请的实施例，可以基于目标姿态属性参数、目标口型属性参数、目标表情属性参数中的任意一个或多个，来更新初始风格属性参数中对应的初始姿态属性参数、初始口型属性参数、初始表情属性参数中的任意一个或多个，从而便捷地获取得到更新后的目标面部属性参数，并完整地保留初始面部属性参数中表征待处理对象的面部属性特性，避免表征面部属性特性信息的丢失，为后续生成高精度的目标图像奠定基础。

应该理解的是，初始风格属性参数可以通过风格属性参数矩阵形式表征，相应风格属性参数矩阵中的部分向量可以相应地表征初始姿态属性参数、初始口型属性参数或初始表情属性参数，从而便捷地实现具有相同风格属性类型的目标风格属性参数来更新初始风格属性参数。

根据本申请的实施例，操作S220中，对中间图像进行编码可以包括如下操作。

对中间图像进行图像特征提取，得到中间图像编码信息。

根据本申请的实施例，可以基于深度学习算法来提取中间图像中的图像特征，例如可以基于卷积神经网络等神经网络算法提取得到中间图像编码信息。通过深度学习算法来提取得到中间图像编码信息，可以基于深度学习算法，使中间图像编码信息充分学习到中间图像中与目标面部属性参数对应的面部图像属性特性，避免后续目标图像的面部扭曲、面部变形等面部图像缺陷，提升目标图像表征待处理对象的逼真程度和精准度。

根据本申请的实施例，上述操作中，对中间图像进行图像特征提取可以包括如下操作。

将中间图像输入至图像编码层，输出中间图像编码信息。

其中，图像编码层包括以下至少一项：卷积神经网络层、残差网络层、注意力网络层。

根据本申请的实施例，残差网络层可以是基于残差网络（Residual Network，ResNet ）算法构建得到的神经网络层，注意力网络层可以是基于注意力算法，例如Tansformer算法等，构建得到的神经网络层。

根据本申请的实施例，通过图像编码层来处理中间图像，可以使输出的中间图像编码信息能够更加精准地表征待处理对象的面部属性特性，进而提升后续目标图像表征待处理对象的逼真程度和精准度。

根据本申请的实施例，操作S230中，根据中间图像编码信息生成目标图像可以包括如下操作。

将中间图像编码信息输入至深度学习模型的图像生成层，输出目标图像。

根据本申请的实施例，可以基于相关技术中的任意算法来构建图像生成层，例如可以基于SAGAN（Self-Attention Generative Adversarial Networks）算法、CSGAN（Cyclic-Synthesized Generative Adversarial Networks）算法来构建图像生成层，从而提升目标图像的生成精度与逼真程度。

根据本申请的实施例，图像生成层包括以下至少一项：

风格属性生成对抗网络层、扩散模型层。

根据本申请的实施例，风格属性生成对抗网络层可以基于StyleGAN（StyleGenerative Adversarial Networks）算法构建得到，扩散模型层可以基于扩散模型（Diffusion Model）算法构建得到。

图3示意性示出了根据本申请实施例的图像生成方法的应用场景图。

如图3所示，该应用场景中表征待处理对象的初始数据可以是初始图像311。初始图像311可以表征待处理对象露出牙齿微笑的图像。将初始图像311输入至基于三维可变面部模型构建的第一检测层331，可以得到初始面部属性参数321。初始面部属性参数321可以包括初始身份属性参数，以及初始口型属性参数、初始姿态属性参数等初始风格属性参数。

将初始面部属性参数321和目标口型属性参数322输入至面部属性参数更新层332，可以基于目标口型属性参数322更新初始面部属性参数321。即利用目标口型属性参数322更新初始面部属性参数321中包含的初始口型属性参数，进而得到目标面部属性参数323。这样可以使目标面部属性参数完整地保留初始面部属性参数中的初始身份属性参数，以及除了初始口型属性参数之外的其他初始风格属性参数。

将目标面部属性参数323输入至深度学习模型340的中间图像渲染层341，可以对目标面部属性参数323进行图像渲染，得到粗粒度的中间图像312。基于目标面部属性参数323中的目标口型属性参数322，中间图像312可以初步生成待处理对象具有闭嘴口型的面部图像。该中间图像312的口型区域3121中待处理对象的嘴唇没有完全闭合，导致中间图像312存在部分失真情况，这样中间图像312不能精确地表征待处理对象的闭嘴口型。

将中间图像312输入至基于卷积神经网络构建得到的图像编码层342，可以使图像编码层342充分地提取到中间图像312中关于待处理对象的面部特性的图像特征信息，得到的中间图像编码信息能够更加精准地表征待处理对象的面部属性特性。将输出的中间图像编码信息输入至深度学习模型340的图像生成层343，生成目标图像313。该图像生成层343可以是基于StyleGAN算法构建得到的图像生成网络层。由于图像编码层342输出的中间图像编码信息能够更加精准地表征待处理对象的面部属性特性，使后续处理中间图像编码信息的图像生成层343能够更加精准地通过生成的目标图像313表征目标面部属性参数323。例如生成的目标图像313中待处理对象的嘴唇完全闭合，且目标图像313中并没有出现待处理对象面部扭曲的失真情况，也没有出现嘴角向下弯曲展示的表情变化情况，从而提升了目标图像313表征目标口型属性参数322的准确性，以及提升了目标图像313表征除了初始口型属性参数之外待处理对象其他的面部属性参数的精准性，实现重建得到高精度的面部图像。

图4示意性示出了根据本申请实施例的深度学习模型的训练方法的流程图。

如图4所示，该深度学习模型的训练方法包括操作S410~S430。

在操作S410，获取训练样本，其中，训练样本包括样本数据和样本标签，样本数据包括表征样本待处理对象的样本初始面部属性参数，样本标签为与样本初始面部属性参数对应的样本标签图像。

在操作S420，对样本初始面部属性参数进行图像渲染，得到样本中间图像。

在操作S430，利用样本中间图像和样本标签图像训练初始深度学习模型，得到训练后的深度学习模型。

根据本申请的实施例，待处理对象可以包括任意类型的生物对象，例如成年人、宠物猫等。但不仅局限于此，待处理对象还可以包括虚拟对象，例如卡通人物、卡通动物等。本申请的实施例对待处理对象的具体类型不做限定，本领域技术人员可以根据实际需求进行选择。

根据本申请的实施例，样本初始面部属性参数可以是能够表征样本待处理对象的身份、表情等面部属性特征的参数信息。样本初始面部属性参数可以是对能够表征样本待处理对象的面部特征信息的数据进行检测后得到的。例如可以对记录有样本待处理对象的样本图像进行检测后得到样本初始面部属性参数，但不仅限于此，还可以对样本音频数据、样本文本数据等任意类型的数据进行检测后生成样本初始面部属性参数，或者还可以是通过人工录入的方式来获取到样本初始面部属性参数。本申请的实施例对获取到样本初始面部属性参数的具体方式不做限定，本领域技术人员可以根据实际需求进行选择。

根据本申请的实施例，可以基于相关技术中任意的图像渲染方法来得到样本中间图像，例如可以基于图像渲染引擎来实现图像渲染，或者还可以基于神经网络算法构建的图像生成模型来渲染得到中间图像。本申请的实施例对得到样本中间图像的渲染方法不做限定，本领域技术人员可以根据实际需求进行选择。

需要说明的是，样本中间图像可以包括任意类型的图像信息，例如二维图像，或者还可以包括三维图像。本申请的实施例对样本中间图像的具体类型不做限定，本领域技术人员可以根据实际需求进行选择。

根据本申请的实施例，对样本中间图像编码信息可以包括记载有能够表征样本待处理对象的样本目标面部属性参数的数据，样本中间图像编码信息的数据类型例如可以是编码向量等。

根据本申请的实施例，通过对样本初始面部属性参数渲染后生成的样本中间图像，以及样本标签图像来训练初始深度学习模型，可以使训练后的深度学习模型能够完整保留样本初始面部属性参数的信息，避免身份属性信息等重要信息丢失，进而使深度学习模型能够输出精确度更高的目标图像，提升目标图像的真实性和生动性。

需要说明的是，涉及训练样本的获取均经过了样本面部属性参数对应的用户授权后进行的，或者通过其他合法合规的方式获取到训练样本。同时生成的深度学习模型的用途符合相关法律法规的要求，且不违背公序良俗。

根据本申请的实施例，通过本申请实施例提供的训练方法训练得到的深度学习模型，可以用于上文描述的图像生成方法，以提升重建后的目标图像的真实性和生动性。

下面结合具体实施例，以及参考图5和图6对图4所示的方法做进一步说明。

图5示意性示出了根据本申请实施例的利用样本中间图像和样本标签图像训练初始深度学习模型的流程图。

如图5所示，操作S430中，利用样本中间图像和样本标签图像训练初始深度学习模型可以包括操作S510~操作S550。

在操作S510，将样本中间图像输入至初始深度学习模型的初始图像编码层，输出样本中间图像编码信息。

在操作S520，将样本中间图像编码信息输入至初始深度学习模型的图像生成层，输出样本目标图像。

在操作S530，利用损失函数处理样本目标图像和样本标签图像，得到损失值。

在操作S540，基于损失值调整初始深度学习模型中的初始图像编码层的参数，直至损失函数收敛。

在操作S550，将损失函数收敛的情况下对应的初始深度学习模型确定为训练后的深度学习模型。

根据本申请的实施例，通过本申请的实施例提供的训练方法，仅需要通过调整初始图像编码层的参数来实现深度学习模型的训练，可以减少参数调整频次，加快收敛速度，进而提升深度学习模型的训练效率。

根据本申请的实施例，深度学习模型的训练方法还包括如下操作。

对表征样本待处理对象的样本初始数据进行面部属性检测，得到样本初始面部属性参数。

根据本申请的实施例，样本初始数据包括样本初始图像。

其中，对表征样本待处理对象的样本初始数据进行面部属性检测可以包括如下操作。

对样本初始图像中的样本待处理对象进行面部图像特征检测，得到样本初始面部属性参数。

根据本申请的实施例，对样本初始图像中的样本待处理对象进行面部图像特征检测可以包括如下操作。

将样本初始图像输入至第一检测层，输出样本初始面部属性参数。

其中，第一检测层包括以下至少一项：

三维可变人脸模型层、深度三维面部检测层。

根据本申请的实施例，对表征样本待处理对象的样本初始数据进行面部属性检测可以包括如下操作。

提取样本初始数据中表征样本待处理对象的样本面部属性特征，以便基于样本面部属性特征，生成样本初始面部属性参数。

其中，样本初始数据包括以下至少一项：样本初始文本数据、样本初始音频数据、样本初始图形数据。

需要说明的是，在本申请任意的实施例中，对样本初始数据进行面部属性检测前是经过了对应的用户授权后进行的，或者其他合法合规的方式获取到面部属性检测的授权后进行的，或者通过从公开样本数据库中获取到的，面部属性检测的过程符合相关法规或检测标准要求且不会对待检测对象造成负面影响。同时生成的样本初始面部属性参数的用途符合相关法律法规的要求，且不违背公序良俗。

根据本申请的实施例，样本初始面部属性参数包括样本初始风格属性参数。

样本初始风格属性参数包括以下至少一项：

样本初始姿态属性参数、样本初始口型属性参数、样本初始表情属性参数。

根据本申请的实施例，样本初始面部属性参数还可以包括样本身份属性参数，因此对样本初始面部属性参数进行图像渲染后得到的样本中间图像可以较为完整地包含有样本初始面部属性参数中任意属性类型的面部特性，这样利用样本中间图像和样本标签图像来训练得到深度学习模型，可以使深度学习模型学习到完整地保留面部属性参数的能力，使图像编码层输出的中间图像编码避免丢失身份属性参数等重要的面部属性信息，提升后续生成的目标图像的真实性。

根据本申请的实施例，图像编码层包括以下至少一项：

卷积神经网络层、残差网络层、注意力网络层。

根据本申请的实施例，图像生成层包括以下至少一项：

风格属性生成对抗网络层、扩散模型层。

图6示意性示出了根据本申请实施例的深度学习模型的训练方法的应用场景图。

如图6所示，训练样本可以包括样本标签图像611。将样本标签图像611作为样本初始图像，输入基于3DMM算法构建得到的第一检测层631，输出与样本标签图像611对应的样本初始面部属性参数621。该样本初始面部属性参数621可以表征样本标签图像中样本待处理对象的样本身份属性，以及样本待处理对象的表情属性、口型属性等风格属性。

将样本初始面部属性参数621输入至初始深度学习模型640的中间图像渲染层641，可以对样本初始面部属性参数621进行图像渲染，得到粗粒度的样本中间图像612。样本中间图像612中，样本口型区域6121所展示的口型可以与样本标签图像611中待处理对象的口型属性相似，但是样本口型区域6121的牙齿部分缺失，导致样本中间图像612存在图像部分缺陷。

将样本中间图像612输入至基于卷积神经网络算法构建得到的初始图像编码层642，输出样本中间图像编码信息。然后将样本中间图像编码信息输入至基于StyleGAN算法构建得到的图像生成层643，输出样本目标图像613。

将样本目标图像613和样本标签图像611输入至损失函数，输出损失值，并基于损失值迭代地调整初始图像编码层642的参数，直至损失函数收敛的情况下，将损失函数收敛的情况下对应的初始图像编码层642确定为训练后的图像编码层，进而生成训练后的深度学习模型。

根据本申请的实施例提供的训练方法，仅需要通过调整初始图像编码层的参数来实现深度学习模型的训练，可以减少参数调整频次，加快收敛速度，进而提升深度学习模型的训练效率。

根据本申请的实施例，通过本申请实施例提供的深度学习模型的训练方法得到的深度学习模型，在不采用大量的面部图像的情况下，仅通过一张初始图像就可以实现待处理对象任意口型、任意姿态、任意表情的目标图像生成，且计算开销较小，图像生成效率较高，可以应用于影视产品制作、虚拟人物（例如虚拟主播、虚拟客服、虚拟助理、虚拟教师等）的生成，能够适应不同的应用场景需求。

需要说明的是，本申请实施例中展示的图像，例如图3中的初始图像311、中间图像312和目标图像313，或者图6中的样本标签图像611、样本中间图像612和样本目标图像613，均对图像中的面部进行模糊化处理，以隐藏图像中待处理对象的身份，图像中模糊化处理区域并非图像缺陷。

图7示意性示出了根据本申请实施例的图像生成装置的框图。

如图7所示，图像生成装置700包括：图像渲染模块710、编码模块720和目标图像生成模块730。

图像渲染模块710，用于对表征待处理对象的目标面部属性参数进行图像渲染，得到中间图像，其中，目标面部属性参数为基于目标风格属性参数，对表征待处理对象的初始面部属性参数进行更新后得到的。

编码模块720，用于对中间图像进行编码，得到中间图像编码信息。

目标图像生成模块730，用于根据中间图像编码信息生成目标图像。

根据本申请的实施例，初始面部属性参数包括初始风格属性参数。

图像生成装置还包括更新模块。

更新模块，用于基于目标风格属性参数更新初始面部属性参数中的初始风格属性参数，得到目标面部属性参数。

根据本申请的实施例，目标风格属性参数包括以下至少一项：

目标姿态属性参数、目标口型属性参数、目标表情属性参数。

根据本申请的实施例，图像生成装置还包括面部属性检测模块。

面部属性检测模块，用于对表征待处理对象的初始数据进行面部属性检测，得到初始面部属性参数。

根据本申请的实施例，初始数据包括初始图像。

面部属性检测模块包括面部图像特征检测单元。

面部图像特征检测单元，用于对初始图像中的待处理对象进行面部图像特征检测，得到初始面部属性参数。

根据本申请的实施例，面部图像特征检测单元包括面部图像特征检测子单元。

面部图像特征检测子单元，用于将初始图像输入至第一检测层，输出初始面部属性参数。

其中，第一检测层包括以下至少一项：

三维可变人脸模型层、深度三维面部检测层。

根据本申请的实施例，面部属性检测模块包括初始面部属性参数生成单元。

初始面部属性参数生成单元，用于提取初始数据中表征待处理对象的面部属性特征，以便基于面部属性特征，生成初始面部属性参数。

其中，初始数据包括以下至少一项：初始文本数据、初始音频数据、初始图形数据。

根据本申请的实施例，编码模块包括图像特征提取单元。

图像特征提取单元，用于对中间图像进行图像特征提取，得到中间图像编码信息。

根据本申请的实施例，图像特征提取单元包括图像特征提取子单元。

图像特征提取子单元，用于将中间图像输入至图像编码层，输出中间图像编码信息。

其中，图像编码层包括以下至少一项：

卷积神经网络层、残差网络层、注意力网络层。

根据本申请的实施例，目标图像生成模块包括目标图像生成单元。

目标图像生成单元，用于将中间图像编码信息输入至深度学习模型的图像生成层，输出目标图像。

根据本申请的实施例，图像生成层包括以下至少一项：

风格属性生成对抗网络层、扩散模型层。

图8示意性示出了根据本申请实施例的深度学习模型的训练装置的框图。

如图8所示，深度学习模型的训练装置800包括：训练样本获取模块810、样本中间图像渲染模块820和训练模块830。

训练样本获取模块810，用于获取训练样本，其中，所述训练样本包括样本数据和样本标签，所述样本数据包括表征样本待处理对象的样本初始面部属性参数，所述样本标签为与所述样本初始面部属性参数对应的样本标签图像。

样本中间图像渲染模块820，用于对所述样本初始面部属性参数进行图像渲染，得到样本中间图像。

训练模块830，用于利用所述样本中间图像和所述样本标签图像训练初始深度学习模型，得到训练后的深度学习模型。

根据本申请的实施例，训练模块包括：样本中间图像编码信息生成单元、样本目标图像生成单元、损失值生成单元、参数调整单元和深度学习模型确定单元。

样本中间图像编码信息生成单元，用于将所述样本中间图像输入至所述初始深度学习模型的初始图像编码层，输出样本中间图像编码信息。

样本目标图像生成单元，用于将所述样本中间图像编码信息输入至所述初始深度学习模型的图像生成层，输出样本目标图像。

损失值生成单元，用于利用损失函数处理所述样本目标图像和所述样本标签图像，得到损失值。

参数调整单元，用于基于所述损失值调整所述初始深度学习模型中的初始图像编码层的参数，直至所述损失函数收敛。

深度学习模型确定单元，用于将所述损失函数收敛的情况下对应的所述初始深度学习模型确定为所述训练后的深度学习模型。

根据本申请的实施例，所述样本初始面部属性参数包括样本初始风格属性参数。

所述样本初始风格属性参数包括以下至少一项：

样本初始姿态属性参数、样本初始口型属性参数、样本初始表情属性参数。

根据本申请的实施例，所述图像编码层包括以下至少一项：

卷积神经网络层、残差网络层、注意力网络层。

根据本申请的实施例，本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

根据本申请的实施例，一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上所述的方法。

根据本申请的实施例，一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行如上所述的方法。

根据本申请的实施例，一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如上所述的方法。

图9示出了可以用来实施本申请的实施例的示例电子设备的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器（ROM）902中的计算机程序或者从存储单元908加载到随机访问存储器（RAM）903中的计算机程序，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出（I/O）接口905也连接至总线904。

设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如图像生成方法。例如，在一些实施例中，图像生成方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的图像生成方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行图像生成方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本申请的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以是分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (32)

1.一种图像生成方法，包括：

对表征待处理对象的目标面部属性参数进行图像渲染，得到中间图像，其中，所述目标面部属性参数为基于目标风格属性参数，对表征所述待处理对象的初始面部属性参数进行更新后得到的；

对所述中间图像进行编码，得到中间图像编码信息；以及

根据所述中间图像编码信息生成目标图像。

2.根据权利要求1所述的方法，其中，所述初始面部属性参数包括初始风格属性参数；

所述图像生成方法还包括：

基于所述目标风格属性参数更新所述初始面部属性参数中的初始风格属性参数，得到所述目标面部属性参数。

3.根据权利要求1所述的方法，其中，所述目标风格属性参数包括以下至少一项：

目标姿态属性参数、目标口型属性参数、目标表情属性参数。

4.根据权利要求1所述的方法，还包括：

对表征所述待处理对象的初始数据进行面部属性检测，得到所述初始面部属性参数。

5.根据权利要求4所述的方法，其中，所述初始数据包括初始图像；

其中，对表征所述待处理对象的初始数据进行面部属性检测包括：

对所述初始图像中的所述待处理对象进行面部图像特征检测，得到所述初始面部属性参数。

6.根据权利要求5所述的方法，其中，对所述初始图像中的所述待处理对象进行面部图像特征检测包括：

将所述初始图像输入至第一检测层，输出所述初始面部属性参数；

其中，所述第一检测层包括以下至少一项：

三维可变面部模型层、深度三维面部检测层。

7.根据权利要求4所述的方法，其中，对表征所述待处理对象的初始数据进行面部属性检测包括：

提取所述初始数据中表征所述待处理对象的面部属性特征，以便基于所述面部属性特征，生成所述初始面部属性参数；

其中，所述初始数据包括以下至少一项：初始文本数据、初始音频数据、初始图形数据。

8.根据权利要求1所述的方法，其中，对所述中间图像进行编码包括：

对所述中间图像进行图像特征提取，得到所述中间图像编码信息。

9.根据权利要求8所述的方法，其中，对所述中间图像进行图像特征提取包括：

将所述中间图像输入至图像编码层，输出所述中间图像编码信息；

其中，所述图像编码层包括以下至少一项：

卷积神经网络层、残差网络层、注意力网络层。

10.根据权利要求1所述的方法，其中，根据所述中间图像编码信息生成目标图像包括：

将所述中间图像编码信息输入至深度学习模型的图像生成层，输出所述目标图像。

11.根据权利要求10所述的方法，其中，所述图像生成层包括以下至少一项：

风格属性生成对抗网络层、扩散模型层。

12.一种深度学习模型的训练方法，包括：

获取训练样本，其中，所述训练样本包括样本数据和样本标签，所述样本数据包括表征样本待处理对象的样本初始面部属性参数，所述样本标签为与所述样本初始面部属性参数对应的样本标签图像；

对所述样本初始面部属性参数进行图像渲染，得到样本中间图像；以及

利用所述样本中间图像和所述样本标签图像训练初始深度学习模型，得到训练后的深度学习模型。

13.根据权利要求12所述的训练方法，其中，利用所述样本中间图像和所述样本标签图像训练初始深度学习模型包括：

将所述样本中间图像输入至所述初始深度学习模型的初始图像编码层，输出样本中间图像编码信息；

将所述样本中间图像编码信息输入至所述初始深度学习模型的图像生成层，输出样本目标图像；

利用损失函数处理所述样本目标图像和所述样本标签图像，得到损失值；

基于所述损失值调整所述初始深度学习模型中的初始图像编码层的参数，直至所述损失函数收敛；以及

将所述损失函数收敛的情况下对应的所述初始深度学习模型确定为所述训练后的深度学习模型。

14.根据权利要求12所述的训练方法，其中，所述样本初始面部属性参数包括样本初始风格属性参数；

所述样本初始风格属性参数包括以下至少一项：

样本初始姿态属性参数、样本初始口型属性参数、样本初始表情属性参数。

15.根据权利要求12所述的训练方法，其中，所述图像编码层包括以下至少一项：

卷积神经网络层、残差网络层、注意力网络层。

16.一种图像生成装置，包括：

图像渲染模块，用于对表征待处理对象的目标面部属性参数进行图像渲染，得到中间图像，其中，所述目标面部属性参数为基于目标风格属性参数，对表征所述待处理对象的初始面部属性参数进行更新后得到的；

编码模块，用于对所述中间图像进行编码，得到中间图像编码信息；以及

目标图像生成模块，用于根据所述中间图像编码信息生成目标图像。

17.根据权利要求16所述的装置，其中，所述初始面部属性参数包括初始风格属性参数；

所述图像生成装置还包括：

更新模块，用于基于所述目标风格属性参数更新所述初始面部属性参数中的初始风格属性参数，得到所述目标面部属性参数。

18.根据权利要求16所述的装置，其中，所述目标风格属性参数包括以下至少一项：

目标姿态属性参数、目标口型属性参数、目标表情属性参数。

19.根据权利要求16所述的装置，还包括：

面部属性检测模块，用于对表征所述待处理对象的初始数据进行面部属性检测，得到所述初始面部属性参数。

20.根据权利要求19所述的装置，其中，所述初始数据包括初始图像；

其中，面部属性检测模块包括：

面部图像特征检测单元，用于对所述初始图像中的所述待处理对象进行面部图像特征检测，得到所述初始面部属性参数。

21.根据权利要求20所述的装置，其中，面部图像特征检测单元包括：

面部图像特征检测子单元，用于将所述初始图像输入至第一检测层，输出所述初始面部属性参数；

其中，所述第一检测层包括以下至少一项：

三维可变面部模型层、深度三维面部检测层。

22.根据权利要求19所述的装置，其中，面部属性检测模块包括：

初始面部属性参数生成单元，用于提取所述初始数据中表征所述待处理对象的面部属性特征，以便基于所述面部属性特征，生成所述初始面部属性参数；

其中，所述初始数据包括以下至少一项：初始文本数据、初始音频数据、初始图形数据。

23.根据权利要求16所述的装置，其中，编码模块包括：

图像特征提取单元，用于对所述中间图像进行图像特征提取，得到所述中间图像编码信息。

24.根据权利要求23所述的装置，其中，图像特征提取单元包括：

图像特征提取子单元，用于将所述中间图像输入至图像编码层，输出所述中间图像编码信息；

其中，所述图像编码层包括以下至少一项：

卷积神经网络层、残差网络层、注意力网络层。

25.根据权利要求16所述的装置，其中，目标图像生成模块包括：

目标图像生成单元，用于将所述中间图像编码信息输入至深度学习模型的图像生成层，输出所述目标图像。

26.根据权利要求25所述的装置，其中，所述图像生成层包括以下至少一项：

风格属性生成对抗网络层、扩散模型层。

27.一种深度学习模型的训练装置，包括：

训练样本获取模块，用于获取训练样本，其中，所述训练样本包括样本数据和样本标签，所述样本数据包括表征样本待处理对象的样本初始面部属性参数，所述样本标签为与所述样本初始面部属性参数对应的样本标签图像；

样本中间图像渲染模块，用于对所述样本初始面部属性参数进行图像渲染，得到样本中间图像；以及

训练模块，用于利用所述样本中间图像和所述样本标签图像训练初始深度学习模型，得到训练后的深度学习模型。

28.根据权利要求27所述的训练装置，其中，训练模块包括：

样本中间图像编码信息生成单元，用于将所述样本中间图像输入至所述初始深度学习模型的初始图像编码层，输出样本中间图像编码信息；

样本目标图像生成单元，用于将所述样本中间图像编码信息输入至所述初始深度学习模型的图像生成层，输出样本目标图像；

损失值生成单元，用于利用损失函数处理所述样本目标图像和所述样本标签图像，得到损失值；

参数调整单元，用于基于所述损失值调整所述初始深度学习模型中的初始图像编码层的参数，直至所述损失函数收敛；以及

深度学习模型确定单元，用于将所述损失函数收敛的情况下对应的所述初始深度学习模型确定为所述训练后的深度学习模型。

29.根据权利要求27所述的训练装置，其中，所述样本初始面部属性参数包括样本初始风格属性参数；

所述样本初始风格属性参数包括以下至少一项：

样本初始姿态属性参数、样本初始口型属性参数、样本初始表情属性参数。

30.根据权利要求27所述的训练装置，其中，所述图像编码层包括以下至少一项：

卷积神经网络层、残差网络层、注意力网络层。

31. 一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至15中任一项所述的方法。

32.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1至15中任一项所述的方法。

Images