CN109902767A - 模型训练方法、图像处理方法及装置、设备和介质 - Google Patents

Abstract

本公开是关于一种模型训练方法、图像处理方法及装置、电子设备以及存储介质，涉及图像处理技术领域，可以应用于根据输入的初始人脸图像生成游戏场景中所使用的游戏人脸图像的场景。该模型训练方法包括：将样本图像输入至编码模型进行编码处理后得到第一特征参数；获取预先配置的用于描述图像特征的第二特征参数；其中，第二特征参数的维度与第一特征参数的维度相同；结合第一特征参数与第二特征参数计算像素损失函数和分类损失函数；基于像素损失函数与分类损失函数确定目标损失函数；基于目标损失函数调整编码模型的参数以训练编码模型。本公开可以在游戏的捏脸过程中输出捏脸参数，并且输出的捏脸参数能够被游戏客户端识别并应用。

Description

模型训练方法、图像处理方法及装置、设备和介质

技术领域

本公开涉及图像处理技术领域，具体而言，涉及一种模型训练方法、模型训练装置、应用于游戏的图像处理方法、应用于游戏的图像处理装置、电子设备以及存储介质。

背景技术

近年来，深度学习技术在图像处理方面取得了显著的效果，例如，利用神经网络实现风格迁移(style transfer)：将图片A的艺术风格迁移到图片B上生成图片C，生成的图片C兼具图片A的艺术风格与图片B的内容信息。

生成式对抗网络(Generative Adversarial Networks，GAN)是一种常见的风格迁移模型，在创建游戏人物时，玩家使用捏脸玩法根据自身的想法对游戏人物的脸型、发型等进行改变以满足玩家在游戏中个性化的需求。

然而，基于GAN模型完成捏脸任务时，GAN的训练参数众多，训练时间长，得到的高维脸部特征难以直接导入游戏客户端，所以不能被客户端识别并应用。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种模型训练方法、模型训练装置、电子设备以及计算机可读存储介质，进而至少在一定程度上克服现有的捏脸算法无法快速输出游戏客户端可识别的捏脸特征参数的问题。

根据本公开的第一方面，提供一种模型训练方法，包括：将样本图像输入至编码模型进行编码处理后得到第一特征参数；获取预先配置的用于描述图像特征的第二特征参数；其中，第二特征参数的维度与第一特征参数的维度相同；结合第一特征参数与第二特征参数计算像素损失函数和分类损失函数；基于像素损失函数与分类损失函数确定目标损失函数，并根据目标损失函数调整编码模型的参数以训练编码模型。

可选的，结合第一特征参数与第二特征参数计算像素损失函数和分类损失函数包括：将第一特征参数与第二特征参数进行组合处理后得到第三特征参数；基于第一特征参数、第二特征参数与第三特征参数计算像素损失函数和分类损失函数。

可选的，将第一特征参数与第二特征参数进行组合处理后得到第三特征参数包括：确定第一特征参数对应的第一连续参数；确定第二特征参数对应的第二离散参数；将第一连续参数与第二离散参数进行组合得到第三特征参数。

可选的，基于第一特征参数、第二特征参数与第三特征参数计算像素损失函数和分类损失函数包括：对第二特征参数输入至解码模型进行解码处理后得到第一人脸图像；对第三特征参数输入至解码模型进行解码处理后得到第二人脸图像；确定第一特征参数对应的第一离散参数以及第二特征参数对应的第二离散参数；计算第一人脸图像与第二人脸图像之间的像素损失函数以及第一离散参数与第二离散参数之间的分类损失函数。

可选的，根据目标损失函数调整编码模型的参数以训练编码模型包括：采用梯度下降法调整编码模型的参数；如果目标损失函数未收敛，则获取一图像作为新的样本图像，将新的样本图像输入至经过参数调整后的编码模型，直至目标损失函数收敛。

根据本公开的第二方面，提供一种应用于游戏的图像处理方法，包括：将样本人脸图像输入至编码模型进行编码处理后得到编码特征参数；获取预先配置的用于描述人脸图像特征的标签特征参数；其中，标签特征参数的维度与编码特征参数的维度相同；结合编码特征参数参数与标签特征参数调整编码模型的参数以得到训练后的编码模型；将初始真实人脸图像输入至训练后的编码模型进行编码处理后得到目标特征参数；将目标特征参数输入至客户端进行渲染处理后生成目标游戏人脸图像。

可选的，将初始真实人脸图像输入至训练后的编码模型进行编码处理后得到目标特征参数之前，应用于游戏的图像处理方法还包括：接收输入的人脸图像，对人脸图像进行调整处理后放置于预设位置，以确定出初始真实人脸图像。

根据本公开的第三方面，提供一种模型训练装置，包括：第一参数确定模块，用于将样本图像输入至编码模型进行编码处理后得到第一特征参数；第二参数获取模块，用于获取预先配置的用于描述图像特征的第二特征参数；其中，第二特征参数的维度与第一特征参数的维度相同；函数计算模块，用于结合第一特征参数与第二特征参数计算像素损失函数和分类损失函数；参数调整模块，用于基于像素损失函数与分类损失函数确定目标损失函数；并根据目标损失函数调整编码模型的参数以训练编码模型。

可选的，函数计算模块包括函数计算单元，用于将第一特征参数与第二特征参数进行组合处理后得到第三特征参数；基于第一特征参数、第二特征参数与第三特征参数计算像素损失函数和分类损失函数。

可选的，函数计算单元包括第三参数确定单元，用于确定第一特征参数对应的第一连续参数；确定第二特征参数对应的第二离散参数；将第一连续参数与第二离散参数进行组合得到第三特征参数。

可选的，函数计算单元包括函数计算子单元，用于对第二特征参数输入至解码模型进行解码处理后得到第一人脸图像；对第三特征参数输入至解码模型进行解码处理后得到第二人脸图像；确定第一特征参数对应的第一离散参数以及第二特征参数对应的第二离散参数；计算第一人脸图像与第二人脸图像之间的像素损失函数以及第一离散参数与第二离散参数之间的分类损失函数。

可选的，参数调整模块包括参数调整单元，用于采用梯度下降法调整编码模型的参数；如果目标损失函数未收敛，则获取一图像作为新的样本图像，将新的样本图像输入至经过参数调整后的编码模型，直至目标损失函数收敛。

根据本公开的第四方面，提供一种应用于游戏的图像处理装置，包括：编码参数确定模块，用于将样本人脸图像输入至编码模型进行编码处理后得到编码特征参数；标签参数确定模块，获取预先配置的用于描述人脸图像特征的标签特征参数；其中，标签特征参数的维度与编码特征参数的维度相同；模型训练模块，用于结合编码特征参数参数与标签特征参数调整编码模型的参数以得到训练后的编码模型；编码处理模块，用于将初始真实人脸图像输入至训练后的编码模型进行编码处理后得到目标特征参数；图像生成模块，用于将目标特征参数输入至客户端进行渲染处理后生成目标游戏人脸图像。

可选的，编码处理模块还包括图像确定单元，用于接收输入的人脸图像，对人脸图像进行调整处理后放置于预设位置，以确定出初始真实人脸图像。

根据本公开的第五方面，提供一种电子设备，包括：处理器；以及存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现根据上述任意一项所述模型训练方法或上述任意一项所述用于游戏的图像处理方法。

根据本公开的第六方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据上述任意一项所述的模型训练方法或上述任意一项所述用于游戏的图像处理方法。

本公开的示例性实施例中的模型训练方法，首先，将样本图像输入至编码模型进行编码处理后得到第一特征参数；其次，获取预先配置的用于描述图像特征的第二特征参数；其中，第二特征参数的维度与第一特征参数的维度相同；再次，结合第一特征参数与第二特征参数计算像素损失函数和分类损失函数；接下来，基于像素损失函数与分类损失函数确定目标损失函数，并根据目标损失函数调整编码模型的参数以训练编码模型。通过本公开的模型训练方法，一方面，采用预先配置的第二特征参数与第一特征参数结合，可以计算出像素损失函数与分类损失函数，并由像素损失函数与分类损失函数确定目标损失函数，可以用于调整编码模型的参数，达到训练编码模型的目的。另一方面，将第二特征参数引入编码模型的训练过程，可以使编码模型对图像进行编码处理后生成的特征参数更接近第二特征参数，使得训练的编码模型输出的参数可以接近第二特征参数的特点。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示意性示出了根据本公开的示例性实施方式的模型训练方法的流程图；

图2示意性示出了现有技术中采用生成对抗网络模型进行游戏捏脸的模型图；

图3示意性示出了根据本公开的示例性实施方式的编码模型的网络结构图；

图4示意性示出了根据本公开的示例性实施方式的捏脸算法的原理图；

图5示意性示出了根据本公开的示例性实施方式的捏脸算法的流程图；

图6示意性示出了根据本公开的示例性实施方式的应用于游戏的图像处理方法的流程图；

图7示意性示出了根据本公开的示例性实施方式的应用于游戏的图像处理方法的效果图；

图8示意性示出了根据本公开的示例性实施方式的模型训练装置的方框图；

图9示意性示出了根据本公开的示例性实施方式的函数计算模块的方框图；

图10示意性示出了根据本公开的示例性实施方式的函数计算单元的第一方框图；

图11示意性示出了根据本公开的示例性实施方式的函数计算单元的第二方框图；

图12示意性示出了根据本公开的示例性实施方式的参数调整模块的方框图；

图13示意性示出了根据本公开的示例性实施方式的图像处理装置的方框图；

图14示意性示出了根据本公开的示例性实施方式的编码处理模块的方框图；

图15示意性示出了根据本公开一示例性实施例的电子设备的框图；以及

图16示意性示出了根据本公开一示例性实施例的计算机可读存储介质的示意图。

具体实施方式

现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本公开将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知结构、方法、装置、实现、材料或者操作以避免模糊本公开的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个软件硬化的模块中实现这些功能实体或功能实体的一部分，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

参考图2，生成式对抗网络在创建游戏人物时，用户将真实人脸图像与风格图像输入到生成网络中，由生成网络输出游戏中使用的目标图像。然而，基于GAN模型完成捏脸任务时，GAN的训练参数众多，训练时间长，得到的高维脸部特征难以直接导入游戏客户端，不能被客户端识别并应用。另外，现有的GAN模型在风格迁移时，虽然可以完成颜色、纹理的迁移，但是未能有效地对游戏人物模型的眼睛、鼻子等各项特征进行调整。

基于此，在本示例实施例中，首先提供了一种模型训练方法，可以利用服务器来实现本公开的用模型训练方法。参考图1，该模型训练方法可以包括以下步骤：

步骤S110.将样本图像输入至编码模型进行编码处理后得到第一特征参数。

在本公开的一些示例性实施方式中，样本图像可以是用于训练编码模型的真实人脸图像，对样本图像输入至编码模型进行编码处理后可以得到第一特征参数。样本图像可以是用于提供人脸的细节特征，可以作为本公开中的输入量，因此，需要将高清正脸人像并经过处理后的人像图像作为输入的样本图像。

将样本图像输入至训练后的编码模型，以便编码模型对样本图像进行编码处理，将编码处理后的结果确定为第一特征参数，即编码捏脸参数。训练后的编码模型可以作为用于对输入的图像进行编码处理的编码器，该编码器接收输入的样本图像，生成用于生成目标游戏人脸图像的参数。

具体的，编码模型可以采用基于超分辨率测试序列(Visual Geometry Group 19，VGG19)的基本结构，参考图3，为了增强编码模型的编码能力，对其增加了3个残差结构，并将残差结构连接到两个全连接层，这两个全连接层分别计算连续参数(pc)与离散参数(pd)。公式1示出了编码器的数学模型，其中，g(x)为经过卷积、池化等操作后提取的高维特征，f₁,f₂分别为计算连续参数与离散参数的全连接层。

参考图4，在步骤S401～步骤S402中，编码模型对样本图像进行编码处理后，生成第一特征参数，以便后续结合第一特征参数生成目标游戏人脸图像。具体的，第一特征参数(p)可以分为：第一连续参数(pc)和第一离散参数(pd)；第一连续参数(pc)可以用于描述游戏人脸每个位置的平移、旋转、俯仰，直接了控制脸部的三维形状；第一离散参数(pd)指发型、眉形等可选择的外观样式，由于这些样式相互独立，这些参数以独热码(one-hot code)形式输出，参数有多少个状态就可以用多少个比特来表示。

步骤S120.获取预先配置的用于描述图像特征的第二特征参数；其中，第二特征参数的维度与第一特征参数的维度相同。

在本公开的一些示例性实施方式中，第二特征参数中可以包括描述图像特征的具体信息，又称标签捏脸参数，第二特征参数的数据格式与第一特征参数的特征参数相同。第二特征参数的来源可以包括但不限于收集用户在游戏中通过手动调整游戏人物面部特征而完成的目标游戏人脸图像，并由游戏客户端输出的特征参数；采用其他多次迭代的捏脸方法得到的特征参数等。由于特征参数中可以包括多个特征分量，特征参数的维度表示了特征参数中的特征分量的个数，例如，若特征参数一共有100个特征分量，则特征参数的维度可以为100。

第二特征参数(p’)可以是本公开的输入之一，可生成与样本图像相似的游戏人脸图像，由第二特征参数经过解码处理后得到的游戏人脸图像与最后想要得到的结果较为最为接近。参考图4中的步骤S404，第二特征参数(p’)可以包括第二连续参数(pc’)与第二离散参数(pd’)，其中，第二连续参数(pc’)与第二离散参数(pd’)的维度与描述的特征分别与第一连续参数(pc)和第一离散参数(pd)相同。

步骤S130.结合第一特征参数与第二特征参数计算像素损失函数和分类损失函数。

在本公开的一些示例性实施方式中，可以基于编码处理后得到的第一特征参数与预先配置的第二特征参数进行组合处理后，计算像素损失函数和分类损失函数。

根据本公开的一些示例性实施例，将第一特征参数与第二特征参数进行组合处理后得到第三特征参数；基于第一特征参数、第二特征参数与第三特征参数计算像素损失函数和分类损失函数。其中，第三特征参数即为组合捏脸参数，第三特征参数可以为结合第一特征参数与第二特征参数两种参数的其中一部分参数组合的特征参数。像素损失函数可以为计算两个图像之间的损失所用的函数；分类损失函数可以为计算两个特征参数之间的损失所用的函数。基于第一特征参数、第二特征参数与第三特征参数这三种参数可以计算出像素损失函数和分类损失函数，以便基于像素损失函数和分类损失函数对编码模型进行训练。

根据本公开的另一示例性实施例，确定第一特征参数对应的第一连续参数；确定第二特征参数对应的第二离散参数；将第一连续参数与第二离散参数进行组合得到第三特征参数。参考图4，在步骤405～步骤S406中，组合捏脸参数可以基于第一特征参数(p)、第二特征参数(p’)进行组合处理后得到，第三特征参数可以用于生成人脸图像。从对样本图像进行编码处理后得到的第一特征参数(p)中确定出对应的第一连续参数(pc)，并从第二捏脸参数(p’)中确定出对应的第二离散参数(pd’)，将第一连续参数(pc)作为第三特征参数中的连续参数，将第二离散参数(pd’)作为第三特征参数中的离散参数，共同组成第三特征参数。

根据本公开的又一示例性实施例，对第二特征参数输入至解码模型进行解码处理后得到第一人脸图像；对第三特征参数输入至解码模型进行解码处理后得到第二人脸图像；确定第一特征参数对应的第一离散参数以及第二特征参数对应的第二离散参数；计算第一人脸图像与第二人脸图像之间的像素损失函数以及第一离散参数与第二离散参数之间的分类损失函数。参考图4，在步骤S407～步骤S410中，解码模型可以为对输入的特征参数进行解码后生成人脸图像的神经网络模型，可以由一系列反卷积层构成的深度卷积神经网络构成，其数学模型为Y＝D(x)。输入为多维捏脸参数x，输出为游戏人脸图像Y。其中，解码模型是通过游戏客户端渲染而成的人脸图像和对应的捏脸参数训练而成，捏脸参数的每个维度在均匀分布下随机产生，进一步可通过游戏客户端对随机产生的捏脸参数进行渲染得到游戏人脸图像。训练解码模型时，可以使用Pytorch深度学习框架并选择随机梯度下降法，损失函数选择L1损失函数，经过训练可得到性能良好的解码模型。

将第二特征参数输入至解码模型中，解码模型可以输出游戏人脸图像Y'，将游戏人脸图像Y'确定为第一人脸图像，第一人脸图像Y'与真实人脸图像相似。将第三特征参数输入至解码模型中，解码模型可以输出游戏人脸图像将游戏人脸图像确定为第二人脸图像，第二人脸图像与第一人脸图像Y'具有相同的发型、眉形等的外观样式和不同的脸部的三维形状。游戏人脸图像Y由第一特征参数(p)经过解码模型进行解码处理后生成。

第一人脸图像与第二人脸图像之间的像素损失函数可以采用L2范数来确定，可以表示为像素损失函数F2，像素损失函数F2表示了第一人脸图像与第二人脸图像之间在脸部三维形状上的相似度，即在捏脸参数中对应的连续参数控制下的相似度。像素损失函数F2的数学模型如公式2所示，当第一人脸图像与第二人脸图像越相似，L2范数越小。

第一离散参数与第二离散参数之间的分类损失函数F1可以采用交叉熵来确定第一离散参数(pd)与第二离散参数(pd’)之间在发型、眉形等外观样式上分类的相似度，即捏脸参数中对应的离散参数控制下的相似度。当分类准确度越高，交叉熵越小。分类损失函数F1的数学模型如公式3所示。

F1(pd,pd')＝-Σpd'*ln(pd) (公式3)

步骤S140.基于像素损失函数与分类损失函数确定目标损失函数，并根据目标损失函数调整编码模型的参数以训练编码模型。

在本公开的一些示例性实施方式中，目标损失函数可以由像素损失函数与分类损失函数进行组合运算后得到，目标损失函数F可以是像素损失函数与分类损失函数的加权和，是优化算法中的目标函数。目标损失函数F的数学模型如公式4所示，其中，λ为权重。通过调整编码模型中各项参数的权重，来优化目标损失函数F。

根据本公开的一些示例性实施例，采用梯度下降法调整编码模型的参数；如果目标损失函数未收敛，则获取一图像作为新的样本图像，将新的样本图像输入至经过参数调整后的编码模型，直至目标损失函数收敛。由于神经网络模型中参数的复杂性，直接通过数学公式推导难以直接求得其解析解。因此，通过梯度下降法进行优化求解。目标损失函数经过链式求导法则，计算得到损失在各参数上的梯度，从而优化参数降低损失。通过将足够数量的样本图像输入至编码模型，调整编码模型中的参数直至目标损失函数收敛。举例而言，可以采用70000个人脸图像作为训练集，30000个人脸图像作为验证集，对编码模型进行训练和验证。

参考图6所示，根据本发明的另一个实施例的应用于游戏的图像处理方法，可以采用服务器实现应用于游戏的图像处理方法，其中，所述服务器为支持游戏运行的游戏后台服务器，该方法包括如下步骤S610至步骤S650，以下详细进行阐述。

步骤S610.将样本人脸图像输入至编码模型进行编码处理后得到编码特征参数。

根据本公开的一些示例性实施方式，样本人脸图像可以为用于训练编码模型的人脸图像，编码特征参数为样本人脸图像经过编码模型进行编码处理后得到的特征参数，编码特征参数与上述的第一特征参数的涵义相同。

步骤S620.获取预先配置的用于描述人脸图像特征的标签特征参数；其中，标签特征参数的维度与编码特征参数的维度相同。

根据本公开的一些示例性实施方式，标签特征参数与上述的第二特征参数涵义相同，对此不再进行赘述。

步骤S630.结合编码特征参数参数与标签特征参数调整编码模型的参数以得到训练后的编码模型。

根据本公开的一些示例性实施方式，在该步骤中，训练编码模型的方式与上述训练编码模型的步骤相同，对比本公开不再进行赘述。

步骤S640.将初始真实人脸图像输入至训练后的编码模型进行编码处理后得到目标特征参数。

根据本公开的一些示例性实施方式，初始真实人脸图像是对输入的人脸图像进行处理后得到的人脸图像，对初始真实人脸图像经过编码处理后可以得到目标特征参数。目标特征参数可以是能够被游戏客户端识别并利用目标特征参数能生成目标游戏人脸图像的特征参数。

根据本公开的一些示例性实施例，接收输入的人脸图像，对人脸图像进行调整处理后放置于预设位置，以确定出初始真实人脸图像。在接收到输入的人脸图像后，通过人脸对齐将输入的人脸图像对齐到固定位置，本技术方案采用Dlib机器学习库中的人脸检测和人脸关键点提取算法实现。具体的过程为：首先，对输入的人脸图像进行人脸检测，得到人脸正脸区域；其次，提取68个人脸关键点；再次，通过固定眼睛在图像上的相对位置，计算仿射矩阵，利用该仿射矩阵旋转、缩放、平移人脸区域至图像固定位置，得到大小、位置相同的初始真实人脸图像，以便基于初始真实人脸图像生成目标特征参数。

步骤S650.将目标特征参数输入至客户端进行渲染处理后生成目标游戏人脸图像。

根据本公开的一些示例性实施方式，客户端可以是用户进行游戏时使用的游戏客户端，目标游戏人脸图像可以是用户在游戏过程中使用的游戏形象。将训练后的编码模型输出的目标参数输入至游戏客户端，游戏客户端可以对目标特征参数进行渲染处理后得到目标游戏人脸图像。参考图7，图7中的三幅人脸图像按照左中右的顺序分别为初始真实人脸图像、由编码对目标编码参数进行解码处理后生成的图像以及目标游戏人脸图像。

参考图5，步骤S501～步骤S520给出了根据本公开的图像处理方法生成目标游戏人脸图像的整体流程，由步骤520输出的目标特征参数可以直接被游戏客户端识别，渲染生成目标游戏人脸图像。

需要说明的是，本公开所使用的术语“第一”、“第二”等，仅是为了区分不同的特征参数、不同的人脸图像等，并不应对本公开造成任何限制。

综上所述，首先，将样本图像输入至编码模型进行编码处理后得到第一特征参数；其次，获取预先配置的用于描述图像特征的第二特征参数；其中，第二特征参数的维度与第一特征参数的维度相同；再次，结合第一特征参数与第二特征参数计算像素损失函数和分类损失函数；接下来，基于像素损失函数与分类损失函数确定目标损失函数，并根据目标损失函数调整编码模型的参数以训练编码模型。通过本公开的模型训练方法，一方面，将图像输入至编码模型进行编码处理得到第一特征参数后，将预先配置的第二特征参数与第一特征参数进行组合，以用来训练编码模型；将第一特征参数加入编码模型的训练过程可以使训练后得到的编码模型输入的目标特征参数更符合用户在游戏中使用的游戏人脸图像。另一方面，通过计算目标损失函数是否收敛来训练编码模型可以使训练后得到的编码模型输出的特征参数更接近第二特征参数，使得编码模型产生的较好的捏脸效果。再一方面，所训练的编码模型输出的目标特征参数能够被游戏客户端识别，可以将目标编码参数输入至游戏客户端，由游戏客户端输出生成的目标游戏人脸。

此外，在本示例实施例中，还提供了一种模型训练装置。参考图8，该模型训练装置800可以包括第一参数确定模块810、第二参数获取模块820、函数计算模块830以及参数调整模块840。

具体的，第一参数确定模块810可以用于将样本图像输入至编码模型进行编码处理后得到第一特征参数；第二参数获取模块820可以用于获取预先配置的用于描述图像特征的第二特征参数；其中，第二特征参数的维度与第一特征参数的维度相同；函数计算模块830可以用于结合第一特征参数与第二特征参数计算像素损失函数和分类损失函数；参数调整模块840可以用于基于像素损失函数与分类损失函数确定目标损失函数；并根据目标损失函数调整编码模型的参数以训练编码模型。

模型训练装置800由编码模型输出样本图像的第一特征参数后，通过预先配置的地二特征参数与第一特征参数相结合，计算出像素损失函数和分类损失函数，并基于像素损失函数和分类损失函数确定目标损失函数，根据目标损失函数调整编码模型的参数以训练编码模型。

根据本公开的一些示例性实施例，参考图9，函数计算模块830可以包括函数计算单元910。

具体的，函数计算单元910可以用于将第一特征参数与第二特征参数进行组合处理后得到第三特征参数；基于第一特征参数、第二特征参数与第三特征参数计算像素损失函数和分类损失函数。

函数计算单元910可以结合第一特征参数与第二特征参数得到第三特征参数，进而根据得到的第三特征参数、第一特征参数与第二特征参数计算像素损失函数和分类损失函数。

根据本公开的另一示例性实施例，参考图10，函数计算单元910还包括第三参数确定单元1010。

具体的，第三参数确定单元1010可以用于确定第一特征参数对应的第一连续参数；确定第二特征参数对应的第二离散参数；将第一连续参数与第二离散参数进行组合得到第三特征参数。

第三参数确定单元1010明确了如何对第一特征参数与第二特征参数进行组合处理得到第三特征参数。

根据本公开的又一示例性实施例，参考图11，函数计算单元1110还包括函数计算子单元1120。

具体的，函数计算子单元1120可以用于对第二特征参数输入至解码模型进行解码处理后得到第一人脸图像；对第三特征参数输入至解码模型进行解码处理后得到第二人脸图像；确定第一特征参数对应的第一离散参数以及第二特征参数对应的第二离散参数；计算第一人脸图像与第二人脸图像之间的像素损失函数以及第一离散参数与第二离散参数之间的分类损失函数。

函数计算子单元1120通过解码模型对第一特征参数与地二特征参数进行解码处理后得到第一人脸图像与第二人脸图像，并基于第一人脸图像与第二人脸图像确定像素损失函数；另外，计算第一离散参数与第二离散参数之间的分类损失函数。

根据本公开的再一示例性实施例，参考图12，参数调整模块840可以包括参数调整单元1210。

具体的，参数调整单元1210用于采用梯度下降法调整编码模型的参数；如果目标损失函数未收敛，则获取一图像作为新的样本图像，将新的样本图像输入至经过参数调整后的编码模型，直至目标损失函数收敛。

参数调整单元1210采用梯度下降法对编码模型的参数进行调整，直至目标损失函数收敛时，编码模型训练完成。

此外，在本示例实施例中，还提供了另外一种图像处理装置1300。参考图13，编码参数确定模块1310、标签参数确定模块1320、模型训练模块1330、编码处理模块1340以及图像生成模块1350。

具体的，编码参数确定模块1310可以用于将样本人脸图像输入至编码模型进行编码处理后得到编码特征参数；标签参数确定模块1320可以获取预先配置的用于描述人脸图像特征的标签特征参数；其中，标签特征参数的维度与编码特征参数的维度相同；模型训练模块1330可以用于结合编码特征参数参数与标签特征参数调整编码模型的参数以得到训练后的编码模型；编码处理模块1340可以用于将初始真实人脸图像输入至训练后的编码模型进行编码处理后得到目标特征参数；图像生成模块1350可以用于将目标特征参数输入至客户端进行渲染处理后生成目标游戏人脸图像。

图像处理装置1300利用训练后的编码模型对初始真实人脸图像进行编码处理后的到目标特征参数，该目标特征参数可以直接被游戏客户端识别，并进行渲染处理后生成目标游戏人脸图像。

根据本公开的一些示例性实施例，参考图14，编码处理模块1340还包括图像确定单元1410。

具体的，图像确定单元1410可以用于接收输入的人脸图像，对人脸图像进行调整处理后放置于预设位置，以确定出初始真实人脸图像。

图像确定单元1410用于对输入的人脸图像进行对齐处理或其他调整处理，将正脸人脸图像对齐到预设位置，并确定出初始真实人脸图像。

上述中各虚拟模型训练装置以及图像处理装置模块的具体细节已经在对应的模型训练方法以及应用于游戏的图像处理方法中进行了详细的描述，因此此处不再赘述。

应当注意，尽管在上文详细描述中提及了模型训练装置的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施例、完全的软件实施例(包括固件、微代码等)，或硬件和软件方面结合的实施例，这里可以统称为“电路”、“模块”或“系统”。

下面参照图15来描述根据本发明的这种实施例的电子设备1500。图15显示的电子设备1500仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图15所示，电子设备1500以通用计算设备的形式表现。电子设备1500的组件可以包括但不限于：上述至少一个处理单元1510、上述至少一个存储单元1520、连接不同系统组件(包括存储单元1520和处理单元1510)的总线1530、显示单元1540。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元1510执行，使得所述处理单元1510执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的步骤。

存储单元1520可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)1521和/或高速缓存存储单元1522，还可以进一步包括只读存储单元(ROM)1523。

存储单元1520还可以包括具有一组(至少一个)程序模块1525的程序/实用工具1524，这样的程序模块1525包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线1530可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备1500也可以与一个或多个外部设备1570(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1500交互的设备通信，和/或与使得该电子设备1500能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1550进行。并且，电子设备1500还可以通过网络适配器1560与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器1560通过总线1530与电子设备1500的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1500使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施例的方法。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施例中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的步骤。

参考图16所示，描述了根据本发明的实施例的用于实现上述方法的程序产品1600，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (11)

1.一种模型训练方法，其特征在于，包括：

将样本图像输入至编码模型进行编码处理后得到第一特征参数；

获取预先配置的用于描述图像特征的第二特征参数；其中，所述第二特征参数的维度与所述第一特征参数的维度相同；

结合所述第一特征参数与所述第二特征参数计算像素损失函数和分类损失函数；

基于所述像素损失函数与所述分类损失函数确定目标损失函数，并根据所述目标损失函数调整所述编码模型的参数以训练所述编码模型。

2.根据权利要求1所述的模型训练方法，其特征在于，结合所述第一特征参数与所述第二特征参数计算像素损失函数和分类损失函数包括：

将所述第一特征参数与所述第二特征参数进行组合处理后得到第三特征参数；

基于所述第一特征参数、所述第二特征参数与所述第三特征参数计算所述像素损失函数和所述分类损失函数。

3.根据权利要求2所述的模型训练方法，其特征在于，将所述第一特征参数与所述第二特征参数进行组合处理后得到第三特征参数包括：

确定所述第一特征参数对应的第一连续参数；

确定所述第二特征参数对应的第二离散参数；

将所述第一连续参数与所述第二离散参数进行组合得到所述第三特征参数。

4.根据权利要求2所述的模型训练方法，其特征在于，基于所述第一特征参数、所述第二特征参数与所述第三特征参数计算所述像素损失函数和所述分类损失函数包括：

对所述第二特征参数输入至解码模型进行解码处理后得到第一人脸图像；

对所述第三特征参数输入至所述解码模型进行解码处理后得到第二人脸图像；

确定所述第一特征参数对应的第一离散参数以及所述第二特征参数对应的第二离散参数；

计算所述第一人脸图像与所述第二人脸图像之间的像素损失函数以及所述第一离散参数与所述第二离散参数之间的分类损失函数。

5.根据权利要求1所述的模型训练方法，其特征在于，基于所述目标损失函数调整所述编码模型的参数以训练所述编码模型包括：

采用梯度下降法调整所述编码模型的参数；

如果所述目标损失函数未收敛，则获取一图像作为新的样本图像，将所述新的样本图像输入至经过参数调整后的编码模型，直至所述目标损失函数收敛。

6.一种应用于游戏的图像处理方法，其特征在于，包括：

将样本人脸图像输入至编码模型进行编码处理后得到编码特征参数；

获取预先配置的用于描述人脸图像特征的标签特征参数；其中，所述标签特征参数的维度与所述编码特征参数的维度相同；

结合所述编码特征参数参数与所述标签特征参数调整所述编码模型的参数以得到训练后的编码模型；

将初始真实人脸图像输入至所述训练后的编码模型进行编码处理后得到目标特征参数；

将所述目标特征参数输入至客户端，以便所述客户端对所述目标特征参数进行渲染处理后生成目标游戏人脸图像。

7.根据权利要求6所述的应用于游戏的图像处理方法，其特征在于，将样本图像输入至所述训练后的编码模型进行编码处理后得到目标特征参数之前，所述应用于游戏的图像处理方法还包括：

接收输入的人脸图像，对所述人脸图像进行调整处理后放置于预设位置，以确定出所述初始真实人脸图像。

8.一种模型训练装置，其特征在于，包括：

第一参数确定模块，用于将样本图像输入至编码模型进行编码处理后得到第一特征参数；

第二参数获取模块，用于获取预先配置的用于描述图像特征的第二特征参数；其中，所述第二特征参数的维度与所述第一特征参数的维度相同；

函数计算模块，用于结合所述第一特征参数与所述第二特征参数计算像素损失函数和分类损失函数；

函数确定模块，用于基于所述像素损失函数与所述分类损失函数确定目标损失函数；

参数调整模块，用于基于所述目标损失函数调整所述编码模型的参数以训练所述编码模型。

9.一种应用于游戏的图像处理装置，其特征在于，包括：

编码参数确定模块，用于将样本人脸图像输入至编码模型进行编码处理后得到编码特征参数；

标签参数确定模块，获取预先配置的用于描述人脸图像特征的标签特征参数；其中，所述标签特征参数的维度与所述编码特征参数的维度相同；

模型训练模块，用于结合所述编码特征参数参数与所述标签特征参数调整所述编码模型的参数以得到训练后的编码模型；

编码处理模块，用于将初始真实人脸图像输入至所述训练后的编码模型进行编码处理后得到目标特征参数；

图像生成模块，用于将所述目标特征参数输入至客户端进行渲染处理后生成目标游戏人脸图像。

10.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至5中任一项所述的模型训练方法，或实现如权利要求6至7中任一项所述的应用于游戏的图像处理方法。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至5中任一项所述的模型训练方法，或实现如权利要求6至7中任一项所述的应用于游戏的图像处理方法。