CN111985510B

CN111985510B - 生成模型训练方法、图像生成方法及装置、介质、终端

Info

Publication number: CN111985510B
Application number: CN201910422770.8A
Authority: CN
Inventors: 侯琦; 蔡育锋; 张无名
Original assignee: Beijing Xintang Sichuang Educational Technology Co Ltd
Current assignee: Beijing Xintang Sichuang Educational Technology Co Ltd
Priority date: 2019-05-21
Filing date: 2019-05-21
Publication date: 2022-05-31
Anticipated expiration: 2039-05-21
Also published as: CN111985510A

Abstract

本发明实施例公开了一种生成模型训练方法、图像生成方法及装置、介质、终端，所述生成模型训练方法包括：基于训练图像中图像的关键点，得到生成模型的训练数据；根据所述训练数据对所述生成模型进行训练，直至判别模型对所述生成模型输出的生成图像的判定结果不变；其中，所述判别模型还适于根据所述训练图像得到所述训练图像的边缘轮廓图像，并且根据所述生成图像得到所述生成图像的边缘轮廓图像；对所述生成模型进行训练包括：基于所述训练图像的边缘轮廓图像以及所述生成图像的边缘轮廓图像调整所述生成模型的模型参数。本发明实施例中的技术方案可以提升生成模型生成的图像的清晰度。

Description

生成模型训练方法、图像生成方法及装置、介质、终端

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种生成模型训练方法、图像生成方法及装置、介质、终端。

背景技术

深度学习是机器学习的一个分支，目的在于建立一个模拟人脑进行分析学习的神经网络，通过模仿人脑的工作机制来进行数据处理。深度学习在计算机视觉领域取得了显著的突破，图像识别、图像生成等技术趋于常态化。

在图像识别与图像生成中，通过大量的训练数据对生成模型进行训练，并通过判别模型来判别生成图像的真伪。基于训练完成的生成模型，将图像边界、关键点等输入所述生成模型，即可输出完整的图像。

如何提升生成的图像的清晰度成为亟待解决的问题。

发明内容

本发明解决的问题是提升生成的图像的清晰度。

为解决上述问题，本发明提供一种生成模型训练方法，包括：基于训练图像中图像的关键点，得到生成模型的训练数据；根据所述训练数据对所述生成模型进行训练，直至判别模型对所述生成模型输出的生成图像的判定结果不变；其中，所述判别模型还适于根据所述训练图像得到所述训练图像的边缘轮廓图像，并且根据所述生成图像得到所述生成图像的边缘轮廓图像；对所述生成模型进行训练包括：基于所述训练图像的边缘轮廓图像以及所述生成图像的边缘轮廓图像调整所述生成模型的模型参数。

可选的，所述基于所述训练图像的边缘轮廓图像以及所述生成图像的边缘轮廓图像调整所述生成模型的模型参包括：基于所述训练图像的边缘轮廓图像以及所述生成图像的边缘轮廓图像，计算所述图像的边缘轮廓损失；根据所述边缘轮廓损失调整所述生成模型的边缘损失参数。

可选的，所述对所述生成模型进行训练还包括：基于所述训练图像以及所述生成图像调整所述生成模型的模型参数。

可选的，所述基于所述训练图像以及所述生成图像调整所述生成模型的模型参数包括：基于所述训练图像以及所述生成图像，计算所述图像的全局图像损失；根据所述全局图像损失调整所述生成模型的全局损失参数。

可选的，所述基于所述训练图像以及所述生成图像调整所述生成模型的模型参数包括：基于所述训练图像，得到所述训练图像的局部训练图像；基于所述生成图像，得到所述生成图像的局部生成图像；根据所述局部训练图像以及所述局部生成图像，调整所述生成模型的模型参数。

可选的，所述根据所述局部训练图像以及所述局部生成图像，调整所述生成模型的模型参数包括：根据局部训练图像以及所述局部生成图像，得到所述图像的局部残差图像；根据所述局部残差图像以及所述局部生成图像，计算所述图像的局部图像损失；根据所述局部图像损失调整所述生成模型的局部损失参数。

可选的，所述基于训练图像中图像的关键点，得到生成模型的训练数据包括：生成对应所述训练图像中图像的掩码区域；将所述图像的关键点绘入所述掩码区域，生成所述训练数据。

可选的，所述图像的关键点通过关键点检测算法获取。

本发明实施例还提供一种图像生成方法，包括：根据所述生成模型训练方法对生成模型进行训练；将目标图像中图像的关键点得到的目标图像数据作为训练后的生成模型的输入数据，通过所述生成模型生成对应所述目标图像的目标生成图像。

可选的，所述将目标图像中图像的关键点得到的目标图像数据作为训练后的生成模型的输入数据，得到对应所述目标图像的目标生成图像包括：将所述目标图像数据输入所述生成模型，生成目标输出图像；通过混合算法融合所述目标输出图像以及所述目标图像，得到对应所述目标图像的目标生成图像。

可选的，所述混合算法为α混合算法。

本发明实施例还提供一种生成模型训练装置，包括：训练数据生成单元，适于基于训练图像中图像的关键点，得到生成模型的训练数据；模型训练单元，适于根据所述训练数据对所述生成模型进行训练，直至判别模型对所述生成模型输出的生成图像的判定结果不变；其中，所述判别模型还适于根据所述训练图像得到所述训练图像的边缘轮廓图像，并且根据所述生成图像得到所述生成图像的边缘轮廓图像；所述模型训练单元包括：第一调整子单元，适于基于所述训练图像的边缘轮廓图像以及所述生成图像的边缘轮廓图像调整所述生成模型的模型参数。

可选的，所述第一调整子单元包括：第一计算模块，适于基于所述训练图像的边缘轮廓图像以及所述生成图像的边缘轮廓图像，计算所述图像的边缘轮廓损失；第一调整模块，适于根据所述边缘轮廓损失调整所述生成模型的边缘损失参数。

可选的，所述模型训练单元还包括：第二调整子单元，适于基于所述训练图像以及所述生成图像调整所述生成模型的模型参数。

可选的，所述第二调整子单元包括：第二计算模块，适于基于所述训练图像以及所述生成图像，计算所述图像的全局图像损失；第二调整模块，适于根据所述全局图像损失调整所述生成模型的全局损失参数。

可选的，所述第二调整子单元包括：局部训练图像生成模块，适于基于所述训练图像，得到所述训练图像的局部训练图像；局部生成图像生成模块，适于基于所述生成图像，得到所述生成图像的局部生成图像；第三调整模块，适于根据所述局部训练图像以及所述局部生成图像，调整所述生成模型的模型参数。

可选的，所述第三调整模块包括：局部图像残差计算子模块，适于根据局部训练图像以及所述局部生成图像，得到所述图像的局部残差图像；第三计算子模块，适于根据所述局部残差图像以及所述局部生成图像，计算所述图像的局部图像损失；第三调整子模块，适于根据所述局部图像损失调整所述生成模型的局部损失参数。

可选的，所述训练数据生成单元包括：掩码区域生成子单元，适于生成对应所述训练图像中图像的掩码区域；训练数据生成子单元，适于将所述图像的关键点绘入所述掩码区域，生成所述训练数据。

本发明实施例还提供一种图像生成装置，包括：模型训练单元，适于根据所述生成模型训练方法对生成模型进行训练；目标图像生成单元，适于将目标图像中图像的关键点得到的目标图像数据作为训练后的生成模型的输入数据，通过所述生成模型生成对应所述目标图像的目标生成图像。

可选的，所述目标图像生成单元包括：目标输出图像输出子单元，适于将所述目标图像数据输入所述生成模型，生成目标输出图像；混合子单元，适于通过混合算法融合所述目标输出图像以及所述目标图像，得到对应所述目标图像的目标生成图像。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令运行时执行所述生成模型训练方法的步骤。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令运行时执行所述图像生成方法的步骤。

本发明实施例还提供一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行所述生成模型训练方法的步骤。

本发明实施例还提供一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行所述图像生成方法的步骤。

与现有技术相比，本发明的技术方案具有以下有益效果：

本发明实施例中，基于训练图像中图像的关键点，得到生成模型的训练数据，根据所述训练数据对所述生成模型进行训练，直至判别模型对所述生成模型输出的生成图像的判定结果不变。其中，所述判别模型还适于根据所述训练图像得到所述训练图像的边缘轮廓，并且根据所述生成图像得到所述生成图像的边缘轮廓，对所述生成模型进行训练包括至少基于所述训练图像的边缘轮廓以及所述生成图像的边缘轮廓调整所述生成模型的模型参数。从而，可以通过判别模型得到的训练图像的边缘轮廓以及所述生成图像的边缘轮廓对生成模型的模型参数进行调整，对生成模型进行优化，进而可以提升生成模型生成的图像的清晰度。

附图说明

图1是本发明实施例中一种生成模型训练方法的流程图；

图2是本发明实施例中一种获取训练数据的方法的流程图；

图3是本发明实施例中一种生成对抗式训练方法的网络结构示意图；

图4是本发明实施例中一种基于边缘轮廓图像调整生成模型的模型参数的方法的流程图；

图5是本发明实施例中一种基于训练图像和生成图像调整生成模型的模型参数的方法的流程图；

图6是本发明实施例中另一种基于训练图像和生成图像调整生成模型的模型参数的方法的流程图；

图7是本发明实施例中一种根据局部训练图像以及局部生成图像调整生成模型的模型参数的方法的流程图；

图8是本发明实施例中一种图像生成方法的流程图；

图9是本发明实施例中一种生成目标生成图像的方法的流程图；

图10是本发明实施例中一种生成模型训练装置的结构示意图；

图11是本发明实施例中一种第一调整子单元的结构示意图；

图12是本发明实施例中一种第二调整子单元的结构示意图；

图13是本发明实施例中另一种第二调整子单元的结构示意图；

图14是本发明实施例中一种第三调整模块的结构示意图；

图15是本发明实施例中一种图像生成装置的结构示意图。

具体实施方式

由背景技术可知，如何提升生成的图像的清晰度成为亟待解决的问题。

在一种图像生成方法中，将待生成图像的图像边界、图像的实例分割图、或者是图像的关键点等输入卷积神经网络，通过卷积神经网络进行对抗训练，生成真实的图像。但是，生成的图像的细节、纹理等都不如真实图像清晰，并且容易出现伪影、噪点等。

本发明实施例中，基于训练图像中图像的关键点，得到生成模型的训练数据，根据所述训练数据对所述生成模型进行训练，直至判别模型对所述生成模型输出的生成图像的判定结果不变。其中，所述判别模型还适于根据所述训练图像得到所述训练图像的边缘轮廓图像，并且根据所述生成图像得到所述生成图像的边缘轮廓图像；对所述生成模型进行训练包括：基于所述训练图像的边缘轮廓图像以及所述生成图像的边缘轮廓图像调整所述生成模型的模型参数。从而，可以通过判别模型得到的训练图像的边缘轮廓图像以及所述生成图像的边缘轮廓图像对生成模型的模型参数进行调整，对生成模型进行优化，进而可以提升生成模型生成的图像的清晰度。

为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明具体实施例做详细的说明。

参照图1所示的一种生成模型训练方法的流程图，在本发明实施例中，生成模型训练方法可以包括：

步骤S11，基于训练图像中图像的关键点，得到生成模型的训练数据；

步骤S12，根据所述训练数据对所述生成模型进行训练，直至判别模型对所述生成模型输出的生成图像的判定结果不变。

其中，所述判别模型还适于根据所述训练图像得到所述训练图像的边缘轮廓图像，并且根据所述生成图像得到所述生成图像的边缘轮廓图像。步骤S12中所述对所述生成模型进行训练可以包括：基于所述训练图像的边缘轮廓图像以及所述生成图像的边缘轮廓图像调整所述生成模型的模型参数。

如背景技术所述，在图像识别以及图像生成中，可以通过大量训练数据对生成模型进行训练，并通过判别模型对生成模型生成图像的真伪进行判定。

在具体实施中，所述训练图像中的图像可以是人脸图像，训练数据的训练图像可以是从视频数据中获取。具体的，可以通过从视频数据中获取多张人脸的正脸图像，并处理成统一的尺寸，得到所述训练图像。

在具体实施中，可以通过多种检测算法，获取训练图像中人脸的关键点，例如，可以采用人脸关键点检测算法，提取所述训练图像中人脸的68个特征点。

本领域的技术人员可以理解的是，以上仅为举例说明，在具体实施中，对获取人脸关键点的算法不做限制。

在具体实施中，在获取训练图像后，可以基于训练图像中图像的关键点，得到生成模型的训练数据，参考图2，具体可以包括如下几个步骤：

步骤S21，生成对应所述训练图像中图像的掩码区域；

步骤S22，将所述图像的关键点绘入所述掩码区域，生成所述训练数据。

继续以人脸图像为例，在具体实施中，可以根据所述训练图像的尺寸，生成对应所述训练图像中人脸图像的人脸掩码区域，并将获取的68个人脸关键点绘入生成的掩码区域中，得到所述训练数据。

在具体实施中，可以根据所述训练数据，通过多种训练方式对生成模型进行训练，例如，可以使用生成对抗式的训练方法对生成模型进行训练。

图3示出了一种生成对抗式训练方法的网络结构示意图，其中，判别模型31可以是一个简单的神经网络结构，判别模型31的输入可以是一幅图像，判别模型31的输出可以是一个概率值，所述概率值用于判断输入图像的真假，例如，判别模型31输出的概率值为大于0.5的值，则指示输入的图像为真，判别模型31输出的概率值为小于0.5的值，则指示输入的图像为假。需要说明的是，以上仅为举例说明，判别模型31进行判定的概率值可以根据在具体使用设置，对此不做限制。

生成模型32可以是神经网络结构，输入可以是一组随机数或者是图像边界、关键点等信息，例如，在本发明实施例中，生成模型32的输入数据可以是基于图像的关键点得到的训练数据。生成模型32的输出可以是一个图像，例如，可以是本发明实施例中所述的生成图像。

在具体实施中，判别模型31可以使用开源的边缘检测数据进行训练，或者是根据自定义的检测数据集进行训练，对此不做限制。

参考图4，在具体实施中，所述基于所述训练图像的边缘轮廓图像以及所述生成图像的边缘轮廓图像调整所述生成模型的模型参可以包括：

步骤S41，基于所述训练图像的边缘轮廓图像以及所述生成图像的边缘轮廓图像，计算所述图像的边缘轮廓损失；

步骤S42，根据所述边缘轮廓损失调整所述生成模型的边缘损失参数。

在具体实施中，可以通过使用损失函数对所述图像的边缘轮廓损失进行计算，例如，可以是L1损失函数或者是L2损失函数，对此不做限定。

在本发明一具体实现中，可以通过L1损失函数计算所述图像的边缘轮廓损失，计算边缘轮廓损失的L1损失函数的表达式如下：

其中，n为训练图像或者是生成图像中像素点的个数，y_g为生成图像，y为训练图像,ED(y_g)为生成图像的边缘轮廓图像，ED(y)为训练图像的边缘轮廓图像。

如前所述，判别模型适于根据所述训练图像得到所述训练图像的边缘轮廓图像，并且根据所述生成图像得到所述生成图像的边缘轮廓图像。在具体实施中，分别将训练图像以及生成图像作为输入数据输入所述判别模型，以分别得到所述训练图像的边缘轮廓图像以及所述生成图像的边缘轮廓图像。

在具体实施中，根据得到的边缘轮廓损失调整生成模型的边缘损失参数可以通过多种优化算法进行，例如，可以是AdaGrad算法、RMSProp算法、AdaDelta算法、Adam算法等优化算法。需要说明的是，以上仅为举例说明，在具体实施中，用于调整边缘损失参数的优化算法也可以是其他的算法，对此不做限制。

在具体实施中，步骤S12中所述对所述生成模型进行训练还可以包括基于所述训练图像以及所述生成图像调整所述生成模型的模型参数。

参考图5，在本发明一具体实现中，基于所述训练图像以及所述生成图像调整所述生成模型的模型参数可以包括：

步骤S51，基于所述训练图像以及所述生成图像，计算所述图像的全局图像损失；

步骤S52，根据所述全局图像损失调整所述生成模型的全局损失参数。

在具体实施中，计算所述图像的全局图像损失可以通过前文所述的L1损失函数或者是L2损失函数进行计算。例如，继续以L1损失函数为例，计算全局图像损失的L1损失函数的表达式如下：

其中，n为训练图像或者是生成图像中像素点的个数，y_g为生成图像，y为训练图像。

进一步，根据全局图像损失调整生成模型的全局损失参数可以参照前文所述优化算法进行调整，对此不做赘述。

通过训练图像以及生成图像计算得到生成模型的全局图像损失，并根据全局图像损失调整生成模型的全局损失参数，可以从整体上对优化生成模型，可以提升生成模型生成的图像的清晰度。

参考图6，在本发明另一具体实现中，所述基于所述训练图像以及所述生成图像调整所述生成模型的模型参数可以包括：

步骤S61，基于所述训练图像，得到所述训练图像的局部训练图像；

步骤S62，基于所述生成图像，得到所述生成图像的局部生成图像；

步骤S63，根据所述局部训练图像以及所述局部生成图像，调整所述生成模型的模型参数。

在具体实施中，局部训练图像可以通过如下方式生成：

其中，y为训练图像，y_mask为像素为0或1的二值图像，y_local1为局部训练图像，

为点乘。同理，局部生成图像可以通过如上方式获取，在此不做赘述。

进一步，参考图7，步骤S63中所述根据所述局部训练图像以及所述局部生成图像，调整所述生成模型的模型参数可以包括：

步骤S71，根据局部训练图像以及所述局部生成图像，得到所述图像的局部残差图像；

步骤S72，根据所述局部残差图像以及所述局部生成图像，计算所述图像的局部图像损失；

步骤S73，根据所述局部图像损失调整所述生成模型的局部损失参数。

在具体实施中，根据局部训练图像以及局部生成图像得到局部残差图像，可以通过残差损失模型生成。其中，残差损失模型可以是一个多层卷积神经网络，残差损失模型以局部生成图像和局部训练图像堆叠得到的图像为输入，输出对应该局部生成图像和局部训练图像的局部残差图像。

在具体实施中，图像的局部图像损失可以通过前文所述的LI损失函数或者是L2损失函数进行计算，例如，以L2损失函数为例，计算局部图像损失的L2损失函数的表达式如下：

其中，y_local1为局部训练图像，y_local2为局部生成图像。

在具体实施中，根据局部图像损失调整生成模型的局部损失参数可以参照前文所述优化算法进行调整，在此不做赘述。

需要说明的是，在本发明实施例中，对应生成模型的多个参数，调整所述参数所应用的优化算法可以相同，也可以不同，对此不做限制。

通过残差损失模型得到局部生成图像和局部训练图像局部残差图像，并根据局部图像损失调整生成模型的局部损失参数，对生成模型进行优化，可以有效改善生成模型生成的图像的局部区域模糊，从而可以使生成模型生成的图像的局部区域更清晰，提升生成图像的清晰度。

本领域的技术人员可以理解的是，以上所述“L1损失函数”“L2损失函数”及其表达式仅为举例说明，在其他实施例中，计算图像损失的损失函数也可以是其他的函数，函数的表达式也可以是其他形式，对此不做限制。

本发明实施例还提供一种图像生成方法，参考图8所示的图像生成方法的流程图，在具体实施中，可以包括如下步骤：

步骤S81，根据所述生成模型训练方法对生成模型进行训练；

步骤S82，将目标图像中图像的关键点得到的目标图像数据作为训练后的生成模型的输入数据，通过所述生成模型生成对应所述目标图像的目标生成图像。

继续延用前例，在具体实施中，采用人脸关键检测算法获取目标图像中人脸图像的68个关键点，并将获取的68个关键点绘入对应目标图像的掩码区域，以得到所述目标图像数据。

进一步，参考图9，步骤S82中所述将目标图像中图像的关键点得到的目标图像数据作为训练后的生成模型的输入数据，得到对应所述目标图像的目标生成图像可以包括：

步骤S91，将所述目标图像数据输入所述生成模型，生成目标输出图像；

步骤S92，通过混合算法融合所述目标输出图像以及所述目标图像，得到对应所述目标图像的目标生成图像。

在具体实施中，可以通过α透明混合算法对所述目标图像以及所述目标输出图像进行融合，以得到目标生成图像。本领域技术人员可以理解的是，以上仅为对目标输出图像以及所述目标图像进行融合的举例说明，在其他实施例中，也可以是其他的融合方式或其他的算法，对此不做限定。

本发明实施例还提供一种生成模型训练装置，参考图10，在具体实施中，所述生成模型训练装置100可以包括：

训练数据生成单元101，适于基于训练图像中图像的关键点，得到生成模型的训练数据；

模型训练单元102，适于根据所述训练数据对所述生成模型进行训练，直至判别模型对所述生成模型输出的生成图像的判定结果不变。

其中，所述判别模型还适于根据所述训练图像得到所述训练图像的边缘轮廓图像，并且根据所述生成图像得到所述生成图像的边缘轮廓图像。在具体实施中，所述模型训练单元102可以包括：第一调整子单元1021，适于基于所述训练图像的边缘轮廓图像以及所述生成图像的边缘轮廓图像调整所述生成模型的模型参数。

参考图11，在具体实施中，所述第一调整子单元1021可以包括：

第一计算模块111，适于基于所述训练图像的边缘轮廓图像以及所述生成图像的边缘轮廓图像，计算所述图像的边缘轮廓损失；

第一调整模块112，适于根据所述边缘轮廓损失调整所述生成模型的边缘损失参数。

继续参考图10，在具体实施中，所述模型训练单元92还可以包括：第二调整子单元1022，适于基于所述训练图像以及所述生成图像调整所述生成模型的模型参数。

参考图12，在本发明一具体实现中，所述第二调整子单元1022可以包括：

第二计算模块121，适于基于所述训练图像以及所述生成图像，计算所述图像的全局图像损失；

第二调整模块122，适于根据所述全局图像损失调整所述生成模型的全局损失参数。

参考图13，在本发明另一具体实现中，所述第二调整子单元1022可以包括：

局部训练图像生成模块131，适于基于所述训练图像，得到所述训练图像的局部训练图像；

局部生成图像生成模块132，适于基于所述生成图像，得到所述生成图像的局部生成图像；

第三调整模块133，适于根据所述局部训练图像以及所述局部生成图像，调整所述生成模型的模型参数。

参考图14，在具体实施中，所述第三调整模块133可以包括：

局部图像残差生成子模块141，适于根据局部训练图像以及所述局部生成图像，得到所述图像的局部残差图像；

第三计算子模块142，适于根据所述局部残差图像以及所述局部生成图像，计算所述图像的局部图像损失；

第三调整子模块143，适于根据所述局部图像损失调整所述生成模型的局部损失参数。

继续参考图10，在本发明一具体实现中，所述训练数据生成单元101可以包括：

掩码区域生成子单元1011，适于生成对应所述训练图像中图像的掩码区域；

训练数据生成子单元1012，适于将所述图像的关键点绘入所述掩码区域，生成所述训练数据。

本领域技术人员可以理解的是，本发明实施例中的“第一”、“第二”、“第三”仅为表述方便，并不代表对其实现方式的具体限制。

本发明实施例中的生成模型训练装置的具体实现和有益效果，可以参见本发明实施例中的生成模型训练方法，在此不再赘述。

本发明实施例还提供一种图像生成装置，参考图15，所述图像生成装置150可以包括：

模型训练单元151，适于根据所述生成模型训练方法对生成模型进行训练；

目标图像生成单元152，适于将目标图像中图像的关键点得到的目标图像数据作为训练后的生成模型的输入数据，通过所述生成模型生成对应所述目标图像的目标生成图像。

在具体实施中，所述目标图像生成单元152可以包括：

目标输出图像输出子单元1521，适于将所述目标图像数据输入所述生成模型，生成目标输出图像；

混合子单元1522，适于通过混合算法融合所述目标输出图像以及所述目标图像，得到对应所述目标图像的目标生成图像。

本发明实施例中的图像生成装置的具体实现和有益效果，可以参见本发明实施例中的图像生成方法，在此不再赘述。

其中，所述计算机可读存储介质可以是光盘、机械硬盘、固态硬盘等。

本发明实施例还提供一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行生成模型训练方法的步骤。

其中，所述终端可以是手机、电脑，或者其他可执行本发明实施例中生成模型训练方法的设备。

本发明实施例还提供一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行图像生成方法的步骤。

其中，所述终端可以是手机、电脑，或者其他可执行本发明实施例中图像生成方法的设备。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims

1.一种生成模型训练方法，其特征在于，包括：基于训练图像中图像的关键点，得到生成模型的训练数据包括：生成对应所述训练图像中图像的掩码区域，将所述图像的关键点绘入所述掩码区域，生成所述训练数据；根据所述训练数据对所述生成模型进行训练，直至判别模型对所述生成模型输出的生成图像的判定结果不变；其中，所述判别模型还适于根据所述训练图像得到所述训练图像的边缘轮廓图像，并且根据所述生成图像得到所述生成图像的边缘轮廓图像；对所述生成模型进行训练包括：基于所述训练图像的边缘轮廓图像以及所述生成图像的边缘轮廓图像调整所述生成模型的模型参数。

2.根据权利要求1所述的生成模型训练方法，其特征在于，所述基于所述训练图像的边缘轮廓图像以及所述生成图像的边缘轮廓图像调整所述生成模型的模型参包括：基于所述训练图像的边缘轮廓图像以及所述生成图像的边缘轮廓图像，计算所述图像的边缘轮廓损失；根据所述边缘轮廓损失调整所述生成模型的边缘损失参数。

3.根据权利要求1所述的生成模型训练方法，其特征在于，所述对所述生成模型进行训练还包括：基于所述训练图像以及所述生成图像调整所述生成模型的模型参数。

4.根据权利要求3所述的生成模型训练方法，其特征在于，所述基于所述训练图像以及所述生成图像调整所述生成模型的模型参数包括：基于所述训练图像以及所述生成图像，计算所述图像的全局图像损失；根据所述全局图像损失调整所述生成模型的全局损失参数。

5.根据权利要求3所述的生成模型训练方法，其特征在于，所述基于所述训练图像以及所述生成图像调整所述生成模型的模型参数包括：基于所述训练图像，得到所述训练图像的局部训练图像；基于所述生成图像，得到所述生成图像的局部生成图像；根据所述局部训练图像以及所述局部生成图像，调整所述生成模型的模型参数。

6.根据权利要求5所述的生成模型训练方法，其特征在于，所述根据所述局部训练图像以及所述局部生成图像，调整所述生成模型的模型参数包括：根据局部训练图像以及所述局部生成图像，得到所述图像的局部残差图像；根据所述局部残差图像以及所述局部生成图像，计算所述图像的局部图像损失；根据所述局部图像损失调整所述生成模型的局部损失参数。

7.根据权利要求1所述的生成模型训练方法，其特征在于，所述图像的关键点通过关键点检测算法获取。

8.一种图像生成方法，其特征在于，包括：根据权利要求1至7任一项所述生成模型训练方法对生成模型进行训练；将目标图像中图像的关键点得到的目标图像数据作为训练后的生成模型的输入数据，通过所述生成模型生成对应所述目标图像的目标生成图像。

9.根据权利要求8所述的图像生成方法，其特征在于，所述将目标图像中图像的关键点得到的目标图像数据作为训练后的生成模型的输入数据，得到对应所述目标图像的目标生成图像包括：将所述目标图像数据输入所述生成模型，生成目标输出图像；通过混合算法融合所述目标输出图像以及所述目标图像，得到对应所述目标图像的目标生成图像。

10.根据权利要求9所述的图像生成方法，其特征在于，所述混合算法为α混合算法。

11.一种生成模型训练装置，其特征在于，包括：训练数据生成单元，适于基于训练图像中图像的关键点，得到生成模型的训练数据，所述训练数据生成单元包括掩码区域生成子单元和训练数据生成子单元，所述掩码区域生成子单元适于生成对应所述训练图像中图像的掩码区域，所述训练数据生成子单元适于将所述图像的关键点绘入所述掩码区域，生成所述训练数据；模型训练单元，适于根据所述训练数据对所述生成模型进行训练，直至判别模型对所述生成模型输出的生成图像的判定结果不变；其中，所述判别模型还适于根据所述训练图像得到所述训练图像的边缘轮廓图像，并且根据所述生成图像得到所述生成图像的边缘轮廓图像；所述模型训练单元包括：第一调整子单元，适于基于所述训练图像的边缘轮廓图像以及所述生成图像的边缘轮廓图像调整所述生成模型的模型参数。

12.根据权利要求11所述的生成模型训练装置，其特征在于，所述第一调整子单元包括：第一计算模块，适于基于所述训练图像的边缘轮廓图像以及所述生成图像的边缘轮廓图像，计算所述图像的边缘轮廓损失；第一调整模块，适于根据所述边缘轮廓损失调整所述生成模型的边缘损失参数。

13.根据权利要求11所述的生成模型训练装置，其特征在于，所述模型训练单元还包括：第二调整子单元，适于基于所述训练图像以及所述生成图像调整所述生成模型的模型参数。

14.根据权利要求13所述的生成模型训练装置，其特征在于，所述第二调整子单元包括：第二计算模块，适于基于所述训练图像以及所述生成图像，计算所述图像的全局图像损失；第二调整模块，适于根据所述全局图像损失调整所述生成模型的全局损失参数。

15.根据权利要求13所述的生成模型训练装置，其特征在于，所述第二调整子单元包括：局部训练图像生成模块，适于基于所述训练图像，得到所述训练图像的局部训练图像；局部生成图像生成模块，适于基于所述生成图像，得到所述生成图像的局部生成图像；第三调整模块，适于根据所述局部训练图像以及所述局部生成图像，调整所述生成模型的模型参数。

16.根据权利要求15所述的生成模型训练装置，其特征在于，所述第三调整模块包括：局部图像残差生成子模块，适于根据局部训练图像以及所述局部生成图像，得到所述图像的局部残差图像；第三计算子模块，适于根据所述局部残差图像以及所述局部生成图像，计算所述图像的局部图像损失；第三调整子模块，适于根据所述局部图像损失调整所述生成模型的局部损失参数。

17.一种图像生成装置，其特征在于，包括：模型训练单元，适于根据权利要求1至8任一项所述生成模型训练方法对生成模型进行训练；目标图像生成单元，适于将目标图像中图像的关键点得到的目标图像数据作为训练后的生成模型的输入数据，通过所述生成模型生成对应所述目标图像的目标生成图像。

18.根据权利要求17所述的图像生成装置，其特征在于，所述目标图像生成单元包括：目标输出图像输出子单元，适于将所述目标图像数据输入所述生成模型，生成目标输出图像；混合子单元，适于通过混合算法融合所述目标输出图像以及所述目标图像，得到对应所述目标图像的目标生成图像。

19.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令运行时执行权利要求1至7任一项所述生成模型训练方法的步骤。

20.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令运行时执行权利要求8至10任一项所述图像生成方法的步骤。

21.一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机指令，其特征在于，所述处理器运行所述计算机指令时执行权利要求1至7任一项所述生成模型训练方法的步骤。

22.一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机指令，其特征在于，所述处理器运行所述计算机指令时执行权利要求8至10任一项所述图像生成方法的步骤。