CN115830165A - 基于对抗生成网络的国画绘制过程生成方法、装置和设备 - Google Patents

Abstract

本申请涉及人工智能技术领域的一种基于对抗生成网络的国画绘制过程生成方法、装置和设备，该方法通过获取风格相同的多幅国画图像和每幅国画图像对应的绘制步骤图像序列，并对该序列按照绘画步骤先后进行标记得到对应标签；将预处理后的绘制步骤图像序列作为训练样本；构建对抗生成网络的生成器和判别器，生成器为UNet网络，判别器与Stargan的判别器结构相同；采用训练样本、国画图像以及标签对生成器和判别器进行训练，得到训练好的生成器；将待处理国画图像和预设标签输入到训练好的生成器中，得到对应的国画绘制步骤图像。采用本方法解决了绘画步骤生成的不合理、不逼真的问题，针对目标图像生成其逼真、合理的绘制步骤，以供绘画者学习参考。

Description

基于对抗生成网络的国画绘制过程生成方法、装置和设备

技术领域

本申请涉及人工智能技术领域，特别是涉及一种基于对抗生成网络的国画绘制过程生成方法、装置和设备。

背景技术

现有的绘画学习方式主要为教师现场教学或根据教学视频进行自学。现场教学模式主要是教师进行现场范画绘制和讲解，学员观看后进行模仿，教师进行现场指导。根据教学视频进行自学主要是参考视频中图像的绘制过程与讲解，学员自己进行临摹学习。现场教学方式受到时间、空间等一系列条件的约束，学员在参考教学视频进行自学时也受到视频内容的限制，譬如学员想临摹某一幅画，但是网上可能没有相关的教学视频。

绘画顺序对于绘画学习者理解和掌握绘画的技巧十分重要，近年来基于人工智能技术的绘画步骤生成研究成为趋势，但是由于绘画作品之间的风格和流派差异较大，虽然相关的系统可以生成绘画的步骤，但是并没有考虑到其生成结果的真实性和合理性。与真实绘画步骤的差异可能给绘画的学习带来新的阻碍，不利于绘画者学习和掌握真正的绘画技法。

公开号为CN113779289A的中国发明专利申请于2021年8月25日公开了一种“基于人工智能的绘画步骤还原系统”，其通过笔画表征来结构目标图像，还原出目标图像的笔画步骤图。其任务目标是优化系统最终生成图像与目标图像的相似程度，而没有考虑每个中间步骤图像的真实程度。该方案生成的绘画步骤未与真实绘画过程中的每个中间步骤进行对比，因此可能存在步骤失真的问题，可能造成其绘画步骤与真实绘画步骤差异较大的情况，无法为使用者提供真实的绘画引导。

现有的绘画步骤生成主要采取两种方式：1.将绘画作品结构为一些列基本笔触，通过笔触的排列组合来实现绘画步骤的生成。基于非学习算法的方式通常需要构建基本笔触库，并结合排序算法将绘画分解为一些列基本笔触的组合，进而生成绘画步骤。这种方式需要耗费大量的时间和精力构建一定规模的数据库和复杂的算法，耗时耗力。基于学习的方法则是通过优化约束目标，直接将绘画过程分解为一系列绘制步骤。这种方法生成的绘制步骤一般与真实的绘制过程差异较大。2.将绘画过程理解为从空白画布到最终绘画作品的视频插帧问题，利用深度学习方法来求解每个中间帧的状态。这种方式只适用于油画、水彩等对笔触要求不那么严格的绘画作品，对于中国画的生成效果较差。

发明内容

基于此，有必要针对上述技术问题，提供一种基于对抗生成网络的国画绘制过程生成方法、装置和设备。该方法通过对绘画过程合理建模，解决目前绘画步骤生成的不合理、不逼真的问题，可针对给定的绘画作品图像，生成其逼真、合理的绘制步骤，以供绘画者学习参考。

一种基于对抗生成网络的国画绘制过程生成方法，所述方法包括：

获取风格相同的多幅国画图像和每幅国画图像对应的绘制步骤图像序列，并对绘制步骤图像序列按照绘画步骤先后进行标记，得到绘画过程步骤的标签。

对绘制步骤图像序列进行预处理，得到训练样本。

构建对抗生成网络的生成器和判别器，所述生成器为UNet网络，所述判别器的网络结构与Stargan网络判别器的网络结构相同。

采用所述训练样本、所述国画图像以及标签对所述生成器和所述判别器进行训练，得到训练好的生成器。

将获取的待处理国画图像和多个预设标签输入到训练好的生成器中，得到待处理国画对应的国画绘制步骤图像。

在其中一个实施例中，获取风格相同的多幅国画图像和每幅国画图像对应的绘制步骤图像序列，并对绘制步骤图像序列按照绘画步骤先后进行标记，得到绘画过程步骤的标签，包括：

获取风格相同的多幅国画图像的国画绘制视频，并逐帧提取出符合要求的国画绘制过程图像序列，得到国画绘制过程视频数据集。

在成国画绘制过程视频数据集中提取与预设分解步骤数量相同的能反应出对应国画图像绘制步骤的绘制步骤图像序列。

对所述绘制步骤图像序列按照绘画步骤先后进行标记，得到绘画过程步骤的标签。

在其中一个实施例中，采用所述训练样本、所述国画图像以及标签对所述生成器和判别器进行训练，得到训练好的生成器，包括：

将所述训练样本输入到所述判别器中进行训练，得到训练好的判别器。

将所述国画图像和所述标签输入到所述生成器中，得到所述国画图像在绘画中间过程的多个生成步骤图像，所述生成步骤图像的数量与标签数量相同。

将所述生成步骤图像输入到训练好的判别器中，得到判别结果。

当所述判别结果为是时，则输出该生成步骤图像对应的标签，用于确保生成器的生成步骤图像为预期的第i个步骤。

根据输入的生成步骤图像与相对应的真实图像采用预设损失函数，计算损失值，并根据所述损失值调节所述生成器的参数；对生成器继续进行训练，直到满足预设条件为止，进入对判别器和生成器的下一轮训练中，直到满足预设终止条件为止，得到训练好的生成器。

在其中一个实施例中，根据输入的生成步骤图像与相对应的真实图像采用预设损失函数，计算损失值，包括：

根据输入的生成步骤图像与相对应的真实图像采用L1损失函数，计算损失值。

在其中一个实施例中，所述判别器包括：6个卷积模块，2个卷积层，所述卷积模块包括1个卷积层和Leaky ReLU激活函数。

一种基于对抗生成网络的国画绘制过程生成装置，所述装置包括：

训练样本获取模块，用于获取风格相同的多幅国画图像和每幅国画图像对应的绘制步骤图像序列，并对绘制步骤图像序列按照绘画步骤先后进行标记，得到绘画过程步骤的标签；对绘制步骤图像序列进行预处理，得到训练样本。

对抗生成网络构建模块，用于构建对抗生成网络的生成器和判别器，所述生成器为UNet网络，所述判别器的网络结构与Stargan网络判别器的网络结构相同。

对抗生成网络训练模块，用于采用所述训练样本、所述国画图像以及标签对所述生成器和所述判别器进行训练，得到训练好的生成器。

国画绘制步骤图像生成模块，用于将获取的待处理国画图像和多个预设标签输入到训练好的生成器中，得到待处理国画对应的国画绘制步骤图像。

在其中一个实施例中，训练样本获取模块，还用于获取风格相同的多幅国画图像的国画绘制视频，并逐帧提取出符合要求的国画绘制过程图像序列，得到国画绘制过程视频数据集；在成国画绘制过程视频数据集中提取与预设分解步骤数量相同的能反应出对应国画图像绘制步骤的绘制步骤图像序列；对所述绘制步骤图像序列按照绘画步骤先后进行标记，得到绘画过程步骤的标签。

在其中一个实施例中，对抗生成网络训练模块，还用于将所述训练样本输入到所述判别器中进行训练，得到训练好的判别器；将所述国画图像和所述标签输入到所述生成器中，得到所述国画图像在绘画中间过程的多个生成步骤图像，所述生成步骤图像的数量与标签数量相同；将所述生成步骤图像输入到训练好的判别器中，得到判别结果；当所述判别结果为是时，则输出该生成步骤图像对应的标签，用于确保生成器的生成步骤图像为预期的第i个步骤；根据输入的生成步骤图像与相对应的真实图像采用预设损失函数，计算损失值，并根据所述损失值调节所述生成器的参数；对生成器继续进行训练，直到满足预设条件为止，进入对判别器和生成器的下一轮训练中，直到满足预设终止条件为止，得到训练好的生成器。

在其中一个实施例中，对抗生成网络训练模块，还用于根据输入的生成步骤图像与相对应的真实图像采用L1损失函数，计算损失值。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一所述基于对抗生成网络的国画绘制过程生成方法。

上述基于对抗生成网络的国画绘制过程生成方法、装置和设备，该方法通过获取风格相同的多幅国画图像和每幅国画图像对应的绘制步骤图像序列，并对绘制步骤图像序列按照绘画步骤先后进行标记，得到绘画过程步骤的标签；对绘制过程序列图像进行预处理，得到训练样本；构建对抗生成网络的生成器和判别器，生成器为UNet网络，判别器的网络结构与Stargan网络判别器的网络结构相同；采用训练样本、国画图像以及标签对生成器和判别器进行训练，得到训练好的生成器；将获取待处理国画图像和多个预设标签输入到训练好的生成器中，得到待处理国画对应的国画绘制步骤图像。采用本方法解决了目前绘画步骤生成的不合理、不逼真的问题，针对给定的绘画作品图像，生成其逼真、合理的绘制步骤，以供绘画者学习参考。

附图说明

图1为一个实施例中基于对抗生成网络的国画绘制过程生成方法的流程示意图；

图2为另一个实施例中采用对抗生成国画绘制步骤图像的原理图；

图3为另一个实施例中生成器的网络结构示意图；

图4为另一个实施例中判别器工作原理图；

图5为另一个实施例中采用训练好的生成器生成待处理国画对应的国画绘制步骤图像的示意图；

图6为另一个实施例中国画绘制步骤的真实图像示意图；

图7为一个实施例中基于对抗生成网络的国画绘制过程生成装置的结构框图；

图8为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本方法用一系列绘制中间阶段来解构国画图像，还原出国画图像的绘制过程，具体为：

给定一个国画图像I，训练好的对抗生成网络的目标是生成一些列中间绘制过程的国画绘制步骤图像(I_1,I_2,…,I_n)，其中I_1代表国画图像绘制的第1个步骤时的图像，I_n代表国画图像绘制的第n步骤的图像，通过这n个图像序列来表示绘画的步骤。使用pix2pix方法中的生成器构建n个映射{I→I_1}，{I→I_2}，…,{I→I_n}实现由待处理国画图像I求解I_1,I_2,…,I_n。其中生成的每个一中间阶段的图像在模型训练过程中都会与真实的相对应阶段的图像进行对比，以保证整个绘画步骤与真实步骤的差异最小。采用stargan架构的判别器来实现监督对抗生成器。

在使用阶段，用户将待处理国画图像输入生成器，使用学习好的模型参数输出n个中间绘制阶段的国画绘制步骤图像，以供用户学习参考。

在一个实施例中，如图1所示，提供了一种基于对抗生成网络的国画绘制过程生成方法，该方法包括以下步骤：

步骤100：获取风格相同的多幅国画图像和每幅国画图像对应的绘制步骤图像序列，并对绘制步骤图像序列按照绘画步骤先后进行标记，得到绘画过程步骤的标签。

具体的，本发明提出的模型理论上可将绘画过程分解成N个步骤，但是受制于合格的绘画图像序列的长度，且考虑到绘画内容的复杂程度，作为优选N＝8。

每幅国画图像对应的绘制步骤图像序列包括的N张真实绘制步骤图像。

绘画过程步骤的标签是输入到生成器的输入条件。

将绘画过程理解为最终画作到每一个中间阶段的映射，这种方式保证模型输出的绘画步骤与真实步骤相一致。

真实绘制步骤图像是指能够反映出绘画绘制过程的清晰图像，其中清晰是指画面中只包含画作本身，不能有画笔、手等其它物体出现在画面中。

训练时候要保证绘画图像的风格基本一致。在训练时是单幅国画图像为单位进行输入的。

步骤102：对绘制步骤图像序列进行预处理，得到训练样本。

具体的。将绘制过程图像序列中的每幅图像的尺寸均调整为256像素×256像素。

使用pytorch部署我们的模型，并将训练样本分为7：2：1分别作为训练集、校验集、测试集。

步骤104：构建对抗生成网络的生成器和判别器，生成器为UNet网络，判别器的网络结构与Stargan网络判别器的网络结构相同。

具体的，生成器用于实现最终国画图像到每一个中间状态的映射求解，这种方式可以保证输出图片的质量与真实图片相一致，保证最终求解步骤的真实性。

如图2所示为采用对抗生成国画绘制步骤图像的原理图，本发明的目的是针对输入的国画图像，输出其绘制过程步骤。其中输出的绘制步骤的长度为N，因此，相应地需要N个标签作为输入条件。

生成器的目标是生成尽可能合理且真实地绘画中间过程步骤图像，因此，在训练阶段，将生成器生成的图像与相对应的真实图像进行L1损失的计算(比如生成的第i个步骤图像与真实绘画过程中第i个步骤图像的差异)，其中，L1损失的越小越好，代表生成的图像与真实图像差别最小，生成器的性能约符合预期。通过不断优化L1的值来优化生成器的性能。

对于生成器，输入是一幅图，输出是目标的分割结果。继续简化就是，一幅图，编码，或者说降采样，然后解码，也就是升采样，然后输出一个分割结果。根据结果和真实分割的差异，反向传播来训练这个分割网络。生成器的网络结构如图3所示。

生成器的网络结构主要分为三部分：下采样，上采样以及跳跃连接。首先将该网络分为左右部分来分析，左边是压缩的过程，即解密器(Encoder)。通过卷积和下采样来降低图像尺寸，提取一些浅显的特征。右边部分是解码的过程，即解码器(Decoder)。通过卷积和上采样来获取一些深层次的特征。其中卷积采用的valid的填充方式来保证结果都是基于没有缺失上下文特征得到的，因此每次经过卷积后，图像的大小会减小。中间通过拼接的方式，将编码阶段获得的特征图同解码阶段获得的特征图结合在一起，结合深层次和浅层次的特征，细化图像，根据得到的特征图进行预测分割。要注意的是这里两层的特征图大小不同，因此需要经过切割。最后一层通过1×1的卷积做分类。

判别器的目的是监督对抗生成器，通过对抗来不断优化生成器的性能，因此，当判别器无法判断出生成器生成的图像是真是假的时候，两者的能力相当，模型也达到最佳效果。本实施例使用的判别器可以判别输入的图像是真实的绘制过程图像，还是生成器生成的虚假图像，还会判别当前输入的图像属于绘制过程的第几个步骤，即会输出该步骤对应的标签，以此来确保生成器生成的图像为预期的第i个步骤。判断器的工作原理如图4所示。

判别器的网络结构如下表所示：

表1判别器的网络结构

步骤106：采用训练样本、国画图像以及标签对生成器和判别器进行训练，得到训练好的生成器。

具体的，采用训练样本(真实的国画绘制步骤图像)对判别器进行训练，然后将国画图像输入到分类器中生成多个绘制步骤图像；将生成的绘制步骤图像输入到判别器中判断生成的绘制步骤图像的真假，并根据判别结果对生成器的参数进行调整。重复上面训练步骤，直到满足终止条件，得到训练好的生成器。

步骤108：将获取的待处理国画图像和多个预设标签输入到训练好的生成器中，得到待处理国画对应的国画绘制步骤图像。

具体的，在对抗生成网络的应用阶段，只需要使用训练好的生成器，输人待处理国画图像，即可输出相对应的国画绘制步骤图像。图5所示为采用训练好的生成器生成待处理国画对应的国画绘制步骤图像的示意图。

上述基于对抗生成网络的国画绘制过程生成方法中，该方法通过获取风格相同的多幅国画图像和每幅国画图像对应的绘制步骤图像序列，并对绘制步骤图像序列按照绘画步骤先后进行标记，得到绘画过程步骤的标签；对绘制过程序列图像进行预处理，得到训练样本；构建对抗生成网络的生成器和判别器，生成器为UNet网络，判别器的网络结构与Stargan网络判别器的网络结构相同；采用训练样本、国画图像以及标签对生成器和判别器进行训练，得到训练好的生成器；将获取待处理国画图像和多个预设标签输入到训练好的生成器中，得到待处理国画对应的国画绘制步骤图像。采用本方法解决了目前绘画步骤生成的不合理、不逼真的问题，针对给定的绘画作品图像，生成其逼真、合理的绘制步骤，以供绘画者学习参考。

在其中一个实施例中，步骤100包括：获取风格相同的多幅国画图像的国画绘制视频，并逐帧提取出符合要求的国画绘制过程图像序列，得到国画绘制过程视频数据集；在成国画绘制过程视频数据集中提取与预设分解步骤数量相同的能反应出对应国画图像绘制步骤的绘制步骤图像序列；对绘制步骤图像序列按照绘画步骤先后进行标记，得到绘画过程步骤的标签。

具体的，由于目前没有公开可用的国画绘制步骤视频或图像序列数据集，为了训练和测试我们提出的模型，我们制作了首个国画绘制过程视频数据集。从互联网上收集了216段国画绘制视频，为了保证风格的一致性，其绘画风格均是工笔花卉画，且其绘制复杂程度差异不大。但是互联网上的许多绘画视频存在以下问题：作者在拍摄时会边画边讲解，并且镜头可能根据实际需要进行移动，因此需要人工对视频进行挑选；模型的训练需要画面中只有绘制内容的图像，因此我们需要截取视频中只有画作出现的画面，确保画面中不能出现画笔、手以及其它遮挡对象；绘画过程需要每一幅截图的绘画图像之间都有内容上的差异，来反映绘制过程的进展，因此，采用人工挑选的方式对截取的画面进行了挑选，保证不存在画面内容相同的图像。

按照以上方式逐帧提取出符合要求的国画绘制过程图像序列，得到国画绘制过程视频数据集。对每个视频所得到的视频图像序列进行进一步的挑选，将每个视频挑选出8张能够合理地反应出对应画作绘制步骤的图像，作为最终的训练数据。其中要保证这8张图像之间内容变化的幅度相一致，如图6所示。

在其中一个实施例中，步骤106包括：将训练样本输入到判别器中进行训练，得到训练好的判别器；将国画图像和标签输入到生成器中，得到国画图像在绘画中间过程的多个生成步骤图像，生成步骤图像的数量与标签数量相同；将生成步骤图像输入到训练好的判别器中，得到判别结果；当判别结果为是时，则输出该生成步骤图像对应的标签，用于确保生成器的生成步骤图像为预期的第i个步骤；根据输入的生成步骤图像与相对应的真实图像采用预设损失函数，计算损失值，并根据损失值调节生成器的参数；对生成器继续进行训练，直到满足预设条件为止，进入对判别器和生成器的下一轮训练中，直到满足预设终止条件为止，得到训练好的生成器。

在其中一个实施例中，根据输入的生成步骤图像与相对应的真实图像采用预设损失函数，计算损失值，包括：根据输入的生成步骤图像与相对应的真实图像采用L1损失函数，计算损失值。

在其中一个实施例中，步骤104中判别器包括：6个卷积模块，2个卷积层，卷积模块包括1个卷积层和Leaky ReLU激活函数。

应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图7所示，提供了一种基于对抗生成网络的国画绘制过程生成装置，包括：训练样本获取模块、对抗生成网络构建模块、对抗生成网络训练模块和国画绘制步骤图像生成模块，其中：

训练样本获取模块，用于获取风格相同的多幅国画图像和每幅国画图像对应的绘制步骤图像序列，并对绘制步骤图像序列按照绘画步骤先后进行标记，得到绘画过程步骤的标签；对绘制步骤图像序列进行预处理，得到训练样本；

对抗生成网络构建模块，用于构建对抗生成网络的生成器和判别器，生成器为UNet网络，判别器的网络结构与Stargan网络判别器的网络结构相同；

对抗生成网络训练模块，用于采用训练样本、国画图像以及标签对生成器和判别器进行训练，得到训练好的生成器；

国画绘制步骤图像生成模块，用于将获取的待处理国画图像和多个预设标签输入到训练好的生成器中，得到待处理国画对应的国画绘制步骤图像。

在其中一个实施例中，训练样本获取模块，还用于获取风格相同的多幅国画图像的国画绘制视频，并逐帧提取出符合要求的国画绘制过程图像序列，得到国画绘制过程视频数据集；在成国画绘制过程视频数据集中提取与预设分解步骤数量相同的能反应出对应国画图像绘制步骤的绘制步骤图像序列；对绘制步骤图像序列按照绘画步骤先后进行标记，得到绘画过程步骤的标签。

在其中一个实施例中，对抗生成网络训练模块，还用于将训练样本输入到判别器中进行训练，得到训练好的判别器；将国画图像和标签输入到生成器中，得到国画图像在绘画中间过程的多个生成步骤图像，生成步骤图像的数量与标签数量相同；将生成步骤图像输入到训练好的判别器中，得到判别结果；当判别结果为是时，则输出该生成步骤图像对应的标签，用于确保生成器的生成步骤图像为预期的第i个步骤；根据输入的生成步骤图像与相对应的真实图像采用预设损失函数，计算损失值，并根据损失值调节生成器的参数；对生成器继续进行训练，直到满足预设条件为止，进入对判别器和生成器的下一轮训练中，直到满足预设终止条件为止，得到训练好的生成器。

在其中一个实施例中，对抗生成网络训练模块，还用于根据输入的生成步骤图像与相对应的真实图像采用L1损失函数，计算损失值。

在其中一个实施例中，对抗生成网络构建模块中判别器包括：6个卷积模块，2个卷积层，卷积模块包括1个卷积层和Leaky ReLU激活函数。

关于基于对抗生成网络的国画绘制过程生成装置的具体限定可以参见上文中对于基于对抗生成网络的国画绘制过程生成方法的限定，在此不再赘述。上述基于对抗生成网络的国画绘制过程生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于对抗生成网络的国画绘制过程生成方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述方法实施例中的步骤。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于对抗生成网络的国画绘制过程生成方法，其特征在于，所述方法包括：

获取风格相同的多幅国画图像和每幅国画图像对应的绘制步骤图像序列，并对绘制步骤图像序列按照绘画步骤先后进行标记，得到绘画过程步骤的标签；

对绘制步骤图像序列进行预处理，得到训练样本；

构建对抗生成网络的生成器和判别器，所述生成器为UNet网络，所述判别器的网络结构与Stargan网络判别器的网络结构相同；

采用所述训练样本、所述国画图像以及标签对所述生成器和所述判别器进行训练，得到训练好的生成器；

将获取的待处理国画图像和多个预设标签输入到训练好的生成器中，得到待处理国画对应的国画绘制步骤图像。

2.根据权利要求1所述的方法，其特征在于，获取风格相同的多幅国画图像和每幅国画图像对应的绘制步骤图像序列，并对绘制步骤图像序列按照绘画步骤先后进行标记，得到绘画过程步骤的标签，包括：

获取风格相同的多幅国画图像的国画绘制视频，并逐帧提取出符合要求的国画绘制过程图像序列，得到国画绘制过程视频数据集；

在成国画绘制过程视频数据集中提取与预设分解步骤数量相同的能反应出对应国画图像绘制步骤的绘制步骤图像序列；

对所述绘制步骤图像序列按照绘画步骤先后进行标记，得到绘画过程步骤的标签。

3.根据权利要求1所述的方法，其特征在于，采用所述训练样本、所述国画图像以及标签对所述生成器和判别器进行训练，得到训练好的生成器，包括：

将所述训练样本输入到所述判别器中进行训练，得到训练好的判别器；

将所述国画图像和所述标签输入到所述生成器中，得到所述国画图像在绘画中间过程的多个生成步骤图像，所述生成步骤图像的数量与标签数量相同；

将所述生成步骤图像输入到训练好的判别器中，得到判别结果；

当所述判别结果为是时，则输出该生成步骤图像对应的标签，用于确保生成器的生成步骤图像为预期的第i个步骤；

根据输入的生成步骤图像与相对应的真实图像采用预设损失函数，计算损失值，并根据所述损失值调节所述生成器的参数；对生成器继续进行训练，直到满足预设条件为止，进入对判别器和生成器的下一轮训练中，直到满足预设终止条件为止，得到训练好的生成器。

4.根据权利要求3所述的方法，其特征在于，根据输入的生成步骤图像与相对应的真实图像采用预设损失函数，计算损失值，包括：

根据输入的生成步骤图像与相对应的真实图像采用L1损失函数，计算损失值。

5.根据权利要求1所述的方法，其特征在于，所述判别器包括：6个卷积模块，2个卷积层，所述卷积模块包括1个卷积层和Leaky ReLU激活函数。

6.一种基于对抗生成网络的国画绘制过程生成装置，其特征在于，所述装置包括：

训练样本获取模块，用于获取风格相同的多幅国画图像和每幅国画图像对应的绘制步骤图像序列，并对绘制步骤图像序列按照绘画步骤先后进行标记，得到绘画过程步骤的标签；对绘制步骤图像序列进行预处理，得到训练样本；

对抗生成网络构建模块，用于构建对抗生成网络的生成器和判别器，所述生成器为UNet网络，所述判别器的网络结构与Stargan网络判别器的网络结构相同；

对抗生成网络训练模块，用于采用所述训练样本、所述国画图像以及标签对所述生成器和所述判别器进行训练，得到训练好的生成器；

国画绘制步骤图像生成模块，用于将获取的待处理国画图像和多个预设标签输入到训练好的生成器中，得到待处理国画对应的国画绘制步骤图像。

7.根据权利要求6所述的装置，其特征在于，训练样本获取模块，还用于获取风格相同的多幅国画图像的国画绘制视频，并逐帧提取出符合要求的国画绘制过程图像序列，得到国画绘制过程视频数据集；在成国画绘制过程视频数据集中提取与预设分解步骤数量相同的能反应出对应国画图像绘制步骤的绘制步骤图像序列；对所述绘制步骤图像序列按照绘画步骤先后进行标记，得到绘画过程步骤的标签。

8.根据权利要求6所述的装置，其特征在于，对抗生成网络训练模块，还用于将所述训练样本输入到所述判别器中进行训练，得到训练好的判别器；将所述国画图像和所述标签输入到所述生成器中，得到所述国画图像在绘画中间过程的多个生成步骤图像，所述生成步骤图像的数量与标签数量相同；将所述生成步骤图像输入到训练好的判别器中，得到判别结果；当所述判别结果为是时，则输出该生成步骤图像对应的标签，用于确保生成器的生成步骤图像为预期的第i个步骤；根据输入的生成步骤图像与相对应的真实图像采用预设损失函数，计算损失值，并根据所述损失值调节所述生成器的参数；对生成器继续进行训练，直到满足预设条件为止，进入对判别器和生成器的下一轮训练中，直到满足预设终止条件为止，得到训练好的生成器。

9.根据权利要求6所述的装置，其特征在于，对抗生成网络训练模块，还用于根据输入的生成步骤图像与相对应的真实图像采用L1损失函数，计算损失值。

10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。

Images