CN111161137B - 一种基于神经网络的多风格国画花生成方法 - Google Patents
一种基于神经网络的多风格国画花生成方法 Download PDFInfo
- Publication number
- CN111161137B CN111161137B CN201911408840.0A CN201911408840A CN111161137B CN 111161137 B CN111161137 B CN 111161137B CN 201911408840 A CN201911408840 A CN 201911408840A CN 111161137 B CN111161137 B CN 111161137B
- Authority
- CN
- China
- Prior art keywords
- picture
- image
- network
- chinese painting
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010422 painting Methods 0.000 title claims abstract description 93
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 24
- 230000006870 function Effects 0.000 claims description 43
- 238000010586 diagram Methods 0.000 claims description 29
- 238000004364 calculation method Methods 0.000 claims description 12
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 11
- 125000004122 cyclic group Chemical group 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000005315 distribution function Methods 0.000 claims description 3
- 239000000976 ink Substances 0.000 claims 4
- 230000007547 defect Effects 0.000 abstract description 4
- 238000011160 research Methods 0.000 abstract description 3
- 238000013507 mapping Methods 0.000 abstract 1
- 238000006243 chemical reaction Methods 0.000 description 17
- 238000002474 experimental method Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 9
- 238000013519 translation Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000009193 crawling Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000000699 topical effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于神经网络的多风格国画花生成方法，本发明使用的注意力架构学习从白描到工笔或水墨的映射，并使用非成对的数据集训练，得到了具有一定风格特点的工笔和水墨画；本发明引入一个新的损失MSSSIM损失函数在基于GAN的注意力架构中，从亮度，对比度，结构三个方面多尺度地比较重构图像与源图像的距离，并与循环一致性损失L1函数共同引导图像风格和内容的准确生成，解决了原网络画面不清晰，出现伪影，墨迹模糊一片，存在噪点等缺陷的问题。本发明解决了在传统方法的研究上，由于国画风格的抽象性和复杂性，不能够生成画面清晰地高质量图片的问题。
Description
技术领域
本发明属于图像处理技术领域，尤其涉及一种基于神经网络的风格国画花的生成方法。
背景技术
随着时代的发展，国画在传承的基础上不断创新，其中工笔画和水墨画成为当今绘画的主流。不仅被用来收藏，作为家居装饰，礼品馈赠,还应用在动画，游戏，服装设计等领域。传统国画的内容主要是自然风景，尤其是中国的花画，更是国画中重要和经典的表现形式。图16展示了三种常见的中国传统花卉绘画风格，即白描画，工笔画和水墨画，从图16中我们可以看到真实的白描图片需要清晰和简洁的笔触，工笔图片对颜色和纹理有很高的要求，其笔触与白描一样精确，水墨图片更多的关注水墨色彩的变化，以及浓淡和枯润度的和谐。一般来说，工笔通过大量的色彩和精确的笔触来实现对绘画对象的模拟，水墨通过较少的色彩和自然流畅的笔触来完成对写意的表达，由于没有明确的对象分割线，利用水墨色彩的变化来构造图片的结构特征生成水墨画是具有挑战性的。
从早期传统的基于机器学习的方法到基于深度学习的方法，图像生成一直是学者们不断探究的热点领域。自2000年以来，Gatys等人的研究展现了卷积神经网络(CNN)提取视觉特征的强大力量，之后，基于CNN的方法成为了解决图像任务的热门主题。近年来，生成对抗网络(GAN)以及后来衍生出的各种对抗网络，比如，条件生成对抗网络(CGAN)，深度卷积对抗生成网络(DCGAN)，循环对抗网络(CycleGAN)，通过生成器(Generator,G)和判别器(Discriminator,D)之间的对抗训练生成高质量的图像，被认为是计算机视觉任务中最流行的方法之一，特别是在图像生成和风格转换方面，例如，GauGAN模型可以通过用户随意绘制的线条和颜色块生成逼真的图片，利用空间自适应归一化(Spatially-Adaptivenormalization，SPADE)生成器，更好地实现了对语义信息的保留，BigGAN模型可以生成高保真拥有自然边界的高质量图像，利用正交正则化的思想，使其服从截断技巧，大大提高了GAN的生成性能。另外，还有一些经典的风格转换模型，例如，Pix2Pix模型使用U-Net生成器和多尺度判别器实现成对图像的风格转换，这种方法为图像到图像的翻译问题提供了一个通用的框架，CycleGAN模型提出循环一致性损失进一步实现了非成对数据的风格转换任务，解决了自然界因缺少成对数据而难以训练的问题，StyleGAN模型提出一种新的生成器架构，实现了图像特征的自动学习和生成图像的随机变化，通过AdaIN和截断技巧等，该模型可以更好地控制理解生成的图像。
一系列GAN网络的提出，促进了图像生成/风格转换/图像到图像翻译工作，生成效果逐步提升，国画艺术绘画花的多风格生成也是一种图像生成/风格转换/图像到图像翻译任务，然而，即使GAN网络具有强大的生成能力，但很少有人对此进行研究，原因一是训练数据难以收集：第一，我们需要从网上搜集较多的传统的以及具有明显风格特征的绘画作品，然而，中国艺术绘画技法是复杂的，即有时一张图片中可能包含几种不同的风格；第二，国画作品往往分辨率很高，图片很大，输入网络不容易训练；第三，我们训练的对象主要是花朵，而多数国画中包含很多其他物象，比如动物，人，其它风景等，我们需要从中裁剪提取出花，因此，数据的收集和处理是一件困难繁杂的工作；原因二是来自写意表达的基本挑战，国画的经典风格包括白描，工笔和水墨，它们各自有着独特的风格特征，一幅好的绘画作品可以通过内容，纹理，结构和色彩等信息特征表达出这幅画所持有的情感。然而，这就要求画家拥有足够的功底，能够把握绘画的整体结构特征，并把握好绘画的力度，这是具有挑战性的，已有的方法不能很好地解决我们的国画花的生成问题。
为了迎接这个挑战准确生成工笔或水墨画，我们提出了一个有效的多风格国画花的生成模型Flower-GAN，该模型包含注意力引导的生成器和多尺度判别器，通过对抗训练的方式，在简单的白描，工笔和水墨风格之间转换。为了有效地学习高级语义特征和风格特征的表达，我们的生成器设计为一个垂直对称结构，其中，包含9个残差块网络结构，多尺度判别器分别在5个尺度上对生成图片进行判别，另外，为了解决现有方法在生成图像时存在伪影和模糊的问题，我们进一步引入一个新的损失函数，叫做多尺度结构相似性损失，从亮度，对比度和结构三个层次上多尺度地对比重构图像与源图像的差异，并将其与循环一致性损失相结合，通过调整两个损失的权重系数，可以控制结构和色彩的准确合理生成，此外，我们构建了3种传统国画风格的非成对数据集的图片。大量的实验证明，我们的方法可以生成高质量的工笔和水墨画。
发明内容
针对现有技术中的上述不足，本发明提供的一种基于神经网络的风格国画花的生成方法解决了在传统方法的分类研究上，由于国画风格的抽象性和复杂性，不能够生成画面清晰地高质量图片的问题。
为了达到以上目的，本发明采用的技术方案为：
本方案提供一种基于神经网络的多风格国画花生成方法，包括如下步骤：
S1、构建国画花的数据集图片，并对所述数据集图片进行预处理，得到源图片a；
S2、将源图片a输入至基于神经网络的国画花生成模型，生成多风格国画花。
进一步地，所述步骤S1包括如下步骤：
S101、获取国画花图片，构建白描、工笔以及水墨3种非成对形式的国画花数据集图片，并将其压缩成固定大小，以Image.ANTIALIAS的格式保存图片；
S102、对所述Image.ANTIALIAS格式的图片进行6次裁剪，并选择花朵所占密度最大的图片；
S103、以Image.BILINEAR双线性的方法将所有图片的尺寸调至384×384，得到源图片a。
再进一步地，所述步骤S2包括如下步骤：
S201、利用注意力网络提取源图片a的前景注意力图mask_a；
S202、将所述前景注意力图mask_a与源图片a进行点乘计算，得到源图片的前景图masked_a；
S203、将源图片的前景注意力图masked_a输入至生成器网络进行训练，并将训练后的前景图与前景注意力图mask_a进行点乘计算，得到目标域的前景图b_f；
S204、将源图片a与源图片a的背景注意力图1-mask_a进行点乘计算，得到源域背景图a_bg；
S205、结合所述目标域的前景图b_f和源域背景图a_bg，生成假的目标域图片b'；
S206、将所述前景注意力图mask_a与所述假的目标域图片b'进行点乘计算，得到处理后的图片masked image；
S207、利用假的目标域图片b'以及目标域的真实图片real_b训练多尺度判别器30轮；
S208、将处理后的图片masked image输入至训练后的多尺度判别器，生成多风格国画花。
再进一步地，所述源域背景图a_bg的表达式如下：
a_bg＝a·(1-mask_a)
其中，a表示源图片，1-mask_a表示源图片a的背景注意力图。
再进一步地，所述步骤S205中假的目标域图片b'的表达式如下：
b'＝GA->B(a·mask_a)·mask_a+a·(1-mask_a)
其中，GA->B表示A→B生成方向的生成器，A表示源域白描图片，B表示目标域图片工笔或水墨图片，a表示源图片，mask_a表示前景注意力图，1-mask_a表示源图片a的背景注意力图。
再进一步地，所述步骤S2中国画花生成模型包括注意力网络、与所述注意力网络连接的生成器网络GA以及与所述生成器网络GA连接的多尺度判别器；
所述注意力网络用于提取源图片a的前景注意力图mask_a和背景注意力图1-mask_a；
所述生成器网络GA用于根据源图片的前景图masked_a和注意力图mask_a，生成目标域的前景图b_f；
所述多尺度判别器用于利用目标域的真实图片real_b判别目标域图片b'的真伪，减小真实图片与重构图片的差异。
再进一步地，所述注意力网络包括依次连接的第一卷积层、第二卷积层、第一残差块、第一反卷积层、第三卷积层、第二反卷积层、第四卷积层以及第五卷积层。
再进一步地，所述生成器网络GA为垂直对称结构；
所述生成器网络GA包括依次连接的第六卷积层、第七卷积层、第八卷积层、包括九个残差块的第二残差块、第九卷积层、第十卷积层以及第十一卷积层。
再进一步地，所述多尺度判别器包括依次连接的第十二卷积层、第十三卷积层、第十四卷积层、第十五卷积层以及第十六卷积层。
再进一步地，所述国画花生成模型的损失函数L的表达式如下：
λ1＝10,λ2＝1
其中，Ladv表示对抗损失函数，λ1表示循环一致性损失权重系数，Lcyc表示循环一致性损失函数，Lmsssim表示多尺度结构相似性损失函数，λ2表示多尺度结构性损失权重系数，
表示生成器A→B方向的对抗损失函数，
表示生成器B→A方向的对抗损失函数，A表示源域白描图片，B表示目标域图片工笔或水墨图片，
表示生成器A→B→A方向的循环一致性损失函数，
表示生成器B→A→B方向的循环一致性损失函数，
表示生成器A→B→A方向的多尺度结构性损失函数，
表示生成器B→A→B方向的多尺度结构性损失函数，E(·)表示分布函数的期望值，PB(b)表示真实样本B的分布，PA(a)表示真实样本A的分布，DB(·)表示DB网络判别图像是否真实的概率，b’为A→B方向生成的假图像，a’为B→A方向生成的假图像，b表示目标域中任何一张工笔或水墨图片，DA(·)表示DA网络判别图像是否真实的概率，a表示源域中任何一张白描图片，lM表示多尺度下两张图片的亮度相似度，cM表示多尺度下两张图片的对比度，sM表示多尺度下两张图片的结构相似度，a"表示网络A→B→A方向图像a的重构图像，f[·]表示关于亮度，对比度，结构三种相似度的函数，b"表示网络B→A→B方向图像b的重构图像。
本发明的有益效果：
(1)本发明提出了一个有效的多风格国画花的生成模型，该模型采用带有注意力机制(attention)的对抗生成网络，结合多种算法，用于实现国画花的白描到工笔或水墨风格的转换。与现有的卷积神经网络不同，我们通过对图片进行分割裁剪后再输入网络训练，一方面可以减少训练复杂度，节省时间，另一方面可以促使网络更好地学习到区域特征。与现有的对抗生成网络不同，我们加入多尺度结构相似性损失，从亮度，对比度和结构三个层次上多尺度地对比重构图像与源图像的差异，并将其与循环一致性损失相结合，通过调整两个损失的权重系数，控制结构和色彩的准确合理生成，从而解决了画面不清晰，存在多处伪影，色彩不当，风格转换较差等问题。此外，我们构建了3种传统国画风格的非成对数据集的图片，经过多次实验，证明了我们的方法生成了高质量的具有特定风格样式的工笔水墨图片；
(2)本发明引入一个新的损失MSSSIM损失函数在基于GAN的注意力架构中。从亮度，对比度，结构三个方面多尺度地比较重构图像与源图像的距离，并与循环一致性损失L1函数共同引导图像风格和内容的准确生成，解决了现有方法画面不清晰，出现伪影，墨迹模糊一片，存在噪点等缺陷，并使物象色彩丰富，符合自然规律；
(3)本发明构造了一个新的多风格的国画花的数据集，有白描，工笔和水墨(写意)三种风格，我们对其进行了预处理，可以准确地进行训练和测试。
附图说明
图1为本发明的方法流程图。
图2为本发明中注意力网络的结构示意图。
图3为本发明中生成器网络的结构示意图。
图4为本发明中生成器网络与多尺度判别器的结构示意图。
图5为本发明中图画花生成模型中循环一致性限制的结构示意图。
图6为本实施例中使用本方法与其他方法在图像的局部特征和整体风格形态特征的对比图。
图7为本实施例中使用本方法与现有方法在墨色的枯润度以及色彩构图的对比图。
图8为本实施例中使用本方法损失函数生成的图片示意图。
图9为本实施例中批量分析的示意图。
图10为本实施例中使用本方法生成的白描图片示意图。
图11为本实施例中使用本方法生成的工笔示意图。
图12为本实施例中扩展实验生成的示意图。
图13为本实施例中使用本方法生成的水墨风格示意图。
图14为本实施例中使用本方法生成的图片与真实水墨图的对比图。
图15为本实施例中使用本方法生成的图片与真实工笔图的对比图。
图16为背景技术中常见的中国传统花卉绘画风格图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
实施例
本发明提供了一种基于神经网络的多风格国画花生成方法，如图1所示，其实现方法如下：
S1、构建国画花的数据集图片，并对所述数据集图片进行预处理，得到源图片a，其实现方法如下：
S101、获取国画花图片，构建白描、工笔以及水墨3种非成对形式的国画花数据集图片，并将其压缩成固定大小，以Image.ANTIALIAS的格式保存图片；
S102、对所述Image.ANTIALIAS格式的图片进行6次裁剪，并选择花朵所占密度最大的图片；
S103、以Image.BILINEAR双线性的方法将所有图片的尺寸调至384×384，得到源图片a；
S2、将源图片a输入至基于神经网络的国画花生成模型，生成多风格国画花，其实现方法如下：
S201、利用注意力网络提取源图片a的前景注意力图mask_a；
S202、将所述注意力图mask_a与源图片a进行点乘计算，得到源图片的前景图masked_a；
S203、将源图片的前景注意图masked_a输入至生成器网络进行训练，并将训练后的前景图与前景注意力图mask_a进行点乘计算，得到目标域的前景图b_f；
S204、将源图片a与源图片a的背景注意力图1-mask_a进行点乘计算，得到源域背景图a_bg；
S205、结合所述目标域的前景图b_f和源域背景图a_bg，生成假的目标域图片b'；
所述假的目标域图片b'的表达式如下：
b'＝GA->B(a·mask_a)·mask_a+a·(1-mask_a)
其中，GA->B表示A→B生成方向的生成器，A表示源域白描图片，B表示目标域图片工笔或水墨图片，a表示源图片，mask_a表示前景注意力图，1-mask_a表示源图片a的背景注意力图；
S206、将所述前景注意力图mask_a与所述假的目标域图片b'进行点乘计算，得到处理后的图片masked image；
S207、利用假的目标域图片b'以及目标域的真实图片real_b训练多尺度判别器30轮；
S208、将处理后的图片masked image输入至训练后的多尺度判别器，生成多风格国画花；
所述国画花生成模型的损失函数L的表达式如下：
λ1＝10,λ2＝1
其中，Ladv表示对抗损失函数，λ1表示循环一致性损失权重系数，Lcyc表示循环一致性损失函数，Lmsssim表示多尺度结构相似性损失函数，λ2表示多尺度结构性损失权重系数，
表示生成器A→B方向的对抗损失函数，
表示生成器B→A方向的对抗损失函数，A表示源域白描图片，B表示目标域图片工笔或水墨图片，
表示生成器A→B→A方向的循环一致性损失函数，
表示生成器B→A→B方向的循环一致性损失函数，
表示生成器A→B→A方向的多尺度结构性损失函数，
表示生成器B→A→B方向的多尺度结构性损失函数，E(·)表示分布函数的期望值，PB(b)表示真实样本B的分布，PA(a)表示真实样本A的分布，DB(·)表示DB网络判别图像是否真实的概率，b’为A→B方向生成的假图像，a’为B→A方向生成的假图像，b表示目标域中任何一张工笔或水墨图片，DA(·)表示DA网络判别图像是否真实的概率，a表示源域中任何一张白描图片，lM表示多尺度下两张图片的亮度相似度，cM表示多尺度下两张图片的对比度，sM表示多尺度下两张图片的结构相似度，a"表示网络A→B→A方向图像a的重构图像，f[·]表示关于亮度，对比度，结构三种相似度的函数，b"表示网络B→A→B方向图像b的重构图像。
如图2-图4所示，所述步骤S2中国画花生成模型包括注意力网络、与所述注意力网络连接的生成器网络GA以及与所述生成器网络GA连接的多尺度判别器；
所述注意力网络用于提取源图片a的前景注意力图mask_a和背景注意力图1-mask_a；
所述生成器网络GA用于根据源图片的前景图masked_a和注意力图mask_a，生成目标域的前景图b_f；
所述多尺度判别器用于利用目标域的真实图片real_b判别目标域图片b'的真伪，减小真实图片与重构图片的差异。
所述注意力网络包括依次连接的第一卷积层、第二卷积层、第一残差块、第一反卷积层、第三卷积层、第二反卷积层、第四卷积层以及第五卷积层。
所述生成器网络GA为垂直对称结构；
所述生成器网络GA包括依次连接的第六卷积层、第七卷积层、第八卷积层、包括九个残差块的第二残差块、第九卷积层、第十卷积层以及第十一卷积层。
所述多尺度判别器包括依次连接的第十二卷积层、第十三卷积层、第十四卷积层、第十五卷积层以及第十六卷积层。
本实施例中，为了完成风格转换工作，我们的图画花生成模型建立在注意力引导的图像翻译框架之上，宏观来看，整个网络被训练进行白描图片与水墨或工笔图片之间的图像翻译任务，仔细来看，它并不能简单实现，它需要转换成的水墨图片在保证语义信息的基础上，构图准确，笔触自然流畅，墨色使用恰当(浓淡和枯润度)，色彩微妙，使其具有一定的意境，工笔图片线条丰富，精谨细腻，细节更好，同时防止转换后的白描图片的碎乱、呆板、松散现象。我们定义源域为A(白描图)，目标域为B(工笔/水墨图)，ai∈A，bj∈B。
本实施例中，如图2-图4所示，分别为国画花生成模型的注意力网络，生成器和多尺度判别器架构，图2为我们模型中所使用的残差块结构，其保留语义信息。如A→B方向的生成，生成器GA将白描图片a的前景masked_a作为输入，输出结果output与注意力图mask_a点乘，得到目标域的前景b_f，再与源图的背景a_bg相加得到最终的目标域图片fake_b,最后将其送入多尺度判别器DB判别真假(工笔风格生成过程与之相同)。主要步骤：
(1)数据预处理
我们构建了一个国画花的数据集，其中包括白描、工笔以及水墨各1500张左右，由于国画很难收集，因此图片都是采用非成对的形式。图片的收集和预处理比较复杂，一共分为3步。首先，收集的图片有的是网络爬取，有的相关公众号收集，有的是从微博爬取，它们的大小和格式都不相同，大部分的国画本身分辨率都很高，因此我们将所有图片转为一种格式，人工分离分辨率较大图片，分辨率较大的图片通过程序将长宽等比例压缩成合适大小，并以Image.ANTIALIAS的方式保存图片，我们设置大小为75。其次，我们训练的物象是花，而许多图片中都存在其他不相关物象，如动物，人等，为此，我们使用Image中的Crop函数对其进行了6次裁剪，随机裁剪方式虽然也可以，但是效果并没有以box的方式裁剪有效；然后人工挑选出其中花朵所占密度最大的图片。最后，以Image.BILINEAR双线性的方式将所有图片尺寸到384×384大小。
(2)国画花生成模型
我们把源域图片(白描)记为A，目标域图片(工笔/水墨)记为B,ai∈A，bj∈B，其中，ai表示源域中第i张图片，bj表示目标域中第j张图片，我们想要关注特定的部分指导性的生成，但是网络并不会按照我们所想指定位置关注，网络具有随机性。对于此数据集，我们关注的是整张图片的前景部分，保留源域图片的高层语义特征，因此代替将源图片a直接输入生成器GA中，首先通过注意力网络attention network得到源图片a的注意力图attentionmap，其包括前景注意力图mask_a和背景注意力图1-mask_a,将之与源图片a点乘得到源图片的前景图mask_a作为生成器GA的真实输入。同时为了使除注意力网络区域外的背景尽可能保持不变，再次应用mask_a得到背景a_bg,因此最后生成的目标图片为前景与背景的结合，用公式表示为：
b'＝GA->B(a·mask_a)·mask_a+a·(1-mask_a)
其中，GA->B表示A→B生成方向的生成器，A表示源域，B为目标域，a表示源图片，mask_a表示注意力图，1-mask_a表示背景注意力图。
本实施例中，如图4所示，判别器函数里有相关设置，在前30轮中，阈值threshold＝0，则mask＝1，mask为通过注意力网络attention得到的注意力图，则点乘之后输入判别器的实际图片为原始图片b'和real_b。在随后的训练中，threshold＝0.1，对于mask就会有限制的输入，mask>0.1的判别为1，mask小的则为0，输入判别器的真实图片就变为了处理后的图片masked image。
本实施例中，多尺度判别器被训练只在关注区域进行判别。如上述可知，生成器只关注前景内容区域的生成，最终生成的假的图片是带有目标域风格的前景与源域背景，而多尺度判别器通常以整个图片为基准进行判别，即包括前景和背景，因此当假的图片输入，很容易被判别为假，虽然前景相似，但背景差别很大，为了训练多尺度判别器只对前景部分进行判别，模型中将目标域图片b'乘前景注意力图mask_a得到的处理后的图片maskedimage作为多尺度判别器的实际输入。但在实际训练时，我们首先用目标域图片b'和目标域的真实图片real_b训练多尺度判别器30epochs,再使用处理后的图片masked image训练。前30轮学习率设置为0.0001，后面学习率逐步减小。另外，我们模型中加入循环一致性限制，如图5所示，使网络可以保留轮廓特征，避免生成图像与源图像结构差异太大。
本实施例中，我们模型的损失函数包括三个部分：Ladv对抗损失(使生成数据分布接近真实数据分布，拉回远样本)，Lcyc循环一致性损失(减小真实数据与重构数据的差异)，Lms多尺度结构相似性损失(考虑人类视觉感知，多尺度对比真实数据与重构数据的结构性差异，使生成结果保留图像边缘和细节等高频信息)。Ladv通过Least-square优化生成模型，生成近似目标域图像的任何随机排列，Lcyc使用L1可以有效地控制图像生成的空间分布，Lms抓取图像的样式结构特征，生成更好的图像风格和细节，Lcyc和Lms的有效结合，可以很大程度上提高图像生成质量(亮度，颜色和结构)。
本实施例中，Lms多尺度结构相似性损失(Multi-scale Structural Similarity,MSSSIM)，多尺度结构相似性损失是结构相似性损失(Structural Similarity，SSIM)的继承和发展，从人类视觉感知的角度，分别从亮度(Luminance)，对比度(Contrast)，结构(Strctural)三个指标上多尺度地对比两张图像的差异，相比SSIM损失，它能够更方便有效灵活的比对不同分辨率下图像的细节信息。(此处，a,b代指两张图像)SSIM函数被定义为：S(a,b)＝f(l(a,b),c(a,b),s(a,b))，分别来看，a,b两张图像之间的亮度信息比较定义为：
对比度信息定义为：
结构信息定义为：
s(a,b)＝(σab+C3)/(σaσb+C3)
其中，μ代表图像像素值的均值，σ代表图像像素值的标准差，C1，C2，C3为常数避免分母为0，N表示图片的像素个数。
同理，MSSSIM函数被定义为：
MS(a,b)＝f(lM(a,b),cM(a,b),sM(a,b))
我们设源域图像a的尺度为1，网络中图像的最大尺度为M。当M＝1时，表示原始图像大小，当M＝2时，表示原始图像缩小一半，以此类推。αM，βj，γj分别为各组成成分的相关权重系数，在相关文献中，实验得出：β1＝γ1＝0.0448，β2＝γ2＝0.2856，β3＝γ3＝0.3001,β4＝γ4＝0.2363,α5＝β5＝γ5＝0.13333我们将两种数据(即白描与工笔或白描与水墨)集合成具有一定数量对的csv文件，随机读取成对数据输入，训练我们的国画花生成模型GAN。
为进一步对本发明进行说明，下面详细说明本发明在国画花的数据集上的实验结果：
我们使用收集的真实水墨画数量作为基准，1635对图像对用于水墨花的训练，489对用于测试(其中包含原数据集中的数据)；收集的工笔画共1536张，在训练时，为了达到数据扩增的目的，我们使用2000个图像对用于工笔花的训练，500对用于测试。训练数据集的数量可以根据需要进行自动调整。
以水墨风格为例，我们使用几种常用风格迁移方法与我们的方法进行了对比实验；之后，为了分析Lms损失对生成结果的影响，我们固定一致性损失的参数，改变结构性损失的参数作了四次对比实验；另外，我们通过改变batch size的大小进行了三次实验观察其对风格迁移的影响。
如图6所示，cycleGAN模型为循环一致性对抗网络，UNIT模型为非监督图像到图像翻译，AGGAN模型为非监督注意力引导的图像到图像翻译。实验结果表明，从左到右，展示了每个网络的生成结果，对于图像的局部特征和整体风格风格特征的生成上，证明了我们的方法可以更好地学习目标域的风格特征并准确生成，我们的方法取得了最佳效果。CycleGAN没有很好地获取图像的风格特征，风格转换后的图像非常模糊，水墨的渲染也没有处理得当，Unit模型基于共享隐层空间假设，它鼓励风格转换的生成，但构图不准确，在某种程度上，AGGAN生成了一种形式的水墨画，它学习到了风格的整体特征，因此效果相对前两者较好，但图像的风格化在结构细节方面仍存在一些缺陷，造成许多噪点。我们舍去一致性损失只保留结构性损失，实验在前期训练过程中一步步学习图像结构特征，但在后期网络无法学习这种结构表示，模型生成能力退化，以失败告终。该对比实验展示了无论在图像的前景和背景生成上，我们的方法产生了更清晰更真实的风格化图像。如图7所示，我们的方法在控制墨色的枯润度以及色彩构图上表现更好。
如图8所示，为了研究此损失函数对生成的影响，我们就水墨风格转换进行了4次比较实验，分别将参数λ设置为0.1，0.5，1和5，但当参数为5时，生成器很难再学习到特征，当训练到第6epoch时，网络失败获取特征的表达，模型不再工作，因此，在此只展示了三个实验结果。通过比较，我们可以看出当参数为0.1时，图像的色彩构成非常鲜艳明亮，当参数逐渐增大时，图像色彩会更加自然和谐，给人一种宁静深远的享受。另外，当参数较小时，许多图像存在噪点和伪影，而当参数为1时，结构信息被更好地学习到，画面更加一致，花朵和叶子自然拼接，在细节和整体风格的控制上，显然相对最好。
如图9所示，当batch size逐渐增大时，图像的结构细节生成越来越模糊，画面变得非常杂乱，网络生成的随机性远远大于它的稳定性，因此，我们在其它所有生成实验中，我们设置batch size为1。
如图10所示，是在风格转换过程中由真实水墨图片经风格转换后生成的白描图片，可以看到我们生成的白描图片线条工整，层次分明，朴实传神。同时，如图11所示，我们使用我们的方法进行了花的白描风格与工笔风格的翻译工作，经过一系列实验，我们得到了精致细腻的工笔画。在水墨风格转换工作中，我们进一步探究它的可造性，使之生成更有意境。为此，我们对数据集进行风格学操作，将训练集B采取形态学闭操作，此种操作可以移除高频内容，模糊边缘，消除噪声。经过实验，我们得到了如图12的生成结果。从图中可以看到更多的色彩分布，图片比较模糊，并没有达到我们所期望的效果。
为了证明我们方法的可扩展性，我们使用我们的方法在国画山水的数据集上进行了水墨风格实验，我们收集真实山水图片，并提取边缘特征作为训练集A,从网络爬取水墨山水图片，经预处理后作为训练集B，一共2168对输入网络训练，360对用于测试，生成效果如图13所示。如图14-图15所示，我们选取了著名画家的工笔、水墨图片和我们风格生成的图片各三张，图14为画家的水墨画，图15为工笔，从视觉上看我们的生成效果是不错的。
Claims (9)
1.一种基于神经网络的多风格国画花生成方法，其特征在于，包括如下步骤：
S1、构建国画花的数据集图片，并对所述数据集图片进行预处理，得到源图片a；
S2、将源图片a输入至基于神经网络的国画花生成模型，生成多风格国画花；
所述步骤S2包括如下步骤：
S201、利用注意力网络提取源图片a的前景注意力图mask_a；
S202、将所述前景注意力图mask_a与源图片a进行点乘计算，得到源图片的前景图masked_a；
S203、将源图片的前景注意力图masked_a输入至生成器网络进行训练，并将训练后的前景图与前景注意力图mask_a进行点乘计算，得到目标域的前景图b_f；
S204、将源图片a与源图片a的背景注意力图1-mask_a进行点乘计算，得到源域背景图a_bg；
S205、结合所述目标域的前景图b_f和源域背景图a_bg，生成假的目标域图片b'；
S206、将所述前景注意力图mask_a与所述假的目标域图片b'进行点乘计算，得到处理后的图片masked image；
S207、利用假的目标域图片b'以及目标域的真实图片real_b训练多尺度判别器30轮；
S208、将处理后的图片masked image输入至训练后的多尺度判别器，生成多风格国画花。
2.根据权利要求1所述的基于神经网络的多风格国画花生成方法，其特征在于，所述步骤S1包括如下步骤：
S101、获取国画花图片，构建白描、工笔以及水墨3种非成对形式的国画花数据集图片，并将其压缩成固定大小，以Image.ANTIALIAS的格式保存图片；
S102、对所述Image.ANTIALIAS格式的图片进行6次裁剪，并选择花朵所占密度最大的图片；
S103、以Image.BILINEAR双线性的方法将所有图片的尺寸调至384×384，得到源图片a。
3.根据权利要求2所述的基于神经网络的多风格国画花生成方法，其特征在于，所述源域背景图a_bg的表达式如下：
a_bg＝a·(1-mask_a)
其中，a表示源图片，1-mask_a表示源图片a的背景注意力图。
4.根据权利要求3所述的基于神经网络的多风格国画花生成方法，其特征在于，所述步骤S205中假的目标域图片b'的表达式如下：
b'＝GA->B(a·mask_a)·mask_a+a·(1-mask_a)
其中，GA->B表示A→B生成方向的生成器，A表示源域白描图片，B表示目标域图片工笔或水墨图片，a表示源图片，mask_a表示前景注意力图，1-mask_a表示源图片a的背景注意力图。
5.根据权利要求4所述的基于神经网络的多风格国画花生成方法，其特征在于，所述步骤S2中国画花生成模型包括注意力网络、与所述注意力网络连接的生成器网络GA以及与所述生成器网络GA连接的多尺度判别器；
所述注意力网络用于提取源图片a的前景注意力图mask_a和背景注意力图1-mask_a；
所述生成器网络GA用于根据源图片的前景图masked_a和注意力图mask_a，生成目标域的前景图b_f；
所述多尺度判别器用于利用目标域的真实图片real_b判别目标域图片b'的真伪，减小真实图片与重构图片的差异。
6.根据权利要求5所述的基于神经网络的多风格国画花生成方法，其特征在于，所述注意力网络包括依次连接的第一卷积层、第二卷积层、第一残差块、第一反卷积层、第三卷积层、第二反卷积层、第四卷积层以及第五卷积层。
7.根据权利要求6所述的基于神经网络的多风格国画花生成方法，其特征在于，所述生成器网络GA为垂直对称结构；
所述生成器网络GA包括依次连接的第六卷积层、第七卷积层、第八卷积层、包括九个残差块的第二残差块、第九卷积层、第十卷积层以及第十一卷积层。
8.根据权利要求7所述的基于神经网络的多风格国画花生成方法，其特征在于，所述多尺度判别器包括依次连接的第十二卷积层、第十三卷积层、第十四卷积层、第十五卷积层以及第十六卷积层。
9.根据权利要求8所述的基于神经网络的多风格国画花生成方法，其特征在于，所述国画花生成模型的损失函数L的表达式如下：
λ1＝10,λ2＝1
其中，Ladv表示对抗损失函数，λ1表示循环一致性损失权重系数，Lcyc表示循环一致性损失函数，Lmsssim表示多尺度结构相似性损失函数，λ2表示多尺度结构性损失权重系数，
表示生成器A→B方向的对抗损失函数，
表示生成器B→A方向的对抗损失函数，A表示源域白描图片，B表示目标域图片工笔或水墨图片，
表示生成器A→B→A方向的循环一致性损失函数，
表示生成器B→A→B方向的循环一致性损失函数，
表示生成器A→B→A方向的多尺度结构性损失函数，
表示生成器B→A→B方向的多尺度结构性损失函数，E(·)表示分布函数的期望值，PB(b)表示真实样本B的分布，PA(a)表示真实样本A的分布，DB(·)表示DB网络判别图像是否真实的概率，b’为A→B方向生成的假图像，a’为B→A方向生成的假图像，b表示目标域中任何一张工笔或水墨图片，DA(·)表示DA网络判别图像是否真实的概率，a表示源域中任何一张白描图片，lM表示多尺度下两张图片的亮度相似度，cM表示多尺度下两张图片的对比度，sM表示多尺度下两张图片的结构相似度，a"表示网络A→B→A方向图像a的重构图像，f[·]表示关于亮度，对比度，结构三种相似度的函数，b"表示网络B→A→B方向图像b的重构图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911408840.0A CN111161137B (zh) | 2019-12-31 | 2019-12-31 | 一种基于神经网络的多风格国画花生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911408840.0A CN111161137B (zh) | 2019-12-31 | 2019-12-31 | 一种基于神经网络的多风格国画花生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111161137A CN111161137A (zh) | 2020-05-15 |
| CN111161137B true CN111161137B (zh) | 2023-04-11 |
Family
ID=70559845
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911408840.0A Active CN111161137B (zh) | 2019-12-31 | 2019-12-31 | 一种基于神经网络的多风格国画花生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111161137B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111784592A (zh) * | 2020-05-19 | 2020-10-16 | 知昇(上海)人工智能科技有限公司 | 一种基于gan的自动化设计图像生成方法 |
| CN111932645B (zh) * | 2020-06-12 | 2022-08-26 | 重庆大学 | 基于生成对抗网络gan自动生成水墨画的方法 |
| CN111860782B (zh) * | 2020-07-15 | 2022-04-22 | 西安交通大学 | 三重多尺度的CycleGAN、眼底荧光造影生成方法、计算机设备及存储介质 |
| CN112258438B (zh) * | 2020-10-28 | 2023-07-25 | 清华大学深圳国际研究生院 | 一种基于非配对数据的ldct图像恢复方法 |
| CN112529978B (zh) * | 2020-12-07 | 2022-10-14 | 四川大学 | 一种人机交互式抽象画生成方法 |
| CN112561782B (zh) * | 2020-12-15 | 2023-01-03 | 哈尔滨工程大学 | 一种提高海上场景仿真图片真实度的方法 |
| CN113538224B (zh) * | 2021-09-14 | 2022-01-14 | 深圳市安软科技股份有限公司 | 基于生成对抗网络的图像风格迁移方法、装置及相关设备 |
| CN113781366B (zh) * | 2021-11-03 | 2023-06-23 | 四川大学 | 一种基于深度学习的眼部oct图像清晰化方法 |
| CN115375601B (zh) * | 2022-10-25 | 2023-02-28 | 四川大学 | 一种基于注意力机制的解耦表达国画生成方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110211192A (zh) * | 2019-05-13 | 2019-09-06 | 南京邮电大学 | 一种基于深度学习的三维模型到二维图像的渲染方法 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11024009B2 (en) * | 2016-09-15 | 2021-06-01 | Twitter, Inc. | Super resolution using a generative adversarial network |
| CN108305311A (zh) * | 2017-01-12 | 2018-07-20 | 南京大学 | 一种数字化图像水墨风格渲染技术 |
| CN107292865B (zh) * | 2017-05-16 | 2021-01-26 | 哈尔滨医科大学 | 一种基于二维图像处理的立体显示方法 |
| CN108038818A (zh) * | 2017-12-06 | 2018-05-15 | 电子科技大学 | 一种基于多重循环一致性的生成对抗式网络图像风格转移方法 |
| US10825132B2 (en) * | 2018-02-20 | 2020-11-03 | Element Ai Inc. | Training method for convolutional neural networks for use in artistic style transfers for video |
| US10825219B2 (en) * | 2018-03-22 | 2020-11-03 | Northeastern University | Segmentation guided image generation with adversarial networks |
| US10558895B2 (en) * | 2018-03-30 | 2020-02-11 | Tobii Ab | Deep learning for three dimensional (3D) gaze prediction |
| CN109146989B (zh) * | 2018-07-10 | 2023-02-14 | 华南理工大学 | 一种通过搭建神经网络生成花鸟艺术字图像的方法 |
| CN109410148A (zh) * | 2018-11-06 | 2019-03-01 | 电子科技大学 | 一种基于循环一致性的生成对抗式网络的照片与工笔画之间图像风格转移方法 |
| CN109544442B (zh) * | 2018-11-12 | 2023-05-23 | 南京邮电大学 | 基于双重对抗的生成式对抗网络的图像局部风格迁移方法 |
| CN109741247B (zh) * | 2018-12-29 | 2020-04-21 | 四川大学 | 一种基于神经网络的肖像漫画生成方法 |
| CN110458750B (zh) * | 2019-05-31 | 2021-05-25 | 北京理工大学 | 一种基于对偶学习的无监督图像风格迁移方法 |
| CN110503598B (zh) * | 2019-07-30 | 2022-09-16 | 西安理工大学 | 基于条件循环一致性生成对抗网络的字体风格迁移方法 |
-
2019
- 2019-12-31 CN CN201911408840.0A patent/CN111161137B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110211192A (zh) * | 2019-05-13 | 2019-09-06 | 南京邮电大学 | 一种基于深度学习的三维模型到二维图像的渲染方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111161137A (zh) | 2020-05-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111161137B (zh) | 一种基于神经网络的多风格国画花生成方法 | |
| Frans et al. | Clipdraw: Exploring text-to-drawing synthesis through language-image encoders | |
| CN110378985B (zh) | 一种基于gan的动漫绘画辅助创作方法 | |
| US11983628B2 (en) | Attribute control techniques for image editing | |
| CN108830913B (zh) | 基于用户颜色引导的语义级别线稿上色方法 | |
| CN113807265B (zh) | 一种多样化的人脸图像合成方法及系统 | |
| Zhang et al. | Inkthetics: a comprehensive computational model for aesthetic evaluation of Chinese ink paintings | |
| Zhou et al. | An interactive and generative approach for chinese shanshui painting document | |
| DiPaola et al. | Using artificial intelligence techniques to emulate the creativity of a portrait painter | |
| He | Application of local color simulation method of landscape painting based on deep learning generative adversarial networks | |
| Tong et al. | Sketch generation with drawing process guided by vector flow and grayscale | |
| Peng et al. | Contour-enhanced CycleGAN framework for style transfer from scenery photos to Chinese landscape paintings | |
| Kang et al. | Emotional design of bamboo chair based on deep convolution neural network and deep convolution generative adversarial network | |
| CN115018729B (zh) | 一种面向内容的白盒图像增强方法 | |
| Fu et al. | Multi‐style Chinese art painting generation of flowers | |
| Ye et al. | Interactive anime sketch colorization with style consistency via a deep residual neural network | |
| Li et al. | Chinese painting style transfer system based on machine learning | |
| DE102021124428A1 (de) | Trainieren energiebasierter variational autoencoder | |
| CN114037644A (zh) | 一种基于生成对抗网络的艺术字图像合成系统及方法 | |
| Zheng et al. | Coconditional autoencoding adversarial networks for Chinese font feature learning | |
| CN114385883B (zh) | 一种在风格转换中近似模拟皴法的轮廓增强方法 | |
| Park et al. | StyleBoost: A Study of Personalizing Text-to-Image Generation in Any Style using DreamBooth | |
| Xing et al. | Stylized Image Generation based on Music-image Synesthesia Emotional Style Transfer using CNN Network. | |
| Xue et al. | An Art Font Generation Technique using Pix2Pix-based Networks | |
| Zhao et al. | Regional Traditional Painting Generation Based on Controllable Disentanglement Model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |