CN115908602A - 一种将风景照片转换为中国山水画的风格迁移方法 - Google Patents

Abstract

本发明提供了一种将风景照片转化为中国山水画的风格迁移方法，该方法采用基于CycleGAN的图像风格迁移框架，针对迁移过程中存在的伪影和光斑的情况，采用带有反射填充层的RRDB模块；采用光谱归一化的U‑Net鉴别器来提高鉴别器能力，稳定训练动态；利用L_MS‑SSIM损失函数保留边缘和细节等高频信息，对生成图像的亮度和颜色进行优化。采用损失函数让模型从亮度、对比度和结构方面对风格迁移后的图像进行约束，使风格转换中生成的图像才能更加符合人的视觉感知。

Description

一种将风景照片转换为中国山水画的风格迁移方法

技术领域

本发明属于计算机视觉技术领域，涉及风格迁移，具体涉及一种将风景照片转换为中国山水画的风格迁移方法。

背景技术

近年来随着人工智能领域的发展，深度学习让不同图像间风格的转移成为可能。但目前对于画作风格迁移的研究主要集中在西方油画方面，对于中国传统画作的研究少之又少。中国画是中国人情思中最为厚重的沉淀，其中中国画又以山水画为主，是中国宝贵的传统文化和中国艺术的绝巅体现。传统的中国画与现代风格迁移技术融合是对中国传统文化的传承和发展。

生成对抗网络(GAN)由Goodfellow等人提出，是实现图像风格迁移的有效方法，具有更为强大的拟合能力，可以生成更高质量的图像成果，并逐渐成为图像风格迁移的主流方法。GAN功能强大，有许多实际应用，如从文本生成图像，将图像从一种风格转换为另一种风格等。已经出现了许多广泛流行的基于GAN的架构，例如NICEGAN、U-GAT-IT、DualGAN等。

虽然这些方法可以适用于风景照片到山水画的风格转换，但仍有一些独特的问题需要解决。利用人工智能对中国传统画作进行模仿，形成具有中国山水画风格的画作，是一个值得研究的方向。在人工智能艺术方向研究学者较少，整体缺乏系统、完整的可靠性研究，研究环境一片蓝海。

发明内容

针对现有技术存在的不足，本发明的目的在于，提供一种将风景照片转换为中国山水画的风格迁移方法，以解决现有技术中从风景照片迁移到山水画的图像效果有待进一步提升的技术问题。

为解决上述问题，本发明采取的技术方案包括：

一种将风景照片转换为中国山水画的风格迁移方法，包括：

在CycleGAN模型的基础上，判别器为添加光谱归一化的U-Net网络，生成器为添加反射填充层和RRDB模块的VGG网络，总损失函数上添加L_MS-SSIM损失函数的网络模型。

可选的，具体包括：采用未进行配对的风景照片和山水画组成的图像数据集SCAPE，从头开始训练判别器和生成器；训练开始的一百个周期内固定学习率不发生变化，后一百个周期让学习率按照线性衰减的方式逐步减小到零；对生成器的训练里引入了除了生成对抗损失函数、循环一致性损失函数和身份映射损失函数外的L_MS-SSIM损失函数。

可选的，所述的对抗损失函数为：

对于映射函数G和它的判别器D_Y，有如下表达式：

其中，G试图生成与域Y的图像相似的图像G(x)，而D_Y的目的是区分翻译样本G(x)和真实样本y；

表示y属于真实图片的概率密度分布函数，

表示x符合某一概率密度的分布函数；

同理，对于映射函数F和它的生成器G，表达式为L_GAN(F,D_X,Y,X)。

可选的，所述的循环一致性损失函数表示为：

||G(F(y))-y||₁表示对G(F(y))-y求L₁范数，也就是对向量中的各个元素的绝对值求和。

可选的，所述的身份映射损失函数表示为：

可选的，所述的L_MS-SSIM损失函数为：

权重α。

可选的，模型的总体目标损失函数为：

式12中：

L(G,F,D_X,D_Y)为模型的总体目标损失函数；λ₁,λ₂,λ₃控制了生成对抗损失函数、循环一致性损失函数、身份映射损失函数和L_MS-SSIM损失函数四个损失函数的相对权重。

优选的，训练数据集包括：

4281张图片，包含风景照片2175张为源域，山水画2106张为目标域；风景照片用于训练和测试的数据分别为1669张和501张，山水画用于训练和测试的数据分别为1545张和561张；训练过程中所有图像都会被调整为256x256的大小；

训练期间使用的实验平台是由Ubuntu21.10系统搭配一个显存24G的GTX3090显卡，整个实验代码基于Pytorch和TensorFlow框架实现，使用的CUDA版本为11.4，CuDNN版本为8.4.0。

可选的，所述的生成器：

利用RRDB模块替代原网络中的残差模块，并在第一层卷积层后和最后一层卷积层前添加反射填充层；网络最终结构包含3个卷积模块、9个RRDB模块、两个转置卷积层、一个将特征映射到RGB的卷积层和两个反射填充层；所有非残差卷积层后面都有空间批量归一化层和ReLU非线性激活函数层；在生成器中，全连接层都使用ReLU做为激活函数，而在输出层使用Tanh做为激活函数；输出层使用缩放的Tanh来确保输出图像具有[0,255]范围内的像素；除了第一层和最后一层使用9×9内核，所有卷积层都使用3×3内核[21]。

可选的，所述的判别器：将CycleGAN中的PatchGAN判别器改进为具有跳跃连接的U-Net网络；并且采用光谱归一化层来减轻网络训练引入的亮斑和伪影现象。

本发明与现有技术中的传统的CycleGAN方法相比，具有如下技术效果：

1)针对现有风格迁移研究中山水画数据集缺乏的情况，我们自创了未进行配对的风景照片和山水画组成的图像数据集SCAPE，数据集总共4281张图片，包含山水照2175张和水墨画2106张。数据集包含常见的山、水、树、人等一些绘画元素。

2)针对迁移过程中存在的伪影和光斑的情况，采用带有反射填充层的RRDB模块作为生成器的网络模型。

3)采用带有光谱归一化的U-Net判别器模型，可以产生更丰富的图像纹理，减少噪声，产生更干净的图像，并提高整体生成模型效果。不仅如此，能够提高判别器性能，稳定训练动态。

采用损失函数保留边缘和细节等高频信息，对生成图像的亮度和颜色进行优化。采用损失让模型从亮度、对比度和结构方面对风格迁移后的图像进行约束，使风格转换中生成的图像才能更加符合人的视觉感知。

附图说明

附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于发明并公开，但并不构成对本发明的限制。在附图中：

图1是SN-CycleGAN网络模型总体流程示意图；

图2是SN-CycleGAN网络的生成器结构图；

图3是生成器中RRDB模块图；

图4是组成RRDB模块的密集块结构图；

图5是SN-CycleGAN网络的判别器结构图；

图6是不同方法生成的图像在NIMA指标上的得分对比图；

图7是不同的风格转换方法产生的迁移结果对比图；

图8是消融实验结果对比图；

图9是在网络结构中添加反射填充层产生的效果对比图；

以下结合实施例对本发明的具体内容作进一步详细解释说明。

具体实施方式

本发明中，所述的山水画即中国山水画。

CycleGAN指得是一种图像风格转换框架。

SN-CycleGAN，即在CycleGAN模型的基础上，判别器为添加光谱归一化的U-Net网络，生成器为添加反射填充层和RRDB模块的VGG网络，总损失函数上添加L_MS-SSIM损失函数的网络模型，也就是本发明中所述的在风格迁移中将风景照片转化为中国风景画风格的模型。

RRDB，即Residual-in-Residual Dense Block，残差密集块。

MS-SSIM，即Multi-Scale Structrual Similarity Index，多尺度结构相似性。

NICEGAN指的是在CycleGAN的基础上，通过提出将以往的编码器部分改用判别器的前几层去替代的思想，构建了一个无监督图像跨域转换模型。

DualGAN指的是在基础GAN的思想上引入了对偶学习的思想，构建的无监督学习网络模型。

U-GAT-IT指的是在CycleGAN的基础上，通过提出一种新的注意力机制并且结合了新的正则化方式，构建了一个端到端的弱监督图像跨域转换模型。

NIMA指的是基于最新的深度物体识别神经网络，能够从直接感官(技术角度)和吸引程度(美学角度)预测人类对图像的评估意见的分布。NIMA可以通过对任意图像都生成评分直方图——即对图像进行1-10分的打分，并且与同一主题的图像进行比较。

SSIM指的是结构相似度是一种度量两幅图像相似度的度量方法。通过亮度、对比度和结构三个方面来评价图像的相似度，SSIM的值越大，两幅图像的相似度就越高。

PSNR指的是峰值信噪比，即峰值信号的能量与平均噪声能量的比值。其思想是通过降噪图像的可见性来比较图像与真实图像轮廓的差异，即误差的可见性来评价图像质量。

IS指的是Inception Score，它考虑到生成图像的清晰度和生成图像的多样性。其值越大，生成的模型的效果越好。

U-GAT-IT引用自Kim,J.,et al.,U-GAT-IT:Unsupervised GenerativeAttentional Networks with Adaptive Layer-Instance Normalization for Image-to-Image Translation.2019.

DualGAN引用自Yi Z,Zhang H,Tan P,et al.DualGAN:Unsupervised DualLearning for Image-to-Image Translation[J].IEEE Computer Society,2017.

NICEGAN引用自Chen,R.,et al."Reusing Discriminators for EncodingTowards Unsupervised Image-to-Image Translation."2020IEEE/CVF Conference onComputer Vision and Pattern Recognition(CVPR)IEEE,2020.

遵从上述技术方案，以下给出本发明的具体实施例，需要说明的是本发明并不局限于以下具体实施例，凡在本申请技术方案基础上做的等同变换均落入本发明的保护范围。

实施例：

本实施例给出一种将风景照片转换为山水画的风格迁移方法，如图1所示，风格迁移模型基于CycleGAN模型构建获得；风格迁移构建方法包括以下步骤：

步骤一，采用未进行配对的风景照片和山水画组成的图像数据集SCAPE，数据集总共4281张图片，包含风景照片2175张(源域)和山水画2106张(目标域)。风景照片用于训练和测试的数据分别为1669张和501张，山水画用于训练和测试的数据分别为1545张和561张。数据集中包含常见的山、水、树、人等一些绘画元素。训练过程中所有图像都会被调整为256x256的大小。

步骤二，训练期间使用的实验平台是由Ubuntu21.10系统搭配一个显存24G的GTX3090显卡，整个实验代码基于Pytorch和TensorFlow框架实现，使用的CUDA版本为11.4，CuDNN版本为8.4.0。

步骤三，不使用预训练模型进行微调，直接从头开始训练模型，采用Adam优化器，学习率设为0.0002，值得强调的一点的是在训练开始的一百个周期内我们固定学习率不发生变化，在后一百个周期让学习率按照线性衰减的方式逐步减小到零。

步骤四，在对生成器的训练里引入了除了生成对抗损失函数、循环一致性损失函数和身份映射损失函数外的L_MS-SSIM损失函数。

生成对抗损失函数可以使生成的图片在分布上更接近于目标图片，对于其中一个映射函数G和它的判别器D_Y，有如下表达式：

其中，G试图生成与域Y的图像相似的图像G(x)，而D_Y的目的是区分翻译样本G(x)和真实样本y。

表示y属于真实图片的概率密度分布函数，

表示x符合某一概率密度的分布函数。同时对于G的反过程F，也有相似的表达式L_GAN(F,D_X,Y,X)。

映射函数G希望通过优化减小的项目与映射函数F希望优化增大的项目相对抗，另一个相反的过程也类似如此。这两个相互对称的结构用公式(2)(3)表示：

循环一致性损失函数在对抗训练过程中可以学习到映射G与F，并生成与目标域Y相似分布的输出。为了进一步减少函数映射可能得到的空间大小，我们认为学习得到的函数应该具有循环一致性。源域X中的每一张图片x在循环翻译中，应该可以让回到翻译的原点，反之亦然，即前向、后向循环一致，换言之：

x→G(x)→F(G(x))≈x (4)；

y→F(y)→G(F(y))≈y (5)；

于是循环一致性损失函数可以表示为：

||G(F(y))-y||₁表示对G(F(y))-y求L₁范数，也就是对向量中的各个元素的绝对值求和。

身份映射损失函数有助于帮助保留输入和输出颜色的一致性。没有身份映射损失函数的话，生成器G和F可以在不需要的时候随意改变输入图像的色调。

可以表示为：

像素P的结构相似性(SSIM)被定义为：

使用多尺度的SSIM(MS-SSIM)来表示结构相似性，MS-SSIM是一种衡量两幅图像相似度的指标，相当于考虑了不同分辨率图像的结果。给定M层的二元金字塔，MS-SSIM定义为：

式9中，设定α＝βj＝1,j＝{1,...,M}。

p～表示分块P的中心像素。用在其中心像素p处的损失函数来近似分块P的损失函数，如式10。

MS-SSIM和SSIM对均匀性偏差都不是特别敏感，这可能导致亮度或颜色变得更暗。然而，L_MS-SSIM在高频区域的对比度比实验中的其他损失函数更好。

L_MS-SSIM往往会引起亮度变化和颜色偏差，但它保留了边缘和细节的高频信息。L₁无论局部结构如何，都以相同的误差权重保留图像的颜色和亮度。

为了捕捉两个损失函数的最佳特性，使迁移后的图像在风格上更加自然，并且能够结合来自不同分辨率的多个尺度的图像细节，我们采用了一个权重α来平衡L_MS-SSIM和L₁的优点。通过实验表明，α在0.16的情况下达到的效果最优。

模型的总体目标损失函数为式12：

式12中：

L(G,F,D_X,D_Y)为模型的总体目标损失函数；

λ₁,λ₂,λ₃控制了生成对抗损失函数、循环一致性损失函数、身份映射损失函数和L_MS-SSIM损失函数四个损失函数的相对权重。

步骤五，利用RRDB模块替代原网络中的残差模块，并在第一层卷积层后和最后一层卷积层前添加反射填充层。网络最终结构包含3个卷积模块、9个RRDB模块、两个转置卷积层、一个将特征映射到RGB的卷积层和两个反射填充层。所有非残差卷积层后面都有空间批量归一化层和ReLU非线性激活函数层。

在生成器中，全连接层都使用ReLU做为激活函数，而在输出层使用Tanh做为激活函数。输出层使用缩放的Tanh来确保输出图像具有[0,255]范围内的像素。除了第一层和最后一层使用9×9内核，所有卷积层都使用3×3内核[21]。

图2为本发明的网络模型SN-CycleGAN的生成器结构图；图3为生成器中使用的RRDB模块结构图；图4为组成RRDB模块中密集块的结构图。

步骤六，在判别器网络中引入了带有光谱归一化的U-Net网络来使模型达到更好的性能。我们将CycleGAN中的PatchGAN判别器改进为具有跳跃连接的U-Net网络。并且采用光谱归一化层来减轻网络训练引入的亮斑和伪影现象。图5为发明的网络模型SN-CycleGAN的判别器结构图。

效果测试：

第一，本发明能够解决山水画图像迁移过程中存在的伪影和亮斑的情况，并且可以在改善恢复纹理的同时稳定训练动态，减少噪声产生，生成更干净的图像，并提高整体生成模型的效果。

采用相同的评估数据集和指标，本发明将我们的方法与其他几种风格迁移方法进行了定性和定量的比较。

将本发明的方法与几种经典的图像风格迁移模型进行了比较，包括NICEGAN模型、DualGAN模型和U-GAT-IT模型。这三种模型的训练参数设置均与原作者的相同。

从图7的对比结果可以看出，NICEGAN方法生成的图像存在结构变形、内容丢失等问题更严重；U-GAT-IT方法生成的图像存在内容丢失、图像模糊、失色等问题；DualGAN方法对内容维护有一定的效果，但对图像纹理风格传递效果不好；CycleGAN方法的结果没有内容结构缺失问题，但保持颜色多样性的效果不好。可以看出，从第三行开始，本发明方法可以更好地学习山脉的细节和边缘，从第四行开始，本发明方法可以更好地学习马和人的纹理细节。

显然，对比的三种方法很难在保持图像的内容的基础上，学习到目标图像的风格信息。相比之下，本发明的方法保留了原始图像的语义信息，具有良好的迁移效果。

采用SSIM、PSNR、IS和NIMA四个指标对测试集的输出图像进行定量评价。对风景照片到山水画图像迁移过程采用经典的几种实验方法，从表1中可以明显看出，与其他方法相比，本发明方法在SSIM和IS中的得分最高。实验结果显示，PSNR得分与人眼的视觉质量并不完全匹配，PSNR值较高的图像可能比PSNR低的图像视觉效果更差。U-GAT-IT方法在PSNR指标中得分最高，我们的方法第二高。U-GAT-IT方法关注保持生成图像和真实图像像素之间的差异，但它在图像迁移过程中产生的图片有相对较差的结构、多样性和清晰度。但总的来说，本发明方法表现得更好。

表1不同的图像迁移方法对比结果

Methods	CycleGAN	NICEGAN	DualGAN	U-GAT-IT	Ours
						SSIM	0.733	0.645	0.670	0.685	0.749
PSNR	9.359	9.006	8.889	13.105	9.482
						IS	3.724	3.415	3.751	3.632	3.969
NIMA	4.732	4.563	4.740	4.697	4.887

第二，为了评价生成的山水画的艺术性，本发明引入了美学评价指标NIMA，从艺术角度评价方法的性能。

NIMA可以从直接感知和吸引力方面预测人类对图像的评价意见，具有类似于人类主观打分的优势，所以本发明选择它作为图像质量评价指标。NIMA为任何图像生成一个分数直方图。图像被打成1-10分，同一主题的图像被直接比较。这种设计与人类评分系统生成的直方图在形式上是一致的，评价效果也更接近人类的评价结果。

图6显示了本发明的方法生成的一些迁移图像的NIMA得分，得分越高，说明生成质量越好。可以看出，得分越高的图片确实更符合人类的审美观念。

第三，为了进一步分析本发明方法的有效性，进行了消融实验，结果表明，本发明所提出的三点改进发挥了关键作用。从图8中消融实验结果来看，添加多尺度结构相似损失函数可以给生成的图像带来更好的色彩对比度、饱和度和丰富度。引入RRDB模块，添加反射填充层，避免伪影和光点，可以进一步增加生成图像的结构信息，保留更多的细节，提高生成图像的质量。使用U-Net设计可以改善局部细节，然而，它引入了非自然的纹理，也增加了训练的不稳定性。使用具有光谱归一化的U-Net判别器可以在改善恢复纹理的同时稳定训练动态。这可以产生更丰富的图像纹理，减少噪声，产生更干净的图像，并提高整体生成模型效果。

表2比较了添加不同模块的CycleGAN网络在SSIM、PSNR、IS和NIMA四个指标上的得分。红色和蓝色字体分别表示第一和第二最佳的指标结果，可以看出，本发明在所有三个指标SSIM、IS和NIMA上都取得了最好的结果。

在本发明模型的基础上不使用RRDB模块，迁移结果进行对比时发现PSNR指标取得了最好的结果。PSNR表示两幅图像在每个位置上的像素值之间的平均差值，是最常用和最广泛的客观测量方法。

从图8中可以看出，PSNR值在第五列(本发明模型去掉RRDB模块)是最高的，但仍存在伪影和亮点，实验结果表明，PSNR分数不完全匹配的视觉质量，和更高的PSNR可能看起来比低PSNR。第四列的PSNR值(CycleGAN模型添加MS-SSIM损失)是第二高，但第一和第二行的图片是红色的，这与人类的视觉感知，和第三行的云颜色太暗，转换效果在视觉上不类似于原始图像风格。许多实验结果都显示，PSNR的分数无法和人眼看到的视觉品质完全一致，有可能PSNR较高者看起来反而比PSNR较低者差。这是因为人眼视觉对错误的敏感性不是绝对的，它的感知结果会受到许多因素和变化的影响。实验结果也表明添加MS-SSIM损失能够使两个图之间像素的差异程度减少，能够保持迁移后图像和原始图像在亮度对比度方面近似。

并且我们的每一个改进对网络的性能都有影响，任意两个改进叠加也取得了比一个改进好的效果。

表2基于CycleGAN算法框架采用不同模块的对比结果

第四，为了验证添加反射填充层的RRDB模块是否确实可以消除光斑和伪影，我们又对另一部分图像做了对比实验，从图9中可以看出，我们的改进能够很明显的改善输出图片的质量，几乎可以完全的消除掉光斑和伪影的现象。

虽然，上文中已经用一般性说明及具体实施方案对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (10)

1.一种将风景照片转换为中国山水画的风格迁移方法，其特征在于，包括：

在CycleGAN模型的基础上，判别器为添加光谱归一化的U-Net网络，生成器为添加反射填充层和RRDB模块的VGG网络，总损失函数上添加L_MS-SSIM损失函数的网络模型。

2.根据权利要求1所述的将风景照片转换为中国山水画的风格迁移方法，其特征在于，具体包括：采用未进行配对的风景照片和山水画组成的图像数据集SCAPE，从头开始训练判别器和生成器；训练开始的一百个周期内固定学习率不发生变化，后一百个周期让学习率按照线性衰减的方式逐步减小到零；对生成器的训练里引入了除了生成对抗损失函数、循环一致性损失函数和身份映射损失函数外的L_MS-SSIM损失函数。

3.根据权利要求2所述的将风景照片转换为中国山水画的风格迁移方法，其特征在于，所述的对抗损失函数为：

对于映射函数G和它的判别器D_Y，有如下表达式：

其中，G试图生成与域Y的图像相似的图像G(x)，而D_Y的目的是区分翻译样本G(x)和真实样本y；

表示y属于真实图片的概率密度分布函数，

表示x符合某一概率密度的分布函数；

同理，对于映射函数F和它的生成器G，表达式为L_GAN(F,D_X,Y,X)。

4.根据权利要求2或3所述的将风景照片转换为中国山水画的风格迁移方法，其特征在于，所述的循环一致性损失函数表示为：

||G(F(y))-y||₁表示对G(F(y))-y求L₁范数，也就是对向量中的各个元素的绝对值求和。

5.根据权利要求2或3所述的将风景照片转换为中国山水画的风格迁移方法，其特征在于，所述的身份映射损失函数表示为：

6.根据权利要求2或3所述的将风景照片转换为中国山水画的风格迁移方法，其特征在于，所述的L_MS-SSIM损失函数为：

权重α。

7.根据权利要求1、2或3所述的将风景照片转换为中国山水画的风格迁移方法，其特征在于，模型的总体目标损失函数为：

式12中：

L(G,F,D_X,D_Y)为模型的总体目标损失函数；λ₁,λ₂,λ₃控制了生成对抗损失函数、循环一致性损失函数、身份映射损失函数和L_MS-SSIM损失函数四个损失函数的相对权重。

8.根据权利要求1、2或3所述的将风景照片转换为中国山水画的风格迁移方法，其特征在于，训练数据集包括：

4281张图片，包含风景照片2175张为源域，山水画2106张为目标域；风景照片用于训练和测试的数据分别为1669张和501张，山水画用于训练和测试的数据分别为1545张和561张；训练过程中所有图像都会被调整为256x256的大小；

训练期间使用的实验平台是由Ubuntu21.10系统搭配一个显存24G的GTX3090显卡，整个实验代码基于Pytorch和TensorFlow框架实现，使用的CUDA版本为11.4，CuDNN版本为8.4.0。

9.根据权利要求1、2或3所述的将风景照片转换为中国山水画的风格迁移方法，其特征在于，所述的生成器：

利用RRDB模块替代原网络中的残差模块，并在第一层卷积层后和最后一层卷积层前添加反射填充层；网络最终结构包含3个卷积模块、9个RRDB模块、两个转置卷积层、一个将特征映射到RGB的卷积层和两个反射填充层；所有非残差卷积层后面都有空间批量归一化层和ReLU非线性激活函数层；

在生成器中，全连接层都使用ReLU做为激活函数，而在输出层使用Tanh做为激活函数；输出层使用缩放的Tanh来确保输出图像具有[0,255]范围内的像素；除了第一层和最后一层使用9×9内核，所有卷积层都使用3×3内核[21]。

10.根据权利要求1、2或3所述的将风景照片转换为中国山水画的风格迁移方法，其特征在于，所述的判别器：

将CycleGAN中的PatchGAN判别器改进为具有跳跃连接的U-Net网络；并且采用光谱归一化层来减轻网络训练引入的亮斑和伪影现象。

Images