CN114219701A - 敦煌壁画艺术风格转换方法、系统、计算机设备及存储介质 - Google Patents
敦煌壁画艺术风格转换方法、系统、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN114219701A CN114219701A CN202111324175.4A CN202111324175A CN114219701A CN 114219701 A CN114219701 A CN 114219701A CN 202111324175 A CN202111324175 A CN 202111324175A CN 114219701 A CN114219701 A CN 114219701A
- Authority
- CN
- China
- Prior art keywords
- dunhuang
- image
- fresco
- data set
- style conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 85
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 52
- 238000007781 pre-processing Methods 0.000 claims abstract description 16
- 230000006870 function Effects 0.000 claims description 28
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000005070 sampling Methods 0.000 claims description 9
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 6
- 230000003042 antagnostic effect Effects 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 abstract description 3
- 238000000605 extraction Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000739 chaotic effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010422 painting Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241000283070 Equus zebra Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010428 oil painting Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种敦煌壁画艺术风格转换方法、系统、计算机设备及存储介质，所述方法包括：获取数据集，所述数据集包括敦煌壁画图像域数据集以及与敦煌壁画图像域数据集对应的自然图像域数据集；对数据集进行预处理，并划分出训练集；构建以CUT骨架为基础的归一化对比学习生成对抗网络；利用训练集对归一化对比学习生成对抗网络进行训练，将训练好的归一化对比学习生成对抗网络作为敦煌壁画艺术风格转换模型；获取待处理图像；将待处理图像输入敦煌壁画艺术风格转换模型，得到敦煌壁画图像，实现对自然图像的敦煌壁画艺术风格转换。本发明克服了现有算法无法实现逼真的敦煌壁画艺术风格转换的问题，实现了高质量且逼真的敦煌壁画艺术风格图像转换。
Description
技术领域
本发明属于图像处理、计算机视觉以及图像转换领域，具体涉及到一种敦煌壁画艺术风格转换方法、系统、计算机设备及存储介质。
背景技术
敦煌壁画是中国伟大的文化艺术瑰宝之一，也是世界艺术的最大宝库，其以悠久的历史、丰富而深刻的绘画内容以及极高的美术价值而闻名于世，然而，由于敦煌壁画存在形式的特殊性以及绘制过程的高难度等因素，其无法像其它艺术如油画、敦煌壁画等在人们的生活中流行起来。另外，随着时间的推移，各种自然和人为因素引起壁画的脱落、颜色退变等损伤，正威胁着敦煌壁画艺术的存在。对此，实现敦煌壁画艺术风格的自动创作对于保护、传承和发扬这类艺术是具有十分重要的现实意义的。
近年来，以Gatys为首提出的基于CNN的风格迁移技术，能够将一张图像的风格迁移为参考图像的风格，然而这种技术的风格生成效果严重依赖于参考的风格图像，而且仅凭一张参考的风格图像是难以完整表达一类艺术的风格。而以CycleGAN(出自论文《Unpaired image-to-image translation using cycle-consistent adversarialnetworks》)为代表提出的基于生成对抗网络(Generation Adversarial Networks，GAN)的图像转换技术能够较好的克服这一问题，它能够实现两个域图像集的风格转换(如将内容为黑夜场景的图像转换为内容为白天场景的图像)，充分学习一类艺术的风格特点。但是CycleGAN采用的循环一致性结构对于实现风格差异较大(自然图像和敦煌壁画图像的风格)的转换任务能力有限。
2020年，Taesung Park等提出的CUT(出自论文《Contrastive Learning forUnpaired Image-to-Image Translation》)首次将对比学习引入到图像转换领域当中，通过最大化输入和输出图像的相应图块间的互信息(基于图块的对比损失)来保证内容一致性，同时在对抗损失的约束下学习目标图像域的风格特征。该方法以简单的模型在多个图像风格转换任务(如将内容为马的图像转换为内容为斑马的图像、将自然图像的风格转换为西方艺术风格)当中实现了优秀的转换性能，同时对于风格差异较大的图像转换任务仍能表现出优秀的转换性能。尽管如此，直接将该方法应用到自然图像转换为敦煌壁画风格的任务无法取得逼真的风格转换效果，甚至出现生成图像退化问题，这主要是因为敦煌壁画艺术在风格特点上与以往研究的视觉艺术有着很大的不同。敦煌壁画是一种东西方文化交流的融合产物，其风格在中西方绘画风格的影响下，形成了自身独有的艺术风格。敦煌壁画艺术风格是线描造型、装饰性构图、工笔重彩、以形写神等几个方面有机结合的产物。
发明内容
有鉴于此，本发明提供了一种敦煌壁画艺术风格转换方法、系统、计算机设备及存储介质。本发明通过在CUT模型的基础上，提出基于图块的归一化对比损失，从而构建归一化对比学习生成对抗网络，以克服在使用同一个编码器提取特征时存在的域间风格差异所导致的问题，同时引入天空语义损失、线条损失和色彩损失来约束网络，使网络能充分学习敦煌壁画的各种风格特点，进而生成效果更好、质量更高的敦煌壁画风格转换图像。
本发明的第一个目的在于提供一种敦煌壁画艺术风格转换方法。
本发明的第二个目的在于提供一种敦煌壁画艺术风格转换系统。
本发明的第三个目的在于提供一种计算机设备。
本发明的第四个目的在于提供一种存储介质。
本发明的第一个目的可以通过采取如下技术方案达到：
一种敦煌壁画艺术风格转换方法，所述方法包括：
获取数据集，所述数据集包括敦煌壁画图像域数据集以及与敦煌壁画图像域数据集对应的自然图像域数据集；
对数据集进行预处理，并划分出训练集；
构建以CUT骨架为基础的归一化对比学习生成对抗网络；
利用训练集对归一化对比学习生成对抗网络进行训练，将训练好的归一化对比学习生成对抗网络作为敦煌壁画艺术风格转换模型；
获取待处理图像；
将待处理图像输入敦煌壁画艺术风格转换模型，得到敦煌壁画图像，实现对自然图像的敦煌壁画艺术风格转换。
进一步的，所述归一化对比学习生成对抗网络在CUT骨架的基础上，包括以残差块为核心的编码解码生成器和以PatchGAN为结构的判别器；归一化对比学习生成对抗网络的损失函数包括基于图块的归一化对比损失函数、对抗损失函数、天空语义损失函数、线条损失函数和色彩损失函数；
所述生成器由三个降采样层，九个基于残差块的转换网络层以及三个上采样层级联组成，前半部分为编码器，后半部分为解码器；
所述判别器由四个降采样层组成。
进一步的，所述基于图块的归一化对比损失由生成器的编码器和一个两层MLP网络提取的特征计算最大化互信息损失而得，计算公式如下：
其中，
为最大化互信息损失，计算公式如下：
进一步的，所述对抗损失通过计算输入到判别器的生成图像和敦煌壁画图像的真伪概率而得，计算公式为：
进一步的，所述色彩损失通过计算从生成图像和敦煌壁画图像提取的色调颜色直方图向量的余弦相似度而得，计算公式为：
进一步的，所述利用训练集对归一化对比学习生成对抗网络进行训练，将训练好的归一化对比学习生成对抗网络作为敦煌壁画艺术风格转换模型，具体包括：
采用高斯分布对归一化对比学习生成对抗网络参数进行初始化，并设置归一化对比学习生成对抗网络参数及损失函数权重参数；
将训练集输入到归一化对比学习生成对抗网络进行训练，得到各个损失函数的计算；
采用随机梯度下降法的优化策略，更新网络参数，使损失逐渐减小至收敛，从而得到训练好的归一化对比学习生成对抗网络，将训练好的归一化对比学习生成对抗网络作为敦煌壁画艺术风格转换模型。
进一步的，所述对数据集进行预处理，具体为：
统一敦煌壁画图像域数据集和自然图像域数据集中所有图片格式，所述图片格式包括图片文件类型以及图片尺寸大小。
本发明的第二个目的可以通过采取如下技术方案达到：
一种敦煌艺术风格转换系统，所述系统包括：
第一获取单元，用于获取数据集，所述数据集包括敦煌壁画图像域数据集以及与敦煌壁画图像域数据集对应的自然图像域数据集；
预处理单元，用于对数据集进行预处理，并划分出训练集；
构建单元，用于构建以CUT骨架为基础的归一化对比学习生成对抗网络；
训练单元，用于利用训练集对归一化对比学习生成对抗网络进行训练，将训练好的归一化对比学习生成对抗网络作为敦煌壁画艺术风格转换模型；
第二获取单元，用于获取待处理图像；
风格转换单元，用于将待处理图像输入敦煌壁画艺术风格转换模型，得到敦煌壁画图像，实现对自然图像的敦煌壁画艺术风格转换。
本发明的第三个目的可以通过采取如下技术方案达到：
一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的敦煌壁画艺术风格转化方法。
本发明的第四个目的可以通过采取如下技术方案达到：
一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的敦煌壁画艺术风格转化方法。
本发明相对于现有技术具有如下的有益效果：
1、本发明提出的归一化对比学习生成对抗网络，在结构方面包含了以残差块为核心的生成器(对应自然图像转换为敦煌壁画风格图像的生成器)和以PatchGAN为结构的判别器，在优化损失函数方面包含了基于图块的归一化对比损失、对抗损失、天空语义损失、线条损失和色彩损失函数。基于生成对抗网络的结构基础，以及在多个损失函数的组合优化下，在不增加模型的训练参数、提升训练模型速度的基础上，能够结合自然图像和敦煌壁画图像，实现高质量的敦煌壁画风格转换效果。
2、本发明提出的基于图块的归一化对比损失，针对的问题是基线模型CUT采用的基于图块的对比损失无法有效克服域风格差异带来的图像退化和模型优化困难的问题，用于提高模型训练的稳定性和效率性，同时改善生成图像的质量。
3、本发明提出的天空语义损失，针对的问题是模型在实现敦煌壁画风格转换过程中存在天空区域风格混乱的问题，用于提高敦煌壁画风格生成图像的视觉质量。
4、本发明提出的线条损失和色彩损失，针对的问题是模型在实现敦煌壁画风格转换时无法有效学习逼真的敦煌壁画风格的问题，用于促进模型生成更为逼真、更具敦煌壁画风格的图像。
5、本发明能够实现各种自然图像的敦煌壁画风格转换，大大简化和创新获取以及创作敦煌壁画艺术的方式，有利于敦煌壁画艺术的保护、传承和发扬。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例1的敦煌艺术风格转换方法的流程图。
图2为本发明实施例1的归一化对比学习生成对抗网络的结构图。
图3a～3b为本发明实施例1的自然图像与对应的敦煌壁画风格的转换图。
图4为本发明实施例2的敦煌艺术风格转换系统的流程图。
图5为本发明实施例3的计算机设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
如图1所示，本实施例提供了一种敦煌壁画艺术风格转换方法，该方法包括以下步骤：
S101、获取数据集；
本实施例的数据集包括敦煌壁画图像域数据集以及与敦煌壁画图像域数据集对应的自然图像域数据集。
获取敦煌壁画图像域数据集：从各个图片网站和博物馆收集敦煌壁画图片数据，并根据敦煌壁画图片的内容以及质量对获取的敦煌壁画图片数据进行筛选分类，敦煌壁画数据包括建筑壁画和山水壁画，由此创建敦煌壁画图像域数据集。
获取自然图像域数据集：利用爬虫技术在百度图片、谷歌图片等网站获取与敦煌壁画图像域数据集内容类别对应的自然图像，自然图像数据包括建筑类和山水类图像，由此创建自然图像域数据集。
S102、对数据集进行预处理，并划分出训练集。
对数据集的预处理：统一敦煌壁画图像域数据集和自然图像域数据集中所有图片格式，其中图片格式包括图片文件类型以及图片尺寸大小；经过预处理后的数据集按照建筑类和山水类划分为两类数据集，后续每次模型的训练选择其中的一类数据集。
本实施例选择的数据集包括1723张自然图像和985张敦煌壁画；将初步获得建筑类数据集进行图片文件类型以及图片尺寸大小的统一化，统一图片类型为“png”文件、统一的图片尺寸为“256x256”。
为了使训练与测试数据尽可能保持同分布，采用分层采样对数据集进行划分，随机从建筑类数据集中的自然图像域数据集(图片A域)和敦煌壁画图像域数据集(图片B域)数据集中选出80％的图片组成训练集，其余20％的图片作为测试集。最终获得4个训练和测试数据文件夹，分别为trainA、trainB、testA和testB。
S103、构建以CUT骨架为基础的归一化对比学习生成对抗网络。
本实施例的生成对抗网络采用LSGAN结构，在CUT骨架的基础之上，以残差块为核心的编码解码生成器G和以PatchGAN为结构的判别器D，构建归一化对比学习生成对抗网络，即未训练的归一化对比学习生成对抗网络，如图2所示。
具体地，生成器G由三个降采样层、九个基于残差块的转换网络层以及三个上采样层级联组成，前半部分为编码器Genc，后半部分为解码器Gdec，整个由编码器和解码器组成的生成器的输出是一张与输入同样尺寸的生成图像；判别器D是由4个降采样层组成的全卷积网络，其输出一张生成图像的真伪概率情况。
本实施例的归一化对比学习生成对抗网络的损失函数是由基于图块的归一化对比损失、对抗损失、天空语义损失、线条损失和色彩损失构成的复合损失函数；基于图块的归一化对比损失约束模型输入输出图像的内容一致性、对抗损失约束模型学习敦煌壁画风格的转换能力、天空语义损失克服敦煌壁画风格转换过程在天空区域存在的风格混乱问题、线条损失突出生成图像线描造型的敦煌风格特点、色彩损失约束模型学习到模拟敦煌壁画色彩风格特点的能力。
1)基于图块的归一化对比损失通过计算输入和输出图像的相应图块间的互信息所获得，主要用于保证输入和输出图像内容一致性的；进一步地，基于图块的归一化对比损失由生成器G中的编码器Genc具体和一个两层MLP网络H提取的特征计算最大化互信息损失而得，具体为：将输入的自然图像和对应的生成图像分布输入到编码器Genc和MLP网络H级联的网络，对获得特征进行去均值和方差的归一化处理，再利用归一化的特征进行最大化互信息损失计算，计算公式为：
其中，
为最大化互信息损失，计算公式为：
2)天空语义损失通过计算生成的敦煌壁画风格图像与对应的自然图像之间增加的天空语义提取模块提取的天空区域输出图所计算而得，能够约束模型克服在实现敦煌壁画风格转换过程中存在天空区域风格混乱的问题；进一步地，天空语义损失通过计算由训练好的分割网络作为天空语义区域提取模块提取输入自然图像和对应生成图像的天空区域的SSIM损失而得，具体为：将输入的自然图像和对应的生成图像分别输入到天空语义提取模块，对获得天空语义区域进行SSIM相似度损失计算，计算公式为：
3)线条损失通过计算生成的敦煌壁画风格图像与对应的自然图像之间增加的边缘提取模块提取的边缘输出图计算而得，能够约束网络生成线条造型的敦煌壁画风格特点；进一步地，线条损失通过计算由训练好的边缘提取模块HED网络提取输入自然图像和对应生成图像的边缘提取图的平衡交叉熵损失而得，具体为：将输入的自然图像和对应的生成图像分别输入到边缘提取模块，对获得边缘图进行平衡交叉熵损失计算，计算公式为：
4)对抗损失通过计算生成图像和参考图像的真伪程度所获得的，主要用于保证生成的图像具有敦煌壁画风格；进一步地，对抗损失通过计算输入到判别器D的生成图像和敦煌壁画图像的真伪概率而得，计算公式为：
5)色彩损失通过计算生成的敦煌壁画风格图像与真实的敦煌壁画图像之间增加的色调直方图提取模块提取的色调直方图相似度计算而得，能够约束网络学习到更具敦煌壁画色彩特点的风格；进一步地，色彩损失将输入的自然图像和参考的敦煌壁画图像分别输入到色调直方图提取模块，对获得色调直方图向量进行余弦相似度损失计算，计算公式为：
S104、利用训练集对归一化对比学习生成对抗网络进行训练，得到敦煌壁画艺术风格转换模型。
该步骤S104为模型训练阶段，具体步骤如下：
1)网络初始化：所有需要训练的参数都采用均值为0、方差为0.02的高斯分布进行初始化。
2)设置网络参数：采用Adam算法优化，参数betas＝(0.5,0.999)；学习因子在前100个epoch为0.0002，在后100个epoch逐渐以0.01的比率衰减至0，最小批处理数据为1。
3)设置损失函数权重参数：基于图块的归一化对比损失、对抗损失、天空语义损失、线条损失以及色彩损失的权重参数分别为λN_PatchNCE,λGAN,λSky,λLine,λColor。
4)加载训练数据trainA和trainB到归一化对比学习生成对抗网络。
5)对模型进行训练：对图2所示的归一化对比学习生成对抗网络进行迭代训练，将从trainA训练集随机选取的一张自然图像X输入到G生成器，然后在将生成的G(X)图片输入到D判别器进行判别同时，从trainB训练集随机选取的一张敦煌壁画图像Y到D判别器进行判别；然后将得到的进行各个损失的计算，之后在随机梯度下降法的优化策略下进行梯度反传，更新网络参数，使损失逐渐减小至收敛。
综上，总的损失函数为：
L(G,D,X,Y)＝λN_PatchNCE LN_PatchNCE(G,H,X,Y)+λGANLGAN(G,D,X,Y)+λSkyLSky(G,X)
+λLine LLine(G,X)+λColorLColor(G,X,Y)
其中，各个权值取值为：λN_PatchNCE＝10,λGAN＝1,λSky＝2,λLine＝2,λColor＝1。根据获得的损失函数对神经网络进行优化，直至收敛得到训练好的归一化对比学习生成对抗网络，将训练好的归一化对比学习生成对抗网络作为最终的敦煌壁画艺术风格转换模型。
S105、获取待处理图像。
S106、将待处理图像输入敦煌壁画艺术风格转换模型，得到敦煌壁画图像，实现对自然图像的敦煌壁画艺术风格转换。
读取测试数据testA并对数据进行预处理，在测试过程预处理仅仅将图像尺寸变换为256*256；将待处理图像送入敦煌壁画艺术风格转换模型，进行计算，待处理图像如图3a所示，在测试过程中，待处理图像仅经过生成器G(对应自然图像转换为敦煌壁画图像的生成器)获得相应输出图像，如图3b所示，实现对自然图像的敦煌壁画风格转换。
对敦煌壁画艺术风格转换模型进行性能测试：利用敦煌壁画艺术风格转换模型对testA图片集进行敦煌壁画风格转换，然后通过FID和KID两个评估方法来定量衡量生成图像的效果。FID可以计算真实图像域和生成图像域在特征空间之间的距离，较低的FID意味着生成图像具有较高的图片质量和风格特点。KID通过计算Inception表征之间最大均值差异的平方来度量真实图像域和生成图像域之间的差异，较低的KID意味着生成图像具有较高的图片质量和风格特点。从表1中可以看出，本实施例的方法在与其它先进算法的对比中性能更好。表1从评价生成图像效果的角度以及训练时间的角度证明了本实施例的方法在敦煌壁画风格转换任务中具有更好的性能。
表1评价生成图像
| KID | FID | 训练时间 | |
| CycleGAN | 0.0762±0.0017 | 216.9905 | 36.5h |
| CUT | 0.0591±0.0020 | 198.9915 | 54.4h |
| 本实施例的方法 | 0.0479±0.0015 | 192.5047 | 27.2h |
应当注意，尽管在附图中以特定顺序描述了上述实施例的方法操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
实施例2：
如图4所示，本实施例提供了一种敦煌壁画艺术风格转换系统，该系统包括第一获取单元401、预处理单元402、构建单元403、训练单元404、第二获取单元405、风格转换单元406，各个单元的具体功能如下：
第一获取单元401，用于获取数据集，所述数据集包括敦煌壁画图像域数据集以及与敦煌壁画图像域数据集对应的自然图像数据集；
预处理单元402，用于对数据集进行预处理，并划分出训练集；
构建单元403，用于构建以CUT骨架为基础的第一归一化对比学习生成对抗网络；
训练单元404，用于利用训练集对归一化对比学习生成对抗网络进行训练，将训练好的归一化对比学习生成对抗网络作为敦煌壁画艺术风格转换模型；
第二获取单元405，用于获取待处理图像；
风格转换单元406，用于将待处理图像输入敦煌壁画艺术风格转换模型，实现待处理图像的敦煌壁画艺术风格转换。
本实施例中各个单元的具体实现可以参见上述实施例1，在此不再一一赘述；需要说明的是，本实施例提供的系统仅以上述各功能单元的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能单元完成，即将内部结构划分成不同的功能单元，以完成以上描述的全部或者部分功能。
实施例3：
如图5所示，本实施例提供了一种终端设备，该终端设备包括通过系统总线501连接的处理器502、存储器、输入装置503、显示装置504和网络接口505，该处理器用于提供计算和控制能力，该存储器包括非易失性存储介质506和内存储器507，该非易失性存储介质506存储有操作系统、计算机程序和数据库，该内存储器507为非易失性存储介质中的操作系统和计算机程序的运行提供环境，处理器502执行存储器存储的计算机程序时，实现上述实施例1的的敦煌壁画艺术风格转换方法，如下：
获取数据集，所述数据集包括敦煌壁画图像域数据集以及与敦煌壁画图像域数据集对应的自然图像域数据集；
对数据集进行预处理，并划分出训练集；
构建以CUT骨架为基础的归一化对比学习生成对抗网络；
利用训练集对归一化对比学习生成对抗网络进行训练，将训练好的归一化对比学习生成对抗网络作为敦煌壁画艺术风格转换模型；
获取待处理图像；
将待处理图像输入敦煌壁画艺术风格转换模型，得到敦煌壁画图像，实现对自然图像的敦煌壁画艺术风格转换。
实施例4：
本实施例提供了一种存储介质，该存储介质为计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时，实现上述实施例1的敦煌壁画艺术风格转换方法，如下：
获取数据集，所述数据集包括敦煌壁画图像域数据集以及与敦煌壁画图像域数据集对应的自然图像域数据集；
对数据集进行预处理，并划分出训练集；
构建以CUT骨架为基础的归一化对比学习生成对抗网络；
利用训练集对归一化对比学习生成对抗网络进行训练，将训练好的归一化对比学习生成对抗网络作为敦煌壁画艺术风格转换模型；
获取待处理图像；
将待处理图像输入敦煌壁画艺术风格转换模型，得到敦煌壁画图像，实现对自然图像的敦煌壁画艺术风格转换。
需要说明的是，本实施例的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
在本实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读存储介质可以以一种或多种程序设计语言或其组合来编写用于执行本实施例的计算机程序，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Python、C++，还包括常规的过程式程序设计语言—诸如C语言或类似的程序设计语言。程序可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
综上所述，本发明通过在CUT骨架的基础上，包括以残差块为核心的编码解码生成器和以PatchGAN为结构的判别器，以及基于图块的归一化对比损失、对抗损失、天空语义损失、线条损失和色彩损失等多个损失函数，其中基于图块的归一化对比损失在约束输入输出图像内容一致性的基础上，有效克服域风格差异带来的图像退化和模型优化困难的问题；天空语义损失、线条损失和色彩损失有效提高转换风格图像的生成质量以及敦煌壁画风格效果。
以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。
Claims (10)
1.一种敦煌壁画艺术风格转换方法，其特征在于，所述方法包括：
获取数据集，所述数据集包括敦煌壁画图像域数据集以及与敦煌壁画图像域数据集对应的自然图像域数据集；
对数据集进行预处理，并划分出训练集；
构建以CUT骨架为基础的归一化对比学习生成对抗网络；
利用训练集对归一化对比学习生成对抗网络进行训练，将训练好的归一化对比学习生成对抗网络作为敦煌壁画艺术风格转换模型；
获取待处理图像；
将待处理图像输入敦煌壁画艺术风格转换模型，得到敦煌壁画图像，实现对自然图像的敦煌壁画艺术风格转换。
2.根据权利要求1所述的敦煌壁画艺术风格转换方法，其特征在于，所述归一化对比学习生成对抗网络在CUT骨架的基础上，包括以残差块为核心的编码解码生成器和以PatchGAN为结构的判别器；归一化对比学习生成对抗网络的损失函数包括基于图块的归一化对比损失函数、对抗损失函数、天空语义损失函数、线条损失函数和色彩损失函数；
所述生成器由三个降采样层，九个基于残差块的转换网络层以及三个上采样层级联组成，前半部分为编码器，后半部分为解码器；
所述判别器由四个降采样层组成。
3.根据权利要求2所述的敦煌壁画艺术风格转换方法，其特征在于，所述基于图块的归一化对比损失由生成器的编码器和一个两层MLP网络提取的特征计算最大化互信息损失而得，计算公式如下：
其中，l()为最大化互信息损失，计算公式如下：
4.根据权利要求2所述的敦煌艺术风格转换方法，其特征在于，所述对抗损失通过计算输入到判别器的生成图像和敦煌壁画图像的真伪概率而得，计算公式为：
5.根据权利要求2所述的敦煌艺术风格转换方法，其特征在于，所述色彩损失通过计算从生成图像和敦煌壁画图像提取的色调颜色直方图向量的余弦相似度而得，计算公式为：
6.根据权利要求1所述的敦煌艺术风格转换方法，其特征在于，所述利用训练集对归一化对比学习生成对抗网络进行训练，将训练好的归一化对比学习生成对抗网络作为敦煌壁画艺术风格转换模型，具体包括：
采用高斯分布对归一化对比学习生成对抗网络参数进行初始化，并设置归一化对比学习生成对抗网络参数及损失函数权重参数；
将训练集输入到归一化对比学习生成对抗网络进行训练，得到各个损失函数的计算；
采用随机梯度下降法的优化策略，更新网络参数，使损失逐渐减小至收敛，从而得到训练好的归一化对比学习生成对抗网络，将训练好的归一化对比学习生成对抗网络作为敦煌壁画艺术风格转换模型。
7.根据权利要求1-6所述的一种敦煌艺术风格转换方法，其特征在于，所述对数据集进行预处理，具体为：
统一敦煌壁画图像域数据集和自然图像域数据集中所有图片格式，所述图片格式包括图片文件类型以及图片尺寸大小。
8.一种敦煌艺术风格转换系统，其特征在于，所述系统包括：
第一获取单元，用于获取数据集，所述数据集包括敦煌壁画图像域数据集以及与敦煌壁画图像域数据集对应的自然图像域数据集；
预处理单元，用于对数据集进行预处理，并划分出训练集；
构建单元，用于构建以CUT骨架为基础的归一化对比学习生成对抗网络；
训练单元，用于利用训练集对归一化对比学习生成对抗网络进行训练，将训练好的归一化对比学习生成对抗网络作为敦煌壁画艺术风格转换模型；
第二获取单元，用于获取待处理图像；
风格转换单元，用于将待处理图像输入敦煌壁画艺术风格转换模型，得到敦煌壁画图像，实现对自然图像的敦煌壁画艺术风格转换。
9.一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1-7任一项所述的敦煌壁画艺术风格转换方法。
10.一种存储介质，存储有程序，所述程序被处理器执行时，实现权利要求1-7任一项所述的敦煌壁画艺术风格转换方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111324175.4A CN114219701A (zh) | 2021-11-10 | 2021-11-10 | 敦煌壁画艺术风格转换方法、系统、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111324175.4A CN114219701A (zh) | 2021-11-10 | 2021-11-10 | 敦煌壁画艺术风格转换方法、系统、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114219701A true CN114219701A (zh) | 2022-03-22 |
Family
ID=80696803
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111324175.4A Pending CN114219701A (zh) | 2021-11-10 | 2021-11-10 | 敦煌壁画艺术风格转换方法、系统、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114219701A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115375601A (zh) * | 2022-10-25 | 2022-11-22 | 四川大学 | 一种基于注意力机制的解耦表达国画生成方法 |
| CN118036555A (zh) * | 2024-04-11 | 2024-05-14 | 江西师范大学 | 基于骨架式转移和结构对比学习的少样本字体生成方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10373023B1 (en) * | 2019-01-28 | 2019-08-06 | StradVision, Inc. | Learning method and learning device for runtime input transformation of real image on real world into virtual image on virtual world, to be used for object detection on real images, by using cycle GAN capable of being applied to domain adaptation |
| CN113313625A (zh) * | 2021-05-13 | 2021-08-27 | 华南理工大学 | 水墨画艺术风格转换方法、系统、计算机设备及存储介质 |
-
2021
- 2021-11-10 CN CN202111324175.4A patent/CN114219701A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10373023B1 (en) * | 2019-01-28 | 2019-08-06 | StradVision, Inc. | Learning method and learning device for runtime input transformation of real image on real world into virtual image on virtual world, to be used for object detection on real images, by using cycle GAN capable of being applied to domain adaptation |
| CN113313625A (zh) * | 2021-05-13 | 2021-08-27 | 华南理工大学 | 水墨画艺术风格转换方法、系统、计算机设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| TAESUNG PARK, ET AL.: "Contrastive Learning for Unpaired Image-to-Image Translation", 《CONTRASTIVE LEARNING FOR UNPAIRED IMAGE-TO-IMAGE TRANSLATION》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115375601A (zh) * | 2022-10-25 | 2022-11-22 | 四川大学 | 一种基于注意力机制的解耦表达国画生成方法 |
| CN115375601B (zh) * | 2022-10-25 | 2023-02-28 | 四川大学 | 一种基于注意力机制的解耦表达国画生成方法 |
| CN118036555A (zh) * | 2024-04-11 | 2024-05-14 | 江西师范大学 | 基于骨架式转移和结构对比学习的少样本字体生成方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113240580B (zh) | 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法 | |
| Van den Oord et al. | Conditional image generation with pixelcnn decoders | |
| JP2022548712A (ja) | フィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法 | |
| CN111832570A (zh) | 一种图像语义分割模型训练方法及系统 | |
| CN105512723A (zh) | 一种用于稀疏连接的人工神经网络计算装置和方法 | |
| JP2016045943A (ja) | シーンの取得画像を意味的にラベル付けする方法 | |
| CN110223234A (zh) | 基于级联收缩扩张的深度残差网络图像超分辨率重建方法 | |
| CN113343775B (zh) | 一种用于遥感影像地表覆盖分类的深度学习泛化方法 | |
| CN111476249A (zh) | 多尺度大感受野卷积神经网络的构建方法 | |
| CN112884758B (zh) | 一种基于风格迁移方法的缺陷绝缘子样本生成方法及系统 | |
| CN110717953A (zh) | 基于cnn-lstm组合模型的黑白图片的着色方法和系统 | |
| CN109598676A (zh) | 一种基于哈达玛变换的单幅图像超分辨率方法 | |
| CN111862294A (zh) | 基于ArcGAN网络的手绘3D建筑自动上色网络结构及方法 | |
| CN112712033A (zh) | 一种城市排水管网汇水区自动划分方法 | |
| CN115471423A (zh) | 一种基于生成对抗网络及自注意力机制的点云去噪方法 | |
| CN111768326B (zh) | 一种基于gan扩增图像前景物体的高容量数据保护方法 | |
| CN116682021A (zh) | 一种高分辨率遥感影像建筑物矢量轮廓数据提取方法 | |
| CN113313625B (zh) | 水墨画艺术风格转换方法、系统、计算机设备及存储介质 | |
| Zhou et al. | MSAR‐DefogNet: Lightweight cloud removal network for high resolution remote sensing images based on multi scale convolution | |
| CN111627055A (zh) | 一种联合语义分割的场景深度补全方法 | |
| CN114219701A (zh) | 敦煌壁画艺术风格转换方法、系统、计算机设备及存储介质 | |
| CN114581789A (zh) | 一种高光谱图像分类方法及系统 | |
| CN113888505A (zh) | 一种基于语义分割的自然场景文本检测方法 | |
| CN113554655B (zh) | 基于多特征增强的光学遥感图像分割方法及装置 | |
| CN116152263A (zh) | 一种基于cm-mlp网络的医学图像分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220322 |
|
| RJ01 | Rejection of invention patent application after publication |