CN114638743A - 图像艺术风格迁移方法、系统、电子设备、存储介质 - Google Patents
图像艺术风格迁移方法、系统、电子设备、存储介质 Download PDFInfo
- Publication number
- CN114638743A CN114638743A CN202210114602.4A CN202210114602A CN114638743A CN 114638743 A CN114638743 A CN 114638743A CN 202210114602 A CN202210114602 A CN 202210114602A CN 114638743 A CN114638743 A CN 114638743A
- Authority
- CN
- China
- Prior art keywords
- style
- graph
- content
- image
- migration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013508 migration Methods 0.000 title claims abstract description 118
- 230000005012 migration Effects 0.000 title claims abstract description 118
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000012549 training Methods 0.000 claims abstract description 29
- 238000010801 machine learning Methods 0.000 claims abstract description 17
- 238000004590 computer program Methods 0.000 claims description 14
- 238000012546 transfer Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 238000013461 design Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 21
- 238000013135 deep learning Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000010422 painting Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种图像艺术风格迁移方法、系统、电子设备、存储介质，所述迁移方法包括：提取内容图和风格图的内容特征；基于内容图和风格图的内容特征，通过风格迁移网络，将风格图的风格传递给内容图，形成生成图；其中，风格迁移网络基于机器学习中对比学习理论设计对比损失训练而成，对比损失的对象为基于多层风格投影器生成的风格图、生成图和其他风格艺术图三者的风格编码。通过对比学习训练的风格迁移网络，能够将艺术图片的风格迁移入真实感图片中，获取高质量的风格化图片。
Description
技术领域
本发明涉及数字图像处理技术领域，尤其涉及一种图像艺术风格迁移方法、系统、电子设备、存储介质。
背景技术
艺术风格迁移旨在将风格从艺术品转移到自然场景。理想的艺术风格迁移模型应该在保留内容图像的结构信息的同时，捕捉并迁移风格图像的局部笔画特征和整体外观。传统的风格迁移方法如笔画渲染、图像类比或图像过滤，通常使用低级别的手工制作功能。随着深度学习方法的发展，基于神经网络的方法被引入并主导了该领域。通过使用预训练的神经网络得到图像特征，并将风格表示为多级特征相关性(例如，格拉姆矩阵、均值和方差)并应用基于风格匹配的优化程序。遵循这个框架，基于在内容丢失、样式丢失以及网络架构方面的改进和修改，已经提出了许多变体。
虽然上述方法都取得了合理的结果，但在风格化输出中仍然存在明显的伪影。主要原因是他们的风格表示和优化依赖于特征的二阶统计量，其缺点在两个方面：首先，二阶统计量在一定程度上可以区分不同的风格，但不是表示风格的最佳方式(例如，不同风格的图像可能会产生等效的格拉姆矩阵或方差)，因为它们关注的是整个图像的分布并忽略对象的细节；其次，任意风格化通常以启发式方式通过人工设计的图像特征和损失函数(例如，格拉姆矩阵)来模拟传输风格。
发明内容
本发明的目的是提供一种图像艺术风格迁移方法，部分实施例能够用以解决现有技术中风格化输出仍然存在明显伪影的缺陷，与其仅测量单个参考图像和一个风格化输出之间的差异，不如利用大量可用的艺术图片，获得有效的对多种风格的分布及其关系的建模。为此，基于机器学习方法和深度学习算法，提出了一种新颖的风格迁移框架，用于任意艺术风格迁移。
本发明提供的一种图像艺术风格迁移方法，所述迁移方法包括：
提取内容图和风格图的内容特征；
基于内容图和风格图的内容特征，通过风格迁移网络，将风格图的风格传递给内容图，形成生成图；
其中，所述风格迁移网络基于机器学习中对比学习理论设计对比损失训练而成，对比损失的对象为基于多层风格投影器生成的风格图、生成图和其他风格艺术图三者的风格编码。
根据本发明提供的一种图像艺术风格迁移方法，所述多层风格投影器基于机器学习中对比学习理论设计对比损失训练而成，对比损失的对象为基于多层风格投影器生成的风格图、对应风格图的图像增强版本和其他风格艺术图三者的风格编码。
根据本发明提供的一种图像艺术风格迁移方法，所述风格迁移网络在训练时受到循环一致性的约束，包括：
将第一图作为风格图、第二图作为内容图，输入所述风格迁移网络，形成第三图；
再将第三图作为内容图、第二图作为风格图，输入所述风格迁移网络，得到复原的第四图；
训练所述风格迁移网络时，保持第二图和第四图一致。
根据本发明提供的一种图像艺术风格迁移方法，所述风格迁移网络在训练时同时受到域增强的约束，包括：
设置真实感图判别器和艺术图判别器；
将第五图作为所述真实感图判别器的真实样本，第六图作为艺术图判别器的真实样本；
将第五图作为内容图、第六图作为风格图，输入所述风格迁移网络，形成第七图，作为艺术图判别器的假样本；
将第五图作为风格图、第六图作为内容图，输入所述风格迁移网络，形成第八图，作为真实感图判别器的假样本；
训练所述风格迁移网络，使得艺术图判别器和真实感图判别器不能判定生成图的真假。
根据本发明提供的一种图像艺术风格迁移方法，所述基于内容图和风格图的内容特征，通过风格迁移网络，将风格图的风格传递给内容图，形成生成图，包括：
采用自适应归一化方法，将内容图的内容特征的均值和方差，与风格图的内容特征的均值和方差对齐；
采用预设的自编码器，基于均值和方差对齐后的内容图的内容特征形成生成图。
根据本发明提供的一种图像艺术风格迁移方法，所述多层风格投影器包括：风格特征提取器和多层投影器，所述风格特征提取器能够获取图像的风格特征，所述多层投影器将所述风格特征转换为风格编码。
本发明还提供的一种图像艺术风格迁移系统，所述迁移系统包括：
提取模块，所述提取模块提取内容图和风格图的内容特征；
迁移模块，所述迁移模块基于内容图和风格图的内容特征，通过风格迁移网络，将风格图的风格传递给内容图，形成生成图；
其中，所述风格迁移网络基于机器学习中对比学习理论设计对比损失训练而成，对比损失的对象为基于多层风格投影器生成的风格图、生成图和其他风格艺术图三者的风格编码。
本发明还提供的一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一项所述图像艺术风格迁移方法的步骤。
本发明还提供的一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述图像艺术风格迁移方法的步骤。
本发明还提供的一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述图像艺术风格迁移方法的步骤。
本发明提供的图像艺术风格迁移方法、系统、电子设备、存储介质，通过对比学习训练的风格迁移网络，能够将艺术图片的风格迁移入真实感图片中，获取高质量的风格化图片。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的图像艺术风格迁移方法的流程示意图；
图2为本发明提供的多层风格投影器的结构示意图；
图3为本发明提供的多层投影器的结构示意图；
图4为本发明提供的优化多层风格投影器和风格迁移网络的流程示意图；
图5为本发明提供的图像艺术风格迁移系统的结构示意图；
图6为本发明提供的一种电子设备的实体结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像艺术风格迁移方法进行详细地说明。
图1为本发明提供的图像艺术风格迁移方法的流程示意图，如图1所示，本发明提供的一种图像艺术风格迁移方法，迁移方法包括：
步骤101、提取内容图和风格图的内容特征；
可选地，基于深度学习中的卷积神经网络，提取内容图和风格图的内容特征；
可选地，卷积神经网络使用在ImageNet数据库上预训练过的卷积神经网络VGG-19；
需要说明的是，通常内容图采用真实感图片，如照片；风格图为艺术图片，如绘画，即迁移的目的可以是将日常照片制作成某种艺术风格的绘画形式；
步骤102、基于内容图和风格图的内容特征，通过风格迁移网络，将风格图的风格传递给内容图，形成生成图；
需要说明的是，基于内容特征对风格进行迁移的原理在于，内容特征的均值和方差能一定程度上表示风格，比如颜色和纹理信息；
其中，风格迁移网络基于机器学习中对比学习理论设计对比损失训练而成，对比损失的对象为基于多层风格投影器生成的风格图、生成图和其他风格艺术图三者的风格编码；
可选地，风格迁移网络根据风格图对内容图进行风格化后，形成一生成图；基于多层风格投影器，形成风格图、生成图、其他风格图的风格编码；基于机器学习中对比学习理论设计对比上述三种风格编码，使得生成图和风格图一致；
可选地，生成图和风格图是吸引关系，生成图和其他风格图是排斥关系，通过最大化生成图和风格图之间的互信息来学习图像的视觉风格。
本实施例采用深度学习技术，基于对比学习理论，以风格编码的形式表示风格和设计对比风格损失，取得更好的风格迁移效果。
进一步地，另一实施例中，本实施例提供一种图像艺术风格迁移方法，多层风格投影器基于机器学习中对比学习理论设计对比损失训练而成，对比损失的对象为基于多层风格投影器生成的风格图、生成图和其他风格艺术图三者的风格编码。
可选地，多层风格投影器包括：风格特征提取器和多层投影器，风格特征提取器能够获取图像的风格特征，多层投影器将风格特征转换为风格编码。
可选地，风格特征提取器为用来风格分类的VGG19网络；
可选地，多层投影器由池化、卷积和多个多层感知器层组成，选择VGG19中的M层特征作为多层投影器的输入，以将风格特征投射到一组k维潜在风格编码中；
本实施例通过对比学习来训练多层风格投影器，提高多层风格投影器的风格编码的转换效果。
进一步地，另一实施例中，本实施例提供一种图像艺术风格迁移方法，风格迁移网络在训练时受到循环一致性的约束，包括：
将第一图作为风格图、第二图作为内容图，输入风格迁移网络，形成第三图；
再将第三图作为内容图、第二图作为风格图，输入风格迁移网络，得到复原的第四图；
训练风格迁移网络时，保持第二图和第四图一致。
将艺术图A作为风格图，真实感图R作为内容图作为输入，得到生成图G。反之，将生成图G作为内容图，真实感图R作为风格图作为输入，得到复原的真实感图R′。这个过程即为一个循环，循环一致性损失即约束R＝R′。
本实施例循环一致性损失，使得在风格传递过程中保持内容图像的内容信息。
进一步地，另一实施例中，本实施例提供一种图像艺术风格迁移方法，所述风格迁移网络在训练时同时受到域增强的约束，包括：
设置真实感图判别器和艺术图判别器；
将第五图作为真实感图判别器的真实样本，第六图作为艺术图判别器的真实样本；
将第五图作为内容图、第六图作为风格图，输入风格迁移网络，形成第七图，作为艺术图判别器的假样本；
将第五图作为风格图、第六图作为内容图，输入风格迁移网络，形成第八图，作为真实感图判别器的假样本；
训练风格迁移网络，使得艺术图判别器和真实感图判别器不能判定生成图的真假。
可选地，对抗生成网络由生成器G和判别器D(包括DA和DR)组成，生成器即风格迁移网络。将内容图和风格图输入生成器，得到生成图。将生成图(生成艺术图给DA，生成真实感图给DR)标为“伪造”标签，真实图(艺术图给DA，真实感图给DR)标为“真实”标签，一起送入判别器D，判别器的目标是判断真伪。生成器的目标是使判别器无法判断真伪。
本实施例基于深度学习中的对抗生成网络，提出的域增强模块，提升生成风格化结果的笔触和细节质感。
进一步地，另一实施例中，本实施例提供一种图像艺术风格迁移方法，风格迁移网络基于内容图和风格图的内容特征，将风格图的风格传递给内容图，形成生成图，包括：
采用自适应归一化方法，将内容图的内容特征的均值和方差，与风格图的内容特征的均值和方差对齐；
采用预设的自编码器，基于均值和方差对齐后的内容图的内容特征形成生成图；
可选地，自编码器包含解码器，用来基于均值和方差对齐后的内容图的内容特征形成生成图。
本实施例通过对内容图和风格图的内容特征的均值和方差进行对齐，从而实现风格中颜色和纹理信息的迁移。
进一步地，另一实施例中，本实施例提供一种图像艺术风格迁移方法，包括如下步骤：
步骤S1、基于深度学习中卷积神经网络，提取任意风格图与任意内容图的内容特征。
为了保证提取的特征更好的表达图片信息，应该提取图片深层的特征。当表达不同内容的场景时，艺术家的绘画风格在使用不同的笔画和着色时通常会有所不同。使用在ImageNet数据库上预训练过的卷积神经网络VGG-19计算图片特征图。对于一张输入图像x而言，Fj(x)是VGG19网络卷积层j层的特征图，其大小为Cj×Hj×Wj。其中Cj是卷积核的个数，Hj是图片高度，Wj是图片的宽度。特征图作为图像的基于对象的表示，以图像中目标检测作为任务预训练的VGG19网络特征图包含图像的内容特征，以图像风格分类作为任务预训练的VGG19网络特征图包含图像的风格特征。
步骤S2、根据内容特征，基于自适应实例归一化方法与自编码器结构，构成风格迁移网络，根据风格图与内容图的内容特征，传递风格图风格到内容图中，根据传递后的特征，获取内容与内容图一致、风格与风格图风格一致的生成图。
本发明自适应实例归一化方法，传递风格图风格到内容图中，其过程表示为：
Ic是输入内容图，Is是参考风格图，Fj(Ic)h,w,c是输入内容图的特征图，σ(Fj(Ic)h,w,c)是输入内容图的特征图的均值，σ(Fj(Is)h,w,c)是参考风格图的特征图的均值，μ(Fj(Ic)h,w,c)是输入内容图的特征图的方差，μ(Fj(Is)h,w,c)是参考风格图的特征图的方差，在训练过程中，取j＝4。该公式将内容图的通道级均值和标准差与风格图的通道级均值和标准差对齐。因此，自适应实例归一化方法有助于传递风格图像的风格到内容图像。
步骤S3、基于深度学习中卷积神经网络，提取任意风格图的风格特征；根据风格特征，基于机器学习中对比学习理论设计对比风格损失，分别作用于多层风格投影器和风格迁移网络，使生成图风格与风格图一致。根据内容特征，通过循环一致性损失约束生成图像内容特征与输入内容图一致。
一张图片的风格信息包含其纹理、颜色、笔触特征，通过设计的多层风格投影器获得风格图的风格信息。图2为本发明提供的多层风格投影器的结构示意图，图3为本发明提供的多层投影器的结构示意图，如图2、3所示，多层风格投影器包括一个风格特征提取器和一个多层投影器。具体来说：收集30个类别的18,000幅风格图，以训练用于风格分类的VGG19网络，将其作为风格特征提取器，提取风格特征；多层投影器由池化、卷积和多个多层感知器层组成，选择VGG19中的M层特征作为多层投影器的输入，以将风格特征投射到一组k维潜在风格编码中。经过训练，多层风格投影器可以将一个风格图编码成一组潜在的风格编码{zi|i∈[1,M]，zi∈RK}。
图4为本发明提供的优化多层风格投影器和风格迁移网络的流程示意图，如图4所示，为了优化对比风格投影器模块和风格迁移网络，基于机器学习中对比学习理论设计对比风格损失，它分别应用于多层风格投影器训练和风格迁移网络训练。
在训练多层风格投影器时，将图像I及其增强版本I+送入M层的风格特征提取器，即使用风格分类任务预训练的VGG-19网络。然后将提取的风格特征发送到多层投影器，投影器是一个M层神经网络，将风格特征映射到一组k维向量{z}。与被认为是负样本{I-}的数据集中的其他风格图相比，对比表示通过最大化I和I+之间的互信息来学习图像的视觉风格。将图像I、I+和N个负样本分别映射到M组k维向量z，z+∈RK和{z-∈RK}。向量被归一化以防止塌缩。
训练MSP模块的损失函数可以写成:
其中·表示两个向量的点积，τ是温度比例因子，在所有实验中被设置为0.07。同时，使用一个记忆库架构来维护一个大型的负例字典。
对比表示法为风格迁移网络在图像之间传递风格提供了适当的指导。使用生成图Ics＝G(Ic,Is)和风格图Is的对比表示来计算损失，这样Ics将具有类似于Is的风格:
其中
和
分别表示Ics和Is的风格表示。负例从用于多层风格投影器训练的同一字典中采样。
为了保持生成风格化结果与输入内容图的内容一致，使用循环一致性损失，其原理表示为：
Lcyc＝E[‖Ic-G(Ics,Ic)‖1]+E[‖Is-G(Isc,Is)‖1]
其中Isc＝G(Is,Ic)，其目的是为了在两个域之间的风格传递过程中保持内容图像的内容信息，E表示期望。
步骤S4、基于深度学习中对抗生成网络设计内容图与风格图域增强模块，提升生成图像真实感。
为了学习到风格图域与内容图域的分布，基于对抗生成网络来将生成的图像与特定的风格图的分布对齐。将训练集中的图像分为内容图域和风格图域，分别使用DR和DA两种判别器进行增强。在训练过程中，首先从内容图域中随机选取一个图片作为内容图Ic，从风格图域中随机选取一个图像作为风格图Is。Ic和Is分别作为DR和DA的真实样本。生成的图像Ics＝G(Ic,Is)作为DA的假样本。然后，交换内容图像和风格图像，生成图像Isc＝G(Is,Ic)作为DR的假样本。对抗性损失表示为：
Ladv＝E[log DR(Ic)]+E[log(1-DR(Ics))]+E[log DA(Is)]+E[log(1-DA(Isc))]
步骤S5、迭代步骤S1-S4，最终在步骤S2得到高质量的任意风格化结果。
为了评估生成结果在风格类别上的质量，引入了欺骗率评估。首先训练了一个VGG-19网络来对WikiArt上的10种风格(即西方古典绘画、新古典主义绘画、印象派绘画、后印象派绘画、半抽象、非具象、素描、水墨、简笔画和漫画)进行分类。然后，使用预训练的网络来预测风格化图像属于哪种风格。使用这个风格分类网络对真实图像、本技术方案模型生成的风格化图像和七种基线模型的风格化图像进行分类。最后，欺骗率计算为网络预测的正确艺术家的分数。如下列的表1所示，在表1的第二列中报告了本技术方案模型和七个基线模型的欺骗率。可以观察到，本技术方案模型达到了最高的欺骗率并且大大超过了其他方法。作为参考，网络对来自WikiArt的艺术家的真实图像的平均准确度为78％。
同时，在一项用户研究中，并将本技术方案与七种最先进的风格迁移方法在用户偏好方面进行比较，即确定哪种方法的结果最受人类欢迎。具体来说，选择了100个内容样式对进行评估(A/B测试)。对于每个参与者，选择50个内容样式对，并以随机顺序显示本技术方案方法和其他方法之一的风格化结果。然后，要求参与者选择从风格图像中学习最多特征的图像。最后，从60名参与者那里收集了3000张投票。在表1的第三列中报告每种方法的投票百分比，一Linear与本方案的比较为例，20％的用户偏好Linear的结果，80％的用户偏好本方案的结果，这些结果表明本技术方案方法实现了更好的风格化结果。
此外，在一项来定量评估风格化图像的用户研究中，称为风格化真实性检测。具体来说，收集了25组图像，每组包含10张风格相似的图像，其中包括2到4张由本技术方案方法或七种基线方法之一生成的风格化图像和一些真实的绘画图像。参与者被要求从每组中挑选他们认为是假画的所有图像。最后，收集了75名参与者的1875组结果，并测量了每种方法的准确率和召回率。如表1的第四列和第五列所示，本技术方案方法生成的图像被人们判断为假画的可能性最低。
表1
下面对本发明提供的图像艺术风格迁移系统进行描述，下文描述的图像艺术风格迁移系统与上文描述的图像艺术风格迁移方法可相互对应参照。
图5为本发明提供的图像艺术风格迁移系统的结构示意图，如图5所示，本发明还提供的一种图像艺术风格迁移系统，迁移系统包括：
提取模块，提取模块提取内容图和风格图的内容特征；
迁移模块，迁移模块基于内容图和风格图的内容特征，通过风格迁移网络，将风格图的风格传递给内容图，形成生成图；
其中，风格迁移网络基于机器学习中对比学习理论设计对比损失训练而成，对比损失的对象为基于多层风格投影器生成的风格图、生成图和其他风格艺术图三者的风格编码。
本实施例通过对比学习训练的风格迁移网络，能够将艺术图片的风格迁移入真实感图片中，获取高质量的风格化图片。
图6为本发明提供的一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行图像艺术风格迁移方法，该方法包括：
提取内容图和风格图的内容特征；
基于内容图和风格图的内容特征，通过风格迁移网络，将风格图的风格传递给内容图，形成生成图；
其中，风格迁移网络基于机器学习中对比学习理论设计对比损失训练而成，对比损失的对象为基于多层风格投影器生成的风格图、生成图和其他风格艺术图三者的风格编码。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的图像艺术风格迁移方法，该方法包括：
提取内容图和风格图的内容特征；
基于内容图和风格图的内容特征，通过风格迁移网络，将风格图的风格传递给内容图，形成生成图；
其中，风格迁移网络基于机器学习中对比学习理论设计对比损失训练而成，对比损失的对象为基于多层风格投影器生成的风格图、生成图和其他风格艺术图三者的风格编码。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的图像艺术风格迁移方法，该方法包括：
提取内容图和风格图的内容特征；
基于内容图和风格图的内容特征，通过风格迁移网络，将风格图的风格传递给内容图，形成生成图；
其中，风格迁移网络基于机器学习中对比学习理论设计对比损失训练而成，对比损失的对象为基于多层风格投影器生成的风格图、生成图和其他风格艺术图三者的风格编码。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种图像艺术风格迁移方法，其特征在于，所述迁移方法包括：
提取内容图和风格图的内容特征；
基于内容图和风格图的内容特征，通过风格迁移网络，将风格图的风格传递给内容图，形成生成图；
其中，所述风格迁移网络基于机器学习中对比学习理论设计对比损失训练而成，对比损失的对象为基于多层风格投影器生成的风格图、生成图和其他风格艺术图三者的风格编码。
2.根据权利要求1所述的图像艺术风格迁移方法，其特征在于，所述多层风格投影器基于机器学习中对比学习理论设计对比损失训练而成，对比损失的对象为基于多层风格投影器生成的风格图、对应风格图的图像增强版本和其他风格艺术图三者的风格编码。
3.根据权利要求1所述的图像艺术风格迁移方法，其特征在于，所述风格迁移网络在训练时受到循环一致性的约束，包括：
将第一图作为风格图、第二图作为内容图，输入所述风格迁移网络，形成第三图；
再将第三图作为内容图、第二图作为风格图，输入所述风格迁移网络，得到复原的第四图；
训练所述风格迁移网络时，保持第二图和第四图一致。
4.根据权利要求3所述的图像艺术风格迁移方法，其特征在于，所述风格迁移网络在训练时同时受到域增强的约束，包括：
设置真实感图判别器和艺术图判别器；
将第五图作为真实感图判别器的真实样本，第六图作为艺术图判别器的真实样本；
将第五图作为内容图、第六图作为风格图，输入所述风格迁移网络，形成第七图，作为艺术图判别器的假样本；
将第五图作为风格图、第六图作为内容图，输入所述风格迁移网络，形成第八图，作为真实感图判别器的假样本；
训练所述风格迁移网络，优化目标是使得艺术图判别器和真实感图判别器不能判定生成图的真假。
5.根据权利要求1所述的图像艺术风格迁移方法，其特征在于，所述基于内容图和风格图的内容特征，通过风格迁移网络，将风格图的风格传递给内容图，形成生成图，包括：
采用自适应归一化方法，将内容图的内容特征的均值和方差，与风格图的内容特征的均值和方差对齐；
采用自编码器，基于均值和方差对齐后的内容图的内容特征形成生成图。
6.根据权利要求1所述的图像艺术风格迁移方法，其特征在于，所述多层风格投影器包括：风格特征提取器和多层投影器，所述风格特征提取器用于获取图像的风格特征，所述多层投影器用于将所述风格特征转换为风格编码。
7.一种图像艺术风格迁移系统，其特征在于，所述迁移系统包括：
提取模块，所述提取模块提取内容图和风格图的内容特征；
迁移模块，所述迁移模块基于内容图和风格图的内容特征，通过风格迁移网络，将风格图的风格传递给内容图，形成生成图；
其中，所述风格迁移网络基于机器学习中对比学习理论设计对比损失训练而成，对比损失的对象为基于多层风格投影器生成的风格图、生成图和其他风格艺术图三者的风格编码。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6中任一项所述图像艺术风格迁移方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述图像艺术风格迁移方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述图像艺术风格迁移方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210114602.4A CN114638743A (zh) | 2022-01-30 | 2022-01-30 | 图像艺术风格迁移方法、系统、电子设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210114602.4A CN114638743A (zh) | 2022-01-30 | 2022-01-30 | 图像艺术风格迁移方法、系统、电子设备、存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114638743A true CN114638743A (zh) | 2022-06-17 |
Family
ID=81945761
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210114602.4A Pending CN114638743A (zh) | 2022-01-30 | 2022-01-30 | 图像艺术风格迁移方法、系统、电子设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114638743A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116309032A (zh) * | 2023-05-24 | 2023-06-23 | 南昌航空大学 | 一种图片处理方法、系统及计算机 |
-
2022
- 2022-01-30 CN CN202210114602.4A patent/CN114638743A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116309032A (zh) * | 2023-05-24 | 2023-06-23 | 南昌航空大学 | 一种图片处理方法、系统及计算机 |
| CN116309032B (zh) * | 2023-05-24 | 2023-07-28 | 南昌航空大学 | 一种图片处理方法、系统及计算机 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110717977B (zh) | 游戏角色脸部处理的方法、装置、计算机设备及存储介质 | |
| CN110378985B (zh) | 一种基于gan的动漫绘画辅助创作方法 | |
| CN109815826B (zh) | 人脸属性模型的生成方法及装置 | |
| Lin et al. | Face swapping under large pose variations: A 3D model based approach | |
| CN111598761A (zh) | 一种基于图像降噪的抗打印拍摄图像数字水印方法 | |
| WO2023040679A1 (zh) | 人脸图片的融合方法、装置、设备及存储介质 | |
| CN114359526A (zh) | 基于语义gan的跨域图像风格迁移方法 | |
| CN107066979A (zh) | 一种基于深度信息和多维度卷积神经网络的人体动作识别方法 | |
| CN110322418A (zh) | 一种超分辨率图像生成对抗网络的训练方法及装置 | |
| CN109871736A (zh) | 自然语言描述信息的生成方法及装置 | |
| CN113822794A (zh) | 一种图像风格转换方法、装置、计算机设备和存储介质 | |
| CN113724354A (zh) | 基于参考图颜色风格的灰度图像着色方法 | |
| Kampelmuhler et al. | Synthesizing human-like sketches from natural images using a conditional convolutional decoder | |
| WO2022166840A1 (zh) | 人脸属性编辑模型的训练方法、人脸属性编辑方法及设备 | |
| CN114638743A (zh) | 图像艺术风格迁移方法、系统、电子设备、存储介质 | |
| Tomei et al. | What was Monet seeing while painting? Translating artworks to photo-realistic images | |
| CN115457374B (zh) | 基于推理模式评估深伪图像检测模型泛化性方法及装置 | |
| CN116665300A (zh) | 基于时空自适应特征融合图卷积网络的骨架动作识别方法 | |
| CN116823983A (zh) | 基于风格收集机制的一对多风格书法图片生成方法 | |
| CN111489405A (zh) | 基于条件增强生成对抗网络的人脸草图合成系统 | |
| CN110675311A (zh) | 一种素描序约束下的素描生成的方法、装置及存储介质 | |
| CN114743241A (zh) | 一种人脸表情识别方法、装置、电子设备及存储介质 | |
| CN115018729A (zh) | 一种面向内容的白盒图像增强方法 | |
| CN114299590A (zh) | 人脸补全模型的训练方法、人脸补全方法及系统 | |
| CN115496843A (zh) | 一种基于gan的局部写实感漫画风格迁移系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |