CN113570500A - 一种基于全局信息引导网络实现真实图像风格迁移的方法 - Google Patents
一种基于全局信息引导网络实现真实图像风格迁移的方法 Download PDFInfo
- Publication number
- CN113570500A CN113570500A CN202110891687.2A CN202110891687A CN113570500A CN 113570500 A CN113570500 A CN 113570500A CN 202110891687 A CN202110891687 A CN 202110891687A CN 113570500 A CN113570500 A CN 113570500A
- Authority
- CN
- China
- Prior art keywords
- style
- picture
- content
- network
- global information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013508 migration Methods 0.000 title claims abstract description 61
- 230000005012 migration Effects 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000006870 function Effects 0.000 claims abstract description 47
- 238000005192 partition Methods 0.000 claims abstract description 39
- 238000010606 normalization Methods 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 27
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 238000012360 testing method Methods 0.000 claims abstract description 10
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims abstract description 9
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 6
- 239000013598 vector Substances 0.000 claims description 33
- 230000001174 ascending effect Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000005284 excitation Effects 0.000 claims description 3
- 238000001125 extrusion Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 238000012805 post-processing Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 235000019646 color tone Nutrition 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000013316 zoning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明属于计算机视觉风格迁移领域，具体涉及一种基于全局信息引导网络实现真实图像风格迁移的方法。步骤：获取包含有内容图片和风格图片的数据集，并进行预处理，构建全局信息引导网络，训练优化全局信息引导网络，采用Adam优化器，通过反向传播算法，最小化总损失函数，按照设定的学习率进行参数的迭代更新，直至损失趋于平衡，停止迭代，保存训练好的网络；测试训练好的全局信息引导网络；对内容图片和风格图片进行风格迁移。本发明采用分区自适应实例归一化，使网络能够获得更多的通道信息，能够提升网络色调风格迁移的能力；采用跨通道分区注意力模块，能够使网络更好的利用全局上下文信息，引导网络实现更好的整体迁移效果。
Description
技术领域
本发明属于计算机视觉风格迁移技术领域，具体涉及一种基于全局信息引导网络实现真实图像风格迁移的方法。
背景技术
图像风格迁移，是指利用算法学习一幅图像的风格特征，然后再把这种风格特征应用到另一幅图片上的技术，图像风格迁移在计算机视觉领域具有很重要的地位，根据想要的目标风格，把现有图像进行风格转换为目标风格图像，风格迁移在动画制作、相机拍照和模拟系统中有着很多的应用。目前的图像风格迁移方法基本是建立在艺术风格迁移的基础上，向艺术风格迁移网络输入内容图片和艺术风格图片，可以生成富有艺术感的图像，但这种方式通常会产生以下问题：1)艺术风格迁移网络生成的结果往往会伴随扭曲与形变，无法保持真实感，生成图片在内容上难以与内容图片保持一致，因为风格是一种极为抽象的特征，风格迁移被看作是一种纹理迁移，而纹理的迁移则必然会导致图像的扭曲与形变，造成细节丢失；2)为抑制图像形变与风格溢出等问题需进行预处理或后处理；3)现有的艺术风格迁移方法无法充分利用全局的色彩信息，导致图片生成效果差。与艺术风格迁移不同的是真实图像风格迁移要求生成图片在迁移风格的同时保持真实性，即在内容上与内容图片保持一致，因此真实图像风格迁移可以看做是一种色调迁移，通过真实图像风格迁移，我们能得到保持真实感的生成图像。
发明内容
本发明的目的是克服现有技术中存在的无法充分利用全局色彩信息、生成图片存在扭曲变形与细节丢失以及等需进行预处理和后处理缺陷，提供一种能够处分利用全局色彩信息和全局上下文信息、能够有效避免形变的产生以及迁移效果好的基于全局信息引导网络实现真实图像风格迁移的方法。
本发明解决其技术问题所采用的技术方案是：
一种基于全局信息引导网络实现真实图像风格迁移的方法，其特征在于，包括以下步骤：
S1、获取数据集；
获取包含有内容图片和风格图片的数据集，将所述数据集中的内容图片和风格图片进行预处理，从预处理后的数据集中随机抽取内容图片和风格图片分别建立测试集和训练集；
S2、构建全局信息引导网络；
S21、所述全局信息引导网络为编码器-解码器结构，首先使用预训练的VGG-19作为编码器分别对内容图片和风格图片进行编码，并分别提取内容图片和风格图片在不同层的特征，输出内容特征和风格特征；
S22、将提取到的对应层次的内容特征和风格特征输入到分区自适应实例归一化模块进行实例归一化，得到的浅层特征通过下采样模块后与下一层的深层特征逐元素相加进行特征传递；
S23、将步骤S22输出的特征进行卷积操作，然后经过双线性插值上采样操作后送入跨通道分区注意力模块，接下来通过跳连接将跨通道分区注意力模块输出的特征与实例归一化操作得到的同尺度特征进行通道拼接；
S24、最后将步骤S23中得到的特征进行卷积操作后送入解码器，得到风格迁移后的生成图片；
S3、训练优化全局信息引导网络；
S31、将所述训练集输入到构建好的全局信息引导网络中，对网络进行优化训练，利用步骤S21中的编码器作为损失网络进行内容损失和风格损失计算，具体的表达为：内容损失的内容损失函数为：
式中F[O]为生成图片送入VGG-19提取到的conv4-1层特征，F[C]为内容图片送入VGG-19提取到的conv4-1层特征；风格损失的风格损失函数为：
式中F[O]为生成图片送入VGG-19提取到的特征，F[S]表示风格图片送入VGG-19提取到的特征；
S32、将表示生成图片和风格图片各个颜色通道的二维矩阵展平成一维向量，并将向量按数值大小进行升序排序，然后将向量均分成相同数量像素的色彩区域，分别对各个色彩区域取均值，得到均值向量，计算生成图片和风格图片均值向量的均方误差，得到色域均值损失函数；
S33、利用梯度损失函数
计算梯度损失，其中
为索贝尔算子；
S34、将步骤S31中的内容损失函数和风格损失函数、步骤S32中的色域均值损失函数以及步骤S33中的梯度损失函数线性组合成一个新的损失函数作为总损失函数；
S35、采用Adam优化器，通过反向传播算法，最小化总损失函数，按照设定的学习率进行参数的迭代更新，直至损失趋于平衡，停止迭代，保存训练好的网络；
S4、测试训练好的全局信息引导网络；
将所述测试集输入训练好的全局信息引导网络中，输出风格迁移后的生成图片，通过SSIM和PSNR指标来判别生成图片分别与原内容图片和风格图片相比是否失真，若否，保留下网络；若是，则重新进行步骤S3，调整损失函数的权重和训练轮数；
S5、对内容图片和风格图片进行风格迁移；
获取内容图片和风格图片，将内容图片和风格图片输入到训练好的全局信息引导网络进行风格迁移，输出风格迁移后的生成图片。
进一步地，所述分区自适应实例归一化包括先将内容特征和风格特征各通道内像素按数值进行排序并均分成数量相等的分区，计算各分区内内容特征和风格特征的方差和均值，然后按照排序后的对应位置实现各分区内容特征和风格特征的自适应实例归一化，完成归一化后将像素顺序还原。
进一步地，所述跨通道分区注意力模块包括对施加十字交叉注意力得到的特征进行卷积操作，将各通道上的特征按数值升序排序并均分成含相同数量像素的区间，计算各区间的平均值，并表示成向量，得到均值向量，进行挤压激发操作得到各通道的权重向量，将权重向量与对应的区间相乘，并将各像素位置还原。
进一步地，步骤S1中对所述内容图片和风格图片进行预处理包括：将所述内容图片和所述风格图片统一裁剪成256×256尺寸，并将所述内容图片和所述风格图片的像素值进行归一化至范围[-1，1]。
进一步地，所述VGG-19网络分别提取内容图片和风格图片在conv1_1、conv2_1、conv3_1和conv4_1层的特征，输出内容特征和风格特征。
进一步地，所述编码器共有四个卷积层，各卷积层的卷积核大小均为3×3，下一层卷积核个数是上一层的两倍，所述卷积层均采用ReLU函数作为激活函数。
进一步地，色域均值损失函数的计算公式为：
其中c为颜色通道数量，p为通道色域数量，Ovij为生成图片第i个颜色通道第j个色域的均值向量，Svij为风格图片第i个颜色通道第j个色域的均值向量。
进一步地，所述总损失函数的计算公式为：
式中λ1，λ2，λ3和λ4为权重超参数。
进一步地，所述Adam优化器中，设置指数衰减率β1＝0.9，指数衰减率β2＝0.999，∈＝10-8。
更进一步地，网络训练使用动态的学习率衰减策略，即当前学习率
式中epoch为当前训练轮次，网络的初始学习率lrorigin设置为10-3，学习率衰减值lrdecay设置为0.05。
本发明的一种基于全局信息引导网络实现真实图像风格迁移的方法的有益效果是：
1、本发明采用分区自适应实例归一化，使网络能够获得更多的通道信息，能够提升网络色调风格迁移的能力；采用跨通道分区注意力模块，能够使网络更好的利用全局上下文信息，引导网络实现更好的整体迁移效果。
2、本发明通过采用色域均值损失函数，充分利用全局色彩分布信息，使网络能够取得更好的生成效果，而且能够有效避免形变的产生，不需要进行额外的预处理或后处理操作。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1是本发明实施例的整体流程图；
图2是本发明实施例中步骤S2流程图；
图3是本发明实施例中步骤S3流程图；
图4是本发明实施例的全局信息引导网络的结构示意图；
图5是本发明实施例的部分数据集构成图；
图6是本发明实施例的色域均值损失示意图；
图7是本发明实施例的跨通道分区注意力模块示意图；
图8是本发明实施例的真实图像风格迁移示意图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
如图1-图8所示的本发明的一种基于全局信息引导网络实现真实图像风格迁移的方法的具体实施例，包括以下步骤：
S1、获取数据集；
获取包含有内容图片和风格图片的数据集，将数据集中的内容图片和风格图片进行预处理，并从预处理后的数据集中随机抽取内容图片和风格图片分别建立测试集和训练集；对内容图片和风格图片进行预处理包括：将内容图片和风格图片统一裁剪成256×256像素，并作标准化，并将内容图片和风格图片的像素值进行归一化至范围[-1，1]，方便对网络进行训练。本实施例中，在Landscape Pictures数据集4319张图片的基础上，加入部分网络爬取和自行拍摄的图片，得到包含6130张图片的训练数据集，数据集中的图片内容以自然风景和城市风景为主，在原图的基础上进行调整与剪裁，统一尺寸为256×256像素。在训练时会对内容图片和风格图片进行随机配对，并将图片归一化到[-1,1]的区间内。
S2、构建全局信息引导网络；
S21、全局信息引导网络包含分区自适应实例归一化和跨通道分区注意力等模块，且为编码器-解码器结构，首先使用预训练的VGG-19作为编码器分别对内容图片和风格图片编码，并分别提取内容图片和风格图片在conv1-1,conv2-1,conv3-1和conv4-1四个不同层的特征，输出内容特征和风格特征；编码器共有四个卷积层，各卷积层的卷积核大小均为3×3，可以减小参数的数量，在加深网络的同时不至于使网络太过复杂和难以训练，下一层卷积核个数是上一层的两倍，卷积层均采用ReLU函数作为激活函数。
S22、将提取到的对应层次的内容特征和风格特征输入到分区自适应实例归一化模块进行实例归一化，得到的浅层特征通过下采样模块后与下一层的深层特征逐元素相加进行特征传递；本实施例中，分区自适应实例归一化对自适应实例归一化提出了，自适应实例归一化对每个特征通道只取一个均值和方差，无法充分获取通道信息，而改进后的改进分区自适应实例归一化包括先将内容特征和风格特征各通道内像素按数值进行排序并均分成像素数量相等的分区，计算各分区内内容特征和风格特征的方差和均值，然后按照排序后的对应位置实现各分区内容特征和风格特征的自适应实例归一化，完成归一化后将各像素位置的顺序还原。将对应层次的内容特征和风格特征进行分区自适应实例归一化操作，得到的浅层特征会进行一次缩小为原来尺寸一半的下采样，并与深层特征逐元素相加进行特征传递。本发明采用分区自适应实例归一化，使网络能够获得更多的通道信息，能够提升网络色调风格迁移的能力。
S23、将步骤S22输出的特征进行卷积操作，然后经过双线性插值上采样操作后送入跨通道分区注意力模块，接下来通过跳连接将跨通道分区注意力模块输出的特征与实例归一化操作得到的同尺度特征进行通道拼接；跨通道分区注意力模块，首先对施加十字交叉注意力得到的特征进行卷积操作，将各通道上的特征按数值升序排序并均分成含相同数量像素的区间，计算各区间的平均值并连接得到均值向量，均值向量长度为通道数与分区数的乘积，参考SENet中的方法，进行挤压激发操作得到各通道分区的权重向量，将权重向量与对应分区相乘，并将各像素位置还原至排序之前的状态。本发明采用跨通道分区注意力模块，能够使网络更好的利用全局上下文信息，引导网络实现更好的整体迁移效果
S24、最后将步骤S23中得到的特征进行卷积操作后送入解码器，得到风格迁移后的生成图片；在解码部分，考虑到深层特征信息丢失的问题，参考U型网络，将编码得到的特征经过卷积操作与双线性插值上采样操作后送入跨通道分区注意力模块，并通过跳连接与分区自适应实例归一化操作得到的同尺度特征进行通道拼接。解码器同样为4层，各层特征图大小，卷积核数量与编码器保持一致。
S3、训练优化全局信息引导网络；
S31、将训练集输入到构建好的全局信息引导网络中，对网络进行优化训练，通过分别计算色域均值损失、内容损失和风格损失和梯度损失，基于反向传播算法和Adam优化器优化网络参数，按照设定的学习率进行参数的迭代更新。具体的，Adam优化器中，设置指数衰减率β1＝0.9，指数衰减率β2＝0.999，∈＝10-8。网络训练使用动态的学习率衰减策略，
即当前学习率
式中epoch为当前训练轮次，网络的初始学习率lrorigin设置为10-3，学习率衰减值lrdecay设置为0.05。当利用全局信息引导的真实风格迁移网络的迁移效果良好时，网络训练完成。
利用步骤S21中的编码器作为损失网络进行内容损失和风格损失计算，具体的表达为：内容损失的内容损失函数为：
式中F[O]为生成图片送入VGG-19提取到的conv4-1层特征，F[C]为内容图片送入VGG-19提取到的conv4-1层特征；风格损失的风格损失函数为：
式中F[O]为生成图片送入VGG-19提取到的特征，F[S]表示风格图片送入VGG-19提取到的特征；
S32、将表示生成图片和风格图片各个颜色通道的二维矩阵展平成一维向量，并将向量按数值大小进行升序排序，然后将向量均分成相同数量像素的色彩区域，分别对各个色彩区域取均值，得到均值向量，计算生成图片和风格图片均值向量的均方误差，得到色域均值损失；色域均值损失函数的计算公式为：
其中c为颜色通道数量，p为通道色域数量，Ovij为生成图片第i个颜色通道第j个色域的均值向量，Svij为风格图片第i个颜色通道第j个色域的均值向量。本发明通过采用色域均值损失函数，充分利用全局色彩分布信息，使网络能够取得更好的生成效果，而且能够有效避免形变的产生，不需要进行额外的预处理或后处理操作。
S33、利用梯度损失函数
计算梯度损失，其中
为索贝尔算子；
S34、将步骤S31中的内容损失函数和风格损失函数、步骤S32中的色域均值损失函数以及步骤S33中的梯度损失函数线性组合成一个新的损失函数作为总损失函数；总损失函数的计算公式为：
式中λ1，λ2，λ3和λ4为权重超参数。其中，色域均值损失控制色调的迁移，内容损失保证生成图片与内容图片在内容上的一致，风格损失控制风格的迁移，梯度损失保持生成图片与内容图片的边缘一致性。
S35、采用Adam优化器，通过反向传播算法，最小化总损失函数，按照设定的学习率进行参数的迭代更新，直至损失趋于平衡，停止迭代，保存训练好的网络；运用Adam优化器对网络进行优化，通过训练不断更新参数，使得总损失值达到最小并趋于稳定。
S4、测试训练好的全局信息引导网络；
将测试集输入训练好的全局信息引导网络中，输出风格迁移后的生成图片，通过SSIM和PSNR指标来判别生成图片分别与原内容图片和风格图片相比是否失真，若否，保留下网络；若是，则重新进行步骤S3，调整损失函数的权重和训练轮数；本实施例中，优选地，epoch＝50，λ1＝10000,λ2＝10,λ3＝10和λ4＝100。
S5、对内容图片和风格图片进行风格迁移；
获取内容图片和风格图片，将内容图片和风格图片输入到训练好的全局信息引导网络进行风格迁移，输出风格迁移后的生成图片。
真实图像风格迁移的全局信息引导网络将对输入的内容图片和风格图片进行真实风格迁移，在保持内容图片内容基本不变的同时，将风格图片的色调风格迁移到内容图像上，最终得到了内容上与内容图片一致，色彩风格上与风格图片一致的生成图片，本发明提出的方法能够在保持内容图片内容细节和色彩层次的前提下，实现真实图像风格的迁移。
应当理解，以上所描述的具体实施例仅用于解释本发明，并不用于限定本发明。由本发明的精神所引伸出的显而易见的变化或变动仍处于本发明的保护范围之中。
Claims (10)
1.一种基于全局信息引导网络实现真实图像风格迁移的方法，其特征在于，包括以下步骤：
S1、获取数据集；
获取包含有内容图片和风格图片的数据集，将所述数据集中的内容图片和风格图片进行预处理，从预处理后的数据集中随机抽取内容图片和风格图片分别建立测试集和训练集；
S2、构建全局信息引导网络；
S21、所述全局信息引导网络为编码器-解码器结构，首先使用预训练的VGG-19作为编码器分别对内容图片和风格图片进行编码，并分别提取内容图片和风格图片在不同层的特征，输出内容特征和风格特征；
S22、将提取到的对应层次的内容特征和风格特征输入到分区自适应实例归一化模块进行实例归一化，得到的浅层特征通过下采样模块后与下一层的深层特征逐元素相加进行特征传递；
S23、将步骤S22输出的特征进行卷积操作，然后经过双线性插值上采样操作后送入跨通道分区注意力模块，接下来通过跳连接将跨通道分区注意力模块输出的特征与实例归一化操作得到的同尺度特征进行通道拼接；
S24、最后将步骤S23中得到的特征进行卷积操作后送入解码器，得到风格迁移后的生成图片；
S3、训练优化全局信息引导网络；
S31、将所述训练集输入到构建好的全局信息引导网络中，对网络进行优化训练，利用步骤S21中的编码器作为损失网络进行内容损失和风格损失计算，具体的表达为：内容损失的内容损失函数为：
式中F[O]为生成图片送入VGG-19提取到的conv4-1层特征，F[C]为内容图片送入VGG-19提取到的conv4-1层特征；风格损失的风格损失函数为：
式中F[O]为生成图片送入VGG-19提取到的特征，F[S]表示风格图片送入VGG-19提取到的特征；
S32、将表示生成图片和风格图片各个颜色通道的二维矩阵展平成一维向量，并将向量按数值大小进行升序排序，然后将向量均分成相同数量像素的色彩区域，分别对各个色彩区域取均值，得到均值向量，计算生成图片和风格图片均值向量的均方误差，得到色域均值损失函数；
S33、利用梯度损失函数
计算梯度损失，其中
为索贝尔算子；
S34、将内容损失函数、风格损失函数、色域均值损失函数以及梯度损失函数线性组合成一个新的损失函数作为总损失函数；
S35、采用Adam优化器，通过反向传播算法，最小化总损失函数，按照设定的学习率进行参数的迭代更新，直至损失趋于平衡，停止迭代，保存训练好的网络；
S4、测试训练好的全局信息引导网络；
将所述测试集输入训练好的全局信息引导网络中，输出风格迁移后的生成图片，通过SSIM和PSNR指标来判别生成图片分别与原内容图片和风格图片相比是否失真，若否，保留下网络；若是，则重新进行步骤v3，调整损失函数的权重和训练轮数；
S5、对内容图片和风格图片进行风格迁移；
获取内容图片和风格图片，将内容图片和风格图片输入到训练好的全局信息引导网络进行风格迁移，输出风格迁移后的生成图片。
2.根据权利要求1所述的一种基于全局信息引导网络实现真实图像风格迁移的方法，其特征在于：所述分区自适应实例归一化包括先将内容特征和风格特征各通道内像素按数值进行排序并均分成像素数量相等的分区，计算各分区内内容特征和风格特征的方差和均值，然后按照排序后的对应位置实现各分区内容特征和风格特征的自适应实例归一化，完成归一化后将各像素位置的顺序还原。
3.根据权利要求1所述的一种基于全局信息引导网络实现真实图像风格迁移的方法，其特征在于：所述跨通道分区注意力模块包括对施加十字交叉注意力得到的特征进行卷积操作，将各通道上的特征按数值升序排序并均分成含相同数量像素的区间，计算各区间的平均值，并表示成向量，得到均值向量，进行挤压激发操作得到各通道的权重向量，将权重向量与对应的区间相乘，并将各像素位置还原。
4.根据权利要求1所述的一种基于全局信息引导网络实现真实图像风格迁移的方法，其特征在于：步骤S1中对所述内容图片和风格图片进行预处理包括：将所述内容图片和所述风格图片统一裁剪成256×256尺寸，并将所述内容图片和所述风格图片的像素值进行归一化至范围[-1，1]。
5.根据权利要求1所述的一种基于全局信息引导网络实现真实图像风格迁移的方法，其特征在于：所述VGG-19网络分别提取内容图片和风格图片在conv1_1、conv2_1、conv3_1和conv4_1层的特征，输出内容特征和风格特征。
6.根据权利要求1所述的一种基于全局信息引导网络实现真实图像风格迁移的方法，其特征在于：所述编码器共有四个卷积层，各卷积层的卷积核大小均为3×3，下一层卷积核个数是上一层的两倍，所述卷积层均采用ReLU函数作为激活函数。
7.根据权利要求1所述的一种基于全局信息引导网络实现真实图像风格迁移的方法，其特征在于：所述色域均值损失函数的计算公式为：
其中c为颜色通道数量，p为通道色域数量，Ovij为生成图片第i个颜色通道第j个色域的均值向量，Svij为风格图片第i个颜色通道第j个色域的均值向量。
8.根据权利要求1所述的一种基于全局信息引导网络实现真实图像风格迁移的方法，其特征在于：所述总损失函数的计算公式为：
式中λ1，λ2，λ3和λ4为权重超参数。
9.根据权利要求1所述的一种基于全局信息引导网络实现真实图像风格迁移的方法，其特征在于：所述Adam优化器中，设置指数衰减率β1＝0.9，指数衰减率β2＝0.999，∈＝10-8。
10.根据权利要求1所述的一种基于全局信息引导网络实现真实图像风格迁移的方法，其特征在于：网络训练使用动态的学习率衰减策略，当前学习率
式中epoch为当前训练轮次，网络的初始学习率lrorigin设置为10-3，学习率衰减值lrdecay设置为0.05。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110891687.2A CN113570500A (zh) | 2021-08-04 | 2021-08-04 | 一种基于全局信息引导网络实现真实图像风格迁移的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110891687.2A CN113570500A (zh) | 2021-08-04 | 2021-08-04 | 一种基于全局信息引导网络实现真实图像风格迁移的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113570500A true CN113570500A (zh) | 2021-10-29 |
Family
ID=78170348
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110891687.2A Pending CN113570500A (zh) | 2021-08-04 | 2021-08-04 | 一种基于全局信息引导网络实现真实图像风格迁移的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113570500A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114025198A (zh) * | 2021-11-08 | 2022-02-08 | 深圳万兴软件有限公司 | 基于注意力机制的视频卡通化方法、装置、设备及介质 |
| CN115272687A (zh) * | 2022-07-11 | 2022-11-01 | 哈尔滨工业大学 | 单样本自适应域生成器迁移方法 |
| CN116309032A (zh) * | 2023-05-24 | 2023-06-23 | 南昌航空大学 | 一种图片处理方法、系统及计算机 |
| CN117726990A (zh) * | 2023-12-27 | 2024-03-19 | 浙江恒逸石化有限公司 | 纺丝车间的检测方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180357800A1 (en) * | 2017-06-09 | 2018-12-13 | Adobe Systems Incorporated | Multimodal style-transfer network for applying style features from multi-resolution style exemplars to input images |
| CN109189985A (zh) * | 2018-08-17 | 2019-01-11 | 北京达佳互联信息技术有限公司 | 文本风格处理方法、装置、电子设备及存储介质 |
| CN109712068A (zh) * | 2018-12-21 | 2019-05-03 | 云南大学 | 用于葫芦烙画的图像风格迁移与模拟方法 |
| CN109949214A (zh) * | 2019-03-26 | 2019-06-28 | 湖北工业大学 | 一种图像风格迁移方法及系统 |
| CN111242841A (zh) * | 2020-01-15 | 2020-06-05 | 杭州电子科技大学 | 一种基于语义分割和深度学习的图片背景风格迁移方法 |
-
2021
- 2021-08-04 CN CN202110891687.2A patent/CN113570500A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180357800A1 (en) * | 2017-06-09 | 2018-12-13 | Adobe Systems Incorporated | Multimodal style-transfer network for applying style features from multi-resolution style exemplars to input images |
| CN109189985A (zh) * | 2018-08-17 | 2019-01-11 | 北京达佳互联信息技术有限公司 | 文本风格处理方法、装置、电子设备及存储介质 |
| CN109712068A (zh) * | 2018-12-21 | 2019-05-03 | 云南大学 | 用于葫芦烙画的图像风格迁移与模拟方法 |
| CN109949214A (zh) * | 2019-03-26 | 2019-06-28 | 湖北工业大学 | 一种图像风格迁移方法及系统 |
| CN111242841A (zh) * | 2020-01-15 | 2020-06-05 | 杭州电子科技大学 | 一种基于语义分割和深度学习的图片背景风格迁移方法 |
Non-Patent Citations (1)
| Title |
|---|
| 陈小娥;: "基于深度学习的图像风格迁移算法研究与实现", 长春工程学院学报(自然科学版), no. 02, 15 June 2020 (2020-06-15), pages 88 - 93 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114025198A (zh) * | 2021-11-08 | 2022-02-08 | 深圳万兴软件有限公司 | 基于注意力机制的视频卡通化方法、装置、设备及介质 |
| CN115272687A (zh) * | 2022-07-11 | 2022-11-01 | 哈尔滨工业大学 | 单样本自适应域生成器迁移方法 |
| CN116309032A (zh) * | 2023-05-24 | 2023-06-23 | 南昌航空大学 | 一种图片处理方法、系统及计算机 |
| CN116309032B (zh) * | 2023-05-24 | 2023-07-28 | 南昌航空大学 | 一种图片处理方法、系统及计算机 |
| CN117726990A (zh) * | 2023-12-27 | 2024-03-19 | 浙江恒逸石化有限公司 | 纺丝车间的检测方法、装置、电子设备及存储介质 |
| CN117726990B (zh) * | 2023-12-27 | 2024-05-03 | 浙江恒逸石化有限公司 | 纺丝车间的检测方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113570500A (zh) | 一种基于全局信息引导网络实现真实图像风格迁移的方法 | |
| CN110363716B (zh) | 一种基于条件生成对抗网络复合降质图像高质量重建方法 | |
| CN109087273B (zh) | 基于增强的神经网络的图像复原方法、存储介质及系统 | |
| CN111429347A (zh) | 图像超分辨率重建方法、装置及计算机可读存储介质 | |
| CN110060204B (zh) | 一种基于可逆网络的单一图像超分辨率方法 | |
| CN110717868B (zh) | 视频高动态范围反色调映射模型构建、映射方法及装置 | |
| EP1069529A2 (en) | Representing digital images in a plurality of image processing states | |
| US11599980B2 (en) | Image transformation using interpretable transformation parameters | |
| CN110853110A (zh) | 一种基于生成对抗网络的图片自动调色方法 | |
| CN112884650B (zh) | 一种基于自适应纹理蒸馏的图像混合超分辨率方法 | |
| CN116309232B (zh) | 一种结合物理先验与深度学习的水下图像增强方法 | |
| CN115170915A (zh) | 一种基于端到端注意力网络的红外与可见光图像融合方法 | |
| CN112132158A (zh) | 一种基于自编码网络的可视化图片信息嵌入方法 | |
| KR20220008135A (ko) | 영상 초해상도 처리 방법 및 장치 | |
| CN116977531A (zh) | 三维纹理图像的生成方法、装置、计算机设备和存储介质 | |
| CN114881879A (zh) | 一种基于亮度补偿残差网络的水下图像增强方法 | |
| CN114359039A (zh) | 基于知识蒸馏的图像超分方法 | |
| CN112837212A (zh) | 一种基于流形对齐的图像任意风格迁移方法 | |
| CN111667401A (zh) | 多层次渐变图像风格迁移方法及系统 | |
| CN114862699A (zh) | 基于生成对抗网络的人脸修复方法、装置及存储介质 | |
| CN115082306A (zh) | 一种基于蓝图可分离残差网络的图像超分辨率方法 | |
| CN114549314A (zh) | 一种提高图像分辨率的方法 | |
| Abbas et al. | GA based rational cubic B-spline representation for still image interpolation | |
| CN113240589A (zh) | 一种多尺度特征融合的图像去雾方法及系统 | |
| CN111598189B (zh) | 产生式模型的训练方法、数据生成方法、装置、介质和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |