CN113112397A - 一种基于风格与内容解耦的图像风格迁移方法 - Google Patents

Abstract

本发明提出一种基于风格与内容解耦的图像风格迁移方法，具体涉及图像风格迁移神经网络和损失度量网络。风格迁移神经网络是用于该任务的任意前馈网络，损失度量网络由风格特征提取模块和内容特征提取模块组成。训练步骤如下：将风格迁移结果图与原内容图送入损失度量网络的内容特征提取模块，计算内容重建损失；将风格迁移结果图与原风格图像送入损失度量网络的风格特征提取模块，计算风格损失；通过损失度量网络训练图像风格迁移网络，使其生成的图像保留原图内容，且具备特定风格图的风格特征。本发明通过解耦风格和内容损失度量过程，使得所训练的风格迁移网络能够有效摒除来自风格图中内容的干扰。

Description

一种基于风格与内容解耦的图像风格迁移方法

技术领域

本发明涉及深度学习在计算机视觉、图像风格迁移领域的应用，具体涉及一种基于风格与内容解耦的图像风格迁移方法。

背景技术

图像风格迁移是指利用算法学习某一特定图像的风格并将这种风格渲染到另一张图像上且不改变画面的主体内容的技术。该技术在社交媒体、影视创作辅助工具等方面的图像处理中具有广泛的应用价值。

传统的图像风格迁移方法(亦称作图像的非真实感渲染)分为两类：一类是计算机自动绘制生成所需的艺术风格图像，例如基于颜色传输、基于纹理合成的风格合成。另一类是基于过程的模拟，即基于笔刷的非真实感艺术渲染。基于颜色传输的风格化方法利用图像整体的颜色统计信息和聚类的思想进行风格表征；基于纹理合成的风格化方法参考风格图像纹理的形成方式利用图像局部块的统计量进行风格表征；基于笔刷的非真实感艺术渲染通过控制笔刷的参数模拟艺术家的绘画过程实现不同的风格。传统方法的不足之处在于所学习的风格太过局限且需根据不同的风格设计不同的数学模型，同时风格化效果不尽如人意。

深度神经网络近年来在图像处理和分析中取得了惊人的进展，利用深度神经网络进行的图像风格迁移目前取得了较为可观的效果，这些方法将图像的特征表示分为内容特征和风格特征，以重新组合的方式，将一张图像的风格迁移到另一张图图像上。Gatys等人在2016年的CVPR上发表的“Image Style Transfer Using Convolutional NeuralNetworks”最早提出基于神经网络的风格迁移方法，该方法利用预训练的卷积神经网络提取的特征作为图像的特征表达，通过迭代的方式约束图像风格的表征，最终达到图像风格化效果。Johnson等人在2016年的ECCV上发表的“Perceptual Loss for ImageTranslation and Style Transfer”提出基于前馈网络的图像风格迁移方法，该方法利用感知损失函数进一步加快神经网络风格迁移的速度。图像神经风格迁移一经提出，便受到了业界的广泛关注，相比传统方法，神经风格迁移的效果更加生动多变，然而，现有方法中的风格表征并非真正合适，由于现有方法中使用的预训练卷积神经网络本身用于现实环境下的物体分类，使得使用该预训练网络提取抽象图像风格(如：油画、水墨画等)所需的风格表征时，无法提取到合适且有利于风格表征的特征信息，导致最终风格渲染效果无法达到预期。

发明内容

针对现有技术的不足，本发明提出了一种基于风格与内容解耦的图像风格迁移方法，通过重新训练提取特征的神经网络和风格相似性任务，本发明设计专注于风格特征提取的模块，进而实现风格与内容的解耦，将风格迁移到内容图像上得到风格渲染图像。

本发明通过以下技术方案实现：

步骤1，模型设计。

该发明的模型由图像风格转换神经网络和基于风格与内容解耦的损失度量网络两部分组成。所述图像风格转换网络可以是适用于风格迁移的任意前馈网络；所述基于风格与内容解耦的损失度量网络包含风格特征提取模块、内容特征提取模块。其中，内容特征提取模块采用预训练好的VGG-16网络模型；风格特征提取模块根据风格度量任务特点，改进Gatys等人方法使用的VGG-19深度卷积神经网络结构得来。

步骤2，模型训练。

步骤2.1，使用风格数据集S预先训练损失度量网络中用于提取风格表征的风格特征提取模块。

步骤2.2，将待渲染的内容图像x输入到图像风格转换网络中，输入图像为RGB彩色图像，将其在图像转换网络中进行批归一化处理转换成风格迁移后的结果图y′进行输出。

步骤2.3，将步骤2.2得到的输出图像y′与原内容图像y_c输入到损失度量网络的内容特征提取模块中，计算内容重建损失。

步骤2.4，将步骤2.2得到的输出图像y′与原风格图像y_s输入到损失度量网络的风格特征提取模块中，使用Gram矩阵差异计算风格损失。

步骤2.5，基于风格与内容解耦的损失度量网络，使用现有数据集作为内容图像进行训练，通过主流优化算法优化本发明中的神经风格迁移模型。

步骤2.6，循环执行步骤2.2-2.5，直到该神经风格迁移网络收敛，保存训练好的模型文件。

步骤3，模型使用。

选取待渲染的图像，将其作为内容图像输入到已保存的模型中，最终得到风格迁移后的结果图。

进一步地，步骤2.1中风格特征提取模块的训练过程如下：首先使用风格数据集S中不同流派的风格图并通过随机切块的方式对数据集进行增强。然后，将所得到的风格图图像块输入到步骤1的风格特征提取模块中，通过设置较小的学习率(本发明实例中为10^-3)进行风格相似性训练得到风格聚类结果。训练过程使用三元组损失函数引导风格聚类并对聚类结果计算交叉熵损失以约束网络训练学习。最后，固定训练参数得到可移植的风格特征提取模块。

本发明的有益结果：

本发明的重点和难点在于实现图像风格与内容的解耦，通过内容特征提取模块使用预训练的VGG-16网络模型提取内容特征；根据风格度量任务特点改进深度卷积神经网络结构得到可移植的风格特征提取模块，并通过该模块使用三元组度量损失函数引导不同风格的聚类，计算交叉熵损失从而约束网络专注提取更合适的且更有利于表达的风格特征。实验结果表明，本文提出的基于风格与内容解耦的图像风格迁移方法在保全图像内容的同时还原风格，使结果图具备较多风格细节，渲染效果更佳。

附图说明

图1为本发明的基于风格与内容解耦的图像风格迁移方法的流程图；

图2为风格特征提取模块网络结构；

图3为图像风格迁移实验结果对比图。

具体实施方式

下面结合附图详细说明本发明的具体实施方式。

如图1所示，本发明提出了一种基于风格与内容解耦的图像风格迁移方法，具体步骤如下：

步骤1，模型设计。

该发明的模型由图像风格转换神经网络和基于风格与内容解耦的损失度量网络两部分组成。

本发明所述图像风格转换网络属于一个残差网络，该网络由3个卷积层、5个残差块、3个上采样卷积层构成。

本发明所述基于风格与内容解耦的损失度量网络包含风格特征提取模块、内容特征提取模块。其中，内容特征提取模块采用预训练好的VGG-16网络模型；风格特征提取模块的具体设计如下：

为使神经网络在前向传递过程中尽可能地更新不同卷积层的参数，改进Gatys等人方法使用的预训练VGG-19深度卷积神经网络的结构，具体做法是用两层全连接层替换原VGG-19网络的全连接层，替换后的第一层全连接层用于风格相似性度量学习，替换后的第二层全连接层用于不同风格种类的分类学习。风格特征提取模块网络结构如图2。

步骤2，模型训练。

步骤2.1，使用Wikiart风格数据集S预先训练损失度量网络中用于提取风格表征的风格特征提取模块。

步骤2.1.1，从Wikiart风格图数据集S中选取数目较多的20种风格流派的风格图，其类别分别为：Abstract Art，Abstract Expressionism，Academicism，Art Informel，Baroque，Color Field Painting，Cubism，Early Renaissance，Expressionism，HighRenaissance，Impressionism，Magic Realism，Mannerism(Late Renaissance)，Neoclassicism，Northern Renaissance，Pop Art，Post-Impressionism，Realism，Symbolism，Ukiyo-e.

为使深度卷积神经网络高质量捕捉风格信息而忽略内容信息，本发明通过随机切块的方式对数据集进行增强，将每一张风格图随机切分为10块。

步骤2.1.2，将步骤2.1.1随机切分后得到的风格图图像块输入到步骤1风格特征提取模块的深度卷积神经网络VGG中进行风格相似性训练得到风格聚类结果。训练时，初始化参数为预训练的VGG网络参数，由于网络的前两层卷积层作为最底层卷积块用于提取图像的底层纹理特征，故不更新网络的前两层Conv1_1、Conv1_2的参数，其他层网络以较小的学习率(10-³)更新参数。

步骤2.1.3，距离度量学习可以衡量不同图像数据之间的相似度，而深度度量学习的关键之处是设计损失函数以约束神经网络从而挖掘数据样本的关系。在本发明中，为使相似样本足够近，使不相似的样本尽可能远，基于步骤2.1.2，本发明在步骤1损失度量网络部分的风格特征提取模块改进部分的第一层全连接层所提取特征中，使用三元组损失函数引导风格聚类，该损失函数具体定义如下：

L_tri(S_i，S_j，Sk)＝|D_ik-D_jk+m|；

其中S_k表示当前样本(称为Anchor)，S_i表示正样本，S_j表示负样本，D_ik、D_jk分别代表Anchor与正样本、Anchor与负样本的距离，m代表设定的样本对距离的阈值，m用的是1.2，当正样本对与负样本对的距离相差小于m时，说明网络模型已训好。

步骤2.1.4，为使步骤1损失度量网络部分的风格特征提取模块专注于提取风格特征，对步骤2.1.2所得的聚类结果进行交叉熵损失计算，交叉熵损失计算的具体定义如下：

其中，S_i代表数据集S中的某一风格图像样本，p代表步骤2.1.1输入数据的真实分布，q代表通过步骤1改进版神经网络VGG的预测得来的分布。

步骤2.1.5，循环执行步骤2.1.1-2.1.4，直到该VGG模块收敛，进一步固定步骤2.1.2训练参数得到可移植的风格特征提取模块。学习率固定为10^-3。

步骤2.2，将待渲染的内容图像x输入到图像风格转换网络中，输入图像为RGB彩色图像，通过y＝fw(x)映射转换成结果图y′并输出。

步骤2.3，将步骤2.2得到的输出图像y′与原内容图像y_c输入到损失度量网络的内容特征提取模块中，计算该模块VGG-16网络relu3_3层输出特征的差异作为内容重建损失，该损失函数定义如下：

其中，F为该层提取到的特征，W、H、C分别为特征的宽、高、通道数，

计算的是同一层两个特征图之间的欧氏距离。

步骤2.4，将步骤2.2得到的输出图像y′与原风格图像y_s输入到损失度量网络的风格特征提取模块中，使用步骤1风格特征提取模块的Conv1_2层,Conv2_2层,Conv3_3层,Conv4_3层所提取的原风格图y_s特征与结果图y′特征并对其进行Gram矩阵计算，将两者Gram矩阵的差异作为风格损失，该损失函数具体定义如下：

其中，W、H、C分别为特征的宽、高、通道数，F为该层提取到的特征，特征F′为特征F的转置，特征与特征转置进行乘积得到由G(·)表示图像y′/y_s的C×C的Gram矩阵。

步骤2.5，基于风格与内容解耦的损失度量网络，使用COCO数据集作为内容图像进行训练：

学习率固定为0.001，训练35个epoch。

训练时，通过Adam算法优化本发明中的神经风格迁移模型并在图像风格转换网络中不断更新参数，使得内容重建损失和风格损失达到最小并趋于稳定；

步骤2.6，经过训练，保存该神经风格迁移网络收敛后的模型文件。

步骤3，模型使用。

选取待渲染的图像，将其作为内容图像输入到已保存的模型中，最终得到风格迁移后的结果图。

本发明在相同条件下与Johnson等人在2016年的ECCV上发表的“Perceptual Lossfor Image Translation and Style Transfer”中的方法进行了实验对比，图2为风格迁移的实验结果，在对风格图1进行风格迁移时，Johnson等人的方法错把本不属于风格的“眼睛”作为风格纹理特征迁移到了结果图中，导致结果图中在不同位置出现“眼睛”的情况；而本发明提出的基于风格与内容解耦的方法由于提取了更合适的且更有利于表达的风格特征，使得在结果图中不会出现类似错把“眼睛”当成风格纹理的不良效果，本发明仅保持了风格图中原有的纹理质感，得到了与风格图更为相似的结果。相比风格图1的写实风格，在对更为抽象的风格图2、风格图3的迁移结果图中，本发明同样取得了不错的效果，相比Johnson等人的方法，在保证还原内容的同时，具备更多的风格细节，视觉效果更佳。

Claims (4)

1.一种基于风格与内容解耦的图像风格迁移方法，其特征在于，包括以下步骤：

步骤1，模型设计

模型由图像风格转换神经网络和基于风格与内容解耦的损失度量网络两部分组成；

所述基于风格与内容解耦的损失度量网络包含风格特征提取模块、内容特征提取模块；其中，内容特征提取模块采用预训练好的VGG-16网络模型；

步骤2，模型训练，具体包括如下步骤：

步骤2.1，使用风格数据集S预先训练损失度量网络中用于提取风格表征的风格特征提取模块；

步骤2.2，将待渲染的内容图像x输入到图像风格转换网络中，输入图像为RGB彩色图像，将其在图像转换网络中进行批归一化处理转换成风格迁移后的结果图y′进行输出；

步骤2.3，将步骤2.2得到的输出图像y′与原内容图像y_c输入到损失度量网络的内容特征提取模块中，计算内容重建损失；

步骤2.4，将步骤2.2得到的输出图像y′与原风格图像y_s输入到损失度量网络的风格特征提取模块中，使用Gram矩阵差异计算风格损失；

步骤2.5，基于风格与内容解耦的损失度量网络，使用现有数据集作为内容图像进行训练，通过优化算法优化神经风格迁移模型；

步骤2.6，循环执行步骤2.2-2.5，直到该神经风格迁移网络收敛，保存训练好的模型文件；

步骤3，模型使用；

选取待渲染的图像，将其作为内容图像输入到已保存的模型中，最终得到风格迁移后的结果图。

2.根据权利要求1所述的方法，其特征在于，步骤2.1中风格特征提取模块的训练过程如下：首先使用风格数据集S中不同流派的风格图并通过随机切块的方式对数据集进行增强；然后，将所得到的风格图图像块输入到步骤1的风格特征提取模块中，通过设置学习率为10^-3进行风格相似性训练得到风格聚类结果；训练过程使用三元组损失函数引导风格聚类并对聚类结果计算交叉熵损失以约束网络训练学习；最后，固定训练参数得到可移植的风格特征提取模块。

3.根据权利要求1所述的方法，其特征在于：

步骤1中所述图像风格转换网络属于一个残差网络，该网络由3个卷积层、5个残差块、3个上采样卷积层构成；

所述基于风格与内容解耦的损失度量网络包含风格特征提取模块、内容特征提取模块；其中，内容特征提取模块采用预训练好的VGG-16网络模型；风格特征提取模块的具体设计如下：

改进VGG-19深度卷积神经网络的结构，具体做法是用两层全连接层替换原VGG-19网络的全连接层，替换后的第一层全连接层用于风格相似性度量学习，替换后的第二层全连接层用于不同风格种类的分类学习。

4.根据权利要求1所述的方法，其特征在于，步骤具体包括如下步骤：

步骤2.1.1：从风格图数据集S中选取不同风格流派的风格图，通过随机切块的方式对数据集进行增强，将每一张风格图随机切分为10块；

步骤2.1.2：将随机切分后得到的风格图图像块输入到步骤1风格特征提取模块的深度卷积神经网络VGG中进行风格相似性训练得到风格聚类结果；训练时，初始化参数为预训练的VGG网络参数，由于网络的前两层卷积层作为最底层卷积块用于提取图像的底层纹理特征，故不更新网络的前两层Conv1_1、Conv1_2的参数，其他层网络以学习率10^-3更新参数；

步骤2.1.3：在步骤1损失度量网络部分的风格特征提取模块改进部分的第一层全连接层所提取特征中，使用三元组损失函数引导风格聚类，该损失函数具体定义如下：

L_tri(S_i,S_j,S_k)＝|D_ik-D_jk+m|；

其中S_k表示当前样本称为Anchor，S_i表示正样本，S_j表示负样本，D_ik、D_jk分别代表Anchor与正样本、Anchor与负样本的距离，m代表设定的样本对距离的阈值，当正样本对与负样本对的距离相差小于m时，说明网络模型已训好；

步骤2.1.4，为使步骤1损失度量网络部分的风格特征提取模块专注于提取风格特征，对步骤2.1.2所得的聚类结果进行交叉熵损失计算，交叉熵损失计算的具体定义如下：

其中，S_i代表数据集S中的某一风格图像样本，p代表步骤2.1.1输入数据的真实分布，q代表通过步骤1改进版神经网络VGG的预测得来的分布；

步骤2.1.5，循环执行步骤2.1.1-2.1.4，直到该VGG模块收敛，学习率固定为10^-3；

步骤2.2，将待渲染的内容图像x输入到图像风格转换网络中，输入图像为RGB彩色图像，通过y＝fw(x)映射转换成结果图y′并输出；

步骤2.3，将步骤2.2得到的输出图像y′与原内容图像y_c输入到损失度量网络的内容特征提取模块中，计算该模块VGG-16网络relu3_3层输出特征的差异作为内容重建损失，该损失函数定义如下：

其中，F为该层提取到的特征，W、H、C分别为特征的宽、高、通道数，‖·‖2₂计算的是同一层两个特征图之间的欧氏距离；

步骤2.4，将步骤2.2得到的输出图像y′与原风格图像y_s输入到损失度量网络的风格特征提取模块中，使用步骤1风格特征提取模块的Conv1_2层,Conv2_2层,Conv3_3层,Conv4_3层所提取的原风格图y_s特征与结果图y′特征并对其进行Gram矩阵计算，将两者Gram矩阵的差异作为风格损失，该损失函数具体定义如下：

其中，W、H、C分别为特征的宽、高、通道数，F为该层提取到的特征，特征F′为特征F的转置，特征与特征转置进行乘积得到由G(·)表示图像y′/y_s的C×C的Gram矩阵；

步骤2.5，基于风格与内容解耦的损失度量网络，使用COCO数据集作为内容图像进行训练：

学习率固定为0.001，训练35个以上epoch；

训练时，通过Adam算法优化神经风格迁移模型并在图像风格转换网络中不断更新参数，使得内容重建损失和风格损失达到最小并神经风格迁移网络收敛；

步骤2.6，经过训练，保存该神经风格迁移网络收敛后的模型文件。

Images