CN113496460B - 一种基于特征调整的神经风格迁移方法及系统 - Google Patents

Abstract

本发明公开一种基于特征调整的神经风格迁移方法及系统，属于图像与视频风格化领域，训练主要由内容编码器、风格编码器、装饰器和解码器组成的神经风格迁移网络模型，输入目标内容图像或视频帧和参考风格图像，得到风格迁移结果图像或视频帧，通过调整神经网络的特征空间与通道两个维度的分布，只需要一次参数前传就可以实现效果良好的风格迁移。

Description

一种基于特征调整的神经风格迁移方法及系统

技术领域

本发明属于图像与视频风格化领域，具体设计一种基于特征调整的神经风格迁移方法及系统。

背景技术

风格迁移旨在将特定图像的风格迁移到给定目标图像或视频上，实现风格图像或视频的批量生成。近几年，风格迁移越来越受到学术界的关注。

风格迁移方法可以分为三类。基于块匹配的方法，在参考风格图像和目标内容图像之间建立块的匹配关系，通过块的迁移与融合实现风格迁移。基于迭代的深度学习方法，使用在大型数据集上预训练的分类神经网络提取特征，使用特征的均方误差作为内容损失函数项，使用特征分布的距离作为风格损失函数项，通过迭代和最小化损失函数实现风格迁移。基于前传的深度学习方法，设计具有风格迁移功能的模块，在大型数据集上训练，推理时只需要一次参数前传。

但是，基于块匹配的方法无法迁移风格的语义信息，基于迭代的深度学习方法需要漫长的迭代过程和复杂的计算量，已有的基于前传的深度学习方法风格迁移效果不佳，均无法满足实际应用的需求。

发明内容

针对上述技术问题，本发明提出了一种基于特征调整的神经风格迁移方法及系统。本发明能够将指定的参考风格图像的艺术表征迁移至目标内容图像或视频帧，实现对目标内容图像或视频帧的风格化，提升其主观视觉质量与艺术效果。

本发明采用的技术方案如下：

一种基于特征调整的神经风格迁移方法，包括以下步骤：

利用训练数据集，训练神经风格迁移网络模型；该神经风格迁移网络模型包括内容编码器、风格编码器、装饰器和解码器；内容编码器和风格编码器均包括连续的若干个卷积层，每个卷积层后跟随一个线性整流函数，中间不相邻的部分卷积层和最后卷积层前使用最大池化进行下采样；装饰器包括一个单样本规范化层和在后的若干个风格装饰模块；解码器包括若干个相互交替的自适应单样本规范化层和残差块，以及位于末尾的一个卷积层；

将目标内容图像或视频帧和参考风格图像输入到训练好的神经风格迁移网络模型中进行进行以下步骤的处理：

将目标内容图像或视频帧输入到内容编码器中，处理得到内容编码；

将参考风格图像输入到风格编码器中，首个卷积层和含有最大池化的卷积层分别输出风格编码；

将内容编码输入到装饰器中，同时在各个风格装饰模块中输入风格编码；

将装饰器输出的内容输入到解码器中，在各个自适应单样本规范化层中还依次输入风格编码器不同层的风格编码的均值和方差，处理得到最终的风格迁移结果图像或视频帧。

进一步地，训练数据集包括由摄影图像组成的内容数据集和由绘画图像组成的风格数据集；训练时，将内容数据集输入到内容编码器中，将风格数据集输入到风格编码器中。

进一步地，内容编码器和风格编码器的卷积层均为9个，其中第3、5、9个卷积层前使用最大池化进行下采样；装饰器的风格装饰模块为3个；解码器的自适应单样本规范化层为4个，残差块为3个，卷积层为1个。

进一步地，风格装饰模块包括至少一卷积核预测单元、若干个卷积层和一个线性整流函数，卷积核预测单元包括卷积层、全局池化层、合并层和全连接层。

进一步地，残差块包括1个上采样层、3个卷积层、2个带泄露整流函数和2个单样本规范化层。

进一步地，残差块的上采样层将输入的数据采样后，分别输出给1个卷积层和由另外2个卷积层与2个带泄露整流函数和2个单样本规范化层交替组成的多层结构，两支数据相加汇合后作为输出。

一种基于特征调整的神经风格迁移系统，包括一神经风格迁移网络模型，其经训练后，通过输入目标内容图像或视频帧和参考风格图像，处理得到风格迁移结果图像或视频帧；该神经风格迁移网络模型包括：

内容编码器，包括连续的若干个卷积层，每个卷积层后跟随一个线性整流函数，中间不相邻的部分卷积层和最后卷积层前使用最大池化进行下采样；用于处理目标内容图像，得到内容编码；

风格编码器，包括连续的若干个卷积层，每个卷积层后跟随一个线性整流函数，中间不相邻的部分卷积层和最后卷积层前使用最大池化进行下采样；用于处理参考风格图像，首个卷积层和含有最大池化的卷积层分别输出风格编码；

装饰器，包括一个单样本规范化层和在后的若干个风格装饰模块；其中单样本规范化层用于接收内容编码并处理输出给风格装饰模块，风格装饰模块用于接收上层输入的数据同时接收风格编码进行综合处理并输出给下一层；

解码器，包括若干个相互交替的自适应单样本规范化层和残差块，以及位于末尾的一个卷积层；用于处理装饰器输出的内容，其中各个自适应单样本规范化层还依次输入风格编码器不同层的风格编码的均值和方差进行，处理得到最终的风格迁移结果图像或视频帧。

本发明通过调整神经网络的特征空间与通道两个维度的分布，只需要一次参数前传就可以实现效果良好的风格迁移。与已有技术相比，本发明在对目标内容的语义结构保持、对参考风格的表征、处理速度等方面取得更好的综合效果，并特别优化了目标内容为视频时对时域连续性的保持。

附图说明

图1为本发明实施例所使用的神经风格迁移网络的结构图。

图2为本发明实施例所使用的风格装饰模块的结构图。

图3A-3C为本发明实施例的目标内容图、参考风格图和风格迁移结果图。

具体实施方式

为使本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图作详细说明如下。需说明的是，以下实施例所给出的具体层数、模块数、函数数量以及对某些层的设置等都仅是一种较佳的实施方式，而不用于限制，本领域技术人员可以根据实际需要来选取数量和设置某些层，应可理解。

本实施例公开一种基于特征调整的神经风格迁移方法，以对目标内容图像进行风格迁移为例，具体说明如下：

步骤1：搜集大量摄影图像和大量绘画图像，摄影图像组成内容数据集，绘画图像组成风格数据集。

步骤2：搭建神经风格迁移网络模型。

网络结构如图1所示，模型分为内容编码器E_c、风格编码器E_s、装饰器M和解码器D四个子网络。内容编码器E_c由连续的9个卷积层组成，每个卷积层后跟随一个线性整流函数(ReLU)，第3、5、9个卷积层前使用最大池化进行下采样，最后一层的输出为内容编码L。风格编码器E_s与内容编码器E_c有相同的网络结构，但是在输出最后一层结果的基础上还输出第1、3、5层的结果。

装饰器M由一个单样本规范化层(Instance Normalization)和三个风格装饰模块组成，输入为内容编码L。风格装饰模块的结果如图2所示，在输入上一层输出的基础上，输入风格编码。上一层输出与风格编码输入卷积核预测单元，具体地，将上一层输出和风格编码依次经过一卷积层和一全局池化层，合并后再输入一全连接层，得到动态卷积核。将上一层输出依次经过若干卷积层、动态卷积层与线性整流函数交替组成的模块，并与原始输入相加，得到特征风格装饰结果。

解码器D由4个自适应单样本规范化层(Adaptive Instance Normalization)、3个残差块和1个卷积层交替组成。4个自适应单样本规范化层依次输入风格编码器不同层风格编码的均值与方差。残差块如图1所示，由一个最近邻上采样层、3个卷积层、两个带泄露整流函数(Leaky ReLU)和两个单样本规范化层组成。残差块的上采样层将输入的数据采样后，分别输出给1个卷积层和由另外2个卷积层与2个带泄露整流函数和2个单样本规范化层交替组成的多层结构，两支数据相加后作为输出。解码器的最终输出为风格迁移结果O。

步骤3：训练神经风格迁移网络模型。

模型的总损失函数项为：

L＝λ_styleL_style+λ_contentL_content+λ_reconL_recon+λ_tvL_tv+λ_tempL_temp，

式中，λ_style、λ_content、λ_recon、λ_tv和λ_temp是权重项，通常λ_style设置为20，λ_content设置为1，λ_recon设置为100，λ_tv设置为10，λ_temp设置为150。

L_style为风格损失函数项：

L_style＝∑_l(||Mean(Φ_l(S))-Mean(Φ_l(M(S,C)))||²+||Var(Φ_l(S))-Var(Φ_l(M(S,C)))||²)，

式中，Φ_l为预训练的图像分类模型的特征，Mean(·)为特征的均值，Var(·)为特征的方差，l通常取VGG19模型的RELU1_1，RELU2_1，RELU3_1，RELU4_1层，S为参考风格图像，C为目标内容图像，M(S,C)为风格迁移模型M输入S与C的风格迁移结果。

L_content为内容损失函数项：

L_content＝∑_l(||Φ_l(C)-Φ_l(M(S,C))||²)，

l通常取VGG19模型的RELU4_1层。

L_recon为重建损失函数项：

L_recon＝||M(I,I_Gray)-I||，

I或者为风格图像或者为内容图像，I_Gray为对I进行灰度化得到。

L_tv为全变分损失函数项，记Δ_X为水平方向的残差，记Δ_Y为垂直方向的残差，则全变分损失函数为：

L_tv＝||Δ_X(M(S,C))+Δ_Y(M(S,C))||。

L_temp为时域连续性损失函数项：

L_temp＝||M(S,F(C)+Δ)-F(M(S,C))||，

F为随机光流，首先生成一个与C长宽尺寸相同的二通道随机噪声图，然后对其进行高斯模糊。F(C)为使用光流F对图像C进行扭曲，对于每一个C的坐标为(w,h)的像素，水平光流为f_X，垂直方向光流为f_Y，则其新坐标为(w+f_X,h+f_Y)，使用最近邻插值完成该扭曲操作。

步骤3：推理阶段，输入参考风格图像S(见图3B)和目标内容图像或视频帧C(见图3A)，最终输出想要的风格迁移结果图(见图3C)。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。

Claims (10)

1.一种基于特征调整的神经风格迁移方法，其特征在于，包括以下步骤：

利用训练数据集，训练神经风格迁移网络模型；该神经风格迁移网络模型包括内容编码器、风格编码器、装饰器和解码器；内容编码器和风格编码器均包括连续的若干个卷积层，每个卷积层后跟随一个线性整流函数，中间不相邻的部分卷积层和最后卷积层前使用最大池化进行下采样；装饰器包括一个单样本规范化层和在后的若干个风格装饰模块；解码器包括若干个相互交替的自适应单样本规范化层和残差块，以及位于末尾的一个卷积层；

将目标内容图像或视频帧和参考风格图像输入到训练好的神经风格迁移网络模型中进行以下步骤的处理：

将目标内容图像或视频帧输入到内容编码器中，处理得到内容编码；

将参考风格图像输入到风格编码器中，首个卷积层和含有最大池化的卷积层分别输出风格编码；

将内容编码输入到装饰器中，同时在各个风格装饰模块中输入风格编码；

将装饰器输出的内容输入到解码器中，在各个自适应单样本规范化层中还依次输入风格编码器不同层的风格编码的均值和方差，处理得到最终的风格迁移结果图像或视频帧。

2.如权利要求1所述的方法，其特征在于，训练数据集包括由摄影图像组成的内容数据集和由绘画图像组成的风格数据集；训练时，将内容数据集输入到内容编码器中，将风格数据集输入到风格编码器中。

3.如权利要求1所述的方法，其特征在于，内容编码器和风格编码器的卷积层均为9个，其中第3、5、9个卷积层前使用最大池化进行下采样；装饰器的风格装饰模块为3个；解码器的自适应单样本规范化层为4个，残差块为3个，卷积层为1个。

4.如权利要求1所述的方法，其特征在于，风格装饰模块包括若干个卷积核预测单元、若干个卷积层和一个线性整流函数，卷积核预测单元包括卷积层、全局池化层、合并层和全连接层。

5.如权利要求1所述的方法，其特征在于，残差块包括1个上采样层、3个卷积层、2个带泄露整流函数和2个单样本规范化层。

6.如权利要求5所述的方法，其特征在于，残差块的上采样层将输入的数据采样后，分别输出给1个卷积层和由另外2个卷积层与2个带泄露整流函数和2个单样本规范化层交替组成的多层结构，两支数据相加后作为输出。

7.如权利要求1所述的方法，其特征在于，在各个风格装饰模块中输入风格编码器的最后一层卷积的风格编码。

8.如权利要求1所述的方法，其特征在于，在解码器的第一个自适应单样本规范化层中输入风格编码器的最后一层卷积的风格编码的均值和方差，再在第二个自适应单样本规范化层中输入风格编码器的倒数第二个含有最大池化的层卷积的风格编码的均值和方差，如此类推。

9.如权利要求1所述的方法，其特征在于，训练神经风格迁移网络模型时，总损失函数项为：

L＝λ_styleL_style+λ_contentL_content+λ_reconL_recon+λ_tvL_tv+λ_tempL_temp，

式中，λ_style、λ_content、λ_recon、λ_tv和λ_temp是权重项，L_style为风格损失函数项，L_content为内容损失函数项，L_recon为重建损失函数项，L_tv为全变分损失函数项，L_temp为时域连续性损失函数项；其中，

L_style＝∑_l(||Mean(Φ_l(S))-Mean(Φ_l(M(S,C)))||²+||Var(Φ_l(S))-Var(Φ_l(M(S,C)))||²)，

式中，Mean(·)为预训练的图像分类模型VGG19的特征的均值，Var(·)为特征的方差，l取RELU1_1，RELU2_1，RELU3_1，RELU4_1层，S为参考风格图像，C为目标内容图像或视频帧，M(S,C)为风格迁移模型M输入S与C的风格迁移结果；

L_content＝∑_l(||Φ_l(C)-Φ_l(M(S,C))||²)，

式中，l取预训练的图像分类模型VGG19的RELU4_1层；

L_recon＝||M(I,I_Gray)-I||，

式中，M(I,I_Gray)为使用I_Gray作为目标内容图像或视频帧得到的风格迁移结果，I为一内容图像或视频帧或风格图像，I_Gray为对I进行灰度化得到；

L_tv＝||Δ_X(M(S,C))+Δ_Y(M(S,C))||，

式中，Δ_X为水平方向的残差，记Δ_Y为垂直方向的残差；

L_temp＝||M(S,F(C)+Δ)-F(M(S,C))||，

式中，F为随机光流，首先生成一个与目标内容图像或视频帧C长宽尺寸相同的二通道随机噪声图，然后对其进行高斯模糊；F(C)为使用随机光流F对C进行扭曲，对于每一个C的坐标为(w,h)的像素，水平光流为f_X，垂直方向光流为f_Y，则其新坐标为(w+f_X,h+f_Y)，使用最近邻插值完成该扭曲操作。

10.一种基于特征调整的神经风格迁移系统，包括一神经风格迁移网络模型，其经训练后，通过输入目标内容图像或视频帧和参考风格图像，处理得到风格迁移结果图像或视频帧；其特征在于，该神经风格迁移网络模型包括：

内容编码器，包括连续的若干个卷积层，每个卷积层后跟随一个线性整流函数，中间不相邻的部分卷积层和最后卷积层前使用最大池化进行下采样；用于处理目标内容图像或视频帧，得到内容编码；

风格编码器，包括连续的若干个卷积层，每个卷积层后跟随一个线性整流函数，中间不相邻的部分卷积层和最后卷积层前使用最大池化进行下采样；用于处理参考风格图像，首个卷积层和含有最大池化的卷积层分别输出风格编码；

装饰器，包括一个单样本规范化层和在后的若干个风格装饰模块；其中单样本规范化层用于接收内容编码并处理输出给风格装饰模块，风格装饰模块用于接收上层输入的数据同时接收风格编码进行综合处理并输出给下一层；

解码器，包括若干个相互交替的自适应单样本规范化层和残差块，以及位于末尾的一个卷积层；用于处理装饰器输出的内容，其中各个自适应单样本规范化层还依次输入风格编码器不同层的风格编码的均值和方差进行处理，处理得到最终的风格迁移结果图像或视频帧。