CN109949214A - 一种图像风格迁移方法及系统 - Google Patents

Abstract

本发明公开了一种图像风格迁移方法及系统。本发明的风格迁移方法包括如下步骤：建立艺术风格迁移网络模型；确定所述艺术风格迁移网络模型的损失函数；获取训练集；利用所述训练集，根据所述损失函数训练所述艺术风格迁移网络模型，得到训练后的艺术风格迁移网络模型；采用所述训练后的艺术风格迁移网络模型对待处理的图像进行艺术风格迁移。本发明基于艺术风格迁移网络模型对内容图像进行艺术风格迁移提高了风格迁移的速度，并且基于损失函数对艺术风格迁移网络模型进行训练，使训练后的艺术风格迁移网络模型输出的生成图像更加有艺术性和艺术价值，解决了现有的风格迁移方法存在的艺术风格丢失或艺术风格迁移不完全的技术问题。

Description

一种图像风格迁移方法及系统

技术领域

本发明涉及图像处理领域，特别涉及一种图像风格迁移方法及系统。

背景技术

随着深度学习技术的发展，基于深度学习的艺术风格迁移技术正逐渐应用的越来越广。艺术风格迁移是将一幅图片的内容和另一幅艺术图片的风格结合，生成一张艺术化的图片的过程。一般地，艺术风格迁移需要的输入是一张内容图像和一张风格图像，其输出是风格化的新图像。艺术风格迁移集成了深度学习、模式识别和数字图像处理等多种专业技术。艺术风格迁移的关键有两点：(1)风格表征；(2)图像重建。风格表征，是指用什么方法来提取风格、表示风格以及如何建立模型(也叫纹理建模)。图像重建则是用特定的特征来重建出一张图像，这里所述的特定的特征对于新图像的重建至关重要。深度学习能够实现图像全局的特征提取，通过深度神经网络提取极为有效的图像特征。同时深度神经网络还可以用来提取艺术图片的艺术风格特征。艺术风格迁移方法所使用的深度学习网络结构的设计往往会直接影响到艺术风格迁移的效果。因此设计一种合适的深度学习网络结构是提高艺术风格迁移方法生成艺术图像的艺术性和艺术价值的重要任务之一。艺术风格迁移技术有着很广泛的应用：艺术风格迁移模型可以作为用户创作的辅助工具，特别是有助于画家更方便地创作特定风格的艺术作品，还有在创作计算机视觉图、时装设计等方面提供艺术创作的辅助作用。此外艺术风格迁移模型还可以应用于电影、动画和游戏的创作中，以降低创作成本，节省制作时间。

早期的艺术风格迁移方法主要包含以下四点：1、基于笔划的渲染；2、图像类比方法；3、图像滤波方法；4、纹理合成方法。这几类传统方法生成的艺术风格图像一般都存在艺术风格丢失或艺术风格迁移不完全的问题，从而容易导致生成的风格化图像缺乏艺术性。近年来，由深度学习所引领的人工智能技术浪潮，开始越来越广泛地应用到社会各个领域。这其中，人工智能与艺术的交叉碰撞，在相关的技术领域和艺术领域引起了高度关注。基于深度学习的艺术风格迁移技术成为了该浪潮中的典型代表。

在2015年，Gatys等人最先提出使用神经网络来做图像的艺术风格迁移。该方法在进行艺术风格迁移时都需要输入一张内容图和一张风格图，最后输出一张风格化的新图。但是这种方法特别耗时，难以满足大批量、实时性的艺术风格迁移需求。Justin Johnson等人在2016年提出了将感知损失用于实时快速的图像艺术风格迁移。该方法能快速地对大批量的内容图进行实时性的艺术风格迁移，但是输出的风格化图像和其他现有的方法一样都存在艺术风格欠缺或艺术性不强的问题。。

发明内容

本发明的目的是提供一种图像风格迁移方法及系统，以解决现有的风格迁移方法存在的艺术风格丢失或艺术风格迁移不完全的技术问题，并提高迁移速度，以满足大批量、实时性的艺术风格迁移需求。

为实现上述目的，本发明提供了如下方案：

本发明提供一种图像风格迁移方法，所述风格迁移方法包括如下步骤：

建立艺术风格迁移网络模型；

确定所述艺术风格迁移网络模型的损失函数；

获取训练集；

利用所述训练集，根据所述损失函数训练所述艺术风格迁移网络模型，得到训练后的艺术风格迁移网络模型；

采用所述训练后的艺术风格迁移网络模型对待处理的图像进行艺术风格迁移。

可选的，所述建立艺术风格迁移网络模型，具体包括：

构建预训练编码器；

构建待训练解码器；

将所述预训练编码器和所述待训练解码器呈U字形态组建，得到艺术风格迁移网络模型。

可选的，所述构建预训练编码器，具体包括：

构建并预训练ResNet49网络，得到训练后的ResNet49网络；

从所述训练后的ResNet49网络中抽出6组输出特征图的分辨率不同的卷积层，得到所述预训练编码器；其中，每组所述卷积层包括两个卷积层。

可选的，所述构建待训练解码器，具体包括：

建立包括10个卷积层的待训练解码器。

可选的，所述损失函数为：

Loss＝W_c×L_c+W_s×L_s

其中，Loss表示总损失值；L_c表示生成图像和内容图像之间的内容损失。L_s表示生成图像和风格图像之间的风格损失，W_c和W_s分别表示内容损失和风格损失占总损失的比例权重；L_c表示生成图像和内容图像之间的内容损失，x是生成图像，c是内容图像，和分别表示生成图像x和内容图像c输入到预训练的VGG16卷积神经网络后的第j层输出的特征图，C_j×H_j×W_j是预训练的VGG16卷积神经网络第j层输出的特征图的尺寸；L_s表示生成图像和风格图像之间的风格损失，s表示风格图像，和分别表示生成图像x和风格图像s输入预训练的VGG16卷积神经网络后的第j层输出的特征图对应的Gram矩阵。

可选的，所述利用所述训练集，根据所述损失函数训练所述艺术风格迁移网络模型，得到训练后的艺术风格迁移网络模型，具体包括：

初始化所述艺术风格迁移网络模型，将迭代次数设置为1；

将所述训练集中的内容图像和所述内容图像对应的风格图像输入初始化后的艺术风格迁移网络模型，得到生成图像；

利用所述损失函数，计算所述生成图像的总损失值；

判断迭代次数是否大于预设迭代次数；

若所述迭代次数大于预设迭代次数，则输出所述艺术风格迁移网络模型，得到训练后的艺术风格迁移网络模型；

若所述迭代次数不大于预设迭代次数，则将所述总损失值输入Adam优化器优化算法更新所述艺术风格迁移网络模型的权重参数，得到更新后的艺术风格迁移网络模型；

将所述训练集中的下一个内容图像所述内容图像对应的风格图像输入所述更新后的艺术风格迁移网络模型，得到生成图像，将迭代次数的数值增加1，返回步骤“利用所述损失函数，计算所述生成图像的总损失值”。

一种图像风格迁移系统，所述风格迁移系统包括：

模型建立模块，用于建立艺术风格迁移网络模型；

损失函数确定模块，用于确定所述艺术风格迁移网络模型的损失函数；

训练集获取模块，用于获取训练集；

训练模块，用于利用所述训练集，根据所述损失函数训练所述艺术风格迁移网络模型，得到训练后的艺术风格迁移网络模型；

风格迁移模块，用于采用所述训练后的艺术风格迁移网络模型对待处理的图像进行艺术风格迁移。

可选的，所述建立艺术风格迁移网络模型，具体包括：

预训练编码器构建子模块，用于构建预训练编码器；

待训练解码器构建子模块，用于构建待训练解码器；

艺术风格迁移网络模型组建子模块，用于将所述预训练编码器和所述待训练解码器呈U字形态组建，得到艺术风格迁移网络模型。

可选的，所述预训练编码器构建子模块，具体包括：

ResNet49网络构建及训练单元，用于构建并预训练ResNet49网络，得到训练后的ResNet49网络；

预训练编码器抽取单元，用于从所述训练后的ResNet49网络中抽出6组输出特征图的分辨率不同的卷积层，得到所述预训练编码器；其中，每组所述卷积层包括两个卷积层。

可选的，所述待训练解码器构建子模块，具体包括：

待训练解码器建立单元，建立包括10个卷积层的待训练解码器。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明公开了一种图像风格迁移方法及系统。本发明的风格迁移方法包括如下步骤：建立艺术风格迁移网络模型；确定所述艺术风格迁移网络模型的损失函数；获取训练集；利用所述训练集，根据所述损失函数训练所述艺术风格迁移网络模型，得到训练后的艺术风格迁移网络模型；采用所述训练后的艺术风格迁移网络模型对待处理的图像进行艺术风格迁移。本发明基于艺术风格迁移网络模型对内容图像进行艺术风格迁移提高了风格迁移的速度，并且基于损失函数对艺术风格迁移网络模型进行训练，使训练后的艺术风格迁移网络模型输出的生成图像更加有艺术性和艺术价值，解决了现有的风格迁移方法存在的艺术风格丢失或艺术风格迁移不完全的技术问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种图像风格迁移方法的流程图；

图2为本发明提供的一种图像风格迁移方法的一种优选的实施方式的流程图；

图3为本发明提供的艺术风格迁移网络模型的结构示意图；

图4为本发明提供的预训练的Resnet49卷积神经网络的结构图；

图5为本发明提供的一种图像风格迁移方法的艺术风格迁移效果图；

图6为本发明提供的一种图像风格迁移系统的结构图。

具体实施方式

本发明的目的是提供一种图像风格迁移方法及系统，以解决现有的风格迁移方法存在的艺术风格丢失或艺术风格迁移不完全的技术问题，并提高迁移速度，以满足大批量、实时性的艺术风格迁移需求。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对发明作进一步详细的说明。

实施例1

本发明实施例1提供一种图像风格迁移方法。

如图1所示，所述风格迁移方法包括如下步骤：

步骤101，建立艺术风格迁移网络模型；步骤102，确定所述艺术风格迁移网络模型的损失函数；步骤103，获取训练集；步骤104，利用所述训练集，根据所述损失函数训练所述艺术风格迁移网络模型，得到训练后的艺术风格迁移网络模型；步骤105，采用所述训练后的艺术风格迁移网络模型对待处理的图像进行艺术风格迁移。

实施例2

本发明实施例2提供一种图像风格迁移方法的一个优选的实施方式，但是本发明的实施不限于本发明实施例2所限定的实施方式。

如图2所示，所述风格迁移方法，首先，建立由预训练编码器和待训练解码器组成的艺术风格迁移网络模型，本发明中称为预训练编码U网模型，并确定所述艺术风格迁移网络模型的损失函数；然后，对所述艺术风格迁移网络模型的网络结构的参数进行初始化，并获取用于训练网络模型的训练集，执行训练：a.将训练集中的内容图片依次输入到初始化后的艺术风格迁移网络模型中，艺术风格迁移网络模型(预训练编码U网模型)将会输出与风格图片相对应的新的艺术化内容图片；b.预训练编码U网模型的损失计算：根据损失函数计算每次迭代艺术风格迁移网络模型训练的总损失，c.预训练编码U网模型的网络权重参数更新：根据计算网络训练的总损失，使用Adam优化算法来根据总损失自动优化更新预训练编码U网模型的权重参数；最后，预训练编码U网模型训练完毕，再进行测试和实用。

具体的，步骤101所述建立艺术风格迁移网络模型，具体包括：

构建预训练编码器：首先，构建并预训练ResNet49网络，得到训练后的ResNet49网络；然后，从所述训练后的ResNet49网络中抽出6组输出特征图的分辨率不同的卷积层，得到所述预训练编码器；其中，每组所述卷积层包括两个卷积层，得到的预训练编码器为包括12层卷积层的深度卷积神经网络。如图4所示，ResNet49卷积神经网络共有49层卷积层，并利用公开的大型图像分类数据集imagenet进行训练。

构建待训练解码器：建立包括10个卷积层的待训练解码器，待训练解码器共含有10层卷积层，这些卷积层按输出特征图的分辨率不同被分成5组(每组含2个卷积层)，待训练解码器使用的上采样(即指增大分辨率)方法调整卷积的尺寸。

将所述预训练编码器和所述待训练解码器呈U字形态组建，得到艺术风格迁移网络模型：预训练编码器和待训练解码器共同构成的艺术风格迁移网络模型呈U字形态，即为本发明提出的艺术风格迁移网络模型——预训练编码U网模型，如图3所示。

步骤102确定的损失函数为：

Loss＝W_c×L_c+W_s×L_s

其中，Loss表示总损失值；L_c表示生成图像和内容图像之间的内容损失。L_s表示生成图像和风格图像之间的风格损失，W_c和W_s分别表示内容损失和风格损失占总损失的比例权重。

L_c表示生成图像和内容图像之间的内容损失，x是生成图像，c是内容图像，和分别表示生成图像x和内容图像c输入到预训练的VGG16卷积神经网络后的第j层输出的特征图，C_j×H_j×W_j是预训练的VGG16卷积神经网络第j层输出的特征图的尺寸；VGG16卷积神经网络是一个公开的用于图像分类的卷积神经网络，可以在网络上获取公开的在ImageNet大型图像分类数据集上预训练的VGG16网络，采用预训练的VGG16网络能提取出图像的高级特征。本发明的损失中用到的第j层包含了VGG16卷积神经网络中的relu1_2、relu2_2、relu3_3、relu4_3四个层。比如64个卷积核对应的卷积层输出的特征图的Gram矩阵的尺寸是(64,64)。

L_s表示生成图像和风格图像之间的风格损失，s表示风格图像，和分别表示生成图像x和风格图像s输入预训练的VGG16卷积神经网络后的第j层输出的特征图对应的Gram矩阵，表示中坐标(c,c')对应的值， 表示中坐标(c,c')对应的值， 和分别表示生成图像x输入预训练的VGG16卷积神经网络后的第j层输出的特征图对应的Gram矩阵中坐标坐标h×w×c和h×w×c'值；和分别表示风格图像x输入预训练的VGG16卷积神经网络后的第j层输出的特征图对应的Gram矩阵中坐标坐标h×w×c和h×w×c'值。即指的是Gram矩阵第(c,c′)坐标对应的值。Gram矩阵的计算方法其实很简单，Gram矩阵的(c,c′)坐标对应的值，C_j×H_j×W_j就是特征图的第c张和第c′张图对应元素相乘，然后全部加起来并且除以的结果，Gram矩阵是对称矩阵。

步骤104所述利用所述训练集，根据所述损失函数训练所述艺术风格迁移网络模型，得到训练后的艺术风格迁移网络模型，具体包括：

初始化所述艺术风格迁移网络模型；具体的，所述所述艺术风格迁移网络模型的参数包括学习率learning_rate，最大训练代数(预设迭代次数)epoch，训练集中有训练的内容图片被分为多批，每次输入一批，每批训练样本个数记为batch_size，内容图片宽度width，内容图片高度height，训练集的路径train_data_file，风格图片的路径style_file。内容损失和风格损失占总损失的比例权重W_c和W_s，将迭代次数设置为1。将所述训练集中的内容图像和所述内容图像对应的风格图像输入初始化后的艺术风格迁移网络模型，得到生成图像；利用所述损失函数，计算所述生成图像的总损失值；判断迭代次数是否大于预设迭代次数；若所述迭代次数大于预设迭代次数，则输出所述艺术风格迁移网络模型，得到训练后的艺术风格迁移网络模型；若所述迭代次数不大于预设迭代次数，则将所述总损失值输入Adam优化器优化算法更新所述艺术风格迁移网络模型的权重参数，得到更新后的艺术风格迁移网络模型；将所述训练集中的下一个内容图像所述内容图像对应的风格图像输入所述更新后的艺术风格迁移网络模型，得到生成图像，将迭代次数的数值增加1，返回步骤“利用所述损失函数，计算所述生成图像的总损失值”。

步骤105所述采用所述训练后的艺术风格迁移网络模型对待处理的图像进行艺术风格迁移为：采用所述训练后的艺术风格迁移网络模型对对获取的数据集中的内容图片或者数据集之外的内容图片进行高效的艺术风格迁移，艺术风格迁移效果如图5所示。

实施例3

本发明实施例3提供一种图像风格迁移系统。

如图6所示，所述风格迁移系统包括：模型建立模块601，用于建立艺术风格迁移网络模型；损失函数确定模602，用于确定所述艺术风格迁移网络模型的损失函数；训练集获取模块603，用于获取训练集；训练模块604，用于利用所述训练集，根据所述损失函数训练所述艺术风格迁移网络模型，得到训练后的艺术风格迁移网络模型；风格迁移模块605，用于采用所述训练后的艺术风格迁移网络模型对待处理的图像进行艺术风格迁移。

实施例4

本发明实施例4提供一种图像风格迁移系统的一个优选的实施方式，但是本发明的实施不限于本发明实施例4所限定的实施方式。

所述建立艺术风格迁移网络模型501，具体包括：

预训练编码器构建子模块，用于构建预训练编码器；所述预训练编码器构建子模块，具体包括：ResNet49网络构建及训练单元，用于构建并预训练ResNet49网络，得到训练后的ResNet49网络；预训练编码器抽取单元，用于从所述训练后的ResNet49网络中抽出6组输出特征图的分辨率不同的卷积层，得到所述预训练编码器；其中，每组所述卷积层包括两个卷积层。

待训练解码器构建子模块，用于构建待训练解码器；所述待训练解码器构建子模块，具体包括：待训练解码器建立单元，建立包括10个卷积层的待训练解码器。

艺术风格迁移网络模型组建子模块，用于将所述预训练编码器和所述待训练解码器呈U字形态组建，得到艺术风格迁移网络模型。

本发明不仅对数据集中所有的内容图都具有相当可靠的艺术风格迁移的能力，对数据集之外的其他任意内容图片仍具有相当高的艺术风格迁移能力。并且利用风格损失和内容损失的理论，采用预训练的VGG16作为特征感知网络构建了一组极为有效的损失函数来计算网络模型的总损失。本发明所生成的艺术风格化图象比其他现有方法生成的图像更加具有艺术性和艺术价值，而且进行艺术风格迁移的速率和泛化能力有了极大的提高。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

Claims (10)

1.一种图像风格迁移方法，其特征在于，所述风格迁移方法包括如下步骤：

建立艺术风格迁移网络模型；

确定所述艺术风格迁移网络模型的损失函数；

获取训练集；

利用所述训练集，根据所述损失函数训练所述艺术风格迁移网络模型，得到训练后的艺术风格迁移网络模型；

采用所述训练后的艺术风格迁移网络模型对待处理的图像进行艺术风格迁移。

2.根据权利要求1所述的图像风格迁移方法，其特征在于，所述建立艺术风格迁移网络模型，具体包括：

构建预训练编码器；

构建待训练解码器；

将所述预训练编码器和所述待训练解码器呈U字形态组建，得到艺术风格迁移网络模型。

3.根据权利要求2所述的图像风格迁移方法，其特征在于，所述构建预训练编码器，具体包括：

构建并预训练ResNet49网络，得到训练后的ResNet49网络；

从所述训练后的ResNet49网络中抽出6组输出特征图的分辨率不同的卷积层，得到所述预训练编码器；其中，每组所述卷积层包括两个卷积层。

4.根据权利要求2所述的图像风格迁移方法，其特征在于，所述构建待训练解码器，具体包括：

建立包括10个卷积层的待训练解码器。

5.根据权利要求1所述的图像风格迁移方法，其特征在于，损失函数为：

Loss＝W_c×L_c+W_s×L_s

其中，Loss表示总损失值；L_c表示生成图像和内容图像之间的内容损失。L_s表示生成图像和风格图像之间的风格损失，W_c和W_s分别表示内容损失和风格损失占总损失的比例权重；L_c表示生成图像和内容图像之间的内容损失，x是生成图像，c是内容图像，和分别表示生成图像x和内容图像c输入到预训练的VGG16卷积神经网络后的第j层输出的特征图，C_j×H_j×W_j是预训练的VGG16卷积神经网络第j层输出的特征图的尺寸；L_s表示生成图像和风格图像之间的风格损失，s表示风格图像，和分别表示生成图像x和风格图像s输入预训练的VGG16卷积神经网络后的第j层输出的特征图对应的Gram矩阵。

6.根据权利要求1所述的图像风格迁移方法，其特征在于，所述利用所述训练集，根据所述损失函数训练所述艺术风格迁移网络模型，得到训练后的艺术风格迁移网络模型，具体包括：

初始化所述艺术风格迁移网络模型，将迭代次数设置为1；

将所述训练集中的内容图像和所述内容图像对应的风格图像输入初始化后的艺术风格迁移网络模型，得到生成图像；

利用所述损失函数，计算所述生成图像的总损失值；

判断迭代次数是否大于预设迭代次数；

若所述迭代次数大于预设迭代次数，则输出所述艺术风格迁移网络模型，得到训练后的艺术风格迁移网络模型；

若所述迭代次数不大于预设迭代次数，则将所述总损失值输入Adam优化器优化算法更新所述艺术风格迁移网络模型的权重参数，得到更新后的艺术风格迁移网络模型；

将所述训练集中的下一个内容图像所述内容图像对应的风格图像输入所述更新后的艺术风格迁移网络模型，得到生成图像，将迭代次数的数值增加1，返回步骤“利用所述损失函数，计算所述生成图像的总损失值”。

7.一种图像风格迁移系统，其特征在于，所述风格迁移系统包括：

模型建立模块，用于建立艺术风格迁移网络模型；

损失函数确定模块，用于确定所述艺术风格迁移网络模型的损失函数；

训练集获取模块，用于获取训练集；

训练模块，用于利用所述训练集，根据所述损失函数训练所述艺术风格迁移网络模型，得到训练后的艺术风格迁移网络模型；

风格迁移模块，用于采用所述训练后的艺术风格迁移网络模型对待处理的图像进行艺术风格迁移。

8.根据权利要求7所述的图像风格迁移系统，其特征在于，所述建立艺术风格迁移网络模型，具体包括：

预训练编码器构建子模块，用于构建预训练编码器；

待训练解码器构建子模块，用于构建待训练解码器；

艺术风格迁移网络模型组建子模块，用于将所述预训练编码器和所述待训练解码器呈U字形态组建，得到艺术风格迁移网络模型。

9.根据权利要求8所述的图像风格迁移系统，其特征在于，所述预训练编码器构建子模块，具体包括：

ResNet49网络构建及训练单元，用于构建并预训练ResNet49网络，得到训练后的ResNet49网络；

预训练编码器抽取单元，用于从所述训练后的ResNet49网络中抽出6组输出特征图的分辨率不同的卷积层，得到所述预训练编码器；其中，每组所述卷积层包括两个卷积层。

10.根据权利要求8所述的图像风格迁移系统，其特征在于，所述待训练解码器构建子模块，具体包括：

待训练解码器建立单元，建立包括10个卷积层的待训练解码器。