CN109636764A - 一种基于深度学习与显著性检测的图像风格转移方法 - Google Patents

Abstract

本发明公开了一种基于深度学习与显著性检测的图像风格转移方法。其具体步骤是：（1）、输入内容图像和风格图像；(2)、利用风格转移的方法生成转换图像；(3)、利用显著性模型计算出内容图像的显著性图；(4)、根据显著性图对内容图像和转换图像进行融合，生成融合图像；(5)、根据显著性图确定优化区域，对于优化区域中的像素进行平滑后，生成了一种混合了自然场景与艺术风格的全新形式的输出图像。

Description

一种基于深度学习与显著性检测的图像风格转移方法

技术领域

本发明涉及图像，视频处理技术领域，具体地说是涉及一种基于深度学习与显著性检测的图像风格转移方法。

背景技术

近年来，深度学习开始越来越广泛地应用到社会各个领域。这其中，人工智能与艺术的结合，不仅在相关的技术领域和艺术领域引起了很高的关注，以相关的技术为基础开发的各种图像处理软件也层出不穷，并且在短时间内吸引了大量用户的注意。在这些软件中，最核心的技术就是基于深度学习的风格转移技术。另外一方面，深度学习在显著性检测的应用上也取得了巨大的成功。显著性检测是用来检测一张图像显著区域的方法。它被用在很多应用中，例如显著性物体分割和检测、基于内容的图像或视频压缩和图像编辑等等。

现有技术中已经有许多关于风格转移的工作。2016年，Gatys等人提出了一种基于深度学习的风格转移方法，这个方法利用训练好的深度卷积神经网络(例如VGG19)提取出来的语义特征来构造可以代表图像风格的格拉姆矩阵。同年，李飞飞等人提出了用一个简化版的“感知损失函数”计算图像之间的相似性的方法来加速风格转移的速度，但是速度加快的同时这个方法有一定局限性，即不能转移训练集以外的风格图像。为了解决这个局限，Chen,T.Q.提出了一个优化的方法可以实现图像的任意风格转换，不再局限于单个风格的训练，基于局部匹配的方法，在与训练好的网络的单独一层上，将内容与风格结合起来。但是这些方法基本上都是对整张图像进行风格转移。2017年，Carlos Castillo等人提出了一个对于目标区域进行风格转移的方法，这个方法会对于用户选择的物体进行分割以及风格转移，但这种方法还是需要手动地去选择需要改变的区域。

发明内容

本发明的目的在于针对已有风格转移的技术中存在的不足和缺陷，提出一种基于深度学习与显著性检测的图像风格转移方法，该方法能够实现自动感知的语义级的风格转移。

为了达到上述目的，本发明采用的技术方案如下：

一种基于深度学习与显著性检测的图像风格转移方法，具体步骤如下：

(1)、输入内容图像C和风格图像S；

(2)、利用风格转移方法生成转换图像T；

(3)、利用显著性模型计算出内容图像的显著性图M；

(4)、根据显著性图M对内容图像C和转换图像T进行融合，生成融合结果F；

(5)、根据显著性图M确定优化区域，对于优化区域中的像素进行平滑后，生成最后的输出图像O。

上述步骤(2)所述获取转换图像T的具体步骤如下：

(2-1)、对于风格图像S，计算能代表图像风格的格拉姆矩阵G：

其中l代表深度卷积神经网络的第l层，代表输入图像的在第l层相对应的特征，其中的每一列代表一张矢量化的特征图，N_l则表示第l层特征图的数目；

(2-2)、为了生成一张新的转换图像T，既拥有与内容图像C相似的深度特征，同时又具备从风格图像S中提取出的风格信息，由最小化下面的能量公式所实现：

其中，

其中L是卷积层的总数，M_l是每一张特征图的长宽之积，G_l是矢量特征图的内积，代表了风格图像S的信息，α_l和β_l是每一层对于总的损失函数来说的权重因子，Γ是用来平衡风格与内容的权重；为了获得转换图像，用向前传播的方式计算总的损失函数的导数，这个导数值将被用来迭代更新转换图像，直到转换图像满足既有内容图像的内容信息又有风格图像的风格信息，将此时生成的转换图像记作T。

上述步骤(3)用显著性模型生成显著性图M，具体步骤如下：

(3-1)、首先利用现有的图像分类网络VGG16，提取原始图像的五层卷积特征；由于卷积层之间进行了池化操作，不同卷积层的特征图尺寸大小不一，将五层卷积特征分别通过卷积和反卷积操作，归一化为五种不同的分辨率，并在每种分辨率下进行串联融合；

(3-2)、将五种不同分辨率的融合特征反卷积为原始图像的尺寸，结合比本分辨率小一个尺度的分辨率下的预测结果，得到五张初始的显著性预测结果；

(3-3)、融合初始的显著性预测结果，得到最终的显著性图M。

上述步骤(4)中的对图像进行融合的方法，具体步骤如下：

(4-1)、将转换图像T看作是前景图像，内容图像C看作是背景图像，将显著性图M作为参考；

(4-2)、利用显著性图M融合内容图像C和转换图像T，得到融合结果：

F(x,y)＝(1-M(x,y))·C(x,y)+M(x,y)·T(x,y)

生成的融合结果记作F。

上述步骤(5)中的对融合结果进行优化的方法，具体步骤如下：

(5-1)、给定显著性图M，通过canny边缘检测的算法获取到图像的边缘，对获取到的边缘进行膨胀，获取优化区域；

(5-2)、在优化区域内，需要使最后输出图像的梯度尽可能地接近内容图像C，在满足这一点的同时，还需要使输出图像的内容与融合结果一致，为了达到这两个条件，需要满足以下公式：

其中，λ是一个平衡内容与梯度的常数权重；

(5-3)、优化以上方程即为解下面的公式：

O-λ▽²O＝F-λ▽²C(x,y)

这个目标定义了一组线性方程，用最小二乘法、傅里叶变换或者卷积来解；最后的输出图像记作O。

本发明的基于深度学习与显著性检测的图像风格转移方法与现有的技术相比，具有如下优点：

本发明基于深度学习的方法，利用显著性图实现了全自动的显著目标对象的风格转移，同时还利用显著性对对象边缘的像素进行了平滑，生成了一种混合了自然场景与艺术风格的全新形式的图像。

附图说明

图1是本发明的基于深度学习与显著性检测的图像风格转移方法的流程图。

图2(a)是本发明输入的内容图像C。

图2(b)是本发明输入的风格图像S。

图3是本发明获得的转换图像T。

图4是本发明获得的内容图像的显著性图M。

图5是本发明获得的融合结果F。

图6是本发明得到的优化后的最后输出图像O。

具体实施方式

下面结合说明书附图对本发明的实施例作进一步详细说明。

本发明进行的仿真实验是在CPU为4.0GHz、内存为16G的PC测试平台上编程实现。

如图1所示，本发明的一种基于深度学习与显著性检测的图像风格转移方法，其具体步骤如下：

(1)、输入内容图像C和风格图像S，如图2(a)、图2(b)所示。

(2)、利用风格转移的方法生成转换图像T；

(2-1)、对于风格图像，我们计算能代表图像风格的格拉姆矩阵G：

其中l代表深度卷积神经网络的第l层，代表输入图像的在第l层相对应的特征，其中的每一列代表一张矢量化的特征图，N_l则表示第l层特征图的数目；

(2-2)、为了生成一张新的转换图像，既拥有与内容图像相似的深度特征，同时又具备从风格图像中提取出的风格信息。这由最小化下面的能量公式所实现：

其中，

其中L是卷积层的总数，M_l是每一张特征图的长宽之积，G_l是矢量特征图的内积，代表了风格图像的信息，α_l和β_l是每一层对于总的损失函数来说的权重因子，Γ是用来平衡风格与内容的权重。为了获得转换图像，用向前传播的方式计算总的损失函数的导数，这个导数值将被用来迭代更新转换图像，直到转换图像满足既有内容图像的内容信息又有风格图像的风格信息，将此时生成的转换图像记作T，如图3所示。

(3)、利用显著性模型计算出内容图像的显著性图M；

(3-1)、首先利用现有的图像分类网络VGG16，提取原始图像的五层卷积特征；由于卷积层之间进行了池化操作，不同卷积层的特征图尺寸大小不一，将五层卷积特征分别通过卷积和反卷积操作，归一化为五种不同的分辨率，并在每种分辨率下进行串联融合；

(3-2)、将五种不同分辨率的融合特征反卷积为原始图像的尺寸，结合比本分辨率小一个尺度的分辨率下的预测结果，得到五张初始的显著性预测结果；

(3-3)、融合初始的显著性预测结果，得到最终的显著性图M，如图4所示。

(4)、根据显著性图M对内容图像C和转换图像T进行融合，生成融合结果F；

(4-1)、将转换图像T看作是前景图像，内容图像C看作是背景图像，将显著性图M作为参考；

(4-2)、利用显著性图M融合内容图像C和转换图像T，得到融合结果：

F(x,y)＝(1-M(x,y))·C(x,y)+M(x,y)·T(x,y)

生成的融合结果记作F，如图5所示。

(5)、根据显著性图M确定优化区域，对于优化区域中的像素进行平滑后，生成最后的输出图像O；

(5-1)、给定显著性图M，通过canny边缘检测的算法获取到图像的边缘，对获取到的边缘进行膨胀，获取优化区域；

(5-2)、在优化区域内，需要使最后输出图像的梯度尽可能地接近内容图像，在满足这一点的同时，还需要使输出图像的内容与融合结果一致，为了达到这两个条件，需要满足以下公式：

其中，λ是一个平衡内容与梯度的常数权重；

(5-3)、优化以上方程即为解下面的公式：

O-λ▽²O＝F-λ▽²C(x,y)

这个目标定义了一组线性方程，可以用最小二乘法、傅里叶变换或者卷积来解。

最后的输出图像记作O，如图6所示。

从上述实施例结果可以看出，本发明利用显著性图实现了全自动的显著目标对象的风格转移，同时还利用显著性对对象边缘的像素进行了平滑，生成了一种混合了自然场景与艺术风格的全新形式的图像。

Claims (5)

1.一种基于深度学习与显著性检测的图像风格转移方法，其特征在于，具体步骤如下：

(1)、输入内容图像C和风格图像S；

(2)、利用风格转移方法生成转换图像T；

(3)、利用显著性模型计算出内容图像的显著性图M；

(4)、根据显著性图M对内容图像C和转换图像T进行融合，生成融合结果F；

(5)、根据显著性图M确定优化区域，对于优化区域中的像素进行平滑后，生成最后的输出图像O。

2.根据权利要求1所述的基于深度学习与显著性检测的图像风格转移方法，其特征在于，所述步骤(2)所述获取转换图像T的具体步骤如下：

(2-1)、对于风格图像S，计算能代表图像风格的格拉姆矩阵G：

其中l代表深度卷积神经网络的第l层，代表输入图像的在第l层相对应的特征，其中的每一列代表一张矢量化的特征图，N_l则表示第l层特征图的数目；

(2-2)、为了生成一张新的转换图像T，既拥有与内容图像C相似的深度特征，同时又具备从风格图像S中提取出的风格信息，由最小化下面的能量公式所实现：

其中，

其中L是卷积层的总数，M_l是每一张特征图的长宽之积，G_l是矢量特征图的内积，代表了风格图像S的信息，α_l和β_l是每一层对于总的损失函数来说的权重因子，Γ是用来平衡风格与内容的权重；为了获得转换图像，用向前传播的方式计算总的损失函数的导数，这个导数值将被用来迭代更新转换图像，直到转换图像满足既有内容图像的内容信息又有风格图像的风格信息，将此时生成的转换图像记作T。

3.根据权利要求1所述的基于深度学习与显著性检测的图像风格转移方法，其特征在于，所述步骤(3)用显著性模型生成显著性图M，具体步骤如下：

(3-1)、首先利用现有的图像分类网络VGG16，提取原始图像的五层卷积特征；由于卷积层之间进行了池化操作，不同卷积层的特征图尺寸大小不一，将五层卷积特征分别通过卷积和反卷积操作，归一化为五种不同的分辨率，并在每种分辨率下进行串联融合；

(3-2)、将五种不同分辨率的融合特征反卷积为原始图像的尺寸，结合比本分辨率小一个尺度的分辨率下的预测结果，得到五张初始的显著性预测结果；

(3-3)、融合初始的显著性预测结果，得到最终的显著性图M。

4.根据权利要求1所述的基于深度学习与显著性检测的图像风格转移方法，其特征在于，所述步骤(4)中的对图像进行融合的方法，具体步骤如下：

(4-1)、将转换图像T看作是前景图像，内容图像C看作是背景图像，将显著性图M作为参考；

(4-2)、利用显著性图M融合内容图像C和转换图像T，得到融合结果：

F(x,y)＝(1-M(x,y))·C(x,y)+M(x,y)·T(x,y)

生成的融合结果记作F。

5.根据权利要求1所述的基于深度学习与显著性检测的图像风格转移方法，其特征在于，所述步骤(5)中的对融合结果进行优化的方法，具体步骤如下：

(5-1)、给定显著性图M，通过canny边缘检测的算法获取到图像的边缘，对获取到的边缘进行膨胀，获取优化区域；

(5-2)、在优化区域内，需要使最后输出图像的梯度尽可能地接近内容图像C，在满足这一点的同时，还需要使输出图像的内容与融合结果一致，为了达到这两个条件，需要满足以下公式：

其中，λ是一个平衡内容与梯度的常数权重；

(5-3)、优化以上方程即为解下面的公式：

这个目标定义了一组线性方程，用最小二乘法、傅里叶变换或者卷积来解；最后的输出图像记作O。