CN111353964A - 基于卷积神经网络的结构一致立体图像风格迁移方法 - Google Patents

Abstract

本发明涉及一种基于卷积神经网络的结构一致立体图像风格迁移方法，包括以下步骤：S1、对输入的参考图像和立体图像的左、右视图分别进行语义分割，并提取卷积层特征；S2、分别计算参考图像和左、右视图的特征损失函数；S3、在特征损失函数中添加正则化损失函数，引入拉普拉斯惩罚项，防止图像结构失真，生成风格化后的左、右视图；S4、利用两种质量评估算法分别评估风格化后的左、右视图与输入图像的相似度，对比两个相似性度量值，用相似性度量值较高的图像来校正相似度较低的图像，获得最终的结果图像。该方法有利于在对立体图像进行风格迁移的同时保持立体结构一致性，获得风格化后结构一致的立体图像。

Description

基于卷积神经网络的结构一致立体图像风格迁移方法

技术领域

本发明属于图像和视频处理及计算机视觉领域，具体涉及一种基于卷积神经网络的结构一致立体图像风格迁移方法。

背景技术

立体图像和立体视频技术即将成为大众消费媒体，当前3D电影，电视和游戏逐渐开始流行起来。而且随着头戴式AR/VR眼镜和双镜头智能手机的发展，立体图像和视频技术引起了越来越多的关注，并产生了许多有趣的研究工作，例如立体图像拼接，立体图像颜色校正，立体图像风格迁移，图像/视频风格迁移和全景。在这些研究中，图像的风格迁移是一种比较有趣的研究课题，而将风格迁移运用于立体图像或视频又是当下比较新的一个研究内容。

受到卷积神经网络的启发，Gatys等人开创性的提出了一种解决方案，可以将给定图像风格自动转移到任何图像上，使该图像呈现出指定图像的风格。这种方法基于卷积神经网络，分别建立内容图像和风格图像的损失函数，通过不断地迭代使损失函数最小化，生成风格化的结果图像。尽管此方法能够产生令人满意的任意风格的结果，但由于优化过程非常耗时，不能进行实际应用。在此之后提出了许多改进或扩展算法，Johnson等人提出基于前馈CNN的模型，希望提升风格迁移的速率，该模型在不降低图像风格质量的情况下获得了实时性能，达到了实时风格迁移的目的。近年来，一些研究者花费了许多努力将单一图像神经网络风格迁移应用到了视频领域。而当前视频神经网络风格迁移的主要挑战在于如何防止由于时间不一致导致的前后帧的闪烁伪影，为了解决这个问题，Ruder等人在Gatys等人提出的算法的基础上引入了时间损失，来降低耗时，并提升时间一致性。Huang等人在训练过程中，在前馈网络中引入时间一致性，来提升视频在时间上的一致性，消除闪烁伪影。

在立体图像领域，风格迁移的主要困难在于抑制图像边缘的抽象化和保持左右视图的一致性。Lee等人提出了一种基于层的立体图像尺寸调整方法，利用图像的变形来处理左右视图的相关性。Luo等人提出了基于块的立体图像的联合搜索框架，以增强立体图像左右视图一致性。Basha等人通过考虑立体图像像素之间的可视性关系，成功地将单一图像风格迁移扩展到了立体图像。后来Northam等人提出了一种视图一致的简单图像滤镜的风格迁移算，但由于逐层对图像进行处理而造成了严重的伪影，降低了图像的质量。以上的风格迁移算法，通常都是基于绘画风格的抽象风格迁移，且不适用于立体图像，不能保持图像的结构一致性。

已有的算法在保持立体图像结构一致性和抑制图像边缘形变这两方面显示出不足。这种不一致会导致立体图像重建时的深度感知问题，并给观看者带来了3D疲劳，而图像边缘的抽象化反而会降低视觉感受。因此需要建立一种既能保持立体图像结构一致性，又能实现真实图像风格迁而非抽象化风格迁移的算法，即提出一种全新的保持立体图像结构一致性的风格迁移算法，来满足这种需求。

发明内容

本发明的目的在于提供一种基于卷积神经网络的结构一致立体图像风格迁移方法，该方法有利于在对立体图像进行风格迁移的同时保持立体结构一致性，获得风格化后结构一致的立体图像。

为实现上述目的，本发明采用的技术方案是：一种基于卷积神经网络的结构一致立体图像风格迁移方法，包括以下步骤：

步骤S1：利用deepLabV3算法对输入的参考图像和立体图像的左、右视图分别进行语义分割，然后利用VGG-19分别提取参考图像和左、右视图的卷积层特征；

步骤S2：分别计算参考图像和左、右视图的特征损失函数，以利用卷积层特征之间的近似程度来刻画图像的相似度；

步骤S3：在特征损失函数中添加正则化损失函数，引入拉普拉斯惩罚项，对图像进行边缘约束，防止图像结构失真，生成风格化后的左、右视图；

步骤S4：利用质量评估算法分别评估风格化后的左、右视图与包括参考图像和立体图像的输入图像的相似度，对比两个相似性度量值，用相似性度量值较高的图像来校正相似度较低的图像，获得最终的结果图像。

进一步地，所述步骤S1的具体方法为：首先利用deepLabV3算法分别对参考图像、左视图和右视图进行区域分割，并对三个图像中对应的分割区域采用相同的颜色进行标记，以保证三个图像分割区域相对应；然后建立一个基于VGG-19的风格化网络，依次对参考图像和左、右视图进行处理，用VGG-19分别提取各幅图像的五个卷积层特征，分别为conv1_1、conv2_1、conv3_1、conv4_1和conv5_1。

进一步地，所述步骤S2具体包括以下步骤：

步骤S21：计算左视图的特征损失函数，处理过程在左视图和参考图像对应的分割区域内进行：

在每个分割区域内，分别计算特征损失函数，每个分割区域的特征损失函数包括基于图像内容的内容特征损失函数和基于图像风格的风格特征损失函数两部分；将每个分割区域内的像素值分别设置成1,2,...,n，n表示图像的分割总数；再将参考图像和左、右视图的分割图像依次缩放至conv1_1，conv2_1，conv3_1，conv4_1和conv5_1卷积层图像对应尺寸的大小，分别得到E¹，E²，E³，E⁴，E⁵分割图；然后选择左视图的conv2_1卷积层特征来计算内容特征损失函数，该层损失函数的系数α_l＝1，其他层的系数α_l＝0；而后计算风格特征损失函数，选参考图像的五个卷积层conv1_1、conv2_1、conv3_1、conv4_1和conv5_1作为风格特征，这些卷积层对应的系数均设置成β_l＝1，因此左视图的特征损失函数计算公式如下：

其中，L是卷积层的总数，l表示卷积神经网络的第l个卷积层，j表示第j个分割区域，n表示图像的分割区域总数；L_f是左视图的特征损失函数，

是第j个分割区域的特征损失函数，

是第j个分割区域的第l层的内容特征损失函数，

是第j个分割区域的第l层的风格特征损失函数，

和

分别表示内容图像和风格图像的第j个分割区域的第l层的掩码图，

和

分别表示内容图像和风格图像对应的第l层的分割图的像素值，像素值为j表示该像素属于第j个分割区域；O表示输出图像，C表示内容图像，是立体图像的左、右视图中的一个，在这一步中C是左视图，在步骤S22中C是右视图，S表示风格图像，即输入的参考图像，F_l是第l层的卷积层特征，F_l(O)、F_l(C)和F_l(S)分别是输出图像、内容图像和风格图像的第l层的卷积层特征，G是Gram矩阵，G(·)＝F_l[·]×F_l[·]^T，α_l和β_l是每个卷积层特征损失的权重，γ是内容特征损失函数和风格特征损失函数之间的权重；

步骤S22：采用与步骤S21相同的处理方法计算右视图的特征损失函数，这一步的处理过程在右视图和参考图像对应的分割区域内进行。

进一步地，所述步骤S3具体包括以下步骤：

步骤S31：在左视图的特征损失函数L_f后面添加正则化损失函数，即引入一个拉普拉斯惩罚项来惩罚图像的失真，以确保在迭代传输过程中不会丢失图像的结构属性，防止图像结构失真，所述正则化损失函数用L_m表示：

其中，c表示图像RGB通道中第i个通道，V_c[O]表示输出图像第i个通道的向量化(N×1)，其中N表示图像宽和高的乘积，在这一步中输出图像是左视图的输出图像，在步骤S32中输出图像是右视图的输出图像，M_I表示对应图像I的拉普拉斯矩阵，I是立体图像中的左视图或右视图，在这一步中I是左视图，在步骤S32中I是右视图；

生成总损失函数，表示如下：

其中，n表示分割区域总数，θ表示特征损失函数权重；最小化以上总损失函数，生成风格化后的左视图I_ls；

步骤S32：在右视图的特征损失函数中，进行与步骤S31相同的处理，生成风格化后的右视图I_rs。

进一步地，所述步骤S4的具体方法为：

所述质量评估算法包括SSIM评估算法和颜色直方图评估算法，利用SSIM评估算法和颜色直方图评估算法分别评估风格化后的左、右视图与包括参考图像和立体图像的输入图像的相似度，计算方法如下：

C^κ＝μ×SSIM(I_c,I_κs)+(1-μ)×D(I_κ,I_κs)

其中，I_κs表示风格化后的立体图像的左视图或右视图，κ＝l时I_κs表示风格化后立体图像的左视图，κ＝r时I_κs表示风格化后立体图像的右视图；SSIM(I_c,I_κs)表示参考图像I_c与立体图像风格化后的左视图或右视图I_κs之间的SSIM评估值；I_κ表示立体图像的左视图或右视图，κ＝l时I_κ表示立体图像的左视图，κ＝r时I_κ表示立体图像的右视图，D(I_κ,I_κs)表示立体图像的左视图或右视图I_κ与风格化后的左视图或右视图I_κs之间的像素直方图的距离，μ≤1表示权重，

和

表示立体图像的左视图或右视图I_κ与风格化后的左视图或右视图I_κs对应像素的直方图中第i个区间内的统计数值，m表示直方图的区间数目；

当κ＝l时，C^l表示风格化后的左视图与输入图像的相似度，当κ＝r时，C^r表示风格化后的右视图与输入图像的相似度；然后，比较C^l和C^r的数值，用相似性度量值较高的图像来校正相似性度量值较低的风格化图像，然后采用颜色校正结果替换风格化后相似度较低的视图，与风格化后相似度较高的视图构成风格化后结构一致的立体图像。

相较于现有技术，本发明具有以下有益效果：提出了一种基于卷积神经网络的结构一致立体图像风格迁移方法，该方法将抽象化的风格迁移应用于立体图像风格迁移，生成风格化的图像，并通过分割区域进行处理，大大降低全局算法带来的局部不一致问题，然后利用结构一致颜色校正和残差优化对风格化后的立体图像进行一致性处理，获得风格化后结构一致的立体图像，具有很强的实用性和广阔的应用前景。

附图说明

图1是本发明的方法实现流程图。

图2是本发明实施例的立体图像处理过程示意图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步的详细说明。

本发明提供一种基于卷积神经网络的结构一致立体图像风格迁移方法，如图1、2所示，包括以下步骤：

步骤S1：利用deepLabV3算法对输入的参考图像和立体图像的左、右视图分别进行语义分割，然后利用VGG-19分别提取参考图像和左、右视图的卷积层特征。具体方法为：

首先利用deepLabV3算法分别对参考图像、左视图和右视图进行区域分割，并对三个图像中对应的分割区域采用相同的颜色进行标记，以保证三个图像分割区域相对应；然后建立一个基于VGG-19的风格化网络，依次对参考图像和左、右视图进行处理，用VGG-19分别提取各幅图像的五个卷积层特征，分别为conv1_1、conv2_1、conv3_1、conv4_1和conv5_1。

步骤S2：分别计算参考图像和左、右视图的特征损失函数，以利用卷积层特征之间的近似程度来刻画图像的相似度。具体包括以下步骤：

步骤S21：计算左视图的特征损失函数，处理过程在左视图和参考图像对应的分割区域内进行：

在每个分割区域内，分别计算特征损失函数，每个分割区域的特征损失函数包括基于图像内容的内容特征损失函数和基于图像风格的风格特征损失函数两部分；将每个分割区域内的像素值分别设置成1,2,...,n，n表示图像的分割总数；再将参考图像和左、右视图的分割图像依次缩放至conv1_1，conv2_1，conv3_1，conv4_1和conv5_1卷积层图像对应尺寸的大小，分别得到E¹，E²，E³，E⁴，E⁵分割图；然后选择左视图的conv2_1卷积层特征来计算内容特征损失函数，该层损失函数的系数α_l＝1，其他层的系数α_l＝0；而后计算风格特征损失函数，选参考图像的五个卷积层conv1_1、conv2_1、conv3_1、conv4_1和conv5_1作为风格特征，这些卷积层对应的系数均设置成β_l＝1，因此左视图的特征损失函数计算公式如下：

其中，L是卷积层的总数，l表示卷积神经网络的第l个卷积层，j表示第j个分割区域，n表示图像的分割区域总数；L_f是左视图的特征损失函数，

是第j个分割区域的特征损失函数，

是第j个分割区域的第l层的内容特征损失函数，

是第j个分割区域的第l层的风格特征损失函数，

和

分别表示内容图像和风格图像的第j个分割区域的第l层的掩码图，

和

分别表示内容图像和风格图像对应的第l层的分割图的像素值，像素值为j表示该像素属于第j个分割区域；O表示输出图像，C表示内容图像，是立体图像的左、右视图中的一个，在这一步中C是左视图，在步骤S22中C是右视图，S表示风格图像，即输入的参考图像，F_l是第l层的卷积层特征，F_l(O)、F_l(C)和F_l(S)分别是输出图像、内容图像和风格图像的第l层的卷积层特征，G是Gram矩阵，G(·)＝F_l[·]×F_l[·]^T，α_l和β_l是每个卷积层特征损失的权重，γ是内容特征损失函数和风格特征损失函数之间的权重，在本实施例中，内容特征损失函数的整体权重设置成γ＝0.7。

步骤S22：采用与步骤S21相同的处理方法计算右视图的特征损失函数，这一步的处理过程在右视图和参考图像对应的分割区域内进行。

步骤S3：在特征损失函数中添加正则化损失函数，引入拉普拉斯惩罚项，对图像进行边缘约束，防止图像结构失真，生成风格化后的左、右视图。具体包括以下步骤：

步骤S31：在左视图的特征损失函数L_f后面添加正则化损失函数，即引入一个拉普拉斯惩罚项来惩罚图像的失真，以确保在迭代传输过程中不会丢失图像的结构属性，防止图像结构失真，所述正则化损失函数用L_m表示：

其中，c表示图像RGB通道中第i个通道，V_c[O]表示输出图像第i个通道的向量化(N×1)，其中N表示图像宽和高的乘积，在这一步中输出图像是左视图的输出图像，在步骤S32中输出图像是右视图的输出图像，M_I表示对应图像I的拉普拉斯矩阵，I是立体图像中的左视图或右视图，在这一步中I是左视图，在步骤S32中I是右视图；

为防止结果图像丢失过多的结构信息，在训练时通常会设置数值较大的系数γ和α，正则化损失函数L_m用于优化图像的边缘结构，防止图像出现边缘扭曲，并添加系数θ和λ来平衡这两部分损失函数；

生成总损失函数，表示如下：

其中，n表示分割区域总数，θ表示特征损失函数权重；最小化以上总损失函数，生成风格化后的左视图I_ls。

步骤S32：在右视图的特征损失函数中，进行与步骤S31相同的处理，生成风格化后的右视图I_rs。

步骤S4：利用质量评估算法分别评估风格化后的左、右视图与包括参考图像和立体图像的输入图像的相似度，对比两个相似性度量值，用相似性度量值较高的图像来校正相似度较低的图像，获得最终的结果图像。具体方法为：

所述质量评估算法包括SSIM评估算法和颜色直方图评估算法，利用SSIM评估算法(即结构相似度评估算法)和颜色直方图评估算法分别评估风格化后的左、右视图与包括参考图像和立体图像的输入图像的相似度，计算方法如下：

C^κ＝μ×SSIM(I_c,I_κs)+(1-μ)×D(I_κ,I_κs)

其中，I_κs表示风格化后的立体图像的左视图或右视图，κ＝l时I_κs表示风格化后立体图像的左视图，κ＝r时I_κs表示风格化后立体图像的右视图；SSIM(I_c,I_κs)表示参考图像I_c与立体图像风格化后的左视图或右视图I_κs之间的SSIM评估值；I_κ表示立体图像的左视图或右视图，κ＝l时I_κ表示立体图像的左视图，κ＝r时I_κ表示立体图像的右视图，D(I_κ,I_κs)表示立体图像的左视图或右视图I_κ与风格化后的左视图或右视图I_κs之间的像素直方图的距离，μ≤1表示权重，

和

表示立体图像的左视图或右视图I_κ与风格化后的左视图或右视图I_κs对应像素的直方图中第i个区间内的统计数值，m表示直方图的区间数目；

当κ＝l时，C^l表示风格化后的左视图与输入图像的相似度，当κ＝r时，C^r表示风格化后的右视图与输入图像的相似度；然后，比较C^l和C^r的数值，用相似性度量值较高的图像来校正相似性度量值较低的风格化图像，所用的校正算法可以是任意的性能较好的颜色校正算法，然后采用颜色校正结果替换风格化后相似度较低的视图，与风格化后相似度较高的视图构成风格化后结构一致的立体图像。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (5)

1.一种基于卷积神经网络的结构一致立体图像风格迁移方法，其特征在于，包括以下步骤：

步骤S1：利用deepLabV3算法对输入的参考图像和立体图像的左、右视图分别进行语义分割，然后利用VGG-19分别提取参考图像和左、右视图的卷积层特征；

步骤S2：分别计算参考图像和左、右视图的特征损失函数，以利用卷积层特征之间的近似程度来刻画图像的相似度；

步骤S3：在特征损失函数中添加正则化损失函数，引入拉普拉斯惩罚项，对图像进行边缘约束，防止图像结构失真，生成风格化后的左、右视图；

步骤S4：利用质量评估算法分别评估风格化后的左、右视图与包括参考图像和立体图像的输入图像的相似度，对比两个相似性度量值，用相似性度量值较高的图像来校正相似度较低的图像，获得最终的结果图像。

2.根据权利要求1所述的基于卷积神经网络的结构一致立体图像风格迁移方法，其特征在于，所述步骤S1的具体方法为：首先利用deepLabV3算法分别对参考图像、左视图和右视图进行区域分割，并对三个图像中对应的分割区域采用相同的颜色进行标记，以保证三个图像分割区域相对应；然后建立一个基于VGG-19的风格化网络，依次对参考图像和左、右视图进行处理，用VGG-19分别提取各幅图像的五个卷积层特征，分别为conv1_1、conv2_1、conv3_1、conv4_1和conv5_1。

3.根据权利要求2所述的基于卷积神经网络的结构一致立体图像风格迁移方法，其特征在于，所述步骤S2具体包括以下步骤：

步骤S21：计算左视图的特征损失函数，处理过程在左视图和参考图像对应的分割区域内进行：

在每个分割区域内，分别计算特征损失函数，每个分割区域的特征损失函数包括基于图像内容的内容特征损失函数和基于图像风格的风格特征损失函数两部分；将每个分割区域内的像素值分别设置成1,2,...,n，n表示图像的分割总数；再将参考图像和左、右视图的分割图像依次缩放至conv1_1，conv2_1，conv3_1，conv4_1和conv5_1卷积层图像对应尺寸的大小，分别得到E¹，E²，E³，E⁴，E⁵分割图；然后选择左视图的conv2_1卷积层特征来计算内容特征损失函数，该层损失函数的系数α_l＝1，其他层的系数α_l＝0；而后计算风格特征损失函数，选参考图像的五个卷积层conv1_1、conv2_1、conv3_1、conv4_1和conv5_1作为风格特征，这些卷积层对应的系数均设置成β_l＝1，因此左视图的特征损失函数计算公式如下：

其中，L是卷积层的总数，l表示卷积神经网络的第l个卷积层，j表示第j个分割区域，n表示图像的分割区域总数；L_f是左视图的特征损失函数，

是第j个分割区域的特征损失函数，

是第j个分割区域的第l层的内容特征损失函数，

是第j个分割区域的第l层的风格特征损失函数，

和

分别表示内容图像和风格图像的第j个分割区域的第l层的掩码图，

和

分别表示内容图像和风格图像对应的第l层的分割图的像素值，像素值为j表示该像素属于第j个分割区域；O表示输出图像，C表示内容图像，是立体图像的左、右视图中的一个，在这一步中C是左视图，在步骤S22中C是右视图，S表示风格图像，即输入的参考图像，F_l是第l层的卷积层特征，F_l(O)、F_l(C)和F_l(S)分别是输出图像、内容图像和风格图像的第l层的卷积层特征，G是Gram矩阵，G(·)＝F_l[·]×F_l[·]^T，α_l和β_l是每个卷积层特征损失的权重，γ是内容特征损失函数和风格特征损失函数之间的权重；

步骤S22：采用与步骤S21相同的处理方法计算右视图的特征损失函数，这一步的处理过程在右视图和参考图像对应的分割区域内进行。

4.根据权利要求3所述的基于卷积神经网络的结构一致立体图像风格迁移方法，其特征在于，所述步骤S3具体包括以下步骤：

步骤S31：在左视图的特征损失函数L_f后面添加正则化损失函数，即引入一个拉普拉斯惩罚项来惩罚图像的失真，以确保在迭代传输过程中不会丢失图像的结构属性，防止图像结构失真，所述正则化损失函数用L_m表示：

其中，c表示图像RGB通道中第i个通道，V_c[O]表示输出图像第i个通道的向量化(N×1)，其中N表示图像宽和高的乘积，在这一步中输出图像是左视图的输出图像，在步骤S32中输出图像是右视图的输出图像，M_I表示对应图像I的拉普拉斯矩阵，I是立体图像中的左视图或右视图，在这一步中I是左视图，在步骤S32中I是右视图；

生成总损失函数，表示如下：

其中，n表示分割区域总数，θ表示特征损失函数权重；最小化以上总损失函数，生成风格化后的左视图I_ls；

步骤S32：在右视图的特征损失函数中，进行与步骤S31相同的处理，生成风格化后的右视图I_rs。

5.根据权利要求4所述的基于卷积神经网络的结构一致立体图像风格迁移方法，其特征在于，所述步骤S4的具体方法为：

所述质量评估算法包括SSIM评估算法和颜色直方图评估算法，利用SSIM评估算法和颜色直方图评估算法分别评估风格化后的左、右视图与包括参考图像和立体图像的输入图像的相似度，计算方法如下：

C^κ＝μ×SSIM(I_c,I_κs)+(1-μ)×D(I_κ,I_κs)

其中，I_κs表示风格化后的立体图像的左视图或右视图，κ＝l时I_κs表示风格化后立体图像的左视图，κ＝r时I_κs表示风格化后立体图像的右视图；SSIM(I_c,I_κs)表示参考图像I_c与立体图像风格化后的左视图或右视图I_κs之间的SSIM评估值；I_κ表示立体图像的左视图或右视图，κ＝l时I_κ表示立体图像的左视图，κ＝r时I_κ表示立体图像的右视图，D(I_κ,I_κs)表示立体图像的左视图或右视图I_κ与风格化后的左视图或右视图I_κs之间的像素直方图的距离，μ≤1表示权重，

和

表示立体图像的左视图或右视图I_κ与风格化后的左视图或右视图I_κs对应像素的直方图中第i个区间内的统计数值，m表示直方图的区间数目；

当κ＝l时，C^l表示风格化后的左视图与输入图像的相似度，当κ＝r时，C^r表示风格化后的右视图与输入图像的相似度；然后，比较C^l和C^r的数值，用相似性度量值较高的图像来校正相似性度量值较低的风格化图像，然后采用颜色校正结果替换风格化后相似度较低的视图，与风格化后相似度较高的视图构成风格化后结构一致的立体图像。

Images