CN108682044A - 一种基于双路径风格化网络的立体风格转移模型 - Google Patents

Abstract

本发明中提出的一种基于双路径风格化网络的立体风格转移模型，其主要内容包括：双路径风格化网络和损失网络，其过程为，立体风格转移模型由双路径风格化网络和损失网络两部分组成，双路径风格化网络采用立体对，并在单个路径中处理每个视图；将特征融合块嵌入到风格化网络中，有效共享这两个路径之间的特征级信息；损失网络计算感知损失和多层视图损失，以协调风格化网络两条路径的训练，从而生成视图一致的风格化结果。本发明提出了一种新颖的特征融合块来将信息从一个路径传播到另一个路径，能够生成具有更好视图一致性的风格化结果，且图片质量不会受到影响。

Description

一种基于双路径风格化网络的立体风格转移模型

技术领域

本发明涉及图像处理领域，尤其是涉及了一种基于双路径风格化网络的立体风格转移模型。

背景技术

随着技术的进步，越来越多的新颖设备为人们提供了各种视觉体验。其中，设备提供身临其境的视觉体验是其中最受欢迎的设备之一，其中包括虚拟现实设备、增强现实设备、3D电影系统和3D电视。这些设备共享的一个共同组件是立体成像技术，该技术通过双目视觉的立体视觉创建立体视觉对中的深度幻觉。为了提供更有吸引力的视觉体验，大量研究将有吸引力的视觉效果应用于立体图像。神经风格转移是可以用来实现这一目标的新兴技术之一。然而现有的方法虽然满足了保持视图一致性的需要，但是也引入了伪像，计算量较大。

本发明提出了一种基于双路径风格化网络的立体风格转移模型，立体风格转移模型由双路径风格化网络和损失网络两部分组成，双路径风格化网络采用立体对，并在单个路径中处理每个视图；将特征融合块嵌入到风格化网络中，有效共享这两个路径之间的特征级信息；损失网络计算感知损失和多层视图损失，以协调风格化网络两条路径的训练，从而生成视图一致的风格化结果。本发明提出了一种新颖的特征融合块来将信息从一个路径传播到另一个路径，能够生成具有更好视图一致性的风格化结果，且图片质量不会受到影响。

发明内容

针对引入伪像、计算量较大的问题，本发明的目的在于提供一种基于双路径风格化网络的立体风格转移模型，立体风格转移模型由双路径风格化网络和损失网络两部分组成，双路径风格化网络采用立体对，并在单个路径中处理每个视图；将特征融合块嵌入到风格化网络中，有效共享这两个路径之间的特征级信息；损失网络计算感知损失和多层视图损失，以协调风格化网络两条路径的训练，从而生成视图一致的风格化结果。

为解决上述问题，本发明提供一种基于双路径风格化网络的立体风格转移模型，其主要内容包括：

(一)双路径风格化网络；

(二)损失网络。

其中，所述的立体风格转移模型，立体风格转移模型由双路径风格化网络和损失网络两部分组成，双路径风格化网络采用立体对，并在单个路径中处理每个视图；将特征融合块嵌入到风格化网络中，有效共享这两个路径之间的特征级信息；损失网络计算感知损失和多层视图损失，以协调风格化网络两条路径的训练，从而生成视图一致的风格化结果。

其中，所述的双路径风格化网络，风格化网络可以分为三部分：编码器、特征融合块和解码器；首先，两条路径共享的编码器将原始图像作为输入，并提取两个视图的初始特征映射和其次，在特征融合块中，和被组合在一起，形成融合特征图最后，被解码以生成左视图的风格化图像。

进一步地，所述的编码器，编码器由三个卷积块组成，它们逐渐对输入图像进行下采样以提取相应的特征；使用Conv来表示“卷积-批量归一化-激活块”；C_in和C_out分别表示输入和输出的通道数目。

进一步地，所述的特征融合块，在立体图像对的每个视图上单独应用单个图像风格转移算法将导致视图不一致；因此，引入一个特征融合块来融合这两个路径的特征，使模型能够从两个视图中利用更多信息来保持视图的一致性；

以原始立体图像和由编码器提取的特征为输入，特征融合块输出融合特征图其包含两个视图的信息；

视差图由预训练的视差子网络预测；预测视差图用于对初始右视图特征图进行变形以与初始左视图特征图对齐，从而获得变形右视图特征图以这种方式学习变形操作，降低提取模型的像素对应信息的复杂度；采用门控子网络来学习用于指导的精细化选通操作，以产生精确的右特征图最后，沿通道轴连接和以获得融合特征图

进一步地，所述的视差子网络，将立体对的两个视图的连接作为输入，并输出估计的视差图；它以受监督的方式在数据集上预训练，其中包含真实标注视差图；为了预测左视图的视差图，立体对的两个视图沿着信道轴连接以形成{x^R,x^L}，其随后被馈送到视差子网络中；同样，{x^R,x^L}是预测右视差图的输入。

进一步地，所述的门控子网络，首先，使用双线性插值，将输入立体对x^L,x^R调整为与初始左视图特征图相同的分辨率，其表示为r(x^L)和r(x^R)；然后计算r(x^L)和W′(r(x^R))之间的绝对差值：

D^L＝|r(x^L)-W′(r(x^R))| (1)

以D^L作为输入，门控子网络预测具有与相同分辨率的单通道门控映射G^L；像素值的范围在[0,1]之间；用它来细化变形的右视图特征图特征映射。

进一步地，所述的融合，利用初始左视图特征图来细化变形的右视图特征图以生成精致的右视图特征图：

其中，⊙表示数组元素依次相乘；实验中发现直接连接和来制定最终的融合左视图特征图将在风格化结果中引起重影伪像，使用门控操作可以避免这个问题；最后，将细化的右视图特征映射与初始左视野特征图连接，形成融合左视图特征图

进一步地，所述的解码器，将融合的特征图作为输入，并将其解码为风格化的图像；解码器由两个视图共享；Res表示残差块；Deconv表示“解卷积–实例归一化-激活块”。

其中，所述的损失网络，有两个目的：一个是评估输出的风格质量，另一个是强化网络，将训练阶段的视图一致性纳入其中；损失网络计算感知损失和多层视图损失，以指导风格化网络的训练：

其中，表示风格化网络中解码器的第k层特征图；虽然两个视图的感知损失是分开计算的，但是根据输出和两个视图的特征来计算多层视图损失；通过对提出的损失进行训练，风格化网络学习协调两条路径的训练，以利用两个视图中的信息生成视觉吸引力和视图一致的结果；

感知损失被用来评估输出的风格质量，其中包括内容损失和风格损失；引入内容损失是为了保留输入的高级内容信息；风格损失被用来评估生成图像的风格质量，这里使用格拉姆矩阵作为样式表示；风格损失定义为输出的格拉姆矩阵与参考样式图像之间的均方误差；

除了感知损失之外，还提出了一种新的多层视图损失来将视图一致性编码到训练阶段的模型中；为了进一步增强风格化图像的视图一致性，还对左右内容图像的中间特征图执行相应的激活值以使其相同，因此引入了特征级视图损失。

附图说明

图1是本发明一种基于双路径风格化网络的立体风格转移模型的系统框架图。

图2是本发明一种基于双路径风格化网络的立体风格转移模型的双路径风格化网络。

图3是本发明一种基于双路径风格化网络的立体风格转移模型的特征融合块。

图4是本发明一种基于双路径风格化网络的立体风格转移模型的损失网络。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

图1是本发明一种基于双路径风格化网络的立体风格转移模型的系统框架图。主要包括双路径风格化网络和损失网络。双路径风格化网络采用立体对，并在单个路径中处理每个视图；将特征融合块嵌入到风格化网络中，有效共享这两个路径之间的特征级信息；损失网络计算感知损失和多层视图损失，以协调风格化网络两条路径的训练，从而生成视图一致的风格化结果。

图2是本发明一种基于双路径风格化网络的立体风格转移模型的双路径风格化网络。风格化网络可以分为三部分：编码器、特征融合块和解码器；首先，两条路径共享的编码器将原始图像作为输入，并提取两个视图的初始特征映射和其次，在特征融合块中，和被组合在一起，形成融合特征图最后，被解码以生成左视图的风格化图像。

编码器由三个卷积块组成，它们逐渐对输入图像进行下采样以提取相应的特征；使用Conv来表示“卷积-批量归一化-激活块”；C_in和C_out分别表示输入和输出的通道数目。

解码器将融合的特征图作为输入，并将其解码为风格化的图像；解码器由两个视图共享；Res表示残差块；Deconv表示“解卷积–实例归一化-激活块”。

图3是本发明一种基于双路径风格化网络的立体风格转移模型的特征融合块。在立体图像对的每个视图上单独应用单个图像风格转移算法将导致视图不一致；因此，引入一个特征融合块来融合这两个路径的特征，使模型能够从两个视图中利用更多信息来保持视图的一致性；

以原始立体图像和由编码器提取的特征为输入，特征融合块输出融合特征图其包含两个视图的信息；

视差图由预训练的视差子网络预测；预测视差图用于对初始右视图特征图进行变形以与初始左视图特征图对齐，从而获得变形右视图特征图以这种方式学习变形操作，降低提取模型的像素对应信息的复杂度；采用门控子网络来学习用于指导的精细化选通操作，以产生精确的右特征图最后，沿通道轴连接和以获得融合特征图

视差子网络将立体对的两个视图的连接作为输入，并输出估计的视差图；它以受监督的方式在数据集上预训练，其中包含真实标注视差图；为了预测左视图的视差图，立体对的两个视图沿着信道轴连接以形成{x^R,x^L}，其随后被馈送到视差子网络中；同样，{x^R,x^L}是预测右视差图的输入。

门控子网络首先使用双线性插值，将输入立体对x^L,x^R调整为与初始左视图特征图相同的分辨率，其表示为r(x^L)和r(x^R)；然后计算r(x^L)和W′(r(x^R))之间的绝对差值：

D^L＝|r(x^L)-W′(r(x^R))| (1)

以D^L作为输入，门控子网络预测具有与相同分辨率的单通道门控映射G^L；像素值的范围在[0,1]之间；用它来细化变形的右视图特征图特征映射。

利用初始左视图特征图来细化变形的右视图特征图以生成精致的右视图特征图：

其中，⊙表示数组元素依次相乘；实验中发现直接连接和来制定最终的融合左视图特征图将在风格化结果中引起重影伪像，使用门控操作可以避免这个问题；最后，将细化的右视图特征映射与初始左视野特征图连接，形成融合左视图特征图

图4是本发明一种基于双路径风格化网络的立体风格转移模型的损失网络。损失网络有两个目的：一个是评估输出的风格质量，另一个是强化网络，将训练阶段的视图一致性纳入其中；损失网络计算感知损失和多层视图损失，以指导风格化网络的训练：

其中，表示风格化网络中解码器的第k层特征图；虽然两个视图的感知损失是分开计算的，但是根据输出和两个视图的特征来计算多层视图损失；通过对提出的损失进行训练，风格化网络学习协调两条路径的训练，以利用两个视图中的信息生成视觉吸引力和视图一致的结果；

感知损失被用来评估输出的风格质量，其中包括内容损失和风格损失；引入内容损失是为了保留输入的高级内容信息；风格损失被用来评估生成图像的风格质量，这里使用格拉姆矩阵作为样式表示；风格损失定义为输出的格拉姆矩阵与参考样式图像之间的均方误差；

除了感知损失之外，还提出了一种新的多层视图损失来将视图一致性编码到训练阶段的模型中；为了进一步增强风格化图像的视图一致性，还对左右内容图像的中间特征图执行相应的激活值以使其相同，因此引入了特征级视图损失。

对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种基于双路径风格化网络的立体风格转移模型，其特征在于，主要包括双路径风格化网络(一)；损失网络(二)。

2.基于权利要求书1所述的立体风格转移模型，其特征在于，立体风格转移模型由双路径风格化网络和损失网络两部分组成，双路径风格化网络采用立体对，并在单个路径中处理每个视图；将特征融合块嵌入到风格化网络中，有效共享这两个路径之间的特征级信息；损失网络计算感知损失和多层视图损失，以协调风格化网络两条路径的训练，从而生成视图一致的风格化结果。

3.基于权利要求书1所述的双路径风格化网络(一)，其特征在于，风格化网络可以分为三部分：编码器、特征融合块和解码器；首先，两条路径共享的编码器将原始图像作为输入，并提取两个视图的初始特征映射和其次，在特征融合块中，和被组合在一起，形成融合特征图最后，被解码以生成左视图的风格化图像。

4.基于权利要求书3所述的编码器，其特征在于，编码器由三个卷积块组成，它们逐渐对输入图像进行下采样以提取相应的特征；使用Conv来表示“卷积-批量归一化-激活块”；C_in和C_out分别表示输入和输出的通道数目。

5.基于权利要求书3所述的特征融合块，其特征在于，在立体图像对的每个视图上单独应用单个图像风格转移算法将导致视图不一致；因此，引入一个特征融合块来融合这两个路径的特征，使模型能够从两个视图中利用更多信息来保持视图的一致性；

以原始立体图像和由编码器提取的特征为输入，特征融合块输出融合特征图其包含两个视图的信息；

视差图由预训练的视差子网络预测；预测视差图用于对初始右视图特征图进行变形以与初始左视图特征图对齐，从而获得变形右视图特征图以这种方式学习变形操作，降低提取模型的像素对应信息的复杂度；采用门控子网络来学习用于指导的精细化选通操作，以产生精确的右特征图最后，沿通道轴连接和以获得融合特征图

6.基于权利要求书5所述的视差子网络，其特征在于，视差子网络将立体对的两个视图的连接作为输入，并输出估计的视差图；它以受监督的方式在数据集上预训练，其中包含真实标注视差图；为了预测左视图的视差图，立体对的两个视图沿着信道轴连接以形成{x^R,x^L}，其随后被馈送到视差子网络中；同样，{x^R,x^L}是预测右视差图的输入。

7.基于权利要求书5所述的门控子网络，其特征在于，首先，使用双线性插值，将输入立体对x^L,x^R调整为与初始左视图特征图相同的分辨率，其表示为r(x^L)和r(x^R)；然后计算r(x^L)和W′(r(x^R))之间的绝对差值：

D^L＝|r(x^L)-W′(r(x^R))| (1)

以D^L作为输入，门控子网络预测具有与相同分辨率的单通道门控映射G^L；像素值的范围在[0,1]之间；用它来细化变形的右视图特征图特征映射。

8.基于权利要求书5所述的融合，其特征在于，利用初始左视图特征图来细化变形的右视图特征图以生成精致的右视图特征图：

其中，⊙表示数组元素依次相乘；实验中发现直接连接和来制定最终的融合左视图特征图将在风格化结果中引起重影伪像，使用门控操作可以避免这个问题；最后，将细化的右视图特征映射与初始左视野特征图连接，形成融合左视图特征图

9.基于权利要求书3所述的解码器，其特征在于，解码器将融合的特征图作为输入，并将其解码为风格化的图像；解码器由两个视图共享；Res表示残差块；Deconv表示“解卷积–实例归一化-激活块”。

10.基于权利要求书1所述的损失网络(二)，其特征在于，损失网络有两个目的：一个是评估输出的风格质量，另一个是强化网络，将训练阶段的视图一致性纳入其中；损失网络计算感知损失和多层视图损失，以指导风格化网络的训练：

其中，表示风格化网络中解码器的第k层特征图；虽然两个视图的感知损失是分开计算的，但是根据输出和两个视图的特征来计算多层视图损失；通过对提出的损失进行训练，风格化网络学习协调两条路径的训练，以利用两个视图中的信息生成视觉吸引力和视图一致的结果；

感知损失被用来评估输出的风格质量，其中包括内容损失和风格损失；引入内容损失是为了保留输入的高级内容信息；风格损失被用来评估生成图像的风格质量，这里使用格拉姆矩阵作为样式表示；风格损失定义为输出的格拉姆矩阵与参考样式图像之间的均方误差；

除了感知损失之外，还提出了一种新的多层视图损失来将视图一致性编码到训练阶段的模型中；为了进一步增强风格化图像的视图一致性，还对左右内容图像的中间特征图执行相应的激活值以使其相同，因此引入了特征级视图损失。