CN110111254B - 一种基于多级递归引导和渐进监督的深度图超分辨率方法 - Google Patents

Abstract

本发明公开了一种基于多级递归引导和渐进监督的深度图超分辨率方法，包括：采用双流结构对输入的彩色图和深度图分别进行域变换，分别获取彩色基础特征和深度基础特征；采用多级递归引导结构，利用彩色递归块和深度递归块分别从彩色基础特征和深度基础特征中提取多级彩色特征、多级深度特征，每一级的彩色特征作为引导信息融合到深度递归块中，实现彩色图对深度图重建的多级引导；通过渐进监督实现对不同递归级的监督并生成不同级的残差信息；通过残差融合和重建综合所有级的残差信息，以此重建出高分辨率深度图。本发明采用多级递归引导使用较少的拟合参数从彩色图中提取有利信息辅助深度图超分辨率，渐进监督的引入使得网络训练收敛更稳定。

Description

一种基于多级递归引导和渐进监督的深度图超分辨率方法

技术领域

本发明涉及深度图超分辨率领域，尤其涉及一种基于多级递归引导和渐进监督的深度图超分辨率方法。

背景技术

深度图能够为立体场景的构建提供必要的深度信息，被广泛地运用于立体显示，机器视觉，虚拟现实等应用领域。但相比于彩色纹理图的获取，深度图很难通过深度传感技术精确获取到。目前获取深度图的方法主要包含以下三类：立体匹配方法，激光扫描方法，距离感知法。然而通过以上方法得到的深度图，其分辨率要远远低于同场景下相应的彩色图，而且所获取的深度图边缘容易发生扭曲失真。深度图的这些不利因素严重阻碍了3D重建，视觉综合质量和立体物体检测技术的发展。深度图超分辨率研究技术可以通过提高深度图的质量从而解决以上问题。

深度图超分辨率技术是图像超分辨率技术中的一类。图像超分辨率旨在从一幅或多幅低分辨率图像中恢复其高频细节信息，生成一副高分辨率的图像。深度图是由大量平滑区域和少量的物体边界组成，而图像退化过程中，其边缘等高频信息极易丢失，深度锐利边缘的重建更加困难。因此，深度图超分辨率关注点在于对失真的图像边缘的修复，这也是该任务的难点所在。

图像超分辨率不仅可以提高空间分辨率，还可以对图像进行去噪和去模糊，实现图像增强。但超分辨率算法的求解是一个病态的问题，对约束条件的选取和模型选择有较大依赖性。目前超分辨率算法主要分为三类，即传统的插值滤波方法，基于外部样本的学习方法和基于深度学习的方法。插值滤波方法是一种基于预测的方法，对于平滑区域的重建性能较好，然而在不连续区域会出现锯齿效应，为此，联合双边滤波引入边缘权重项来解决边缘失真，联合三边滤波则考虑了深度图的梯度信息和视觉合成质量。

基于外部样本的学习方法首先通过构建模型，例如高斯混合模型，然后对外部样本对进行学习建模以解决图像重建问题。基于深度学习的方法，主要运用卷积神经网络依靠大量的训练数据对，通过不断迭代来拟合低分辨率块和高分辨率块之间的映射关系，其重建性能远胜于传统方法，成为目前超分辨率的主流方法。

Hui等人利用多尺度融合策略，利用双流网络分别提取深度图和彩色图不同尺度下的特征并进行融合从而引导实现深度图的超分辨率重建。Yang等人则利用串联的网络结构从高分辨率彩色边缘提取特征对深度图支路的每层特征都进行融合引导，从而尽可能地恢复锐利的深度边缘。

发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：

目前的深度图超分辨率算法仍然存在着重建图像边缘模糊的问题；基于深度学习的方法引入大量训练参数，模型复杂度高，计算量大。基于彩色引导的深度图超分辨率算法没有高校的引导机制，提取有用的辅助信息。

发明内容

本发明通过构建双流的多级递归引导网络，对彩色分支逐级提取引导信息以辅助深度分支实现深度图重建，通过渐进监督的方式，使深度分支的每一级递归都输出一个预测的残差子图，从而逐步地提高深度图质量并获得锐利的深度边缘，详见下文描述：

一种基于多级递归引导和渐进监督的深度图超分辨率方法，所述方法包括以下步骤：

采用双流结构对输入的彩色图和深度图分别进行域变换，分别获取彩色基础特征和深度基础特征；

采用多级递归引导结构，利用彩色递归块和深度递归块分别从彩色基础特征和深度基础特征中提取多级彩色特征、多级深度特征，每一级的彩色特征作为引导信息融合到深度递归块中，实现彩色图对深度图重建的多级引导；

通过渐进监督实现对不同递归级的监督并生成不同级的残差信息；

通过残差融合和重建综合所有级的残差信息，以此重建出高分辨率深度图。

其中，所述彩色递归块具体为：

彩色流的第n级递归输出为

表达式如下：

其中，

表示彩色流第n-1级递归的输出/>

F_y为彩色流的基础特征。f_y1，f_y2代表了彩色递归块的两层卷积操作，N表示总共的递归级数。

进一步地，所述深度递归块具体为：

设深度流的第n级递归的中间输出为

表达式如下：

其中，

表示深度流第n-1级递归的最终输出/>

F_d为深度流的基础特征，f_d1，f_d2代表了深度递归块的两层卷积操作，N表示总共的递归级数。

进一步地，所述每一级的彩色特征作为引导信息融合到深度递归块中，实现彩色图对深度图重建的多级引导具体为：

将两种特征在通道上级联，经过一个卷积层将级联的特征融合为一个复合特征，具体表示为：

其中，

表示彩色流的第n级递归的输出，/>

表示深度流第n级递归的中间输出，f_d3表示一层卷积操作。/>

表示融合后的复合特征，即深度流第n级递归的最终输出，/>

进入下一次递归的同时也送入到渐进监督得到阶段性的深度图预测。

其中，所述通过渐进监督实现对不同递归级的监督并生成不同级的残差信息具体为：

从深度递归的每一级对应地重建一个深度残差子图，对不同递归级的输出采用不同的监督层，残差子图R_hn(n∈(1，N))由以下公式得到：

/>

其中，

表示深度递归块的第n级输出，f_sn表示第n个监督层，R_hn为第n级的残差子图。

进一步地，所述通过残差融合和重建综合所有级的残差信息，以此重建出高分辨率深度图具体为：

将N个残差子图进行级联，提取融合特征：

R_f＝f_f(R_h1,,,R_hN)

其中，R_h1,,,R_hN代表了多级的残差子图，f_f表示融合卷积操作，R_f表示融合的特征；融合的特征经过重建卷积层得到最终的深度残差图，公式表达为：

R_h＝f_r(R_f)

其中，f_r表示重建卷积层，R_h为最终重建的残差图，原始的低分辨率深度图与最终的残差图相加得到最终的高分辨率深度图。

本发明提供的技术方案的有益效果是：

1、本发明采用多级递归引导使得网络使用较少的拟合参数从彩色图中提取有利信息辅助深度图超分辨率，渐进监督的引入使得网络训练收敛更稳定；

2、本发明采用重建的深度图像使得空间分辨率更高，高频信息恢复更加清晰，图像边缘更加锐利，并且去除了振铃效应问题。

附图说明

图1为基于多级递归引导和渐进监督的深度图超分辨率方法的流程图；

图2为本发明提出方法的重建结果以及与其他方法的比较示意图。

其中，第一列的“Art”“Books”是两个完整的测试图，后面的三列是标注方框的放大图；(a)列是GMM方法结果的放大图；(b)列是SRCNN结果的放大图；(c)是本发明结果的放大图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

实施例1

为了克服现有深度图重建技术的不足，本发明实施例提出了一种基于多级递归引导和渐进监督的双流网络来重建高分辨率深度图，多级递归引导结构用于提取彩色流和深度流的多级特征，同时彩色流特征对深度流进行逐级引导；渐进监督模块实现了对不同递归级的监督并生成不同级的残差信息；残差融合和重建模块综合所有级的残差信息重建出高分辨率深度图。具体实现步骤如下：

一、域变换

为实现彩色信息对深度图超分辨率的引导作用，采用双流结构，彩色流作为引导分支，输入的是从高分辨率彩色图提取的亮度图，深度流输入的是经过bicubic上采样后的低分辨率深度图，两流的输入具有相同的空间尺寸。在彩色流和深度流分别利用一层卷积将亮度图和深度图转化到特征域，分别得到基础特征，具体方法的公式表示：

F_d＝f_d0(D_l,W)

F_y＝f_y0(Y_h,W)

其中，Y_h为从高分辨率彩色图提取的亮度图，D_l为低分辨率深度图，f_d0和f_y0分别代表深度流和彩色流的域变换卷积操作，F_d和F_y分别表示深度基础特征和彩色基础特征，W表示该卷积层的权重参数。

二、多级递归引导

多级递归引导的作用是拟合低分辨率特征到高分辨率特征之间的映射关系，采用两个交互的递归块逐步地从低分辨率空间映射到高分辨率空间。在得到彩色流和深度流的基础特征后，利用彩色递归块和深度递归块，分别对彩色流和深度流以递进的方式提取多级特征，递归块每执行一次称为一级。递归和引导是同步的，即每一级的彩色特征都会作为引导信息融合到深度递归块中，实现彩色信息对深度图重建的多级引导。

(1)彩色递归块

彩色流多级引导信息的提取主要依赖于彩色递归块，采用局部残差的结构，它包含两个卷积层，用于提取每一级的彩色残差特征，然后加上彩色基础特征得到每一级彩色递归的输出。设彩色流的第n级递归输出为

表达式如下：

其中，

表示彩色流第n-1级递归的输出/>

F_y为彩色流的基础特征。f_y1，f_y2代表了彩色递归块的两层卷积操作，N表示总共的递归级数。

(2)深度递归块

与彩色流类似，深度流的递归块同样包含两个卷积层，用于提取深度残差特征，然后加上深度基础特征得到深度递归块的中间输出。设深度流的第n级递归的中间输出为

表达式如下：

其中，

表示深度流第n-1级递归的最终输出/>

F_d为深度流的基础特征。f_d1，f_d2代表了深度递归块的两层卷积操作，N表示总共的递归级数。

(3)引导

为了使深度图重建过程能够利用额外的辅助信息，在每个递归级，将彩色递归块的输出引入到深度递归块中，并与深度递归块的中间输出融合。融合的过程分为两步，首先将两种特征在通道上级联，形成一组具有双倍通道的新特征，然后经过一个卷积层将级联的特征融合为一个复合特征，具体表示为：

其中，

表示彩色流的第n级递归的输出，/>

表示深度流第n级递归的中间输出，f_d3表示一层卷积操作。/>

表示融合后的复合特征，即深度流第n级递归的最终输出，/>

进入下一次递归的同时也送入到渐进监督模块得到阶段性的深度图预测。

三、渐进监督

为了学习到多个阶段性的深度图预测，对深度流的每一级递归进行监督，即从深度递归的每一级对应地重建一个深度残差子图，考虑到相邻递归操作之间的渐进关系，对不同递归级的输出采用了不同的监督层，残差子图R_hn(n∈(1，N))由以下公式得到：

其中，

表示深度递归块的第n级输出，f_sn表示第n个监督层。R_hn为第n级的残差子图，该残差子图加上输入的低分辨率深度图作为该递归级的深度图预测，然后计算该预测图和标签之间的均方误差：

其中，M为用于训练的总图像量，

表示对应于第i个训练图像的第n级残差子图，

表示输入的第i个低分辨率深度图，/>

是其对应的高分辨率深度图。L_n表示第n级监督的均方误差损失，总的监督损失L_s表达为：

四、残差融合和重建

超分辨率重建任务是一个像素级的预测任务，为避免像素信息的丢失，综合考虑了渐进监督模块生成的不同级的残差信息，将N个残差子图进行级联，提取融合特征：

R_f＝f_f(R_h1,,,R_hN)

其中，R_h1,,,R_hN代表了多级的残差子图，f_f表示融合卷积操作，R_f表示融合的特征。融合的特征经过重建卷积层得到最终的深度残差图，公式表达为：

R_h＝f_r(R_f)

其中，f_r表示重建卷积层，R_h为最终重建的残差图。原始的低分辨率深度图与最终的残差图相加得到最终的高分辨率深度图：

在训练过程种，重建损失L_r定义为：

其中，

为训练过程中第i个重建的图像，/>

为对应的标签。结合监督损失和重建损失，网络训练的总的损失函数L表示为：

L＝(L_s+L_r)/2

实施例2

下面结合图2对实施例1中的方案进行可行性验证，详见下文描述：

图2展示了本发明基于多级递归引导和渐进监督网络重建的深度图与其他方法重建结果的对比，包括可视化的定性比较和基于根均方误差(RMSE)的定量比较。数据来自Middlebury立体数据集中的Art和Books，对应两数据，本发明所提方法重建图像的根均方误差分别为1.467和0.640，远远低于其他方法的重建误差值。从可视化的局部放大图进行定性比较，尤其是Art图像中的壶把手可以明显看出，本发明方法重建的深度图边缘更加清晰，几乎与标准图像接近一致，而其他方法都有不同程度模糊噪声以及振铃效应。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于多级递归引导和渐进监督的深度图超分辨率方法，其特征在于，所述方法包括以下步骤：

采用双流结构对输入的彩色图和深度图分别进行域变换，分别获取彩色基础特征和深度基础特征；

采用多级递归引导结构，利用彩色递归块和深度递归块分别从彩色基础特征和深度基础特征中提取多级彩色特征、多级深度特征，每一级的彩色特征作为引导信息融合到深度递归块中，实现彩色图对深度图重建的多级引导；

通过渐进监督实现对不同递归级的监督并生成不同级的残差信息；

通过残差融合和重建综合所有级的残差信息，以此重建出高分辨率深度图；

所述彩色递归块具体为：

彩色流的第n级递归输出为

表达式如下：

其中，

表示彩色流第n-1级递归的输出

F_y为彩色流的基础特征，f_y1，f_y2代表了彩色递归块的两层卷积操作，N表示总共的递归级数；

所述深度递归块具体为：

设深度流的第n级递归的中间输出为

表达式如下：

其中，

表示深度流第n-1级递归的最终输出

F_d为深度流的基础特征，f_d1，f_d2代表了深度递归块的两层卷积操作，N表示总共的递归级数。

2.根据权利要求1所述的一种基于多级递归引导和渐进监督的深度图超分辨率方法，其特征在于，所述每一级的彩色特征作为引导信息融合到深度递归块中，实现彩色图对深度图重建的多级引导具体为：

将两种特征在通道上级联，经过一个卷积层将级联的特征融合为一个复合特征，具体表示为：

其中，

表示彩色流的第n级递归的输出，

表示深度流第n级递归的中间输出，f_d3表示一层卷积操作，

表示融合后的复合特征，即深度流第n级递归的最终输出，

进入下一次递归的同时也送入到渐进监督得到阶段性的深度图预测。

3.根据权利要求1所述的一种基于多级递归引导和渐进监督的深度图超分辨率方法，其特征在于，所述通过渐进监督实现对不同递归级的监督并生成不同级的残差信息具体为：

从深度递归的每一级对应地重建一个深度残差子图，对不同递归级的输出采用不同的监督层，残差子图R_hn，n∈(1,N)由以下公式得到：

其中，

表示深度递归块的第n级输出，f_sn表示第n个监督层，R_hn为第n级的残差子图。

4.根据权利要求1所述的一种基于多级递归引导和渐进监督的深度图超分辨率方法，其特征在于，所述通过残差融合和重建综合所有级的残差信息，以此重建出高分辨率深度图具体为：

将N个残差子图进行级联，提取融合特征：

R_f＝f_f(R_h1,,,R_hN)

其中，R_h1,,,R_hN代表了多级的残差子图，f_f表示融合卷积操作，R_f表示融合的特征；融合的特征经过重建卷积层得到最终的深度残差图，公式表达为：

R_h＝f_r(R_f)

其中，f_r表示重建卷积层，R_h为最终重建的残差图，原始的低分辨率深度图与最终的残差图相加得到最终的高分辨率深度图。

Images