CN109272447A - 一种深度图超分辨率方法 - Google Patents

Abstract

本发明公开了一种深度图超分辨率方法，所述方法包括以下步骤：利用边缘检测算子分别提取彩色图边缘和初始上采样后的深度图边缘；边缘图的优化，将膨胀后的彩色边缘与深度边缘进行“与”操作，进行边缘图的优化；超分辨率网络构建，依次经过图像块提取、特征图非线性映射、图像重建和优化叠加四个步骤，实现超分辨率网络构建；以均方误差为驱动，随机梯度下降为优化策略，对超分辨率网络进行网络训练，以此更新网络的学习参数。本方法在提高图像分辨率的同时，使图像深度像素值更准确，图像更为清晰，并且有效抑制了振铃效应，使重建的深度边缘更加锐利。

Description

一种深度图超分辨率方法

技术领域

本发明涉及图像处理、立体视觉技术领域，尤其涉及一种深度图超分辨率方法。

背景技术

深度信息是人类感知立体场景的重要线索，精确场景深度信息的获取，已经成为当前研究的热点。目前，主流的深度相机拍摄的深度图以其低成本、实时性赢得广大研究人员的青睐。然而，基于现有技术获取的深度图存在分辨率低、深度值不精确及易受噪声影响等问题，拍摄深度图的分辨率远不能与彩色图相匹配。而高质量高分辨率的深度图，对于立体显示和虚拟现实等立体视觉感知相关的任务至关重要。因此，深度图超分辨率重建技术成为当前研究的一个热点。

超分辨率重建技术是指根据某个场景中的一个或多个低分辨率图像或观测序列，采用特定的方法恢复图像或观测序列高频信息的过程。从数学理论角度分析，超分辨重建技术的求解过程是一个病态问题，重建过程需要将场景附加信息作为先验知识以解决病态优化问题。超分辨率重建在预测图像或观测序列高频信息的同时，还可以增强已有的纹理信息。深度图超分辨率重建技术是在现有深度相机硬件系统条件下，利用重建技术恢复出深度图的高频信息，并有效地抑制随机噪声以及成像过程中的模糊现象，重建出高质量高分辨率的深度图。

卷积神经网络成功地应用于超分辨率重建技术，其智能性和有效性受到人们的青睐，彩色图像的超分辨率重建性能得到了显著提升，基于卷积神经网络的彩色图超分辨率技术基本成熟，而基于卷积神经网络的深度图超分辨率重建仍然处于发展阶段。深度图的特性不同于彩色图，它没有丰富的纹理信息，主要由尖锐的对象边界和大量的平滑区域构成，因此锐利边缘的恢复是深度图超分辨率的重要内容。Hui等人利用多尺度融合策略，分别提取低分辨率深度图和高分辨率彩色图的特征，然后在深度图的每一个上采样阶段，将深度特征与彩色特征进行融合从而引导实现深度图的超分辨率重建。Yang等人同样利用融合策略，利用高分辨率彩色边缘对串联的每层卷积网络都进行融合引导，从而尽可能地恢复锐利的深度边缘。Xiao等人将深度和彩色两支路的输出级联作为第三个支路的输入进行融合学习，从而输出高分辨率深度图。

发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：

现有的深度图超分辨率技术中大都借助于同一场景中的高分辨率彩色图进行融合辅助，而融合的策略仅限于特征级联，而且彩色图中复杂的纹理信息会给深度图的重建带来干扰，在深度图重建过程中未能充分利用彩色图提供的引导信息。

发明内容

本发明提供了一种深度图超分辨率方法，本发明通过低分辨率深度图和高分辨率彩色图联合提取得到的优化边缘图作为引导信息，与低分辨率深度图一起输入到双流卷积网络中，在获得高分辨率的深度图的同时能够重建出锐利的深度边缘，详见下文描述：

一种深度图超分辨率方法，所述方法包括以下步骤：

利用边缘检测算子分别提取彩色图边缘和初始上采样后的深度图边缘；

边缘图的优化，将膨胀后的彩色边缘与深度边缘进行“与”操作，进行边缘图的优化；

超分辨率网络构建，依次经过图像块提取、特征图非线性映射、图像重建和优化叠加四个步骤，实现超分辨率网络构建；

以均方误差为驱动，随机梯度下降为优化策略，对超分辨率网络进行网络训练，以此更新网络的学习参数。

所述图像块提取具体为：

F₁₂＝max(0，W₁₂*E+B₁₂)

其中，W₁₁对应n₁₁个c×f₁₁×f₁₁大小的滤波器，W₁₂对应n₁₂个c×f₁₂×f₁₂大小的滤波器，B₁₁是第一流网络第一层滤波器的偏移向量，B₁₂是第二流网络中第一层滤波器的偏移向量；表示将低分辨率深度图D_L上采样特定的比例；E表示优化后的边缘图。

所述特征图非线性映射具体为：

F₂₁＝max(0，W₂₁*F₁₁+B₂₁)

F₂₂＝max(0，W₂₂*F₁₂+B₂₂)

其中，W₂₁对应n₂₁个大小为n₁₁×f₂₁×f₂₁的滤波器，W₂₂对应n₂₂个大小为n₁₂×f₂₂×f₂₂的滤波器，B₂₁和B₂₂分别是双流网络中的第二层滤波器的偏移向量。

所述图像重建具体为：将高维特征映射到图像空间：

F₃₁＝max(0，W₃₁*F₂₁+B₃₁)

F₃₂＝max(0，W₃₂*F₂₂+B₃₂)

其中，W₃₁对应一个n₂₁×f₃₁×f₃₁的滤波器，W₃₂对应一个n₂₂×f₃₂×f₃₂的滤波器，B₃₁和B₃₂表示双流网络中的第三层滤波器的偏移向量。

所述优化叠加具体为：

所述以均方误差为驱动，随机梯度下降为优化策略，对超分辨率网络进行网络训练具体为：

网络叠加的输出与高分辨率深度图计算损失，并求导后依权重矩阵更新公式进行网络参数更新；

经过多次循环迭代后使网络最终能较好地拟合出低分辨率深度图和高分辨率深度图之间的映射关系。

本发明提供的技术方案的有益效果是：

本发明设计了一种基于卷积神经网络的彩色信息引导的深度图超分辨率重建方法，本方法在提高图像分辨率的同时，使图像深度像素值更准确，图像更为清晰，并且有效抑制了振铃效应，使重建的深度边缘更加锐利。

附图说明

图1为一种深度图超分辨率方法的流程图；

图2为本方法与其他方法的定量比较示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

实施例1

本发明实施例提出了一种彩色信息引导的深度图超分辨率方法，采用双流卷积神经网络结构对低分辨率深度图进行超分辨率，参见图1，主要包括：

101：深度图和彩色图的边缘提取：即，利用边缘检测算子分别提取彩色图边缘和初始上采样后的深度图边缘；

102：边缘图的优化，将膨胀后的彩色边缘与深度边缘进行“与”操作；

103：超分辨率网络构建，包括：图像块提取，特征图非线性映射，图像重建和优化叠加四个步骤。

其中，超分辨率网络训练：以均方误差为驱动，随机梯度下降为优化策略更新网络的学习参数。

综上所述，本方法在提高图像分辨率的同时，使图像深度像素值更准确，图像更为清晰，并且有效抑制了振铃效应，使重建的深度边缘更加锐利。

实施例2

下面结合图1和图2对实施例1中的方案进行进一步地介绍，详见下文描述：

一、深度图和彩色图的边缘提取

为了使超分辨率输出的深度图的边缘更加锐利，需要借助于同一场景下彩色图的外边缘。但是由于高分辨率彩色图像和低分辨率深度图的分辨率不同，所以，首先利用双三次插值(Bicubic)算法对低分辨率深度图进行上采样，使之与彩色图的大小一致，然后利用边缘检测算子(Canny)提取深度图像和彩色图像的边缘：

E_C＝f_c(Y)

其中，表示将低分辨率深度图D_L上采样特定的比例，Y表示彩色图，f_c表示边缘提取算子。E_C表示利用边缘检测算子获得的高分辨率彩色图边缘，E_D表示利用边缘检测获得的低分辨率深度图边缘。

二、边缘图优化

受深度成像技术的限制，深度图像和彩色图像的边缘存在不对齐现象，这将对彩色信息引导深度图重建的过程产生不利影响。因此为了得到更加准确的深度边界，首先运用形态学运算将高分辨率彩色边缘图进行膨胀，获得一个粗化的彩色边缘，然后将粗化的彩色边缘与深度边缘相“与”，保留两者在边缘一致的像素点，去除掉边缘不一致的像素点，从而得到优化的深度边缘图。

E＝f_d(E_C)&E_D

其中，f_d表示形态学运算膨胀，&表示“与”运算，E表示优化后的边缘图。

三、超分辨率网络构建

1)图像块提取

本发明实施例利用一组滤波器对初始上采样的低分辨率深度图和优化的边缘图进行块提取，将图像转化为特征图。双流网络的块提取过程的操作分别记为F₁₁和F₁₂，其公式如下：

F₁₂＝max(0，W₁₂*E+B₁₂)

其中，W₁₁对应n₁₁个c×f₁₁×f₁₁大小的滤波器，W₁₂对应n₁₂个c×f₁₂×f₁₂大小的滤波器，B₁₁是第一流网络第一层滤波器的偏移向量，B₁₂是第二流网络中第一层滤波器的偏移向量，“*”是卷积操作运算符号。c是输入图像的通道数，这里输入的是深度图和边缘图，那么通道数都是1。f₁₁和f₁₂表示双流网络图像块提取操作各自的滤波器核大小。每一流输出特征图的维数取决于n₁₁和n₁₂。最后，利用最大激活函数(max(x，0))对特征图分别进行非线性处理。

2)特征图非线性映射

在非线性映射过程中，将块提取过程获得的n₁₁维深度特征映射到维数为n₂₁的特征空间，将块提取过程获得的n₁₂维边缘特征映射到维数为n₂₂的特征空间，公式如下：

F₂₁＝max(0，W₂₁*F₁₁+B₂₁)

F₂₂＝max(0，W₂₂*F₁₂+B₂₂)

其中，W₂₁对应n₂₁个大小为n₁₁×f₂₁×f₂₁的滤波器，W₂₂对应n₂₂个大小为n₁₂×f₂₂×f₂₂的滤波器，B₂₁和B₂₂分别是双流网络中的第二层滤波器的偏移向量。

3)图像重建

将高维特征映射到图像空间：

F₃₁＝max(0，W₃₁*F₂₁+B₃₁)

F₃₂＝max(0，W₃₂*F₂₂+B₃₂)

其中，W₃₁对应一个n₂₁×f₃₁×f₃₁的滤波器，W₃₂对应一个n₂₂×f₃₂×f₃₂的滤波器，B₃₁和B₃₂表示双流网络中的第三层滤波器的偏移向量。

4)优化叠加

初始上采样深度图和优化后的边缘图E都分别通过以上三个步骤，并将第三步的输出馈送至叠加层，即将两者按像素相加，从而在网络的训练优化过程中实现彩色信息对深度图超分辨率过程的引导，叠加后得到最终的超分辨率重建深度图

四、超分辨率网络训练

本发明实施例基于Caffe框架设计实现此双流卷积神经网络。真图集记为基于下采样退化模型得到低分辨率深度图集再用双三次插值(Bicubic)对低分辨率深度图集进行初始上采样得至使初始上采样低分辨率深度图与彩色图尺寸一致。网络训练的目的是为了学习由低分辨率深度图和优化边缘图到高分辨率深度图的映射关系F，该过程可数学建模为：其中，是目标图像即高分辨率深度图的预测。在训练的过程中，

均方误差(mean square error,MSE)作为驱动(损失)函数，表示如下：

其中，N表示训练样本数，表示初始上采样低分辨率深度图，E表示优化后的边缘图，θ表示设计网络的参数，D_H表示高分辨率深度图。

采用标准的反向传播进行随机梯度下降使其损失最小化，权重矩阵依据以下公式进行更新：

其中，l∈(1，2，3)表示网络的层数，i表示迭代次数，W_i ^l为第i次迭代后第l层的权重，η表示学习率，表示对损失函数求导。

网络叠加的输出与真图D_H计算损失，并求导后依上述公式进行网络参数更新，经过多次循环迭代后使网络最终能较好地拟合出低分辨率深度图和高分辨率深度图之间的映射关系。

综上所述，本发明实施例在提高图像分辨率的同时，使图像深度像素值更准确，图像更为清晰，并且有效抑制了振铃效应，使重建的深度边缘更加锐利。

实施例3

下面结合图2对实施例1和2中的方案进行可行性验证，详见下文描述：

图2为本方法与其他方法的定量比较，数据为来自Middlebury立体数据集中的Teddy和Wood2。

与Bicubic方法对比，本方法获得的PSNR值最大可以提升26.10％。由于本方法将彩色图像与深度图像获得的优化边缘图输入到卷积神经网络中，优化的边缘图对深度图的超分辨率重建进行了指导，所以本方法的PSNR值比SRCNN方法也有了一定的提高。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种深度图超分辨率方法，其特征在于，所述方法包括以下步骤：

利用边缘检测算子分别提取彩色图边缘和初始上采样后的深度图边缘；

边缘图的优化，将膨胀后的彩色边缘与深度边缘进行“与”操作，进行边缘图的优化；

超分辨率网络构建，包括：依次经过图像块提取、特征图非线性映射、图像重建和优化叠加四个步骤，实现超分辨率网络构建；

以均方误差为驱动，随机梯度下降为优化策略，对超分辨率网络进行网络训练，以此更新网络的学习参数。

2.根据权利要求1所述的一种深度图超分辨率方法，其特征在于，所述图像块提取具体为：

F₁₂＝max(0，W₁₂*E+B₁₂)

其中，W₁₁对应n₁₁个c×f₁₁×f₁₁大小的滤波器，W₁₂对应n₁₂个c×f₁₂×f₁₂大小的滤波器，B₁₁是第一流网络第一层滤波器的偏移向量，B₁₂是第二流网络中第一层滤波器的偏移向量；表示将低分辨率深度图D_L上采样特定的比例；E表示优化后的边缘图。

3.根据权利要求2所述的一种深度图超分辨率方法，其特征在于，所述特征图非线性映射具体为：

F₂₁＝max(0，W₂₁*F₁₁+B₂₁)

F₂₂＝max(0，W₂₂*F₁₂+B₂₂)

其中，W₂₁对应n₂₁个大小为n₁₁×f₂₁×f₂₁的滤波器，W₂₂对应n₂₂个大小为n₁₂×f₂₂×f₂₂的滤波器，B₂₁和B₂₂分别是双流网络中的第二层滤波器的偏移向量。

4.根据权利要求3所述的一种深度图超分辨率方法，其特征在于，所述图像重建具体为：

将高维特征映射到图像空间：

F₃₁＝max(0，W₃₁*F₂₁+B₃₁)

F₃₂＝max(0，W₃₂*F₂₂+B₃₂)

其中，W₃₁对应一个n₂₁×f₃₁×f₃₁的滤波器，W₃₂对应一个n₂₂×f₃₂×f₃₂的滤波器，B₃₁和B₃₂表示双流网络中的第三层滤波器的偏移向量。

5.根据权利要求4所述的一种深度图超分辨率方法，其特征在于，所述优化叠加具体为：

6.根据权利要求1所述的一种深度图超分辨率方法，其特征在于，所述以均方误差为驱动，随机梯度下降为优化策略，对超分辨率网络进行网络训练具体为：

网络叠加的输出与高分辨率深度图计算损失，并求导后依权重矩阵更新公式进行网络参数更新；

经过多次循环迭代后使网络最终能较好地拟合出低分辨率深度图和高分辨率深度图之间的映射关系。