CN109993701A - 一种基于金字塔结构的深度图超分辨率重建的方法 - Google Patents

Abstract

本发明涉及一种基于金字塔结构的深度图超分辨率重建的方法，将图像输入由若干个残差密集块组成的卷积神经网络，采用从粗到细的方式，利用卷积神经网络的级联来产生高分辨率图像。本发明能够生成高质量的高分辨率深度图。

Description

一种基于金字塔结构的深度图超分辨率重建的方法

技术领域

本发明涉及图像处理领域，特别是一种基于金字塔结构的深度图超分辨率重建的方法。

背景技术

深度图超分辨率重建技术是指在现有深度相机硬件系统条件不变的前提下，利用重建算法恢复出图像的高频信息，并有效地抑制随机噪声以及成像过程中的模糊现象，重建出高质量的超分辨率深度图。从数学理论角度分析，超分辨重建技术的求解过程是一个病态问题，重建过程需要将场景附加信息作为先验知识以解决病态优化问题。传统的基于插值的放大方法，双线性插值和双立方插值等，使用固定的数学计算公式，对低分辨率图像当中的邻域像素信息进行加权平均，计算出放大的高分辨图像中所缺失的中间像素，但是这种简单的插值算法不会产生更多具有高频信息的图像细节，而且会导致生成的图像中产生模糊伪像。

用于深度图超分辨率的方法有许多，大体上可以按以下方法划分：传统与深度学习方法，单张深度图超分辨率重建或利用彩色图作为指导的深度图超分辨率重建。由于传统方法需要人工提取特征，计算复杂度高，而且彩色图像和深度图不一定成对出现，再加上深度图的纹理，边缘等不如彩色图像的复杂，因此彩色图像的超分辨率算法不一定适合对深度图进行超分辨率重建。

用于单张深度图超分辨重建的深度学习方法有许多，大体上可以分为以下两类：

1、先对输入的低分辨率图像利用双三性插值等方法进行上采样，然后将上采样后的图像作为深度卷积神经网络的输入，经过深度卷积神经网络的处理后输出高分辨率深度图。

2、输入为低分辨率的深度图，经过神经网络的计算后，只对得到的特征进行一次反卷积操作，得到高分辨率的深度图。

但是对低分辨率深度图进行简单插值后，可能会引入新的噪声；且插值后的图像增加深度卷积神经网络的计算量，该方法耗时费力。并且只进行一次反卷积操作可能导致深度卷积神经网络无法学习到复杂的映射，且由于低分辨率图像受到空间分辨率的限制，无法提供足够的用于高分辨率图像重建的信息。

发明内容

有鉴于此，本发明的目的是提出一种基于金字塔结构的深度图超分辨率重建的方法，能够生成高质量的高分辨率深度图。

本发明采用以下方案实现：一种基于金字塔结构的深度图超分辨率重建的方法，将图像输入由log₂s个残差密集块组成的卷积神经网络，采用从粗到细的方式，利用卷积神经网络的级联来产生高分辨率图像。

进一步地，所述残差密集块包括两个部分，分别为特征表示学习与图像重建。

进一步地，所述残差密集块以2倍上采样因子作为基础，残差密集块的输入为一张低分辨率深度图d_l ^log2s，输出为相应的空间分辨率放大两倍的深度图d_h ^log2s。

进一步地，所述特征表示学习包括以下步骤：

步骤S11：浅层特征提取；

步骤S12：残差密集特征学习；

步骤S13：反卷积层上采样；

步骤S14：残差学习。

进一步地，步骤S11具体为：对输入的低分辨率深度图提取浅层特征，表达式如下：

式中，表示提取出的浅层特征，σ表示非线性激活函数PReLU函数，为浅层特征提取的卷积核，表示浅层特征提取层的偏置项。

进一步地，步骤S12具体为：先对提取出的浅层特征进行密集特征学习，以获得高层次、抽象的特征，然后使用1×1大小的卷积核对获得的密集特征进行降维，降维后的特征再经过两个卷积层的学习，最后与相加构成残差密集块；表达式如下：

上式中，{}表示对特征在通道上进行级联操作，L表示密集特征学习里的卷积层数目，表示密集特征学习里第l卷积层得到的特征，表示密集特征学习里第l卷积层的卷积核，表示密集特征学习里第l卷积层的偏置项，表示对密集特征学习得到的特征进行降维后的特征，表示降维层的卷积核，表示降维层的偏置项，表示，表示降维后第一层卷积层的卷积核，表示降维后第二层卷积层的卷积核，表示降维后第一层卷积层的偏置项，表示降维后第二层卷积层的偏置项，表示残差密集特征，表示残差学习的卷积核，表示残差学习的偏置项。密集网络的连接方式有助于网络学习多层次、多尺度的特征。

进一步地，步骤S13具体为：对获得的残差密集特征进行反卷积操作，以获得低分辨率和高分辨率间的映射特征表达式如下：

式中，表示残差密集特征，表示反卷积层的卷积核，表示反卷积层的偏置项，＊表示反卷积操作。

进一步地，步骤S14具体为：对学的高分辨率特征卷积以获得高分辨率图像的残差图像具体采用下式：

式中，为低分辨率和高分辨率间的映射特征，表示对高分辨率特征卷积的核，表示对高分辨率特征卷积的偏置项。

进一步地，所述图像重建包括以下步骤：

步骤S21：对低分辨率图像进行双三性插值获得高分辨率的图像

步骤S22：将该高分辨率图像与残差图像相加获得空间分辨率放大两倍得深度图，采用的公式为：

与现有技术相比，本发明有以下有益效果：

1、本发明的深度卷积神经网络能充分利用各种层次与尺度的特征，学习低分辨率深度图与高分辨率深度图间的复杂映射关系，最终达到生成高质量的高分辨率深度图的效果。

2、本发明的深度卷积神经网络由于采样了金字塔型的结构，因此一次前向传播就能生成多种尺度的深度图，所以网络更加灵活。

3、本发明的深度卷积神经网络的输入仅需低分辨率深度图，并且不要求对其预处理，能实现端到端的学习，既大大简化了计算，又不会引入噪声。

附图说明

图1为本发明实施例的原理示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图1所示，本实施例提供了一种基于金字塔结构的深度图超分辨率重建的方法，将图像输入由log₂s个残差密集块组成的卷积神经网络，采用从粗到细的方式，利用卷积神经网络的级联来产生高分辨率图像。

在本实施例中，所述残差密集块包括两个部分，分别为特征表示学习与图像重建。

在本实施例中，所述残差密集块以2倍上采样因子作为基础，残差密集块的输入为一张低分辨率深度图输出为相应的空间分辨率放大两倍的深度图

在本实施例中，所述特征表示学习包括以下步骤：

步骤S11：浅层特征提取；

步骤S12：残差密集特征学习；

步骤S13：反卷积层上采样；

步骤S14：残差学习。

在本实施例中，步骤S11具体为：对输入的低分辨率深度图提取浅层特征，表达式如下：

式中，表示提取出的浅层特征，σ表示非线性激活函数PReLU函数，为浅层特征提取的卷积核，表示浅层特征提取层的偏置项。

在本实施例中，步骤S12具体为：先对提取出的浅层特征进行密集特征学习，以获得高层次、抽象的特征，然后使用1×1大小的卷积核对获得的密集特征进行降维，降维后的特征再经过两个卷积层的学习，最后与相加构成残差密集块；表达式如下：

上式中，{}表示对特征在通道上进行级联操作，L表示密集特征学习里的卷积层数目，表示密集特征学习里第l卷积层得到的特征，表示密集特征学习里第l卷积层的卷积核，表示密集特征学习里第l卷积层的偏置项，表示对密集特征学习得到的特征进行降维后的特征，表示降维层的卷积核，表示降维层的偏置项，表示，表示降维后第一层卷积层的卷积核，表示降维后第二层卷积层的卷积核，表示降维后第一层卷积层的偏置项，表示降维后第二层卷积层的偏置项，表示残差密集特征，表示残差学习的卷积核，表示残差学习的偏置项。密集网络的连接方式有助于网络学习多层次、多尺度的特征。

在本实施例中，步骤S13具体为：对获得的残差密集特征进行反卷积操作，以获得低分辨率和高分辨率间的映射特征表达式如下：

式中，表示残差密集特征，表示反卷积层的卷积核，表示反卷积层的偏置项，＊表示反卷积操作。

在本实施例中，步骤S14具体为：对学的高分辨率特征卷积以获得高分辨率图像的残差图像具体采用下式：

式中，为低分辨率和高分辨率间的映射特征，表示对高分辨率特征卷积的核，表示对高分辨率特征卷积的偏置项。

在本实施例中，所述图像重建包括以下步骤：

步骤S21：对低分辨率图像进行双三性插值获得高分辨率的图像

步骤S22：将该高分辨率图像与残差图像相加获得空间分辨率放大两倍得深度图，采用的公式为：

本实施例设计了一种使用金字塔结构用于深度图超分辨率的深度卷积神经网络，该网络能实现端到端训练，采用的网络灵活性高，速度快，内存暂用低。同时，本实施例使用残差密集连接的方式，能有效地学习低分辨率深度图与高低分辨率深度图的映射关系。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (9)

1.一种基于金字塔结构的深度图超分辨率重建的方法，其特征在于：将图像输入由log₂s个残差密集块组成的卷积神经网络，采用从粗到细的方式，利用卷积神经网络的级联来产生高分辨率图像。

2.根据权利要求1所述的一种基于金字塔结构的深度图超分辨率重建的方法，其特征在于：所述残差密集块包括两个部分，分别为特征表示学习与图像重建。

3.根据权利要求1所述的一种基于金字塔结构的深度图超分辨率重建的方法，其特征在于：所述残差密集块以2倍上采样因子作为基础，残差密集块的输入为一张低分辨率深度图输出为相应的空间分辨率放大两倍的深度图

4.根据权利要求2所述的一种基于金字塔结构的深度图超分辨率重建的方法，其特征在于：所述特征表示学习包括以下步骤：

步骤S11：浅层特征提取；

步骤S12：残差密集特征学习；

步骤S13：反卷积层上采样；

步骤S14：残差学习。

5.根据权利要求4所述的一种基于金字塔结构的深度图超分辨率重建的方法，其特征在于：步骤S11具体为：对输入的低分辨率深度图提取浅层特征，表达式如下：

式中，表示提取出的浅层特征，σ表示非线性激活函数PReLU函数，为浅层特征提取的卷积核，表示浅层特征提取层的偏置项。

6.根据权利要求4所述的一种基于金字塔结构的深度图超分辨率重建的方法，其特征在于：步骤S12具体为：先对提取出的浅层特征进行密集特征学习，以获得高层次、抽象的特征，然后使用1×1大小的卷积核对获得的密集特征进行降维，降维后的特征再经过两个卷积层的学习，最后与相加构成残差密集块；表达式如下：

上式中，{}表示对特征在通道上进行级联操作，L表示密集特征学习里的卷积层数目，表示密集特征学习里第l卷积层得到的特征，表示密集特征学习里第l卷积层的卷积核，表示密集特征学习里第l卷积层的偏置项，表示对密集特征学习得到的特征进行降维后的特征，表示降维层的卷积核，表示降维层的偏置项，表示，表示降维后第一层卷积层的卷积核，表示降维后第二层卷积层的卷积核，表示降维后第一层卷积层的偏置项，表示降维后第二层卷积层的偏置项，表示残差密集特征，表示残差学习的卷积核，表示残差学习的偏置项。

7.根据权利要求4所述的一种基于金字塔结构的深度图超分辨率重建的方法，其特征在于：步骤S13具体为：对获得的残差密集特征进行反卷积操作，以获得低分辨率和高分辨率间的映射特征表达式如下：

式中，表示残差密集特征，表示反卷积层的卷积核，表示反卷积层的偏置项，＊表示反卷积操作。

8.根据权利要求4所述的一种基于金字塔结构的深度图超分辨率重建的方法，其特征在于：步骤S14具体为：对学的高分辨率特征卷积以获得高分辨率图像的残差图像具体采用下式：

式中，为低分辨率和高分辨率间的映射特征，表示对高分辨率特征卷积的核，表示对高分辨率特征卷积的偏置项。

9.根据权利要求2所述的一种基于金字塔结构的深度图超分辨率重建的方法，其特征在于：所述图像重建包括以下步骤：

步骤S21：对低分辨率图像进行双三性插值获得高分辨率的图像

步骤S22：将该高分辨率图像与残差图像相加获得空间分辨率放大两倍得深度图，采用的公式为：