CN110020989B - 一种基于深度学习的深度图像超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的深度图像超分辨率重建方法，当上采样因子r＝2时，训练整个网络，包括：从不同的深度图像公开数据集中分别选取一定数量的深度图像；数据增强：深度卷积神经网络结构的设计：处理好的网络输入数据和数据标签对整个网络进行训练，训练完成后将低分辨率深度图像输入到训练好的网络模型中，在输出层输出完成超分辨率的深度图像。本发明通过卷积神经网络的多路通道同时训练去生成高维特征图，保留了原始低分辨率图像的准确像素值，加速了整个网络的训练和收敛速度。

Description

一种基于深度学习的深度图像超分辨率重建方法

技术领域

本发明属于计算机图像处理领域，具体为一种基于深度学习的深度图像超分辨率重建方法。

背景技术

近年来，由于计算机视觉技术的发展，深度信息的获取和处理已成为热门研究方向之一。与传统二维彩色图片不同，深度图像包含了场景的深度信息，通过像素值大小直观反映了景物可见表面的几何形状和物体到相机的距离。因此，深度图像在三维重建、人体识别、机器人导航、文物保护、人机交互等领域都能得到广泛的应用。目前，深度图像超分辨率重建方法主要分为三类：彩色图片引导深度图像超分辨率重建方法、多幅深度图像融合超分辨率重建方法和基于学习的深度图像超分辨率重建方法。彩色图片引导深度图像超分辨率重建方法主要利用同场景高分辨彩色图像作为数据指导项，利用彩色信息来协助深度图像的重建。彩色图片引导深度图超分辨率重建方法需要获得精准匹配的同场景高分辨率彩色图像，当彩色图片不连续信息和深度图片不连续信息不一致时，易产生伪影，因此在实际运用中并不理想。多幅深度图像融合超分辨率重建方法指利用多幅深度图像的冗余信息，重构出高分辨率的深度图像。多幅深度图像融合超分辨率重建方法只利用了深度图像的内部信息，而输入深度图像由于分辨率较低，利用信息有限，重建效果一般。基于学习的深度图像超分辨率重建方法作为目前使用最广泛、重建效果最好的方法，又可以分为两类：第一类是先通过大量样本训练构造出低/高分辨率图像配对的数据集，形成字典，再经由字典和低分辨率图像重建出高分辨率深度图像。第二类是利用深度学习通过大量数据训练学习到低分辨率到高分辨率深度图的非线性映射关系，由这种映射关系对高分辨率深度图像进行重建。作为深度学习的代表算法之一，卷积神经网络(CNN)利用强大的非线性学习能力，通过网络训练不断缩小拟合图像和真实高分辨率图像的差值，从而实现较好的逼近效果，在图像领域应用广泛。

发明内容

为了克服现有技术的不足，得到更好的深度图像重建效果，本发明旨在提出一种基于深度卷积神经网络和非局部约束的深度图像超分辨率重建方法。

为此，本发明采取的技术方案：

一种基于深度学习的深度图像超分辨率重建方法，当上采样因子r＝2时，训练整个网络包括下列步骤：

(1)从不同的深度图像公开数据集中分别选取一定数量的深度图像。

(2)数据增强：将采集到的深度图像分别旋转90°、180°、270°，再按比例缩放0.8、0.9倍，增强之后图片数量增加到原来的12倍。

(3)图片预处理：预处理分为两个部分，网络输入数据和数据标签。

(3.1).将步长设置为42，将增强后的深度图片(即高分辨率深度图像)分块成42*42大小的子图像块，后根据亚像素原理将其中处在不同亚像素组合位置的像素点分开，形成21*21大小的r×r＝4路通道子图像块，将这些处理好的数据作为训练网络的数据标签，也就是真值；

(3.2).对数据增强后的深度图片逐一进行下采样，得到低分辨率深度图像，接着将低分辨率图片进行分块处理，步长设置为21，将低分辨率深度图像分块成21*21大小的子图像块，之后将每个子图像块复制成4组以对应网络数据标签4路通道的子图像块，把这些数据作为网络输入数据。

(4)深度卷积神经网络结构的设计：整个网络主要分为三个部分。

第一部分为亚像素卷积神经网络。这里定义了10层卷积层，并加入了残差连接加快训练速度，学习从低分辨率深度图像到高分辨率深度图像的映射关系：

output1＝F(D,{W,B})+D

其中，D代表网络输入的原始低分辨率深度图像，output1表示网络输出，函数F即要学习的映射关系，W、B分别表示整个网络所训练得到的所有卷积层的权重和偏置，‘+D’表示残差连接；

而各卷积层的输入输出关系可表示为：

a^[1]＝g(w^[1]*D+b^[1])

a^[i]＝g(w^[i]*a^[i-1]+b^[i])

其中，*操作代表卷积运算，上标i表示第i层，D代表网络输入的原始低分辨率深度图像，a^[i]表示第i层卷积层的输出，w^[i]、b^[i]分别表示第i层卷积层所学习到的权重和偏置，函数g表示激活函数；

第二部分为亚像素重建。将第一部分的输出值output1的多路通道按照亚像素点位置进行组合，使其形成与高分辨率深度图像大小相等的单路通道输出，实现了超分辨率中的上采样。完成的这个功能的层命名为亚像素重建层。

HR1＝ASS(output1)

ASS即表示亚像素的组合，HR1为亚像素重建层组合后的输出结果。

第三部分为非局部约束。对第二部分得到的HR1进行非局部约束，经过非局部约束后即可得到最终的高分辨率深度图像HR。

除此之外，本发明以最小化重建结果HR与真实深度图像HR_true之间的差值来更新梯度，这里以最小均方差(MSE)作为损失函数：

其中，L_MSE表示最小均方差损失函数，N在这里表示样本数量，HR表示网络重建深度图像，HR_true表示真实高分辨率深度图像；

网络通过基于反向传播的梯度下降法来更新网络参数。

(5)用步骤(2)中处理好的网络输入数据和数据标签对整个网络进行训练，训练完成后将低分辨率深度图像输入到训练好的网络模型中，在输出层输出完成超分辨率的深度图像。

具体的，步骤4中的非局部约束：

根据经典非局部均值运算算法，定义非局部约束的泛化公式为：

其中，i为目标输出y的位置索引，j为在此运算中所有的位置索引的集合，x为输入特征映射，y为输出特征映射，且x和y的大小相同。函数f代表位置索引i和所有j之间的标量关系，一元函数g代表在位置索引j处特征映射x的表示值。C(x)为归一化系数。

为了简化运算，将函数g定义为线性嵌入形式：

g(x_j)＝W_gx_j

其中，W_g为需要学习的权值矩阵。

函数f有多种形式，在这里定义为点乘式：

f(x_i,x_j)＝θ(x_i)^Tφ(x_j)

其中，θ(x_i)＝W_θx_i，φ(x_j)＝W_φx_j。W_θ、W_φ为需要学习的权值矩阵，i为泛化公式中目标输出y的位置索引，j为在此运算中所有的位置索引的集合，x为输入特征映射，上标T表示矩阵转置，此时归一化系数C(x)＝N，为了简化梯度计算，N定义为输入特征映射x的位置数；本发明的技术特点及效果：

本发明针对实际生活中获取的深度图分辨率较低的问题，通过训练一个设计好的非局部约束下的卷积神经网络，解决了深度图的超分辨率问题，具有以下特点：

(1)传统的低分辨率深度图像输入需对深度图像上采样，使其达到跟高分辨率深度图像一样大小时作为输入。本发明无需此步骤，可直接将低分辨率深度图像直接作为网络输入，通过卷积神经网络的多路通道同时训练去生成高维特征图避免了传统训练时先对低分辨率图像上采样来作为神经网络输入，保留了原始低分辨率图像的准确像素值而不引入一些由插值放大带来的不精确初值来作为初始值的问题。

(2)亚像素卷积神经网络部分和非局部约束部分均引入了残差连接，加速了整个网络的训练和收敛速度。

(3)本发明将亚像素重建和非局部约束均在深度学习框架中予以实现，保证了整个超分辨率重建流程能直接在网络中得以学习和训练。

(4)本发明主要以上采样因子r＝2进行方法说明，且此方法也能很方便的运用在其他比例上的图像重建。

(5)本发明对不同深度图像的超分辨率均有较好的结果，具有一定的普适性。

附图说明

图1是本发明的步骤流程图；

图2是本发明所构建的卷积神经网络结构模型图；

图3是实施例中上采样因子r＝2为例亚像素卷积神经网络模型图；

图4是实施例以上采样因子r＝2为例的亚像素训练后组合过程图；

图5是实施例非局部约束的神经网络模型图；

图6a是实施例的原图；

图6b是采用插值放大后的低分辨率图像；

图6c是采用发明方法的输出测试图。

具体实施方式

为了解决现有技术的缺陷，本发明提供了一种基于深度学习的深度图超分辨率重建办法，本发明采用的技术方案是：

1.参阅图1，其为本发明的步骤流程图，在上采样因子为2时，包括以下步骤：

(1)从不同的深度图像公开数据集中分别选取一定数量的深度图像，选取了102张，且均选取的公开数据集中分辨率较大的图像。

(2)数据增强。为了增大训练集样本，将每张图片分别旋转90°、180°、270°，再比例缩放0.8、0.9倍，增强之后图片数量增加到原来的12倍，此时一共得到1224张图像，组成了最终训练集。

(3)将得到的训练集中的深度图片进行预处理。由于图像尺寸分辨率比较大，在训练卷积神经网络的时候会占用大量的资源，不能够直接输入整张图像，需要将图像分块。预处理分为两个部分，网络输入数据和数据标签。①.将步长设置为42，将增强后的深度图片(即高分辨率深度图像)分块成42*42大小的子图像块，后根据亚像素原理(见图2)将其中处在不同亚像素组合位置的像素点分开，形成21*21大小的r×r＝4路通道子图像块，将这些处理好的数据作为训练网络的数据标签，也就是真值；(2).对数据增强后的深度图片逐一进行下采样，得到低分辨率深度图像，接着将低分辨率图片进行分块处理，步长设置为21，将低分辨率深度图像分块成21*21大小的子图像块，之后将每个子图像块复制成4组以对应网络数据标签4路通道的子图像块，把这些数据作为网络输入数据。

(4)深度卷积神经网络结构的设计。整个网络主要分为三个部分。第一部分为亚像素级多通道卷积神经网络，由于需要亚像素重建，网络输入数据为4通道。本发明使用了10个卷积层，且引入了残差连接，每层的卷积核个数为64个，卷积核大小为3*3，步长设置为1，Padding也设置为1，这样保证了网络的多层卷积不会造成输入输出尺寸大小不一致的情况，输入输出尺寸均为21*21*4，4表示四个通道。第二部分为亚像素多通道的组合，将第一部分的非线性映射得到的高维特征图上采样重建成高分辨率深度图像。由于第一部分为4通道特征图，通过亚像素点位置组合可将其变为单通道输出，这样此时的输出尺寸大小为42*42*1，此时实现了上采样效果，达到了高分辨率深度图一样的大小。

第三部分为非局部约束，将第二部分的输出进行全局的非局部约束。由于图片的局部块中存在自相似性，这种性质便引入了非局部均值滤波。在传统图像处理中，非局部均值运算作为经典的滤波算法，将某一处位置的输出定义为输入特征映射中所有位置的特征的加权和，可以有效的利用全局信息。经过非局部约束后即可得到最终的高分辨率深度图像HR。

(5)用数据预处理中处理好的网络输入数据和数据标签对整个网络进行训练，训练完成后将低分辨率深度图像输入到训练好的网络模型中，在输出层输出完成超分辨率的深度图像。

2.参阅图2，其为本发明所构建的卷积神经网络结构模型图。可见在输入输出层中间主要存在的即为三部分，分别是亚像素卷积神经网络、亚像素组合层、非局部约束。

亚像素卷积神经网络实现的功能是对代表不同亚像素点的低分辨率图片同时进行训练，而避免了传统的神经网络输入需要先对低分辨率图片进行上采样，使其达到跟高分辨率深度图像一样大小来作为输入的过程，保留了原始低分辨率图像的准确像素值而不引入一些由插值放大带来的不精确初值来作为初始值的问题。亚像素组合层实现的功能是将多通道亚像素特征图组合，完成了将第一部分的非线性映射得到的高维特征图上采样重建成初始的高分辨率深度图像，方便用于后面进行非局部约束。非局部约束实现的功能是利用图片局部块中的自相似性对整张高分辨率深度图像进行优化，得到最终的输出高分辨率深度图像。

3.参阅图3，是本发明上采样因子r＝2为例亚像素卷积神经网络模型图。此部分由10层卷积层组成，除最后一层外，每层卷积层之后加上激活函数Relu层作为输出传给下一层，且输入和输出跳跃连接构成残差结构。网络输入为r*r路多通道低分辨率图像，输出为r*r路通道的亚像素输出，每路输出分别对应亚像素点的不同位置。

4.参阅图4，是以上采样因子r＝2为例的亚像素卷积神经网络训练后组合过程图。以上采样因子r＝2为例时，我们需要生成2*2＝4路卷积神经网络通道输入。本文将期望输出的HR深度图像(rH*rW)分成四个部分：

其中i＝1,...,rH/2，j＝1,...,rW/2。LR深度图像输入后，将训练分成四个通道进行，分别对应L(1,1)，L(1,2)，L(2,1)，L(2,2)四个对应位置像素点的集合。训练完成后通过亚像素组合层将四个通道的像素点组合成一幅与最终要生成的深度图像大小相同的高分辨率深度图像HR1。

5.参阅图5，其为本发明非局部约束的神经网络模型图，也是非局部约束泛化公式的网络实现：

其中，i为目标输出y的位置索引，j为在此运算中所有的位置索引的集合，x为输入特征映射，y为输出特征映射，且x和y的大小相同。函数f代表位置索引i和所有j之间的标量关系，一元函数g代表在位置索引j处特征映射x的表示值。C(x)为归一化系数。

g(x_j)＝W_gx_j

其中，W_g为需要学习的权值矩阵。

f(x_i,x_j)＝θ(x_i)^Tφ(x_j)

其中，θ(x_i)＝W_θx_i，φ(x_j)＝W_φx_j。W_θ、W_φ为需要学习的权值矩阵，i为泛化公式中目标输出y的位置索引，j为在此运算中所有的位置索引的集合，x为输入特征映射，上标T表示矩阵转置，此时归一化系数C(x)＝N，为了简化梯度计算，N定义为输入特征映射x的位置数；该模块同样也引入了残差连接以加快收敛速度，其中包含了四个卷积层，前三个卷积层的卷积核个数为64，最后一个卷积层的卷积核个数为1，卷积核大小均为3*3，步长均设置为1，Padding均设置为1。

6.参阅图6a、图6b、图6c，其为上采样因子r＝2时本发明的输出测试图与对比。本发明采用了峰值信噪比PSNR和结构相似性SSIM作为评价标准，通过对比可发现，本发明相对传统双三次插值具有更高的峰值信噪比值和结构相似性值，对这三张图片测试可得，峰值信噪比平均高出21.2％，结构相似性平均高出0.5％，可见本发明具有较好的深度图像重建效果。

Claims (2)

1.一种基于深度学习的深度图像超分辨率重建方法，其特征在于，当上采样因子r＝2时，训练整个网络，包括下列步骤：

(1)从不同的深度图像公开数据集中分别选取102张的深度图像；

(2)数据增强：将采集到的深度图像分别旋转90°、180°、270°，再按比例缩放0.8、0.9倍，增强之后图片数量增加到原来的12倍；

(3)图片预处理：预处理分为两个部分，网络输入数据和数据标签；

(4)深度卷积神经网络结构的设计：整个网络主要分为三个部分；

第一部分为亚像素卷积神经网络；定义了卷积层，并加入了残差连接加快训练速度，学习从低分辨率深度图像到高分辨率深度图像的映射关系：

第二部分为亚像素重建；将第一部分的网络输出的多路通道按照亚像素点位置进行组合，使其形成与高分辨率深度图像大小相等的单路通道输出，实现了超分辨率中的上采样；完成的这个功能的层命名为亚像素重建层；

第三部分为非局部约束；对第二部分得到的亚像素重建层组合后的输出结果进行非局部约束，经过非局部约束后即可得到最终的高分辨率深度图像HR；

步骤(4)具体的包括，整个网络主要分为三个部分；

第一部分为亚像素卷积神经网络；定义了10层卷积层，并加入了残差连接加快训练速度，学习从低分辨率深度图像到高分辨率深度图像的映射关系：

output1＝F(D,{W,B})+D

其中，D代表网络输入的原始低分辨率深度图像，output1表示网络输出，函数F即要学习的映射关系，W、B分别表示整个网络所训练得到的所有卷积层的权重和偏置，‘+D’表示残差连接；

而各卷积层的输入输出关系可表示为：

a^[1]＝g(w^[1]*D+b^[1])

a^[q]＝g(w^[q]*a^[q-1]+b^[q])

其中，*操作代表卷积运算，上标q表示第q层，D代表网络输入的原始低分辨率深度图像，a^[q]表示第q层卷积层的输出，w^[q]、b^[q]分别表示第q层卷积层所学习到的权重和偏置，函数g表示激活函数；

第二部分为亚像素重建；将第一部分的网络输出output1的多路通道按照亚像素点位置进行组合，使其形成与高分辨率深度图像大小相等的单路通道输出，实现了超分辨率中的上采样；完成的这个功能的层命名为亚像素重建层；

HR1＝ASS(output1)

ASS即表示亚像素的组合，HR1为亚像素重建层组合后的输出结果；

第三部分为非局部约束；对第二部分得到的HR1进行非局部约束，经过非局部约束后即可得到最终的高分辨率深度图像HR；

这里以最小均方差作为损失函数：

其中，L_MSE表示最小均方差损失函数，N在这里表示样本数量，HR表示网络重建深度图像，HR_true表示真实高分辨率深度图像；

网络通过基于反向传播的梯度下降法来更新网络参数；

步骤(4)中的非局部约束：

根据经典非局部均值运算算法，定义非局部约束的泛化公式为：

其中，i为目标输出y的位置索引，j为在此运算中所有的位置索引的集合，x为输入特征映射，y为输出特征映射，且x和y的大小相同；函数f代表位置索引i和所有j之间的标量关系，一元函数g代表在位置索引j处特征映射x的表示值；C(x)为归一化系数；

将函数g定义为线性嵌入形式：

g(x_j)＝W_gx_j

其中，W_g为需要学习的权值矩阵；

函数f定义为点乘式：

f(x_i,x_j)＝θ(x_i)^Tφ(x_j)

其中，θ(x_i)＝W_θx_i，φ(x_j)＝W_φx_j；W_θ、W_φ为需要学习的权值矩阵，i为泛化公式中目标输出y的位置索引，j为在此运算中所有的位置索引的集合，x为输入特征映射，上标T表示矩阵转置，此时归一化系数C(x)＝M，为了简化梯度计算，M定义为输入特征映射x的位置数；

(5)用步骤(2)中处理好的网络输入数据和数据标签对整个网络进行训练，训练完成后将低分辨率深度图像输入到训练好的网络模型中，在输出层输出完成超分辨率的深度图像。

2.根据权利要求1所述的一种基于深度学习的深度图像超分辨率重建方法，其特征在于，步骤(3)包括以下步骤：

(3.1)将步长设置为42，将增强后的深度图片分块成42*42大小的子图像块，后根据亚像素原理将其中处在不同亚像素组合位置的像素点分开，形成21*21大小的r×r＝4路通道子图像块，将这些处理好的数据作为训练网络的数据标签，也就是真值；

(3.2)对数据增强后的深度图片逐一进行下采样，得到低分辨率深度图像，接着将低分辨率图片进行分块处理，步长设置为21，将低分辨率深度图像分块成21*21大小的子图像块，之后将每个子图像块复制成4组以对应网络数据标签4路通道的子图像块，把这些数据作为网络输入数据。

Images