CN107194893A

CN107194893A - 基于卷积神经网络的深度图像超分辨方法

Info

Publication number: CN107194893A
Application number: CN201710362462.1A
Authority: CN
Inventors: 董伟生; 丁雯庆; 石光明; 谢雪梅; 李甫
Original assignee: Xidian University
Current assignee: Xidian University
Priority date: 2017-05-22
Filing date: 2017-05-22
Publication date: 2017-09-22

Abstract

本发明公开了一种基于卷积神经网络的深度图像超分辨方法，主要解决现有技术超分辨的高分辨深度图像精度不高和图像边缘容易模糊的问题。其技术方案包括：1)获取低分辨深度图像集和对应的彩色图像与高分辨深度图像作为神经网络的训练样本；2)构建卷积神经网络模型并利用训练样本训练卷积神经网络的参数；3)将任给的一幅深度图像和对应的彩色图像作为测试样本，输入到训练好的卷积神经网络模型中，卷积神经网络的输出结果即为超分辨的高分辨深度图像。本发明提高了超分辨深度图像的精度，减弱了图像边缘的模糊，可用于机器人导航，人机交互等应用领域的深度图像超分辨。

Description

基于卷积神经网络的深度图像超分辨方法

技术领域

本发明属于图像处理技术领域，具体涉及一种深度图像超分辨方法，可用于下采样后的深度图像超分辨。

技术背景

随着计算机视觉技术的快速发展，传统的彩色图像不能准确地刻画现实的立体场景，因此已经不能满足人们认知世界的需求。彩色图像包含场景物体的色彩信息，描述的是二维信息，不能精确地描述场景的三维立体结构。而三维立体影像图像除了包含传统的二维信息还包含场景的第三个维度的信息，也就是场景的深度信息。三维立体重建技术通过深度图像能够重构出现实场景的三维立体信息。

尽管目前的深度图像获取技术取得了不错的发展，但是将获取的深度图像与同场景对应的彩色图像相比，其深度图像的质量依然很差，主要表现在分辨率较低。针对上述深度传感技术获取的深度图像分辨较低，人们提出了许多深度图像超分辨方法。其中，M.-Y.Liu,O.Tuzel,and Y.Taguchi等人发表在2013IEEE Conf.on Computer Vision andPattern Recognition上的“Joint geodesic upsampling of depth images”，提出了联合测量滤波的方法，简称JGF方法，L.-F.Yu,S.-K.Yeung,Y.-W.Tai等人发表在2013IEEEConf.on Computer Vision and Pattern Recognition上的“Shading-based shaperefinement of rgb-d images”,提出了边缘加权非局部正则的方法，简称SBSR-D方法，这些方法都是利用深度图像和彩色图像之间结构上的相似性来对深度图像进行超分辨，其存在的不足是计算复杂度高，超分辨精度低，超分辨的图像的边缘部分容易模糊，难以满足实际应用的要求。

发明内容

本发明的目的在于针对传统基于滤波的超分辨方法的不足，提出一种基于卷积神经网络的深度图像超分辨重构方法，以降低计算复杂度，提高重构深度图像的精度，减弱超分辨的图像的边缘模糊，满足实际应用的需求。

为实现上述目的，本发明采用以下技术方案：

本发明提出了一种基于卷积神经网络的深度图像超分辨方法，该方法通过神经网络的非线性学习能力建立从低分辨的深度图像与对应的彩色图像到高分辨率的深度图像的映射的卷积神经网络模型，并以该卷积神经网络为指导实现深度图像超分辨，具体步骤包括如下：

(1)获取训练样本集，对获取的训练样本进行预处理，得到训练样本对；

(2)利用卷积神经网路强大的非线性学习能力，得到低分辨的深度图像与对应的彩色图像到高分辨率的深度图像的映射关系，构建卷积神经网络模型，本发明的卷积神经网络模型包括输入层、多个卷积层和输出层，确定网络结构中卷积层的层数m以及卷积层中的滤波器的个数和滤波器的大小网络的激活函数采用relu函数，relu(x)＝max(0,x)；

(3)训练(2)中卷积神经网络网络：初始化网络各层的滤波器的权值和偏置，采用最小化损失函数的方法对卷积神经网络模型进行迭代优化，经过多次迭代后获取网络模型结构中权重值W和偏置值b的最优解，得到最优卷积神经网络模型；

(4)利用训练好的卷积神经网络模型，对低分辨深度图像进行超分辨。

本发明与现有技术相比，具有以下优点：

1)本发明由于利用卷积神经网络进行深度图像超分辨，相比现有技术降低了计算复杂度，提高了深度图像超分辨的精度；

2)本发明所设计的卷积神经网络模型，由于充分考虑了深度图像和彩色图像的边缘部分的结构相似性，减弱了超分辨图像的边缘模糊。

附图说明

图1为本发明的实现流程图；

图2为本发明构建的卷积神经网络结构图；

图3为本发明仿真实验所用的moebius和dolls深度图像；

图4为现有的JGF方法、SBSR-D方法以及本发明方法对moebius深度图像超分辨的结果图。

图5为现有的JGF方法、SBSR-D方法以及本发明方法对dolls深度图像超分辨的结果图。

具体实施方式

以下结合附图对本发明的实施例和效果做进一步详细描述。

参照图1，本发明基于卷积神经网络的深度图像超分辨方法，其实现步骤如下：

步骤1，构造训练样本对，获取高分辨深度图像集X、初始恢复深度图像和与高分辨深度图像对应的彩色图像集C，对深度图像进行预处理，得到训练样本对。

(1a)用包含24幅深度图像和24幅彩色图像的Middlebury图像集作为本发明实施例中的数据集，用Middlebury图像集中的深度图像集作为本发明实施例中的高分辨深度图像集，即原始深度图像集X＝{X₁,X₂,…,X_n,…,X₂₄}，用Middlebury图像集中的彩色图像集作为本发明实施例中的彩色图像集C＝{C₁,C₂,…,C_n,…,C₂₄}，其中，X_n∈R^M×L表示第n幅高分辨深度图像，C_n∈R^M×L表示第n幅彩色图像，1≤n≤24，M×L表示图像的大小，M×L＝380×420；

(1b)利用直接下采样方式对原始深度图像集X＝{X₁,X₂,…,X_n,…,X₂₄}进行下采样得到低分辨深度图像集Y＝{Y₁,Y₂,…,Y_n,…,Y₂₄}；

(1c)对低分辨深度图像集Y＝{Y₁,Y₂,…,Y_n,…,Y₂₄}进行插值初始放大得到初始恢复深度图像集

步骤2，构建卷积神经网络模型，并利用原始深度图像集X、初始恢复深度图像集和彩色图像集C训练卷积神经网络参数。

本步骤的实现如下：

(2a)初始化卷积神经网络参数：

(2a1)将初始恢复深度图像中的深度图像和彩色图像集中的彩色图像作为输入训练样本，将原始深度图像集中的原始深度图像作为输出训练样本；

(2a2)确定卷积层数m、滤波器的个数和滤波器的大小卷积神经网络的卷积层数、滤波器的个数和滤波器的大小决定了卷积神经网络的规模，卷积神经网络的卷积层数、滤波器的个数越多网络模型的非线性学习越强，但是这会造成网络参数太多、模型复杂度高，模型过拟合；卷积神经网络的卷积层数、滤波器的个数越少网络模型的非线性学习太弱，模型欠拟合，本实施例中，卷积神经网络的隐藏层数通过实验调节确定为m＝8层，输入层的滤波器的个数确定为64个，滤波器的大小为3×3×2，隐藏层的滤波器的大小确定为32个，滤波器的大小为3×3，输出层的滤波器的大小确定为1个，滤波器的大小为3×3；

(2a3)随机初始化各层滤波器权值W_i和偏置b_i，i＝1,2,…,10，给定学习速率η＝0.0003，确定每次输入模型的训练样本的图像块的数量，输入图像块的大小，输出图像块的大小，将训练集中的初始恢复深度图像和彩色图像分块为k×k，组合成一个k×k×c的张量，c表示输入图像的通道数，将训练集中的原始深度图像分块为k×k，每次输入模型训练的图像块的数量是，在本实施例中，取图像块的大小为k×k＝40×40，图像的通道数c＝2。

本步骤2所构建的卷积神经网络如图2所示。

步骤3，根据步骤2中的卷积神经网络的模型及其训练参数，以最小化损失函数为目标训练卷积神经网络，其中损失函数L(Θ)为均方误差函数，其中，X_i表示原始的深度图像，Y_i表示初始恢复的深度图像，Θ表示权值，F表示卷积神经网络的映射函数，在本实施例中，最小化损失函数采用Adam优化方法，其中Adam优化方法能避免优化过程进入局部最优解，并且加快优化速度，来获得全局最优解，其中卷积神经网络模型的权值Θ的初始值由随机函数生成，足够的随机性能增强网络的鲁棒性。

步骤4，利用训练好的卷积神经网络模型，对低分辨深度图像进行超分辨。

(3a)将任给的一组新低分辨深度图像和彩色图像作为测试样本；

(3b)将测试样本中的低分辨深度图像利用插值初始放大得到初始恢复的深度图像，并将此初始恢复的深度图像和彩色图像组合成一个张量，此张量的大小是M×N×c，在本实施例中M×N×c＝1320×1080×2，其中M×N表示深度图像大小，c表示输入图像的通道数；

(3c)将(3b)得到的张量作为已经训练好的卷积神经网络模型的输入，卷积神经网络的输出是一个大小为M×N的张量，此张量代表一个图像，即得到超分辨的深度图像，在本实施例中M×N＝1320×1080。

本发明的效果可以通过如下仿真实验具体说明：

1.仿真条件：

1)仿真实验所用的数据集是Middlebury图像集；

2)仿真实验所用的编程平台为Pycharm v2016；

3)仿真实验所用的moebius和dolls深度图像如图3所示；

4)仿真实验中，采用峰值信噪比PSNR指标来评价实验结果，峰值信噪比PSNR的定义为：

其中,MAX为超分辨的深度图像的最大像素值，MSE为超分辨的深度图像与原始的深度图像的均方误差。

2.仿真内容：采用现有的JGF方法、SBSR-D方法和本发明方法对图3所述的moebius和dolls深度图像进行超分辨，其超分辨结果如图4和图5所示，图4是moebius深度图像超分辨的结果，图4(a)是JGF方法超分辨的深度图像，图4(b)是SBSR-D方法超分辨的深度图像，图4(c)是本发明方法超分辨的深度图像；图4是moebius深度图像超分辨的结果，图5(a)是JGF方法超分辨的深度图像，图5(b)是SBSR-D方法超分辨的深度图像，图5(c)是本发明方法超分辨的深度图像；

从图4和图5所显示的结果可以看出，本发明超分辨出来的深度图像比JGF方法和SBSR-D方法超分辨出来的深度图像更清晰，图像边缘更锐利，视觉效果更好。

3.峰值信噪比PSNR对比

计算现有的JGF方法、SBSR-D方法和本发明方法对moebius低分辨的深度图像超分辨的高分辨深度图像的峰值信噪比PSNR，结果如表1所示。

表1深度图像的峰值信噪比PSNR值(单位：dB)

从表1可以看出，本发明方法超分辨的高分辨率深度图像的峰值信噪比PSNR比JGF方法、SBSR-D方法要高，表明本发明能提高深度图像超分辨的精度。

Claims

1.基于卷积神经网络的深度图像超分辨方法，包括：

(2)构建卷积神经网络模型，本发明的卷积神经网络模型包括输入层、多个卷积层和输出层，确定网络结构中卷积层的层数以及卷积层中的滤波器的个数和滤波器的大小网络的激活函数采用relu函数，relu(x)＝max(0,x)；

(3)训练(2)中卷积神经网络网络：初始化网络各层的滤波器的权值和偏置，采用最小化损失函数的方式对卷积神经网络模型进行迭代优化，经过多次迭代后获取网络模型结构中各权重值W和偏置值b的最优解，得到最优卷积神经网络模型；

2.根据权利要求1所述的方法，其中步骤(1)中对原始深度图像集X＝{X₁,X₂,...,X_n,...,X_N}进行下采样，得到低分辨深度图像集Y＝{Y₁,Y₂,...,Y_n,...,Y_N}，并对低分辨深度图像集Y进行插值放大得到初始恢复的深度图像集其中，X_n∈R^M×L表示第n个原始深度图像样本，表示第n个低分辨深度图像样本，表示第n个初始恢复深度图像样本，1≤n≤N，N表示原始深度图像集中图像样本的数量，M×L表示原始深度图像的大小，s表示放大倍数。

3.根据权利要求1所述的方法，其中步骤(2)中确定卷积神经网络的卷积层的层数是通过实验调节确定。

4.根据权利要求1所述的方法，其中步骤(2)中确定卷积神经网络的卷积层的滤波器的个数是采用逐步减小法通过实验调节确定。

5.根据权利要求1所述的方法，其中步骤(2)中确定卷积神经网络的各层的滤波器的大小是通过实验调节确定。

6.根据权利要求1所述的方法，其中步骤(3)中损失函数L(Θ)为均方误差函数，其中，X_i表示原始的深度图像，Y_i表示初始恢复的深度图像，Θ表示权值。

7.根据权利要求1所述的方法，其中步骤(3)中卷积神经网络模型的权重的初始化由随机初始化函数生成，最小化损失函数采用Adam优化方法。

8.根据权利要求1所述的方法，其中步骤(3)中卷积神经网络模型是根据最小化损失函数获得的卷基层的权重来建立的。