CN106204449B - 一种基于对称深度网络的单幅图像超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种基于对称深度网络的单幅图像超分辨率重建方法，属于图像处理技术领域。本发明主要包括以下步骤：1、制作高分辨率图像块与低分辨率图像块训练集；2、构建一个对称的卷积‑反卷积深度网络用于模型训练；3、基于构建的深度网络和制作的数据集，进行网络模型的训练；4、依据学习的模型参数，输入一幅低分辨率图像，得到的输出即为重建的高分辨率图像。本发明通过结合卷积层和反卷积层，同时增加网络深度，利用网络深度提升网络性能，加强了图像细节部分的重建能力，获得了更好的图像超分辨率重建效果，在图像高清显示、医学成像、遥感图像等领域中有着广泛的应用前景。

Description

一种基于对称深度网络的单幅图像超分辨率重建方法

技术领域

本发明属于图像处理技术领域，更具体地说，涉及一种基于对称深度网络的单幅图像超分辨率重建方法。

背景技术

随着高清显示设备的快速发展，人们对高分辨率图像和视频的需求日益增长。传统的获取高分辨率图像的方法通常是基于硬件的方法，即改进图像传感器制造工艺，包括减小像素尺寸和增加传感器尺寸。由于硬件方法的高成本以及硬件的固有限制，使得人们不得不寻求其他方法。

图像超分辨率重建是由一幅或多幅低分辨率图像重建得到一幅高分辨率图像的过程。相比于硬件方法，超分辨率重建技术具有较低的成本，而且重建得到的高分辨率图像质量更高。近年来，图像超分辨率重建逐渐成为计算机视觉和图像处理领域的研究热点。

依据不同的划分标准，图像超分辨率重建技术可以被划分成不同的类型。根据技术原理的不同，超分辨率重建技术被划分为以下三种类型：基于插值的方法、基于重建的方法、基于学习的方法。在这些方法中，基于学习的方法通常从一个外部数据集中学习高分辨率图像与低分辨率图像之间的映射关系，然后利用学习的映射关系来重建高分辨率图像，是目前最热门的方法。

较为经典的单幅图像超分辨率重建方法有以下几种：Yang等人首先将压缩感知理论引入超分辨率重建领域，提出一种基于稀疏表示和字典学习的图像超分辨率重建方法，该方法在训练阶段，给定一组低分辨率和高分辨率块的数据集，假设高分辨率图像与低分辨率图像具有相同的稀疏表示系数，通过学习一组耦合的高分辨率和低分辨率字典来重建高分辨率图像。但Yang等人的重建方法是一种基于图像块的方法，最终的重建结果需要对每个重叠块的像素取平均值，可能出现重叠块的不一致性问题，同时该方法在图像测试的时候耗时严重。

近年来，深度学习在计算机视觉中取得了巨大成功，包括图像分类和人脸识别等。Dong等人首次将卷积神经网络应用到图像超分辨率重建任务中，他们通过构建一个三层的卷积神经网络来生成高分辨率图像。该方法等同于执行一个稀疏编码的流程，三个卷积层分别实现块的提取与表示、非线性映射以及图像重建等功能。由于卷积神经网络强大的学习能力和端到端的训练方式，该方法的重建效果得到了显著提高。但由于该网络仅仅针对最小化均方误差来进行训练，没有引入任何图像先验信息，因此对于细节部分没有很好的保留。

经检索，中国专利申请号201510178956.5，申请日为2015年4月15日，发明创造名称为：基于深度学习的单帧图像超分辨率重建方法，该申请案包括以下步骤：1、首先通过训练两个自动编码器用于获得低分辨率和对应高分辨率图像块的特征；2、基于己获得高分辨率和低分辨率图像块的特征，再训练一个单层神经网路学习两个特征的非线性映射关系；3、基于两个自动编码器和单层神经网络，构建三层的深度网络，以低分辨率图像块作为输入，高分辨率图像块作为输出，微调三层深度网络的参数；步骤4、依据得到的三层深度网络做单帧图像超分辨率重建，以低分辨率图像块的灰度值为输入，得到输出即为对应高分辨率图像块的灰度值。该申请案不仅提高了超分辨率重建图像的质量，而且缩短了超分辨率重建时间。但该申请案存在以下缺陷：1)该申请案仅由卷积层组成，而卷积操作是用于提取图像抽象特征，可能会丢失图像的细节信息，故该申请案在图像边缘、纹理等部分不能得到更好的重建效果；2)该申请案中提出的网络仅有三层，不足以提取更多有用的信息，故该申请案不能得到更好的重建效果。

基于以上分析，现有技术需要一种能够获得更好的重建效果的图像超分辨率重建方法。

发明内容

1.发明要解决的技术问题

为了克服上述现有技术存在的重建图像细节部分易丢失的问题，本发明提出了一种基于对称深度网络的单幅图像超分辨率重建方法；本发明通过结合卷积层和反卷积层，同时增加网络深度，利用网络深度提升网络性能，加强了图像细节部分的重建能力，获得了更好的图像超分辨率重建效果。

2.技术方案

为达到上述目的，本发明提供的技术方案为：

本发明的一种基于对称深度网络的单幅图像超分辨率重建方法，其步骤为：

步骤1、利用常用图像处理数据集，制作高分辨率图像块与低分辨率图像块训练集；

步骤2、构建一个对称的卷积-反卷积深度网络用于模型训练；

步骤3、依据步骤1获得的训练集和步骤2构建的网络，进行网络训练，调整网络参数；

步骤4、将一幅低分辨率图像作为网络输入，利用步骤3学习的参数重建出一幅高分辨率图像作为输出。

更进一步地，步骤1制作高分辨率图像块与低分辨率图像块训练集的过程为：

将常用图像处理数据集中每张彩色图像，首先转换到YCbCr空间，然后提取高分辨率训练图像的Y分量，接着对高分辨率图像进行两次双三次插值，得到与高分辨率图像对应的相同尺寸低分辨率图像；将每张高分辨率图像和低分辨率图像裁剪成多个图像块，由此得到用于深度网络训练的高分辨率图像块与低分辨率图像块的集合。

更进一步地，步骤2中构建一个10层的对称深度网络模型，前面5层为卷积层，后面5层为反卷积层；每个卷积层和反卷积层之后接一个ReLU激活层；网络输入为低分辨率图像块，输出为高分辨率图像块，该网络将学习低分辨率图像块和高分辨率图像块之间的映射关系，如公式(1)所示：

x＝F(y,φ) (1)

其中，x,y分别表示高分辨率图像块和低分辨率图像块，φ为学习到的模型参数，用于之后的高分辨率图像重建。

更进一步地，步骤2中网络训练的损失函数采用均方误差表示，如公式(2)所示：

其中，N为步骤1所得训练集中样本数量，xⁱ,yⁱ为第i个高分辨率图像块和对应的低分辨率图像块。

更进一步地，步骤2中ReLU激活层的激活函数用公式(3)表示如下：

f(x)＝max(0,x) (3)

其中，x为激活函数的输入，f(x)为激活函数的输出。

更进一步地，步骤2中构建的深度网络的所有卷积核大小均设为3*3，前5个卷积层对应的特征图的数量分别设为32、64、64、128、128，后5个反卷积层对应的特征图的数量分别设为128、128、64、64、1，每个卷积层和反卷积层得到的输出用公式(4)表示：

y_i＝f(W_ix_i+b_i),i＝1,2,...,10 (4)

其中，W_i表示第i层的权重，b_i表示第i层的偏置，x_i表示第i层的输入，y_i表示第i层的输出；

经过激活函数，结果如公式(5)所示：

z_i＝max(y_i,0) (5)

其中，y_i为上一层输出，z_i表示激活函数的输出。

更进一步地，步骤3利用Caffe深度学习平台进行网络的训练，首先对步骤2构建的对称深度网络的权重和偏置进行初始化；具体过程为：

1)采用Xavier方式初始化权重W后，W满足以下均匀分布；

其中，n_j表示该层网络输入单元数目，即卷积层输入特征图数量，n_j+1表示该层网络输出单元数目，即卷积层输出特征图数量；

2)偏置全部初始化为0，即b_i＝0。

更进一步地，步骤3采用梯度下降法来更新网络参数，用公式(7)表示如下：

其中，L是公式(2)计算得到的损失函数值，△_i和△_i+1分别表示第i次和第i+1次权重变化量，l是层的索引，i是迭代次数，η是学习率，是梯度；

在训练过程中，通过指定迭代次数来进行网络参数更新。

3.有益效果

采用本发明提供的技术方案，与已有的公知技术相比，具有如下显著效果：

(1)本发明的一种基于对称深度网络的单幅图像超分辨率重建方法，考虑到卷积层可以提取图像的抽象特征，但随着卷积层数的加深，图像的细节可能会随之丢失；与卷积操作相对应，反卷积层可用来恢复图像细节内容，但反卷积层过多，也将导致引入虚假细节；建立卷积和反卷积层对称网络，既可以去除噪声提取图像主体特征，又可以利用反卷积层在网络中充当图像细节恢复的作用，使得重建后的图像质量得到了显著提高；

(2)本发明的一种基于对称深度网络的单幅图像超分辨率重建方法，在建立卷积和反卷积层对称网络的同时，将三层卷积扩展到五层卷积，再跟随五层反卷积，以充分的深度提高网络超分辨率重建映射的能力，实现单幅图像超分辨率重建，获得了更好的图像超分辨率重建效果；

(3)本发明的一种基于对称深度网络的单幅图像超分辨率重建方法，相比传统的超分辨率重建方法，为端到端的映射方式，在重建时间上大大缩短，在图像高清显示、医学成像、遥感图像等领域中有着广泛的应用前景。

附图说明

图1是本发明的基于对称深度网络的单幅图像超分辨率重建方法流程图；

图2是本发明中数据集的制作流程图；

图3是本发明构建的网络模型示意图，图3中未画出卷积层和反卷积层之后的ReLU激活层；

图4是不同超分辨率重建方法的重建效果图；其中，图4中的(a)为原图；图4中的(b)为Bicubic法处理后的效果图，图像信噪比为29.49dB；图4中的(c)为SRCNN法处理后的效果图，图像信噪比为32.51dB；图4中的(d)为本发明处理后的效果图，图像信噪比为32.85dB。

具体实施方式

为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。

实施例1

结合图1，本实施例的一种基于对称深度网络的单幅图像超分辨率重建方法，具体包括以下步骤：

步骤1、利用常用的数据集，如ImageNet以及Yang等人采用的91-images等数据集，制作高分辨率图像块训练集与低分辨率图像块训练集，具体步骤如图2所示，即：

针对常用数据集(如91-images)中每张彩色图像，首先转换到YCbCr空间，然后提取高分辨率训练图像的Y分量I_H，接着对高分辨率图像进行两次双三次插值(第一次进行双三次下采样插值，第二次进行双三次上采样插值)，得到对应的低分辨率图像。

将每张高分辨率图像和低分辨率图像裁剪成多个50*50的图像块，(裁剪成50*50的图像块包含更多相邻像素间的信息，有利于图像超分辨)，裁剪间隔为14个像素，由此得到用于深度网络训练的高分辨率块与低分辨率块集合。

步骤2、构建一个对称的卷积-反卷积深度网络用于模型训练。

2-1、构建一个10层的对称深度网络模型，前面5层为卷积层，后面5层为反卷积层。每个卷积层和反卷积层之后接一个ReLU(Rectified Linear Unit)激活层。网络输入为低分辨率图像块(i＝1,2,...,N)，输出为高分辨率图像块(i＝1,2,...,N)，该网络将学习低分辨率图像块和高分辨率图像块之间的映射关系，如公式(1)所示：

x＝F(y,φ) (1)

其中，x,y分别表示高分辨率图像块和低分辨率图像块，φ为学习到的模型参数，用于之后的高分辨率图像的重建。

网络训练的损失函数采用均方误差表示，如公式(2)所示：

其中，N为步骤1所得数据集中样本数量，xⁱ,yⁱ为第i个高分辨率块和对应的低分辨率块，φ为学习到的模型参数。

ReLU激活层的激活函数用公式(3)表示如下：

f(x)＝max(0,x) (3)

其中，x为激活函数的输入，f(x)为激活函数的输出。

2-2、构建的深度网络的所有卷积核大小均设为3*3，前5个卷积层对应的特征图的数量分别设为32、64、64、128、128，后5个反卷积层对应的特征图的数量分别设为128、128、64、64、1。具体的网络配置参见图3和表1，表1中conv3-32表示卷积层对应的卷积核大小为3*3，特征图的数量为32，deconv3-64表示反卷积层对应的卷积核大小为3*3，特征图的数量为64。

表1本发明的网络模型配置

深度网络模型
	输入层
conv3-32
	conv3-64
conv3-64
	conv3-128
deconv3-128
	deconv3-128
deconv3-64
	deconv3-64
输出层:deconv3-1

每个卷积层和反卷积层得到的输出用公式(4)表示：

y_i＝f(W_ix_i+b_i),i＝1,2,...,10 (4)

其中，W_i表示第i层的权重，b_i表示第i层的偏置，x_i表示第i层的输入，y_i表示第i层的输出。

然后经过激活函数，结果如公式(5)所示：

z_i＝max(y_i,0) (5)

其中，y_i为上一层输出，z_i表示激活函数的输出。

值得说明的是，发明人在设计本方案时，对背景技术中提到的方案(Dong等人提出的构建三层卷积神经网络来生成高分辨率图像，以及专利申请号为201510178956.5，发明创造名称为：基于深度学习的单帧图像超分辨率重建方法)以及现有卷积神经网络模型均进行了深入的研究，其总结：在卷积神经网络模型中，卷积层可以提取图像的抽象特征，但随着卷积层数的加深，图像的细节可能会随之丢失。与卷积操作相对应，反卷积层可用来恢复图像细节内容，但反卷积层过多，也将导致引入虚假细节。基于此，发明人考虑建立卷积和反卷积层对称网络，既可以去除噪声提取图像主体特征，又可以恢复细节；同时通过将三层卷积扩展到五层卷积，再跟随五层反卷积，以充分的深度提高网络超分辨率重建映射的能力，实现单幅图像超分辨率重建。由于训练反卷积网络使其作为独立的细节恢复层比正常卷积层难度大很多，不易实现；同时将反卷积网络和卷积网络对称深层结合来满足去除图像噪声并保留和增强图像细节的思路，与传统基于稀疏表示学习细节映射函数及简单卷积神经网络来实现图像细节重建的思路完全不一致，因此，本发明这种深层对称卷积和反卷积网络超分辨技术是独特而有价值的。

步骤3、依据步骤1获得的训练集和步骤2构建的对称深度网络模型，进行网络训练，调整网络参数，具体如下：

3-1、利用Caffe深度学习平台进行网络的训练，对步骤2构建的对称深度网络，首先采用Xavier方式来初始化所有的卷积层和反卷积层的权重，偏置全部初始化为0。具体过程为：

(1)采用Xavier方式初始化权重W后，W满足以下均匀分布；

其中，n_j表示该层网络输入单元数目，即卷积层输入特征图数量，n_j+1表示该层网络输出单元数目，即卷积层输出特征图数量。

(2)偏置b初始化为0，即b＝0。

3-2、采用梯度下降法来更新网络参数，用公式(7)表示如下：

其中，L是公式(2)计算得到的损失函数值，△_i和△_i+1分别表示第i次和第i+1次权重变化量，l是层的索引，i是迭代次数，η是学习率，在本实施例中设定学习率为10^-6，是梯度。

3-3、在训练过程中，通过指定迭代次数来进行网络参数更新。

步骤4、训练结束后，将一幅低分辨率图像作为网络输入，利用步骤3学习的参数来重建出一幅高分辨率图像作为输出，得到的输出就是超分辨率重建后的高分辨率图像。

图4是不同超分辨率重建方法的重建效果图，其中图4中的(a)为原图，图4中的(b)为Bicubic法处理后的效果图，图4中的(c)为SRCNN法处理后的效果图，图4中的(d)为本实施处理后的效果图，从图4中的(b)、(c)、(d)可以看出采用我们的算法重建出的图像在边缘等细节方面具有更好的效果。实施例1所述的一种基于对称深度网络的单幅图像超分辨率重建方法，通过结合卷积层和反卷积层，利用反卷积层在网络中充当图像细节恢复的作用，使得重建后的图像质量得到了提高。且该方法相比以前的超分辨率重建方法，为端到端的映射方式，在重建时间上大大缩短，在图像高清显示、医学成像、遥感图像等领域中有着广泛的应用前景。

以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (1)

1.一种基于对称深度网络的单幅图像超分辨率重建方法，其步骤为：

步骤1、利用常用图像处理数据集，制作高分辨率图像块与低分辨率图像块训练集；过程为：

将常用图像处理数据集中每张彩色图像，首先转换到YCbCr空间，然后提取高分辨率训练图像的Y分量，接着对高分辨率图像进行两次双三次插值，得到与高分辨率图像对应的相同尺寸低分辨率图像；将每张高分辨率图像和低分辨率图像裁剪成多个图像块，由此得到用于深度网络训练的高分辨率图像块与低分辨率图像块的集合；

步骤2、构建一个10层的对称的卷积-反卷积深度网络用于模型训练；其中，前面5层为卷积层，后面5层为反卷积层；每个卷积层和反卷积层之后接一个ReLU激活层；网络输入为低分辨率图像块，输出为高分辨率图像块，该网络将学习低分辨率图像块和高分辨率图像块之间的映射关系，如公式(1)所示：

x＝F(y,φ) (1)

其中，x,y分别表示高分辨率图像块和低分辨率图像块，φ为学习到的模型参数，用于之后的高分辨率图像重建；网络训练的损失函数采用均方误差表示，如公式(2)所示：

其中，N为步骤1所得训练集中样本数量，xⁱ,yⁱ为第i个高分辨率图像块和对应的低分辨率图像块；ReLU激活层的激活函数用公式(3)表示如下：

f(x)＝max(0,x) (3)

其中，x为激活函数的输入，f(x)为激活函数的输出；构建的深度网络的所有卷积核大小均设为3*3，前5个卷积层对应的特征图的数量分别设为32、64、64、128、128，后5个反卷积层对应的特征图的数量分别设为128、128、64、64、1，每个卷积层和反卷积层得到的输出用公式(4)表示：

y_i＝f(W_ix_i+b_i),i＝1,2,...,10 (4)

其中，W_i表示第i层的权重，b_i表示第i层的偏置，x_i表示第i层的输入，y_i表示第i层的输出；

经过激活函数，结果如公式(5)所示：

z_i＝max(y_i,0) (5)

其中，y_i为上一层输出，z_i表示激活函数的输出；

步骤3、依据步骤1获得的训练集和步骤2构建的网络，利用Caffe深度学习平台进行网络训练，调整网络参数；首先对步骤2构建的对称深度网络的权重和偏置进行初始化；具体过程为：

1)采用Xavier方式初始化权重W后，W满足以下均匀分布；

其中，n_j表示该层网络输入单元数目，即卷积层输入特征图数量，n_j+1表示该层网络输出单元数目，即卷积层输出特征图数量；

2)偏置全部初始化为0，即b_i＝0；

采用梯度下降法来更新网络参数，用公式(7)表示如下：

其中，L是公式(2)计算得到的损失函数值，Δ_i和Δ_i+1分别表示第i次和第i+1次权重变化量，l是层的索引，i是迭代次数，η是学习率，是梯度；

在训练过程中，通过指定迭代次数来进行网络参数更新；

步骤4、将一幅低分辨率图像作为网络输入，利用步骤3学习的参数重建出一幅高分辨率图像作为输出。