CN107154021B - 基于深层门限卷积神经网络的图像超分辨方法 - Google Patents

Abstract

本发明公开一种基于深层门限卷积神经网络的图像超分辨方法，主要解决现有技术在网络加深时图像超分辨效果会降低的问题。其实现步骤是：1.获取成对的低分辨和高分辨图像数据作为训练数据；2.定义一种门限卷积层，用它取代现有的卷积层，构建一个端到端的深层门限卷积神经网络；3.将训练数据输入深层门限卷积神经网络用Adam优化方法进行训练；4.利用训练好的深层门限卷积神经网络进行图像超分辨。本发明有效的减小了深层神经网络的梯度衰减的问题，实现了深层网络的图像超分辨应用，增强了图像超分辨效果；提高了图像超分辨的速度，可用于卫星遥感领域，医学领域，交通监控及视频压缩。

Description

基于深层门限卷积神经网络的图像超分辨方法

技术领域

本发明属于图像处理技术领域，具体是一种图像超分辨方法，可用于卫星遥感领域，医学领域，交通监控领域以及视频压缩领域等。

背景技术

图像超分辨是指从一个低分辨图片中学习恢复出高分辨图像的一种技术。相比较于低分辨图像来说，高分辨图像可以表达更多详细的信息，其细节表达能力更强，因此，图像超分辨在很多的领域都有着极大应用，如卫星遥感领域，医学领域，交通监控领域，以及视频压缩领域等。

目前为止，图像的超分辨方法主要有三个主要分类：基于插值，基于重建和基于学习的方法。而基于学习的方法由于引入了先验信息的样例，增加了更有效的约束，提高了重建图像的准确性，所以在近几年来取得了极大的发展，逐渐成为图像超分辨的主流方法，而且其性能也远远超过了另外两种方法。在基于学习的方法中大致又分为两大方向：基于字典学习的方法和基于神经网络的方法。

基于字典学习的方法主要是基于稀疏编码的超分辨算法SCSR，它是由Yang等人就是从压缩感知理论出发提出的，这种方法的流程是：首先从输入图像中有重合的提取图像块，并拉成一个向量，并进行减均值和归一化的预处理；然后经过低分辨学到的字典进行编码，学到他们的稀疏表示；接着，将稀疏参数对应到高分辨字典中，得到高分辨的图像块；最后，有重合的重构原图，对重合部分取平均，就得到了最终的高分辨图像。该方法的缺点是在应用时学习低分辨字典的稀疏表示的时候用时非常长。

基于神经网络的方法中最典型的就是基于卷积神经网络的图像超分辨方法SRCNN，它是由Chao Dong等人在2015年提出的，方法中构建了一种基于三层卷积神经网络的图像超分辨模型，该模型是一个由低分辨图像到高分辨图像的端到端的映射。在应用过程中，由于不需要另外学习参数，所以用时短；但该方法的弊端是在网络的层数加深时模型的学习效果会下降。

发明内容

本发明的目的在于针对上述现有技术的不足，提出了一种基于深度门限卷积神经网络的图像超分辨方法，以加快图像超分辨的速度，提高图像超分辨的性能。

本发明的技术方案是对原有的SRCNN方法进行改进，其一方面，是用门限卷积层取代传统的卷积层；另一方面，将原有三层网络的拓展到了更多层，其具体的实现步骤如下：

1)获取成对的低分辨和高分辨图像数据：

对自然图像先进行下采样处理，然后再用双线性三次插值法，得到与之对应的低分辨图像，最后随机采样，得到大小相同的成对低分辨图像和高分辨图像作为训练数据；

2)对基于卷积神经网络的图像超分辨模型SRCNN进行改进，构建一个端到端的深层门限卷积神经网络：

2a)定义一种门限卷积层，并用它来代替SRCNN中的卷积层，得到浅层的门限卷积神经网络；

2b)将浅层的门限卷积神经网络拓展到更多层神经网络，且最后一层采用反卷积神经网络重构高分辨图像，得到多层门限卷积神经网络和一层反卷积神经网络级联的深层门限卷积神经网络；

3)用Adam优化方法对深层门限卷积神经网络进行训练：

3a)将低分辨图像样本作为深层门限卷积神经网络的输入，计算其输出与高分辨图像样本之间的重构误差其中xh_i为训练时第i幅高分辨图像，xl_i为训练时第i幅低分辨图像，M表示该深层门限卷积神经网络；

3b)将重构误差E作为目标函数，用Adam优化方法优化该目标函数，得到一组最优的深层门限卷积神经网络参数；

4)利用深层门限卷积神经网络进行图像超分辨：

4a)对于输入的低分辨图像，通过一次门限卷积后得到低分辨图像所对应的特征图像；

4b)由4a)中得到的低分辨图像的特征图像再经过多层的门限卷积神经网络精确的映射到高分辨图像的特征图像；

4c)由4b)中得到的高分辨图像的特征图像经过一层反卷积网络重构得到我们的高分辨图像。

本发明具有如下优点：

1.本发明由于是用门限卷积层来构建的深层门限卷积神经网络，有效的减少了深层神经网络的梯度消失的问题，解决了深层神经网络的训练问题，可以得到一个优化良好的深层神经网络；

2.本发明由于最终使用的深层门限卷积神经网络是一个优化良好的深层神经网络，特征提取的非常充分，故能更好地描述细节的信息，使图像超分辨效果更好；

3.本发明由于采用的深层门限卷积神经网络是一个端到端的模型，而端到端的的模型在实际应用中具有速度快的优点，所以本发明可以快速的得到高分辨图像。

附图说明

图1是本发明的实现流程图；

图2是本发明中的图像超分辨子流程图；

图3是本发明中的门限卷积层示意图；

图4是本发明与其他方法的训练重构误差比较图；

图5是本发明与其他方法对自然图像的超分辨结果比较图。

具体实施方式

下面将结合附图，对本发明的实施例和效果作进一步详细说明。

参照图1，本发明的实现步骤如下。

步骤一，获取成对的低分辨和高分辨图像数据。

1.1)获取低分辨图像：

对原始图像先进行下采样，再对下采样图像采用双线性三次插值法将图像恢复到原来大小，得到的图片即为低分辨图像；

所述双线性三次插值，通过如下公式进行：

f(i+u,j+v)＝ABC

其中，u表示横向的插值位置，v表示纵向的插值位置，i为当前像素点的横坐标，j为当前像素点的纵坐标，f(i+u,j+v)表示图像在(i+u,j+v)处插值后的像素值；A是横向因子矩阵，B矩阵是包括像素值f(i,j)在内的周围共计16个点的像素值组成的矩阵，C是纵向因子矩阵，这三个矩阵分别表示如下：

A＝[S(1+u)S(u)S(1-u)S(2-u)]，S是插值基函数；

C＝[S(1+v) S(v) S(1-v) S(2-v)]^T。

1.2)获取同样大小的低分辨图像和高分辨图像：

由于模型训练时要求输入的图像要具有相同大小，故用随机采样的方式在低分辨图像和高分辨图像相对应的位置采集n个p×p的同样大小的图片块作为低分辨图像训练样本集Xl和高分辨图像训练样本集Xh；

低分辨图像训练样本集表示为Xl＝{xl₁,xl₂...xl_i...xl_n}，xl_i表示第i个低分辨训练样本图像；高分辨图像训练样本集表示为Xh＝{xh₁,xh₂...xh_i...xh_n},xh_i表示第i个高分辨训练样本图像，i＝1...n。

步骤二，构建深层门限卷积神经网络。

2.1)构建浅层门限卷积神经网络：

(2.1a)参照图3，定义一种门限卷积层：

首先，设门限卷积层的输入为x，对该输入进行两路卷积操作，得到第一路卷积结果f(ω₁*x+b₁)和第二路卷积的结果g(ω₂*x+b₂)，其中“*”表示卷积操作，ω₁为第一路的卷积核，ω₂为第二路的卷积核，b₁是第一路的偏置，b₂是第二路的偏置，f是第一路激活函数，g是第二路激活函数；

然后，将这两路卷积的结果经过一个点乘操作，得到门限卷积的输出g_conv(x)，其数学表达形式为：

g_conv(x)＝f(ω₁*x+b₁)·g(ω₂*x+b₂)；

f函数常用的一种是f(x)＝x，另一种是具有信息传递的作用；g函数选用sigmoid函数，具有门限控制作用。

(2.1b)用(2.1a)中的门限卷积层代替基于卷积神经网络的图像超分辨模型SRCNN中的卷积层conv(x)＝f(ω*x+b)，得到浅层门限卷积神经网络；

2.2)将浅层门限卷积神经网络拓展到深层门限卷积神经网络：

(2.2a)引入门限卷积层后，减小深层神经网络的梯度衰减：

根据分步求导准则，门限卷积层的输出对门限卷积层的输入的导数可表示为：

根据上式，如果有一路的出现梯度衰减问题，门限卷积层的梯度可以由另一路传导下去，所以门限卷积层可以减小深层神经网络的梯度衰减；

(2.2b)用多个门限卷积层级联，构建多层门限卷积神经网络；

(2.2c)为了更好地重构高分辨图片，在(2.2b)的多层门限卷积神经网络后面再加入一层反卷积网络，最终构建一个多层门限卷积神经网络与一层反卷积网络级联的深层门限卷积神经网络。

步骤三，训练基于图像超分辨应用的深层门限卷积神经网络。

3.1)将低分辨图像样本作为深层门限卷积神经网络的输入，计算其输出与高分辨图像样本之间的重构误差其中xh_i为训练时第i幅高分辨图像，xl_i为训练时第i幅低分辨图像，M表示该深层门限卷积神经网络；

3.2)将重构误差E作为目标函数，用Adam优化方法优化该目标函数：

3.2a)初始化深层门限卷积神经网络参数θ，设定优化总次数T；

3.2b)计算出目标函数对每一个参数的梯度g_t；

3.2c)根据求得的梯度g_t求出如下几个参数：

梯度的一阶距：m_t＝αm_t-1+(1-α)g_t，其中α是第一个固定参数，取值为α＝0.9；

校正后的梯度一阶距：

梯度的二阶距：其中β是第二个固定参数，取值为β＝0.999；

校正后的梯度二阶距：

3.2d)根据3.2c)求出第t次参数θ微调的大小：其中η为设定的初始步长；

(3.2e)将深层门限卷积神经网络参数更新为：θ_t＝θ_t-1+Δθ_t；

(3.2f)将当前更新次数t与训练总次数T比较：当t＜T时，则重复3.2b)-3.2e)操作；当t＝T时，训练结束，T次优化得到的参数θ_T即为最终的深层门限卷积神经网络的参数。

步骤四，利用深层门限卷积神经网络进行图像超分辨。

参照图2，本步骤的过程如下：

(4a)对于输入的低分辨图像，通过一层门限卷积层后得到低分辨图像的特征图像；

(4b)由(4a)中得到的低分辨图像的特征图像再经过多层的门限卷积神经网络精确的映射到高分辨图像的特征图像；

(4c)由(4b)中得到的高分辨图像的特征图像经过一层反卷积网络重构得到高分辨图像，完成对低分辨图像的超分辨。

本发明的效果可通过以下测试进一步说明：

一.测试条件

采用cifar-10数据集作为训练数据对深层门限卷积神经网络训练，用自然图像作为测试数据，用峰值信噪比psnr作为测试时的度量标准。

二.测试内容

测试1，用浅层门限卷积神经网络与SRCNN网络在进行加深时，测试其测试样本重构误差的变化，结果如图4所示。从图4可以看出SRCNN在模型加深时，测试样本的重构误差没有减小，反而会有一定的增大，而用本发明使用的浅层门限卷积神经网络在网络加深时，测试样本的重构误差会明显减小。

测试2，用本发明对自然图像进行超分辨，结果如图5所示，其中图5(a)原始图片，图5(b)为低分辨图像，图5(c)是SRCNN的超分辨结果，峰值信噪比为22.26dB，图5(d)为本发明的超分辨结果，峰值信噪比为22.42dB，可见，本发明的超分辨效果要优于SRCNN模型。

Claims (1)

1.基于深度门限卷积神经网络的图像超分辨方法，包括：

1)获取成对的低分辨和高分辨图像数据：

对自然图像先进行下采样处理，然后再用双线性三次插值法，得到与之对应的低分辨图像，最后随机采样，得到大小相同的成对低分辨图像和高分辨图像作为训练数据，

所述用双线性三次插值法，得到与之对应的低分辨图像，是通过下式进行：

f(i+u,j+v)＝ABC

其中，u表示横向的插值位置，v表示纵向的插值位置，i为当前像素点的横坐标，j为当前像素点的纵坐标，f(i+u,j+v)表示图像在(i+u,j+v)处插值后的像素值；A是横向因子矩阵，B矩阵是包括像素值f(i,j)在内的周围共计16个点的像素值组成的矩阵，C是纵向因子矩阵，这三个矩阵分别表示如下：

A＝[S(1+u) S(u) S(1-u) S(2-u)]，S是插值基函数；

C＝[S(1+v) S(v) S(1-v) S(2-v)]^T，T表示转置；

2)对基于卷积神经网络的图像超分辨模型SRCNN进行改进，构建一个端到端的深层门限卷积神经网络：

2a)定义一种门限卷积层，并用它来代替SRCNN中的卷积层，得到浅层的门限卷积神经网络：

2a1)定义一个门限卷积层，它包括了两路卷积操作，其数学表达式为：

g_conv(x)＝f(ω₁*x+b₁)·g(ω₂*x+b₂)，

其中x表示门限卷积层的输入，ω₁表示第一路卷积核，ω₂表示第二路卷积核，b₁表示第一路的偏置，b₂表示第二路的偏置，f表示第一路的激活函数，g表示第二路的激活函数，“*”表示卷积操作，“·”表示点乘操作；

2a2)用2a1)中的门限卷积层代替SRCNN中的卷积层，构建门限卷积神经网络：SRCNN中的卷积层只包括一路的卷积操作，其数学表达式为：

conv(x)＝f(ω*x+b)，

x表示该卷积层的输入，ω是卷积核，b是偏置，“*”表示卷积操作；

在该卷积层的基础上，再加入一路卷积就得到门限卷积层的数学表达形式式：ω表示门限卷积的第一路卷积核，等价于ω₁，b表示门限卷积的第一路偏置，等价于b₁，表示门限卷积的第二路卷积核，等价于ω₂，表示门限卷积的第二路偏置，等价于b₂；

将SRCNN中的每一个卷积层conv(x)都用门限卷积层g_conv(x)代替，得到浅层门限卷积神经网络；

2b)将浅层的门限卷积神经网络拓展到更多层神经网络，且最后一层采用反卷积神经网络重构高分辨图像，得到多层门限卷积神经网络和一层反卷积神经网络级联的深层门限卷积神经网络；

3)用Adam优化方法对深层门限卷积神经网络进行训练：

3a)将低分辨图像样本作为深层门限卷积神经网络的输入，计算其输出与高分辨图像样本之间的重构误差其中xh_i为训练时第i幅高分辨图像，xl_i为训练时第i幅低分辨图像，M表示该深层门限卷积神经网络；

3b)将重构误差E作为目标函数，用Adam优化方法优化该目标函数，得到一组最优的深层门限卷积神经网络参数：

3b1)初始化深层门限卷积神经网络参数θ，设定优化总次数Q；

3b2)计算出目标函数对每一个参数的梯度g_t；

3b3)根据求得的梯度g_t求出如下几个参数：

梯度的一阶距：m_t＝αm_t-1+(1-α)g_t，其中α是第一个固定参数，取值为α＝0.9；

校正后的梯度一阶距：

梯度的二阶距：其中β是第二个固定参数，取值为β＝0.999；

校正后的梯度二阶距：

3b4)根据3b3)求出第t次参数θ微调的大小：其中η为设定的初始步长；

3b5)设第t次更新后的深层门限卷积神经网络参数为：θ_t＝θ_t-1+Δθ_t，其中θ_t-1为t-1次更新后的深层门限卷积神经网络参数；

3b6)将当前更新次数t与训练总次数Q比较：当t＜Q时，则重复3b2)-3b5)操作；当t＝Q时，训练结束，Q次优化得到的参数θ_Q即为最终的深层门限卷积神经网络的参数；

4)用3b)中得到的最优的深层门限卷积神经网络参数所对应的深层门限卷积神经网络实现对低分辨图像到高分辨图像的超分辨映射：

4a)对于输入的低分辨图像，通过一次门限卷积后得到低分辨图像所对应的特征图像；

4b)由4a)中得到的低分辨图像的特征图像再经过多层的门限卷积神经网络精确的映射到高分辨图像的特征图像；

4c)由4b)中得到的高分辨图像的特征图像经过一层反卷积网络重构得到我们的高分辨图像。