CN109949223A - 基于反卷积稠密连接的图像超分辨率重构方法 - Google Patents

Abstract

本发明属于图像处理技术领域，为加快网络训练速度，并通过特征的拼接与残差连接，将特征传递到深层，保留特征的多样性，最终实现图像超分辨率重构。本发明采取的技术方案是，基于反卷积稠密连接的图像超分辨率重构方法，步骤如下：(1)特征提取：特征提取层由一层卷积层和一层激励层组成，用于从低分辨率图像中提取特征；(2)非线性映射：非线性映射阶段由多个反卷积稠密模块连接组成；(3)重建：重建过程是由一个卷积层和一个激励层组成，公式为：I^HR＝f_rec(F₁)+I^LR，F₁表示非线性映射的输出。本发明主要应用于图像处理场合。

Description

基于反卷积稠密连接的图像超分辨率重构方法

技术领域

本发明属于图像处理、计算机视觉技术领域，涉及一种基于卷积神经网络的图像超分辨率重构方法。具体涉及基于反卷积稠密连接的图像超分辨率重构方法。

背景技术

随着计算机视觉的发展，图像越来越多的出现在人们的日常生活中，人们对图像的要求越来越高。图像的超分辨率是图像质量的重要评价指标，图像的分辨率越高，图像细节部分越精细，图像提供的信息更丰富。所以提高图像的分辨率具有重要的作用。提高图像分辨率的技术一般分为两种，第一种是通过硬件的改进来提高图像的分辨率，但是由于改进硬件设备技术较为复杂，所需成本较高，所以采用改进硬件设备来提高图像分辨率较为复杂；第二种方法是通过软件技术来提高图像的分辨率，即图像的超分辨率重构技术，该方法可有效解决硬件设备改进困难的问题，具有较高的研究价值。

图像超分辨率重构技术是指从一帧或多帧低分辨率图像中恢复出高分辨率图像的过程。图像超分辨率重构是一个具有理论意义和实践价值的计算机视觉问题，主要应用于以下方面。

(1)在安防监控系统中，因为硬件技术的限制，摄像头拍摄画面会存在不清晰的情况，改进摄像头等硬件设备造成成本增加，可通过图像超分辨率重构技术，对摄像头获取到的图像进行后处理，可重构出清晰的画面，提供更多的细节信息，从而为嫌犯的身份确认、逃脱路线、案件侦破等提供更多的帮助。

(2)在医学图像方面，可以使用图像超分辨率技术提高医学影像的分辨率，有助于医生对于患者病灶的确认，加速了疾病的诊断，从而解决了医学影像不清晰而造成的对于疾病诊断的困难。

(3)在卫星图像方面，卫星图像对于地质勘探、军事侦察等方面有重要的作用，使用图像超分辨率重构技术将卫星采取的图像进行超分辨率重构，可获得具有丰富纹理细节的卫星图像，因此图像超分辨率重构技术在卫星图像方面有很重要的作用。

发明内容

为克服现有技术的不足，本发明旨在提出一种基于反卷积稠密连接的图像超分辨率重构方法,通过卷积与反卷积层的组合可加快网络训练速度，并通过特征的拼接与残差连接，将特征传递到深层，保留特征的多样性。为此，本发明采取的技术方案是，基于反卷积稠密连接的图像超分辨率重构方法，步骤如下：

(1)特征提取

特征提取层由一层卷积层和一层激励层组成，用于从低分辨率图像中提取特征，提取后的特征作为非线性映射的输入，公式为：

F₀＝f_ext(I^LR)

式中，F₀为特征提取层的输出，f_ext表示特征提取，I^LR为低分辨率图像；

(2)非线性映射

非线性映射阶段由多个反卷积稠密模块连接组成，为了防止信息在网络训练中的丢失和梯度消失的问题，将特征提取后的特征并行输入到多个反卷积稠密块，公式为：

B_n＝H(B_n-1)＝[G(B_n-1),F₀]

式中，G为反卷积稠密模块，H表示与F₀结合后的稠密模块，[G(B_n-1),F₀]表示对特征的拼接，B_n-1为反卷积稠密块的输入，B_n为反卷积稠密块的输出；

(3)重建

由于高分辨率图像与低分辨率图像之间具有相同的低频信息，为了减少网络的冗余，在重建部分引入全局残差，使网络只学习低分辨率图像与高分辨率图像之间的残差信息，重建过程是由一个卷积层和一个激励层组成，公式为：

I^HR＝f_rec(F₁)+I^LR

式中，f_rec表示重建，I^HR为重建的高分辨率图像，F₁表示非线性映射的输出。

卷积层的卷积过程为：使用n1个大小为h×w的卷积核对输入的n0个特征图进行卷积操作，输出n1个特征图，如下式所示：

F_out＝σ(W*F_in+b)

式中，W为卷积层的权重，b为偏置，F_out表示卷积层的输出也是下一卷积层的输入，*表示卷积操作，F_in为卷积层的输入，σ表示ReLU激励函数；

反卷积层将特征图进行上采样，具体使用反卷积层将经过卷积层缩小的特征图尺寸放大，用于复原图像特征的细节信息，并恢复图像高频细节，反卷积过程如式所示：

F_out ^d＝σ(W_d·F_in ^d+b_d)

式中，F_out ^d表示反卷积层的输出，W_d为反卷积层的权重，F_in ^d为反卷积层的输入，b_d为反卷积层的偏置；

反卷积稠密块由多个卷积层和反卷积层连接而成，用于提取高水平特征，F_(i,1)与F_(i,2)分别第i个稠密块中的第1个、第2个步长为2的卷积层，实现下采样过程；F_(i,1) ^d与F_(i,2) ^d为第i个稠密块中的的第1个、第2个反卷积层，实现上采样过程；F_(i,3)为第i个稠密块中的第3个卷积层，步长为1，用于实现特征的缩减，减少稠密块输出特征通道数，下采样、上采样和特征缩减依次执行。

除了采用迭代的上采样与下采样还引入了特征的拼接，将卷积层与反卷积的输出分别进行特征拼接，即F_(i,1)的特征与F_(i,2)的特征进行拼接，F_(i,1) ^d与F_(i,2) ^d的特征进行拼接。

更进一步地，在稠密块中，每个卷积核的大小为3×3，输出通道数为64，在经过特征拼接后，最后一层卷积层的输入通道数量变为64+64+64＝192个，通道数量的增加深层的卷积神经网络带来了较大的复杂度，为了减少特征通道数量增多带来的负担，在每个稠密块的最后用一层卷积层实现特征通道数维度的变换，输出64个通道的特征，反卷积稠密块表示为式：

B_n＝F_(i,3)＝G(B_n-1)

式中，B_n-1为第n-1个稠密块的输出，也为第n个稠密块的输入，B_n为第n个反卷积稠密块的输出。

本发明的特点及有益效果是：

针对卷积神经网络计算量较大等问题，提出基于反卷积稠密块连接的卷积神经网络图像超分辨率重建算法。将卷积层与反卷积层进行迭代连接，实现了对图像特征的上采样与下采样，使得神经网络学习到不同阶段的图像信息；除了将特征提取后的特征与每个反卷积稠密块进行特征拼接，还在反卷积稠密块内引入了特征拼接，防止了梯度信息的丢失，在不增加网络参数数量的同时提高了网络宽度；在网络内部加入下采样过程，减少了网络参数，降低了网络复杂度，提高了训练速度。本发明提出的卷积神经网络图像超分辨率重构有一定的应用价值，该算法可以被应用到如图像处理和计算机视觉等领域。

附图说明：

图1反卷积与卷积。

图2反卷积稠密块结构。(B_n-1为第n个稠密块的输入，B_n为第n个反卷积稠密块的输出，F_(i,1),F_(i,2),F_(i,3)分别为第1、2、3个卷积层，F_(i,1) ^d,F_(i,2) ^d分别为第1、2个反卷积层，Conv表示卷积层，Deconv表示反卷积层，ReLU表示修正线性单元)

图3网络结构。(Conv表示卷积层，ReLU表示修正线性单元，DeconvBlock为反卷积稠密块连接。)

具体实施方式

1卷积与反卷积

卷积层是卷积神经网络的核心部分，用于提取图像特征，卷积层的卷积过程为：使用n1个大小为h×w的卷积核对输入的n0个特征图进行卷积操作，输出n1个特征图，如式所示：

F_out＝σ(W*F_in+b)

式中，W为卷积层的权重，b为偏置，F_out表示卷积层的输出也是下一卷积层的输入，*表示卷积操作，F_in为卷积层的输入，σ表示ReLU激励函数。

反卷积层[59]将特征图进行上采样，本发明中使用反卷积层将经过卷积层缩小的特征图尺寸放大，用于复原图像特征的细节信息，并恢复图像高频细节。反卷积过程如式所示：

F_out ^d＝σ(W_d·F_in ^d+b_d)

式中，F_out ^d表示反卷积层的输出，σ为ReLU激励函数，W_d为反卷积层的权重，·表示反卷积操作，F_in ^d为反卷积层的输入，b_d为反卷积层的偏置。卷积层的前向传播过程与反卷积层的反向传播过程相同，同样的，反卷积层的前向传播过程与卷积层的反向传播过程相同。卷积过程与反卷积过程如图1所示。

2反卷积稠密块

反卷积稠密块由多个卷积层和反卷积层连接而成，用于提取高水平特征，稠密模块如图2所示，其中F_(i,1)与F_(i,2)分别第i个稠密块中的第1个、第2个步长为2的卷积层，实现下采样过程；F_(i,1) ^d与F_(i,2) ^d为第i个稠密块中的的第1个、第2个反卷积层，实现上采样过程；F_(i,3)为第i个稠密块中的第3个卷积层，步长为1，用于实现特征的缩减，减少稠密块输出特征通道数。通过迭代的上采样下采样不仅可以学习到抽象特征，还可在学习的过程中保留丰富高频细节。稠密块除了采用迭代的上采样与下采样还引入了特征的拼接，将卷积层与反卷积的输出分别进行特征拼接，即F_(i,1)的特征与F_(i,2)的特征进行拼接，F_(i,1) ^d与F_(i,2) ^d的特征进行拼接。通过引入特征拼接可将特征进行再使用，可以使特征传递到深层并减少了网络学习的参数。在稠密块中，每个卷积核的大小为3×3，输出通道数为64，在经过特征拼接后，最后一层卷积层的输入通道数量变为64+64+64＝192个，通道数量的增加深层的卷积神经网络带来了较大的复杂度，为了减少特征通道数量增多带来的负担，在每个稠密块的最后用一层卷积层实现特征通道数维度的变换，输出64个通道的特征。反卷积稠密块可表示为式：

B_n＝F_(i,3)＝G(B_n-1)

式中，B_n-1为第n-1个稠密块的输出，也为第n个稠密块的输入，B_n为第n个反卷积稠密块的输出。

3网络结构

本发明提出了基于反卷积稠密网络的图像超分辨率重构，网络结构如3图所示可分为三部分：特征提取、非线性映射与重建。

(1)特征提取

特征提取层由一层卷积层和一层激励层组成，用于从低分辨率图像中提取特征，提取后的特征作为非线性映射的输入。通过卷积层提取特征不仅可提取到丰富的抽象特征，还可加强原始信号特征。公式为：

F₀＝f_ext(I^LR)

式中，F₀为特征提取层的输出，f_ext表示特征提取，I^LR为低分辨率图像。

(2)非线性映射

非线性映射阶段由多个反卷积稠密模块连接组成，为了防止信息在网络训练中的丢失和梯度消失的问题，将特征提取后的特征并行输入到多个反卷积稠密块，公式为：

B_n＝H(B_n-1)＝[G(B_n-1),F₀]

式中，G为反卷积稠密模块，H表示与F₀结合后的稠密模块，[G(B_n-1),F₀]表示对特征的拼接，B_n-1为反卷积稠密块的输入，B_n为反卷积稠密块的输出。

(3)重建

由于高分辨率图像与低分辨率图像之间具有相同的低频信息，为了减少网络的冗余，在重建部分引入全局残差，使网络只学习低分辨率图像与高分辨率图像之间的残差信息，如图所示，重建过程是由一个卷积层和一个激励层组成，公式为：

I^HR＝f_rec(F₁)+I^LR

式中，f_rec表示重建，I^LR为低分辨率图像，I^HR为重建的高分辨率图像，F₁表示非线性映射的输出。

下面结合算法流程框图对本发明进行详细的描述。

如图1所示，本发明提供一种基于残差卷积神经网络的图像超分辨率重构方法，其包括以下步骤：

步骤1：预处理

将训练数据集进行下采样，再将其插值放大到相应的倍数，将颜色空间转换到YCbCr空间，只取Y分量，再将图像切成41×41大小的小块作为网络输入。

步骤2：特征提取

特征提取层由一层卷积层和一层激励层组成，用于从低分辨率图像中提取特征，提取后的特征作为非线性映射的输入。通过卷积层提取特征不仅可提取到丰富的抽象特征，还可加强原始信号特征。公式为：

F₀＝f_ext(I^LR)

式中，F₀为特征提取层的输出，f_ext表示特征提取，I^LR为低分辨率图像。

步骤3：非线性映射

非线性映射阶段由多个反卷积稠密模块连接组成，为了防止信息在网络训练中的丢失和梯度消失的问题，将特征提取后的特征并行输入到多个反卷积稠密块，公式为：

B_n＝H(B_n-1)＝[G(B_n-1),F₀]

式中，G为反卷积稠密模块，H表示与F₀结合后的稠密模块，[G(B_n-1),F₀]表示对特征的拼接，B_n-1为反卷积稠密块的输入，B_n为反卷积稠密块的输出。

步骤4：图像重建

由于高分辨率图像与低分辨率图像之间具有相同的低频信息，为了减少网络的冗余，在重建部分引入全局残差，使网络只学习低分辨率图像与高分辨率图像之间的残差信息，重建过程是由一个卷积层和一个激励层组成，公式为：

I^HR＝f_rec(F₁)+I^LR

式中，f_rec表示重建，I^LR为低分辨率图像，I^HR为重建的高分辨率图像，F₁表示非线性映射的输出。

Claims (4)

1.一种基于反卷积稠密连接的图像超分辨率重构方法，其特征是，步骤如下：

(1)特征提取

特征提取层由一层卷积层和一层激励层组成，用于从低分辨率图像中提取特征，提取后的特征作为非线性映射的输入，公式为：

F₀＝f_ext(I^LR)

式中，F₀为特征提取层的输出，f_ext表示特征提取，I^LR为低分辨率图像；

(2)非线性映射

非线性映射阶段由多个反卷积稠密模块连接组成，为了防止信息在网络训练中的丢失和梯度消失的问题，将特征提取后的特征并行输入到多个反卷积稠密块，公式为：

B_n＝H(B_n-1)＝[G(B_n-1),F₀]

式中，G为反卷积稠密模块，H表示与F₀结合后的稠密模块，[G(B_n-1),F₀]表示对特征的拼接，B_n-1为反卷积稠密块的输入，B_n为反卷积稠密块的输出；

(3)重建

由于高分辨率图像与低分辨率图像之间具有相同的低频信息，为了减少网络的冗余，在重建部分引入全局残差，使网络只学习低分辨率图像与高分辨率图像之间的残差信息，重建过程是由一个卷积层和一个激励层组成，公式为：

I^HR＝f_rec(F₁)+I^LR

式中，f_rec表示重建，I^HR为重建的高分辨率图像，F₁表示非线性映射的输出。

2.如权利要求1所述的基于反卷积稠密连接的图像超分辨率重构方法，其特征是，卷积层的卷积过程为：使用n1个大小为h×w的卷积核对输入的n0个特征图进行卷积操作，输出n1个特征图，如下式所示：

F_out＝σ(W*F_in+b)

式中，W为卷积层的权重，b为偏置，F_out表示卷积层的输出也是下一卷积层的输入，*表示卷积操作，F_in为卷积层的输入，σ表示ReLU激励函数；

反卷积层将特征图进行上采样，具体使用反卷积层将经过卷积层缩小的特征图尺寸放大，用于复原图像特征的细节信息，并恢复图像高频细节，反卷积过程如式所示：

F_out ^d＝σ(W_d·F_in ^d+b_d)

式中，F_out ^d表示反卷积层的输出，W_d为反卷积层的权重，F_in ^d为反卷积层的输入，b_d为反卷积层的偏置；

反卷积稠密块由多个卷积层和反卷积层连接而成，用于提取高水平特征，F_(i,1)与F_(i,2)分别第i个稠密块中的第1个、第2个步长为2的卷积层，实现下采样过程；F_(i,1) ^d与F_(i,2) ^d为第i个稠密块中的的第1个、第2个反卷积层，实现上采样过程；F_(i,3)为第i个稠密块中的第3个卷积层，步长为1，用于实现特征的缩减，减少稠密块输出特征通道数，下采样、上采样和特征缩减依次执行。

3.如权利要求1所述的基于反卷积稠密连接的图像超分辨率重构方法，其特征是，除了采用迭代的上采样与下采样还引入了特征的拼接，将卷积层与反卷积的输出分别进行特征拼接，即F_(i,1)的特征与F_(i,2)的特征进行拼接，F_(i,1) ^d与F_(i,2) ^d的特征进行拼接。

4.如权利要求1所述的基于反卷积稠密连接的图像超分辨率重构方法，其特征是，更进一步地，在稠密块中，每个卷积核的大小为3×3，输出通道数为64，在经过特征拼接后，最后一层卷积层的输入通道数量变为64+64+64＝192个，通道数量的增加深层的卷积神经网络带来了较大的复杂度，为了减少特征通道数量增多带来的负担，在每个稠密块的最后用一层卷积层实现特征通道数维度的变换，输出64个通道的特征，反卷积稠密块表示为式：

B_n＝F_(i,3)＝G(B_n-1)

式中，B_n-1为第n-1个稠密块的输出，也为第n个稠密块的输入，B_n为第n个反卷积稠密块的输出。