CN109886871A - 基于通道注意力机制和多层特征融合的图像超分辨率方法 - Google Patents

Abstract

本发明涉及一种基于通道注意力机制和多层特征融合的图像超分辨率方法，在残差支路开头，使用基于深度学习的单层卷积层直接提取低分辨率图像的原始特征；使用六个级联的基于通道注意力机制和多层特征融合的卷积循环单元来提取精确的深度特征；通过反卷积层对深度特征进行上采样，并且使用单层卷积层对上采样的特征进行降维，得到高分辨率图像的残差；在映射支路，使用双三次插值方法对低分辨图像进行上采样，得到高分辨率图像的映射；将高分辨率图像的映射和残差逐像素相加得到最终的高分辨率图像。本发明设计合理，充分考虑了特征通道间的差异性，高效地利用了层次化的特征，在取得较高准确率的同时，保持了较快的运行速度。

Description

基于通道注意力机制和多层特征融合的图像超分辨率方法

技术领域

本发明属于计算机视觉图像技术领域，尤其是一种基于通道注意力机制和多层特征融合的图像超分辨率方法。

背景技术

随着科学技术的进步，在人们的日常生活中出现了越来越多的图像分辨率格式，从“标清”(Standard Definition)发展到“高清”(High Definition)，进而发展到目前常见的“1080p”、“2K”甚至“4K”等等。更高的分辨率意味着包括更多的图像细节，进而意味着可能存在更大的信息量，更大的信息量蕴含更大的应用潜能。然而，在现实世界中，一方面受成像设备物理性能的限制，人们无法获取高分辨率图像；另一方面，在互联网应用中，受网络带宽、存储介质容量等的限制，用户只能存储、传输分辨率相对较低的图像。而实际上，在多数情况下，人们往往希望获得更高分辨率的图像。因此，如何高效地提高图像分辨率，进而提高图像的质量，是计算机视觉领域的一个重要的研究课题。

图像超分辨率技术(Super-Resolution)是指从观测到的低分辨率图像重建出相应的高分辨率图像，是从软件的角度解决图像分辨率提升问题的重要技术手段。图像的超分辨率重建为使计算机能够更好地观察、分析、处理图片提供重要的技术支持，在高清晰度电视、医学影像、卫星成像、监控系统等很多领域都具有非常重要的应用价值。

传统提高图像分辨率的常用方法之一是插值法，包括双线性插值法、双三次插值法等。插值法容易实现，但是重建出的像素点和其周围的像素点之间存在区域相似性，使得利用插值法可以生成良好的平滑图像，但不能充分重建图像的边缘区域。一些图像细节可能会因此而丢失，比如变化较大、锐度较高的图像元素边缘部分可能会变模糊等等。另一种常用的传统方法是稀疏编码方法。稀疏编码方法假设任意的自然图片都能在转换区域被稀疏地表达，这个转换区域通常是一个图像元素的字典，通过发掘低分辨率图像和高分辨率图像之间的对应关系得到。然而，稀疏编码方法的缺点是将稀疏性限制引入非线性重建中时通常需要较大的计算代价。

卷积神经网络是一种专门用来处理具有类似网格结构的数据(例如图像即可以被视为二维的像素网格)的神经网络，已经在大量不同类型的计算机视觉处理任务(如图像分类、图像监测等)中取得成功。目前已经发展出很多基于卷积神经网络的实现图像超分辨率重建的解决方案，比如，基于极深卷积神经网络的超分辨率技术(VDSR)，基于深度递归卷积网络的超分辨率技术(DRCN)等等。但是，这些方法都没有考虑到特征通道之间的不同重要性，或者未能充分地利用层次化的特征，从而取得了较为受限的效果。

发明内容

本发明的目的在于克服现有技术的不足，提出一种设计合理且兼顾重建准确率和运行速度的基于通道注意力机制和多层特征融合的图像超分辨率方法。

本发明解决其技术问题是采取以下技术方案实现的：

一种基于通道注意力机制和多层特征融合的图像超分辨率方法，包括以下步骤：

步骤1、在残差支路开头，使用基于深度学习的单层卷积层直接提取低分辨率图像的原始特征；

步骤2、使用六个级联的基于通道注意力机制和多层特征融合的卷积循环单元来提取精确的深度特征；

步骤3、通过反卷积层对深度特征进行上采样，并且使用单层卷积层对上采样的特征进行降维，得到高分辨率图像的残差；

步骤4、在映射支路，使用双三次插值方法对低分辨图像进行上采样，得到高分辨率图像的映射；

步骤5、将高分辨率图像的映射和残差逐像素相加得到最终的高分辨率图像。

进一步，所述单层卷积层的尺寸为3×3×64。

进一步，所述步骤2的具体实现方法包括以下步骤：

(1)在卷积循环单元的开头，通过通道注意力机制来自适应地重新校准输入的特征U_k-1，得到校准后的起始特征R^O，其中，k＝1，...，6；

(2)通过前两个串联的卷积层来提取更深层特征，然后将其与起始特征R^O级联起来得到浅层特征R^C1；再将浅层特征R^C1通过后两个串联的卷积层，并将得到的特征与浅层特征R^C1级联起来，得到深层特征R^C2，该深层特征R^C2包括起始特征和浅层特征在内的多层特征；其中，前两个串联的卷积层尺寸为3×3×64，后两个卷积层的尺寸为3×3×128；

(3)通过深度学习的卷积层对深层特征R^C2进行降维得到尺寸为1×1×256的降维层，并将降维后的特征与低分辨率图像I_lr的原始特征U₀逐像素相加，得到第k个卷积循环单元的输出U_k。

进一步，所述步骤(1)的具体实现方法为：

①对循环卷积单元的输入特征U_k-1进行全局池化，提取其全局语义信息，然后经过卷积层、ReLU非线性变换、卷积层和Sigmoid非线性变换后得到通道校准系数向量β；

②使用通道校准系数向量β对输入特征U_k-1进行重新校准。

进一步，在步骤3中，反卷积层的尺寸为3×3×64：降维层的尺寸为3×3×1。

本发明的优点和积极效果是：

1、本发明在残差支路和映射支路分别采用如下方式处理：在残差支路使用深度卷积神经网络模型直接从低分辨率图像中提取原始特征，从而获得更准确的特征表示，利用通道注意力机制，自适应地重新校准每一个输入卷积循环单元的特征，提高了网络的表达能力，利用多层特征融合机制高效且充分地利用了层次化的特征，增强了特征的语义信息，同时也减小了因特征信息缺失而造成的重建模糊；在映射支路使用双三次线性上采样低分辨率图像得到其高分辨率映射图像，进一步迫使残差支路利用强大的卷积神经网络明确地学习图像残差，提高了重建图像的细节质量。

2、本发明设计合理，其利用循环卷积的特性，减少了网络的参数量，使用Laplace金字塔结构来提高图像分辨率，网络的输出是高分辨率的图像，使用低分辨率和高分辨率图像对计算超分辨率准确率，最后以平均绝对损失函数为目标来训练网络，在保证重建质量的同时，提高了运行速度，不仅提高图像超分辨率性能，也能够兼顾运行时间。

附图说明

图1是本发明的网络框架图；

图2是本发明的卷积循环单元的框架图；

图3是本发明的通道注意力机制的框架图；

图4是本发明与其他算法在Urban100数据集下4倍放大时的精度和速度对比图。

具体实施方式

以下结合附图对本发明实施例做进一步详述。

本实施例以2倍图像超分辨率为例进行说明。一种基于通道注意力机制和多层特征融合的图像超分辨率方法，如图1至图3所示，包括以下步骤：

步骤S1、在残差支路开头，通过基于深度学习的单层卷积层直接提取低分辨率图像I_lr的原始特征U₀。

在本步骤中，卷积层尺寸为3×3×64。

步骤S2、应用6个级联的基于通道注意力机制和多层特征融合的卷积循环单元来提取精确的深度特征。

步骤S2的具体实现方法如下：

步骤S2.1、在卷积循环单元的开头，通过通道注意力机制来自适应地重新校准输入的特征U_k-1，得到校准后的起始特征R^O，其中，k＝1，...，6。

步骤S2.1的具体实现方法如下：

步骤S2.1.1、对循环卷积单元的输入特征U_k-1进行全局池化，提取其全局语义信息，然后经过卷积层、ReLU非线性变换、卷积层和Sigmoid非线性变换后得到通道校准系数向量β。

步骤S2.1.2、使用通道校准系数向量β对输入特征U_k-1进行重新校准。

步骤S2.2、通过前两个串联的卷积层来提取更深层特征，然后将其与起始特征R^O级联起来得到浅层特征R^C1；再将浅层特征R^C1通过后两个串联的卷积层，并将得到的特征与浅层特征R^C1级联起来，得到深层特征R^C2。此时深层特征R^C2融合了包括起始特征和浅层特征在内的多层特征。其中，前两个串联的卷积层尺寸为3×3×64，后两个卷积层尺寸为3×3×128。

步骤S2.3、通过深度学习的卷积层对深层特征R^C2进行降维，并将降维后的特征与低分辨率图像I_lr的原始特征U₀逐像素相加，得到第k个卷积循环单元的输出U_k。其中降维层尺寸为1×1×256。

步骤S3、通过反卷积层对深度特征进行2倍上采样，并且使用单层卷积层对上采样的特征进行降维，得到高分辨率图像的残差。

步骤S3的具体实现方法如下：

步骤S3.1、通过反卷积层对深度特征进行2倍上采样。其中，反卷积层尺寸为3×3×64。

步骤S3.2、使用单层卷积层对上采样的特征进行降维，得到高分辨率图像的残差I_Rb。其中，降维层尺寸为3×3×1。

步骤S4、在映射支路，使用双三次插值方法对低分辨图像I_lr进行2倍上采样，得到高分辨率图像的映射I_Ib。

步骤S5、将高分辨率图像的映射I_Ib和残差I_Rb逐像素相加得到最终的高分辨率图像I_hr。

通过以上步骤即可得到高分辨率图像。

最后，我们以平均绝对损失函数为目标训练网络，使用PSNR(Peak Signal toNoise Ratio，峰值信噪比)、SSIM(structural similarity index，结构相似性)和运行时间评价网络性能。方法如下：

测试环境：Matlab 2015b；MatConvNet框架；Ubuntu16.04系统；NVIDIA GTX1080ti GPU

测试序列：所选数据集是用于图像超分辨率的图像数据集Set5、Set14和BSDS100。其中Set5数据集包含5张图像，Set14数据集包含14张图像,BSDS100数据集包含100张图像。

测试指标：本发明使用PSNR、SSIM和运行时间进行评测。对当今流行的不同算法计算这些指标数据然后进行结果对比，证明本发明在图像超分辨率领域得到较好的结果。

测试结果如下：

表1.本发明与其他算法在不同放大尺度和不同数据集下的性能比较(PSNR/SSIM)

通过以上对比数据和图4可以看出，在准确度方面，除了DRRN，本发明优于其他所有方法；然而在运行时间方面，本发明几乎比DRRN快了10倍。综合分析，本发明较好地平衡了图像超分辨率的精度与运行速度，在保持较高的准确度下，获得了较快的运行速度。

本发明未述及之处适用于现有技术。

需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (5)

1.一种基于通道注意力机制和多层特征融合的图像超分辨率方法，其特征在于包括以下步骤：

步骤1、在残差支路开头，使用基于深度学习的单层卷积层直接提取低分辨率图像的原始特征；

步骤2、使用六个级联的基于通道注意力机制和多层特征融合的卷积循环单元来提取精确的深度特征；

步骤3、通过反卷积层对深度特征进行上采样，并且使用单层卷积层对上采样的特征进行降维，得到高分辨率图像的残差；

步骤4、在映射支路，使用双三次插值方法对低分辨图像进行上采样，得到高分辨率图像的映射；

步骤5、将高分辨率图像的映射和残差逐像素相加得到最终的高分辨率图像。

2.根据权利要求1所述的基于通道注意力机制和多层特征融合的图像超分辨率方法，其特征在于：所述单层卷积层的尺寸为3×3×64。

3.根据权利要求1所述的基于通道注意力机制和多层特征融合的图像超分辨率方法，其特征在于：所述步骤2的具体实现方法包括以下步骤：

(1)在卷积循环单元的开头，通过通道注意力机制来自适应地重新校准输入的特征U_k-1，得到校准后的起始特征R^O，其中，k＝1，...，6；

(2)通过前两个串联的卷积层来提取更深层特征，然后将其与起始特征R^O级联起来得到浅层特征R^C1；再将浅层特征R^C1通过后两个串联的卷积层，并将得到的特征与浅层特征R^C1级联起来，得到深层特征R^C2，该深层特征R^C2包括起始特征和浅层特征在内的多层特征；其中，前两个串联的卷积层尺寸为3×3×64，后两个卷积层的尺寸为3×3×128；

(3)通过深度学习的卷积层对深层特征R^C2进行降维得到尺寸为1×1×256的降维层，并将降维后的特征与低分辨率图像I_lr的原始特征U₀逐像素相加，得到第k个卷积循环单元的输出U_k。

4.根据权利要求3所述的基于通道注意力机制和多层特征融合的图像超分辨率方法，其特征在于：所述步骤(1)的具体实现方法为：

①对循环卷积单元的输入特征U_k-1进行全局池化，提取其全局语义信息，然后经过卷积层、ReLU非线性变换、卷积层和Sigmoid非线性变换后得到通道校准系数向量β；

②使用通道校准系数向量β对输入特征U_k-1进行重新校准。

5.根据权利要求1所述的基于通道注意力机制和多层特征融合的图像超分辨率方法，其特征在于：在步骤3中，反卷积层的尺寸为3×3×64；降维层的尺寸为3×3×1。