CN110197468A - 一种基于多尺度残差学习网络的单图像超分辨重建算法 - Google Patents

Abstract

本发明涉及一种基于多尺度残差学习网络的单图像超分辨重建算法。近年来，卷积神经网络在许多视觉任务中被广泛应用，特别是在单图像超分辨率重建领域取得了显著的成果。同样，多尺度特征提取也在该领域取得了一致性的性能提升。然而，目前现有方法多以分层的方式提取多尺度特征，这随着网络深度和宽度的增加，会大大提高计算的复杂度和内存的消耗。为了解决上述问题，我们提出了一种紧凑的多尺度残差学习网络，即在残差块内表示多尺度特性。该模型由特征提取块、多尺度信息块和重建块三部分构成。此外，由于该网络层数较少且使用了组卷积，该网络具有执行速度快的优点。实验结果表明，该方法在时间和性能方面优于现有方法。

Description

一种基于多尺度残差学习网络的单图像超分辨重建算法

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于多尺度残差学习网络的单图像超分辨重建算法。

背景技术

图像超分辨率重建，特别是单幅图像的重建越来越受到广泛的关注。超分辨率重建的主要任务是利用合理的先验条件从低分辨率图像中重建高分辨率图像。值得注意的是，这是一个不适定问题，因为高、低分辨率图像之间可能存在着不同的映射关系。因此，需要通过对大型图像数据集的学习来得到这些特定的映射关系。传统的基于外部示例的方法可以有效解决这个问题，即从外部数据集中学习紧凑字典或流形空间来表示这种映射关系，如最近邻算法、稀疏表达、流形嵌入和随机森林。但学习到的映射关系并不能和特定的图片输入相一致，所以生成的高分辨率图像可能并不是最优解。近年来，许多基于深度神经网络的计算机视觉任务得到了很好的解决，这其中就包括超分辨率重建任务。2014年，Dong等人首次提出了SRCNN模型，首次将卷积神经网络应用在超分辨率重建领域并证明深度卷积神经网络(CNNs)在超分辨率重建问题上可以提供显著的性能提升，通过学习低分辨率图像到高分辨率图像之间的一种端到端映射并达到了令人满意的效果。后来，许多基于深度卷积神经网络的方法都打算通过训练更深的网络来获得更好的重建性能。例如，Kim等人提出了包含20层的深度卷积神经网络的模型，称为VDSR，该模型由于使用更深的网络，从而可以使用较大的感受野，并通过残差学习和自适应梯度选择提高了收敛速度。后来，为了控制模型参数，作者设计了递归层，并构造了一个深度递归卷积网络DRCN。Tai等人提出了一种深度递归剩余网络DRRN，通过使用参数共享的策略来缓解模型对庞大参数的需求。虽然这些网络取得了显著的性能提升，但是仍旧存在着一些不足。为了获得更好的重建效果，网络的深度和宽度不断被提高，这大大提高了计算的复杂度和内存消耗。传统的卷积网络如VDSR和DRCN通常采用级联网络拓扑结构。每个网络层的特征被不加区分地传输到顺序层。然而，Hu等人的实验证明，自适应地重新校准通道方向的特征响应可以提高网络的表示能力。

发明内容

本发明的目的是设计一种基于多尺度残差学习网络的单图像超分辨重建算法。我们提出了一种紧凑的多尺度残差学习网络MFN，它具有轻量级的参数计算和内存消耗，其架构如图1所示。在提出的网络中，特征提取块(FBlock)先从低分辨率图像中提取特征。然后，将多个多尺度信息块(MFBlock)叠加起来，逐步提取图像的残差信息。最后，通过重建块(RBlock)得到高分辨率图像的残差信息，并结合上采样(Bicubic)的低分辨率图像得到重建后的高分辨率图像。MFN网络的核心是多尺度信息块，它由多尺度特征单元(Multi-scaleunit)和压缩单元(Compression unit)组成。其中，多尺度特征单元主要由两个卷积模块(MF-Conv)组成，每个卷积模块中的滤波器以分层构建残差链接的方式提取不同尺度的特征信息。其中，第一个卷积模块提取的特征信息被称为短径特征。由于图像的多尺度特性，我们需要深层网络的强大表达能力，所以将部分短径特征发送到另一个模块，从而获得长径特征。结合这两类特征，目的是为了获得更丰富、更有效的图像信息。最后，通过由卷积层(Conv)和挤压-激励模块(SE)组成的的压缩单元对多尺度特征中的冗余信息进行压缩从而增强通道特征的代表性。

附图说明

图1为本发明一种基于多尺度残差学习网络的单图像超分辨重建算法的结构示意图；

图2为本发明一种基于多尺度残差学习网络的单图像超分辨重建算法的多尺度特征单元结构图；

图3为本发明一种基于多尺度残差学习网络的单图像超分辨重建算法的MF-Conv结构图；

图4为本发明一种基于多尺度残差学习网络的单图像超分辨重建算法的压缩单元结构图；

图5为本发明一种基于多尺度残差学习网络的单图像超分辨重建算法的Set5数据集“蝴蝶”图像的残差图像及其数据分布；

图6为本发明一种基于多尺度残差学习网络的单图像超分辨重建算法的Set5数据集“蝴蝶”图像的平均特征图的可视化；

图7、图8、图9为本发明一种基于多尺度残差学习网络的单图像超分辨重建算法的视觉比较。

具体实施方式

下面结合附图阐述发明内容的具体实施方式，

一种基于多尺度残差学习网络的单图像超分辨重建算法，如图1所示，主要由三个部分组成：特征提取块(FBlock)、多尺度信息块(MFBlock)和重建块(RBlock)，Y和X分别表示MFN网络的输入和输出，

A.特征提取块(FBlock)

由两层3×3卷积组成的特征提取块从原始低分辨率图像Y中提取特征映射F₀，如公式(1)所示：

F₀＝f_et(Y) (1)

公式(1)中，f_et表示特征提取函数，F₀表示由两层卷积提取的特征通道并发送到第一个多尺度信息块，假设将n个多尺度信息块堆叠起来作为残差信息的映射过程，这个过程如公式(2)所示：

F_k＝D_k(F_k-1)，k＝1，...，n， (2)

公式(2)中，D_k表示第k个多尺度信息块函数映射，而F_k-1和F_k表示第k个多尺度信息块的输入和输出，最后，我们以一个没有激活函数的转置卷积作为重建块，因此，MFN网络可以表示为：

X＝R(D_k(F_k-1))+U(Y) (3)

公式(3)中，R表示重建块的函数映射，U表示对低分辨率图像的双立方插值运算，

B.多尺度信息块(MFBlock)

现在将详细介绍多尺度信息块的细节，其包含一个多尺度特征单元和一个压缩单元，多尺度特征单元用于模拟一个非线性函数，其作用类似于大脑中的递归突出，如图2所示，多尺度特征单元可以分成两部分：一部分是在残差块内以分层构建残差连接的方式组成MF-Conv模块；另一部分是以MF-Conv模块为基础并结合不同路径特征的残差构建块，

如图3所示，MF-Conv是一种简单有效的多尺度表达网络，与现有的多层多尺度提取不同，这是在单层网络上提高了多尺度表达能力。为了降低网络参数，我们在每个MF-Conv模块的第一层使用3×3的分组卷基层，特征维数为D的特征图先通过3×3的分组卷积，再将其平均分割成t个特征图子集，记为X_i，i∈{1，2，...，t}，其中每个X_i具有相同的空间大小，通道维数为D/t。除了第一个特征图子集X₁，每一个X_i都有一个对应的3×3卷积算子，记作M_i，其中，S表示通道维数上的分割操作，C表示通道维数上的拼接操作。Y_i是每个X_i经过卷积算子M_i的输出结果，并将Y_i进行切片操作，将其通道维数的1/b和X_i+1进行拼接操作并作为M_i+1的输入。经过M_i卷积运算的结果Y_i可以由公式(4)表示：

特征图子集X_i的输出结果Yi可以由公式(5)表示：

每个3×3卷积算子M_i都有可能从所有的特征图子集{X_j，j≤i}中提取特征信息。每当X_j经过一个3×3卷积算子时，都会得到一个比X_j更大的接受域。由于组合爆炸效应，该模块输出不同尺度大小且有利于提取局部和整体信息的接受域。为了能更好地融合输出特征，我们将所有的特征信息连接起来，并通过一个1×1的卷积算子完成信息的融合。

综上所述，MF-Conv以分层构建残差连接的方式增加输出信息中能够表示的尺度数量。随着输入特征转化为输出特征的任何可能路径的出现，等效接受域就会增大，从而得到更多的等效特征尺度。在本文中，我们使用t作为特征分割尺度的控制参数。较大的t往往具有较强的多尺度能力，而级联带来的计算时间和内存消耗可以忽略不计。

如图2所示，多尺度信息块第一阶段的输出结果被切分为两个部分。假设这个模块的输入是I_k-1，通道维数为D_I。如公式(6)所示：

公式(6)中，I_k-1是前一个模块的输出，同时也作为当前块的输入，C_m是MF-Conv链式卷积运算，为第k个多尺度信息块中上述模块的输出。和之前一样，S表示通道维数上的分割操作，C表示通道维数上的拼接操作。将分割成两部分，其D_I/d通道维数部分和I_k-1做拼接操作，如公式(7)所示：

其目的是为了将不同路径的特征有效地结合起来，D_I/d通道维数的可以看做是短径特征的保留。我们将剩余部分的短径特征作为下一模块的输入，这样就可以利用深度网络强大的表达能力获得对应的长径特征。如公式(8)所示：

公式(8)中，O^k是下面模块的输出也就是长径特征。最后，结合输入信息、保留的局部短径信息和本地长径信息。因此，多尺度特征单元可以表示为：

公式中(9)，O^k是多尺度特征单元的输出。最后，将本地长径信息和局部短径信息与未处理特征P^k组合一起发送给压缩单元做后续的处理。

为了更好地衡量特征通道之间的依赖关系，自适应地重新校准通道方向的特征响应。如图4(a)所示，我们利用1×1卷积层和挤压-激励模块(SE)组成压缩单元。具体来说，多尺度特征单元的输出O^k通过1×1卷积层的降维处理并发送给SE模块。SE模块的基本结构如图4(b)所示，SE模块通过显式地构建特征通道之间的依赖关系，并自适应地重新校准通道的特征相应。其目的在于，减小特征通道内的冗余信息，进一步增强特征通道的表达力，我们在压缩单元中添加SE模块，可以为后续的网络提取更加重要的特征信息。因此，压缩单元可以表示为：

公式(10)中，E_k表示SE模块，为1×1卷积层函数(表示激活函数、为权重参数)。

C.损失函数

我们打算使用两种计算误差的损失函数，分别测量预测的高分辨率图像与对应的真实高分辨率图像I之间的差值。第一中使用均方误差(MSE)，它是应用最广泛的图像恢复损失函数，定义如下：

然而，Lim等人通过实验证明，使用MSE作为损失函数来进行训练并不是一个很好的选择。他们将平方绝对误差(MAE)作为损失函数，其公式如下：

实验结果表明，使用MSE作为损失函数训练的网络模型能够有效地提高训练网络的性能。所以，我们首先使用MAE损失函数对网络进行训练，然后再用MSE损失函数对网络进行微调。

我们使用了291张图像作为训练数据，其中91张来自Yang，200张来自伯克利分割数据集。为了能更好地利用训练数据，参照先前的方法对训练数据进行增强，主要通过三种方法：

(1)分别将训练图像旋转90°，180°和270°。

(2)将训练图像水平翻转。

(3)将训练图像按比例进行缩小处理，比例分别为0.9、0.8、0.7和0.6。

该算法在四种广泛使用的测试集上进行评估，分别是Set5、Set14、BSD100、Urban100。其中，Set5、Set14和BSD100主要由自然场景的图像组成，而Urban100则主要包含与人们生活息息相关的城市场景图，其中包括不同频率的图像内容。原始高分辨率图像(HR)通过双立方插值进行缩小，生成训练和测试数据集使用的高低分辨率图像对(LR-HR)。由于人类对光源的变化更加敏感，所以，我们的算法只在亮度分量的通道上执行。因此，我们首先将图像转换为YCbCr通道，然后将测试算法应用于Y通道。

为了准备训练样本，我们首先对HR图像进行下采样，分别取m＝2，3，4通过双立方插值生成对应的LR图像。然后将LR训练图像分割成一组大小为P_sub×P_sub的图像贴片，其对应的HR训练图像被分为大小为mP_sub×mP_sub的图像贴片。

考虑到执行时间与重构性能之间的权衡，我们构造的MFN网络含有1个FBlock、6个MFBlock、1个RBlock。

MFN网络设计的任务是逐步去除原始输入图像中的平滑区域，从而学习得到残差图像。如图5(a)所示，其归一化像素值范围从-0.5到0.5。图5(b)中，残差图像中存在正负差值且分布大致相似。除此之外，像素值大多集中在零域附近，也就是说残差图像主要包含细节和纹理信息。为了进一步探讨多尺度特征单元和压缩单元的功能，我们对每一个多尺度特征单元和压缩单元的输出进行了可视化。首先，通过T操作将三维张量A转化成二维平面张量，其公式如下：

T：R^c×h×w→R^h×w (13)

在实验中发现，平均通道维数中的特征映射可以大体表示整个特征图的情况，所以将通道维数的均值作为显示特征，其公式如下：

其中A_i＝A(i，：，：)表示特征映射的通道维数。如图6(a)所示，从第一个子图到第三个子图，平滑区域的像素值在逐渐的降低。很容易看出，第一个子图中的像素值比较大，蝴蝶的轮廓并不是很明显。第二和第三子图显示，后期的增强单元降低了平滑区域的像素值，得到了相对清晰的轮廓特征。此外，最后一个子图的效果最好得到了完整的轮廓信息。所以，多尺度特征单元的功能主要是提取输入图像的轮廓区域。通过观察图6(b)，我们可以发现特征通道的像素值通过压缩单元映射到更小的范围内。对比图6(a)中的第二子图和图6(b)中的第三子图可以发现，多尺度特征单元在上一个压缩单元映射的范围内提取了更加丰富的轮廓细节。这表明，前三个堆叠块的处理过程是整体上降低像素值，而最后一个堆叠块则大大增强了轮廓与光滑区域的对比度。

RBlock是一个转置卷积层，它将最终DBlock的输出组合起来生成剩余图像。这种转置卷积的偏置项可以自动调整残差图像数据分布的中心值，使之接近地面真实值。

我们与其他SR方法进行了比较，例如SRCNN，VDSR，DRCN，LapSRN，DRRN和MemNet。表1显示了四个基准数据集的平均峰值信噪比(PSNR)和结构相似度(SSIM)值。该方法对大多数数据集的最新结果具有良好的抗噪性能。此外，我们还采用信息保真度(IFC)度量方法对所有方法进行了测量，该方法基于自然场景统计对图像质量进行了评估，与人类对图像超分辨率的感知有很好的相关性。

图7、图8和图9显示了视觉比较。从双三次插值的结果可以看出，由于高频信息的丢失，“barbara”图像在读取框中产生了严重的伪影。只有提出的方法粗略地恢复了几个堆叠书籍的轮廓，如图7所示。从图8中可以明显看出，该方法在没有严重伪影的情况下轮廓更加清晰，而其他方法存在不同程度的伪信息。在图9中，本方法对Urban100数据集图像“img085”上的构建结构相对清晰。

从表1可以看出，在Urban100数据集和3×、4×尺度因子下，我们提出的MFN的性能低于MemNet，而在其他基准数据集上，我们的MFN的性能略好一些。主要原因是MemNet采用插值后的LR图像作为输入，使得更多的信息被输入到网络中，而SR的过程只需要对插值后的图像进行校正。该算法以原始LR图像为输入需求，从零开始预测更多的像素，特别是在较大的图像和较大的放大系数下。

表1 规模为2×、3×和4×的平均PSNR/SSIMs(红色第一，蓝色第二)

在网络训练的过程中，我们初始化网络权重并将偏差设置为零。图像贴片尺寸和权值衰减参数分别设置为64和1e-4，并使用Adam方法对网络进行优化。为了获得更好的训练结果，我们将模型的迭代次数设置为105。在NVIDIA GeForce GTX 2080 GPU上训练一个×2模型的MFN网络，大约需要一天的时间。

表2显示了四个基准数据集的平均执行时间。值得注意的是，在Urban100数据集上，所提出的IDN比MemNet大约快500倍，其放大倍数为2×。

表2 用比例因子2×、3×和4×比较4个基准数据集的运行时间(sec)(红色第一，蓝色第二)

以上对本发明的一个实施例进行了详细说明，而非对本发明的限制，有关技术领域的技术人员在不脱离本发明的精神和范围的情况下，还可以做出各种变换和变化从而可以得到相对应的等同的技术方案，因此所有等同的技术方案均应归入本发明的专利保护范围。

Claims (2)

1.一种基于多尺度残差学习网络的单图像超分辨重建算法，其特征在于：主要由三个部分组成：特征提取块(FBlock)、多尺度信息块(MFBlock)和重建块(RBlock)，Y和X分别表示MFN网络的输入和输出，

特征提取块(FBlock)由两层3×3卷积组成的特征提取块从原始低分辨率图像Y中提取特征映射F₀，

F₀＝f_et(Y) (1)

公式(1)中，f_et表示特征提取函数，F₀表示由两层卷积提取的特征通道并发送到第一个多尺度信息块，假设将n个多尺度信息块堆叠起来作为残差信息的映射过程，

F_k＝D_k(F_k-1)，k＝1，...，n， (2)

公式(2)中，D_k表示第k个多尺度信息块函数映射，而F_k-1和F_k表示第k个多尺度信息块的输入和输出，最后，我们以一个没有激活函数的转置卷积作为重建块，因此，MFN网络可以表示为：

X＝R(D_k(F_k-1))+U(Y) (3)

公式(3)中，R表示重建块的函数映射，U表示对低分辨率图像的双立方插值运算，

现在将详细介绍多尺度信息块的细节，其包含一个多尺度特征单元和一个压缩单元，多尺度特征单元用于模拟一个非线性函数，其作用类似于大脑中的递归突出，多尺度特征单元可以分成两部分：一部分是在残差块内以分层构建残差连接的方式组成MF-Conv模块；另一部分是以MF-Conv模块为基础并结合不同路径特征的残差构建块，

MF-Conv是一种简单有效的多尺度表达网络，与现有的多层多尺度提取不同，这是在单层网络上提高了多尺度表达能力，为了降低网络参数，我们在每个MF-Conv模块的第一层使用3×3的分组卷基层，特征维数为D的特征图先通过3×3的分组卷积，再将其平均分割成t个特征图子集，记为X_i，i∈{1，2，...，t}，其中每个X_i具有相同的空间大小，通道维数为D/t。除了第一个特征图子集X₁，每一个X_i都有一个对应的3×3卷积算子，记作M_i，其中，S表示通道维数上的分割操作，C表示通道维数上的拼接操作，Y_i是每个X_i经过卷积算子M_i的输出结果，并将Y_i进行切片操作，将其通道维数的1/b和X_i+1进行拼接操作并作为M_i+1的输入，经过M_i卷积运算的结果Y_i可以由公式(4)表示：

特征图子集X_i的输出结果Yi可以由公式(5)表示：

每个3×3卷积算子M_i都有可能从所有的特征图子集{X_j，j≤i}中提取特征信息，每当X_j经过一个3×3卷积算子时，都会得到一个比X_j更大的接受域，由于组合爆炸效应，该模块输出不同尺度大小且有利于提取局部和整体信息的接受域，为了能更好地融合输出特征，我们将所有的特征信息连接起来，并通过一个1×1的卷积算子完成信息的融合，

综上所述，MF-Conv以分层构建残差连接的方式增加输出信息中能够表示的尺度数量，随着输入特征转化为输出特征的任何可能路径的出现，等效接受域就会增大，从而得到更多的等效特征尺度，在本文中，我们使用t作为特征分割尺度的控制参数，较大的t往往具有较强的多尺度能力，而级联带来的计算时间和内存消耗可以忽略不计，

多尺度信息块第一阶段的输出结果被切分为两个部分，假设这个模块的输入是I_k-1，通道维数为D_I，

公式(6)中，I_k-1是前一个模块的输出，同时也作为当前块的输入，C_m是MF-Conv链式卷积运算，为第k个多尺度信息块中上述模块的输出，和之前一样，S表示通道维数上的分割操作，C表示通道维数上的拼接操作，将分割成两部分，其D_I/d通道维数部分和I_k-1做拼接操作，

其目的是为了将不同路径的特征有效地结合起来，D_I/d通道维数的可以看做是短径特征的保留，我们将剩余部分的短径特征作为下一模块的输入，这样就可以利用深度网络强大的表达能力获得对应的长径特征，

公式(8)中，O^k是下面模块的输出也就是长径特征，最后，结合输入信息、保留的局部短径信息和本地长径信息，因此，多尺度特征单元可以表示为：

公式中(9)，O^k是多尺度特征单元的输出，最后，将本地长径信息和局部短径信息与未处理特征P^k组合一起发送给压缩单元做后续的处理，

为了更好地衡量特征通道之间的依赖关系，自适应地重新校准通道方向的特征响应，我们利用1×1卷积层和挤压-激励模块(SE)组成压缩单元，具体来说，多尺度特征单元的输出O^k通过1×1卷积层的降维处理并发送给SE模块，SE模块通过显式地构建特征通道之间的依赖关系，并自适应地重新校准通道的特征相应，其目的在于，减小特征通道内的冗余信息，进一步增强特征通道的表达力，我们在压缩单元中添加SE模块，可以为后续的网络提取更加重要的特征信息，因此，压缩单元可以表示为：

公式(10)中，E_k表示SE模块，为1×1卷积层函数(表示激活函数、为权重参数)。

我们打算使用两种计算误差的损失函数，分别测量预测的高分辨率图像与对应的真实高分辨率图像I之间的差值，第一中使用均方误差(MSE)，它是应用最广泛的图像恢复损失函数，

然而，Lim等人通过实验证明，使用MSE作为损失函数来进行训练并不是一个很好的选择，他们将平方绝对误差(MAE)作为损失函数，

实验结果表明，使用MSE作为损失函数训练的网络模型能够有效地提高训练网络的性能，所以，我们首先使用MAE损失函数对网络进行训练，然后再用MSE损失函数对网络进行微调。

2.根据权利要求1所述的一种基于多尺度残差学习网络的单图像超分辨重建算法，其特征在于利用多尺度特征单元提取更多图像信息的同时，通过压缩单元对提取特征中的冗余信息进行压缩从而获得更具代表性的特征，在具有轻量级的参数计算和内存消耗情况下，仍可以得到具有竞争力的结果。