CN109767386A - 一种基于深度学习的快速图像超分辨率重建方法 - Google Patents

Abstract

本发明涉及基于深度学习的快速图像超分辨率重建方法，属于图像处理领域。本发明选取图像训练集与测试集，用深度神经网络对低分辨率图像进行特征抽取、嵌套网络的特征精细化和子像素上采样操作，得到图像高分辨细节残差信息；将低分辨率图像进行转置卷积处理，获得图像的高分辨率空间低频特征信息；图像高分辨细节残差信息与高分辨率空间低频特征信息的结合，获得图像预估的高分辨率重建结果；图像预估的高分辨率重建结果与高分辨率图像块进行损失值度量；再对网络权值使用Adam算子进行更新，得到训练好的网络模型；在训练好的网络模型输入低分辨率图像得到高分辨率重建的图像。本发明加速图像超分辨率重建用时，同时保持良好的重建效果。

Description

一种基于深度学习的快速图像超分辨率重建方法

技术领域

本发明涉及一种基于深度学习的快速图像超分辨率重建方法，具体涉及深度学习中卷积网络参数调整，损失函数优化，以及对深度网络双分支结构训练过程的改进算法，属于图像处理技术领域。

背景技术

单张图像超分辨率重建技术(Single Image Super-Resolution,SISR)是指根据给定的单幅低分辨率图像，经过特定算法恢复图像由于下采样而丢失的细节信息，从而得到细节信息更丰富、画质更加细腻的高像素密度图像的过程。由于能在有限信息的情况下恢复出更精细的细节，该技术已被广泛应用于多种应用场景，如高清电视播放、视频监控和卫星成像等。由于一张高分辨率图像在不同条件下的下采样过程会获得丢失细节不一的低分辨率图像，故从低分辨率图像到高分辨率图像的重建过程为一个典型的病态逆问题，因此，对单幅图像进行超分辨率是一个富有挑战力的重建任务。

为有效解决图像超分辨率的问题，早期的SISR方法致力于使用一个简单的上采样滤波器来进行低分辨率图像的插值过程，常用的方法有三次样条插值和Lanczos上采样，这些方法能快速增加图像的分辨率密度，但重建效果并不理想，尤其在放大倍数较高时，锯齿现象较严重、细节失真普遍存在。同时，还包括了统计图像先验知识的重建方法，如使用图像块的非局部自相似结构、稀疏先验等，这一类方法的重建效果良好，但优化过程费时。

现阶段，基于学习的超分辨方法得到了越来越多的关注，尤其是基于深度学习的超分辨率方法，得益于现代计算机计算能力的大幅度提升，通过使用较大的数据集对深度模型进行长时间的训练，其在视觉定性评价与客观定量指标方面均有较大提升。2014年，Dong等人提出基于深度卷积网络的图像超分辨率模型SRCNN，其首次将卷积神经网络引入到图像超分辨率重建中，并获得了优于大部分传统方法的效果。SRCNN的主要思想是，输入经过样条插值放大的低分辨率图像LR，输出待估计的高分辨率图像SR。通过优化网络模型的参数，使SR图像与已知高分辨率图像HR之间的损失值最小化，来达到图像从LR空间映射到HR空间的目的。随后依据卷积神经网络来进行超分辨率的方法开始逐渐涌现。如Kim及其合作者在残差学习的启发下，提出使用超深网络VDSR来学习LR图像的丢失细节，并使用较高的学习率来缩减模型整体的收敛用时；2016年，其继续提出递归块结构(简称：DRCN)来进行SR重建，该结构能有效降低训练难度。在递归块的帮助下，能使网络模型将更多的时间专注于图像高频细节的学习；2017年，Tai等人则将递归块与残差学习块结合起来，提出深度递归残差网络(简称：DRRN)。该网络模型在DRCN的基础上作进一步的拓展，将特征抽取信息进一步精细化，使得学习到的特征更丰富，视觉主观评价效果更为突出。但以上方法在重建过程仍存在一些不足之处，如LR图像在输入网络结构前，使用三次样条插值方法增加整体像素值，利用网络模型纠正不恰当的插值像素值与精细化相对粗糙的纹理细节区域。这在一定程度上加大了训练用时，尤其在需求的放大倍数较高时，训练时间将以指数增长。需要注意的是，此时后续各层网络学习到的特征均在上采样LR图像上学习所得，故学习到的特征本身有相当误差的存在，而对插值像素估计不当造成的直接后果是训练难度的增加。

针对以上不足，后期的快速卷积神经网络图像超分辨率算法(简称FSRCNN)在低维度空间进行图像特征抽取与细节信息的重建，在网络末端使用转置卷积层进行图像空间的上采样；拉普拉斯金字塔结构的超分辨率算法(简称LapSRN)则递进地学习图像的高频细节，通过共用抽取所得特征以及后续的连续上采样，在仅输入单张LR图像时能同时输出多张不同放大倍数的细节图像；高效子像素插值超分辨率技术(简称ESPCN)与FSRCNN算法类似，只在网络末端进行各通道像素的混叠插值来得到最终的放大图像，能极大加快训练速度。上述方法略去了显式的三次样条插值操作，取而代之的是在网络末端使用各种上采样的方式，从而避免了重建图形出现模糊失真的问题。并且由于整体在低分辨率空间进行模型的训练，训练时间与测试时间得到较大的缩减。但随之出现的一个问题是，网络特征从前往后依次传递，尽管这能精细化地学习图像的高频细节，却也不可避免地造成LR图像低频信息的过度学习，即HR输出中存在的许多信息，尤其是低频信息本可直接由LR空间传递到HR空间，但由于网络结构设置合理性不足的原因，这部分信息经过二次映射后，又以同样的形式出现在高分辨率重建图像上，这在一定程度上造成了计算资源的浪费，导致网络整体用于学习高频细节的时间被压缩。

发明内容

本发明提供了一种基于深度学习的快速图像超分辨率重建方法，以用于加速图像超分辨率重建用时，同时保持良好的重建效果。

本发明的技术方案是：一种基于深度学习的快速图像超分辨率重建方法(DeepConvolutional Double Upscaling Branches for Single-image Super-resolution，简称DUSR)，包括如下步骤：

Step1、选取图像训练集与测试集，并处理得到低分辨率图像块、高分辨率图像块；所述步骤Step1中，选用包含200张png格式的高分辨图像BSD200数据集和91张bmp格式的图像集Train91作为模型训练集，选用Set5,Set14,BSD100,Urban100作为标准测试集；为解决内存空间负载过大的问题，当放大倍数为3时，将图像切割成48×48大小的低分辨率图像块(Low Resolution，LR)及对应的144×144大小的高分辨率图像块y_HR(High Resolution，HR)；

Step2、用深度神经网络对低分辨率图像进行特征抽取、嵌套网络的特征精细化和子像素上采样操作，得到图像高分辨细节残差信息；

所述步骤Step2的具体步骤：

Step2.1、将低分辨率图像作为输入值，通过包含5个卷积块的特征抽取网络进行特征抽取；

其中每个卷积块依次使用196，137，102，73，48个大小为3×3的滤波器；同时，为了降低训练难度，每一个卷积块的特征信息除依次传递给下一个卷积块外，还通过递归快捷连接的方式传递到特征抽取网络的末端；

特征抽取网络N₁包含5个卷积块，5个卷积块表述为：g₁(T_d-1)＝PReLU(aC_d-1,C_d-1)＝T_d，其中C_d-1＝W₁*C_d-2+b₁为d-1个卷积块的输出，d＝1,…,5为网络深度，C₀＝x为低分辨率输入图像；W₁表示特征抽取网络滤波器的参数值，b₁为其偏置Bias，符号“*”表示卷积过程Conv；a为带参数修正线性单元PReLU的初始值，由于卷积块之间前后传递，其相互关系为：其中为函数之间的组合，g^d代表d个函数的点积，该网络的末端包含一个三维合并操作，将前面各层卷积块合并成556维，得到抽取特征信息

Step2.2、嵌套网络N₂进行特征精细化：嵌套网络N₂使用两个并行子网络，其中一个网络通道使用大小为1×1的滤波器将图像特征由556维降低到64个维度，另一个通道也先采用同样的办法降低维度，随后再用3×3的滤波器将64个维度进一步降低到32个维度；在嵌套网络末端，重建细节再次做三维合并，此时得到的通量为图像帧的高分辨率细节T₂；

Step2.3、子像素上采样：该阶段先将重建的高分辨率细节进行特征融合，使特征通道数目符合图像帧的放大倍数，随后通过子像素插值混叠过程Subpixel进行像素之间的融合处理，即：其中特征通道由H×W×r²C变为rH×rW×C，r为图像帧的放大倍数；H表示图像的高度，W表示图像的宽度，C为图像的通道个数；

Step3、将低分辨率图像进行转置卷积处理，仅使用一个转置卷积层Transpose来获得图像的高分辨率空间低频特征信息；数学表达过程为：其中为转置卷积层内卷积核的权重参数，为偏置量，x为网络结构的输入低分辨率图像；

Step4、图像高分辨细节残差信息与高分辨率空间低频特征信息的结合，获得图像预估的高分辨率重建结果，即：

Step5、图像预估的高分辨率重建结果与高分辨率图像块y_HR进行损失值度量；其中，使用均方误差(Mean Square Error,MSE)来求两者之间的距离，损失值数学表达为：其中，N指示网络训练过程中一次迭代所输入的低分辨图像总数，表示第i张输入低分辨率图像在经过网络训练后得到的预估高分辨率重建结果，y_HR ⁽ⁱ⁾则为第i张输入低分辨率图像所对应的高分辨原图，Θ为Step2，Step3中所有参数的统称；

Step6、再对网络权值使用Adam算子进行更新，循环步骤Step2-Step5，迭代的停止条件是，网络训练次数达到规定的大小值或重建性能达到预期效果；迭代完成后，得到训练好的网络模型；

Step7、在训练好的网络模型输入低分辨率图像得到高分辨率重建的图像。

本发明在低分辨率空间的基础上对网络结果作了进一步的优化，具体表现为：使用递归形式将特征抽取网络抽取所得特征进行连接，这能将网络学习的重心向精细化细节学习的方向偏移，由于将更多的计算资源投入到特征的抽取，在获得同样特征抽取结果的情况下，本发明所需构建的网络层数要比常用方法要低，故在训练与测试时间方面更具竞争性；于此同时，为了进一步传递输入LR图像的低频细节，另辟一条分支学习图像从低分辨率空间到高分辨率空间的映射，这能进一步提高超分辨率重建的性能。

该方法使用分支一在低维空间进行图像高频细节的重建，该分支主要应用递归块将训练重心放在图像特征细节的抽取，并辅以嵌套网络来对抽取所得的特征进行逐步重建，最后应用子像素插值进行精细化特征的上采样。而另一个分支则用转置卷积层传递LR图像的低频信息，最后通过对两个分支的信息进行结合重建得到SR图像。

本发明的有益效果是：

1、特征提取过程使用了较浅的5层的网络结构，训练负担相比其他算法得到极大减轻；

2、重建过程使用了嵌套网络，该嵌套网络能学习到更复杂的非线性表示，使重建结果图像保持了良好的边缘信息，且能有效降低振铃现象的发生；

3、引入的递归快速连接，能进一步将训练重心放在图像高频信息的学习上；

4、由于模型所使用的卷积块较少，且在低分辨率空间中进行训练，单张图像的测试用时相对较短，经测试可发现，该模型能用于视频序列的实时重建；

5、根据训练图像集LR下采样方式的不同，能将该模型推广到更复杂的自然场景图像的超分辨率重建。

附图说明

图1为双分支上采样深度卷积神经网络模型框架图；

图2为多种算法下对图像“building”进行3倍放大的超分辨率重建的效果图，其主要验证本发明对边缘细节重建的有效性，从图2中可以看出，本发明的方法边缘边缘细节重建效果好；

对比各方法依次为(2a)原始图像；(2b)Bicubic插值图像；(2c)SelfExample算法；(2d)SRCNN算法；(2e)ESPCN算法；(2f)VDSR算法；(2g)DRRN算法；(2h)本发明的DUSR算法；

图3为多种算法下对图像“zebra”进行超分辨率重建的对比图，其主要验证本发明对纹理特征重建的有效性，其中放大因子为3，从图3中可以看出本发明方法纹理特征重建效果好。对比各方法依次为(3a)原始图像；(3b)Bicubic插值图像；(3c)SelfExample算法；(3d)SRCNN算法；(3e)ESPCN算法；(3f)VDSR算法；(3g)DRRN算法；(3h)本发明的DUSR算法；

图4为不同重建方法在Set5数据集下，在CPU平台上进行3倍放大时每张图片平均用时；

图5为本发明方法在“football_422_qcif”视频帧上进行重建的结果图；其中，小图为原始的视频帧，大图为重建后的效果图。

具体实施方式

实施例1：如图1-5所示，一种基于深度学习的快速图像超分辨率重建方法，包括如下步骤：

Step1、选取图像训练集与测试集，并处理得到低分辨率图像块、高分辨率图像块；所述步骤Step1中，选用包含200张png格式的高分辨图像BSD200数据集和91张bmp格式的图像集Train91作为模型训练集，选用Set5,Set14,BSD100,Urban100作为标准测试集；为解决内存空间负载过大的问题，当放大倍数为3时，将图像切割成48×48大小的低分辨率图像块(Low Resolution，LR)及对应的144×144大小的高分辨率图像块y_HR(High Resolution，HR)；

Step2、用深度神经网络对低分辨率图像进行特征抽取、嵌套网络的特征精细化和子像素上采样操作，得到图像高分辨细节残差信息；

所述步骤Step2的具体步骤：

Step2.1、将低分辨率图像作为输入值，通过包含5个卷积块的特征抽取网络进行特征抽取；

其中每个卷积块依次使用196，137，102，73，48个大小为3×3的滤波器；同时，为了降低训练难度，每一个卷积块的特征信息除依次传递给下一个卷积块外，还通过递归快捷连接的方式传递到特征抽取网络的末端；

特征抽取网络N₁包含5个卷积块，5个卷积块表述为：g₁(T_d-1)＝PReLU(aC_d-1,C_d-1)＝T_d，其中C_d-1＝W₁*C_d-2+b₁为d-1个卷积块的输出，d＝1,…,5为网络深度，C₀＝x为低分辨率输入图像；W₁表示特征抽取网络滤波器的参数值，b₁为其偏置Bias，符号“*”表示卷积过程Conv；a为带参数修正线性单元PReLU的初始值，由于卷积块之间前后传递，其相互关系为：其中为函数之间的组合，g^d代表d个函数的点积，该网络的末端包含一个三维合并操作，将前面各层卷积块合并成556维，得到抽取特征信息

Step2.2、嵌套网络N₂进行特征精细化：嵌套网络N₂使用两个并行子网络，其中一个网络通道使用大小为1×1的滤波器将图像特征由556维降低到64个维度，另一个通道也先采用同样的办法降低维度，随后再用3×3的滤波器将64个维度进一步降低到32个维度；在嵌套网络末端，重建细节再次做三维合并，此时得到的通量为图像帧的高分辨率细节T₂；

Step2.3、子像素上采样：该阶段先将重建的高分辨率细节进行特征融合，使特征通道数目符合图像帧的放大倍数，随后通过子像素插值混叠过程Subpixel进行像素之间的融合处理，即：其中特征通道由H×W×r²C变为rH×rW×C，r为图像帧的放大倍数；H表示图像的高度，W表示图像的宽度，C为图像的通道个数；

Step3、将低分辨率图像进行转置卷积处理，仅使用一个转置卷积层Transpose来获得图像的高分辨率空间低频特征信息；数学表达过程为：其中为转置卷积层内卷积核的权重参数，为偏置量，x为网络结构的输入低分辨率图像；

Step4、图像高分辨细节残差信息与高分辨率空间低频特征信息的结合，获得图像预估的高分辨率重建结果，即：

Step5、图像预估的高分辨率重建结果与高分辨率图像块y_HR进行损失值度量；其中，使用均方误差(Mean Square Error,MSE)来求两者之间的距离，损失值数学表达为：其中，N指示网络训练过程中一次迭代所输入的低分辨图像总数，表示第i张输入低分辨率图像在经过网络训练后得到的预估高分辨率重建结果，y_HR ⁽ⁱ⁾则为第i张输入低分辨率图像所对应的高分辨原图，Θ为Step2，Step3中所有参数的统称；

Step6、再对网络权值使用Adam算子进行更新，循环步骤Step2-Step5，迭代的停止条件是，网络训练次数达到规定的大小值或重建性能达到预期效果；迭代完成后，得到训练好的网络模型；

Step7、在训练好的网络模型输入低分辨率图像得到高分辨率重建的图像。

实施例2：如图1-5所示，一种基于深度学习的快速图像超分辨率重建方法，包括如下步骤：

Step1、根据模型训练方案选定训练集及测试集并对其进行处理：本发明沿用图像超分辨率重建常用的训练数据集，即BSD200及Train91，其中前者包含200张png格式的高分辨率自然场景图像，后者包含91张bmp格式的高分辨率花卉图像。

在训练数据准备阶段，考虑到图像集过小(共291张图)容易发生过拟合现象，将训练数据集进行数据增强，最终产生八倍于原图的数据集(共2328张图)；为解决内存空间负载过大的问题，当放大倍数为3时，将训练图像切割成48×48大小的低分辨率图像块及对应的144×144大小的高分辨率图像块。

在模型测试阶段，使用Set5,Set14,BSDS100和Urban100作为标准测试集。与训练过程使用图像块作为输入的操作不同，测试过程中以整张图像作为输入。

Step2、用深度神经网络对低分辨率图像进行特征抽取、嵌套网络的特征精细化和子像素上采样操作，得到图像高分辨细节残差信息；

进一步地，所述步骤Step2的具体步骤：

Step2.1、将低分辨率图像作为输入值，通过包含5个卷积块的特征抽取网络进行特征抽取；

其中每个卷积块依次使用196，137，102，73，48个大小为3×3的滤波器；同时，为了降低训练难度，每一个卷积块的特征信息除依次传递给下一个卷积块外，还通过递归快捷连接的方式传递到特征抽取网络的末端；

特征抽取网络N₁包含5个卷积块，5个卷积块表述为：g₁(T_d-1)＝PReLU(aC_d-1,C_d-1)＝T_d，其中C_d-1＝W₁*C_d-2+b₁为d-1个卷积块的输出，d＝1,…,5为网络深度，C₀＝x为低分辨率输入图像；W₁表示特征抽取网络滤波器的参数值，b₁为其偏置Bias，符号“*”表示卷积过程Conv；a为带参数修正线性单元PReLU的初始值，由于卷积块之间前后传递，其相互关系为：其中为函数之间的组合，g^d代表d个函数的点积，该网络的末端包含一个三维合并操作，将前面各层卷积块合并成556维，得到抽取特征信息

Step2.2、嵌套网络N₂进行特征精细化：嵌套网络N₂使用两个并行子网络，其中一个网络通道使用大小为1×1的滤波器将图像特征由556维降低到64个维度，另一个通道也先采用同样的办法降低维度，随后再用3×3的滤波器将64个维度进一步降低到32个维度；在嵌套网络末端，重建细节再次做三维合并，此时得到的通量为图像帧的高分辨率细节T₂；完整的数学表达过程为：

其中k为N₂的第k个通道，d_k为该通道使用的卷积块的层数；每个通道依次按照1×1、3×3及5×5的方式进行卷积核大小值的递增，按照64、32及16递减的通道个数来进行处理。如使用3个通道，依次使用64/1×1、32/3×3、16/5×5，共112个卷积核；

Step2.3、子像素上采样：该阶段先将重建的高分辨率细节进行特征融合，使特征通道数目符合图像帧的放大倍数，随后通过子像素插值混叠过程Subpixel进行像素之间的融合处理，即：其中特征通道由H×W×r²C变为rH×rW×C，r为图像帧的放大倍数；H表示图像的高度，W表示图像的宽度，C为图像的通道个数。

Step3、将低分辨率图像进行转置卷积处理，仅使用一个转置卷积层Transpose来获得图像的高分辨率空间低频特征信息；数学表达过程为：其中为转置卷积层内卷积核的权重参数，为偏置量，x为网络结构的输入低分辨率图像；

Step4、图像高分辨细节残差信息与高分辨率空间低频特征信息的结合，获得图像预估的高分辨率重建结果，即：

Step5、图像预估的高分辨率重建结果与高分辨率图像块y_HR进行损失值度量；其中，使用均方误差(Mean Square Error,MSE)来求两者之间的距离，损失值数学表达为：其中，N指示网络训练过程中一次迭代所输入的低分辨图像总数，表示第i张输入低分辨率图像在经过网络训练后得到的预估高分辨率重建结果，y_HR ⁽ⁱ⁾则为第i张输入低分辨率图像所对应的高分辨原图，Θ为Step2，Step3中所有参数的统称；

Step6、再对网络权值使用Adam算子进行更新，循环步骤Step2-Step5，迭代的停止条件是，网络训练次数达到规定的大小值或重建性能达到预期效果；迭代完成后，得到训练好的网络模型；

Step7、在训练好的网络模型输入低分辨率图像得到高分辨率重建的图像。

本发明的网络训练参数及训练目标说明如下：

Step2中包含的训练参数有：细节信息学习分支N1中5个卷积块，嵌套网络N2中各个子网络内卷积层以及子像素上采样内所包含的卷积核大小，卷积核个数，带参数修正线性单元的初始值；Step3中的卷积核权重，偏置量；Step6中adam算子所涉及的学习率，迭代过程的迭代次数等。

本发明的训练目标是Step6中所述的图像的SR重建效果达到预期效果，在模型完成训练时总体损失值已经收敛到一个较低值。

比较了不同算法下，从表1表2能看出：表1：在多个图像标准测试集下的性能要优于大部分前人的算法，尤其在Set5、Set14数据集上整体表现更佳；表2：本发明在视频帧重建的效果整体优于前人算法，在视频“Jockey”中性能的提升最为突出，提升幅度为0.13dB；

从图4“本发明”所在坐标轴位置可看出，本发明在相对较短的时间内获得了相对突出的性能提升；表1可以看出，相比于样条插值算法Bicubic,PSNR值提高了3.58Db；图5选用了一个自然场景视频用于进行视频帧的实时超分辨率，根据其中选出来的放大帧结果，如运动员身上的数字、条纹等，可发现本发明在实时性要求较高的视频重建依然无明显失真。

表1不同算法重建图像PSNR和SSIM比较

表2不同算法的视频重建PSNR值比较

上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (6)

1.一种基于深度学习的快速图像超分辨率重建方法，其特征在于：包括如下步骤：

Step1、选取图像训练集与测试集，并处理得到低分辨率图像块、高分辨率图像块；

Step2、用深度神经网络对低分辨率图像进行特征抽取、嵌套网络的特征精细化和子像素上采样操作，得到图像高分辨细节残差信息；

Step3、将低分辨率图像进行转置卷积处理，获得图像的高分辨率空间低频特征信息；

Step4、图像高分辨细节残差信息与高分辨率空间低频特征信息的结合，获得图像预估的高分辨率重建结果；

Step5、图像预估的高分辨率重建结果与高分辨率图像块进行损失值度量；

Step6、再对网络权值使用Adam算子进行更新，循环步骤Step2-Step5，得到训练好的网络模型；

Step7、在训练好的网络模型输入低分辨率图像得到高分辨率重建的图像。

2.根据权利要求1所述的基于深度学习的快速图像超分辨率重建方法，其特征在于：所述步骤Step1中，选用包含200张png格式的高分辨图像BSD200数据集和91张bmp格式的图像集Train91作为模型训练集，选用Set5，Set14，BSD100，Urban100作为标准测试集；为解决内存空间负载过大的问题，当放大倍数为3时，将图像切割成48×48大小的低分辨率图像块(Low Resolution，LR)及对应的144×144大小的高分辨率图像块y_HR(High Resolution，HR)。

3.根据权利要求1所述的基于深度学习的快速图像超分辨率重建方法，其特征在于：所述步骤Step2的具体步骤：

Step2.1、将低分辨率图像作为输入值，通过包含5个卷积块的特征抽取网络进行特征抽取；

其中每个卷积块依次使用196，137，102，73，48个大小为3×3的滤波器；同时，为了降低训练难度，每一个卷积块的特征信息除依次传递给下一个卷积块外，还通过递归快捷连接的方式传递到特征抽取网络的末端；

特征抽取网络N₁包含5个卷积块，5个卷积块表述为：

g₁(T_d-1)＝PReLU(aC_d-1，C_d-1)＝T_d，其中C_d-1＝W₁*C_d-2+b₁为d-1个卷积块的输出，d＝1，…，5为网络深度，C₀＝x为低分辨率输入图像；W₁表示特征抽取网络滤波器的参数值，b₁为其偏置Bias，符号“*”表示卷积过程Conv；a为带参数修正线性单元PReLU的初始值，由于卷积块之间前后传递，其相互关系为： 其中。为函数之间的组合，g^d代表d个函数的点积，该网络的末端包含一个三维合并操作，将前面各层卷积块合并成556维，得到抽取特征信息

Step2.2、嵌套网络N₂进行特征精细化：嵌套网络N₂使用两个并行子网络，其中一个网络通道使用大小为1×1的滤波器将图像特征由556维降低到64个维度，另一个通道也先采用同样的办法降低维度，随后再用3×3的滤波器将64个维度进一步降低到32个维度；在嵌套网络末端，重建细节再次做三维合并，此时得到的通量为图像帧的高分辨率细节T₂；

Step2.3、子像素上采样：该阶段先将重建的高分辨率细节进行特征融合，使特征通道数目符合图像帧的放大倍数，随后通过子像素插值混叠过程Subpixel进行像素之间的融合处理，即：其中特征通道由H×W×r²C变为rH×rW×C，r为图像帧的放大倍数；H表示图像的高度，W表示图像的宽度，C为图像的通道个数。

4.根据权利要求3所述的基于深度学习的快速图像超分辨率重建方法，其特征在于：所述步骤Step3、Step4包括：

将低分辨率图像进行转置卷积处理，仅使用一个转置卷积层Transpose来获得图像的高分辨率空间低频特征信息；数学表达过程为： 其中为转置卷积层内卷积核的权重参数，为偏置量，x为网络结构的输入低分辨率图像；

图像高分辨细节残差信息与高分辨率空间低频特征信息的结合，获得图像预估的高分辨率重建结果，即：

5.根据权利要求4所述的基于深度学习的快速图像超分辨率重建方法，其特征在于：所述步骤Step5的具体内容如下：

图像预估的高分辨率重建结果与高分辨率图像块y_HR进行损失值度量；其中，使用均方误差(Mean Square Error，MSE)来求两者之间的距离，损失值数学表达为：其中，N指示网络训练过程中一次迭代所输入的低分辨图像总数，表示第i张输入低分辨率图像在经过网络训练后得到的预估高分辨率重建结果，y_HR ⁽ⁱ⁾则为第i张输入低分辨率图像所对应的高分辨原图，Θ为Step2，Step3中所有参数的统称。

6.根据权利要求1所述的基于深度学习的快速图像超分辨率重建方法，其特征在于：所述步骤Step6的具体内容如下：

再对网络权值使用Adam算子进行更新，循环步骤Step2-Step5，迭代的停止条件是，网络训练次数达到规定的大小值或重建性能达到预期效果；迭代完成后，得到训练好的网络模型。