CN108550115A - 一种图像超分辨率重建方法 - Google Patents

Abstract

本发明涉及一种图像超分辨率重建方法，属于图像处理技术领域，解决了现有技术生成图像边缘信息模糊、不能适用多种放大倍数以及重建效果差的问题。所述方法包括如下步骤：构造训练和学习的卷积神经网络，所述卷积神经网络从上到下依次包括LR特征提取层、非线性映射层、HR重建层；用该卷积神经网络对输入的成对的LR图像和HR图像进行训练，同时进行至少两个放大尺度的训练，求得卷积神经网络的最优参数集和相应放大尺度下的尺度调节因子；训练完成后，将目标LR图像和目标放大倍数输入所述卷积神经网络，可得到目标HR图像。本发明卷积神经网络训练速度快，训练完成后可以实时得到训练尺度中任意放大倍数的HR图像。

Description

一种图像超分辨率重建方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像超分辨率重建方法。

背景技术

图像超分辨率重建是一种从低分辨率(LR)图像直接恢复成高分辨率(HR)图像的方法，在很多实际应用中都需要用到，例如医学图像分析、计算机视觉、遥感等。目前，图像超分辨率重建方法主要分为三类：基于插值、基于重建、基于学习。

基于插值的图像超分辨率重建方法一般比较简单，容易实现，但生成图像很难重现纹理等细节信息，较为模糊。

基于重建的图像超分辨率重建方法以退化模型为基础，利用图像的先验知识进行重建，但需要复杂的图像配准和融合阶段，其准确性直接影响生成图像的质量。并且，生成图像可能过度平滑或缺乏一些重要的细节信息，在对生成图像进行放大时模糊效果更佳明显。

基于学习的图像超分辨率重建方法已经成为一个研究热点。现有主流方法包括稀疏编码(SC)方法、基于卷积神经网络的超分辨率重建 (SRCNN)方法。SC方法，通过训练高低分辨率字典，学习LR与HR 图像之间的映射关系，但需要用到大量的高低分辨率图像块去训练高低分辨率字典，耗时较多。SRCNN方法，直接学习一种LR与HR图像之间端到端的映射关系，在隐藏层中进行字典学习和空间模型建立，在卷积层中进行图像块的提取和放大，从而避免很多前/后期处理，取得了不错的效果，但参数较多、收敛速度太慢，而且网络的使用范围不够广泛，对于不同的放大倍数要进行不同的网络训练。

发明内容

鉴于上述的分析，本发明实施例旨在提供一种图像超分辨率重建方法，用以解决现有技术生成图像边缘信息模糊、不能适用多种放大倍数以及重建效果差的问题。

一方面，本发明实施例提供了一种图像超分辨率重建方法，包括如下步骤：

构造训练和学习的卷积神经网络，所述卷积神经网络从上到下依次包括LR特征提取层、非线性映射层、HR重建层；

用所述卷积神经网络对图像训练库中成对设置的训练LR图像和训练HR图像同时进行至少2个放大尺度的训练和学习，求得所述卷积神经网络的最优参数集和相应放大尺度下的尺度调节因子；所述最优参数集包括非线性映射层的权值；

共享所述非线性映射层的感受野与权值，将目标LR图像和目标放大倍数输入所述训练好的卷积神经网络，在所述HR重建层输出目标HR图像。

上述技术方案的有益效果如下：在LR特征提取层，对输入LR图像进行梯度特征提取，得到LR特征图；在非线性映射层，对LR特征图进行多次非线性映射，得到HR特征图；在HR重建层，将所述梯度特征提取层输出的HR特征图进行图像重建，得到HR重建图像。针对超分辨率重建问题的病态性，在训练阶段可嵌入边缘梯度等先验信息对损失函数的空间解进行约束，可利用边缘增强算子，突出图像中的局部边缘，HR 重建效果提高。采用多任务学习拓宽卷积神经网络，实现了对不同放大倍数下的卷积网络同时进行训练的效果。

基于上述方法的另一个实施例中，所述卷积神经网络还包括还包括损失函数层、逻辑判断模块；

所述损失函数层，用于在训练时将所述HR重建图像与所述图像训练库中对应的训练HR图像进行比较，输出HR重建损失函数；所述逻辑判断模块对所述HR重建损失函数进行收敛判断；

如果收敛，则输出所述HR重建图像；

如果不收敛，则将信息由下到上反向传播，更新参数，重新进行训练学习，直到收敛为止。

上述方案的有益效果是：通过收敛判断，将训练HR图像的局部边缘特征信息融入了训练过程，反馈到HR重建图像上。对HR重建损失函数进行收敛判断不仅能够监督训练过程，锐化边缘和纹理区域，而且在很大程度上提高了收敛速度，提高了实时性。

进一步，所述卷积神经网络还包括HR特征提取层和HR梯度先验提取层；

所述HR特征提取层，设置在所述HR重建层、损失函数层中间，用于提取HR重建图像的特征信息；所述HR梯度先验提取层，设置在损失函数层之前、与HR特征提取层并列，用于提取所述训练HR图像的梯度特征信息；

所述损失函数层接受所述HR特征提取层和所述HR梯度先验提取层输出的HR边缘特征图，输出所述HR重建损失函数。

上述进一步方案的有益效果是：增加了HR特征提取层和HR梯度先验提取层分别对HR重建图像和训练HR图像进行边缘特征提取，将训练HR图像的局部梯度特征反馈到HR重建图像上，从而增强HR图像边缘细节的重建效果，加速了损失函数的收敛速度，减少了训练时间。

进一步，用所述卷积神经网络对输入的训练LR图像进行任一放大尺度的训练和学习的步骤包括：

对输入的训练LR图像依次进行特征提取、非线性映射、HR重建，得到HR重建图像；

将所述HR重建图像与训练库中对应的训练HR图像进行比较，得到 HR重建误差；

将所述HR重建图像与训练库中对应的训练HR图像分别进行梯度特征提取，将特征提取的结果进行比较，得到融入先验信息的损失函数；

基于所述重建误差和融入先验信息的损失函数构建最终的HR重建损失函数，设置融入先验信息的损失函数为所述HR重建损失函数的正则项；

对所述HR重建损失函数进行收敛判断，直到收敛为止。

上述进一步方案的有益效果是：HR重建损失函数由HR重建误差和融入先验信息的损失函数(特征一致性测量误差)组成。通过将融入先验信息的损失函数作为正则项监督HR重建损失函数，可以提高收敛速度，增强HR重建图像的边缘重建效果。上述过程将梯度先验融入了训练过程，实际上是对训练数据的一种正则化手段，不仅能够监督训练过程，锐化边缘和纹理区域，而且在很大程度上提高了收敛速度，具有时效性。

进一步，所述HR重建层包括初重建卷积层和亚像素卷积层；

所述初重建卷积层用于改变所述非线性映射层输出的特征图的通道数；所述亚像素卷积层用于将所述初重建卷积层输出的特征图进行重新排列组合。

上述进一步方案的有益效果是：HR重建层将最终的HR特征图排列组合成HR输出图像。有效地替换了SRCNN方法前期预处理过程的Bicubic 插值放大滤波器，将原始LR图像直接作为卷积神经网络的输入，能够有效减少非线性映射和卷积过程的参数量，解决实时性差的问题。

进一步，所述收敛判断的方法为，用随机梯度下降法和反向传播法最小化HR重建损失函数，直到收敛为止。

上述进一步方案的有益效果是：采用随机梯度下降法对LR重建误差进行迭代，如果收敛，则输出LR重建图像，如果没有达到收敛，将信息流反向传播，更新参数，重新进行训练学习，直到收敛结束。所述收敛判断的方法将HR梯度先验作为指导，加速了损失函数收敛速度，增强了HR重建图像的边缘效果。而且，通过多任务学习，共享非线性映射参数，减少了计算量，利用多尺度下的图像局部信息的相关性，能够提高重建质量。

进一步，所述放大尺度为LR图像分辨率的2倍、3倍、4倍；

所述非线性映射层包括三个卷积层，用于将所述LR特征图通过三次卷积映射转换成HR特征图。

上述进一步方案的有益效果是：训练样本越多，理论上效果越好。实际应用中，一般放大尺度为LR图像分辨率的2倍、3倍、4倍。通过非线性映射层，将所述LR特征图通过三次卷积映射转换成HR特征图，即实现了特征增多。

进一步，所述HR梯度先验提取层采用采用Sobel边缘梯度算子获取训练库中HR图像在水平和垂直方向上的梯度信息。

上述进一步方案的有益效果是：将该先验信息作为指导，指导网络参数往损失函数下降最快的方向进行更新，即迭代最少次数地快速获取最优参数集。

进一步，所述HR重建损失函数在融入先验信息的损失函数前设置平衡系数，所述平衡系数表示为

式中，t_epoch表示所有训练数据完成一个前向传播和反向传播过程的周期，Num_epoch表示完成整个训练过程所需的周期数目；

通过调节平衡系数指导所述卷积神经网络的训练。

上述进一步方案的有益效果是：通过逻辑判断HR重建损失函数是否收敛，来判定卷积神经网络的参数是否达到最优。如果HR重建损失函数收敛，说明卷积神经网络的参数已经达到预期最优效果，那么整体训练过程结束。该方案为了减少训练时间，降低训练时长，加入HR图像梯度先验作为指导，使卷积神经网络在最短的时间内达到收敛。

进一步，得出某一放大尺度下尺度调节因子的步骤包括，基于相应放大尺度建立具有先验信息的多尺度卷积神经网络的HR重建损失函数，对具有先验信息的多尺度卷积神经网络的HR重建损失函数进行收敛判断；

如果收敛，得出相应放大尺度下的尺度调节因子；

如果不收敛，则将信息由下到上反向传播，更新参数，重新进行训练学习，直到收敛为止。

上述进一步方案的有益效果是：本发明采用多任务学习策略同时完成对多尺度下的网络训练，与分别单独训练这几种网络相比，参数量减少，训练速度得到有效提升，而且得到了所有训练放大尺度下的尺度调节因子，训练完成后卷积神经网络只需要输入目标LR图像和目标放大倍数(训练放大尺度中任一个放大倍数)就可以得到目标HR图像。

本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书、权利要求书以及附图中所特别指出的内容中来实现和获得。

附图说明

附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。

图1为本发明实施例1的图像超分辨率重建框架图；

图2为本发明实施例2的图像超分辨率重建框架图；

图3为本发明实施例3的图像超分辨率重建框架图；

图4为本发明实施例3的网络连接图；

图5为本发明实施例3权值共享示意图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。

实施例1

本发明的一个具体实施例，公开了一种图像超分辨率重建方法，包括如下步骤：

S1.构造训练和学习的卷积神经网络。

所述卷积神经网络从上到下依次包括LR特征提取层、非线性映射层、HR重建层。具体地，在LR特征提取层，对输入LR图像进行梯度特征提取，得到LR特征图；在非线性映射层，对LR特征图进行多次非线性映射，得到HR特征图；在HR重建层，将所述HR特征图进行图像重建，得到HR重建图像。

S 2.用所述卷积神经网络对输入的训练库中成对设置的训练LR图像和训练HR图像进行训练，同时进行至少两个放大任务的训练和学习，求得卷积神经网络的最优参数集，以及相应放大尺度下的尺度调节因子。

所述最优参数集包括特征提取层、非线性映射层、HR重建层的所有参数。

S 3.共享所述非线性映射层的感受野与权值，将目标LR图像和目标放大倍数输入所述训练好的卷积神经网络，得到目标HR图像。

训练时，由于自然图像在不同放大倍数下局部结构具有重复性，本发明采用共享策略构建多任务学习框架，借助多尺度结构冗余先验信息更好地学习LR与HR图像之间的映射关系，使训练过程更适用于相应放大倍数的卷积神经网络。HR重建层学习了一个升频滤波器阵列，将最终的HR特征图排列组合成HR重建图像，并输出。

训练完成后，本实施例将目标LR图像和目标放大倍数直接作为卷积神经网络的输入，有效减少了非线性映射和卷积过程的参数量，并解决了实时性差的问题。

与现有技术相比，本实施例提供的图像超分辨率重建方法具有如下优点：

1.可利用边缘和纹理等先验信息更好地约束重建问题的不确定性，消除了人工伪迹和重影，重现效果更显著。

2.图像局部结构的重复性先验信息(例如，2、3、4倍分辨率的先验信息)能够在不同放大倍数的训练网络中共享，有效地减少整体网络架构的参数量，缩短训练耗时。对应多任务学习的过程，不同放大倍数下的图像信息具有相关性和重复性，例如，3倍分辨率重建时，图像的某局部区域不清晰，就可以采用2倍分辨率图像的相同区域的边缘信息进行补充。

3.HR重建层将得到的小尺寸HR特征图重新排列组合，取代了 SRCNN方法图像预处理阶段的Bicubic插值放大，将该层放在重建的末端，大幅度地降低了计算复杂度。

实施例2

基于上述方法的另一个实施例中，所述卷积神经网络还包括HR特征提取层、损失函数层、逻辑判断模块、HR梯度先验提取层。其中，HR 特征提取层、损失函数层、逻辑判断模块依次设置在HR重建层之后，HR 梯度先验提取层设置在损失函数层之前，与HR特征提取层并列设置。

HR特征提取层，对HR重建层输出的HR重建图像进行梯度特征提取，得到HR梯度特征图。

HR梯度先验提取层，对训练库中的训练HR图像(与HR重建图像分辨率相同，只用于训练过程)进行梯度先验信息提取，得到HR梯度先验图。所述HR梯度先验图中包含训练HR图像的边缘和纹理结构信息。

损失函数层，接受所述HR特征提取层输出的HR梯度特征信息和所述HR梯度先验提取层输出的HR梯度先验信息，进行运算后输出HR重建损失函数。

逻辑判断模块对所述HR重建损失函数进行收敛判断：

如果收敛，则将HR重建图像输出；

如果不收敛，则将信息由下到上反向传播，更新参数，重新进行训练学习，直到收敛为止。

通过逻辑判断模块的收敛判断，不断将HR梯度先验信息传递到了HR重建阶段，可以增强HR重建效果，并进一步加速损失函数的收敛速度(对应下面公式(7))。

优选地，HR梯度先验提取层采用Sobel边缘梯度算子获取训练库中训练HR图像在水平和垂直方向上的梯度信息，得到HR梯度先验图(先验信息)。在训练过程中将该先验信息与重建HR图像的高频信息进行误差运算，监督图像边缘梯度的重建，实现了将先验信息融入训练过程，用于优化训练参数，以更好地学习LR图像和HR图像之间的映射关系。

优选地，HR重建层包括初重建卷积层和亚像素卷积层，初重建卷积层用于改变非线性映射层输出特征图的通道数，亚像素卷积层对初重建卷积层输出的特征图进行重新排列，即尺寸的放大。HR重建层将非线性映射层输出的HR特征图排列组合成最终的HR重建图像。并且，亚像素卷积层有效地替代了SRCNN方法前期预处理过程的Bicubic插值放大滤波器，将原始LR图像直接作为网络的输入，有效减少了非线性映射和卷积过程的参数量，解决了实时性差的问题。

优选地，用所述卷积神经网络对输入的训练LR图像进行任一放大尺度训练和学习的步骤包括：

1.输入训练库中成对设置的训练LR图像和训练HR图像，至少进行两个放大任务的训练和学习，例如分辨率放大2倍、3倍；对输入的训练LR图像进行特征提取、非线性映射、HR重建之后，得到HR重建图像。

2.将上述HR重建图像与训练库中相同分辨率的HR图像进行比较，得到HR重建误差。

3.将所述HR重建图像与训练库中对应的训练HR图像(分辨率相同)分别进行梯度特征提取，将特征提取的结果进行比较，得到融入先验信息的损失函数。

4.基于所述重建误差和融入先验信息的损失函数构建最终的HR重建损失函数，设置融入先验信息的损失函数为所述HR重建损失函数的正则项；

5.对所述HR重建损失函数进行收敛判断，即最小化所述HR重建损失函数，直到收敛为止，得到特征提取、非线性映射、HR重建过程的初始最优参数。

优选地，得出某一放大尺度下尺度调节因子的步骤包括：

1.基于相应放大尺度建立具有先验信息的多尺度卷积神经网络的损失函数；

2.对具有先验信息的卷积神经网络的损失函数进行收敛判断；如果收敛，得出相应放大尺度下的尺度调节因子；如果不收敛，则将信息由下到上反向传播，更新参数，重新进行训练学习，直到收敛为止。

本实施例直接采用LR图像Y作为训练和学习的卷积神经网络的输入，特征提取、非线性映射、HR重建，可简单表示为：

式中，W₁,W₂,W₃分别表示每层滤波权重，B₁,B₂,B₃分别表示每层偏置向量， *表示卷积，F_i(Y)表示每层输出结果，表示非线性激活函数。优选地，本实施例选用修正线性单元(Relu)。

公式(1)中的参数可表示为：

Θ＝{W₁,W₂,W₃,B₁,B₂,B₃} (2)

上述整个学习网络框架最关键的点在于对参数的训练和优化。假设训练图像集中有n个LR图像，则HR重建误差表示：

式中，X_i是训练库中LR图像Y_i对应的HR图像。

融入先验信息的损失函数也可称为特征一致性测量函数，可以表示为：

式中，F₃(Y)表示亚像素卷积层的输出结果，f_pr(F₃(Y_i),Θ)表示HR重建图像的梯度特征信息，f_pr(X_i)表示提取的梯度先验信息，X_i是训练库中LR 图像Y_i对应的HR图像。

建立HR重建损失函数，将HR重建损失函数设置为由HR重建误差和特征一致性测量误差共同组成，即：

Loss＝Loss_r+αLoss_pr (5)

式中，α表示重建HR误差与特征一致性测量函数之间的平衡系数。

训练过程中，采用归零训练法，即平衡系数α会随训练进程逐渐减小。通常，当特征一致性测量误差低于一定的阈值γ时，α就会消失，则公式 (5)的第二个损失项失效，不再影响图像的梯度更新过程。本实施例根据训练周期进行α的衰减：

式中，t_epoch表示所有训练数据完成一个前向传播和反向传播过程的周期 (代表所需时间)，Num_epoch表示完成整个训练过程所需的周期数目。

优选地，采用采用随机梯度下降法和反向传播法进行损失函数层(公式(5))的收敛运算，若已收敛，则输出HR重建图像，若没有达到收敛，将信息流反向传播，更新参数，再次进行训练学习直至收敛结束。

上述参数更新的具体形式为

式中，λ表示动量参数，η表示学习率，Δ_i表示损失函数的梯度向量。本实施例取λ＝0.9，η＝10^-4。

实施例3

如图3所示，基于上述方法的另一个实施例中，分别对×2倍、×3倍、×4倍放大尺度下的卷积神经网络共享非线性映射层，通过共享非线性映射层的权值和感受野，同一组滤波器可被用于各条路径，并且通过多尺度下的信息传递，可以互相提供正则化指导，大大简化卷积神经网络的复杂度，减少参数量。

优选地，非线性映射层包括三个卷积层，示例性地，将上述三个卷积层分别标记为卷积层21、22、23。其他层也依次进行标记，此处不一一赘述。

在LR特征提取层(卷积层11、12、13)，输出表示为：

式中，Y表示输入的低分辨率图像，F_1i(Y)表示卷积层11、12、13(分别对应放大倍数为2、3、4)的输出，表示激活函数，W₁可以等效为 c×f₁×f₁×n₁大小的特征提取层滤波器权重，c表示通道数(本实施例中， c＝1)，f₁×f₁是每个卷积核的二维尺寸大小(本实施例中为9×9)，n₁表示滤波器的个数(本实施例中，值为64)，B_1i表示放卷积层11、12、13 的偏置系数，初始值都为0。

在非线性映射层，三个卷积层21、22、23的输出分别表示为

式中，F₁(Y)表示LR特征提取层的输出(对应公式(8))，F₂₁(Y)、F₂₂(Y)、 F₂₃(Y)分别表示卷积层21、22、23的输出，W₂₁、W₂₂、W₂₃分别等效为以 n₁×f₂₁×f₂₁×n₂₁、n₂₁×f₂₂×f₂₂×n₂₂、n₂₂×f₂₃×f₂₃×n₂₃为大小的卷积层21、22、 23的滤波器权重，n₂₁、n₂₂、n₂₃表示卷积层21、22、23的滤波器个数，分别取值为16、16、64。f₂₁×f₂₁、f₂₂×f₂₂、f₂₃×f₂₃分别表示卷积层21、22、23的卷积核二维尺寸大小，取值分别为1×1、3×3、1×1。B₂₁、B₂₂、 B₂₃表示卷积层21、22、23的偏置系数，初始值都为0。

在重建层，初重建卷积层(卷积层31、32、33)输出结果：

F_3i(Y)＝W₃₁*F₂₃(Y)+B_3i,(i＝1,2,3) (10)

各个亚像素卷积层输出结果：

Y_(i)SR＝R(F₃₁(Y)) (11)

式中，R表示亚像素卷积层的排列操作，F₃₁(Y)、F₃₂(Y)、F₃₃(Y)分别表示放大倍数为2、3、4时的卷积层31、32、33的输出，Y_(i)SR表示放大倍数为2、3、4时亚像素卷积层的输出，即HR重建图像，W₃₁、W₃₂、W₃₃分别等效为以r₁ ²×f₃×f₃×n₃、r₂ ²×f₃×f₃×n₃、r₃ ²×f₃×f₃×n₃为大小的卷积层31、 32、33的滤波器权重，r₁、r₂、r₃分别表示放大倍数，即取值为2、3、 4，f₃×f₃和分别表示卷积层31、32、33的卷积核二维尺寸大小，取值为5×5， n₃表示卷积层31、32、33滤波器的数量，取值为64。B₃₁、B₃₂、B₃₃表示卷积层31、32、33的偏置系数，初始值都为0。

因为图像的空间联系即局部的像素联系较为紧密，而距离较远的像素相关性则较弱。因而，每个神经元其实没有必要对全局图像进行感知，只需要对局部进行感知，然后在更高层将局部的信息综合起来就得到了全局的信息，如图4所示，左图为全连接，右图为局部连接。假如输入一幅1000×1000的图像，那么输入层(图中未标出输入层、隐藏层，本领域技术人员可以理解)的神经元数目就是像素点数目，为1000×1000个，若采用左图全连接，参数量为10¹²个，如果让隐藏层的1000×1000个神经元只和输入层10×10个神经元相连接，而不是和1000×1000个神经元相连接，则参数量为1000000×10×10个，是原来的万分之一，很大程度上减少参数量，这种局部连接就称作感受野。

在上述过程中，每个神经元都对应100个参数，如果隐藏层的每个神经元跟输入层不同区域的10×10个神经元的连接都是相同的，也就是说这1000000个神经元的100个参数都是相等的，那么参数数目就变成100 个。这100个参数(也就是卷积操作)可看做是特征提取的方式，该方式与位置无关，即同样的学习特征可用于图像的所有位置。这就称作权值共享。

为方便进一步理解，如图5所示，展示了一个3×3的卷积核在5×5的图像上做卷积的过程。每个卷积都是一种特征提取方式，就像一个筛子，将图像中符合条件(激活值越大，越符合条件)的部分筛选出来。

具有先验信息的多尺度卷积神经网络的损失函数可表示为：

式中，i_scale表示确定放大尺度(2倍、3倍、4倍)下的指数因子，β_iscale表示尺度调节因子，表示重建误差(对应公式(3))，表示融入先验信息的损失函数(对应公式(4))。

共享层的反向传播梯度为：

采用随机梯度下降和反向传播法对具有先验信息的多尺度卷积神经网络的损失函数进行收敛运算，如果收敛，则输出HR重建图像，如果不收敛，则将信息流反向传播，再次进行训练，直到收敛结束。

本实施例采用多任务学习策略同时完成对×2倍、×3倍、×4倍尺度下的网络训练，与分别单独训练这三种网络相比，参数量减少，训练速度得到有效提升。

训练完成后，本实施例卷积神经网络以原始LR图像直接作为输入，通过初重建卷积层以后，得到的特征图像大小与输入图像一样，但是特征通道为r²个(r是图像的目标放大倍数)。亚像素卷积层将每个像素的r²个通道重新排列成一个r×r的区域，对应于HR重建图像中的一个r×r大小的子块，从而大小为r²×H×W的HR特征图被重新排列成1×rH×rW大小的高分辨率图像。将此过程放在了重建过程的末端，从而减少了计算量，并提高了时效性，并且重建质量显著。

输入目标LR图像，能够得到2倍、3倍、4倍的目标HR图像。因为不同倍数的学习任务之间具有相关性，所以利用多任务学习之间的相关性防止损失函数过拟合，从而提高损失函数的收敛速度，提高重建效果。

本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种图像超分辨率重建方法，其特征在于，包括如下步骤：

构造训练和学习的卷积神经网络，所述卷积神经网络从上到下依次包括LR特征提取层、非线性映射层、HR重建层；

用所述卷积神经网络对图像训练库中成对设置的训练LR图像和训练HR图像同时进行至少2个放大尺度的训练和学习，求得所述卷积神经网络的最优参数集和相应放大尺度下的尺度调节因子；所述最优参数集包括非线性映射层的权值；

共享所述非线性映射层的感受野与权值，将目标LR图像和目标放大倍数输入所述训练好的卷积神经网络，在所述HR重建层输出目标HR图像。

2.根据权利要求1所述的图像超分辨率重建方法，其特征在于，所述卷积神经网络还包括损失函数层、逻辑判断模块；

所述损失函数层，用于在训练时将所述HR重建图像与所述图像训练库中对应的训练HR图像进行比较，输出HR重建损失函数；

所述逻辑判断模块对所述HR重建损失函数进行收敛判断；

如果收敛，则输出所述HR重建图像；

如果不收敛，则将信息由下到上反向传播，更新参数，重新进行训练学习，直到收敛为止。

3.根据权利要求2所述的图像超分辨率重建方法，其特征在于，所述卷积神经网络还包括HR特征提取层和HR梯度先验提取层；

所述HR特征提取层，设置在所述HR重建层、损失函数层中间，用于提取HR重建图像的特征信息；

所述HR梯度先验提取层，设置在损失函数层之前、与HR特征提取层并列，用于提取所述训练HR图像的梯度特征信息；

所述损失函数层接受所述HR特征提取层和所述HR梯度先验提取层输出的HR边缘特征图，输出所述HR重建损失函数。

4.根据权利要求3所述的图像超分辨率重建方法，其特征在于，用所述卷积神经网络对输入的训练LR图像进行任一放大尺度的训练和学习的步骤包括：

对输入的训练LR图像依次进行特征提取、非线性映射、HR重建，得到HR重建图像；

将所述HR重建图像与训练库中相应的训练HR图像进行比较，得到HR重建误差；

将所述HR重建图像与训练库中对应的训练HR图像分别进行梯度特征提取，将特征提取的结果进行比较，得到融入先验信息的损失函数；

基于所述HR重建误差和融入先验信息的损失函数构建HR重建损失函数，设置融入先验信息的损失函数为所述HR重建损失函数的正则项；

对所述HR重建损失函数进行收敛判断，直到收敛为止。

5.根据权利要求1-4之一所述的图像超分辨率重建方法，其特征在于，所述HR重建层包括初重建卷积层和亚像素卷积层；

所述初重建卷积层用于改变所述非线性映射层输出特征图的通道数；所述亚像素卷积层用于将所述初重建卷积层输出的特征图进行重新排列组合。

6.根据权利要求2-4之一所述的图像超分辨率重建方法，其特征在于，所述收敛判断的方法为，采用随机梯度下降法和反向传播法最小化HR重建损失函数，直到收敛为止。

7.根据权利要求1-4之一所述的图像超分辨率重建方法，其特征在于，所述放大尺度为LR图像分辨率的2倍、3倍、4倍；

所述非线性映射层包括三个卷积层，用于将所述LR特征图通过三次卷积映射转换成HR特征图。

8.根据权利要求3所述的图像超分辨率重建方法，其特征在于，所述HR梯度先验提取层采用Sobel边缘梯度算子获取训练库中HR图像在水平和垂直方向上的梯度信息。

9.根据权利要求4所述的图像超分辨率重建方法，其特征在于，所述HR重建损失函数在融入先验信息的损失函数前设置平衡系数，所述平衡系数表示为

式中，t_epoch表示所有训练数据完成一个前向传播和反向传播过程的周期，Num_epoch表示完成整个训练过程所需的周期数目；

通过调节平衡系数大小指导所述卷积神经网络的训练。

10.根据权利要求1-4、8-9之一所述的图像超分辨率重建方法，其特征在于，得出某一放大尺度下的尺度调节因子的步骤包括，基于相应放大尺度建立具有先验信息的多尺度卷积神经网络的HR重建损失函数，对具有先验信息的多尺度卷积神经网络的HR重建损失函数进行收敛判断，

如果收敛，得出相应放大尺度下的尺度调节因子；

如果不收敛，则将信息由下到上反向传播，更新参数，重新进行训练学习，直到收敛为止。