CN111696042B - 基于样本学习的图像超分辨重建方法 - Google Patents

Abstract

本发明提供基于样本学习的图像超分辨重建方法包括基于稀疏表示的阶段、基于残差学习的阶段、重建性能验证、数据挖掘四个方面。基于稀疏表示的阶段，通过图像训练数据库训练稀疏表示模型，得到高低分辨率字典及其高低分辨率图像之间的非线性映射关系；基于残差学习的阶段，确定好残差学习网络模型、损失函数、训练方法，通过图像数据库完成训练与验证阶段，得到基于残差学习的网络模型；重建性能验证，利用代表性方法得到若干高分辨图像。本发明引入了大量的先验知识，克服了前面两种方法的局限性，实现了图像的超分辨率重建，并且在效果上远优于前面两种方法，因而本发明将这种方法应用于图像超分辨重建中。

Description

基于样本学习的图像超分辨重建方法

技术领域

本发明属于计算机视觉技术领域，尤其涉及基于稀疏表示、残差学习、数据挖掘的图像超分辨重建方法。

背景技术

在监控、收集及卫星图像等图像应用中，由于硬件设备和成本的限制，很难通过改善硬件的方式提升图像的分辨率，并且，硬件设备的可替换性较差，成像设备部署完成后，分辨率改变较为困难。除了通过硬件设备提高图像的分辨率外，另一种方法是利用信号处理方法对成像设备获取的图像进行处理，以提升图像分辨率，改善图像质量。这种以信号处理为基础，通过图像增强技术提升图像分辨率的方法被称为图像超分辨率重建。

5G时代是一个大数据的时代，图片、视频会成为人们传递信息的主要载体，在发送端使用低分辨的图片/视频，在接收端通过超分辨率的方法恢复出高分辨的图片/视频，会占用较少的信道资源。传统的图像超分辨研究方法有：基于插值的超分辨率方法、基于退化模型求解的超分辨率方法。但是，基于插值的方法，在插值过程中会丢失很多高频细节，智能处理对重建质量要求低的简单场景图像。基于重构的方法，重建优化过程需要反复迭代计算，重建时间长，并且只能处理特定的图像，无法满足多数实际应用的要求。

发明内容

本发明的目的是使所提方法的主客观指标均优于现有重建方法，显著提升重建图像的质量和效率，达到实时处理图像的要求，能用于公共安全、航空航天、医疗和国防等领域中。从基于稀疏表示、基于残差学习、数据挖掘展开研究。研究稀疏表示在超分辨率重建中的应用，进一步探索在稀疏表示特征空间中低分辨率图像与高分辨图像之间的映射关系。研究基于残差学习的超分辨率方法，将主要对残差学习中的网络结构、损失函数、训练策略进行改进，有效解决模型训练精度饱和及退化问题，进一步提升重建模型非线性表达性能，提高图像重建能力。将这些方法应用在天气预测、智能手机、电影画质提升、医疗影像增强等领域。其中对重建之后的遥感图像进行深入数据挖掘是在应用层面的重要研究方向，将超分辨率技术用于气象监测领域，采取图像增强与大气科学技术相结合的思路，更节约硬件成本，监测结果获取时间更短。

本发明采用如下技术方案：

基于样本学习的图像超分辨重建方法包括基于稀疏表示、基于残差学习、重建性能验证、数据挖掘四阶段。

所述基于稀疏表示的阶段，通过图像训练数据库训练稀疏表示模型，得到高低分辨率字典及其高低分辨率图像映射关系，考虑到更少的数值迭代次数、更多的样本对，采用自适应图像分块，将一副低分辨率图像输入训练好的模型，更多的样本对，采用自适应图像分块，将一副低分辨率图像输入训练好的模型，低分辨图像在特征空间完成映射之后便可得到一幅高分辨图像。

所述残差学习的阶段，提出一个新的残差网络模型，预先确定好损失函数、训练方法，通过图像数据库完成训练与验证阶段，得到基于残差学习的网络模型，将低分辨图像送入网络模型获得高分辨图像。

所述重建性能验证，选择代表性的超分辨算法AHNLTV-AGD、FSRCNN、VDSR、LAPSRN、DRRN，利用代表性方法得到若干高分辨图像，记录高分辨图像的参数。将基于样本学习的方法与代表性方法作比较，通过主观评价指标(肉眼观察)、客观评价指标(峰值信噪比与结构相似度)验证改进方法的重建性能。

所述数据挖掘，深入挖掘重建之后的图像信息，如医学影像信息、遥感图像中的温度、湿度等信息，将挖掘到的信息提供给专业人员做预测。

本发明的有益效果：

本发明以信号处理为基础，通过图像增强技术提升图像分辨率，这一方法的运用，将克服图像硬件设备成本高的限制。从而基于稀疏表示、基于残差学习、重建性能验证去改进图像超分辨率重建方法，显著提升重建图像的质量和效率，达到实时处理图像的要求，能被用于刑事调查、航空航天、医疗和电子产品等领域。

附图说明

图1为基于样本学习的图像超分辨率重建方法的流程图；

图2为本发明稀疏表示重建阶段流程图

图3为基于残差学习的网络结构图；

图4为残差块结构图；

图5(a)-图5(g)为Bird图像处理结果图；

图6(a)-图6(g)为Woman图像处理结果图；

图7(a)-图7(f)为肺部图像处理结果图；

图8(a)-图8(f)为遥感图像处理结果图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1-4所示，本发明的基于样本学习的图像超分辨率重建方法，包括基于稀疏表示的阶段、基于残差学习的阶段、重建性能验证及数据挖掘四阶段。

所述基于稀疏表示的阶段，是通过图像训练数据库训练稀疏表示模型，得到高低分辨率字典及其高低分辨率图像映射关系，将一副低分辨率图像输入训练好的模型，低分辨图像在特征空间完成映射之后可得到高分辨率图像。

在稀疏表示的训练阶段，对输入的低分辨率图像亚采样，再对低分辨率图像和亚采样图像进行自适应分块，得到低分辨图像块与超低分辨图像块，其中，超低分辨图像块对应低分辨样本，低分辨图像块对应高分辨样本，之后寻找相似块得到相应的高低分辨样本，最后将高低分辨样本进行联合训练，得到高低分辨字典(在稀疏表示训练阶段提出自适应分块，后文进一步阐述自适应分块)。

图像分块方式，采用自适应的图像分块方式，解决固定图像分块带来的图像结构连续性被破坏的问题。目前，主要的图像超分辨率重建方法是以固定大小的图像块来建立和学习映射关系。但是，图像的分块过程中，容易破坏图像的整体结构连续性，图像分块的大小确定难度大，重建结果存在明显的锯齿效应。

本发明克服单一小图像块、大图像块带来的问题：较小的图像分块导致重建高分辨模型的视野范围小，重建结果存在明显锯齿效应，重建精度低；较大的图像分块使低分辨和高分辨图像块之间的映射关系变得复杂，模型训练难度大，重建耗时长。(已有的方法全采用固定分块的方式去重建图像，本发明采用自适应的分块方式，更加智能，针对不同的图像，提取到的有用特征更多。)

在稀疏表示的重建阶段，由低分辨图像块结合训练得到的低分辨字典去求稀疏向量，由稀疏向量和高分辨字典得高分辨图像块，最后将这些图像块组合在一起得到高分辨图像，具体的流程图，如图2所示。(在稀疏表示重建阶段，提出新的图像块组合方式，考虑的问题更多，建立的映射关系更准确。)

基于稀疏表示超分辨过程中，选择不同的字典训练方法，克服低分辨和高分辨稀疏表示稀疏不一致的情况。为了避免出现重建时间长的情况，降低迭代次数或者更换数值迭代方法。(能考虑到稀疏表示重建过程中出现的各种问题，相比已有的方法考虑因素更多，因为建立的非线性映射关系更准确，得到的图像质量更高。)

特征空间建立了图像低分辨空间到高分辨的空间的非线性映射关系。由于真实图像场景和降质因素的复杂性，低分辨图像与高分辨图像的映射关系不是线性映射，而是复杂、多样及空间变化的非线性映射，从大量的低分辨图像与高分辨图像组成的样本对中学习这种非线性映射关系，建立更加精确和鲁棒性的映射关系，得到包含更多高频细节的高分辨图像。(发明从大量的样本对中学习高低图像之间的关系，数据量更大，重建图像质量高)

所述基于残差学习的阶段，为预先确定好残差学习网络模型、损失函数、训练方法，通过图像数据库完成训练与验证阶段，得到基于残差学习的网络模型，将单幅低分辨图像送入网络模型获得高分辨图像。

基于残差学习重建过程中，使参数设置和网络层数达到较优的情况，优化权值、优化神经网络参数和层数，使低分辨图像输入训练号的模型之后得到的重建高分辨图像效果好。

所述网络模型和训练策略的选择，改进残差网络模型进行图像的超分辨率重建，以提高高分辨图像质量。从大量样本中学习低分辨和高分辨图像之间复杂非线性映射的能力，利用改进的残差网络模型进行图像的超分辨率重建，在增加网络深度的同时不加长训练与重建时间，达到实时处理图像的要求。

基于残差网络的模型在pytorch平台上进行训练，该模型包含8个卷积层和1个融合层，最后一层为融合层，整体网络结构图如图3所示。第一层为卷积层，有64个5×5大小的卷积核。第二层到第七层由3个残差块构成，残差块如图4所示，其中每一层有64个3×3大小的卷积核。第八层为反卷积层，含有1个9×9大小的卷积核。第八层输出残差图像在最后一层融合层与经过双线性插值的低分辨图像进行融合，将低分辨图像的低层次特征与高分辨图像的高层次特征利用非负矩阵理论融合，融合之后的图像将包含更多的图像细节信息，图像更加清晰。

训练数据库选择91-Image、BSD500，验证数据库选择BSD500，在大量人工下采样和真实低分辨图像上进行重建测试。在一台Intel i7-4790CPU 3.6GHz、GTX 970GPU的电脑上进行训练，对于分辨率放大倍数×2、×3、×4的网络，图像分别被裁剪成14×14、13×13、10×10的大小。为了加快收敛，采用自适应矩估计优化算法(adaptive moment estimation,ADAM)，参数设定为：β₁＝0.9、β₂＝0.999、α＝0.001、ε＝10^-8。最小批次大小为128，初始学习率为10^-4。

残差操作在图像超分辨中处理效率高，图3给出所提出的残差块，残差块包含2个卷积层、2个激活层，残差块可以由数学表达式表示为：

x_i+1＝p[x_i+f(x_i,W_i)] (1)

其中x_i是第i个残差块的输入，W_i＝{w_i,k|1≤k≤2}是关于第i个残差块的权重和偏置的集合，2为残差块中卷积层的个数。f为残差函数，p代表激活函数，这里使用参数整流线性单元(Parametric Rectified Linear Unit,PReLU)，在模型训练阶段，PReLU可以带来更小的误差，PReLU可以表示为：

p(x)＝max(x,0)+αmin(0,x) (2)

其中x是激活函数p的输入，α是可以通过训练得到的常数。

为了描述的方便，这里考虑式(1)中x大于0的情形，式(1)可以简化为：

x_i+1＝x_i+f(x_i,W_i) (3)

将多个残差块级联可以得到：

从式(4)中可知，在任意一个块i和块K之间，模型是以残差的形式存在的，式(4)为之前所有残差函数的和。

式(4)有好的后向传递能力，Φ被定义为损失函数，可以得到：

从式(5)和式(6)可知，

能被分成/>

和/>

但是只有/>

通过卷积层传递信息，/>

用来将信息直接传递给下个残差块。/>

不可能为-1，因此/>

不可能被消除。换句话说，即使权重非常小，卷积层的梯度也不会消失。不管是前向还是后向传播，特征都能从一个残差块传给其它任意一个残差块。(发明提出了一种新的残差网络结构用于图像超分辨率重建，相比已有的方法提取到的图像特征更多，图像处理速度更快，能平衡时间和重建质量之间的矛盾。)

将图像融合的方法引入改进的网络结构中，提出基于全局与局部特征融合的单幅图像超分辨重建方法，图像融合的方法重建的图像包含更多的图像先验信息，有利于图像细节的增强。

基于非负矩阵的图像融合算法，图像可以表示为：

V＝WH+n (7)

这里的V为被观测的图像，W为标准图像(融合图像)，H为权值，n为噪声。V由高分辨与低分辨图像组成，它的每一列包含一幅图像，即：

V＝[v₁,v₂] (8)

V可以近似分解为W与H的乘积，如果v和h是V和H对应的列向量，则

v＝Wh (9)

非负矩阵W可以看作为对高低分辨图像组成的数据集V进行线性逼近的一组基，H为V在基W上的投影系数。当基向量的维数为1时，W可以表示为融合图像。(发明将非负矩阵融合理论首次用于这种新的残差网络结构中，将特征融合的方法引入改进的网络结构中，提出基于总体与局部特征融合的图像超分辨重建方法，特征融合的方法使重建的图像包含更多的图像先验信息，有利于图像细节的增强。)

所述重建性能验证，选择代表性的超分辨率算法AHNLTV-AGD、FSRCNN、VDSR、LAPSRN、DRRN，利用代表性方法得到若干高分辨图像，记录高分辨图像的参数，为不同方法性能对比做准备。将改进的基于样本学习的方法与代表性方法作比较，通过主观评价指(肉眼观察)、客观评价指标(峰值信噪比与结构相似度)验证改进方法的重建性能。

所述数据挖掘，通过引入与输入图像相似的高分辨率图像辅助整个超分辨率重建过程，将图像超分辨率过程由纹理细节的增强、修复变为更加简单的相似纹理的搜索过程。利用图像检索的技术，显著增强超分辨率重建的视觉效果。利用超分辨率重建技术辅助气象预测结果，利用提出的超分辨率网络可以模拟气象预测精细化的过程，利用神经网络区融合温度、湿度、大气方向等信息，转变传统利用超级计算机模拟遥感气象运动物理过程的方式，极大降低硬件的成本，科研机构仅需一台普通的电脑，就能得到气象预测结果。在医疗诊断的过程中，医生通过医疗图像，包括B超、CT、核磁共振图像等来判断病人的身体疾病，但是在采集医疗图像的过程中，受设备噪声的干扰，可能会产生模糊的影像，这便会影响医生对病情的精确判断。利用图像超分辨率重建技术，可以提高图像的分辨率，得到高质量医疗图像，更利于病因的正确判断。由于该技术受设备的条件限制少，也会降低病人的医疗费用(发明将数据挖掘、图像检索技术用于辅助图像超分辨率重建过程，使图像的深层次信息能更进一步被挖掘，专业人员能将重建之后的图像用作预测工具。其中，用超分辨网络模拟遥感气象运动物理过程这一方法，极大降低硬件的成本，科研机构仅需一台普通的电脑，就能得到气象预测结果。)

本发明以信号处理为基础，通过图像增强技术提升图像分辨率，这一方法的运用，将克服图像硬件设备更换成本高的限制。从基于稀疏表示、基于残差学习、重建性能验证去改进图像超分辨重建方法，显著提升重建图像的质量和效率，达到实时处理图像的要求，能被用于公共安全、航空航天、医疗和国防等领域中。

实施例

实验在Inter Core i7八核处理器，16GB内存，1T硬盘，windows操作系统上实现，采用MATLAB R2017a作为仿真软件。

实验将放大倍数S设置为2，图像亚采样倍数s设置为1.25,图像的质量评价指标采用主观评价、客观评价，通过实验结果判定。图5(a)-图5(g)给出部分图像的实验结果。

图5(a)-图5(g)为Bird图像处理结果。图5(a)为输入的低分辨率图像，图5(b)为FSRCNN处理的结果，图5(c)为VDSR处理的结果，图5(d)为LAPSRN处理后的结果，图5(e)为DRRN处理后的结果，图5(f)为AHNLTV-AGD处理后的结果，图5(g)为本文算法处理后的结果。从图5(a)-图5(g)看出，FSRCNN算法的结果差于其他算法，在边缘和纹理上尤为明显，处理后整张图片不清晰。图5(g)与图5(c)相比，在纹理的重建上更加接近原图像，图5(c)在眼睛周围出现了明显的边缘扩散现象，图5(d)、图5(e)、图5(f)三种算法处理后的效果相差不大，在眼睛周围的纹理存在失真现象。因此，本发明算法相较于传统算法在重建效果上有明显的提升。

图6(a)-图6(g)为Woman图像的处理结果，如图6(a)-图6(g)所示，本文算法图6(g)相较于传统算法图6(c)而言，整体效果较好，图6(c)存在比较明显的失真，脸部的色彩和轮廓相较原图显得不真实，图6(g)在脸部的纹理和色彩的重建上明显优于图6(c)，同时观察袖口处的纹理区域可以看出，图6(c)存在明显的失真现象，图6(g)边缘保持效果不错。观察眼睛区域，其余方法重建的结果均存在眼部模糊的现象，而本文算法处理之后的眼睛更清晰，神态更接近真实情况。

图7(a)-图7(f)为肺部图像超分辨率重建之后的结果，图右边的图像为重点区域放大图。传统方法重建结果与本文算法相比，VDSR方法重建的肺部图像在大血管与肺部组织连接处较模糊，轮廓保持效果差。

AHNLTV-AGD方法重建图像的小纹理处理不好，形成伪影，容易被误判为肿瘤区域，影响医生的正确判断。相比上述算法，本发明算法能重建出更多细节，纹理区域处理较好，图像对比度高，视觉效果更好。对肺部图像进行数据挖掘，将重点区域与低密度组织区域信息进行整合，可以发现该患者存在局部组织感染，同时重建之后发现微小的低密度阴影，患者要谨防阴影区域钙化，形成结节，影响肺部健康。

图8(a)-图8(f)为山区遥感气象图像通过超分辨率重建之后的结果，右侧图像为云雾地区局部放大图。对比其它方法可以看出，本发明算法超分辨重建之后，高频的纹理细节更加丰富，地物信息获取更加容易。进一步数据挖掘，提取近红外、红、绿波段的信息，可以快速确定山区、云雾区域的所在位置，可以更好判断云层覆盖情况，预测大气运动趋势，更有利于科研人员做出精准判断。

为进一步验证重建效果，采用客观评价指标来衡量重建图像的质量，客观评价通过PSNR值和SSIM值来判定，取值越高，重建效果越好，表1给出不同方法的PSNR和SSIM的值。

表1客观评价比较

从表1可知，本文算法不管是从PSNR还是SSIM，其值均高于其它对比方法，因此从客观评价指标也能表明本文算法超分辨率重建性能的优越性。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.基于样本学习的图像超分辨率重建方法，其特征在于，包括基于稀疏表示的阶段、基于残差学习的阶段、重建性能验证以及数据挖掘四个阶段；

其中，S1.基于稀疏表示的阶段

通过图像训练数据库训练稀疏表示模型，得到高低分辨率字典及其高低分辨率图像映射关系，将一副低分辨率图像输入训练好的模型，低分辨图像在特征空间完成映射之后得到高分辨图像；

S2.基于残差学习的阶段

预先确定好残差学习网络模型、损失函数、训练方法，通过图像数据库完成训练与验证阶段，得到基于残差学习的网络模型，将单幅低分辨图像送入网络模型获得高分辨图像；

S2中，基于残差网络模型在pytorch平台上进行训练，该模型包含8个卷积层和1个融合层，最后一层为融合层，第一层为卷积层，有64个5×5大小的卷积核，第二层到第七层由3个残差块构成，其中每一层有64个3×3大小的卷积核，第八层为反卷积层，含有1个9×9大小的卷积核，第八层为反卷积层，含有1个9×9大小的卷积核，第八层输出残差图像在最后一层融合层与经过双线性插值的低分辨图像进行融合，将低分辨图像的低层次特征与高分辨图像的高层次特征利用非负矩阵理论融合，融合之后的图像将包含更多的图像细节信息，图像更加清晰；

训练数据库选择91-Image、BSD500，验证数据库选择BSD500，在大量人工下采样和真实低分辨图像上进行重建测试，在一台Inteli7-4790CPU3.6GHz、GTX970GPU的电脑上进行训练，对于分辨率放大倍数×2、×3、×4的网络，图像分别被裁剪成14×14、13×13、10×10的大小，为了加快收敛，采用自适应矩估计优化算法，参数设定为：β₁＝0.9、β₂＝0.999、α＝0.001、ε＝10^-8，最小批次大小为128，初始学习率为10-4，残差操作在图像超分辨中处理效率高，残差块报含2个卷积层、2个激活层，残差块由数学表达式表示为：

x_i+1＝p[x_i+f(x_i,W_i)] (1)

其中x_i是第i个残差块的输入，W_i＝{w_i,k|1≤k≤2}是关于第i个残差块的权重和偏置的集合，2为残差块中卷积层的个数，f为残差函数，p代表激活函数，这里使用参数整流线性单元，在模型训练阶段，PReLU带来更小的误差，PReLU表示为：

p(x)＝max(x,0)+αmin(0,x) (2)

其中x是激活函数p的输入，α是通过训练得到的常数，为了描述的方便，这里考虑式(1)中x大于0的情形，式(1)简化为：

x_i+1＝x_i+f(x_i,W_i) (3)

将多个残差块级联得到：

从式(4)中知，在任意一个块i和块K之间，模型是以残差的形式存在的，式(4)为之前所有残差函数的和，式(4)有好的后向传递能力，Φ被定义为损失函数，得到：

从式(5)和式(6)知，

能被分成/>

和/>

但是只有/>

通过卷积层传递函数，/>

用来将信息直接传递给下个残差块，/>

不能为-1，因此/>

不能被消除；

将图像融合的方法引入改进的网络结构中，提出基于全局与局部特征融合的单幅图像超分辨重建方法，图像融合的方法使重建的图像包含更多的图像先验信息，有利于图像细节的增强，

基于非负矩阵的图像融合算法，图像表示为：

V＝WH+n (7)

这里的V为被观测的图像，W为标准图像，H为权值，n为噪声，V由高分辨与低分辨图像组成，它的每一列包含一幅图像，即：

V＝[v₁,v₂] (8)

V近似分解为W与H的乘积，如果v和h是V和H对应的列向量，则

v＝Wh (9)

非负矩阵W看作对高低分辨图像组成的数据集V进行线性逼近的一组基，H为V在基W上的投影系数，当基向量的维数为1时，W表示为融合图像；

S3.重建性能验证

选择代表性的超分辨算法AHNLTV-AGD、FSRCNN、VDSR、LAPSRN、DRRN，利用代表性方法得到若干高分辨图像，记录高分辨图像的参数，为不同方法性能对比做准备，将改进的基于样本学习的方法与代表性方法作比较，通过主观评价、客观评价指标验证改进方法的重建性能；

S4.数据挖掘

通过引入与输入图像相似的高分辨率图像辅助整个超分辨率重建过程，将图像超分辨率过程由纹理细节的增强、修复变为更加简单的相似纹理的搜索过程，利用图像检索的技术，显著增强超分辨率重建的视觉效果。

2.根据权利要求1所述的基于样本学习的图像超分辨率重建方法，其特征在于，S1，图像训练数据库训练稀疏表示模型，为对输入的低分辨图像亚采样，再对低分辨图像和亚采样图像进行自适应分块，得到低分辨图像块与超低分辨图像块，其中，超低分辨图像块对应低分辨样本，低分辨图像块对应高分辨样本，之后寻找相似块得到相应的高低分辨样本，最后将高低分辨样本进行联合训练，得到高低分辨字典。

3.根据权利要求2所述的基于样本学习的图像超分辨率重建方法，其特征在于，自适应图像分块，解决固定图像分块带来的图像结构连续性被破坏的问题；图像超分辨率重建方法是以固定大小的图像块来建立和学习映射关系。

4.根据权利要求1所述的基于样本学习的图像超分辨率重建方法，其特征在于，稀疏表示重建阶段，由低分辨图像块结合训练得到的低分辨字典去求稀疏向量，由稀疏向量和高分辨字典得高分辨图像块，最后将这些图像块组合在一起得到高分辨图像；基于稀疏表示超分辨阶段，选择不同的字典训练方法，克服低分辨和高分辨稀疏表示稀疏不一致的情况。

5.根据权利要求1所述的基于样本学习的图像超分辨率重建方法，其特征在于，特征空间建立了图像低分辨空间到高分辨的空间的非线性映射关系，由于真实图像场景和降质因素的复杂性，低分辨图像与高分辨图像的映射关系不是线性映射，而是复杂、多样性及空间变化的非线性映射，从大量的低分辨图像与高分辨图像组成的样本对中学习这种非线性映射关系，建立更加精确和鲁棒性的映射关系，得到包含更多高频细节的高分辨图像。

6.根据权利要求1所述的基于样本学习的图像超分辨率重建方法，其特征在于，S2中，网络模型和训练方法，是改进残差网络模型进行图像的超分辨率重建，以提升高分辨图像质量，从大量样本中学习低分辨和高分辨图像之间复杂的、空间变化的非线性结构关系，用于高分辨图像的重建，残差网络具有通过其多层结构表示复杂非线性映射的能力，利用改进的残差网络模型进行图像的超分辨率重建，在增加网络深度的同时不加长训练与重建时间，达到实时处理图像的要求。

7.应用于遥感图像处理方法，其特征在于，利用如权利要求1-6中任意一项所述的基于样本学习的图像超分辨重建方法进行遥感图像处理。

8.应用于医学图像的处理方法，其特征在于，利用如权利要求1-6中任意一项所述的基于样本学习的图像超分辨重建方法进行医学图像处理。

Images