CN111696033A - 基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型及方法 - Google Patents

Abstract

本发明公开了一种基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型及方法，模型包括：多尺度特征提取单元，利用级联沙漏网络结构提取输入图像的多尺度信息的特征；分区域重建单元，利用不同深度的多尺度特征分别重建多个初始的超分辨率图像；分区域监督单元，利用角点检测算法将高分辨率图像解耦为平坦、边缘和角点区域，分别监督各个初始的超分辨率图像；角点引导重建单元，利用提取到的图像各区域信息；梯度加权约束单元，基于图像的梯度信息来加权损失函数，加强角点区域的拟合能力。本发明能够避免一幅图像的所有区域被同等对待，最终将重建得到的三个结果加权融合成更符合人类视觉感受的超分辨率图像，有效地提升图像质量。

Description

基于角点引导级联沙漏网络结构学习的真实图像超分辨率模 型及方法

技术领域

本发明属于图像处理的技术领域，具体涉及一种基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型及方法。

背景技术

图像超分辨率技术旨在从观测到的低分辨率图像中重建出对应的高分辨率图像，在监控设备、卫星图像和医学影像等领域都有重要的应用价值。由于一张低分辨率图像可能对应多种高分辨率图像，所以图像超分辨率问题，尤其是单帧超分辨率，是一个病态的逆问题。图像超分辨率的核心就在于如何从众多可能的高分辨率图像中找到一个边缘清晰、细节丰富且符合人类视觉审美的结果。

随着深度学习的发展，图像超分辨率结果的峰值信噪比(PSNR)已经得到了很显著的提升。但是现有的方法总是采用像素级别的拟合，而没有考虑图像本身的结构信息。从人类视觉角度而言，逐像素拟合生成的图像大都过于平滑且细节缺失过多。事实上，一幅图像的不同区域具有不一样的特征，对人眼的吸引力也是不同的，人类视觉更关注于像素变化剧烈且复杂的图像区域，例如树的年轮、地毯的花纹等各种纹理，而像晴朗的天空背景这种平坦的区域往往容易被忽略。然而像素级的拟合把所有的区域都一视同仁，进行了相同的处理，这就使得模型会更偏向于简单的平坦和边缘区域，因为二者经常占据了一幅图像的大部分区域且更加容易被拟合。过度的平滑和真实细节的缺失使得现有的超分辨率模型只能在人工合成的数据集上表现良好，而在真实场景拍摄的图像上表现不佳，甚至有可能不如传统的上采样方法。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型及方法，通过构建级联沙漏网络结构，对输入图像的多尺度信息进行提取和融合，并基于学习到的特征分别重建具有不同区域特性的超分辨率结果，这样就能够避免一幅图像的所有区域被同等对待，最终将重建得到的三个结果加权融合成更符合人类视觉感受的超分辨率图像，有效地提升图像质量。

为了达到上述目的，本发明采用以下技术方案：

基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型，包括多尺度特征提取单元、分区域重建单元、分区域监督单元、角点引导重建单元以及梯度加权约束单元，所述多尺度特征提取单元和分区域监督单元均与分区域重建单元连接，所述分区域重建单元和梯度加权约束单元均与角点引导重建单元连接；

所述多尺度特征提取单元，用于通过级联沙漏网络结构提取输入图像的多尺度信息的特征；

所述分区域重建单元，用于通过不同深度的多尺度特征分别重建多个初始的超分辨率图像；

所述分区域监督单元，用于通过角点检测算法将高分辨率图像解耦为平坦、边缘和角点区域，分别监督各个初始的超分辨率图像；

所述角点引导重建单元，用于通过提取到的图像各区域信息，尤其是角点信息来引导重建超分辨率图像；

所述梯度加权约束单元，用于通过图像的梯度信息来加权损失函数，从而约束模型的拟合方向，加强角点区域的拟合能力。

作为优选的技术方案，所述多尺度特征提取单元包括沙漏型网络模块和多尺度连接模块，每两个沙漏型网络模块之间通过多尺度连接模块连接；

所述沙漏型网络模块，用于获取不同尺度下的特征并融合；

所述多尺度连接模块，用于串联多个所述沙漏网络模块的特征输出，并进一步增强多尺度的信息融合。

作为优选的技术方案，所述沙漏型网络模块包括多层Top-Down结构和Bottom-Up结构；所述Top-Down结构每一层的输入都先经过一个卷积层，再进行最大值池化处理，类比于图像高斯金字塔的流程，卷积层对应于高斯金字塔的高斯滤波，最大值池化对应于高斯金字塔的下采样；所述Bottom-Up结构每一层先进行最近邻上采样，再经过一个卷积层，最后加上来自于Top-Down部分对应分辨率的输入，同样类比于图像拉普拉斯金字塔的流程，最近邻上采样对应于拉普拉斯金字塔的上采样，卷积层对应于拉普拉斯金字塔的插值滤波器，相加过程对应于拉普拉斯金字塔的插值图像与预测残差相加过程；所述Top-Down结构构建了不同尺度的特征，Bottom-Up结构给不同尺度的特征分别增加了信息，最后还原回初始的分辨率大小，即输入经过沙漏型网络模块时，在不同的尺度空间附加了相应的信息，最终得到了优化的特征。

作为优选的技术方案，所述分区域重建单元在不同深度的多个沙漏型网络模块之后分别接了一个重建模块用于生成超分辨率图像，让不同深度的沙漏型网络模块都提取有利于最终超分辨率结果的信息，随着深度的增加不断加强其特征表达能力，最后得到更好的超分辨率结果。

作为优选的技术方案，所述分区域监督单元包括角点检测模块和监督模块；

所述角点检测模块，利用角点检测算法处理高分辨率图像，再根据设定的阈值将图像划分为平坦、边缘和角点区域；

所述监督模块，利用划分的三种区域监督各初始超分辨率图像的重建，所述监督模块的实施过程表示为：

L_i＝l(f_i*hr，f_i*sr_i)

其中L_i为优化目标；l(hr，sr_i)为任意的常用损失函数，f_i是角点检测算法划分的区域；下标i表示不同深度的重建模块以及对应的划分区域；通过优化目标函数L_i，不同深度的模块可以分别学习不同区域的特征，使得重建的初始超分辨率图像具有各自区域的特点。

作为优选的技术方案，所述角点引导重建单元包括区域权重生成模块和区域融合模块；

所述区域权重生成模块，与分区域监督单元相辅相成，在每一个被监督的沙漏网络模块后边都配置了对应的区域权重生成模块，用于生成不同区域的权重；

所述区域融合模块，用于将分区域重建的各超分辨率图像加权融合成细节更丰富、质量更高的超分辨率结果。

作为优选的技术方案，所述梯度加权约束单元实施过程表示如下：

f_gw＝w(α，D_x，D_y)

L_gw＝l(f_gw*hr，f_gw*sr)

其中，D_x表示超分辨率图像SR与高分辨率图像HR的水平梯度差异，D_y则表示SR与HR的垂直梯度差异；α是一个常数缩放因子，决定了梯度加权的大小；w(α，D_x，D_y)是动态权值函数，可以是任意一个值域为[1，+∞)的单调递增函数，用于加权常用的损失函数；l(hr，sr)是任意的常用损失函数；L_gw是梯度加权损失函数GW loss。

基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型的超分辨率方法，包括下述步骤：

利用多尺度特征提取单元提取输入图像的初步特征；

通过分区域重建单元利用不同深度的多尺度特征重建多个初始的超分辨率图像；

利用分区域监督单元划分高分辨率图像的平坦、边缘和角点区域，分别监督各个初始的超分辨率图像，引导多尺度特征提取单元中不同深度的模块学习对应区域的特征；

利用学习到的特征分别预测各区域的权重；

利用各区域的超分辨率图像和权重，加权融合得到最后的超分辨率结果，同时使用梯度加权约束单元监督得到的结果；

迭代以上步骤直到结果收敛。

作为优选的技术方案，所述利用分区域监督单元划分高分辨率图像的平坦、边缘和角点区域的步骤中，

利用角点检测算法计算高分辨率图像上各像素点的得分，根据设定的阈值划分成平坦、边缘和角点区域。

作为优选的技术方案，所述利用学习到的特征分别预测各区域的权重的步骤中，

利用多个由若干卷积层和反卷积层组成的区域权重生成模块处理不同的沙漏型网络模块块输出的特征，生成多个与超分辨率图像大小和通道均一致的权重图。

本发明与现有技术相比，具有如下优点和有益效果：

(1)本发明一种基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型及方法实现了一幅图像中不同区域的解耦，其遵循角点检测算法的定义和划分，使得模型可以分别学习不同区域的特征而不是同等处理，增强了模型对图像信息的利用能力。

(2)本发明通过角点引导重建模块加权融合不同区域的特征，最终得到更符合人类视觉感受的超分辨率结果；本发明利用梯度加权约束损失函数，增强了图像结构信息的拟合能力，使复杂区域的细节恢复得更好。

附图说明

图1为本发明一种基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型的系统架构图；

图2为本发明具体实施例中基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型的整体网络框架示意图；

图3为本发明具体实施例中基于角点引导级联沙漏网络结构学习的真实图像超分辨率方法的流程图；

图4(a)-图4(c)为本发明具体实施例中角点引导重建单元与中间监督方案的对比示意图，其中图4(a)为原始的中间监督方案，图4(b)为用于超分辨率的中间监督方案，图4(c)为角点引导重建单元的具体结构示意图；

图5为本发明具体实施例中用真实数据集训练的各超分辨率模型结果对比，测试图像为手机图像。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例

请参见图1以及图2，本实施例一种基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型包括：多尺度特征提取单元101、分区域重建单元102、分区域监督单元103、角点引导重建单元104以及梯度加权约束单元105，所述多尺度特征提取单元101和分区域监督单元103均与分区域重建单元102连接，所述分区域重建单元102和梯度加权约束单元105均与角点引导重建单元104连接。

在本申请的一个实施例中，所述多尺度特征提取单元101，利用级联沙漏型网络模块提取输入图像的多尺度信息的特征。

更进一步的，所述多尺度特征提取单元101使用的基础骨架网络是级联沙漏网络(Cascaded Hourglass Network)。如图2所示，每两个沙漏型网络模块之间加入了两个串联的Residual-Inception模块(RIB)进行连接，进一步增强其多尺度特征的学习能力。

优选地，每一个沙漏型网络模块(Hourglass Block)都是4层Top-Down和Bottom-Up结构组成：Top-Down部分每一层的输入都先经过一个卷积层，再进行最大值池化处理，可以类比于图像高斯金字塔的流程，卷积层对应于高斯金字塔的高斯滤波，最大值池化对应于高斯金字塔的下采样；Bottom-Up部分每一层先进行最近邻上采样，再经过一个卷积层，最后加上来自于Top-Down部分对应分辨率的输入，同样可以类比于图像拉普拉斯金字塔的流程，最近邻上采样对应于拉普拉斯金字塔的上采样，卷积层对应于拉普拉斯金字塔的插值滤波器，相加过程对应于拉普拉斯金字塔的插值图像与预测残差相加过程。Top-Down部分构建了不同尺度的特征，Bottom-Up部分给不同尺度的特征分别增加了信息，最后还原回初始的分辨率大小，换言之就是输入经过沙漏型网络模块时，在不同的尺度空间附加了相应的信息，最终得到了优化的特征。

优选地，用两个Residual-Inception模块来串联沙漏型网络模块，进一步加强了模型多尺度特征的学习能力。

在本申请的另一个实施例中，所述分区域重建单元102，用于利用不同深度的多尺度特征重建多个初始的超分辨率图像。

更进一步的，所述分区域重建单元102在不同深度的3个沙漏型网络模块之后分别接了一个重建模块用于生成超分辨率图像，这样做的好处是可以让不同深度的沙漏型网络模块都尽可能去提取有利于最终超分辨率结果的信息，随着深度的增加不断加强其特征表达能力，最后得到更好的超分辨率结果。而且可以通过分区域监督单元中的监督模块来调整每一个沙漏型网络模块的特征学习方向，以此达到多个沙漏型网络模块互补合作的效果。

在本申请的另一个实施例中，所述分区域监督单元103，利用角点检测算法将高分辨率图像解耦为平坦、边缘和角点区域，分别监督各个初始的超分辨率图像。

更进一步的，所述分区域监督单元103，进一步包括：角点检测模块和监督模块。

所述角点检测模块，利用角点检测算法处理高分辨率图像，再根据设定的阈值将图像划分为平坦、边缘和角点区域。

在本发明具体实施例中，角点检测模块使用Harris角点检测算法进行图像的处理。

所述监督模块，利用划分的三种区域监督各初始超分辨率图像的重建。

更进一步的，所述监督模块的实施过程可表示为：

L_i＝l(f_i*hr，f_i*sr_i)

其中L_i为优化目标；l(hr，sr_i)为任意的常用损失函数，如L1 loss、MSE loss等，在本发明具体实施例中使用的是L1 loss；f_i是角点检测算法划分的区域；下标i表示不同深度的重建模块以及对应的划分区域。通过优化目标函数L_i，不同深度的模块可以分别学习不同区域的特征，使得重建的初始超分辨率图像具有各自区域的特点，而且从表1可以看出，利用角点区域的信息可以使得超分辨率的结果得到较大的提升，边缘区域的效果次之，平坦区域的效果几乎没有。

表1对三种区域划分的消融实验结果

在本申请的一个实施例中，所述角点引导重建单元104，利用提取到的图像各区域信息，尤其是角点信息来引导重建超分辨率图像。

更进一步的，如图4(a)-图4(c)所示，不同于在超分辨率模型中简单地利用中间监督方案，所述角点引导重建单元104如图4(c)所示，进一步包括：区域权重生成模块和区域融合模块。

所述区域权重生成模块，与分区域监督单元相辅相成，在每一个被监督的沙漏型网络模块后边都配置了对应的区域权重生成模块，用于学习不同区域的权重。在本发明具体实施例中，区域权重生成模块由若干个卷积层和反卷积层组成，反卷积层的步长和数目与超分辨率的倍率相关，例如2倍超分辨率对应一个步长为2的反卷积层，模块的输出是与超分辨率图像大小和通道数相同的权重图。

所述区域融合模块，用于将分区域重建的各超分辨率图像加权融合成细节更丰富、质量更高的超分辨率结果。在本发明具体实施例中，融合方法是直接将重建的各初始超分辨率图像与生成的对应权重图点乘，再相加得到最后的超分辨率结果。

在本申请的一个实施例中，所述梯度加权约束单元105，充分利用了图像的结构信息，用图像的梯度信息对原有的损失函数做进一步的约束，增强了模型对复杂区域的拟合能力。

更进一步的，所述梯度加权约束单元105的实施过程可表示为：

f_gw＝w(α，D_x，D_y)

L_gw＝l(f_gw*hr，f_gw*sr)

其中，D_x表示超分辨率图像(SR)与高分辨率图像(HR)的水平梯度差异，D_y则表示SR与HR的垂直梯度差异；α是一个常数缩放因子，决定了梯度加权的大小；w(α，D_x，D_y)是动态权值函数，可以是任意一个值域为[1，+∞)的单调递增函数，用于加权常用的损失函数；l(hr，sr)是任意的常用损失函数；L_gw是本发明提出的梯度加权损失函数(GW l_oss)。在本发明实施例中，图像水平和垂直方向的梯度采用Sobel梯度算子计算得到，α设定为4，令w(α，D_x，D_y)＝(1+αD_x)(1+αD_y)，l(hr，sr)采用的是L1 loss。

当α＝0时，优化目标L_gw就相当于常用的损失函数l(hr，sr)；同样的，当D_x＝D_y＝0时，优化目标L_gw也相当于常用的损失函数l(hr，sr)。也就是说，对于图像的平坦区域和简单边缘区域，模型的恢复效果良好，SR和HR的梯度差异较小；而对于图像的角点区域，过平滑使得SR与HR的平均像素差异不大，但是梯度差异很大。所以动态权值在平坦和简单边缘区域很小，优化目标基本等同于常用的损失函数；而在角点区域动态权值很大，会给该区域一个较大的惩罚项。显然，GW loss对平坦和简单边缘区域影响不大，同时又加强了模型对角点区域的学习。由于权重是动态的，随着超分辨率效果的增强，恢复较好的角点区域也会逐渐减小其对模型的影响，确保模型始终更关注于难以恢复的复杂区域。从表2也可以看出，该损失函数的泛用性很强，可以用于各种不同的超分辨率模型，对比L1 loss均有较明显的提升。

表2不同超分辨率模型使用梯度加权损失函数的实验结果

本申请的一个实施例中还提供了了一种基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型的超分辨率方法，请参见图3，该方法包括下述步骤：

步骤S1，利用多尺度特征提取单元提取输入图像的初步特征。

更进一步的，将低分辨率图像输入由6个沙漏型网络模块串联而成的级联沙漏网络，学习其多尺度特征，并将第2、第4和第6个沙漏型网络模块输出的特征提取出来。

步骤S2，通过分区域重建单元利用不同深度的多尺度特征重建多个初始的超分辨率图像。

更进一步的，利用三个由若干卷积层和反卷积层组成的重建模块处理第2、第4和第6个沙漏型网络模块输出的特征，生成三个初始的超分辨率图像。

步骤S3，利用分区域监督单元划分高分辨率图像的平坦、边缘和角点区域，分别监督各个初始的超分辨率图像，引导多尺度特征提取单元中不同深度的模块学习对应区域的特征。

更进一步的，步骤S3进一步包括：

步骤S300，利用角点检测算法计算高分辨率图像上各像素点的得分，根据设定的阈值划分成平坦、边缘和角点区域。

步骤S301，用划分的三种区域分别监督三个初始的超分辨率图像，在本实施例中，用平坦区域监督第2个沙漏型网络模块输出特征重建的超分辨率图像，用边缘区域监督第4个沙漏型网络模块输出特征重建的超分辨率图像，用角点区域监督第6个沙漏型网络模块输出特征重建的超分辨率图像，监督采用的损失函数为L1 loss。

步骤S4，利用学习到的特征分别预测各区域的权重。

更进一步的，利用三个由若干卷积层和反卷积层组成的区域权重生成模块处理第2、第4和第6个沙漏型网络模块输出的特征，生成三个与超分辨率图像大小和通道均一致的权重图。

步骤S5，利用各区域的超分辨率图像和权重，加权融合得到最后的超分辨率结果，同时使用梯度加权约束单元监督得到的结果。

在本发明具体实施例中，融合方法是直接将重建的各初始超分辨率图像与生成的对应权重图点乘，再相加得到最后的超分辨率结果。

步骤S6，迭代以上步骤直到结果收敛。

本实施例通过角点引导重建模块加权融合不同区域的特征，最终得到更符合人类视觉感受的超分辨率结果，如图5所示，本实施例的超分辨率结果比其他算法的更加清晰，边缘线条不会扭曲，视觉效果更好；本发明利用梯度加权约束损失函数，增强了图像结构信息的拟合能力，使复杂区域的细节恢复得更好。

在本说明书的描述中，参考术语“一个实施例”、“另一个实施例”、或“具体实施方式”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型，其特征在于，包括多尺度特征提取单元、分区域重建单元、分区域监督单元、角点引导重建单元以及梯度加权约束单元，所述多尺度特征提取单元和分区域监督单元均与分区域重建单元连接，所述分区域重建单元和梯度加权约束单元均与角点引导重建单元连接；

所述多尺度特征提取单元，用于通过级联沙漏网络结构提取输入图像的多尺度信息的特征；

所述分区域重建单元，用于通过不同深度的多尺度特征分别重建多个初始的超分辨率图像；

所述分区域监督单元，用于通过角点检测算法将高分辨率图像解耦为平坦、边缘和角点区域，分别监督各个初始的超分辨率图像；

所述角点引导重建单元，用于通过提取到的图像各区域信息，尤其是角点信息来引导重建超分辨率图像；

所述梯度加权约束单元，用于通过图像的梯度信息来加权损失函数，从而约束模型的拟合方向，加强角点区域的拟合能力。

2.根据权利要求1所述基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型，其特征在于，所述多尺度特征提取单元包括沙漏型网络模块和多尺度连接模块，每两个沙漏型网络模块之间通过多尺度连接模块连接；

所述沙漏型网络模块，用于获取不同尺度下的特征并融合；

所述多尺度连接模块，用于串联多个所述沙漏网络模块的特征输出，并进一步增强多尺度的信息融合。

3.根据权利要求2所述基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型，其特征在于，所述沙漏型网络模块包括多层Top-Down结构和Bottom-Up结构；所述Top-Down结构每一层的输入都先经过一个卷积层，再进行最大值池化处理，类比于图像高斯金字塔的流程，卷积层对应于高斯金字塔的高斯滤波，最大值池化对应于高斯金字塔的下采样；所述Bottom-Up结构每一层先进行最近邻上采样，再经过一个卷积层，最后加上来自于Top-Down部分对应分辨率的输入，同样类比于图像拉普拉斯金字塔的流程，最近邻上采样对应于拉普拉斯金字塔的上采样，卷积层对应于拉普拉斯金字塔的插值滤波器，相加过程对应于拉普拉斯金字塔的插值图像与预测残差相加过程；所述Top-Down结构构建了不同尺度的特征，Bottom-Up结构给不同尺度的特征分别增加了信息，最后还原回初始的分辨率大小，即输入经过沙漏型网络模块时，在不同的尺度空间附加了相应的信息，最终得到了优化的特征。

4.根据权利要求3所述基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型，其特征在于，所述分区域重建单元在不同深度的多个沙漏型网络模块之后分别接了一个重建模块用于生成超分辨率图像，让不同深度的沙漏型网络模块都提取有利于最终超分辨率结果的信息，随着深度的增加不断加强其特征表达能力，最后得到更好的超分辨率结果。

5.根据权利要求1所述基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型，其特征在于，所述分区域监督单元包括角点检测模块和监督模块；

所述角点检测模块，利用角点检测算法处理高分辨率图像，再根据设定的阈值将图像划分为平坦、边缘和角点区域；

所述监督模块，利用划分的三种区域监督各初始超分辨率图像的重建，所述监督模块的实施过程表示为：

L_i＝l(f_i*hr,f_i*sr_i)

其中L_i为优化目标；l(hr,sr_i)为任意的常用损失函数，f_i是角点检测算法划分的区域；下标i表示不同深度的重建模块以及对应的划分区域；通过优化目标函数L_i，不同深度的模块可以分别学习不同区域的特征，使得重建的初始超分辨率图像具有各自区域的特点。

6.根据权利要求1所述基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型，其特征在于，所述角点引导重建单元包括区域权重生成模块和区域融合模块；

所述区域权重生成模块，与分区域监督单元相辅相成，在每一个被监督的沙漏网络模块后边都配置了对应的区域权重生成模块，用于生成不同区域的权重；

所述区域融合模块，用于将分区域重建的各超分辨率图像加权融合成细节更丰富、质量更高的超分辨率结果。

7.根据权利要求1所述基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型，其特征在于，所述梯度加权约束单元实施过程表示如下：

f_gw＝w(α,D_x,D_y)

L_gw＝l(f_gw*hr,f_gw*sr)

其中，D_x表示超分辨率图像SR与高分辨率图像HR的水平梯度差异，D_y则表示SR与HR的垂直梯度差异；α是一个常数缩放因子，决定了梯度加权的大小；w(α,D_x,D_y)是动态权值函数，可以是任意一个值域为[1,+∞)的单调递增函数，用于加权常用的损失函数；l(hr,sr)是任意的常用损失函数；L_gw是梯度加权损失函数GW loss。

8.根据权利要求1-7中任一项所述基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型的超分辨率方法，其特征值在于，包括下述步骤：

利用多尺度特征提取单元提取输入图像的初步特征；

通过分区域重建单元利用不同深度的多尺度特征重建多个初始的超分辨率图像；

利用分区域监督单元划分高分辨率图像的平坦、边缘和角点区域，分别监督各个初始的超分辨率图像，引导多尺度特征提取单元中不同深度的模块学习对应区域的特征；

利用学习到的特征分别预测各区域的权重；

利用各区域的超分辨率图像和权重，加权融合得到最后的超分辨率结果，同时使用梯度加权约束单元监督得到的结果；

迭代以上步骤直到结果收敛。

9.根据权利要求8所述的超分辨率方法，其特征值在于，所述利用分区域监督单元划分高分辨率图像的平坦、边缘和角点区域的步骤中，

利用角点检测算法计算高分辨率图像上各像素点的得分，根据设定的阈值划分成平坦、边缘和角点区域。

10.根据权利要求8所述的超分辨率方法，其特征值在于，所述利用学习到的特征分别预测各区域的权重的步骤中，

利用多个由若干卷积层和反卷积层组成的区域权重生成模块处理不同的沙漏型网络模块块输出的特征，生成多个与超分辨率图像大小和通道均一致的权重图。

Images