CN116071238A - 图像超分处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明提供一种图像超分处理方法、装置、电子设备及存储介质，涉及图像处理技术领域，该方法包括：将待处理图像输入改进的分类超分ClassSR网络模型，得到不确定度响应图，基于不确定度响应图，更新改进的分类超分ClassSR网络模型的超分分支网络倒数第二层的特征图；基于更新后的超分分支网络倒数第二层的特征图，得到待处理图像的超分重建图像，使得图像超分更加精细、合理、高效，提升了超分网络的速度和精度。

Description

图像超分处理方法、装置、电子设备及存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像超分处理方法、装置、电子设备及存储介质。

背景技术

图像超分辨率重建技术是将输入的模糊、包含信息较少的低分辨率图像重建为清晰、包含更多信息的高分辨率图像，是计算机视觉领域的一个经典问题。

随着深度学习在计算机视觉领域取得的巨大成功，基于深度学习的图像超分技术也成为了目前主流的研究方向。然而，基于深度学习的图像超分辨率重建算法虽然在图像重建上有性能的提高，但其计算复杂度通常会随着分辨率呈指数级上升，对于大图像超分任务的算力要求是许多应用场景都无法接受的。因此算法加速是超分领域的重要问题。

当前超分网络的加速方法主要分为两大类：轻量化的超分网络结构设计和分治法。其中，分治法是将大图像的超分问题分解成不同子图像的超分问题，并根据每个子图像的超分难易程度，使用不同规模的超分网络分别对其进行超分重建，从而减少了冗余的计算。例如平滑区域的子图超分难度小，选择使用小规模的超分网络进行超分重建，高频、边缘区域的子图超分难度大，选择大规模的超分网络进行超分重建。

然而，现有的分治策略仅将大图像的超分重建的子问题分解到子图像级别，并未达到满意的加速效果与超分重建性能。

发明内容

针对现有技术存在的问题，本发明提供一种图像超分处理方法、装置、电子设备及存储介质。

第一方面，本发明提供一种图像超分处理方法，包括：

将待处理图像输入改进的分类超分ClassSR网络模型，得到不确定度响应图，所述不确定度响应图用于表征所述待处理图像中每个像素点的超分难易程度；其中，所述改进的分类超分ClassSR网络模型是基于样本图像，以及所述样本图像对应的超分重建图像和像素点超分难易程度训练得到的；

基于所述不确定度响应图，更新所述改进的分类超分ClassSR网络模型的超分分支网络倒数第二层的特征图；

基于更新后的所述超分分支网络倒数第二层的特征图，得到所述待处理图像的超分重建图像。

可选地，所述基于所述不确定度响应图，更新所述改进的分类超分ClassSR网络模型的超分分支网络倒数第二层的特征图，包括：

基于所述不确定度响应图，在所述改进的分类超分ClassSR网络模型的超分分支网络倒数第二层的特征图中选取多个目标像素点，并提取对应于所述多个目标像素点的第一特征张量进行特征精炼；

基于特征精炼结果，更新所述改进的分类超分ClassSR网络模型的超分分支网络倒数第二层的特征图。

可选地，所述基于所述不确定度响应图，在所述改进的分类超分ClassSR网络模型的超分分支网络倒数第二层的特征图中选取多个目标像素点，包括：

对所述超分分支网络倒数第二层的特征图进行基于均匀分布的随机过采样，得到k*N个像素点；

根据所述不确定度响应图，选择所述k*N个像素点中不确定度最大的β*N个点作为超分困难点；

将所述超分困难点，和对所述超分分支网络倒数第二层的特征图进行基于均匀分布的随机采样所得到的(1-β)*N个像素点，作为所述目标像素点；

其中，k大于1，N为所述多个目标像素点的总数，β大于或等于0且小于或等于1。

可选地，所述进行特征精炼，包括：

获取所述改进的分类超分ClassSR网络模型的超分分支网络第二层的特征图所对应的第二特征张量；

基于所述第二特征张量对所述第一特征张量进行特征精炼。

可选地，所述基于所述第二特征张量对所述第一特征张量进行特征精炼，包括：

将所述第二特征张量与所述第一特征张量按通道维度进行拼接；

将拼接后得到的特征张量通过一个1×1卷积层，使得卷积后得到的特征张量的通道数与所述第一特征张量的通道数相等，将所述卷积后得到的特征张量作为更新的第一特征张量；

根据所述更新的第一特征张量，按照设置的1×1卷积层的个数，重复多次所述拼接、所述通过一个1×1卷积层以及所述将所述卷积后得到的特征张量作为更新的第一特征张量的操作，将最后一次更新的第一特征张量作为特征精炼结果。

可选地，所述改进的分类超分ClassSR网络模型基于以下损失函数训练得到：

；

其中，为损失函数，为所述改进的分类超分ClassSR网络模型的超分分支网络输出的超分图像中的像素点总数，为所述改进的分类超分ClassSR网络模型的超分分支网络输出的超分图像中第个像素点的不确定度，为真实图像中第个像素点的像素，为所述改进的分类超分ClassSR网络模型的超分分支网络输出的超分图像中第个像素点的像素。

可选地，所述基于特征精炼结果，更新所述改进的分类超分ClassSR网络模型的超分分支网络倒数第二层的特征图，包括：

使用特征精炼结果中对应于每个所述目标像素点的新特征，替换所述超分分支网络倒数第二层的特征图中相应目标像素点的原特征，更新所述超分分支网络倒数第二层的特征图。

第二方面，本发明还提供一种改进的分类超分ClassSR网络模型，用于第一方面所述的图像超分处理方法，包括分类模块和超分模块；其中，

所述分类模块，用于将输入的待处理图像分割为多个子图像，按照超分难易程度对所述多个子图像进行分类，并输出至所述超分模块相应的超分分支网络；

所述超分模块，用于对输入至每个超分分支网络的子图像进行图像超分处理，输出所述子图像对应的超分重建图像和不确定度响应图；其中，所述不确定度响应图用于表征所述待处理图像中每个像素点的超分难易程度。

第三方面，本发明还提供一种图像超分处理装置，包括：

第一确定模块，用于将待处理图像输入改进的分类超分ClassSR网络模型，得到不确定度响应图，所述不确定度响应图用于表征所述待处理图像中每个像素点的超分难易程度；其中，所述改进的分类超分ClassSR网络模型是基于样本图像，以及所述样本图像对应的超分重建图像和像素点超分难易程度训练得到的；

更新模块，用于基于所述不确定度响应图，更新所述改进的分类超分ClassSR网络模型的超分分支网络倒数第二层的特征图；

第二确定模块，用于基于更新后的所述超分分支网络倒数第二层的特征图，得到所述待处理图像的超分重建图像。

第四方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述第一方面所述的图像超分处理方法。

第五方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上所述第一方面所述的图像超分处理方法。

本发明提供的图像超分处理方法、装置、电子设备及存储介质，通过获取待处理图像的不确定响应图，以及基于不确定响应图更新待处理图像的特征图并进行图像超分重建，使得图像超分更加精细、合理、高效，提升了超分网络的速度和精度。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的图像超分处理方法的流程示意图；

图2是本发明提供的图像特征精炼方法的流程示意图；

图3是本发明提供的图像超分处理装置的结构示意图；

图4是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图像超分辨率重建技术是将输入的模糊、包含信息较少的低分辨率图像重建为清晰、包含更多信息的高分辨率图像，是计算机视觉领域的一个经典问题。

重建生成的高分辨率图像可以为相关的下游计算机视觉任务提供服务，如目标检测、目标定位等，更加清晰、包含更多信息的高分辨率图像可以为这些视觉任务提供更多视觉信息，从而增强任务效果，提高识别正确率。

图像超分辨率重建应用前景十分广泛，如医学成像、安全检测、图像压缩等领域均有应用。随着深度学习在计算机视觉领域取得的巨大成功，基于深度学习的图像超分技术也成为了目前主流的研究方向。然而，基于深度学习的图像超分辨率重建算法虽然在图像重建上有性能的提高，但其计算复杂度通常会随着分辨率呈指数级上升，对于大图像超分任务的算力要求是许多应用场景都无法接受的。因此算法加速是超分领域的重要问题。

图像超分辨率任务中通过加大网络参数量和计算复杂度可以提升重建修复性能，但带来的代价是更高的计算成本，更长的计算时间，所以该方式不适用于很多计算能力受限的应用场景。轻量化的超分网络设计能降低计算成本和时间，但是对于复杂图像的超分效果并不好，因此针对该问题的一个有效策略就是结合两种不同的超分网络设计，运用分治法的思想设计超分网络，将大图像的超分问题分解成不同的子图像超分问题，并根据每个子图像的超分难易程度，使用不同规模的网络对其分别进行处理，从而减少了冗余的计算。然而，该分治策略仅将子问题分解到了子图像级别，并未达到满意的加速效果。

当前超分网络的加速方法主要分为两大类：

1、轻量化的超分网络结构设计。其中一般的超分网络结构设计方法采用多层神经网络直接在低分辨率和高分辨率图像之间建立端到端的非线性映射关系，而轻量化的超分网络结构设计方法会在网络结构、网络层数上进一步简化网络，以达到轻量化节省算力的目的。

2、分治法。现有的分治法将大图像的超分问题分解成不同子图像的超分问题，并根据每个子图像的超分难易程度，使用不同规模的超分网络分别对其进行超分重建，从而减少了冗余的计算。例如平滑区域的子图超分难度小，选择使用小规模的超分网络进行超分重建，高频、边缘区域的子图超分难度大，选择大规模的超分网络进行超分重建。

上述现有的超分网络加速方法主要有以下缺点:

1、轻量化的超分网络结构设计在超分重建效果上往往得不到较好的性能，尤其是一些噪音大、模糊程度高、包含信息小的图像上难以得到满意的效果。并且轻量化设计往往要求使用特定类型的网络结构，灵活性不强。

2、现有的分治策略仅将大图像的超分重建的子问题分解到子图像级别，并未达到满意的加速效果与超分重建性能。

基于当前超分网络加速方法的上述问题，本发明将分治策略中的子问题分解进一步深入到了超像素级，根据不同超像素的超分难易程度采用不同计算量的网络来分而治之，从而进一步在同等计算复杂度的情况下，挖掘网络的能力，实现加速。

本发明基于分治策略进行超分加速，并选择了代表性的分类Class超分（SuperResolution，SR）作为基础模型，其中ClassSR分为分类模块Class-Module跟超分模块SR-Module，对大图像进行分割为子图进行分治超分，Class-Module会根据子图的超分难易程度进行分类，然后应用SR-Module对不同类别的子图进行不同分支的超分网络的超分重建。Class-Module为分类网络，SR-Module由多个超分网络构成其多个分支，其中最大的分支为基础超分网络，其余分支为基础网络的简化版本。经过联合训练，大部分子图像将通过能与基础网络达到相同超分效果的最小的分支，从而降低了计算成本。

ClassSR将每个子图像的超分看作一个子问题，通过合理分配每个子图像的超分计算量，从而在不损失超分重建性能的同时，来达到网络加速的作用。当子问题被划分的更小时，整个超分网络的计算量会被分配的更为合理，从而得到更好的整体加速效果。因此，本发明在ClassSR基础上把子问题进一步划分到了比子图像级更小的超像素级，根据图像中每个超像素的超分难易程度，分配不同大小的计算量。

图1为本发明提供的图像超分处理方法的流程示意图，如图1所示，该方法包括如下步骤：

步骤100、将待处理图像输入改进的分类超分ClassSR网络模型，得到不确定度响应图，不确定度响应图用于表征待处理图像中每个像素点的超分难易程度；其中，改进的分类超分ClassSR网络模型是基于样本图像，以及样本图像对应的超分重建图像和像素点超分难易程度训练得到的。

具体地，本发明提供的改进的分类超分ClassSR网络模型可以是基于现有的分类超分ClassSR网络模型改进得到，其至少包括Class-Module和SR-Module两个模块。

其中，Class-Module可以与现有分类超分ClassSR网络模型的Class-Module相同，其包含多个卷积层、一个池化层和一个全连接层，可以将待处理图像分割为多个子图像，并按照超分难易程度对子图像进行分类。

SR-Module与现有分类超分ClassSR网络模型的SR-Module相比进行了改进，其每个超分分支网络包含多个卷积层和一个反卷积层，并且在现有分类超分ClassSR网络模型的SR-Module的每个超分分支网络的最后一层（即输出层）都增加一个通道，用于输出不确定度响应图。该不确定度响应图可用于表征子图像中每个像素点的超分难易程度，每个像素点的超分难易程度可以用不确定度来表示。每个超分分支网络输出层的其他通道可以输出不同的超分重建图像，例如，三通道色域（red green blue，RGB）图像。

一种实施方式中，输入图像输入本发明提供的改进的分类超分ClassSR网络模型，Class-Module首先将输入图像分割为多个子图像，并按照超分难易程度对子图像进行分类。然后，子图像按照超分难易程度进入SR-Module相应的分支网络进行处理，由于在SR-Module的每个分支网络的最后一层都增加了一个通道，因此输出结果由单一的RGB图像，变为三通道的RGB图像以及一通道的不确定度响应图。具体来说，可以在SR-Module中通过全卷积网络对输入的低分辨率图像进行特征提取，再通过反卷积层将提取出的特征图上采样4倍恢复出超分重建图像和不确定度响应图。

该改进的分类超分ClassSR网络模型可以是预先通过大量的样本图像，以及样本图像对应的超分重建图像和像素点超分难易程度训练得到的。训练过程中，可以利用现有的图片数据集，例如DIV2K、DIV8K、Set5等作为训练集、测试集和验证集对改进的分类超分ClassSR网络模型进行训练。

可选地，改进的分类超分ClassSR网络模型可以基于以下损失函数训练得到：

其中，为损失函数，为改进的分类超分ClassSR网络模型的超分分支网络输出的超分图像中的像素点总数，为改进的分类超分ClassSR网络模型的超分分支网络输出的超分图像中第个像素点的不确定度，为真实图像中第个像素点的像素，为改进的分类超分ClassSR网络模型的超分分支网络输出的超分图像中第个像素点的像素。

具体地，可以将SR-Module分支网络原来的L1损失函数（Loss）改进为一个处理困难敏感（hard case sensitive，HCS）Loss来同时学习超分辨率任务和不确定度响应图。

当像素点难以通过超分重建出来时，公式第一项中重建损失的值会较大，此时，为了使得整体损失平衡在一个较小的值，需要牺牲第二项，预测一个较大的来减少第一项的损失大小。当超分重建效果好时，会很小，为了得到较小的损失值，第一项中的会增大，但是公式第二项中的会制约的值增大，所以会预测一个较小的值。因此，值的大小与像素重建误差正相关，从而可以用来表示该位置像素的超分难度。通过优化，改进的分类超分ClassSR网络模型最终会输出超分重建图像以及不确定度响应图。

步骤101、基于不确定度响应图，更新改进的分类超分ClassSR网络模型的超分分支网络倒数第二层的特征图。

具体地，当得到待处理图像对应的不确定度响应图后，可以根据该不确定响应图，更新改进的分类超分ClassSR网络模型的超分分支网络倒数第二层的特征图。

可选地，基于不确定度响应图，更新改进的分类超分ClassSR网络模型的超分分支网络倒数第二层的特征图，包括：

基于不确定度响应图，在改进的分类超分ClassSR网络模型的超分分支网络倒数第二层的特征图中选取多个目标像素点，并提取对应于多个目标像素点的第一特征张量进行特征精炼；

基于特征精炼结果，更新改进的分类超分ClassSR网络模型的超分分支网络倒数第二层的特征图。

一种实施方式中，当得到待处理图像对应的不确定度响应图后，可以从改进的分类超分ClassSR网络模型的超分分支网络倒数第二层的特征图中选取多个目标像素点，并提取这些像素点对应的第一特征张量，用于后续的特征精炼。特征精炼可以通过已有的特征精炼方法实现，或者也可以用其他方式实现，在此不做限制。

在图像的特征图中，每个像素点都可以对应一个特征，该特征包括像素点在特征图的各个通道上的特征值。多个像素点对应的特征组成的集合，即为这些像素点对应的特征张量。

可选地，基于不确定度响应图，在改进的分类超分ClassSR网络模型的超分分支网络倒数第二层的特征图中选取多个目标像素点，包括：

对超分分支网络倒数第二层的特征图进行基于均匀分布的随机过采样，得到k*N个像素点；

根据不确定度响应图，选择k*N个像素点中不确定度最大的β*N个点作为超分困难点；

将超分困难点，和对超分分支网络倒数第二层的特征图进行基于均匀分布的随机采样所得到的(1-β)*N个像素点，作为目标像素点；

其中，k大于1，N为多个目标像素点的总数，β大于或等于0且小于或等于1。

例如，可以对待处理图像对应的不确定度响应图进行4倍双线性插值降采样，使其与改进的分类超分ClassSR网络模型的超分分支网络倒数第二层的特征图保持相同的尺度与大小。

然后对改进的分类超分ClassSR网络模型的超分分支网络倒数第二层的特征图进行基于均匀分布的随机过采样，得到k*N个像素点。

然后根据不确定度响应图中各像素点对应的不确定度值，在过采样得到的k*N个像素点中选择不确定度值最大的β*N个点作为超分困难点。

再对改进的分类超分ClassSR网络模型的超分分支网络倒数第二层的特征图进行基于均匀分布的随机采样，得到(1-β)*N个像素点。

将β*N个超分困难点和随机采样得到的(1-β)*N个像素点组合起来的N个像素点，作为目标像素点。

根据这N个目标像素点，可以得到第一特征张量（ B，C，N），其中 B为批量（batch）大小， C为改进的分类超分ClassSR网络模型的超分分支网络倒数第二层的特征图的通道数， N为最终采样点数量。

步骤102、基于更新后的超分分支网络倒数第二层的特征图，得到待处理图像的超分重建图像。

具体地，在得到更新后的超分分支网络倒数第二层的特征图后，可以根据特征图中每个像素点的特征，完成图像的超分重建。图像的超分重建过程，可以是通过其他网络模型完成，也可以是通过改进的分类超分ClassSR网络模型的超分分支网络完成。

一种实施方式中，可以将更新后的超分分支网络倒数第二层的特征图输入改进的分类超分ClassSR网络模型的超分分支网络的反卷积层中进行超分重建。该反卷积层可以根据特征图中每个像素点的特征，完成图像的超分重建，输出待处理图像的超分重建图像。

本发明提供的图像超分处理方法，通过获取待处理图像的不确定响应图，以及基于不确定响应图更新待处理图像的特征图并进行图像超分重建，使得图像超分更加精细、合理、高效，提升了超分网络的速度和精度。

可选地，进行特征精炼，包括：

获取改进的分类超分ClassSR网络模型的超分分支网络第二层的特征图所对应的第二特征张量；

基于第二特征张量对第一特征张量进行特征精炼。

具体地，获取改进的分类超分ClassSR网络模型的超分分支网络第二层的特征图所对应的第二特征张量的过程，与上述获取改进的分类超分ClassSR网络模型的超分分支网络倒数第二层的特征图所对应的第一特征张量的过程相类似，在此不做具体赘述。在得到改进的分类超分ClassSR网络模型的超分分支网络第二层的特征图所对应的第二特征张量后，可以根据该第二特征张量对改进的分类超分ClassSR网络模型的超分分支网络倒数第二层的特征图所对应的第一特征张量进行特征精炼。

可选地，基于第二特征张量对第一特征张量进行特征精炼，包括：

将第二特征张量与第一特征张量按通道维度进行拼接；

将拼接后得到的特征张量通过一个1×1卷积层，使得卷积后得到的特征张量的通道数与第一特征张量的通道数相等，将卷积后得到的特征张量作为更新的第一特征张量；

根据更新的第一特征张量，按照设置的1×1卷积层的个数，重复多次拼接、通过一个1×1卷积层以及将卷积后得到的特征张量作为更新的第一特征张量的操作，将最后一次更新的第一特征张量作为特征精炼结果。

可选地，基于特征精炼结果，更新改进的分类超分ClassSR网络模型的超分分支网络倒数第二层的特征图，可以是使用特征精炼结果中对应于每个目标像素点的新特征，替换超分分支网络倒数第二层的特征图中相应目标像素点的原特征，更新超分分支网络倒数第二层的特征图。

例如，在特征精炼结果中，包含改进的分类超分ClassSR网络模型的超分分支网络倒数第二层的特征图中多个目标像素点对应的新特征。

在改进的分类超分ClassSR网络模型的超分分支网络倒数第二层的特征图中，可以将每个目标像素点的原特征替换为对应的新特征。而对于非目标像素点，保持像素点的原特征不变。从而更新超分分支网络倒数第二层的特征图。

具体地，图2为本发明提供的图像特征精炼方法的流程示意图，如图2所示，可以按改进的分类超分ClassSR网络模型的超分分支网络倒数第二层的特征图的通道维度将改进的分类超分ClassSR网络模型的超分分支网络第二层的特征图（即低层特征）所对应的第二特征张量与改进的分类超分ClassSR网络模型的超分分支网络倒数第二层的特征图（即高层特征）所对应的第一特征张量进行拼接。

其中，按通道维度拼接特征张量，可以是将第二特征张量与第一特征张量中相对应的采样点的特征首尾相连进行拼接。即将第二特征张量中第1个采样点的特征与第一特征张量中第1个采样点的特征首尾相连进行拼接；将第二特征张量中第2个采样点的特征与第一特征张量中第2个采样点的特征首尾相连进行拼接；…；将第二特征张量中第N个采样点的特征与第一特征张量中第N个采样点的特征首尾相连进行拼接。

例如，第二特征张量中第1个采样点的特征为（0.2，0.3，0.4），第一特征张量中第1个采样点的特征为（0.3，0.3，0.4，0.4），则第二特征张量中第1个采样点的特征与第一特征张量中第1个采样点的特征首尾相连进行拼接的结果为（0.2，0.3，0.4，0.3，0.3，0.4，0.4）。

为了使拼接后得到的特征张量能够用于更新改进的分类超分ClassSR网络模型的超分分支网络第二层的特征图，可以将拼接后得到的特征张量通过一个1×1卷积层，使输出的特征张量的通道数与改进的分类超分ClassSR网络模型的超分分支网络倒数第二层的特征图的通道数相等。可以将卷积后输出的特征张量作为更新的第一特征张量进行后续进一步特征精炼。

一种实施方式中，设置的1×1卷积层的个数可以为3个。以下以通过3个1×1卷积层进行特征精炼为例对上述特征精炼过程进行简要说明。

例如，可以将第二特征张量与第一特征张量按通道维度进行拼接，将拼接后得到的特征张量通过第1个1×1卷积层，使得卷积后得到的特征张量的通道数与第一特征张量的通道数相等。

然后，再将第二特征张量与通过第1个1×1卷积层后得到的特征张量按通道维度进行拼接，将拼接后得到的特征张量通过第2个1×1卷积层，使得卷积后得到的特征张量的通道数与第一特征张量的通道数相等。

然后，再将第二特征张量与通过第2个1×1卷积层后得到的特征张量按通道维度进行拼接，将拼接后得到的特征张量通过第3个1×1卷积层，使得卷积后得到的特征张量的通道数与第一特征张量的通道数相等，此次卷积后得到的特征张量即作为特征精炼结果。

可选地，本发明中的特征精炼过程可以通过设置像素点精炼模块（Point RefineModule，PRM）实现，该PRM可以是单独设置的网络模块，也可以是包含于改进的分类超分ClassSR网络模型中。

具体来说，对于基础的图像超分网络，首先通过全卷积网络对输入的低分辨率图像进行特征提取，再通过反卷积层将提取出的特征图上采样4倍恢复出高分辨率图像和不确定度响应图。

基于该网络结构，首先只得到不确定度响应图进行4倍双线性插值降采样，使其与原超分分支网络倒数第二层的特征图保持相同的尺度与大小。

其次，对超分分支网络中间层的特征图进行基于均匀分布的随机过采样k*N（k大于1）个点，然后根据不确定度矩阵对应的k*N个点的不确定度，选择不确定度值最大的前（β大于或等于0且小于或等于1）个点作为超分困难点，再从特征图中基于均匀分布随机采样(1-β)*N个点作为随机点，将超分困难点与随机点拼成一个特征张量（ B，C，N），其中 B为batch大小， C为特征图的通道数， N为最终采样点数量。将原超分分支网络第二层与倒数第二层的特征图提取出这样一个特征张量，通过一个全连接网络进行精炼，训练将学习超分困难点的修复。具体实现为3层1×1卷积网络，每次将原超分分支网络倒数第二层特征与其第二层特征按第一维拼起来，通过1×1卷积后得到的新特征再次重复拼接再次通过卷积，最后输出通过一个1×1卷积将通道数恢复为原超分分支倒数第二层网络的原通道数，并将新特征覆盖原特征图，最后是通过超分网络原本的反卷积层恢复重建图像，训练所使用的损失函数为上述。

本发明提供的改进的分类超分ClassSR网络模型可以根据以下步骤进行模型训练和推理，该步骤包括：

1、模型训练：

1a、数据集以及数据处理：实验过程中使用到的数据集有DIV2K、DIV8K、Set5，并且有对这些数据集做了重新划分再使用，先分别简单介绍三个数据集的相关信息，再从训练、验证和测试的角度分别介绍重新划分使用的情况。

DIV2K是NTIRE2017超分辨率挑战赛发布的用于图像复原任务的高质量（2K分辨率）图像数据集。DIV2K数据集包含800张训练图像，100张验证图像和100张测试图像。

DIV8K是AIM2019新构建个一个数据集，它包含1500张分辨率最高达到8K的图像，相比DIV2K，它具有更多样性的场景，它用于进行16x和32x超分任务的训练。此外它还分别有100张用于验证和测试的高分辨率图像。

Set5数据集是由5张图像（“婴儿”、“鸟”、“蝴蝶”、“头部”、“女人”）组成的数据集，通常用于测试图像超分辨率模型的性能。

对以上的数据集进行了重新划分，以便适应实验需要。在SR-Module中使用DIV2K训练集作为单分支预训练的训练数据，首先将DIV2K训练集中的索引为0001到0800的图像分别进行0.6，0.7，0.8，0.9，1.0降采样因子的尺度变换，得到4000张原始高分辨率图像。接着将原始高分辨率图像进行模4取整，再进行降采样4倍得到4000张原始低分辨率图像。然后将原始高分辨率图像和原始低分辨率图像分别进行裁剪成1594077张的128*128的高分辨率子图像，以及1594077张的32*32的低分辨率子图像，根据这些子图像通过多尺度视网膜增强算法（Multi-Scale Retinex，MSR）残差网络（ResNet）的PSNR值，将子图像平均分为三类（高分辨率子图像跟低分辨率子图像分别各自分类）。最后，获得了用于SR-Module预训练的“简单，中等，困难”数据集。SR-Module使用的验证集为Set5。

将DIV2K验证集高分辨率图中索引为0801到0900的图像，以及低分辨率图中索引为0801x4到0900x4的图像，进行裁剪得到高分辨率128*128以及低分辨率32*32的子图像，根据这些子图像通过MSRResNet的峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）值，将子图像平均分为三类（高分辨率子图像跟低分辨率子图像分别各自分类）作为SR-Module测试集。

Class-Module使用上述步骤中生成的1594077张的128*128的高分辨率子图像，以及1594077张的32*32的低分辨率子图像作为训练集，不需要将子图像进行PSNR值的分类，Class-Module将通过训练学习将子图像自适应分类。从DIV2K验证集中选择10张图像（索引为0801到0810）在Class-Module训练期间作为验证集。

Class-Module的测试集来自DIV8K，共300张原始图（索引为1201到1500）。索引1201到1300的图像下采样为2K分辨率的高分辨率图，并再次下采样四倍作为低分辨率图。索引1301到1400的图像下采样为4K分辨率的高分辨率图，并再次下采样四倍作为低分辨率图。索引1401到1500的图像直接作为高分辨率图，并再次下采样四倍作为低分辨率图。所有图像均通过与训练阶段一样的裁剪得到子图像，但不需要将子图像进行PSNR值的分类，以此得到Class-Module的测试集。

1b、模型训练：模型训练分为两个步骤，先是SR-Module的每个分支网络的预训练，然后是Class-Module的联合训练。SR-Moudle训练使用的数据是DIV2K训练集经过分类的子图像，分别训练各个分支网络，验证集为Set5，测试集为DIV2K验证集。Class-Module联合训练中，先固定SR-Module中各个分支网络的权重，单独训练Class-Module，最后才联合训练微调，其中训练集为DIV2K训练集不经过分类的子图像，验证集为DIV2K验证集的前十张图片，测试集选自DIV8K（选择方法如数据集以及数据处理所述）。

2、模型推理：采用训练后的模型作为最终模型进行大图像超分重建。测试集选自DIV8K（选择方法如数据集以及数据处理所述）。

本发明还提供一种改进的分类超分ClassSR网络模型，用于实现上文描述的图像超分处理方法，该网络模型包括分类模块和超分模块；其中，

分类模块，用于将输入的待处理图像分割为多个子图像，按照超分难易程度对多个子图像进行分类，并输出至超分模块相应的超分分支网络；

超分模块，用于对输入至每个超分分支网络的子图像进行图像超分处理，输出子图像对应的超分重建图像和不确定度响应图；其中，不确定度响应图用于表征待处理图像中每个像素点的超分难易程度。

具体地，本发明提供的改进的分类超分ClassSR网络模型可以是基于现有的分类超分ClassSR网络模型改进得到，其至少包括分类模块和超分模块两个模块。

其中，分类模块可以与现有分类超分ClassSR网络模型的分类模块相同，其包含多个卷积层、一个池化层和一个全连接层，可以将待处理图像分割为多个子图像，并按照超分难易程度对子图像进行分类。

可选地，超分模块的每个超分分支网络的输出层都可以包含多个第一输出通道和一个第二输出通道，多个第一输出通道分别输出不同的超分重建图像，第二输出通道用于输出不确定度响应图。

一种实施方式中，超分模块与现有分类超分ClassSR网络模型的超分模块相比进行了改进，其每个超分分支网络包含多个卷积层和一个反卷积层，并且在现有分类超分ClassSR网络模型的超分模块的每个超分分支网络的输出层都增加一个通道，用于输出不确定度响应图。该不确定度响应图可用于表征子图像中每个像素点的超分难易程度，每个像素点的超分难易程度可以用不确定度来表示。每个超分分支网络输出层的其他通道可以输出不同的超分重建图像，例如，RGB图像。下面对本发明提供的图像超分处理装置进行描述，下文描述的图像超分处理装置与上文描述的图像超分处理方法可相互对应参照。

图3为本发明提供的图像超分处理装置的结构示意图，如图3所示，该装置包括：

第一确定模块300，用于将待处理图像输入改进的分类超分分类超分ClassSR网络模型，得到不确定度响应图，不确定度响应图用于表征待处理图像中每个像素点的超分难易程度；其中，改进的分类超分ClassSR网络模型是基于样本图像，以及样本图像对应的超分重建图像和像素点超分难易程度训练得到的；

更新模块301，用于基于不确定度响应图，更新改进的分类超分ClassSR网络模型的超分分支网络倒数第二层的特征图；

第二确定模块302，用于基于更新后的超分分支网络倒数第二层的特征图，得到待处理图像的超分重建图像。

可选地，基于不确定度响应图，更新改进的分类超分ClassSR网络模型的超分分支网络倒数第二层的特征图，包括：

基于不确定度响应图，在改进的分类超分ClassSR网络模型的超分分支网络倒数第二层的特征图中选取多个目标像素点，并提取对应于多个目标像素点的第一特征张量进行特征精炼；

基于特征精炼结果，更新改进的分类超分ClassSR网络模型的超分分支网络倒数第二层的特征图。

可选地，基于不确定度响应图，在改进的分类超分ClassSR网络模型的超分分支网络倒数第二层的特征图中选取多个目标像素点，包括：

对超分分支网络倒数第二层的特征图进行基于均匀分布的随机过采样，得到k*N个像素点；

根据不确定度响应图，选择k*N个像素点中不确定度最大的β*N个点作为超分困难点；

将超分困难点，和对超分分支网络倒数第二层的特征图进行基于均匀分布的随机采样所得到的(1-β)*N个像素点，作为目标像素点；

其中，k大于1，N为多个目标像素点的总数，β大于或等于0且小于或等于1。

可选地，进行特征精炼，包括：

获取改进的分类超分ClassSR网络模型的超分分支网络第二层的特征图所对应的第二特征张量；

基于第二特征张量对第一特征张量进行特征精炼。

可选地，基于第二特征张量对第一特征张量进行特征精炼，包括：

将第二特征张量与第一特征张量按通道维度进行拼接；

将拼接后得到的特征张量通过一个1×1卷积层，使得卷积后得到的特征张量的通道数与第一特征张量的通道数相等，将卷积后得到的特征张量作为更新的第一特征张量；

根据更新的第一特征张量，按照设置的1×1卷积层的个数，重复多次拼接、通过一个1×1卷积层以及将卷积后得到的特征张量作为更新的第一特征张量的操作，将最后一次更新的第一特征张量作为特征精炼结果。

可选地，改进的分类超分ClassSR网络模型基于以下损失函数训练得到：

其中，为损失函数，为改进的分类超分ClassSR网络模型的超分分支网络输出的超分图像中的像素点总数，为改进的分类超分ClassSR网络模型的超分分支网络输出的超分图像中第个像素点的不确定度，为真实图像中第个像素点的像素，为改进的分类超分ClassSR网络模型的超分分支网络输出的超分图像中第个像素点的像素。

可选地，基于特征精炼结果，更新改进的分类超分ClassSR网络模型的超分分支网络倒数第二层的特征图，包括：

使用特征精炼结果中对应于每个目标像素点的新特征，替换超分分支网络倒数第二层的特征图中相应目标像素点的原特征，更新超分分支网络倒数第二层的特征图。

在此需要说明的是，本发明提供的上述装置，能够实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。

图4为本发明提供的电子设备的结构示意图，如图4所示，该电子设备可以包括：处理器（processor）410、通信接口（Communications Interface）420、存储器（memory）430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行上述各实施例提供的任一所述图像超分处理方法。

此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

在此需要说明的是，本发明提供的电子设备，能够实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。

另一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的任一所述图像超分处理方法。

在此需要说明的是，本发明提供的非暂态计算机可读存储介质，能够实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (11)

1.一种图像超分处理方法，其特征在于，包括：

将待处理图像输入改进的分类超分ClassSR网络模型，得到不确定度响应图，所述不确定度响应图用于表征所述待处理图像中每个像素点的超分难易程度；其中，所述改进的分类超分ClassSR网络模型是基于样本图像，以及所述样本图像对应的超分重建图像和像素点超分难易程度训练得到的；

基于所述不确定度响应图，更新所述改进的分类超分ClassSR网络模型的超分分支网络倒数第二层的特征图；

基于更新后的所述超分分支网络倒数第二层的特征图，得到所述待处理图像的超分重建图像。

2.根据权利要求1所述的图像超分处理方法，其特征在于，所述基于所述不确定度响应图，更新所述改进的分类超分ClassSR网络模型的超分分支网络倒数第二层的特征图，包括：

基于所述不确定度响应图，在所述改进的分类超分ClassSR网络模型的超分分支网络倒数第二层的特征图中选取多个目标像素点，并提取对应于所述多个目标像素点的第一特征张量进行特征精炼；

基于特征精炼结果，更新所述改进的分类超分ClassSR网络模型的超分分支网络倒数第二层的特征图。

3.根据权利要求2所述的图像超分处理方法，其特征在于，所述基于所述不确定度响应图，在所述改进的分类超分ClassSR网络模型的超分分支网络倒数第二层的特征图中选取多个目标像素点，包括：

对所述超分分支网络倒数第二层的特征图进行基于均匀分布的随机过采样，得到k*N个像素点；

根据所述不确定度响应图，选择所述k*N个像素点中不确定度最大的β*N个点作为超分困难点；

将所述超分困难点，和对所述超分分支网络倒数第二层的特征图进行基于均匀分布的随机采样所得到的(1-β)*N个像素点，作为所述目标像素点；

其中，k大于1，N为所述多个目标像素点的总数，β大于或等于0且小于或等于1。

4.根据权利要求2或3所述的图像超分处理方法，其特征在于，所述进行特征精炼，包括：

获取所述改进的分类超分ClassSR网络模型的超分分支网络第二层的特征图所对应的第二特征张量；

基于所述第二特征张量对所述第一特征张量进行特征精炼。

5.根据权利要求4所述的图像超分处理方法，其特征在于，所述基于所述第二特征张量对所述第一特征张量进行特征精炼，包括：

将所述第二特征张量与所述第一特征张量按通道维度进行拼接；

将拼接后得到的特征张量通过一个1×1卷积层，使得卷积后得到的特征张量的通道数与所述第一特征张量的通道数相等，将所述卷积后得到的特征张量作为更新的第一特征张量；

根据所述更新的第一特征张量，按照设置的1×1卷积层的个数，重复多次所述拼接、所述通过一个1×1卷积层以及所述将所述卷积后得到的特征张量作为更新的第一特征张量的操作，将最后一次更新的第一特征张量作为特征精炼结果。

6.根据权利要求1所述的图像超分处理方法，其特征在于，所述改进的分类超分ClassSR网络模型基于以下损失函数训练得到：

；

其中，为损失函数，为所述改进的分类超分ClassSR网络模型的超分分支网络输出的超分图像中的像素点总数，为所述改进的分类超分ClassSR网络模型的超分分支网络输出的超分图像中第个像素点的不确定度，为真实图像中第个像素点的像素，为所述改进的分类超分ClassSR网络模型的超分分支网络输出的超分图像中第个像素点的像素。

7.根据权利要求2或5所述的图像超分处理方法，其特征在于，所述基于特征精炼结果，更新所述改进的分类超分ClassSR网络模型的超分分支网络倒数第二层的特征图，包括：

使用特征精炼结果中对应于每个所述目标像素点的新特征，替换所述超分分支网络倒数第二层的特征图中相应目标像素点的原特征，更新所述超分分支网络倒数第二层的特征图。

8.一种改进的分类超分ClassSR网络模型，用于权利要求1所述的图像超分处理方法，其特征在于，包括分类模块和超分模块；其中，

所述分类模块，用于将输入的待处理图像分割为多个子图像，按照超分难易程度对所述多个子图像进行分类，并输出至所述超分模块相应的超分分支网络；

所述超分模块，用于对输入至每个超分分支网络的子图像进行图像超分处理，输出所述子图像对应的超分重建图像和不确定度响应图；其中，所述不确定度响应图用于表征所述待处理图像中每个像素点的超分难易程度。

9.一种图像超分处理装置，其特征在于，包括：

第一确定模块，用于将待处理图像输入改进的分类超分ClassSR网络模型，得到不确定度响应图，所述不确定度响应图用于表征所述待处理图像中每个像素点的超分难易程度；其中，所述改进的分类超分ClassSR网络模型是基于样本图像，以及所述样本图像对应的超分重建图像和像素点超分难易程度训练得到的；

更新模块，用于基于所述不确定度响应图，更新所述改进的分类超分ClassSR网络模型的超分分支网络倒数第二层的特征图；

第二确定模块，用于基于更新后的所述超分分支网络倒数第二层的特征图，得到所述待处理图像的超分重建图像。

10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述图像超分处理方法。

11.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述图像超分处理方法。

Images