CN116205790A - 图像超分处理方法、装置、存储介质、产品及电子设备 - Google Patents

Abstract

本申请公开了一种图像超分处理方法、装置、存储介质及电子设备，其中，方法包括：对原始图像进行特征提取处理，获得所述原始图像的第一数目个特征图，对所述第一数目个特征图进行上下文信息提取处理，获得所述原始图像的语义分支特征图，对所述第一数目个特征图进行空间信息提取处理，获得所述原始图像的空间分支特征图，基于所述语义分支特征图和所述空间分支特征图进行上采样处理，获得所述原始图像的目标图像，所述目标图像的分辨率高于所述原始图像的分辨率。

Description

图像超分处理方法、装置、存储介质、产品及电子设备

技术领域

本申请涉及计算机技术领域，尤其涉及一种图像超分方法、装置、产品、存储介质及电子设备。

背景技术

由于拍摄设备、数据传输等原因，一些图像的分辨率较低、图像较模糊，但是用户出于图像处理、图像查看等目的需要分辨率更高的清晰图像，现有技术中可以将分辨率较低的图像进行图像超分(super-Resolution)处理，从而得到分辨率更高的图像，但是现有技术中超分处理难以得到图像中的细节特征，超分处理后的图像清晰度难以得到明显的改善，需要提出一种获取图像像素关联、挖掘图像细节特征，提高图像分辨率和清晰度的超分处理方法。

发明内容

本申请实施例提供了一种图像超分处理方法、装置、存储介质及电子设备，可以通过获取原始图像的上下文信息和空间信息，再结合上下文信息和空间信息进行上采样得到目标图像，提高图像的分辨率和清晰度。所述技术方案如下：

第一方面，本申请实施例提供了一种图像超分处理方法，所述方法包括：

对原始图像进行特征提取处理，获得所述原始图像的第一数目个特征图；

对所述第一数目个特征图进行上下文信息提取处理，获得所述原始图像的语义分支特征图；

对所述第一数目个特征图进行空间信息提取处理，获得所述原始图像的空间分支特征图；

基于所述语义分支特征图和所述空间分支特征图进行上采样处理，获得所述原始图像的目标图像，所述目标图像的分辨率高于所述原始图像的分辨率。

第二方面，本申请实施例提供了一种图像超分处理装置，所述装置包括：

通道分离模块，用于对原始图像进行特征提取处理，获得所述原始图像的第一数目个特征图；

语义分支模块，用于对所述第一数目个特征图进行上下文信息提取处理，获得所述原始图像的语义分支特征图；

空间分支模块，用于对所述第一数目个特征图进行空间信息提取处理，获得所述原始图像的空间分支特征图；

上采样处理模块，用于基于所述语义分支特征图和所述空间分支特征图进行上采样处理，获得所述原始图像的目标图像，所述目标图像的分辨率高于所述原始图像的分辨率。

第三方面，本申请实施例提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。

第四方面，本申请实施例提供一种计算机程序产品，所述计算机程序产品存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。

第五方面，本申请实施例提供一种电子设备，可包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法步骤。

在本申请一个或多个实施例中，对原始图像进行特征提取处理，获得所述原始图像的第一数目个特征图，对所述第一数目个特征图进行上下文信息提取处理，获得所述原始图像的语义分支特征图，对所述第一数目个特征图进行空间信息提取处理，获得所述原始图像的空间分支特征图，基于所述语义分支特征图和所述空间分支特征图进行上采样处理，获得所述原始图像的目标图像，所述目标图像的分辨率高于所述原始图像的分辨率。通过获取原始图像的上下文信息和空间信息，再结合上下文信息和空间信息进行上采样得到目标图像，提高了图像的分辨率和清晰度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种图像超分处理的举例示意图；

图2是本申请实施例提供的一种图像超分处理方法的流程示意图；

图3是本申请实施例提供的一种图像超分处理方法的流程示意图；

图4是本申请实施例提供的一种语义分支特征图获取的举例示意图；

图5是本申请实施例提供的一种目标图像获取的举例示意图；

图6是本申请实施例提供的一种图像超分处理装置的结构示意图；

图7是本申请实施例提供的一种语义分支模块的结构示意图；

图8是本申请实施例提供的一种上采样处理模块的结构示意图；

图9是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图像超分处理装置可以为手机、平板电脑、车载设备和可穿戴设备等终端设备，也可以为终端设备中用于实现图像超分处理方法的模块或应用程序。图像超分处理可以将低分辨率图像或图像序列恢复出高分辨率图像，图像超分处理装置可以对原始图像进行图像超分处理，从而得到目标图像，目标图像的分辨率高于原始图像的分辨率，可以理解的是，原始图像还可以为热图像，热图像即为记录物体本身或向外辐射的热量或温度的图像。图像超分装置可以对原始图像进行特征提取处理，从而获得原始图像的第一数目个特征图，例如，图像超分装置可以采用通道数为第一数目、卷积核为第一尺寸的第一卷积层，对原始图像进行特征提取处理，从而获得原始图像对应的第一数目个特征图，其中第一数目和第一尺寸可以为图像超分处理装置的初始设置，也可以由用户或相关工作人员进行设置，例如第一尺寸可以为3×3，即第一卷积层的通道数为第一数目、卷积核尺寸为3×3。可以理解的是，原始图像的特征图为一张图像，不同的特征图所关注的原始图像的特征不同，例如原始图像中包含人物、车辆和树木，特征图可以分别关注人物、车辆和树木的轮廓、色彩等特征。图像超分处理装置对原始图像进行图像超分处理时可以进行通道分离，可以提高对热图像的图像超分处理效果。

请参见图1，为本申请实施例提供了一种图像超分处理的举例示意图，图像超分处理装置采用第一卷积层对原始图像进行特征提取处理，得到第一数目个特征图后，可以分别采用语义分支模块和空间分支模块对第一数目个特征图进行处理，其中语义分支模块和空间分支模块均可以为一种基于移动窗口的层级(多尺度)视觉转换器(HierarchicalVision Transformer using Shifted Windows，Swin Transformer)，语义分支模块可以对第一数目个特征图进行上下文信息提取处理，从而获得原始图像的语义分支特征图，可以理解的是，原始图像中的每一个像素点不可能是孤立的，一个像素一定和周围像素存在一定的关系，大量像素的互相联系才产生了原始图像中的各种物体，上下文特征即为像素以及周边像素的联系，上下文信息提取处理可以获取原始图像中上下文特征。空间分支模块可以对第一数目个特征图进行空间信息提取处理，从而获得原始图像的空间分支特征图，空间信息提取处理可以获取原始图像中物体的轮廓、位置等空间特征。然后图像超分处理装置可以基于语义分支特征图和空间分支特征图进行上采样处理，从而得到原始图像的目标图像。上采样处理可以放大图像、使得图像变成更高分辨率的图像，基于语义分支特征图和空间分支特征图进行上采样处理，可以使得目标图像更清晰。

下面结合具体的实施例对本申请提供的图像超分处理方法进行详细说明。

请参见图2，为本申请实施例提供了一种图像超分处理方法的流程示意图。如图2所示，本申请实施例的所述方法可以包括以下步骤S102-S108。

S102，对原始图像进行特征提取处理，获得原始图像的第一数目个特征图。

具体的，用户可以向图像超分处理装置发送原始图像以及针对原始图像的图像超分处理指令，图像超分处理指令可以为语音指令或手势指令等，当图像超分处理装置接收到原始图像以及针对原始图像的图像超分处理指令后，可以对原始图像进行特征提取处理，从而获得原始图像的第一数目个特征图。例如，图像超分处理装置可以采用通道数为第一数目、卷积核为第一尺寸的第一卷积层，对原始图像进行特征提取处理，从而获得原始图像对应的第一数目个特征图，其中第一数目和第一尺寸可以为图像超分处理装置的初始设置，也可以由用户或相关工作人员进行设置。

S104，对第一数目个特征图进行上下文信息提取处理，获得原始图像的语义分支特征图。

具体的，图像超分处理装置可以对第一数目个特征图进行上下文信息提取处理，从而获得原始图像的语义分支特征图，可以理解的，是语义分支特征图可以为至少一个特征图，例如语义分支特征图的数目可以为第一数目。

图像超分处理装置可以使用语义分支模块对第一数目个特征图进行上下文信息提取处理，语义分支模块可以提取图像中的上下文特征。语义分支模块中可以包括至少一个Swin Based Block，每个Swin Based Block可以包括至少一层Swin Basic Layer，SwinBasic Layer用于提取图像中的特征信息，从而使得语义分支模块可以提取到原始图像中深层的细节信息，使得图像超分处理装置得到的目标图像清晰度更高。

语义分支模块中还可以包括注意力优化模块(Attention Refinement Module，ARM)，图像超分处理装置除了可以对特征图进行上下文信息提取处理，还可以对特征图采用ARM对特征图进行注意力调整处理，例如图像超分处理装置可以对特征图进行上下文信息提取处理到的上下文信息特征图，还可以对特征图进行注意力调整处理得到注意力调整信息，基于上下文信息特征图和注意力调整信息，得到原始图像的语义分支特征图，ARM可以帮助图像超分处理装置维护图片的上下文特征。

S106，对第一数目个特征图进行空间信息提取处理，获得原始图像的空间分支特征图。

具体的，图像超分处理装置可以对第一数目个特征图信息空间信息提取处理，从而获得原始图像的空间分支特征图，可以理解的，是空间分支特征图可以为至少一个特征图，例如空间分支特征图的数目可以为第一数目。

图像超分处理装置可以采用空间分支模块对第一数目个特征图进行空间信息提取处理，空间分支模块可以包括至少一层Swin Basic Layer，例如空间分支模块可以包括两层Swin Basic Layer，使得空间分支模块可以保留原始图像中的空间信息。

S108，基于语义分支特征图和空间分支特征图进行上采样处理，获得原始图像的目标图像。

具体的，图像超分处理装置可以对语义分支特征图和空间分支特征图进行特征融合处理，从而获得原始图像的视觉融合特征图，再对视觉融合特征图进行上采样处理，获得原始图像的目标图像，目标图像的分辨率高于原始图像的分辨率，例如，图像超分处理装置可以采用特征融合模块(Feature Fusion Module，FFM)对语义分支特征图和空间分支特征图进行特征融合处理。

在本申请实施例中，对原始图像进行特征提取处理，获得所述原始图像的第一数目个特征图，对所述第一数目个特征图进行上下文信息提取处理，获得所述原始图像的语义分支特征图，对所述第一数目个特征图进行空间信息提取处理，获得所述原始图像的空间分支特征图，基于所述语义分支特征图和所述空间分支特征图进行上采样处理，获得所述原始图像的目标图像，所述目标图像的分辨率高于所述原始图像的分辨率。通过获取原始图像的上下文信息和空间信息，再结合上下文信息和空间信息进行上采样得到目标图像，提高了图像的分辨率和清晰度。

请参见图3，为本申请实施例提供了一种图像超分处理方法的流程示意图。如图3所示，本申请实施例的所述方法可以包括以下步骤S202-S2012。

S202，获取通道数为第一数目、卷积核为第一尺寸的第一卷积层，采用第一卷积层对原始图像进行特征提取处理，获得原始图像的第一数目个特征图。

具体的，用户可以向图像超分处理装置发送原始图像以及针对原始图像的图像超分处理指令，图像超分处理指令可以为语音指令或手势指令等，当图像超分处理装置接收到原始图像以及针对原始图像的图像超分处理指令后，可以对原始图像进行特征提取处理，从而获得原始图像的第一数目个特征图。

图像超分处理装置可以获取通道数为第一数目、卷积核为第一尺寸的第一卷积层，然后采用第一卷积层对原始图像进行特征提取处理，从而获得原始图像对应的第一数目个特征图，其中第一数目和第一尺寸可以为图像超分处理装置的初始设置，也可以由用户或相关工作人员进行设置。

S204，对第一数目个特征图进行上下文信息提取处理，获得原始图像的语义分支特征图。

具体的，图像超分处理装置可以对第一数目个特征图进行上下文信息提取处理，从而获得原始图像的语义分支特征图，可以理解的，是语义分支特征图可以为至少一个特征图，例如语义分支特征图的数目可以为第一数目。图像超分处理装置可以使用语义分支模块对第一数目个特征图进行上下文信息提取处理，语义分支模块可以提取图像中的上下文特征。语义分支模块中可以包括至少一个Swin Based Block，每个Swin Based Block可以包括至少一层Swin Basic Layer，Swin Basic Layer用于提取图像中的特征信息，从而使得语义分支模块可以提取到原始图像中深层的细节信息，使得图像超分处理装置得到的目标图像清晰度更高。语义分支模块中还可以包括ARM，图像超分处理装置除了可以对特征图进行上下文信息提取处理，还可以对特征图采用ARM对特征图进行注意力调整处理，例如图像超分处理装置可以对特征图进行上下文信息提取处理到的上下文信息特征图，还可以对特征图进行注意力调整处理得到注意力调整信息，基于上下文信息特征图和注意力调整信息，得到原始图像的语义分支特征图，ARM可以帮助图像超分处理装置维护图片的上下文特征。

可选的，在采用Swin Based Block和ARM对于特征图进行处理之前，图像超分处理装置可以获取通道数为第二数目、卷积核为第二尺寸的第二卷积层，其中，第二数目为第一数目的两倍，第二尺寸可以为图像超分处理装置的初始设置，也可以由用户或相关工作人员进行设置，例如第二卷积层可以为通道数为第二数目、卷积核尺寸为5×5的卷积层。图像超分处理装置可以采用第二卷积层对第一数目个特征图进行特征提取处理，从而得到第二数目个特征图，然后采用Swin Based Block对第二数目个特征中二分之一的特征图进行上下文信息提取处理，采用ARM对第二数目个特征中另外二分之一的特征图进行注意力调整处理。

可选的，图像超分处理装置可以将第二数目个特征图拆分为第一特征数据集和第二特征数据集，其中，第一特征数据集和第二特征数据集中的特征图数目均为第一数目，然后采用Swin Based Block对第一特征数据集中的特征图进行上下文信息提取处理，得到上下文信息特征图，采用ARM对第二特征数据集中的特征图进行注意力调整处理，得到注意力调整信息，然后基于上下文信息特征图和注意力调整信息，得到原始图像的语义分支特征图。可以理解的是，图像超分处理装置可以采用FFM对上下文信息特征图和注意力调整信息进行特征融合处理，得到原始图像的语义分支特征图。

可选的，图像超分处理装置是采用语义分支模块对第一数目个特征图进行上下文信息提取处理，语义分支模块可以包括至少一个Swin Based Block，图像超分处理装置可以依次采用至少一个Swin Based Block中的各Swin Based Block对第一特征数据集中的特征图进行上下文信息提取处理，从而得到上下文信息特征图，然后基于上下文信息特征图和注意力调整信息，得到原始图像的语义分支特征图。

可选的，请一并参见图4，为本申请实施例提供了一种语义分支特征图获取的举例示意图，图像超分处理装置可以采用至少一个Swin Based Block对第一特征数据集中的特征图进行上下文信息提取处理，例如可以采用三个Swin Based Block进行上下文信息提取处理，分别为Swin Based Block-1、Swin Based Block-2和Swin Based Block-3，图像超分装置采用第二卷积层对第一数目个特征图进行特征提取处理获得第二数目个特征图，将第二数目个特征图中的二分之一，即第一数目个特征图采用Swin Based Block进行上下文信息提取处理，再次得到处理后的第一数目个特征图，将处理后的第一数目个特征图和处理前的第一数目个特征图进行拼接得到处理后的第二数目个特征图，图像超分处理装置可以将处理后的第二数目个特征图中的二分之一的特征图，采用下一个Swin Based Block进行上下文信息提取处理，将处理后的第二数目个特征图中的另外二分之一的特征图输入ARM。

如图4所示，若第一数目为N，N为正整数，即图像超分处理装置可以将N个特征图输入第二卷积层得到2N个特征图，然后将其中N个特征图输入Swin Based Block-1，另外N个特征图输入ARM，图像超分处理装置可以将输入Swin Based Block-1的N个特征图和SwinBased Block-1输出的N个特征图进行拼接得到2N个特征图，从拼接得到的2N个特征图中随机获取N个特征图输入Swin Based Block-2，将拼接得到的2N个特征图中另外N个特征图输入ARM，重复以上步骤直到所有Swin Based Block均完成了上下文信息提取处理，获得上下文信息特征图，然后获取ARM输出的注意力调整信息，基于注意力调整信息和上下文信息特征图得到语义分支特征图。

S206，对第一数目个特征图进行空间信息提取处理，获得原始图像的空间分支特征图。

具体的，图像超分处理装置可以对第一数目个特征图信息空间信息提取处理，从而获得原始图像的空间分支特征图，可以理解的，是空间分支特征图可以为至少一个特征图，例如空间分支特征图的数目可以为第一数目。图像超分处理装置可以采用空间分支模块对第一数目个特征图进行空间信息提取处理，空间分支模块可以包括至少一层SwinBasic Layer，例如空间分支模块可以包括两层Swin Basic Layer，使得空间分支模块可以保留原始图像中的空间信息。

可选的，图像超分处理装置可以获取通道数为第一数目、卷积核为第三尺寸的第三卷积层，第三尺寸可以为图像超分处理装置的初始设置，也可以由用户或相关工作人员进行设置，例如第三卷积层可以为通道数为第一数目、卷积核为5×5的卷积层。图像超分处理装置可以采用第三卷积层对第一数目个特征图进行特征提取处理，获得第一数目个轮廓特征图，然后采用至少一层Swin Basic Layer对第一数目个轮廓特征图进行空间信息提取处理，从而获得原始图像的空间分支特征图。

S208，对语义分支特征图和空间分支特征图进行特征融合处理，获得原始图像的视觉融合特征图。

具体的，图像超分处理装置可以对语义分支特征图和空间分支特征图进行特征融合处理，从而获得原始图像的视觉融合特征图。

可选的，图像超分处理装置可以采用FFM对语义分支特征图和空间分支特征图进行特征融合处理。

S210，采用通道数为第三数目的卷积层对视觉融合特征图进行特征提取处理，得到第三数目个特征图。

具体的，图像超分处理装置可以获取通道数为第三数目的卷积层，采用通道数为第三数目的卷积层对视觉融合特征图进行特征提取处理，得到第三数目个特征图，其中第三数目可以为图像超分处理装置的初始设置，也可以为用户或者相关工作人员进行设置，第三数目可以与第一数目或者第二数目相同，也可以与第一数目和第二数目均不相同。

可选的，图像超分处理装置可以获取通道数为第三数目、卷积核为第三尺寸的第三卷积层，例如第三卷积层可以为通道数为第三数目、卷积核为1×1的卷积层，采用第三卷积层对视觉融合特征图进行特征提取处理。

S212，对第三数目个特征图进行上采样处理，获得第三数目个高分辨率特征图，基于第三数目个高分辨率特征图，获得原始图像的目标图像。

具体的，图像超分处理装置可以对第三数目个特征图进行上采样处理，从而获取到第三数目个高分辨率特征图，基于第三数目个高分辨率特征图获得原始图像的目标图像，目标图像的分辨率高于原始图像的分辨率，例如图像超分处理装置可以对第三数目个高分辨率特征图进行合成处理，得到原始图像的目标图像。

可选的，图像超分处理装置在对第三数目个高分辨率特征图进行合成处理之前，还可以经由至少一个通道数为第四数目的卷积层进行特征提取处理，完成通道分离，例如图像超分处理可以采用两个通道数为第四数目的卷积层，即第四卷积层和第五卷积层，依次对第三数目个高分辨率特征图进行特征提取处理，得到第四数目个通道分离特征图，再对第四数目个通道分离特征图进行合成处理，到原始图像的目标图像。其中，第四数目可以为图像超分处理装置的初始设置，也可以有用户或相关工作人员进行设置，第四数目可以与第一数目、第二数目或第三数目中的任一数目相同，也可以与第一数目、第二数目和第三数目均不相同，第四卷积层的卷积核大小可以为1×1，第五卷积层的卷积核大小可以为3×3。

可选的，图像超分处理装置可以对视觉融合特征图进行上采样处理，得到上采样处理图像，并且对原始图像进行双三次插值处理，得到插值处理图像，然后基于上采样处理图像和插值处理图像，获得原始图像的目标图像，例如，图像超分处理装置可以对上采样处理图像和插值处理图像进行合成处理，获得原始图像的目标图像。

可选的，请一并参见图5，为本申请实施例提供了一种目标图像获取的举例示意图，图像超分处理装置可以采用通道数为第三数目、卷积核为第三尺寸的第三卷积层对视觉融合特征图进行特征提取处理，获得第三数目个特征图，然后对第三数目个特征图进行上采样处理得到第三数目个高分辨率特征图，然后通过通道数为第四数目，卷积核大小为1×1的第四卷积层，以及通道数为第四数目，卷积核大小为3×3的第五卷积层对第三数目个高分辨率特征图进行特征提取处理，获得上采样处理图像，并且对原始图像进行双三次插值处理得到插值处理图像，对上采样处理图像和插值处理图像进行合成处理，获得原始图像的目标图像。

在本申请实施例中，获取通道数为第一数目、卷积核为第一尺寸的第一卷积层，采用第一卷积层对原始图像进行特征提取处理，获得原始图像的第一数目个特征图，对第一数目个特征图进行上下文信息提取处理，获得原始图像的语义分支特征图，对所述第一数目个特征图进行空间信息提取处理，获得所述原始图像的空间分支特征图，分别获取原始图像的上下文信息和空间信息，可以获取原始图像中更为细节的特征，消除图像中的噪点、提高图像清晰度。基于所述语义分支特征图和所述空间分支特征图进行上采样处理，在上采样处理的前后还可以采用卷积层进行特征提取处理，可以对原始图像进行双三次插值处理，得到插值处理图像，然后基于上采样处理图像和插值处理图像，获得原始图像的目标图像，目标图像的分辨率高于所述原始图像的分辨率。通过获取原始图像的上下文信息和空间信息，再结合上下文信息和空间信息进行上采样得到目标图像，提高了图像的分辨率和清晰度，并且在图像超分处理的同时实现通道分离，若原始图像为热图像也能提高图像超分处理的效果、提高目标图像的清晰度。

下面将结合附图6-附图8，对本申请实施例提供的图像超分处理装置进行详细介绍。需要说明的是，附图6-附图8中的图像超分处理装置，用于执行本申请图2和图3所示实施例的方法，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请图2和图3所示的实施例。

请参见图6，其示出了本申请一个示例性实施例提供的图像超分处理装置的结构示意图。该图像超分处理装置可以通过软件、硬件或者两者的结合实现成为装置的全部或一部分。该装置1包括通道分离模块11、语义分支模块12、空间分支模块13和上采样处理模块14。

通道分离模块11，用于对原始图像进行特征提取处理，获得所述原始图像的第一数目个特征图；

可选的，所述通道分离模块11具体用于获取通道数为第一数目、卷积核为第一尺寸的第一卷积层；

采用所述第一卷积层对所述原始图像进行特征提取处理，获得所述原始图像的所述第一数目个特征图。

语义分支模块12，用于对所述第一数目个特征图进行上下文信息提取处理，获得所述原始图像的语义分支特征图；

具体的，请一并参见图7，为本申请实施例提供了一种语义分支模块的结构示意图。所图7所示，所述语义分支模块12可以包括：

卷积层获取单元121，用于获取通道数为第二数目、卷积核为第二尺寸的第二卷积层；

特征提取单元122，用于采用所述第二卷积层对所述第一数目个特征图进行特征提取处理，得到所述第二数目个特征图；

特征图拆分单元123，用于将所述第二数目个特征图拆分为第一特征数据集和第二特征数据集，其中，所述第二数目为所述第一数目的两倍，所述第一特征数据集和所述第二特征数据集中的特征图数目均为所述第一数目；

信息提取单元124，用于对所述第一特征数据集中的特征图进行上下文信息提取处理，得到上下文信息特征图；

注意力调整单元125，用于对所述第二特征数据集中的特征图进行注意力调整处理，得到注意力调整信息；

语义分支单元126，用于基于所述上下文信息特征图和所述注意力调整信息，得到所述原始图像的语义分支特征图。

空间分支模块13，用于对所述第一数目个特征图进行空间信息提取处理，获得所述原始图像的空间分支特征图；

可选的，所述空间分支模块13具体用于获取通道数为第一数目、卷积核为第三尺寸的第三卷积层；

采用所述第三卷积层对所述第一数目个特征图进行特征提取处理，得到所述第一数目个轮廓特征图；

对所述第一数目个轮廓特征图进行空间信息提取处理，获得所述原始图像的空间分支特征图。

上采样处理模块14，用于基于所述语义分支特征图和所述空间分支特征图进行上采样处理，获得所述原始图像的目标图像，所述目标图像的分辨率高于所述原始图像的分辨率。

具体的，请一并参见图8，为本申请实施例提供了一种上采样处理模块的结构示意图。所图8所示，所述上采样处理模块14可以包括：

特征融合单元141，用于对所述语义分支特征图和所述空间分支特征图进行特征融合处理，获得所述原始图像的视觉融合特征图；

上采样处理单元142，用于对所述视觉融合特征图进行上采样处理，获得所述原始图像的目标图像。

可选的，所述上采样处理单元142具体用于采用通道数为第三数目的卷积层对所述视觉融合特征图进行特征提取处理，得到所述第三数目个特征图；

对所述第三数目个特征图进行上采样处理，获得所述第三数目个高分辨率特征图；

基于所述第三数目个高分辨率特征图，获得所述原始图像的目标图像。

可选的，所述上采样处理单元142具体用于对所述视觉融合特征图进行上采样处理，得到上采样处理图像；

对所述原始图像进行双三次插值处理，得到插值处理图像；

基于所述上采样处理图像和所述插值处理图像，获得所述原始图像的目标图像。

在本实施例中，获取通道数为第一数目、卷积核为第一尺寸的第一卷积层，采用第一卷积层对原始图像进行特征提取处理，获得原始图像的第一数目个特征图，对第一数目个特征图进行上下文信息提取处理，获得原始图像的语义分支特征图，对所述第一数目个特征图进行空间信息提取处理，获得所述原始图像的空间分支特征图，分别获取原始图像的上下文信息和空间信息，可以获取原始图像中更为细节的特征，消除图像中的噪点、提高图像清晰度。基于所述语义分支特征图和所述空间分支特征图进行上采样处理，在上采样处理的前后还可以采用卷积层进行特征提取处理，可以对原始图像进行双三次插值处理，得到插值处理图像，然后基于上采样处理图像和插值处理图像，获得原始图像的目标图像，目标图像的分辨率高于所述原始图像的分辨率。通过获取原始图像的上下文信息和空间信息，再结合上下文信息和空间信息进行上采样得到目标图像，提高了图像的分辨率和清晰度，并且在图像超分处理的同时实现通道分离，若原始图像为热图像也能提高图像超分处理的效果、提高目标图像的清晰度。

需要说明的是，上述实施例提供的图像超分处理装置在执行图像超分处理方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像超分处理装置与图像超分处理方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

本申请实施例还提供了一种计算机存储介质，所述计算机存储介质可以存储有多条指令，所述指令适于由处理器加载并执行如上述图1-图5所示实施例的所述图像超分处理方法，具体执行过程可以参见图1-图5所示实施例的具体说明，在此不进行赘述。

本申请还提供了一种计算机程序产品，该计算机程序产品存储有至少一条指令，所述至少一条指令由所述处理器加载并执行如上述图1-图5所示实施例的所述图像超分处理方法，具体执行过程可以参见图1-图5所示实施例的具体说明，在此不进行赘述。

请参考图9，其示出了本申请一个示例性实施例提供的电子设备的结构方框图。本申请中的电子设备可以包括一个或多个如下部件：处理器110、存储器120、输入装置130、输出装置140和总线150。处理器110、存储器120、输入装置130和输出装置140之间可以通过总线150连接。

处理器110可以包括一个或者多个处理核心。处理器110利用各种接口和线路连接整个电子设备内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行终端100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户页面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。

存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory，ROM)。可选地，该存储器120包括非瞬时性计算机可读介质(Non-Transitory Computer-Readable Storage Medium)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等，该操作系统可以是安卓(Android)系统，包括基于Android系统深度开发的系统、苹果公司开发的IOS系统，包括基于IOS系统深度开发的系统或其它系统。

存储器120可分为操作系统空间和用户空间，操作系统即运行于操作系统空间，原生及第三方应用程序即运行于用户空间。为了保证不同第三方应用程序均能够达到较好的运行效果，操作系统针对不同第三方应用程序为其分配相应的系统资源。然而，同一第三方应用程序中不同应用场景对系统资源的需求也存在差异，比如，在本地资源加载场景下，第三方应用程序对磁盘读取速度的要求较高；在动画渲染场景下，第三方应用程序则对GPU性能的要求较高。而操作系统与第三方应用程序之间相互独立，操作系统往往不能及时感知第三方应用程序当前的应用场景，导致操作系统无法根据第三方应用程序的具体应用场景进行针对性的系统资源适配。

为了使操作系统能够区分第三方应用程序的具体应用场景，需要打通第三方应用程序与操作系统之间的数据通信，使得操作系统能够随时获取第三方应用程序当前的场景信息，进而基于当前场景进行针对性的系统资源适配。

其中，输入装置130用于接收输入的指令或数据，输入装置130包括但不限于键盘、鼠标、摄像头、麦克风或触控设备。输出装置140用于输出指令或数据，输出装置140包括但不限于显示设备和扬声器等。在一个示例中，输入装置130和输出装置140可以合设，输入装置130和输出装置140为触摸显示屏。

所述触摸显示屏可被设计成为全面屏、曲面屏或异型屏。触摸显示屏还可被设计成为全面屏与曲面屏的结合，异型屏与曲面屏的结合，本申请实施例对此不加以限定。

除此之外，本领域技术人员可以理解，上述附图所示出的电子设备的结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。比如，电子设备中还包括射频电路、输入单元、传感器、音频电路、无线保真(Wireless Fidelity，WiFi)模块、电源、蓝牙模块等部件，在此不再赘述。

在图9所示的电子设备中，处理器110可以用于调用存储器120中存储的图像超分处理应用程序，并具体执行以下操作：

对原始图像进行特征提取处理，获得所述原始图像的第一数目个特征图；

对所述第一数目个特征图进行上下文信息提取处理，获得所述原始图像的语义分支特征图；

对所述第一数目个特征图进行空间信息提取处理，获得所述原始图像的空间分支特征图；

基于所述语义分支特征图和所述空间分支特征图进行上采样处理，获得所述原始图像的目标图像，所述目标图像的分辨率高于所述原始图像的分辨率。

在一个实施例中，所述处理器110在执行对原始图像进行特征提取处理，获得所述原始图像的第一数目个特征图时，具体执行以下操作：

获取通道数为第一数目、卷积核为第一尺寸的第一卷积层；

采用所述第一卷积层对所述原始图像进行特征提取处理，获得所述原始图像的所述第一数目个特征图。

在一个实施例中，所述处理器110在执行对所述第一数目个特征图进行上下文信息提取处理，获得所述原始图像的语义分支特征图时，具体执行以下操作：

获取通道数为第二数目、卷积核为第二尺寸的第二卷积层；

采用所述第二卷积层对所述第一数目个特征图进行特征提取处理，得到所述第二数目个特征图；

将所述第二数目个特征图拆分为第一特征数据集和第二特征数据集，其中，所述第二数目为所述第一数目的两倍，所述第一特征数据集和所述第二特征数据集中的特征图数目均为所述第一数目；

对所述第一特征数据集中的特征图进行上下文信息提取处理，得到上下文信息特征图；

对所述第二特征数据集中的特征图进行注意力调整处理，得到注意力调整信息；

基于所述上下文信息特征图和所述注意力调整信息，得到所述原始图像的语义分支特征图。

在一个实施例中，所述处理器110在执行对所述第一数目个特征图进行空间信息提取处理，获得所述原始图像的空间分支特征图时，具体执行以下操作：

获取通道数为第一数目、卷积核为第三尺寸的第三卷积层；

采用所述第三卷积层对所述第一数目个特征图进行特征提取处理，得到所述第一数目个轮廓特征图；

对所述第一数目个轮廓特征图进行空间信息提取处理，获得所述原始图像的空间分支特征图。

在一个实施例中，所述处理器110在执行基于所述语义分支特征图和所述空间分支特征图进行上采样处理，获得所述原始图像的目标图像时，具体执行以下操作：

对所述语义分支特征图和所述空间分支特征图进行特征融合处理，获得所述原始图像的视觉融合特征图；

对所述视觉融合特征图进行上采样处理，获得所述原始图像的目标图像。

在一个实施例中，所述处理器110在执行对所述视觉融合特征图进行上采样处理，获得所述原始图像的目标图像时，具体执行以下操作：

采用通道数为第三数目的卷积层对所述视觉融合特征图进行特征提取处理，得到所述第三数目个特征图；

对所述第三数目个特征图进行上采样处理，获得所述第三数目个高分辨率特征图；

基于所述第三数目个高分辨率特征图，获得所述原始图像的目标图像。

在一个实施例中，所述处理器110在执行对所述视觉融合特征图进行上采样处理，获得所述原始图像的目标图像时，具体执行以下操作：

对所述视觉融合特征图进行上采样处理，得到上采样处理图像；

对所述原始图像进行双三次插值处理，得到插值处理图像；

基于所述上采样处理图像和所述插值处理图像，获得所述原始图像的目标图像。

在本实施例中，获取通道数为第一数目、卷积核为第一尺寸的第一卷积层，采用第一卷积层对原始图像进行特征提取处理，获得原始图像的第一数目个特征图，对第一数目个特征图进行上下文信息提取处理，获得原始图像的语义分支特征图，对所述第一数目个特征图进行空间信息提取处理，获得所述原始图像的空间分支特征图，分别获取原始图像的上下文信息和空间信息，可以获取原始图像中更为细节的特征，消除图像中的噪点、提高图像清晰度。基于所述语义分支特征图和所述空间分支特征图进行上采样处理，在上采样处理的前后还可以采用卷积层进行特征提取处理，可以对原始图像进行双三次插值处理，得到插值处理图像，然后基于上采样处理图像和插值处理图像，获得原始图像的目标图像，目标图像的分辨率高于所述原始图像的分辨率。通过获取原始图像的上下文信息和空间信息，再结合上下文信息和空间信息进行上采样得到目标图像，提高了图像的分辨率和清晰度，并且在图像超分处理的同时实现通道分离，若原始图像为热图像也能提高图像超分处理的效果、提高目标图像的清晰度。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。

以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

需要说明的是，本说明书实施例所涉及的信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号，均为经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如，本说明书中涉及的原始图像、特征图等都是在充分授权的情况下获取的。

Claims (11)

1.一种图像超分处理方法，所述方法包括：

对原始图像进行特征提取处理，获得所述原始图像的第一数目个特征图；

对所述第一数目个特征图进行上下文信息提取处理，获得所述原始图像的语义分支特征图；

对所述第一数目个特征图进行空间信息提取处理，获得所述原始图像的空间分支特征图；

基于所述语义分支特征图和所述空间分支特征图进行上采样处理，获得所述原始图像的目标图像，所述目标图像的分辨率高于所述原始图像的分辨率。

2.根据权利要求1所述的方法，所述对原始图像进行特征提取处理，获得所述原始图像的第一数目个特征图，包括：

获取通道数为第一数目、卷积核为第一尺寸的第一卷积层；

采用所述第一卷积层对所述原始图像进行特征提取处理，获得所述原始图像的所述第一数目个特征图。

3.根据权利要求1所述的方法，所述对所述第一数目个特征图进行上下文信息提取处理，获得所述原始图像的语义分支特征图，包括：

获取通道数为第二数目、卷积核为第二尺寸的第二卷积层；

采用所述第二卷积层对所述第一数目个特征图进行特征提取处理，得到所述第二数目个特征图；

将所述第二数目个特征图拆分为第一特征数据集和第二特征数据集，其中，所述第二数目为所述第一数目的两倍，所述第一特征数据集和所述第二特征数据集中的特征图数目均为所述第一数目；

对所述第一特征数据集中的特征图进行上下文信息提取处理，得到上下文信息特征图；

对所述第二特征数据集中的特征图进行注意力调整处理，得到注意力调整信息；

基于所述上下文信息特征图和所述注意力调整信息，得到所述原始图像的语义分支特征图。

4.根据权利要求1所述的方法，所述对所述第一数目个特征图进行空间信息提取处理，获得所述原始图像的空间分支特征图，包括：

获取通道数为第一数目、卷积核为第三尺寸的第三卷积层；

采用所述第三卷积层对所述第一数目个特征图进行特征提取处理，得到所述第一数目个轮廓特征图；

对所述第一数目个轮廓特征图进行空间信息提取处理，获得所述原始图像的空间分支特征图。

5.根据权利要求1所述的方法，所述基于所述语义分支特征图和所述空间分支特征图进行上采样处理，获得所述原始图像的目标图像，包括：

对所述语义分支特征图和所述空间分支特征图进行特征融合处理，获得所述原始图像的视觉融合特征图；

对所述视觉融合特征图进行上采样处理，获得所述原始图像的目标图像。

6.根据权利要求5所述的方法，所述对所述视觉融合特征图进行上采样处理，获得所述原始图像的目标图像，包括：

采用通道数为第三数目的卷积层对所述视觉融合特征图进行特征提取处理，得到所述第三数目个特征图；

对所述第三数目个特征图进行上采样处理，获得所述第三数目个高分辨率特征图；

基于所述第三数目个高分辨率特征图，获得所述原始图像的目标图像。

7.根据权利要求5所述的方法，所述对所述视觉融合特征图进行上采样处理，获得所述原始图像的目标图像，包括：

对所述视觉融合特征图进行上采样处理，得到上采样处理图像；

对所述原始图像进行双三次插值处理，得到插值处理图像；

基于所述上采样处理图像和所述插值处理图像，获得所述原始图像的目标图像。

8.一种图像超分处理装置，所述装置包括：

通道分离模块，用于对原始图像进行特征提取处理，获得所述原始图像的第一数目个特征图；

语义分支模块，用于对所述第一数目个特征图进行上下文信息提取处理，获得所述原始图像的语义分支特征图；

空间分支模块，用于对所述第一数目个特征图进行空间信息提取处理，获得所述原始图像的空间分支特征图；

上采样处理模块，用于基于所述语义分支特征图和所述空间分支特征图进行上采样处理，获得所述原始图像的目标图像，所述目标图像的分辨率高于所述原始图像的分辨率。

9.一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1～7任意一项的方法步骤。

10.一种计算机程序产品，所述计算机程序产品存储有多条指令，所述指令适于由处理器加载并执行如权利要求1～7任意一项的方法步骤。

11.一种电子设备，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1～7任意一项的方法步骤。

Images