CN112991171A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种图像处理方法、装置、电子设备及存储介质，该图像处理方法应用于电子设备，该图像处理方法包括：获取待处理图像；将所述待处理图像输入预先训练好的超分网络模型，所述超分网络模型用于将所述待处理图像中宽高维度的部分像素点转移至通道维度进行重新排列，得到分辨率小于所述待处理图像的分辨率的第一图像，并根据所述第一图像的图像特征输出分辨率大于所述待处理图像的分辨率的第二图像；获取所述超分网络模型输出的所述第二图像，作为所述待处理图像的图像处理结果。本申请可以减少图像超分辨率重建过程中的计算量。

Description

图像处理方法、装置、电子设备及存储介质

技术领域

本申请涉及电子设备技术领域，更具体地，涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

超分辨率重建(Super-Resolution，SR)，也可以称为超分重建，是指提高原图像的分辨率，将低分辨率图像重建为高分辨率图像的方法。然而目前的超分辨率重建效果较差，且对硬件的需求较高，局限性较为明显。

发明内容

鉴于上述问题，本申请提出了一种图像处理方法、装置、电子设备及存储介质。

第一方面，本申请实施例提供了一种图像处理方法，所述方法包括：获取待处理图像；将所述待处理图像输入预先训练好的超分网络模型，所述超分网络模型用于将所述待处理图像中宽高维度的部分像素点转移至通道维度进行重新排列，得到分辨率小于所述待处理图像的分辨率的第一图像，并根据所述第一图像的图像特征输出分辨率大于所述待处理图像的分辨率的第二图像；获取所述超分网络模型输出的第二图像，作为所述待处理图像的图像处理结果。

第二方面，本申请实施例提供了一种图像处理装置，所述装置包括：图像获取模块，用于获取待处理图像；模型处理模块，用于将所述待处理图像输入预先训练好的超分网络模型，所述超分网络模型用于将所述待处理图像中宽高维度的部分像素点转移至通道维度进行重新排列，得到分辨率小于所述待处理图像的分辨率的第一图像，并根据所述第一图像的图像特征输出分辨率大于所述待处理图像的分辨率的第二图像；结果获取模块，用于获取所述超分网络模型输出的第二图像，作为所述待处理图像的图像处理结果。

第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于执行上述第一方面提供的图像处理方法。

第四方面，本申请实施例提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述第一方面提供的图像处理方法。

本申请提供的方案，在获取到待处理图像后，可以将该待处理图像输入预先训练好的超分网络模型，通过该超分网络模型将待处理图像中宽高维度的部分像素点转移至通道维度进行重新排列，得到分辨率小于所述待处理图像的分辨率的第一图像，并根据该第一图像的图像特征输出分辨率大于所述待处理图像的分辨率的第二图像，以获取超分网络模型输出的该第二图像，作为所述待处理图像的图像处理结果。从而通过本申请预先训练好的超分网络模型，可以实现根据待处理图像在低分辨率尺度上的图像特征，将该待处理图像重建为大于待处理图像分辨率的高分辨率图像。且通过像素重排列的方式来获取待处理图像的低分辨率图像特征，可以获得一个更大感受野的图像特征，使得图像的细节信息不因为传统的池化操作以及调整步长的卷积方法造成的信息丢失，能够更好的在低分辨率尺度上保留图像的细节信息，保证了最终的超分辨率重建效果。同时，由于大部分计算操作都是在低分辨率尺度上进行，所述能够减少大量的计算，更加适合多种低算力的端侧设备。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据本申请一个实施例的图像处理方法流程图。

图2示出了本申请提供的一种像素重排列的示意图。

图3示出了根据本申请另一个实施例的图像处理方法流程图。

图4示出了本申请提供的另一种像素重排列的示意图。

图5示出了根据本申请另一个实施例的图像处理方法中步骤S240的一种流程图。

图6示出了本申请提供的一种拼接处理的示意图。

图7示出了根据本申请又一个实施例的图像处理方法流程图。

图8示出了根据本申请又一个实施例的图像处理方法中步骤S380的一种流程图。

图9示出了根据本申请再一个实施例的图像处理方法流程图。

图10示出了根据本申请再一个实施例的图像处理方法中步骤S430的一种流程图。

图11示出了本申请提供的一种整体流程示意图。

图12示出了根据本申请再一个实施例的图像处理方法中步骤S432的一种流程图。

图13示出了根据本申请一个实施例的图像处理装置的一种框图。

图14是本申请实施例的用于执行根据本申请实施例的图像处理方法的电子设备的框图。

图15是本申请实施例的用于保存或者携带实现根据本申请实施例的图像处理方法的程序代码的存储单元。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

目前的超分辨率方法按照是否使用深度学习技术可以被划分成两类，不使用深度学习的方法可以被称作传统方法，主要通过传统的一些插值方法进行实现，比如双线性插值，双三次插值等等，或者使用一些稀疏表示方法，如A+算法等。但传统方法往往效果较差，边缘模糊，且计算速度慢。

还有一类即为使用深度学习的放大方法，该类方法按照使用帧的数量又可以被分类成基于单帧的超分方法以及基于多帧的超分方法。目前，一部分单帧超分方法会先将图像或者视频帧通过简单的插值进行放大，在通过网络模型得到一个更加精细的结构，如SRCNN(Super Resolution Convolutional Neural Network，超分辨率卷积神经网络)，VDSR(Very Deep Super Resolution，超深超分辨率)等等。还有一部分单帧超分方法通过网络中的模型层实现放大，如ESPCN(Efficient Sub-Pixel Convolutional neuralNetwork，高效子像素卷积神经网络)等网络结构。但是，为了获得更好的效果，现有的单帧的超分方法往往网络模型设计都较为复杂，计算量非常大，没有办法在端侧实现快速的大分辨率尺度上的快速超分。

针对上述问题，发明人提出了本申请实施例提供的图像处理方法、装置、电子设备以及存储介质，可以提供一种轻量级的超分辨率重建方式，可以有效的减少计算量，进而可以很好地适应不同的端侧设备。其中，具体的图像处理方法在后续的实施例中进行详细的说明。

请参阅图1，图1示出了本申请一个实施例提供的视频播放方法的流程示意图。在具体的实施例中，所述图像处理方法应用于如图13所示的图像处理装置400以及配置有所述图像处理400的电子设备100(图14)。下面将以电子设备为例，说明本实施例的具体流程，当然，可以理解的，本实施例所应用的电子设备可以为智能手机、平板电脑、智能手表、笔记本电脑等，在此不做限定。下面将针对图1所示的流程进行详细的阐述，所述视频播放方法具体可以包括以下步骤：

步骤S110：获取待处理图像。

在本申请实施例中，待处理图像可以是电子设备待处理的图像，可用于电子设备进行显示，其可以是图片，也可以是电子设备待处理的视频中的某一帧视频图像，此处不作限定。可选的，电子设备可以从服务器获取待处理图像，可以从本地获取待处理图像，也可以是从其他电子设备获取待处理图像，具体获取待处理图像的方式可以不做限定。

在一些实施方式中，当待处理图像由电子设备从服务器获取时，那么该待处理图像可以是电子设备从服务器下载，或者电子设备从服务器在线获取。例如，待处理图像可以是电子设备通过安装的视频播放软件下载好视频或者在该视频播放软件在线获取到视频后，提取出该视频中的一帧视频图像作为本申请的待处理图像。其中，该服务器可以为云服务器。在另一些实施方式中，当所述待处理图像从电子设备的本地获取时，该待处理图像可以是电子设备预先下载并存储在本地存储器中的图像和视频图像数据；当所述待处理图像由电子设备从其他电子设备获取时，该待处理图像可以由其他电子设备通过无线通信协议传输至所述电子设备，例如，通过Wlan协议、蓝牙协议、ZigBee协议或者WiFi协议等，也可以由其他电子设备通过数据网络传输至所述电子设备，例如，2G网络、3G网络、4G网络或者5G网络等，在此不做限定。

在一些实施例中，若需要对整个待处理视频进行超分辨率重建时，也可以依次提取视频中的每一帧视频图像作为本申请的待处理图像执行本申请的方案。具体地，可以先对该待处理视频进行视频图像分解，得到该待处理视频对应的视频图像帧序列，然后从该视频图像帧序列中，按照时间先后顺序依次选取一帧视频图像作为待处理图像。可选的，也可以是提取视频图像帧序列中的部分帧视频图像作为待处理图像，以减少超分辨率重建过程中的计算量。其中，该部分帧视频图像可以是关键帧视频图像，也可以是奇数帧视频图像或偶数帧视频图像。

步骤S120：将所述待处理图像输入预先训练好的超分网络模型，所述超分网络模型用于将所述待处理图像中宽高维度的部分像素点转移至通道维度进行重新排列，得到分辨率小于所述待处理图像的分辨率的第一图像，并根据所述第一图像的图像特征输出分辨率大于所述待处理图像的分辨率的第二图像。

在本申请实施例中，电子设备在获取到上述待处理图像后，可以将待处理图像输入预先训练好的超分网络模型，以通过该超分网络模型输出待处理图像超分辨率重建后的高分辨率图像。

具体地，将所述待处理图像输入预先训练好的超分网络模型后，该超分网络模型可以将所述待处理图像中宽高维度的部分像素点转移至通道维度进行重新排列，以得到分辨率小于待处理图像的原始分辨率的第一图像，然后该超分网络模型可以基于该第一图像的图像特征输出分辨率大于待处理图像的原始分辨率的第二图像，该输出的第二图像即为待处理图像超分辨率重建后的高分辨率图像。从而结合待处理图像的低分辨率尺度的图像信息，来实现图像的超分辨率重建。

在一些实施例中，上述预先训练好的超分网络模型可以预先根据大量训练样本进行训练得到。其中，训练样本可以包括低分辨率图像样本以及该低分辨率图像样本对应的高分辨率图像样本。从而预先训练好的超分网络模型可以用于根据获取的待处理图像，输出待处理图像重建后分辨率高的图像。

在一些实施例中，可以将现有的高清分辨率图像集作为上述高分辨率图像样本，其对应的低分辨率图像样本可以是对现有的高清分辨率图像集进行一些降分辨率处理来得到。作为一种方式，可以是对现有的高清分辨率图像集进行不同程度的模糊后，再进行下采样，得到低分辨率图像，并在该低分辨率图像上增加一定的噪声来生成模型训练的低分辨率图像样本。在一些实施例中，上述超分网络模型可以是采用L1 Loss、L2 Loss以及VGGloss组成的混合loss损失函数进行网络的训练。该混合的公式可以是loss＝α*L1(HR,GT)+β*L2(HR,GT)+γ*Perceptual(HR,GT)。其中，HR表示网络的重建结果；GT为真实高分辨率图像；α，β，γ表示权重系数，可以根据具体情况合理设置，如α＝1,β＝1,γ＝0.001；Perceptual loss采用预训练好的VGG网络提取图像特征，再进行L1 loss进行计算。

在一些实施例中，超分网络模型可以预先存储于电子设备本地，电子设备可以直接从本地调用超分网络模型，并将待处理图像输入至超分网络模型。在另一些实施例中，超分网络模型也可以存储于服务器，电子设备在需要对待处理图像进行超分辨率重建时，可以调用服务器中的超分网络模型。例如，将待处理图像发送至服务器，以指示服务器将该待处理图像输入至超分网络模型中，进行待处理图像的超分辨率重建。

可以理解的是，本申请的超分网络模型通过将待处理图像中宽高维度的部分像素点转移至通道维度进行重新排列，使得待处理图像原本宽高维度上的像素点减少，待处理图像的分辨率尺度降低，也即最终得到的是分辨率小于待处理图像的原始分辨率的第一图像，从而实现了待处理图像的下采样操作，得到了待处理图像的低分辨率尺度的图像信息。

其中，通道维度可以是图像中除Width宽维度和Height高维度以外的Channel图像通道维度。待处理图像的分辨率尺度大小可以理解为待处理图像中Width宽维度和Height高维度上像素点的多少。在一些实施例中，上述像素重排列的过程，也可称为Space-to-Depth，即将Space数据(Width维和Height维的像素)移到Depth(Channel维)上。

在一些实施例中，将待处理图像中宽高维度的部分像素点转移至通道维度进行重新排列，可以是从待处理图像中宽高维度的所有像素点中，四处均匀地选取出部分像素点转移至通道维度进行重新排列，以保证获得大感受野的图像特征。相比现有利用卷积核进行下采样操作时局限于卷积核大小的感受野而言，本申请的像素重排列方式的感受野为整个待处理图像区域，感受野更大，得到的低分辨率尺度的图像更准确。其中，感受野可以定义为输出图像中每个像素能够反映输入图像区域的大小，更大的感受野可以使得网络能够利用更多的上下文信息进行图像超分辨重建，能够有更全局的映射。

示例性地，请参阅图2，假设待处理图像(图2中的左侧图像)的分辨率尺度为6*6，图像通道维度为2，经过Space-to-Depth的像素重排列后，得到的第一图像的分辨率尺度为3*3，图像通道维度为8。也即将待处理图像中宽高维度的部分像素点转移至通道维度进行重新排列后，得到第一图像(图2中的右侧图像)的宽度尺寸缩小2倍，高度的尺寸缩小2倍后，图像通道维度增大4倍。且如图2所示，第一图像中每个通道图像中的像素点均是从待处理图像中的四处均匀提取，可以反映整个图像的特征，得到的是大感受野的图像特征。

可以理解的是，在本申请中，上述像素重排列的方式可以实现对待处理图像的无损下采样操作，与传统的池化操作以及调整步长的卷积方法等下采样操作所造成的信息丢失不同，上述像素重排列的方式虽然增加了通道维度数，但同样实现了分辨率尺度的降低，且图像信息并未丢失，而是转移至通道维度存在，从而能够更好的在低分辨率尺度上保留图像的细节信息，进而利用该低分辨率尺度的图像信息，能实现更好的超分辨率重建效果。且由于大部分的计算均在下采样后的图像层级上进行，可以减少大量的计算，更加适合在低功耗低计算力的端侧上进行运行。

在一些实施例中，在得到分辨率小于待处理图像的原始分辨率的第一图像，及低分辨率尺度的图像信息后，可以与待处理图像的原始图像信息进行融合，得到更丰富的图像信息，然后基于该图像信息重建出分辨率大于待处理图像的原始分辨率的第二图像。

步骤S130：获取所述超分网络模型输出的第二图像，作为所述待处理图像的图像处理结果。

在本申请实施例中，电子设备将待处理图像输入预先训练好的超分网络模型之后，可以获得超分网络模型输出的分辨率大于该待处理图像的分辨率的第二图像，电子设备可以将第二图像作为待识别图像的图像处理结果进行输出。从而实现图像超分辨率重建。

在一些实施例中，电子设备在得到重建后分辨率更高的第二图像后，可以将该第二图像进行显示。可选的，可以将第二图像与待处理图像对比显示，以突出图像处理的效果，提升用户的视觉体验。在一些实施例中，当待处理图像为待处理视频中的图像时，可以获取待处理视频中的每个视频图像帧进行本申请的超分辨率重建后得到的第二图像，然后将第二图像按照视频播放时间顺序重新拼接组合，得到超分辨率的视频，电子设备可以将该超分辨率视频进行播放显示，从而用户可以观看到分辨率更高的视频，提升了用户的视觉体验。

本申请实施例提供的图像处理方法，在获取到待处理图像后，可以将该待处理图像输入预先训练好的超分网络模型，通过该超分网络模型将待处理图像中宽高维度的部分像素点转移至通道维度进行重新排列，得到分辨率小于所述待处理图像的分辨率的第一图像，并根据该第一图像的图像特征输出分辨率大于所述待处理图像的分辨率的第二图像，以获取超分网络模型输出的该第二图像，作为所述待处理图像的图像处理结果。从而通过本申请预先训练好的超分网络模型，可以实现根据待处理图像在低分辨率尺度上的图像特征，将该待处理图像重建为大于待处理图像分辨率的高分辨率图像。且通过像素重排列的方式来获取待处理图像的低分辨率图像特征，可以获得一个更大感受野的图像特征，使得图像的细节信息不因为传统的池化操作以及调整步长的卷积方法造成的信息丢失，能够更好的在低分辨率尺度上保留图像的细节信息，保证了最终的超分辨率重建效果。同时，由于大部分计算操作都是在低分辨率尺度上进行，所述能够减少大量的计算，更加适合多种低算力的端侧设备。

请参阅图3，图3示出了本申请另一个实施例提供的图像处理方法的流程示意图。该图像处理方法应用于上述电子设备，下面将针对图3所示的流程进行详细的阐述，所述图像处理方法具体可以包括以下步骤：

步骤S210：获取待处理图像。

步骤S220：将所述待处理图像输入超分网络模型的下采样模块，得到所述待处理图像的第一图像，其中，所述第一图像的分辨率小于所述待处理图像的分辨率，所述下采样模块用于根据下采样尺度将图像中宽高维度的部分像素点转移至通道维度进行重新排列。

在本申请实施例中，上述超分网络模型可以包括下采样模块，该下采样模块用于根据下采样尺度将图像中宽高维度的部分像素点转移至通道维度进行重新排列。电子设备在获取到待处理图像后，可以将待处理图像输入超分网络模型的下采样模块，以使该下采样模块根据下采样尺度将待处理图像中宽高维度的部分像素点转移至通道维度进行重新排列，从而得到待处理图像的第一图像，其中，所述第一图像的分辨率小于所述待处理图像的分辨率，也即得到待处理图像的低分辨率尺度的图像。

其中，下采样尺度的大小可以理解为将原图像的宽高尺度缩小至原图像的多少倍。例如，一个H*W尺度的图像，下采样尺度为2，则下采样后得到是一个H/2*W/2尺度的图像。

在一些实施例中，下采样模块可从待处理图像中宽高维度的所有像素点中，采样出与下采样尺度对应的部分像素点转移至通道维度进行重新排列。下采样尺度为2，则需要从待处理图像中宽高维度的所有像素点中，采样出与一半的像素点转移至通道维度进行重新排列。

步骤S230：将所述第一图像输入超分网络模型的特征提取模块，得到所述第一图像的第一特征图。

在本申请实施例中，上述超分网络模型还可以包括特征提取模块。在得到分辨率小于待处理图像的分辨率的第一图像后，可以将该第一图像输入超分网络模型的特征提取模块，以使该特征提取模块对该第一图像进行特征提取，得到所述第一图像的第一特征图(feature map)。其中，该第一特征图中包括多个特征数值，反映了低分辨率尺度上比较粗糙的图像特征。

在一些实施例中，特征提取模块可以是由多个卷积层构成，该第一图像输入超分网络模型的特征提取模块后，可以通过该多个卷积层对第一图像进行多次的卷积操作，从而得到第一图像的第一特征图。其中，可以按照实际任务的需求，控制特征提取模块的卷积层个数，以更加细致的控制所需的算力以及内存等，保证本方案可在低算力的端侧设备实现。

在另一些实施例中，为了保证特征提取的准确度，特征提取模块也可以是基于深度学习的网络模型。例如，可以是基于深度学习的神经网络(Neural Networks，NN)模型，也可以是基于深度学习的卷积神经网络(Convolutional Neural Networks,CNN)模型，从而通过这些网络模型实现较为精确的特征提取。

在一些实施例中，上述特征提取模块可以用于对第一图像进行尺度不变的特征提取，也即提取出的第一特征图的宽高尺度与第一图像的宽度尺度相同。具体地，可以通过填充padding的方式，在图像周围补0的方式，来保证图像的尺寸大小不发生改变。

步骤S240：将所述第一特征图输入超分网络模型的上采样模块，得到所述待处理图像的第二图像，其中，所述第二图像的分辨率大于所述待处理图像的分辨率，所述上采样模块用于根据上采样尺度将图像中通道维度的部分像素点转移至宽高维度进行重新排列。

在本申请实施例中，上述超分网络模型还可以包括上采样模块，该上采样模块用于根据上采样尺度将图像中通道维度的部分像素点转移至宽高维度进行重新排列。电子设备在获取到第一图像的第一特征图后，可以将第一特征图输入超分网络模型的上采样模块，以使该上采样模块根据上采样尺度将第一特征图中通道维度的部分像素点转移至宽高维度进行重新排列(可以理解为上述下采样过程的逆向操作，也可称为Depth-to-Space，即将Depth(Channel通道维度)上的数据移到Space(Width宽度维度和Height高度维度的像素)上)，从而得到待处理图像的第二图像，其中，该第二图像的分辨率大于待处理图像的分辨率，也即得到待处理图像重建后更高分辨率的图像。

其中，上采样尺度的大小可以理解为将原图像的宽高尺度放大至原图像的多少倍。例如，一个H*W尺度的图像，上采样尺度为2，则下采样后得到是一个2H*2W尺度的图像。

在一些实施例中，上采样模块可从图像中通道维度的所有像素点中，采样出与上采样尺度对应的部分像素点转移至宽高维度进行重新排列。上采样尺度为2，则需要从图像中通道维度的所有像素点中，采样出一半的像素点转移至宽高维度进行重新排列。

示例性地，请参阅图4，假设第一图像(图4中的左侧图像)的分辨率尺度为3*3，图像通道维度为8，经过Depth-to-Space的像素重排列后，得到的第二图像的分辨率尺度为6*6，图像通道维度为2。也即将第一图像中通道维度的部分像素点转移至宽高维度进行重新排列后，得到的第一图像(图4中的右侧图像)的宽度尺寸放大2倍，高度的尺寸放大2倍后，图像通道维度缩小4倍。

可以理解的是，在通过像素重排列的方式进行待处理图像的下采样操作后，可以得到比较大感受野的图像特征，然后结合该图像特征信息，并通过像素重排列的方式进行上采样操作，以放大到所需的高分辨率尺寸，从而可以得到效果比较好的超分辨率图像。

在一些实施例中，在得到比较大感受野的图像特征后，可以该图像特征与模型输入的原始待处理图像进行融合，以得到的更为完善的图像信息，并基于该图像信息放大到所需的高分辨率尺度，保证了超分辨率重建的效果。具体地，请参阅图5，步骤S240可以包括：

步骤S241：将所述第一特征图输入超分网络模型的第一上采样模块，得到第二特征图，其中，所述第二特征图的分辨率与所述待处理图像的分辨率相同。

在一些实施例中，上述上采样模块具体可包括第一上采样模块，该第一上采样模块用于根据上采样尺度将第一特征图中通道维度的部分像素点转移至宽高维度进行重新排列，以得到分辨率与待处理图像的分辨率相同的第二特征图。实现将低分辨率尺度的图像特征恢复到模型输入的待处理图像的分辨率大小，便于后面进行相同分辨率尺寸的融合处理。

步骤S242：将所述第二特征图与所述待处理图像进行拼接处理，得到拼接后的第三特征图。

由于已将低分辨率尺度的图像特征恢复到模型输入的待处理图像的分辨率大小，即上述得到的第二特征图，因此，可以将第二特征图与模型输入的待处理图像进行同尺寸的拼接处理，得到拼接后的第三特征图。从而由粗糙到精细的获得大感受野的图像特征，实现了在图像信息未丢失的基础上，学习了不同分辨率尺度的图像特征，保证了特征提取的精确性。

在一些实施例中，上述将第二特征图与待处理图像进行拼接处理，可以是将第二特征图与待处理图像在通道维度进行拼接处理，从而得到拼接后的第三特征图。

示例性地，请参阅图6，第二特征图的分辨率尺度为H*W，图像通道维度为C1，待处理图像的分辨率尺度为H*W，图像通道维度为C2，可见第二特征图与待处理图像的分辨率尺度相同，所以可以进行通道维度的拼接处理，且拼接后的第三特征图的分辨率尺度不变，仍是H*W，只是通道维度变为了C1+C2。

步骤S243：将所述第三特征图输入超分网络模型的第二上采样模块，得到所述待处理图像的第二图像。

在一些实施例中，上述上采样模块还可具体包括第二上采样模块，该第二上采样模块用于根据放大尺度将第三特征图中通道维度的部分像素点转移至宽高维度进行重新排列。具体地，在得到合并后更细致的图像特征即第三特征图后，可以将该第三特征图输入超分网络模型的第二上采样模块，以使该第二上采样模块，根据放大尺度将第三特征图中通道维度的部分像素点转移至宽高维度进行重新排列，以得到分辨率大于待处理图像的原始分辨率的第二图像。实现了待处理图像更高分辨率图像的重建。

可以理解的是，当一张待处理图像，如1*1*1的图像，宽高尺度为1，通道数也为1，需要得到一张放大N倍的超分辨率图像(N*N*1)时，即宽高各是原来的待处理图像的N倍，图像通道数是1，那么需要该宽高尺度1*1的图像的通道数为1*N²，才能通过像素重排列的方式进行上采样操作，得到恰好是N*N*1的图像。即宽高尺度的增加，需要有足够的通道数减少。比如，若对1*1的图像放大3倍，得到一个3*3的图像，是需要通道数为3的平方即9个的1*1的图像，才能变为一个3*3的图像。

因此，在得到拼接后的第三特征图后，可以将该第三特征图输入卷积层进行多次的卷积模块操作，以得到一个图像特征，该图像特征需具有放大倍数平方个数的通道数，然后将该图像特征输入超分网络模型的第二上采样模块，可以恰好得到一个待处理图像的第二图像。其中，放大倍数即为待处理图像需要进行超分辨率图像重建的分辨率尺度，与待处理图像的原始分辨率尺度的倍数关系。

步骤S250：获取超分网络模型输出的所述第二图像，作为所述待处理图像的图像处理结果。

在本申请实施例中，步骤S250可以参阅前述实施例的内容，此处不再赘述。

本申请实施例提供的图像处理方法，在获取到待处理图像后，可以将将该待处理图像输入超分网络模型的下采样模块，以得到待处理图像的第一图像，其中，该第一图像的分辨率小于待处理图像的分辨率，下采样模块用于根据下采样尺度将图像中宽高维度的部分像素点转移至通道维度进行重新排列，从而可得到分辨率小于待处理图像的分辨率的第一图像。然后通过将前述得到的第一图像输入超分网络模型的特征提取模块，可以得到第一图像的第一特征图，然后将该第一特征图输入超分网络模型的上采样模块，可以得到待处理图像的第二图像，其中，该第二图像的分辨率大于待处理图像的分辨率，上采样模块用于根据上采样尺度将图像中通道维度的部分像素点转移至宽高维度进行重新排列，从而可输出分辨率大于待处理图像的分辨率的第二图像。最后可以以获取超分网络模型输出的该第二图像，作为待处理图像的图像处理结果。从而通过本申请预先训练好的超分网络模型中的下采样模块和上采样模块，可以实现根据待处理图像在低分辨率尺度上的图像特征，将该待处理图像重建为大于待处理图像分辨率的高分辨率图像。且通过像素重排列的方式来获取待处理图像的低分辨率图像特征，可以获得一个更大感受野的图像特征，使得图像的细节信息不因为传统的池化操作以及调整步长的卷积方法造成的信息丢失，能够更好的在低分辨率尺度上保留图像的细节信息，保证了最终的超分辨率重建效果。同时，由于大部分计算操作都是在低分辨率尺度上进行，所述能够减少大量的计算，更加适合多种低算力的端侧设备。

请参阅图7，图7示出了本申请又一个实施例提供的图像处理方法的流程示意图。该图像处理方法应用于上述电子设备，下面将针对图7所示的流程进行详细的阐述，所述图像处理方法具体可以包括以下步骤：

步骤S310：获取待处理图像。

步骤S320：对所述待处理图像进行颜色空间转变，得到转变后的颜色通道图。

在一些实施例中，为了便于模型计算以及模型的超分辨率重建效果，可以是对待处理图像具体的颜色通道图执行本申请的超分辨率重建操作。具体地，在获取到待处理图像后，可以先对该待处理图像进行颜色空间转变，得到转变后的颜色通道图，以将该颜色通道图作为输入图像输入前述的超分网络模型，进行该颜色通道图的超分辨率重建。

在一些实施例中，颜色空间可以至少包括YUV颜色空间、RGB颜色空间、HSV颜色空间、HIS颜色空间以及LAB颜色空间中的任意一种。可以理解的是，不同颜色空间具备不同的颜色通道图，因此，可以根据电子设备的偏好使用的颜色空间，来确定对待处理图像进行哪种颜色空间转变，从而得到对应的颜色空间中的颜色通道图。

步骤S330：将所述颜色通道图输入超分网络模型的下采样模块，得到所述颜色通道图的第一图像。

在一些实施例中，在得到待处理图像的颜色通道图后，可以将该颜色通道图作为模型输入，输入至本申请的超分网络模型，然后可以通过超分网络模型的下采样模块对该颜色通道图进行从宽高维度到通道维度的像素重排列，得到所述颜色通道图的第一图像，其中该颜色通道图的第一图像的分辨率小于输入的颜色通道图的原始分辨率。

由于颜色空间可以包括多个颜色通道，因此，在一些实施例中，可以是将所述多个颜色通道中每个颜色通道的所述颜色通道图输入所述下采样模块，得到所述每个颜色通道的所述颜色通道图所对应的第一图像，从而实现对每个颜色通道的颜色通道图进行本申请所采用的超分辨率图像的重建，提升了最终的超分辨率图像的重建效果。

在另一些实施例中，当多个颜色通道中包括用于表征颜色明亮程度的指定颜色通道，也可以是仅将所述指定颜色通道的所述颜色通道图输入所述下采样模块，得到所述指定颜色通道的所述颜色通道图所对应的第一图像。从而实现仅对指定颜色通道的颜色通道图进行本申请所采用的超分辨率图像的重建，在保证了一定的超分辨率重建效果的同时，还能减少大量的计算量，可以实现快速超分，更适合在低功耗低计算力的端侧上进行运行。其中，当颜色空间为YUV空间时，上述指定通道可以是用于表征颜色明亮程度的Y颜色通道。

可选的，当颜色空间为HSV空间时，上述指定通道也可以是用于表征颜色明亮程度的V颜色通道。其他颜色空间同理确定，此处不再赘述。

可以理解的是，由于人的肉眼对颜色的明亮程度比较敏感，而对色彩不太敏感，因此，可以仅对可决定颜色明亮程度的指定颜色通道进行本申请所采用的超分辨率图像的重建，以在保证了一定的超分辨率重建效果的同时，减少大量的计算量。

步骤S340：将所述第一图像输入超分网络模型的特征提取模块，得到所述第一图像的第一特征图。

步骤S350：将所述第一特征图输入超分网络模型的第一上采样模块，得到第二特征图，其中，所述第二特征图的分辨率与所述待处理图像的分辨率相同。

步骤S360：将所述第二特征图与所述颜色通道图进行拼接处理，得到拼接后的第三特征图。

在本申请实施例中，步骤S340～S360可以参阅前述实施例的内容，此处不再赘述。

在一些实施例中，当对颜色空间的每个颜色通道图都进行本申请的操作时，上述将第二特征图与颜色通道图进行拼接处理，可以是分别将所述每个颜色通道的所述第二特征图与所述每个颜色通道的所述颜色通道图进行拼接处理，得到所述每个颜色通道所对应的拼接后的第三特征图，从而可以得到每个颜色通道的由粗糙到精细的大感受野的图像特征，保证了每个颜色通道的特征提取准确度，进而保证了最终的超分辨率重建效果。

在一些实施例中，当仅对颜色空间的指定颜色通道图进行本申请的超分辨率重建操作时，也可以是仅将指定颜色通道的第二特征图与指定颜色通道的颜色通道图进行拼接处理，得到指定颜色通道所对应的拼接后的第三特征图。

步骤S370：将所述第三特征图输入超分网络模型的第二上采样模块，得到所述颜色通道图的第二图像。

步骤S380：基于所述颜色通道图的第二图像，进行所述颜色空间转变的逆向操作，得到所述待处理图像的第二图像。

在本申请实施例中，步骤S370～S380可以参阅前述实施例的内容，此处不再赘述。

在一些实施例中，当对颜色空间的每个颜色通道图都进行本申请的操作时，可以将前述得到的每个颜色通道所对应的拼接后的第三特征图分别输入超分网络模型的第二上采样模块，得到每个颜色通道的颜色通道图的第二图像，也即得到每个颜色通道的颜色通道图分辨率放大后的超分辨图像。然后可以将每个颜色通道的第二图像按照通道维度进行合并，并进行前述颜色空间转变的逆向操作，以恢复至待处理图像的原始的颜色空间，此时转变回原始的颜色空间得到的图像，即可作为待处理图像的第二图像。

在另一些实施例中，当仅对颜色空间的指定颜色通道图进行本申请的超分辨率重建操作时，此处可得到指定颜色通道所对应的拼接后的第三特征图，然后在将该第三特征图输入超分网络模型的第二上采样模块，可以得到指定颜色通道所对应的颜色通道图的第二图像，即指定颜色通道放大后的超分辨率图像，但由于最终需要恢复待处理图像原来的颜色空间，因此，需要将各个颜色通道的颜色通道图进行拼接处理，但由于指定颜色通道的分辨率尺度被放大，因此需要对其他颜色通道的分辨率尺度也进行放大，才可以进行拼接处理。因此，请参阅图8，步骤S380可以包括：

步骤S381：对其他颜色通道的颜色通道图进行图像插值处理，得到目标图像，其中，所述其他颜色通道为所述多个颜色通道中除所述指定颜色通道以外的颜色通道，所述目标图像的分辨率与所述指定颜色通道的所述颜色通道图的第二图像的分辨率相同。

可以理解的是，由于非指定颜色通道的颜色通道图对于图像处理的结果影响较小(人的肉眼不敏感)，因此，可以对非指定颜色通道的颜色通道图采用现有的有损的下采样操作，如图像插值处理、池化操作、卷积操作等，以使非指定颜色通道的颜色通道图能放大到第二图像的分辨率尺度，便于后面的拼接处理。

具体地，可以对其他颜色通道的颜色通道图进行图像插值处理，得到目标图像，其中，所述其他颜色通道为所述多个颜色通道中除所述指定颜色通道以外的颜色通道，所述目标图像的分辨率与所述指定颜色通道的所述颜色通道图的第二图像的分辨率相同。

步骤S382：基于所述指定颜色通道的所述颜色通道图的第二图像以及所述目标图像，进行所述颜色空间转变的逆向操作，得到所述待处理图像的第二图像。

在本申请实施例中，在得到其他颜色通道放大后的目标图像以及指定颜色通道放大后的第二图像后，可以将目标图像与第二图像按照通道维度进行合并，并进行前述颜色空间转变的逆向操作，以恢复至待处理图像的原始的颜色空间，并将转变回原始的颜色空间得到的图像，作为待处理图像的第二图像。

步骤S390：获取超分网络模型输出的所述第二图像，作为所述待处理图像的图像处理结果。

在本申请实施例中，步骤S390可以参阅前述实施例的内容，此处不再赘述。

本申请实施例提供的图像处理方法，在获取到待处理图像后，可以对该待处理图像进行颜色空间转变，得到转变后的颜色通道图，并将该颜色通道图输入预先训练好的超分网络模型的下采样模块，得到该颜色通道图的第一图像，其中，该第一图像的分辨率小于颜色通道图的原始分辨率。然后可以将前述得到的颜色通道图的第一图像输入超分网络模型的特征提取模块，以得到该第一图像的第一特征图。通过将该第一特征图输入超分网络模型的第一上采样模块，可以得到与颜色通道图的原始分辨率相同的第二特征图，并将该第二特征图与输入的颜色通道图进行拼接处理，得到拼接后的第三特征图。将该第三特征图输入超分网络模型的第二上采样模块，得到颜色通道图的第二图像，其中，该第二图像的分辨率大于颜色通道图的原始分辨率，最后基于该颜色通道图的第二图像，进行颜色空间转变的逆向操作，从而模型可以输出得到待处理图像的第二图像。然后可获取超分网络模型输出的该第二图像，作为所述待处理图像的图像处理结果。从而通过本申请预先训练好的超分网络模型，可以实现根据待处理图像在低分辨率尺度上的图像特征，将该待处理图像重建为大于待处理图像分辨率的高分辨率图像。且通过像素重排列的方式来获取待处理图像的低分辨率图像特征，可以获得一个更大感受野的图像特征，能够更好的在低分辨率尺度上保留图像的细节信息，保证了最终的超分辨率重建效果。同时，由于大部分计算操作都是在低分辨率尺度上进行，所述能够减少大量的计算，更加适合多种低算力的端侧设备。

请参阅图9，图9示出了本申请又一个实施例提供的图像处理方法的流程示意图。该图像处理方法应用于上述电子设备，下面将针对图9所示的流程进行详细的阐述，所述图像处理方法具体可以包括以下步骤：

步骤S410：获取待处理图像。

步骤S420：基于多个下采样尺度，将所述待处理图像输入超分网络模型的下采样模块，得到所述待处理图像的多个分辨率尺度的第一图像，其中，所述多个分辨率尺度与所述多个下采样尺度一一对应。

在一些实施例中，为了保证特征提取的准确度，可以获取待处理图像的不同低分辨率尺度的图像信息，以逐次由粗糙到精细的获得大感受野的图像特征。即可在将待处理图像输入至前述的超分网络模型后，可以通过超分网络模型的下采样模块对待处理图像进行多次无损的下采样操作。其中，下采样次数按照电子设备的实际硬件条件进行合理选择。如，对于移动终端，可以选取1到4次不等。

在一些实施例中，可以按照电子设备的速度需求，减少或增加下采样的次数来控制整体的计算资源。在另一些实施例中，也可以是根据输入的待处理图像尺寸减少或增加下采样的次数来控制整体的计算资源，具体地，可以获取待处理图像的图像尺寸参数，根据该图像尺寸参数确定下采样的尺度参数，然后根据该下采样尺度参数对该待处理图像进行下采样操作，从而得到待处理图像的第一图像，如此，在待处理图像的尺寸比较大时，为了减少计算量，可以减少下采样次数。实现参数的自适应控制。当然，也可以同时根据电子设备的速度需求以及图像尺寸来设置下采样尺度参数，此处并不做限定。

具体地，可以基于多个下采样尺度，将待处理图像输入超分网络模型的下采样模块，得到待处理图像的多个分辨率尺度的第一图像，从而得到待处理图像的不同低分辨率尺度的图像信息。其中，所述多个分辨率尺度与所述多个下采样尺度一一对应，所述多个分辨率尺度中的每个分辨率尺度都低于所述待处理图像的原始分辨率尺度。

步骤S430：将所述多个分辨率尺度的第一图像输入超分网络模型的特征提取模块，得到所述多个分辨率尺度中最大分辨率尺度所对应的图像特征，并作为所述第一图像的第一特征图。

在本申请实施例中，在得到待处理图像的多个分辨率尺度的第一图像后，可以将该第一图像输入超分网络模型的特征提取模块，以对不同的分辨率尺度的第一图像进行特征的提取，然后再将不同层级的分辨率尺度特征进行逐级融合，以得到最大分辨率尺度所对应的图像特征。

其中，上述将不同层级的分辨率尺度特征进行逐级融合，可以理解的是基于不同的分辨率尺度的图像特征，对多个分辨率尺度中最大分辨率尺度所对应的图像特征的进行补充完善，从而输出最终更细节、更准确的最大分辨率尺度所对应的图像特征，也即得到最接近待处理图像的原始分辨率尺度的图像特征。

在一些实施例中，在对不同的分辨率尺度的第一图像进行特征提取后，可以是从分辨率尺度最底层开始，逐层将不同分辨率尺度的特征进行融合，直至将所有层的图像特征均融合至最大分辨率尺度所对应的图像特征中，得到最终输出的更细节、更准确的最大分辨率尺度所对应的图像特征。具体地，请参阅图10，步骤S430可以包括：

步骤S431：将所述多个分辨率尺度中最小分辨率尺度所对应的第一图像，输入超分网络模型的第一特征提取模块，得到所述最小分辨率尺度所对应的图像特征。

步骤S432：将其他分辨率尺度所对应的第一图像及所述最小分辨率尺度所对应的图像特征，输入超分网络模型的第二特征提取模块，得到所述多个分辨率尺度中最大分辨率尺度所对应的图像特征，其中，所述其他分辨率尺度为所述多个分辨率尺度中除所述最小分辨率尺度外的分辨率尺度。

在一些实施例中，上述超分网络模型的特征提取模块可以具体包括第一特征提取模块和第二特征提取模块。具体地，可以将所述多个分辨率尺度中最小分辨率尺度所对应的第一图像，输入超分网络模型的第一特征提取模块，可以得到所述最小分辨率尺度所对应的图像特征，也即最低层分辨率尺度所对应的最粗糙的图像特征。然后可以将该最小分辨率尺度所对应的图像特征与其他分辨率尺度所对应的第一图像，输入超分网络模型的第二特征提取模块，以使第二特征提取模块可以结合最底层的粗糙特征，提取到多个分辨率尺度中最大分辨率尺度所对应的图像特征。

在一些实施例中，请参阅图11和图12，上述第二特征提取模块可以是从分辨率尺度最底层开始，逐层将不同分辨率尺度的特征进行融合，从而均融合至最大分辨率尺度所对应的图像特征中，得到最终输出的更细节、更准确的最大分辨率尺度所对应的图像特征。具体地，步骤S432可以包括：

步骤S4321：将最小分辨率尺度所对应的图像特征与相邻分辨率尺度所对应的第一图像进行拼接处理，得到拼接后的图像作为所述相邻分辨率尺度所对应的新的第一图像，所述相邻分辨率尺度为所述多个分辨率尺度按照从小到大的顺序排列后，大于所述最小分辨率尺度且与所述最小分辨率尺度相邻的分辨率尺度。

其中，相邻分辨率尺度可以理解为将上述下采样得到的多个分辨率尺度按照从小到大的顺序排列后，大于该最小分辨率尺度但却与该最小分辨率尺度相邻的上一层级的分辨率尺度。在本申请实施例中，在得到最小分辨率尺度所对应的最底层的图像特征后，可以将该图像特征与上一层级的分辨率尺度的第一图像进行融合，从而丰富了上一层级的分辨率尺度的图像信息，得到上一层级分辨率尺度所对应的新的第一图像。

具体地，由于融合需要相同的分辨率尺度，因此，可以先通过前述的像素重排列的上采样操作(Depth to Space)，将最小分辨率尺度所对应的图像特征进行尺度放大，以放大到与上一层级的分辨率尺度的相同的尺度大小，得到放大后的最底层图像特征，然后再将该放大后的最底层图像特征与相邻分辨率尺度对应的第一图像进行拼接处理，得到拼接后的新的第一图像。其中，该放大后的最底层图像特征与相邻分辨率尺度对应的第一图像进行拼接处理，可以是按照通道维度进行合并排列(如图6所示)，从而得到通道数增加，分辨率尺度不变的新的第一图像。

步骤S4322：将所述相邻分辨率尺度所对应的新的第一图像输入所述第二特征提取模块，得到所述相邻分辨率尺度所对应的图像特征。

在得到的融合了最底层粗糙特征的相邻分辨率尺度所对应的新的第一图像后，可以将该相邻分辨率尺度所对应的新的第一图像输入第二特征提取模块进行特征提取，以得到新的第一图像的图像特征，作为该相邻分辨率尺度所对应的图像特征。从而得到了融合了最底层粗糙特征的上一层分辨率尺度的图像特征。

步骤S4323：将所述相邻分辨率尺度所对应的图像特征作为所述最小分辨率尺度所对应的图像特征，重复执行所述将最小分辨率尺度所对应的图像特征与相邻分辨率尺度所对应的第一图像进行拼接处理至所述得到所述相邻分辨率尺度所对应的图像特征的步骤，直至得到最大分辨率尺度所对应的图像特征。

在得到了上述最底层的上一层分辨率尺度的图像特征后，可以重复前述步骤，将该图像特征继续与再上一层分辨率尺度的第一图像进行拼接处理，然后再进行特征提取，得到再上一层分辨率尺度的图像特征，如此继续重复上述过程，直至得到最大分辨率尺度所对应的图像特征。可以理解的是，这里的最大分辨率尺度是上述多次下采样过程中的最大的分辨率尺度，其仍然小于待处理图像的原始分辨率，但最接近于该原始分辨率。

示例性地，请参阅图11，在最底层将下采样得到的第一图像输入至第一特征提取模块以进行特征提取，获得最粗糙的图像特征即最小分辨率尺度所对应的图像特征之后，通过像素重排列方式进行上采样操作，并与相邻分辨率尺度下的第一图像进行合并，共同作为输入，送入第二特征提取模块进行特征的提取，获得相邻分辨率尺度下较为精细的图像特征，重复该操作直到下采样的最大分辨率尺度所对应的图像特征，并将该最大分辨率尺度所对应的图像特征作为所述第一图像的第一特征图。

步骤S440：将所述第一特征图输入超分网络模型的上采样模块，得到所述待处理图像的第二图像。

在一些实施例中，当将上述得到的最大分辨率尺度所对应的图像特征作为第一图像的第一特征图后，可以将该第一特征图输入超分网络模型的上采样模块，得到待处理图像的第二图像。

具体地，当上采样模块包括前述实施例中的第一上采样模块以及第二上采样模块时，可以是先将第一图像的第一特征图即上述得到的最大分辨率尺度所对应的图像特征，输入第一上采样模块，以得到与待处理图像的原始分辨率相同的第二特征图，也即将上述融合了多尺度底层特征的最大分辨率尺度所对应的图像特征，放大至输入的待处理图像的尺度大小。然后将该第二特征图与待处理图像在通道维度进行拼接处理，得到拼接后的第三特征图，实现了输入的待处理图像与通过多层级提取映射的图像特征的合并，如此，在得到了融合多尺度底层特征后，还可以继续融合待处理图像的原尺度信息，从而大大丰富了提取的图像特征，得到了更为细致的图像图像。从而后续用于图像超分辨率重建时，大大提高了超分辨率重建效果。

由于第三特征图是具备原始分辨率尺度的第二特征图与待处理图像在通道维度进行拼接处理，因此，第三特征图的分辨率尺度仍然是原始分辨率尺度，只是增加了通道数。由于本申请需要得到的是分辨率大于原始分辨率尺度的超分辨率图像，因此在得到拼接后的第三特征图后，可以将该第三特征图输入第二上采样模块，以通过像素重排列的方式将该第三特征图的分辨率尺度进行放大，得到待处理图像的第二图像，该第二图像即为分辨率大于原始分辨率的超分辨率图像。

由于宽高尺度的增加，需要有合适的通道数减少，而第三特征图虽然经过拼接处理增加了通道数，但并不确定是否通道数足够或者通道数多余，因此，在一些实施例中，可以对第三特征图进行多次的卷积模块操作，以得到一个图像特征，该图像特征需具有放大倍数平方个数的通道数，然后将该图像特征输入超分网络模型的第二上采样模块，可以恰好得到一个待处理图像的第二图像。其中，放大倍数即为待处理图像需要进行超分辨率图像重建的分辨率尺度，与待处理图像的原始分辨率尺度的倍数关系。

示例性地，请再次参阅图11，在得到最大分辨率尺度所对应的图像特征之后，可以将该第一特征图输入超分网络模型的第一上采样模块，得到第二特征图，其中，所述第二特征图的分辨率与所述待处理图像的分辨率相同。以恢复至于待处理图像的分辨率尺度相同的大小，然后将待处理图像与通过上述多层级提取映射恢复的第二特征图进行拼接合并，得到拼接后的第三特征图，然后通过多次的卷积模块操作，得到一个需放大倍数尺寸平方个数通道数的图像特征，将该图像特征输入超分网络模型的第二上采样模块，得到待处理图像放大后分辨率更高的第二图像。

步骤S450：获取超分网络模型输出的所述第二图像，作为所述待处理图像的图像处理结果。

在本申请实施例中，步骤S450可以参阅前述实施例的内容，此处不再赘述。

本申请实施例提供的图像处理方法，在获取到待处理图像后，可以基于多个下采样尺度，将该待处理图像输入超分网络模型的下采样模块，得到待处理图像的多个分辨率尺度的第一图像，其中，所述多个分辨率尺度与所述多个下采样尺度一一对应。然后将该多个分辨率尺度的第一图像输入超分网络模型的特征提取模块，得到多个分辨率尺度中最大分辨率尺度所对应的图像特征，并作为第一图像的第一特征图，并将该第一特征图输入超分网络模型的上采样模块，得到分辨率大于待处理图像原始分辨率的第二图像。从而可以获取超分网络模型输出的该第二图像，作为所述待处理图像的图像处理结果。如此，通过本申请预先训练好的超分网络模型，可以实现根据待处理图像在多层低分辨率尺度上的图像特征，将该待处理图像重建为大于待处理图像分辨率的高分辨率图像。且通过像素重排列的方式来获取待处理图像的低分辨率图像特征，可以获得一个更大感受野的图像特征，能够更好的在低分辨率尺度上保留图像的细节信息，保证了最终的超分辨率重建效果。同时，由于大部分计算操作都是在低分辨率尺度上进行，所述能够减少大量的计算，更加适合多种低算力的端侧设备。

请参阅图13，其示出了本申请实施例提供的一种图像处理装置400的结构框图。该图像处理装置400应用上述的电子设备，该电子设备支持近场通信。该图像处理装置400包括：图像获取模块410、模型处理模块420以及结果获取模块430，其中，图像获取模块410用于获取待处理图像；模型处理模块420用于将所述待处理图像输入预先训练好的超分网络模型，所述超分网络模型用于将所述待处理图像中宽高维度的部分像素点转移至通道维度进行重新排列，得到分辨率小于所述待处理图像的分辨率的第一图像，并根据所述第一图像的图像特征输出分辨率大于所述待处理图像的分辨率的第二图像；结果获取模块430用于获取所述超分网络模型输出的第二图像，作为所述待处理图像的图像处理结果。

在一些实施方式中，所述超分网络模型包括下采样模块、特征提取模块以及上采样模块，所述模型处理模块420包括：第一处理单元，用于将所述待处理图像输入所述下采样模块，得到所述待处理图像的第一图像，其中，所述第一图像的分辨率小于所述待处理图像的分辨率，所述下采样模块用于根据下采样尺度将图像中宽高维度的部分像素点转移至通道维度进行重新排列；特征提取单元，用于将所述第一图像输入所述特征提取模块，得到所述第一图像的第一特征图；第二处理单元，用于将所述第一特征图输入所述上采样模块，得到所述待处理图像的第二图像，其中，所述第二图像的分辨率大于所述待处理图像的分辨率，所述上采样模块用于根据上采样尺度将图像中通道维度的部分像素点转移至宽高维度进行重新排列。

在一些实施方式中，所述上采样模块包括第一上采样模块以及第二上采样模块，所述第二处理单元可以包括：第一采样子单元，用于将所述第一特征图输入所述第一上采样模块，得到第二特征图，其中，所述第二特征图的分辨率与所述待处理图像的分辨率相同；拼接子单元，用于将所述第二特征图与所述待处理图像进行拼接处理，得到拼接后的第三特征图；第二采样子单元，用于将所述第三特征图输入所述第二上采样模块，得到所述待处理图像的第二图像。

在一些实施方式中，第一处理单元可以包括：空间转变子单元，用于对所述待处理图像进行颜色空间转变，得到转变后的颜色通道图；通道采样子单元，用于将所述颜色通道图输入所述下采样模块，得到所述颜色通道图的第一图像。

在该实施例下，第二采样子单元可以具体用于：将所述第三特征图输入所述第二上采样模块，得到所述颜色通道图的第二图像；基于所述颜色通道图的第二图像，进行所述颜色空间转变的逆向操作，得到所述待处理图像的第二图像。

在一些实施方式中，上述颜色空间可以包括多个颜色通道，上述通道采样子单元可以具体用于：将所述多个颜色通道中每个颜色通道的所述颜色通道图输入所述下采样模块，得到所述每个颜色通道的所述颜色通道图所对应的第一图像。

在该实施例下，上述拼接子单元可以具体用于：分别将所述每个颜色通道的所述第二特征图与所述每个颜色通道的所述颜色通道图进行拼接处理，得到所述每个颜色通道所对应的拼接后的第三特征图。

在一些实施例中，上述颜色空间可以包括多个颜色通道，该多个颜色通道中包括用于表征颜色明亮程度的指定颜色通道，上述通道采样子单元可以具体用于：将所述指定颜色通道的所述颜色通道图输入所述下采样模块，得到所述指定颜色通道的所述颜色通道图所对应的第一图像。

在该实施例下，上述第二采样子单元中的基于所述颜色通道图的第二图像，进行所述颜色空间转变的逆向操作，得到所述待处理图像的第二图像，可以包括：对其他颜色通道的颜色通道图进行图像插值处理，得到目标图像，其中，所述其他颜色通道为所述多个颜色通道中除所述指定颜色通道以外的颜色通道，所述目标图像的分辨率与所述指定颜色通道的所述颜色通道图的第二图像的分辨率相同；基于所述指定颜色通道的所述颜色通道图的第二图像以及所述目标图像，进行所述颜色空间转变的逆向操作，得到所述待处理图像的第二图像。

在一些实施例中，上述颜色空间可以至少包括YUV颜色空间、RGB颜色空间、HSV颜色空间、HIS颜色空间以及LAB颜色空间中的任意一种。

在一些实施例中，上述第一处理单元可以具体用于：基于多个下采样尺度，将所述待处理图像输入所述下采样模块，得到所述待处理图像的多个分辨率尺度的第一图像，其中，所述多个分辨率尺度与所述多个下采样尺度一一对应。

在该实施例下，上述特征提取单元可以具体用于：将所述多个分辨率尺度的第一图像输入所述特征提取模块，得到所述多个分辨率尺度中最大分辨率尺度所对应的图像特征，并作为所述第一图像的第一特征图。

在一些实施例中，上述特征提取模块可以包括第一特征提取模块和第二特征提取模块，上述特征提取单元也可以具体包括：第一提取子单元，用于将所述多个分辨率尺度中最小分辨率尺度所对应的第一图像，输入所述第一特征提取模块，得到所述最小分辨率尺度所对应的图像特征；第二提取子单元，用于将其他分辨率尺度所对应的第一图像及所述最小分辨率尺度所对应的图像特征，输入所述第二特征提取模块，得到所述多个分辨率尺度中最大分辨率尺度所对应的图像特征，其中，所述其他分辨率尺度为所述多个分辨率尺度中除所述最小分辨率尺度外的分辨率尺度。

在一些实施例中，上述第二提取子单元可以具体用于：将最小分辨率尺度所对应的图像特征与相邻分辨率尺度所对应的第一图像进行拼接处理，得到拼接后的图像作为所述相邻分辨率尺度所对应的新的第一图像，所述相邻分辨率尺度为所述多个分辨率尺度按照从小到大的顺序排列后，大于所述最小分辨率尺度且与所述最小分辨率尺度相邻的分辨率尺度；将所述相邻分辨率尺度所对应的新的第一图像输入所述第二特征提取模块，得到所述相邻分辨率尺度所对应的图像特征；将所述相邻分辨率尺度所对应的图像特征作为所述最小分辨率尺度所对应的图像特征，重复执行所述将最小分辨率尺度所对应的图像特征与相邻分辨率尺度所对应的第一图像进行拼接处理至所述得到所述相邻分辨率尺度所对应的图像特征的步骤，直至得到最大分辨率尺度所对应的图像特征。

在一些实施例中，上述拼接子单元可以具体用于：将所述第二特征图与所述待处理图像在所述通道维度进行拼接处理，得到拼接后的第三特征图。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

请参考图14，其示出了本申请实施例提供的一种电子设备的结构框图。该电子设备100可以是智能手机、平板电脑、智能手表等能够运行应用程序的电子设备。本申请中的电子设备100可以包括一个或多个如下部件：处理器110、存储器120、以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。

存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

请参考图15，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质800中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (14)

1.一种图像处理方法，其特征在于，所述方法包括：

获取待处理图像；

将所述待处理图像输入预先训练好的超分网络模型，所述超分网络模型用于将所述待处理图像中宽高维度的部分像素点转移至通道维度进行重新排列，得到分辨率小于所述待处理图像的分辨率的第一图像，并根据所述第一图像的图像特征输出分辨率大于所述待处理图像的分辨率的第二图像；

获取所述超分网络模型输出的所述第二图像，作为所述待处理图像的图像处理结果。

2.根据权利要求1所述的方法，其特征在于，所述超分网络模型包括下采样模块、特征提取模块以及上采样模块，所述将所述待处理图像输入预先训练好的超分网络模型，包括：

将所述待处理图像输入所述下采样模块，得到所述待处理图像的第一图像，其中，所述第一图像的分辨率小于所述待处理图像的分辨率，所述下采样模块用于根据下采样尺度将图像中宽高维度的部分像素点转移至通道通道维度进行重新排列；

将所述第一图像输入所述特征提取模块，得到所述第一图像的第一特征图；

将所述第一特征图输入所述上采样模块，得到所述待处理图像的第二图像，其中，所述第二图像的分辨率大于所述待处理图像的分辨率，所述上采样模块用于根据上采样尺度将图像中通道维度的部分像素点转移至宽高维度进行重新排列。

3.根据权利要求2所述的方法，其特征在于，所述上采样模块包括第一上采样模块以及第二上采样模块，所述将所述第一特征图输入所述上采样模块，得到所述待处理图像的第二图像，包括：

将所述第一特征图输入所述第一上采样模块，得到第二特征图，其中，所述第二特征图的分辨率与所述待处理图像的分辨率相同；

将所述第二特征图与所述待处理图像进行拼接处理，得到拼接后的第三特征图；

将所述第三特征图输入所述第二上采样模块，得到所述待处理图像的第二图像。

4.根据权利要求3所述的方法，其特征在于，所述将所述待处理图像输入所述下采样模块，得到所述待处理图像的第一图像，包括：

对所述待处理图像进行颜色空间转变，得到转变后的颜色通道图；

将所述颜色通道图输入所述下采样模块，得到所述颜色通道图的第一图像；

所述将所述第三特征图输入所述第二上采样模块，得到所述待处理图像的第二图像，包括：

将所述第三特征图输入所述第二上采样模块，得到所述颜色通道图的第二图像；

基于所述颜色通道图的第二图像，进行所述颜色空间转变的逆向操作，得到所述待处理图像的第二图像。

5.根据权利要求4所述的方法，其特征在于，所述颜色空间包括多个颜色通道，所述将所述颜色通道图输入所述下采样模块，得到所述颜色通道图的第一图像，包括：

将所述多个颜色通道中每个颜色通道的所述颜色通道图输入所述下采样模块，得到所述每个颜色通道的所述颜色通道图所对应的第一图像；

所述将所述第二特征图与所述待处理图像进行拼接处理，得到拼接后的第三特征图，包括：

分别将所述每个颜色通道的所述第二特征图与所述每个颜色通道的所述颜色通道图进行拼接处理，得到所述每个颜色通道所对应的拼接后的第三特征图。

6.根据权利要求4所述的方法，其特征在于，所述颜色空间包括多个颜色通道，所述多个颜色通道中包括用于表征颜色明亮程度的指定颜色通道，所述将所述颜色通道图输入所述下采样模块，得到所述颜色通道图的第一图像，包括：

将所述指定颜色通道的所述颜色通道图输入所述下采样模块，得到所述指定颜色通道的所述颜色通道图所对应的第一图像；

所述基于所述颜色通道图的第二图像，进行所述颜色空间转变的逆向操作，得到所述待处理图像的第二图像，包括：

对其他颜色通道的颜色通道图进行图像插值处理，得到目标图像，其中，所述其他颜色通道为所述多个颜色通道中除所述指定颜色通道以外的颜色通道，所述目标图像的分辨率与所述指定颜色通道的所述颜色通道图的第二图像的分辨率相同；

基于所述指定颜色通道的所述颜色通道图的第二图像以及所述目标图像，进行所述颜色空间转变的逆向操作，得到所述待处理图像的第二图像。

7.根据权利要求4-6任一项所述的方法，其特征在于，所述颜色空间至少包括YUV颜色空间、RGB颜色空间、HSV颜色空间、HIS颜色空间以及LAB颜色空间中的任意一种。

8.根据权利要求2-6任一项所述的方法，其特征在于，所述将所述待处理图像输入所述下采样模块，得到所述待处理图像的第一图像，包括：

基于多个下采样尺度，将所述待处理图像输入所述下采样模块，得到所述待处理图像的多个分辨率尺度的第一图像，其中，所述多个分辨率尺度与所述多个下采样尺度一一对应；

所述将所述第一图像输入所述特征提取模块，得到所述第一图像的第一特征图，包括：

将所述多个分辨率尺度的第一图像输入所述特征提取模块，得到所述多个分辨率尺度中最大分辨率尺度所对应的图像特征，并作为所述第一图像的第一特征图。

9.根据权利要求8所述的方法，其特征在于，所述特征提取模块包括第一特征提取模块和第二特征提取模块，所述将所述多个分辨率尺度的第一图像输入所述特征提取模块，得到所述多个分辨率尺度中最大分辨率尺度所对应的图像特征，包括：

将所述多个分辨率尺度中最小分辨率尺度所对应的第一图像，输入所述第一特征提取模块，得到所述最小分辨率尺度所对应的图像特征；

将其他分辨率尺度所对应的第一图像及所述最小分辨率尺度所对应的图像特征，输入所述第二特征提取模块，得到所述多个分辨率尺度中最大分辨率尺度所对应的图像特征，其中，所述其他分辨率尺度为所述多个分辨率尺度中除所述最小分辨率尺度外的分辨率尺度。

10.根据权利要求9所述的方法，其特征在于，所述将其他分辨率尺度所对应的第一图像及所述最小分辨率尺度所对应的图像特征，输入所述第二特征提取模块，得到所述多个分辨率尺度中最大分辨率尺度所对应的图像特征，包括：

将最小分辨率尺度所对应的图像特征与相邻分辨率尺度所对应的第一图像进行拼接处理，得到拼接后的图像作为所述相邻分辨率尺度所对应的新的第一图像，所述相邻分辨率尺度为所述多个分辨率尺度按照从小到大的顺序排列后，大于所述最小分辨率尺度且与所述最小分辨率尺度相邻的分辨率尺度；

将所述相邻分辨率尺度所对应的新的第一图像输入所述第二特征提取模块，得到所述相邻分辨率尺度所对应的图像特征；

将所述相邻分辨率尺度所对应的图像特征作为所述最小分辨率尺度所对应的图像特征，重复执行所述将最小分辨率尺度所对应的图像特征与相邻分辨率尺度所对应的第一图像进行拼接处理至所述得到所述相邻分辨率尺度所对应的图像特征的步骤，直至得到最大分辨率尺度所对应的图像特征。

11.根据权利要求3-6任一项所述的方法，其特征在于，所述将所述第二特征图与所述待处理图像进行拼接处理，得到拼接后的第三特征图，包括：

将所述第二特征图与所述待处理图像在所述通道维度进行拼接处理，得到拼接后的第三特征图。

12.一种像处理装置，其特征在于，所述装置包括：

图像获取模块，用于获取待处理图像；

模型处理模块，用于将所述待处理图像输入预先训练好的超分网络模型，所述超分网络模型用于将所述待处理图像中宽高维度的部分像素点转移至通道维度进行重新排列，得到分辨率小于所述待处理图像的分辨率的第一图像，并根据所述第一图像的图像特征输出分辨率大于所述待处理图像的分辨率的第二图像；

结果获取模块，用于获取所述超分网络模型输出的第二图像，作为所述待处理图像的图像处理结果。

13.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于执行如权利要求1-11任一项所述的方法。

14.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-11任一项所述的方法。

Images