CN117057993A - 一种轻量化图像超分方法、装置、设备、存储介质及产品 - Google Patents

Abstract

本申请实施例提供了一种轻量化图像超分方法、装置、设备、存储介质及产品。本申请实施例提供的技术方案通过将待超分图像拆分为亮度分量图像以及色度分量图像，通过第一超分算法以及残差预测模型对所述亮度分量图像进行超分处理得到亮度超分图像，并通过第二超分算法对色度分量图像进行超分处理得到色度超分图像，再将亮度超分图像和色度超分图像进行融合得到更高分辨率的目标超分图像，结合超分算法和深度学习模型共同对人眼感知更敏感的亮度分量图像进行超分处理，在保证图像超分质量的同时，有效提高图像超分处理效率。

Description

一种轻量化图像超分方法、装置、设备、存储介质及产品

技术领域

本申请实施例涉及图像处理技术领域，尤其涉及一种轻量化图像超分方法、装置、设备、存储介质及产品。

背景技术

随着计算机、手机等智能设备与其相关技术的飞速发展，互联网和流媒体技术(Streaming Media)已经逐渐渗透到人类生活的多个方面。流媒体技术是指将一连串的媒体数据压缩后，以流的方式在网络中分段传送，实现在网络上实时传输影音以供观赏的一种技术。在网络情况不佳的情况下，观众接收到的视频流往往是低分辨率、低码率的视频，相较于高分辨率、高码率的视频而言，视频的画质会更受限。由于网络状况的限制，用户无法接收到高质量的流，可通过利用观众手机端的算力将低分辨率图像超分为高分辨率图像，以此提高图像的画质，为用户带来更好的观看体验。

超分，也即超分辨率，是指输入一张低分辨率图像，将其通过处理后得到一张同样内容的高分辨率图像。目前对图像的超分处理一般是基于传统超分算法和深度学习网络两种方式进行，传统的超分算法处理速度较快，但是超分效果较差，而基于深度学习网络的超分处理需要消耗大量的时间，图像超分效率较低。

发明内容

本申请实施例提供一种轻量化图像超分方法、装置、设备、存储介质及产品，以解决相关技术中图像超分处理效果较差，效率较低的技术问题，在保证图像超分处理效果的同时，有效提高图像超分处理效率。

在第一方面，本申请实施例提供了一种轻量化图像超分方法，包括：

获取待超分图像，将所述待超分图像拆分为亮度分量图像以及色度分量图像；

基于第一超分算法以及训练完成的残差预测模型对所述亮度分量图像进行超分处理，得到亮度超分图像；

基于第二超分算法对所述色度分量图像进行超分处理，得到色度超分图像；

将所述亮度超分图像以及所述色度超分图像进行融合，得到目标超分图像，所述目标超分图像的分辨率高于所述待超分图像的分辨率。

在第二方面，本申请实施例提供了一种轻量化图像超分装置，包括通道分离模块、亮度超分模块、色度超分模块以及通道融合模块，其中：

所述通道分离模块，配置为获取待超分图像，将所述待超分图像拆分为亮度分量图像以及色度分量图像；

所述亮度超分模块，配置为基于第一超分算法以及训练完成的残差预测模型对所述亮度分量图像进行超分处理，得到亮度超分图像；

所述色度超分模块，配置为基于第二超分算法对所述色度分量图像进行超分处理，得到色度超分图像；

所述通道融合模块，配置为将所述亮度超分图像以及所述色度超分图像进行融合，得到目标超分图像，所述目标超分图像的分辨率高于所述待超分图像的分辨率。

在第三方面，本申请实施例提供了一种轻量化图像超分设备，包括：存储器以及一个或多个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的轻量化图像超分方法。

在第四方面，本申请实施例提供了一种存储计算机可执行指令的非易失性存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的轻量化图像超分方法。

在第五方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中，设备的至少一个处理器从计算机可读存储介质读取并执行计算机程序，使得设备执行如第一方面所述的轻量化图像超分方法。

本申请实施例通过将待超分图像拆分为亮度分量图像以及色度分量图像，通过第一超分算法以及残差预测模型对所述亮度分量图像进行超分处理得到亮度超分图像，并通过第二超分算法对色度分量图像进行超分处理得到色度超分图像，再将亮度超分图像和色度超分图像进行融合得到更高分辨率的目标超分图像，结合超分算法和深度学习模型共同对人眼感知更敏感的亮度分量图像进行超分处理，在保证图像超分质量的同时，有效提高图像超分处理效率。

附图说明

图1是本申请实施例提供的一种轻量化图像超分方法的流程图；

图2是本申请实施例提供的另一种轻量化图像超分方法的流程图；

图3是本申请实施例提供的一种残差预测模型训练流程示意图；

图4是本申请实施例提供的一种残差预测模型结构示意图；

图5是本申请实施例提供的一种轻量化图像超分装置的结构示意图；

图6是本申请实施例提供的一种轻量化图像超分设备的结构示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时上述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。上述处理可以对应于方法、函数、规程、子例程、子程序等等。

本申请提供的轻量化图像超分方法可应用于需要通过图像超分提高视频观看体验的场景，例如视频直播、短视频观看等场景，旨在结合超分算法和深度学习模型共同对人眼感知更敏感的亮度分量图像进行超分处理，通过超分算法对人眼感知相对较弱的色度分量进行超分处理，在保证图像超分质量的同时，有效提高图像超分处理效率。在现有的图像超分处理方案中，一直是通过传统超分算法或深度学习网络(例如基于卷积神经网络的FSRCNN、面向边缘的卷积块神经网络ECBSR等)进行，虽然传统超分算法的处理速度较快，但是图像超分效果较差，而深度学习网络虽然图像超分效果较好，但是由于其复杂的网络结构以及网络参数，图像超分耗时较低，效率低下。基于此，提供本申请实施例的一种轻量化图像超分方法，以解决现有图像超分方案图像超分处理效果较差，效率较低的技术问题。

图1给出了本申请实施例提供的一种轻量化图像超分方法的流程图，本申请实施例提供的轻量化图像超分方法可以由轻量化图像超分装置来执行，该轻量化图像超分装置可以通过硬件和/或软件的方式实现，并集成在轻量化图像超分设备中。

下述以轻量化图像超分装置执行轻量化图像超分方法为例进行描述。参考图1，该轻量化图像超分方法包括：

S110：获取待超分图像，将待超分图像拆分为亮度分量图像以及色度分量图像。

本方案提供的待超分图像为需要进行超分处理的图像，例如在直播场景中，主播端将原视频流上传至服务器进行转码后，由服务器将视频流(原视频流或转码视频流)发送到轻量化图像超分设备(观众端)中，其中视频流中的图像帧即为需要进行超分处理的待超分图像。例如在短视频场景中，轻量化图像超分设备从服务器中获取视频信息(视频流或完整视频)，视频信息中的图像帧即为需要进行超分处理的待超分图像。

在一个实施例中，本方案提供的待超分图像为YUV格式图像。可选的，在获取到的待超分图像不是YUV格式图像(例如RGB格式的图像)时，可将待超分图像转换为YUV格式的图像。其中待超分图像包括亮度通道(Y通道)和颜色通道(UV通道)，Y表示图像的亮度分量，U和V表示图像的色度分量(色彩及饱和度)。

示例性的，获取需要进行超分处理的待超分图像，并按照亮度分量和色度分量拆分待超分图像，即分离待超分图像的亮度通道和色度通道，从而将待超分图像拆分为亮度分量图像和色度分量图像。例如，待超分图像按照设定数据记录格式记录待超分图像的亮度分量数据和色度分量数据，基于设定数据记录格式分离超分图像的亮度分量数据和色度分量数据，可得到待超分图像对应的亮度分量图像和色度分量图像。

S120：基于第一超分算法以及训练完成的残差预测模型对亮度分量图像进行超分处理，得到亮度超分图像。

本方案提供的轻量化图像超分设备配置有训练好的残差预测模型，残差预测模型用于对输入的低分辨率图像利用第一超分算法进行超分处理后，超分处理得到的图像与输入的低分辨率图像对应的高分辨率图像之间的残差进行预测。

在一个实施例中，本方案提供的超分算法(包括第一超分算法和第二超分算法)可以是传统超分算法，例如双线性插值算法(Bilinear Interpolation)、双三次插值算法(Bicubic Interpolation)、最近邻插值算法(Nearest Neighbor Interpolation)、边缘导向插值算法(Edge-Directed Interpolation)、边缘基准算法(Edge Prior)等，第一超分算法和第二超分算法可以相同，也可以不相同。

示例性的，利用第一超分算法以及残差预测模型对上述获取的亮度分量图像进行超分处理，得到亮度超分图像。例如，利用第一超分算法对亮度分量图像进行超分处理，以及利用残差预测模型预测基于第一超分算法对亮度分量图像进行超分处理的残差，并利用预测到的残差修正第一超分算法对亮度分量图像的超分处理结果，得到亮度超分图像。其中，亮度超分图像的分辨率高于亮度分量图像的分辨率。

S130：基于第二超分算法对色度分量图像进行超分处理，得到色度超分图像。

示例性的，利用第二超分算法对上述获取的色度分量图像进行超分处理得到色度超分图像。其中，色度超分图像的分辨率高于色度分量图像的分辨率，并且色度超分图像的分辨率与亮度超分图像的分辨率相同。

S140：将亮度超分图像以及色度超分图像进行融合，得到目标超分图像，目标超分图像的分辨率高于待超分图像的分辨率。

示例性的，在分别对亮度分量图像和色度分量图像进行超分处理得到亮度超分图像和色度超分图像后，将亮度超分图像和色度超分图像进行融合得到目标超分图像。例如，基于设定数据记录格式组合亮度超分图像和色度超分图像得到目标超分图像。本方案提供的目标超分图像的分辨率高于待超分图像的分辨率。可选的，在得到目标超分图像后，可在轻量化图像超分进行显示，或添加到显示队列中等待进一步的处理。

需要进行解释的是，对于一张YUV图像，人眼对YUV图像中的亮度通道的感知更敏感，而人眼对色度通道UV的感知敏感度低于对亮度通道Y的感知敏感度。本方案提供的轻量化图像超分方法对待超分图像的亮度通道及色度通道进行分开处理，对于人眼更加敏感的亮度通道，使用第一超分算法以及轻量化的残差预测模型对亮度分量图像进行超分预测，提高亮度通道超分后主观画质，而对于人眼敏感度相对较低的色度通道，使用第二超分算法以降低整体超分耗时，减少直接使用深度学习神经网络超分图像导致的难度较大、耗时较多的问题，本方案通过残差预测模型来预测经过第一超分算法超分后的亮度通道图像与原始输入图像的残差，有效提高图像超分效果。

上述，通过将待超分图像拆分为亮度分量图像以及色度分量图像，通过第一超分算法以及残差预测模型对亮度分量图像进行超分处理得到亮度超分图像，并通过第二超分算法对色度分量图像进行超分处理得到色度超分图像，再将亮度超分图像和色度超分图像进行融合得到更高分辨率的目标超分图像，结合超分算法和深度学习模型(残差预测模型)共同对人眼感知更敏感的亮度分量图像进行超分处理，在保证图像超分质量的同时，有效提高图像超分处理效率。

在上述实施例的基础上，图2给出了本申请实施例提供的另一种轻量化图像超分方法的流程图，该轻量化图像超分方法是对上述轻量化图像超分方法的具体化。参考图2，该轻量化图像超分方法包括：

S210：获取待超分图像，将待超分图像拆分为亮度分量图像以及色度分量图像。

S220：基于第一超分算法对亮度分量图像进行超分处理，得到初始亮度超分图像。

示例性的，利用第一超分算法对上述获取的亮度分量图像进行超分处理得到初始亮度超分图像。其中，初始亮度超分图像的分辨率高于亮度分量图像的分辨率。

S230：利用训练完成的残差预测模型对初始亮度超分图像进行修正，得到亮度超分图像。

示例性的，将亮度分量图像输入至预先配置并训练完成的残差预测模型中，利用至残差预测模型的输出结果对上述确定的初始亮度超分图像进行修正得到亮度超分图像，其中，亮度超分图像的分辨率与初始亮度超分图像的分辨率相同。本方案通过第一超分算法对亮度分量图像进行超分处理得到初始亮度超分图像，并利用残差预测模型对初始亮度超分图像进行修正得到亮度超分图像，有效提高亮度通道超分后主观画质，提高图像超分效果。

在一个可能的实施例中，本方案提供的轻量化图像超分方法在利用训练完成的残差预测模型对初始亮度超分图像进行修正，得到亮度超分图像时，包括：

S231：将亮度分量图像输入至训练完成的残差预测模型，通过残差预测模型对亮度分量图像进行分析处理，得到第一超分算法对应的亮度预测残差。

S232：根据亮度预测残差对初始亮度超分图像进行修正，得到亮度超分图像。

示例性的，将上述获取的亮度分量图像输入到残差预测模型中，残差预测模型将对亮度分量图像进行分析处理，预测并输出基于第一超分算法对亮度分量图像进行超分处理对应的亮度预测残差。其中，亮度预测残差可以是分辨率与初始亮度超分图像的分辨率相同的残差图像。

在确定亮度预测残差后，根据亮度预测残差对初始亮度超分图像进行修正得到亮度超分图像。在一个实施例中，在根据亮度预测残差对初始亮度超分图像进行修正，得到亮度超分图像时，可以是将初始亮度超分图像以及亮度预测残差相加得到亮度超分图像。通过将初始亮度超分图像和亮度预测残差相加得到修正后的亮度超分图像，亮度超分图像与待超分图像对应的原始图像中的原始亮度通道图像更接近，提高图像超分效果。

本方案通过利用第一超分算法对亮度分量图像进行超分处理，并利用轻量化的残差预测模型预测亮度预测残差，而不需要利用复杂的深度学习模型进行超分处理，在保证对亮度分量图像的超分处理质量的同时，提高在亮度分量图像超分处理上的处理速度。

S240：基于第二超分算法对色度分量图像进行超分处理，得到色度超分图像。

S250：将亮度超分图像以及色度超分图像进行融合，得到目标超分图像，目标超分图像的分辨率高于待超分图像的分辨率。

在一个可能的实施例中，如图3提供的一种残差预测模型训练流程示意图所示，本方案提供的轻量化图像超分方法在获取待超分图像，将待超分图像拆分为亮度分量图像以及色度分量图像之前，还包括：

S201：获取第一亮度样本图像，对第一亮度样本图像进行下采样处理得到第二亮度样本图像，第一亮度样本图像的分辨率高于第二亮度样本图像的分辨率。

S202：根据第二亮度样本图像以及第一亮度样本图像确定第一超分算法对应的样本亮度残差。

S203：利用第二亮度样本图像以及样本亮度残差训练残差预测模型。

在一个实施例中，本方案提供的残差预测模型为轻量化的深度学习模型，如图4提供的一种残差预测模型结构示意图所示，本方案提供的残差预测模型包括第一卷积层(Conv-3x3)、第二卷积层(Conv-3x3)、激活函数层(PRelu，一种激活函数，Relu的变体)和像素重组层(像素重组PixelShuffle，可将低分辨的特征图，通过多通道间的重组得到高分辨率的特征图，本方案像素重组层用于数据重排，输出与超分后图像分辨率大小相同的残差图像)，第一卷积层、激活函数层、第二卷积层和像素重组层依次连接，第一卷积层作为残差预测模型的输入层，像素重组成作为残差预测模型的输出层。本方案使用的残差预测模型结构较为简单，卷积层的数目只有两个，输出层是耗时较低的像素重组层，可用于数据重排并输出与超分后图像分辨率大小相同的残差图像，轻量化的像素重组层可在手机、平板等轻量化图像超分设备上取得较小的推理耗时，实现在轻量化图像超分设备上的快速实时图像超分处理。

本方案提供的残差预测模型可利用第二亮度样本图像以及利用第一超分算法对第二亮度样本图像进行超分处理的样本亮度残差进行训练。示例性的，获取收集的多个第一亮度样本图像，并对第一亮度样本图像进行下采样处理得到第二亮度样本图像，其中，第一亮度样本图像的分辨率高于对应的第二亮度样本图像的分辨率。可选的，本方案提供的第一亮度样本图像可从预先收集的分辨率达到设定清晰度要求的原始样本图像，并从原始样本的亮度通道中分离得到，可也是以直接收集分辨率达到设定清晰度要求的第一亮度样本图像。

在得到第二亮度样本图像后，利用第二亮度样本图像和第一亮度样本图像确定利用第一超分算法对第二亮度样本图像进行超分处理对应的样本亮度残差(例如分辨率与第一亮度样本图像的分辨率相同的残差图像)。在确定多个第二亮度样本图像以及对应的样本亮度残差后，利用第二亮度样本图像和样本亮度残差训练残差预测模型，直至残差预测模型的准确度达到设定准确度要求或达到设定训练次数。其中，在对残差预测模型进行训练时，第二亮度样本图像作为输入，对应的样本亮度残差作为输出对残差预测模型进行训练。本方案通过对第一亮度样本图像进行下采样处理得到第二亮度样本图像，根据第二亮度样本图像以及第一亮度样本图像确定第一超分算法对应的样本亮度残差，并利用第二亮度样本图像以及样本亮度残差训练残差预测模型，提高对亮度预测残差的预测准确度，提高图像超分处理效果。

在一个可能的实施例中，本方案提供的轻量化图像超分方法在根据第二亮度样本图像以及第一亮度样本图像确定第一超分算法对应的样本亮度残差时，包括：基于第一超分算法对第二亮度样本图像进行超分处理，得到亮度超分样本图像；根据第一亮度样本图像以及亮度超分样本图像确定第一超分算法对应的样本亮度残差。

示例性的，利用第一超分算法分别对每个第二亮度样本图像进行超分处理，得到每个第二亮度样本图像对应的亮度超分样本图像。其中，亮度超分样本图像的分辨率高于第二亮度样本图像的分辨率。

对于每一个第一亮度样本图像，根据第一亮度样本图像和对应的亮度超分样本图像确定第一超分算法对每一个第一亮度样本图像进行超分处理对应的样本亮度残差。可选的，样本亮度残差可基于第一亮度样本图像和对应的亮度超分样本图像的差进行确定。其中，样本亮度残差可以是分辨率与第一亮度样本图像的分辨率相同的残差图像。本方案通过第一超分算法对第二亮度样本图像进行超分处理得到亮度超分样本图像，并根据第一亮度样本图像和亮度超分样本图像准确确定第一超分算法对应的样本亮度残差，提高对亮度预测残差的预测准确度，提高图像超分处理效果。

在一个实施例中，本方案提供的轻量化图像超分方法在对第一亮度样本图像进行下采样处理得到第二亮度样本图像之后，还包括：根据设定应用场景对第二亮度样本图像进行图片调整，以使调整后的第二亮度样本图像向设定应用场景中获取的实际待超分图像靠近。

示例性的，在对第一亮度样本图像进行下采样处理得到第二亮度样本图像后，进一步根据设定的应用场景对第二亮度样本图像进行图片调整，使得调整后的第二亮度样本图像向设定应用场景中获取的实际待超分图像靠近。其中，根据设定的应用场景对第二亮度样本图像进行图片调整可以是对第二亮度样本图像进行转码处理。例如，假设应用场景为直播场景或短视频场景，由于在直播场景中主播端或视频发布端(也可以是主播端)提供的原始图像(视频信息中的视频帧)会经过服务器的转码处理，例如将原始图像转换成不同分辨率或码率的转码图像，再根据用户端(轻量化图像超分设备)的需求或用户端的网络情况为用户端发送相应分辨率或码率的视频流(包括原始图像和/或转码图像)，本方案对第二亮度样本图像的图片调整可以是将第二亮度样本图像转码成多种不同分辨率或码率的亮度样本图像，即将第二亮度样本图像按照设定应用场景对图像的处理方式扩展成多种第二亮度样本图像，针对每种第二亮度样本图像均根据第二亮度样本图像以及第一亮度样本图像确定第一超分算法对应的样本亮度残差，再利用第二亮度样本图像以及样本亮度残差训练残差预测模型。本方案通过根据设定应用场景对第二亮度样本图像进行图片调整，将用于训练残差预测模型的样本数据进行模拟实际链路的特殊操作，有效降低实际使用时输入图像与训练时使用图像之间的差距，提高实际使用时残差预测模型的预测准确度，提高图像超分处理效果。

上述，通过将待超分图像拆分为亮度分量图像以及色度分量图像，通过第一超分算法以及残差预测模型对亮度分量图像进行超分处理得到亮度超分图像，并通过第二超分算法对色度分量图像进行超分处理得到色度超分图像，再将亮度超分图像和色度超分图像进行融合得到更高分辨率的目标超分图像，结合超分算法和深度学习模型共同对人眼感知更敏感的亮度分量图像进行超分处理，在保证图像超分质量的同时，有效提高图像超分处理效率。同时，通过第一超分算法对亮度分量图像进行超分处理得到初始亮度超分图像，并利用残差预测模型对初始亮度超分图像进行修正得到亮度超分图像，有效提高亮度通道超分后主观画质，提高图像超分效果。还通过根据设定应用场景对第二亮度样本图像进行图片调整，将用于训练残差预测模型的样本数据进行模拟实际链路的特殊操作，提高实际使用时残差预测模型的预测准确度，提高图像超分处理效果。

图5是本申请实施例提供的一种轻量化图像超分装置的结构示意图。参考图5，该轻量化图像超分装置包括通道分离模块51、亮度超分模块52、色度超分模块53以及通道融合模块54。

其中，通道分离模块51，配置为获取待超分图像，将待超分图像拆分为亮度分量图像以及色度分量图像；亮度超分模块52，配置为基于第一超分算法以及训练完成的残差预测模型对亮度分量图像进行超分处理，得到亮度超分图像；色度超分模块53，配置为基于第二超分算法对色度分量图像进行超分处理，得到色度超分图像；通道融合模块54，配置为将亮度超分图像以及色度超分图像进行融合，得到目标超分图像，目标超分图像的分辨率高于待超分图像的分辨率。

上述，通过将待超分图像拆分为亮度分量图像以及色度分量图像，通过第一超分算法以及残差预测模型对亮度分量图像进行超分处理得到亮度超分图像，并通过第二超分算法对色度分量图像进行超分处理得到色度超分图像，再将亮度超分图像和色度超分图像进行融合得到更高分辨率的目标超分图像，结合超分算法和深度学习模型共同对人眼感知更敏感的亮度分量图像进行超分处理，在保证图像超分质量的同时，有效提高图像超分处理效率。

在一个可能的实施例中，亮度超分模块52在基于第一超分算法以及训练完成的残差预测模型对亮度分量图像进行超分处理，得到亮度超分图像时，配置为：

基于第一超分算法对亮度分量图像进行超分处理，得到初始亮度超分图像；

利用训练完成的残差预测模型对初始亮度超分图像进行修正，得到亮度超分图像。

在一个可能的实施例中，亮度超分模块52在利用训练完成的残差预测模型对初始亮度超分图像进行修正，得到亮度超分图像时，配置为：

将亮度分量图像输入至训练完成的残差预测模型，通过残差预测模型对亮度分量图像进行分析处理，得到第一超分算法对应的亮度预测残差；

根据亮度预测残差对初始亮度超分图像进行修正，得到亮度超分图像。

在一个可能的实施例中，亮度超分模块52在根据亮度预测残差对初始亮度超分图像进行修正，得到亮度超分图像时，配置为：将初始亮度超分图像以及亮度预测残差相加，得到亮度超分图像。

在一个可能的实施例中，轻量化图像超分装置还包括样本处理模块、样本残差确定模块以及模型训练模块。

其中，样本处理模块配置为获取第一亮度样本图像，对第一亮度样本图像进行下采样处理得到第二亮度样本图像，第一亮度样本图像的分辨率高于第二亮度样本图像的分辨率；

样本残差确定模块配置为根据第二亮度样本图像以及第一亮度样本图像确定第一超分算法对应的样本亮度残差；

模型训练模块配置为利用第二亮度样本图像以及样本亮度残差训练残差预测模型。

在一个可能的实施例中，样本处理模块在对第一亮度样本图像进行下采样处理得到第二亮度样本图像之后，还配置为根据设定应用场景对第二亮度样本图像进行图片调整，以使调整后的第二亮度样本图像向设定应用场景中获取的实际待超分图像靠近。

在一个可能的实施例中，样本残差确定模块在根据第二亮度样本图像以及第一亮度样本图像确定第一超分算法对应的样本亮度残差时，配置为：

基于第一超分算法对第二亮度样本图像进行超分处理，得到亮度超分样本图像；

根据第一亮度样本图像以及亮度超分样本图像确定第一超分算法对应的样本亮度残差。

值得注意的是，上述轻量化图像超分装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本申请实施例的保护范围。

本申请实施例还提供了一种轻量化图像超分设备，该轻量化图像超分设备可集成本申请实施例提供的轻量化图像超分装置。图6是本申请实施例提供的一种轻量化图像超分设备的结构示意图。参考图6，该轻量化图像超分设备包括：输入装置63、输出装置64、存储器62以及一个或多个处理器61；存储器62，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器61执行，使得一个或多个处理器61实现如上述实施例提供的轻量化图像超分方法。上述提供的轻量化图像超分装置、设备和计算机可用于执行上述任意实施例提供的轻量化图像超分方法，具备相应的功能和有益效果。

本申请实施例还提供一种存储计算机可执行指令的非易失性存储介质，计算机可执行指令在由计算机处理器执行时用于执行如上述实施例提供的轻量化图像超分方法。当然，本申请实施例所提供的一种存储计算机可执行指令的非易失性存储介质，其计算机可执行指令不限于如上提供的轻量化图像超分方法，还可以执行本申请任意实施例所提供的轻量化图像超分方法中的相关操作。上述实施例中提供的轻量化图像超分装置、设备及存储介质可执行本申请任意实施例所提供的轻量化图像超分方法，未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的轻量化图像超分方法。

在上述实施例的基础上，本申请实施例还提供一种计算机程序产品，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机程序产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备、移动终端或其中的处理器执行本申请各个实施例所提供的轻量化图像超分方法的全部或部分步骤。

Claims (11)

1.一种轻量化图像超分方法，其特征在于，包括：

获取待超分图像，将所述待超分图像拆分为亮度分量图像以及色度分量图像；

基于第一超分算法以及训练完成的残差预测模型对所述亮度分量图像进行超分处理，得到亮度超分图像；

基于第二超分算法对所述色度分量图像进行超分处理，得到色度超分图像；

将所述亮度超分图像以及所述色度超分图像进行融合，得到目标超分图像，所述目标超分图像的分辨率高于所述待超分图像的分辨率。

2.根据权利要求1所述的轻量化图像超分方法，其特征在于，所述基于第一超分算法以及训练完成的残差预测模型对所述亮度分量图像进行超分处理，得到亮度超分图像，包括：

基于第一超分算法对所述亮度分量图像进行超分处理，得到初始亮度超分图像；

利用训练完成的残差预测模型对所述初始亮度超分图像进行修正，得到亮度超分图像。

3.根据权利要求2所述的轻量化图像超分方法，其特征在于，所述利用训练完成的残差预测模型对所述初始亮度超分图像进行修正，得到亮度超分图像，包括：

将所述亮度分量图像输入至训练完成的残差预测模型，通过所述残差预测模型对所述亮度分量图像进行分析处理，得到所述第一超分算法对应的亮度预测残差；

根据所述亮度预测残差对所述初始亮度超分图像进行修正，得到亮度超分图像。

4.根据权利要求3所述的轻量化图像超分方法，其特征在于，所述根据所述亮度预测残差对所述初始亮度超分图像进行修正，得到亮度超分图像，包括：

将所述初始亮度超分图像以及所述亮度预测残差相加，得到亮度超分图像。

5.根据权利要求1所述的轻量化图像超分方法，其特征在于，所述获取待超分图像，将所述待超分图像拆分为亮度分量图像以及色度分量图像之前，还包括：

获取第一亮度样本图像，对所述第一亮度样本图像进行下采样处理得到第二亮度样本图像，所述第一亮度样本图像的分辨率高于所述第二亮度样本图像的分辨率；

根据所述第二亮度样本图像以及所述第一亮度样本图像确定第一超分算法对应的样本亮度残差；

利用所述第二亮度样本图像以及所述样本亮度残差训练残差预测模型。

6.根据权利要求5所述的轻量化图像超分方法，其特征在于，所述对所述第一亮度样本图像进行下采样处理得到第二亮度样本图像之后，还包括：

根据设定应用场景对所述第二亮度样本图像进行图片调整，以使调整后的所述第二亮度样本图像向所述设定应用场景中获取的实际待超分图像靠近。

7.根据权利要求5所述的轻量化图像超分方法，其特征在于，所述根据所述第二亮度样本图像以及所述第一亮度样本图像确定第一超分算法对应的样本亮度残差，包括：

基于第一超分算法对所述第二亮度样本图像进行超分处理，得到亮度超分样本图像；

根据所述第一亮度样本图像以及所述亮度超分样本图像确定所述第一超分算法对应的样本亮度残差。

8.一种轻量化图像超分装置，其特征在于，包括通道分离模块、亮度超分模块、色度超分模块以及通道融合模块，其中：

所述通道分离模块，配置为获取待超分图像，将所述待超分图像拆分为亮度分量图像以及色度分量图像；

所述亮度超分模块，配置为基于第一超分算法以及训练完成的残差预测模型对所述亮度分量图像进行超分处理，得到亮度超分图像；

所述色度超分模块，配置为基于第二超分算法对所述色度分量图像进行超分处理，得到色度超分图像；

所述通道融合模块，配置为将所述亮度超分图像以及所述色度超分图像进行融合，得到目标超分图像，所述目标超分图像的分辨率高于所述待超分图像的分辨率。

9.一种轻量化图像超分设备，其特征在于，包括：存储器以及一个或多个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一项所述的轻量化图像超分方法。

10.一种存储计算机可执行指令的非易失性存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7任一项所述的轻量化图像超分方法。

11.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的轻量化图像超分方法。