CN109934773B - 一种图像处理方法、装置、电子设备和计算机可读介质 - Google Patents

Abstract

本发明提供了一种图像处理方法、装置、电子设备和计算机可读介质，涉及图像处理的技术领域，包括获取待处理图像，并获取所述待处理图像的缩放倍数，其中，所述缩放倍数包括：放大倍数或者缩小倍数；结合权重预测模型和所述缩放倍数预测得到各个目标像素点的目标权重参数，其中，所述目标像素点为若按照所述缩放倍数对所述待处理图像进行缩放处理之后得到的目标图像中的像素点；利用所述目标权重参数和所述待处理图像中各个像素点的特征信息确定所述目标图像，本申请缓解了现有的图像超分辨需要针对每个放大倍数设置对应放大模块的技术问题。

Description

一种图像处理方法、装置、电子设备和计算机可读介质

技术领域

本发明涉及图像处理的技术领域，尤其是涉及一种图像处理方法、装置、电子设备和计算机可读介质。

背景技术

目前，图像处理技术中包括图像分辨率的调整，例如，将低分辨率图像调整为高分辨率图像(又称为图像超分辨)；或者将高分辨率图像调整为低分辨率图像。以图像超分辨为例，图像超分辨方法将不同放大倍数(scale factor)的超分辨问题看成独立的任务。现有的图像超分辨方法中，可以基于子像素卷积(sub-pixel convolution)来实现。在该方法中，在网络的最后阶段使用子像素卷积组成放大模块(upscale module)用于放大图片生成高分辨率的图片。但是，对于每个放大倍数(scale factor)，在该方法都需要设计一个对应独立放大模块(upscale module)。而且现有的方法只考虑了某些整数倍数(x2,x3,x4,x8)的图像超分辨。

发明内容

有鉴于此，本发明的目的在于提供一种图像处理方法、装置、电子设备和计算机可读介质，以缓解了现有的图像超分辨需要针对每个放大倍数设置对应放大模块的技术问题。

第一方面，本发明实施例提供了一种图像处理方法，包括：获取待处理图像，并获取所述待处理图像的缩放倍数，其中，所述缩放倍数包括：放大倍数或者缩小倍数；结合权重预测模型和所述缩放倍数预测得到各个目标像素点的目标权重参数，其中，所述目标像素点为若按照所述缩放倍数对所述待处理图像进行缩放处理之后得到的目标图像中的像素点；利用所述目标权重参数和所述待处理图像中各个像素点的特征信息确定所述目标图像。

进一步地，利用所述目标权重参数和所述待处理图像中各个像素点的特征信息确定所述目标图像包括：基于所述目标权重参数和所述待处理图像中各个像素点的特征信息，确定各个所述目标像素点的像素值，从而确定得到所述目标图像。

进一步地，基于所述目标权重参数和所述待处理图像中各个像素点的特征信息，确定各个所述目标像素点的像素值包括：对所述待处理图像的特征信息进行扩展，得到目标特征信息，其中，所述目标特征信息包括各个目标像素点的特征信息；基于所述目标特征信息和所述目标权重参数，确定各个所述目标像素点的像素值。

进一步地，基于所述目标特征信息和所述目标权重参数，确定各个所述目标像素点的像素值包括：将目标权重参数w_ijr和目标特征信息F^HR(i,j)进行卷积计算，得到卷积计算结果；(i,j)为所述目标像素点，r为所述缩放倍数，F^HR(i,j)为所述目标像素点(i,j)的目标特征信息，w_ijr为所述目标像素点(i,j)的目标权重参数；将所述卷积计算结果确定为所述目标像素点(i,j)的像素值。

进一步地，结合权重预测模型和所述缩放倍数预测得到各个目标像素点的目标权重参数包括：利用所述缩放倍数和所述待处理图像的尺寸参数确定所述目标像素点的数量信息；确定所述目标像素点在所述待处理图像中的坐标信息；结合所述目标像素点的数量信息、所述坐标信息和所述缩放倍数构建目标向量，其中，所述目标向量包括N个利用所述坐标信息和所述缩放倍数确定的用于确定每个目标像素点的目标权重参数的输入参数，N为所述目标像素点的数量信息；将所述目标向量输入到所述权重预测网络中，得到所述各个目标像素点的目标权重参数。

进一步地，所述权重预测网络包括：多个全连接层和激活函数层。

进一步地，所述多个全连接层包括：第一全连接层和第二全连接层；将所述目标向量输入到所述权重预测网络中，得到所述各个目标像素点的目标权重参数包括：利用所述第一全连接层对所述目标向量进行处理，得到第一处理结果；利用所述激活函数层对所述第一处理结果进行处理，得到第二处理结果；利用所述第二全连接层对所述第二处理结果进行处理，得到所述目标权重参数。

进一步地，所述输入参数包括：第一偏移量、第二偏移量和关于所述缩放倍数的目标函数，所述第一偏移量为所述目标像素点在所述待处理图像中的投影横坐标和配对横坐标之间的偏移量，所述第二偏移量为所述目标像素点在所述待处理图像中的投影纵坐标和配对纵坐标之间的偏移量，所述配对横坐标为所述投影横坐标的下取整计算结果，所述配对纵坐标为所述投影纵坐标的下取整计算结果。

进一步地，利用所述缩放倍数和所述待处理图像的尺寸参数确定所述目标像素点的数量信息包括：利用所述缩放倍数和所述待处理图像的尺寸参数确定所述目标图像的尺寸信息；基于所述目标图像的尺寸信息确定所述目标图像中目标像素点的数量信息。

进一步地，所述方法还包括：在获取到所述待处理图像之后，通过特征学习网络对所述待处理图像进行特征提取，得到所述待处理图像的特征信息。

第二方面，本发明实施例还提供了一种图像处理装置，包括：获取单元，用于获取待处理图像，并获取所述待处理图像的缩放倍数，其中，所述缩放倍数包括：放大倍数或者缩小倍数；第一确定单元，用于结合权重预测模型和所述缩放倍数预测得到各个目标像素点的目标权重参数，其中，所述目标像素点为若按照所述缩放倍数对所述待处理图像进行缩放处理之后得到的目标图像中的像素点；第二确定单元，用于利用所述目标权重参数和所述待处理图像中各个像素点的特征信息确定所述目标图像。

第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面中任一项所述的方法的步骤。

第四方面，本发明实施例还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述第一方面中任一项所述的方法的步骤。

在本发明实施例中，首先获取待处理图像，以及该待处理图像的缩放倍数；然后，结合权重预测模型和缩放倍数预测得到每个目标像素点的目标权重参数，其中，该目标像素点为假设按照缩放倍数对待处理图像进行缩放处理之后得到的目标图像中的像素点；最后，利用目标权重参数和待处理图像中各个像素点的特征信息确定目标图像。通过上述描述可知，在本实施例中，利用权重预测模型就能够为各个缩放倍数预测一组权重参数，而无需再为每个缩放倍数设置一个放大模块，进而缓解了现有的图像超分辨需要针对每个放大倍数设置对应放大模块的技术问题。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的一种电子设备的结构示意图；

图2是根据本发明实施例的一种图像处理方法的流程图；

图3是根据本发明实施例的一种图像处理网络的结构图示意图；

图4是根据本发明实施例的一种特征学习网络的结构示意图；

图5是根据本发明实施例的另一种图像处理方法的流程图；

图6是根据本发明实施例的一种图像处理装置的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

首先，参照图1来描述用于实现本发明实施例的图像处理方法的示例电子设备100。

如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108以及摄像机110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器102可以采用数字信号处理器(Digital Signal Processing，简称DSP)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)、可编程逻辑阵列(Programmable logic arrays，简称PLA)和ASIC(Application Specific IntegratedCircuit)中的至少一种硬件形式来实现，所述处理器102可以是中央处理单元(CentralProcessing Unit，简称CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述摄像机110用于进行获取待处理图像，其中，摄像机所获取的待处理图像经过所述图像处理方法进行处理之后得到目标图像，例如，摄像机可以拍摄用户期望的图像(例如照片、视频等)，然后，将该图像经过所述图像处理方法进行处理之后得到目标图像，摄像机还可以将所拍摄的图像存储在所述存储器104中以供其它组件使用。

示例性地，用于实现根据本发明实施例的图像处理方法的示例电子设备可以被实现为诸如智能手机、平板电脑等移动终端上。

通过上述描述可知，在实际的应用场景中，现有的图像分辨率处理方法中存在如下问题：1)实际应用经常需要放大倍数(scale factor)是用户指定的，用户自定义的放大倍数原则上可以是任意的放大倍数。目前现有的方法只考虑了某些整数放大倍数，尤其基于子像素卷积(sub-pixel convolution)的方法无法实现非整数放大倍数的图像超分辨；2)现有的方法为每个放大倍数都设计一个对应独立放大模块，那么现有的方法就必须为每个放大倍数都存储一个模型才能应对任意的用户自定义的放大倍数。然而为每个正数放大倍数都存储一个模型是困难的和占空间的，不利于在移动设备上使用。基于此，本申请提供了一种图像处理方法，本申请所提供的方法利用权重预测模型就能够为各个缩放倍数预测一组权重参数，而无需再为每个缩放倍数设置一个放大模块，进而缓解了现有的图像超分辨需要针对每个放大倍数设置对应放大模块的技术问题，下面将结合具体实施例介绍该方法。

实施例二：

根据本发明实施例，提供了一种图像处理方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图2是根据本发明实施例的一种图像处理方法的流程图，如图2所示，该方法包括如下步骤：

步骤S202，获取待处理图像，并获取所述待处理图像的缩放倍数，其中，所述缩放倍数包括：放大倍数或者缩小倍数。

在本实施例中，若该缩放倍数为放大倍数，则该待处理图像为低分辨率的图像，本申请所提供的方法为按照该放大倍数对该图像进行超分辨处理，得到高分辨率的图像。若该缩放倍数为缩小倍数，则该待处理图像为高分辨率的图像，本申请所提供的方法为按照该缩小倍数对该待处理图像进行处理，得到低分辨率的图像。

步骤S204，结合权重预测模型和所述缩放倍数预测得到各个目标像素点的目标权重参数，其中，所述目标像素点为若按照所述缩放倍数对所述待处理图像进行缩放处理之后得到的目标图像中的像素点。

在本实施例中，权重预测模型为预先训练得到的模型。通过该权重预测模型可以为每个缩放倍数预测一组目标权重参数。通过目标权重参数可以调整待处理图像的分辨率，从而得到目标图像(即，分辨率更高的图像，或者，分辨率更低的图像)。

通过上述描述可知，在本实施例中，通过一个权重预测模型就能够处理任意缩放倍数的待处理图像，本申请所提供的方法避免了需要为每个缩放倍数都存储一个对应的模型的问题，从而使得图像处理更加实用。

需要说明的是，预测得到的一组目标权重参数中包括各个目标像素点的权重参数。

步骤S206，利用所述目标权重参数和所述待处理图像中各个像素点的特征信息确定所述目标图像。

在本实施例中，在利用权重预测模型预测得到一组目标权重参数之后，就可以利用该目标权重参数和待处理图像中各个像素点的特征信息确定目标图像。

在本发明实施例中，首先获取待处理图像，以及该待处理图像的缩放倍数；然后，结合权重预测模型和缩放倍数预测得到每个目标像素点的目标权重参数，其中，该目标像素点为假设按照缩放倍数对待处理图像进行缩放处理之后得到的目标图像中的像素点；最后，利用目标权重参数和待处理图像中各个像素点的特征信息确定目标图像。通过上述描述可知，在本实施例中，利用权重预测模型就能够为各个缩放倍数预测一组权重参数，而无需再为每个缩放倍数设置一个放大模块，进而缓解了现有的图像超分辨需要针对每个放大倍数设置对应放大模块的技术问题。

通过上述描述可知，在本实施例中，首先获取待处理图像，然后，提取待处理图像的特征信息。

可选地，在本实施例中，可以通过特征学习网络对所述待处理图像进行特征提取，得到所述待处理图像的特征信息。其中，在该特征信息中，包含待处理图像中各个像素点的特征信息。具体地，特征学习网络输出的特征信息记为F^LR，该特征信息的特征通道数记为inC。

假设，待处理图像的宽和高分别为(5,4)，且缩放倍数r＝2，特征学习网络输出的特征信息的特征通道数为inC＝4。那么该特征学习网络输出的特征信息F^LR可以为一个矩阵，该矩阵的形状为(4,4,5)。

特征学习网络有多种，在本实施例中，该特征学习网络可以选择为RDN(ResidualDense Network)网络，除此之外，还可以选择为其他的网络，本实施例对此不作具体限定。

RDN网络的具体结构如图3中特征学习网络(Feature Learning Module)部分所示。通过图3可以了解，RDN网络主要包含以下几个模块，第一个模块主要包含RDN网络中的前2个卷积层。第二个模块主要包含RDN网络中的RDB(Redidual Dense Block)模块，具体地，如图3所示，包含RDB 1、RDB d和RDB D这三个RDB模块，每个RDB模块的具体结构如图4所示。第三个模块主要是Concat层和一个1×1的卷积层。Concat层的作用就是将两个及以上的特征图按照在特征通道进行拼接。第四个模块包含一个卷积层。

在本实施例中，在按照上述所描述的方式处理得到待处理图像中各个像素点的特征信息之后，就可以结合权重预测模型和缩放倍数预测各个目标像素点的目标权重参数。

如图5所示，在本实施例中，步骤S204，结合权重预测模型和所述缩放倍数预测得到各个目标像素点的目标权重参数包括如下步骤：

步骤S2041，利用所述缩放倍数和所述待处理图像的尺寸参数确定所述目标像素点的数量信息。

在本实施例中，可以通过待处理图像的尺寸参数和缩放倍数确定目标像素点的数量信息，具体过程为：

在本实施例中，首先，利用所述缩放倍数和所述待处理图像的尺寸参数确定所述目标图像的尺寸信息；假设待处理图像的大小为(H,W)，缩放倍数为r，那么目标图像的尺寸参数为：outH[r×H]，outW[r×W]。

在得到上述尺寸信息之后，就可以基于所述目标图像的尺寸信息确定所述目标图像中目标像素点的数量信息N。

步骤S2042，确定所述目标像素点在所述待处理图像中的坐标信息。

假设待处理图像为I^LR，目标图像记为I^SR。通过上述步骤S2041的描述可知，通过待处理图像I^LR的尺寸参数和缩放倍数r就可以知晓目标图像的尺寸参数，从而确定目标图像I^SR中的像素点(即，目标像素点)。对于目标图像I^SR中的任意一个目标像素点(i,j)，若将目标图像I^SR缩小(或者放大)到待处理图像的大小时，目标图像I^SR在待处理图像中的坐标信息为

步骤S2043，结合所述目标像素点的数量信息、所述坐标信息和所述缩放倍数构建目标向量，其中，所述目标向量包括N个利用所述坐标信息和所述缩放倍数确定的用于确定每个目标像素点的目标权重参数的输入参数，N为所述目标像素点的数量信息。

在本实施例中，在步骤S2042确定出目标像素点在待处理图像中的坐标信息之后，就可以结合目标像素点的数量信息N，坐标信息/>和缩放倍数r构建目标向量。其中，该目标向量为一个2D的向量，该目标向量的大小为(N,T)，N为目标图像I^SR中所有目标像素点的数量信息，T为该目标向量中每个子向量的长度。假设，目标图像的宽和高分别为10和8，那么该目标向量的大小为(10*8，T)，其中，在本实施例中，T＝3。

通过上述描述可知，本实施例所构建的目标向量中包括以下信息：N个利用所述坐标信息和所述缩放倍数确定的用于确定每个目标像素点的目标权重参数的输入参数，其中，该输入参数包括：第一偏移量、第二偏移量和关于所述缩放倍数的目标函数，所述第一偏移量为所述目标像素点在所述待处理图像中的投影横坐标和配对横坐标之间的偏移量，所述第二偏移量为所述目标像素点在所述待处理图像中的投影纵坐标和配对纵坐标之间的偏移量，所述配对横坐标为所述投影横坐标的下取整计算结果，所述配对纵坐标为所述投影纵坐标的下取整计算结果。

需要说明的是，在本实施例中，关于所述缩放倍数的目标函数可以为缩放倍数的倒数，例如，该输入参数可以可以表示为：其中，/>为上述第一偏移量，/>为上述第二偏移量，/>为缩放倍数的倒数。

还需要说明的是，关于所述缩放倍数的目标函数除了可以为缩放倍数的倒数之外，还可以为其他形式的函数，本实施例中对此不作具体限定。

在第一偏移量中/>为目标像素点在所述待处理图像中的投影横坐标，/>为配对横坐标；在第二偏移量/>中/>为目标像素点在所述待处理图像中的投影纵坐标，/>为配对纵坐标。

通过上述描述可知，在本实施例中，目标向量的大小为(N,T)。在该目标向量中，每个输入参数的长度均为3(即，T＝3)。如果目标图像的宽和高分别为10和8，那么该目标图像的大小为(10*8，3)。

步骤S2044，将所述目标向量输入到所述权重预测网络中，得到所述各个目标像素点的目标权重参数。

在本实施例中，在按照上述所描述的方式得到目标向量之后，就可以将目标向量输入到权重预测网络中，得到各个目标像素点的目标权重参数。

通过上述描述可知，在本实施例中，对于每个缩放倍数r，以及目标图像I^SR上的任意一个目标像素点(i,j)权重预测网络都可以为其预测对应的目标权重参数。

需要说明的是，在本实施例中，对于目标向量中的每个输入参数，都要输出一个长度为M的向量，该向量即为上述所描述的目标权重参数，也就是说，在本申请中，目标权重参数的输出大小为(N,M)其中，M为一组卷积核参数的个数，M＝outC*inC*k*k。如果目标图像为彩色图像，那么outC＝3；如果目标图像是灰色图像，那么outC＝1；k是卷积核的大小，其中，k是预先设定的数值，用户可以根据实际需要来进行设定，本实施例对此不作具体限定。若inC＝4，outC＝1，且k＝1，则M的数值为16，表示该目标权重参数中包含16个元素。

通过上述描述可知，在本实施例中，权重预测网络的输入(即，上述目标向量)不仅跟缩放倍数scale factor相关，还与目标像素点在所述待处理图像中的坐标信息相关，正是引入坐标信息，本申请所提供的方法可以实现非整数放大倍数。正是由于权重预测网络能够动态地为不同的缩放倍数scale factor预测不同的权重参数，本申请使用单个模型(权重预测模型)就可以解决任意放大倍数的图像超分辨任务。

下面结合图3具体介绍权重预测网络的结构。如图3所示的为图像处理网络的结构图，在该图像处理网络中，包括特征学习网络(Feature Learning Module)，其中，特征学习网络(Feature Learning Module)的具体结构图如图4所示。在该图像处理网络中，还包括放大模块(Meta-Upscale Module)。

在该放大模块中，包括权重预测网络weight prediction network，其中该权重预测网络包括：多个全连接层(Fully Connected Layer，简称FC)和ReLU激活函数层。

在本实施例中，优选地，多个全连接层选择两层FC，具体地，多个全连接层包括：第一全连接层FC1和第二全连接层FC2。

基于此，在本实施例中，将所述目标向量输入到所述权重预测网络中，得到所述各个目标像素点的目标权重参数的步骤包括：

首先，利用所述第一全连接层对所述目标向量进行处理，得到第一处理结果；

然后，利用所述激活函数层对所述第一处理结果进行处理，得到第二处理结果；

最后，利用所述第二全连接层对所述第二处理结果进行处理，得到所述目标权重参数。

表1

需要说明的是，如果选择RDN为特征学习网络，由于RDN输出特征的通道数为64。因此，最终需要学习的参数数目为inC*outC*k*k＝64*3*3*3＝1728，具体细节如上表1所示。

在本实施例中，在按照上述所描述的方式得到目标权重参数之后，就可以利用目标权重参数和待处理图像中各个像素点的特征信息确定目标图像。

在一个可选的实施例中，步骤S206，利用所述目标权重参数和所述待处理图像中各个像素点的特征信息确定所述目标图像包括如下步骤：

基于所述目标权重参数和所述待处理图像中各个像素点的特征信息，确定各个所述目标像素点的像素值，从而确定得到所述目标图像。

具体地，在本实施例中，可以结合目标权重参数W和待处理图像中各个像素点的特征信息F^LR计算各个目标像素点的像素值，在得到该像素值之后，就可以基于该像素值重构得到目标图像。

可选地，在本实施例中，基于所述目标权重参数和所述待处理图像中各个像素点的特征信息，确定各个所述目标像素点的像素值包括如下步骤：

步骤S1，对所述待处理图像的特征信息进行扩展，得到目标特征信息，其中，所述目标特征信息包括各个目标像素点的特征信息。

通过上述描述可知，目标权重参数为一组向量，在该向量中包括各个目标像素点的权重参数，也即包括N个目标像素点的权重参数。但是，在待处理图像的特征信息中，包括Q个像素点的特征信息，其中，Q为待处理图像中像素点的个数。

基于此，若要结合待处理图像的特征信息和目标权重参数计算各个目标像素点的像素值，需要对待处理图像的特征信息进行扩展，得到目标特征信息，其中，该目标特征信息中包括各个目标像素点的特征。

具体扩展方式为：首先，确定目标像素点和待处理图像中特征信息的投影关系。然后，将待处理图像的特征信息的大小扩展为目标图像中目标像素点对应的数量大小，得到特征信息F^HR。需要说明的是，在本实施例中，针对特征信息F^HR中扩展的向量，可以设置为预设数值(例如，0)，或者设置为空。

最后，按照上述投影关系确定特征信息F^HR中各个向量的数值，得到目标特征信息。具体地，可以按照该投影关系确定设置为预设数值，或者设置为空的向量的数值，基于投影关系的确定原则可以为：投影至相同的像素点(i',j')的目标像素点的特征信息相同。

目标特征信息中包括各个目标像素点的特征信息，且投影至相同的像素点(i',j')的目标像素点的特征信息相同。

步骤S2，基于所述目标特征信息和所述目标权重参数，确定各个所述目标像素点的像素值。

在本实施例中，在基于目标特征信息和目标权重参数，确定各个目标像素点的像素值时，可以将目标权重参数w_ijr和目标特征信息F^HR(i,j)进行卷积计算，得到卷积计算结果；(i,j)为所述目标像素点，r为所述缩放倍数，F^HR(i,j)为所述目标像素点(i,j)的目标特征信息，w_ijr为所述目标像素点(i,j)的目标权重参数；然后，将所述卷积计算结果确定为所述目标像素点(i,j)的像素值。

通过上述描述可知，本申请为了将图像处理过程更加实用，本申请针对图像处理任务第一个提出一种方案：使用单个模型解决任意放大倍数的图像处理任务。

本申请提出的图像处理方法需要存储一个模型就能够解决任意用户自定义的放大倍数的图像处理过程。本申请提出了一种新型的基于元学习的放大模块(Meta-UpscaleModule)来替代主流方法中的放大模块(Upscale Module)。本申请中的放大模块通过一个权重预测网络(weight prediction network)为每个缩放倍数(scale fator)都预测一组权重参数，使用这些权重参数可以调整图像的分辨率，例如，将低分辨图像放大相对应的倍数。而且本申请中的放大模块可以实现非整数放大倍数的图像处理。通过使用权重预测网络这一个网络就能够处理任意放大倍数的图像超分辨。本申请所提供的方法避免需要为每个放大倍数都存储一个对应的模型，从而使得图像超分辨更加实用了。

综上所述本发明具有以下特点：

1)解决了非整数放大倍数的图像超分辨；

2)使用一个网络为不同放大倍数预测一组不同的参数，这样仅需要存储这个权重预测网络，就可以实现仅使用单个模型就能处理任意放大倍数的图像超分辨，而不需要为每个放大倍数都存储一个相应的模型；

3)由于权重预测网络参数很小，本申请中所提供的放大模块耗时时间段，处理效率高。

需要说明的是，在本实施例中，对本申请所提出的图像处理网络中的放大模块Meta-Upscale的性能进行了验证，具体验证过程描述如下：

首先，选择本申请所提供的图像处理网络Meta-RDN和bicubic插值方法进行比较。在比较之前，训练图像处理网络Meta-RDN和bicubic插值方法。在训练阶段，本实施例随机采样放大倍数r∈(1,4]。训练过程中，每个训练阶段的图像都是同一放大倍数的。同时在所有这些缩放倍数scale factors上训练得到最终的网络模型。本申请所提出的图像处理网络实现了非整数放大倍数的图像超分辨以及单个模型解决任意放大倍数的图像超分辨。尽管本申请所提供的方法在多个缩放倍数scale factors上同时训练的结果，在X2,X3,X4缩放倍数scale factors上，本申请的方法取得了跟现有方法在仅单scale factor(X2,X3,X4)上训练可比较的结果。本申请的方法针对任意放大倍数的超分辨网络性能远超经典bicubic插值实现图像缩放的传统放大。同时本申请Meta-Upscale模块耗时比特征学习模块耗时相差两个数量级，实验结果如下表2所示。

表2

scale	X1.1	X1.2	X1.3	X1.4	X1.5	X1.6	X1.7	X1.8	X1.9	X2.0
											bicubic	36.56	35.01	33.84	32.93	32.14	31.49	30.90	30.38	29.97	29.55
Meta-RDN	42.82	40.40	38.28	36.95	35.86	34.90	34.13	33.45	32.86	32.35
											scale	X2.1	X2.2	X2.3	X2.4	X2.5	X2.6	X2.7	X2.8	X2.9	X3.0
bicubic	29.18	28.87	28.57	28.31	28.13	27.89	27.66	27.51	27.31	27.19
											Meta-RDN	31.82	31.41	31.06	30.62	30.45	30.13	29.82	29.67	29.40	29.30
scale	X3.1	X3.2	X3.3	X3.4	X3.5	X3.6	X3.7	X3.8	X3.9	X4.0
											bicubic	26.98	26.89	26.59	26.60	26.42	26.35	26.15	26.07	26.01	25.96
Meta-RDN	28.87	28.79	28.68	28.54	28.32	28.27	28.04	27.92	27.82	27.75

下表3所示的为本申请所提供的图像处理网络Meta-RDN和现有的RDN算法在多个数据集以及X2,X3,X4的结果比较。

表3

下表4所示的为本申请所提供的图像处理网络Meta-RDN中各个模块的耗时比较结果。

表4

Methods	Feature learning	Weight Prediction	Feature Mapping
				Meta-RDN	3.28e-2s	1.5e-4s	3.6e-4s

通过上述表2至表4的结果可知，上述实验结果证明了本发明的图像处理网络Meta-RDN可依仅使用单个模型就可以解决任意放大倍数的图像超分辨，在所有的scalefactor上都达到了当前最好水平。

实施例三：

本发明实施例还提供了一种图像处理装置，该图像处理装置主要用于执行本发明实施例上述内容所提供的图像处理方法，以下对本发明实施例提供的图像处理装置做具体介绍。

图6是根据本发明实施例的一种图像处理装置的示意图，如图6所示，该图像处理装置主要包括：获取单元10，第一确定单元20和第二确定单元30，其中：

获取单元10，用于获取待处理图像，并获取所述待处理图像的缩放倍数，其中，所述缩放倍数包括：放大倍数或者缩小倍数；

第一确定单元20，用于结合权重预测模型和所述缩放倍数预测得到各个目标像素点的目标权重参数，其中，所述目标像素点为若按照所述缩放倍数对所述待处理图像进行缩放处理之后得到的目标图像中的像素点；

第二确定单元30，用于利用所述目标权重参数和所述待处理图像中各个像素点的特征信息确定所述目标图像。

在本发明实施例中，首先获取待处理图像，以及该待处理图像的缩放倍数；然后，结合权重预测模型和缩放倍数预测得到每个目标像素点的目标权重参数，其中，该目标像素点为假设按照缩放倍数对待处理图像进行缩放处理之后得到的目标图像中的像素点；最后，利用目标权重参数和待处理图像中各个像素点的特征信息确定目标图像。通过上述描述可知，在本实施例中，利用权重预测模型就能够为各个缩放倍数预测一组权重参数，而无需再为每个缩放倍数设置一个放大模块，进而缓解了现有的图像超分辨需要针对每个放大倍数设置对应放大模块的技术问题。

可选地，第二确定单元包括：第一确定模块，用于基于所述目标权重参数和所述待处理图像中各个像素点的特征信息，确定各个所述目标像素点的像素值，从而确定得到所述目标图像。

可选地，第一确定模块，用于对所述待处理图像的特征信息进行扩展，得到目标特征信息，其中，所述目标特征信息包括各个目标像素点的特征信息；基于所述目标特征信息和所述目标权重参数，确定各个所述目标像素点的像素值。

可选地，第一确定模块，还用于将目标权重参数w_ijr和目标特征信息F^HR(i,j)进行卷积计算，得到卷积计算结果；(i,j)为所述目标像素点，r为所述缩放倍数，F^HR(i,j)为所述目标像素点(i,j)的目标特征信息，w_ijr为所述目标像素点(i,j)的目标权重参数；将所述卷积计算结果确定为所述目标像素点(i,j)的像素值。

可选地，第一确定单元包括：第二确定模块，用于利用所述缩放倍数和所述待处理图像的尺寸参数确定所述目标像素点的数量信息；第三确定模块，用于确定所述目标像素点在所述待处理图像中的坐标信息；构建模块，用于结合所述目标像素点的数量信息、所述坐标信息和所述缩放倍数构建目标向量，其中，所述目标向量包括N个利用所述坐标信息和所述缩放倍数确定的用于确定每个目标像素点的目标权重参数的输入参数，N为所述目标像素点的数量信息；预测模块，用于将所述目标向量输入到所述权重预测网络中，得到所述各个目标像素点的目标权重参数。

可选地，所述权重预测网络包括：多个全连接层和激活函数层。

可选地，所述多个全连接层包括：第一全连接层和第二全连接层；预测模块，用于：利用所述第一全连接层对所述目标向量进行处理，得到第一处理结果；利用所述激活函数层对所述第一处理结果进行处理，得到第二处理结果；利用所述第二全连接层对所述第二处理结果进行处理，得到所述目标权重参数。

可选地，所述输入参数包括：第一偏移量、第二偏移量和关于所述缩放倍数的目标函数，所述第一偏移量为所述目标像素点在所述待处理图像中的投影横坐标和配对横坐标之间的偏移量，所述第二偏移量为所述目标像素点在所述待处理图像中的投影纵坐标和配对纵坐标之间的偏移量，所述配对横坐标为所述投影横坐标的下取整计算结果，所述配对纵坐标为所述投影纵坐标的下取整计算结果。

可选地，预测模块，还用于：利用所述缩放倍数和所述待处理图像的尺寸参数确定所述目标图像的尺寸信息；基于所述目标图像的尺寸信息确定所述目标图像中目标像素点的数量信息。

可选地，该装置还用于：在获取到所述待处理图像之后，通过特征学习网络对所述待处理图像进行特征提取，得到所述待处理图像的特征信息。

本申请还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述方法实施例中任一项所述的方法的步骤。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

获取待处理图像，并获取所述待处理图像的缩放倍数，其中，所述缩放倍数包括：放大倍数或者缩小倍数；

结合权重预测模型和所述缩放倍数预测得到各个目标像素点的目标权重参数，其中，所述目标像素点为若按照所述缩放倍数对所述待处理图像进行缩放处理之后得到的目标图像中的像素点；

利用所述目标权重参数和所述待处理图像中各个像素点的特征信息确定所述目标图像；

其中，结合权重预测模型和所述缩放倍数预测得到各个目标像素点的目标权重参数，包括：

利用所述缩放倍数和所述待处理图像的尺寸参数构建目标向量，其中，所述目标向量包括N个用于确定每个目标像素点的目标权重参数的输入参数，N为所述目标像素点的数量信息；

将所述目标向量输入到所述权重预测模型中，得到所述各个目标像素点的目标权重参数；

所述输入参数包括：第一偏移量、第二偏移量和关于所述缩放倍数的目标函数，所述第一偏移量为所述目标像素点在所述待处理图像中的投影横坐标和配对横坐标之间的偏移量，所述第二偏移量为所述目标像素点在所述待处理图像中的投影纵坐标和配对纵坐标之间的偏移量，所述配对横坐标为所述投影横坐标的下取整计算结果，所述配对纵坐标为所述投影纵坐标的下取整计算结果；

其中，利用所述目标权重参数和所述待处理图像中各个像素点的特征信息确定所述目标图像，包括：

对所述待处理图像的特征信息进行扩展，得到目标特征信息，其中，所述目标特征信息包括各个目标像素点的特征信息；

基于所述目标特征信息、所述目标权重参数和卷积计算算法，确定各个所述目标像素点的像素值，从而确定得到所述目标图像。

2.根据权利要求1所述的方法，其特征在于，基于所述目标特征信息、所述目标权重参数和卷积计算算法，确定各个所述目标像素点的像素值包括：

将目标权重参数w_ijr和目标特征信息F^HR(i,j)进行卷积计算，得到卷积计算结果；(i,j)为所述目标像素点，r为所述缩放倍数，F^HR(i,j)为所述目标像素点(i,j)的目标特征信息，w_ijr为所述目标像素点(i,j)的目标权重参数；

将所述卷积计算结果确定为所述目标像素点(i,j)的像素值。

3.根据权利要求1所述的方法，其特征在于，利用所述缩放倍数和所述待处理图像的尺寸参数构建目标向量包括：

利用所述缩放倍数和所述待处理图像的尺寸参数确定所述目标像素点的数量信息；

确定所述目标像素点在所述待处理图像中的坐标信息；

结合所述目标像素点的数量信息、所述坐标信息和所述缩放倍数构建目标向量。

4.根据权利要求3所述的方法，其特征在于，所述权重预测模型包括：多个全连接层和激活函数层。

5.根据权利要求4所述的方法，其特征在于，所述多个全连接层包括：第一全连接层和第二全连接层；

将所述目标向量输入到所述权重预测模型中，得到所述各个目标像素点的目标权重参数包括：

利用所述第一全连接层对所述目标向量进行处理，得到第一处理结果；

利用所述激活函数层对所述第一处理结果进行处理，得到第二处理结果；

利用所述第二全连接层对所述第二处理结果进行处理，得到所述目标权重参数。

6.根据权利要求3所述的方法，其特征在于，利用所述缩放倍数和所述待处理图像的尺寸参数确定所述目标像素点的数量信息包括：

利用所述缩放倍数和所述待处理图像的尺寸参数确定所述目标图像的尺寸信息；

基于所述目标图像的尺寸信息确定所述目标图像中目标像素点的数量信息。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在获取到所述待处理图像之后，通过特征学习网络对所述待处理图像进行特征提取，得到所述待处理图像的特征信息。

8.一种图像处理装置，其特征在于，包括：

获取单元，用于获取待处理图像，并获取所述待处理图像的缩放倍数，其中，所述缩放倍数包括：放大倍数或者缩小倍数；

第一确定单元，用于结合权重预测模型和所述缩放倍数预测得到各个目标像素点的目标权重参数，其中，所述目标像素点为若按照所述缩放倍数对所述待处理图像进行缩放处理之后得到的目标图像中的像素点；

第二确定单元，用于利用所述目标权重参数和所述待处理图像中各个像素点的特征信息确定所述目标图像；

其中，所述第一确定单元，用于：

利用所述缩放倍数和所述待处理图像的尺寸参数构建目标向量，其中，所述目标向量包括N个用于确定每个目标像素点的目标权重参数的输入参数，N为所述目标像素点的数量信息；

将所述目标向量输入到所述权重预测模型中，得到所述各个目标像素点的目标权重参数；

所述输入参数包括：第一偏移量、第二偏移量和关于所述缩放倍数的目标函数，所述第一偏移量为所述目标像素点在所述待处理图像中的投影横坐标和配对横坐标之间的偏移量，所述第二偏移量为所述目标像素点在所述待处理图像中的投影纵坐标和配对纵坐标之间的偏移量，所述配对横坐标为所述投影横坐标的下取整计算结果，所述配对纵坐标为所述投影纵坐标的下取整计算结果；

其中，所述第二确定单元，用于：

对所述待处理图像的特征信息进行扩展，得到目标特征信息，其中，所述目标特征信息包括各个目标像素点的特征信息；

基于所述目标特征信息、所述目标权重参数和卷积计算算法，确定各个所述目标像素点的像素值，从而确定得到所述目标图像。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至7中任一项所述的方法的步骤。

10.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行上述权利要求1至7中任一项所述的方法的步骤。