CN113674152A - 图像处理方法、装置、电子设备和计算机可读存储介质 - Google Patents

Abstract

本申请涉及一种图像处理方法、装置、电子设备、计算机可读存储介质。所述方法包括：获取待处理图像的质量等级；所述质量等级用于表征所述待处理图像的分辨率。基于所述待处理图像的质量等级，从多个候选分辨率网络中确定所述质量等级对应的目标分辨率网络。利用所述目标分辨率网络优化所述待处理图像，得到目标图像；所述目标图像的分辨率高于所述待处理图像的分辨率。采用本方法能够针对不同质量等级的图像采用不同的分辨率网络进行优化，避免资源浪费。

Description

图像处理方法、装置、电子设备和计算机可读存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种图像处理方法、装置、电子设备和计算机可读存储介质。

背景技术

在图像处理领域，为了使用户获得更高质量的视觉体验，超分辨率技术应运而生。超分辨率技术的目的是提高图像的分辨率。目前，基于机器学习的超分辨率算法是实现超分辨率技术的途径之一。具体的实现方式是通过基于机器学习的超分辨率算法生成分辨率网络，利用分辨率网络对图像进行优化，从而得到分辨率更高的图像。但是，现有技术中利用分辨率网络对图像进行优化存在资源浪费的问题。

发明内容

本申请实施例提供了一种图像处理方法、装置、电子设备、计算机可读存储介质，能够针对不同质量等级的图像采用不同的分辨率网络进行优化，避免资源浪费。

一种图像处理方法，所述方法包括：获取待处理图像的质量等级；所述质量等级用于表征所述待处理图像的分辨率。

基于所述待处理图像的质量等级，从多个候选分辨率网络中确定所述质量等级对应的目标分辨率网络；

利用所述目标分辨率网络优化所述待处理图像，得到目标图像；所述目标图像的分辨率高于所述待处理图像的分辨率。

一种图像处理装置，还装置包括：

获取模块，用于获取待处理图像的质量等级；所述质量等级用于表征所述待处理图像的分辨率。

处理模块，用于基于所述获取模块获取的所述待处理图像的质量等级，从多个候选分辨率网络中确定所述质量等级对应的目标分辨率网络；所述处理模块，还用于利用所述目标分辨率网络优化所述待处理图像，得到目标图像；所述目标图像的分辨率高于所述待处理图像的分辨率。

一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取待处理图像的质量等级；所述质量等级用于表征所述待处理图像的分辨率。

基于所述待处理图像的质量等级，从多个候选分辨率网络中确定所述质量等级对应的目标分辨率网络。

利用所述目标分辨率网络优化所述待处理图像，得到目标图像；所述目标图像的分辨率高于所述待处理图像的分辨率。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取待处理图像的质量等级；所述质量等级用于表征所述待处理图像的分辨率。

基于所述待处理图像的质量等级，从多个候选分辨率网络中确定所述质量等级对应的目标分辨率网络。

利用所述目标分辨率网络优化所述待处理图像，得到目标图像；所述目标图像的分辨率高于所述待处理图像的分辨率。

上述图像处理方法、装置、电子设备和计算机可读存储介质，能够基于待处理图像的质量等级，确定与该质量等级对应的目标分辨率网络。以便利用目标分辨率网络优化待处理图像，从而获取分辨率更高的目标图像。通过本申请的技术方案，能够基于不同的分辨率网络针对性的优化不同质量等级的图像，在保证优化效果的前提下，避免了由于使用同一分辨率网络造成的资源浪费问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中图像处理方法的应用环境图；

图2为一个实施例中图像处理方法的流程图；

图3为一个实施例中步骤202的流程图；

图4为一个实施例中一种候选分辨率网络的获取方式的流程图；

图5为一个实施例中初始超网络的节点示意图；

图6为一个实施例中构成子网络的流程示意图；

图7为一个实施例中步骤406的流程图；

图8为一个实施例中步骤408的流程图；

图9为一个实施例中图像处理装置的结构框图

图10为一个实施例中电子设备的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一客户端称为第二客户端，且类似地，可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端，但其不是同一客户端。

考虑到现有技术中，大多采用同一分辨率网络来处理不同质量等级的图像。但是，质量等级高的图像仅需要学习能力低的分辨率网络即可处理。而质量等级低的图像，则需要学习能力强的分辨率网络来处理。由于图像的质量等级差异可能较大。因此，采用同一分辨率网络来处理不同质量等级的图像存在的问题是：当采用学习能力较强的分辨率网络来处理质量等级高的图像时，会造成资源浪费的问题；当采用学习能力较低的分辨率网络来处理质量等级低的图像时，则可能无法达到预期处理效果。

基于此，本申请实施例提供一种图像处理方法、装置、电子设备、计算机可读存储介质，以解决上述问题。本申请实施例的技术原理为：基于支持向量机(support vectormachines，SVM)分类器对待处理图像的特征参数进行识别，获取待处理图像的质量等级。之后，利用该质量等级对应的分辨率优化待处理图像，以更高分辨率的目标图像。从而实现不同质量等级的图像采用不同的分辨率网络进行优化，避免资源浪费。

图1为一个实施例中图像处理方法的应用环境示意图。如图1所示，该应用环境包括终端10和服务器20，终端10和服务器20通过网络进行通信。在一种实现方式中，终端10获取待处理图像的质量等级；这里，终端10可以从第三方设备或者服务器20获取待处理图像；或者，终端10具备拍摄功能，通过拍摄获取待处理图像。在获取待处理图像的质量等级后，从多个候选分辨率网络中，确定该待处理图像的质量等级的目标分辨率网络。最后，利用该目标分辨率网络优化该待处理图像，以获取分辨率更高的目标图像。需要说明的是，多个候选分辨率网络可由终端基于超分辨率算法训练获取。或者，由服务器20基于超分辨率算法训练生成多个候选分辨率网络后，之后，将该各候选分辨率网络的网络结构以及网络参数发送至终端10，终端10根据收到的各候选分辨率网络的网络结构以及网络参数，获取各候选分辨率网络。另外，终端10在实现本申请实施例所提供的技术方案，均可以通过另一服务器来实现。本申请实施例对用于实现所提供的技术方案的设备形态不作任何限定。其中，终端10可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器20可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

下面将结合图1，以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

图2为一个实施例中图像处理方法的流程图。本实施例中的图像处理方法，以运行于图1中的终端或服务器上为例进行描述。如图2所示，图像处理方法包括步骤202-步骤206。

步骤202、获取待处理图像的质量等级；质量等级用于表征待处理图像的分辨率。

具体地，待处理图像是需要进行分辨率优化处理的图像，以获得更高分辨率的图像。获取待处理图像的方式可以为通过通信连接的照相机、摄像头等设备拍摄后传入，或从存储有已经拍摄完成的待处理图像的存储设备中获取。

上述待处理图像可以是各种监控场景下的图像，该待处理图像可以是由摄像头或者相机拍摄的。该待处理图像中可以包含有特定的人、物或者事件等。例如，特定的人可以是用户需要监控的目标人物；特定的物可以是动物、建筑物或者人身上携带的某个物品等；特定的事件可以是集会、打架或者其他的特定活动等。

可选的，将待处理图像的特征参数输入至预先训练完成的图像质量评价模型中，得到该待处理图像在预设的多个质量等级下的评价结果。该特征参数至少包括图像亮度、图像模糊程度以及图像纹理中的一项或多项。

上述预设的多个质量等级可根据需求设置的多个质量等级，该质量等级的范围和数量也根据需求设置，例如，可以设置3个质量等级，质量等级为1至13之间的整数；也可以设置10个质量等级，质量等级为1至10之间的整数。上述图像质量评价模型为使用样本集通过机器学习训练得到，该样本集中的每个样本均包括一个样本图像的特征参数和样本图像对应的质量等级。

在一种实现方式中，在获取样本集时，对于同一张图像，不同的人给出的图像质量以及特征参数的判断结果可能存在差异，在获取图像的质量等级以及特征参数，可通过n(n>10)个人独立地进行标注，最终将n个人的标注结果的平均值作为最终的质量等级以及特征参数的标注结果。

步骤204、基于待处理图像的质量等级，从多个候选分辨率网络中确定质量等级对应的目标分辨率网络。

其中，不同的质量等级对应不同的候选分辨率网络。

示例性的，采用同一样本以及同一机器学习算法，训练获得的各候选分辨率网络，不同的候选分辨率网络的网络结构一般不同。因此，可以建立各候选分辨率网络的网络结构与质量等级的对应关系。如，将网络结构的标识与质量等级进行对应存储。

步骤206、利用目标分辨率网络优化待处理图像，得到目标图像；目标图像的分辨率高于待处理图像的分辨率。

进一步的，本申请实施例不仅限于优化待处理图像，还可具体应用于待处理图像的目标区域，其具体实现方式为：首先，确定需要优化的待处理图像中的目标区域，并获取待处理图像中目标区域的质量等级。之后，在从多个候选分辨率网络中确定质量等级对应的目标分辨率网络。其中，需要优化的待处理图像中的目标区域，可以通过识别用户在触摸屏中所圈出的区域确定；或者，确定待处理图像中所包含至少一个对象后，通过识别用户的点击或触摸操作对应的对象确定。例如，识别出待处理图像中包含有人脸和植物两种，当用户点击或触摸了人脸区域，则可确定出目标区域为人脸。需要说明的是，当针对待处理图像的目标区域的情况下，本申请实施例中所有针对待处理图像的实施例均可应用于待处理图像的目标区域。

上述图像处理方法，能够基于待处理图像的质量等级，确定与该质量等级对应的目标分辨率网络。以便利用目标分辨率网络优化待处理图像，从而获取分辨率更高的目标图像。通过本申请的技术方案，能够基于不同的分辨率网络针对性的优化不同质量等级的图像，在保证优化效果的前提下，避免了由于使用同一分辨率网络造成的资源浪费问题。

在一个实施例中，参照图3，步骤202的一种实现方式为步骤302和步骤304：

步骤302、获取待处理图像的特征参数；特征参数包括图像亮度、图像模糊程度以及图像纹理中的一项或多项。

需要说明的是，图像模糊程度在另一种意义可以表示为图像清晰程度。

可选的，上述待处理图像可以是自然场景下的图像，可以是监控场景下的图像，也可以是其他场景下的图像。该待处理图像可以是摄像机或者照相机拍摄的图像，也可以是录制的视频中的某一视频帧。在具体实现时，可以对待处理图像进行质量分析，得到待处理图像对应的特征参数，例如，可通过主观质量分析，也即是通过肉眼进行评定，得到待处理图像的特征参数，也可通过客观质量分析，也即是通过预设的公式计算待处理图像的质量，得到特征参数；也可以通过深度学习模型、神经网络模型等机器学习模型，得到待处理图像对应的特征参数。

示例性的，以特征参数包含图像亮度、图像模糊程度以及图像纹理这三种为例对本步骤进行说明。通过识别模型对待处理图像的图像亮度、图像模糊程度以及图像纹理进行识别。其中，识别模型包括：图像亮度识别模型、图像模糊程度识别模型以及图像纹理识别模型；其中，图像亮度识别模型用于识别待处理图像的图像亮度；图像模糊程度识别模型用于识别待处理图像的图像模糊程度；图像纹理识别模型用于识别待处理图像的图像纹理。

具体的，图像亮度识别模型、图像模糊程度识别模型以及图像纹理识别模型均可基于机器学习算法(如神经网络算法)以及对应的样本集进行训练获取。如，图像亮度识别模型可基于包含有多个样本图样以及各样本图样对应的图像亮度的样本集，结合神经网络算法训练生成。图像模糊程度识别模型可基于包含有多个样本图样以及各样本图样对应的图像模糊程度的样本集，结合神经网络算法训练生成。图像纹理识别模型同理，此处不再赘述。

步骤304、将特征参数输入支持向量机SVM模型中，生成待处理图像的质量等级。

进一步的，获取特征参数对应质量等级的数据集，并将数据集划分为训练集与测试集；根据训练集中的特征参数建立初始SVM检测模型；根据训练集中的质量等级选择核函数；进行交叉验证，选择初始SVM检测模型的惩罚参数C和核函数的参数g；使用测试集测试初始SVM检测模型并调整优化惩罚参数C和核函数的参数g，建立SVM检测模型。

本实施例中，利用SVM模型对包含图像亮度、图像模糊程度以及图像纹理中的一项或多项的特征参数进行识别，以获取待处理图像的质量等级。采用SVM模型能够精确的识别出待处理图像的质量等级，为后续的待处理图像优化提供准确的依据。

在一个实施例中，SVM模型中包括至少两个二分类模型，步骤304的一种实现方式为：将特征参数分别输入每个二分类模型中，得到每个二分类模型的输出结果。之后，根据各二分类模型的输出结果，得到待处理图像的质量等级。

可选的，二分类模型的数量与图像的质量等级的数量对应。

示例性的，以特征参数包含图像亮度、图像模糊程度以及图像纹理这三各维度来提取特征参数。首先，建立数据集；其中，数据集包含各质量等级以及各质量等级对应的特征向量(F1，F2，F3)，将数据集分为训练集和测试集；其中，F1表示图像亮度，F2表示图像模糊程度，F3表示图像纹理。本示例中，设置3个质量等级，为等级1，等级2和等级3。对应的二分类模型的数量为3个，分别为用于识别等级1的二分类模型1、用于识别等级2的二分类模型2以及用于识别等级3的二分类模型3。训练集包含的质量等级为等级1，等级2和等级3；利用该等级1以及等级1对应的特征参数作为正例，等级2和等级3以及各等级对应的特征参数作为负例，结合SVM二分类算法，训练获取二分类模型1；并利用测试集测试二分类模型1的准确度是否大于预设阈值；当准确度大于预设阈值的情况下，将二分类模型1确定为识别等级1的模型；当准确度小于或等于预设阈值的情况下，增加训练样本的数量，利用增加后的训练样本对二分类模型1继续训练，直至利用测试集测试的准确度大于预设阈值，则训练完成。对于二分类模型2和二分类模型3的训练过程可参考二分类模型1，此处不再赘述。

结合上述示例，当获取到待处理图像的特征参数后，将该特征参数分别输入至三个二分类模型中，得到待处理图像的质量等级的输出结果。其中，输出结果的形式为三维向量。其中三维向量的第一列为二分类模型1的输出结果，第二列为二分类模型2的输出结果，第三列为二分类模型3的输出结果。二分类模型1的输出结果为“1”时，该待处理图像的质量等级为等级1；二分类模型1的输出结果为“0”时，该待处理图像的质量等级不为等级1；同理，二分类模型2的输出结果为“1”时，该待处理图像的质量等级为等级2；二分类模型2的输出结果为“0”时，该待处理图像的质量等级不为等级2；二分类模型3的输出结果为“1”时，该待处理图像的质量等级为等级3；二分类模型3的输出结果为“0”时，该待处理图像的质量等级不为等级3。

例如，当识别出待处理图像的质量等级为等级1时，输出结果为(1,0,0)；需要说明的是，同理，当识别出待处理图像的质量等级为等级2时，输出结果为(0,1,0)；当识别出待处理图像的质量等级为等级3时，输出结果为(0,0,1)。

需要说明的是，特征参数所包含的数据以及质量等级均可根据实际需求进行调整，本申请实施例对其不做任何限定。

本实施例中，不同的二分类模型对应识别不同质量等级的图像，将多分类任务拆分成若干个二分类任务，将多个二分类模型的输出结果进行集成，以获取待处理图像的质量等级。

在一个实施例中，参照图4，为了避免网络资源的消耗，本申请实施例提供一种候选分辨率网络的获取方式，具体包括：

步骤402、获取样本集；样本集包含多个样本图像以及各样本图像的质量等级。

步骤404、利用样本集以及超分辨率算法，训练得到初始超网络；初始超网络包含多个子结构。

需要说明的是，基于超分辨率算法训练生成初始超网络为能够优化各质量等级的图像，且优化后的图像的分辨率均能够达到预期效果的网络。超分辨率算法可以为如深度学习算法等。

具体的，初始超网络包括：N个网络层；每一个网络层包括：M个节点，其中，N为不小于2的正整数，M为不小于2的正整数，选择初始超网络的第n个网络层的第m个节点，作为构成子结构的第n个网络层的节点，其中，n为小于或等于N的正整数，m为小于或等于M的正整数。

这里，可以基于单路径激活算法，从每一网络层选择一个或多个节点，并将选择的节点作为构成子结构的节点。这样，基于单路径激活算法，从每一网络层分别选择一个或多个节点作为构成子结构的节点，能够简化对子结构进行训练的复杂度，以提高子结构训练的效率。

步骤406、根据样本集，训练各子结构，得到各子结构对应的子网络。

示例性的，可根据节点的节点标识对各个节点进行区分，其中，节点标识可以为节点的编号或者节点的名称。

步骤408、根据子网络确定候选分辨率网络。

可选的，在构成训练后的子网络之后，可以在测试集上评估其性能，逐步优化网络结构，直至找到最优的子网络。例如最小化验证损失或最大化奖励的子网络。这里，可以将测试数据集中的测试数据输入训练好的子网络，经由该子网络输出评估结果，然后将输出的评估结果与预设的标准进行比较，得到比较结果，并根据比较结果评估子网络的性能，其中，测试结果可以为子网络处理测试数据的速度或者精度。

本实施例中，在训练好的初始超网络中选取子结构，并训练，以获取子结构对应的子网络，能够提高子网络的训练速度和精度。以便更快速的在子网络中确定候选分辨率网络。

在一个实施例中，子结构的获取方式，包括：基于神经结构搜索(neuralarchitecture search，NAS)策略在初始超网络中的每层，选取一个或多个节点。并基于每层选取的一个或多个节点，确定子结构。

其中，基于神经结构搜索NAS策略(即NAS搜索方法)通常是一个迭代过程，定义了使用怎样的算法可以快速、准确找到最优的网络结构参数配置。常见的NAS搜索方法包括：随机搜索、贝叶斯优化、进化算法、强化学习、基于梯度的算法等。

本申请实施例中，在基于NAS策略进行搜索的过程中，可以对包含有多个网络节点(以下简称节点)的初始超网络进行训练，以生成包含所有节点的搜索空间的初始超网络，即节点集合，其中，节点为初始超网络的一部分。初始超网络包含有多个网络层，每一网络层可以包含多个节点。这里，初始超网络即所有的节点的集合。图5是根据一示例性实施例示出的初始超网络的节点示意图，如图5所示，初始超网络500包含第一网络层501，第二网络层502，第三网络层503，其中，第一网络层501、第二网络层502和第三网络层503分别包含四个并列的节点，分别为节点A、节点B、节点C、节点D。

这里，可以从初始超网络中选择节点，并基于选择的节点构成子结构。图6是根据一示例性实施例示出的构成子网络的流程示意图，如图6所示，初始超网络500包含第一网络层501，第二网络层502，第三网络层503，其中，第一网络层501、第二网络层502和第三网络层503分别包含四个并列的节点，节点A、节点B、节点C、节点D。在构成子结构的过程中，可以分别从各个网络层选择一个或多个节点来构成子结构。例如，从初始超网络500中的第一网络层501选择节点A、节点B、节点C、节点D作为子结构600的第一网络层601，从第二网络层502选择节点A和节点B作为子结构600的第二网络层602，从第三网络层503选择节点A、节点B、节点C、节点D作为子结构600的第三网络层603。

本实施例中，基于神经结构搜索NAS策略，能够自动的从初始超网络中快速且准确找到最优的子结构，以便获取更优的子网络。

在一个实施例中，结合图4，参照图7，步骤406，具体包括：

步骤702、获取初始超网络的网络参数。

可选的，网络参数包括权重参数。

步骤704、在网络参数中，确定各子结构的初始化参数。

可以理解的，在对初始超网络进行训练之后，可以得到每一节点所对应的网络参数，并建立节点对应的节点标识与网络参数之间的映射关系。这里，可以将该映射关系以列表的形式存储于映射列表中。基于子结构包含的节点的节点标识，从映射列表中获取到对应的网络参数，并将该网络参数共享到子网络中对应的节点。

步骤706、利用样本集以及各子结构的初始化参数，训练各子结构，得到各子结构对应的子网络。

这里，在构成子结构之后，可以将初始超网络中的网络参数赋给子结构，作为子结构的初始化参数，以使子结构从初始超网络继承网络参数，并在子结构具有初始化参数的基础上，训练子结构，而不用针对子结构从零开始训练，如此，得到子结构的网络参数包括：对子结构进行训练之后得到的子结构的网络参数。

本实施例中，子结构可以从初始超网络继承网络参数，将该网络参数作为子结构的初始化参数，并训练子结构得到子结构的网络参数，而不需要针对子结构从零开始训练，能够减少子网络训练过程的运算量，进而提高子网络的训练效率。

在一个实施例中，参照图8，步骤408具体包括：

步骤4081、获取测试集；测试集包括至少一个同一质量等级的测试图像。

示例性的，为了获取不同质量等级的最优候选分辨率网络；将质量等级最低的测试图像优先作为测试集中的测试图像。之后，按照质量等级由低到高的顺序，依次选取包含有至少一个测试图像的测试集对各子网络进行测试。

步骤4082、利用各子网络对各测试图像进行优化，得到多个优化后的图像。

具体的，利用各子网络对各测试图像进行优化，得到测试图像对应的质量等级的优化后的图像。

步骤4083、获取各优化后的图像的分辨率。

具体的，获取各优化后的图像的特征参数，基于各优化后的图像的特征参数确定各优化后的图像的分辨率。

步骤4084、根据各优化后的图像的分辨率确定测试图像的质量等级对应的候选分辨率网络。

示例一：在不考虑设备的硬件条件的情况下，由于质量等级最低的图像在优化的过程中需要学习能力较强的网络。因此，首先将质量等级最低(表示为第一等级)的测试图像优先作为测试集中的测试图像。利用各子网络对各测试图像进行优化，得到多个优化后的图像，并在多个优化后的图像中选取分辨率最高的图像所对应的子网络(表示为第一子网络)，确定为该第一等级对应的候选分辨率网络。之后，按照质量等级由低到高的顺序，选取质量等级中比第一等级高一级的第二等级的至少一个测试图像；利用不包含第一子网络的其他各子网络对第二等级的测试集进行优化；得到多个优化后的图像，并在多个优化后的图像中选取分辨率最高的图像所对应的子网络(表示为第二子网络)，确定为该第一等级对应的候选分辨率网络。同理，按照上述方式，将质量等级从低至高依次选取各质量等级对应的候选分辨率网络。

示例二：考虑设备的硬件条件的情况下，将质量等级最低(表示为第一等级)的测试图像优先作为测试集中的测试图像。利用各子网络对各测试图像进行优化，得到多个优化后的图像，按照多个优化后的图像的分辨率，对各测试图像按照预设顺序进行排序(如按照从高到低的顺序)，确定出设备能够承载的分辨率最高的子网络，确定为第一等级对应的候选分辨率网络。同理，按照上述方式，将质量等级从低至高依次选取各质量等级对应的候选分辨率网络。

需要说明的是，已经确定出的候选分辨率网络，将不再作为子网络对后续的测试图像进行优化。

另外，当同一质量等级的测试图像为多个时，在利用各子网络对其优化后，确定该多个优化后的图像的分辨率的加权平均值，选取加权平均值最高对应的子网络，确定为测试图像的质量等级对应的候选分辨率网络。

本实施例中，利用各子网络优化至少一个同一质量等级的测试图像，获取各优化后的图像的分辨率，根据各优化后的图像的分辨率，能够更加准确地得到测试图像的质量等级对应的候选分辨率网络。

在一个实施例中，为了减少设备的计算量，所述候选分辨率网络可以从另一服务器中获取，具体的获取方式，包括：

接收来自服务器的候选分辨率网络信息；候选分辨率网络信息包括候选分辨率网络的网络结构、候选分辨率网络的网络参数以及候选分辨率网络对应的质量等级。将候选分辨率网络的网络结构以及候选分辨率的网络参数获取候选分辨率网络，并存储候选分辨率网络与质量等级的对应关系。

需要说明的是，服务器侧在确定的候选分辨率网络信息，可参照上述的步骤402-步骤408的描述，此处不再赘述。

本实施例中，直接接收来自服务器的候选分辨率网络信息，并根据候选分辨率网络信息，获取候选分辨率网络，并存储候选分辨率网络与质量等级的对应关系，在本地减少了候选分辨率网络的训练以及选取过程，极大的降低了本地的计算量。

应该理解的是，虽然图2-4、7、8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-4、7、8中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图9为一个实施例的图像处理装置的结构框图。该图像处理装置900包括：获取模块901和处理模块902。具体的：

获取模块901，用于获取待处理图像的质量等级；所述质量等级用于表征所述待处理图像的分辨率。

处理模块902，用于基于所述获取模块901获取的所述待处理图像的质量等级，从多个候选分辨率网络中确定所述质量等级对应的目标分辨率网络。

所述处理模块902，还用于利用所述目标分辨率网络优化所述待处理图像，得到目标图像；所述目标图像的分辨率高于所述待处理图像的分辨率。

在一个实施例中，获取模块901，具体用于获取待处理图像的特征参数；特征参数包括图像亮度、图像模糊程度以及图像纹理中的一项或多项。

处理模块902，用于将获取模块901获取的特征参数输入支持向量机SVM模型中，生成待处理图像的质量等级。

在一个实施例中，处理模块902，具体用于将特征参数分别输入每个二分类模型中，得到每个二分类模型的输出结果；根据各二分类模型的输出结果，得到待处理图像的质量等级。

在一个实施例中，获取模块901，用于获取样本集；样本集包含多个样本图像以及各样本图像的质量等级。

处理模块902，用于利用获取模块901获取的样本集以及超分辨率算法，训练得到初始超网络；初始超网络包含多个子结构。

处理模块902，还用于根据样本集，训练各子结构，得到各子结构对应的子网络。

处理模块902，还用于根据子网络确定候选分辨率网络。

在一个实施例中，处理模块902，具体用于基于神经结构搜索NAS策略在初始超网络中的每层，选取一个或多个节点；基于每层选取的一个或多个节点，确定子结构。

在一个实施例中，获取模块901，具体用于获取初始超网络的网络参数。

处理模块902，用于在获取模块901获取的网络参数中，确定各子结构的初始化参数。

处理模块902，还用于利用样本集以及各子结构的初始化参数，训练各子结构，得到各子结构对应的子网络。

在一个实施例中，获取模块901，还用于获取测试集；测试集包括至少一个同一质量等级的测试图像。

处理模块902，用于利用各子网络对获取模块901获取的各测试图像进行优化，得到多个优化后的图像。

处理模块902，还用于获取各优化后的图像的分辨率。

处理模块902，还用于根据各优化后的图像的分辨率确定测试图像的质量等级对应的候选分辨率网络。

在一个实施例中，获取模块901，具体用于接收来自服务器的候选分辨率网络信息；候选分辨率网络信息包括候选分辨率网络的网络结构、候选分辨率网络的网络参数以及候选分辨率网络对应的质量等级；

处理模块902，用于将获取模块901接收的候选分辨率网络的网络结构以及候选分辨率的网络参数获取候选分辨率网络，并存储候选分辨率网络与质量等级的对应关系。

本申请实施例提供的图像处理装置，能够基于待处理图像的质量等级，确定与该质量等级对应的目标分辨率网络。以便利用目标分辨率网络优化待处理图像，从而获取分辨率更高的目标图像。通过本申请的图像处理装置，能够基于不同的分辨率网络针对性的优化不同质量等级的图像，在保证优化效果的前提下，避免了由于使用同一分辨率网络造成的资源浪费问题。

上述图像处理装置中各个模块的划分仅仅用于举例说明，在其他实施例中，可将图像处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。

关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

图10为一个实施例中电子设备的内部结构示意图。该电子设备可以是手机、平板电脑、笔记本电脑、台式电脑、PDA(Personal Digital Assistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑、穿戴式设备等任意终端设备。该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器可以包括一个或多个处理模块。处理器可为CPU(Central Processing Unit,中央处理模块)或DSP(Digital Signal Processing，数字信号处理器)等。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种图像处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。

本申请实施例中提供的图像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当计算机可执行指令被一个或多个处理器执行时，使得处理器执行图像处理方法的步骤。

本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像处理方法。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括ROM(Read-Only Memory，只读存储器)、PROM(Programmable Read-only Memory，可编程只读存储器)、EPROM(Erasable ProgrammableRead-Only Memory，可擦除可编程只读存储器)、EEPROM(Electrically ErasableProgrammable Read-only Memory，电可擦除可编程只读存储器)或闪存。易失性存储器可包括RAM(Random Access Memory，随机存取存储器)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如SRAM(Static Random Access Memory，静态随机存取存储器)、DRAM(Dynamic Random Access Memory，动态随机存取存储器)、SDRAM(Synchronous Dynamic Random Access Memory，同步动态随机存取存储器)、双数据率DDRSDRAM(Double Data Rate Synchronous Dynamic Random Access memory，双数据率同步动态随机存取存储器)、ESDRAM(Enhanced Synchronous Dynamic Random Access memory，增强型同步动态随机存取存储器)、SLDRAM(Sync Link Dynamic Random Access Memory，同步链路动态随机存取存储器)、RDRAM(Rambus Dynamic Random Access Memory，总线式动态随机存储器)、DRDRAM(Direct Rambus Dynamic Random Access Memory，接口动态随机存储器)。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种图像处理方法，其特征在于，所述方法包括：

获取待处理图像的质量等级；所述质量等级用于表征所述待处理图像的分辨率；

基于所述待处理图像的质量等级，从多个候选分辨率网络中确定所述质量等级对应的目标分辨率网络；

利用所述目标分辨率网络优化所述待处理图像，得到目标图像；所述目标图像的分辨率高于所述待处理图像的分辨率。

2.根据权利要求1所述的图像处理方法，其特征在于，所述获取待处理图像的质量等级，包括：

获取所述待处理图像的特征参数；所述特征参数包括图像亮度、图像模糊程度以及图像纹理中的一项或多项；

将所述特征参数输入支持向量机SVM模型中，生成所述待处理图像的质量等级。

3.根据权利要求2所述的图像处理方法，特征在于，所述SVM模型中包括至少两个二分类模型，所述将所述特征参数输入支持向量机SVM模型中，生成所述待处理图像的质量等级，包括：

将所述特征参数分别输入每个所述二分类模型中，得到每个所述二分类模型的输出结果；

根据各所述二分类模型的输出结果，得到所述待处理图像的质量等级。

4.根据权利要求1-3任一项所述的图像处理方法，其特征在于，所述候选分辨率网络的获取方式，包括：

获取样本集；所述样本集包含多个样本图像以及各所述样本图像的质量等级；

利用所述样本集以及超分辨率算法，训练得到初始超网络；所述初始超网络包含多个子结构；

根据所述样本集，训练各所述子结构，得到各所述子结构对应的子网络；

根据所述子网络确定所述候选分辨率网络。

5.根据权利要求4所述的图像处理方法，其特征在于，所述子结构的获取方式，包括：

基于神经结构搜索NAS策略在所述初始超网络中的每层，选取一个或多个节点；

基于每层选取的一个或多个节点，确定所述子结构。

6.根据权利要求4所述的图像处理方法，其特征在于，所述根据所述样本集，训练各所述子结构，得到各所述子结构对应的子网络，包括：

获取所述初始超网络的网络参数；

在所述网络参数中，确定各所述子结构的初始化参数；

利用所述样本集以及各所述子结构的初始化参数，训练各所述子结构，得到各所述子结构对应的子网络。

7.根据权利要求4所述的图像处理方法，其特征在于，所述根据所述子网络确定所述候选分辨率网络，包括：

获取测试集；所述测试集包括至少一个同一质量等级的测试图像；

利用各所述子网络对各所述测试图像进行优化，得到多个优化后的图像；

获取各所述优化后的图像的分辨率；

根据各所述优化后的图像的分辨率确定所述测试图像的质量等级对应的候选分辨率网络。

8.根据权利要求1-3任一项所述的图像处理方法，其特征在于，所述候选分辨率网络的获取方式，包括：

接收来自服务器的所述候选分辨率网络信息；所述候选分辨率网络信息包括所述候选分辨率网络的网络结构、所述候选分辨率网络的网络参数以及所述候选分辨率网络对应的质量等级；

将所述候选分辨率网络的网络结构以及所述候选分辨率的网络参数获取所述候选分辨率网络，并存储所述候选分辨率网络与所述质量等级的对应关系。

9.一种图像处理装置，其特征在于，包括：

获取模块，用于获取待处理图像的质量等级；所述质量等级用于表征所述待处理图像的分辨率；

处理模块，用于基于所述获取模块获取的所述待处理图像的质量等级，从多个候选分辨率网络中确定所述质量等级对应的目标分辨率网络；

所述处理模块，还用于利用所述目标分辨率网络优化所述待处理图像，得到目标图像；所述目标图像的分辨率高于所述待处理图像的分辨率。

10.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述的方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的方法的步骤。

Images