CN109903219B - 图像处理方法及装置、电子设备、计算机可读存储介质 - Google Patents

Abstract

本公开实施例公开了一种图像处理方法及装置、电子设备、计算机可读存储介质，包括：采用至少一个第一卷积层和至少一个残差单元依次级联，构成一层级联块；获取待处理的低分辨率图像；采用预设图像重建模型，对待处理的低分辨率图像进行处理，得到目标高分辨率图像；其中，预设图像重建模型是通过第一非线性映射模型与预设上采样模型连接构成的，第一非线性映射模型通过至少一个第一卷积层和至少一个残差单元依次级联，构成一层级联块，再通过至少一层级联块和至少一个第二卷积层依次级联形成的；每一个残差单元都连接一个第一卷积层；第一卷积层用于对数据进行降维处理；每一层级联块都连接一个第二卷积层；第二卷积层用于对数据进行降维处理。

Description

图像处理方法及装置、电子设备、计算机可读存储介质

技术领域

本公开涉及图像处理领域，尤其涉及一种图像处理方法及装置、电子设备、计算机可读存储介质。

背景技术

图像超分辨率重构技术是从单帧或多帧的低分辨率图像中重建出高分辨率图像的过程。重构的高分辨率图像相较于低分辨率图像具有更丰富的高频细节信息，所以图像超分辨率重构技术在计算机视觉和图像处理领域拥有重要的学术研究和工业应用价值。

目前，采用了卷积神经网络方法进行高分辨率(即超分辨率)图像的重建，将样本集中的低分辨率图像和高分辨率图像裁剪为对应的图像块，然后通过卷积神经网络来学习低分辨率图像块和高分辨率图像块之间的映射关系，将低分辨率图像作为卷积神经网络的输入，输出具有丰富高频信息的高分辨率图像，从而提高图像的重建质量和视觉效果。

然而，采用上述方法使用的卷积神经网络来重建高分辨率图像时的参数量极大、时间复杂度极高，会造成图像处理结果不好以及网络的冗余。

发明内容

本公开实施例期望提供一种图像处理方法及装置、电子设备、计算机可读存储介质，能够提高图像处理效果，减少网络的冗余。

本公开的技术方案是这样实现的：

本公开实施例提供了一种图像处理方法，包括：

获取待处理的低分辨率图像；

采用预设图像重建模型，对所述待处理的低分辨率图像进行处理，得到目标高分辨率图像；其中，所述预设图像重建模型是通过第一非线性映射模型与预设上采样模型连接构成的，所述第一非线性映射模型通过至少一个第一卷积层和至少一个残差单元依次级联，构成一层级联块，再通过至少一层级联块和至少一个第二卷积层依次级联形成的；每一个残差单元都连接一个第一卷积层；所述第一卷积层用于对数据进行降维处理；每一层级联块都连接一个第二卷积层；第二卷积层用于对数据进行降维处理。

可选的，所述方法还包括：采用所述至少一个第一卷积层和所述至少一个残差单元依次级联，构成所述一层级联块；其中，所述至少一个残差单元中的每个残差单元与特征信息的通道间有联系；

采用所述至少一层级联块和所述至少一个第二卷积层依次级联，形成所述第一非线性映射模型；

采用预设样本数据，对所述第一非线性映射模型与所述预设上采样模型进行模型训练，得到所述预设图像重建模型。

可选的，所述采用所述至少一个第一卷积层和所述至少一个残差单元依次级联，构成所述一层级联块，包括：

将所述至少一个残差单元中的每个残差单元和所述至少一个第一卷积层中的每个第一卷积层依次交替连接，形成N级结构；所述N级结构中的第i级结构由第i个残差单元和第i个第一卷积层构成，其中，N为残差单元的数目，i为大于等于1，且小于等于N的正整数；

在i不为1情况下，将所述N级结构中的前i-1级的残差单元的输出端和所述第i级结构中的所述第i个第一卷积层的输入端连接，直到第N级结构连接完成，构成所述一层级联块。

可选的，所述采用所述至少一层级联块和所述至少一个第二卷积层依次级联，形成所述第一非线性映射模型，包括：

将所述至少一层级联块中的每个级联块和所述至少一个第二卷积层中的每个第二卷积层依次交替连接，形成M级结构；所述M级结构中的第j级结构由第j层级联块和第j个第二卷积层构成，其中，M为级联块的层数，j为大于等于1，且小于等于M的正整数；

在j不为1情况下，将所述M级结构中的前j-1级的级联块的输出端和所述第j级结构中的所述第j个第二卷积层的输入端连接，直到第M级结构连接完成，从而形成所述第一非线性映射模型。

可选的，所述采用所述至少一个第一卷积层和所述至少一个残差单元依次级联之前，所述方法还包括：

获取预设残差单元；

采用预设残差处理模型对所述预设残差单元进行连接调整，构成一个残差单元；所述残差处理模型表征特征信息的通道间的联系的结构。

可选的，基于全局平均池化单元、预设第二非线性映射模型和第三卷积层构成所述预设残差处理模型，所述第三卷积层用于对经所述全局平均池化单元和所述预设第二非线性映射模型的数据进行降维处理。

可选的，所述采用预设样本数据，对所述第一非线性映射模型与所述预设上采样模型进行模型训练，得到所述预设图像重建模型，包括：

将所述第一非线性映射模型与预设上采样模型连接，得到初始图像重建模型；

采用预设样本数据对所述初始图像重建模型进行模型训练，得到所述预设图像重建模型。

可选的，所述将所述第一非线性映射模型与所述预设上采样模型连接，得到初始图像重建模型，包括：

在所述预设上采样模型为至少两个上采样子模型情况下，将每个上采样子模型之间连接有第四卷积层和预设第三非线性映射模型，将所述第一非线性映射模型与所述至少两个上采样子模型中的一个上采样子模型连接，构成所述初始图像重建模型。

可选的，所述采用预设图像重建模型，对所述待处理的低分辨率图像进行处理，得到目标高分辨率图像，包括：

对所述待处理的低分辨率图像进行处理，得到待处理低分辨率残差图像；

基于所述待处理低分辨率残差图像和所述预设图像重建模型，得到所述目标高分辨率图像。

可选的，所述对所述待处理的低分辨率图像进行处理，得到待处理低分辨率残差图像，包括：

对所述待处理的低分辨率图像进行上采样处理，得到插值高分辨率图像；

对所述插值高分辨率图像进行下采样处理后，与所述待处理的低分辨率图像做差，得到所述待处理低分辨率残差图像。

可选的，所述基于所述待处理低分辨率残差图像和所述预设图像重建模型，得到所述目标高分辨率图像，包括：

采用所述预设图像重建模型对所述待处理低分辨率残差图像进行处理，得到高分辨率残差图像；

根据所述高分辨率残差图像和所述插值高分辨率图像，得到所述目标高分辨率图像。

可选的，所述采用预设样本数据对所述初始图像重建模型进行模型训练，得到所述预设图像重建模型之前，所述方法还包括：

获取样本高分辨率图像；

对所述样本高分辨率图像进行下采样处理，得到候选样本低分辨率图像；

将所述候选样本低分辨率图像进行数据增广处理，得到样本低分辨率图像；

将所述样本高分辨率图像和所述样本低分辨率图像作为所述预设样本数据。

本公开实施例提供了一种图像处理装置，包括：

获取单元，用于获取待处理的低分辨率图像；

图像处理单元，用于采用预设图像重建模型，对所述待处理的低分辨率图像进行处理，得到目标高分辨率图像；其中，所述预设图像重建模型是通过第一非线性映射模型与预设上采样模型连接构成的，所述第一非线性映射模型通过至少一个第一卷积层和至少一个残差单元依次级联，构成一层级联块，再通过至少一层级联块和至少一个第二卷积层依次级联形成的；每一个残差单元都连接一个第一卷积层；所述第一卷积层用于对数据进行降维处理；每一层级联块都连接一个第二卷积层；第二卷积层用于对数据进行降维处理。

可选的，所述图像处理装置还包括：构建单元；

所述构建单元，用于采用所述至少一个第一卷积层和所述至少一个残差单元依次级联，构成所述一层级联块；其中，所述至少一个残差单元中的每个残差单元与特征信息的通道间有联系；及采用所述至少一层级联块和所述至少一个第二卷积层依次级联，形成所述第一非线性映射模型；以及采用预设样本数据，对所述第一非线性映射模型与所述预设上采样模型进行模型训练，得到所述预设图像重建模型。

可选的，所述构建单元，具体用于将所述至少一个残差单元中的每个残差单元和所述至少一个第一卷积层中的每个第一卷积层依次交替连接，形成N级结构；所述N级结构中的第i级结构由第i个残差单元和第i个第一卷积层构成，其中，N为残差单元的数目，i为大于等于1，且小于等于N的正整数；以及在i不为1情况下，将所述N级结构中的前i-1级的残差单元的输出端和所述第i级结构中的所述第i个第一卷积层的输入端连接，直到第N级结构连接完成，构成所述一层级联块。

可选的，所述构建单元，具体用于将所述至少一层级联块中的每个级联块和所述至少一个第二卷积层中的每个第二卷积层依次交替连接，形成M级结构；所述M级结构中的第j级结构由第j层级联块和第j个第二卷积层构成，其中，M为级联块的层数，j为大于等于1，且小于等于M的正整数；以及在j不为1情况下，将所述M级结构中的前j-1级的级联块的输出端和所述第j级结构中的所述第j个第二卷积层的输入端连接，直到第M级结构连接完成，从而形成所述第一非线性映射模型。

可选的，所述获取单元，还用于所述采用所述至少一个第一卷积层和所述至少一个残差单元依次级联之前，获取预设残差单元；

所述构建单元，还用于采用预设残差处理模型对所述预设残差单元进行连接调整，构成一个残差单元；所述残差处理模型表征特征信息的通道间的联系的结构。

可选的，基于全局平均池化单元、预设第二非线性映射模型和第三卷积层构成所述预设残差处理模型，所述第三卷积层用于对经所述全局平均池化单元和所述预设第二非线性映射模型的数据进行降维处理。

可选的，所述图像处理单元，具体用于将所述第一非线性映射模型与所述预设上采样模型连接，得到初始图像重建模型；以及采用预设样本数据对所述初始图像重建模型进行模型训练，得到所述预设图像重建模型。

可选的，所述构建单元，具体用于在所述预设上采样模型为至少两个上采样子模型情况下，将每个上采样子模型之间连接有第四卷积层和预设第三非线性映射模型，将所述第一非线性映射模型与所述至少两个上采样子模型中的一个上采样子模型连接，构成所述初始图像重建模型。

可选的，所述图像处理单元，具体用于对所述待处理的低分辨率图像进行处理，得到待处理低分辨率残差图像；以及基于所述待处理低分辨率残差图像和所述预设图像重建模型，得到所述目标高分辨率图像。

可选的，所述图像处理单元，还具体用于对所述待处理的低分辨率图像进行上采样处理，得到插值高分辨率图像；以及对所述插值高分辨率图像进行下采样处理后，与所述待处理的低分辨率图像做差，得到所述待处理低分辨率残差图像。

可选的，所述图像处理单元，还具体用于采用所述预设图像重建模型对所述待处理低分辨率残差图像进行处理，得到高分辨率残差图像；以及根据所述高分辨率残差图像和所述插值高分辨率图像，得到所述目标高分辨率图像。

可选的，所述获取单元，还用于所述采用预设样本数据对所述初始图像重建模型进行模型训练，得到所述预设图像重建模型之前，获取样本高分辨率图像；及对所述样本高分辨率图像进行下采样处理，得到候选样本低分辨率图像；及将所述候选样本低分辨率图像进行数据增广处理，得到样本低分辨率图像；以及将所述样本高分辨率图像和所述样本低分辨率图像作为所述预设样本数据。

本公开实施例提供了一种电子设备，包括：

处理器、存储有所述处理器可执行图像处理指令的存储器，和用于连接所述处理器、所述存储器的通信总线，当所述图像处理指令被执行时，实现上述的图像处理方法。

本公开实施例提供了一种计算机可读存储介质，其上存储有图像处理指令，其中，所述图像处理指令被处理器执行时，实现上述的图像处理方法。

本公开实施例提供了一种图像处理方法及装置、电子设备、计算机可读存储介质，获取待处理的低分辨率图像；采用预设图像重建模型，对待处理的低分辨率图像进行处理，得到目标高分辨率图像；其中，预设图像重建模型是通过第一非线性映射模型与预设上采样模型连接构成的，第一非线性映射模型通过至少一个第一卷积层和至少一个残差单元依次级联，构成一层级联块，再通过至少一层级联块和至少一个第二卷积层依次级联形成的；每一个残差单元都连接一个第一卷积层；第一卷积层用于对数据进行降维处理；每一层级联块都连接一个第二卷积层；第二卷积层用于对数据进行降维处理。采用上述技术实现方案，图像处理装置可以采用预设图像重建模型对待处理的低分辨率图像进行图像变换重建处理，得到目标高分辨率图像的，实现由低分辨率图像到高分辨率图像的处理过程，而这里的预设图像重建模型的结构中，采用了多层级联块和多个卷积层构成的非线性映射结构，该多个卷积层可以对经过的数据进行降维处理，并且每个级联块中的残差单元输出的数据也可以经过卷积层进行降维处理，这样减少了在图像处理中由于网络造成的冗余，并且至少一个残差单元中的每个残差单元与特征信息的通道间有联系的，因此，基于这样的残差单元处理后的图像处理细节更加丰富，图像效果更好。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。

图1为本公开实施例提供的一种图像处理方法的流程图一；

图2为本公开实施例提供的一种示例性的预设图像重建模型的结构示意图；

图3为本公开实施例提供的一种图像处理方法的流程图二；

图4为本公开实施例提供的一种示例性的图像处理方法的示意图；

图5为本公开实施例提供的一种示例性的网络输入分布的性能实验比较数据示意；

图6为本公开实施例提供的一种示例性的卷积神经网络的层级设计实验数据示意；

图7为本公开实施例提供的一种示例性的多种图像处理方法的图像处理实验结果数据示图；

图8为本公开实施例提供的一种示例性的多种图像处理方法的图像处理实验结果示图；

图9为本公开实施例提供的一种图像处理装置的结构示意图；

图10为本公开实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。

实施例一

本公开实施例提供了一种图像处理方法，如图1所示，该方法可以包括：

S101、获取待处理的低分辨率图像。

S102、采用预设图像重建模型，对待处理的低分辨率图像进行处理，得到目标高分辨率图像；其中，预设图像重建模型是通过第一非线性映射模型与预设上采样模型连接构成的，第一非线性映射模型通过至少一个第一卷积层和至少一个残差单元依次级联，构成一层级联块，再通过至少一层级联块和至少一个第二卷积层依次级联形成的；每一个残差单元都连接一个第一卷积层；第一卷积层用于对数据进行降维处理；每一层级联块都连接一个第二卷积层；第二卷积层用于对数据进行降维处理。

在S101中，图像处理装置在进行实际的图像处理时，在得到了预设图像重建模型后，该图像处理装置可以直接对待处理的低分辨图像进行图像处理了，在此之前，图像处理装置需要先获取待处理的低分辨图像。

在S102中，图像处理装置在获取了待处理的低分辨图像之后，可以采用采用预设图像重建模型，对待处理的低分辨率图像进行处理，得到目标高分辨率图像，这里的目标高分辨率图线就是想要的最终的图像处理结果。

在本公开实施例中，预设图像重建模型用于将低分辨图像映射为高分辨率图像，可以适用于视频流处理或图像处理等应用场景中。

需要说明的是，预设图像重建模型是通过第一非线性映射模型与预设上采样模型连接构成的，第一非线性映射模型通过至少一个第一卷积层和至少一个残差单元依次级联，构成一层级联块，再通过至少一层级联块和至少一个第二卷积层依次级联形成的；每一个残差单元都连接一个第一卷积层；第一卷积层用于对数据进行降维处理；每一层级联块都连接一个第二卷积层；第二卷积层用于对数据进行降维处理。

可以理解的是，本公开实施例提供了一种新结构的预设图像重建模型，基于该预设图像重建模型的加强特征信息的复用，减少网络参数的冗余，提高一定时间复杂度下网络的性能。

在本公开实施例中，预设图像重建模型采用的卷积神经网络实现的，本公开实施例不作限制。

在本公开的一些实施例中，图像处理装置采用预设图像重建模型，对待处理的低分辨率图像进行处理，得到目标高分辨率图像的实现过程可以为：对待处理的低分辨率图像进行处理，得到待处理低分辨率残差图像；基于待处理低分辨率残差图像和预设图像重建模型，得到目标高分辨率图像。

详细的，图像处理装置对待处理的低分辨率图像进行上采样处理，得到插值高分辨率图像；再对插值高分辨率图像进行下采样处理后，与待处理的低分辨率图像做差，从而得到待处理低分辨率残差图像；然后采用预设图像重建模型对待处理低分辨率残差图像进行处理，得到高分辨率残差图像；最后根据高分辨率残差图像和插值高分辨率图像，才得到目标高分辨率图像。

需要说明的是，本公开实施例中的图像处理装置是采用残差图像进行从低分辨率到高分辨率的映射的，这是因为残差图像的数据处理的需求更少，更容易从卷积神经网络中得到较高的输出结果，数据处理性能更好，可以得到更好的图像处理效果。

在本发明实施例中，图像处理装置根据待处理的低分辨率图像得到待处理低分辨率残差图像后，采用特征提取模型(如图2中所示的14)进行特征提取后，再通过预设图像重建模型进行从低分辨率到高分辨率的映射过程，最后输出得到高分辨率残差图像，将高分辨率残差图像和插值高分辨率图像合成或相加，最终得到目标高分辨率图像。

需要说明的是，在本公开实施例中，预设图像重建模型是事先设置在电子设备中，即图像处理装置中的，在获取到待处理的低分辨图像就是直接进行图像处理的，但是已经设置在图像处理装置中的预设图像重建模型可以是基于已有的初始图像重建模型训练得到的，也可以是在事先构建好设置在图像处理装置中的，下面介绍下预设图像重建模型的构建过程，包括：S103-S105。如下：

需要说明的是，预设图像重建模型可以只进行一次构建，设置在图像处理装置中，每次进行图像处理的时候即不用重新构建，直接使用即可。

S103、采用至少一个第一卷积层和至少一个残差单元依次级联，构成一层级联块；其中，至少一个残差单元中的每个残差单元与特征信息的通道间有联系。

S104、采用至少一层级联块和至少一个第二卷积层依次级联，形成第一非线性映射模型。

S105、采用预设样本数据，对第一非线性映射模型与预设上采样模型进行模型训练，得到预设图像重建模型。

在S103中，图像处理装置构建卷积神经网络的结构采用的是级联块的结构，该图像处理装置采用至少一个第一卷积层和至少一个残差单元依次级联，构成一层级联块，以级联块为单位组成后续的预设图像重建模型，即卷积神经网络。

需要说明的是，在本公开实施例中，每一层级联块都可以由至少一个第一卷积层和至少一个残差单元一次交替连接构成，至少一个可以是一个也可以是多个，具体的数目可依据实际情况设计或依据经验值得到，本公开实施例不作限制。

在本公开实施例中，每个残差单元的输出都连接一个第一卷积层，以便实现对经过残差单元的数据或图像进行降维处理，减少运算量或网络冗余。

在本公开实施例中，第一卷积层可以为尺寸为1×1的卷积层，每个卷积层的通道数为64。

在本公开的一些实施例中，每层级联块的结构实现为：图像处理装置将至少一个残差单元中的每个残差单元和至少一个第一卷积层中的每个第一卷积层依次交替连接，形成N级结构；N级结构中的第i级结构由第i个残差单元和第i个第一卷积层构成，其中，N为残差单元的数目，i为大于等于1，且小于等于N的正整数；在i不为1情况下，将N级结构中的前i-1级的残差单元的输出端和第i级结构中的第i个第一卷积层的输入端连接，直到第N级结构连接完成，构成一层级联块。

在本公开实施例中，图像处理装置将一个残差单元与一个第一卷积层级联形成一级结构，那么至少一个残差单元和至少一个第一卷积单元就可以构成N级结构了，其中，N为残差单元的数目。N级结构是由N个一级结构级联得到的。也就是说，N级结构中的第i级结构由第i个残差单元和第i个第一卷积层构成，i为大于等于1，且小于等于N的正整数。当i不为1时，将N级结构中的前i-1级的残差单元的输出端和第i级结构中的第i个第一卷积层的输入端连接，直到第N级结构连接完成，从而构成一层级联块。

需要说明的是，在本公开实施例中，图像处理装置输入预设图像重建模型的数据为特征数据，因此，在预设图像重建模型的前面连接有特征提取模型，该特征提取模型的输出端与预设图像重建模型连接，也就是说，当i为1时，一层级联块中的第1级结构的输入端是与特征提取模型的输出端连接的，输出端与第2级结构的输入端连接；当i不为1时，在N级结构中的特征提取模型的输出端也与第i级结构的第i个第一卷积层的输入端连接。

可以理解的是，本公开实施例中的图像处理装置采用了多个残差单元的密集的级联方式，每个残差单元级联后使用尺寸为1×1的卷积层进一步减少运算量。

示例性的，如图2所示，每个残差单元1的输出会传递到后面的第一卷积层2中处理，每个残差单元1后接一组尺寸为1×1的第一卷积层2，该第一卷积层2的作用是处理前面所有特征信息并将维度降到64以减少运算量，在这种情况下，由于当i不为1时，在N级结构中的前i-1级的残差单元的输出端和第i级结构中的第i个第一卷积层的输入端连接，那么，尺寸为1×1的第一卷积层2并不仅仅依赖于前一个残差单元的信息，而是与当前级结构的前面所有级结构中的残差单元相关，以便有效地利用不同水平的图像特征信息进行图像处理，从而提高图像处理效果。

需要说明的是，本公开实施例中的残差单元都是与特征信息的通道间有联系的，即每个残差单元都应用了通道级别的注意力机制的，从而提高了特征信息的通道间依赖和内在联系，这种机制可以在只增加少量参数的情况下显著地提高重建的图像效果。

也就是说，图像处理装置在采用至少一个第一卷积层和至少一个残差单元依次级联之前，需要先获取到本公开实施例的残差单元。

在本公开的一些实施例中，图像处理装置在采用至少一个第一卷积层和至少一个残差单元依次级联之前，需要先获取预设残差单元；再采用预设残差处理模型对预设残差单元进行连接调整，构成一个残差单元；这里的残差处理模型表征特征信息的通道间的联系的结构。

详细地，图像处理装置可以基于全局平均池化单元、预设第二非线性映射模型和第三卷积层构成预设残差处理模型，第三卷积层用于对经全局平均池化单元和预设第二非线性映射模型的数据进行降维处理。

在本公开实施例中，第三卷积层可以为1×1尺寸的卷积层，这里的第三卷积层的个数也是根据需求设计的，其中，1×1尺寸的卷积层的效果最好。

可选的，在本公开实施例中，预设第二非线性映射模型可以采用至少一个激活函数实现，例如sigmoid函数或PReLU激活函数等，本发明实施例不作限制。

示例性的，如图2所示，预设残差单元3是通用的残差单元的结构，本公开在预设残差单元的基础上，采用全局平均池化单元4、预设第二非线性映射模型5和第三卷积层6对预设残差单元进行结构的调整，使得对预设残差单元的最后一个卷积层得到的特征进行全局平均池化(Global Average Pooling)，然后经过两个1×1卷积层(即第三卷积层)处理，通过sigmoid函数(对应预设第二非线性映射模型)激活，得到一个与卷积层的通道数具有相同维度的特征向量，该特征向量与全局平均池化前的特征逐通道进行数乘运算，得到带有注意力机制的特征数据。这种注意力机制可以显著地提高网络的性能。

S104中，图像处理装置可以采用至少一层级联块和至少一个第二卷积层的依次连接，构造第一非线性映射模型，以一层级联块和一个第二卷积层为一个最小单位，第一非线性映射模型由至少一个最小单位的结构级联得到。

在本公开实施例中，构成第一非线性映射模型的最小单位的数量由实际需求或者实验得到，本公开实施例不作限制。

在本公开实施例中，每层级联块输出都连接一个第二卷积层，以便实现对经过级联块的数据或图像进行降维处理，减少运算量或网络冗余。

在本公开实施例中，第二卷积层可以为尺寸为1×1的卷积层，每个卷积层的通道数为64。

在本公开的一些实施例中，图像处理装置可以将至少一层级联块中的每个级联块和至少一个第二卷积层中的每个第二卷积层依次交替连接，形成M级结构；M级结构中的第j级结构由第j层级联块和第j个第二卷积层构成，其中，M为级联块的层数，j为大于等于1，且小于等于M的正整数；在j不为1情况下，将M级结构中的前j-1级的级联块的输出端和第j级结构中的第j个第二卷积层的输入端连接，直到第M级结构连接完成，从而形成第一非线性映射模型。

在本公开实施例中，图像处理装置将一层级联块与一个第二卷积层级联形成一级结构，那么至少一层级联块和至少一个第二卷积单元就可以构成M级结构了，其中，M为级联块的层数。M级结构是由M个一级结构级联得到的。也就是说，M级结构中的第j级结构由第j层级联块和第j个第二卷积层构成，j为大于等于1，且小于等于M的正整数。当j不为1时，在M级结构中的前j-1级的级联块的输出端和第j级结构中的第j个第二卷积层的输入端连接，直到第M级结构连接完成，从而构成第一非线性映射模型。

需要说明的是，在本公开实施例中，图像处理装置输入预设图像重建模型的数据为特征数据，因此，在预设图像重建模型的前面连接有特征提取模型，该特征提取模型的输出端与预设图像重建模型中的第一非线性映射模型连接，也就是说，当j为1时，第1级结构的第1层级联块输入端是与特征提取模型的输出端连接的，第1级结构的第1层第二卷积层的输出端与第2级结构的第2层级联块的输入端连接；当j不为1时，在M级结构中的特征提取模型的输出端也与第j级结构的第j个第二卷积层的输入端连接。

可以理解的是，本公开实施例中的图像处理装置采用了多层级联块的密集的级联方式，每个级联块级联后使用尺寸为1×1的卷积层进一步减少运算量，减少网络冗余。

示例性的，如图2所示，每层级联块7的输出会传递到后面的第二卷积层8中处理，每层级联块7后接一组尺寸为1×1的第二卷积层8，该第二卷积层8的作用是处理前面所有特征信息并将维度降到64以减少运算量，在这种情况下，由于当j不为1时，在M级结构中的前j-1级的级联块的输出端和第j级结构中的第j个第二卷积层的输入端连接，那么，尺寸为1×1的第二卷积层8并不仅仅依赖于前一层级联块的信息，而是与当前级结构的前面所有级结构中的级联块相关，以便有效地利用不同水平的图像特征信息进行图像处理，从而提高图像处理效果。

在S105中，图像处理装置在得到了一个非线性映射模型之后，可以将第一非线性映射模型与预设上采样模型连接，并采用预设样本数据进行模型训练，得到预设图像重建模型。

需要说明的是，在本公开实施例中，图像处理装置经过特征提取模块后，就可以经过预设图像重建模型后进行高分辨图像的重建了。

在本公开的一些实施例中，图像处理装置得到上述预设图像重建模型的实现可以为：图像处理装置将第一非线性映射模型与预设上采样模型连接，得到初始图像重建模型；采用预设样本数据对初始图像重建模型进行模型训练，得到预设图像重建模型。

在本公开的一些实施例中，图像处理装置在预设上采样模型为至少两个上采样子模型情况下，将每个上采样子模型之间连接有第四卷积层和预设第三非线性映射模型，将第一非线性映射模型与至少两个上采样子模型中的第一个上采样子模型级联，构成初始图像重建模型。

在本公开实施例中，第四卷积层和预设第三非线性映射模型的作用为进一步对上采样后的数据再次进行特征提取的目的，以便提高特征提取的精确，从而提高图像处理的效果。

在本公开实施例中，预设第三非线性映射模型可以为PReLU激活函数等，本公开实施例不作限制。

在本公开实施例中，第四卷积层的可以为3×3尺寸的卷积层，这里的第三卷积层的个数可以根据需求设计的，本公开实施例不作限制。

需要说明的是，图像处理装置采用的第四卷积层与预设第三非线性映射模型为一一连接关系，在每两个上采样子模型之间的第四卷积层与预设第三非线性映射模型依次交替进行连接，其中，第四卷积层和预设第三非线性映射模型的数目一一对应，且可以为至少一组，具体的组数可以根据需求设计的，本公开实施例不作限制。

示例性的，如图2所示，第一非线性映射模型9与至少两个上采样子模型10中的第一个上采样子模型级联，每个上采样子模型10之间连接有第四卷积层11和预设第三非线性映射模型12，从而构成初始图像重建模型，采用预设样本数据对初始图像重建模型进行模型训练后，得到预设图像重建模型13。

在本公开的一些实施例中，图像处理装置采用预设样本数据中的样本低分辨率图像作为输入数据，通过持续调整初始图像重建模型中的训练参数，对初始图像重建模型进行模型训练，得到样本训练结果，直至当样本训练结果与预设样本数据中样本高分辨率图像的结果满足预设阈值时为止，此时得到的训练参数构成的训练模型就是预设图像重建模型。

在本公开实施例中，预设阈值为90％以上，预设阈值越高，预设图像重建模型的图像重建效果就越好。

在本公开的一些实施例中，图像处理装置在采用预设样本数据对初始图像重建模型进行模型训练，得到预设图像重建模型之前，需要进行该预设样本数据的获取，预设样本数据中包含很多样本对，样本对由彼此对应的样本低分辨率图像和样本高分辨率图像构成。

在本公开实施例中，图像处理装置获取预设样本数据的实现可以为：获取样本高分辨率图像；对样本高分辨率图像进行下采样处理，得到候选样本低分辨率图像；将候选样本低分辨率图像进行数据增广处理，得到样本低分辨率图像；将样本高分辨率图像和样本低分辨率图像作为预设样本数据。

需要说明的是，在本公开实施例中，预设样本数据中的样本对可以有很多个，而一个样本高分辨率图像可以通过下采样处理，以及增广处理等，得到与该样本高分辨率图像对应的很多样本低分辨率图像，即一个样本高分辨率图像与其对应的不同样本低分辨率图像，构成了多个样本对。那么，图像处理装置还可以通过不同的高分辨率图像获取更多的样本对，从而得到数量足够的预设样本数据。

在本公开实施例中，图像数量装置对样本高分辨率图像进行预处理，使用双三次插值的方法进行下采样得到样本低分辨率图像，并通过对样本低分辨率图像进行旋转、翻转、随机剪裁等数据增广处理，与样本高分辨率图像组成不同的样本对。

需要说明的是，本公开实施例中的图像处理装置在进行上采样和下采样时的采样倍数都是根据实际的需求进行设计的，本公开实施例不作限制。

需要说明的是，针对采样倍数为偶数时，可以采用至少一个2倍采样来实现，而针对采样倍数为奇数时，可以采用一个奇数倍的上样子子模型实现上采样。也就是说，图像处理装置在采用偶数倍进行上采样时，存在至少两个上采样子模型的情况，针对这种情况，进行第四卷积层和预设第三非线性映射模型的结构处理，使得每次上采样前可以进行更精确的特征提取。

可以理解的是，图像处理装置可以采用预设图像重建模型对待处理的低分辨率图像进行图像变换重建处理，得到目标高分辨率图像的，实现由低分辨率图像到高分辨率图像的处理过程，而这里的预设图像重建模型的结构中，采用了多层级联块和多个卷积层构成的非线性映射结构，该多个卷积层可以对经过的数据进行降维处理，并且每个级联块中的残差单元输出的数据也可以经过卷积层进行降维处理，这样减少了在图像处理中由于网络造成的冗余，并且至少一个残差单元中的每个残差单元与特征信息的通道间有联系的，因此，基于这样的残差单元处理后的图像处理细节更加丰富，图像效果更好。

实施例二

基于实施例一的实现基础上，本发明实施例提供了一种图像处理方法，如图3所示，该方法可以包括：

S201、获取待处理的低分辨率图像和预设图像重建模型。

S202、对待处理的低分辨率图像进行上采样处理，得到插值高分辨率图像。

S203、对插值高分辨率图像进行下采样处理后，与待处理的低分辨率图像做差，得到待处理低分辨率残差图像。

S204、采用特征提取模型对待处理低分辨率残差图像进行特征提取处理，得到待处理低分辨率残差图像特征。

S205、采用预设图像重建模型，对待处理低分辨率残差图像特征进行重建处理，得到高分辨率残差图像。

S206、根据高分辨率残差图像和插值高分辨率图像，得到目标高分辨率图像。

需要说明的是，在本公开实施例中，图像处理过程中的上采样与下采样的倍数是一致的，这样才能得到图像的还原。

示例性的，如图4所示，图像处理装置获取待处理的低分辨率图像LR和预设图像重建模型1，对待处理的低分辨率图像LR进行4倍上采样处理，得到插值高分辨率图像ILR，对插值高分辨率图像ILR进行4倍下采样处理后，得到插值低分辨率图像2，采用插值低分辨率图像2与待处理的低分辨率图像LR做差，得到待处理低分辨率残差图像RLR，将RLR采用特征提取模型进行特征提取处理，得到待处理低分辨率残差图像特征。采用预设图像重建模型，对待处理低分辨率残差图像特征进行重建处理，得到高分辨率残差图像3，将高分辨率残差图像3和插值高分辨率图像2相加，得到目标高分辨率图像SR。

需要说明的是，本公开实施例中的预设图像重建模型中包含预设上采样模型，最要的功能就是进行高分辨率映射的，本公开实施例中针对偶数倍的上采样选择逐步进行上采样处理，在每次2倍上采样后根据需要加入适当数量的第四卷积层，对尺寸为2倍分辨率的特征信息进行优化，在该尺度上进一步提取特征，然后再通过2倍亚像素上采样层得到重建的高分辨率残差图像，最后将该高分辨率残差图像和插值高分辨率图像相加，得到最终的超分辨率图像，即目标高分辨率图像。

在本公开实施例中，特征提取模型中采用的卷积层和第四卷积层可以为3×3尺寸的卷积层对于网络输入的低分辨率残差图像RLR，使用一组尺寸为3×3的卷积核提取图像特征，采用该种特征提取器更容易提取到适用于图像超分辨率重构所需要的有效特征。

需要说明的是，本公开实施例中的上采样可以采用双三次插值上采样实现。

可以理解的是，图像处理装置采用更紧凑、参数冗余度更小的网络(即预设图像重建模型)来充分利用已提取到的特征信息，有效地降低了成本并且能够显著的提升高分辨率图像的重建质量。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

下面采用实验数据说明本公开实施例提供的一种图像处理方法的好处。

示例性的，如图5所示，在采用的卷积神经网络相同的情况下，分析采用待处理的低分辨率图像LR、插值高分辨率图像ILR和待处理低分辨率残差图像RLR作为网络的输入时的性能差异。

图5示出了不同的数据集Set5，Set14，BSD100和Urban100，在不同的卷积层的通道数下，例如，64，128和256，经过相同的网络处理后的峰值信噪比(PSNR，Peak Signal toNoise Ratio)的比较示意。

由图5可知，从不同的数据集的不同的PSNR的比较可以知道，采用RLR进行图像处理的PSNR是最高的，因此，图线处理的效果最好。

示例性的，如图6所示，在采用的卷积神经网络的不同的模型中，以4倍上采样为例，卷积层的层数或模型结构的级数怎么设计实验数据。从图6中可以看出，针对不同的数据集Set5，Set14，BSD100和Urban100，采用图6中的层级数进行预设图像重建模型的构建时PSNR性能的比较中，采用第一非线性模型中的层级数-第1个上采样子模型的层数-第2个上采样子模型的结构，进行卷积层数的设计。14(第一非线性模型中的层级数)-3(第1个上采样子模型的层数)-0(第2个上采样子模型的层数)这一组层级的设计时，针对不同的数据集，其PSNR都是最高的，其中，Set5：31.96；Set14：28.46；BSD100：24.78和Urban100:25.76。

示例性的，采用其他方法(SRCNN、FSRCNN、VDSR、LapSRN、DRRN、MemNet、SRMDNF、SRDenseNet、CARN、EDSR)进行图像处理和本公开的图像处理方法(Ours)进行图像处理的后的结果分析。

如图7所示，还是针对不同的数据集Set5，Set14，BSD100和Urban100，在不同的图像处理方法下处理后的PSNR和结构相似性(SSIM，structural similarity index)数据的比较示意。

从图7中可以看出，结合PSNR和SSIM来看，采用EDSR和Ours方式进行的图像处理的效果最好，但是再考虑到运算量(FLOPs)的指标的时候，可以看出，Ours方式进行图像处理的过程中运算量是最好的，基于综合性能的提升的考虑下，Ours方式为最佳。

直观的，选取几种其他方法和本公开实施例提供的图像处理方法处理后的图片示意图进行比较。

如图8所示，HR为最佳的高分辨率图像的标准示图，采用Bicubic、FSRCNN、VDSR、LapSR和Ours的方式处理后的图像，从同一位置的放大图中可以比较出，采用本公开实施例即Ours的方式处理后的图像在其中是最接近HR的，并且PSNR/SSIM的参数中，Ours的方式处理后的图像对应为20.96/0.8328，是最高的。

如图9所示，本公开实施例提供了一种图像处理装置1，该图像处理装置1可以包括：

获取单元11，用于获取待处理的低分辨率图像；

图像处理单元12，用于采用预设图像重建模型，对所述待处理的低分辨率图像进行处理，得到目标高分辨率图像；其中，所述预设图像重建模型是通过第一非线性映射模型与预设上采样模型连接构成的，所述第一非线性映射模型通过至少一个第一卷积层和至少一个残差单元依次级联，构成一层级联块，再通过至少一层级联块和至少一个第二卷积层依次级联形成的；每一个残差单元都连接一个第一卷积层；所述第一卷积层用于对数据进行降维处理；每一层级联块都连接一个第二卷积层；第二卷积层用于对数据进行降维处理。

在本公开的一些实施例中，所述图像处理装置1还包括：构建单元10。

所述构建单元10，用于采用所述至少一个第一卷积层和所述至少一个残差单元依次级联，构成所述一层级联块；其中，所述至少一个残差单元中的每个残差单元与特征信息的通道间有联系；及采用所述至少一层级联块和所述至少一个第二卷积层依次级联，形成所述第一非线性映射模型；以及采用预设样本数据，对所述第一非线性映射模型与所述预设上采样模型进行模型训练，得到所述预设图像重建模型。

在本公开的一些实施例中，所述构建单元10，具体用于将所述至少一个残差单元中的每个残差单元和所述至少一个第一卷积层中的每个第一卷积层依次交替连接，形成N级结构；所述N级结构中的第i级结构由第i个残差单元和第i个第一卷积层构成，其中，N为残差单元的数目，i为大于等于1，且小于等于N的正整数；以及在i不为1情况下，将所述N级结构中的前i-1级的残差单元的输出端和所述第i级结构中的所述第i个第一卷积层的输入端连接，直到第N级结构连接完成，构成所述一层级联块。

在本公开的一些实施例中，所述构建单元10，具体用于将所述至少一层级联块中的每个级联块和所述至少一个第二卷积层中的每个第二卷积层依次交替连接，形成M级结构；所述M级结构中的第j级结构由第j层级联块和第j第二卷积层构成，其中，M为级联块的层数，j为大于等于1，且小于等于M的正整数；以及在j不为1情况下，将所述M级结构中的前j-1级的级联块的输出端和所述第j级结构中的所述第j个第二卷积层的输入端连接，直到第M级结构连接完成，从而形成所述第一非线性映射模型。

在本公开的一些实施例中，所述获取单元11，还用于所述采用所述至少一个第一卷积层和所述至少一个残差单元依次级联之前，获取预设残差单元；

所述构建单元10，还用于采用预设残差处理模型对所述预设残差单元进行连接调整，构成一个残差单元；所述残差处理模型表征特征信息的通道间的联系的结构。

在本公开的一些实施例中，基于全局平均池化单元、预设第二非线性映射模型和第三卷积层构成所述预设残差处理模型，所述第三卷积层用于对经所述全局平均池化单元和所述预设第二非线性映射模型的数据进行降维处理。

在本公开的一些实施例中，所述图像处理单元12，具体用于将所述第一非线性映射模型与所述预设上采样模型连接，得到初始图像重建模型；以及采用预设样本数据对所述初始图像重建模型进行模型训练，得到所述预设图像重建模型。

在本公开的一些实施例中，所述构建单元10，具体用于在所述预设上采样模型为至少两个上采样子模型情况下，将每个上采样子模型之间连接有第四卷积层和预设第三非线性映射模型，将所述第一非线性映射模型与所述至少两个上采样子模型中的一个上采样子模型连接，构成所述初始图像重建模型。

在本公开的一些实施例中，所述图像处理单元12，具体用于对所述待处理的低分辨率图像进行处理，得到待处理低分辨率残差图像；以及基于所述待处理低分辨率残差图像和所述预设图像重建模型，得到所述目标高分辨率图像。

在本公开的一些实施例中，所述图像处理单元12，还具体用于对所述待处理的低分辨率图像进行上采样处理，得到插值高分辨率图像；以及对所述插值高分辨率图像进行下采样处理后，与所述待处理的低分辨率图像做差，得到所述待处理低分辨率残差图像。

在本公开的一些实施例中，所述图像处理单元12，还具体用于采用所述预设图像重建模型对所述待处理低分辨率残差图像进行处理，得到高分辨率残差图像；以及根据所述高分辨率残差图像和所述插值高分辨率图像，得到所述目标高分辨率图像。

在本公开的一些实施例中，所述获取单元11，还用于所述采用预设样本数据对所述初始图像重建模型进行模型训练，得到所述预设图像重建模型之前，获取样本高分辨率图像；及对所述样本高分辨率图像进行下采样处理，得到候选样本低分辨率图像；及将所述候选样本低分辨率图像进行数据增广处理，得到样本低分辨率图像；以及将所述样本高分辨率图像和所述样本低分辨率图像作为所述预设样本数据。

可以理解的是，图像处理装置可以采用预设图像重建模型对待处理的低分辨率图像进行图像变换重建处理，得到目标高分辨率图像的，实现由低分辨率图像到高分辨率图像的处理过程，而这里的预设图像重建模型的结构中，采用了多层级联块和多个卷积层构成的非线性映射结构，该多个卷积层可以对经过的数据进行降维处理，并且每个级联块中的残差单元输出的数据也可以经过卷积层进行降维处理，这样减少了在图像处理中由于网络造成的冗余，并且至少一个残差单元中的每个残差单元与特征信息的通道间有联系的，因此，基于这样的残差单元处理后的图像处理细节更加丰富，图像效果更好。

如图10所示，本公开实施例还提供了一种电子设备，包括：

处理器13、存储有所述处理器13可执行图像处理指令的存储器14，和用于连接所述处理器13、所述存储器14的通信总线15，当所述图像处理指令被执行时，实现如实施例一和实施例二任一实施例所述的方法。

需要说明的是，本公开实施例中的电子设备可以为具有处理视频或图像的设备，例如终端或服务器。即图像处理方法可以由终端设备或服务器或其它处理设备执行，其中，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该图像处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

在本公开的实施例中，上述处理器13可以为特定用途集成电路(ApplicationSpecific Integrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital Signal Processing Device，DSPD)、可编程逻辑装置(ProgRAMmable Logic Device，PLD)、现场可编程门阵列(Field ProgRAMmable GateArray，FPGA)、中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本公开实施例不作具体限定。图像处理装置还可以包括存储器14，该存储器14可以与处理器13连接，其中，存储器14用于存储可执行程序代码，该程序代码包括计算机操作指令，上述存储器14可以是易失性存储器(volatile memory)，例如随机存取存储器(Random-Access Memory，RAM)；或者非易失性存储器(non-volatile memory)，例如只读存储器(Read-Only Memory，ROM)，快闪存储器(flash memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；或者上述种类的存储器的组合，并向处理器13提供指令和数据。

在本公开的实施例中，通信总线15用于连接处理器13以及存储器14以及这些器件之间的相互通信。

另外，在本公开实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本公开实施例提供了一种计算机可读存储介质，其上存储有图像处理指令，其中，所述图像处理指令被处理器执行时，实现如实施例一和实施例二任一实施例所述的方法。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本公开的较佳实施例而已，并非用于限定本公开的保护范围。

Claims (26)

1.一种图像处理方法，其特征在于，包括：

获取待处理的低分辨率图像；

采用预设图像重建模型，对所述待处理的低分辨率图像进行处理，得到目标高分辨率图像；其中，所述预设图像重建模型是通过第一非线性映射模型与预设上采样模型连接构成的，所述第一非线性映射模型通过至少一个第一卷积层和至少一个残差单元依次级联，构成一层级联块，再通过至少一层级联块和至少一个第二卷积层依次级联形成的；每一个残差单元都连接一个第一卷积层；所述第一卷积层用于对数据进行降维处理；每一层级联块都连接一个第二卷积层；第二卷积层用于对数据进行降维处理；所述残差单元是采用预设残差处理模型对预设残差单元进行连接调整构成的；所述预设残差单元是通用的残差单元的结构；所述残差处理模型表征特征信息的通道间的联系的结构；所述残差处理模型是基于全局平均池化单元、预设第二非线性映射模型和第三卷积层构成的；所述预设第二非线性映射模型采用至少一个激活函数实现；所述第三卷积层用于对经所述全局平均池化单元和所述预设第二非线性映射模型的数据进行降维处理。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

采用所述至少一个第一卷积层和所述至少一个残差单元依次级联，构成所述一层级联块；其中，所述至少一个残差单元中的每个残差单元与特征信息的通道间有联系；

采用所述至少一层级联块和所述至少一个第二卷积层依次级联，形成所述第一非线性映射模型；

采用预设样本数据，对所述第一非线性映射模型与所述预设上采样模型进行模型训练，得到所述预设图像重建模型。

3.根据权利要求2所述的方法，其特征在于，所述采用所述至少一个第一卷积层和所述至少一个残差单元依次级联，构成所述一层级联块，包括：

将所述至少一个残差单元中的每个残差单元和所述至少一个第一卷积层中的每个第一卷积层依次交替连接，形成N级结构；所述N级结构中的第i级结构由第i个残差单元和第i个第一卷积层构成，其中，N为残差单元的数目，i为大于等于1，且小于等于N的正整数；

在i不为1情况下，将所述N级结构中的前i-1级的残差单元的输出端和所述第i级结构中的所述第i个第一卷积层的输入端连接，直到第N级结构连接完成，构成所述一层级联块。

4.根据权利要求2或3所述的方法，其特征在于，所述采用所述至少一层级联块和所述至少一个第二卷积层依次级联，形成所述第一非线性映射模型，包括：

将所述至少一层级联块中的每个级联块和所述至少一个第二卷积层中的每个第二卷积层依次交替连接，形成M级结构；所述M级结构中的第j级结构由第j层级联块和第j个第二卷积层构成，其中，M为级联块的层数，j为大于等于1，且小于等于M的正整数；

在j不为1情况下，将所述M级结构中的前j-1级的级联块的输出端和所述第j级结构中的所述第j个第二卷积层的输入端连接，直到第M级结构连接完成，从而形成所述第一非线性映射模型。

5.根据权利要求2所述的方法，其特征在于，所述采用所述至少一个第一卷积层和所述至少一个残差单元依次级联之前，所述方法还包括：

获取预设残差单元；

采用预设残差处理模型对所述预设残差单元进行连接调整，构成一个残差单元。

6.根据权利要求5所述的方法，其特征在于，

基于全局平均池化单元、预设第二非线性映射模型和第三卷积层构成所述预设残差处理模型。

7.根据权利要求2所述的方法，其特征在于，所述采用预设样本数据，对所述第一非线性映射模型与所述预设上采样模型进行模型训练，得到所述预设图像重建模型，包括：

将所述第一非线性映射模型与所述预设上采样模型连接，得到初始图像重建模型；

采用预设样本数据对所述初始图像重建模型进行模型训练，得到所述预设图像重建模型。

8.根据权利要求7所述的方法，其特征在于，所述将所述第一非线性映射模型与所述预设上采样模型连接，得到初始图像重建模型，包括：

在所述预设上采样模型为至少两个上采样子模型情况下，将每个上采样子模型之间连接有第四卷积层和预设第三非线性映射模型，将所述第一非线性映射模型与所述至少两个上采样子模型中的一个上采样子模型连接，构成所述初始图像重建模型。

9.根据权利要求1所述的方法，其特征在于，所述采用预设图像重建模型，对所述待处理的低分辨率图像进行处理，得到目标高分辨率图像，包括：

对所述待处理的低分辨率图像进行处理，得到待处理低分辨率残差图像；

基于所述待处理低分辨率残差图像和所述预设图像重建模型，得到所述目标高分辨率图像。

10.根据权利要求9所述的方法，其特征在于，所述对所述待处理的低分辨率图像进行处理，得到待处理低分辨率残差图像，包括：

对所述待处理的低分辨率图像进行上采样处理，得到插值高分辨率图像；

对所述插值高分辨率图像进行下采样处理后，与所述待处理的低分辨率图像做差，得到所述待处理低分辨率残差图像。

11.根据权利要求10所述的方法，其特征在于，所述基于所述待处理低分辨率残差图像和所述预设图像重建模型，得到所述目标高分辨率图像，包括：

采用所述预设图像重建模型对所述待处理低分辨率残差图像进行处理，得到高分辨率残差图像；

根据所述高分辨率残差图像和所述插值高分辨率图像，得到所述目标高分辨率图像。

12.根据权利要求7所述的方法，其特征在于，所述采用预设样本数据对所述初始图像重建模型进行模型训练，得到所述预设图像重建模型之前，所述方法还包括：

获取样本高分辨率图像；

对所述样本高分辨率图像进行下采样处理，得到候选样本低分辨率图像；

将所述候选样本低分辨率图像进行数据增广处理，得到样本低分辨率图像；

将所述样本高分辨率图像和所述样本低分辨率图像作为所述预设样本数据。

13.一种图像处理装置，其特征在于，包括：

获取单元，用于获取待处理的低分辨率图像；

图像处理单元，用于采用预设图像重建模型，对所述待处理的低分辨率图像进行处理，得到目标高分辨率图像；其中，所述预设图像重建模型是通过第一非线性映射模型与预设上采样模型连接构成的，所述第一非线性映射模型通过至少一个第一卷积层和至少一个残差单元依次级联，构成一层级联块，再通过至少一层级联块和至少一个第二卷积层依次级联形成的；每一个残差单元都连接一个第一卷积层；所述第一卷积层用于对数据进行降维处理；每一层级联块都连接一个第二卷积层；第二卷积层用于对数据进行降维处理；所述残差单元是采用预设残差处理模型对预设残差单元进行连接调整构成的；所述预设残差单元是通用的残差单元的结构；所述残差处理模型表征特征信息的通道间的联系的结构；所述残差处理模型是基于全局平均池化单元、预设第二非线性映射模型和第三卷积层构成的；所述预设第二非线性映射模型采用至少一个激活函数实现；所述第三卷积层用于对经所述全局平均池化单元和所述预设第二非线性映射模型的数据进行降维处理。

14.根据权利要求13所述的装置，其特征在于，所述图像处理装置还包括：构建单元；

所述构建单元，用于采用所述至少一个第一卷积层和所述至少一个残差单元依次级联，构成所述一层级联块；其中，所述至少一个残差单元中的每个残差单元与特征信息的通道间有联系；及采用所述至少一层级联块和所述至少一个第二卷积层依次级联，形成所述第一非线性映射模型；以及采用预设样本数据，对所述第一非线性映射模型与所述预设上采样模型进行模型训练，得到所述预设图像重建模型。

15.根据权利要求14所述的装置，其特征在于，

所述构建单元，具体用于将所述至少一个残差单元中的每个残差单元和所述至少一个第一卷积层中的每个第一卷积层依次交替连接，形成N级结构；所述N级结构中的第i级结构由第i个残差单元和第i个第一卷积层构成，其中，N为残差单元的数目，i为大于等于1，且小于等于N的正整数；以及在i不为1情况下，将所述N级结构中的前i-1级的残差单元的输出端和所述第i级结构中的所述第i个第一卷积层的输入端连接，直到第N级结构连接完成，构成所述一层级联块。

16.根据权利要求14或15所述的装置，其特征在于，

所述构建单元，具体用于将所述至少一层级联块中的每个级联块和所述至少一个第二卷积层中的每个第二卷积层依次交替连接，形成M级结构；所述M级结构中的第j级结构由第j层级联块和第j个第二卷积层构成，其中，M为级联块的层数，j为大于等于1，且小于等于M的正整数；以及在j不为1情况下，将所述M级结构中的前j-1级的级联块的输出端和所述第j级结构中的所述第j个第二卷积层的输入端连接，直到第M级结构连接完成，从而形成所述第一非线性映射模型。

17.根据权利要求14所述的装置，其特征在于，

所述获取单元，还用于所述采用所述至少一个第一卷积层和所述至少一个残差单元依次级联之前，获取预设残差单元；

所述构建单元，还用于采用预设残差处理模型对所述预设残差单元进行连接调整，构成一个残差单元。

18.根据权利要求17所述的装置，其特征在于，

基于全局平均池化单元、预设第二非线性映射模型和第三卷积层构成所述预设残差处理模型。

19.根据权利要求14所述的装置，其特征在于，

所述图像处理单元，具体用于将所述第一非线性映射模型与所述预设上采样模型连接，得到初始图像重建模型；以及采用预设样本数据对所述初始图像重建模型进行模型训练，得到所述预设图像重建模型。

20.根据权利要求19所述的装置，其特征在于，

所述构建单元，具体用于在所述预设上采样模型为至少两个上采样子模型情况下，将每个上采样子模型之间连接有第四卷积层和预设第三非线性映射模型，将所述第一非线性映射模型与所述至少两个上采样子模型中的一个上采样子模型连接，构成所述初始图像重建模型。

21.根据权利要求13所述的装置，其特征在于，

所述图像处理单元，具体用于对所述待处理的低分辨率图像进行处理，得到待处理低分辨率残差图像；以及基于所述待处理低分辨率残差图像和所述预设图像重建模型，得到所述目标高分辨率图像。

22.根据权利要求21所述的装置，其特征在于，

所述图像处理单元，还具体用于对所述待处理的低分辨率图像进行上采样处理，得到插值高分辨率图像；以及对所述插值高分辨率图像进行下采样处理后，与所述待处理的低分辨率图像做差，得到所述待处理低分辨率残差图像。

23.根据权利要求22所述的装置，其特征在于，

所述图像处理单元，还具体用于采用所述预设图像重建模型对所述待处理低分辨率残差图像进行处理，得到高分辨率残差图像；以及根据所述高分辨率残差图像和所述插值高分辨率图像，得到所述目标高分辨率图像。

24.根据权利要求19所述的装置，其特征在于，

所述获取单元，还用于所述采用预设样本数据对所述初始图像重建模型进行模型训练，得到所述预设图像重建模型之前，获取样本高分辨率图像；及对所述样本高分辨率图像进行下采样处理，得到候选样本低分辨率图像；及将所述候选样本低分辨率图像进行数据增广处理，得到样本低分辨率图像；以及将所述样本高分辨率图像和所述样本低分辨率图像作为所述预设样本数据。

25.一种电子设备，其特征在于，包括：

处理器、存储有所述处理器可执行图像处理指令的存储器，和用于连接所述处理器、所述存储器的通信总线，当所述图像处理指令被执行时，实现如权利要求1-12任一项所述的方法。

26.一种计算机可读存储介质，其特征在于，其上存储有图像处理指令，其中，所述图像处理指令被处理器执行时，实现如权利要求1-12任一项所述的方法。

Images