CN110222758B - 一种图像处理方法、装置、设备及存储介质 - Google Patents

Abstract

本发明提供了一种图像处理方法以及一种图像处理装置、设备及存储介质，该方法包括：获取需要进行分辨率增强处理的目标图像，确定与目标图像相适配的图像压缩比例；获取第一训练样本图像，对第一训练样本图像进行下采样处理，以形成第二训练样本图像，第二训练样本图像的分辨率低于第一训练样本图像的分辨率；根据图像压缩比例，对第二训练样本图像进行压缩处理以形成第三训练样本图像；通过第一训练样本图像和第三训练样本图像对图像处理模型进行训练，以使图像处理模型对目标图像进行分辨率增强处理。本发明可以消除当图像处理模型在重构图像时所产生的噪声点，减少重构图像的峰值信噪比，增强重构图像的分辨率。

Description

一种图像处理方法、装置、设备及存储介质

技术领域

本发明涉及图像处理技术，尤其涉及图像处理方法、装置、设备及存储介质。

背景技术

随着信号采集、存储技术和计算机运算能力的迅速发展，以图像、视频作为内容载体的多媒体应用得到了广泛关注并被快速普及。但是由于图像、视频信号的采集，编码、转码、压缩等因素的影响，用户所获取的图像、视频信号会产生不同程度的质量下降。而图像、视频本身质量的下降不仅会直观地影响观察者的观看体验，更会降低后续处理任务(如分割、识别、理解)的准确性。因此，需要通过超分辨率技术(SR，Super Resolution)将低分辨率(相对于高清图片或者高清视频帧而言)图像(视频帧)重构出相应的高分辨率图像，以符合相应的高分辨率图像的应用场景。

发明内容

本发明实施例提供图像处理方法、装置、设备及存储介质，能够形成图像处理模型以对目标图像进行分辨率增强处理。

本发明实施例的技术方案是这样实现的：

本发明实施例提供了一种图像模型的训练方法，包括：

确定与需要进行分辨率增强处理的目标图像相适配的图像压缩比例；

获取第一训练样本图像，对所述第一训练样本图像进行下采样处理，以形成第二训练样本图像，所述第二训练样本图像的分辨率低于所述第一训练样本图像的分辨率；

根据所述图像压缩比例，对所述第二训练样本图像进行压缩，形成与所述目标图像具有相同压缩比例的第三训练样本图像；

通过所述第三训练样本图像，训练用于对所述目标图像进行图像增强处理的图像处理模型。

本发明实施例还提供了一种图像处理装置，包括：

训练样本生成模块，用于确定与需要进行分辨率增强处理的目标图像相适配的图像压缩比例；

图像传输模块，用于获取第一训练样本图像；

所述训练样本生成模块，用于对所述第一训练样本图像进行下采样处理，以形成第二训练样本图像，所述第二训练样本图像的分辨率低于所述第一训练样本图像的分辨率；

所述图像传输模块，用于根据所述图像压缩比例，对所述第二训练样本图像进行压缩，形成与所述目标图像具有相同压缩比例的第三训练样本图像；

训练模块，用于通过所述第三训练样本图像对图像处理模型进行训练，以使所述图像处理模型对所述目标图像进行分辨率增强处理。

本发明实施例还提供了一种图像处理设备，所述图像处理设备包括：

存储器，用于存储可执行指令；

处理器，用于运行所述存储器存储的可执行指令时，实现本发明所提供的图像处理方法。

本发明实施例还提供了一种计算机可读存储介质，存储有可执行指令，所述可执行指令被处理器执行时实现本发明所提供的图像处理方法。

本发明实施例具有以下有益效果：

通过对经过下采样处理第一训练样本图像所形成的第二训练样本图像，按照与目标图像相同的压缩比例进行压缩形成第三训练样本图像，并利用所述第一训练样本图像和所述第三训练样本图像对图像处理模型进行训练，可以消除当图像处理模型在重构图像时所产生的噪声点，减少重构图像的峰值信噪比，增强重构图像的分辨率。

附图说明

图1是相关技术中对图像进行超分处理的示意图；

图2为本发明实施例提供的图像处理方法的使用场景示意图；

图3为本发明实施例提供的图像处理设备的组成结构示意图；

图4为本发明实施例提供的图像处理方法一个可选的流程示意图；

图5为对游戏图像处理过程示意图；

图6是本发明实施例中生成器网络的结构示意图；

图7是本发明实施例中残差块的结构示意图；

图8是本发明实施例中判别器网络的结构示意图；

图9是本发明实施例中超分辨率图像效果对比示意图一；

图10是本发明实施例中超分辨率图像效果对比示意图二。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。

1)下采样处理，对于一个样值序列间隔几个样值取样一次，这样得到新序列就是原序列的下采样，例如：对于一幅图像I尺寸为M*N，对其进行s倍下采样，即得到(M/s)*(N/s)尺寸的得分辨率图像，其中s应该是M和N的公约数

2)压缩处理：指以较少的比特有损或无损地表示原来的像素矩阵的技术。

3)生成对抗网络(Generative Adversarial Networks，GAN)，即生成式对抗网络，是一种深度学习模型。模型通过框架中至少两个模块：生成模型G(Generative Model)和判别模型D(Discriminative Model)的互相博弈学习产生相当好的输出。比如：G是制作高分图像(本文中也称为重构图像)的模型，D是检测是否为原始自然图像的模型。G的目标是使D判断不出G生成的高分图像是否为非自然图像，D则要尽可能的分辨出输入的图像是原始自然图像还是G生成的非自然图像，通过G和D的参数不断的迭代更新，直到生成对抗网络满足收敛条件。

4)生成器网络，用于通过低分辨率的图像生成高分辨率图像。生成器可为基于深度学习的卷积神经网络。

5)判别器网络，判断输入的图像x是生成器生成的非自然图像，还是自然图像。判别器输出一个0-1区间的概率值D1(x)，当D1(x)为0时，表示判别输入的图像x是自然图像，当D1(x)为1时，表示判别输入的图像x是非自然图像。

6)训练样本图像，对生成对抗网络进行训练的图像，可通过对高分辨率的原始自然图像进行下采样得到。

7)峰值信噪比(PSNR，Peak Signal to Noise Ratio)，是评鉴图像质量的客观量测法。

8)超分(SR，Super-Resolution)，即对图像的分辨率进行增强处理。

9)离散余弦变换(Discrete Cosine Transform)，用于对信号和图像(包括静止图像和运动图像)进行有损数据压缩。在静止图像编码标准JPEG中，在运动图像编码标准MJPEG和MPEG的各个标准中都使用了离散余弦变换。

10)压缩失真(Compression Artifact)，是指图片在压缩保存、格式转换过程中产生的图片失真现象，在JPEG压缩过程中，量化过程(像素值/量化表对应值)是产生压缩失真的主要原因之一。

11)双三次插值：Bicubic interpolation，用于在图像中“插值”(Interpolating)或增加“像素”(Pixel)数量/密度的一种方法，用于图像或者视频的缩放。

图1是相关技术基于超分生成对抗网络对图像进行超分处理的示意图，超分生成对抗网络SRGAN(SRGAN，Super Resolution Generative Adversarial Network)的结构如图1所示，包括有生成器网络101和判别器网络102。生成器网络101和判别器网络102为深度神经网络模型。高清图片被作为训练样本图像并进行下采样处理，形成低分辨率(相对于高清图片而言)的训练样本图像，通过SRGAN模型中的生成器网络101对低分辨率的训练样本图像进行图像重构，形成重构图像；SRGAN模型中的判别器网络102对重构图像进行鉴别，根据相应的鉴别结果调整生成器网络101和/或判别器网络102的参数，直至所述生成器网络101和判别器网络102能够达到纳什平衡(Nash equilibrium)，完成对SRGAN模型的训练，从而SRGAN模型能够对所输入的分辨率较低的图像进行重构，形成分辨率较高的图像。

相关技术的上述方案至少存在两个问题：

1)在上述训练SRGAN模型的过程中，所获取的作为训练样本图像的高清图片，可能是经过压缩处理的JPEG图片或者经过压缩处理的视频图像帧，其在形成低分辨的训练样本图像时会产生大量的图像噪声，以经过压缩处理的JPEG图片为例，在JPEG图片的压缩过程中会产生“压缩失真”，包括：离散余弦变换后量化带来的振铃效应、快效应等，使得经过压缩的JPEG图片产生噪声，而SRGAN模型的训练过程中，生成器网络101为了尽量还原高频信息会放大这些失真的噪声，在实现纳什均衡的过程中，影响生成器网络101的参数和判别器网络102的参数，从而导致利用训练完成的SRGAN模型所生成的高清晰度的图片会有大量随机噪声，影响超分处理的效果。

2)SRGAN模型对训练样本图像进行处理，形成低分辨率(相对于高清图片而言)的训练样本图像的过程中，采用双三次插值下采样产生低分辨率的图片，不能适应各种真实图片的退化过程，同样以经过压缩处理的JPEG图片为例，在JPEG图片压缩过程中，通过控制量化参数的大小，能大范围的调整图片的压缩比，但是，在使用训练完成后的GAN模型对需要进行超分处理的目标图像(单帧图像或视频图像帧)进行超分处理时，不能根据目标图像的压缩的量化参数，调整算法生成合适的训练样本图像。

针对相关技术的上述问题，本发明实施例提供了一种图像处理方法、装置、设备和存储介质，既能够生成与目标图像相适配的训练样本图像，同时还能够通过相应的训练样本图像对图像处理模型进行训练，使得图像处理模型能够目标图像进行分辨率增强处理。

图2为本发明实施例提供的图像处理方法的使用场景示意图，参见图2，终端(包括终端20-1和终端20-2)上设置有用于展示和/或传输图像功能的客户端，终端通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合，使用无线链路实现数据传输。

作为一个示例，终端(终端20-1和/或终端20-2)于发送需要进行分辨率增强处理的目标图像和第一训练样本图像给服务器200，其中，JPEG图片为例，所述第一训练样本的分辨率大于1024×600。

服务器200通过网络300获取需要进行分辨率增强处理的目标图像，确定与所述目标图像相适配的图像压缩比例；获取第一训练样本图像，对所述第一训练样本图像进行下采样处理，以形成第二训练样本图像，所述第二训练样本图像的分辨率低于所述第一训练样本图像的分辨率；根据所述图像压缩比例，对所述第二训练样本图像进行压缩，形成与所述目标图像具有相同压缩比例的第三训练样本图像；通过所述第三训练样本图像对训练用于对所述目标图像进行图像增强处理的图像处理模型。

服务器200，还用训练完成后，通过图像处理模型所包括的生成器网络对目标图像进行分辨率增强处理，将处理的结果返回给终端或保存在相应的存储介质中。

终端(终端20-1和/或终端20-2)，还用于通过网络300获取经过分辨率增强处理的目标图像，将服务器200返回的经过分辨率增强处理的目标图像向用户进行展示，或者，对经过分辨率增强处理的目标图像进行多帧图像合并，形成分辨率增强的视频流。

下面对本发明实施例的图像处理设备的结构做详细说明，图像处理设备可以各种形式来实施，如智能手机、平板电脑和台式机等终端，也可以为服务器。图3为本发明实施例提供的图像处理设备的组成结构示意图，可以理解，图3仅仅示出了图像处理设备的示例性结构而非全部结构，根据需要可以实施图3示出的部分结构或全部结构。

本发明实施例提供的图像处理设备包括：至少一个处理器301、存储器302、用户接口303和至少一个网络接口304。图像处理设备30中的各个组件通过总线系统305耦合在一起。可以理解，总线系统305用于实现这些组件之间的连接通信。总线系统305除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图3中将各种总线都标为总线系统305。

其中，用户接口303可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。

可以理解，存储器302可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。本发明实施例中的存储器302能够存储数据以支持终端(如20-1)的操作。这些数据的示例包括：用于在终端(如20-1)上操作的任何计算机程序，如操作系统和应用程序。其中，操作系统包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序。

在一些实施例中，本发明实施例提供的图像处理装置可以采用软硬件结合的方式实现，作为示例，本发明实施例提供的图像装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的图像处理方法。例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application Specific IntegratedCircuit)、DSP、可编程逻辑器件(PLD，Progra mmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件。

作为本发明实施例提供的图像处理装置采用软硬件结合实施的示例，本发明实施例所提供的图像处理装置可以直接体现为由处理器301执行的软件模块组合，软件模块可以位于存储介质中，存储介质位于存储器302，处理器301读取存储器302中软件模块包括的可执行指令，结合必要的硬件(例如，包括处理器301以及连接到总线305的其他组件)完成本发明实施例提供的图像处理方法。

作为示例，处理器301可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。

作为本发明实施例提供的图像处理装置采用硬件实施的示例，本发明实施例所提供的装置可以直接采用硬件译码处理器形式的处理器301来执行完成，例如，被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，ComplexProgrammable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable GateArray)或其他电子元件执行实现本发明实施例提供的图像处理方法。

本发明实施例中的存储器302用于存储各种类型的数据以支持图像处理设备30的操作。这些数据的示例包括：用于在图像处理设备30上操作的任何可执行指令，如可执行指令，实现本发明实施例的从图像处理方法的程序可以包含在可执行指令中。

在另一些实施例中，本发明实施例提供的血管图像处理装置可以采用软件方式实现，图3示出了存储在存储器302中的图像处理装置3020，其可以是程序和插件等形式的软件，并包括一系列的模块，作为存储器302中存储的程序的示例，可以包括图像处理装置3020，图像处理装置3020中包括以下的软件模块：图像传输模块3081、训练样本生成模块3082、训练模块3083。当图像处理装置3020中的软件模块被处理器301读取到RAM中并执行时，将实现本发明实施例提供的图像处理方法，将在下文分别进行说明图像处理装置3020中各个软件模块的功能。

结合本发明实施例提供的终端的示例性应用和实施，说明本发明实施例提供的图像处理方法，根据上文可以理解，本发明实施例提供的图像处理方法可以由各种类型的图像处理设备，例如分辨率调整设备、电脑和服务器等。

结合图3示出的图像处理设备30说明本发明实施例提供的图像处理方法，参见图4，图4为本发明实施例提供的图像处理方法一个可选的流程示意图，可以理解地，图4所示的步骤可以由运行图像处理设备30的各种电子设备执行，例如可以是如电脑、智能手机等类型的终端、服务器或者服务器集群。下面针对图4示出的步骤进行说明。

步骤401：获取需要进行分辨率增强处理的目标图像，确定与所述目标图像相适配的图像压缩比例。

在本发明的一些实施例中，所述确定与所述目标图像相适配的图像压缩比例，包括：解析所述目标图像所包括的验证信息，得到所述目标图像的类型信息和/或使用环境信息；根据所述目标图像的类型信息和/或使用环境信息查找压缩比例表，以得到与所述目标图像相适配的图像压缩比例。其中，不同的目标图像的使用环境或者类型可能均不相同，以单帧图像为例，当目标图像为来自视频信息的某一帧视频图像时，可以通过查找压缩比例表，确定与所述视频信息相对应的压缩比例，以及视频信息的压缩量化参数，以对生成的训练样本图像进行调整。

在本发明的一些实施例中，当通过解析目标图像的验证信息确定目标图像将会被应用于游戏场景中时，可以通过查找压缩比例表查找与使用场景相对应的压缩比例，以确定离散余弦变换后量化带来的振铃效应所产生的噪声幅度。

以电子游戏应用场景为例，由于游戏图像数量较多，为了压缩图像，通常会对电子游戏中的高清图片进行4倍的压缩处理，例如：原始游戏图像的分辨率为1024*1024，进行4倍压缩处理后，形成分辨率为256*256的低分辨率游戏图像。

步骤402：获取第一训练样本图像，对所述第一训练样本图像进行下采样处理，以形成第二训练样本图像；

其中，所述第二训练样本图像的分辨率低于所述第一训练样本图像的分辨率。

在本发明的一些实施例中，所述对所述第一训练样本图像进行下采样处理，以形成第二训练样本图像，包括：

解析所述目标图像所包括的验证信息，得到所述目标图像的使用环境信息；根据所述目标图像的使用环境信息，确定与所述目标图像相对应的目标分辨率，所述目标分辨率用于表征对所述目标图像进行分辨率增强处理的期望值；根据所述目标分辨率与下采样处理分辨率的负相关关系，确定下采样处理的分辨率；根据所述下采样处理的分辨率，对所述第一训练样本图像进行下采样处理，以形成符合所述下采样处理的分辨率的第二训练样本图像。

其中，仍然以使用环境为电子游戏场景为例，电子游戏程序的图像帧的分辨率仅为640×640，而希望通过本发明所提供的图像处理模型将图像帧的分辨率提升至1210×720，即目标图像的目标分辨率的期望值为1210×720；而所述目标分辨率与下采样处理分辨率的负相关关系，即目标分辨率越高，下采样处理分辨率越低，以实现对所述图像处理模型的精确训练。由于所获取的第一训练样本图像为分辨率为1920×1920的高分辨率图像，因此可以根据所确定的下采样处理的分辨率，采用双三次下采样处理第一训练样本图像，模拟图像退化，得到低分辨率(相对于分辨率为1920×1920的高分辨率图像而言)样本图像，例如可以利用上述1920×1920的第一训练样本图像，生成1/r分辨率的低分辨率第二训练样本图像，其中，r的取值范围为大于等于1。

步骤403：根据所述图像压缩比例，对所述第二训练样本图像进行压缩处理以形成第三训练样本图像。

在本发明的一些实施例中，所述根据所确定的图像压缩比例，对所述第二训练样本图像进行处理，形成与所述目标图像相适配的第三训练样本图像，包括：

根据所述图像压缩比例，对所述第二训练样本图像进行压缩，形成与所述目标图像具有相同压缩比例的第三训练样本图像，其中，所述第三训练样本图像的分辨率低于所述第一训练样本图像的分辨率。其中，由于实际要使用训练完成后的图像处理模型进行图像分辨率增强的目标图像的类型和使用环境可能均不相同，而目标图像在实际使用中可以是经过压缩处理的图像，为了避免图像处理模型的训练过程中，生成器网络为了尽量还原高频信息会放大这些失真的噪声，在实现纳什均衡的过程中，影响生成器网络的参数和判别器网络的参数，从而导致利用训练完成的GAN模型所生成的高清晰度的图片会有大量随机噪声，影响超分处理的效果，需要对经过下采样处理所形成的第二训练样本图像进行压缩，形成与所述目标图像具有相同压缩比例的第三训练样本图像，以降低图像处理模型在重构图像的过程中所产生的噪声幅度。

仍然以电子游戏应用场景为例，当通过下采样处理形成第二训练样本图像后，可以根据游戏图像的压缩比例(4倍)对第二训练样本图像进行压缩，例如，第二训练样本图像的分辨率为512*512，根据游戏图像4倍的压缩比例，对第二训练样本图像进行压缩形成分辨率为128*128的第三训练样本图像，其与作为目标图像的游戏图像具有相同的压缩比例。

步骤404：通过所述第三训练样本图像对图像处理模型进行训练，以使所述图像处理模型对所述目标图像进行分辨率增强处理。

在本发明的一些实施例中，所述通过所述第三训练样本图像对图像处理模型进行训练，包括：

通过所述图像处理模型的生成器网络对所述第三训练样本图像进行分辨率增强处理，以生成分辨率大于所述第三训练样本图像的分辨率的重构图像；通过所述图像处理模型的判别器网络利用所述第一训练样本图像对所述重构图像进行鉴别；根据所述重构图像是否是真实图像的鉴别结果，迭代更新所述生成器网络的参数和所述判别器网络的参数，直至满足所述图像处理模型的收敛条件。其中，真实图像即为输入的第一训练样本图像，需要说明的是，在电子游戏应用场景中，为了提升对图像处理模型的训练精度，作为第一训练样本图像的真实图像需要是分辨率高于1024*1024的高清图像。

在本发明的一些实施例中，图像处理模型中包括由生成器网络和判别器网络构成的生成式对抗网络，其中，生成器网络的结构可以采用：SRCNN，快速超分辨率卷积神经网络(Super-Resolution Convolutional Neural Network，FSRCNN)，亚像素卷积网络(sub-pixel Convolutional Neural Network，ESPCN)，残差超分辨率网络(Residual Super-Resolution Network，ResSRNet)等超分辨率模型的结构。本发明实施例对生成器所采用的超分辨率模型不进行任何的限定。

在本发明的一些实施例中，所述根据对所述重构图像的鉴别结果，迭代更新所述生成器网络的参数和所述判别器网络的参数，直至满足所述图像处理模型的收敛条件，包括：

固定所述生成器网络的参数，通过所述生成器网络对所述第三训练样本图像进行分辨率增强处理，得到第一重构图像；将所述第三训练样本图像与所述第一重构图像之间的差值作为第一损失值，根据所述第一损失值更新所述判别器网络的参数。

在本发明的一些实施例中，所述根据对所述重构图像的鉴别结果，迭代更新所述生成器网络的参数和所述判别器网络的参数，直至满足所述图像处理模型的收敛条件，包括：

固定所述判别器网络的参数，通过所述生成器网络中对所述第三训练样本图像进行分辨率增强处理，得到第二重构图像；将所述第三训练样本图像与所述第二重构图像之间的差值作为第二损失值，根据所述第二损失值更新所述生成器网络的参数。

下面结合图3所示的图像处理装置3020说明各个软件模块的功能。

图像传输模块3081，用于获取需要进行分辨率增强处理的目标图像；

训练样本生成模块3082，用于确定与所述目标图像相适配的图像压缩比例；

所述图像传输模块3081，用于获取第一训练样本图像；

所述训练样本生成模块3082，用于对所述第一训练样本图像进行下采样处理，以形成第二训练样本图像，所述第二训练样本图像的分辨率低于所述第一训练样本图像的分辨率；

所述图像传输模块3081，用于根据所述图像压缩比例，对所述第二训练样本图像进行压缩处理以形成第三训练样本图像；

训练模块3083，用于通过所述第三训练样本图像对图像处理模型进行训练，以使所述图像处理模型对所述目标图像进行分辨率增强处理。

本发明实施例还提供一种存储介质，即计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器执行时，实现上述图像处理方法。

下面仍然以图1所示的超分生成对抗网络(SRGAN，Super Resolution GenerativeAdversarial Network)，说明通过本发明所提供的图像处理方法利用第一训练样本图像和第三训练样本图像对图像处理模型进行训练的过程，其中，生成器网络101，可称为G，即超分辨率模型，其输入为第三训练样本图像(低分辨率图像xi)，输出为超分辨率图像G(xi)(重构图像)。

判别器网络102，可称为D，用于区分输入的图片是否为生成器网络101所生成，输入一张高分辨率图像x，输出一个0-1区间的数D(x)，D(x)用于判断输入图是否为生成器生成的，其中，0表示不是，1表示是。

这里，记低分辨率图像为xi，xi对应的高分辨率图像为yi，生成器基于xi生成的超分辨率图像为G(xi)。

将G输出的超分辨率G(xi)或高分辨率图像yi输入D，由D判断得到的图像是由G生成的G(xi)，还是数据库中的高分辨率图像yi。当生成器网络101和判别器网络102的损失不再有明显下降时，就可以得到可用的超分辨率模型。

训练生成器网络G的损失函数包括以下三种损失函数：

a、内容损失Loss_content：

内容损失是基于均方误差的损失的损失函数。使用VGG模型除最后一层的网络结构进行特征提取，记特征提取的特征为VGG(x)，x为输入的图像。

内容损失为使用VGG模型除最后一层的网络结构对高分辨率图片yi与超分辨率G(xi)进行特征提取后的特征的平方误差，计算公式为公式(1)，

Loss_content＝∑(VGG(G(xi))-VGG(yi))² 公式(1)。

b、均方误差损失(最小平方损失)Loss_mse

最小平方损失为生成的超分辨率图像G(xi)与高分辨率图像yi的平方误差，计算公式为公式(2)，

Loss_mse＝∑(G(xi)-yi)² 公式(2)。

c、对抗损失loss_gan

基于训练样本在判别器上的概率定义，尝试让生成器生成的数据，能骗过判别器，计算公式为公式(3)，

Loss_gan＝∑-logD(G(xi)) 公式(3)。

训练判别器网络D使用的损失函数loss_d的计算公式为公式(4)，

loss_d＝-∑log(D(G(xi)))-∑log(D(yi)) 公式(4)。

训练图1所示的SRGAN的方法包括：

S1、使用Loss_mse训练生成器网络G，初始化生成器的参数，直到Loss_mse收敛。

S2、基于生成器网络G生成的G(xi)，以及真实高分辨率图像yi，使用loss_d训练判别器网络D，初始化判别器网络D的参数，直到loss_d收敛。

S3、固定判别器网络D的参数，通过所述生成器网络G中对所述第三训练样本图像进行分辨率增强处理，得到第二重构图像；将所述第三训练样本图像与所述第二重构图像之间的差值作为第二损失值，根据所述第二损失值更新所述生成器网络G的参数。具体的，计算生成器网络G生成的G(xi)和作为第一训练样本图像的高分辨率图像yi之间的差值作为第二损失值，所述第二损失值包括三部分，即：Loss_content、Loss_mse、Loss_gan，其中，使用Loss_content、Loss_mse、Loss_gan的加权和更新一次生成器网络G的参数，3个损失函数所分别对应的的权重为：1e-6、1、1e-3。

S4、固定生成器网络G的参数，，通过所述生成器网络G对所述第三训练样本图像进行分辨率增强处理，得到第一重构图像；将所述第三训练样本图像与所述第一重构图像之间的差值作为第一损失值，根据所述第一损失值更新所述判别器网络D的参数，具体的，使用loss_d更新一次判别器网络D的参数，使得判别器网络D能进一步区分生成器网络G生成超分辨率图像G(xi)与高分辨率图像yi。

S5、重复S3、S4，直到Loss_content、Loss_mse、Loss_gan的加权和收敛。

在本发明的一些实施例中，所述图像处理模型训练完成后，通过所述图像处理模型所包括的生成器网络对所述目标图像进行分辨率增强处理，并输出经过分辨率增强处理的目标图像，以实现所述目标图像的分辨率倍增。其中，可以在图2所示的终端或服务器300中部署本发明所提供的图像处理装置，当图2所示的SRGAN训练完成后，可将SRGAN中训练好的生成器网络101部署在终端所运行的客户端中，也可将SRGAN中训练好的生成器网络101部署在服务器200上，以适配不同的图像处理方法的使用环境。

其中，可在客户端上安装有图像处理的移动应用(App)，通过图像处理App触发对目标图像进行分辨率提升的超分请求。

当训练好的生成器网络101部署在客户端中。客户端中部署的生成器网络101接收待处理图像，对待处理图像进行卷积，得到分辨率提升后的目标图像。

在某一具体的使用场景中，训练后的生成器网络101部署在服务器200中，客户端通过超分请求将待处理图像发送至服务器200。服务器200接收到超分请求后，通过部署的图像处理模型中的生成器网络101对超分请求携带的目标图像进行处理，得到经过图像增强处理的重构图像，并将重构图像发送至客户端。

下面以使用环境为游戏图像为例，结合图5所示的对游戏图像处理过程示意图，对本发明所提供的图像处理方法进行说明，其中，游戏图像保存在网络服务器中，为了便于游戏应用的保存，游戏应用程序所使用的游戏图片均经过压缩处理，其分辨率为256*256，经过压缩处理的游戏图像作为目标图像。第一训练样本图像为分辨率为1024*1024的高分辨率图像。

首先作为第一训练样本图像的高分辨率图像输入到训练样本生成模块进行处理，该训练样本生成模块可以包括m个串联的卷积层，其具体的参数可以如表1所示：

表1

其中，表1以将当前训练的训练样本生成模块需要把图像的分辨率降低N倍为例进行说明。其中，根据所述目标分辨率与下采样处理分辨率的负相关关系，训练样本生成模块的第一个卷积层的步长(stride)可以为整数N，保证图像的尺寸降低N倍，卷积核大小si的奇偶性与N相同，训练样本生成模块的第二个至第m个卷积层的步长可以都为1，保证图像的大小在此层不变，并且第m个卷积层的输出通道数为1，保证输出的低分辨率(相对于分辨率为1920×1920的高分辨率图像而言)图像的尺寸、通道数都与相关技术中所使用的训练样本生成器所输出的低分辨率图像相同。其中，本发明实施例中的m为正整数，具体可以根据训练样本生成模块的实际需要进行设置，比如m可以为5或6，也可以8或9，等等。其中，确定N的取值包括：解析所述目标图像所包括的验证信息，得到所述目标图像的使用环境信息为游戏环境，确定对所述目标图像进行分辨率增强处理的期望值(目标分辨率)为1024*1024，由于所述目标分辨率与下采样处理分辨率的负相关关系，则可以确定N取值为4。

由于目标图像在存储和封装过程中经过压缩处理，压缩过程中会产生包括离散余弦变换后量化带来的振铃效应和快效应在内的压缩失真，使得目标图像具有失真噪声影响超分处理的效果，因此，需要根据目标图像的压缩的量化参数，调整算法生成合适的训练样本图像。

其中，训练样本生成模块解析所述目标图像所包括的验证信息，确定使用环境信息为游戏环境，通过查找压缩比例表，假设得到与目标图像相适配的图像压缩比例为50，需要说明的是，图像压缩比例还可以设置为经验值，例如，无论何种游戏环境，均可以使用图像压缩比例为50对经过下采样处理所生成的第二训练样本图像继续处理。

训练样本生成模块根据图像压缩比例50，对所述第二训练样本图像进行压缩，形成与所述目标图像具有相同压缩比例的第三训练样本图像。由训练模块输入图像处理模型的生成器网络中。

这一过程一种可选的实施方式为调用相应存储介质所保存的经过封装的处理程序：

Function preprocess(image_path)

img＝imread(image_path)；#读取第一训练样本图像

Scale＝0.5；#图像下采样倍数

#双三次插值下采样

img1＝imresize(img，scale，Method，’bicubic’)；

jpgratio＝50；#设定jpg压缩比

imwrite(img1，tempfilename，'Quality'，jpgratio)；#，相同压缩比例进行压缩处理，保存图片，生成第三训练样本图像。

下面，分别对图像处理模型包括的生成器网络和判别器网络进行描述。

生成器网络G为卷积神经网络，网络结构可如图6所示，采用全卷积残差神经网络，依次包括4个卷积层：卷积层1至卷积层4，其中，在卷积层1和卷积层2之间包括有17个串联的残差块和加法层，残差块17的输出与卷积层1的输出作为加法器的输入。在卷积层3和卷积层4之间连接有像素重排层。

生成器网络G的工作流程如下：使用一个卷积层1，对输入的图像进行初步的特征提取，得到初步提取的特征。采用串联的残差块1至残差块17，对初步提取的特征不断进行特征提取并补充特征、纹理到前一残差块的输出的上。通过加法层将残差模块17的输出补充到初步提取的特征上。使用串联的卷积层2和卷积层3-像素重排层-卷积层4将加法层的输出的图像的分辨率放大到指定倍数超分辨率，得到超分辨率图像。

残差块i的网络结构可如图7所示，包括串联的卷积层i1、卷积层i2和加法层i1。其中，0<i<1。加法层i1将残差块i的输入与卷积层i2的输出对应元素相加。

对于不同的放大倍数，像素重排层的排列方式不同。以4倍超分辨率为例，像素重排层将每16个通道重新排列成1个大图，增大图像的尺寸。像素重排层在像素重排时，把对应行列相同的16通道像素排列成1个4x4的像素块，把所有像素都排列成4x4的像素块以后，把所有的像素块再拼成一张大图，从而将1个像素变为4x4即16个像素。以3倍超分辨率为例，像素重排层将每9个通道排列成1个大图。

在生成器网络G中，将经过残差块的高层特征和卷积层1或前一残差块输出的低层特征进行相加，在一定程度上提高对小物体的超分辨率效果。

当生成器的方法倍数为4倍时，生成器的网络参数可如表2所示。其中，输入卷积层1的低分辨率图像为包括RGB三通道的3通道图像，卷积层4输出的超分辨率图像为包括RGB三通道的3通道图像。像素重排层的通道数为放大倍数的平方。

表2四倍超分辨率生成器网络G的网络参数示例

判别器网络D1用于促进生成器网络G生成的超分辨率图片在全局层面与真实高分辨率图片尽可能相似。判别器网络D1为卷积神经网络，网络结构可如图8所示：包括11个卷积层、加法层和全连接层；加法层位于卷积层11与全连接层之间，用于将卷积层8的输出与卷积层11的输出相加，并输入到之后的全接层中，通过全连接层和全连接层所接的激活函数预测输入图像为真实的高分辨率图像的概率，根据输出的概率判别输入的图像是否为生成器构造。判别器网络D1的网络参数可如表3所示。

表3判别器网络D1的网络参数示例

层类型

通道数

卷积核大小

步长

填充

激活函数

批标准化

卷积层1

64

(4，4)

(2，2)

same

pReLU

有

卷积层2

128

(4，4)

(2，2)

same

pReLU

有

卷积层3

256

(4，4)

(2，2)

same

pReLU

有

卷积层4

512

(4，4)

(2，2)

same

pReLU

有

卷积层5

1024

(4，4)

(2，2)

same

pReLU

有

卷积层6

2048

(4，4)

(2，2)

same

pReLU

有

卷积层7

1024

(1，1)

(1，1)

same

pReLU

有

卷积层8

512

(1，1)

(1，1)

same

pReLU

有

卷积层9

128

(1，1)

(1，1)

same

pReLU

有

卷积层10

128

(3，3)

(1，1)

same

pReLU

有

卷积层11

512

(3，3)

(1，1)

same

pReLU

有

通过所述图像处理模型的生成器网络对所述第三训练样本图像进行分辨率增强处理，以生成分辨率大于所述第三训练样本图像的分辨率的重构图像；通过所述图像处理模型的判别器网络利用所述第一训练样本图像对所述重构图像进行鉴别；根据所述重构图像是否是真实图像的鉴别结果，迭代更新所述生成器网络的参数和所述判别器网络的参数，直至生成器网络的重构图像和所述判别器网络的判断结果达到纳什平衡。需要说明的是，该训练过程可以采用端到端的训练方式进行训练，生成器网络和判别器网络可以交替更新，从而可以得到图像处理模型。

当训练完成后，分辨率为256*256的经过压缩处理的游戏图像，输入生成器网络，通过所述图像处理模型所包括的生成器网络对所述目标图像进行分辨率增强处理，并输出经过分辨率增强处理的目标图像，以实现所述目标图像的分辨率倍增。同时，由于对生成器网络的训练过程中，训练样本图像与游戏图像具有相同的压缩比例，因此避免了对游戏图像的分辨率的增强过程中，产生噪声幅度较高的噪点，有效降低峰值信噪比。

对图9中的A图像进行处理时，图9中的B图像为通过本发明的图像处理装置的生成器得到的超分辨率图像，图9中的C图像为未经过相同压缩比例的压缩处理得到的超分辨率图像。通过图9中B图像和C图像的画质比较可知，图9中的B图像的画面更为干净、且无锯齿状噪点。

对图10中的A图像进行处理时，图10中的B图像为通过本发明的图像处理装置的生成器得到的超分辨率图像，图10中的C图像为未经过相同压缩比例的压缩处理得到的超分辨率图像。通过图10中B图像和C图像的画质比较可知，图10中的B图像的边缘更加柔顺。

综上所述，本发明实施例具有以下技术效果：

通过对经过下采样处理第一训练样本图像所形成的第二训练样本图像，按照与目标图像相同的压缩比例进行压缩形成第三训练样本图像，并利用所述第一训练样本图像和所述第三训练样本图像对图像处理模型进行训练，可以消除当图像处理模型在重构图像时所产生的噪声点，减少重构图像的峰值信噪比，增强重构图像的分辨率，使得重构图像更加适合其所适用的使用环境。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种图像处理方法，其特征在于，所述方法包括：

解析目标图像所包括的验证信息，得到所述目标图像的类型信息和/或使用环境信息；

根据所述目标图像的类型信息和/或使用环境信息查找压缩比例表，以得到与所述目标图像相适配的图像压缩比例；

获取第一训练样本图像，对所述第一训练样本图像进行下采样处理，以形成第二训练样本图像，其中，所述第二训练样本图像的分辨率低于所述第一训练样本图像的分辨率；

根据所述图像压缩比例，对所述第二训练样本图像进行压缩，形成与所述目标图像具有相同压缩比例的第三训练样本图像，其中，所述第三训练样本图像的分辨率低于所述第一训练样本图像的分辨率；

通过所述第三训练样本图像，训练用于对所述目标图像进行图像增强处理的图像处理模型，其中，所述图像处理模型包括由生成器网络和判别器网络构成的生成式对抗网络。

2.根据权利要求1所述的方法，其特征在于，所述对所述第一训练样本图像进行下采样处理，以形成第二训练样本图像，包括：

解析所述目标图像所包括的验证信息，得到所述目标图像的使用环境信息；

根据所述目标图像的使用环境信息，确定与所述目标图像相对应的目标分辨率，所述目标分辨率用于表征对所述目标图像进行分辨率增强处理的期望值；

根据所述目标分辨率与下采样处理分辨率的负相关关系，确定下采样处理的分辨率；

根据所述下采样处理的分辨率，对所述第一训练样本图像进行下采样处理，以形成所述第二训练样本图像。

3.根据权利要求1所述的方法，其特征在于，所述通过所述第三训练样本图像，训练用于对所述目标图像进行图像增强处理的图像处理模型，包括：

通过所述图像处理模型的所述生成器网络对所述第三训练样本图像进行分辨率增强处理，以形成分辨率大于所述第三训练样本图像的分辨率的重构图像；

通过所述图像处理模型的所述判别器网络，利用所述第一训练样本图像对所述重构图像进行鉴别；

根据所述重构图像是否是真实图像的鉴别结果，迭代更新所述生成器网络的参数和所述判别器网络的参数，直至满足所述图像处理模型的收敛条件，其中，所述真实图像是输入的所述第一训练样本图像。

4.根据权利要求3所述的方法，其特征在于，所述根据所述重构图像是否是真实图像的鉴别结果，迭代更新所述生成器网络的参数和所述判别器网络的参数，直至满足所述图像处理模型的收敛条件，包括：

固定所述生成器网络的参数，通过所述生成器网络对所述第三训练样本图像进行分辨率增强处理，得到第一重构图像；

将所述第三训练样本图像与所述第一重构图像之间的差值作为第一损失值，根据所述第一损失值更新所述判别器网络的参数。

5.根据权利要求3所述的方法，其特征在于，所述根据所述重构图像是否是真实图像的鉴别结果，迭代更新所述生成器网络的参数和所述判别器网络的参数，直至满足所述图像处理模型的收敛条件，包括：

固定所述判别器网络的参数，通过所述生成器网络中对所述第三训练样本图像进行分辨率增强处理，得到第二重构图像；

将所述第三训练样本图像与所述第二重构图像之间的差值作为第二损失值，根据所述第二损失值更新所述生成器网络的参数。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过所述图像处理模型中的所述生成器网络对所述目标图像进行分辨率增强处理，以输出经过分辨率增强处理的目标图像。

7.一种图像处理装置，其特征在于，所述装置包括：

训练样本生成模块，用于解析目标图像所包括的验证信息，得到所述目标图像的类型信息和/或使用环境信息；根据所述目标图像的类型信息和/或使用环境信息查找压缩比例表，以得到与所述目标图像相适配的图像压缩比例；

图像传输模块，用于获取第一训练样本图像；

所述训练样本生成模块，用于对所述第一训练样本图像进行下采样处理，以形成第二训练样本图像，其中，所述第二训练样本图像的分辨率低于所述第一训练样本图像的分辨率；

所述图像传输模块，用于根据所述图像压缩比例，对所述第二训练样本图像进行压缩，形成与所述目标图像具有相同压缩比例的第三训练样本图像，其中，所述第三训练样本图像的分辨率低于所述第一训练样本图像的分辨率；

训练模块，用于通过所述第三训练样本图像，训练用于对所述目标图像进行图像增强处理的图像处理模型，其中，所述图像处理模型包括由生成器网络和判别器网络构成的生成式对抗网络。

8.根据权利要求7所述的装置，其特征在于，

所述训练样本生成模块，用于解析所述目标图像所包括的验证信息，得到所述目标图像的使用环境信息；

所述训练样本生成模块，用于根据所述目标图像的使用环境信息，确定与所述目标图像相对应的目标分辨率，所述目标分辨率用于表征对所述目标图像进行分辨率增强处理的期望值；

所述训练样本生成模块，用于根据所述目标分辨率与下采样处理分辨率的负相关关系，确定下采样处理的分辨率；

所述训练样本生成模块，用于根据所述下采样处理的分辨率，对所述第一训练样本图像进行下采样处理，以形成所述第二训练样本图像。

9.根据权利要求7所述的装置，其特征在于，

所述训练模块，用于通过所述图像处理模型的所述生成器网络对所述第三训练样本图像进行分辨率增强处理，以形成分辨率大于所述第三训练样本图像的分辨率的重构图像；

所述训练模块，用于通过所述图像处理模型的所述判别器网络，利用所述第一训练样本图像对所述重构图像进行鉴别；

所述训练模块，用于根据所述重构图像是否是真实图像的鉴别结果，迭代更新所述生成器网络的参数和所述判别器网络的参数，直至满足所述图像处理模型的收敛条件。

10.根据权利要求9所述的装置，其特征在于，

所述训练模块，用于固定所述生成器网络的参数，通过所述生成器网络对所述第三训练样本图像进行分辨率增强处理，得到第一重构图像；

所述训练模块，用于将所述第三训练样本图像与所述第一重构图像之间的差值作为第一损失值，根据所述第一损失值更新所述判别器网络的参数。

11.根据权利要求9所述的装置，其特征在于，

所述训练模块，用于固定所述判别器网络的参数，通过所述生成器网络中对所述第三训练样本图像进行分辨率增强处理，得到第二重构图像；

所述训练模块，用于将所述第三训练样本图像与所述第二重构图像之间的差值作为第二损失值，根据所述第二损失值更新所述生成器网络的参数。

12.根据权利要求7所述的装置，其特征在于，

所述训练模块，还用于通过所述图像处理模型中的所述生成器网络对所述目标图像进行分辨率增强处理；

所述图像传输模块，用于输出经过分辨率增强处理的目标图像。

13.一种图像处理设备，其特征在于，所述图像处理设备包括：

存储器，用于存储可执行指令；

处理器，用于运行所述存储器存储的可执行指令时，实现权利要求1至6任一项所述的图像处理方法。

14.一种计算机可读存储介质，存储有可执行指令或者计算机程序，所述可执行指令或者计算机程序被处理器执行时实现权利要求1至6任一项所述的图像处理方法。