CN112102193B - 图像增强网络的训练方法、图像处理方法及相关设备 - Google Patents

Abstract

本发明公开了一种图像增强网络的训练方法、图像处理方法及相关设备，该训练方法中选用的图像生成网络由至少两级生成子网络组成，在训练过程中，选取初始图像作为训练样本输入图像生成网络，逐级对所述图像生成网络中的各级生成子网络进行训练，当所述图像生成网络的末级生成子网络完成训练时，结束对所述图像生成网络的训练，将训练完成的所述图像生成网络作为所述图像增强网络。本发明实施例提供的图像增强网络的训练方法，采用分层式训练方式，每一级生成子网络的输入由小尺寸开始逐级增大进行训练，相比现有对抗式生成网络一律采用全尺寸样本进行训练，综合训练量更小，训练出的图像增强网络占用空间小，运行速度更快，增加了图像增强的效率。

Description

图像增强网络的训练方法、图像处理方法及相关设备

技术领域

本发明涉及图像处理技术领域，特别涉及一种图像增强网络的训练方法、图像处理方法及相关设备。

背景技术

随着互联网技术的发展，人们越来越依赖于通过网络快速的获取信息，诸如图片、视频等。然而，通过互联网传播的大量图片，其视觉效果一般，互联网用户经常很难找到内容好且图像色彩也好的图片。通过图像增强方法提升图像的视觉效果具有广泛的应用场景。

目前深度学习技术在图像增强领域应用广泛，尤其深度学习中的生成对抗网络GAN技术逐渐兴起，应用在图像增强中可以达到良好的处理效果。现有流行的GAN网络一般占用内存较大，运行速度较慢，降低了图像增强的效率。

发明内容

鉴于上述问题，本发明提供一种克服上述问题或者至少部分地解决上述问题的一种图像增强网络的训练方法、图像处理方法及相关设备，技术方案如下所述：

一种图像增强网络的训练方法，包括：

获取多个初始图像，将各个所述初始图像作为训练样本输入图像生成网络，逐级对所述图像生成网络中的各级生成子网络进行训练；所述图像生成网络包括至少两级生成子网络；每个所述初始图像作为所述图像生成网络中首级生成子网络的输入，对每一级生成子网络输出的节点图像进行预处理得到的样本图像作为下一级生成子网络进行训练时的输入；每一级生成子网络的输入图像的尺寸小于其下一级生成子网络的输入图像的尺寸；

将当前处于训练状态的生成子网络输出的节点图像输入图像判别网络，经所述图像判别网络进行卷积处理后，得到与所述当前处于训练状态的生成子网络对应的判别值；

依据所述判别值更新所述当前处于训练状态的生成子网络及所述图像判别网络的网络参数，直至所述图像判别网络输出的判别值满足预设的收敛条件，结束对所述当前处于训练状态的生成子网络的训练；

当所述图像生成网络的末级生成子网络完成训练时，结束对所述图像生成网络的训练，将训练完成的所述图像生成网络作为所述图像增强网络。

上述的方法，可选的，将各个所述初始图像作为训练样本输入图像生成网络，逐级对所述图像生成网络中的各级生成子网络进行训练，包括：

对当前待训练的生成子网络进行训练时，在各个所述初始图像中任意选取多个初始图像作为训练样本输入所述图像生成网络，以对所述当前待训练的生成子网络进行训练。

上述的方法，可选的，每个所述初始图像作为所述图像生成网络的中首级生成子网络的输入，包括：

确定所述首级生成子网络输入图像的尺寸；

判断当前待输入初始图像的图像尺寸是否为所述首级生成子网络输入图像的尺寸；

若否，则将当前待输入初始图像的图像尺寸缩放至所述首级生成子网络输入图像的尺寸后，输入所述首级生成子网络。

上述的方法，可选的，对每一级生成子网络输出的节点图像进行预处理得到样本图像的过程，包括：

获取第一图像，所述第一图像由其对应的初始图像依据该级生成子网络的下一级生成子网络输入图像的尺寸预先缩放获得；所述第一图像的尺寸与该级生成子网络输出的节点图像的尺寸相同；

将所述第一图像的图像数据与所述第一图像对应的该级生成子网络输出的节点图像的图像数据进行拼接，获得所述样本图像。

上述的方法，可选的，对每一级生成子网络输出的节点图像进行预处理得到样本图像的过程，包括：

获取第一图像，所述第一图像由其对应的初始图像依据该级生成子网络的下一级生成子网络输入图像的尺寸预先缩放获得；所述第一图像的尺寸与该级生成子网络输出的节点图像的尺寸相同；

对所述第一图像进行图像变换，获得所述第一图像对应的第二图像，所述第一图像与所述第二图像的尺寸相同；

将所述第二图像的图像数据与所述第二图像对应的该级生成子网络输出的节点图像的图像数据进行拼接，获得所述样本图像。

上述的方法，可选的，所述将当前处于训练状态的生成子网络输出的节点图像输入图像判别网络，经所述图像判别网络进行卷积处理后，得到与所述当前处于训练状态的生成子网络对应的判别值，包括：

将所述当前处于训练状态的生成子网络输出的节点图像，输入所述图像判别网络中与所述当前处于训练状态的生成子网络对应的判别子网络集群中，所述图像判别网络中包括多级图像判别子网络，所述判别子网络集群中包括至少一级图像判别子网络；所述当前处于训练状态的生成子网络与其对应的所述判别子网络集群中的首级判别子网络的输入图像的尺寸相同；所述判别子网络所包含的网络级数不小于所述图像生成网络的网络级数；所述图像生成网络的末级生成子网络的输入图像的尺寸与所图像判别网络的首级判别子网络的输入图像的尺寸相同；

经所述判别子网络集群中的各级判别子网络对所述节点图像进行逐级卷积处理，得到与所述当前处于训练状态的生成子网络对应的判别值。

上述的方法，可选的，所述依据所述判别值更新所述当前处于训练状态的生成子网络与其对应的判别子网络的网络参数，包括：

依据所述判别值更新所述当前处于训练状态的生成子网络及其对应的判别子网络集群中各级判别子网络的网络参数。

上述的方法，可选的，所述图像增强网络中除末级生成子网络外的每一级生成子网络的输出图像的尺寸，是该生成子网络输入图像尺寸的2倍；

所述末级生成子网络输出图像的尺寸与所述初始图像的尺寸相同。

一种图像增强网络的训练装置，包括：

获取单元，用于获取多个初始图像，将各个所述初始图像作为训练样本输入已建立的图像生成网络，逐级对所述图像生成网络中的各级生成子网络进行训练；所述图像生成网络包括至少两级生成子网络；每个所述初始图像作为所述图像生成网络中首级生成子网络的输入，对每一级生成子网络输出的节点图像进行预处理得到的样本图像作为下一级生成子网络进行训练时的输入；每一级生成子网络的输入图像的尺寸小于其下一级生成子网络的输入图像的尺寸；

第一处理单元，用于将当前处于训练状态的生成子网络输出的节点图像输入图像判别网络，经所述图像判别网络进行卷积处理后，得到与所述当前处于训练状态的生成子网络对应的判别值；

更新单元，用于依据所述判别值更新所述当前处于训练状态的生成子网络及所述图像判别网络的网络参数，直至所述图像判别网络输出的判别值满足预设的收敛条件，结束对所述当前处于训练状态的生成子网络的训练；

第二处理单元，用于当所述图像生成网络的末级生成子网络完成训练时，结束对所述图像生成网络的训练，将训练完成的所述图像生成网络作为所述图像增强网络。

一种图像处理方法，包括：

将待处理图像输入预先得到的图像增强网络中，经所述图像增强网络中的各级子网络逐级处理后生成所述待处理图像对应的增强图像；

其中：所述图像增强网络包括至少两级子网络，所述待处理图像作为所述图像增强网络的首级子网络的输入，所述首级子网络输出首级节点图像，每一级子网络输出的节点图像作为下一级子网络的输入，每一级子网络输入图像的尺寸小于其下一级子网络的输入图像的尺寸，所述图像增强网络的末级子网络输出末级节点图像，所述末级节点图像作为所述待处理图像对应的增强图像。

一种图像处理装置，包括：

输入单元，用于将待处理图像输入预先得到的图像增强网络中；

增强单元，用于触发所述图像增强网络中的各级子网络逐级对所述待处理图像进行处理，生成所述待处理图像对应的增强图像；

其中：所述图像增强网络包括至少两级子网络，所述待处理图像作为所述图像增强网络的首级子网络的输入，所述首级子网络输出首级节点图像，每一级子网络输出的节点图像作为下一级子网络的输入，每一级子网络输入图像的尺寸小于其下一级子网络的输入图像的尺寸，所述图像增强网络的末级子网络输出末级节点图像，所述末级节点图像作为所述待处理图像对应的增强图像。

一种存储介质，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行上述的图像增强网络的训练方法和/或上述的图像处理方法。

一种电子设备，包括至少一个处理器、以及与处理器连接的至少一个存储器、总线；其中，处理器、存储器通过总线完成相互间的通信；处理器用于调用存储器中的程序指令，以执行上述的图像增强网络的训练方法和/或上述的图像处理方法。

与现有技术相比，本发明具有以下优点：本发明公开了一种图像增强网络的训练方法，该训练方法中选用的图像生成网络由至少两级生成子网络组成，在具体的训练过程中，选取多个初始图像作为训练样本输入图像生成网络，逐级对所述图像生成网络中的各级生成子网络进行训练，当所述图像生成网络的末级生成子网络完成训练时，结束对所述图像生成网络的训练，将训练完成的所述图像生成网络作为所述图像增强网络。本发明实施例提供的图像增强网络的训练方法，采用分层式训练方式，每一级生成子网络的输入由小尺寸开始逐级增大进行训练，相比现有对抗式生成网络一律采用全尺寸样本进行训练，综合训练量更小，训练出的图像增强网络占用空间小，运行速度更快，增加了图像增强的效率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明实施例提供的一种图像增强网络的训练方法的方法流程图；

图2为本发明实施例提供的一种图像生成网络的架构图；

图3为本发明实施例提供的一种图像判别网络的架构图；

图4为本发明实施例提供的对抗式生成网络的架构图；

图5为本发明实施例提供的一种图像增强网络的训练装置的装置结构图；

图6为本发明实施例提供的一种图像处理方法的方法流程图；

图7为本发明实施例提供的一种图像处理装置的装置结构图；

图8为本发明实施例提供的一种电子设备的结构图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明实施例提供了一种图像增强网络的训练方法，该方法可以应用于各种网络平台或终端，采用对抗式生成网络为训练框架，所训练获得的图像增强网络可以应用于各种网络设备，用于对输入的低清图像进行增强，输出相应的高清图像，所述训练方法的执行主体可以为网络平台或终端中的处理器，该方法的方法流程图如图1所示，包括：

S101：获取多个初始图像，将各个所述初始图像作为训练样本输入已建立的图像生成网络，逐级对所述图像生成网络中的各级生成子网络进行训练；所述图像生成网络包括至少两级生成子网络；每个所述初始图像作为所述图像生成网络中首级生成子网络的输入，对每一级生成子网络输出的节点图像进行预处理得到的样本图像作为下一级生成子网络进行训练时的输入；每一级生成子网络的输入图像的尺寸小于其下一级生成子网络的输入图像的尺寸；

本发明实施例提供的方法中，预先建立图像生成网络，该图像生成网络为需进行训练的主体，所述图像生成网络为多层结构，包括至少两级生成子网络。在对所述图像生成网络进行训练时，获取多个初始图像，作为训练所需的训练样本，所述初始图像可以为低清图像，所述初始图像的尺寸可以不做具体限定，为计算机设备能够识别的正常尺寸。

所述图像生成网络的结构由初级生成子网络至末级生成子网络逐级连接而成，将需要作为训练样本的每个初始图像作为所述图像生成网络中首级生成子网络的输入，除末级生成子网络之外的各级生成子网络，每一级生成子网络输出的节点图像在经过预处理后，作为其下一级生成子网络进行训练时的输入。

本发明实施例提供的方法中，所述图像生成网络以渐进式网络为主体，在训练过程中逐级对所述图像生成网络中的各级生成子网络进行训练，由初始子网络开始至末级子网络，逐级训练。

本发明实施例提供的方法，在具体的训练过程中，每一级生成子网络输入的样本图像尺寸小于其下一级生成子网络的输入图像的尺寸，优选的，每一级生成子网络输入样本图像尺寸为其下一级生成子网络的输入图像尺寸的二分之一。

S102：将当前处于训练状态的生成子网络输出的节点图像输入图像判别网络，经所述图像判别网络进行卷积处理后，得到与所述当前处于训练状态的生成子网络对应的判别值；

本发明实施例提供的方法中，采用对抗式生成网络为训练框架，预先建立有图像生成网络及与所述图像生成网络对应的图像判别网络，所述图像判别网络为多层结构，包括多级判别子网络，所述图像判别网络包含的网络级数不小于所述图像生成网络所包含的网络级数。

本发明实施例提供的方法中，将当前处于训练状态的生成子网络输出的节点图像输入所述图像判别网络中，由所述图像判别网络对所述节点图像进行卷积处理，得到对应的判别值。

S103：依据所述判别值更新所述当前处于训练状态的生成子网络及所述图像判别网络的网络参数，直至所述图像判别网络输出的判别值满足预设的收敛条件，结束对所述当前处于训练状态的生成子网络的训练；

本发明实施例提供的方法中，依据图像判别网络输出的判别值，调整当前处于训练状态的生成子网络及所述图像判别网络的网络参数，以实现当前处于训练状态的生成子网络与所述图像判别网络之间的对抗学习，在不断对抗学习的过程中，当图像判别网络对当前处于训练状态的生成子网络输出的判别值满足预设的收敛条件时，结束对当前处于训练状态的生成子网络的训练。

S104：当所述图像生成网络的末级生成子网络完成训练时，结束对所述图像生成网络的训练，将训练完成的所述图像生成网络作为所述图像增强网络。

本发明实施例提供的方法中，在对已建立的图像生成网络训练的过程中，当所述图像生成网络的末级生成子网络完成训练时，结束对整个图像生成网络的训练，并将训练完成的所述图像生成网络作为图像增强网络。

本发明实施例提供的方法中，通过逐级训练的方式，所获得的图像增强网络中的每一级网络均具有独自处理其对应尺寸的低清图像的增强能力，在实际应用过程中，将需要进行增强的低清图像输入所述图像增强网络中，经所述图像增强网络中的各级网络逐级处理后，输出对应的增强网络。

本发明实施例提供的图像增强网络的训练方法，采用分层式训练方式，每一级生成子网络的输入由小尺寸开始逐级增大进行训练，相比现有对抗式生成网络一律采用全尺寸样本进行训练，综合训练量更小，训练出的图像增强网络占用空间小，运行速度更快，增加了图像增强的效率。

本发明实施例提供的图像增强网络的训练方法中，采用对抗式生成网络为训练框架，预先建立有图像生成网络和图像判别网络，所述图像生成网络与所述图像判别网络为对抗学习关系。

本发明实施例提供的训练方法中，所述图像生成网络为多级结构，包括多级生成子网络，每一级生成子网络在训练过程中，所输入训练样本的尺寸可以预先进行设定，由首级生成子网络至末级生成子网络，每一级生成子网络在训练过程中，输入训练图像的尺寸逐渐增大。本发明实施例提供的训练方法中，由首级生成子网络至末级生成子网络，除所述末级生成子网络外，其余各级生成子网络所输出的节点图像，在经过预处理后所得到的样本图像，作为该级生成子网络的下一级生成子网络的输入。

本发明实施例提供训练方法中，采用逐级训练的方式，由首级生成子网络至末级生成子网络逐级进行训练，在实际的训练过程中，当前级别的生成子网络训练完成后，再训练该级生成子网络的下一级生成子网络。在整体的图像生成网络训练完成后，实际的运用过程中，待增强的低清图像，经由图像生成网络中的首级生成子网络至末级生成子网络逐级处理后，由所述末级生成子网络输出增强后的图像，已完成对待增强图像的增强过程。

本发明实施例中所涉及到的低清图像，可以为用户需要进行增强的图像，其需要增强的程度在本发明实施例提供的图像增强网络的处理范围内，本发明实施例提供的图像增强网络在一定程度或范围内，可以对用户提供的图像进行增强，具体的增强效果可以根据实际情况进行界定。

本发明实施例提供的对抗式生成网络架构中，还包括已建立的图像判别网络，本发明实施例中，所述图像判别网络也是多层机构，其所包含的网络级数不小于所述图像生成网络的网络级数，所述图像判别网络中的各级判别子网络的输入样本图像的尺寸由大至小进行输入。每一级判别子网络输入图像的尺寸与其对应的生成子网络的输入图像的尺寸具有一定的映射关系。

本发明实施例提供的图像增强网络的训练方法中，将各个所述初始图像作为训练样本输入图像生成网络，逐级对所述图像生成网络中的各级生成子网络进行训练的过程，具体可以包括：

对当前待训练的生成子网进行训练时，在各个所述初始图像中任意选取多个初始图像作为训练样本输入所述图像生成网络，以对所述当前待训练的生成子网络进行训练。

本发明实施例提供的方法中，在对图像生成网络进行训练时，可以先选取多个初始图像组成训练图像集合，在对图像生成网络中的每一级生成子网络进行训练时，可以在组成的训练图像集合中随机选取一定数量的初始图像，逐一作为首级生成子网络的输入，对当前待训练的生成子网络进行训练。

本发明实施例提供的方法中，在对图像生成网络中的每一级生成子网络进行训练时，也可以将已选取的多个初始图像逐一作为首级生成子网络的输入，逐一对各级生成子网络进行训练。

本发明实施例提供的图像增强网络的训练方法中，图像生成网络中的每一级生成子网络可以设定有与其对应的输入图像的尺寸，因此在将每个所述初始图像作为所述图像生成网络的中首级生成子网络的输入的过程中，具体可以包括：

确定所述首级生成子网络输入图像的尺寸；

判断当前待输入所述首级生成子网络中的初始图像的图像尺寸是否为所述首级生成子网络输入图像的尺寸；

若否，则将当前待输入初始图像的图像尺寸缩放至所述首级生成子网络输入图像的尺寸后，输入所述首级生成子网络。

本发明实施例提供的训练方法中，可以通过缩放的方式，将获取的待输入初始图像的尺寸缩放至首级生成子网络输入图像的尺寸，即若待输入初始图像的尺寸小于首级生成子网络输入图像的尺寸，则将待输入初始图像的尺寸放大至所述首级生成子网络输入图像的尺寸。若待输入初始图像的尺寸大于首级生成子网络输入图像的尺寸，则将待输入初始图像的尺寸缩小至所述首级生成子网络的尺寸。若待输入所述初始图像的尺寸等于首级生成子网络输入图像的尺寸，则不做处理。

本发明实施例提供的方法中，将初始图像的尺寸通过缩放的方式转变为所述首级生成子网络对应的输入图像的尺寸，除末级子网络以外的其余各级生成子网络输出图像的尺寸，为其下一级生成子网络输入图像的尺寸。所述末级子网络输入图像的尺寸为输入首级子网络中的初始图像的尺寸。

本发明实施例提供的方法中，对每一级生成子网络输出的节点图像进行预处理得到样本图像的过程，包括：

获取第一图像，所述第一图像由其对应的初始图像依据该级生成子网络的下一级生成子网络输入图像的尺寸预先缩放获得；所述第一图像的尺寸与该级生成子网络输出的节点图像的尺寸相同；

将所述第一图像的图像数据与所述第一图像对应的该级生成子网络输出的节点图像的图像数据进行拼接，获得所述样本图像。

本发明实施例提供的方法中，每一级生成子网络输出的节点图像，在输入其下一级生成子网络之前，需要对当前生成子网络输入的节点图像进行预处理，本发明实施例提供的方法中，预处理的过程为将获取的第一图像与其对应的节点图像进行数据拼接。

本发明实施例提供的方法中，对于当前待输入的节点图像，获取当前待输入的节点图像对应的第一图像，所述第一图像为当前待输入的节点图像对应的初始图像依据当前待输入的节点图像所要输入的生成子网络的输入图像的尺寸预先缩放获得的图像。

将所述第一图像的图像数据与所述当前待输入的节点图像的图像数据进行拼接，获得所述当前待输入的节点图像对应的样本图像，将所述样本图像代替所述当前待输入的节点图像输入所要输入的生成子网络中。

每一级生成子网络所输出的节点图像，相对于其输入的图像，经过卷积处理后，会存在图像失真的情况，为了保障经过卷积处理后输出的图像其真实度不会偏失过大，本发明实施例提供的方法中，将该级生成子网络输出的节点图像与已获取的第一图像的数据进行拼接，所述第一图像是由其对应的初始图像进行缩放获得的，其缩放的尺寸为该级生成子网络输出的节点图像的尺寸。

本发明实施例提供的方法中，对每一级生成子网络输出的节点图像进行预处理得到样本图像的过程，还可以通过以下方式实现，具体包括：

获取第一图像，所述第一图像由其对应的初始图像依据该级生成子网络的下一级生成子网络输入图像的尺寸预先缩放获得；所述第一图像的尺寸与该级生成子网络输出的节点图像的尺寸相同；

对所述第一图像进行图像变换，获得所述第一图像对应的第二图像，所述第一图像与所述第二图像的尺寸相同；

将所述第二图像的图像数据与所述第二图像对应的该级生成子网络输出的节点图像的图像数据进行拼接，获得所述样本图像。

本发明实施例提供的方法中，还可以对获取到的第一图像进行图像变换后，获得第二图像，在将第二图像的数据与该级生成子网络输出的节点图像的图像数据进行拼接。

本发明实施例提供的方法中，所述将当前处于训练状态的生成子网络输出的节点图像输入已建立的图像判别网络，经所述图像判别网络进行卷积处理后，得到与所述当前处于训练状态的生成子网络对应的判别值，包括：

将所述当前处于训练状态的生成子网络输出的节点图像，输入所述图像判别网络中与所述当前处于训练状态的生成子网络对应的判别子网络集群中，所述图像判别网络中包括多级图像判别子网络，所述判别子网络集群中包括至少一级图像判别子网络；所述当前处于训练状态的生成子网络与其对应的所述判别子网络集群中的首级判别子网络的输入图像的尺寸相同；所述判别子网络所包含的网络级数不小于所述图像生成网络的网络级数；所述图像生成网络的末级生成子网络的输入图像的尺寸与所图像判别网络的首级判别子网络的输入图像的尺寸相同；

经所述判别子网络集群中的各级判别子网络对所述节点图像进行逐级卷积处理，得到与所述当前处于训练状态的生成子网络对应的判别值。

本发明实施例提供的方法中，所述依据所述判别值更新所述当前处于训练状态的生成子网络与其对应的判别子网络的网络参数，包括：

依据所述判别值更新所述当前处于训练状态的生成子网络及其对应的判别子网络集群中各级判别子网络的网络参数。

本发明实施例提供的方法中，所述图像增强网络中除末级生成子网络外的每一级生成子网络的输出图像的尺寸，是该生成子网络输入图像尺寸的2倍；

所述末级生成子网络输出图像的尺寸与所述初始图像的尺寸相同。

本发明实施例提供的图像增强网络的训练方法中，为了更加清楚的对图像增强网络的训练过程及所选用的对抗式生成网络的网络结构进行说明，本发明实施例提供以下具体的实例进行说明，本发明实施例提供了一种图像生成网络，其架构图如图2所示，与所述图像生成网络对应的图像判别网络，其结构图如3所示。图2及图3中所示的网络结构，为本发明实施例中所选择的两个具体实例结构，其能够真实的表现本发明实施例所提供的图像增强网络训练过程中，所采用的对抗式生成网络进行训练的原理及实现过程。

图2中的图像生成网络为一个六层结构，其主要包括三种运算：

resize，concat，conv。

resize是指使用插值方法，对图像的尺寸进行放大缩小；concat是指把两组尺寸相等的数据连接在一起；conv block是以卷积运算为主的模块，负责对数据进行变换，是神经网络的基础单元。

图2中所示的图像生成网络，每一级的生成子网络对应有相应的处理尺寸，首级生成子网络输入样本图像的尺寸为16*16，首级生成子网络至末级生成子网络，每一级子网络输入样本的尺寸依次为16*16，32*32，64*64，128*128，266*256，512*512。

图2中的图像生成网络，首先将初始图像resize到16*16到512*512的各个尺寸，然后从16*16的最小尺寸开始，先经过conv block，得到尺寸增大一倍的输出，随后与输入的resize图像concat在一起，再继续进行下个尺寸的运算，直到尺寸增大到512*512。

在实际的训练过程中，假如初始图像的尺寸为8*8，则在训练过程中，首先将初始图像的尺寸由8*8，缩放至16*16到512*512的各个尺寸，将16*16尺寸的图像输入首级生成子网络中，对首级生成子网络进行训练，首级生成子网络经过对输入的16*16尺寸图像的卷积处理，输出对应的32*32尺寸的节点图像，并将输出的32*32尺寸的节点图像与已获得经缩放获得的32*32尺寸的图像进行拼接，获得可以输入至下一级生成子网络的32*32尺寸的样本图像。逐级处理，直至获得512*512尺寸的样本图像，经末级生成子网络处理后，输出最终图像，所述最终图像的尺寸与所述输入图像的尺寸相同。

图3中所示的图像判别网络，为八层结构，判别网络的目标是判别一张输入图像，是否是真实的清晰图像。

图3中的判别网络在实际应用的过程中，先把输入图像resize到512*512尺寸，随后经过conv block进行运算并不断减少尺寸，最终输出一个0-1的小数，代表输入图像是真实清晰图像的概率。

在具体的训练过程中，以图像生成网络的首级生成子网络为例，16*16尺寸的图像输入首级生成子网络，经所述首级生成子网络卷积处理后，输出为32*32尺寸的增强图像，将输出为32*32尺寸的增强图像作为图像判别网络中，作为所述图像判别网络中输入尺寸为32*32的该级判别子网络的输入，即由输入尺寸为32*32的这一级判别子网络开始逐级进行卷积处理，输出与首级生成子网络对应的判别值。

本发明实施例中，如图4所示，示出了一对抗式生成网络的结构示意图，由图像生成网络对输入的低清图像进行增强，判别网络分别对增强后的图像和真实清晰图像进行判别，并采取渐进式训练过程：

开始阶段，生成网络的输出和判别网络的输入为32*32尺寸，即只使用上述两个网络的一部分。

在32*32的尺寸上训练这一部分网络，使生成网络能成功输出32*32尺寸的清晰图像，判别网络能成功判别32*32尺寸的图像是否为真实清晰图像。

随后把生成网络的输出和判别网络的输入增大到64*64，继续训练两个网络。以此类推，直到训练好512*512尺寸，此时即训练好了整个网络。

本发明实施例还提供了与上述训练方法对应的训练装置，所述训练装置用于实现所述训练方法在实际中的应用，所述一种图像增强网络的训练装置的结构图可参照图5，所述训练装置中包括：

获取单元201，用于获取多个初始图像，将各个所述初始图像作为训练样本输入已建立的图像生成网络，逐级对所述图像生成网络中的各级生成子网络进行训练；所述图像生成网络包括至少两级生成子网络；每个所述初始图像作为所述图像生成网络中首级生成子网络的输入，对每一级生成子网络输出的节点图像进行预处理得到的样本图像作为下一级生成子网络进行训练时的输入；每一级生成子网络的输入图像的尺寸大于其下一级生成子网络的输入图像的尺寸；

第一处理单元202，用于将当前处于训练状态的生成子网络输出的节点图像输入图像判别网络，经所述图像判别网络进行卷积处理后，得到与所述当前处于训练状态的生成子网络对应的判别值；

更新单元203，用于依据所述判别值更新所述当前处于训练状态的生成子网络及所述图像判别网络的网络参数，直至所述图像判别网络输出的判别值满足预设的收敛条件，结束对所述当前处于训练状态的生成子网络的训练；

第二处理单元204，用于当所述图像生成网络的末级生成子网络完成训练时，结束对所述图像生成网络的训练，将训练完成的所述图像生成网络作为所述图像增强网络。

本发明公开了一种图像增强网络的训练装置，该训练装置中选用的图像生成网络由至少两级生成子网络组成，在具体的训练过程中，选取多个初始图像作为训练样本输入图像生成网络，逐级对所述图像生成网络中的各级生成子网络进行训练，当所述图像生成网络的末级生成子网络完成训练时，结束对所述图像生成网络的训练，将训练完成的所述图像生成网络作为所述图像增强网络。本发明实施例提供的图像增强网络的训练装置，采用分层式训练方式，每一级生成子网络的输入由小尺寸开始逐级增大进行训练，相比现有对抗式生成网络一律采用全尺寸样本进行训练，综合训练量更小，训练出的图像增强网络占用空间小，运行速度更快，增加了图像增强的效率。

本发明实施例提供的任务执行装置包括处理器和存储器，上述获取单元、第一处理单元、更新单元及第二处理单元均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。

本发明实施例提供了一种图像处理方法，执行主体可以为网络平台或终端中的处理器，图6示出了其具体的执行过程，包括：

S301：将待处理图像输入预先得到的图像增强网络中，经所述图像增强网络中的各级子网络逐级处理后生成所述待处理图像对应的增强图像；

其中：所述图像增强网络包括至少两级子网络，所述待处理图像作为所述图像增强网络的首级子网络的输入，所述首级子网络输出首级节点图像，每一级子网络输出的节点图像作为下一级子网络的输入，每一级子网络输入图像的尺寸小于其下一级子网络的输入图像的尺寸，所述图像增强网络的末级子网络输出末级节点图像，所述末级节点图像作为所述待处理图像对应的增强图像。

本发明实施例提供的图像处理方法中，在需要对图像进行增强操作时，可以将待处理的图像输入预先得到的图像增强网络中，所述图像增强网络为应用图1中的图像增强网络的训练方法及该方法的衍生方法所获得的增强网络；经该图像增强网络处理后，可以获得所述待处理图像对应的增强图像。

所述待处理图像可以为低清图像，经所述图像增强网络处理后，获得高清图像。

所述图像增强网络由至少两级子网络组成，将所述待处理图像输入所述图像增强网络中的首级子网络，经所述图像增强网络中的各级子网络逐级处理后，可以输出相应的增强图像。

应用本发明实施例提供的图像处理方法，可以将低清图像增强为相应的高清图像，提升了图像的清晰度。

本发明实施例提供的图像处理方法中，图像增强网络中的每一级子网络输入图像的尺寸小于其下一级子网络的输入图像的尺寸，优选的，下一级子网络的输入图像的尺寸为其上一级子网络输入图像的尺寸的2n倍，n为正整数。

本发明实施例提供的方法中，所述待处理图像作为所述图像增强网络的首级子网络的输入，包括：

确定所述首级子网络输入图像的尺寸；

判断当前待处理图像的图像尺寸是否为所述首级子网络输入图像的尺寸；

若否，则将当前待处理图像的图像尺寸缩放至所述首级子网络输入图像的尺寸后，输入所述首级子网络。

与图6所示的图像处理方法相对应的，本发明实施例还提供了一种图像处理装置以对图6所示的处理方法进行具体实现，其结构示意图如图7所示，包括：

输入单元701，用于将待处理图像输入预先得到的图像增强网络中；

增强单元702，用于触发所述图像增强网络中的各级子网络逐级对所述待处理图像进行处理，生成所述待处理图像对应的增强图像；

其中：所述图像增强网络包括至少两级子网络，所述待处理图像作为所述图像增强网络的首级子网络的输入，所述首级子网络输出首级节点图像，每一级子网络输出的节点图像作为下一级子网络的输入，每一级子网络输入图像的尺寸小于其下一级子网络的输入图像的尺寸，所述图像增强网络的末级子网络输出末级节点图像，所述末级节点图像作为所述待处理图像对应的增强图像。

本发明实施例提供的图像处理装置，在需要对图像进行增强操作时，可以将待处理的图像输入预先得到的图像增强网络中，所述图像增强网络为应用图1中的图像增强网络的训练方法及该方法的衍生方法所获得的增强网络；经该图像增强网络处理后，可以获得所述待处理图像对应的增强图像。

本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述图像增强网络的训练方法和/或上述图像处理方法。

本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述图像增强网络的训练方法和/或上述图像处理方法。

如图8所示，本发明实施例提供了一种电子设备，所述电子设备50包括至少一个处理器501、以及与处理器501连接的至少一个存储器502、总线503；其中，处理器501、存储器502通过总线503完成相互间的通信；处理器501用于调用存储器502中的程序指令，以执行上述的图像增强网络的训练方法。本文中的设备可以是服务器、PC、PAD、手机等。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序，该方法，包括：

获取多个初始图像，将各个所述初始图像作为训练样本输入已建立的图像生成网络，逐级对所述图像生成网络中的各级生成子网络进行训练；所述图像生成网络包括至少两级生成子网络；每个所述初始图像作为所述图像生成网络中首级生成子网络的输入，对每一级生成子网络输出的节点图像进行预处理得到的样本图像作为下一级生成子网络进行训练时的输入；每一级生成子网络的输入图像的尺寸小于其下一级生成子网络的输入图像的尺寸；

将当前处于训练状态的生成子网络输出的节点图像输入已建立的图像判别网络，经所述图像判别网络进行卷积处理后，得到与所述当前处于训练状态的生成子网络对应的判别值；

依据所述判别值更新所述当前处于训练状态的生成子网络及所述图像判别网络的网络参数，直至所述图像判别网络输出的判别值满足预设的收敛条件，结束对所述当前处于训练状态的生成子网络的训练；

当所述图像生成网络的末级生成子网络完成训练时，结束对所述图像生成网络的训练，将训练完成的所述图像生成网络作为所述图像增强网络。

上述的方法，可选的，将各个所述初始图像作为训练样本输入图像生成网络，逐级对所述图像生成网络中的各级生成子网络进行训练，包括：

对当前待训练的生成子网络进行训练时，在各个所述初始图像中任意选取多个初始图像作为训练样本输入所述图像生成网络，以对所述当前待训练的生成子网络进行训练。

上述的方法，可选的，每个所述初始图像作为所述图像生成网络的中首级生成子网络的输入，包括：

确定所述首级生成子网络输入图像的尺寸；

判断当前待输入初始图像的图像尺寸是否为所述首级生成子网络输入图像的尺寸；

若否，则将当前待输入初始图像的图像尺寸缩放至所述首级生成子网络输入图像的尺寸后，输入所述首级生成子网络。

上述的方法，可选的，对每一级生成子网络输出的节点图像进行预处理得到样本图像的过程，包括：

获取第一图像，所述第一图像由其对应的初始图像依据该级生成子网络的下一级生成子网络输入图像的尺寸预先缩放获得；所述第一图像的尺寸与该级生成子网络输出的节点图像的尺寸相同；

将所述第一图像的图像数据与所述第一图像对应的该级生成子网络输出的节点图像的图像数据进行拼接，获得所述样本图像。

上述的方法，可选的，对每一级生成子网络输出的节点图像进行预处理得到样本图像的过程，包括：

获取第一图像，所述第一图像由其对应的初始图像依据该级生成子网络的下一级生成子网络输入图像的尺寸预先缩放获得；所述第一图像的尺寸与该级生成子网络输出的节点图像的尺寸相同；

对所述第一图像进行图像变换，获得所述第一图像对应的第二图像，所述第一图像与所述第二图像的尺寸相同；

将所述第二图像的图像数据与所述第二图像对应的该级生成子网络输出的节点图像的图像数据进行拼接，获得所述样本图像。

上述的方法，可选的，所述将当前处于训练状态的生成子网络输出的节点图像输入图像判别网络，经所述图像判别网络进行卷积处理后，得到与所述当前处于训练状态的生成子网络对应的判别值，包括：

将所述当前处于训练状态的生成子网络输出的节点图像，输入所述图像判别网络中与所述当前处于训练状态的生成子网络对应的判别子网络集群中，所述图像判别网络中包括多级图像判别子网络，所述判别子网络集群中包括至少一级图像判别子网络；所述当前处于训练状态的生成子网络与其对应的所述判别子网络集群中的首级判别子网络的输入图像的尺寸相同；所述判别子网络所包含的网络级数不小于所述图像生成网络的网络级数；所述图像生成网络的末级生成子网络的输入图像的尺寸与所图像判别网络的首级判别子网络的输入图像的尺寸相同；

经所述判别子网络集群中的各级判别子网络对所述节点图像进行逐级卷积处理，得到与所述当前处于训练状态的生成子网络对应的判别值。

上述的方法，可选的，所述依据所述判别值更新所述当前处于训练状态的生成子网络与其对应的判别子网络的网络参数，包括：

依据所述判别值更新所述当前处于训练状态的生成子网络及其对应的判别子网络集群中各级判别子网络的网络参数。

上述的方法，可选的，所述图像增强网络中除末级生成子网络外的每一级生成子网络的输出图像的尺寸，是该生成子网络输入图像尺寸的2倍；

所述末级生成子网络输出图像的尺寸与所述初始图像的尺寸相同。

上述的计算机程序产品，当在数据处理设备上执行时，还适于执行初始化有如下方法步骤的程序：

将待处理图像输入预先得到的图像增强网络中，经所述图像增强网络中的各级子网络逐级处理后生成所述待处理图像对应的增强图像；

其中：所述图像增强网络包括至少两级子网络，所述待处理图像作为所述图像增强网络的首级子网络的输入，所述首级子网络输出首级节点图像，每一级子网络输出的节点图像作为下一级子网络的输入，每一级子网络输入图像的尺寸小于其下一级子网络的输入图像的尺寸，所述图像增强网络的末级子网络输出末级节点图像，所述末级节点图像作为所述待处理图像对应的增强图像。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

在一个典型的配置中，设备包括一个或多个处理器(CPU)、存储器和总线。设备还可以包括输入/输出接口、网络接口等。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (13)

1.一种图像增强网络的训练方法，其特征在于，包括：

获取多个初始图像，将各个所述初始图像作为训练样本输入图像生成网络，逐级对所述图像生成网络中的各级生成子网络进行训练；所述图像生成网络包括至少两级生成子网络；每个所述初始图像作为所述图像生成网络中首级生成子网络的输入，对每一级生成子网络输出的节点图像进行预处理得到的样本图像作为下一级生成子网络进行训练时的输入；每一级生成子网络的输入图像的尺寸小于其下一级生成子网络的输入图像的尺寸；

将当前处于训练状态的生成子网络输出的节点图像输入图像判别网络，经所述图像判别网络进行卷积处理后，得到与所述当前处于训练状态的生成子网络对应的判别值；

依据所述判别值更新所述当前处于训练状态的生成子网络及所述图像判别网络的网络参数，直至所述图像判别网络输出的判别值满足预设的收敛条件，结束对所述当前处于训练状态的生成子网络的训练；

当所述图像生成网络的末级生成子网络完成训练时，结束对所述图像生成网络的训练，将训练完成的所述图像生成网络作为所述图像增强网络。

2.根据权利要求1所述的方法，其特征在于，将各个所述初始图像作为训练样本输入图像生成网络，逐级对所述图像生成网络中的各级生成子网络进行训练，包括：

对当前待训练的生成子网络进行训练时，在各个所述初始图像中任意选取多个初始图像作为训练样本输入所述图像生成网络，以对所述当前待训练的生成子网络进行训练。

3.根据权利要求1所述的方法，其特征在于，每个所述初始图像作为所述图像生成网络的中首级生成子网络的输入，包括：

确定所述首级生成子网络输入图像的尺寸；

判断当前待输入初始图像的图像尺寸是否为所述首级生成子网络输入图像的尺寸；

若否，则将当前待输入初始图像的图像尺寸缩放至所述首级生成子网络输入图像的尺寸后，输入所述首级生成子网络。

4.根据权利要求1或3所述的方法，其特征在于，对每一级生成子网络输出的节点图像进行预处理得到样本图像的过程，包括：

获取第一图像，所述第一图像由其对应的初始图像依据该级生成子网络的下一级生成子网络输入图像的尺寸预先缩放获得；所述第一图像的尺寸与该级生成子网络输出的节点图像的尺寸相同；

将所述第一图像的图像数据与所述第一图像对应的该级生成子网络输出的节点图像的图像数据进行拼接，获得所述样本图像。

5.根据权利要求1或3所述的方法，其特征在于，对每一级生成子网络输出的节点图像进行预处理得到样本图像的过程，包括：

获取第一图像，所述第一图像由其对应的初始图像依据该级生成子网络的下一级生成子网络输入图像的尺寸预先缩放获得；所述第一图像的尺寸与该级生成子网络输出的节点图像的尺寸相同；

对所述第一图像进行图像变换，获得所述第一图像对应的第二图像，所述第一图像与所述第二图像的尺寸相同；

将所述第二图像的图像数据与所述第二图像对应的该级生成子网络输出的节点图像的图像数据进行拼接，获得所述样本图像。

6.根据权利要求1所述的方法，其特征在于，所述将当前处于训练状态的生成子网络输出的节点图像输入图像判别网络，经所述图像判别网络进行卷积处理后，得到与所述当前处于训练状态的生成子网络对应的判别值，包括：

将所述当前处于训练状态的生成子网络输出的节点图像，输入所述图像判别网络中与所述当前处于训练状态的生成子网络对应的判别子网络集群中，所述图像判别网络中包括多级图像判别子网络，所述判别子网络集群中包括至少一级图像判别子网络；所述当前处于训练状态的生成子网络与其对应的所述判别子网络集群中的首级判别子网络的输入图像的尺寸相同；所述判别子网络所包含的网络级数不小于所述图像生成网络的网络级数；所述图像生成网络的末级生成子网络的输入图像的尺寸与所图像判别网络的首级判别子网络的输入图像的尺寸相同；

经所述判别子网络集群中的各级判别子网络对所述节点图像进行逐级卷积处理，得到与所述当前处于训练状态的生成子网络对应的判别值。

7.根据权利要求6所述的方法，其特征在于，所述依据所述判别值更新所述当前处于训练状态的生成子网络与其对应的判别子网络的网络参数，包括：

依据所述判别值更新所述当前处于训练状态的生成子网络及其对应的判别子网络集群中各级判别子网络的网络参数。

8.根据权利要求1所述的方法，其特征在于，所述图像增强网络中除末级生成子网络外的每一级生成子网络的输出图像的尺寸，是该生成子网络输入图像尺寸的2倍；

所述末级生成子网络输出图像的尺寸与所述初始图像的尺寸相同。

9.一种图像增强网络的训练装置，其特征在于，包括：

获取单元，用于获取多个初始图像，将各个所述初始图像作为训练样本输入已建立的图像生成网络，逐级对所述图像生成网络中的各级生成子网络进行训练；所述图像生成网络包括至少两级生成子网络；每个所述初始图像作为所述图像生成网络中首级生成子网络的输入，对每一级生成子网络输出的节点图像进行预处理得到的样本图像作为下一级生成子网络进行训练时的输入；每一级生成子网络的输入图像的尺寸小于其下一级生成子网络的输入图像的尺寸；

第一处理单元，用于将当前处于训练状态的生成子网络输出的节点图像输入图像判别网络，经所述图像判别网络进行卷积处理后，得到与所述当前处于训练状态的生成子网络对应的判别值；

更新单元，用于依据所述判别值更新所述当前处于训练状态的生成子网络及所述图像判别网络的网络参数，直至所述图像判别网络输出的判别值满足预设的收敛条件，结束对所述当前处于训练状态的生成子网络的训练；

第二处理单元，用于当所述图像生成网络的末级生成子网络完成训练时，结束对所述图像生成网络的训练，将训练完成的所述图像生成网络作为所述图像增强网络。

10.一种图像处理方法，其特征在于，包括：

将待处理图像输入预先得到的图像增强网络中，经所述图像增强网络中的各级子网络逐级处理后生成所述待处理图像对应的增强图像；

其中：所述图像增强网络包括至少两级子网络，所述待处理图像作为所述图像增强网络的首级子网络的输入，所述首级子网络输出首级节点图像，每一级子网络输出的节点图像作为下一级子网络的输入，每一级子网络输入图像的尺寸小于其下一级子网络的输入图像的尺寸，所述图像增强网络的末级子网络输出末级节点图像，所述末级节点图像作为所述待处理图像对应的增强图像。

11.一种图像处理装置，其特征在于，包括：

输入单元，用于将待处理图像输入预先得到的图像增强网络中；

增强单元，用于触发所述图像增强网络中的各级子网络逐级对所述待处理图像进行处理，生成所述待处理图像对应的增强图像；

其中：所述图像增强网络包括至少两级子网络，所述待处理图像作为所述图像增强网络的首级子网络的输入，所述首级子网络输出首级节点图像，每一级子网络输出的节点图像作为下一级子网络的输入，每一级子网络输入图像的尺寸小于其下一级子网络的输入图像的尺寸，所述图像增强网络的末级子网络输出末级节点图像，所述末级节点图像作为所述待处理图像对应的增强图像。

12.一种存储介质，其特征在于，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行如权利要求1～8任意一项所述的图像增强网络的训练方法和/或如权利要求10所述的图像处理方法。

13.一种电子设备，其特征在于，包括至少一个处理器、以及与处理器连接的至少一个存储器、总线；其中，处理器、存储器通过总线完成相互间的通信；处理器用于调用存储器中的程序指令，以执行如权利要求1～8任意一项所述的图像增强网络的训练方法和/或如权利要求10所述的图像处理方法。