CN110276399A - 图像转换网络训练方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本申请提供了图像转换网络训练方法、装置、计算机设备及存储介质，图像转换网络训练方法包括：首先通过第一图像的下采样图像对第一网络进行训练，得到第二图像；随后通过第一图像对第二网络进行训练，得到与第二图像的上采样图像内容近似的第三图像。通过判别网络判断第三图像及参考图像的特征信息差值是否低于阈值，若不低于阈值，将该差值反馈给第二网络，以调整第二网络的网络参数，重复上述步骤，直到第二网络输出的图像与参考图像的特征信息差值低于阈值。通过构建一个全新的图像转换网络来对高分辨图像进行处理，不依赖于前一网络，具有很好的通用性，同时也解决了现有的通用性较好的图像转换方法无法对高分辨图像进行转换的技术问题。

Description

图像转换网络训练方法、装置、计算机设备及存储介质

技术领域

本申请涉及图像转换领域，具体而言，涉及图像转换网络训练方法、装置、计算机设备及存储介质。

背景技术

近几年随着深度学习的发展，图像转换领域涌现出许多图像转换方法，尤其以pix2pix以及cyclegan系列方法为代表，其中pix2pix属于有配对数据的监督学习方法，cyclegan属于无配对数据的无监督学习方法。

然而，尽管上述方法具有较好的通用性，但它们只适用于低分辨率图像转换，比如，pix2pix、cyclegan均最多只能处理256x256分辨率的图像，在高分辨率上往往处理图像的效果不佳。

为此，学术界提出了许多改进方法，其中最重要的一种方法是分阶段训练，即先在低分辨率上训练收敛，再通过更改网络结构添加一些额外的层以处理更高分辨率(比如pix2pixHD)。分阶段训练方法虽然有效，但是由于其依赖于对前一阶段网络结构的更改，所以实现起来较为复杂，通用性也不是很好。

发明内容

为了解决上述问题，本申请实施例提供图像转换网络训练方法、装置、计算机设备及存储介质。

第一方面，本申请实施例提供一种图像转换网络训练方法，应用于计算机设备，所述计算机设备中预先存储有参考图像，所述图像转换网络包括第一网络、第二网络及判别网络，所述方法包括：

将与参考图像对应的第一图像的下采样图像输入到所述第一网络中进行训练，将所述第一网络输出的图像作为第二图像；

将第一图像输入所述第二网络中进行训练，得到与所述第二图像的上采样图像的内容差值小于第二阈值的第三图像；

将所述第三图像及所述参考图像输入到所述判别网络中判别所述第三图像与所述参考图像的特征信息差值是否低于第一阈值，在所述特征信息差值不低于第一阈值时，将所述第三图像与所述参考图像的特征信息差值反馈给所述第二网络，以对所述第二网络的网络参数进行调整；

再次将第一图像输入到调整后的第二网络中，重复上述步骤，直到特征信息差值小于第一阈值，判定图像网络训练完成。

可选地，在本实施例中，所述将所述第三图像与所述参考图像的特征信息差值反馈给所述第二网络，以对所述第二网络的网络参数进行调整，包括：

根据接收到的所述第三图像与所述参考图像的特征信息差值对第二网络的网络参数进行调整，以提升第二网络输出的第三图像的清晰度。

可选地，在本实施例中，在将与参考图像对应的第一图像的下采样图像输入到所述第一网络中进行训练，将所述第一网络输出的图像作为第二图像之前，所述方法还包括：

对所述第一图像进行下采样操作，以得到所述第一图像的下采样图像。

可选地，在本实施例中，在将第一图像输入所述第二网络中进行训练，得到与所述第二图像的上采样图像的内容差值小于第二阈值的第三图像之前，所述方法还包括：

对所述第二图像进行上采样操作，以得到所述第二图像的上采样图像。

第二方面，本申请实施例还提供一种图像转换网络训练装置，应用于计算机设备，所述计算机设备中预先存储有参考图像，所述图像转换网络包括第一网络、第二网络及判别网络，所述装置包括：

第一训练模块，用于将与参考图像对应的第一图像的下采样图像输入到所述第一网络中进行训练，将所述第一网络输出的图像作为第二图像；

第二训练模块，用于将第一图像输入所述第二网络中进行训练，得到与所述第二图像的上采样图像内容差值小于第二阈值的第三图像；

特征信息判别模块，用于将所述第三图像及所述参考图像输入到所述判别网络中判别所述第三图像与所述参考图像的特征信息差值是否低于第一阈值，在所述特征信息差值不低于第一阈值时，将所述第三图像与所述参考图像的特征信息差值反馈给所述第二网络，以对所述第二网络的网络参数进行调整；

第二训练模块，还用于再次将第一图像输入到调整后的第二网络中，重复上述步骤，直到特征信息差值小于第一阈值，判定图像网络训练完成。

可选地，在本实施例中，所述分辨率判别模块包括：

调整子模块，用于根据接收到的所述第三图像与所述参考图像的特征信息差值对第二网络的网络参数进行调整，以提升第二网络输出的第三图像的清晰度。

可选地，在本实施例中，所述装置还包括：

下采样模块，用于对所述第一图像进行下采样操作，以得到所述第一图像的下采样图像。

可选地，在本实施例中，所述装置还包括：

上采样模块，用于对所述第二图像进行上采样操作，以得到所述第二图像的上采样图像。

第三方面，本申请实施例还提供一种计算机设备，所述计算机设备包括存储器、处理器及上述的图像转换网络训练装置，所述图像转换网络训练装置位于存储器上，并包括一个或多个由处理器执行的软件功能模块。

第四方面，本申请实施例还提供一种存储介质，其上存储有计算机程序，所述计算机程序在执行时实现上述的图像转换网络训练方法中的步骤。

相对于现有技术，本申请实施例具有以下有益效果：

本申请提供了图像转换网络训练方法、装置、计算机设备及存储介质，图像转换网络训练方法包括：首先通过第一图像的下采样图像对第一网络进行训练，得到第二图像；随后通过第一图像对第二网络中进行训练，得到与第二图像的上采样图像内容近似的第三图像。通过判别网络判断第三图像及参考图像的特征信息差值是否低于阈值，若特征信息差值不低于阈值，将该特征信息差值反馈给第二网络，以调整第二网络的网络参数，重复上述步骤，直到第二网络输出的图像与参考图像的特征信息差值低于阈值，且与第二图像的上采样图像内容近似。通过构建一个全新的图像转换网络来对高分辨图像进行处理，不依赖于前一网络，具有很好的通用性，同时也解决了现有的通用性较好的图像转换方法无法对高分辨图像进行转换的技术问题。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本申请是实施例提供的计算机设备的结构示意图；

图2为本申请实施例提供的图像转换网络训练方法的流程图之一；

图3为本申请实施例提供的图像转换网络训练方法的流程图之二；

图4为本申请实施例提供的图像转换网络训练装置的功能模块图之一；

图5为本申请实施例提供的图像转换网络训练装置的功能模块图之二。

图标：100-计算机设备；110-图像转换网络训练装置；120-存储器；130-处理器；1101-下采样模块；1102-第一训练模块；1103-上采样模块；1104-第二训练模块；1105-特征信息判别模块。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

请参照图1，图1是本申请是实施例提供的计算机设备100的结构示意图，该计算机设备100包括有处理器130、存储器120以及图像转换网络训练装置110，所述存储器120与处理器130各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述图像转换网络训练装置110包括至少一个可以软件或固件(firmware)的形式存储于所述存储器120中或固化在所述计算机设备100的操作系统(operatingsystem，OS)中的软件功能模块。所述处理器130用于执行所述存储器120中存储的可执行模块，例如所述图像转换网络训练装置110所包括的软件功能模块及计算机程序等。

其中，所述存储器120可以是，但不限于，随机存取存储器(Random AccessMemory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(ProgrammableRead-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM)等。其中，存储器120用于存储程序，所述处理器130在接收到执行指令后，执行所述程序。

所述处理器130可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

请参照图2，图2为本申请实施例提供的图像转换网络训练方法的流程图之一，该方法应用于计算机设备100，计算机设备100中预先存储有设定图像分辨率的参考图像，所述图像转换网络包括第一网络、第二网络及判别网络，所述方法包括：

步骤S120，将与参考图像对应的第一图像的下采样图像输入到第一网络中进行训练，将第一网络输出的图像作为第二图像。

计算机设备100中存储有一一对应的参考图像和第一图像，其中，第一图像可以为mask图像，参考图像为具有高分辨率的街景图像，所述图像转换网络用于将mask图像转换为街景图像。

在本步骤中，将第一图像的下采样图像输入到第一网络中对第一网络进行训练，使第一网络输出分辨率较低的第二图像。第一网络用于对低分辨图像进行处理，用于将mask图像转换为低分辨的街景图像，第一网络的网络结构可以采用pix2pix或cyclegan等。

步骤S140，将第一图像输入第二网络中进行训练，得到与第二图像的上采样图像的内容差值小于第二阈值的第三图像。

在本步骤中，第二网络输出的图像与第一网络输出的图像在内容上是近似的，具体是使第二网络输出的第三图像与第一网络输出的第二图像的上采样图像的内容差值是否小于第二阈值。但由于第一网络是通过对第一图像的下采样图像进行训练，因此，第一网络输入的图像分辨率低于第二网络输入的图像，同时第一网络的输出图像分辨率低于第二网络输出的第三图像。为了使第一网络的输出图像分辨率与第二网络输出的第三图像分辨率相同，因此需要对第一网络输出的第二图像进行上采样。可采用线性插值法对第二图像进行上采样。

由于通过效果较差的线性插值法获得第二图像的上采样图像，因此与第二图像的上采样图像分辨率相同的第三图像的清晰度可能无法满足需求，因此，为了提升第三图像的清晰度，本方法的图像转换网络中还设置有判别网络，具体方法如下。

请继续参照图2，所述图像转换网络训练方法还包括：

步骤S150，将第三图像及参考图像输入到判别网络中。

步骤S160，判断第三图像与参考图像的特征信息差值是否低于第一阈值。

步骤S170，若特征信息差值不低于第一阈值时，将第三图像与参考图像的特征信息差值反馈给第二网络，以对第二网络的网络参数进行调整。

所述特征信息包括但不限于图像边缘特征信息、图像纹理特征信息、以及图像清晰程度等信息。在上述步骤中，通过第二loss函数对第三图像和参考图像的分辨率进行判别，判断第三图像和参考图像的特征信息差值是否低于第一阈值，其中，第一阈值是指判别网络能够分辨的最小特征信息差值。第二loss函数值用于表示特征信息差值，第二loss函数值越小，特征信息差值越小，第二网络的输出图像效果越接近理想值，训练第二网络过程的量化就是最小化第二loss函数值。判别网络将第二loss函数值反馈至第二网络，以根据该第二loss函数值对第二网络的网络参数进行自适应调整。

具体的，第二网络的网络参数进行自适应调整以减小第二loss函数值，从而使第二网络输出的图像的清晰度高于第三图像的清晰度，并逐渐靠近参考图像的清晰度。最终使判别网络无法将第二网络输出的图像与参考图像的清晰度进行区分。

同时在上述步骤中，当第二网络的网络参数进行调整后，为了使第二网络输出的第三图像与第二图像的上采样图像相似，则需要同时采用第一loss函数对第二网络输出的第三图像进行约束，使第二网络输出的第三图像在内容上与第一网络输出的第二图像的上采样图像近似。从而使得第二网络输出的第三图像在清晰度上与参考图像相同，在图像内容上与第一网络输出的第二图像近似。

具体的，所述第一loss函数可以为L1loss函数或MSE loss函数。其中，L1 loss是指两个图像中每个像素点的色彩的绝对值，即L1＝|X-Y|；MSE loss是指两个图像中每个像素点的色彩的均方误差，即MSE＝(X-Y)²。若第一loss函数值大于预设值，则对第二网络的网络参数进行调整，以使第二网络输出的第三图像在内容上与第一网络输出的第二图像的上采样图像近似。

在第一loss函数和第二loss函数的监督下，从而使得第二网络输出的第三图像在清晰度上和参考图像相似，在图像内容上与第二图像的上采样图像近似。

再次将第一图像输入到调整后的第二网络中进行训练。重复上述步骤，直到特征信息差值小于第一阈值，判定图像网络训练完成。

在上述步骤中，当第二网络的网络参数进行调整后，重新将第一图像输入调整后第二网络以对第二网络进行训练，并在第一loss函数的约束下，输出图像。对所述输出的图像和参考图像进行特征信息判别，具体可参照步骤S150，特征信息差值不低于第一阈值，则继续对第二网络进行网络参数的调整，并执行步骤S160。通过第一图像对调整后的第二网络进行训练，调整后的第二网络输出的图像的清晰度高于第二网络前一次输出的图像的清晰度，因此，第二loss函数值减小。重复上述步骤，直到判别网络无法区分第二网络输出的图像的特征信息与参考图像的特征信息，即特征信息差值低于第一阈值，从而表征图像转换网络训练完成。训练完成之后的图像转换网络即可用于进行图像转换，既能对高分辨的图像进行转换，同时还具有较好的通用性。

请参照图3，图3为本申请实施例提供的图像转换网络训练方法的流程图之二。所述方法还包括：

步骤S110，对第一图像进行下采样操作，以得到第一图像的下采样图像。

在本步骤中，第一网络用于处理低分辨率图像，因此，对第一图像进行下采样以获得一个低分辨图像，以使第一图像的下采样图像能够输入到第一网络中对第一网络进行训练。

步骤S130，对第二图像进行上采样操作，以得到所述第二图像的上采样图像。

在本步骤中，第二网络输出的图像与第一网络输出的图像在内容上是相似的，但由于第一网络是通过对第一图像的下采样图像进行训练，因此，第一网络的输出图像分辨率低于第二网络输出的第三图像。为了使第一网络的输出图像分辨率与第二网络输出的第三图像分辨率相同，因此需要对第一网络输出的第二图像进行上采样。

请参照图4，图4为本申请实施例提供的图像转换网络训练装置110的功能模块图之一。图像转换网络训练装置110包括以下模块：

第一训练模块1102，用于将与参考图像对应的第一图像的下采样图像输入到所述第一网络中进行训练，将所述第一网络输出的图像作为第二图像。

第二训练模块1104，用于将第一图像输入所述第二网络中进行训练，得到与所述第二图像的上采样图像的内容差值小于第二阈值的第三图像；

特征信息判别模块1105，用于将所述第三图像及所述参考图像输入到所述判别网络中判别所述第三图像与所述参考图像的特征信息差值是否低于第一阈值，在所述特征信息差值不低于第一阈值时，将所述第三图像与所述参考图像的特征信息差值反馈给所述第二网络，以对所述第二网络的网络参数进行调整。

第二训练模块1104，用于再次将第一图像输入到调整后的第二网络中重复上述步骤，直到特征信息差值小于第一阈值，判定图像网络训练完成。

请参照图5，图5为本申请实施例提供的图像转换网络训练装置的功能模块图之二。所述图像转换网络训练装置110还包括：

下采样模块1101，用于对所述第一图像进行下采样操作，以得到所述第一图像的下采样图像。

上采样模块1103，用于对所述第二图像进行上采样操作，以得到所述第二图像的上采样图像。

优选的，在本申请实施例中，所述特征信息判别模块1105包括：

调整子模块，用于根据接收到的所述第三图像与所述参考图像的特征信息差值对第二网络的网络参数进行调整，以提升第二网络输出的图像的清晰度。

可以理解的是，本实施例中的各功能模块的具体操作方法可参阅上述方法实施例中相应步骤的详细描述，在此不再重复赘述。

请结合参照图1，本申请实施例还提供一种计算机设备100包括存储器120、处理器130及图像转换网络训练装置110，所述图像转换网络训练装置110存储在所述存储器120内，并包括一个或多个由所述处理器130执行的软件功能模块。

本申请实施例还提供一种存储介质，其上存储有计算机程序，计算机程序在执行时能够实现上述的图像转换网络训练方法中的步骤。

本申请提供了图像转换网络训练方法、装置、计算机设备及存储介质，图像转换网络训练方法包括：首先通过第一图像的下采样图像对第一网络进行训练，得到第二图像；随后通过第一图像对第二网络中进行训练，得到第三图像。通过判别网络判断第三图像及参考图像的特征信息差值是否低于第一阈值，若特征信息差值不低于第一阈值，将该特征信息差值反馈给第二网络，以调整第二网络的网络参数，重复上述步骤，直到第二网络输出的图像与参考图像的特征信息差值低于第一阈值。通过构建一个全新的图像转换网络来对高分辨图像进行处理，不依赖于前一网络，具有很好的通用性，同时也解决了现有的通用性较好的图像转换方法无法对高分辨图像进行转换的技术问题。通过构建一个全新的图像转换网络来对高分辨图像进行处理，不依赖于前一网络，具有很好的通用性，同时也解决了现有的通用性较好的图像转换方法无法对高分辨图像进行转换的技术问题。

同时，为提升分辨率而训练的网络可能比现有技术中的网络更小、更快，因为现有技术的图像转换网络执行的转换任务的难度比纯粹的提升分辨率任务难度要大。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种图像转换网络训练方法，其特征在于，应用于计算机设备，所述计算机设备中预先存储有参考图像，所述图像转换网络包括第一网络、第二网络及判别网络，所述方法包括：

将与参考图像对应的第一图像的下采样图像输入到所述第一网络中进行训练，将所述第一网络输出的图像作为第二图像；

将第一图像输入所述第二网络中进行训练，得到与所述第二图像的上采样图像的内容差值小于第二阈值的第三图像；

将所述第三图像及所述参考图像输入到所述判别网络中，判别所述第三图像与所述参考图像的特征信息差值是否低于第一阈值，在所述特征信息差值不低于第一阈值时，将所述第三图像与所述参考图像的特征信息差值反馈给所述第二网络，以对所述第二网络的网络参数进行调整，其中，所述特征信息包括图像边缘特征信息、图像纹理特征信息或图像清晰程度信息；

再次将第一图像输入到调整后的第二网络中，重复上述步骤，直到所述特征信息差值小于第一阈值，判定图像网络训练完成。

2.根据权利要求1所述的图像转换网络训练方法，其特征在于，所述将所述第三图像与所述参考图像的特征信息差值反馈给所述第二网络，以对所述第二网络的网络参数进行调整，包括：

根据接收到的所述第三图像与所述参考图像的特征信息差值对第二网络的网络参数进行调整，以提升第二网络输出的第三图像的清晰度。

3.根据权利要求1所述的图像转换网络训练方法，其特征在于，在将与参考图像对应的第一图像的下采样图像输入到所述第一网络中进行训练，将所述第一网络输出的图像作为第二图像之前，所述方法还包括：

对所述第一图像进行下采样操作，以得到所述第一图像的下采样图像。

4.根据权利要求1所述的图像转换网络训练方法，其特征在于，在将第一图像输入所述第二网络中进行训练，得到与所述第二图像的上采样图像的内容差值小于第二阈值的第三图像之前，所述方法还包括：

对所述第二图像进行上采样操作，以得到所述第二图像的上采样图像。

5.一种图像转换网络训练装置，其特征在于，应用于计算机设备，所述计算机设备中预先存储有设定图像分辨率的参考图像，所述图像转换网络包括第一网络、第二网络及判别网络，所述装置包括：

第一训练模块，用于将与参考图像对应的第一图像的下采样图像输入到所述第一网络中进行训练，将所述第一网络输出的图像作为第二图像；

第二训练模块，用于将第一图像输入所述第二网络中进行训练，得到与所述第二图像的上采样图像的内容差值小于第二阈值的第三图像；

特征信息判别模块，用于将所述第三图像及所述参考图像输入到所述判别网络中，判别所述第三图像与所述参考图像的特征信息差值是否低于第一阈值，在所述特征信息差值不低于第一阈值时，将所述第三图像与所述参考图像的特征信息差值反馈给所述第二网络，以对所述第二网络的网络参数进行调整；

第二训练模块，还用于再次将第一图像输入到调整后的第二网络中，重复上述步骤，直到特征信息差值小于第一阈值，判定图像网络训练完成。

6.根据权利要求5所述的图像转换网络训练装置，其特征在于，所述特征信息判别模块包括：

调整子模块，用于根据接收到的所述第三图像与所述参考图像的特征信息差值对第二网络的网络参数进行调整，以提升第二网络输出的图像的清晰度。

7.根据权利要求5所述的图像转换网络训练装置，其特征在于，所述装置还包括：

下采样模块，用于对所述第一图像进行下采样操作，以得到所述第一图像的下采样图像。

8.根据权利要求5所述的图像转换网络训练装置，其特征在于，所述装置还包括：

上采样模块，用于对所述第二图像进行上采样操作，以得到所述第二图像的上采样图像。

9.一种计算机设备，其特征在于，所述计算机设备包括存储器、处理器及上述权利要求5-8任意一项所述的图像转换网络训练装置，所述图像转换网络训练装置位于存储器上，并包括一个或多个由处理器执行的软件功能模块。

10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序在执行时实现上述权利要求1-4任意一项所述的图像转换网络训练方法中的步骤。