CN111008940A - 一种图像增强方法及装置 - Google Patents

Abstract

本发明提供一种图像增强方法及装置，能够使得增强后的图像从色彩方面有所改善，更接近专业图像色彩，且能够大大降低训练过程的计算复杂度。所述方法包括：建立基于单域数据集的循环生成对抗网络，其中，循环生成对抗网络包含生成器和判别器，生成器用于生成原图的增强图像，判别器用于辨别原图与增强图像的高层特征相似度；确定循环生成对抗网络的目标函数；将单域数据集中的每一个样本图像依次输入到生成器中，对建立的循环生成对抗网络进行训练，得到最优的生成器，利用得到的最优的生成器对待增强图像进行图像增强。本发明涉及图像处理技术领域。

Description

一种图像增强方法及装置

技术领域

本发明涉及图像处理技术领域，特别是指一种图像增强方法及装置。

背景技术

近年来，随着深度学习在计算机领域的快速发展，基于深度学习的图像合成、图像风格迁移、图像增强等方向受到了极大的关注。目前，许多图像合成算法能够对人脸、风景、工业界特定场景图像作很好的处理。而图像增强是图像合成方法的重要分支，是进行图像特征提取的重要部分，同时也是生产生活中对照片处理的重要步骤。图像增强可以有选择的突出图像的重要信息，改善图像的视觉效果，针对不同的应用场景可以选择不同的图像增强效果。因此，图像增强是图像合成，数字图像处理的重要分支，具有很大的应用价值。

在深度学习方法中，训练数据集与训练网络模型都是每个学习的关键，随着技术的发展，越来越多的方法涌现，方法日新月异的同时，对数据集的依赖也越来越重要，而好的数据集是宝贵且难以获得的。生成对抗网络从提出时，就需要成对的数据集，经过近些年研究技术人员的改良，逐渐可以允许数据集的不严格成对(即：成对数据集，需要两个数据域的数据集且数据是一一成对的，例如：未增强图像与该图像的已增强图像是一对)，但依然需要两组不同域的数据集(即：不成对的双域数据集，即需要两个数据域的数据集且数据不严格一一成对的，例如：未增强图像与其他图像的已增强图像组成一对)，导致增加训练过程的计算复杂度。

发明内容

本发明要解决的技术问题是提供一种图像增强方法及装置，以解决现有技术所存在的使用成对数据集或者不成对的双域数据集进行训练增加训练过程的计算复杂度的问题。

为解决上述技术问题，本发明实施例提供一种图像增强方法，包括：

建立基于单域数据集的循环生成对抗网络，其中单域数据集中的样本图像为已增强图像，循环生成对抗网络包含生成器和判别器，生成器用于生成原图的增强图像，判别器用于辨别原图与增强图像的高层特征相似度，高层特征为生成器中的卷积层提取到的图像特征；

确定循环生成对抗网络的目标函数；

将单域数据集中的每一个样本图像依次输入到生成器中，对建立的循环生成对抗网络进行训练，得到最优的生成器，利用得到的最优的生成器对待增强图像进行图像增强。

进一步地，循环生成对抗网络包括：具有相同结构的生成器G、G’和具有相同结构的判别器D、D’；

每个生成器包括：输入层、三个训练的卷积层、六个残差模块和两个转置卷积层；

每个判别器包括：输入层、三个训练的卷积层。

进一步地，所述确定循环生成对抗网络的目标函数包括：

确定生成器G和判别器D’的对抗损失函数L_GAN(G,D′,X)，其中X表示单域数据集；

确定生成器G’和判别器D的对抗损失函数L_GAN(G′,D,X)；

确定生成器G和G’的循环一致损失函数L_cyc(G,G′)；

根据确定的L_GAN(G,D′,X)、L_GAN(G′,D,X)和L_cyc(G,G′)，确定循环生成对抗网络的总损失函数L(G,G′,D,D′)，L(G,G′,D,D′)表示为：

L(G,G′,D,D′)＝L_GAN(G,D′,X)+L_GAN(G′,D,X)+βL_cyc(G,G′)

其中，β表示训练循环生成对抗网络时的权重；

根据得到的L(G,G′,D,D′)，确定循环生成对抗网络的目标函数为：

其中，G^*、G′^*都表示最优的生成器。

进一步地，L_GAN(G,D′,X)表示为：

L_GAN(G,D′,X)＝E_x∈Pdata(x)[logD′(x)]+E_x∈Pdata(x)[log(1-D′(G(x)))]

其中，Pdata(x)表示单域数据集X，x表示单域数据集X中的样本图像；E[·]表示取一个训练批次中所有样本计算的期望值；x’表示样本图像x输入到生成器G中后，生成的增强图像；D’(x)表示将x输入判别器D中进行判别；G(x)表示将x放入生成器G中做图像生成；D′(G(x))表示将G(x)生成的图像输入到D′中进行判别。

进一步地，循环一致损失函数Lc_yc(G,G′)表示为：

L_cyc(G,G′)＝E_x∈Pdata(x)[||G′(G(x))-x||₁]

其中，||·||₁表示1-范数。

进一步地，所述将单域数据集中的每一个样本图像依次输入到生成器中，对建立的循环生成对抗网络进行训练，得到最优的生成器包括：

将单域数据集X中的每一个样本图像x依次输入到生成器G中，生成增强图像x’，将增强图像x’与原图x输入到判别器D’中做是否仍是相似的图像的判别，输出对抗损失，将增强图像x’输入到生成器G’，得到近似x的图像x”，对图像x”与原图x计算循环一致损失；

将单域数据集X中的每一个样本图像x依次输入到生成器G’中，生成增强图像x’，将增强图像x’与原图x输入到判别器D中做是否仍是相似的图像的判别，输出对抗损失，将增强图像x’输入到生成器G，得到近似x的图像x”，对图像x”与原图x计算循环一致损失；

根据判别器的输出和计算得到的循环一致损失，优化目标函数argmin_G,G′max_D,D′L(G,G′,D,D′)，获取最优的生成器。

进一步地，在训练过程中，对于生成器G、G’和判别器D、D’采用分布训练的模式，即训练生成器时，固定判别器的参数，不对判别器的参数进行更新，只更新生成器的参数；训练判别器时，固定生成器的参数，不对生成器的参数进行更新，只更新判别器的参数。

本发明实施例还提供一种图像增强装置，包括：

建立模块，用于建立基于单域数据集的循环生成对抗网络，其中单域数据集中的样本图像为已增强图像，循环生成对抗网络包含生成器和判别器，生成器用于生成原图的增强图像，判别器用于辨别原图与增强图像的高层特征相似度，高层特征为生成器中的卷积层提取到的图像特征；

确定模块，用于确定循环生成对抗网络的目标函数；

训练模块，用于将单域数据集中的每一个样本图像依次输入到生成器中，对建立的循环生成对抗网络进行训练，得到最优的生成器，以便利用得到的最优的生成器对待增强图像进行图像增强。

本发明的上述技术方案的有益效果如下：

上述方案中，建立基于单域数据集的循环生成对抗网络，其中循环生成对抗网络包含生成器和判别器，生成器用于生成原图的增强图像，判别器用于辨别原图与增强图像的高层特征相似度；确定循环生成对抗网络的目标函数，以确保生成对抗网络的训练高效稳定，并且使得最终生成的最优生成器能够很好地保护原图的特征；将单域数据集中的每一个样本图像依次输入到生成器中，对建立的循环生成对抗网络进行训练，得到最优的生成器，以便利用得到的最优的生成器对待增强图像进行图像增强。这样，使用单域数据集训练循环生成对抗网络，生成最优的图像增强生成器，然后用此生成器对待增强图像进行图像增强的同时，使得增强后的图像从色彩方面有所改善，更接近专业图像色彩，且能够大大降低训练过程的计算复杂度。

附图说明

图1为本发明实施例提供的图像增强方法的流程示意图；

图2为本发明实施例提供的循环生成对抗网络的结构示意图；

图3为本发明实施例提供的图像增强方法的详细流程示意图；

图4为本发明实施例提供的图像增强装置的结构示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明针对现有的利用成对数据集或者不成对的双域数据集进行训练，增加训练过程的计算复杂度的问题，提供一种图像增强方法及装置。

实施例一

如图1所示，本发明实施例提供的图像增强方法，包括：

S101，建立基于单域数据集的循环生成对抗网络，其中单域数据集中的样本图像为已增强图像，循环生成对抗网络包含生成器和判别器，生成器用于生成原图的增强图像，判别器用于辨别原图与增强图像的高层特征相似度，高层特征为生成器中的卷积层提取到的图像特征；

S102，确定循环生成对抗网络的目标函数；

S103，将单域数据集中的每一个样本图像依次输入到生成器中，对建立的循环生成对抗网络进行训练，得到最优的生成器，利用得到的最优的生成器对待增强图像进行图像增强。

本发明实施例所述的图像增强方法，建立基于单域数据集的循环生成对抗网络，其中，循环生成对抗网络包含生成器和判别器，生成器用于生成原图的增强图像，判别器用于辨别原图与增强图像的高层特征相似度；确定循环生成对抗网络的目标函数，以确保生成对抗网络的训练高效稳定，并且使得最终生成的最优生成器能够很好地保护原图的特征；将单域数据集中的每一个样本图像依次输入到生成器中，对建立的循环生成对抗网络进行训练，得到最优的生成器，以便利用得到的最优的生成器对待增强图像进行图像增强。这样，使用单域数据集训练循环生成对抗网络，生成最优的图像增强生成器，然后用此生成器对待增强图像进行图像增强的同时，使得增强后的图像从色彩方面有所改善，更接近专业图像色彩，且能够大大降低训练过程的计算复杂度。

本实施例中，采用单域数据集作为训练样本，而不使用成对数据集或者不成对的双域数据集进行训练，验证了循环生成对抗网络仅需要一个数据集即可实现图像增强的功能，同时使用深度学习进行图像增强为传统图像增强方法提供新思路。

在前述图像增强方法的具体实施方式中，进一步地，如图2所示，所述循环生成对抗网络包括：具有相同结构的生成器G、G’和具有相同结构的判别器D、D’；

每个生成器包括：输入层、三个训练的卷积层、六个残差模块和两个转置卷积层；

每个判别器包括：输入层、三个训练的卷积层。

本实施例中，生成器G、G’的输入图像相同、输出预期相同，以生成器G为例，生成器G以单域数据集X为输入，生成增强图像X’；每个生成器可以先用三个stride＝2的卷积做下采样，紧跟着是若干个残差模块，接下来是两个stride＝1/2的卷积做上采样，这样，能够保证生成器的输入图像与输出图像的大小一致，结构共享。

本实施例中，判别器的网络结构是在生成器的网络结构的基础上去掉上采样的结构，直接用原图与增强图像的高层特征进行比较，从而判别增强图像的质量，具体的：通过做差比较原图与增强图像的高层特征的差异/相似度。

在前述图像增强方法的具体实施方式中，进一步地，所述确定循环生成对抗网络的目标函数包括：

A1，确定生成器G和判别器D’的对抗损失函数L_GAN(G,D′,X)，其中X表示单域数据集，L_GAN(G,D′,X)表示为：

L_GAN(G,D′,X)＝E_x∈Pdata(x)[logD′(x)]+E_x∈Pdata(x)[log(1-D′(G(x)))]

其中，Pdata(x)表示单域数据集X，x表示单域数据集X中的样本图像；E[·]表示取一个训练批次中所有样本计算的期望值；x’表示样本图像x输入到生成器G中后，生成的增强图像；D’(x)表示将x输入判别器D中进行判别；G(x)表示将x放入生成器G中做图像生成；D′(G(x))表示将G(x)生成的图像输入到D′中进行判别。

本实施例中，训练循环生成对抗网络，判别器D’旨在最大化L_GAN，而生成器G旨在最小化L_GAN，所以，整体的训练目标是：

min_Gmax_D′L_GAN(G,D′,X)。

A2，按照步骤A1的方法，确定生成器G’和判别器D的对抗损失函数L_GAN(G′,D,X)。

A3，确定生成器G和G’的循环一致损失函数L_cyc(G,G′)；

本实施例中，由于单纯的对抗损失函数无法确保训练时输入图像收敛于所期望的增强效果，因此需要循环一致损失函数对训练过程进行约束。只有收敛的训练，才可实现对图像的增强，为了一定程度上解决发散问题，可以较好地收敛，因此采用了循环生成对抗网络。因此，对于单域数据集Pdata(x)中的每一个样本图像x，循环生成对抗网络需要保证可由x通过生成器G合成x’，也可以将x’通过生成器G’转化为x本身，即

x->G(x)＝x′->G′(G(x))＝X”≈x

且需要保证可由x通过生成器G’合成x’，也可以将x’通过生成器G转化为x本身，即x->G′^(x)＝x′->G(G′(x))＝X”≈x。

因此，循环一致损失函数L_cyc(G,G′)表示为：

L_cyc(G,G′)＝E_x∈Pdata(x)[||G′(G(x))-x||₁]

其中，||·||₁表示1-范数。

需要说明的是：

由于循环生成对抗网络是对称的结构，所以x->G′(x)＝x′->G(G′(x))＝X”≈x这个方向的循环一致损失函数L_cyc(G,G′)与x->G′^(x)＝x′->G(G′(x))＝X”≈x这个方向的循环一致损失函数L_cyc(G,G′)是相同的，因为采用的是单数据集域，则可以降低计算复杂度。

A4，为保证训练过程稳定且生成质量高的图像，可以根据确定的对抗损失函数L_GAN(G,D′,X)、L_GAN(G′,D,X)和循环一致损失函数L_cyc(G,G′)，确定循环生成对抗网络的总损失函数L(G,G′,D,D′)，L(G,G′,D,D′)表示为：

L(G,G′,D,D′)＝L_GAN(G,D′,X)+L_GAN(G′,D,X)+βL_cyc(G,G′)

其中，β表示训练循环生成对抗网络时的权重。

A5，根据得到的L(G,G′,D,D′)，确定循环生成对抗网络的目标函数为：

其中，G^*、G′^*都表示最优的生成器。

另需要说明的是：

1)可以设D(x)为判别器D使用高层特征的语义感知差别计算得到的输入样本图像x近似于目标样本(因为采用的是单域数据集，所以目标样本为单域数据集中的图像)的概率，当判别x接近目标样本时判别器输出值会近似为1，当判别器D判别x不接近于目标样本时判别器输出值会近似为0。

2)生成器G旨在让原图x经过已学习的循环生成对抗网络训练后得到x’，使得x’与原图的高层特征保持一致，使得判别器D区分不出原图与x’的差异。故生成器与判别器是相互对抗的网络。

在前述图像增强方法的具体实施方式中，进一步地，所述将单域数据集中的每一个样本图像依次输入到生成器中，对建立的循环生成对抗网络进行训练，得到最优的生成器包括：

将单域数据集X中的每一个样本图像x依次输入到生成器G中，生成增强图像x’，将增强图像x’与原图x输入到判别器D’中做是否仍是相似的图像的判别，输出对抗损失，将增强图像x’输入到生成器G’，得到近似x的图像x”，对图像x”与原图x计算循环一致损失；

将单域数据集X中的每一个样本图像x依次输入到生成器G’中，生成增强图像x’，将增强图像x’与原图x输入到判别器D中做是否仍是相似的图像的判别，输出对抗损失，将增强图像x’输入到生成器G，得到近似x的图像x”，对图像x”与原图x计算循环一致损失；

根据判别器的输出和计算得到的循环一致损失，使用Adam优化器优化目标函数argmin_G,G′max_D,D′L(G,G′,D,D′)，在分布训练过程中更新参数，获取最优的生成器。

在前述图像增强方法的具体实施方式中，进一步地，在训练过程中，为保证该循环生成对抗网络的稳定性，对于生成器G、G’和判别器D、D’采用分布训练的模式，即训练生成器时，固定判别器的参数，此时不对判别器的参数进行更新，只更新生成器的参数(包括：权重和偏置)；训练判别器时，固定生成器的参数，此时不对生成器的参数进行更新，只更新判别器的参数(包括：权重和偏置)。

以MIT-Adobe数据集为例，如图2、图3所示，对本发明实施例所述的图像增强方法进行说明：

A1，该MIT-Adobe数据集包含5000张图像，所有的图像输入循环生成对抗网络时均调整为512*512；从MIT-Adobe数据集中挑选100张图像作为测试的待增强图像，其余4900张图像为单域数据集X；

A2，建立基于单域数据集的循环生成对抗网络，所述循环生成对抗网络包括：具有相同结构的生成器G、G’和具有相同结构的判别器D、D’；其中，生成器和判别器在每个训练周期参数更新的次数分别为1和3，在每个训练周期，每个训练批次设置为32，即从单域数据集中按次序依次选取32张图像。首先固定两个判别器的参数，训练两个生成器1次，对生成器的参数进行更新；生成器训练完之后，固定其参数，开始训练判别器3次，计算对抗损失，对判别器参数进行更新，随后计算循环一致损失对循环生成对抗网络中的参数(包括：权重和偏置)进行更新。

A3，为了保证训练的稳定性，加快收敛，在训练判别器时，使用历史值监督训练策略：设置一个历史值缓冲区，存储判别器判别过的上一批次的生成图像，在当前批次进行计算对抗损失时，随机从历史值缓冲区采样半个批次的历史生成图像(增强图像)与半个当前批次的生成图像来组成一个批次的生成图像用以判别器的判别，计算对抗损失并更新判别器参数；

A4，训练周期为12000次，每迭代2000次保存一次循环生成对抗网络，将保存好的循环生成对抗网络进行增强效果比较，选择其中增强效果最好的生成器作为最优生成器G*；

A5，在最优生成器G*依次放入待增强图像，查看增强图像的效果。

实施例二

本发明还提供一种图像增强装置的具体实施方式，由于本发明提供的图像增强装置与前述图像增强方法的具体实施方式相对应，该图像增强装置可以通过执行上述方法具体实施方式中的流程步骤来实现本发明的目的，因此上述图像增强方法具体实施方式中的解释说明，也适用于本发明提供的图像增强装置的具体实施方式，在本发明以下的具体实施方式中将不再赘述。

如图4所示，本发明实施例还提供一种图像增强装置，包括：

建立模块11，用于建立基于单域数据集的循环生成对抗网络，其中，单域数据集中的样本图像为已增强图像，循环生成对抗网络包含生成器和判别器，生成器用于生成原图的增强图像，判别器用于辨别原图与增强图像的高层特征相似度，高层特征为生成器中的卷积层提取到的图像特征；

确定模块12，用于确定循环生成对抗网络的目标函数；

训练模块13，用于将单域数据集中的每一个样本图像依次输入到生成器中，对建立的循环生成对抗网络进行训练，得到最优的生成器，以便利用得到的最优的生成器对待增强图像进行图像增强。

本发明实施例所述的图像增强装置，建立基于单域数据集的循环生成对抗网络，其中，循环生成对抗网络包含生成器和判别器，生成器用于生成原图的增强图像，判别器用于辨别原图与增强图像的高层特征相似度；确定循环生成对抗网络的目标函数，以确保生成对抗网络的训练高效稳定，并且使得最终生成的最优生成器能够很好地保护原图的特征；将单域数据集中的每一个样本图像依次输入到生成器中，对建立的循环生成对抗网络进行训练，得到最优的生成器，以便利用得到的最优的生成器对待增强图像进行图像增强。这样，使用单域数据集训练循环生成对抗网络，生成最优的图像增强生成器，然后用此生成器对待增强图像进行图像增强的同时，使得增强后的图像从色彩方面有所改善，更接近专业图像色彩，且能够大大降低训练过程的计算复杂度。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种图像增强方法，其特征在于，包括：

建立基于单域数据集的循环生成对抗网络，其中，单域数据集中的样本图像为已增强图像，循环生成对抗网络包含生成器和判别器，生成器用于生成原图的增强图像，判别器用于辨别原图与增强图像的高层特征相似度，高层特征为生成器中的卷积层提取到的图像特征；

确定循环生成对抗网络的目标函数；

将单域数据集中的每一个样本图像依次输入到生成器中，对建立的循环生成对抗网络进行训练，得到最优的生成器，利用得到的最优的生成器对待增强图像进行图像增强。

2.根据权利要求1所述的图像增强方法，其特征在于，循环生成对抗网络包括：具有相同结构的生成器G、G’和具有相同结构的判别器D、D’；

每个生成器包括：输入层、三个训练的卷积层、六个残差模块和两个转置卷积层；

每个判别器包括：输入层、三个训练的卷积层。

3.根据权利要求1所述的图像增强方法，其特征在于，所述确定循环生成对抗网络的目标函数包括：

确定生成器G和判别器D’的对抗损失函数L_GAN(G,D′,X)，其中，X表示单域数据集；

确定生成器G’和判别器D的对抗损失函数L_GAN(G′,D,X)；

确定生成器G和G’的循环一致损失函数L_cyc(G,G′)；

根据确定的L_GAN(G,D′,X)、L_GAN(G′,D,X)和L_cyc(G,G′)，确定循环生成对抗网络的总损失函数L(G,G′,D,D′)，L(G,G′,D,D′)表示为：

L(G,G′,D,D′)＝L_GAN(G,D′,X)+L_GAN(G′,D,X)+βL_cyc(G,G′)

其中，β表示训练循环生成对抗网络时的权重；

根据得到的L(G,G′,D,D′)，确定循环生成对抗网络的目标函数为：

其中，G^*、G′^*都表示最优的生成器。

4.根据权利要求3所述的图像增强方法，其特征在于，L_GAN(G,D′,X)表示为：

L_GAN(G,D′,X)＝E_x∈Pdata(x)[logD′(x)]+E_x∈Pdata(x)[log(1-D′(G(x)))]

其中，Pdata(x)表示单域数据集X，x表示单域数据集X中的样本图像；E[·]表示取一个训练批次中所有样本计算的期望值；x’表示样本图像x输入到生成器G中后所生成的增强图像；D’(x)表示将x输入判别器D中进行判别；G(x)表示将x放入生成器G中做图像生成；D′(G(x))表示将G(x)生成的图像输入到D′中进行判别。

5.根据权利要求4所述的图像增强方法，其特征在于，循环一致损失函数L_cyc(G,G′)表示为：

L_cyc(G,G′)＝E_x∈Pdata(x)[||G′(G(x))-x||₁]

其中，||·||₁表示1-范数。

6.根据权利要求1所述的图像增强方法，其特征在于，将单域数据集中的每一个样本图像依次输入到生成器中，对建立的循环生成对抗网络进行训练，得到最优的生成器包括：

将单域数据集X中的每一个样本图像x依次输入到生成器G中，生成增强图像x’，将增强图像x’与原图x输入到判别器D’中做是否仍是相似的图像的判别，输出对抗损失，将增强图像x’输入到生成器G’，得到近似x的图像x”，对图像x”与原图x计算循环一致损失；

将单域数据集X中的每一个样本图像x依次输入到生成器G’中，生成增强图像x’，将增强图像x’与原图x输入到判别器D中做是否仍是相似的图像的判别，输出对抗损失，将增强图像x’输入到生成器G，得到近似x的图像x”，对图像x”与原图x计算循环一致损失；

根据判别器的输出和计算得到的循环一致损失，优化目标函数argmin_G,G′max_D,D′L(G,G′,D,D′)，获取最优的生成器。

7.根据权利要求6所述的图像增强方法，其特征在于，在训练过程中，对于生成器G、G’和判别器D、D’采用分布训练的模式，即训练生成器时，固定判别器的参数，不对判别器的参数进行更新，只更新生成器的参数；训练判别器时，固定生成器的参数，不对生成器的参数进行更新，只更新判别器的参数。

8.一种图像增强装置，其特征在于，包括：

建立模块，用于建立基于单域数据集的循环生成对抗网络，其中单域数据集中的样本图像为已增强图像，循环生成对抗网络包含生成器和判别器，生成器用于生成原图的增强图像，判别器用于辨别原图与增强图像的高层特征相似度，高层特征为生成器中的卷积层提取到的图像特征；

确定模块，用于确定循环生成对抗网络的目标函数；

训练模块，用于将单域数据集中的每一个样本图像依次输入到生成器中，对建立的循环生成对抗网络进行训练，得到最优的生成器，以便利用得到的最优的生成器对待增强图像进行图像增强。

Images