CN111008940B - 一种图像增强方法及装置 - Google Patents

一种图像增强方法及装置 Download PDF

Info

Publication number
CN111008940B
CN111008940B CN201911179112.7A CN201911179112A CN111008940B CN 111008940 B CN111008940 B CN 111008940B CN 201911179112 A CN201911179112 A CN 201911179112A CN 111008940 B CN111008940 B CN 111008940B
Authority
CN
China
Prior art keywords
image
generator
discriminator
enhanced
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911179112.7A
Other languages
English (en)
Other versions
CN111008940A (zh
Inventor
孙亮
王姝丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN201911179112.7A priority Critical patent/CN111008940B/zh
Publication of CN111008940A publication Critical patent/CN111008940A/zh
Application granted granted Critical
Publication of CN111008940B publication Critical patent/CN111008940B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种图像增强方法及装置，能够使得增强后的图像从色彩方面有所改善，更接近专业图像色彩，且能够大大降低训练过程的计算复杂度。所述方法包括：建立基于单域数据集的循环生成对抗网络，其中，循环生成对抗网络包含生成器和判别器，生成器用于生成原图的增强图像，判别器用于辨别原图与增强图像的高层特征相似度；确定循环生成对抗网络的目标函数；将单域数据集中的每一个样本图像依次输入到生成器中，对建立的循环生成对抗网络进行训练，得到最优的生成器，利用得到的最优的生成器对待增强图像进行图像增强。本发明涉及图像处理技术领域。

Description

一种图像增强方法及装置
技术领域
本发明涉及图像处理技术领域，特别是指一种图像增强方法及装置。
背景技术
近年来，随着深度学习在计算机领域的快速发展，基于深度学习的图像合成、图像风格迁移、图像增强等方向受到了极大的关注。目前，许多图像合成算法能够对人脸、风景、工业界特定场景图像作很好的处理。而图像增强是图像合成方法的重要分支，是进行图像特征提取的重要部分，同时也是生产生活中对照片处理的重要步骤。图像增强可以有选择的突出图像的重要信息，改善图像的视觉效果，针对不同的应用场景可以选择不同的图像增强效果。因此，图像增强是图像合成，数字图像处理的重要分支，具有很大的应用价值。
在深度学习方法中，训练数据集与训练网络模型都是每个学习的关键，随着技术的发展，越来越多的方法涌现，方法日新月异的同时，对数据集的依赖也越来越重要，而好的数据集是宝贵且难以获得的。生成对抗网络从提出时，就需要成对的数据集，经过近些年研究技术人员的改良，逐渐可以允许数据集的不严格成对(即：成对数据集，需要两个数据域的数据集且数据是一一成对的，例如：未增强图像与该图像的已增强图像是一对)，但依然需要两组不同域的数据集(即：不成对的双域数据集，即需要两个数据域的数据集且数据不严格一一成对的，例如：未增强图像与其他图像的已增强图像组成一对)，导致增加训练过程的计算复杂度。
发明内容
本发明要解决的技术问题是提供一种图像增强方法及装置，以解决现有技术所存在的使用成对数据集或者不成对的双域数据集进行训练增加训练过程的计算复杂度的问题。
为解决上述技术问题，本发明实施例提供一种图像增强方法，包括：
建立基于单域数据集的循环生成对抗网络，其中单域数据集中的样本图像为已增强图像，循环生成对抗网络包含生成器和判别器，生成器用于生成原图的增强图像，判别器用于辨别原图与增强图像的高层特征相似度，高层特征为生成器中的卷积层提取到的图像特征；
确定循环生成对抗网络的目标函数；
将单域数据集中的每一个样本图像依次输入到生成器中，对建立的循环生成对抗网络进行训练，得到最优的生成器，利用得到的最优的生成器对待增强图像进行图像增强。
进一步地，循环生成对抗网络包括：具有相同结构的生成器G、G’和具有相同结构的判别器D、D’；
每个生成器包括：输入层、三个训练的卷积层、六个残差模块和两个转置卷积层；
每个判别器包括：输入层、三个训练的卷积层。
进一步地，所述确定循环生成对抗网络的目标函数包括：
确定生成器G和判别器D’的对抗损失函数LGAN(G,D′,X)，其中X表示单域数据集；
确定生成器G’和判别器D的对抗损失函数LGAN(G′,D,X)；
确定生成器G和G’的循环一致损失函数Lcyc(G,G′)；
根据确定的LGAN(G,D′,X)、LGAN(G′,D,X)和Lcyc(G,G′)，确定循环生成对抗网络的总损失函数L(G,G′,D,D′)，L(G,G′,D,D′)表示为：
L(G,G′,D,D′)＝LGAN(G,D′,X)+LGAN(G′,D,X)+βLcyc(G,G′)
其中，β表示训练循环生成对抗网络时的权重；
根据得到的L(G,G′,D,D′)，确定循环生成对抗网络的目标函数为：
Figure BDA0002290781840000021
其中，G*、G′*都表示最优的生成器。
进一步地，LGAN(G,D′,X)表示为：
LGAN(G,D′,X)＝Ex∈Pdata(x)[logD′(x)]+Ex∈Pdata(x)[log(1-D′(G(x)))]
其中，Pdata(x)表示单域数据集X，x表示单域数据集X中的样本图像；E[·]表示取一个训练批次中所有样本计算的期望值；x’表示样本图像x输入到生成器G中后，生成的增强图像；D’(x)表示将x输入判别器D中进行判别；G(x)表示将x放入生成器G中做图像生成；D′(G(x))表示将G(x)生成的图像输入到D′中进行判别。
进一步地，循环一致损失函数Lcyc(G,G′)表示为：
Lcyc(G,G′)＝Ex∈Pdata(x)[||G′(G(x))-x||1]
其中，||·||1表示1-范数。
进一步地，所述将单域数据集中的每一个样本图像依次输入到生成器中，对建立的循环生成对抗网络进行训练，得到最优的生成器包括：
将单域数据集X中的每一个样本图像x依次输入到生成器G中，生成增强图像x’，将增强图像x’与原图x输入到判别器D’中做是否仍是相似的图像的判别，输出对抗损失，将增强图像x’输入到生成器G’，得到近似x的图像x”，对图像x”与原图x计算循环一致损失；
将单域数据集X中的每一个样本图像x依次输入到生成器G’中，生成增强图像x’，将增强图像x’与原图x输入到判别器D中做是否仍是相似的图像的判别，输出对抗损失，将增强图像x’输入到生成器G，得到近似x的图像x”，对图像x”与原图x计算循环一致损失；
根据判别器的输出和计算得到的循环一致损失，优化目标函数argminG,G′maxD,D′L(G,G′,D,D′)，获取最优的生成器。
进一步地，在训练过程中，对于生成器G、G’和判别器D、D’采用分布训练的模式，即训练生成器时，固定判别器的参数，不对判别器的参数进行更新，只更新生成器的参数；训练判别器时，固定生成器的参数，不对生成器的参数进行更新，只更新判别器的参数。
本发明实施例还提供一种图像增强装置，包括：
建立模块，用于建立基于单域数据集的循环生成对抗网络，其中单域数据集中的样本图像为已增强图像，循环生成对抗网络包含生成器和判别器，生成器用于生成原图的增强图像，判别器用于辨别原图与增强图像的高层特征相似度，高层特征为生成器中的卷积层提取到的图像特征；
确定模块，用于确定循环生成对抗网络的目标函数；
训练模块，用于将单域数据集中的每一个样本图像依次输入到生成器中，对建立的循环生成对抗网络进行训练，得到最优的生成器，以便利用得到的最优的生成器对待增强图像进行图像增强。
本发明的上述技术方案的有益效果如下：
上述方案中，建立基于单域数据集的循环生成对抗网络，其中循环生成对抗网络包含生成器和判别器，生成器用于生成原图的增强图像，判别器用于辨别原图与增强图像的高层特征相似度；确定循环生成对抗网络的目标函数，以确保生成对抗网络的训练高效稳定，并且使得最终生成的最优生成器能够很好地保护原图的特征；将单域数据集中的每一个样本图像依次输入到生成器中，对建立的循环生成对抗网络进行训练，得到最优的生成器，以便利用得到的最优的生成器对待增强图像进行图像增强。这样，使用单域数据集训练循环生成对抗网络，生成最优的图像增强生成器，然后用此生成器对待增强图像进行图像增强的同时，使得增强后的图像从色彩方面有所改善，更接近专业图像色彩，且能够大大降低训练过程的计算复杂度。
附图说明
图1为本发明实施例提供的图像增强方法的流程示意图；
图2为本发明实施例提供的循环生成对抗网络的结构示意图；
图3为本发明实施例提供的图像增强方法的详细流程示意图；
图4为本发明实施例提供的图像增强装置的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明针对现有的利用成对数据集或者不成对的双域数据集进行训练，增加训练过程的计算复杂度的问题，提供一种图像增强方法及装置。
实施例一
如图1所示，本发明实施例提供的图像增强方法，包括：
S101，建立基于单域数据集的循环生成对抗网络，其中单域数据集中的样本图像为已增强图像，循环生成对抗网络包含生成器和判别器，生成器用于生成原图的增强图像，判别器用于辨别原图与增强图像的高层特征相似度，高层特征为生成器中的卷积层提取到的图像特征；
S102，确定循环生成对抗网络的目标函数；
S103，将单域数据集中的每一个样本图像依次输入到生成器中，对建立的循环生成对抗网络进行训练，得到最优的生成器，利用得到的最优的生成器对待增强图像进行图像增强。
本发明实施例所述的图像增强方法，建立基于单域数据集的循环生成对抗网络，其中，循环生成对抗网络包含生成器和判别器，生成器用于生成原图的增强图像，判别器用于辨别原图与增强图像的高层特征相似度；确定循环生成对抗网络的目标函数，以确保生成对抗网络的训练高效稳定，并且使得最终生成的最优生成器能够很好地保护原图的特征；将单域数据集中的每一个样本图像依次输入到生成器中，对建立的循环生成对抗网络进行训练，得到最优的生成器，以便利用得到的最优的生成器对待增强图像进行图像增强。这样，使用单域数据集训练循环生成对抗网络，生成最优的图像增强生成器，然后用此生成器对待增强图像进行图像增强的同时，使得增强后的图像从色彩方面有所改善，更接近专业图像色彩，且能够大大降低训练过程的计算复杂度。
本实施例中，采用单域数据集作为训练样本，而不使用成对数据集或者不成对的双域数据集进行训练，验证了循环生成对抗网络仅需要一个数据集即可实现图像增强的功能，同时使用深度学习进行图像增强为传统图像增强方法提供新思路。
在前述图像增强方法的具体实施方式中，进一步地，如图2所示，所述循环生成对抗网络包括：具有相同结构的生成器G、G’和具有相同结构的判别器D、D’；
每个生成器包括：输入层、三个训练的卷积层、六个残差模块和两个转置卷积层；
每个判别器包括：输入层、三个训练的卷积层。
本实施例中，生成器G、G’的输入图像相同、输出预期相同，以生成器G为例，生成器G以单域数据集X为输入，生成增强图像X’；每个生成器可以先用三个stride＝2的卷积做下采样，紧跟着是若干个残差模块，接下来是两个stride＝1/2的卷积做上采样，这样，能够保证生成器的输入图像与输出图像的大小一致，结构共享。
本实施例中，判别器的网络结构是在生成器的网络结构的基础上去掉上采样的结构，直接用原图与增强图像的高层特征进行比较，从而判别增强图像的质量，具体的：通过做差比较原图与增强图像的高层特征的差异/相似度。
在前述图像增强方法的具体实施方式中，进一步地，所述确定循环生成对抗网络的目标函数包括：
A1，确定生成器G和判别器D’的对抗损失函数LGAN(G,D′,X)，其中X表示单域数据集，LGAN(G,D′,X)表示为：
LGAN(G,D′,X)＝Ex∈Pdata(x)[logD′(x)]+Ex∈Pdata(x)[log(1-D′(G(x)))]
其中，Pdata(x)表示单域数据集X，x表示单域数据集X中的样本图像；E[·]表示取一个训练批次中所有样本计算的期望值；x’表示样本图像x输入到生成器G中后，生成的增强图像；D’(x)表示将x输入判别器D中进行判别；G(x)表示将x放入生成器G中做图像生成；D′(G(x))表示将G(x)生成的图像输入到D′中进行判别。
本实施例中，训练循环生成对抗网络，判别器D’旨在最大化LGAN，而生成器G旨在最小化LGAN，所以，整体的训练目标是：
minGmaxD′LGAN(G,D′,X)。
A2，按照步骤A1的方法，确定生成器G’和判别器D的对抗损失函数LGAN(G′,D,X)。
A3，确定生成器G和G’的循环一致损失函数Lcyc(G,G′)；
本实施例中，由于单纯的对抗损失函数无法确保训练时输入图像收敛于所期望的增强效果，因此需要循环一致损失函数对训练过程进行约束。只有收敛的训练，才可实现对图像的增强，为了一定程度上解决发散问题，可以较好地收敛，因此采用了循环生成对抗网络。因此，对于单域数据集Pdata(x)中的每一个样本图像x，循环生成对抗网络需要保证可由x通过生成器G合成x’，也可以将x’通过生成器G’转化为x本身，即
x->G(x)＝x′->G′(G(x))＝X”≈x
且需要保证可由x通过生成器G’合成x’，也可以将x’通过生成器G转化为x本身，即x->G′(x)＝x′->G(G′(x))＝X”≈x。
因此，循环一致损失函数Lcyc(G,G′)表示为：
Lcyc(G,G′)＝Ex∈Pdata(x)[||G′(G(x))-x||1]
其中，||·||1表示1-范数。
需要说明的是：
由于循环生成对抗网络是对称的结构，所以x->G′(x)＝x′->G(G′(x))＝X”≈x这个方向的循环一致损失函数Lcyc(G,G′)与x->G′(x)＝x′->G(G′(x))＝X”≈x这个方向的循环一致损失函数Lcyc(G,G′)是相同的，因为采用的是单数据集域，则可以降低计算复杂度。
A4，为保证训练过程稳定且生成质量高的图像，可以根据确定的对抗损失函数LGAN(G,D′,X)、LGAN(G′,D,X)和循环一致损失函数Lcyc(G,G′)，确定循环生成对抗网络的总损失函数L(G,G′,D,D′)，L(G,G′,D,D′)表示为：
L(G,G′,D,D′)＝LGAN(G,D′,X)+LGAN(G′,D,X)+βLcyc(G,G′)
其中，β表示训练循环生成对抗网络时的权重。
A5，根据得到的L(G,G′,D,D′)，确定循环生成对抗网络的目标函数为：
Figure BDA0002290781840000071
其中，G*、G′*都表示最优的生成器。
另需要说明的是：
1)可以设D(x)为判别器D使用高层特征的语义感知差别计算得到的输入样本图像x近似于目标样本(因为采用的是单域数据集，所以目标样本为单域数据集中的图像)的概率，当判别x接近目标样本时判别器输出值会近似为1，当判别器D判别x不接近于目标样本时判别器输出值会近似为0。
2)生成器G旨在让原图x经过已学习的循环生成对抗网络训练后得到x’，使得x’与原图的高层特征保持一致，使得判别器D区分不出原图与x’的差异。故生成器与判别器是相互对抗的网络。
在前述图像增强方法的具体实施方式中，进一步地，所述将单域数据集中的每一个样本图像依次输入到生成器中，对建立的循环生成对抗网络进行训练，得到最优的生成器包括：
将单域数据集X中的每一个样本图像x依次输入到生成器G中，生成增强图像x’，将增强图像x’与原图x输入到判别器D’中做是否仍是相似的图像的判别，输出对抗损失，将增强图像x’输入到生成器G’，得到近似x的图像x”，对图像x”与原图x计算循环一致损失；
将单域数据集X中的每一个样本图像x依次输入到生成器G’中，生成增强图像x’，将增强图像x’与原图x输入到判别器D中做是否仍是相似的图像的判别，输出对抗损失，将增强图像x’输入到生成器G，得到近似x的图像x”，对图像x”与原图x计算循环一致损失；
根据判别器的输出和计算得到的循环一致损失，使用Adam优化器优化目标函数argminG,G′maxD,D′L(G,G′,D,D′)，在分布训练过程中更新参数，获取最优的生成器。
在前述图像增强方法的具体实施方式中，进一步地，在训练过程中，为保证该循环生成对抗网络的稳定性，对于生成器G、G’和判别器D、D’采用分布训练的模式，即训练生成器时，固定判别器的参数，此时不对判别器的参数进行更新，只更新生成器的参数(包括：权重和偏置)；训练判别器时，固定生成器的参数，此时不对生成器的参数进行更新，只更新判别器的参数(包括：权重和偏置)。
以MIT-Adobe数据集为例，如图2、图3所示，对本发明实施例所述的图像增强方法进行说明：
A1，该MIT-Adobe数据集包含5000张图像，所有的图像输入循环生成对抗网络时均调整为512*512；从MIT-Adobe数据集中挑选100张图像作为测试的待增强图像，其余4900张图像为单域数据集X；
A2，建立基于单域数据集的循环生成对抗网络，所述循环生成对抗网络包括：具有相同结构的生成器G、G’和具有相同结构的判别器D、D’；其中，生成器和判别器在每个训练周期参数更新的次数分别为1和3，在每个训练周期，每个训练批次设置为32，即从单域数据集中按次序依次选取32张图像。首先固定两个判别器的参数，训练两个生成器1次，对生成器的参数进行更新；生成器训练完之后，固定其参数，开始训练判别器3次，计算对抗损失，对判别器参数进行更新，随后计算循环一致损失对循环生成对抗网络中的参数(包括：权重和偏置)进行更新。
A3，为了保证训练的稳定性，加快收敛，在训练判别器时，使用历史值监督训练策略：设置一个历史值缓冲区，存储判别器判别过的上一批次的生成图像，在当前批次进行计算对抗损失时，随机从历史值缓冲区采样半个批次的历史生成图像(增强图像)与半个当前批次的生成图像来组成一个批次的生成图像用以判别器的判别，计算对抗损失并更新判别器参数；
A4，训练周期为12000次，每迭代2000次保存一次循环生成对抗网络，将保存好的循环生成对抗网络进行增强效果比较，选择其中增强效果最好的生成器作为最优生成器G*；
A5，在最优生成器G*依次放入待增强图像，查看增强图像的效果。
实施例二
本发明还提供一种图像增强装置的具体实施方式，由于本发明提供的图像增强装置与前述图像增强方法的具体实施方式相对应，该图像增强装置可以通过执行上述方法具体实施方式中的流程步骤来实现本发明的目的，因此上述图像增强方法具体实施方式中的解释说明，也适用于本发明提供的图像增强装置的具体实施方式，在本发明以下的具体实施方式中将不再赘述。
如图4所示，本发明实施例还提供一种图像增强装置，包括：
建立模块11，用于建立基于单域数据集的循环生成对抗网络，其中，单域数据集中的样本图像为已增强图像，循环生成对抗网络包含生成器和判别器，生成器用于生成原图的增强图像，判别器用于辨别原图与增强图像的高层特征相似度，高层特征为生成器中的卷积层提取到的图像特征；
确定模块12，用于确定循环生成对抗网络的目标函数；
训练模块13，用于将单域数据集中的每一个样本图像依次输入到生成器中，对建立的循环生成对抗网络进行训练，得到最优的生成器，以便利用得到的最优的生成器对待增强图像进行图像增强。
本发明实施例所述的图像增强装置，建立基于单域数据集的循环生成对抗网络，其中，循环生成对抗网络包含生成器和判别器，生成器用于生成原图的增强图像，判别器用于辨别原图与增强图像的高层特征相似度；确定循环生成对抗网络的目标函数，以确保生成对抗网络的训练高效稳定，并且使得最终生成的最优生成器能够很好地保护原图的特征；将单域数据集中的每一个样本图像依次输入到生成器中，对建立的循环生成对抗网络进行训练，得到最优的生成器，以便利用得到的最优的生成器对待增强图像进行图像增强。这样，使用单域数据集训练循环生成对抗网络，生成最优的图像增强生成器，然后用此生成器对待增强图像进行图像增强的同时，使得增强后的图像从色彩方面有所改善，更接近专业图像色彩，且能够大大降低训练过程的计算复杂度。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.一种图像增强方法，其特征在于，包括：
建立基于单域数据集的循环生成对抗网络，其中，单域数据集中的样本图像为已增强图像，循环生成对抗网络包含生成器和判别器，生成器用于生成原图的增强图像，判别器用于辨别原图与增强图像的高层特征相似度，高层特征为生成器中的卷积层提取到的图像特征；
确定循环生成对抗网络的目标函数；
将单域数据集中的每一个样本图像依次输入到生成器中，对建立的循环生成对抗网络进行训练，得到最优的生成器，利用得到的最优的生成器对待增强图像进行图像增强；
其中，所述确定循环生成对抗网络的目标函数包括：
确定生成器G和判别器D’的对抗损失函数LGAN(G,D′,X)，其中，X表示单域数据集；
确定生成器G’和判别器D的对抗损失函数LGAN(G′,D,X)；
确定生成器G和G’的循环一致损失函数Lcyc(G,G′)；
根据确定的LGAN(G,D′,X)、LGAN(G′,D,X)和Lcyc(G,G′)，确定循环生成对抗网络的总损失函数L(G,G′,D,D′)，L(G,G′,D,D′)表示为：
L(G,G′,D,D′)＝LGAN(G,D′,X)+LGAN(G′,D,X)+βLcyc(G,G′)
其中，β表示训练循环生成对抗网络时的权重；
根据得到的L(G,G′,D,D′)，确定循环生成对抗网络的目标函数为：
Figure FDA0004199082150000011
其中，G*、G′*都表示最优的生成器；
其中，LGAN(G,D′,X)表示为：
LGAN(G,D′,X)＝Ex∈Pdata(x)[logD′(x)]+Ex∈Pdata(x)[log(1-D′(G(x)))]
其中，Pdata(x)表示单域数据集X，x表示单域数据集X中的样本图像；E[·]表示取一个训练批次中所有样本计算的期望值；x’表示样本图像x输入到生成器G中后所生成的增强图像；D’(x)表示将x输入判别器D中进行判别；G(x)表示将x放入生成器G中做图像生成；D′(G(x))表示将G(x)生成的图像输入到D′中进行判别；
其中，循环一致损失函数Lcyc(G,G′)表示为：
Lcyc(G,G′)＝Ex∈Pdata(x)[||G′(G(x))-x||1]
其中，||·||1表示1-范数；
其中，所述将单域数据集中的每一个样本图像依次输入到生成器中，对建立的循环生成对抗网络进行训练，得到最优的生成器包括：
将单域数据集X中的每一个样本图像x依次输入到生成器G中，生成增强图像x’，将增强图像x’与原图x输入到判别器D’中做是否仍是相似的图像的判别，输出对抗损失，将增强图像x’输入到生成器G’，得到近似x的图像x”，对图像x”与原图x计算循环一致损失；
将单域数据集X中的每一个样本图像x依次输入到生成器G’中，生成增强图像x’，将增强图像x’与原图x输入到判别器D中做是否仍是相似的图像的判别，输出对抗损失，将增强图像x’输入到生成器G，得到近似x的图像x”，对图像x”与原图x计算循环一致损失；
根据判别器的输出和计算得到的循环一致损失，优化目标函数
Figure FDA0004199082150000021
获取最优的生成器。
2.根据权利要求1所述的图像增强方法，其特征在于，循环生成对抗网络包括：具有相同结构的生成器G、G’和具有相同结构的判别器D、D’；
每个生成器包括：输入层、三个训练的卷积层、六个残差模块和两个转置卷积层；
每个判别器包括：输入层、三个训练的卷积层。
3.根据权利要求1所述的图像增强方法，其特征在于，在训练过程中，对于生成器G、G’和判别器D、D’采用分布训练的模式，即训练生成器时，固定判别器的参数，不对判别器的参数进行更新，只更新生成器的参数；训练判别器时，固定生成器的参数，不对生成器的参数进行更新，只更新判别器的参数。
4.一种图像增强装置，其特征在于，包括：
建立模块，用于建立基于单域数据集的循环生成对抗网络，其中单域数据集中的样本图像为已增强图像，循环生成对抗网络包含生成器和判别器，生成器用于生成原图的增强图像，判别器用于辨别原图与增强图像的高层特征相似度，高层特征为生成器中的卷积层提取到的图像特征；
确定模块，用于确定生成器G和判别器D’的对抗损失函数LGAN(G,D′,X)，其中，X表示单域数据集；确定生成器G’和判别器D的对抗损失函数LGAN(G′,D,X)；确定生成器G和G’的循环一致损失函数Lcyc(G,G′)；根据确定的LGAN(G,D′,X)、LGAN(G′,D,X)和Lcyc(G,G′)，确定循环生成对抗网络的总损失函数L(G,G′,D,D′)，根据得到的L(G,G′,D,D′)，确定循环生成对抗网络的目标函数；
其中，L(G,G′,D,D′)表示为：
L(G,G′,D,D′)＝LGAN(G,D′,X)+LGAN(G′,D,X)+βLcyc(G,G′)
其中，β表示训练循环生成对抗网络时的权重；
其中，LGAN(G,D′,X)表示为：
LGAN(G,D′,X)＝Ex∈Pdata(x)[logD′(x)]+Ex∈Pdata(x)[log(1-D′(G(x)))]
其中，Pdata(x)表示单域数据集X，x表示单域数据集X中的样本图像；E[·]表示取一个训练批次中所有样本计算的期望值；x’表示样本图像x输入到生成器G中后所生成的增强图像；D’(x)表示将x输入判别器D中进行判别；G(x)表示将x放入生成器G中做图像生成；D′(G(x))表示将G(x)生成的图像输入到D′中进行判别；
其中，循环一致损失函数Lcyc(G,G′)表示为：
Lcyc(G,G′)＝Ex∈Pdata(x)[||G′(G(x))-x||1]
其中，||·||1表示1-范数；
其中，确定的循环生成对抗网络的目标函数为：
Figure FDA0004199082150000031
其中，G*、G′*都表示最优的生成器；
训练模块，用于将单域数据集X中的每一个样本图像x依次输入到生成器G中，生成增强图像x’，将增强图像x’与原图x输入到判别器D’中做是否仍是相似的图像的判别，输出对抗损失，将增强图像x’输入到生成器G’，得到近似x的图像x”，对图像x”与原图x计算循环一致损失；将单域数据集X中的每一个样本图像x依次输入到生成器G’中，生成增强图像x’，将增强图像x’与原图x输入到判别器D中做是否仍是相似的图像的判别，输出对抗损失，将增强图像x’输入到生成器G，得到近似x的图像x”，对图像x”与原图x计算循环一致损失；根据判别器的输出和计算得到的循环一致损失，优化目标函数
Figure FDA0004199082150000041
获取最优的生成器，以便利用得到的最优的生成器对待增强图像进行图像增强。
CN201911179112.7A 2019-11-27 2019-11-27 一种图像增强方法及装置 Active CN111008940B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911179112.7A CN111008940B (zh) 2019-11-27 2019-11-27 一种图像增强方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911179112.7A CN111008940B (zh) 2019-11-27 2019-11-27 一种图像增强方法及装置

Publications (2)

Publication Number Publication Date
CN111008940A CN111008940A (zh) 2020-04-14
CN111008940B true CN111008940B (zh) 2023-06-27

Family

ID=70112047

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911179112.7A Active CN111008940B (zh) 2019-11-27 2019-11-27 一种图像增强方法及装置

Country Status (1)

Country Link
CN (1) CN111008940B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112396110B (zh) * 2020-11-20 2024-02-02 南京大学 一种基于生成对抗级联网络增广图像的方法
CN112767505B (zh) * 2020-12-31 2023-12-22 深圳市联影高端医疗装备创新研究院 图像处理方法、训练方法、装置、电子终端及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109493303A (zh) * 2018-05-30 2019-03-19 湘潭大学 一种基于生成对抗网络的图像去雾方法
CN110503598A (zh) * 2019-07-30 2019-11-26 西安理工大学 基于条件循环一致性生成对抗网络的字体风格迁移方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11501438B2 (en) * 2018-04-26 2022-11-15 Elekta, Inc. Cone-beam CT image enhancement using generative adversarial networks

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109493303A (zh) * 2018-05-30 2019-03-19 湘潭大学 一种基于生成对抗网络的图像去雾方法
CN110503598A (zh) * 2019-07-30 2019-11-26 西安理工大学 基于条件循环一致性生成对抗网络的字体风格迁移方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种基于有限数据集的图像快速生成改进方法;张家亮;何志鹏;王媛媛;曾兵;沈宜;贾宇;;通信技术(第05期);全文 *

Also Published As

Publication number Publication date
CN111008940A (zh) 2020-04-14

Similar Documents

Publication Publication Date Title
US20190279088A1 (en) Training method, apparatus, chip, and system for neural network model
CN111914085B (zh) 文本细粒度情感分类方法、系统、装置及存储介质
US11854247B2 (en) Data processing method and device for generating face image and medium
CN111008940B (zh) 一种图像增强方法及装置
US20230093746A1 (en) Video loop recognition
CN113011337B (zh) 一种基于深度元学习的汉字字库生成方法及系统
CN114388064A (zh) 用于蛋白质表征学习的多模态信息融合方法、系统、终端及存储介质
CN111860664B (zh) 超声平面波复合成像方法、装置及存储介质
CN113868366A (zh) 一种面向流数据的在线跨模态检索方法与系统
CN112634992A (zh) 分子性质预测方法及其模型的训练方法及相关装置、设备
US20230252294A1 (en) Data processing method, apparatus, and device, and computer-readable storage medium
US11887277B2 (en) Removing compression artifacts from digital images and videos utilizing generative machine-learning models
CN113743277A (zh) 一种短视频分类方法及系统、设备和存储介质
WO2021176337A1 (en) Deterministic decoder variational autoencoder
CN117033657A (zh) 一种信息检索方法及装置
CN115577797B (zh) 一种基于本地噪声感知的联邦学习优化方法及系统
CN116434224A (zh) 一种细粒度图像识别方法及系统
CN113836319B (zh) 融合实体邻居的知识补全方法及系统
CN116128044A (zh) 一种模型剪枝方法、图像处理方法及相关装置
CN115905838A (zh) 一种视听辅助的细粒度触觉信号重建方法
CN113591472A (zh) 歌词生成方法、歌词生成模型训练方法、装置及电子设备
CN113298049B (zh) 图像特征降维方法、装置、电子设备和存储介质
Nguyen et al. Self-attention generative distribution adversarial network for few-and zero-shot face anti-spoofing
CN113011555B (zh) 一种数据处理方法、装置、设备及存储介质
CN116758379B (zh) 一种图像处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant