CN109064423B - 一种基于非对称循环生成对抗损失的智能修图方法 - Google Patents

一种基于非对称循环生成对抗损失的智能修图方法 Download PDF

Info

Publication number
CN109064423B
CN109064423B CN201810810809.9A CN201810810809A CN109064423B CN 109064423 B CN109064423 B CN 109064423B CN 201810810809 A CN201810810809 A CN 201810810809A CN 109064423 B CN109064423 B CN 109064423B
Authority
CN
China
Prior art keywords
loss
image
graph
convolution
unmodified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810810809.9A
Other languages
English (en)
Other versions
CN109064423A (zh
Inventor
高钦泉
高哲玲
刘文哲
童同
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Imperial Vision Information Technology Co ltd
Original Assignee
Fujian Imperial Vision Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Imperial Vision Information Technology Co ltd filed Critical Fujian Imperial Vision Information Technology Co ltd
Priority to CN201810810809.9A priority Critical patent/CN109064423B/zh
Publication of CN109064423A publication Critical patent/CN109064423A/zh
Application granted granted Critical
Publication of CN109064423B publication Critical patent/CN109064423B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于非对称循环生成对抗损失的智能修图方法，将用于图像翻译CycleGAN中的循环一致性思想应用于智能修图领域，提出了非对称循环生成对抗损失，将wGAN运用在循环生成对抗网络的训练中。本发明使用四个子网络组成整体网络结构，并利用非对称循环生成对抗损失来训练，最终得到的正向生成器能改善未修图的色彩、亮度、人像效果等多方特征，提高了图像的视觉感受。

Description

一种基于非对称循环生成对抗损失的智能修图方法
技术领域
本发明涉及图像增强领域，尤其涉及一种基于非对称循环生成对抗损失的智能修图方法。
背景技术
修图属于图像增强领域，将图片的色调、纹理、亮度等进行一定的处理，调整，从而达到更好的视觉效果。随着生活水平的提高，人们对修图的要求也随之提高，如今修图已是业余摄影以及专业摄影都不可或缺的技术之一。
传统的图像增强方法可分为两大类：频域法与空域法。在频域法方面，陈春宁等人[6]改进了频域高斯高通滤波器、巴特沃斯高通滤波器、指数高通滤波器，得出了三种同态滤波器，并通过实验结果给出适用的滤波模型和表达式参数。该方法对图像进行灰度动态范围压缩和对比度增强的效果显著；在空域法方面，Bea等人[4]提出了一种双尺度色调管理方法，其使用大规模色调平衡管理来控制图像大尺度空间色调变化，同时引入了一种计算局部高频成分来处理强边缘纹理的滤波器。该方法对图像的纹理细节进行增强，使得图像更清晰。Edwin.H.Land等人[7]提出了一种以色感一致性为基础的图像增算法Retinex，该方法在动态范围压缩、边缘增强和颜色恒常三个方面达到平衡，因此可以对各种不同类型的图像进行增强。传统的图像增强方法通常是使用某种运算操作，如滤波器，来增强图像某一方面的信息。处理图像的单一性以及众多参数的选择和调优，使得传统算法具有较大的局限性。
为了获得更好的图像增强效果，近年来，学术界开始使用深度学习来进行图像增强。(1)Hasinoff S W等人[5]其受双边网格处理和局部仿射变换的启发，提出了一个结合局部特征与全局特征的卷积神经网络结构。该网络可以用于学习复杂的，依赖于场景转换的图像编辑过程。(2)Andrey Ignatov等人[2]提出了一种端到端的生成对抗网络将普通照片转换为DSLR图像。此研究引入了一种综合感知误差函数，其将内容，颜色和纹理损失相结合。该方法改进的图像质量与单反相机拍摄的照片相媲美，且适用于任何类型的数码相机。(3)Zhu J Y等人[3]提出了一种循环生成对抗网络(CycleGAN)来实现不同风格图像的翻译，该网络由两个不同方向的生成器和两个不同领域的判别器组，其使用来自于源域的数据进行对网络进行训练。方法(1)和(2)要求端到端匹配的训练数据，而CycleGAN则可以使用不匹配的数据训练实现图像翻译。
虽然相关研究已经取得了较好的修图效果，但是还是存在一些问题。当采用传统的方法进行图像增强时，往往只能处理图像单方面问题，无法一次性对图像进行多方改善，不适用于自动修图；当采用基于传统神经网学习修图时，其要求一一匹配的训练数据；当采用改进型神经网络CycleGAN进行图像翻译时，虽解决了数据不匹配的问题，但使得训练过程太过自由、结果易失真。
发明内容
本发明的目的在于提供一种基于非对称循环生成对抗损失的智能修图方法。
本发明采用的技术方案是：
一种基于非对称循环生成对抗损失的智能修图方法，其包括如下步骤：
步骤1，将未修图与修后图处理后组成训练数据集；
从图像数据库的未修图I中按d*d截图子图像Ic，并同时从修后图J中截取相应大小的子图像Jc；Ic与Jc形成包含N个子图像的配对集
Figure BDA0001739082410000021
步骤2，预训练正向生成器；将配对集的未修图的子图像
Figure BDA0001739082410000022
作为模型的输入数据，进行初始卷积阶段、特征结合阶段、不同尺度卷积阶段，最终获得一幅与
Figure BDA0001739082410000023
对应的修后图像
Figure BDA0001739082410000024
所述步骤2具体包括以下步骤：
步骤2.1.1，初始卷积阶段：将未修图像
Figure BDA00017390824100000221
进行一次卷积运算和一次激活函数运算得到其初试卷积阶段的结果
Figure BDA0001739082410000025
其计算公式是：
Figure BDA0001739082410000026
其中
Figure BDA0001739082410000027
和
Figure BDA0001739082410000028
分别是本发明生成器的第一层网络的卷积权值参数和偏置参数；
步骤2.1.2，特征结合阶段：将初始卷积处理阶段得到的结果
Figure BDA0001739082410000029
依次经过四个连接模块，连接模块采用了跨越连接方式，将模块输入与其经过两层卷积后的处理结果相加作为模块输出。最终得到特征结合阶段的结果
Figure BDA00017390824100000210
其计算公式是：
Figure BDA00017390824100000211
Figure BDA00017390824100000212
Figure BDA00017390824100000213
其中
Figure BDA00017390824100000214
和
Figure BDA00017390824100000215
是连接模块中第1层和第2层的输出、
Figure BDA00017390824100000216
和
Figure BDA00017390824100000217
分别是生成器的第k个连接模块中第1层和第2层的卷积权值参数、
Figure BDA00017390824100000218
和
Figure BDA00017390824100000219
分别是第k个连接模块中第1层和第2层的偏置参数。第k个连接模块的输出为
Figure BDA00017390824100000220
步骤2.1.3，不同尺度卷积阶段：将特征结合阶段的结果G5(I(xi))经过卷积核尺度不完全相同的三个卷积层，得到最终的输出图像G(I(xi))，其计算公式是：
Figure BDA0001739082410000031
Figure BDA0001739082410000032
Figure BDA0001739082410000033
其中
Figure BDA0001739082410000034
和
Figure BDA0001739082410000035
分别是不同尺度卷积处理阶段第1个、第2个和3个的卷积层的卷积权值参数，
Figure BDA0001739082410000036
和
Figure BDA0001739082410000037
分别是不同尺度卷积处理阶段第1个、第2个和3个的卷积层的偏置参数，
Figure BDA0001739082410000038
是本发明正向生成器的输出；
步骤2.2，更新优化正向生成器：基于正向生成器网络的总体损失不断更新并优化获得最优的卷积权值参数和偏置参数，此时总体损失由感知损失和均方误差组成。其中，感知损失是生成的修后图
Figure BDA0001739082410000039
经VGG-19网络[1]提取的特征值与真实修后图
Figure BDA00017390824100000310
经VGG-19网络[1]提取的特征值之间的欧氏距离，均方误差是生成修后图
Figure BDA00017390824100000311
与真实修后图
Figure BDA00017390824100000312
对应像素之间差值平方的平均值。所述损失的计算公式是：
Figure BDA00017390824100000313
Figure BDA00017390824100000314
Figure BDA00017390824100000315
Figure BDA00017390824100000316
为生成修后图
Figure BDA00017390824100000317
与真实修后图
Figure BDA00017390824100000318
之间的均方误差，其中n为图像的像素点总数；
Figure BDA00017390824100000319
为生成修后图
Figure BDA00017390824100000320
与真实修后图
Figure BDA00017390824100000321
之间的感知损失，其中
Figure BDA00017390824100000322
是VGG-19网络第j层网络的特征映射，Cj、Hj和Wj分别表示此时图像的通道数、高度和宽度；
Figure BDA00017390824100000323
为此时正向生成器网络Gf的总体损失。
步骤2.3，当训练结果生成的修后图与真实的修后图进行比较时没有获得预期的修图效果，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数，再执行步骤2.1至步骤2.2；当训练结果生成的修后图与真实的修后图进行比较时已获得预期的修图效果，则继续停止反向传播，并保存步骤2.2最终所获得的卷积权值参数和偏置参数。
步骤3，加载步骤2.3保存的最优卷积权值参数和偏置参数至正向生成器，在此基础上训练由正向生成器和修后图域判别器组成的Wasserstein生成对抗网络。
所述步骤3具体包括以下步骤：
步骤3.1，生成修后图像。将未修图
Figure BDA0001739082410000041
作为正向生成器Gf的输入数据，如步骤2.1得到与
Figure BDA0001739082410000042
对应的修后图像
Figure BDA0001739082410000043
步骤3.2，获取真实修后图像
Figure BDA0001739082410000044
的判别值。将真实修后图
Figure BDA0001739082410000045
作为修后图域判别器的输入，经过卷积处理阶段与全连接处理阶段，得到判别值
Figure BDA0001739082410000046
所述步骤3.2具体包括以下步骤：
步骤3.2.1，卷积处理阶段：将真实修后图
Figure BDA0001739082410000047
经过五层特征提取模块，特征提取模块由一个卷积层和一个下采样层组成，最终得到卷积处理阶段的结果
Figure BDA0001739082410000048
其计算公式是：
Figure BDA0001739082410000049
Figure BDA00017390824100000410
其中
Figure BDA00017390824100000411
和
Figure BDA00017390824100000412
表示判别器第t个卷积层的卷积权重参数和偏置参数，leakt表示第t个卷积层激活函数Leaky relu的负轴斜率。
卷积处理阶段的结果
Figure BDA00017390824100000413
由M个值组成，M的表达式是：
Figure BDA00017390824100000414
其中d是训练数据库中图像的长和宽，width是此时的网络宽度。
步骤3.2.2，全连接处理阶段：将卷积处理阶段的结果
Figure BDA00017390824100000415
经过2个全连接层，得到最终的判别值
Figure BDA00017390824100000416
其计算公式是：
Figure BDA00017390824100000424
Figure BDA00017390824100000417
其中，
Figure BDA00017390824100000418
表示第一个全连接层中第r个神经元的输出，
Figure BDA00017390824100000419
和
Figure BDA00017390824100000420
分别表示全连接层第r个神经元的第j个输入的权值参数和偏置参数，
Figure BDA00017390824100000421
表示第一个全连接层的第j个输入。
步骤3.3，获取正向生成器生成的修后图像
Figure BDA00017390824100000422
的判别值。将生成修后图
Figure BDA00017390824100000423
作为修后图域判别器的输入，如步骤3.2得到判别值
Figure BDA0001739082410000051
步骤3.4，更新优化正向生成器：以步骤2训练的网络为基础，基于总体损失不断更新并优化正向生成器网络，获得最优的卷积权值参数和偏置参数，其中总体损失由感知损失、均方误差与对抗损失组成。对抗损失是由生成修后图的判别值
Figure BDA0001739082410000052
取反所得，感知损失与均方误差的获取如步骤2.2。所述损失的计算公式是：
Figure BDA0001739082410000053
Figure BDA0001739082410000054
其中
Figure BDA0001739082410000055
为生成修后图
Figure BDA0001739082410000056
的对抗损失；
Figure BDA0001739082410000057
为此时正向生成器网络Gf的总体损失。
步骤3.5，更新优化修后图域判别器：基于判别损失不断更新并优化修后图域判别器网络，获得最优的卷积权值参数和偏置参数。其中判别损失是由生成修后图的判别值减去真实的修后图的判别值所得，其计算公式是：
Figure BDA0001739082410000058
其中
Figure BDA0001739082410000059
为正向生成器生成的修后图像，
Figure BDA00017390824100000515
为真实修后图，
Figure BDA00017390824100000510
为正向生成器生成的修后图的判别值，
Figure BDA00017390824100000511
为真实修后图的判别值；
每执行n次步骤3.4再执行m次步骤3.5。
步骤3.6，当训练结果生成的修后图与真实的修后图进行比较时没有获得预期的修图效果，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数，再执行步骤3.1至步骤3.5；当训练结果生成的修后图与真实的修后图进行比较时已获得预期的修图效果，则继续停止反向传播，并保存步骤3.5最终所获得的卷积权值参数和偏置参数。
步骤4，预训练反向生成器。本发明的反向生成器的网络结构与正向生成器完全相同，并使用同样的方法进行预训练。
所述步骤4具体包括以下步骤：
步骤4.1，生成未修图像。参照步骤2.1，将修后图
Figure BDA00017390824100000512
作为反向生成器Gr的输入数据得到还原的未修图
Figure BDA00017390824100000513
步骤4.2，更新优化反向生成器。参照步骤2.2基于由感知损失
Figure BDA00017390824100000514
与均方误差
Figure BDA0001739082410000061
组成的总体损失
Figure BDA0001739082410000062
训练反向生成器。
步骤4.3，当训练结果生成的未修图与真实的未修图进行比较时没有获得预期的还原效果，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数，再执行步骤4.1至步骤4.2；当训练结果生成的未修图与真实的未修图进行比较时已获得预期的还原效果，则继续停止反向传播，并保存步骤4.2最终所获得的卷积权值参数和偏置参数。
步骤5，加载步骤4.3保存的最优卷积权值参数和偏置参数至反向生成器，在此基础上训练由反向生成器和未修图域判别器组成的Wasserstein生成对抗网络。本发明的未修图域判别器的网络结构与修后图域判别器完全相同，并采用同样的方向进行训练。
所述步骤5具体包括以下步骤：
步骤5.1，生成未修图像。参照步骤2.1，将修后图
Figure BDA0001739082410000063
作为反向生成器Gr的输入数据得到还原的未修图
Figure BDA0001739082410000064
步骤5.2，获取判别值。参照步骤3.2至步骤3.3，将生成未修图
Figure BDA0001739082410000065
与真实未修图
Figure BDA0001739082410000066
分别作为未修图域判别器Dr的输入，获得生成未修图的判别值
Figure BDA0001739082410000067
与真实未修图的判别值
Figure BDA0001739082410000068
步骤5.3，更新优化反向生成器：参照步骤3.4，基于总体损失不断更新并优化反向生成器网络，获得最优的卷积权值参数和偏置参数，总体损失
Figure BDA0001739082410000069
由感知损失
Figure BDA00017390824100000610
均方误差
Figure BDA00017390824100000611
与对抗损失
Figure BDA00017390824100000612
组成。
步骤5.4，更新优化未修图域判别器：基于判别损失
Figure BDA00017390824100000613
不断更新并优化未修图域判别器网络，获得最优的卷积权值参数和偏置参数。
步骤5.5，当训练结果生成的未修图与真实的未修图进行比较时没有获得预期的还原效果，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数，再执行步骤5.1至步骤5.4；当训练结果生成的未修图与真实的未修图进行比较时已获得预期的还原效果，则继续停止反向传播，并保存步骤5.4最终所获得的卷积权值参数和偏置参数。
步骤6，加载步骤3保存的最优卷积权值参数和偏置参数至正向生成器和修后图域判别器，且加载步骤5保存的最优卷积权值参数和偏置参数至反向生成器和未修图域判别器，在此基础上训练由这四个子网络组成的整体网络。
所述步骤6具体包括以下步骤：
步骤6.1，获取循环生成网络的结果。
所述步骤6.1具体包括以下步骤：
步骤6.1.1，将步骤1得到的未修图
Figure BDA0001739082410000071
作为正向生成器Gf的输入，如步骤2.1处理得到生成的修后图
Figure BDA0001739082410000072
步骤6.1.2，将步骤6.1.1得到的
Figure BDA0001739082410000073
作为反向生成Gr的输入，如步骤4第一步处理得到循环生成的未修图
Figure BDA0001739082410000074
步骤6.1.3，将步骤1得到的修后图
Figure BDA0001739082410000075
作为反向生成器Gr的输入，如步骤4第一步处理得到生成的未修图
Figure BDA0001739082410000076
步骤6.1.4，将步骤6.1.3得到的
Figure BDA0001739082410000077
作为正向生成器Gf的输入，如步骤2.1处理得到循环生成的修后图
Figure BDA0001739082410000078
步骤6.2，更新优化正向生成器。以步骤3训练的正向生成器网络为基础，基于总体损失不断更新并优化正向生成器网络，获得最优的卷积权值参数和偏置参数，此时的总体损失由修后图域的感知损失、均方误差、对抗损失和未修图域的对抗损失组成。其中，修后图域的感知损失、均方误差、对抗损失获取方式如步骤3.4，未修图域的对抗损失是将循环生成的未修图
Figure BDA0001739082410000079
输入未修图域判别器Dr处理得到的判别值取反所得。此时正向生成器的总体损失计算公式是：
Figure BDA00017390824100000710
步骤6.3，更新优化反向生成器。
步骤6.3.1，以步骤5训练的反向生成器网络为基础，基于总体损失不断更新并优化反向生成器网络，获得最优的卷积权值参数和偏置参数，此时的总体损失由未修图域的感知损失、均方误差、对抗损失和修后图域的对抗损失组成；其中，修后图域的对抗损失是将循环生成的修后图
Figure BDA00017390824100000711
输入修后图域判别器Df处理得到的判别值取反所得；此时反向生成器的总体损失计算公式是：
Figure BDA00017390824100000712
步骤6.3.2，判断步骤6.3.1执行次数是否达到n次；是则执行步骤6.4，否则执行步骤6.2；
步骤6.4，更新优化修后图域判别器；
以步骤3训练的修后图域判别器网络为基础，基于判别损失不断更新并优化修后图域判别器网络，获得最优的卷积权值参数和偏置参数；
步骤6.5，更新优化未修图域判别器；
步骤6.5.1，以步骤5训练的未修图域判别器网络为基础，基于判别损失不断更新并优化修后图域判别器网络，获得最优的卷积权值参数和偏置参数；
步骤6.5.2，判断步骤6.5.1执行次数是否达到m次；是则执行步骤6.6，否则执行步骤6.4；
步骤6.6，当训练得到的正向生成器生成的修后图与真实的修后图进行比较时没有获得预期的修图效果，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数，再执行步骤6.1至步骤6.5；当训练得到的正向生成器生成的修后图与真实的修后图进行比较时已获得预期的修图效果，则继续停止反向传播，并保存步骤6.5最终所获得的卷积权值参数和偏置参数。
本发明采用以上技术方案，使用四个子网络组成整体网络结构，并利用非对称循环生成对抗损失来训练，最终得到的正向生成器能改善未修图的色彩、亮度、人像效果等多方特征，提高了图像的视觉感受。本发明提出的基于非对称循环生成对抗损失的智能修图方法的创新性主要体现在3个方面：第一，本发明首次将用于图像翻译CycleGAN中的循环一致性思想[3]应用于智能修图领域。第二，本发明首次提出了非对称循环生成对抗损失。第三，本发明首次将wGAN运用在循环生成对抗网络的训练中。
附图说明
以下结合附图和具体实施方式对本发明做进一步详细说明；
图1为本发明修图生成对抗网络的整体网络结构；
图2为本发明的生成器结构示意图；
图3为本发明的判别器结构示意图；
图4为原始训练数据集中的未修图；
图5为原始训练数据集中的修后图；
图6为采用本发明方法处理的结果图；
图7为采用现有Retinex处理后的结果图。
具体实施方式
如图1-7之一所示，本发明公开了一种基于非对称循环生成对抗损失的智能修图方法，其分为以下几个步骤：
步骤1，训练数据准备阶段。
所述步骤1具体包括以下步骤：
步骤1.1，选用训练数据集：本发明使用的是以海边婚纱照为主题的图像数据，包含了未修图像和修后图像对。其中修后图是由未修图经过影楼修图师手工修缮得来。修图师在修图过程中，对人像进行了瘦脸、瘦腿、对背景进行了加云朵、去杂物等处理，这使得未修图像和修后图像结构在一定程度上不完全匹配。
步骤1.2，处理图像数据库，形成未修图与修后图的配对集：从未修图I中按d*d(本发明中d＝256)截图子图像Ic，并同时从修后图J中截取相应大小的子图像Jc，形成包含N个子图像的配对集
Figure BDA0001739082410000091
步骤2，预训练正向生成器。
所述步骤2具体包括以下步骤：
步骤2.1生成修后图像。将步骤1得到的未修图
Figure BDA0001739082410000092
作为模型的输入数据，进行初始卷积阶段、特征结合阶段、不同尺度卷积阶段，最终获得一幅与
Figure BDA0001739082410000093
对应的修后图像
Figure BDA0001739082410000094
表1为本发明对生成器连接模块的参数设置、表2为本发明对生成器卷积层的参数设置。
网络层次 卷积核大小 输入网络宽度 输出网络宽度 步长 激活函数
卷积层b1 3*3 64 64 1 ReLU
卷积层b2 3*3 64 64 1 ReLU
表1连接模块参数
网络层次 卷积核大小 输入网络宽度 输出网络宽度 步长 激活函数
卷积层1 3*3 3 64 1 ReLU
卷积层2 3*3 64 64 1 ReLU
卷积层3 3*3 64 64 1 ReLU
卷积层4 9*9 64 3 1 tanh
表2生成器卷积层参数
所述步骤2.1具体包括以下步骤：
步骤2.1.1，初始卷积阶段：将未修图像
Figure BDA0001739082410000095
进行一次卷积运算和一次激活函数运算得到其初试卷积阶段的结果
Figure BDA0001739082410000096
其计算公式是：
Figure BDA0001739082410000097
其中
Figure BDA0001739082410000101
和
Figure BDA0001739082410000102
分别是本发明生成器的第一层网络的卷积权值参数和偏置参数；
步骤2.1.2，特征结合阶段：将初始卷积处理阶段得到的结果
Figure BDA0001739082410000103
依次经过四个连接模块，其中每个连接模块将模块输入与经过两层卷积后的处理结果相加作为模块输出。最终得到特征结合阶段的结果
Figure BDA0001739082410000104
其计算公式是：
Figure BDA0001739082410000105
Figure BDA0001739082410000106
Figure BDA0001739082410000107
其中
Figure BDA0001739082410000108
和
Figure BDA0001739082410000109
是连接模块中第1层和第2层的输出、
Figure BDA00017390824100001010
和
Figure BDA00017390824100001011
分别是生成器的第k个连接模块中第1层和第2层的卷积权值参数、
Figure BDA00017390824100001012
和
Figure BDA00017390824100001013
分别是第k个连接模块中第1层和第2层的偏置参数。第k个连接模块的输出为
Figure BDA00017390824100001014
步骤2.1.3，不同尺度卷积阶段：将特征结合阶段的结果G5(I(xi))经过卷积核尺度不完全相同的三个卷积层，本发明此步的前两个卷积层的卷积核大小为3x3，最后一个卷积层的卷积核大小为9x9。最终得到输出图像G(I(xi))，其计算公式是：
Figure BDA00017390824100001015
Figure BDA00017390824100001016
Figure BDA00017390824100001017
其中
Figure BDA00017390824100001018
和
Figure BDA00017390824100001019
分别是不同尺度卷积处理阶段第1个、第2个和3个的卷积层的卷积权值参数，
Figure BDA00017390824100001020
和
Figure BDA00017390824100001021
分别是不同尺度卷积处理阶段第1个、第2个和3个的卷积层的偏置参数，
Figure BDA00017390824100001022
是本发明正向生成器的输出；
步骤2.2，更新优化正向生成器：基于正向生成器网络的总体损失不断更新并优化获得最优的卷积权值参数和偏置参数，此时总体损失由感知损失和均方误差组成。其中，感知损失是生成的修后图
Figure BDA00017390824100001023
经VGG-19网络[1]提取的特征值与真实修后图
Figure BDA00017390824100001024
经VGG-19网络[1]提取的特征值之间的欧氏距离，均方误差是生成修后图
Figure BDA00017390824100001025
与真实修后图
Figure BDA00017390824100001026
对应像素之间差值平方的平均值。所述损失的计算公式是：
Figure BDA0001739082410000111
Figure BDA0001739082410000112
Figure BDA0001739082410000113
Figure BDA0001739082410000114
为生成修后图
Figure BDA0001739082410000115
与真实修后图
Figure BDA0001739082410000116
之间的均方误差，其中n为图像的像素点总数；
Figure BDA0001739082410000117
为生成修后图
Figure BDA0001739082410000118
与真实修后图
Figure BDA0001739082410000119
之间的感知损失，其中
Figure BDA00017390824100001110
是VGG-19网络第j层网络的特征映射，Cj、Hj和Wj分别表示此时图像的通道数、高度和宽度；
Figure BDA00017390824100001111
为此时正向生成器网络Gf的总体损失。本发明将系数α与β设置为1与0.01。
步骤2.3，当训练结果生成的修后图与真实的修后图进行比较时没有获得预期的修图效果，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数，再执行步骤2.1至步骤2.2；当训练结果生成的修后图与真实的修后图进行比较时已获得预期的修图效果，则继续停止反向传播，并保存步骤2.2最终所获得的卷积权值参数和偏置参数。
步骤3，加载步骤2.3保存的最优卷积权值参数和偏置参数至正向生成器，在此基础上训练由正向生成器和修后图域判别器组成的Wasserstein生成对抗网络。
所述步骤3具体包括以下步骤：
步骤3.1，生成修后图像。将未修图
Figure BDA00017390824100001118
作为正向生成器Gf的输入数据，如步骤2.1得到与
Figure BDA00017390824100001112
对应的修后图像
Figure BDA00017390824100001113
步骤3.2，获取真实修后图像
Figure BDA00017390824100001114
的判别值。将真实修后图
Figure BDA00017390824100001115
作为修后图域判别器的输入，经过卷积处理阶段与全连接处理阶段得到判别值
Figure BDA00017390824100001116
表3为本发明对判别器卷积层的参数设置、表4为本发明对判别器全连接层的参数设置。
Figure BDA00017390824100001117
Figure BDA0001739082410000121
表3判别器卷积层参数
网络层次 神经元个数 激活函数
全连接层1 1024 无
全连接层2 1 无
表4判别器全连接层参数
所述步骤3.2具体包括以下步骤：
步骤3.2.1，特征提取处理阶段：将真实修后图
Figure BDA0001739082410000122
经过五层特征提取模块，特征提取模块由一个卷积层和一个下采样层组成。最终得到卷积处理阶段的结果
Figure BDA0001739082410000123
其计算公式是：
Figure BDA0001739082410000124
Figure BDA0001739082410000125
其中
Figure BDA0001739082410000126
和
Figure BDA0001739082410000127
表示判别器第t个卷积层的卷积权重参数和偏置参数，leakt表示第t个卷积层激活函数Leaky relu的负轴斜率。
卷积处理阶段的结果
Figure BDA0001739082410000128
由M个值组成，M的表达式是：
Figure BDA0001739082410000129
其中d是训练数据库中图像的长和宽，width是此时的网络宽度。
生成修后图卷积处理提取的特征
Figure BDA00017390824100001210
计算过程同上。
步骤3.2.2，全连接处理阶段：将卷积处理阶段的结果
Figure BDA00017390824100001211
经过2层全连接层，得到最终的判别值
Figure BDA00017390824100001212
其计算公式是：
Figure BDA00017390824100001213
Figure BDA00017390824100001214
其中，
Figure BDA00017390824100001215
表示第一个全连接层中第r个神经元的输出，
Figure BDA00017390824100001216
和
Figure BDA00017390824100001217
分别表示全连接层第r个神经元的第j个输入的权值参数和偏置参数，
Figure BDA0001739082410000131
表示第一个全连接层的第j个输入。
步骤3.3，获取正向生成器生成的修后图像的判别值。将生成修后图
Figure BDA0001739082410000132
作为修后图域判别器的输入，如步骤3.2得到判别值
Figure BDA0001739082410000133
步骤3.4，更新优化正向生成器：以步骤2训练的网络为基础，基于总体损失不断更新并优化正向生成器网络，获得最优的卷积权值参数和偏置参数，其中总体损失由感知损失、均方误差与对抗损失组成。对抗损失是由生成修后图的判别值
Figure BDA0001739082410000134
取反所得，感知损失与均方误差的获取如步骤2.2。所述损失的计算公式是：
Figure BDA0001739082410000135
Figure BDA0001739082410000136
其中
Figure BDA0001739082410000137
为生成修后图
Figure BDA0001739082410000138
的对抗损失；
Figure BDA0001739082410000139
为此时正向生成器网络Gf的总体损失。本发明将系数α、β和γ设置为1、0.01与(5e-8)。
步骤3.5，更新优化修后图域判别器：基于判别损失不断更新并优化修后图域判别器网络，获得最优的卷积权值参数和偏置参数。其中判别损失是由生成修后图的判别值减去真实的修后图的判别值所得，其计算公式是：
Figure BDA00017390824100001310
其中
Figure BDA00017390824100001311
为正向生成器生成的修后图像，
Figure BDA00017390824100001312
为真实修后图，
Figure BDA00017390824100001313
为正向生成器生成的修后图的判别值，
Figure BDA00017390824100001314
为真实修后图的判别值；
每执行5次步骤3.4再执行1次步骤3.5。
步骤3.6，当训练结果生成的修后图与真实的修后图进行比较时没有获得预期的修图效果，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数，再执行步骤3.1至步骤3.5；当训练结果生成的修后图与真实的修后图进行比较时已获得预期的修图效果，则继续停止反向传播，并保存步骤3.5最终所获得的卷积权值参数和偏置参数。
所述步骤4具体包括以下步骤：
步骤4.1，生成未修图像。参照步骤2.1，将修后图
Figure BDA00017390824100001315
作为反向生成器Gr的输入数据得到还原的未修图
Figure BDA00017390824100001316
步骤4.2，更新优化反向生成器。参照步骤2.2基于由感知损失
Figure BDA0001739082410000141
与均方误差
Figure BDA0001739082410000142
组成的总体损失
Figure BDA0001739082410000143
训练反向生成器。
步骤4.3，当训练结果生成的未修图与真实的未修图进行比较时没有获得预期的还原效果，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数，再执行步骤4.1至步骤4.2；当训练结果生成的未修图与真实的未修图进行比较时已获得预期的还原效果，则继续停止反向传播，并保存步骤4.2最终所获得的卷积权值参数和偏置参数。
步骤5，加载步骤4.3保存的最优卷积权值参数和偏置参数至反向生成器，在此基础上训练由反向生成器和未修图域判别器组成的Wasserstein生成对抗网络。本发明的未修图域判别器的网络结构与修后图域判别器完全相同，并采用同样的方向进行训练。
所述步骤5具体包括以下步骤：
步骤5.1，生成未修图像。参照步骤2.1，将修后图
Figure BDA0001739082410000144
作为反向生成器Gr的输入数据得到还原的未修图
Figure BDA0001739082410000145
步骤5.2，获取判别值。参照步骤3.2至步骤3.3，将生成未修图
Figure BDA0001739082410000146
与真实未修图
Figure BDA0001739082410000147
分别作为未修图域判别器Dr的输入，获得生成未修图的判别值
Figure BDA0001739082410000148
与真实未修图的判别值
Figure BDA0001739082410000149
步骤5.3，更新优化反向生成器：参照步骤3.4，基于总体损失不断更新并优化反向生成器网络，获得最优的卷积权值参数和偏置参数，总体损失
Figure BDA00017390824100001410
由感知损失
Figure BDA00017390824100001411
均方误差
Figure BDA00017390824100001412
与对抗损失
Figure BDA00017390824100001413
组成。
步骤5.4，更新优化未修图域判别器：基于判别损失
Figure BDA00017390824100001414
不断更新并优化未修图域判别器网络，获得最优的卷积权值参数和偏置参数。
步骤5.5，当训练结果生成的未修图与真实的未修图进行比较时没有获得预期的还原效果，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数，再执行步骤5.1至步骤5.4；当训练结果生成的未修图与真实的未修图进行比较时已获得预期的还原效果，则继续停止反向传播，并保存步骤5.4最终所获得的卷积权值参数和偏置参数。
步骤6.1，获取循环生成网络的结果。
所述步骤6.1具体包括以下步骤：
步骤6.1.1，将步骤1得到的未修图
Figure BDA00017390824100001415
作为正向生成器Gf的输入，如步骤2.1处理得到生成的修后图
Figure BDA0001739082410000151
步骤6.1.2，将步骤6.1.1得到的
Figure BDA0001739082410000152
作为反向生成Gr的输入，如步骤4第一步处理得到循环生成的未修图
Figure BDA0001739082410000153
步骤6.1.3，将步骤1得到的修后图
Figure BDA0001739082410000154
作为反向生成器Gr的输入，如步骤4第一步处理得到生成的未修图
Figure BDA0001739082410000155
步骤6.1.4，将步骤6.1.3得到的
Figure BDA0001739082410000156
作为正向生成器Gf的输入，如步骤2.1处理得到循环生成的修后图
Figure BDA0001739082410000157
步骤6.2，更新优化正向生成器。以步骤3训练的正向生成器网络为基础，基于总体损失不断更新并优化正向生成器网络，获得最优的卷积权值参数和偏置参数，此时的总体损失由修后图域的感知损失、均方误差、对抗损失和未修图域的对抗损失组成。其中，修后图域的感知损失、均方误差、对抗损失获取方式如步骤3.4，未修图域的对抗损失是将循环生成的未修图
Figure BDA0001739082410000158
输入未修图域判别器Dr处理得到的判别值取反所得。此时正向生成器的总体损失计算公式是：
Figure BDA0001739082410000159
本发明将系数α、β、γ和μ分别设置为1、0.01、(5e-8)和(5e-10)。
步骤6.3，更新优化反向生成器。以步骤5训练的反向生成器网络为基础，基于总体损失不断更新并优化反向生成器网络，获得最优的卷积权值参数和偏置参数，此时的总体损失由未修图域的感知损失、均方误差、对抗损失和修后图域的对抗损失组成。其中，未修图域的感知损失、均方误差、对抗损失获取方式如步骤5.3，修后图域的对抗损失是将循环生成的修后图
Figure BDA00017390824100001510
输入修后图域判别器Df处理得到的判别值取反所得。此时反向生成器的总体损失计算公式是：
Figure BDA00017390824100001511
本发明将系数α、β、γ和μ分别设置为1、0.01、(5e-8)和(5e-10)。
步骤6.4，更新优化修后图域判别器。以步骤3训练的修后图域判别器网络为基础，如步骤3.5，基于判别损失不断更新并优化修后图域判别器网络，获得最优的卷积权值参数和偏置参数。
步骤6.5，更新优化未修图域判别器。以步骤5训练的未修图域判别器网络为基础，如步骤5.4，基于判别损失不断更新并优化修后图域判别器网络，获得最优的卷积权值参数和偏置参数。
每执行5次步骤6.2至6.3再执行1次步骤6.4至6.5。
步骤6.6，当训练得到的正向生成器生成的修后图与真实的修后图进行比较时没有获得预期的修图效果，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数，再执行步骤6.1至步骤6.5；当训练得到的正向生成器生成的修后图与真实的修后图进行比较时已获得预期的修图效果，则继续停止反向传播，并保存步骤6.5最终所获得的卷积权值参数和偏置参数。
为了验证本发明的有效性，将本发明的智能修图结果与Andrey Ignatov等人[2]提出的利用深度卷积网络的修图结果进行对比。
从对比图4至7可以看出本发明比现有的传统修图技术Retinex处理效果更佳，其中Retinex在对图片进行边缘增强的同时放大了人脸的纹理，在颜色处理方面，处理后图片整体色调较未修图有所改善，但人像皮肤、背景绿植等局部色彩仍不能达到预期效果；而本发明使用基于非对称循环生成对抗损失使得所搭建的网络更好地学习到了未修图至修后图的映射关系，能对未修图的不同方面，如：色彩、亮度、对比度、饱和度等同时进行多方调节，智能修图结果更符合预期。
本发明使用四个子网络组成整体网络结构，并利用非对称循环生成对抗损失来训练，最终得到的正向生成器能改善未修图的色彩、亮度、人像效果等多方特征，提高了图像的视觉感受。本发明提出的基于非对称循环生成对抗损失的智能修图方法的创新性主要体现在3个方面：
第一，本发明首次将用于图像翻译CycleGAN中的循环一致性思想[3]应用于智能修图领域。受该思想启发，本发明设计了新型的生成器子网络和判别器子网络，组成一个循环生成对抗的整体网络结构。该网络使得图像本身可以通过两个不同映射方向的生成器得到自已所在域的生成图像，并用不同域的判别器得到的判别值来评判生成器网络的性能。这种循环生成对抗网络解决了训练数据图像结构在一定程度上不完全匹配的问题；
第二，本发明首次提出了非对称循环生成对抗损失。已有技术CycleGAN的损失由源域的均方误差和源域的对抗损失组成，其评判生成器性能的损失只基于源域数据，适用于训练数据完全不匹配的图像翻译任务。而在修图领域，未修图和修后图是成对存在的，训练数据仅在一定程度上不匹配，若直接使用CycleGAN学习修图过程将使得生成器脱离目标域的约束而过于自由。故本发明提出了一种非对称循环生成对抗损失，在本发明中，生成器的损失由目标域的均方误差、感知损失与对抗损失和源域的对抗损失组成，生成器同时受到两个领域不对称的损失评判，更适用于使用修图时成对的但具体结构不完全匹配的训练数据学习。
第三，本发明首次将wGAN运用在循环生成对抗网络的训练中。传统的生成对抗网络使用的是原始GAN，原始GAN基于JS散度优化网络[8]，其很难优化，易失去样本多样性，并且训练过程不稳定。而wGAN基于Wasserstein距离优化网络，优势在于改进判别器的同时生成器也能收到改进的梯度，并且wGAN在判别器中引入例如梯度惩罚使得训练稳定[9]。
参考文献：
[1]Johnson J，Alahi A，Li F F.Perceptual Losses for Real-Time StyleTransfer and Super-Resolution[C]//European Conference on ComputerVision.Springer，Cham.2016：694-711.
[2]Andrey Ignatov，Nikolay Kobyshev，Radu Timofte，et al.DSLR-QualityPhotos on Mobile Devices with Deep Convolutional Networks[J].IEEEInternational Conference on Computer Vision，2017：3297-3305
[3]Zhu J Y，Park T，Isola P，et al.Unpaired Image-to-Image Translationusing Cycle-Consistent Adversarial Networks[J]..IEEE International Conferenceon Computer Vision，2017：2242-2251.
[4]Soonmin Bae，Sylvain Paris，and Fredo Durand.Two-scale ToneManagement for Photographic Look[J].ACM SIGGRAPH，2016：637-645.
[5]Hasinoff S W，Hasinoff S W，Hasinoff S W.Deep bilateral learning forreal-time image enhancement[J].Acm Transactions on Graphics，2017，36(4)：118.
[6]陈春宁，王延杰.在频域中利用同态滤波增强图像对比度[J].微计算机信息，2007，23(6)：264-266.
[7]Land E H.Lightness and the Retinex Theory[J].Journal of OpticalSociety of America，1971，61.
[8]Goodfellow I J，Pouget-Abadie J，Mirza M，et al.GenerativeAdversarial Networks[J].Advances in Neural Information Processing Systems，2014，3：2672-2680.
[9]Hsu C C，Hwang H T，Wu Y C，et al.Voice Conversion from UnalignedCorpora using Variational Autoencoding Wasserstein Generative AdversarialNetworks[J].2017：3364-3368.

Claims (9)

1.一种基于非对称循环生成对抗损失的智能修图方法，其特征在于：其包括如下步骤：
步骤1，将未修图与修后图处理后组成训练数据集；
从图像数据库的未修图I中按d*d截图子图像Ic，并同时从修后图J中截取相应大小的子图像Jc；Ic与Jc形成包含N个子图像的配对集
Figure FDA0003510762730000011
步骤2，预训练正向生成器；当训练结果生成的修后图与真实的修后图比较时已获得预期的修图效果，则保存获得步骤2对应的最终所获得的卷积权值参数和偏置参数；
步骤3，加载步骤2保存的最优卷积权值参数和偏置参数至正向生成器，在此基础上训练由正向生成器和修后图域判别器组成的Wasserstein生成对抗网络；当训练结果生成的修后图与真实的修后图比较时已获得预期的修图效果，则保存步骤3对应的最终所获得的卷积权值参数和偏置参数；
步骤4，预训练反向生成器；反向生成器的网络结构与正向生成器完全相同，并使用同样的方法进行预训练；并在训练结果生成的未修图与真实的未修图比较时已获得预期的还原效果时，保存获得步骤4所对应的卷积权值参数和偏置参数；
步骤5，加载步骤4保存的最优卷积权值参数和偏置参数至反向生成器，在此基础上训练由反向生成器和未修图域判别器组成的Wasserstein生成对抗网络；并在训练结果生成的未修图与真实的未修图比较时已获得预期的还原效果时，保存获得步骤5所对应的卷积权值参数和偏置参数；
步骤6，加载步骤3保存的最优卷积权值参数和偏置参数至正向生成器和修后图域判别器，且加载步骤5保存的最优卷积权值参数和偏置参数至反向生成器和未修图域判别器，在此基础上训练由这四个子网络组成的整体网络。
2.根据权利要求1所述的一种基于非对称循环生成对抗损失的智能修图方法，其特征在于：
步骤2具体包括以下步骤：
步骤2.1，将配对集的未修图的子图像
Figure FDA0003510762730000012
作为模型的输入数据，进行初始卷积阶段、特征结合阶段、不同尺度卷积阶段，最终获得一幅与
Figure FDA0003510762730000013
对应的修后图像
Figure FDA0003510762730000014
步骤2.2，更新优化正向生成器：
基于正向生成器网络的总体损失不断更新并优化获得最优的卷积权值参数和偏置参数，总体损失由感知损失和均方误差组成；感知损失是生成的修后图
Figure FDA0003510762730000015
经VGG-19网络提取的特征值与真实修后图
Figure FDA0003510762730000016
经VGG-19网络提取的特征值之间的欧氏距离，均方误差是生成修后图
Figure FDA0003510762730000017
与真实修后图
Figure FDA0003510762730000018
对应像素之间差值平方的平均值；
步骤2.3，当训练结果生成的修后图与真实的修后图比较后没有获得预期的修图效果，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数，再跳转执行步骤2.1；当训练结果生成的修后图与真实的修后图比较后已获得预期的修图效果，则停止反向传播，并保存步骤2.2最终所获得的卷积权值参数和偏置参数。
3.根据权利要求2所述的一种基于非对称循环生成对抗损失的智能修图方法，其特征在于：步骤2.1具体包括以下步骤：
步骤2.1.1，初始卷积阶段：将未修图像
Figure FDA0003510762730000021
进行一次卷积运算和一次激活函数运算得到其初始卷积阶段的结果
Figure FDA0003510762730000022
其计算公式是：
Figure FDA0003510762730000023
其中
Figure FDA0003510762730000024
和
Figure FDA0003510762730000025
分别是所述正向生成器的第一层网络的卷积权值参数和偏置参数；
步骤2.1.2，特征结合阶段：将初始卷积处理阶段得到的结果
Figure FDA0003510762730000026
依次经过四个连接模块，连接模块采用了跨越连接方式，将模块输入与其经过两层卷积后的处理结果相加作为模块输出，最终得到特征结合阶段的结果
Figure FDA0003510762730000027
其计算公式是：
Figure FDA0003510762730000028
Figure FDA0003510762730000029
Figure FDA00035107627300000210
其中
Figure FDA00035107627300000211
和
Figure FDA00035107627300000212
是连接模块中第1层和第2层的输出、
Figure FDA00035107627300000213
和
Figure FDA00035107627300000214
分别是生成器的第k个连接模块中第1层和第2层的卷积权值参数、
Figure FDA00035107627300000215
和
Figure FDA00035107627300000216
分别是第k个连接模块中第1层和第2层的偏置参数，第k个连接模块的输出为
Figure FDA00035107627300000217
步骤2.1.3，不同尺度卷积阶段：将特征结合阶段的结果
Figure FDA00035107627300000218
经过卷积核尺度不完全相同的三个卷积层，得到最终的输出图像
Figure FDA00035107627300000219
其计算公式是：
Figure FDA00035107627300000220
Figure FDA00035107627300000221
Figure FDA00035107627300000222
其中
Figure FDA00035107627300000223
和
Figure FDA00035107627300000224
分别是不同尺度卷积处理阶段第1个、第2个和3个的卷积层的卷积权值参数，
Figure FDA00035107627300000225
和
Figure FDA00035107627300000226
分别是不同尺度卷积处理阶段第1个、第2个和3个的卷积层的偏置参数，
Figure FDA0003510762730000031
是所述正向生成器的输出。
4.根据权利要求2所述的一种基于非对称循环生成对抗损失的智能修图方法，其特征在于：步骤2.2中总体损失的计算公式是：
Figure FDA0003510762730000032
Figure FDA0003510762730000033
Figure FDA0003510762730000034
其中，
Figure FDA0003510762730000035
为生成修后图
Figure FDA0003510762730000036
与真实修后图
Figure FDA0003510762730000037
之间的均方误差，n为图像的像素点总数；
Figure FDA0003510762730000038
为生成修后图
Figure FDA0003510762730000039
与真实修后图
Figure FDA00035107627300000310
之间的感知损失，
Figure FDA00035107627300000311
是VGG-19网络第j层网络的特征映射，Cj、Hj和Wj分别表示此时图像的通道数、高度和宽度；
Figure FDA00035107627300000312
为正向生成器Gf的总体损失，α、β为损失系数。
5.根据权利要求1所述的一种基于非对称循环生成对抗损失的智能修图方法，其特征在于：所述步骤3具体包括以下步骤：
步骤3.1，生成修后图像：将未修图
Figure FDA00035107627300000313
作为正向生成器Gf的输入数据，得到与
Figure FDA00035107627300000314
对应的修后图像
Figure FDA00035107627300000315
步骤3.2，获取真实修后图像
Figure FDA00035107627300000316
的判别值：将真实修后图
Figure FDA00035107627300000317
作为修后图域判别器的输入，经过卷积处理阶段与全连接处理阶段，得到判别值
Figure FDA00035107627300000318
步骤3.3，获取正向生成器生成的修后图像
Figure FDA00035107627300000319
的判别值，将生成修后图
Figure FDA00035107627300000320
作为修后图域判别器的输入，如步骤3.2得到判别值
Figure FDA00035107627300000321
步骤3.4，执行n次更新优化正向生成器：
以步骤2训练的网络为基础，基于总体损失不断更新并优化正向生成器网络，获得最优的卷积权值参数和偏置参数，其中总体损失由感知损失、均方误差与对抗损失组成；
对抗损失是由生成修后图的判别值
Figure FDA00035107627300000322
取反所得，所述损失的计算公式是：
Figure FDA00035107627300000323
Figure FDA0003510762730000041
其中
Figure FDA0003510762730000042
为此时正向生成器Gf的总体损失；
Figure FDA0003510762730000043
为生成修后图
Figure FDA0003510762730000044
与真实修后图
Figure FDA0003510762730000045
之间的均方误差；
Figure FDA0003510762730000046
为生成修后图
Figure FDA0003510762730000047
与真实修后图
Figure FDA0003510762730000048
之间的感知损失；
Figure FDA0003510762730000049
为生成修后图
Figure FDA00035107627300000410
的对抗损失；α、β、γ为损失系数；
步骤3.5，执行m次更新优化修后图域判别器：
基于判别损失不断更新并优化修后图域判别器网络，获得最优的卷积权值参数和偏置参数；其中判别损失是由生成修后图的判别值减去真实的修后图的判别值所得，其计算公式是：
Figure FDA00035107627300000411
其中
Figure FDA00035107627300000412
为正向生成器生成的修后图像，
Figure FDA00035107627300000413
为真实修后图，
Figure FDA00035107627300000414
为正向生成器生成的修后图的判别值，
Figure FDA00035107627300000415
为真实修后图的判别值；
步骤3.6，当训练结果生成的修后图与真实的修后图比较时没有获得预期的修图效果，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数，再跳转执行步骤3.1；当训练结果生成的修后图与真实的修后图比较时已获得预期的修图效果，则停止反向传播，并保存步骤3.5最终所获得的卷积权值参数和偏置参数。
6.根据权利要求5所述的一种基于非对称循环生成对抗损失的智能修图方法，其特征在于：所述步骤3.2具体包括以下步骤：
步骤3.2.1，卷积处理阶段：
将真实修后图
Figure FDA00035107627300000416
经过五层特征提取模块，特征提取模块由一个卷积层和一个下采样层组成，最终得到卷积处理阶段的结果
Figure FDA00035107627300000417
其计算公式是：
Figure FDA00035107627300000418
Figure FDA00035107627300000419
其中
Figure FDA00035107627300000420
和
Figure FDA00035107627300000421
表示修后图域判别器第t个卷积层的卷积权重参数和偏置参数，leakt表示第t个卷积层激活函数Leaky relu的负轴斜率；
卷积处理阶段的结果
Figure FDA00035107627300000422
由M个值组成，M的表达式是：
Figure FDA00035107627300000423
其中d是训练数据库中图像的长和宽，width是此时的网络宽度；
步骤3.2.2，全连接处理阶段：
将卷积处理阶段的结果
Figure FDA0003510762730000051
经过2个全连接层，得到最终的判别值
Figure FDA0003510762730000052
其计算公式是：
Figure FDA0003510762730000053
Figure FDA0003510762730000054
其中，
Figure FDA0003510762730000055
表示第一个全连接层中第r个神经元的输出，
Figure FDA0003510762730000056
和
Figure FDA0003510762730000057
分别表示全连接层第r个神经元的第j个输入的权值参数和偏置参数，
Figure FDA0003510762730000058
表示第一个全连接层的第j个输入。
7.根据权利要求1所述的一种基于非对称循环生成对抗损失的智能修图方法，其特征在于：所述步骤4具体包括以下步骤：
步骤4.1，生成未修图像：将修后图
Figure FDA0003510762730000059
作为反向生成器Gr的输入数据得到还原的未修图
Figure FDA00035107627300000510
步骤4.2，更新优化反向生成器：基于由感知损失
Figure FDA00035107627300000511
与均方误差
Figure FDA00035107627300000512
组成的总体损失
Figure FDA00035107627300000513
训练反向生成器；步骤4.3，当训练结果生成的未修图与真实的未修图比较时没有获得预期的还原效果，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数，再跳转执行步骤4.1；当训练结果生成的未修图与真实的未修图比较时已获得预期的还原效果，则停止反向传播，并保存步骤4.2最终所获得的卷积权值参数和偏置参数。
8.根据权利要求1所述的一种基于非对称循环生成对抗损失的智能修图方法，其特征在于：所述步骤5具体包括以下步骤：
步骤5.1，生成未修图像：将修后图
Figure FDA00035107627300000514
作为反向生成器Gr的输入数据得到还原的未修图
Figure FDA00035107627300000515
步骤5.2，获取判别值：将生成未修图
Figure FDA00035107627300000516
与真实未修图
Figure FDA00035107627300000517
分别作为未修图域判别器Dr的输入，获得生成未修图的判别值
Figure FDA00035107627300000518
与真实未修图的判别值
Figure FDA00035107627300000519
步骤5.3，更新优化反向生成器：基于总体损失不断更新并优化反向生成器网络，获得最优的卷积权值参数和偏置参数，总体损失
Figure FDA00035107627300000520
由感知损失
Figure FDA00035107627300000521
均方误差
Figure FDA00035107627300000522
与对抗损失
Figure FDA00035107627300000523
组成；
步骤5.4，更新优化未修图域判别器：基于判别损失
Figure FDA00035107627300000524
不断更新并优化未修图域判别器网络，获得最优的卷积权值参数和偏置参数；
步骤5.5，当训练结果生成的未修图与真实的未修图比较时没有获得预期的还原效果，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数，再跳转执行步骤5.1；当训练结果生成的未修图与真实的未修图比较时已获得预期的还原效果，则停止反向传播，并保存步骤5.4最终所获得的卷积权值参数和偏置参数。
9.根据权利要求1所述的一种基于非对称循环生成对抗损失的智能修图方法，其特征在于：所述步骤6具体包括以下步骤：
步骤6.1，获取正向生成器与反向生成器的处理结果；
所述步骤6.1具体包括以下步骤：
步骤6.1.1，将步骤1得到的未修图
Figure FDA0003510762730000061
作为正向生成器Gf的输入，处理得到生成的修后图
Figure FDA0003510762730000062
步骤6.1.2，将步骤6.1.1得到的
Figure FDA0003510762730000063
作为反向生成器Gr的输入，处理得到循环生成的未修图
Figure FDA0003510762730000064
步骤6.1.3，将步骤1得到的修后图
Figure FDA0003510762730000065
作为反向生成器Gr的输入，处理得到生成的未修图
Figure FDA0003510762730000066
步骤6.1.4，将步骤6.1.3得到的
Figure FDA0003510762730000067
作为正向生成器Gf的输入，处理得到循环生成的修后图
Figure FDA0003510762730000068
步骤6.2，更新优化正向生成器：
以步骤3训练的正向生成器网络为基础，基于总体损失不断更新并优化正向生成器网络，获得最优的卷积权值参数和偏置参数，此时的总体损失由修后图域的感知损失、均方误差、对抗损失和未修图域的对抗损失组成；其中，未修图域的对抗损失是将循环生成的未修图
Figure FDA0003510762730000069
输入未修图域判别器Dr处理得到的判别值取反所得；此时正向生成器的总体损失计算公式是：
Figure FDA00035107627300000610
其中，α、γ、μ为损失系数；
步骤6.3，更新优化反向生成器：
步骤6.3.1，以步骤5训练的反向生成器网络为基础，基于总体损失不断更新并优化反向生成器网络，获得最优的卷积权值参数和偏置参数，此时的总体损失由未修图域的感知损失、均方误差、对抗损失和修后图域的对抗损失组成；其中，修后图域的对抗损失是将循环生成的修后图
Figure FDA0003510762730000071
输入修后图域判别器Df处理得到的判别值取反所得；此时反向生成器的总体损失计算公式是：
Figure FDA0003510762730000072
其中，α、γ、μ为损失系数；
步骤6.3.2，判断步骤6.3.1执行次数是否达到n次；是则执行步骤6.4，否则执行步骤6.2；
步骤6.4，更新优化修后图域判别器：
以步骤3训练的修后图域判别器网络为基础，基于判别损失不断更新并优化修后图域判别器网络，获得最优的卷积权值参数和偏置参数；
步骤6.5，更新优化未修图域判别器：
步骤6.5.1，以步骤5训练的未修图域判别器网络为基础，基于判别损失不断更新并优化未修图域判别器网络，获得最优的卷积权值参数和偏置参数；
步骤6.5.2，判断步骤6.5.1执行次数是否达到m次；是则执行步骤6.6，否则执行步骤6.4；
步骤6.6，当训练得到的正向生成器生成的修后图与真实的修后图比较时没有获得预期的修图效果，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数，再跳转执行步骤6.1；当训练得到的正向生成器生成的修后图与真实的修后图比较时已获得预期的修图效果，则停止反向传播，并保存步骤6.5最终所获得的卷积权值参数和偏置参数。
CN201810810809.9A 2018-07-23 2018-07-23 一种基于非对称循环生成对抗损失的智能修图方法 Active CN109064423B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810810809.9A CN109064423B (zh) 2018-07-23 2018-07-23 一种基于非对称循环生成对抗损失的智能修图方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810810809.9A CN109064423B (zh) 2018-07-23 2018-07-23 一种基于非对称循环生成对抗损失的智能修图方法

Publications (2)

Publication Number Publication Date
CN109064423A CN109064423A (zh) 2018-12-21
CN109064423B true CN109064423B (zh) 2022-04-08

Family

ID=64835042

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810810809.9A Active CN109064423B (zh) 2018-07-23 2018-07-23 一种基于非对称循环生成对抗损失的智能修图方法

Country Status (1)

Country Link
CN (1) CN109064423B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978792A (zh) * 2019-03-28 2019-07-05 厦门美图之家科技有限公司 一种生成图像增强模型的方法
CN110197226B (zh) * 2019-05-30 2021-02-09 厦门大学 一种无监督图像翻译方法及系统
CN110363793B (zh) * 2019-07-24 2021-09-21 北京华捷艾米科技有限公司 一种对象的跟踪方法及装置
CN110634170B (zh) * 2019-08-30 2022-09-13 福建帝视信息科技有限公司 一种基于语义内容和快速图像检索的照片级图像生成方法
CN110853110B (zh) * 2019-09-20 2023-06-30 杭州火烧云科技有限公司 一种基于生成对抗网络的图片自动调色方法
CN111275647B (zh) * 2020-01-21 2023-06-27 南京信息工程大学 一种基于循环生成对抗网络的水下图像复原方法
CN112163991A (zh) * 2020-09-11 2021-01-01 杭州缦图摄影有限公司 基于修图切片的ai修图训练网络模型
CN113313625B (zh) * 2021-05-13 2022-04-22 华南理工大学 水墨画艺术风格转换方法、系统、计算机设备及存储介质
CN113314109B (zh) * 2021-07-29 2021-11-02 南京烽火星空通信发展有限公司 一种基于循环生成网络的语音生成方法
CN113807497B (zh) * 2021-09-02 2023-09-15 电子科技大学 一种增强纹理细节的非配对图像翻译方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011249886A (ja) * 2010-05-21 2011-12-08 Sharp Corp 画像処理装置、画像形成装置、画像処理方法、画像処理プログラムおよび記録媒体
KR20170137350A (ko) * 2016-06-03 2017-12-13 (주)싸이언테크 신경망 생성 모델을 이용한 객체 움직임 패턴 학습장치 및 그 방법
CN107563995A (zh) * 2017-08-14 2018-01-09 华南理工大学 一种多判别器误差反传的对抗网络方法
CN108182657A (zh) * 2018-01-26 2018-06-19 深圳市唯特视科技有限公司 一种基于循环生成对抗网络的面部图像转换方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107123091B (zh) * 2017-04-26 2020-02-14 福建帝视信息科技有限公司 一种基于深度学习的近红外人脸图像超分辨率重建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011249886A (ja) * 2010-05-21 2011-12-08 Sharp Corp 画像処理装置、画像形成装置、画像処理方法、画像処理プログラムおよび記録媒体
KR20170137350A (ko) * 2016-06-03 2017-12-13 (주)싸이언테크 신경망 생성 모델을 이용한 객체 움직임 패턴 학습장치 및 그 방법
CN107563995A (zh) * 2017-08-14 2018-01-09 华南理工大学 一种多判别器误差反传的对抗网络方法
CN108182657A (zh) * 2018-01-26 2018-06-19 深圳市唯特视科技有限公司 一种基于循环生成对抗网络的面部图像转换方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Patch-Based Image Inpainting with Generative Adversarial Networks;Ugur Demir，等;《arxiv.org》;20180620;全文 *
基于半监督学习生成对抗网络的人脸还原算法研究;曹志义等;《电子与信息学报》;20180215(第02期);全文 *
生成对抗网络理论模型和应用综述;徐一峰;《金华职业技术学院学报》;20170501(第03期);全文 *

Also Published As

Publication number Publication date
CN109064423A (zh) 2018-12-21

Similar Documents

Publication Publication Date Title
CN109064423B (zh) 一种基于非对称循环生成对抗损失的智能修图方法
Liang et al. Cameranet: A two-stage framework for effective camera isp learning
Schwartz et al. Deepisp: Toward learning an end-to-end image processing pipeline
Niu et al. HDR-GAN: HDR image reconstruction from multi-exposed LDR images with large motions
Ni et al. Towards unsupervised deep image enhancement with generative adversarial network
US10997690B2 (en) Method and system for end-to-end image processing
CN109584170B (zh) 基于卷积神经网络的水下图像复原方法
CN110223251B (zh) 适用于人工与自然光源的卷积神经网络水下图像复原方法
Pan et al. MIEGAN: Mobile image enhancement via a multi-module cascade neural network
Wang et al. Joint iterative color correction and dehazing for underwater image enhancement
CN105765607A (zh) 用于图像反卷积的多阶段方法
CN113222875B (zh) 一种基于色彩恒常性的图像和谐化合成方法
CN113284061B (zh) 一种基于梯度网络的水下图像增强方法
CN112419210A (zh) 基于颜色校正和三区间直方图拉伸的水下图像增强方法
CN109829925A (zh) 一种在抠图任务中提取干净前景的方法及模型训练方法
Liu et al. Color enhancement using global parameters and local features learning
Afifi et al. Learning to correct overexposed and underexposed photos
Zheng et al. Windowing decomposition convolutional neural network for image enhancement
Merianos et al. A hybrid multiple exposure image fusion approach for HDR image synthesis
CN112184586A (zh) 基于深度感知的单目视觉图像背景快速虚化的方法及系统
CN116152128A (zh) 基于注意力机制的高动态范围多曝光图像融合模型及方法
Honig et al. Image declipping with deep networks
CN111882495B (zh) 一种基于自定义模糊逻辑与gan的图像高光处理方法
Tatanov et al. LFIEM: Lightweight filter-based image enhancement model
Li et al. A fast image dehazing algorithm for highway tunnel based on artificial multi-exposure image fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant