CN110853110B - 一种基于生成对抗网络的图片自动调色方法 - Google Patents

Abstract

本发明公开了一种基于生成对抗网络的图片自动调色方法，包括以下步骤：1)获取训练组；2)利用生成器网络对每个训练组进行修片处理；3)利用判别器网络计算重构图片和目标图片的对抗损失；4)将对抗损失反馈给判别器网络，以更新判别器网络的权重；5)利用VGG网络计算感知损失；6)将感知损失与对抗损失加权和作为总损失，反向传播至生成器模型，指导生成器模型调整其对原始图片进行修片处理的参数；7)重复上述操作，直至完成训练；8)利用完成训练的生成器模型进行修片。本发明还公开了一种基于生成对抗网络的图片自动调色系统。本发明可实现自动调色，颜色调整的效果统一，色彩调整的风格稳定；最终成品像素高，计算量小。

Description

一种基于生成对抗网络的图片自动调色方法

技术领域

本发明属于图像处理技术领域，具体是关于图像色彩的调整，尤其是涉及一种基于生成对抗网络的图片自动调色方法。

背景技术

目前市面上对于婚纱摄影场景的图片处理都是采用人工修图的方法，使用photoshop的宏来自定义调色模块，实现图片增强自动化流程，图片处理效率低，而且不能保证最终出图效果的一致性。因此需要一款代替婚纱摄影中人工使用photoshop调色的流程，根据图片人物场景自动化调色的软件。

发明内容

为了克服现有技术的不足，本发明提供一种图片色彩调整的风格输出稳定，最终成品像素高，与目标图片效果一致性好的基于生成对抗网络的图片自动调色方法。

本发明解决其技术问题所采用的技术方案是：一种基于生成对抗网络的图片自动调色方法，包括以下步骤：

1)获取多组由原始图片和经人工调色后获得的目标图片组成的训练组；

2)利用生成器网络对每个训练组的原始图片针对颜色信息进行修片处理，得到经过一次处理后的重构图片；

3)利用判别器网络计算经过一次处理后的重构图片和目标图片的对抗损失；

4)将步骤3)中得到的对抗损失反馈给判别器网络，以更新判别器网络的权重；

5)利用VGG网络计算经过一次处理后的重构图片和目标图片的感知损失；

6)将步骤5)中的感知损失与步骤3)中的对抗损失调整至统一的数量级后，对抗损失和感知损失加权和作为总损失，将总损失反向传播至生成器模型，指导生成器模型调整其对原始图片进行修片处理的参数；

7)重复上述步骤2)-6)中的操作，直至完成训练；

8)利用上述完成训练的生成器模型对待处理的原始图片进行处理，得到自动完成调色的目标重构图片。

进一步的，所述步骤7)中完成训练的条件为步骤6)中总损失小于预设值，或不再收敛的迭代超过耐力值或达到迭代上限次数。

进一步的，所述步骤8)之前经过测试步骤，在完成训练的生成器模型中输入用于测试的原始图片，生成的预测图片利用峰值信噪比图像评价算法评估其与目标图片的拟合程度。

进一步的，所述步骤2)中原始图片在保留第一skip第一skip层后，经过下采样后进行修片处理，获取目标颜色变化信息，得到重构图片后再经过上采样获得与第一skip层像素一致的第二skip层第二skip层，两层相加之后第一skip层第二skip层计算残差，于残差在设定值内时，获得处理后的重构图片。

进一步的，所述步骤2)中包括九个残差联块，每个残差块包括卷积可学习窗口、激活、第一次批标准化、再增加卷积可学习窗口、第二次批标准化过程。

进一步的，所述步骤6)中对抗损失的权重为0.5，感知损失的权重为0.5。

进一步的，所述感知损失为VGG19感知损失。

本发明还公开了一种基于生成对抗网络的图片自动调色系统，包括：

对抗生成网络模型和VGG网络模型；

所述对抗生成网络模型包括生成器模型和判别器模型；

生成器模型，用于对原始图片针对颜色信息进行修片处理，得到重构图片；

判别器模型，用于计算生成器模型中得到的重构图片与经人工调色后获得的目标图片的对抗损失；

VGG网络模型，用于计算重构图片和目标图片的感知损失；

第一修正单元，用于利用判别器模型中得到的对抗损失更新判别器模型的权重；

第二修正单元，将对抗损失和感知损失加权和作为总损失，反向传播总损失至生成器模型，指导生成器模型实时修正修片处理的参数。

作为优选，所述生成器模型内嵌入有残差计算单元，其用于对原始图片进行下采样和上采样。

作为优选，所述残差计算单元包括九个残差联块。

传统的生成对抗学习网络一般应用于图像风格迁移(如把秋天场景和夏天场景进行图片合成)和提高图片精度(低分辨率图片向高分辨率图片转换)场景，未能实现在图片上进行有方向性的调色处理。本发明在传统的生成对抗网络上进行应用场景创新，将其应用于图片调色场景，由于生成对抗网络中生成器和判别器之间的博弈特性相较于传统的机器学习算法能更好地掌握修片调色方向，对生成对抗网络的学习思路应用于图片调色场景是恰当的。基于生成对抗网络博弈对抗性的学习思路，生成器和判别器的整体结构采用卷积神经网络构建，自行设计和搭建出一种适用于图片调色场景的新型对抗学习网络结构。

引入VGG网络，为生成对抗网络增加一个更直观的损失，使生成器权重更理想，以预训练19层VGG网络的conv3_3层为基础的VGG损失,求重构图像和目标图像特征表示的欧氏距离。比起对抗损失的计算方法:对于所有的真实图片，输出为1；对于所有的假图片，输出为0来说，更加直观地反应真实修片和假修片之间的差距。

生成器和判别器均采用卷积神经网络搭建。由于常规网络堆叠在网络深度上的限制性，存在信息丢失问题，引入残差网络作为生成器的组成部分，在加深网络的情况下解决梯度消失问题，并且通过支路直接将输入信息绕道传输到输出，有效保护了信息的完整性。该网络结构由9个结构相同的残差模块组成，其结构设计为模块接收输入后进行3x3的卷积，接激活层和泛化层，再连接一个卷积层进行3x3卷积，通道保持不变，最大程度地在保证信息保留精度同时尽量减少计算量。

训练过程中，生成器运用输入样本组中的原始图片作为输入图像生成重构图像，判别器则运用重构图片和经人工调色后获得的目标图片计算对抗损失，采用Adam+SGD随机梯度下降最优化算法，根据损失反向传播计算出生成对抗网络的参数值。

本发明可以实现自动调色，颜色调整的效果输出统一，色彩调整的风格保持稳定；最终成品像素高，能保持在2600万的像素；整个过程计算量小，自动生成的图片质量高，且输出效果一致性高。

附图说明

图1为本发明的生成对抗网络结构中的生成器模型示意图。

图2为本发明的生成对抗网络结构中的判别器模型示意图。

图3为本发明的生成器模型和判别器模型协同处理过程示意图。

图4为本发明的处理过程流程示意图。

图5为本发明原始图片、目标图片和目标重构图片(自左向右)的效果对比图。

具体实施方式

为了使本技术领域的人员更好的理解本发明方案，下面将结合本发明实施例中的附图，对发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

一种基于生成对抗网络的图片自动调色方法，包括以下步骤：

1)在生成器模型中输入多组训练组图片，每组图片包括未经处理的原始图片和经过人工调色处理后得到的目标图片，图片尺寸均压缩为相同规格，输入的图片信息包括Batch-size，高，宽，维度，RGB颜色信息；

2)每一组图片经过3*3*64卷积层和非线性函数激活层，得到64维特征映射图，以达到丰富深度和信息的目的；

3)生成第一skip层(skip-conv1)，保留步骤2)中较为原始的图片信息；

4)在进行步骤3)的同时，对步骤2)的图片经过下采样后进行修片处理，将图片的高宽值从(480,720)变化到(240,360)，目的是为了进入残差联块，保证计算的顺利进行；

5)进行Batch-normalization批标准化处理，避免梯度消失，加快训练收敛速度；

6)进行残差联块的第一块，共有九块；整个残差联块的目的是学到更深层的颜色和像素变化信息；

每个残差块包括：

Conv-2D：卷积窗口获取信息，可学习→激活：加入非线性因素→第一次批标准化：避免梯度消失，加快训练收敛速度→Conv-2D：再增加一次可学习窗口→第二次批标准化：避免梯度消失，加快训练收敛速度。

7)经过九块残差联块处理后，得到重构图片后再经过上采样获得与原始图片像素一致的第二skip层(skip-conv2)，即将图片的高宽值变换到(480,720)，第二skip层与步骤3)中的第一skip层(skip-conv1)计算残差，在残差设定值内，则获得处理后的重构图片。

由于判别器模型的目的是进行判断，整体趋势是不断加深维度，获取深层信息，从图2中可以看到从一开始的三维变成后面的1024维，所以需要不断压缩空间信息，加深维度，可以理解为是一个得到深层特征的过程，这种深层特征可以更好地概括和表达图像是否为真/为假的问题，虽然整体结构与生成器模型不同，但是对于每一层进行操作作用的解释，与生成器模型中相同，包括：

1)在判别器模型中输入多组训练组图片，每组图片包括经过处理的重构图片和经过人工调色处理后得到的目标图片，输入的图片信息包括Batch-size，高，宽，维度；

2)每一组图片经过3*3*64卷积层和Leaky ReLu函数激活层，得到64维特征映射图，以达到丰富深度和信息的目的；

3)再次卷积增加一次可学习窗口，再次Leaky ReLu函数激活层；

4)第一次批归一化；

5)重复上述操作九次；

6)最后从1024维到1维向量，与VGG损失统一数量级后，加权得到最终损失。

判别器模型经过一次处理后的重构图片和目标图片的对抗损失先反馈给判别器模型，利用第一修正单元更新判别器模型的权重，每次处理后的重构图片都计算其与目标图片的当前对抗损失，再利用第一修正单元将当前对抗损失对判别器模型的权重进行一次更新。

如图4所示，利用VGG网络模型计算经过一次处理后的重构图片和目标图片的感知损失，于本实施例中，感知损失为VGG19感知损失，并将感知损失和对抗损失统一到相同的数量级后，将0.5*对抗损失+0.5*感知损失加权和作为总损失，利用第二修正单元将总损失反向传播至生成器模型中步骤5)-7)的每一步操作，指导生成器模型调整其对原始图片进行修片处理的各种参数，重复上述操作，直至完成训练。完成训练的条件为总损失小于预设值，或者不再收敛的迭代超过耐力值，具体可以根据实际情况确定。

在完成训练之前可以进行测试步骤，在完成训练的本发明生成器模型中输入用于测试的原始图片，生成的预测图片利用峰值信噪比图像评价算法评估其与目标图片的拟合程度，计算合格图片的百分比，如果拟合程度达到要求，则说明训练已完成。

最终输出与经人工调色后获得的目标图片接近的重构图像。

上述过程在基于生成对抗网络的图片自动调色系统中进行，该系统包括对抗生成网络模型和VGG网络模型；对抗生成网络模型包括存储模块、生成器模型和判别器模型，存储模块用于存储多组原始图片和经人工调色后获得的目标图片，以及原始图片修片处理后的重构图片，也就是存储训练组图片；生成器模型用于对原始图片针对颜色信息进行修片处理，得到重构图片；判别器模型用于计算生成器模块中得到的重构图片与经人工调色后获得的目标图片的对抗损失；VGG网络模型，用于计算重构图片和目标图片的感知损失；第一修正单元，用于利用判别器模型中得到的对抗损失更新判别器模型的权重；第二修正单元，将对抗损失和感知损失加权和作为总损失，反向传播总损失至生成器模型，指导生成器模型实时修正修片处理的参数。

注：生成对抗网络，包括生成器网络和判别器网络，生成器网络不断捕捉训练库中的数据，从而产生新的样本，判别器网络也根据相关数据，去判别生成器提供的数据到底是不是足够真实。

在VGG网络中，使用了3个3*3卷积核来代替7*7卷积核，使用了2个3*3卷积核来代替5*5卷积核，这样做的主要目的是在保证具有相同感知野的条件下，提升了网络的深度，在一定程度上提升了神经网络的效果。

上述具体实施方式用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (9)

1.一种基于生成对抗网络的图片自动调色方法，其特征在于包括以下步骤：

1)获取多组由原始图片和经人工调色后获得的目标图片组成的训练组；

2)利用生成器模型对每个训练组的原始图片针对颜色信息进行修片处理，得到经过一次处理后的重构图片；其中，原始图片在保留第一skip层后，经过下采样后进行修片处理，获取目标颜色变化信息，得到重构图片后再经过上采样获得与第一skip层像素一致的第二skip层，两层相加之后计算第一skip层和第二skip层的残差，于残差在设定值内时，获得处理后的重构图片；

3)利用判别器模型计算经过一次处理后的重构图片和目标图片的对抗损失；

4)将步骤3)中得到的对抗损失反馈给判别器模型，以更新判别器模型的权重；

5)利用VGG网络模型计算经过一次处理后的重构图片和目标图片的感知损失；

6)将步骤5)中的感知损失与步骤3)中的对抗损失调整至统一的数量级后，对抗损失和感知损失加权和作为总损失，将总损失反向传播至生成器模型，指导生成器模型调整其对原始图片进行修片处理的参数；

7)重复上述步骤2)-6)中的操作，直至完成训练；

8)利用上述完成训练的生成器模型对待处理的原始图片进行处理，得到自动完成调色的目标重构图片。

2.根据权利要求1所述的基于生成对抗网络的图片自动调色方法，其特征在于：所述步骤7)中完成训练的条件为步骤6)中总损失小于预设值，或不再收敛的迭代超过耐力值或达到迭代上限次数。

3.根据权利要求1所述的基于生成对抗网络的图片自动调色方法，其特征在于：所述步骤8)之前经过测试步骤，在完成训练的生成器模型中输入用于测试的原始图片，生成的预测图片利用峰值信噪比图像评价算法评估其与目标图片的拟合程度。

4.根据权利要求1所述的基于生成对抗网络的图片自动调色方法，其特征在于：所述步骤2)中包括九个残差联块，每个残差块包括卷积可学习窗口、激活、第一次批标准化、再增加卷积可学习窗口、第二次批标准化过程。

5.根据权利要求1所述的基于生成对抗网络的图片自动调色方法，其特征在于：所述步骤6)中对抗损失的权重为0.5，感知损失的权重为0.5。

6.根据权利要求1所述的基于生成对抗网络的图片自动调色方法，其特征在于：所述感知损失为VGG19感知损失。

7.根据权利要求1所述的基于生成对抗网络的图片自动调色方法，其特征在于基于以下系统：

对抗生成网络模型和VGG网络模型；

所述对抗生成网络模型包括生成器模型和判别器模型；

生成器模型，用于对原始图片针对颜色信息进行修片处理，得到重构图片；

判别器模型，用于计算生成器模型中得到的重构图片与经人工调色后获得的目标图片的对抗损失；

VGG网络模型，用于计算重构图片和目标图片的感知损失；

第一修正单元，用于利用判别器模型中得到的对抗损失更新判别器模型的权重；

第二修正单元，将对抗损失和感知损失加权和作为总损失，反向传播总损失至生成器模型，指导生成器模型实时修正修片处理的参数。

8.根据权利要求7所述的基于生成对抗网络的图片自动调色方法，其特征在于：所述生成器模型内嵌入有残差计算单元，其用于对原始图片进行下采样和上采样。

9.根据权利要求8所述的基于生成对抗网络的图片自动调色方法，其特征在于：所述残差计算单元包括九个残差联块。

Images