CN107464210B - 一种基于生成式对抗网络的图像风格迁移方法 - Google Patents

Abstract

一种基于生成式对抗网络的图像风格迁移方法，包括以下步骤：(1)生成随机输入；(2)构建生成网络；(3)构建判别网络；(4)输入风格图像和内容图像；(5)风格和内容的表征学习；(6)对抗训练；(7)输出合成图像。本发明的有益效果主要表现在：生成网络和判别网络的对抗训练结合了生成算法和判别算法的优点，二者的交替优化既提高了模型对高层特征的提取能力又使生成样本愈加逼真。无需手工设计特征，该方法成本较低、效率较高且生成样本质量佳，易于推广。

Description

一种基于生成式对抗网络的图像风格迁移方法

技术领域

本发明涉及一种图像风格迁移方法，具体涉及一种基于生成式对抗网络的 图像风格迁移方法，属于机器学习领域。

背景技术

图像处理是一种具有巨大的社会和经济效益的实用技术，被广泛应用于各 行各业以及人们日常生活中。图像处理中最常见的一个需求是改变图像风格， 其目标是在根据源图像合成风格的同时保留目标图像的语义内容。使用较多的 方法包括：通过目标图像中图像亮度等各种特征的映射来约束风格的合成，迁 移高频纹理信息并保留目标图像的粗尺度信息，或在纹理迁移中利用图像边缘 信息等，这些方法的共同缺点是仅利用了目标图像的低级特征，然而，理想的 图像风格迁移算法应该能够从目标图像中提取语义内容并通过一个纹理迁移过 程对目标图像中的语义内容进行渲染，图像风格迁移的关键在于获得并不依赖 于具体模型的图像语义内容以及风格特征。

发明内容

本发明针对上述现有技术的局限性，提出将生成式对抗网络(GenerativeAdversarial Networks，GANs)应用于风格和内容图像的特征学习，通过风格判 别网络和内容判别网络分别对风格图像和内容图像进行自编码学习，得到不依 赖于具体模型且可分离的风格特征和内容特征，采用深度卷积神经网络的结构 有利于对高层语义进行良好表征。生成网络通过一系列反卷积操作将随机输入 矢量映射为生成图像，通过与判别器进行对抗训练逐步提高生成图像的逼真性。

本发明解决其技术问题所采用的技术方案是：

一种基于生成式对抗网络的图像风格迁移方法，包括以下步骤：

步骤1，生成随机输入：通过对常见概率分布进行采样，得到随机输入矢量 z∈R^d；

步骤2，构建生成网络：构建生成网络G(.):R^d→R^WxHxC，其中，W，H和 C分别表示生成图像G(z)的宽、高和通道数量；

步骤3，构建判别网络：分别构建风格判别网络D_sty和内容判别网络D_cont， 其中，风格判别网络D_sty的输入为风格图像x_sty或者生成器输出的图像G(z)，内 容判别网络D_cont的输入为内容图像x_cont或者G(z)；风格判别网络D_sty和内容判 别网络D_cont的输出均为布尔值，即，当判别网络认为输入图像来自真实图像x_sty或x_cont时，输出1，反之输出0；

步骤4，输入风格图像和内容图像：向风格判别网络D_sty输入任意尺寸的风 格图像x_sty，进行裁剪和去均值等图像预处理；向内容判别网络D_cont输入任意尺 寸的内容图像x_cont并进行去均值处理；

步骤5，风格和内容的表征学习：利用自编码器的思想分别最小化基于风格 和基于内容的重构误差，从而学习风格和内容的有效表征；

5.1依式(1)度量层内特征图之间的相关性，从而获得输入图像的风格表征：

其中，h^l _ik和

分别表示第l层第i和j个特征图中位置k处神经元的激活值；

5.2依式(2)计算基于风格的重构误差：

其中，w_l表示第l层的权重，用于反映第l层重构误差在总重构误差中的比重； S(G(z))表示生成图像G(z)的风格表示，S(x_sty)表示风格图像x_sty的风格表示；

5.3依式(3)计算基于内容的重构误差，也即，像素距离：

步骤6，对抗训练：风格判别网络D_sty和内容判别网络D_cont分别与生成网络 G进行二元零和博弈，即，生成网络G尽可能生成逼真的图像，而风格判别网 络D_sty和内容判别网络D_cont分别从风格角度和内容角度准确区分真实图像和生 成图像；为了在博弈中胜出，生成网络与判别网络需不断提高各自的生成能力 和判别能力，训练的过程实际上是寻找二者的纳什均衡；

6.1依式(4)计算生成网络的对抗损失：

L_{G_adv}＝-∑λ₁log(D_sty(G(z)))+λ₂log(D_con(G(z))) (4)

6.2依式(5)计算判别网络的对抗损失：

其中，第一项和第二项分别表示风格判别网络D_sty和内容判别网络D_cont的对抗 损失函数，每项中的前半部分表示判别器尽量使自己对真实图片x_sty和x_cont输出 1，后半部分表示尽量对生成图片输出0，从而使得区分图片来源的准确率尽可 能高；λ₁和λ₂分别表示基于风格的对抗网络与基于内容的对抗网络的权重；

步骤7，输出合成图像：

7.1依式(6)计算图像风格迁移的总损失函数：

L＝λ_styL_sty+λ_contL_cont+λ_advL_{G_adv} (6)

其中，λ_sty，λ_cont和λ_{G_adv}分别表示基于风格、内容和对抗训练的损失函数在总损 失函数中的权重；

7.2依式(7)计算对图片进行更新：

其中，λ是随机梯度下降的步长。

本发明的技术构思：利用深度卷积神经网络的强大表征能力学习图像风格 和内容的良好表征，通过风格判别网络和内容判别网络的并行学习使风格特征 和内容特征可分离，生成网络通过一系列反卷积操作将随机输入矢量映射为生 成图像，通过与判别器进行对抗训练逐步提高生成图像的逼真性。

本发明的有益效果：生成网络和判别网络的对抗训练结合了生成算法和判 别算法的优点，二者的交替优化既提高了模型对高层特征的提取能力又使生成 样本愈加逼真。无需手工设计特征，该方法成本较低、效率较高且生成样本质 量佳，易于推广。

附图说明

图1是本发明方法流程图。

图2是模型架构示意图。

图3(a),(f)是内容图。

图3(b)(c)(g)(h)是风格图。

图3(d)(e)是内容图(a)按照(b)(c)进行风格迁移后的效果图。

图3(i)(j)是内容图(f)按照(g)(h)进行风格迁移后的效果图。

具体实施方式

下面对本发明作进一步描述。

一种基于生成式对抗网络的图像风格迁移方法，包括以下步骤：

步骤1，生成随机输入：通过对常见概率分布进行采样，得到随机输入矢量 z∈R^d；

步骤2，构建生成网络：构建生成网络G(.):R^d→R^WxHxC，其中，W，H和 C分别表示生成图像G(z)的宽、高和通道数量，网络的结构如表1所示；

表1网络结构参数表

其中，conv表示卷积操作，conv_transpose表示卷积的转置，maxpool表示最大 池化，操作名称后面的数字分别表示卷积核的大小和数量，例如，conv3-64表 示该层的卷积核大小为3，数量为64；

步骤3，构建判别网络：分别构建风格判别网络D_sty和内容判别网络D_cont， 其中，风格判别网络D_sty的输入为风格图像x_sty或者生成器输出的图像G(z)，内 容判别网络D_cont的输入为内容图像x_cont或者G(z)；风格判别网络D_sty和内容判 别网络D_cont的输出均为布尔值，即，当判别网络认为输入图像来自真实图像x_sty或x_cont时，输出1，反之输出0；风格判别网络D_sty和内容判别网络D_cont的具体 结构参数如表1所示；双重判别器的生成式对抗网络的架构示意图如图2所示；

步骤4，输入风格图像和内容图像：向风格判别网络D_sty输入任意尺寸的风 格图像x_sty，进行裁剪和去均值等图像预处理；向内容判别网络D_cont输入任意尺 寸的内容图像x_cont并进行去均值处理；

步骤5，风格和内容的表征学习：利用自编码器的思想分别最小化基于风格 和基于内容的重构误差，从而学习风格和内容的有效表征；

5.1依式(1)度量层内特征图之间的相关性，从而获得输入图像的风格表征：

其中，h^l _ik和

分别表示第l层第i和j个特征图中位置k处神经元的激活值；

5.2依式(2)计算基于风格的重构误差：

其中，w_l表示第l层的权重，用于反映第l层重构误差在总重构误差中的比重； S(G(z))表示生成图像G(z)的风格表示，S(x_sty)表示风格图像x_sty的风格表示；

5.3依式(3)计算基于内容的重构误差，也即，像素距离：

步骤6，对抗训练：风格判别网络D_sty和内容判别网络D_cont分别与生成网络 G进行二元零和博弈，即，生成网络G尽可能生成逼真的图像，而风格判别网 络D_sty和内容判别网络D_cont分别从风格角度和内容角度准确区分真实图像和生 成图像；为了在博弈中胜出，生成网络与判别网络需不断提高各自的生成能力 和判别能力，训练的过程实际上是寻找二者的纳什均衡；

6.1依式(4)计算生成网络的对抗损失：

L_{G_adv}＝-∑λ₁log(D_sty(G(z)))+λ₂log(D_con(G(z))) (4)

6.2依式(5)计算判别网络的对抗损失：

其中，第一项和第二项分别表示风格判别网络D_sty和内容判别网络D_cont的对抗 损失函数，每项中的前半部分表示判别器尽量使自己对真实图片x_sty和x_cont输出 1，后半部分表示尽量对生成图片输出0，从而使得区分图片来源的准确率尽可 能高；λ₁和λ₂分别表示基于风格的对抗网络与基于内容的对抗网络的权重；

步骤7，输出合成图像：

7.1依式(6)计算图像风格迁移的总损失函数：

L＝λ_styL_sty+λ_contL_cont+λ_advL_{G_adv} (6)

其中，λ_sty，λ_cont和λ_{G_adv}分别表示基于风格、内容和对抗训练的损失函数在总损 失函数中的权重；

7.2依式(7)计算对图片进行更新：

其中，λ是随机梯度下降的步长；得到如图3所示的风格迁移效果图。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明 的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围 也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (1)

1.一种基于生成式对抗网络的图像风格迁移方法，包括以下步骤：

步骤1，生成随机输入：通过对常见概率分布进行采样，得到随机输入矢量z∈R^d；

步骤2，构建生成网络：构建生成网络G(.):R^d→R^WxHxC，其中，W，H和C分别表示生成图像G(z)的宽、高和通道数量；

步骤3，构建判别网络：分别构建风格判别网络D_sty和内容判别网络D_cont，其中，风格判别网络D_sty的输入为风格图像x_sty或者生成器输出的图像G(z)，内容判别网络D_cont的输入为内容图像x_cont或者G(z)；风格判别网络D_sty和内容判别网络D_cont的输出均为布尔值，即，当判别网络认为输入图像来自真实图像x_sty或x_cont时，输出1，反之输出0；

步骤4，输入风格图像和内容图像：向风格判别网络D_sty输入任意尺寸的风格图像x_sty，进行裁剪和图像去均值预处理；向内容判别网络D_cont输入任意尺寸的内容图像x_cont并进行去均值处理；

步骤5，风格和内容的表征学习：利用自编码器的思想分别最小化基于风格和基于内容的重构误差，从而学习风格和内容的有效表征；

5.1依式(1)度量层内特征图之间的相关性，从而获得输入图像的风格表征：

其中，h^l _ik和h^l _jk分别表示第l层第i和j个特征图中位置k处神经元的激活值；

5.2依式(2)计算基于风格的重构误差：

其中，w_l表示第l层的权重，用于反映第l层重构误差在总重构误差中的比重；

S(G(z))表示生成图像G(z)的风格表示，S(x_sty)表示风格图像x_sty的风格表示；

5.3依式(3)计算基于内容的重构误差，也即，像素距离：

步骤6，对抗训练：风格判别网络D_sty和内容判别网络D_cont分别与生成网络G进行二元零和博弈，即，生成网络G尽可能生成逼真的图像，而风格判别网络D_sty和内容判别网络D_cont分别从风格角度和内容角度准确区分真实图像和生成图像；为了在博弈中胜出，生成网络与判别网络需不断提高各自的生成能力和判别能力，训练的过程实际上是寻找二者的纳什均衡；

6.1依式(4)计算生成网络的对抗损失：

L_{G_adv}＝-∑λ₁log(D_sty(G(z)))+λ₂log(D_con(G(z))) (4)

6.2依式(5)计算判别网络的对抗损失：

其中，第一项和第二项分别表示风格判别网络D_sty和内容判别网络D_cont的对抗损失函数，每项中的前半部分表示判别器尽量使自己对真实图片x_sty和x_cont输出1，后半部分表示尽量对生成图片输出0，从而使得区分图片来源的准确率尽可能高；λ₁和λ₂分别表示基于风格的对抗网络与基于内容的对抗网络的权重；

步骤7，输出合成图像：

7.1依式(6)计算图像风格迁移的总损失函数：

L＝λ_styL_sty+λ_contL_cont+λ_advL_{G_adv} (6)

其中，λ_sty，λ_cont和λ_adv分别表示基于风格、内容和对抗训练的损失函数在总损失函数中的权重；

7.2依式(7)计算对图片进行更新：

其中，λ是随机梯度下降的步长。

Images