CN107220929A - 一种使用循环一致对抗网络的非成对图像转化方法 - Google Patents

Abstract

本发明中提出的一种使用循环一致对抗网络的非成对图像转化方法，其主要内容包括：一般模块、损失函数模块、目标函数模块、训练网络模块，其过程为，首先使用生成对抗网络进行分辨器的建模，同时对原集合域X设计映射函数，使得生成图像具有目标集合域Y的图像特性，并且对转化过程进行二次损失函数建模，通过最小化损失函数，以至于让分类器越来越难以分辨生成图像，同时提高非成对图像的转化成功率。本发明可以处理不同风格的照片或者图像，提供一个最小二乘法及最大似然概率来最小化损失函数，同时提高了图像转化的仿真度。

Description

一种使用循环一致对抗网络的非成对图像转化方法

技术领域

本发明涉及图像转化领域，尤其是涉及了一种使用循环一致对抗网络的非成对图像转化方法。

背景技术

图像到图像之间的转换是一类视觉和图形问题，其目标是通过训练学习输入图片的风格，将其映射到框架类似的输出图片中。对于当前业界及研究机构所拥有的数据来讲，多数处于配对状态，即图像的属性具有对称性，如一双鞋子的左右脚般。但实际应用中，大多数数据都不存在先验配对知识，这样的非成对图像进行视觉转移在当前业界尚未出现完成的例子。本发明提出的对于非成对图像之间进行风格迁移、材质改变、季节变化、图像增强等操作都有成功演示，体现出独有优越性，在考古文物模拟、医学图像仿真、农作物生长演化等方面都有可用的潜在价值，此外，该发明可激发遥感图像增强、机器人视觉融合等高尖科技领域的关键技术研究。

图像之间的特性转化仍旧是一个开放的问题。从图像转化的不可逆到可逆，其基本信息必须被保护不被破坏，同时加上或者还原的特性必须是线性可加，同时还要考虑到原图像的像素分布、纹理结构等问题，给直接的尤其非配对的图像转化带来难度。

本发明提出了一种基于二次建模损失函数最小化的新框架。使用生成对抗网络进行分辨器的建模，同时对原集合域X设计映射函数，使得生成图像具有目标集合域Y的图像特性，并且对转化过程进行二次损失函数建模，通过最小化损失函数，以至于让分类器越来越难以分辨生成图像，同时提高非成对图像的转化成功率。本发明可以处理不同风格的照片或者图像，提供一个最小二乘法及最大似然概率来最小化损失函数，同时提高了图像转化的仿真度。

发明内容

针对解决在不同风格图像之间进行特性转化的问题，本发明的目的在于提供一种使用循环一致对抗网络的非成对图像转化方法，提出了一种基于二次建模损失函数最小化的新框架。

为解决上述问题，本发明提供一种使用循环一致对抗网络的非成对图像转化方法，其主要内容包括：

(一)一般模块；

(二)损失函数模块；

(三)目标函数模块；

(四)训练网络模块。

其中，所述的一般模型，给定两个集合域X和Y，建立映射函数模型G:X→Y和F:Y→X，将X和Y中的训练样本和的图像特性进行交换，此外，引入对抗分类器D_X和D_Y，用于分辨原始样本{x}和生成样本{F(y)}、原始样本{y}和生成样本{G(x)}。

所述的损失函数模块，包括对抗损失函数和循环一致损失函数。

所述的对抗损失函数，对映射函数模型G:X→Y及其分类器D_Y，具体的对抗损失函数为：

其中，G试图生成跟集合域Y相似的图像，但同时也要经受分类器D_Y的对抗，即需要进行分辨生成样本与真实样本，因此对映射函数G需要最小化而对分类器D_Y要最大化，即：

G^*＝arg min_Gmax_DYL_GAN(G,D_Y,X,Y) (2)

相似地，对映射函数F有：

F^*＝arg min_Fmax_DXL_GAN(G,D_X,Y,X) (3)

其中，D_X是逆向的分类器。

所述的循环一致损失函数，映射函数具有可逆性，在原始图像转化为生成图像后，也能转化回原始图像，即x→G(x)→F(G(x))≈x，上述步骤全部完成一次则为一个前向循环一致行为，相似地，对于被匹配图像y，有y→F(y)→G(F(y))≈y,上述步骤全部完成一次则为一个反向循环一致行为，合并后的过程中，其循环一致损失函数为：

其中，‖‖₁表示一阶范数。

所述的目标函数模块，引入常量控制两个不同损失函数对总体函数模块的比重，即总体损失函数为，

由此，引入目标函数为：

其中，常量λ是比重控制因子。

所述的训练网络模块，包括网络结构、模型稳定过程和网络调试。

所述的网络结构，使用两层步长为2的卷积网络层、N层残差网络和两层步长为1/2的卷积网络层作为主体架构，其中当输入图像尺寸为128×128时N＝6，尺寸为256×256或者更高时N＝9。

所述的模型稳定过程，对公式(1)中的负对数似然函数，用最小二乘法损失函数替代，即：

此外，在训练过程中储存一个缓冲区，里面设有50张此前生成过的图像，用来更新D_X和D_Y的分辨能力。

所述的网络调试，对图像每次训练图像数量限定为1，同时使用亚当解释器的网络学习率设置初始值为0.002，待经过100次迭代后逐渐衰减接近零值，此外，公式(5)中的λ设置为10。

附图说明

图1是本发明一种使用循环一致对抗网络的非成对图像转化方法的系统流程图。

图2是本发明一种使用循环一致对抗网络的非成对图像转化方法的转换及重构图。

图3是本发明一种使用循环一致对抗网络的非成对图像转化方法的一对多转换图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

图1是本发明一种使用循环一致对抗网络的非成对图像转化方法的系统流程图。主要一般模块；损失函数模块；目标函数模块；训练网络模块。

其中，一般模型，给定两个集合域X和Y，建立映射函数模型G:X→Y和F:Y→X，将X和Y中的训练样本和的图像特性进行交换，此外，引入对抗分类器D_X和D_Y，用于分辨原始样本{x}和生成样本{F(y)}、原始样本{y}和生成样本{G(x)}。

损失函数模块，包括对抗损失函数和循环一致损失函数。

对抗损失函数，对映射函数模型G:X→Y及其分类器D_Y，具体的对抗损失函数为：

其中，G试图生成跟集合域Y相似的图像，但同时也要经受分类器D_Y的对抗，即需要进行分辨生成样本与真实样本，因此对映射函数G需要最小化而对分类器D_Y要最大化，即：

G^*＝arg min_Gmax_DYL_GAN(G,D_Y,X,Y) (2)

相似地，对映射函数F有：

F^*＝arg min_Fmax_DXL_GAN(G,D_X,Y,X) (3)

其中，D_X是逆向的分类器。

循环一致损失函数，映射函数具有可逆性，在原始图像转化为生成图像后，也能转化回原始图像，即x→G(x)→F(G(x))≈x，上述步骤全部完成一次则为一个前向循环一致行为，相似地，对于被匹配图像y，有y→F(y)→G(F(y))≈y,上述步骤全部完成一次则为一个反向循环一致行为，合并后的过程中，其循环一致损失函数为：

其中，‖‖₁表示一阶范数。

目标函数模块，引入常量控制两个不同损失函数对总体函数模块的比重，即总体损失函数为，

由此，引入目标函数为：

其中，常量λ是比重控制因子。

训练网络模块，包括网络结构、模型稳定过程和网络调试。

网络结构，使用两层步长为2的卷积网络层、N层残差网络和两层步长为1/2的卷积网络层作为主体架构，其中当输入图像尺寸为128×128时N＝6，尺寸为256×256或者更高时N＝9。

模型稳定过程，对公式(1)中的负对数似然函数，用最小二乘法损失函数替代，即：

此外，在训练过程中储存一个缓冲区，里面设有50张此前生成过的图像，用来更新D_X和D_Y的分辨能力。

网络调试，对图像每次训练图像数量限定为1，同时使用亚当解释器的网络学习率设置初始值为0.002，待经过100次迭代后逐渐衰减接近零值，此外，公式(5)中的λ设置为10。

图2是本发明一种使用循环一致对抗网络的非成对图像转化方法的转换及重构图。如图所示，可以观察到第一行是正常风景图与莫泰油画风格的转化，第二行是正常马匹与斑马的转化，第三行是地域航拍图及所对应地图软件线路图的转化。

图3是本发明一种使用循环一致对抗网络的非成对图像转化方法的一对多转换图。如图所示，在一幅输入图像为田园风景照的图像后，依照本发明的方法，可依次将其转换为莫奈风格、梵高风格、塞尚风格及浮世绘风格的图像。

对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种使用循环一致对抗网络的非成对图像转化方法，其特征在于，主要包括一般模块(一)；损失函数模块(二)；目标函数模块(三)；训练网络模块(四)。

2.基于权利要求书1所述的一般模型(一)，其特征在于，给定两个集合域X和Y，建立映射函数模型G:X→Y和F:Y→X，将X和Y中的训练样本和的图像特性进行交换，此外，引入对抗分类器D_X和D_Y，用于分辨原始样本{x}和生成样本{F(y)}、原始样本{y}和生成样本{G(x)}。

3.基于权利要求书1所述的损失函数模块(二)，其特征在于，包括对抗损失函数和循环一致损失函数。

4.基于权利要求书3所述的对抗损失函数，其特征在于，对映射函数模型G:X→Y及其分类器D_Y，具体的对抗损失函数为：

其中，G试图生成跟集合域Y相似的图像，但同时也要经受分类器D_Y的对抗，即需要进行分辨生成样本与真实样本，因此对映射函数G需要最小化而对分类器D_Y要最大化，即：

G^*＝arg min_Gmax_DYL_GAN(G,D_Y,X,Y) (2)

相似地，对映射函数F有：

F^*＝arg min_Fmax_DXL_GAN(G,D_X,Y,X) (3)

其中，D_X是逆向的分类器。

5.基于权利要求书3所述的循环一致损失函数，其特征在于，映射函数具有可逆性，在原始图像转化为生成图像后，也能转化回原始图像，即x→G(x)→F(G(x))≈x，上述步骤全部完成一次则为一个前向循环一致行为，相似地，对于被匹配图像y，有y→F(y)→G(F(y))≈y,上述步骤全部完成一次则为一个反向循环一致行为，合并后的过程中，其循环一致损失函数为：

其中，‖‖₁表示一阶范数。

6.基于权利要求书1所述的目标函数模块(三)，其特征在于，引入常量控制两个不同损失函数对总体函数模块的比重，即总体损失函数为，

由此，引入目标函数为：

<mrow> <msup> <mi>G</mi> <mo>*</mo> </msup> <mo>,</mo> <msup> <mi>F</mi> <mo>*</mo> </msup> <mo>=</mo> <mi>arg</mi> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <mrow> <mi>F</mi> <mo>,</mo> <mi>G</mi> </mrow> </munder> <munder> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> <mrow> <msub> <mi>D</mi> <mi>X</mi> </msub> <mo>,</mo> <msub> <mi>D</mi> <mi>Y</mi> </msub> </mrow> </munder> <mi>L</mi> <mrow> <mo>(</mo> <mi>G</mi> <mo>,</mo> <mi>F</mi> <mo>,</mo> <msub> <mi>D</mi> <mi>X</mi> </msub> <mo>,</mo> <msub> <mi>D</mi> <mi>Y</mi> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>6</mn> <mo>)</mo> </mrow> </mrow>

其中，常量λ是比重控制因子。

7.基于权利要求书1所述的训练网络模块(四)，其特征在于，包括网络结构、模型稳定过程和网络调试。

8.基于权利要求书7所述的网络结构，其特征在于，使用两层步长为2的卷积网络层、N层残差网络和两层步长为1/2的卷积网络层作为主体架构，其中当输入图像尺寸为128×128时N＝6，尺寸为256×256或者更高时N＝9。

9.基于权利要求书7所述的模型稳定过程，其特征在于，对公式(1)中的负对数似然函数，用最小二乘法损失函数替代，即：

此外，在训练过程中储存一个缓冲区，里面设有50张此前生成过的图像，用来更新D_X和D_Y的分辨能力。

10.基于权利要求书7所述的网络调试，其特征在于，对图像每次训练图像数量限定为1，同时使用亚当解释器的网络学习率设置初始值为0.002，待经过100次迭代后逐渐衰减接近零值，此外，公式(5)中的λ设置为10。