CN115731097A - 一种基于解纠缠表示的多风格迁移方法 - Google Patents

一种基于解纠缠表示的多风格迁移方法 Download PDF

Info

Publication number
CN115731097A
CN115731097A CN202211547682.9A CN202211547682A CN115731097A CN 115731097 A CN115731097 A CN 115731097A CN 202211547682 A CN202211547682 A CN 202211547682A CN 115731097 A CN115731097 A CN 115731097A
Authority
CN
China
Prior art keywords
content
style
picture
original
code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211547682.9A
Other languages
English (en)
Other versions
CN115731097B (zh
Inventor
谢怡宁
杨国军
冷欣
龙俊
高婧伶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeast Forestry University
Original Assignee
Northeast Forestry University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeast Forestry University filed Critical Northeast Forestry University
Priority to CN202211547682.9A priority Critical patent/CN115731097B/zh
Publication of CN115731097A publication Critical patent/CN115731097A/zh
Application granted granted Critical
Publication of CN115731097B publication Critical patent/CN115731097B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种基于解纠缠表示的多风格迁移方法，本发明涉及图像生成技术中，多风格迁移方法问题。图像生成技术通过风格迁移网络将图片在不同风格间进行转换。然而在风格迁移过程中，没有考虑图片所包含的不同信息，导致经风格迁移后并不能很好得保留图片的内容细节，导致所生成图片内容细节丢失，质量较差。为此，我们提出一种基于解纠缠表示的多风格迁移方法。其主要思想是将图片进行内容与风格解纠缠表示，在风格迁移过程中保留内容信息，交换域风格信息，以此生成图片。实验表明，我们的多风格迁移方式可以有效解决图片风格迁移后内容细节丢失的问题，本发明应用于图片生成中的多风格迁移。

Description

一种基于解纠缠表示的多风格迁移方法
技术领域
本发明涉及图片生成技术，特别是多风格迁移方法问题
背景技术
随着人工智能技术的迅猛发展，一些学者的思维已经跳出仅仅使用人工智能对于图片做简单的处理，希望能够使用人工智能的方法去生成我们需要的图片。Goodfellow等人在21实际初提出的生成对抗网络，开创了图像生成领域的先河。GAN是一种无监督学习方法，借鉴零和博弈的思想，训练生成器与鉴别器进行对抗。其中，生成器以噪声数据作为输入，通过辨别器的反馈调整内部参数以生成目标图片，以学习目标域的图片生成分布；辨别器的作用是一个分类器，对生成器生成的图片与真实图片进行对比，对二者进行区分。以此技术为基础，发展出了多种不同种类的GAN模型，在GAN的基础上添加不同的功能。StarGAN能够完成多种不同风格图片间的多风格转换，StarGAN将不同风格的图片与目标域编码作为输入，进行源域到目标域风格的转换。然而StanGAN在训练过程中没有考虑图片风格与内容的纠缠关系，使网络在训练过程中不能对图片内容与细节进行有效区分，边缘细节模糊不清。
上述风格迁移过程中，没有考虑图片所包含的不同信息，导致经风格迁移后并不能很好得保留图片的内容细节，导致所生成图片内容细节丢失，质量较差。为此，我们提出一种基于解纠缠表示的多风格迁移方法。其主要思想是将图片进行内容与风格解纠缠表示，在风格迁移过程中保留内容信息，交换域风格信息，以此生成图片。实验表明，我们的多风格迁移方式可以有效解决图片风格迁移后内容细节丢失的问题，解决再风格迁移过程中图片内容信息过多丢失问题。
发明内容
本发明的目的是为了结局图像生成技术中的多风格迁移方法问题，而提出的一种基于解纠缠表示的多风格迁移方法。
上述发明目的主要是通过以下技术方案实现的：
S1、从不同域∑K中抽样得到图片IK；
S2、通过内容编码器与风格编码器对各原始图片进行内容空间和风格空间解纠缠编码,具体步骤为：
(1)对于不同域∑K中的图片，分别训练由卷积神经网络组成的内容编码器
Figure BDA00039800010100000222
与风格编码器
Figure BDA0003980001010000021
得到图片原始内容编码与原始风格编码：
Figure BDA0003980001010000022
Figure BDA0003980001010000023
式1中，n表示域∑的个数，
Figure BDA0003980001010000024
表示内容编码器
Figure BDA0003980001010000025
输出的原始内容编码，
Figure BDA0003980001010000026
表示风格编码器
Figure BDA0003980001010000027
输出的原始风格编码；式2中，C表示不同图片共有的内容空间，AK表示域∑K的风格空间；
(2)对于不同域∑K的内容编码器
Figure BDA0003980001010000028
训练内容辨别器Dc，通过计算并优化内容对抗损失对内容编码器
Figure BDA0003980001010000029
进行约束，使不同域内容编码器
Figure BDA00039800010100000210
提取出的原始内容编码服从同一分布，内容对抗损失表达式为：
Figure BDA00039800010100000211
S3、原始图片的内容编码与风格编码对应关系：首先对不同图片IK的原始内容编码与原始风格编码进行标记，得到内容标签
Figure BDA00039800010100000212
与风格标签
Figure BDA00039800010100000213
再将内容标签与风格标签记录到映射空间Mo：
Figure BDA00039800010100000214
S4、将各原始图片交换原始内容编码与内容标签：不同原始图片间随机交换原始内容编码，且经交换后各图片风格编码应各不相同，经交换后得到生成图片内容编码与生成图片风格编码：
Figure BDA00039800010100000215
式5中，
Figure BDA00039800010100000216
表示图片IK交换后的原始内容编码，
Figure BDA00039800010100000217
表示图片IK交换后的原始风格编码，其中M表示除∑K以外的其他域，在交换过程中，内容标签与原始内容编码按照同样的交换法则同时进行交换；
S5、生成内容编码与生成风格编码与其对应的标签向量进行融合：分别将图片生成内容编码
Figure BDA00039800010100000218
与其标签
Figure BDA00039800010100000219
生成风格编码
Figure BDA00039800010100000220
与其标签
Figure BDA00039800010100000221
进行拼接，得到生成图片编码
Figure BDA0003980001010000031
S6、通过生成器输出对应原始内容编码与原始风格编码的生成图片：生成器由卷积神经网络构成，通过反卷积操作通过生成图片编码输出生成图片：
Figure BDA0003980001010000032
式中CK为生成图片；
S7、通过编码器对生成图片分别进行内容空间和风格空间解纠缠编码：使用步骤S2中所述的内容编码器
Figure BDA0003980001010000033
与风格编码器
Figure BDA0003980001010000034
对生成图片CK进行解纠缠，得到生成图片内容编码与生成图片风格编码
Figure BDA0003980001010000035
S8、将各生成图片的生成内容空间编码进行复原交换：根据映射空间Mo，使生成图片解纠缠表示得到的生成图片编码恢复到原始内容编码与原始风格编码的对应关系，得到伪原始内容编码与伪原始风格编码
Figure BDA0003980001010000036
S9、如步骤S5交换后的伪原始内容编码、伪原始风格编码与对应的标签向量进行融合，得到伪原始图片编码
Figure BDA0003980001010000037
S10、如步骤S6通过生成器输出对应内容编码与风格编码的伪原始图片；
发明效果
本发明提出了一种基于解纠缠表示的多风格迁移方法。在训练生成模型时首先将图片进行内容与风格解纠缠表示，再将源域图片内容与目标域风格进行拼接作为输入，进行风格迁移，使风格迁移后的图片包含源域内容与目标域风格，保留了源域内容细节信息。
附图说明
图1本文多风格迁移方法结构图；
具体实施方法
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
本发明提供的一种基于解纠缠表示的多风格迁移方法，包含如下步骤：
S1、从不同域中抽样得到图片；
S2、对各原始图片进行内容空间和风格空间解纠缠编码；
S3、原始图片的内容编码与风格编码对应关系；
S4、将各原始图片交换原始内容编码与内容标签；
S5、生成内容编码与生成风格编码与其对应的标签向量进行融合；
S6、输出对应原始内容编码与原始风格编码的生成图片；
S7、对生成图片分别进行内容空间和风格空间解纠缠编码；
S8、将各生成图片的生成内容空间编码进行复原交换；
S9、交换后的伪原始内容编码、伪原始风格编码与对应的标签向量进行融合；
S10、如步骤S6通过生成器输出对应内容编码与风格编码的伪原始图片；
本发明实例首先在不同风格领域中抽样出部分图片作为原始图片，通过内容编码器与风格编码器对各原始图片进行内容空间和风格空间解纠缠编码，并记录此次编码的内容编码与风格编码对应关系。再将各原始图片交换原始内容编码与内容标签，将交换后得到的原始内容编码称为生成内容编码，原始风格编码称为生成风格编码，生成内容编码与生成风格编码与其对应的标签向量进行融合，通过生成器输出对应原始内容编码与原始风格编码的生成图片。再通过编码器对生成图片分别进行内容空间和风格空间解纠缠编码，并将各生成图片的生成内容空间编码进行复原交换，最后将得到的内容空间编码和风格空间编码码与对应的标签向量进行融合，得到伪原始图片编码，通过生成器输出对应内容编码与风格编码的伪原始图片。
下面对本发明实施例进行详细的说明：
本发明实施例具体实现如下。
S1、从不同域∑K中抽样得到图片IK；
S2、通过内容编码器与风格编码器对各原始图片进行内容空间和风格空间解纠缠编码,具体步骤为：
(1)对于不同域∑K中的图片，分别训练由卷积神经网络组成的内容编码器
Figure BDA0003980001010000041
与风格编码器
Figure BDA0003980001010000042
得到图片原始内容编码与原始风格编码：
Figure BDA0003980001010000043
Figure BDA0003980001010000044
式1中，n表示域∑的个数，
Figure BDA0003980001010000045
表示内容编码器
Figure BDA0003980001010000046
输出的原始内容编码，
Figure BDA0003980001010000047
表示风格编码器
Figure BDA0003980001010000048
输出的原始风格编码；式2中，C表示不同图片共有的内容空间，AK表示域∑K的风格空间；
(2)对于不同域∑K的内容编码器
Figure BDA0003980001010000051
训练内容辨别器Dc，通过计算并优化内容对抗损失对内容编码器
Figure BDA0003980001010000052
进行约束，使不同域内容编码器
Figure BDA0003980001010000053
提取出的原始内容编码服从同一分布，内容对抗损失表达式为：
Figure BDA0003980001010000054
S3、原始图片的内容编码与风格编码对应关系：首先对不同图片IK的原始内容编码与原始风格编码进行标记，得到内容标签
Figure BDA0003980001010000055
与风格标签
Figure BDA0003980001010000056
再将内容标签与风格标签记录到映射空间Mo：
Figure BDA0003980001010000057
此步骤记录了不同内容编码于风格编码的初始对应关系，以保证之后二者进行随即交换后能够再次复原初始对应关系。
S4、将各原始图片交换原始内容编码与内容标签：不同原始图片间随机交换原始内容编码，且经交换后各图片风格编码应各不相同，经交换后得到生成图片内容编码与生成图片风格编码：
Figure BDA0003980001010000058
式5中，
Figure BDA0003980001010000059
表示图片IK交换后的原始内容编码，
Figure BDA00039800010100000510
表示图片IK交换后的原始风格编码，其中M表示除∑K以外的其他域，在交换过程中，内容标签与原始内容编码按照同样的交换法则同时进行交换；
S5、生成内容编码与生成风格编码与其对应的标签向量进行融合：分别将图片生成内容编码
Figure BDA00039800010100000511
与其标签
Figure BDA00039800010100000512
生成风格编码
Figure BDA00039800010100000513
与其标签
Figure BDA00039800010100000514
进行拼接，得到生成图片编码
Figure BDA00039800010100000515
S6、通过生成器输出对应原始内容编码与原始风格编码的生成图片：生成器由卷积神经网络构成，通过反卷积操作通过生成图片编码输出生成图片：该步骤实现了不同域风格之间的迁移，生成的图片就是经过风格迁移后所需的图片。
Figure BDA00039800010100000516
式中CK为生成图片；
S7、通过编码器对生成图片分别进行内容空间和风格空间解纠缠编码：使用步骤S2中所述的内容编码器
Figure BDA00039800010100000517
与风格编码器
Figure BDA00039800010100000518
对生成图片CK进行解纠缠，得到生成图片内容编码与生成图片风格编码
Figure BDA00039800010100000519
S8、将各生成图片的生成内容空间编码进行复原交换：根据映射空间Mo，使生成图片解纠缠表示得到的生成图片编码恢复到原始内容编码与原始风格编码的对应关系，得到伪原始内容编码与伪原始风格编码
Figure BDA0003980001010000061
S9、如步骤S5交换后的伪原始内容编码、伪原始风格编码与对应的标签向量进行融合，得到伪原始图片编码
Figure BDA0003980001010000062
S10、如步骤S6通过生成器输出对应内容编码与风格编码的伪原始图片；通过将伪原始图片和原始图片进行比较区分，从而对生成器的性能进行反馈与约束。
本发明还可有其它多种实施例，再不背离本发明精神及其实质的情况下本领域技术人员当可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明范围。

Claims (2)

1.一种基于解纠缠表示的多风格迁移方法，其特征在于，包含以下步骤：
S1、从不同域∑K中抽样得到图片IK；
S2、通过内容编码器与风格编码器对各原始图片进行内容空间和风格空间解纠缠编码；
S3、原始图片的内容编码与风格编码对应关系：首先对不同图片IK的原始内容编码与原始风格编码进行标记，得到内容标签
Figure QLYQS_1
与风格标签
Figure QLYQS_2
再将内容标签与风格标签记录到映射空间Mo：
Figure QLYQS_3
S4、将各原始图片交换原始内容编码与内容标签：不同原始图片间随机交换原始内容编码，且经交换后各图片风格编码应各不相同，经交换后得到生成图片内容编码与生成图片风格编码：
Figure QLYQS_4
式2中，
Figure QLYQS_5
表示图片IK交换后的原始内容编码，
Figure QLYQS_6
表示图片IK交换后的原始风格编码，其中M表示除∑K以外的其他域，在交换过程中，内容标签与原始内容编码按照同样的交换法则同时进行交换；
S5、生成内容编码与生成风格编码与其对应的标签向量进行融合：分别将图片生成内容编码
Figure QLYQS_7
与其标签
Figure QLYQS_8
生成风格编码
Figure QLYQS_9
与其标签
Figure QLYQS_10
进行拼接，得到生成图片编码
Figure QLYQS_11
S6、通过生成器输出对应原始内容编码与原始风格编码的生成图片：生成器由卷积神经网络构成，通过反卷积操作通过生成图片编码输出生成图片：
Figure QLYQS_12
式中CK为生成图片；
S7、通过编码器对生成图片分别进行内容空间和风格空间解纠缠编码：使用步骤S2中所述的内容编码器
Figure QLYQS_13
与风格编码器
Figure QLYQS_14
对生成图片CK进行解纠缠，得到生成图片内容编码与生成图片风格编码
Figure QLYQS_15
S8、将各生成图片的生成内容空间编码进行复原交换：根据映射空间Mo，使生成图片解纠缠表示得到的生成图片编码恢复到原始内容编码与原始风格编码的对应关系，得到伪原始内容编码与伪原始风格编码
Figure QLYQS_16
S9、如步骤S5交换后的伪原始内容编码、伪原始风格编码与对应的标签向量进行融合，得到伪原始图片编码
Figure QLYQS_17
S10、如步骤S6通过生成器输出对应内容编码与风格编码的伪原始图片。
2.如权利要求1所述的基于解纠缠表示的多风格迁移方法，其特征在于，步骤S2所述的解纠缠编码方法具体为：
(1)对于不同域∑K中的图片，分别训练由卷积神经网络组成的内容编码器
Figure QLYQS_18
与风格编码器
Figure QLYQS_19
得到图片原始内容编码与原始风格编码：
Figure QLYQS_20
Figure QLYQS_21
式4中，n表示域∑的个数，
Figure QLYQS_22
表示内容编码器
Figure QLYQS_23
输出的原始内容编码，
Figure QLYQS_24
表示风格编码器
Figure QLYQS_25
输出的原始风格编码；式5中，C表示不同图片共有的内容空间，AK表示域∑K的风格空间；
(2)对于不同域∑K的内容编码器
Figure QLYQS_26
训练内容辨别器Dc，通过计算并优化内容对抗损失对内容编码器
Figure QLYQS_27
进行约束，使不同域内容编码器
Figure QLYQS_28
提取出的原始内容编码服从同一分布，内容对抗损失表达式为：
Figure QLYQS_29
CN202211547682.9A 2022-12-05 2022-12-05 一种基于解纠缠表示的多风格迁移方法 Active CN115731097B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211547682.9A CN115731097B (zh) 2022-12-05 2022-12-05 一种基于解纠缠表示的多风格迁移方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211547682.9A CN115731097B (zh) 2022-12-05 2022-12-05 一种基于解纠缠表示的多风格迁移方法

Publications (2)

Publication Number Publication Date
CN115731097A true CN115731097A (zh) 2023-03-03
CN115731097B CN115731097B (zh) 2023-06-09

Family

ID=85300072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211547682.9A Active CN115731097B (zh) 2022-12-05 2022-12-05 一种基于解纠缠表示的多风格迁移方法

Country Status (1)

Country Link
CN (1) CN115731097B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783610A (zh) * 2020-06-23 2020-10-16 西北工业大学 一种基于解纠缠图像迁移的跨域人群计数方法
CN113449676A (zh) * 2021-07-13 2021-09-28 凌坤(南通)智能科技有限公司 一种基于双路互促进解纠缠学习的行人重识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783610A (zh) * 2020-06-23 2020-10-16 西北工业大学 一种基于解纠缠图像迁移的跨域人群计数方法
CN113449676A (zh) * 2021-07-13 2021-09-28 凌坤(南通)智能科技有限公司 一种基于双路互促进解纠缠学习的行人重识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
廖东等: "基于特征解纠缠表示的无参考图像质量评价", 《电视技术》 *
聂锦燃等: "基于变分自编码器的无监督文本风格转换", 《中文信息学报》 *

Also Published As

Publication number Publication date
CN115731097B (zh) 2023-06-09

Similar Documents

Publication Publication Date Title
CN111079532B (zh) 一种基于文本自编码器的视频内容描述方法
US11720795B2 (en) Neural network structure and a method thereto
CN112884758B (zh) 一种基于风格迁移方法的缺陷绝缘子样本生成方法及系统
CN114820871B (zh) 字体生成方法、模型的训练方法、装置、设备和介质
CN111932431A (zh) 基于水印分解模型的可见水印去除方法和电子设备
CN116051686B (zh) 图上文字擦除方法、系统、设备及存储介质
Douillard et al. Tackling catastrophic forgetting and background shift in continual semantic segmentation
CN112949929A (zh) 一种基于协同嵌入增强题目表示的知识追踪方法及系统
CN112597925B (zh) 手写字迹的识别/提取、擦除方法及擦除系统、电子设备
CN107729885B (zh) 一种基于多重残差学习的人脸增强方法
CN116958712B (zh) 基于先验概率分布的图像生成方法、系统、介质及设备
CN115731097A (zh) 一种基于解纠缠表示的多风格迁移方法
CN114092931B (zh) 场景文字识别方法、装置、电子设备及存储介质
CN116563426A (zh) 用于处理多模态数据的方法、装置、电子设备和介质
CN116402067A (zh) 面向多语种文字风格保持的跨语言自监督生成方法
CN115965836A (zh) 一种语义可控的人体行为姿态视频数据扩增系统及方法
CN115797171A (zh) 合成图像的生成方法、装置、电子设备及存储介质
RU2817316C2 (ru) Способ и устройство для обучения модели генерирования изображений, способ и устройство для генерирования изображений и их устройства
CN116778376B (zh) 内容安全检测模型训练方法、检测方法和装置
CN113656632B (zh) 大规模细粒度图像检索中的属性感知哈希编码学习方法
CN115641257A (zh) 一种基于生成对抗网络的恶劣场景数据增广方法、识别方法及装置
CN114187623A (zh) 面部动作单元识别方法与装置、模型训练方法与装置、存储介质及电子设备
CN115204339A (zh) 一种基于数据分析服务融合智慧数字二维码门牌系统
CN118297790A (zh) 字体图像生成模型的训练方法、装置、电子设备及介质
CN117475035A (zh) 基于笔画级引导扩散模型的复杂场景文本编辑方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant