CN111932438A - 图像风格迁移方法、设备及存储装置 - Google Patents

图像风格迁移方法、设备及存储装置 Download PDF

Info

Publication number
CN111932438A
CN111932438A CN202010562121.0A CN202010562121A CN111932438A CN 111932438 A CN111932438 A CN 111932438A CN 202010562121 A CN202010562121 A CN 202010562121A CN 111932438 A CN111932438 A CN 111932438A
Authority
CN
China
Prior art keywords
image
sample set
generator
acquiring
discriminator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010562121.0A
Other languages
English (en)
Other versions
CN111932438B (zh
Inventor
汪均轶
任宇鹏
卢维
熊剑平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202010562121.0A priority Critical patent/CN111932438B/zh
Publication of CN111932438A publication Critical patent/CN111932438A/zh
Application granted granted Critical
Publication of CN111932438B publication Critical patent/CN111932438B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像风格迁移方法、设备及存储装置，图像风格迁移方法包括以下步骤：获取实例样本集集合，所述实例样本集集合包括至少一个实例样本集，所述实例样本集包括至少一张样本图像，所述样本图像包括实例对象、实例属性，同一实例样本集中所述实例属性相同，所述实例样本集集合中的所述实例对象相同；获取生成网络；依据所述实例样本集集合对所述生成网络进行训练，获取训练完成后的所述生成器；依据待迁移的目标实例获取所述生成器进行风格迁移后生成的结果图像。通过上述方式，本发明能够达到对实例级图像进行多种风格的迁移，且不破坏目标图片语义或结构信息的目的。

Description

图像风格迁移方法、设备及存储装置
技术领域
本申请涉及图像处理领域，特别涉及一种图像风格迁移方法、设备 及存储装置。
背景技术
风格迁移是在保留目标图片内容的基础上，将某种风格图片的风格 应用在目标图片中。现有技术中使用的传统神经网络风格迁移方法为了 达到一个比较好的视觉效果，风格图片的选择往往和目标图片差异较 大，且风格图片自身包含的色彩和结构在全图范围内较统一，生成的结 果图片因为带有风格图片的纹理、色彩结构的搭配，从视觉上看确实是 将不同的画风迁移到了目标图片上，但是目标图片中拥有语义信息的物 体或实例因为带有了风格图片的纹理，原有的纹理和结构信息已部分丢 失，特别在工业设计图等工业领域的图片中，在语义上相近但来源不同 的数据集之间的风格迁移时，当不同来源的数据集拥有几乎相同的语义 信息，但是风格上略有不同时，数据集对异常的色彩空间和结构信息容 忍度较低。因此，使用现有的风格迁移方法不能很好的胜任对这类数据 集间的相互迁移。
因此，有必要提供一种图像风格迁移方法、设备及存储装置以解决 上述技术问题。
发明内容
本申请提供一种图像风格迁移方法、设备及存储装置，能够达到对 实例级图像进行多种风格的迁移，且不破坏目标图片语义或结构信息的 目的。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种图 像风格迁移方法，包括以下步骤：
获取实例样本集集合，所述实例样本集集合包括至少一个实例样本 集，所述实例样本集包括至少一张样本图像，所述样本图像包括实例对 象、实例属性，同一实例样本集中所述实例属性相同，所述实例样本集 集合中的所述实例对象相同；
获取生成网络，所述生成网络包括判别器、生成器，所述判别器用 于判别输入的图像是否为真实图像，所述生成器用于对图像进行风格迁 移；
依据所述实例样本集集合对所述生成网络进行训练，获取训练完成 后的所述生成器；
依据待迁移的目标图像获取所述生成器进行风格迁移后生成的结 果图像。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种 图像风格迁移设备，该设备包括处理器、与所述处理器耦接的存储器， 其中，所述存储器存储有用于实现上述图像风格迁移方法的程序指令； 所述处理器用于执行所述存储器存储的所述程序指令以对图像风格进 行迁移。
为解决上述技术问题，本申请采用的再一个技术方案是：提供一种 存储装置，存储有能够实现上述图像风格迁移方法的程序文件。
本申请的有益效果是：
本发明的一种图像风格迁移方法、设备及存储装置通过同一实例对 象、不同实例属性的实例样本集集合进行网络训练获得生成器，所述生 成器能完成实例级的风格迁移，不会破坏目标图片的语义或结构信息， 迁移后的结果图像不论是从视觉角度观察，还是从第三方检测网络的精 度上看，都能够保留原有的结构和语义信息，确保目标图像中独立的实 例在迁移后能够被用于后续的检测工作，具有重要的应用价值。
进一步地，生成网络训练拟合的是实例样本集集合即一类数据集的 数据分布，不是只对单张图片内部的分布拟合，因此不会引入独立样本 中的噪声。
进一步地，所述第一损失函数、所述第二损失函数的计算采用收敛 性能更好的WGAN-GP，使得模型训练更稳定，收敛更好。
附图说明
图1是本发明第一实施例的图像风格迁移方法的流程示意图；
图2是本发明第一实施例的图像风格迁移方法的判别器功能示意 图；
图3是本发明第一实施例的图像风格迁移方法的判别器结构示意 图；
图4是本发明第一实施例的图像风格迁移方法的生成器功能示意 图；
图5是本发明第一实施例的图像风格迁移方法的生成器结构示意 图；
图6是本发明第一实施例的图像风格迁移方法的实例示意图；
图7是本发明一种实施例的图像风格迁移装置的结构示意图；
图8是本发明一种实施例的图像风格迁移设备的结构示意图；
图9是本发明一种实施例的存储装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案 进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实 施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术 人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本 申请保护的范围。
本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不 能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数 量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含 地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个， 例如两个，三个等，除非另有明确具体的限定。本申请实施例中所有方 向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定 姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果 该特定姿态发生改变时，则该方向性指示也相应地随之改变。此外，术 语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限 定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元， 或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单 元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结 构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位 置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥 的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是， 本文所描述的实施例可以与其它实施例相结合。
图1是本发明第一实施例的图像风格迁移方法的流程示意图。需注 意的是，若有实质上相同的结果，本发明的方法并不以图1所示的流程 顺序为限。如图1所示，该方法包括步骤：
步骤S101：获取实例样本集集合。
在步骤S101中，所述实例样本集集合包括至少一个实例样本集， 所述实例样本集包括至少一张样本图像，所述样本图像包括实例对象、 实例属性，同一实例样本集中所述实例属性相同，所述实例样本集集合 中的所述实例对象相同，例如：将打火机作为实例对象，那么一个实例 样本集中可以包括至少一张打火机的样本图片，此实例样本集中的打火机具有相同的对象属性，如将金属材质作为一种对象属性，那么此实例 样本集中的打火机的样本图片则应都是金属打火机的图片，另一实例样 本集中的实例对象也为打火机，且对象属性为不同于金属材质的其他属 性，如塑料材质，则两个不同对象属性的打火机的实例样本集组成实例 样本集集合。
步骤S102：获取生成网络，所述生成网络包括判别器、生成器。
本实施例中，所述生成网络采用的是一种生成式对抗网络，需要说 明的是，生成式对抗网络(GAN,Generative Adversarial Networks)是 一种深度学习模型，GAN同时要训练一个生成器(Generator)和一个判别 器(Discriminator)，前者输入一个噪声变量z，输出一个伪图片数据，后 者输入一个图片(real image)以及伪图片(fake image)数据，输出一个表示 该输入是自然图片或者伪造图片的二分类置信度，理想情况下，判别器 D需要尽可能准确的判断输入数据到底是一个真实的图片还是某种伪 造的图片，而生成器G又需要尽最大可能去欺骗判别器D，让判别器D 把自己产生的伪造图片全部判断成真实的图片。训练过程中，生成器G 的目标是尽可能生成真实的伪图片使判别器D认为是真的，而判别器D 的目标是尽可能的辨别出生成器G生成的假图像和真实的图像。
请一并参阅图2、图3、图4和图5，图2是本发明第一实施例的图 像风格迁移方法的判别器功能示意图；图3是本发明第一实施例的图像 风格迁移方法的判别器结构示意图；图4是本发明第一实施例的图像风 格迁移方法的生成器功能示意图；图5是本发明第一实施例的图像风格 迁移方法的生成器结构示意图。
本实施例中，所述判别器D及所述生成器G为全卷积神经网络，所 述判别器D包括4个卷积层，第一个Conv1为卷积层+LeakyReLU激活 函数，第二个Conv2为级联5个卷积层+LeakyReLU激活函数，第三个 Conv3与第四个Conv4也均为卷积层，并且无激活函数。所述生成器G 包括第一个Conv1为卷积层+IN(Instance Normalization)层+ReLU激活函 数，第二个残差模块Residual Block为卷积层+IN(Instance Normalization) 层+ReLU激活函数+卷积层+IN(Instance Normalization)层，第三个Conv Transpose为转置卷积层+IN(Instance Normalization)层+ReLU激活函数 第四个Conv2为卷积层+Tanh函数。
步骤S103：依据所述实例样本集集合对所述生成网络进行训练，获 取训练完成后的所述生成器。
步骤S103中，所述依据所述实例样本集集合对所述生成网络进行 训练，获取训练完成后的所述生成器，包括：
步骤S103a：获取所述判别器；
需要说明的是，在所述生成网络的训练过程中，所述判别器与所述 生成器都需要经过训练，当所述判别器训练完成后，需要依据所述判别 器对所述生成器进行训练，在所述生成器的训练过程中也会进一步完善 所述判别器。
具体的，依据所述实例样本集集合获取所述判别器的第二对抗损失 及第一领域损失；依据所述伪图像获取所述判别器的第三对抗损失，所 述伪图像为所述生成器生成的图像；在所述实例样本集集合及所述伪图 像中采样获取采样样本，依据所述采样样本获取所述判别器的梯度惩 罚；本实施例中，每次计算采样的样本为随机采样的一张样本图像；依 据所述第二对抗损失、所述第三对抗损失、所述第一领域损失及所述梯 度惩罚获取所述判别器的第二损失函数值，依据所述第二损失函数值获 取训练后的所述判别器。
其中，所述第二损失函数为：
Figure BDA0002546531490000061
其中：Pr为所述实例样本集合的所述样本图像的样本数据分布，Pg为 所述生成器G生成的所述伪图像的样本分布，
Figure RE-GDA0002711849120000062
为真假样本(真样本即 所述实例样本集合的所述样本图像，假样本即所述生成器G生成的所述 伪图像)中间区域随机采样的样本分布。D(x)为判别器，G(x)为生成器。 x为输入的所述样本图像，c为目标标签，所述目标标签为所述实例样本 集集合中的所述对象实例迁移后具有的对象属性，c’为源标签，所述源 标签为所述实例样本集集合中的所述对象实例具有的对象属性。
所述第二损失函数前两项为Wasserstein距离(又称EM距离)。所 述判别器D希望对于所述样本图像的样本数据，D(x)的数值尽可能高。 而对于来自所述生成器G的所述伪图像的样本，D(G(x))的值尽可能低， 以此形成对抗。第三项为梯度惩罚即Lipschitz限制，Lipschitz限制要求 在整个样本空间上所述判别器梯度不超过预设阈值K。第四项为领域损 失，所述判别器D希望对于给定的源数据x，输出正确的源标签的概率 尽可能大。本实施例中，系数λadv＝10，λcls＝1，λrec＝10，预设阈值K＝1。
步骤S103b：依据所述实例样本集集合、目标标签获取所述生成器 生成的伪图像；
所述生成器依据所述目标标签对所述实例样本集集合中的所述样 本图片进行风格迁移后生成迁移后的伪图像。
步骤S103c：依据所述伪图像获取所述判别器的第一对抗损失；
所述判别器训练完成后，依据所述伪图像获取所述判别器的第一对 抗损失。
步骤S103d：依据所述伪图像、所述实例样本集集合中的所述对象 实例的所述对象属性获取所述生成器的重建损失；
步骤S103d中，是将所述实例样本集集合中的所述对象实例的所述 源标签同所述生成器生成的伪图像在进行一次迁移，获取所述生成器的 重建损失，即将所述生成器G依据目标变迁迁移的所述样本图片再迁移 回源标签中，本实施例中，要求迁移两次后的图片尽可能与原始的所述 样本图片接近，以确保所述生成器G在迁移过程中保留图像中的信息。
步骤S103e：依据所述第一对抗损失、所述重建损失计算所述第一 损失函数。
具体的，所述第一损失函数为：
Figure BDA0002546531490000071
其中：Pr为所述实例样本集合的所述样本图像的样本数据分布，Pg为 所述生成器G生成的所述伪图像的样本分布，
Figure RE-GDA0002711849120000072
为真假样本(真样本即 所述实例样本集合的所述样本图像，假样本即所述生成器G生成的所述 伪图像)中间区域随机采样的样本分布。D(x)为判别器，G(x)为生成器。x为输入的所述样本图像，c为目标标签，所述目标标签为所述实例样本 集集合中的所述对象实例迁移后具有的对象属性，c’为源标签，所述源 标签为所述实例样本集集合中的所述对象实例具有的对象属性。
所述第一损失函数前两项与上述判别器D前两项类似，此处不再赘 述。第三项为所述生成器的所述重建损失。
上述获取所述第一损失函数、所述第二损失函数的过程可以通过反 复迭代进行训练，直到得到的所述第一损失函数满足预设阈值时则可以 认为所述判别器D、所述生成器G训练完成，所述预设阈值为人为设置。
步骤S104：依据待迁移的目标实例获取所述生成器进行风格迁移后 生成的结果图像。
步骤S104中，当所述生成器G完成训练后，即可以对需要进行风 格迁移的目标图像进行迁移计算输出迁移后的结果图像。本实施例中， 对于需要迁移的目标图像可以先获取待迁移的目标图像中的所述目标 实例，所述目标实例可以通过输入设备如鼠标、键盘等输入装置进行人 为选择，也可以通过语义识别技术进行识别，然后，依据所述目标实例 进行风格迁移，获取所述生成器按所述目标风格进行迁移的结果实例； 最后，将所述结果实例替换所述目标图像中的所述目标实例，得到迁移 后的所述结果图像。如图6所示，图6是本发明第一实施例的图像风格 迁移方法的实例示意图，在Sample1、Sample2中先选取待处理的目标 图片中的一个目标实例，选取出的实例经过风格迁移后生成迁移的结果 实例，结果实例恢复到目标图片中同样的地方，保持原来的图片结构和 语义信息。
本发明的一种图像风格迁移方法，通过同一实例对象、不同实例属 性的实例样本集集合进行网络训练获得生成器，所述生成器能完成实例 级的风格迁移，不会破坏目标图片的语义或结构信息，迁移后的结果图 像不论是从视觉角度观察，还是从第三方检测网络的精度上看，都能够 保留原有的结构和语义信息，确保目标图像中独立的实例在迁移后能够 被用于后续的检测工作，具有重要的应用价值。
进一步地，生成网络训练拟合的是实例样本集集合即一类数据集的 数据分布，不是只对单张图片内部的分布拟合，因此不会引入独立样本 中的噪声。
进一步地，所述第一损失函数、所述第二损失函数的计算采用收敛 性能更好的WGAN-GP，使得模型训练更稳定，收敛更好。
图7是本发明一种实施例的图像风格迁移装置的结构示意图。如图 7所示，该装置包括软件获取模块41、训练模块42、迁移模块43。
获取模块41用于获取实例样本集集合，所述实例样本集集合包括 至少一个实例样本集，所述实例样本集包括至少一张样本图像，所述样 本图像包括实例对象、实例属性，同一实例样本集中所述实例属性相同， 所述实例样本集集合中的所述实例对象相同；
训练模块42用于获取生成网络，所述生成网络包括判别器、生成 器，所述判别器用于判别输入的图像是否为真实图像，所述生成器用于 对图像进行风格迁移；依据所述实例样本集集合对所述生成网络进行训 练，获取训练完成后的所述生成器；
迁移模块43用于依据待迁移的目标实例获取所述生成器进行风格 迁移后生成的结果图像。
本申请提供一种图像风格迁移装置，能够达到对实例级图像进行多 种风格的迁移，且不破坏目标图片语义或结构信息的目的。
请参阅图8，图8是本发明一种实施例的图像风格迁移设备的结构 示意图。如图8所示，该升级设备60包括处理器61及和处理器61耦 接的存储器62。
存储器62存储有用于实现上述任一实施例所述图像风格迁移方法 的程序指令。
处理器61用于执行存储器62存储的程序指令以对所述图像进行风 格迁移。
其中，处理器61还可以称为CPU(Central Processing Unit，中央处 理单元)。处理器61可能是一种集成电路芯片，具有信号的处理能力。 处理器61还可以是通用处理器、数字信号处理器(DSP)、专用集成电 路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分 立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器 或者该处理器也可以是任何常规的处理器等。
参阅图9，图9为本发明实施例的存储装置的结构示意图。本发明 实施例的存储装置存储有能够实现上述所有方法的程序文件71，其中， 该程序文件71可以以软件产品的形式存储在上述存储装置中，包括若 干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网 络设备等)或处理器(processor)执行本申请各个实施方式所述方法的 全部或部分步骤。而前述的存储装置包括：U盘、移动硬盘、只读存储 器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算 机、服务器、手机、平板等终端设备。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装 置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例 仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际 实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以 集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口， 装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单 元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集 成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以 采用软件功能单元的形式实现。以上仅为本申请的实施方式，并非因此 限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效 结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同 理包括在本申请的专利保护范围内。

Claims (10)

1.一种图像风格迁移方法，其特征在于，包括以下步骤：
获取实例样本集集合，所述实例样本集集合包括至少一个实例样本集，所述实例样本集包括至少一张样本图像，所述样本图像包括实例对象、实例属性，同一实例样本集中所述实例属性相同，所述实例样本集集合中的所述实例对象相同；
获取生成网络，所述生成网络包括判别器、生成器，所述判别器用于判别输入的图像是否为真实图像，所述生成器用于对图像进行风格迁移；
依据所述实例样本集集合对所述生成网络进行训练，获取训练完成后的所述生成器；
依据待迁移的目标实例获取所述生成器进行风格迁移后生成的结果图像。
2.根据权利要求1所述图像风格迁移方法，其特征在于，所述依据所述实例样本集集合对所述生成网络进行训练，获取训练完成后的所述生成器，包括：
依据所述实例样本集集合获取所述生成网络的第一损失函数值，所述第一损失函数为所述生成器的损失函数；
当所述第一损失函数值达到预设范围，获取训练完成后的所述生成器。
3.根据权利要求2所述图像风格迁移方法，其特征在于，所述依据所述实例样本集集合获取所述生成网络的第一损失函数值，包括：
获取所述判别器；
依据所述实例样本集集合、目标标签获取所述生成器生成的伪图像，所述目标标签为所述实例样本集集合中的所述实例对象迁移后具有的对象属性；
依据所述伪图像获取所述判别器的第一对抗损失；
依据所述伪图像、所述实例样本集集合中的所述实例对象的所述对象属性获取所述生成器的重建损失；
依据所述第一对抗损失、所述重建损失计算所述第一损失函数。
4.根据权利要求3所述图像风格迁移方法，其特征在于，获取所述判别器，包括：
依据所述实例样本集集合获取所述判别器的第二对抗损失及第一领域损失；
依据所述伪图像获取所述判别器的第三对抗损失；
在所述实例样本集集合及所述伪图像中采样获取采样样本；
依据所述采样样本获取所述判别器的梯度惩罚；
依据所述第二对抗损失、所述第三对抗损失、所述第一领域损失及所述梯度惩罚获取所述判别器的第二损失函数值；
依据所述第二损失函数值获取训练后的所述判别器。
5.根据权利要求1所述图像风格迁移方法，其特征在于，所述判别器、所述生成器为全卷积网络。
6.根据权利要求5所述图像风格迁移方法，其特征在于，所述判别器包括4个卷积层，前两个卷积层每层使用LeakyReLU激活函数，后两个卷积层无激活函数。
7.根据权利要求5所述图像风格迁移方法，其特征在于，所述生成器包括3个卷积层和1个转置卷积层，其中1个卷积层为残差模块。
8.根据权利要求1所述图像风格迁移方法，其特征在于，所述依据待迁移的目标实例获取所述生成器进行风格迁移后生成的结果图像，包括：
获取待迁移的目标图像中的所述目标实例及目标风格；
依据所述目标实例获取所述生成器按所述目标风格进行迁移的结果实例；
将所述结果实例替换所述目标图像中的所述目标实例，得到迁移后的所述结果图像。
9.一种图像风格迁移设备，其特征在于，所述图像风格迁移设备包括处理器、与所述处理器耦接的存储器，其中，
所述存储器存储有用于实现如权利要求1-8中任一项图像风格迁移方法的程序指令；
所述处理器用于执行所述存储器存储的所述程序指令以对图像风格进行迁移。
10.一种存储装置，其特征在于，存储有能够实现如权利要求1-8中任一项所述图像风格迁移方法的程序文件。
CN202010562121.0A 2020-06-18 2020-06-18 图像风格迁移方法、设备及存储装置 Active CN111932438B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010562121.0A CN111932438B (zh) 2020-06-18 2020-06-18 图像风格迁移方法、设备及存储装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010562121.0A CN111932438B (zh) 2020-06-18 2020-06-18 图像风格迁移方法、设备及存储装置

Publications (2)

Publication Number Publication Date
CN111932438A true CN111932438A (zh) 2020-11-13
CN111932438B CN111932438B (zh) 2024-06-18

Family

ID=73317622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010562121.0A Active CN111932438B (zh) 2020-06-18 2020-06-18 图像风格迁移方法、设备及存储装置

Country Status (1)

Country Link
CN (1) CN111932438B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112418310A (zh) * 2020-11-20 2021-02-26 第四范式（北京）技术有限公司 文本风格迁移模型训练方法和系统及图像生成方法和系统
CN112884758A (zh) * 2021-03-12 2021-06-01 国网四川省电力公司电力科学研究院 一种基于风格迁移方法的缺陷绝缘子样本生成方法及系统
WO2023284070A1 (zh) * 2021-07-14 2023-01-19 浙江大学 基于位姿自监督对抗生成网络的弱配对图像风格迁移方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171770A (zh) * 2018-01-18 2018-06-15 中科视拓（北京）科技有限公司 一种基于生成式对抗网络的人脸表情编辑方法
US20180357800A1 (en) * 2017-06-09 2018-12-13 Adobe Systems Incorporated Multimodal style-transfer network for applying style features from multi-resolution style exemplars to input images
CN110135574A (zh) * 2018-02-09 2019-08-16 北京世纪好未来教育科技有限公司 神经网络训练方法、图像生成方法及计算机存储介质
CN110458216A (zh) * 2019-07-31 2019-11-15 中山大学 基于条件生成对抗网络的图像风格迁移方法
CN110503598A (zh) * 2019-07-30 2019-11-26 西安理工大学 基于条件循环一致性生成对抗网络的字体风格迁移方法
CN110598781A (zh) * 2019-09-05 2019-12-20 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
US20200074722A1 (en) * 2018-09-05 2020-03-05 Cyberlink Corp. Systems and methods for image style transfer utilizing image mask pre-processing
CN110909790A (zh) * 2019-11-20 2020-03-24 Oppo广东移动通信有限公司 图像的风格迁移方法、装置、终端及存储介质
CN110930295A (zh) * 2019-10-25 2020-03-27 广东开放大学（广东理工职业学院） 一种图像风格迁移方法、系统、装置和存储介质
US20200151938A1 (en) * 2018-11-08 2020-05-14 Adobe Inc. Generating stylized-stroke images from source images utilizing style-transfer-neural networks with non-photorealistic-rendering

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180357800A1 (en) * 2017-06-09 2018-12-13 Adobe Systems Incorporated Multimodal style-transfer network for applying style features from multi-resolution style exemplars to input images
CN108171770A (zh) * 2018-01-18 2018-06-15 中科视拓（北京）科技有限公司 一种基于生成式对抗网络的人脸表情编辑方法
CN110135574A (zh) * 2018-02-09 2019-08-16 北京世纪好未来教育科技有限公司 神经网络训练方法、图像生成方法及计算机存储介质
US20200074722A1 (en) * 2018-09-05 2020-03-05 Cyberlink Corp. Systems and methods for image style transfer utilizing image mask pre-processing
US20200151938A1 (en) * 2018-11-08 2020-05-14 Adobe Inc. Generating stylized-stroke images from source images utilizing style-transfer-neural networks with non-photorealistic-rendering
CN110503598A (zh) * 2019-07-30 2019-11-26 西安理工大学 基于条件循环一致性生成对抗网络的字体风格迁移方法
CN110458216A (zh) * 2019-07-31 2019-11-15 中山大学 基于条件生成对抗网络的图像风格迁移方法
CN110598781A (zh) * 2019-09-05 2019-12-20 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN110930295A (zh) * 2019-10-25 2020-03-27 广东开放大学（广东理工职业学院） 一种图像风格迁移方法、系统、装置和存储介质
CN110909790A (zh) * 2019-11-20 2020-03-24 Oppo广东移动通信有限公司 图像的风格迁移方法、装置、终端及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王诣天;石文;: "基于M-CycleGAN实现口罩图像风格迁移", 电脑编程技巧与维护, no. 03 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112418310A (zh) * 2020-11-20 2021-02-26 第四范式（北京）技术有限公司 文本风格迁移模型训练方法和系统及图像生成方法和系统
CN112884758A (zh) * 2021-03-12 2021-06-01 国网四川省电力公司电力科学研究院 一种基于风格迁移方法的缺陷绝缘子样本生成方法及系统
WO2023284070A1 (zh) * 2021-07-14 2023-01-19 浙江大学 基于位姿自监督对抗生成网络的弱配对图像风格迁移方法

Also Published As

Publication number Publication date
CN111932438B (zh) 2024-06-18

Similar Documents

Publication Publication Date Title
CN109255830B (zh) 三维人脸重建方法和装置
CN109658455B (zh) 图像处理方法和处理设备
CN111932438A (zh) 图像风格迁移方法、设备及存储装置
EP3869385B1 (en) Method for extracting structural data from image, apparatus and device
CN112419170A (zh) 遮挡检测模型的训练方法及人脸图像的美化处理方法
CN113762309B (zh) 对象匹配方法、装置及设备
CN111275784A (zh) 生成图像的方法和装置
CN110610202B (zh) 一种图像处理方法及电子设备
CN111062426A (zh) 一种建立训练集的方法、装置、电子设备以及介质
US20220335685A1 (en) Method and apparatus for point cloud completion, network training method and apparatus, device, and storage medium
Najgebauer et al. Inertia‐based Fast Vectorization of Line Drawings
CN113158970A (zh) 一种基于快慢双流图卷积神经网络的动作识别方法与系统
CN117252947A (zh) 图像处理方法、装置、计算机、存储介质及程序产品
CN111914809A (zh) 目标对象定位方法、图像处理方法、装置和计算机设备
CN115601283B (zh) 图像增强方法、装置、计算机设备及计算机可读存储介质
Maggiori et al. Perceptual grouping by tensor voting: a comparative survey of recent approaches
CN108776959B (zh) 图像处理方法、装置及终端设备
CN113610080B (zh) 基于跨模态感知的敏感图像识别方法、装置、设备及介质
CN112667864B (zh) 图对齐方法、装置、电子设备及存储介质
CN111767710B (zh) 印尼语的情感分类方法、装置、设备及介质
CN113223128B (zh) 用于生成图像的方法和装置
CN115761389A (zh) 图像样本的增广方法、装置、电子设备及存储介质
CN112967197A (zh) 图像处理方法、装置、电子设备、介质和计算机程序产品
CN111506715A (zh) 查询方法、装置、电子设备及存储介质
WO2024066697A1 (zh) 一种图像处理方法和相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant