CN111738911B - 图像风格转移方法及系统 - Google Patents

图像风格转移方法及系统 Download PDF

Info

Publication number
CN111738911B
CN111738911B CN202010554146.6A CN202010554146A CN111738911B CN 111738911 B CN111738911 B CN 111738911B CN 202010554146 A CN202010554146 A CN 202010554146A CN 111738911 B CN111738911 B CN 111738911B
Authority
CN
China
Prior art keywords
image
feature map
convolution
transfer
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010554146.6A
Other languages
English (en)
Other versions
CN111738911A (zh
Inventor
叶俊彦
佘邵镔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Cloud Auto Parts Technology Co ltd
Original Assignee
Hangzhou Cloud Auto Parts Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Cloud Auto Parts Technology Co ltd filed Critical Hangzhou Cloud Auto Parts Technology Co ltd
Priority to CN202010554146.6A priority Critical patent/CN111738911B/zh
Publication of CN111738911A publication Critical patent/CN111738911A/zh
Application granted granted Critical
Publication of CN111738911B publication Critical patent/CN111738911B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种图像风格转移方法及系统，其中方法包括以下步骤：获取原始图像，对所述原始图像进行特征提取，获得相对应的特征图；计算获得所述特征图的掩码图；基于所述特征图进行风格转移，生成相对应的转移特征图；计算获得所述转移特征图的反馈权重图；基于所述转移特征图和所述反馈权重图生成重构图；基于所述重构图和所述掩码图进行图像生成，获得目标生成图像。本发明通过根据原始图像的特征生成相对应的掩码图和反馈权重图，对进行风格转移后的转移特征图进行加权处理，从而根据原始图像的特征分别对原始图像中不同区域风格变化的幅度和范围进行限制，从而保证目标生成图像生成相应风格的同时，保留原始图像的细节。

Description

图像风格转移方法及系统
技术领域
本发明涉及图像处理领域，尤其涉及一种图像风格转移方法及系统。
背景技术
目前，图像风格生成方法主要通过风格转移对抗网络实现。
现有的风格转移对抗网络模型一般立足于物体风格辅助设计而建立，能够基于使用者提供的简单轮廓图生成具备期望风格的模拟设计图，由于风格转移对抗网络模型偏向所生成图像的针对，故针对存在较多细节的轮廓图的风格生成，往往会丢失原图中的部分细节。
发明内容
本发明针对现有技术中的缺点，提供了一种图像风格转移方法及系统。
为了解决上述技术问题，本发明通过下述技术方案得以解决：
一种图像风格转移方法，包括以下步骤：
获取原始图像，对所述原始图像进行特征提取，获得相对应的特征图；
计算获得所述特征图的掩码图；
基于所述特征图进行风格转移，生成相对应的转移特征图；
计算获得所述转移特征图的反馈权重图；
基于所述转移特征图和所述反馈权重图生成重构图；
基于所述重构图和所述掩码图进行图像生成，获得目标生成图像。
作为一种可实施方式：
对所述原始图像进行至少两次卷积计算，获得第一特征图；
对所述第一特征图进行特征折叠，获得第二特征图，将第二特征图作为特征图；
提取每次卷积计算的结果，获得第一卷积结果，再次对各第一卷积结果进行卷积计算后，获得第二卷积结果，对所得第二卷积结果进行合并卷积，生成掩码图。
作为一种可实施方式：
将所述特征图进行至少三次残差卷积计算，获得转移特征图，所述转移特征图与所述特征图的尺度一致；
提取每次残差卷积计算的结果，获得残差卷积结果，对所得残差卷积结果进行合并卷积，生成反馈权重图。
作为一种可实施方式：
将所述转移特征图与所述反馈权重图进行合并，获得合并特征图；
对所得合并特征图进行至少两次反卷积计算后进行特征平铺处理，生成重构图，其中，反卷积计算与卷积计算的次数一致，重构图与原始图像的尺度一致。
作为一种可实施方式：
将重构图和掩码图进行通道联合后进行至少一次卷积计算，获得目标生成图像。
本发明还提出一种图像风格转移系统，包括：
采样模块，用于获取原始图像，对所述原始图像进行特征提取，获得相对应的特征图；
掩码模块，用于计算获得所述特征图的掩码图；
转换模块，用于基于所述特征图进行风格转移，生成相对应的转移特征图；
正反馈模块，用于计算获得所述转移特征图的反馈权重图；
上采样模块，用于基于所述转移特征图和所述反馈权重图生成重构图；
生成模块，用于基于所述重构图和所述掩码图进行图像生成，获得目标生成图像。
作为一种可实施方式：
所述采样模块被配置为：
对所述原始图像进行至少两次卷积计算，获得第一特征图；
对所述第一特征图进行特征折叠，获得第二特征图，将第二特征图作为特征图；
所述掩码模块，用于提取每次卷积计算的结果，获得第一卷积结果，再次对各第一卷积结果进行卷积计算后，获得第二卷积结果，对所得第二卷积结果进行合并卷积，生成掩码图。
作为一种可实施方式：
所述转换模块，用于将所述特征图进行至少三次残差卷积计算，获得转移特征图，所述转移特征图与所述特征图的尺度一致；
所述正反馈模块，用于提取每次残差卷积计算的结果，获得残差卷积结果，对所得残差卷积结果进行合并卷积，生成反馈权重图。
作为一种可实施方式，上采样模块被配置为：
将所述转移特征图与所述反馈权重图进行合并，获得合并特征图；
对所得合并特征图进行至少两次反卷积计算后进行特征平铺处理，生成重构图，其中，反卷积计算与卷积计算的次数一致，重构图与原始图像的尺度一致。
本发明还提出一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现上述任意一项所述方法的步骤。
本发明由于采用了以上技术方案，具有显著的技术效果：
本发明通过根据原始图像的特征生成相对应的掩码图和反馈权重图，对进行风格转移后的转移特征图进行加权处理，从而根据原始图像的特征分别对原始图像中不同区域风格变化的幅度和范围进行限制，从而保证目标生成图像生成相应风格的同时，保留原始图像的细节。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是现有风格转移对抗网络模型中生成器的模型结构示意图；
图2是本发明一种图像风格转移方法的工作流程示意图；
图3是图2中步骤S200的流程示意图；
图4是图2中步骤S400的流程示意图；
图5是发明一种图像风格转移系统的模块连接示意图；
图6是案例中风格转移效果对比示意图。
上图中，100是采样模块、200是转换模块、300是上采样模块、400是掩码模块、500是正反馈模块、600是生成模块。
具体实施方式
下面结合实施例对本发明做进一步的详细说明，以下实施例是对本发明的解释而本发明并不局限于以下实施例。
现有风格转移对抗网络模型包括生成器和判别器，通过生成器生成相应风格的图像，通过判别器控制所生成图像的质量；
预先采集风格图和待转移风格的内容图，利用上述风格图和内容图训练生成器，由所述生成器重构与内容图相对应的风格转移图；
利用风格图和生成器重构的风格转移图训练判别器，令判别器判断输入图像是风格图(真)或风格转移图(假)的概率，并根据判别器输出的判别结果的准确度令判别器和生成器继续进行相互竞争的迭代训练，使生成器重构的风格转移图更真实。
其中，生成器的具体工作内容如下：
获取原始图像，对所述原始图像进行特征提取，获得相对应的特征图；
基于所述特征图进行风格转移，生成相对应的转移特征图；
基于所述转移特征图进行图像生成，获得目标生成图像；
在实际使用时，向训练获得的生成器中输入原始图像，由生成器基于其对风格图的学习重构图像，即，输出风格转移后的目标生成图像。
参照图1，现有生成器的模型结构包括采样模块100、转换模块200和上采样模块300，其中采样模块100由2～4层卷积层(conv2d)和1个池化层(pool2d)构成，转换模块200由3～4层残差卷积层构成，上采样模块300由2～4层反卷积层(conv2d_trans)和1个反池化层(upool2d)构成，卷积层数量(conv2d)和反卷积层(conv2d_trans)数量相同。
训练获得的生成器注重风格转移后目标生成图像的整体感官，即，目标生成图像逼真程度，往往忽视了原始图像中细节信息的完整性，重构过程中往往会丢失部分细节；
如果利用上述技术方案进行风格转移时保留原始图像的细节信息，则需要在训练过程中，采用类似轮廓的内容图和具有类似细节的风格图进行训练，但其实际使用时，仅适用于具有类似轮廓的内容图的风格转移，实用性低。
实施例1、一种图像风格转移方法，如图2所示，包括以下步骤：
S100、获取原始图像，对所述原始图像进行特征提取，获得相对应的特征图；
S200、计算获得所述特征图的掩码图；
S300、基于所述特征图进行风格转移，生成相对应的转移特征图；
S400、计算获得所述转移特征图的反馈权重图；
S500、基于所述转移特征图和所述反馈权重图生成重构图；
S600、基于所述重构图和所述掩码图进行图像生成，获得目标生成图像。
本实施例中取消现有风格转移对抗网络模型中的判别器，通过提取相对应的掩码图和反馈权重图，对进行风格转移后的转移特征图进行加权处理，从而根据原始图像的特征分别对原始图像中不同区域风格变化的幅度和范围进行限制，从而保证目标生成图像生成相应风格的同时，保留原始图像的细节。
进一步地：
步骤S100中对所述原始图像进行特征提取，获得相对应的特征图的具体步骤为：
S110、对所述原始图像进行至少两次卷积计算，获得第一特征图；
本领域技术人员可根据实际需要，对所述原始图像进行2～4次卷积计算，本实施例中进行3次卷积计算。
S120、对所述第一特征图进行特征折叠，获得第二特征图，将第二特征图作为特征图；
特征折叠指将指定窗口内图像通道维度的全部特征折叠为1×1尺度多倍通道的特征，此属于现有技术，本实施例不对其进行详细介绍。
参照图3，步骤S200中计算获得所述特征图的掩码图的具体方法为：
提取每次卷积计算的结果，获得第一卷积结果，再次对各第一卷积结果进行卷积计算后，获得第二卷积结果，对所得第二卷积结果进行合并卷积，生成掩码图。
上述掩码图与原始图像的尺度一致。
本实施例中在对原始图像进行特征提取的过程中，识别掩码区域生成相对应的掩码图，使后续获得的重构图基于掩码图生成图像，实现仅针对原始图像中空窗区域(即原始图像中除去轮廓细节的部分)进行风格生成，从而使最终生成的目标生成图像有效保留原始图像中轮廓细节。
进一步地：
步骤S300中基于所述特征图进行风格转移，生成相对应的转移特征图的具体步骤为：
将所述特征图进行至少三次残差卷积计算，获得转移特征图，所述转移特征图与所述特征图的尺度一致；
本领域的技术人员可根据实际需要将所述特征图进行3～9次残差卷积计算，本实施例中具体进行9次残差卷积计算，获得转移特征图。
转移特征图包含预先学习的风格特征。
参照图4，步骤S400中计算获得所述转移特征图的反馈权重图具体方法为：提取每次残差卷积计算的结果，获得残差卷积结果，对所得残差卷积结果进行合并卷积，生成反馈权重图。
增加残差卷积计算的次数能够提高所在风格转移模型的生成质量。
进一步地，步骤S500中基于所述转移特征图和所述反馈权重图生成重构图的具体步骤为：
S510、将所述转移特征图与所述反馈权重图进行合并，获得合并特征图；
本实施例中将所述转移特征图与所述反馈权重图通过相乘操作合并。
S520、对所得合并特征图进行至少两次反卷积计算后进行特征平铺处理，生成重构图，其中，反卷积计算与卷积计算的次数一致，重构图与原始图像的尺度一致。
特征平铺为上述特征折叠的反向过程，能够恢复尺度，令重构图与原始图像的尺度一致。
本实施例中利用特征折叠代替现有技术特征提取过程中的池化步骤，利用特征平铺代替现有技术图像重构过程中的反池化步骤，能够提升所在风格转移模型的训练速度，在风格改变较小的情况下能够提升所在风格转移模型训练效果。
进一步地，步骤S600中基于所述重构图和所述掩码图进行图像生成，获得目标生成图像的具体方法为：
将重构图和掩码图进行通道联合后进行至少一次卷积计算，获得目标生成图像。
注，本领域技术人员可自行选择具体的卷积操作、残差卷积操作、反卷积操作来实现特征的提取、变换、重构，例如可使用如分离卷积、空洞卷积等卷积，不对其做具体限定。
实施例2、一种图像风格转移系统，包括采样模块100、掩码模块400、转换模块200、正反馈模块500、上采样模块300和生成模块600；
采样模块100，用于获取原始图像，对所述原始图像进行特征提取，获得相对应的特征图；
掩码模块400，用于计算获得所述特征图的掩码图；
转换模块200，用于基于所述特征图进行风格转移，生成相对应的转移特征图；
正反馈模块500，用于计算获得所述转移特征图的反馈权重图；
上采样模块300，用于基于所述转移特征图和所述反馈权重图生成重构图；
生成模块600，用于基于所述重构图和所述掩码图进行图像生成，获得目标生成图像。
进一步地：
所述采样模块100被配置为：
对所述原始图像进行至少两次卷积计算，获得第一特征图；
对所述第一特征图进行特征折叠，获得第二特征图，将第二特征图作为特征图；
所述掩码模块400，用于提取每次卷积计算的结果，获得第一卷积结果，再次对各第一卷积结果进行卷积计算后，获得第二卷积结果，对所得第二卷积结果进行合并卷积，生成掩码图。
进一步地：
所述转换模块200，用于将所述特征图进行至少三次残差卷积计算，获得转移特征图，所述转移特征图与所述特征图的尺度一致；
所述正反馈模块500，用于提取每次残差卷积计算的结果，获得残差卷积结果，对所得残差卷积结果进行合并卷积，生成反馈权重图。
进一步地，上采样模块300被配置为：
将所述转移特征图与所述反馈权重图进行合并，获得合并特征图；
对所得合并特征图进行至少两次反卷积计算后进行特征平铺处理，生成重构图，其中，反卷积计算与卷积计算的次数一致，重构图与原始图像的尺度一致。
以一个具体案例对本发明所提出的图像风格转移方法及系统进行详细介绍：
图像风格转移系统为预先训练获得的风格转移模型，如图所示，该模型结构即包括采样模块100、掩码模块400、转换模块200、正反馈模块500、上采样模块300和生成模块600，具体构成如下表所示：
表1
注，上表中采样模块100、转换模块200和上采样模块300可直接采用现有可采用风格转移对抗网络模型中生成器对应的采样模块100、转换模块200和上采样模块300。
上表中conv2d表示用于卷积计算的卷积层，conv1d表示用于合并卷积计算的卷积层，conv_trans2d表示用于反卷积操作的反卷积层，shortcut表示设置在残差卷积层resblock中的捷径连接。上述各模块可根据实际情况自行选择卷积、残差卷积、反卷积来实现特征的提取、变换、重构，可使用如分离卷积、空洞卷积等类似卷积方式进行替换。
掩码模块400中卷积层conv2d与采样模块100中卷积层conv2d一一对应，掩码模块400的中各卷积层conv2d的输出为卷积层conv1d的输入，由卷积层conv1d进行合并卷积计算。
同上，正反馈模块500中的卷积层conv2d与转换模块200的残差卷积层resblock一一对应，，于各残差卷积层resblock引出一个反馈分支，但正反馈模块500中卷积层conv2d不额外进行卷积操作，仅在全部残差卷积完成后进行由卷积层conv1d进行合并卷积，从而生成反馈权重图。
训练获得上述模型结构对应的风格转移模型的具体步骤为：
1、获取训练数据：
所述训练数据包括风格图、多细节图像和多细节图像对应的掩码图，风格图、多细节图像和掩码图的尺度一致；
所述掩码图作为标签数据，其用于指示实际需要进行风格转换区域。
风格图用于训练转换模块200学习所生成的风格，多细节图像和掩码图用于训练掩码模块400学习图像实际风格转移区域。
2、按照上述模型结构构建初始模型，利用训练数据训练初始模型，获得风格转移模型。
本案例中，将上述训练数据输入初始模型，利用MSE(均方差损失)函数计算模型的损失值，并使用Adam优化器进行模型训练，模型收敛后训练完成，输出风格转移模型。
MSE函数公式如下：
其中，ai表示目标生成图像中第i个像素的像素值，yi表示原始图像中第i个像素的像素值；m表示像素值总数，w表示卷积权重，b表示卷积偏方差。
由于模型的构建和训练是比较常见的互联网技术，本案例不做过多阐述。实现效果如图6所示，其中图(a)为原始图像，图(b)为人工实现的目标效果图，图(c)为利用风格转移对抗网络模型生成的目标生成图，图(d)为利用本案例所提供风格转移模型生成的目标生成图。风格转移对抗网络模型实现对原始图像的线型风格变换，但由于原始图像中空窗较大，其无法有针对性的控制转移范围，且边缘线条产生了虚化。本案例中通过对掩码模块400和正反馈模块500限制了识别风格生成区域，并达成了在保留原轮廓细节基础上进行风格生成的目的，风格转换效果更佳。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
实施例3、一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现实施例1所述方法的步骤。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
需要说明的是：
说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
此外，需要说明的是，本说明书中所描述的具体实施例，其零、部件的形状、所取名称等可以不同。凡依本发明专利构思所述的构造、特征及原理所做的等效或简单变化，均包括于本发明专利的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离本发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (8)

1.一种图像风格转移方法，其特征在于包括以下步骤：
获取原始图像，对所述原始图像进行特征提取，获得相对应的特征图；
计算获得所述特征图的掩码图；
基于所述特征图进行风格转移，生成相对应的转移特征图，具体为，将所述特征图进行至少三次残差卷积计算，获得转移特征图，所述转移特征图与所述特征图的尺度一致；
计算获得所述转移特征图的反馈权重图，具体为，提取每次残差卷积计算的结果，获得残差卷积结果，对所得残差卷积结果进行合并卷积，生成反馈权重图；
基于所述转移特征图和所述反馈权重图生成重构图；
基于所述重构图和所述掩码图进行图像生成，获得目标生成图像。
2.根据权利要求1所述的图像风格转移方法，其特征在于：
对所述原始图像进行至少两次卷积计算，获得第一特征图；
对所述第一特征图进行特征折叠，获得第二特征图，将第二特征图作为特征图；
提取每次卷积计算的结果，获得第一卷积结果，再次对各第一卷积结果进行卷积计算后，获得第二卷积结果，对所得第二卷积结果进行合并卷积，生成掩码图。
3.根据权利要求2所述的图像风格转移方法，其特征在于：
将所述转移特征图与所述反馈权重图进行合并，获得合并特征图；
对所得合并特征图进行至少两次反卷积计算后进行特征平铺处理，生成重构图，其中，反卷积计算与卷积计算的次数一致，重构图与原始图像的尺度一致。
4.根据权利要求1至3任一所述的图像风格转移方法，其特征在于：
将重构图和掩码图进行通道联合后进行至少一次卷积计算，获得目标生成图像。
5.一种图像风格转移系统，其特征在于包括：
采样模块，用于获取原始图像，对所述原始图像进行特征提取，获得相对应的特征图；
掩码模块，用于计算获得所述特征图的掩码图；
转换模块，用于基于所述特征图进行风格转移，生成相对应的转移特征图；
正反馈模块，用于计算获得所述转移特征图的反馈权重图；
上采样模块，用于基于所述转移特征图和所述反馈权重图生成重构图；
生成模块，用于基于所述重构图和所述掩码图进行图像生成，获得目标生成图像；
所述转换模块，用于将所述特征图进行至少三次残差卷积计算，获得转移特征图，所述转移特征图与所述特征图的尺度一致；
所述正反馈模块，用于提取每次残差卷积计算的结果，获得残差卷积结果，对所得残差卷积结果进行合并卷积，生成反馈权重图。
6.根据权利要求5所述的图像风格转移系统，其特征在于：
所述采样模块被配置为：
对所述原始图像进行至少两次卷积计算，获得第一特征图；
对所述第一特征图进行特征折叠，获得第二特征图，将第二特征图作为特征图；
所述掩码模块，用于提取每次卷积计算的结果，获得第一卷积结果，再次对各第一卷积结果进行卷积计算后，获得第二卷积结果，对所得第二卷积结果进行合并卷积，生成掩码图。
7.根据权利要求6所述的图像风格转移系统，其特征在于，上采样模块被配置为：
将所述转移特征图与所述反馈权重图进行合并，获得合并特征图；
对所得合并特征图进行至少两次反卷积计算后进行特征平铺处理，生成重构图，其中，反卷积计算与卷积计算的次数一致，重构图与原始图像的尺度一致。
8.一种计算机可读存储介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至4任意一项所述方法的步骤。
CN202010554146.6A 2020-06-17 2020-06-17 图像风格转移方法及系统 Active CN111738911B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010554146.6A CN111738911B (zh) 2020-06-17 2020-06-17 图像风格转移方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010554146.6A CN111738911B (zh) 2020-06-17 2020-06-17 图像风格转移方法及系统

Publications (2)

Publication Number Publication Date
CN111738911A CN111738911A (zh) 2020-10-02
CN111738911B true CN111738911B (zh) 2024-02-27

Family

ID=72649563

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010554146.6A Active CN111738911B (zh) 2020-06-17 2020-06-17 图像风格转移方法及系统

Country Status (1)

Country Link
CN (1) CN111738911B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004187000A (ja) * 2002-12-03 2004-07-02 Fuji Xerox Co Ltd 画像処理装置及び方法
CN108961349A (zh) * 2018-06-29 2018-12-07 广东工业大学 一种风格化图像的生成方法、装置、设备及存储介质
CN109636764A (zh) * 2018-11-01 2019-04-16 上海大学 一种基于深度学习与显著性检测的图像风格转移方法
CN109636712A (zh) * 2018-12-07 2019-04-16 北京达佳互联信息技术有限公司 图像风格迁移及数据存储方法、装置和电子设备
CN110895795A (zh) * 2018-09-13 2020-03-20 北京工商大学 改进的语义图像修补模型方法
CN110942420A (zh) * 2018-09-21 2020-03-31 传线网络科技（上海）有限公司 一种图像字幕的消除方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9857953B2 (en) * 2015-11-17 2018-01-02 Adobe Systems Incorporated Image color and tone style transfer
US10504267B2 (en) * 2017-06-06 2019-12-10 Adobe Inc. Generating a stylized image or stylized animation by matching semantic features via an appearance guide, a segmentation guide, and/or a temporal guide
CN110660037B (zh) * 2018-06-29 2023-02-10 京东方科技集团股份有限公司 图像间脸部交换的方法、装置、系统和计算机程序产品

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004187000A (ja) * 2002-12-03 2004-07-02 Fuji Xerox Co Ltd 画像処理装置及び方法
CN108961349A (zh) * 2018-06-29 2018-12-07 广东工业大学 一种风格化图像的生成方法、装置、设备及存储介质
CN110895795A (zh) * 2018-09-13 2020-03-20 北京工商大学 改进的语义图像修补模型方法
CN110942420A (zh) * 2018-09-21 2020-03-31 传线网络科技（上海）有限公司 一种图像字幕的消除方法及装置
CN109636764A (zh) * 2018-11-01 2019-04-16 上海大学 一种基于深度学习与显著性检测的图像风格转移方法
CN109636712A (zh) * 2018-12-07 2019-04-16 北京达佳互联信息技术有限公司 图像风格迁移及数据存储方法、装置和电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Hierarchical oil painting stylization with limited reference via sparse representation;Saboya Yang;2015 IEEE 17th International Workshop on Multimedia Signal Processing (MMSP);全文 *
前景与背景分离的图像风格迁移技术研究;陈超;中国优秀硕士学位论文全文数据库信息科技辑;正文第二章-第五章 *

Also Published As

Publication number Publication date
CN111738911A (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
AU2020203216B2 (en) Deep image compositing
CN109410261B (zh) 基于金字塔池化模块的单目图像深度估计方法
CN111428575B (zh) 一种基于孪生网络的针对模糊目标的跟踪方法
CN110659664B (zh) 一种基于ssd的高精度识别小物体的方法
CN112232134B (zh) 一种基于沙漏网络结合注意力机制的人体姿态估计方法
CN110223382B (zh) 基于深度学习的单帧图像自由视点三维模型重建方法
CN113379786B (zh) 图像抠图方法、装置、计算机设备及存储介质
CN113449735B (zh) 一种超像素分割的语义分割方法及装置
CN109447897B (zh) 一种真实场景图像合成方法及系统
CN112163447B (zh) 基于Attention和SqueezeNet的多任务实时手势检测和识别方法
CN110930306B (zh) 一种基于非局部感知的深度图超分辨率重建网络构建方法
CN111127309A (zh) 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置
CN112184582A (zh) 一种基于注意力机制的图像补全方法及装置
CN114333074A (zh) 基于动态轻量高分辨率网络的人体姿态估计方法
CN115731138A (zh) 一种基于Transformer与卷积神经网络的图像修复方法
CN114283320A (zh) 基于全卷积的无分支结构目标检测方法
CN113516133A (zh) 一种多模态图像分类方法及系统
CN107729885B (zh) 一种基于多重残差学习的人脸增强方法
CN114882524A (zh) 一种基于全卷积神经网络的单目三维手势估计方法
CN111951171A (zh) Hdr图像生成方法、装置、可读存储介质及终端设备
CN117788544A (zh) 一种基于轻量级注意力机制的图像深度估计方法
CN113240584A (zh) 一种基于图片边缘信息的多任务手势图片超分辨率方法
CN111738911B (zh) 图像风格转移方法及系统
CN117593178A (zh) 一种基于特征引导的虚拟试衣方法
CN111311732A (zh) 3d人体网格获取方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant