CN111986075A - 一种目标边缘清晰化的风格迁移方法 - Google Patents
一种目标边缘清晰化的风格迁移方法 Download PDFInfo
- Publication number
- CN111986075A CN111986075A CN202010807580.0A CN202010807580A CN111986075A CN 111986075 A CN111986075 A CN 111986075A CN 202010807580 A CN202010807580 A CN 202010807580A CN 111986075 A CN111986075 A CN 111986075A
- Authority
- CN
- China
- Prior art keywords
- image
- style
- content
- images
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000013508 migration Methods 0.000 title claims abstract description 37
- 230000005012 migration Effects 0.000 title claims abstract description 37
- 238000005352 clarification Methods 0.000 title description 2
- 230000001537 neural effect Effects 0.000 claims abstract description 15
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000012545 processing Methods 0.000 abstract description 7
- 230000015572 biosynthetic process Effects 0.000 abstract description 2
- 238000003786 synthesis reaction Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 31
- 238000010586 diagram Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000011176 pooling Methods 0.000 description 6
- 238000012546 transfer Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000014759 maintenance of location Effects 0.000 description 3
- 210000005036 nerve Anatomy 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002087 whitening effect Effects 0.000 description 2
- 238000011387 Li's method Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000010419 fine particle Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像处理领域,具体为一种目标边缘清晰化的风格迁移方法,实现步骤为:搭建深度神经抠图网络;对原始风格图像和原始内容图像进行特征图提取、风格图像重建和内容图像重建;优化风格图像和内容图像产生的损失函数;计算原始风格图像与提取的内容图像特征图之间的欧氏距离;计算原始风格图像与提取的风格图像特征图之间的均方误差;确定风格图像与原始风格图像和内容图像的总损失函数;将总损失函数计算的误差进行迭代更新,并输出风格图像。本发明实现了风格图像的结构约束、纹理合成以及风格类似的图像之间的参数共享。
Description
技术领域
本发明涉及图像处理领域,具体为一种目标边缘清晰化的风格迁移方法。
背景技术
图像艺术风格渲染是计算机视觉领域中重要的研究方向。图像艺术风格化在电影产业、动画制作、游戏渲染等领域有着大量的应用。图像风格艺术化是指一幅图像的语义内容用另一幅图像的风格去表示。传统的风格迁移方法大多为手动建模,需要专业经验和复杂的数学公式,且语义内容保留以及空间约束性较差。深度神经网络凭借其强大的图像表示能力,迅速成为一种流行的图像风格化工具,推动了近年来许多神经样式转移方法的发展。因此,一种高效准确的图像风格化算法来提取图像风格及内容,能使风格化后的图像的主要目标清晰可辨且风格化效果显著。图像迁移过程中,图像布局被破坏并且前景、背景以及其他物体之间的边界变得模糊,图像的语义内容和空间布局保留程度有限,生成的图像目标模糊,视觉效果不够理想。
发明内容
针对图像布局被破坏并且前景、背景以及其他物体之间的边界变得模糊,生成图像的风格颜色中会掺杂风格图像中没有的颜色,图像的语义内容和空间布局保留程度有限,生成的图像会产生扭曲的问题,本发明提出了一种目标边缘清晰化的风格迁移方法,实现风格图像的结构约束、纹理合成以及风格类似的图像之间的参数共享。
为了实现所述目的,本发明采用的具体实施方案如下:
一种目标边缘清晰化的风格迁移方法,包括:
S1.输入原始风格图像和原始内容图像,搭建深度神经抠图网络;
S2.对原始风格图像和原始内容图像进行特征图提取、风格图像重建和内容图像重建,并将抠图网络产生的遮罩与重建的风格图像和内容图像合并;
S3.将特征图和抠图网络产生的遮罩叠加在高斯白噪声图像上,优化风格图像和内容图像产生的损失函数;
S4.计算原始风格图像与提取的内容图像特征图之间的欧氏距离;计算原始风格图像与提取的风格图像特征图之间的均方误差;
S5.将欧氏距离和均方误差与约束函数按照权重叠加,得到原始风格图像和原始内容图像与风格图像的总损失函数;
S6.将误差进行迭代更新,并输出风格图像。
所述深度神经抠图网络的搭建采用编码器-解码器结构,解码器的卷积层使用小卷积核,编码器部分由VGG-19模型作为特征提取器。
所述深度神经抠图网络最后一层是具有sigmoid函数的1×1的卷积层,该卷积层的特征图通道数为1,元素阈值设为[0,1]。
所述S2还包括:
S201、用VGG-19网络的卷积层Conv4_2和Conv5_2提取的高维特征图进行内容表示;
S2022、用VGG-19网络的卷积Conv1_1,Conv2_1,Conv3_1,Conv4_1,Conv5_1 提取的特征图进行风格表示。
所述总损失函数为
式中,LR为正则化项,以增加生成图像的平滑性,α,β,γ分别为内容损失函数、风格损失函数和正则化项的权重系数。
本发明的有益效果在于:本发明提供目标边缘清晰化的风格迁移算法,该算法搭建以编码器-解码器为主要结构的深度神经网络,抠图网络用小卷积核代替大卷积核,对内容图像的前景进行抠图处理形成前景目标遮罩,将深度神经抠图网络与神经风格迁移网络合并约束迁移过程,实现风格化图像的结构约束。
2、本发明用预训练好的神经网络作为特征提取器对输入的内容图像和风格图像提取特征图,把输入图像到输出图像的变换约束在色彩空间局部仿射中,在保证相同的感受野的条件下,用小卷积核代替大卷积核,增加网络深度,减少参数,获得更精确的抠图遮罩,并在输入图像RGB通道上合并目标遮罩,使得风格化图像的主要目标在抠图网络抠取的遮罩约束中实现纹理合成。
3、本发明在迁移网络的常规卷积层添加归一化层,归一化层通过学习仿射参数匹配内容图像和风格图像的统计信息,实现风格类似的图像之间的参数共享,减少迁移模型的参数量。
附图说明
图1是本发明的算法流程示意图;
图2是本发明中深度神经抠图模型;
图3是采用本发明算法与其他算法进行图像融合的效果对比图;
图3中:(a)为内容图像,(b)为风格图像,(c)为Gatys的迁移方法风格画的图像,(d)Ulyanov的迁移结果,(e)Huang的迁移结果(f)为Chen 的迁移结果,(e)为Li的迁移结果(h)本发明。
具体实施方式
实施例1
本发明提出了一种目标边缘清晰化的风格迁移方法,本发明的原理为:首先搭建编解码深度神经网络,编码器将输入通过后续的卷积层和最大池层被转换成下采样的特征映射,解码器使用反池化层和卷积层来对特征映射进行上采样。其次,在保证相同的感受野的条件下,用小卷积核代替大卷积核,增加网络深度,减少参数,获得更精确的抠图遮罩。再次,在迁移网络的常规卷积层添加归一化层,归一化层通过学习仿射参数匹配内容图像和风格图像的统计信息,实现风格类似的图像之间的参数共享,减少迁移模型的参数量。最后,在色彩空间局部仿射上合并深度抠图网络和风格迁移网络,用VGG-19模型提取特征图,并进行风格重建和内容重建,用遮罩约束风格迁移,实现图像风格化。
具体包括以下步骤:
步骤一:输入原始风格图像和原始内容图像,搭建深度神经抠图网络,采用编码器-解码器结构,其中的卷积层使用小卷积核;使用公开发布的大数据集进行30000次迭代优化训练抠图网络,使内容图像产生良好的遮罩预测;
步骤二:用VGG-19网络对原始风格图像和原始内容图像进行特征图提取、风格重建和内容重建,并将抠图网络产生的遮罩与重建的风格图像和内容图像合并在一起;具体包括:
A.用VGG-19网络的卷积层Conv4_2和Conv5_2提取的高维特征图进行内容表示,
B.风格表述在不同层的特征表达有不同的视觉效果,采用多层融合,用 VGG-19网络的卷积Conv1_1,Conv2_1,Conv3_1,Conv4_1,Conv5_1提取的特征图进行风格表示。
步骤三、将Step2.1.和Step2.2.的特征图和抠图网络产生的遮罩叠加在高斯白噪声图像上,实现初步的图像风格化,并优化风格图像和内容图像产生的损失函数;
步骤四、计算风格化图像与提取的内容特征图之间的欧氏距离;计算风格化图像与提取的风格特征图之间的均方误差;
步骤五:将步骤四得到的欧氏距离、均方误差和约束函数按照一定的权重叠加在一起得到风格化图像与原始风格图像和内容图像的损失函数。
步骤六:将步骤五得到损失函数用反向传播算法进行迭代更新,每迭代一次得到一张风格化图像,直到风格化图像与原始图像的误差最小完成图像风格化,输出风格化图像。
步骤一中搭建的深度神经抠图网络如图2所示,网络具体设置如下:
抠图网络由一个编码网络和一个解码网络组成。编码网络的输入是图像和相应的Trimap,沿着通道尺寸连接在一起,形成4通道输入。编码器网络的输入通过后续的卷积层和最大池化层转换为降采样后的特征图。本发明受到 VGG-19网络模型的设计理念的启发,解码器部分采用小卷积核堆叠实现大卷积核的卷积操作。解码器网络依次使用相反的操作,将最大池化操作和卷积层反转,以对特征图进行上采样,并具有所需的输出。编码器网络有17个卷积层和 5个池化层,解码器网络有11个卷积层,5个反池化层,解码网络结构更小,减少了参数,加快训练过程。
步骤一中深度神经抠图网络模型中卷积核大小的选择:编码器部分由 VGG-19模型作为特征提取器,使用VGG-19模型的前17层,其中将第17层的全卷积层转换为卷积层,网络全部使用3×3的卷积核和2×2的池化核,通过不断加深网络深度来提升性能。解码器部分进行反卷积操作,将两个3×3卷积层的串联来实现5×5的卷积层的反卷积效果,2个3×3卷积层的大小相当于1个 5×5的卷积层,小卷积核堆叠优于大卷积核的性能在反卷积中同样适用。网络的最后一层是具有sigmoid函数的1×1的卷积层,该卷积层将特征图的通道数减少为1,其中的元素阈值设为[0,1],以生成透明的遮罩。
步骤一中深度神经抠图网络生成透明遮罩过程中损失函数的优化如下:
在深度抠图的过程中主要产生两部分的代价函数。第一部分是网络预测遮罩产生的代价函数,它是遮罩的真值与每个像素处的预测值之间的绝对差,表示为
第二部分为成分损失,它是RGB真值与前景真值,背景真值和预测遮罩合成的预测RGB颜色之间的绝对差。
其中c表示RGB通道,P表示由预测遮罩合成的图像,G表示由遮罩真值合成的图像。
总损失是两个单独损失的加权总和,即
Ctotal=ωC(α)+(1-ω)C(c)
其中ω值为0.5。
在步骤二中特征提取器VGG19的作用,具体如下:
VGG-19网络模型提取的高层特征是关于输入图像的物体和布局等信息,低层特征表达输入图像的像素信息。风格迁移保留内容图像的语义内容和空间布局,内容表示选取图像的高维特征,提取出的高维特征之间的欧氏距离越小,则生成图像与原始内容图像的内容越相似。风格表述在不同层的特征表达有不同的视觉效果,计算不同卷积层间的格莱姆矩阵(Gram Matrix)建立风格损失函数会使风格表达更加丰富,达到风格全局表述的目的。
在步骤三中网络的第l层有Nl不同的滤波器,每个特征响应的大小为Hl×Wl,其中Hl和Wl分别为第l层特征映射的高度和宽度,该层的响应可用矩阵表示:
在步骤五将欧氏距离、均方误差和约束函数按照一定的权重叠加在一起得到风格化图像与原始风格图像和内容图像的误差为
神经风格化产生的整体损失函数为
式中,LR为正则化项,以增加生成图像的平滑性,α,β,γ分别为内容损失函数、风格损失函数和正则化项的权重系数。
效果验证:图像风格迁移过程可理解为两幅图像的色彩和纹理的融合,尽可能地将内容图像的语义内容用风格图像的色彩纹理去表示。为了证明本算法的有效性,将这些方法的风格化的结果与Gatys等人的灵活但缓慢的优化方法, Ulyanov等人的快速但不灵活的方法,Huang等人[12]的自适应实例规范化的方法,Chen等人的碎片交换的方法,Li等人的白化和着色变换的方法进行了对比,主观对比如图3所示。
在神经风格迁移中,图3(c)组的方法最早提出运用神经网络实现神经风格迁移,能够实现任意风格的迁移,但是风格化速度较慢且风格化的结果不稳定,会出现伪影和图像内容扭曲如图图3(c)(3)和图3(c)(4)。(d)组是Ulyanov 的迁移结果,它是一种快速的风格迁移方法,迁移结果颜色纹理表示很好,但是这种训练模型只能迁移一种风格,不能扩展到新的风格。Huang方法将同一层的内容特征映射的均值和方差与风格特征映射的均值和方差对齐,能够快速实现任意风格转换,灵活性较高,但是风格化图像有细小的颗粒覆盖导致细节模糊且存在内容扭曲,如图图3(e)(3),对于风格纹理复杂的迁移效果更差。Chen的方法将每个内容碎片与最匹配的风格碎片匹配,图像的扭曲较小,但是内容图像没有与风格图像很好地结合,纹理表示和颜色表示效果都较差,风格化效果不理想。Li方法用白化和着色转换实现内容图像的特征协方差与给定样式图像的直接匹配,它可以将学习到的一种风格扩展到多种风格,但是不能有效产生清晰的细节和细微的笔触,如图图3(g)(1),对于人脸这类易变形的输入,迁移结果产生语义内容扭曲,如图 3(g)(3)和图3(g)(4)。
图3(h)为本文风格迁移的结果图,由图3(h)看出,通过将抠图遮罩和风格迁移合并,本文迁移结果前后景及周围的主要景物边界清晰,主要物体清晰可辨,既结合了风格图像的纹理和色彩,也没有出现多余的纹理分布,最大程度上保留了内容图像的语义内容,语义内容扭曲程度很小
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和 /或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/ 或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本发明的权利要求保护范围之内。
Claims (6)
1.一种目标边缘清晰化的风格迁移方法,其特征在于,包括:
S1.输入原始风格图像和原始内容图像,搭建深度神经抠图网络;
S2.对原始风格图像和原始内容图像进行特征图提取、风格图像重建和内容图像重建,并将抠图网络产生的遮罩与重建的风格图像和内容图像合并;
S3.将特征图和抠图网络产生的遮罩叠加在高斯白噪声图像上,优化风格图像和内容图像产生的损失函数;
S4.计算原始风格图像与提取的内容图像特征图之间的欧氏距离;计算原始风格图像与提取的风格图像特征图之间的均方误差;
S5.将欧氏距离和均方误差与约束函数按照权重叠加,得到风格图像与原始风格图像和内容图像的总损失函数;
S6.将总损失函数计算的误差进行迭代更新,并输出风格图像。
2.根据权利要求1所述的一种目标边缘清晰化的风格迁移方法,其特征在于:所述深度神经抠图网络的搭建采用编码器-解码器结构,解码器的卷积层使用小卷积核,编码器部分由VGG-19模型作为特征提取器。
3.根据权利要求2所述的一种目标边缘清晰化的风格迁移方法,其特征在于:所述深度神经抠图网络最后一层是具有sigmoid函数的1×1的卷积层,该卷积层的特征图通道数为1,元素阈值设为[0,1]。
4.根据权利要求1所述的一种目标边缘清晰化的风格迁移方法,其特征在于:所述S2还包括:
S201、用VGG-19网络的卷积层Conv4_2和Conv5_2提取的高维特征图进行内容表示;
S2022、用VGG-19网络的卷积Conv1_1,Conv2_1,Conv3_1,Conv4_1,Conv5_1提取的特征图进行风格表示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010807580.0A CN111986075B (zh) | 2020-08-12 | 2020-08-12 | 一种目标边缘清晰化的风格迁移方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010807580.0A CN111986075B (zh) | 2020-08-12 | 2020-08-12 | 一种目标边缘清晰化的风格迁移方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111986075A true CN111986075A (zh) | 2020-11-24 |
CN111986075B CN111986075B (zh) | 2022-08-09 |
Family
ID=73435210
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010807580.0A Active CN111986075B (zh) | 2020-08-12 | 2020-08-12 | 一种目标边缘清晰化的风格迁移方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111986075B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112529771A (zh) * | 2020-12-07 | 2021-03-19 | 陕西师范大学 | 一种人像风格迁移方法 |
CN112883806A (zh) * | 2021-01-21 | 2021-06-01 | 杭州广电云网络科技有限公司 | 基于神经网络的视频风格迁移方法、装置、计算机设备和存储介质 |
CN113191943A (zh) * | 2021-05-31 | 2021-07-30 | 大连民族大学 | 一种多路并行图像内容特征分离风格迁移方法及系统 |
CN113191936A (zh) * | 2021-03-11 | 2021-07-30 | 浙江大学 | 交互式图像纹理迁移转换方法、装置、计算机设备和存储介质 |
CN113256750A (zh) * | 2021-05-26 | 2021-08-13 | 武汉中科医疗科技工业技术研究院有限公司 | 医疗图像风格重建方法、装置、计算机设备和存储介质 |
CN113284042A (zh) * | 2021-05-31 | 2021-08-20 | 大连民族大学 | 一种多路并行图像内容特征优化风格迁移方法及系统 |
CN113706647A (zh) * | 2021-07-30 | 2021-11-26 | 浪潮电子信息产业股份有限公司 | 一种图像上色方法及相关装置 |
CN115170390A (zh) * | 2022-08-31 | 2022-10-11 | 广州极尚网络技术有限公司 | 一种文件风格化方法、装置、设备及存储介质 |
Citations (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107171932A (zh) * | 2017-04-27 | 2017-09-15 | 腾讯科技(深圳)有限公司 | 一种图片风格转换方法、装置及系统 |
CN107392842A (zh) * | 2017-06-30 | 2017-11-24 | 北京奇虎科技有限公司 | 图像风格化处理方法、装置、计算设备及计算机存储介质 |
CN107481185A (zh) * | 2017-08-24 | 2017-12-15 | 深圳市唯特视科技有限公司 | 一种基于视频图像优化的风格转换方法 |
CN108470320A (zh) * | 2018-02-24 | 2018-08-31 | 中山大学 | 一种基于cnn的图像风格化方法及系统 |
CN108765278A (zh) * | 2018-06-05 | 2018-11-06 | Oppo广东移动通信有限公司 | 一种图像处理方法、移动终端及计算机可读存储介质 |
CN108805803A (zh) * | 2018-06-13 | 2018-11-13 | 衡阳师范学院 | 一种基于语义分割与深度卷积神经网络的肖像风格迁移方法 |
CN109285114A (zh) * | 2017-07-21 | 2019-01-29 | 华为技术有限公司 | 一种图片处理方法及设备 |
CN109697690A (zh) * | 2018-11-01 | 2019-04-30 | 北京达佳互联信息技术有限公司 | 图像风格迁移方法和系统 |
CN109712081A (zh) * | 2018-11-14 | 2019-05-03 | 浙江大学 | 一种融合深度特征的语义风格迁移方法和系统 |
CN109766895A (zh) * | 2019-01-03 | 2019-05-17 | 京东方科技集团股份有限公司 | 用于图像风格迁移的卷积神经网络的训练方法和图像风格迁移方法 |
CN109829863A (zh) * | 2019-01-22 | 2019-05-31 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN109949214A (zh) * | 2019-03-26 | 2019-06-28 | 湖北工业大学 | 一种图像风格迁移方法及系统 |
US20190220746A1 (en) * | 2017-08-29 | 2019-07-18 | Boe Technology Group Co., Ltd. | Image processing method, image processing device, and training method of neural network |
CN110084741A (zh) * | 2019-04-26 | 2019-08-02 | 衡阳师范学院 | 基于显著性检测和深度卷积神经网络的图像风络迁移方法 |
CN110097615A (zh) * | 2018-12-06 | 2019-08-06 | 北京大学 | 一种联合风格化和去风格化的艺术字编辑方法和系统 |
CN110111291A (zh) * | 2019-05-10 | 2019-08-09 | 衡阳师范学院 | 基于局部和全局优化融合图像卷积神经网络风格迁移方法 |
CN110232652A (zh) * | 2019-05-27 | 2019-09-13 | 珠海格力电器股份有限公司 | 图像处理引擎处理方法、用于终端的图像处理方法、终端 |
CN110490791A (zh) * | 2019-07-10 | 2019-11-22 | 西安理工大学 | 基于深度学习风格迁移的服饰图像艺术化生成方法 |
CN110570377A (zh) * | 2019-09-11 | 2019-12-13 | 辽宁工程技术大学 | 一种基于组归一化的快速图像风格迁移方法 |
CN110706151A (zh) * | 2018-09-13 | 2020-01-17 | 南京大学 | 一种面向视频的非均匀风格迁移方法 |
CN110909790A (zh) * | 2019-11-20 | 2020-03-24 | Oppo广东移动通信有限公司 | 图像的风格迁移方法、装置、终端及存储介质 |
US20200134778A1 (en) * | 2018-08-13 | 2020-04-30 | Shenzhen Sensetime Technology Co., Ltd. | Image style transform methods and apparatuses, devices and storage media |
CN111311480A (zh) * | 2018-12-11 | 2020-06-19 | 北京京东尚科信息技术有限公司 | 图像融合方法和装置 |
CN111325681A (zh) * | 2020-01-20 | 2020-06-23 | 南京邮电大学 | 一种结合元学习机制与特征融合的图像风格迁移方法 |
US10740939B1 (en) * | 2016-12-09 | 2020-08-11 | Snap Inc. | Fast image style transfers |
-
2020
- 2020-08-12 CN CN202010807580.0A patent/CN111986075B/zh active Active
Patent Citations (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10740939B1 (en) * | 2016-12-09 | 2020-08-11 | Snap Inc. | Fast image style transfers |
CN107171932A (zh) * | 2017-04-27 | 2017-09-15 | 腾讯科技(深圳)有限公司 | 一种图片风格转换方法、装置及系统 |
CN107392842A (zh) * | 2017-06-30 | 2017-11-24 | 北京奇虎科技有限公司 | 图像风格化处理方法、装置、计算设备及计算机存储介质 |
CN109285114A (zh) * | 2017-07-21 | 2019-01-29 | 华为技术有限公司 | 一种图片处理方法及设备 |
CN107481185A (zh) * | 2017-08-24 | 2017-12-15 | 深圳市唯特视科技有限公司 | 一种基于视频图像优化的风格转换方法 |
US20190220746A1 (en) * | 2017-08-29 | 2019-07-18 | Boe Technology Group Co., Ltd. | Image processing method, image processing device, and training method of neural network |
CN108470320A (zh) * | 2018-02-24 | 2018-08-31 | 中山大学 | 一种基于cnn的图像风格化方法及系统 |
CN108765278A (zh) * | 2018-06-05 | 2018-11-06 | Oppo广东移动通信有限公司 | 一种图像处理方法、移动终端及计算机可读存储介质 |
CN108805803A (zh) * | 2018-06-13 | 2018-11-13 | 衡阳师范学院 | 一种基于语义分割与深度卷积神经网络的肖像风格迁移方法 |
US20200134778A1 (en) * | 2018-08-13 | 2020-04-30 | Shenzhen Sensetime Technology Co., Ltd. | Image style transform methods and apparatuses, devices and storage media |
CN110706151A (zh) * | 2018-09-13 | 2020-01-17 | 南京大学 | 一种面向视频的非均匀风格迁移方法 |
CN109697690A (zh) * | 2018-11-01 | 2019-04-30 | 北京达佳互联信息技术有限公司 | 图像风格迁移方法和系统 |
CN109712081A (zh) * | 2018-11-14 | 2019-05-03 | 浙江大学 | 一种融合深度特征的语义风格迁移方法和系统 |
CN110097615A (zh) * | 2018-12-06 | 2019-08-06 | 北京大学 | 一种联合风格化和去风格化的艺术字编辑方法和系统 |
CN111311480A (zh) * | 2018-12-11 | 2020-06-19 | 北京京东尚科信息技术有限公司 | 图像融合方法和装置 |
CN109766895A (zh) * | 2019-01-03 | 2019-05-17 | 京东方科技集团股份有限公司 | 用于图像风格迁移的卷积神经网络的训练方法和图像风格迁移方法 |
CN109829863A (zh) * | 2019-01-22 | 2019-05-31 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN109949214A (zh) * | 2019-03-26 | 2019-06-28 | 湖北工业大学 | 一种图像风格迁移方法及系统 |
CN110084741A (zh) * | 2019-04-26 | 2019-08-02 | 衡阳师范学院 | 基于显著性检测和深度卷积神经网络的图像风络迁移方法 |
CN110111291A (zh) * | 2019-05-10 | 2019-08-09 | 衡阳师范学院 | 基于局部和全局优化融合图像卷积神经网络风格迁移方法 |
CN110232652A (zh) * | 2019-05-27 | 2019-09-13 | 珠海格力电器股份有限公司 | 图像处理引擎处理方法、用于终端的图像处理方法、终端 |
CN110490791A (zh) * | 2019-07-10 | 2019-11-22 | 西安理工大学 | 基于深度学习风格迁移的服饰图像艺术化生成方法 |
CN110570377A (zh) * | 2019-09-11 | 2019-12-13 | 辽宁工程技术大学 | 一种基于组归一化的快速图像风格迁移方法 |
CN110909790A (zh) * | 2019-11-20 | 2020-03-24 | Oppo广东移动通信有限公司 | 图像的风格迁移方法、装置、终端及存储介质 |
CN111325681A (zh) * | 2020-01-20 | 2020-06-23 | 南京邮电大学 | 一种结合元学习机制与特征融合的图像风格迁移方法 |
Non-Patent Citations (3)
Title |
---|
HUANG H ET AL.: "Real-Time Neural Style Transfer for Videos", 《IEEE CONFERENCE ON COMPUTER VISION & PATTERN RECOGNITION》 * |
缪永伟 等: "基于卷积神经网络的图像局部风格迁移", 《计算机科学》 * |
陈小娥: "基于深度学习的图像风格迁移算法研究与实现", 《长春工程学院学报(自然科学版)》 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112529771A (zh) * | 2020-12-07 | 2021-03-19 | 陕西师范大学 | 一种人像风格迁移方法 |
CN112883806A (zh) * | 2021-01-21 | 2021-06-01 | 杭州广电云网络科技有限公司 | 基于神经网络的视频风格迁移方法、装置、计算机设备和存储介质 |
CN112883806B (zh) * | 2021-01-21 | 2024-03-22 | 杭州广电云网络科技有限公司 | 基于神经网络的视频风格迁移方法、装置、计算机设备和存储介质 |
CN113191936A (zh) * | 2021-03-11 | 2021-07-30 | 浙江大学 | 交互式图像纹理迁移转换方法、装置、计算机设备和存储介质 |
CN113256750A (zh) * | 2021-05-26 | 2021-08-13 | 武汉中科医疗科技工业技术研究院有限公司 | 医疗图像风格重建方法、装置、计算机设备和存储介质 |
CN113191943B (zh) * | 2021-05-31 | 2023-09-05 | 大连民族大学 | 一种多路并行图像内容特征分离风格迁移方法及系统 |
CN113284042A (zh) * | 2021-05-31 | 2021-08-20 | 大连民族大学 | 一种多路并行图像内容特征优化风格迁移方法及系统 |
CN113284042B (zh) * | 2021-05-31 | 2023-11-07 | 大连民族大学 | 一种多路并行图像内容特征优化风格迁移方法及系统 |
CN113191943A (zh) * | 2021-05-31 | 2021-07-30 | 大连民族大学 | 一种多路并行图像内容特征分离风格迁移方法及系统 |
CN113706647A (zh) * | 2021-07-30 | 2021-11-26 | 浪潮电子信息产业股份有限公司 | 一种图像上色方法及相关装置 |
CN113706647B (zh) * | 2021-07-30 | 2024-02-13 | 浪潮电子信息产业股份有限公司 | 一种图像上色方法及相关装置 |
CN115170390A (zh) * | 2022-08-31 | 2022-10-11 | 广州极尚网络技术有限公司 | 一种文件风格化方法、装置、设备及存储介质 |
CN115170390B (zh) * | 2022-08-31 | 2023-01-06 | 广州极尚网络技术有限公司 | 一种文件风格化方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111986075B (zh) | 2022-08-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111986075B (zh) | 一种目标边缘清晰化的风格迁移方法 | |
US9922432B1 (en) | Systems and methods for providing convolutional neural network based image synthesis using stable and controllable parametric models, a multiscale synthesis framework and novel network architectures | |
CN111784602B (zh) | 一种生成对抗网络用于图像修复的方法 | |
CN110458750B (zh) | 一种基于对偶学习的无监督图像风格迁移方法 | |
CN110414394B (zh) | 一种面部遮挡人脸图像重建方法以及用于人脸遮挡检测的模型 | |
CN109712165B (zh) | 一种基于卷积神经网络的同类前景图像集分割方法 | |
CN110097609B (zh) | 一种基于样本域的精细化绣花纹理迁移方法 | |
CN111815523A (zh) | 一种基于生成对抗网络的图像修复方法 | |
CN110570377A (zh) | 一种基于组归一化的快速图像风格迁移方法 | |
CN111915522A (zh) | 一种基于注意力机制的图像修复方法 | |
CN109903236A (zh) | 基于vae-gan与相似块搜索的人脸图像修复方法及装置 | |
CN112686817B (zh) | 一种基于不确定性估计的图像补全方法 | |
CN112686816A (zh) | 一种基于内容注意力机制和掩码先验的图像补全方法 | |
CN115205544A (zh) | 一种基于前景参考图像的合成图像和谐化方法及系统 | |
CN112801914A (zh) | 一种基于纹理结构感知的二段式图像修复方法 | |
CN112101364A (zh) | 基于参数重要性增量学习的语义分割方法 | |
CN111260585A (zh) | 基于类凸集投影算法的图像恢复方法 | |
Mun et al. | Texture preserving photo style transfer network | |
CN110580726A (zh) | 基于动态卷积网络的自然场景下人脸素描生成模型及方法 | |
Yu et al. | MagConv: Mask-guided convolution for image inpainting | |
CN111064905B (zh) | 面向自动驾驶的视频场景转换方法 | |
CN117173063A (zh) | 基于梯度变换先验的红外与可见光视觉信息融合方法 | |
CN111161134A (zh) | 基于伽马变换的图像艺术风格转换方法 | |
CN112529771B (zh) | 一种人像风格迁移方法 | |
CN114331894A (zh) | 一种基于潜在特征重构和掩模感知的人脸图像修复方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |