CN104239855B - 一种基于笔画合成的图像风格迁移合成方法 - Google Patents

一种基于笔画合成的图像风格迁移合成方法 Download PDF

Info

Publication number
CN104239855B
CN104239855B CN201410446767.7A CN201410446767A CN104239855B CN 104239855 B CN104239855 B CN 104239855B CN 201410446767 A CN201410446767 A CN 201410446767A CN 104239855 B CN104239855 B CN 104239855B
Authority
CN
China
Prior art keywords
stroke
image
region
synthesis
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410446767.7A
Other languages
English (en)
Other versions
CN104239855A (zh
Inventor
张岩
缪峥
郑智斌
孙正兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN201410446767.7A priority Critical patent/CN104239855B/zh
Publication of CN104239855A publication Critical patent/CN104239855A/zh
Application granted granted Critical
Publication of CN104239855B publication Critical patent/CN104239855B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于笔画合成的图像风格迁移合成方法,包括以下步骤:步骤(1),对用户输入的目标图像进行图像分割,得到一组图像区域;步骤(2),根据步骤(1)的图像区域,对分割后的目标图像的各区域进行笔画设置;步骤(3),对样本图像进行特征分析,进行基于不规则四边形的笔画迁移合成得到结果图像;步骤(4),将目标图的颜色信息传递给结果图,得到保留原图颜色信息的结果图。

Description

一种基于笔画合成的图像风格迁移合成方法
技术领域
本发明涉及计算机图像处理和计算机图形学技术领域,特别是基于笔画合成的图像风格迁移合成方法。
背景技术
图像的风格化绘制已成为非真实感绘制的一个研究热点,其可以通过对图像内容的识别和解析,依据多种类型艺术创作的艺术理念和艺术准则,模拟各类艺术风格的手工绘制过程和效果。近年来,国内外的研究者从不同的研究角度出发提出了很多卓有成效的方法,根据出发点的不同,概括起来,其中代表性的方法大致可以分为两类:一类是基于模拟的绘制技术(Simulation-based),其致力于模拟真实的绘画创作过程,通过在画布上叠加各种颜色、尺寸的笔画来获得不同风格的结果图,如文献1Hertzmann A.Fast PaintTexture.Proceedings of the 2nd international symposium on Non-photorealisticanimation and rendering,2002.91-96.和文献2 Zeng K,Zhao M,Xiong C,Zhu SC..Form image parsing to painterly rendering.ACM Trans.Graph.2009.29(1),2:1-2:11.等介绍的,该类方法属于一种临摹式的绘制方式,虽然能够很好的体现绘画创作过程,但在其绘制框架中,不同风格艺术作品通常由一些封装好的绘制参数决定。如果希望得到喜爱的风格,用户必须对这些绘制参数的含义有较好的理解,通过反复调整这些参数,得到个性化的绘制结果。这对于用户来说,操作过于复杂。另一类是基于样本风格迁移的绘制技术(Example-based),它多通过纹理合成的方法模拟给定样图的风格特征等,使结果不仅能够保持目标图像本身的内容还能够具有样图的绘制风格。如文献3 Lee H.,Seo S.,RyooS.,et al..Directional texture transfer.Proc.Non-photorealistic Animation andRendering.ACM 2010.43-48.和文献4 Huang H.,Zang Y.,Li C.F.,Example-basedpainting guided by color features.The Visual Computer.2010,26(6-8):933.等介绍的,该类方法通过为用户提供各种不同类型的已有风格模板,将用户选择的样本风格迁移到目标图像上。
基于模拟的绘画技术主要从笔画属性定义、笔画布置策略以及笔画方向设计三方面来模仿画家的创作过程。在发展初期,对笔画的定义以及笔画布置策略的设计成为诸多研究关注的重点,如何自动布置笔画、渲染笔画是这方面的主要研究工作;随着这二个方面研究的逐渐成熟,如何生成更自然、逼真的艺术作品渐渐成为研究者追求的新目标,而由于笔画的方向在视觉上的显著性,模拟更自然、更贴近现实艺术作品的笔画走向,逐渐也成为了新的研究热点。基于模拟的绘画技术属于一种临摹式的绘制方式,虽然能够很好的体现绘画创作过程,但在其绘制框架中,不同风格艺术作品通常由一些封装好的绘制参数决定。如果希望得到喜爱的风格,用户必须对这些绘制参数的含义有较好的理解,通过反复调整这些参数,得到个性化的绘制结果。这对于用户来说,操作过于复杂。
基于样本风格迁移的绘制技术通过为用户提供各种不同类型的已有风格模板,让计算机照着这个模板风格进行绘制,通过不同的学习模板和学习方法,用户被允许对作品进行更广泛的设计。
发明内容
发明目的:本发明所要解决的技术问题是针对现有技术的不足,提供一种基于笔画合成的图像风格迁移合成方法。
技术方案:为了解决上述技术问题,本发明公开了一种基于笔画合成的图像风格迁移合成方法,该方法用于将样本图像的风格迁移到目标图像上,得到结果图像,包括以下步骤:
步骤(1),对用户输入的目标图像进行图像分割;
步骤(2),根据步骤(1)的分割结果,对分割后的目标图像的各区域进行笔画设置;
步骤(3),对样本图像进行特征分析,进行基于不规则四边形的笔画迁移合成;
步骤(4),将目标图的颜色信息传递给结果图,得到保留原图颜色信息的结果图。
本发明步骤(2)中,根据对目标图像进行图像分割的结果,对分割后的目标图像的各区域进行笔画设置,具体步骤为:
步骤(21),根据目标图像的图像分割结果和求得的各区域的轮廓情况,对区域边界笔画进行设置;
步骤(211),设置区域边界笔画方向;
步骤(212),设置区域边界笔画宽度;
步骤(213),设置区域边界笔画长度;
步骤(22),根据目标图像的图像分割结果和求得的各区域的轮廓情况,对区域内部笔画进行设置;
步骤(221),设置区域内部笔画方向;
步骤(222),设置区域内部笔画宽度;
步骤(223),设置区域内部笔画长度。
本发明步骤(3)中,用户选择不同的区域作为输入并进行基于笔画的迁移合成。首先对输入的样本图像进行特征分析,以获得高层风格信息,然后将待合成的空笔画分割为多个不规则的四边形,利用所得特征将笔画迁移合成问题转化为各四边形的在样图中的匹配搜索问题,建立一个一致性衡量问题的能量方程,并根据相似块偏移量统计方法优化此能量方程,求解出能量最小值,以完成各空笔画的优化合成,具体步骤为:
步骤(31),对选定的样本进行高层特征的分析,分析选定样本的笔画走向、纹理特征以及颜色特征等;
步骤(32),基于不规则四边形对空笔画进行优化迁移合成;
步骤(321),根据已求得的笔画宽度和长度等信息,将各待合成的空笔画分割为多个不规则的四边形;
步骤(322),构建合成优化函数,根据样本图像的笔画走向、纹理特征以及颜色特征为每个四边形在样本图像上寻找匹配的四边形,将搜索匹配问题作为一致性衡量问题处理;具体为:
计算第i个待合成四边形Pi的笔画走向与水平方向的夹角αi;计算样本图像的笔画走向与水平方向的夹角β,将样本图像以右上角为旋转中心按逆时针旋转(αi-β)度。为每个四边形在旋转后的样本图像中搜索纹理特征LBP值和颜色特征RGB值最优匹配的四边形。搜素匹配过程可以看作为一致性衡量(coherence measure)问题。
所述能量方程为:
其中,dcohere为一致性衡量的量度值,S为步骤(32)中定义的空笔画,Ω为用户选定的样本区域,Box为连接相邻四边形的三角区域,R为在Ω内搜索到的与Box的匹配区域;
步骤(323),根据相似块偏移量统计思想,优化步骤(322)中能量方程;
所述能量方程为:
其中,S为步骤(32)中定义的空笔画,Ω为用户选定的样本区域,offset为偏移量,offseti是第i个三角区域Box(X)和其最优匹配区域Box(X+offseti)之间的偏移量,Box(X)为中心在坐标X,大小为3*3的三角区域;
对所有设定的空笔画采用上述步骤优化合成后,便可完成目标图像的风格迁移,得到结果图像。
本发明步骤(4)包括以下步骤:
步骤(41),根据全局色彩传递方法,将目标图像的颜色信息传递给结果图像,得到保留原图颜色信息的结果图像。具体为:
全局色彩传递方法为将目标图的整体颜色统计信息传输至结果图,达到改变结果图
色彩的目的。本实施中,首先计算目标图S和结果图T所有像素在l,α,β三个通道的均值ls,αs,βs,lt,αt,βt以及目标图和结果图的标准差σl s,σα s,σβ s,σl t,σα t,σβ t;然后从目标图中移走均值,将剩余部分按照标准差的比值缩放,最后加入结果图的均值得到保留原图颜色信息的结果图像,其变换公式为:
l*=(σl tl s)l’+lt
α*=(σα tα s)α’+αt
β*=(σβ tβ s)β’+βt
l’=l0-ls
α’=α0s
β’=β0s
其中,l0,α0,β0为结果图单个像素在l,α,β三个通道的初始值。l*,α*,β*为结果图单个像素变换后新的值。
有益效果:本发明的图像风格迁移合成方法与现有图像风格迁移合成方法相比优点在于:用户可将输入样图作为调色板,根据自己的喜好以笔画为构造元素完成目标图像的风格迁移;在输入任意形状、大小样本的情况下,在无需对样本进行形变等特殊处理前提下,通过分析和提取样图表达的高层风格特征,便能够自动合成连续、无缝、随机性强,并具有输入样本特征的平滑笔画曲线。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明,本发明的上述和/或其他方面的优点将会变得更加清楚。
图1为本发明空笔画分割示意图。
图2为本发明主要流程图。
图3a和图3b为实施例输入样本图像以及目标图像示意图。
图4为风格迁移合成结果示意图。
图5为合成结果示意图。
具体实施方式
本发明涉及一种图像风格迁移合成方法,该方法将输入的样图作为调色板,并对其进行风格特征的分析,然后利用所得特征将笔画迁移合成问题转化为各四边形的在样图中的匹配搜索问题,建立一个一致性衡量问题的能量方程,并根据相似块偏移量统计方法优化此能量方程,求解出能量最小值,以完成目标图指定区域内所求得的笔画曲线的风格迁移合成,再将目标图的颜色信息传递给结果图,最终所得结果即为与样图有相同绘画风格的结果图。本发明的方法能够高效、自动地完成目标图像的个性化艺术风格迁移。
如图1所示,本发明中:对于空笔画的分割,将各待合成的空笔画分割为多个四边形,定义当前待合成空笔画S,求得S沿笔画方向内外二条轮廓线T和B,沿内外二条轮廓线等距离采样,将待合成空笔画S分割成多个小四边形,定义所分割的四边形为Pi,则其坐标可定义为((Txi,Tyi),(Bxi,Byi),(Txi+1,Tyi+1),(Bxi+1,Byi+1)),其中{xi=i,yi=i}。
如图2所示,本发明包括以下步骤:
步骤(1),对用户输入的目标图像进行图像分割;
步骤(2),根据步骤(1)的分割结果,对分割后的目标图像的各区域进行笔画设置;
步骤(3),对样本图像进行特征分析,进行基于不规则四边形的笔画迁移合成;
步骤(4),将目标图的颜色信息传递给结果图,得到保留原图颜色信息的结果图。
更具体地说,本发明对用户输入的目标图像和样本图像,采用基于笔画合成的迁移合成方法将样本图像的风格传递到目标图像上。首先用户输入目标图像,对目标图像进行图像分割。是对分割所得的目标图像各区域进行笔画设置,根据分割所得区域信息求取各笔画的方向、大小和长度等描述信息。对设定的笔画进行风格迁移合成。将具有一定风格的输入样本图像作为调色板,用户在样图上选取任意区域作为笔画合成的输入模式,对用户选取的区域或边界进行了高层的特征分析。利用所获得的风格样图特征,基于合成思想,通过设定合理的优化函数实现了各笔画的风格迁移。将目标图的颜色信息传递给结果图,得到保留原图颜色信息的结果图。
实施例
下面根据实施例说明本发明的各个步骤。
步骤(1),对用户输入的目标图像进行图像分割。
对图3b所示的输入目标图像,本实施例采用文献5 Lim,Joseph J.,C.LawrenceZitnick,and Piotr Dollár."Sketch tokens:A learned mid-level representationfor contour and object detection."Computer Vision and Pattern Recognition(CVPR),2013 IEEE Conference on.IEEE,2013.提出的方法对目标图像进行图像分割。
步骤(2),根据步骤(1)的分割结果,对分割后的目标图像的各区域进行笔画设置。
本实施例根据目标图像的分割结果,在各区域边界以及区域内铺设了相应笔画。本实施例定义笔画为S,将其设为沿区域纹理走向θ所确定的具有一定弧度的曲线,同时该曲线还具有一定宽度w、长度l以及相应的纹理信息t。可将模拟的相应笔画定义为如下形式S=(θ,w,l,t)。
步骤(21)根据目标图像的图像分割结果和求得的各区域的轮廓情况,对区域边界笔画进行设置。
本实施例对目标图像进行区域分割后,根据求得的各区域的轮廓情况可以设置笔画的各个属性值。
步骤(211)设置区域边界笔画方向。
本实施例采用sketch tokens分割方法对目标图像进行区域分割,易求得各区域的轮廓情况,因此将边界笔画方向θ设为所求区域轮廓走向。
步骤(212)设置区域边界笔画宽度。
本实施例笔画宽度w将根据用户需求进行设定,本文通过实验将边界笔画宽度设为5-6像素,因为笔画宽度选取太小将不利于笔画合成,选取太大则会使边界过于明显,整体效果将不协调。
步骤(213)设置区域边界笔画长度。
本实施例笔画长度l为区域轮廓长度。
步骤(22)根据目标图像的图像分割结果和求得的各区域的轮廓情况,对区域内部笔画进行设置。
本实施例还需设置区域内部的笔画信息,同样需设置笔画方向θ、笔画宽度w以及笔画长度l等信息。
步骤(221)设置区域内部笔画方向。
本实施例借助所求得的矢量场方向θ来设置笔画方向。对扫描线进行一定的形变,增加曲线模拟的控制点,进而通过3次B样条拟合来模拟艺术家绘制时候线条的自然弧度。
步骤(222)设置区域内部笔画宽度。
原理上用户可以设定任意宽度的笔画,但由于所设定的笔画宽度,将影响各区域内的笔画覆盖情况以及后续的笔画迁移合成计算。如笔画宽度过小则各区域覆盖笔画将过多,这不利于后续基于样图的笔画迁移合成计算;如笔画宽度过大则各区域覆盖笔画将过少,这将导致后续基于样图的笔画迁移合成结果的随机性降低。本实施例将笔画宽度w设定为14-20像素之间。
步骤(223)设置区域内部笔画长度。
本实施例笔画的长度与所需覆盖的区域相关,当利用上述笔画方向来确定生成笔画走向后,所拟合的形变扫描线将不能超过所需覆盖的区域边界,因此在区域内的拟合曲线长度l既为当前笔画的长度。
步骤(3)用户在如图3a所示的样本图像中选择不同的区域作为输入并进行基于笔画的迁移合成。首先对输入的样本图像进行特征分析,以获得高层风格信息,然后基于所求特征,沿所求得的各空笔画曲线进行优化合成。
步骤(31),对选定的样本进行高层特征的分析,分析选定样本的笔画走向、纹理特征以及颜色特征等。
很多风格的形成与笔画走向、纹理特征以及颜色特征这些高层特征相关,合理利用这些高层特征将能更好的表达样图原有风格。本实施例在进行笔画迁移合成前,对选定的样本进行了高层特征的分析。
步骤(32),基于不规则四边形对空笔画进行优化迁移合成。
步骤(321),根据已求得的笔画宽度和长度等信息,将各待合成的空笔画分割为多个不规则的四边形。
步骤(322),构建合成优化函数,根据选定样本的笔画走向、纹理特征以及颜色特征为每个四边形在样本图像上寻找匹配的四边形,将搜索匹配问题转化为一致性衡量问题。
步骤(323),根据相似块偏移量统计思想,优化步骤(322)。
本实施例将各待合成的空笔画如图1所示分割为一些不规则的四边形,图1为当前待合成空笔画S,我们知道该笔画的方向为θ,宽度为w,长度为l;我们很容易求得S延笔画方向θ内外二条轮廓线T和B,延内外二条轮廓线等距离采样,便可将待合成空笔画S分割成多个小四边形,设所分割的四边形为Pi,则其坐标可定义为((Txi,Tyi),(Bxi,Byi),(Txi+1,Tyi+1),(Bxi+1,Byi+1)),其中{xi=i,yi=i}。
为保持原样本的连续性,本实施例采用类似于纹理合成思想,要求块与块之间具有一定的重叠,为便于后续的匹配搜索,通过相邻四边形边界来确定重叠区域,以相邻块之间的边界为对角线生成连接二个小四边形的三角形Box,首先,由于已知分割所得各四边形的坐标信息,则很容易求得当三角形Box的坐标;另外,该三角形连接二个四边形,通过其进行匹配搜索将能保持合成区域的连续性。搜素匹配过程可以看作为一致性衡量(coherencemeasure)问题,可将当前笔画求取的能量方程定义为
其中,S为步骤(32)中定义的空笔画,Ω为用户选定的样本区域,Box为连接相邻四边形的三角区域,R为在Ω内搜索到的与Box的匹配区域。
有了上述能量方程,可以采用多种方法对其进行优化。本实施例利用块偏移思想能很好解决上述问题,只用少量的块偏移就可以反映出图像的特征分布情况,所以可以用来实现本文的匹配迁移过程。本实施例结合需解决问题的特点,进行改进,可将优化后的能量方程定义为
其中,S为步骤(32)中定义的空笔画,Ω为用户选定的样本区域,offset为偏移量,offseti是Box(X)和其最优匹配块Box(X+offseti)之间的偏移量,Box(X)为中心在X,大小为3*3的块。
在定义该能量方程后,本实施例为对于每个Box的最优匹配块将根据偏移量分布情况在用户选定的样本中获得。另外,根据所求得的每个Box坐标以及要合成四边形坐标之间的关系,能够很容易确定最终四边形区域内的信息。各四边形合成完毕后,就可以获得完整的笔画传递结果。完成所有笔画的迁移合成结果如图4所示。
步骤(4)将目标图的颜色信息传递给结果图,得到保留原图颜色信息的结果图。
本实施例采用的颜色信息为样图中原有的信息,所以迁移后的图片将不具有原图的颜色信息,而为了表现原图的颜色信息,我们还需将颜色进行迁移,颜色传递具体步骤如下:
步骤(41),根据全局色彩传递方法,将目标图像的颜色信息传递给结果图像,得到保留原图颜色信息的结果图像如图5所示。
全局色彩传递方法为将目标图的整体颜色统计信息传输至结果图,达到改变结果图色彩的目的。本实施中,首先计算目标图和结果图各个通道的均值,目标图和结果图的标准差;然后从目标图中移走均值,将剩余部分按照标准差的比值缩放,最后加入结果图的均值得到保留原图颜色信息的结果图像。
下面将具体介绍算法每步的细节:
匹配搜索过程。本实施例合成过程相当于为每个四边形在样本图像上寻找匹配的四边形。由于待合成的笔画为曲线为了在保持纹理连续的前提下,获得与目标图原纹理方向一致的绘制笔画,需在每合成一个四边形时,将所选取的样本笔画延目标图像的纹理走向进行旋转,以保持样本笔画走向与笔画曲线走向一致。对于当前要合成的四边形Pi,我们首先计算所求得的笔画走向与水平方向的夹角,记为αi;然后为使样本笔画随该角度进行旋转变化,我们还需求取样本笔画纹理走向与水平线的倾斜角度β,该角度为样本笔画在原样图中最初方向与水平线的夹角;最后为使样本笔画走向与笔画曲线走向一致,我们将样本笔画以右上角为旋转中心按逆时针旋转(αi-β)度,该旋转后的样本即为当前待合成四边形Pi接下来要完成匹配搜索的样本。我们对曲率变化比较大的笔画,为获得符合视觉效果的结构,对每一待合成四边形都需进行上述操作。
相似块偏移量统计。相似块偏移量统计基本思想为:先通过基于一定大小块来全局搜索各块匹配情况,再统计匹配块之间的偏移情况,最后利用这些块偏移量完成快速的图像修复。因为他们通过大量实验证明图像中的块偏移具有稀疏特性,并且用来求取偏移量的块大小不影响最终所获得的偏移量分布,另外只用少量的块偏移就可以反映出图像的特征分布情况,所以可以用来实现本实施例的匹配迁移过程。原方法求取各块之间的匹配时只采用每块中所包含像素点的颜色信息进行计算,对样图风格影响因素不仅包括颜色信息,还包括方向、纹理等高层信息,本实施例在块匹配搜索过程中考虑上述二个因素,进行了如下改进:搜索方向为在用户选定样本上所求得的矢量场方向;求取块之间匹配程度时,将所求的各像素点的纹理特征作为一维特征与颜色特征一起参与计算。
形成笔画迁移合成结果。在实际的合成过程中,还需注意以下二点。1)迁移合成目标图像边界笔画时,当边界为封闭曲线,所以在迁移合成笔画最后一个四边形时,我们采用2个Box来确定当前四边形区域内信息,本实施例将根据最后四边形左右二条边来设定相应的Box,并利用其进行搜素。2)迁移合成目标图像区域笔画时,采用从左向右、从上到下的合成顺序来合成笔画,为了保持笔画的连续性,在迁移合成中间笔画时,也要采用2个Box来确定当前四边形区域内信息,即当前合成区域信息要由与其相邻的已合成完二个区域信息来确定。合成四边形区域时,本实施例将利用该四边形的上边界和左边界来确定对应的Box,进行匹配搜索。
本发明提供了一种基于笔画合成的图像风格迁移合成方法,具体实现该技术方案的方法和途径很多,以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (2)

1.一种基于笔画合成的图像风格迁移合成方法,其特征在于,包括以下步骤:
步骤(1),对用户输入的目标图像进行图像分割,得到一组图像区域;
步骤(2),根据步骤(1)的图像区域,对分割后的目标图像的各区域进行笔画设置;
步骤(3),对样本图像进行特征分析,进行基于不规则四边形的笔画迁移合成得到结果图像;
步骤(4),将目标图的颜色信息传递给结果图,得到保留原图颜色信息的结果图;
步骤(2)中具体步骤为:
步骤(21),根据目标图像的各区域和各区域的区域边界,对区域边界笔画进行设置;
步骤(211),用户设置区域边界笔画方向;
步骤(212),用户设置区域边界笔画宽度;
步骤(213),用户设置区域边界笔画长度;
步骤(22),根据目标图像的图像分割结果和步骤(21)对区域边界笔画进行设置的结果,对区域内部笔画进行设置;
步骤(221),用户设置区域内部笔画方向;
步骤(222),用户设置区域内部笔画宽度;
步骤(223),用户设置区域内部笔画长度;
步骤(3)中,用户选择不同的区域作为输入并进行基于笔画的迁移合成;首先对输入的样本图像进行特征分析,以获得高层风格特征,然后将待合成的空笔画分割为多个不规则的四边形,利用所得高层风格特征将笔画迁移合成问题转化为各四边形的在样图中的匹配搜索问题,建立一个一致性衡量问题的能量方程,并根据相似块偏移量统计方法优化此能量方程,求解出能量最小值,以完成各空笔画的优化合成,具体步骤为:
步骤(31),对样本图像进行高层特征的分析,分析选定样本的笔画走向、纹理特征以及颜色特征;
步骤(32),基于不规则四边形对空笔画进行优化迁移合成;
步骤(321),根据步骤(2)得到的笔画宽度和长度,将各待合成的空笔画分割为两个以上不规则的四边形;
步骤(322),构建合成优化函数,根据样本图像的笔画走向、纹理特征以及颜色特征为每个四边形在样本图像上寻找匹配的四边形,将搜索匹配问题作为一致性衡量问题处理;
所述能量方程为:
d c o h e r e = Σ B o x ∈ S m i n R ∈ Ω | | B o x - R | | 2 ,
其中,dcohere为一致性衡量的量度值,S为步骤(321)中定义的空笔画,Ω为用户选定的样本图像区域,Box为连接相邻四边形的三角区域,R为在Ω内搜索到的与Box的匹配区域;
步骤(323),根据相似块偏移量统计方法,优化步骤(322)中能量方程;
所述优化能量方程为:
d c o h e r e = Σ X ∈ S min o f f s e t ∈ Ω | | B o x ( X ) - B o x ( X + offset i ) | | 2 ,
其中,offset为偏移量,offseti是第i个三角区域Box(X)和其最优匹配区域Box(X+offseti)之间的偏移量,Box(X)为中心在坐标X,大小为3*3的三角区域;
对所有设定的空笔画采用上述步骤优化合成后,便完成目标图像的风格迁移,得到结果图像。
2.根据权利要求1所述的一种基于笔画合成的图像风格迁移合成方法,其特征在于,步骤(4)包括以下步骤:
步骤(41),根据全局色彩传递方法,将目标图像的颜色信息传递给结果图像,得到保留原图颜色信息的结果图像。
CN201410446767.7A 2014-09-03 2014-09-03 一种基于笔画合成的图像风格迁移合成方法 Expired - Fee Related CN104239855B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410446767.7A CN104239855B (zh) 2014-09-03 2014-09-03 一种基于笔画合成的图像风格迁移合成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410446767.7A CN104239855B (zh) 2014-09-03 2014-09-03 一种基于笔画合成的图像风格迁移合成方法

Publications (2)

Publication Number Publication Date
CN104239855A CN104239855A (zh) 2014-12-24
CN104239855B true CN104239855B (zh) 2017-05-10

Family

ID=52227881

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410446767.7A Expired - Fee Related CN104239855B (zh) 2014-09-03 2014-09-03 一种基于笔画合成的图像风格迁移合成方法

Country Status (1)

Country Link
CN (1) CN104239855B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108205813B (zh) 2016-12-16 2022-06-03 微软技术许可有限责任公司 基于学习网络的图像风格化
CN110914834B (zh) * 2017-08-01 2024-04-16 3M创新有限公司 用于图像变型和识别的神经风格迁移
CN108038819B (zh) * 2017-12-14 2021-11-26 华侨大学 一种基于交互式的笔画生成方法
CN108171650B (zh) * 2017-12-14 2021-08-24 华侨大学 一种具有笔画优化功能中国花卉水墨画风格笔画生成方法
CN108171766B (zh) * 2017-12-14 2021-09-07 华侨大学 一种具有笔画轮廓纠正功能的图像生成方法
CN108171767B (zh) * 2017-12-14 2021-09-07 华侨大学 一种具有曲线纠正功能的图像生成方法
CN110049303B (zh) 2018-01-15 2021-08-13 微软技术许可有限责任公司 立体图像的视觉风格化
CN108550107A (zh) * 2018-04-27 2018-09-18 Oppo广东移动通信有限公司 一种图片处理方法、图片处理装置及移动终端
CN109214394A (zh) * 2018-08-02 2019-01-15 中国科学院信息工程研究所 一种基于颜色和纹理特性的风格迁移伪造图像检测方法和装置
US10789769B2 (en) 2018-09-05 2020-09-29 Cyberlink Corp. Systems and methods for image style transfer utilizing image mask pre-processing

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《Color transfer between images》;E. Reinhard 等;《IEEE Computer Graphics and Applications》;20011231;第21卷(第5期);第34-41页 *
《基于主动轮廓探索的多源色彩迁移》;潘杰,王雪松,程玉虎;《自动化学报》;20140430;第40卷(第4期);第713-720页 *
《基于参考图像的色粉画模拟》;郑智斌 等;《中国图象图形学报》;20131130;第18卷(第11期);第1542-1550页 *

Also Published As

Publication number Publication date
CN104239855A (zh) 2014-12-24

Similar Documents

Publication Publication Date Title
CN104239855B (zh) 一种基于笔画合成的图像风格迁移合成方法
CN105719327B (zh) 一种艺术风格化图像处理方法
CN101887366B (zh) 云南重彩画艺术风格的数字模拟和合成技术
CN102903128B (zh) 基于局部特征结构保持的视频图像内容编辑传播方法
CN101447076B (zh) 一种web图像中感兴趣区域的分割方法
CN108830912A (zh) 一种深度特征对抗式学习的交互式灰度图像着色方法
CN103544685B (zh) 一种基于主体调整的图像构图美化方法及系统
CN107403183A (zh) 整合目标检测和图像分割为一体的智能分割方法
CN105719326A (zh) 一种基于单张照片的真实感人脸生成方法
CN108805090A (zh) 一种基于平面网格模型的虚拟试妆方法
CN104715451B (zh) 一种基于颜色及透明度一致优化的图像无缝融合方法
CN103927727B (zh) 一种标量图像转化为矢量图的方法
CN101853523A (zh) 一种采用草图创建三维人脸模型的方法
CN105118076B (zh) 基于过度分割和局部与全局一致性的图像彩色化方法
CN108510562B (zh) 基于图像分形纹理的数码迷彩图案生成方法
CN103578107B (zh) 一种交互式图像分割方法
CN105975655B (zh) 一种基于bim的仿唐宋古建异形屋面瓦参数化建模方法
CN108921057A (zh) 基于卷积神经网络的对虾形态测量方法、介质、终端设备及装置
WO2018176185A1 (zh) 一种纹理合成方法及其装置
CN109118588B (zh) 一种基于块分解的彩色lod模型自动生成方法
CN103810729A (zh) 一种基于等高线的光栅图像矢量化方法
CN103824259B (zh) 一种基于视觉区域比重平衡法则的图像构图美化方法和系统
CN106023276A (zh) 基于图像处理的铅笔画绘制方法及装置
CN102214362A (zh) 基于块的快速图像混合方法
CN114187215A (zh) 基于图像分割的局部重着色算法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170510

Termination date: 20180903