CN110853116A - 一种显著性增强的线条画自动生成方法 - Google Patents

一种显著性增强的线条画自动生成方法 Download PDF

Info

Publication number
CN110853116A
CN110853116A CN201911048714.9A CN201911048714A CN110853116A CN 110853116 A CN110853116 A CN 110853116A CN 201911048714 A CN201911048714 A CN 201911048714A CN 110853116 A CN110853116 A CN 110853116A
Authority
CN
China
Prior art keywords
lines
saliency
image
line drawing
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911048714.9A
Other languages
English (en)
Other versions
CN110853116B (zh
Inventor
刘世光
刘子奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201911048714.9A priority Critical patent/CN110853116B/zh
Publication of CN110853116A publication Critical patent/CN110853116A/zh
Application granted granted Critical
Publication of CN110853116B publication Critical patent/CN110853116B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G06T5/70—
    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种一种显著性增强的线条画自动生成方法，包括以下步骤：(1)图像的预处理；(2)实现显著性增强的线条提取；(3)对线条画进行显著性增强，具体包括以下处理：将线条画表示为线条的集合，并根据是否位于边界处将线条分为两类，分别对每一类线条根据显著性图和梯度信息来为每条线条计算一个显著性值，并删除显著性值低于某个阈值的线条以简化线条画；(4)进行透明度调整，具体包括以下处理：对每一个像素点计算高斯滤波窗口的大小，对所有像素点根据对应的窗口大小进行滤波；最终得到显著性增强的线条画。本发明能够更好地应用于线条画生成中，生成更好地结果。

Description

一种显著性增强的线条画自动生成方法
技术领域
本发明属于图像处理领域，涉及图像显著性检测、基于流的连续性增强滤波以及线条画生成技术，能够实现根据图像自动生成显著性增强的线条画。
背景技术
线条画是一种简单而有效的视觉传达手段，在生活中，人们可以通过线条画来快速识别和欣赏主题图像的主题，线条画的自动生成旨在更有效地向观者传达有用的信息。而对艺术家来说，绘制显著性突出的线条画能够更有利于艺术家对图像侧重点的表达。然而现在的线条画生成技术不能或很难自动生成这种艺术家期望的重点突出线条画。目前在图像处理领域，线条画自动生成方法非常广泛[1-5]，这些方法大多只考虑线条画生成的效果，并没有从观察者的视觉角度来考虑突出重点。优秀的艺术家通常会在绘画时突出主题，并将观察者的注意力引导到他们强调绘画的地方，以传达他们的主要思想[6]。显著性增强的线条画旨在突出线条画中的重点，使观察者能够更快捕捉到图像的主要信息。目前显著性增强的线条画自动生成技术主要考虑连续性和显著性，其中连续性在一定程度上影响显著性的表达，主要为基于边缘检测的方法，而显著性主要是对其他形式的绘画(如油画、铅笔画等)的显著性增强。
线条画的自动生成主要通过边缘检测的方式确定图像的边缘信息，然后将边缘信息转化为线条并在一定程度上赋予其一定的风格特征。Orzan等人[7]开发了一种基于Canny边缘检测和梯度重建方法的多尺度图像提取系统，这种方法能够对图像的细节进行一些控制，但线条的连续性较差；Gooch等人[8]使用DOG(Difference of Gaussian)滤波进行人脸线条画的生成，与基于Canny边缘检测的方法相比，DOG在一定程度上提升了线条的连续性，但仍有待提高；Kang等人[9]提出了一种能够从照片自动生成高质量的线条图的基于流的各向异性滤波器FDOG(Flow based Difference of Gaussian)能够生成相对连续的线条，Wu等人[10]基于FDOG进一步生成了光滑且连续的线条画，但这种连续是对于线条本身来说的，在显著性方面仍然会有产生不连续的效果，因为它不能基于显著性来进行线条的提取这种情况下，在显著性与非显著性的区别难以体现。
显著性增强使得图像的主要信息得以突出，能够更好地传达图像的内容。Choi等人[11]通过用户绘制的局部线条来预测下一条线条从而指导用户绘画，这种引导绘画的方式能够引导用户画出重点突出的线条画，但其需要交互式操作且绘画效果仍取决于用户；与这种交互式的方式不同，Li等人[12]提出了一种基于显著性图自动生成铅笔画的方法。他们借助视觉显著性特征使风格化的图像更加自然。然而，这些方法只专注于特定的图像抽象，如油画和铅笔素描，而没有生成由线条组成的线条画。他们的抽象图像生成方法不适用于线条画。
综上所述，传统的线条画生成方法不能生成显著性突出的线条画以有效地突出图像的主要信息，而其他绘画(油画、水墨画等)的显著性增强方法不能直接应用于线条画生成，因为与其他绘画形式不同，线条画是由大量的线条组成的，线条的特性在很大程度上影响着整个线条画的质量。影响线条的主要因素是线条的显著性和连续性，而在线条画中显著性又是和连续性像关联的。位于显著性区域的线条可能会因为对比度、清晰度等原因而丢失，这不仅对线条画的显著性造成影响，而且会导致不连续的问题。因此，探索一种显著性增强的线条画自动生成方法不仅有利于突出图像主要信息，而且也会增强线条画的连续性，使得线条画的视觉效果更佳。
参考文献：
[1]王山东,刘学慧,陈彦云,等.基于特征流的抽象线条画绘制[J].计算机学报,2014,37(3):611-620.
[2]罗光蕊,苏鸿根.基于小波多分辨率分析的线条画生成方法[J].计算机工程与设计,2010,31(17):3848-3851.
[3]陈洪,郑南宁,徐迎庆,等.基于样本学习的人像线条画生成系统[J].软件学报,2003,14(2):202-208.
[4]孙玉红,屠长河,孟祥旭.基于形状演化的线条画风格转换与变形[J].计算机辅助设计与图形学学报,2006,18(2):208-211.
[5]梁波,戴芳,赵凤群.边缘跟踪算法的图像线条画生成[J].中国图象图形学报,2011,16(11):2074-2080.
[6]M.Hata,M.Toyoura,and X.Mao,“Automatic generation of accentuatedpencil drawing with saliency map and LIC,”Visual Computer,vol.28,no.6-8,pp.657–668,2012..
[7]Orzan A,Bousseau A,Barla P.Structure-preserving manipulation ofphotographs[C]//International Symposium on Non-Photorealistic Animation andRendering.ACM,2007:103-110.
[8]Gooch B,Reinhard E,Gooch A.Human facial illustrations:creation andpsychophysical evaluation[J].ACM Transactions on Graphics,2004,23(1):27-44.
[9]Kang H,Lee S,Chui C K.Coherent line drawing[C]//InternationalSymposium on Non-Photorealistic Animation and Rendering.ACM,2007:43-50.
[10]Y.T.Wu,J.S.Yeh,F.C.Wu,and Y.Y.Chuang,“Tangent-based binary imageabstraction,”Journal of Imaging,vol.3,no.2,pp.16–30,2017.
[11]J.Choi,H.Cho,J.Song,and S.M.Yoon,“Sketchhelper:Real-time strokeguidance for freehand sketch retrieval,”IEEE Transactions on Multimedia,vol.99,pp.1–10,2019.
[12]R.Li,S.Sun,X.Yang,and W.Hu,“Automatic generation of pencildrawings based on multi-level saliency maps,”Journal of Computer-Aided Designand Computer Graphics,vol.30,no.1,pp.108–116,2018.
发明内容
本发明的目的是为了克服现有技术中的不足，提供一种显著性增强的线条画自动生成方法。
本发明的目的是通过以下技术方案实现的：
一种显著性增强的线条画自动生成方法，包括以下步骤：
(1)图像的预处理；
(2)实现显著性增强的线条提取；
(3)对线条画进行显著性增强，具体包括以下处理：将线条画表示为线条的集合，并根据是否位于边界处将线条分为两类，分别对每一类线条根据显著性图和梯度信息来为每条线条计算一个显著性值，并删除显著性值低于某个阈值的线条以简化线条画；
(4)进行透明度调整，具体包括以下处理：对每一个像素点计算高斯滤波窗口的大小，对所有像素点根据对应的窗口大小进行滤波；最终得到显著性增强的线条画。
进一步的，步骤(1)中图像预处理包括将输入的原图像转换为CIE-Lab颜色空间，并使用亮度通道进行处理；使用高斯滤波对原图像进行去噪处理；最后通过算法将去噪后的图像自动生成梯度图像、显著性图和边缘切向流图像。
进一步的，步骤(2)中将DOG滤波器与显著性图、梯度图像和边缘切向流图像相结合得到既能提取连续线条又能体现线条显著性的滤波器；显著性图作为显著性的指导通过区分显著性与非显著性区域来确定线条是否提取；梯度图像作为显著性增强的一个边界指标；边缘切向流图像保证了线条在灰度值与显著性方面的连续性。
与现有技术相比，本发明的技术方案所带来的有益效果是：本发明与现有的线条画生成方法相比，首先，生成的线条画显著性突出，主次分明，能够使观察者更易捕捉到图像的主要信息；其次，该发明生成的线条画连续性更强，灰度值变化更平滑，对由图像质量引起的线条断裂的问题能够有效地解决，结果更具有观赏性，视觉效果更好；最后，本发明的结果中具有更少的噪声和不必要的线条，看起来更整洁，相比于由阈值控制线条数量的方法能在保留显著线条的同时减少过于详细的细节，重点更突出。另外，本发明与其他的图像抽象的显著性增强方法相比，是专门为线条画设计的，能够更好地应用于线条画生成中，生成更好地结果。
附图说明
图1是本发明进行显著性增强的线条画自动生成的框架示意图。
图2是不同图像的显著性线条画生成结果。
具体实施方式
下面结合附图和具体实施例对本发明一种显著性增强的线条画自动生成方法进行详细说明。如图1所示，一种显著性增强的线条画自动生成方法包括步骤：
1、实现图像的预处理：
在进行线条画生成之前，本实施例首先对原始图像进行预处理以去噪并得到在显著性增强过程中使用到的图像。首先将输入的彩色图像转换为CIE-Lab颜色空间，并使用亮度通道L，然后使用高斯滤波器G对其进行卷积操作达到去噪效果：
其中0.7729为用来保证权重和为1的常量。
由去噪后的图像L与Sobel算子做卷积操作得到梯度图像，x和y方向的Sobel算子分别为：
Figure BDA0002253547730000042
使用显著性检测方法对L进行处理生成显著性图Samap并使用公式(3)对其进行更新：
Figure BDA0002253547730000043
其中Sa为更新后的显著性图，px代表处理的像素点，Samap为原显著性图，N(px)为px的邻域，w(pi)定义为：
Figure BDA0002253547730000044
其中，sath为显著性阈值，在实验中取直为0.25，这是有大量实验得到的最合适的值，samap为原显著性图。
同样的，对L每个点计算方向向量后提取向量场并进行可视化后得到边缘切向流图像。2、实现显著性增强的线条提取：
以显著性图、梯度图和边缘切向流(ETF)为指导，从原始图像中提取显著性和相连续性增强的线条。首先，我们将DoG滤波器与显著性图Sa和梯度图Grad组合起来，并沿ETF的方向进行滤波，滤波公式为：
Figure BDA0002253547730000051
其中，px代表处理的像素点，px+t为垂直于ETF的像素px周围的像素，t为像素px和px+t的欧氏距离，I(px+t)为像素px+t的亮度值，T为沿ETF方向滤波的距离。Sa(px+t)为基于显著性图和梯度图的调整参数，表示为：
SG(px)＝grad(px)β(Sa(px)+(1-γ))β (6)
其中，Sa(px)是显著性图中像素px的值，Grad(px)是像素px的梯度值，α、β和γ是调整梯度值和显著性影响的控制参数，在实验中取值为α＝0.5、β＝1.5、γ＝0.1，可以通过改变取值调整实验结果。f(t)为DOG滤波器核：
Figure BDA0002253547730000052
其中ρ设置为0.99，Gσ为一维高斯函数，σc和σs为标准差。
然后，沿着ETF进行过滤，以增强线条的连续性：
Figure BDA0002253547730000053
其中H(px)为像素px的滤波结果，px+t为ETF中像素x周围的像素，F(px+t)为公式(5)计算出的像素px+t的值，S为ETF中像素的滤波范围。
最后，重新计算直线绘制的像素值：
Figure BDA0002253547730000054
其中，C(px)为像素px的最终值,τ是一个大于0的阈值并且设置为0.1，φ设置为5。
3、对线条画进行显著性增强，具体包括以下处理：
虽然已经对线条进行了显著性和连续性增强的提取，但在弱显著性区域仍然存在详细但不需要的线条影响观者的识别，降低欣赏价值。为了提高线描的显著性，需要进一步消除弱显著性区域的线条，使线条画更清晰，更具吸引力。
将线条画表示为线条的组合{L1,L2,L3,...Li,...}，首先使用圆形掩膜为每个像素点计算显著性值的平均值：
Figure BDA0002253547730000055
其中，Avg(px)的是掩膜中像素的平均显著性值，n是掩膜内像素的数量,px是处理的像素，pi是掩膜内第i个像素，Sa(pi)是像素pi。
然后将线条分为两类，第一类为非边界处的线条，其线条显著性计算为：
Figure BDA0002253547730000061
其中，Mg(px)代表像素px的掩膜，pi是掩膜内第i个像素，Sa(pi)是像素pi的显著性值，||px-pi||代表像素px和pi之间的欧几里得距离，函数G(||px-pi||)是二维高斯函数，Mg(pi)代表像素的梯度测量且定义为：
Figure BDA0002253547730000062
其中，Grad(pi)是像素pi的梯度值，λ是梯度阈值。
第二类线条为边界处的线条，其线条显著性计算为：
Figure BDA0002253547730000063
其中，Mg(px)代表像素px的掩膜，pi是掩膜内第i个像素，Sa(pi)是像素pi的显著性值，||px-pi||代表像素px和pi之间的欧几里得距离，函数G(||px-pi||)是二维高斯函数，s(pi)确定像素是否被保留，定义为：
Figure BDA0002253547730000064
其中Avg(px)由公式(10)得到。
然后计算每一个线条的显著性值：
Figure BDA0002253547730000065
其中n为直线li中的像素个数，V(pi)为像素pi的显著性值。
最后，使用显著性阈值sth来确定线条的取舍：
如果一条线条的R(li)等于1，则删除该直线。
4、进行透明度调整，具体包括以下处理：
一个有吸引力的线条画通常会模糊较低的突出区域，因此，进一步对线条的透明度进行调整，使突出的区域更加突出。使用窗口大小根据像素的显著性值变化的高斯滤波器进行卷积操作，卷积的窗口大小定义为：
Figure BDA0002253547730000071
Figure BDA0002253547730000072
其中，V(px)是像素px的显著性值，level是窗口的最大值，step∈[-1,1]用来调整模糊程度。
至此，最终得到了显著性增强的线条画，不同图像的显著性线条画生成结果见图2。
本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。

Claims (3)

1.一种显著性增强的线条画自动生成方法，其特征在于，包括以下步骤：
(1)图像的预处理；
(2)实现显著性增强的线条提取；
(3)对线条画进行显著性增强，具体包括以下处理：将线条画表示为线条的集合，并根据是否位于边界处将线条分为两类，分别对每一类线条根据显著性图和梯度信息来为每条线条计算一个显著性值，并删除显著性值低于某个阈值的线条以简化线条画；
(4)进行透明度调整，具体包括以下处理：对每一个像素点计算高斯滤波窗口的大小，对所有像素点根据对应的窗口大小进行滤波；最终得到显著性增强的线条画。
2.根据权利要求1所述一种显著性增强的线条画自动生成方法，其特征在于，步骤(1)中图像预处理包括将输入的原图像转换为CIE-Lab颜色空间，并使用亮度通道进行处理；使用高斯滤波对原图像进行去噪处理；最后通过算法将去噪后的图像自动生成梯度图像、显著性图和边缘切向流图像。
3.根据权利要求1所述一种显著性增强的线条画自动生成方法，其特征在于，步骤(2)中将DOG滤波器与显著性图、梯度图像和边缘切向流图像相结合得到既能提取连续线条又能体现线条显著性的滤波器；显著性图作为显著性的指导通过区分显著性与非显著性区域来确定线条是否提取；梯度图像作为显著性增强的一个边界指标；边缘切向流图像保证了线条在灰度值与显著性方面的连续性。
CN201911048714.9A 2019-10-30 2019-10-30 一种显著性增强的线条画自动生成方法 Active CN110853116B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911048714.9A CN110853116B (zh) 2019-10-30 2019-10-30 一种显著性增强的线条画自动生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911048714.9A CN110853116B (zh) 2019-10-30 2019-10-30 一种显著性增强的线条画自动生成方法

Publications (2)

Publication Number Publication Date
CN110853116A true CN110853116A (zh) 2020-02-28
CN110853116B CN110853116B (zh) 2023-08-29

Family

ID=69599272

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911048714.9A Active CN110853116B (zh) 2019-10-30 2019-10-30 一种显著性增强的线条画自动生成方法

Country Status (1)

Country Link
CN (1) CN110853116B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116468640A (zh) * 2023-06-20 2023-07-21 山东正禾大教育科技有限公司 一种用于互联网教学的视频图像增强方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000060560A1 (en) * 1999-04-05 2000-10-12 Connor Mark Kevin O Text processing and display methods and systems
CN108573506A (zh) * 2017-03-13 2018-09-25 北京贝塔科技股份有限公司 图像处理方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000060560A1 (en) * 1999-04-05 2000-10-12 Connor Mark Kevin O Text processing and display methods and systems
CN108573506A (zh) * 2017-03-13 2018-09-25 北京贝塔科技股份有限公司 图像处理方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
""Automatic generation of pencildrawings based on multi-level saliency maps" *
刘子奇;刘世光: "风格线条画生成技术综述" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116468640A (zh) * 2023-06-20 2023-07-21 山东正禾大教育科技有限公司 一种用于互联网教学的视频图像增强方法
CN116468640B (zh) * 2023-06-20 2023-08-29 山东正禾大教育科技有限公司 一种用于互联网教学的视频图像增强方法

Also Published As

Publication number Publication date
CN110853116B (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
US20210334978A1 (en) System and method for extracting a region of interest from volume data
Fan et al. Image smoothing via unsupervised learning
WO2018188534A1 (zh) 人脸图像处理方法、装置和电子设备
US7755645B2 (en) Object-based image inpainting
Wen et al. A new binarization method for non-uniform illuminated document images
Li et al. A feature-based pencil drawing method
CN109934843A (zh) 一种实时的轮廓精细化抠像方法及存储介质
CN115272306B (zh) 利用梯度运算的太阳能电池板栅线增强方法
Wei et al. Domain-based structure-aware image inpainting
CN110853116B (zh) 一种显著性增强的线条画自动生成方法
Han et al. Segmenting images with complex textures by using hybrid algorithm
CN110826360A (zh) Ocr图像预处理与文字识别
CN112070684B (zh) 基于形态先验特征的甲骨刻辞文字修复方法
Han et al. A combined approach for the binarization of historical Tibetan document images
Al-Ameen et al. Anisotropic Diffusion-Based Unsharp Masking for Sharpness Improvement in Digital Images.
Kang et al. Direct gray-scale extraction of topographic features for vein recognition
Xu et al. Artistic color virtual reality implementation based on similarity image restoration
Pavan Kumar et al. HDR and image abstraction framework for dirt free line drawing to convey the shapes from blatant range images
Ma et al. The study of binarization algorithm about digital rubbings image based on threshold segmentation and morphology
Lai et al. Non-photorealistic rendering with reduced colour palettes
Liu et al. Line drawing via saliency map and ETF
Guo Oil painting art style extraction method based on image data recognition
CN114821703B (zh) 一种距离自适应热红外人脸识别方法
Sun et al. Pencil drawing rendering based on example texture
Liu et al. Line Segmentation of Tibetan Ancient Books Based on A* Algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant