CN102074025B - 一种图像风格化绘制方法及装置 - Google Patents

一种图像风格化绘制方法及装置 Download PDF

Info

Publication number
CN102074025B
CN102074025B CN 200910238733 CN200910238733A CN102074025B CN 102074025 B CN102074025 B CN 102074025B CN 200910238733 CN200910238733 CN 200910238733 CN 200910238733 A CN200910238733 A CN 200910238733A CN 102074025 B CN102074025 B CN 102074025B
Authority
CN
China
Prior art keywords
importance
zone
image
stylized
input picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN 200910238733
Other languages
English (en)
Other versions
CN102074025A (zh
Inventor
杨黎波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN 200910238733 priority Critical patent/CN102074025B/zh
Publication of CN102074025A publication Critical patent/CN102074025A/zh
Application granted granted Critical
Publication of CN102074025B publication Critical patent/CN102074025B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种图像风格化绘制方法及装置，用以解决现有风格化绘制方法存在的背离真实风格化图像的绘画特点，导致画面单调、单一，无层次感，绘制效果较差的问题。本发明提供的图像风格化绘制方法，包括：对原始输入图像进行重要性级别区域划分，确定各重要性级别对应的图像区域；针对划分得到的每个图像区域，根据该图像区域的重要性级别对该图像区域进行风格化绘制结果和原始输入图像的风格化融合处理。

Description

一种图像风格化绘制方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像风格化绘制方法及装置。
背景技术
图像的风格化绘制是指使用计算机模拟风格化图像的作画过程，基于原始输入图像生成对应的风格化图像。现有的图像风格化绘制方法主要是基于逐层绘制的分层方法，其主要思想是模拟画家在内心产生的由粗糙到精细的图像纹理等级进行划分，通常先用大笔刷、大的调和色块来绘制大致轮廓，然后逐步用细小的画笔来进行越来越精细的绘制，是一个由粗到细的逐层绘制过程。
以图像的油画风格化绘制为例进行说明。现有的实现方法是基于AaronHertzmann的逐层细化绘制法。在该实现方法中，将原始输入图像生成若干具有高斯模糊效果的金字塔图像序列作为参考，然后分别参照这些序列采用对应大小(例如8、4、2个像素大小为半径)的笔刷在画布上进行逐层绘制。所述的高斯模糊效果是指根据高斯分布曲线将某个像素点对其周围像素进行加权统计得到的图像，该图像具有视觉模糊性；所述的金字塔图像序列是指各图像呈倍数关系逐渐缩小。油画的绘画特点要求脸部等重要区域较为写实，笔画无差错，其他区域可进行较为夸张的展现，这样整个画面布局能突出重点、主次分明，具有层次感，但现有实现方法对每一部分采用均一化处理方式，无法体现层次性以及不同区域的处理特点。同时，油画绘制笔触方向不管在图像块内还是在平滑边界上并不精确，从而导致绘制效果较差，如脸部等区域对人眼来说非常敏感，画错一笔就将严重影响视觉感受，但现有实现方法没有对上述区域加以重点区分及重点保护。
同理，现有其它风格化图像的绘制方法由于基于逐层绘制的分层方法，对每一部分采用均一化处理方式，无法体现层次性以及不同区域的处理特点，背离真实风格化图像的绘画特点，导致画面单调、单一，无层次感，绘制效果较差。
发明内容
本发明提供一种图像风格化绘制方法及装置，用以解决现有风格化绘制方法存在的背离真实风格化图像的绘画特点，导致画面单调、单一，无层次感，绘制效果较差的问题。
本发明提供的图像风格化绘制方法，包括：
对原始输入图像进行重要性级别区域划分，确定各重要性级别对应的图像区域；
针对划分得到的每个图像区域，根据该图像区域的重要性级别对该图像区域进行风格化绘制结果和原始输入图像的风格化融合处理。
本发明提供的图像风格化绘制装置，包括：
确定单元，用于对原始输入图像进行重要性级别区域划分，确定各重要性级别对应的图像区域；
绘制单元，用于针对划分得到的每个图像区域，根据该图像区域的重要性级别对该图像区域进行风格化绘制结果和原始输入图像的风格化融合处理。
本发明提供的图像风格化绘制方法及装置，基于重要性分布进行重要性级别区域划分，在各重要性级别对应的图像区域内，根据重要性级别对图像区域进行风格化绘制结果和原始输入图像的风格化融合处理，相比基于逐层绘制的分层方法，对不同图像区域基于重要性采用不同的处理方式，充分体现出层次性以及不同图像区域的处理特点，从而能够绘制出具有层次感、且重要性区域接近真实风格化图像的效果的风格化图像，提升图像风格化的绘制效果；本方案适用于油画、卡通、素描等各种风格化图像的绘制。
附图说明
图1为本发明实施例中图像风格化绘制方法流程图；
图2为本发明实施例中基于重要性分布的图像区域划分示意图；
图3为本发明实施例中图像的视觉焦点示意图；
图4为本发明实施例中次重要性区域的渐变示意图；
图5为本发明实施例中次重要性区域的重要性因子确定示意图；
图6为本发明实施例中图像风格化装置框图。
具体实施方式
本发明实施例提供了一种图像风格化绘制方法，基于重要性分布，将原始输入图像划分为不同重要性级别的图像区域，根据各图像区域的重要性级别对每个重要性级别的图像区域进行相应处理，从而极大地提升了风格化图像的绘制效果。以下结合说明书附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。并且在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
如图1所示，本发明实施例提供的图像油画风格绘制方法，包括如下步骤：
S101、对原始输入图像进行重要性级别区域划分，确定各重要性级别对应的图像区域；
S102、针对划分得到的每个图像区域，根据该图像区域的重要性级别对该图像区域进行风格化绘制结果和原始输入图像的风格化融合处理。
下面详细介绍步骤101的具体实施过程。
具体实施中，可以依据三个重要性级别对原始输入图像进行重要性级别区域划分，按照重要性级别由高到底可以将原始输入图像划分为主重要性区域、次重要性区域和非重要性区域。如图2所示，假设针对该原始输入图像，通过进行重要性级别区域划分，填充圆点的区域确定为主重要性区域、填充网格的区域确定为次重要性区域，无填充的区域确定为非重要性区域。
下面举例说明重要性区域的划分方法。首先对原始输入图像确定主重要性区域，将主重要性区域边界外延设定距离的周边区域确定为次重要性区域，将主重要性区域和次重要性区域之外的图像区域确定为非重要性区域。
具体的，如果原始输入图像为人像类型，可以对原始输入图像进行人脸检测，将检测出的人脸区域确定为主重要性区域；考虑到手臂也可能是视觉关注的区域，为不失一般性，可以对原始输入图像进行肤色检测，将检测出的肤色区域确定为主重要性区域，人脸区域一般是包括在肤色区域之内的；当然，为了提升检测准确度，可以同时进行人脸检测和肤色检测，将检测出的人脸区域和肤色区域共同确定为主重要性区域。现有技术中，人脸检测技术和肤色检测技术已经比较成熟，可以选择任意一种较为成熟的人脸检测算法和肤色检测算法对原始输入图像进行人脸检测和肤色检测。当原始输入图像中有多个人物时，可以确定出多个不连续的主重要性区域。
如果原始输入图像为非人像类型，则根据原始输入图像的视觉焦点确定主重要性区域。近景图像的视觉焦点在图像中线偏上的左右两个黄金分割点处；远景图像的视觉焦点通常在图像中心稍微偏下。
如图3所示，假设以图像的左下角为起始点坐标，图像的长和宽分别为width和height，黄金分割比例值为b(为简化，通常取值为0.618)。对于近景图像，两个视觉焦点的位置(x0，y0)和(x1，y1)采用如下公式确定：
x0＝width*b，y0＝height*b        [1]
x1＝width*(1-b)，y1＝height*b    [2]
对于远景图像，视觉焦点的位置(x2，y2)采用如下公式确定：
x2＝width/2，y2＝(height/2)-c    [3]
其中，c为抖动因子，取值范围为[0，height/2]，以保证视觉焦点在图像的正中间偏下的某个位置，经验值为height/6。
请参见图3，为图像的视觉焦点示意图，其中“△”标识的位置表示近景图像的视觉焦点；“○”标识的位置表示远景图像的视觉焦点。
将视觉焦点作为主重要性区域的中心点，确定主重要性区域为以视觉焦点为圆心的圆形图像区域。令L为原始输入图像两条边长中的较小值，即L＝min{height，weight}，则主重要性区域的半径r可取值为L/12。
主重要性区域确定后，将其边界外延r(r＝L/12)的周边区域确定为次重要性区域。当两个主重要性区域相隔较近时，两个次重要性区域可能会重合，重合区域同样确定为次重要性区域。主重要性区域和次重要性区域之外的图像区域为非重要性区域。
具体实施中，如果允许人机交互，也可以通过手动标定主重要性区域、以及次重要性区域，以达到某种特殊的艺术效果。
下面详细介绍步骤102的具体实施过程。
具体实施中，在主重要性区域内，针对每一个像素点，可以将原始像素值、以及按照现有风格化绘制算法进行风格化绘制得到的风格化像素值进行风格化融合(blending)处理。具体的，即按照设定的权重将该区域内的原始像素值与风格化绘制得到的风格化像素值进行合成，如公式[4]所示：
M’＝M*a0+P*(1-a0)    [4]
其中，M’为当前像素点经过风格化融合处理得到的像素值，M为原始输入图像中当前像素点的像素值，P为当前像素点进行风格化绘制得到的风格化像素值，a0为重要性因子。从公式[4]中可以看出，a0是原始输入图像与风格化绘制结果进行融合处理的因子，因此重要性因子a0直接决定了风格化融合处理之后得到的最终效果。a0的取值范围为[0.15，0.55]，可根据图像实际需要绘制的效果进行调节。具体的如果需要绘制油画风格化图像，则a0的经验值为0.5，能绘制出具有一定写实风格的油画，接近真实油画的特点。如果对原始输入图像确定出多个不连续的主重要性区域，则各主重要性区域的重要性因子相同，具取值为a0。
主重要性区域的周边即为次重要性区域，次重要性区域采取重要性因子逐渐变小的机制，保证笔画精度的平滑过渡，从而保持风格化图像的整体效果。如图4所示，黑圈内是主重要性区域，主重要性区域内的重要性因子固定不变，而周边次重要性区域内的重要性因子逐渐变小。
具体的，如果次重要性区域中的某像素点距主重要性区域的边界距离为s，如图5所示，则其重要性因子通过如下公式确定：
a1＝a0×(1-s/r)        [5]
其中，a1表示次重要性区域内的重要性因子，a0表示主重要性区域内的重要性因子，s表示次重要性区域内像素点距主重要性区域边界的距离，r表示次重要性区域与主重要性区域的边界间距。
相应地，在次重要性区域内，风格化融合处理如公式[6]所示：
M’＝M*a1+P*(1-a1)        [6]
其中，M’为当前像素点经过风格化融合处理得到的像素值，M为原始输入图像中当前像素点的像素值，P为当前像素点进行风格化绘制得到的风格化像素值，a1为重要性因子。
通过上述处理，即可保证次重要性区域与主重要性区域、以及非重要性区域之间实现风格化效果上的无缝连接，同时保证次重要性区域内部在风格化精细程度上的平滑过渡。
如果对原始输入图像确定出多个次重要性区域，则针对各次重要性区域分别确定重要性因子。如果多个次重要性区域之间存在重合区域，选取重合区域内每一个像素点的重要性因子a1为当前像素点所在各次重要性区域内重要性因子的最大值。
具体实施中，非重要性区域的重要性因子a2一般取值为0，即直接使用风格化绘制结果，不进行风格化融合处理。
本发明实施例提供的图像风格化绘制方法，基于重要性分布进行重要性级别区域划分，在各重要性级别对应的图像区域内，根据重要性级别进行风格化绘制结果和原始输入图像的风格化融合处理，相比基于逐层绘制的分层方法，对不同图像区域基于重要性采用不同的处理方式，充分体现出层次性以及不同图像区域的处理特点，从而能够绘制出具有层次感、且重要性区域接近真实风格化图像的效果的风格化图像，提升图像风格化的绘制效果；本方案适用于油画、卡通、素描等各种风格化图像的绘制。
基于同一技术构思，本发明实施例提供了一种图像风格化绘制装置，如图6所示，包括：
确定单元601，用于对原始输入图像进行重要性级别区域划分，确定各重要性级别对应的图像区域；
绘制单元602，用于针对划分得到的每个图像区域，根据该图像区域的重要性级别对该图像区域进行风格化绘制结果和原始输入图像的风格化融合处理。
具体实施中，绘制单元602，通过公式M’＝M*a+P*(1-a)实现对图像区域进行风格化绘制结果和原始输入图像的风格化融合处理，其中M’为当前像素点经过风格化融合处理得到的像素值，M为原始输入图像中当前像素点的像素值，P为当前像素点进行风格化绘制得到的风格化像素值，a为根据重要性级别确定的重要性因子。
本发明实施例提供的图像风格化绘制装置可以设置在数码相框、移动终端等设备中，提升上述设备绘制的风格化图像的效果。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (11)

1.一种图像风格化绘制方法，其特征在于，包括：
对原始输入图像进行重要性级别区域划分，确定各重要性级别对应的图像区域；
针对划分得到的每个图像区域，根据该图像区域的重要性级别对该图像区域进行风格化绘制结果和原始输入图像的风格化融合处理，所述风格化融合处理为针对每一个像素点，按照设定的权重将该像素点的原始像素值与风格化绘制得到的风格化像素值进行合成；
所述针对划分得到的每个图像区域，根据该图像区域的重要性级别对该图像区域进行风格化绘制结果和原始输入图像的风格化融合处理，通过公式M’=M*a+P*(1-a)实现，其中M’为当前像素点经过风格化融合处理得到的像素值，M为原始输入图像中当前像素点的像素值，P为当前像素点进行风格化绘制得到的风格化像素值，a为根据重要性级别确定的重要性因子。
2.如权利要求1所述的方法，其特征在于，对原始输入图像进行重要性级别区域划分得到的各图像区域中，按照重要性级别由高到低的顺序依次为主重要性区域、次重要性区域和非重要性区域。
3.如权利要求2所述的方法，其特征在于，所述对原始输入图像进行重要性级别区域划分，确定各重要性级别对应的图像区域，具体包括：
如果所述原始输入图像为人像类型，对所述原始输入图像进行人脸检测和/或肤色检测，将检测出的图像区域确定为主重要性区域；
将主重要性区域边界外延设定距离的周边区域确定为次重要性区域；
将主重要性区域和次重要性区域之外的图像区域确定为非重要性区域。
4.如权利要求2所述的方法，其特征在于，所述对原始输入图像进行重要性级别区域划分，确定各重要性级别对应的图像区域，具体包括：
如果所述原始输入图像为非人像类型，确定所述原始输入图像的视觉焦点，并确定主重要性区域为以所述视觉焦点为圆心的圆形图像区域；
将主重要性区域边界外延设定距离的周边区域确定为次重要性区域；
将主重要性区域和次重要性区域之外的图像区域确定为非重要性区域。
5.如权利要求4所述的方法，其特征在于，所述圆形图像区域的半径通过公式r＝L/12，L＝min{height，weight}确定，其中r表示圆形图像区域的半径，L为所述原始输入图像两条边长中的较小值，height和weight表示所述原始输入图像的两条边长，min{}表示取较小值。
6.如权利要求5所述的方法，其特征在于，所述设定距离与所述圆形图像区域的半径相等。
7.如权利要求2所述的方法，其特征在于，所述次重要性区域对应的重要性因子a1通过公式a1=a0×(1-s/r)确定，其中a0表示主重要性区域对应的重要性因子，S表示次重要性区域内像素点距主重要性区域边界的距离，r表示次重要性区域与主重要性区域的边界间距。
8.如权利要求2所述的方法，其特征在于，所述主重要性区域对应的重要性因子a0的取值范围为[0.15，0.55]。
9.如权利要求2所述的方法，其特征在于，所述非重要性区域对应的重要性因子a2的取值为0。
10.如权利要求7所述的方法，其特征在于，如果对原始输入图像确定出多个次重要性区域且多个次重要性区域之间存在重合区域，选取重合区域内每一个像素点的重要性因子为当前像素点所在各次重要性区域内重要性因子的最大值。
11.一种图像风格化绘制装置，其特征在于，包括：
确定单元，用于对原始输入图像进行重要性级别区域划分，确定各重要性级别对应的图像区域；
绘制单元，用于针对划分得到的每个图像区域，根据该图像区域的重要性级别对该图像区域进行风格化绘制结果和原始输入图像的风格化融合处理，所述风格化融合处理为针对每一个像素点，按照设定的权重将该像素点的原始像素值与风格化绘制得到的风格化像素值进行合成；
通过公式M’=M*a+P*(1-a)实现对图像区域进行风格化绘制结果和原始输入图像的风格化融合处理，其中M’为当前像素点经过风格化融合处理得到的像素值，M为原始输入图像中当前像素点的像素值，P为当前像素点进行风格化绘制得到的风格化像素值，a为根据重要性级别确定的重要性因子。
CN 200910238733 2009-11-23 2009-11-23 一种图像风格化绘制方法及装置 Active CN102074025B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 200910238733 CN102074025B (zh) 2009-11-23 2009-11-23 一种图像风格化绘制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 200910238733 CN102074025B (zh) 2009-11-23 2009-11-23 一种图像风格化绘制方法及装置

Publications (2)

Publication Number Publication Date
CN102074025A CN102074025A (zh) 2011-05-25
CN102074025B true CN102074025B (zh) 2013-01-23

Family

ID=44032554

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 200910238733 Active CN102074025B (zh) 2009-11-23 2009-11-23 一种图像风格化绘制方法及装置

Country Status (1)

Country Link
CN (1) CN102074025B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102355555B (zh) * 2011-09-22 2013-06-05 中国科学院深圳先进技术研究院 视频处理方法及系统
CN103093437B (zh) * 2013-01-30 2016-08-24 深圳深讯和科技有限公司 生成铅笔画风格图像的方法及装置
CN105227865B (zh) * 2015-10-29 2019-04-26 努比亚技术有限公司 一种图像处理方法及终端
CN108961349A (zh) * 2018-06-29 2018-12-07 广东工业大学 一种风格化图像的生成方法、装置、设备及存储介质
CN113256484B (zh) * 2021-05-17 2023-12-05 百果园技术(新加坡)有限公司 一种对图像进行风格化处理的方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1619591A (zh) * 2004-11-03 2005-05-25 上海大学 图像质量精细渐进调整方法
CN101169868A (zh) * 2006-10-25 2008-04-30 爱克发医疗保健公司 用于分割数字医学图像的方法
CN101540055A (zh) * 2009-04-13 2009-09-23 浙江大学 面向在线实时应用的卡通风格化方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1619591A (zh) * 2004-11-03 2005-05-25 上海大学 图像质量精细渐进调整方法
CN101169868A (zh) * 2006-10-25 2008-04-30 爱克发医疗保健公司 用于分割数字医学图像的方法
CN101540055A (zh) * 2009-04-13 2009-09-23 浙江大学 面向在线实时应用的卡通风格化方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
卢少平，张松海.一种图像油画风格化绘制的新算法.《第第四届全国几何设计与计算学术会议》.2009,P191-P197. *
黄华,程威.实时图像素描风格化.《计算机学报》.2009,第32卷(第10期),P2023-P2029. *

Also Published As

Publication number Publication date
CN102074025A (zh) 2011-05-25

Similar Documents

Publication Publication Date Title
CN106971165B (zh) 一种滤镜的实现方法及装置
CN102074025B (zh) 一种图像风格化绘制方法及装置
US8144166B2 (en) Dynamic pixel snapping
CN105678724A (zh) 图像的背景替换方法及装置
CN111754928B (zh) 一种显示屏分层校正方法及装置
CN102202224A (zh) 用于平面视频立体转换的字幕去抖方法及字幕去抖装置
CN104011766A (zh) 基于用户位置的图像数据变换
CN108133454B (zh) 空间几何模型图像切换方法、装置、系统及交互设备
JP6135952B2 (ja) 画像アンチエイリアシング方法および装置
JP2010282611A (ja) 情報処理装置、情報処理方法及びプログラム
CN110264396A (zh) 视频人脸替换方法、系统及计算机可读存储介质
CN104637047A (zh) 一种图像处理方法及装置
US20120169759A1 (en) Method and apparatus for creating a live artistic sketch of an image
JP4188487B2 (ja) 目元メーキャップシミュレーションシステム
CN102073468B (zh) 一种基于视窗系统实现图像边缘融合方法
CN101950247A (zh) 一种画面变形纠正的方法
US8035658B2 (en) Bifocal display device and bifocal display method
CN103366343B (zh) 一种位图缩放方法及系统
CN114282285A (zh) 一种基于人眼视觉特性的可视化大屏辅助设计方法
CN114596221A (zh) 脸部轮廓自动平滑处理方法、装置、电子设备及存储介质
JP2007249966A (ja) フィルタリング方法及び装置
CN111582268B (zh) 一种车牌图像处理方法、装置以及计算机存储介质
CN107688427B (zh) 一种图像显示方法及装置
US10535175B2 (en) Timeline tool for producing computer-generated animations
CN103076873B (zh) 一种计算机视觉控制窗口的自适应系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant