CN105374007A - 融合骨架笔画和纹理特征的铅笔画生成方法和装置 - Google Patents

Abstract

本发明中的一种融合骨架笔画和纹理特征的铅笔画生成方法和装置，该铅笔画生成装置包括原始图像获取单元、灰度图像生成单元、梯度图像生成单元、骨架笔画图层生成单元、色调图层生成单元、纹理特征渲染图层生成单元、和铅笔画图像生成单元，该铅笔画生成方法通过对输入图像进行灰度化、去模糊处理及边缘检测从而得到梯度图像，再将梯度图像处理为骨架笔画图层，而后将骨架笔画图层处理为色调图层，并通过纹理合成和建立色调映射数学模型得到纹理特征渲染图层，最后将骨架笔画图层和纹理渲染图层进行正片叠底混合，得到最终的铅笔手绘画效果的铅笔画，本发明中的铅笔画生成方法和装置，生成铅笔画步骤简单、效率高且手绘效果突出。

Description

融合骨架笔画和纹理特征的铅笔画生成方法和装置

技术领域

本发明涉及计算机辅助设计领域，特别是涉及一种融合骨架笔画和纹理特征的铅笔画生成方法和装置。

背景技术

随着移动互联网发展和智能手机的普及，图像处理技术得到了越来越广泛的应用。目前，越来越多人在互联网上快速地浏览图片，并制作艺术图片进行分享，因此，图片的艺术处理市场有着巨大的应用需求，在电视或网络等大众媒体平台中，艺术创作者经常采用非真实感图像来增加视觉的戏剧性和娱乐性，而在抽象视觉艺术中，铅笔画是非真实感图像绘制的基础并能有效增加视觉的艺术性。然而，人工手绘要求创作者必须具备一定的美术及设计功底，且创作过程费时费力，尽管当前用户可以用Photoshop等专业图片处理软件进行手绘图像制作，但这种处理方法较为复杂，需要步骤较多，实现效率较低，制作一张手绘图像通常需花费较长时间，因此，计算机快速自动生成铅笔手绘图像具有重要的应用及娱乐价值。

现有的铅笔画创作方法通常分为两类：一种是基于模型的非真实感渲染，另一种是基于真实图像的处理渲染，研究发现，基于模型的非真实渲染方法需要交互式的对图片中场景建模才能获取，并且需要一定的美术和绘画功底才能创作一幅在视觉上较为满意的铅笔画图像，从而无法满足场景的自适应变化以及自动化处理的需求。相比之下，基于真实感图像渲染的铅笔画方法符合场景变化需求，得到了更为广泛的应用。代表性的方法有，Yamamoto等人(S.Yamamoto,X.Y.Mo,A.Imamiya,“EnhancedLICpencilfilter”,inProc.IEEEInternationalConferenceonComputerGraphics,ImagingandVisualization,2004,pp:251-256.)对图像提取笔画结构，并采用线积分卷积法获取图像纹理进行铅笔效果勾绘，然而此种方法产生铅笔手绘效果欠缺真实感；Lu等人(C.W.Lu,L.Xu,J.Jia,“Combiningsketchandtoneforpencildrawingproduction”,inProc.theSymposiumonNon-PhotorealisticAnimationandRendering,2012,pp:65-73.)提出了一种基于笔画结构和纹理相叠加的方法自动产生铅笔画图像。然而，此方法得到的铅笔化图像虽在视觉上具有一定的手绘艺术效果，但是该方法计算复杂，处理一副图像非常耗时。

此外，目前市面上现有铅笔画转换软件及其实现方法素描效果并不好，因此，对于计算机快速自动生成铅笔手绘图像的研究方法仍然有待改善。

发明内容

本发明的目的在于提供一种使用户可以简单并快速地创造出具有艺术效果的铅笔画作品的融合骨架笔画和纹理特征的铅笔画生成方法和装置。

一种融合骨架笔画和纹理特征的铅笔画生成方法，包括以下步骤：

1)首先对输入图像进行灰度化、去模糊处理及边缘检测，得到梯度图像；

2)将梯度图像经过像素方向分类，并与相应方向模板做卷积，得到抽象、健壮的骨架笔画图层；

3)对滤波后的图像进行直方图匹配，并将其色调映射为铅笔画色调，得到色调图层；

4)通过纹理合成和建立色调映射数学模型得到纹理特征渲染图层；

5)将骨架笔画图层和纹理渲染图层进行正片叠底混合，得到最终的铅笔手绘画效果的铅笔画。

在本发明的较佳实施例中，所述步骤1)中包括对灰度化后的灰度图像进行轻微高斯模糊去除噪声的步骤。

在本发明的较佳实施例中，所述步骤3)中包括将小块铅笔画纹理经过纹理合成算法得到一副与原图像大小一致的纹理图层的步骤。

在本发明的较佳实施例中，所述步骤4)中包括对人工铅笔画上色过程建立数学模型，求解模型的步骤，以得到纹理渲染图层不仅具有铅笔画般的色调，还具有铅笔画般的纹理。

一种融合骨架笔画和纹理特征的铅笔画生成装置，包括：

用于获取原始图像的原始图像获取单元、用于对所述原始图像进行处理生成灰度图像的灰度图像生成单元、用于对所述灰度图像进行处理以得到梯度图像的梯度图像生成单元、用于对所述梯度图像进行处理以生成抽象、健壮的骨架笔画图层的骨架笔画图层生成单元、用于对所述骨架笔画图层进行处理以生成色调图层的色调图层生成单元、用于对所述色调图层进行处理以生成纹理特征渲染图层的纹理特征渲染图层生成单元、用于对所述骨架笔画图层和所述纹理渲染图层进行正片叠底混合处理得到最终的具有铅笔手绘画效果的铅笔画图像的铅笔画图像生成单元，所述原始图像获取单元、灰度图像生成单元、梯度图像生成单元、骨架笔画图层生成单元、色调图层生成单元、纹理特征渲染图层生成单元和铅笔画图像生成单元之间通过信号传输线连接。

与现有技术相比，本发明中的融合骨架笔画和纹理特征的铅笔画生成方法和装置具有如下有益效果:

1)本发明借鉴并模拟了人手绘过程，使得铅笔画生成过程分为骨架笔画草图勾绘和纹理特征渲染两个过程，从而得到了极具逼真的手绘艺术效果；

2)铅笔画纹理渲染过程中，以往方法常常需要用共轭梯度法求解大规模稀疏线性方程组，此种方法不仅耗时，而且占用了大量内存空间。针对此问题，本发明利用约束最小二乘法，并采用拉普拉斯模板约束平滑项，进一步选择在频率域优化求解，使得算法在计算效率上的到了较大的提升；

3)采用本发明方法能够在PC端或者移动智能终端将一副拍摄的照片快速自动地转化为一副具有铅笔画风格的手绘图像。若为灰度处理模式，则生成灰度铅笔画风格照片；若为彩色处理模式，则为彩色铅笔画风格，本发明有效地解决了传统技术总存在的时效问题，能够快速实时处理；

4)本发明中生成铅笔画步骤简单、效率高、手绘效果突出，完全可以用于商业，市场前景较佳。

附图说明

图1是本发明实施例中的铅笔画和彩色铅笔画生成方法的技术框架图；

图2是本发明中铅笔画生成方法所涉及的8个方向卷积模板；

图3是本发明中铅笔画生成方法所涉及的人工手绘及其色调直方图；

图4是本发明中铅笔画生成方法所涉及的伽马矫正；

图5本发明中铅笔画生成方法所涉及的纹理合成图；

图6是利用本发明中铅笔画生成方法生成的铅笔画效果和彩色铅笔画效果图；

图7是本发明中的铅笔画生成方法与现有方法的效果对比图；

图8是本发明中的铅笔画生成方法与Lu方法时间对比图。

具体实施方式

以下结合实例和附图对本发明所涉及的方法作进一步详细说明。

在一个实施例中，如图1所示，一种铅笔画生成方法的步骤包括：

1)输入原始图像I：原始图像I即待要处理成铅笔画特效的图，在一个实施例中，可采取智能终端拍摄照片或获取本地或者网络中图片作为原始图像。

2)将原始图像I转换为灰度图像，得到图像I_G，并将得到的图像进行轻微的高斯模糊处理，消除部分噪声，得到平滑图像I_Gs，其中半径设置为3像素。

3)生成梯度图像G：对预处理后的图像用梯度算子进行边缘检测，考虑到平方和开方需要更多的计算复杂度，实际过程中使用绝对值近似梯度的幅值：

$G=\left|{\∂}_x{I}_{Gs}\right|+\left|{\∂}_y{I}_{Gs}\right|---\left(1\right)$

其中I_Gs为待边缘检测的平滑灰度图像，G为输出梯度图像。

如图2所示，对得到的图像G进行8个方向的卷积，其中卷积核的半径大小为输入参数，默认参数为5，卷积核为沿指定的方向为1，其他的值均为0。

像素方向分类：然后对所得的梯度图像进行像素方向分类，

$1C_i\left(p\right)=\left\{\begin{array}{cc}{G}_0\left(p\right)& if{\mathrm{argmax}}_i\{{\mathrm{\ψ}}_i\⊗G\}\left(p\right)=i\\ 0& otherwise\end{array}\right.---\left(2\right)$

其中p为像素点的位置，G为待要边缘检测的图像，ψ为方向卷积模板，C_i为第i个方向的所有像素组成的边缘方向图像。进一步的，对卷积核的线条进行加粗处理，一般场景图像这里可以设置成3个像素宽。

4)生成笔画草图：针对像素方向分类图像，使用卷积核进一步对不同边缘方向图像进行该方向的卷积操作，以得到扩展的稳健的边缘线条。进一步的，如图2所示，叠加8个方向的线条图像，则可以得到线条勾绘的骨架笔画图层，即完成场景草图笔画勾绘部分。色调映射：人手工绘制的铅笔画的色调一般呈现一定的规律，其直方图分布一般如图3所示。对此，本发明采用三个函数去模拟这些直方图进行色调映射，以获取较为逼真的纹理渲染图层。

高光部分，使用拉普拉斯函数模拟：

$P_1\left(v\right)=\left\{\begin{array}{cc}\frac{1}{{\mathrm{\σ}}_b}{e}^{-\frac{1-v}{{\mathrm{\σ}}_b}}& ifv\≤1\\ 0& otherwise\end{array}\right.---\left(3\right)$

实验中，这里σ_b设置为9，中间调部分，使用均匀分布模拟：

$P_2\left(v\right)=\left\{\begin{array}{cc}\frac{1}{u_b-u_a}& if{u}_a\≤v\≤u_b\\ 0& otherwise\end{array}\right.---\left(4\right)$

实验中，这里u_a设置成100，u_b设置成225，阴影部分，使用高斯分布模拟：

$P_3\left(v\right)=\frac{1}{\sqrt{2{\mathrm{\π\σ}}_d}}{e}^{-\frac{{(v-{\mathrm{\μ}}_d)}^2}{2{\mathrm{\σ}}_d^2}}---\left(5\right)$

实验中，这里μ_d设置为90，σ_d设置为11，对这3个函数调节不同的权重，用最大似然估计权重的值。

$P\left(v\right)=\frac{1}{Z}\[{\mathrm{\ω}}_1{P}_1\left(v\right)+{\mathrm{\ω}}_2{P}_2\left(v\right)+{\mathrm{\ω}}_3{P}_3\left(v\right)\]---\left(6\right)$

这里Z为归一化参数，ω₁，ω₂，ω₃为不同成分所占的比重。经过大量实验统计分析，对于较多场景图像，ω₁，ω₂，ω₃可以分别设置76，22，2，最后，对灰度图像I_Gs进行直方图匹配得到色调映射图层。

5)纹理合成：将纹理特效图片转换为灰度模式并扩展成一副与原图大小一致的铅笔画纹理图片，鉴于合成高质量的纹理图片需要耗费大量时间，如图5所示，实际应用中采取剪裁或者缩放来预先合成一副良好的纹理图片。

6)纹理转移：依据上述步骤可以较好的获取色调映射图层和纹理图层，下一步即可进行纹理渲染。纹理渲染的目的旨在使得渲染图层有着铅笔画般的手绘纹理效果，且色调和铅笔画色调一致，如图4所示，本发明采取建立色调映射数学模型，将人手工上色步骤视为伽马矫正过程，不同的伽马值对应上色的深浅不同，即笔画反复描画过程：

P(x)^β(x)≈J(x)(7)

$\mathrm{\β}\left(x\right)\≈\frac{log\[J\left(x\right)\]}{log\[P\left(x\right)\]}---\left(8\right)$

其中P是代表的合成纹理图层，β代表重复描绘的次数，也即伽马值，J是色调映射图层，除此之外，还要求β是一个局部平滑的图层，令这个问题可以由以下最优化问题解决，

${\mathrm{\β}}^{*}=\arg \underset{\mathrm{\β}}{min}\left\{\right||\mathrm{\β}-B|{|}_2^2+\mathrm{\λ}\left|\right|\▿\mathrm{\β}\left|{|}_2^2\right\}---\left(9\right)$

以上问题为约束最小二乘法问题，第一项是数据项，第二项是约束项。令L是拉普拉斯算子，上述方程可以写成

${\mathrm{\β}}^{*}=\arg \underset{\mathrm{\β}}{min}\left\{\right||\mathrm{\β}-B|{|}_2^2+\mathrm{\λ}\left|\right|L\⊗\mathrm{\β}\left|{|}_2^2\right\}---\left(10\right)$

其中是卷积操作，最优化的β^*计算得到

其中F(·)代表傅里叶变换，F^-1(·)是相应的傅里叶逆变换。表示复数共轭，ο表示元素按位点乘，并且上述除法也是按位点除操作。

实际应用过程中，考虑log，power函数计算开销比较大，可预先生成查找表进行快速计算，并使用快速傅里叶变换(FFT)，其复杂度是O(nlog(n))，因此纹理渲染这一过程时效性非常快。

7)图层混合：将骨架笔画图层和纹理渲染图层进行正片叠底混合，得到最终的铅笔手绘画效果，其中正片叠底混合计算公式为：

f(a,b)＝a*b(12)

其中a,b分别为待混合图层，f(a,b)为混合结果图层，在这里即铅笔画，*为乘积。

8)彩色铅笔画的处理：如图6所示，对于彩色铅笔画，首先将图像由RGB彩色空间转换为YUV彩色空间，并对Y通道做铅笔画转换，得到铅笔画图层，然后结合U，V颜色通道再转换回RGB空间，即可以得到彩色铅笔画。

本发明的效果可以从以下对比实验中得到进一步验证，如图7所示，发明方法与现有图像转换软件如美图秀秀、Photoshop2014CC、InstantPhotoSketch2.0等主观视觉对比。从对比效果上看，本发明方法能有效抽象图像边缘生成骨架笔画线条，并结合铅笔画色调和纹理，可以较好的模拟出生动唯美的手绘艺术效果，视觉效果提升明显。

此外，图8列出了本发明方法与近期Lu等人(C.W.Lu,L.Xu,J.Jia,“Combiningsketchandtoneforpencildrawingproduction”,inProc.theSymposiumonNon-PhotorealisticAnimationandRendering,2012,pp:65-73.)方法的时间对比，其中仿真实验平台为Inter(R)Core(TM)i5-3470CPU8GRAM，程序语言采用C++编写，参数为论文中建议参数。从表格中可以看出，本发明方法实现速度优于Lu方法的结果。

上述仅为本发明的一个具体实施例，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

Claims (5)

1.一种融合骨架笔画和纹理特征的铅笔画生成方法，其特征在于：包括以下步骤：

1)首先对输入图像进行灰度化、去模糊处理及边缘检测，得到梯度图像；

2)将梯度图像经过像素方向分类，并与相应方向模板做卷积，得到抽象、健壮的骨架笔画图层；

3)对滤波后的图像进行直方图匹配，并将其色调映射为铅笔画色调，得到色调图层；

4)通过纹理合成和建立色调映射数学模型得到纹理特征渲染图层；

5)将骨架笔画图层和纹理渲染图层进行正片叠底混合，得到最终的铅笔手绘画效果的铅笔画。

2.根据权利要求1所述的融合骨架笔画和纹理特征的铅笔画生成方法，其特征在于：所述步骤1)中包括对灰度化后的灰度图像进行轻微高斯模糊去除噪声的步骤。

3.根据权利要求1所述的融合骨架笔画和纹理特征的铅笔画生成方法，其特征在于：所述步骤3)中包括将小块铅笔画纹理经过纹理合成算法得到一副与原图像大小一致的纹理图层的步骤。

4.根据权利要求1所述的融合骨架笔画和纹理特征的铅笔画生成方法，其特征在于：所述步骤4)中包括对人工铅笔画上色过程建立数学模型，求解模型的步骤，以使得到纹理渲染图层不仅具有铅笔画般的色调，还具有铅笔画般的纹理。

5.一种融合骨架笔画和纹理特征的铅笔画生成装置，其特征在于，包括：用于获取原始图像的原始图像获取单元、用于对所述原始图像进行处理生成灰度图像的灰度图像生成单元、用于对所述灰度图像进行处理以得到梯度图像的梯度图像生成单元、用于对所述梯度图像进行处理以生成抽象、健壮的骨架笔画图层的骨架笔画图层生成单元、用于对所述骨架笔画图层进行处理以生成色调图层的色调图层生成单元、用于对所述色调图层进行处理以生成纹理特征渲染图层的纹理特征渲染图层生成单元、用于对所述骨架笔画图层和所述纹理渲染图层进行正片叠底混合处理得到最终的具有铅笔手绘画效果的铅笔画图像的铅笔画图像生成单元，所述原始图像获取单元、灰度图像生成单元、梯度图像生成单元、骨架笔画图层生成单元、色调图层生成单元、纹理特征渲染图层生成单元和铅笔画图像生成单元之间通过信号传输线连接。