CN103793930A - 铅笔画图像生成方法及装置 - Google Patents

Abstract

本发明提供的铅笔画图像生成方法，用于生成铅笔画风格的图像，其包括：获取原始图像的步骤；对所述原始图像进行处理生成灰度图像的步骤；对所述灰度图像进行处理，生成初始轮廓图像的步骤；对所述初始精确轮廓图像进行处理，生成手绘风格轮廓图像的步骤；对所述灰度图像进行处理，生成明暗图像的步骤；对所述明暗图像进行处理，生成明暗纹理图像的步骤；合并所述手绘风格轮廓图像和明暗纹理图像生成铅笔画图像的步骤。本发明提供的铅笔画图像生成方法以及铅笔画生成装置，可生成更接近手绘风格的铅笔画图像，降低处理痕迹，并且可提高铅笔画图像的生成效率。

Description

铅笔画图像生成方法及装置

技术领域

本发明属于图像处理非真实渲染技术领域，尤其涉及一种铅笔画图像生成方法及装置。

背景技术

在日常生活中，人们经常需要对照片进行各种后期处理，以获得不同风格的效果，比如对照片进行处理，生成类似铅笔画风格的图像。生成铅笔画风格的图像一般需要对原始图像进行轮廓提取、明暗调整和纹理渲染等处理。

目前轮廓提取主要是通过计算图像的梯度，然后通过梯度的幅值生成相应的轮廓图像。这种方法对图像的轮廓描述的非常精确，但铅笔画中，人手绘的铅笔轮廓是用不同线段拼接起来的轮廓，对轮廓的描绘并不要求精确，而且由于使用不同的线拼接起来的轮廓，在交叉处有不同长度的线头，而不是完全和图像轮廓贴合。因此目前的轮廓提取方法过于精确地轮廓描绘，无法体现出人手工描绘的特点，使得生成的轮廓不像铅笔画中的轮廓，处理痕迹比较重。

而明暗纹理图主要采用线积分生成，线积分卷积生成的铅笔画在明暗处理上没有根据不同的图像进行调整，相当一部分情况灰度等级比较低，所以图像整体偏暗。而且，采用线积分卷积绘制的纹理图生成的铅笔纹理效果，由于对梯度进行处理，所以其生成效果并不能完全描绘图像的明暗纹理，且计算量非常大。

发明内容

本发明鉴于以上问题，提供了一种铅笔画图像生成方法及装置，其可生成更接近手绘风格的铅笔画图像，降低处理痕迹，并且可提高铅笔画图像的生成效率。

本发明一方面提供一种铅笔画生成方法，用于生成铅笔画风格的图像，其包括：获取原始图像的步骤；对原始图像进行处理，生成初始轮廓图像的步骤；对初始轮廓图像进行处理，生成手绘风格轮廓图像的步骤；对灰度图像进行处理，生成明暗图像的步骤；对明暗图像进行处理，生成明暗纹理图像的步骤；合并手绘风格轮廓图像和明暗纹理图像生成铅笔画图像的步骤。

本发明另一方面提供铅笔画生成装置，用于生成铅笔画风格的图像，其包括：原始图像获取单元，用于获取原始图像；灰度图像生成单元，其用于对所述原始图像进行处理生成灰度图像；轮廓提取单元，其用于对所述灰度图像进行处理，生成初始轮廓图像；轮廓生成单元，其用于对所述初始轮廓图像进行处理，生成手绘风格轮廓图像；明暗图像生成单元，其用于对所述灰度图像进行处理，生成明暗图像；明暗纹理生成单元，其用于对所述明暗图像进行处理，生成明暗纹理图像；和合并单元，其用于合并手绘风格轮廓图像和明暗纹理图像生成铅笔画图像。

本发明提供的铅笔画图像生成方法以及铅笔画生成装置，可生成更接近手绘风格的铅笔画图像，降低处理痕迹，并且可提高铅笔画图像的生成效率。

附图说明

图1是本发明一实施方式提供的铅笔画图像生成方法流程示意图；

图2是本发明一实施方式提供的铅笔画图像生成方法的流程图；

图3是用于说明手绘风格轮廓图像生成的过程的示意图；

图4是手绘风格轮廓图像生成方法流程图；

图5是明暗图像生成方法流程图；

图6a和图6b是用于说明明暗图像生成效果的示意图；

图7是明暗纹理图像生成方法流程图；

图8a和图8b是用于说明明暗图像纹理生成过程的示意图；

图9是用于说明本发明铅笔画图像生成方法效果的示意图。

图10是本发明一实施方式提供的铅笔画图像生成装置的结构示意图。

具体实施方式

为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明提供的铅笔画图像生成方法及装置进行详细描述。在这些附图中，对于相同或者相当的构成要素，标注相同标号。以下仅为本发明铅笔画图像生成方法及装置的最佳实施方式，本发明并不仅限于下述结构和流程。

本发明提供的铅笔画图像生成方法，主要包括三个步骤：1）生成手绘风格的轮廓图，2）生成明暗图像，3)生成铅笔纹理图，将该铅笔纹理图映射到明暗图像生成明暗纹理图像，然后将合并手绘风格的轮廓图和明暗纹理图形成最终的铅笔画图像。

图1是本发明一实施方式提供的铅笔画图像生成方法流程示意图。下面结合图1以香蕉为例来说明本发明铅笔画图像生产方法的主要步骤。

如图1所示，采用本发明的铅笔画图像生成方法时，首先根据原始香蕉图像生成手绘风格香蕉的轮廓图（a）；然后根据原始图像生成香蕉的明暗图（b）；接着生成铅笔纹理图像（c），并将铅笔纹理图像（c）映射到香蕉明暗图像（b），生成香蕉的明暗纹理图像；最后合并手绘风格香蕉的轮廓图（a）和香蕉的明暗纹理图像生成香蕉的铅笔画图像（d）。

图2是本发明一实施方式提供的铅笔画图像生成方法的流程图。下面结合图2来说明本发明铅笔画图像生成方法的详细流程。

如图2所示，本实施方式的铅笔涂图像生成方法包括：

步骤S1，获取原始图像。原始图像即需要对其添加铅笔画风格的艺术特效的图像。在一个实施例中，可监听智能终端的拍照事件，当捕获到智能终端的拍照事件时，自动获取拍照得到的照片作为原始图像。

步骤S2，判断原始图像是否为彩色图像。如果原始图像为彩色图像，则转入步骤S3；如果原始图像不是彩色图像，则转入步骤S4和S6。

步骤S3，对原始图像进行处理生成灰度图像。灰度处理即是使彩色图像的RGB分量相等的过程。在一个实施例中，可根据公式：p(ij)＝0.299×r(i,j)+0.587×g(i,j)+0.114×b(i,j)，计算原始图像中像素点对应的灰度值，从而生成灰度图像。其中p(i,j)为像素点(i,j)处的灰度值，r(i,j)为像素点(i,j)处的红色分量，g(i,j)像素点(i,j)处的绿色分量，b(i,j)像素点(i,j)处的蓝色分量。

需要说明的是，由于对原始图像进行灰度处理后，原始图像的大小以及分辨率不变，因此，原始图像的像素点(i,j)与灰度图像的像素点(i,j)位置上对应。此外，由于实际应用中，只要是3通道或者4通道的图像就可以使用彩色->灰度转换公式，灰度图一般是单通道，因此无论原始图像是否彩色图，都可以直接转换为灰度图，这样可以省去步骤S2。

步骤S4，根据灰度图像生成初始轮廓图像。轮廓提取主要是计算图像的梯度，之后通过梯度的幅值生成相应的轮廓图像。在一个实施例中，可使用采用Sobel梯度法或者LoG梯度方式，提取轮廓，生成初始轮廓图像。

步骤S5，生成手绘风格的轮廓图像。即，对步骤S4生成的初始轮廓图像进行处理，生成手绘风格的轮廓图像。具体地，以卷积窗宽度个方向为上限，8个方向为下限，对初始轮廓图像进行分类，之后在每个方向上进行直线积分卷积，获得分叉出头的图像，然后合并各个分类图并反相生成最终的手绘风格轮廓图像。生成手绘风格的轮廓图像详细方法在下文描述。

步骤S6，生成明暗图像。即，根据灰度图像生成明暗图像，具体地，将图像分为明、暗、灰三个层次的图像，分别对每个层次进行直方图规定化，再合并三个图像，生成明暗图。

在一个实施例中，对灰度图划分明、暗、灰三个层次的像素比例，根据这个比例将灰度图分为明、暗、灰三幅图，并根据每个图各自的分布方式进行直方图匹配。最后再将三幅图合并为一幅图。进一步地，为了获得更好的过渡效果，在不同色度区域上的分布和相邻分布进行了一定的衔接。例如，在暗层区域中，将暗层右侧临近灰度区域部分加入了相应的均分分布。同样在白色区域部分的尾部也加入了一定的均匀分布，这样生成的整体图像的直方图更加趋近铅笔画风格的明暗处理。生成明暗图像的详细方法在下文描述。

步骤S7，生成明暗纹理图像。即，对步骤S6生成的明暗图像继续处理，生成明暗纹理图像。在一个实施例中，采用纸纹映射方式，即先生成或采集一副铅笔纹理图，采集后需要调整该铅笔纹理图的灰度，使其灰度的过度比较平均，也可以调整为四方连续图像。或者使用实时绘制铅笔线工具生成铅笔纹理图，之后将生成的铅笔纹理图映射到明暗图像中。生成明暗纹理图像的详细方法在下文描述。

步骤S8，生成铅笔画图像。即，将步骤S5生成的手绘风格的轮廓图像和步骤S7生成的明暗纹理图进行叠加。在一个实施例中，为了突出轮廓，采用两幅图像相乘的方法叠加。

图3是用于说明手绘风格轮廓图像生成的过程的示意图，图4是手绘风格轮廓图像生成方法流程图。下面结合图3和图4来详细说明本发明铅笔画图像生成方法中手绘风格轮廓图像生成。

在步骤S4中生成初始轮廓图像主要是采用梯度方法，具体为计算当前像素与其左侧像素和其上方像素的差值的绝对值，将该绝对值作为梯度幅值并反相，直接生成初始轮廓图像。或者采用Sobel梯度算子，对图像进行卷积来生成初始轮廓图像。该初始轮廓图像的特点是轮廓非常精确，但由于过于精确导致其处理痕迹比较重，和手绘的线稿区别比较大，需要进一步处理才能符合手绘铅笔画轮廓的需要。

由于线积分卷积尤其是直线积分卷积能够产生连线和延长线端点的效果，因此如图3所示，在用梯度提取轮廓生成初始轮廓图像后，指定线积分方向，其方向角度间隔为2π/n，按此n个方向将轮廓图分成n张轮廓图，每张轮廓图为梯度方向最接近这个角度的像素。之后对这n张图按不同的角度线方向进行卷积，最后再将这n张图合并，从而生成一个轮廓图，该轮廓图比原有轮廓生成算法效果更接近手绘风格。

但是根据方向不同效果也不同，所以需要在不同方向上进行直线积分卷积。手绘方式采用的方向比较有限，一般采用8方向就可以展现出手绘效果，方向间隔为π/4。但是由于手绘效果会随着卷积方向的增加而变得更加突出，所以应允许用户调整手绘方向，虽然图像类型的个数越多分出的直线方向越精细，但方向的上限和卷积窗宽度w有关，多余2倍卷积窗宽度的方向重复比较多，增加计算量的同时不能提升手绘效果，这是因为卷积窗一般都比较小，如果方向的间隔过小，可能存在两个方向的直线卷积窗相同的情况，这样就会出现重复运算的情况，所以方向个数的上限为卷积窗宽度的2倍，这样方向个数最多为2w，间隔为π/w。

可以理解的是，方向的个数可以由用户进行指定，但下限为8，上限为卷积窗宽度的2倍。

如图4所示，对原始轮困图像进行处理生成手绘风格轮廓图像的方法为包括：在步骤S40中按方向对图像进行分类。具体地，在确定方向个数后，按方向对初始轮廓图像进行分类。以n个方向为例（n下限为8，上限为卷积窗宽度的2倍），按方向分类的方法为：先按卷积窗大小绘制n个方向的直线，直线长度为0度角时卷积窗的宽度。让每个像素对n个方向做卷积，选择卷积结果最大值的那个方向，将该像素存入卷积结果最大值的那个方向对应的分类图像中。即，初始化n个方向的直线卷积核，然后每个像素都进行n个直线卷积，得到的值取最大值对应的那个直线卷积核，即为该方向像素，并放入此方向对应的图像中。

当完成步骤40后，进入步骤S41。在步骤S41中，将每个方向的分类图按对应方向进行直线卷积，从而得到分叉出头的图像。

当完成步骤41后，进入步骤S42。在步骤S42中将n个分类图合并为一个图像，最终形成手绘风格的轮廓图像。合并方法为找当前像素点中最大值，放入结果图像。具体地，由于每个分类图的分辨率相同，所以在每个分类图上的相同坐标像素上找最大值，将该像素放入结果图中。

图5是明暗图像生成方法流程图；图6a和图6b是用于说明明暗图像生成效果的示意图。下面结合图5至图6b来说明本发明铅笔画图像生成明暗图像的生成原理、过程以及效果。

灰度图、传统方式生成的铅笔画和手绘铅笔画的区别除了轮廓之外，其直方图统计也不相同。灰度图主要是从颜色图像转换过来，所以其直方图分布会根据图像的不同而不同。但手绘铅笔画画家，在绘画中是不会将所有的物体按其灰度绘制的，遇到浅色的物体或者背景，一般会不画任何调子（素描术语，可理解为明暗描绘），保留纸张的白色。遇到明暗分界线部分将会绘制暗调子，其灰度值比较低，接近黑色。而其他部分比如物体的描绘部分，通常会上一些灰调子且有一定的过度。这样根据不同的描绘方式，我们将铅笔画分为纸张层、灰度层和暗层（这里的灰度层和灰度图中的灰度不是一个意思）。这里的灰度层和灰度图中的灰度不是一个意思了生成符合手绘风格的铅笔画，可根据不同的层次，调整其直方图分布从而使灰度图在明暗层次上更接近铅笔画。

如图5所示，对灰度图进行处理生成明暗图的方法包括：

步骤S50，对图像进行分层。具体地，首先设置三个参数N1，N2，N3（该三个参数由用户指定），分别代表每个层次拥有的像素在总像素数中的比例。N1为纸张层像素比例，N2为灰度层像素比例，N3为暗层像素比例。然后根据参数指定的像素比例，计算不同比例的灰度边界值，从而确定不同层次的像素，并将其分类到不同层次图像中。比如，设定纸张层像素比例为42%，灰度层像素比例为29%，暗层像素比例为29%，这就是说100个像素，42个像素属于纸张层，29个灰度层，29个暗层。然后先进行直方图统计，按设定的百分比确定像素值边界。例如：100个像素中，值为大于200的占20%，大于150占22%，那么像素边界为像素值为150，像素的最大值为255。

当完成步骤S50后，可以进入步骤S52，根据各层的分布方式对各层进行直方图匹配。其中根据经验估计，纸张层的像素呈现拉普拉斯分布，其方分布公式为：

其中，v是像素值，P₁(v)为纸张层的像素直方图概率分布公式。分布参数为σ_b，此参数决定分布中由灰度层向峰值点的过度宽度，峰值为8位灰度值最大值255，此值也可以进行浮点归一化，以支持更多的灰度级别。

灰度层的像素呈现均匀分布方式，其概率分布公式为：

其中，v是像素值，P₂(v)为灰度层的像素直方图概率分布公式，μ_b和μ_a分别为灰度层灰度级别的端点。

暗层则呈现出期望为μ_d方差为σ_d的正态分布，其概率密度公式为：

$P_3\left(v\right)=\frac{1}{\sqrt{2\mathrm{\π}{\mathrm{\σ}}_d}}{e}^{-\frac{{(v-{\mathrm{\μ}}_d)}^2}{2{\mathrm{\σ}}_d^2}}$

直方图匹配的具体过程采用现有的各种直方图匹配方法，在此不再赘述。

当完成步骤S52后，进入步骤S53。在步骤S53中，匹配完成后直接再将三个层次的图像整合，最终生成明暗图。最终的生成公式为：

$P\left(v\right)=\frac{1}{U}[{\mathrm{\ω}}_1{P}_1\left(v\right)+{\mathrm{\ω}}_2{P}_2\left(v\right)+{\mathrm{\ω}}_3{P}_3\left(v\right)]$

其中ω₁、ω₂、ω₃为三个层次的像素在总像素中所占比例（即，前述的N1、N2、N3），U为统一参数保证分布为之和为1。

此外，优选地，为了在各个层次整合时，能够呈现出更加自然的过度效果，该方法还可步骤S51。在步骤S51中对各层进行过渡处理。即，在不同区域上的分布和相邻分布进行了一定的衔接。例如，在暗层区域中，将暗层右侧临近灰度区域部分加入了相应的均分分布。同样在白色区域部分的尾部也加入了一定的均匀分布，这样生成的整体图像的直方图更加趋近铅笔画风格的明暗处理。具体地，可在暗层区域临近灰度区域部分加入一定的大于其期望值和小于均匀分布左侧端点的中值的分布加入均匀分布；同样在纸张层的左侧也加入类似分布。

采用图5所示明暗图生成方法的调整效果如图6a、图6b。其中图6a中纸张层像素比例为50%，灰度层像素比例为40%，暗层像素比例为10%，图6b中纸张层像素比例为76%，灰度层像素比例为20%，暗层像素比例为4%。即，图6b与图6a相比，纸张层像素比例增大，灰度层和暗层像素比例降低，因而如图6a和图6b所示，图6b的图像要比图6a的图像亮。在使用本方法时，可根据需要调整各层的像素比例，从而得到符合要求的明暗图。

图7是明暗纹理图像生成方法流程图；图8a和图8b是用于说明明暗图像纹理生成过程的示意图。下面结合图7至图8b来说明本发明明暗纹理图像的生成原理、过程和效果。

为了在步骤S6生成的明暗图中加入铅笔纹理从而生成明暗纹理图，可采用纸纹映射方式。首先，如图7所示，在步骤S70中，先生成或采集一幅如图8a所示的铅笔纹理图，然后调整该铅笔纹理图的灰度，使其灰度的过度比较平均。可选地，也可以调整为四方连续图像。

当完成步骤S70后，进入步骤S71。在步骤S71中将生成的铅笔纹理图（图8a）映射到步骤S6生成的明暗图中，这样明暗图就可以生成图像明暗纹理图，如图8b所示。其中映射公式为：

其中，toneValue为明暗图像素，texture为纹理像素。

为了形成最终的铅笔画图像，还需要将步骤S5生成的手绘风格的轮廓图像与步骤S7生成的明暗纹理图合并。其融合方法采用Multplay融合方式，其计算公式为：

其中，texture为明暗纹理图像素，stroke为轮廓图像素，最终效果图如图9。

图10是本发明一实施方式提供的铅笔画图像生成装置的结构示意图。

如图10所示，本实施方式的铅笔画图像生成装置包括：原始图像获取单元1，用于获取原始图像；灰度图像生成单元2，用于对原始图像进行处理生成灰度图像；轮廓提取单元3，用于对灰度图像进行处理，生成初始轮廓图像；轮廓生成单元4，用于对初始轮廓图像进行处理，生成手绘风格轮廓图像；明暗图像生成单元5，用于对灰度图像进行处理，生成明暗图像；明暗纹理生成单元6，用于对明暗图像进行处理，生成明暗纹理图像；和合并单元7，用于合并手绘风格轮廓图像和明暗纹理图像生成铅笔画图像。原始图像获取单元1、灰度图像生成单元2、轮廓提取单元3、轮廓生成单元4、明暗图像生成单元5、明暗纹理生成单元6和合并单元7的具体工作原理与前述铅笔画图像生成方法所述的处理过程一致，在此不再赘述。

本发明提供的铅笔画图像生成方法以及生成装置通过轮廓线积分卷积，对传统的梯度提取轮廓方法进行方向分类，在不同梯度方向进行线积分卷积，从而生成类似线稿效果的轮廓图像。之后对整个灰度图像进行直方图匹配，从而在明暗上模拟铅笔画效果，并采用纹理映射方式，在明暗图中加入铅笔纹理，最终结合轮廓图生成铅笔画效果。

进一步地，本发明提供的铅笔画图像生成方法以及生成装置可根据不同的梯度方向进行线积分卷积从而生成铅笔画线稿效果，其中分类方向的确定比较灵活，根据8个方向到卷积窗宽度个方向不等，从而能够从各个角度进行手绘效果生成。在明暗直方图匹配中，对不同层次直方图的分布进行衔接，从而保证直方图匹配后的效果过度自然。在铅笔纹理生成上采用纸张纹理映射方式，提高了计算效率。

另外，本发明可以拆分使用，将轮廓线稿单独进行生成，从而取代传统的手工生成线稿，提高了铅笔画图像的生成效率。

以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进。这些变型和改进也视为本发明的保护区间。

Claims (10)

1.一种铅笔画图像生成方法，用于生成铅笔画风格的图像，其特征在于，包括：

获取原始图像的步骤；

对所述原始图像进行处理生成灰度图像的步骤；

对所述灰度图像进行处理，生成初始轮廓图像的步骤；

对所述初始精确轮廓图像进行处理，生成手绘风格轮廓图像的步骤；

对所述灰度图像进行处理，生成明暗图像的步骤；

对所述明暗图像进行处理，生成明暗纹理图像的步骤；

合并所述手绘风格轮廓图像和明暗纹理图像生成铅笔画图像的步骤。

2.如权利要求1所述的铅笔画图像生成方法，其特征在于，所述对初始轮廓图像进行处理，生成手绘风格轮廓图像的步骤包括：

按n个方向对所述初始轮廓图像进行分类的步骤；

在每个方向图像进行直线积分卷积，获得分叉出头的图像的步骤；

合并n个分类图像形成所述手绘风格轮廓图像的步骤。

3.如权利要求2所述的铅笔画图像生成方法，其特征在于，所述按方向对初始轮廓图像进行分类的步骤包括：

按卷积窗大小绘制每个方向的直线的步骤；

使每个像素对所有方向做卷积，并该像素放入卷积结果最大的方向对应的分类图中的步骤。

4.如权利要求2所述的铅笔画图像生成方法，其特征在于，所述合并各个分类图像形成手绘风格轮廓图像的步骤包括：

对于相同坐标的像素，选取各个分类图中像素值最大的像素放入合并结果图，从而形成所述手绘风格轮廓图像。

5.如权利要求2-4任意一项所述的铅笔画图像生成方法，其特征在于，所述方向的上限为卷积窗宽度的二倍，下限为8。

6.如权利要求1所述的铅笔画图像生成方法，其特征在于，对所述灰度图像进行处理，生成明暗图像的步骤包括：

根据设定的像素比例将所述灰度图像分为纸张层、灰度层和暗层的步骤；

根据所述纸张层、灰度层和暗层各层的像素概率分布方式对各层进行直方图匹配；

整合完成直方图匹配的所述纸张层、灰度层和暗层以生成明暗图的步骤。

7.如权利要求6所述的铅笔画图像生成方法，其特征在于，在所述暗层临近灰度层的区域和所述纸张层临近灰度层的区域加入均匀分布以进行过渡。

8.如权利要求1所述的铅笔画图像生成方法，其特征在于，对所述明暗图像进行处理，生成明暗纹理图像的步骤包括：

生成铅笔纹理图的步骤；

将所述纹理图映射到所述明暗图像生成明暗纹理图像的步骤。

9.如权利要求1所述的铅笔画图像生成方法，其特征在于，在合并所述手绘风格轮廓图像和明暗纹理图像生成铅笔画图像的步骤中采用公式

其中，texture为明暗纹理图的像素，stroke为手绘风格轮廓图的像素。

10.一种铅笔画图像生成装置，其特征在于，包括：

原始图像获取单元，其用于获取原始图像；

灰度图像生成单元，其用于对所述原始图像进行处理生成灰度图像；

轮廓提取单元，其用于对所述灰度图像进行处理，生成初始轮廓图像；

轮廓生成单元，其用于对所述初始轮廓图像进行处理，生成手绘风格轮廓图像；

明暗图像生成单元，其用于对所述灰度图像进行处理，生成明暗图像；

明暗纹理生成单元，其用于对所述明暗图像进行处理，生成明暗纹理图像；和

合并单元，其用于合并手绘风格轮廓图像和明暗纹理图像生成铅笔画图像。

Images