CN102509357A - 基于笔触的铅笔素描模拟和绘制系统 - Google Patents

Abstract

本发明公开了一种基于笔触的铅笔素描模拟和绘制系统。该系统以三维几何模型作为输入，采用自动生成结合交互式的方式生成铅笔素描图片。该系统将铅笔素描绘画中的笔触分为特征笔触和影线笔触，并分别进行模拟和绘制。系统主要包含五个模块：用户交互模块、特征路径自动生成模块、影线路径自动生成模块、由路径生成笔触模块、绘制输出模块。该发明具有符合人类实际铅笔素描创作机理、绘制效果真实、易于编辑修改等特点，在计算机辅助设计、艺术设计、特效制作、数字娱乐等方面具有重要的应用价值。

Description

基于笔触的铅笔素描模拟和绘制系统

技术领域

本发明属于计算机图形学、计算机辅助设计和艺术设计相结合的交叉学科技术领域，涉及一种根据输入三维几何模型自动或者交互式生成基于笔触的铅笔素描的方法。

背景技术

各种艺术媒体的模拟仿真一直在数字艺术设计、数字娱乐、电影动画制作以及数字图像处理等邻域有着广泛的应用价值，而铅笔素描绘画作为绘画的基础内容更是受到了广泛关注。现有的铅笔素描模拟绘制方法大体可以分为四类：基于体绘制的方法、基于纹理映射的方法、基于图像的方法和基于笔触的方法。

铅笔素描模拟绘制工作中最早期的工作是Takagi等人建立的体绘制模型。体绘制方法通常需要较高的存储量和计算量，且只能用于铅笔绘画材质的模拟。

基于纹理映射的方法通常预先生成一些铅笔素描纹理，并将生成的纹理按照曲率方向贴到几何体表面。由于目前图形硬件设备对纹理映射支持度较好，这种方法可以在三维几何上实现铅笔素描的实时绘制。纹理映射方法的缺点是，由于该方法仅在三维对象空间中对物体进行描述，没有二维图像空间信息，因而结果过于规整，缺少手绘效果。

基于图像的铅笔素描模拟均以二维数字图像作为输入，首先根据输入图像生成噪声图像和二维向量场，然后运用线性积分卷积(LIC)生成最终的铅笔素描图片。与纹理映射方法相反，这类方法仅在二维图像空间中对绘制对象进行描述，无法利用对象三维空间的几何信息。由于缺少结构信息，数据表示一般较为松散，不利于编辑。

基于纹理映射的方法和基于图像的方法均将铅笔素描线条作为集合体(纹理或者图像)对待，缺少单独的铅笔线条信息，因而不能反映人类的绘画过程和绘画习惯。基于笔触的铅笔素描模拟绘制方法则克服了上述缺点。笔触(strokes)拥有自己的几何描述，每一条笔触对应于绘画中的一笔。笔触中还可以存储各种属性，例如绘画时使用的压力、颜色等，这为涉及模拟绘制和交互的应用提供了方便。用户也可以通过拾取、编辑、删除等操作对笔触进行更改。由笔触构成的图片几乎保存了绘画时的全部信息。另外由于笔触具有几何结构，可以将绘制结果以任意精度进行输出。这些优点使得基于笔触的方法具有很高的实用性，被广泛用在各种艺术设计软件中。

发明内容

本发明的目的在于，针对目前广泛存在的各种商业三维几何模型库或者自由三维几何模型文件(文件格式有.obj，.max，.3ds等)，提供了一个基于笔触的、能够从输入三维几何模型全自动或者交互式生成铅笔素描绘画的系统。该系统生成的铅笔素描绘画由笔触(stroke)构成，能够反映真实铅笔素描的创作机理和过程，且易于被用户编辑和修改，可用于各种铅笔素描绘画的虚拟创作。

本发明提出一种基于笔触的铅笔素描模拟和绘制系统，该系统包括五个模块：

用户交互模块，用于为用户提供界面进行三维几何模型选择并将选择的三维几何模型输出至特征路径自动生成模块和影线路径自动生成模块；

特征路径自动生成模块，用于根据输入的三维几何模型自动生成特征路径；

影线路径自动生成模块，用于根据输入的三维几何模型自动生成影线路径；

由路径生成笔触模块，用于根据特征路径自动生成模块生成的特征路径和影线路径自动生成模块生成的影线路径，生成特征笔触和影线笔触的几何及其属性；

绘制输出模块，用于根据笔触的几何和属性，采用铅笔物理模型绘制出铅笔笔触。

本发明的有益效果是提出了一种基于笔触的铅笔素描模拟和绘制系统，根据输入的三维几何模型，利用全自动生成算法或者交互式工具生成铅笔素描绘画。本发明与前人方法的区别主要体现在，可以生成更多种类的特征笔触，并且提出了一种利用采样算法、全自动生成影线笔触的新方法，另外提供了一种利用影线架(hatching carrier)进行笔触设计的交互式工具。用户还可以利用系统提供的交互式工具对自动生成的特征笔触和影线笔触进行编辑修改或者删除操作，也可以添加新的特征笔触和影线笔触。从最终生成的铅笔素描结果可以看出，系统可以快速生成真实、具有手绘效果的铅笔素描绘画作品。由于系统具有辅助设计作用，降低了用户的绘画技能要求，且加快了铅笔素描作品的创作速度。另外由于数字虚拟设计相对于使用纸张和铅笔的传统创作，在传输、复制、保存等方面具有优势，因而该系统在数字艺术设计、电影动画特效、数字娱乐等领域具有很高的应用价值。

附图说明

图1为本发明系统的模块化流程图。

图2为由三角面片提取的路径的示意图。

图3为自动生成铅笔影线笔触的流程图。

图4为基于累积概率密度的采样算法流程图。

图5为基于Metropolis-Hastings的采样算法流程图。

图6为两种采样点修正策略的示意图。

图7为采样点修正效果图。

图8为由系统自动生成的茶壶铅笔素描效果图。

图9为由系统自动生成的植物铅笔素描效果图。

图10为由路径构造笔触的示意图。

图11为构造路径的不同笔头形状的示意图。

图12为系统提供的交互式笔触设计工具的示意图。

图13为交互式笔触设计工具中控制粒子的运动轨迹的示例。

图14为使用交互式笔触设计工具在参考图像上绘制影线笔触的示例。

图15为交互式笔触设计工具绘制的各种笔触的示例。

图16为交互式铅笔素描设计各个步骤的效果图。

图17为交互式生成的植物铅笔素描效果图。

图18为绘制的彩色铅笔素描效果图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

图1给出了整个系统的模块化流程图。整个系统主要包括五个模块：用户交互模块、特征路径自动生成模块、影线路径自动生成模块、由路径生成笔触模块、绘制输出模块。其中特征路径自动生成模块、影线路径自动生成模块、由路径生成笔触模块、绘制输出模块由系统自动控制，用户交互模块主要提供各种交互式工具供用户使用。

系统首先由特征路径自动生成模块和影线路径自动生成模块生成特征路径和影线路径，然后输出的特征路径和影线路径作为输入进入由路径生成笔触模块。由路径生成笔触模块根据笔触构造规则，由输入的特征路径和影线路径生成笔触几何和属性，并输出至绘制输出模块。最后绘制输出模块根据输入的笔触几何和属性，以及铅笔绘制的物理模型，生成最终的铅笔素描图片。用户交互模块对整个生成过程提供交互式工具，使得用户可以对自动生成的结果进行补充、删除和编辑。

在本发明说明书中，路径(path)是指笔触所经过的轨迹。该轨迹形成笔触的主干，对应于实际手工绘画中画笔笔尖的中心点在纸面上经过的轨迹。笔触(stroke)是指计算机图形学中一种具有几何形状和属性的图形表示，对应于实际手工绘画中的某一笔线条。特征路径(feature path)是指用来描述特征的线条路径，通常用来反映物体的几何特性(例如物体边界)、色彩的边界、光线明暗的边界等。影线路径(hatching path)主要用来表现场景中的光影、色调、颜色、材质等，一般以大量路径组成的群体集合形式出现。特征路径和影线路径生成的笔触分别称为特征笔触(feature stroke)和影线笔触(hatching stroke)。

参考图像(reference image)是图形学中用二维数据结构来记录和反映三维信息的一种技术，最早在1999年由Kowalski等人提出。由于早期帧缓存中存储的数据需要读回内存才能进行处理，且通常存储为图像格式，所以称作参考图像。随着可编程图形管线(programmable graphicspipeline)的发展，目前数据可以直接在显存中进行处理，因而也可以称为参考缓存(reference buffer)。

本发明中会使用到三种参考图像，分别为身份参考图像(ID referenceimage)，颜色参考图像(color reference image)和光照参考图像(illuminationreference image)。其中身份参考图像使用不同颜色值来区分绘制对象，用于特征片段的消隐线算法；颜色参考图像和光照参考图像用来辅助进行影线的设计。

下面结合附图1对用户交互模块、特征路径自动生成模块、影线路径自动生成模块、由路径生成笔触模块、绘制输出模块逐一进行说明。

1.用户交互模块

用户交互模块提供以下若干工具供用户进行参数选择和交互式设计：

(1)选定所需的三维几何模型向特征路径自动生成模块和影线路径自动生成模块输出，并在此基础上，对模型坐标、摄像机坐标、光源位置和类型、光模型等进行选择和设定。用户还可以根据需要选择自动生成的特征路径类型；

(2)系统根据选定的几何模型和光照模型绘制出颜色参考图像后，用户可以根据需要对颜色参考图像进行编辑；

(3)用户可以根据需要，使用路径设计工具在参考图像的基础上进行路径设计，具体参考路径设计的交互式工具中的描述；

(4)系统提供不同类型的铅笔类型，分为9B，8B，...2B，B，F，HB，H，2H，...6H等，不同的铅笔类型，其所含石墨、泥土、石蜡的百分比也不同；

(5)系统采用Perlin噪声生成各种纸张的高度场，并可用于铅笔绘制的物理模型；

(6)当系统自动生成特征笔触和影线笔触之后，用户还可以使用交互式工具对生成的笔触进行拾取、编辑修改、删除等操作，也可以使用交互式工具添加新的笔触。

2.特征路径自动生成模块

特征路径自动生成模块的功能是从输入的三维几何模型中生成所需的特征路径，主要包括以下四个步骤：

(1)从输入的三维几何模型中存储的三角面片上提取特征片段；

(2)根据输入的三维几何模型和步骤(1)中提取的特征片段构造身份参考图像，用于后续的消隐线算法；

(3)利用身份参考图像，使用消隐线算法对特征片段进行消隐；

(4)将消隐后的特征片段链接成特征路径。

系统中使用的特征路径有轮廓线(silhouettes or occluding contours)、提示轮廓线(suggestive contours)、折痕线(creases)、边界线(borders orboundary edges)、脊线(ridges)、谷线(valleys)、明显脊线(apparent ridges)、提示高光线(suggestive highlights)、主高光线(principal highlights)等。这些特征路径都可以由现有的方法从三维几何模型实现自动生成。各种特征路径之间没有优劣之分，每种特征路径都有其独特的特征，每种特征路径也都有适用和不适用的场合。某些特征路径之间存在重合和相似的成分，例如脊线和明显脊线、明显脊线和提示轮廓线，因此，在实际使用中，特征路径的种类也不是越多越好，太多容易显得杂乱无序，而特征路径太少又不足反映所需的特征，减少了最终铅笔素描结果的表现内容。因此本发明既提供了自动生成特征路径的模块，也在用户交互模块中提供了工具允许用户自行添加路径。实际使用中，首先由用户根据需要让系统自动生成特征路径和影线路径，然后用户根据自动生成的结果进行选择、编辑、删除操作，或者自行添加新的特征路径和影线路径是比较方便有效的解决方案。

现有的以三维几何模型为输入的特征路径提取方法均从三角面片的计算中获取特征路径。单个三角面片中提取的特征路径称为一个特征片段(feature segment)，它由两个端点以及两个端点的连线组成。首尾相连的多个特征线片段链接起来形成特征路径。这里以轮廓线为例进行说明，其它类型的特征路径提取算法可以参考相应的文献。

对于平滑曲面，轮廓线从数学上可以定义为：

n_i·(c-v_i)＝0，

其中，v_i是顶点i的空间坐标，n_i是v_i的顶点法向量，c是照相机的空间坐标。实际应用中具体算法如下：首先对三角面片中的每个顶点计算规范化点积值：

$d_i=\frac{n_i\·(c-v_i)}{|n_i\·(c-v_i)|},$

然后根据如下公式标记顶点符号：

$s_i=\left\{\begin{array}{c}+:d_i\&GreaterEqual;0\\ -:d_i<0\end{array}\right.,$

如果三角面片中三个顶点的s_i值出现异号的情况(2个为+号1个为-号，或者2个为-号1个为+号)，则说明该三角面片中存在特征片段，如图2(a)所示。用如下的线性插值公式即可以得到特征片段的两个端点(s₁，s₂)：

$s_1=\frac{\left|d_2\right|}{\left|d_1\right|+\left|d_2\right|}{v}_1+\frac{\left|d_1\right|}{\left|d_1\right|+\left|d_2\right|}{v}_2,$

$s_2=\frac{\left|d_3\right|}{\left|d_1\right|+\left|d_3\right|}{v}_1+\frac{\left|d_1\right|}{\left|d_1\right|+\left|d_3\right|}{v}_3,$

由于曲面是连续平滑的，因此每个三角面片中提取到的特征片段可以自然首尾相连形成特征路径，如图2(b)所示。

本发明中，特征片段提取后，目前特征路径的表示是一系列特征片段的集合。由于深度遮挡的原因，其中许多片段是不可见的，但是特征片段提取后原三维几何模型面的信息已经不存在，绘制这些特征片段时，图形处理器中的z-buffer只会在片段像素上进行深度检测，绘制出的特征片段不能反映原三维几何的深度信息，因此需要使用消隐线算法实现特征片段消隐。这里使用的是利用身份参考图像进行消隐的算法。该算法由Northrup等人在2000年提出，是一种几何和图像混合消隐算法。该算法首先构造身份参考图像(ID reference image)：将特征片段和三维几何模型以不同颜色标记并绘制到帧缓冲区(frame buffer)，然后将绘制结果从帧缓冲区读回内存构造身份参考图像。进行特征片段消隐时，将每个特征片段和身份参考图像中的某些指定像素检测匹配来实现消隐。

对提取的特征片段集合进行消隐后，接下来的工作是将这些消隐后的片段首尾相连形成特征路径，以便于后续生成笔触几何进行绘制。如果某些特征片段长度过短，在屏幕上小于一个像素，可以将这些片段和相邻的片段合并。

如果生成的路径过长，不符合实际绘画风格，可以根据最大路径长度将过长的路径分割成若干较短的路径，或者根据路径中相邻片段之间的夹角，在路径弯曲比较大的地方对路径进行分割。

3.影线路径自动生成模块

影线路径自动生成模块的功能是从输入的三维几何模型中生成所需的影线路径，主要包括以下三个步骤：

(1)根据输入的三维几何模型绘制出相应的颜色参考图像和光照参考图像，具体生成哪种参考图像可以由光照和着色模型来决定；

(2)用户可以根据需要使用颜色编辑工具对颜色参考图像进行编辑；

(3)由颜色参考图像和光照参考图像生成影线路径。之后用户也可以利用用户交互模块提供的交互式工具在自动生成的结果上进行编辑和修改。

铅笔素描中的影线是一系列笔触按某种规律排列的集合。影线笔触可以通过色调(tone)同时表达光照、颜色、材质、形状等信息。笔触具有两个属性：1、每一条笔触可以同时表述色调和纹理，即单条笔触的属性。2、多条笔触的集合也可以反映色调和纹理，即笔触的群体属性。

我们的系统中，可以分别根据颜色参考图像和光照参考图像来设计影线。它们分别对应于对象的固有属性(intrinsic property)和外在属性(extrinsic property)。区分开固有属性和外在属性可以使这两个部分能够独立的进行编辑，例如独立使用颜色编辑软件或者光照编辑软件。另一个更为重要的原因是，混合固有属性和外在属性常常会造成视觉上的错差，这一点即使对于专业绘画者都很难把握，因为用户可以很好的估计物体本来的颜色，但是很难正确估计物体上反射出的光照颜色。将颜色系统和光照系统区分对待，分别用颜色参考图像和光照参考图像定位色调，将很好的避免这一视觉错差。用户来指定物体的本来颜色，而图形学中现有的光照绘制系统能够量化光线强度，这样就可以实现用户和计算机的分工合作。实际上，区分固有属性和外在属性的设计方法在专业美术教学技法中也有记述。出于专业背景的不同，计算机工作者和美术工作者在术语和描述上有所差异，但理念和本质是相同的。例如Dodson在其经典的绘画教程《Keys to Drawing》中记述了如何从本色调、光影图案、明度图案的角度来理解绘画创作过程：绘画者将光影图案和本色调结合起来，就可以得到最终依据照片作画的明度图案。系统中区分颜色参考图像和光照参考图像也是基于这一绘画创作理念。

单个影线的主要属性有位置、方向、长度、压力分布等，此外影线集合还具有密度等群体属性。在实际绘画过程中，绘画者在不断观察物体的基础上，将笔触一笔一笔的排列在画纸上，最终用画纸上的所有笔触来逼近绘画对象。这一过程可以抽象为一个采样问题，我们将绘画对象用参考图像表示，则影线的生成和分布问题可以看作一个二维参考图像的采样问题。

具体实现时，可以一步一步的确定影线的各种属性，整个影线笔触生成过程参考图3。以下为影线笔触生成步骤，其中步骤(1)-(4)为影线路径生成步骤：

(1)首先根据输入的三维几何模型(图3(a))绘制出参考图像(图3(b))；

(2)然后根据参考图像运用某种采样方法得到影线的位置和分布(图3(c))，具体的采样方法将在下面叙述；

(3)由于笔触具有大小和形状，考虑到采样点的重合对绘制效果会产生影响，还需要对采样点进行修正(图3(d))；

(4)采样点修正后，再根据参考图像的梯度信息确定影线路径方向，接着根据参考图像的灰度值确定影线路径长度，然后通过贝塞尔曲线插值确定影线路径形状，最后确定影线压力分布(图3(e))，至此影线路径已经生成；

(5)最终生成的影线路径通过由路径生成笔触模块生成影线笔触，并由绘制输出模块绘制出最终结果(图3(f))。

假设参考图像的二维概率密度函数为f(x，y)，则影线设计相当于从f(x，y)中得到若干采样点来生成笔触，而这些生成的笔触可以用来反映原参考图像的分布特性。这里我们探讨两种采样方式：基于累积概率密度的采样和基于Metropolis-Hastings算法的采样。

基于累积概率密度的采样就是利用累积概率密度函数的斜率对均匀分布的随机数进行重新分布，其一维算法如图4所示。该算法首先根据概率密度函数计算累积概率密度函数，然后生成均匀分布的随机向量，并利用累积概率密度函数的反函数对均匀分布的随机向量进行变换，则变换后的随机向量符合最初的概率密度函数分布。对于二维概率密度函数f(x，y)，可先对y求取边缘概率密度函数，然后运用上述一维累积概率密度算法，再根据条件概率公式得到x的分布并运用上述一维累积概率密度算法。其做法实际上是通过边缘概率密度和条件概率密度，将二维采样转换为先对y采样，然后再对x采样。

Metropolis-Hastings算法是一种可对任意复杂分布进行采样的算法。该算法只需要知道待采样点的概率估计值或者待采样点之间的概率估计比值，在不清楚概率分布函数的情况下就可以进行采样，具有很好的普适性。对于二维数字图像，采用该算法可以直接用图像的灰度值作为估计值进行二维采样，避免了累积概率密度采样算法中对于概率密度函数、边缘概率密度函数、条件概率密度函数的估计。假设我们需要N个采样点，图像上的二维采样点用z＝(x，y)表示，概率估计值为

当前的采样点为z_n，生成候选采样点z^*的提议分布为Q(z^*|z_n)，则生成N个采样点的Metropolis-Hastings算法如图5所示。算法开始时将生成的采样点个数n初始化为0。当生成的采样点个数小于N时，算法循环执行，否则算法结束。每个循环内算法根据提议分布生成一个候选采样点，计算其接受概率，并和一个随机数比较，从而决定该生成的候选采样点是否应该被接受。Metropolis-Hastings算法每次根据当前采样点z_n生成下一个采样点，其采样点序列(z₁，z₂，...，z_n)形成一条马尔可夫链，且序列路径为二维平面的随机游走。算法确定接受A(z_n→z^*)≥1的采样点，随机接受A(z_n→z^*)＜1的采样点。随着采样点个数N的增加，采样点序列的分布可以趋近于概率密度函数f(x，y)。

本发明的铅笔素描模拟应用中，采样点是用来反映笔触分布的，而笔触是有面积的，由于采样是在有限的参考图像区域内进行的，必然会有某些采样点之间位置接近甚至重叠。从最终绘制的视觉效果上看，位置相近的采样点表现为一系列重叠的笔触，从而减弱绘制的视觉效果。这在笔触透明度比较低、笔触缺乏叠加效果等情况下更为明显。最终生成图片中笔触的平均像素数越多，则采样点位置重叠所造成的影响也会越大。虽然从统计直方图上看，采样点的分布的确逼近了所需的概率分布，但实际绘制效果上并没有达到要求。

针对上述问题，本发明对得到的采样点进行小范围的修正。具体的采样点重叠修正算法如下：

(1)对得到的每个采样点z_n，查找其邻域内是否存在其它采样点，其中邻域的半径为能够容忍的最小采样点间距，可以设定为平均笔触宽度的一半；

(2)如果邻域内存在其它采样点，则计算其它采样点的位置中心，然后让被考察的采样点z_n沿着与其它采样点位置中心相反的方向移动一小段距离δ，如图6(a)所示。为了不影响得到的采样点的概率分布，我们只让采样点向和其原来位置具有同样灰度值的目标位置移动。

(3)检查目标位置是否满足要求，如果目标位置不满足要求，则让采样点z_n沿着离其最近采样点的相反方向移动一小段距离δ，如图6(b)所示；

(4)如果目标位置的灰度值仍然不满足要求，则放弃修正采样点z_n，由其它采样点的修正来达到避免重叠的效果；

(5)上述修正过程可以反复迭代进行几次，直到绝大多数采样点均满足要求为止。

使用采样点重叠修正算法可以用尽可能少的采样点来达到更好的绘制效果，最大化的利用每一条采样点生成笔触的绘制效果。

图7(c)和图7(d)分别展示了采样点重叠修正前后的效果图。其对应的输入三维几何模型和参考图像分别如图7(a)和图7(b)所示。可以看出，本发明提出的采样点重叠修正算法可以使采样点尽可能避免重叠，提升了单个采样点生成笔触的视觉效果。

得到影线位置及分布的信息后，则可以根据参考图像梯度信息来确定影线方向。为了保持生成图片中的特征笔触信息，系统采用与图像梯度相垂直的方向作为影线方向，这样还可以使笔触大小和形状对采样的影响达到最小。如果参考图像的梯度小于某一阈值，则以“左下-右上”方向作为影线的默认方向，这一方向是人类手绘影线最频繁的方向，也最符合人类绘画习惯和人体工程学特点。由于绘画过程中绘画者经常使用“盲画”的绘画技巧(眼睛注视绘制对象的同时手不停止作画)，并且笔头经常会发生跳跃，因而这一默认方向在理论和实验方面都具有一定的科学依据。

确定影线位置、分布以及方向后，影线长度和路径可以由下述算法得到：

1、生成控制粒子：在每一个生成的采样点上生成一对控制粒子[p₊，p_-]，控制粒子具有速度(v_x，v_y)和初始颜色c₀等属性。其中每对控制粒子的速度方向分别和影线方向以及影线反方向一致；

2、移动控制粒子：计算每个控制粒子的目标位置，即控制粒子沿速度(v_x，v_y)方向移动一个步长的位置，步长可以根据需要设定，一般为1至5个像素值；如果控制粒子目标位置的参考图像灰度值c_p满足|c₀-c_p|＜δ_c，则让控制粒子移动到目标位置；如果不满足或者控制粒子达到最大笔触长度，则让控制粒子停止；其中δ_c为一阈值，δ_c越大，则影线笔触的软边缘效果越为明显；δ_c越小，影线笔触的硬边缘效果越为明显；

3、根据每对控制粒子最终的位置，采用贝塞尔曲线插值方法得到影线路径。影线路径中也会根据参考图像的灰度值记录相应的影线笔触的压力分布，以用于后续的铅笔笔触绘制。

从采样点重叠修正算法和影线路径生成算法中可以看出，我们始终让每一条影线覆盖的区域具有近似的灰度，即根据图像中的色块来分布影线，这符合铅笔素描专业教程中按照形状分解来绘画的理念，因而可以使生成的铅笔素描图片具有较好的手绘效果。

图8(c)展示了茶壶几何的自动铅笔素描生成结果，其中特征笔触和影线笔触均由算法自动生成。图中共有38条特征笔触和8000条影线笔触。图8(a)和图8(b)则分别展示了输入的三维几何模型和绘制生成的光照参考图像。

图9(c)展示了另一幅自动生成的铅笔素描图片，其中包含了自动生成的266条特征笔触和8000条影线笔触，对应的三维几何模型输入和光照参考图像分别如图9(a)和图9(b)所示。

4.由路径生成笔触模块

该模块的功能是由特征路径或者影线路径生成特征笔触或者影线笔触。参看图10，路径由方形顶点和虚线表示，代表的是笔尖经过的轨迹；笔触由圆形顶点和实线表示，代表的是笔尖在纸面上留下的线条形状和纹理。上一部分的内容中提到过，笔触具有两个属性：1、每一条笔触可以同时表述色调和纹理(单独的属性)。2、多条笔触的集合也可以反映色调和纹理(群体的属性)。这部分内容主要涉及单条笔触的特性，笔触的群体属性已经在影线路径自动生成模块中叙述过了。

系统中的特征笔触和影线笔触分别由前述两个模块得到的特征路径和影线路径，以及铅笔笔头形状(tip shape)共同生成，如图10所示。其中方形顶点表示形成路径的顶点，它和路径线段共同形成了路径的几何表示；圆形顶点和实线线段组成了笔触的几何。笔头形状在每个路径顶点处对笔触的几何形状进行定位，从而和路径一起形成了笔触的几何。笔头形状由一系列预先定义的形状组成，例如典型(typical)形状、宽头(broad)形状、凿刀(chisel)形状等，如图11所示。笔头也有一系列的大小可以供用户选择。对于特征路径，我们也可以用输入几何的细节来自动调节笔头的大小，因为用户通常在细节处用较细的笔头来保持细节。绘画中笔头也会受到压力的影响，压力越大，铅笔在纸上形成的笔头大小也会越大。因此最终笔头大小S可以用下面的公式来表示：

S＝s_t×f_g×f_p，

其中，s_t是用户选择的全局笔头尺寸，f_p是压力因子，f_g是几何细节缩放因子，可以用下面的公式定义：

其中，A_v是输入几何模型顶点的环三角形的Voronoi面积(one-ring Voronoiarea)，

是控制因子。

5.绘制输出模块

该模块的功能是由笔触绘制成最终的铅笔效果图片。绘制使用的铅笔物理模型采用Sousa铅笔模型，并在图形处理单元(GPU)中实现相应算法。GPU是现代显卡的运算单元，和CPU不同的是，GPU的并行处理能力非常强大，适合处理海量图形数据。

Sousa铅笔模型涉及到了铅笔与纸张交互时的多个物理变量，并以纸张几何中的粒面(grain)为基本单位进行模拟。每个粒面由纸张高度场中相邻的四个高度围成的椎体构成。系统将纸张的高度和铅笔芯的成分(包括石墨、泥土和石蜡)分别存入纹理的R，G，B，A通道中，并打包成双缓存。绘制时，迭代地交换两张纹理作为绘制目标并根据像素着色程序更新纹理中的各个分量。最后根据纹理像素(每个像素对应一个粒面)中存储的石墨、泥土以及石蜡的含量来生成最终铅笔效果图片。例如，如果石墨的颜色为C_G，泥土的颜色为C_C，石蜡的颜色为C_V，石墨、泥土和石蜡在某个粒面中的含量分别为V_G，V_C和V_V，则最终该粒面显示的颜色值C为：

C＝C_G×V_G+C_C×V_C+C_V×V_V，

纸面上所有粒面显示的颜色值共同反映了最终铅笔素描图片的颜色值，形成铅笔素描的绘制效果。用户也可以对最终笔触进行编辑修改，然后重新进行绘制。由于图形处理单元的绘制速度很快，可以基本满足实时交互的要求。

6.影线设计的交互式工具

系统提供了几种在参考图像上批量设计影线的工具，它们是平行曲线影线工具(parallel curve hatching tool)、波浪影线工具(wave hatching tool)、交叉影线工具(cross hatching tool)和自由影线工具(free hatching tool)，如图12所示。其中平行曲线影线工具具有参数可以控制其弯曲程度和对称性。波浪影线工具提供参数来控制其波浪平滑程度。通过参数调节，平行曲线影线可以退化成平行直线影线(parallel line hatching)，而波浪影线可以退化成锯齿影线(zigzag hatching)。这些种类的影线都是铅笔素描绘画中的常见影线。系统还提供了自由影线工具供用户设计自己需求样式的影线。由于自由影线工具可以绘制任意样式的笔触，因而不仅可以用来设计影线笔触的路径，也可以用来设计特征笔触的路径。设计的特征笔触和影线笔触通过由路径生成笔触模块，即得到所需的特征笔触和影线笔触。我们使用影线架(hatching carrier)的概念来作为笔触路径设计工具的载体，如图12中的自左向右并且最长的路径所示，所述影线架为用户所绘制的单独的一条路径，影线路径根据影线架的路径进行批量、自动生成。在绘画过程中，用户只需要使用交互式输入设备，例如鼠标、压力笔等在参考图像上绘制出笔触架，影线工具就会自动根据区域形状绘制出一系列能够反映局部色调的影线。人手绘制曲线简单而且灵活，能够根据一条影线架就可以完成一个区域的影线设计，从而能够达到快速设计影线的目的，类似于浏览器中的手势识别。

用影线架批量生成影线的具体算法如下：

(1)用户绘制影线架时，记录下输入的坐标点序列和经过的参考图像像素值，并计算出经过的参考图像像素的中值像素值c_m；

(2)在影线架上初始化一些控制粒子p₁，p₂，...p_i，p_j，...p_n，这些控制粒子具有速度(v_x，v_y)和初始颜色c₀等属性，其中初始颜色c₀由控制粒子所在位置的参考图像颜色值决定，初始速度根据影线的类型设定。下面在具体说明某个控制粒子的初始颜色值时，用控制粒子序号和0共同表示，例如控制粒子P_i的初始颜色值为c_i0，泛指某个控制粒子颜色值时用c₀表示。控制粒子p_i和p_j之间的间距为

其中δ_d为密度控制参数，以像素为单位。这里假设所有颜色值c_m，c₀，c_i0，c_j0等均已经规范化到[0，1]；

(3)系统让控制粒子根据影线的类型向影线架两侧运动，如图13中的白色箭头所示，图中的白色细线表明了控制粒子的运动路径。这里只让控制粒子在满足|c₀-c_m|＜δ_c的区域内存活，控制粒子离开该区域就会死亡(这里死亡的含义与粒子系统中论述的含义一致，即粒子功能的终结和存储空间的释放)。其中δ_c是区域内的颜色差异控制参数，可以由用户调节。δ_c越大，则绘制出的软边缘效果越明显；δ_c越小，则绘制出的硬边缘效果越明显：

(4)根据控制粒子死亡的位置，以贝塞尔曲线插值或者Catmull-Rom插值来得到影线路径。

可以看出该影线设计工具的具有如下几个特点：影线类型由用户指定，影线方向由影线架间接指定(用户控制)。色调和影线密度由颜色参考图像和光照参考图像自动确定(计算机控制)。影线设计工具可以感知参考图像中的形状，并可以自动区分软边缘和硬边缘(计算机控制)。图14展示了使用影线设计交互式工具、在参考图像的基础上设计影线的界面图。

图15(b)展示了一副简单的铅笔速写，其输入的三维几何模型如图15(a)所示。该结果主要展示了自动生成的特征笔触和交互式工具绘制的各种影线笔触(包括平行曲线影线、波浪影线和交叉影线)。图中共包含了291条特征笔触和777条影线笔触。从图中可以看出，系统绘制的铅笔线条还是比较真实的。线条的粗细、压力均富于变化，类似于人的手绘效果。

图1和图16(a)-(d)中均展示了母牛铅笔素描的绘制过程。其中图16(a)展示的是自动生成的特征笔触；图16(b)展示了根据编辑的颜色参考图像交互生成的影线笔触(固有属性，表示本色调)；图16(c)展示了根据光照参考图像交互生成的影线笔触(外在属性，代表光影图案)。图16(a)、图16(b)和图16(c)中所有笔触绘制在一起则形成了最终的绘制效果，如图16(d)所示。其中共包含了211条特征笔触和2747条影线笔触。如前所述，这种绘制方式是符合人类绘画的认知和习惯的。

图17(c)展示了一副使用系统提供的交互式工具生成的植物铅笔素描，对应的输入三维几何模型和参考图像与图9(a)和图9(b)中展示的相同，分别如图17(a)和图17(b)所示。图17(c)中共包含了266条特征笔触和7231条影线笔触。从图17(c)和图9(c)的比较可以看出，自动生成方法和交互式设计方法均可以生成真实的铅笔素描，但是使用交互式工具绘制的结果与自动生成的结果相比，细节部分处理的更好，也更具有手绘效果。

图18展示了一幅使用交互式工具生成的彩色铅笔素描，共包含了766条特征笔触和2631条影线笔触。其中特征笔触由系统自动生成，影线笔触由交互式工具生成。图18中的颜色来自颜色参考图像。从结果可以看出，系统生成的铅笔素描图片较为真实且具有手工绘制的效果。

由于本发明中的系统可以自动生成特征笔触和影线笔触，并且允许用户对生成的笔触进行编辑和修改，也可以使用交互式工具自行添加笔触，系统提供的交互式工具也可以根据参考图像中的色调自动排列影线，因而降低了用户的专业绘画技能要求。另外据统计，无绘画基础的用户使用交互式工具绘制的影线速度为5-11笔触/秒，这大大快于传统的人工绘制影线速度。使用交互式工具设计影线的优势在大面积绘制影线时更为突出，因而本系统更加适合于大幅作品的绘制。另外，系统目前使用普通鼠标作为输入，如果使用专业的输入笔和压力手写板等工具，估计效率还有进一步的提升。

从上面的分析可以看出，本发明的系统可以模拟出逼真的铅笔素描作品。即使无绘画基础的用户也可以在系统的辅助下，快速生成具有手绘效果的铅笔素描作品。由于系统是基于笔触的，相对于其它图像、体绘制、纹理映射等铅笔素描生成方法，具有符合实际绘画创作过程、易于编辑修改等优点，因而具有更高的实用价值。

上述实验结果和基于笔触的铅笔素描模拟和绘制方法，可以用于计算机图形学、计算机辅助设计、电影动漫特效、艺术设计等领域，具有操作简单、生成速度快、效果逼真、易于修改和编辑、应用前景广的特点。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种基于笔触的铅笔素描模拟和绘制系统，其特征在于，该系统包括：

用户交互模块，用于为用户提供界面进行三维几何模型选择并将选择的三维几何模型输出至特征路径自动生成模块和影线路径自动生成模块；

特征路径自动生成模块，用于根据输入的三维几何模型自动生成特征路径；

影线路径自动生成模块，用于根据输入的三维几何模型自动生成影线路径；

由路径生成笔触模块，用于根据特征路径自动生成模块生成的特征路径和影线路径自动生成模块生成的影线路径，生成特征笔触和影线笔触的几何及其属性；

绘制输出模块，用于根据笔触的几何和属性，采用铅笔物理模型绘制出铅笔笔触。

2.如权利要求1所述的系统，其特征在于，所述用户交互模块还提供交互式工具供用户进行以下操作：颜色参考图像编辑、影线路径设计、铅笔属性选取、素描纸参数选取、添加删除笔触和编辑修改已生成笔触。

3.如权利要求2所述的系统，其特征在于，所述影线路径设计是指系统在对铅笔素描中常见的影线类型进行归纳总结的基础上，将其划分为四种类型，并分别使用平行曲线影线工具、波浪影线工具、交叉影线工具和自由影线工具，以影线架(hatching carrier)作为载体进行交互式、批量影线路径生成，其中自由影线工具也可以用来设计特征笔触的路径。

4.如权利要求3所述的系统，其特征在于，所述影线架为用户所绘制的单独的一条路径，影线路径根据影线架的路径进行批量、自动生成。

5.如权利要求3所述的系统，其特征在于，所述以影线架作为载体进行交互式、批量影线生成的步骤包括：

步骤1：用户绘制影线架路径时，系统记录下输入的坐标点序列和经过的参考图像像素值，并计算出经过的参考图像像素的中值像素值c_m；

步骤2：系统在影线架上初始化一些控制粒子p₁，p₂，...p_i，p_j，...p_n，这些控制粒子具有速度v_x，v_y和初始颜色c₀，且控制粒子p_i和p_j之间的间距为

其中δ_d为密度控制参数，以像素为单位，c_i0为控制粒子p_i的初始颜色值，c_j0为控制粒子p_j的初始颜色值；

步骤3：系统让控制粒子根据影线的类型向影线架两侧运动，并且只让控制粒子在满足|c₀-c_m|＜δ_c的区域内存活，其中δ_c是区域内的颜色差异控制参数；

步骤4：根据控制粒子死亡的位置，以贝塞尔曲线(Bézier curve)插值或者卡特马尔-如莫(Catmull-Rom)插值来得到影线路径。

6.如权利要求1所述的系统，其特征在于，所述自动生成特征路径的步骤包括：

(1)从输入的三维几何模型中存储的三角面片上提取特征片段；

(2)根据输入的三维几何模型和步骤(1)中提取的特征片段构造身份参考图像；

(3)利用身份参考图像，使用消隐线算法对特征片段进行消隐；

(4)将消隐后的特征片段链接成特征路径。

7.如权利要求1所述的系统，其特征在于，所述自动生成影线路径的步骤包括：

(1)根据输入的三维几何模型绘制出相应的颜色参考图像和光照参考图像；

(2)对颜色参考图像和光照参考图像进行采样得到影线的位置和分布；

(3)对采样点进行修正，以减弱笔触重叠对最终绘制效果的影响；

(4)对采样点进行修正后，根据参考图像的梯度信息确定影线路径方向，根据灰度值确定影线路径长度，然后确定影线路径上的压力分布，从而生成影线路径。

8.如权利要求7所述的系统，其特征在于，所述颜色参考图像和光照参考图像，分别对应于绘制物体的固有属性和外在属性，在专业绘画教程中其含义分别对应于绘制物体的本色调和光影图案。

9.如权利要求7所述的系统，其特征在于，所述采样所使用的算法有基于累积概率密度的采样和基于米超波利斯-哈斯汀(Metropolis-Hastings)算法的采样。

10.如权利要求7所述的系统，其特征在于，所述对采样点进行修正的步骤包括：

(1)对得到的每个采样点z_n，查找其邻域内是否存在其它采样点，其中邻域的半径为能够容忍的最小采样点间距，可以设定为平均笔触宽度的一半；

(2)如果邻域内存在其它采样点，则计算其它采样点的位置中心，然后让被考察的采样点z_n沿着与其它采样点位置中心相反的方向移动一小段距离δ；

(3)检查目标位置是否满足要求，如果目标位置不满足要求，则让采样点z_n沿着离其最近采样点的相反方向移动一小段距离δ；

(4)如果目标位置的灰度值仍然不满足要求，则放弃修正采样点z_n，由其它采样点的修正来避免重叠；

反复迭代上述修正过程数次，直到绝大多数采样点均满足要求为止。

11.如权利要求10所述的系统，其特征在于，所述目标位置，可以使用下面两种方法判别：

为了不影响得到的采样点的概率分布，目标位置的要求为：采样点目标位置和其原来位置具有同样的灰度值；

或者为了尽量减小修正算法对采样点概率分布的影响，目标位置的要求为：采样点目标位置的灰度值和其原来位置的灰度值相差一定阈值。

Images