CN103413340A - 深度增强的图像线条画生成算法 - Google Patents

Abstract

本发明公开了一种深度增强的图像线条画生成算法，该方法对原始彩色图像和与彩色图像对应的深度图像分别经过灰度转化、求梯度、计算梯度的边缘正切、构造边缘正切流、各向异性高斯滤波、绘制线条画，然后将两个线条画融合并增强，得到深度增强的图像线条画。本算法不仅充分考虑了从颜色图像出发抽取的线条，也引入了深度数据的影响，通过深度图像提供的几何信息大大改善了整体线条画的效果，从而在体现深度上的视觉特征的同时，也充分体现了颜色上的视觉特征，整体得到的线条效果更为清晰鲜明。

Description

深度增强的图像线条画生成算法

技术领域

本发明属于计算机图形学中的非真实感绘制技术领域，涉及一种基于深度增强的图像线条画生成算法。

背景技术

在非真实感绘制领域中，线条画生成占据了十分重要的地位，因为它以简洁明快的形式展现了场景对象最重要的视觉特征。从数据维度上来分，自动线条画生成算法可以分为三维几何空间的线条画，即基于3D模型的线条画；基于图像空间的线条画。

在基于图像空间的线条画生成算法方面，Salisbury等利用Canny算子进行边缘检测，以生成轮廓笔画和修剪内部的笔画，并藉此开发了一个基于交互的钢笔画插图系统。Fischer等利用Canny边缘检测算法结合双边滤波获得风格化增强的增强现实图像。Son等采用相似性函数估计来提取线条，结合笔刷纹理控制不同尺度细节可以展现不同的绘画风格。

但相比于基于几何空间的线条画算法，基于图像空间的线条画生成算法没有目标物体的几何信息，只能利用颜色或亮度来提取其中的线条。因此易受到噪声数据的干扰，导致提取的线条完整性不够。

近几年，针对图像数据的表达力不足的问题，一些研究人员开始将引入深度数据应用到二维图像非真实感绘制中，如Danijela等设计了一个立体图像自动生成艺术画的系统，该系统通过对双目获取的深度图像进行分析，来确定笔刷的位置与方向，绘制出一幅类似铅笔画的效果图。Bartesaghi等利用立体图像对获得法向信息和主方向场，从而来指导色调变化和调整笔刷纹理的朝向。

单纯的基于图像的线条画很难通过图像提取出目标物体完整的几何信息，而单纯的基于几何空间的线条画没有考虑目标物体表面的颜色纹理分布。

发明内容

针对现有技术当中存在的缺陷与不足，本文提出一种深度增强的图像线条画生成算法，不仅充分考虑了从颜色图像出发抽取的线条，也引入了深度数据的影响，通过深度图像提供的几何信息大大改善了整体线条画的效果。

本发明采用以下技术方案：

一种深度增强的图像线条画生成算法，通过深度信息和颜色信息两个要素分别对获得的线条画图像进行融合，该方法具体包括如下步骤：

步骤1：原始彩色图像的线条画生成：

步骤S10：将原始彩色图像S(x)转化为灰度图像I(x)，其中x＝(i,j)，表示图像上的一个像素；

步骤S11：利用公式1计算灰度图像I(x)的梯度g(x)，梯度g(x)的大小记为ψ(x)；

g(x)＝▽I(x)＝(g₁(x),g₂(x))   （公式1）

在公式1中， $g_1\left(x\right)=\left[\begin{array}{ccc}-1& 0& +1\\ -2& 0& +2\\ -1& 0& +1\end{array}\right]*I\left(x\right),$ $g_2\left(x\right)=\left[\begin{array}{ccc}+1& +2& +1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]*I\left(x\right);$

则梯度g(x)的大小为：

步骤S12：计算梯度g(x)的边缘正切t^cur(x)：t^cur(x)＝(g₂(x),-g₁(x))；

步骤S13：利用公式2构造灰度图像I(x)边缘正切流，记为t^new；

$t^{\mathrm{new}}=\frac{1}{k}\underset{y\∈\mathrm{\Ω}\left(x\right)}{\mathrm{\Σ}}\mathrm{\φ}(x,y)t^{\mathrm{cur}}\left(y\right){\mathrm{\ω}}_s(x,y){\mathrm{\ω}}_m(x,y){\mathrm{\ω}}_d(x,y)$    （公式2）

在公式2中，Ω(x)表示以当前正在处理的像素x为中心的邻域，该邻域的大小是以像素x为中心半径为3个像素的范围；y是该邻域里一点的像素，k表示公式2中的求和公式中包含的邻域像素个数，t^cur(y)为当前像素y处的边缘正切；其中参数ω_m(x,y)为幅值权值函数，定义如公式3：

${\mathrm{\ω}}_m(x,y)=\frac{1}{2}(1.0+\tanh (\mathrm{\η}\·(\mathrm{\ψ}\left(y\right)-\mathrm{\ψ}\left(x\right)))$    （公式3）

在公式3中，η用来控制当前像素与周围像素的梯度差作用的陡峭程度，η越大，表示越陡峭；tanh为双曲函数，ψ(x)与ψ(y)分别表示在像素x，y处的梯度量；

公式2中，ω_d(x,y)是方向权值函数，定义如公式4：

ω_d(x,y)＝|t^cur(x)·t^cur(y)|   （公式4）

其中，t^cur(x)，t^cur(y)分别为当前像素x和y处的边缘正切；

公式2中，如果‖x-y‖＜r，则ω_s(x,y)＝1，否则ω_s(x,y)＝0；

公式2中，如果t^cur(x)·t^cur(x)＞0则φ(x,y)＝1，否则φ(x,y)＝-1；

步骤S14：将步骤S13生成的边缘切向流t^new赋给t^cur(x)，将t^cur(x)代入公式2中，进行迭代，迭代2～3次，得到最后的边缘切向流t^new，该边缘切向流将作为各项异性高斯滤波积分域的设定；

步骤S15：利用公式5对由原始彩色图像S(x)得到的灰度图像I(x)进行基于流场的各项异性高斯滤波得到图像H(x)：

$H\left(x\right)={\∫}_{-S}^S{G}_{{\mathrm{\σ}}_m}\left(\right||s-x|\left|\right)F\left(s\right)\mathrm{ds}$    （公式5）

在公式5中：

$F\left(s\right)={\∫}_{-T}^T(G_{{\mathrm{\σ}}_c}\left(\right||t-s|\left|\right)-\mathrm{\τ}{G}_{{\mathrm{\σ}}_s}\left(\right||t-s|\left|\right))I\left(I_s\left(t\right)\right)\mathrm{dt}$    （公式6）

在公式5和公式6中，积分域[-S,S]和[-T,T]由用户给定，τ为高斯差分滤波器的控制因子，取值为0.9，I(l_s(t))为灰度图像I(x)上的一点(s,t)在位置l_s(t)的灰度值，l_s(t)表示经过(s,t)的梯度曲线，

是方差分别为σ_m、σ_c、σ_s的高斯函数，其中σ_m和σ_s的大小由用户给出，σ_s＝1.6σ_c；所述的高斯函数见公式7：

$G_{\mathrm{\σ}}\left(\right||x-y|\left|\right)=\frac{1}{\mathrm{\σ}\sqrt{2\mathrm{\π}}}{e}^{-\frac{\left|\right|x-y\left|\right|}{2{\mathrm{\σ}}^2}}$    （公式7）

步骤S16：将图像H(x)按公式8进行逐个像素计算，绘制线条画，记为L₁：

   （公式8）

其中由用户给出，用来控制H(x)的陡峭程度，tanh为双曲函数；

步骤2：原始彩色图S(x)对应深度图像D(x)的线条画生成：

该深度图像D(x)可以通过视觉深度恢复方法获得或者直接通过深度相机获得；

步骤S21：将步骤S10～S16中的原始彩色图像S(x)替换为深度图像D(x)，对深度图像D(x)按照S10～S16步骤进行处理，得到深度图像D(x)的线条画图像，记为L₂；

步骤3：线条融合：

步骤S31：利用公式9对步骤1得到的线条画图像L₁和步骤2得到的线条画图像L₂进行线条融合，得到融合线条L：

L＝L₁·L₂   （公式9）

步骤4：线条画增强；

步骤S41：将深度图像D(x)的深度值转化到[0,1]范围，对每个深度图像的像素D(i,j)计算每个像素对应的空间法向N(x)＝(N_x,N_y,N_z)，其中N_x＝D((i-1),j)-D(i+1,j)，N_y＝D(i,(j+1))-D(i,(j-1))，N_z＝1，再将N(x)化为单位向量；

步骤S42：对步骤S41中得到的法向N(x)求梯度，得到法向图的梯度▽N(x)，然后将▽N(x)与S31步骤得到的L进行点乘，即▽N(x)·L，得到深度增强的图像线条画。

本算法的优点如下：

1.引入深度数据，使合成的线条画既保留了颜色信息中的变化量，同时又包含了几何尺度上的变化，增强了线条的表现力，使得整个线条画更完整。

2.该算法保留了足够多的层次细节，与之前生成的线条相比，它提供了与颜色、光照和纹理等无关的几何信息。

3.利用法向梯度对线条画进一步的增强，可以提供更多的空间信息，使得原始线条的空间层次感得到大大改善。

4.整个算法实现简单，没有太多的参数调节过程。

附图说明

图1是本算法的主要流程图；

图2是基于流场的各项异性高斯滤波的积分域空间；

图3是原始彩色图像S(x)对应的灰度图像I(x)；

图4是原始彩色图S(x)对应深度图像D(x)；

图5是原始彩色图像S(x)处理后得到的线条画L₁；

图6是深度图像D(x)处理后得到的线条画L₂；

图7是线条画融合即L₁·L₂得到的效果图；

图8是度图像D(x)经步骤S41处理后得到的法向可视化结果图；

图9是步骤S42中深度增强的图像线条画；

图10是实施例2中与原始彩色图像对应的灰度图像；

图11是实施例2中与原始彩色图像对应的深度图像；

图12是实施例2得到深度增强的图像线条画；

图13是图10经过基于流的高斯差处理后得到的线条画。

具体实施方式

目前在颜色图像的线条画生成算法方面，基于流的高斯差算法效果显著，得到的线条清晰流畅。但通过颜色图像获取线条画只依赖于图像灰度的梯度变化，没有任何几何信息。因此当亮度存在差异但为同一个场景，其线条画结果会存在很大差异，同样亮度类似但几何差异很大的场景图像，其线条画结果可能一样。这说明从单纯的颜色图像出发，无法提供缺乏足够的信息。同样，从单纯的深度图像出发来生成线条画，则忽略了重要的颜色亮度信息。因此本发明将从颜色图像得到的线条画和从深度图像得到的线条画通过相乘进行融合，这样既保留了亮度信息的线条效果，同时也保留了深度信息的线条效果，同时还可以利用深度信息进行背景剔除和法线效果增强。

参见图1，本算法主要包括如下步骤：

一种深度增强的图像线条画生成算法，通过深度信息和颜色信息两个要素分别获得的线条进行融合，从而在体现深度上的视觉特征的同时，也充分体现了颜色上的视觉特征，整体得到的线条效果更为清晰鲜明，该方法具体包括如下步骤：

步骤1：原始彩色图像的线条画生成，原始彩色图像由普通相机即可获取；

步骤S10：将采集的原始彩色图像S(x)转化为灰度图像I(x)，其中x＝(i,j)，表示图像上的一个像素；

步骤S11：利用公式1计算灰度图像I(x)的梯度g(x)，梯度g(x)的大小记为ψ(x)；

g(x)＝▽I(x)＝(g₁(x),g₂(x))   （公式1）

在公式1中， $g_1\left(x\right)=\left[\begin{array}{ccc}-1& 0& +1\\ -2& 0& +2\\ -1& 0& +1\end{array}\right]*I\left(x\right),$ $g_2\left(x\right)=\left[\begin{array}{ccc}+1& +2& +1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]*I\left(x\right);$

则梯度大小为： $\mathrm{\ψ}\left(x\right)=\sqrt{({g_1}^2\left(x\right)+{g_2}^2\left(x\right))};$

步骤S12：计算梯度g(x)的边缘正切t^cur(x)：t^cur(x)＝(g₂(x),-g₁(x))；

步骤S13：利用公式2构造灰度图像I(x)新的边缘正切流，记为t^new；

$t^{\mathrm{new}}=\frac{1}{k}\underset{y\∈\mathrm{\Ω}\left(x\right)}{\mathrm{\Σ}}\mathrm{\φ}(x,y)t^{\mathrm{cur}}\left(y\right){\mathrm{\ω}}_s(x,y){\mathrm{\ω}}_m(x,y){\mathrm{\ω}}_d(x,y)$    （公式2）

在公式2中，Ω(x)表示以当前正在处理的像素x为中心的邻域，该邻域的半径为r，该半径决定了梯度受周围像素的影响范围，r的取值为以像素x为中心的3个像素的范围；y是该邻域内的一点像素，k是归一化算子，k代表公式2中的求和公式中包含的邻域像素的个数，t^cur(y)为当前像素y处的边缘正切；其中参数ω_m(x,y)为幅值权值函数，定义如公式3：

${\mathrm{\ω}}_m(x,y)=\frac{1}{2}(1.0+\tanh (\mathrm{\η}\·(\mathrm{\ψ}\left(y\right)-\mathrm{\ψ}\left(x\right)))$    （公式3）

在公式3中，η用来控制当前像素与周围像素的梯度差作用的陡峭程度，η越大，表示当前像素与周围像素的梯度差作用的陡峭程度越大，反之则越小；ψ(x)与ψ(y)分别表示在像素x，y处的梯度量；幅值权值函数是单调递增的，并由ψ(y)-ψ(x)的值来决定，可以很好的保持明显的边缘方向特征；

公式2中，ω_d(x,y)是方向权值函数，定义如公式4：

ω_d(x,y)＝|t^cur(x)·t^cur(y)|   （公式4）

其中，t^cur(x)，t^cur(y)分别为当前像素x，y处的边缘正切；该方向权值函数的大小随着两个夹角的增大而减小；

公式2中，如果‖x-y‖＜r，则ω_s(x,y)＝1，否则ω_s(x,y)＝0；

公式2中，如果t^cur(x)·t^cur(x)＞0则φ(x,y)＝1，否则φ(x,y)＝-1；

步骤S14：将步骤S13生成的新的边缘切向流t^new赋值给t^cur(x)，将t^cur(x)代入公式2中，进行迭代，这样迭代2～3次，本实施例迭代3次，得到最后的边缘切向流t^new，该边缘切向流为一幅和原始图像尺寸一样的图像数据，每一个像素位置存的为该点的切向流矢量数据，该边缘切向流将作为高斯差滤波器积分域的设定，见图2和步骤S15，即在步骤S15中对每一个像素进行积分时，可以找到对应位置上的切向流，通过该矢量即找到对应的积分方向S和T；

步骤S15：利用公式5对由原始彩色图像S(x)得到的灰度图像I(x)进行基于流场的各项异性高斯滤波得到图像H(x)：

$H\left(x\right)={\∫}_{-S}^S{G}_{{\mathrm{\σ}}_m}\left(\right||s-x|\left|\right)F\left(s\right)\mathrm{ds}$    （公式5）

在公式5中：

$F\left(s\right)={\∫}_{-T}^T(G_{{\mathrm{\σ}}_c}\left(\right||t-s|\left|\right)-\mathrm{\τ}{G}_{{\mathrm{\σ}}_s}\left(\right||t-s|\left|\right))I\left(I_s\left(t\right)\right)\mathrm{dt}$    （公式6）

在公式5和公式6中，积分域[-S,S]和[-T,T]由用户给定，一般取2～4个像素宽；τ为高斯差分滤波器的控制因子，如取值为0.9；I(l_s(t))为灰度图像I(x)上的一点(s,t)在位置l_s(t)的灰度值，l_s(t)表示经过(s,t)的梯度曲线，

$G_{{\mathrm{\σ}}_m}\left(\right||s-x|\left|\right),$ $G_{{\mathrm{\σ}}_c}\left(\right||t-s|\left|\right),$ $G_{{\mathrm{\σ}}_s}\left(\right||t-s|\left|\right)$ 是方差分别为σ_m、σ_c、σ_s的高斯函数，其中σ_m和σ_s的大小由用户给出，σ_s的一般的取值范围为[0.97,1.0]，σ_s＝1.6σ_c；所述的高斯函数见公式7：

$G_{\mathrm{\σ}}\left(\right||x-y|\left|\right)=\frac{1}{\mathrm{\σ}\sqrt{2\mathrm{\π}}}{e}^{-\frac{\left|\right|x-y\left|\right|}{2{\mathrm{\σ}}^2}}$    （公式7）

在基于流场的各项异性高斯滤波过程中，积分域空间由公式2给出，即在利用公式针对每一个像素进行高斯差计算时，先通过访问步骤S14得到边缘切向流数据获得该像素对应的切向流矢量，然后沿着该矢量S方向上去找到其积分所需的下一个像素的位置，同时沿着该矢量的垂直方向T方向上找到另一个方向上的下一个像素的位置，这样对于每一个像素都这样搜索其周围邻域[-S,S]×[-T,T]内的像素的灰度值；积分过程如图2所示，即对每一个像素沿着其边缘切向流的方向和该点切向流的正交方向两个方向构成的窄带里的像素进行高斯差的相加操作；

步骤S16：将图像H(x)按公式8进行逐个像素计算，绘制线条画，记为L₁：

   （公式8）

其中由用户给出，用来控制H(x)的陡峭程度，即影响线条的尖锐程度，

越大，意味着H(x)在[-1,0]之间越窄，即越陡峭，这样得到的线条越细，反之，线条越宽；L₁(x,

)是保持特征的线条图像，由于其处理的是颜色图像数据，因此它反映了场景光亮度变化所体现出来的线条效果；

步骤2：原始彩色图像S(x)对应深度图像D(x)的线条画生成：

该深度图像D(x)可以通过视觉深度恢复方法获得或者直接通过深度相机获得。如对同一副景象利用普通相机和深度相机分别拍照，则可分别得到该景象的原始彩色图S(x)和深度图像D(x)；

步骤S21：将步骤S10～S16中的原始彩色图像S(x)替换为深度图像D(x)，对深度图像D(x)按照S10～S16步骤进行处理，即，首先将深度图像D(x)转化为灰度图像，然后对灰度图像执行步骤S11～S16，处理过程中的参数与公式与处理原始彩色图像S(x)的参数与公式相同，得到深度图像D(x)的线条画图像，记为L₂；该线条与L₁相比，它提供了与颜色、光照和纹理等无关的几何信息。

步骤3：线条融合：

步骤S31：利用公式9对步骤1得到的线条画图像L₁和步骤2得到的线条画图像L₂进行线条融合，得到融合线条L：

L＝L₁·L₂   （公式9）

步骤4：线条画增强；

将深度图像D(x)的深度值转化到[0,1]范围，对每个深度图像的像素D(i,j)计算每个像素对应的空间法向N(x)＝(N_x,N_y,N_z)，其中N_x＝D((i-1),j)-D(i+1,j)，N_y＝D(i,(j+1))-D(i,(j-1))，N_z＝1，再将N(x)化为单位向量；

步骤S42：对步骤S41中得到的法向N(x)求梯度，得到法向图的梯度▽N(x)，然后将▽N(x)与S31步骤得到的L进行点乘，即▽N(x)·L，得到增强后的线条画。

实施例1：

取原始彩色图像对应的灰度图像（图3）和与原始彩色图像对应的深度图像（图4）按照本发明方法的步骤进行处理：

通过图5可以看到原始彩色图像能够捕获颜色变化差异比较大的区域所形成的线条，如保龄球瓶上的红色图案，但因为白色区域与背景很接近，导致无法形成清晰的线条；相比之下，图6由深度图像得到的线条在区别各个目标物体时非常清晰，但内部由颜色所构成的边缘却被完全忽视了。如果把这两者结合起来，则同时保留了两者的优点，如图7所示的线条画融合后的效果图。

采用图8的法向信息来构造法向梯度对图7进行进一步增强，可以提供更多的空间信息，使得原始线条的空间层次感得到大大改善，见图9。

实施例2：

图10是原始彩色图像对应的灰度图像；

图11是图10对应的深度图像；

图12是图10和图11经过本发明方法处理后的深度增强的图像线条画，可以看到图12的线条画效果更清晰，层次感更强。

对比例1：

图13是图10经过基于流的高斯差处理后得到的线条画，同时还利用线段检测算子进行了效果增强。

为了验证深度数据的重要作用，按照本发明算法步骤S10～S16实现的线条抽取，同时为了加强边缘效果，引入了线段检测算子来进行效果增强，但只是利用了亮度信息，见图13。图12跟图13相比可以看到深度数据给出的几何信息更进一步改善了整体线条信息的呈现，具有更好的空间层次感。图13对文字和右边的玩具表达显然不如图12。

Claims (1)

1.一种深度增强的图像线条画生成算法，其特征在于，通过深度信息和颜色信息两个要素分别对获得的线条画图像进行融合，该方法具体包括如下步骤：

步骤1：原始彩色图像的线条画生成：

步骤S10：将原始彩色图像S(x)转化为灰度图像I(x)，其中x＝(i,j)，表示图像上的一个像素；

步骤S11：利用公式1计算灰度图像I(x)的梯度g(x)，梯度g(x)的大小记为ψ(x)；

g(x)＝▽I(x)＝(g₁(x),g₂(x))   （公式1）

在公式1中， $g_1\left(x\right)=\left[\begin{array}{ccc}-1& 0& +1\\ -2& 0& +2\\ -1& 0& +1\end{array}\right]*I\left(x\right),$ $g_2\left(x\right)=\left[\begin{array}{ccc}+1& +2& +1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]*I\left(x\right);$

则梯度g(x)的大小为：

步骤S12：计算梯度g(x)的边缘正切t^cur(x)：t^cur(x)＝(g₂(x),-g₁(x))；

步骤S13：利用公式2构造灰度图像I(x)边缘正切流，记为t^new；

$t^{\mathrm{new}}=\frac{1}{k}\underset{y\∈\mathrm{\Ω}\left(x\right)}{\mathrm{\Σ}}\mathrm{\φ}(x,y)t^{\mathrm{cur}}\left(y\right){\mathrm{\ω}}_s(x,y){\mathrm{\ω}}_m(x,y){\mathrm{\ω}}_d(x,y)$    （公式2）

在公式2中，Ω(x)表示以当前正在处理的像素x为中心的邻域，该邻域的大小是以像素x为中心半径为3个像素的范围，y是该邻域里一点的像素，k表示公式2中的求和公式中包含的邻域像素个数，t^cur(y)为当前像素y处的边缘正切；其中参数ω_m(x,y)为幅值权值函数，定义如公式3：

${\mathrm{\ω}}_m(x,y)=\frac{1}{2}(1.0+\tanh (\mathrm{\η}\·(\mathrm{\ψ}\left(y\right)-\mathrm{\ψ}\left(x\right)))$    （公式3）

在公式3中，η用来控制当前像素与周围像素的梯度差作用的陡峭程度，η越大，表示越陡峭；tanh为双曲函数，ψ(x)与ψ(y)分别表示在像素x，y处的梯度量；

公式2中，ω_d(x,y)是方向权值函数，定义如公式4：

ω_d(x,y)＝|t^cur(x)·t^cur(y)|   （公式4）

其中，t^cur(x)，t^cur(y)分别为当前像素x和y处的边缘正切；

公式2中，如果‖x-y‖＜r，则ω_s(x,y)＝1，否则ω_s(x,y)＝0；

公式2中，如果t^cur(x)·t^cur(x)＞0则φ(x,y)＝1，否则φ(x,y)＝-1；

步骤S14：将步骤S13生成的边缘切向流t^new赋给t^cur(x)，将t^cur(x)代入公式2中，进行迭代，迭代2～3次，得到最后的边缘切向流t^new，该边缘切向流将作为各项异性高斯滤波积分域的设定；

步骤S15：利用公式5对由原始彩色图像S(x)得到的灰度图像I(x)进行基于流场的各项异性高斯滤波得到图像H(x)：

$H\left(x\right)={\∫}_{-S}^S{G}_{{\mathrm{\σ}}_m}\left(\right||s-x|\left|\right)F\left(s\right)\mathrm{ds}$    （公式5）

在公式5中：

$F\left(s\right)={\∫}_{-T}^T(G_{{\mathrm{\σ}}_c}\left(\right||t-s|\left|\right)-\mathrm{\τ}{G}_{{\mathrm{\σ}}_s}\left(\right||t-s|\left|\right))I\left(I_s\left(t\right)\right)\mathrm{dt}$    （公式6）

在公式5和公式6中，积分域[-S,S]和[-T,T]由用户给定，τ为高斯差分滤波器的控制因子，取值为0.9，I(l_s(t))为灰度图像I(x)上的一点(s,t)在位置l_s(t)的灰度值，l_s(t)表示经过(s,t)的梯度曲线，

是方差分别为σ_m、σ_c、σ_s的高斯函数，其中σ_m和σ_s的大小由用户给出，σ_s＝1.6σ_c；所述的高斯函数见公式7：

$G_{\mathrm{\σ}}\left(\right||x-y|\left|\right)=\frac{1}{\mathrm{\σ}\sqrt{2\mathrm{\π}}}{e}^{-\frac{\left|\right|x-y\left|\right|}{2{\mathrm{\σ}}^2}}$    （公式7）

步骤S16：将图像H(x)按公式8进行逐个像素计算，绘制线条画，记为L₁：

   （公式8）

其中

由用户给出，用来控制H(x)的陡峭程度，tanh为双曲函数；

步骤2：原始彩色图像S(x)对应深度图像D(x)的线条画生成：

该深度图像D(x)可以通过视觉深度恢复方法获得或者直接通过深度相机获得；

步骤S21：将步骤S10～S16中的原始彩色图像S(x)替换为深度图像D(x)，对深度图像D(x)按照S10～S16步骤进行处理，得到深度图像D(x)的线条画图像，记为L₂；

步骤3：线条融合：

步骤S31：利用公式9对步骤1得到的线条画图像L₁和步骤2得到的线条画图像L₂进行线条融合，得到融合线条L：

L＝L₁·L₂   （公式9）

步骤4：线条画增强；

步骤S41：将深度图像D(x)的深度值转化到[0,1]范围，对每个深度图像的像素D(i,j)计算每个像素对应的空间法向N(x)＝(N_x,N_y,N_z)，其中N_x＝D((i-1),j)-D(i+1,j)，N_y＝D(i,(j+1))-D(i,(j-1))，N_z＝1，再将N(x)化为单位向量；

步骤S42：对步骤S41中得到的法向N(x)求梯度，得到法向图的梯度▽N(x)，然后将▽N(x)与S31步骤得到的L进行点乘，即▽N(x)·L，得到深度增强的图像线条画。

Images