CN101587593B - 一种基于真实图像素描风格化的方法 - Google Patents

Abstract

一种基于真实图像素描风格化的方法，根据素描以及人眼视觉的特点，根据人眼对颜色差异的敏感程度来勾勒图像的轮廓，并渲染素描风格画的阴影纹理，分两层分别生成素描图像的轮廓和阴影，然后将两者合成得到最终的素描风格化图像。本发明在生成素描图像的阴影纹理时，以原始图像光感强度为指导，产生一张重要性图来控制素描风格画阴影纹理的生成，使得生成的素描阴影纹理更接近于真实素描阴影纹理的特点，素描风格化效果更好。

Description

一种基于真实图像素描风格化的方法

技术领域

本发明属于图像处理方法，具体涉及一种基于真实图像素描风格化的方法。

背景技术

素描是一种用铅笔、粉笔等为媒介，以线条来表现物体或景象的艺术，也是画家意图最直率的流露。NPR领域工作者们对图像的素描风格化绘制已经提出了一些方法。Georgers提出了一种基于可控密度阴影的钢笔画生成方法。通过计算可控密度阴影来指导纹理的生成，使得在图像亮度较高的区域或者有较多笔画交汇的区域阴影较少或者阴影消失，而在亮度较低的区域或者笔画开始分叉的区域，有较多阴影或者重新生成阴影。但该方法只适用于一些能够用参数来表示的曲面的模拟，对纹理复杂的画面生成效果有限。Michael提出了一种人工交互的钢笔素描生成方法。该方法模拟出的纹理效果较好，但是需要通过大量的人工交互来定义纹理方向和笔画方式，因此，生成的风格化图像效果与用户的设置关联很大。Nan Li等提出了一种使用线性积分卷积来生成素描风格的铅笔纹理的方法。首先由原始图像产生一张噪声图，然后对图像做分割，并根据分割的结果计算每一个区域用于与噪声图做线性积分卷积的向量场，最后将两者做线性积分卷积，得到素描风格的铅笔纹理。该方法虽然局部纹理模拟较好，但是在整体布局方面并不具备素描艺术的明暗色调美感。

整体来说，目前的素描风格化方法并未遵循素描风格画创作的艺术特点，且这些方法运算量较大，无法做到实时或者准实时。

发明内容

本发明的目的是提供了一种快速生成素描轮廓和阴影的基于真实图像素描风格化的方法，本发明使图像的素描风格化生成能够达到实时处理。

为达到上述目的，本发明采用的技术方案是：

1)首先对图像做双边滤波预处理；

2)然后计算双边滤波预处理后图像的颜色差异图；

3)由颜色差异图得到素描的轮廓图；

4)计算图像的重要性图，并结合颜色差异图得到素描的阴影图；

5)最后将轮廓图与阴影图叠加得到素描风格化后的图像。

2、如权利要求1所述的基于真实图像素描风格化的方法，其特征在于：在生成素描图像的阴影图时，以原始图像光感强弱为指导，产生一张重要性图来控制素描风格画阴影纹理的生成，其具体过程如下：

(a)在Lab颜色空间中对f_filted(·)图像上每个像素点x计算它与纯黑(0，0，0)的欧氏颜色距离d(x)，以d(x)衡量原始图像上像素点x处的光感强度；

$d\left(x\right)=\sqrt{l^2+a^2+b^2}$

其中f_filted(·)为原始图像，d(x)为f_filted(·)上像素点x与纯黑(0，0，0)之间的欧氏颜色距离；(l，a，b)是像素点x在Lab颜色空间中的像素值；

(b)计算d(·)的平均值d_mean，并根据以下方式生成最终的低阈值重要性图f_thrL(·)，若像素点对应d(x)值大于平均值d_mean，该点光感强度足够高，软阈值处理颜色差异值时该点对应的阈值较大，生成的阴影较少，灰度值较大，将d(x)＞d_mean的点对应阈值均设为f_thrL0；若像素点对应d(x)值小于平均值d_mean，该点光感强度较低，软阈值处理颜色变异值时该点对应的阈值较小，生成的阴影较多，灰度值较小，当

越小，该点重要性应当越大，且d(x)＜d_mean时 $\frac{d\left(x\right)}{d_{\mathrm{mean}}}\∈\left[\mathrm{0,1}\right],$ 则以

来表示该点重要性程度，为了增强像素点间重要性的区分度，以

来代表该点的重要程度，而重要性越高，对应的阈值则越低，从而生成更多的阴影纹理，因此，当d(x)＜d_mean时，以d(x)＞d_mean时取阈值f_thrL0为参照，取该点对应的阈值为 $f_{\mathrm{thrL}}\left(x\right)=f_{\mathrm{thrL}0}\·[1-{(1-\frac{d\left(x\right)}{d_{\mathrm{mean}}})}^2],$ 即

$f_{\mathrm{thrL}}\left(x\right)=\left\{\begin{array}{c}{f}_{\mathrm{thrL}0}\&CenterDot;[1-{(1-\frac{d\left(x\right)}{d_{\mathrm{mean}}})}^2],\mathrm{ifd}\left(x\right)<d_{\mathrm{mean}}\\ f_{\mathrm{thrL}0},\mathrm{ifd}\left(x\right)\&GreaterEqual;d_{\mathrm{mean}}\end{array}\right.$

其中，f_thrL(x)为生成的低阈值重要性图；d(x)为f_filted(·)上像素点x在与纯黑(0，0，0)之间的欧氏颜色距离；d_mean为d(·)的平均值；f_thrL0为d(x)＞d_mean时对应阈值；

(c)生成得到最终的素描阴影图f_shadow(x)

$f_{\mathrm{shadow}}\left(x\right)=\left\{\begin{array}{c}128-127\&CenterDot;\tanh \left(\frac{3(f_{\mathrm{contrastnorm}}\left(x\right)-f_{\mathrm{thrL}}\left(x\right))}{f_{\mathrm{thrL}}\left(x\right)}\right),\mathrm{if}{f}_{\mathrm{contrastnorm}}\left(x\right)<f_{\mathrm{thrL}}\left(x\right)\\ 128-127\&CenterDot;\tanh \left(\frac{3(f_{\mathrm{contrastnorm}}\left(x\right)-f_{\mathrm{thrL}}\left(x\right))}{1-f_{\mathrm{thrL}}\left(x\right)}\right),\mathrm{if}{f}_{\mathrm{contrastnorm}}\left(x\right)\&GreaterEqual;f_{\mathrm{thrL}}\left(x\right)\end{array}\right.$

其中，f_shadow(x)为最终生成的素描阴影图像，f_contrastnorm(·)为归一化后的颜色差异图，f_thrL(x)为生成的低阈值重要性图。

本发明基于素描风格及人眼视觉特点，首先计算颜色差异图和重要性图，并根据差异图生成素描的轮廓，根据差异图及重要性图生成素描的纹理，分两层分别得到素描轮廓和阴影，然后将两者合成得到最终的素描风格画的图像。实验结果表明，该方法能够实时地生成具有良好素描艺术效果的风格化图像。

本发明分两层分别得到素描轮廓和阴影，然后将两者合成得到最终的素描风格画，使得素描风格化过程遵循素描风格画创作艺术特点，最终的素描风格化图像视觉效果提升；根据图像光感强度产生一张影响素描阴影纹理生成的重要性图，使得最终的素描风格化图像阴影纹理更加合理；

附图说明

图1是本发明基于真实图像素描风格化方法的流程图；

图2是图像经双边滤波以后的效果图，其中a是原始图像，b是高斯滤波后的图像，c是双边滤波后的图像；

图3给出了生成素描轮廓时采用软二值化和不采用软二值化处理的效果；其中a是原始图像，b二值化后的图像，c是使用双曲正切函数做软二值化处理后的图像；

图4给出了双曲正切函数的曲线图；

图5给出了引入重要性图和不引入重要性图时生成的不同素描阴影纹理效果图，其中a是原始图像，b重要性图，c没有引入重要性图时的素描阴影图像，d引入重要性图后的素描阴影图像；

图6给出了整个图像素描风格化过程中主要的中间结果图像的效果图，a是原始图像，b当f_thrH＝0.98时生成得到的轮廓图，c当S_thrL0＝0.85时生成得到的阴影图像，d最终的素描图像。

具体实施方式

下面结合附图附图对本发明进行详细说明。

素描是一种表现光线和阴影的艺术手段，就其艺术特征而言，它的基本语言是形体与色调。素描形体指画面中形的不同空间状态，也就是轮廓；素描色调是指画面内不同形体区域内外的明暗变化。形体与色调两者构成了素描的造型，且同时存在。当拿起笔在画面上画下一根线时，由于笔下的痕迹与画面形成色调差，这条线(也就是轮廓)才存在。同样的，色调也不能单独存在，它必须以某个形体为载体，才能与周围存在的其它色调相区分。也就是说，在素描艺术创作过程中，素描的两个基本语言是同时存在，同时消失的。因此，在模拟素描生成过程中，模拟生成素描两个基本语言其中一个的时候，另一个也同时产生。

要进行素描创作，必须首先对事物进行视觉感知。就人眼的视觉感知机制而言，人眼是通过多阈值调节来完成对外在事物的观察的。视觉系统初步设定一个较高的视觉阈值来感受到事物的轮廓，然后通过调低视觉阈值来细致地感受事物局部的细节。一切视觉表象都是由色彩和亮度产生的，不同区域的亮度、色彩让眼睛感受到物体的外在形体。形成形体的重要因素光线和阴影，与色彩、亮度是相对应的，因此在素描艺术创作过程中，对光线和阴影的表达与对色彩和亮度的表达有着本质的联系。基于人眼视觉特点设计的Lab颜色空间，具有颜色分量与亮度分量完全独立、能体现视觉感知均匀性的特点，是一个等色颜色空间。因此，在模拟素描创作过程中，可以在Lab颜色空间中分层次地生成素描的轮廓和阴影，最后合成得到最终的素描图像。

根据以上所述素描风格及人眼视觉特点，本发明在Lab颜色空间中计算画面的颜色变化强度，通过设定高的颜色差异阈值来勾勒素描图像的轮廓，并依据不同区域的颜色信息设定低的颜色差异阈值来调节素描阴影的生成。将生成的轮廓与阴影叠加，得到具有素描艺术效果的风格化图像。

参见图1，首先输入原始真实感图像，然后在lab颜色空间中对原始真实感图像做双边滤波预处理；再计算图像的颜色差异图；由颜色差异图生成素描轮廓图和重要性图并生成素描阴影，然后结合颜色差异图得到素描轮廓和素描阴影将两者叠加得到素描风格化后的图像。

双边滤波预处理

素描的创作重在对亮度和色彩的表现，且轮廓突出、细节较少。因此，图像的素描风格化，首先需要做预处理，以增强大的边缘并去除细节。传统的边缘检测滤波器通常对噪声敏感或者会导致明显的边缘模糊。双边滤波是一种非线性各向异性的滤波技术。其特点在于它不仅考虑了图像中两个像素点间的距离信息，同时还包含了它们的特征信息。通过以像素点之间的特征差异作为权值，这种技术可以有效地保留强边缘，同时去除图像的微小细节。

设一幅给定的输入图像为f_src(·)，经双边滤波后输出图像为f_filted(·)，可定义双边滤波器的数学表达式如下

$f_{\mathrm{filted}}(\hat{x},{\mathrm{\&sigma;}}_d,{\mathrm{\&sigma;}}_r)=\frac{\&Integral;e^{-\frac{1}{2}{\left(\frac{\left|\right|\hat{x}-x\left|\right|}{{\mathrm{\&sigma;}}_d}\right)}^2}\&CenterDot;e^{-\frac{1}{2}{\left(\frac{\left|\right|f_{\mathrm{src}}\left(\hat{x}\right)-f_{\mathrm{src}}\left(x\right)}{{\mathrm{\&sigma;}}_r}\right)}^2\&CenterDot;f_{\mathrm{src}}\left(x\right)\mathrm{dx}}}{\&Integral;e^{-\frac{1}{2}{\left(\frac{\left|\right|\hat{x}-x\left|\right|}{{\mathrm{\&sigma;}}_d}\right)}^2\&CenterDot;e^{-\frac{1}{2}{\left(\frac{\left|\right|f_{\mathrm{src}}\left(\hat{x}\right)-f_{\mathrm{src}}\left(x\right)\left|\right|}{{\mathrm{\&sigma;}}_r}\right)}^2}}\mathrm{dx}}---\left(1\right)$

其中，

是像素位置向量；x是

的相邻像素位置向量；f_src(x)是输入图像像素点x处的像素值；

是输出图像像素点

处的像素值；σ_d是双边虑波器的核半径大小，σ_d越大，滤波效果越强烈；σ_r决定着图像上边缘信息被保留或被平滑的强烈程度，σ_r越小，图像上边缘信息保留得越多，σ_r趋向于零时，f_filted(x)与f_src(x)相差不大，σ_r越大，图像上边缘信息保留得越少，σ_r趋向于无穷大时，f_filted(x)与f_src(x)只经过高斯滤波的结果相差不大，因此，要保留大的边缘平滑小的细节，σ_r必须取值适中。在本文实验过程中取σ_r＝4.25，σ_d＝3。

在式(1)中，考虑了滤波像素点与邻域像素点在空间距离上的关系，

考虑了滤波像素点与邻域像素点在特征差异上的关系。由于这两者同时对双边滤波器权值系数的影响，双边滤波器能够在突出保留图像轮廓的同时，对弱边缘处作平滑滤波。如图2所示，对比图2(b)与图2(c)，图2(b)对原始图像图2(a)在高斯滤波过程中，不论边缘与否均做同等的平滑处理，使得图像的轮廓模糊；而图2(c)对原始图像图2(a)经双边滤波以后图像的边缘信息保留良好，突出了图像的轮廓，有利于素描风格效果的生成。

计算颜色差异图

由于事物不同区域亮度和色彩的差异能够使眼睛感受到事物的外在形体，因此在f_src(x)经双边滤波预处理得到f_filted(x)以后，对图像上每个像素点计算其与邻域点的颜色距离值，取其中最大者作为该像素点与邻域点颜色差异的强烈程度。由此可生成一张颜色差异图f_contrast(·)，将其归一化至[0，1]区间后，得到归一化后的颜色差异图f_contrastnorm(·)。

(a)计算颜色差异图f_contrast(·)。素描创作中阴影的生成原则是，阴影只在亮度低的区域生成，在亮度高的区域原则上不应生成阴影。为避免阴影从低亮度区域向高亮度区域扩散，对f_filted(x)上的每个像素点x_i，在计算其与其八个邻域点的最大颜色距离值时，定义像素点x_i与邻域点x_j的颜色距离如下：

$d_{\mathrm{ij}}=\mathrm{sign}(l_j-l_i)\&CenterDot;\sqrt{{(l_i-l_j)}^2+{(a_i-a_j)}^2+{(b_i-b_j)}^2}---\left(2\right)$

其中，(l_i，a_i，b_i)，(l_j，a_j，b_j)为像素点x_i和x_j在Lab颜色空间中对应的颜色值；d_ij为像素x_i和x_j之间的颜色距离值。

在式(2)中， $\sqrt{{(l_i-l_j)}^2+{{(a}_i-a_j)}^2+{(b_i-b_j)}^2}$ 代表的是像素点x_i和x_j在Lab颜色空间中的欧氏颜色距离，sign(l_j-l_i)则用来考虑像素点x_i和x_j之间的亮度信息。直观的理解为，在计算像素点x_i与其八邻域内像素点最大颜色距离值时，若x_i点亮度比邻域点亮度低，则计算的两者间欧氏颜色距离在寻找最大颜色距离值之列，否则不予考虑。这样有利于提高素描轮廓及阴影生成的准确度，防止阴影从低亮度区域向高亮度区域扩散。本发明对f_filted(x)上每一像素点x_i，取其与其八邻域颜色距离的最大值作为该像素点与相邻区域的颜色差异值，由此可得到一张颜色差异图f_contrast(·)。

(b)对颜色差异图f_contrast(·)进行统计去噪。在f_contrast(·)归一化过程中，需要求出f_contrast(·)中最大差异值f_{contrast max}和最小差异值f_{contrast min}，然后将f_contrast(·)线性映射至[0，1]区间。为了使线性映射更加鲁棒，避免数据的微小扰动导致最大值和最小值取值偏差太大。计算颜色差异图的均值f_contrast和方差σ_contrast，将落在三倍方差以外的颜色差异值归在三倍方差处，即：

$f_{\mathrm{contrast}}^{\&prime;}\left(x\right)\&equiv;\left\{\begin{array}{c}{\stackrel{\&OverBar;}{f}}_{\mathrm{contrast}}+3{\mathrm{\&sigma;}}_{\mathrm{contrast}},\mathrm{if}{f}_{\mathrm{contrast}}\left(x\right){>\stackrel{\&OverBar;}{f}}_{\mathrm{contrast}}+3{\mathrm{\&sigma;}}_{\mathrm{contrast}}\\ {\stackrel{\&OverBar;}{f}}_{\mathrm{contrast}}-3{\mathrm{\&sigma;}}_{\mathrm{contrast}},\mathrm{if}{f}_{\mathrm{contrast}}\left(x\right)<{\stackrel{\&OverBar;}{f}}_{\mathrm{contrast}}-3{\mathrm{\&sigma;}}_{\mathrm{contrast}}\\ f_{\mathrm{contrast}}\left(x\right),\mathrm{otherwise}\end{array}\right.---\left(3\right)$

其中，f_contrast是颜色差异图f_contrast(·)的均值；σ_contrast是颜色差异图f_contrast(·)的方差；f′_contrast(·)是经过统计去噪后的颜色差异图。

(c)将颜色差异图f′_contrast(·)做归一化处理得到f_contrastnorm(·)。计算f′_contrast(·)上的最小值f_{contrast min}和最大值f_{contrast max}，并将f′_contrast(·)由[f_{contrast min}，f_{contrast max}]线性映射至[0，1]之间，得到结果为f_contrastnorm(·)。

生成素描轮廓

在人眼视觉感知过程中，是通过设定颜色差异的阈值来提取观察对象的轮廓细节信息的。当观察对象局部区域的颜色差异强度超过了人眼自动设定的阈值时，人眼从该处提取轮廓细节信息，反之被人眼所忽略。因此，在图像素描风格化过程中，设定一个较高的颜色差异阈值f_thrH，当f_contrastnorm(x)≥f_thrH时，则认为是轮廓信息，否则说明该区域不应给予重视。同时，为了使提取出的轮廓细节信息画面连续平滑并具有淡入浅出的效果，避免风格化后的图像出现尖锐的毛刺感，根据颜色差异阈值f_thrH∈[0，1]，对f_contrastnorm(·)进行软二值化处理，生成素描轮廓图像f_outline(·)。对比图像3(b)与图3(c)可见，图3(a)原始图像经过双曲正切函数的软阈值化处理后，图3(c)的画面更加平滑，且具有素描淡入浅出的效果，而图3(b)直接做二值化后的结果显得很生硬，不具备这种效果。

(a)双曲正切函数由于其正负半轴对称的S形平滑过渡特性，能够将一个区域平滑连续地映射到另一个区域。且双曲正切函数值在(-∞，-3)、(3，+∞)区间时已经比较稳定地分别趋向于-1和+1，因此可将[0，f_thrH]区间映射至[-3，0]区间，将[f_thrH，1]映射至[0，3]区间，tanh(-3)≈-1，tanh(3)≈1。如式(4)所示。

$f_{\mathrm{constrastnorm}}^{\&prime;}\left(x\right)=\left\{\begin{array}{c}\frac{3(f_{\mathrm{contrastnorm}}\left(x\right)-f_{\mathrm{thrH}})}{f_{\mathrm{thrH}}},\mathrm{if}{f}_{\mathrm{contrastnorm}}\left(x\right)<f_{\mathrm{thrH}}\\ \frac{3(f_{\mathrm{contrastnorm}}\left(x\right)-f_{\mathrm{thrH}})}{1-f_{\mathrm{thrH}}},\mathrm{if}{f}_{\mathrm{contrastnorm}}\left(x\right)\&GreaterEqual;f_{\mathrm{thrH}}\end{array}\right.---\left(4\right)$

其中，f_contrastnorm(x)为f_contrastnorm(·)在点x值；f′_contrastnorm(x)是将f_contrastnorm(x)从[0，1]区间映射至[-3，+3]区间的值；f_thrH为生成素描轮廓取定的高阈值。

(b)使用双曲正切函数tanh做软二值化处理，区分出图像的轮廓细节信息，并在[0，255]区间以灰度图的形式输出，得到素描轮廓。

$f_{\mathrm{outline}}\left(x\right)=2.55\&CenterDot;(1-\frac{\tanh \left(f_{\mathrm{constrastnorm}}^{\&prime;}\left(x\right)\right)+1}{2})---\left(5\right)$

其中f_outline(·)为生成的素描轮廓图像；f′_contrastnorm(x)是将f_contrastnorm(x)从[0，1]区间映射至[-3，+3]区间的值。

综合式(4)与式(5)，即

$f_{\mathrm{outline}}\left(x\right)=\left\{\begin{array}{c}128-127\&CenterDot;\tanh \left(\frac{3(f_{\mathrm{contrastnorm}}\left(x\right)-f_{\mathrm{thrH}})}{f_{\mathrm{thrH}}}\right),\mathrm{if}{f}_{\mathrm{contrastnorm}}\left(x\right)<f_{\mathrm{thrH}}\\ 128-127\&CenterDot;\tanh \left(\frac{3(f_{\mathrm{contrastnorm}}\left(x\right)-f_{\mathrm{thrH}})}{1-f_{\mathrm{thrH}}}\right),\mathrm{if}{f}_{\mathrm{contrastnorm}}\left(x\right)\&GreaterEqual;f_{\mathrm{thrH}}\end{array}\right.---\left(6\right)$

式中f_contrastnorm(·)为归一化后的颜色差异图；f_outline(·)为生成的素描轮廓图像；f_thrH为生成素描轮廓取定的高阈值。

生成素描阴影

与生成素描轮廓同理，在图像素描风格化过程中，设定较低的颜色差异阈值，对f_contrastnorm(·)进行低阈值软二值化处理生成素描阴影f_shadow(·)。不同的是，素描的阴影与描绘对象的场景光感强度有很大的关系，在光感强度高的部分，生成的阴影较少；在光感强度低的区域，生成的阴影较多。因此，在生成素描阴影过程中，引入与原图光感强度相关的低阈值重要性图f_thrL(·)，动态调整低阈值，生成素描阴影。

(a)在Lab颜色空间中对f_filted(·)图像上每个像素点x计算它与纯黑(0，0，0)的欧氏颜色距离d(x)，以来d(x)衡量原始图像上像素点x处的光感强度；

$d\left(x\right)=\sqrt{l^2+a^2+b^2}---\left(7\right)$

其中d(x)为f_filted(·)上像素点x在与纯黑(0，0，0)之间的欧氏颜色距离；(l，a，b)是像素点x在Lab颜色空间中的像素值。

若d(x)越小，则表示原始图像上该点光感强度越低，生成的阴影图像在该处灰度值应当较低，f_thrL(x)值也应当越小；反之，则f_thrL(x)应当较大。

(b)计算d(·)的平均值d_mean，并根据以下方式生成最终的低阈值重要性图f_thrL(·)。若像素点对应d(x)值大于平均值d_mean，该点光感强度足够高，软阈值处理颜色差异值时该点对应的阈值较大，生成的阴影较少，灰度值较大，本发明将d(x)＞d_mean的点对应阈值均设为f_thrL0；若像素点对应d(x)值小于平均值d_mean，该点光感强度较低，软阈值处理颜色变异值时该点对应的阈值较小，生成的阴影较多，灰度值较小，本发明按照以下方法来取阈值。当

越小，该点重要性应当越大，且d(x)＜d_mean时 $\frac{d\left(x\right)}{d_{\mathrm{mean}}}\&Element;\left[\mathrm{0,1}\right],$ 则以

来表示该点重要性程度，为了增强像素点间重要性的区分度，以来代表该点的重要程度。而重要性越高，对应的阈值应当越低，如此可生成更多的阴影纹理。因此，当d(x)＜d_mean时，以d(x)＞d_mean时取阈值f_thrL0为参照，取该点对应的阈值为 $f_{\mathrm{thrL}}\left(x\right)=f_{\mathrm{thrL}0}\&CenterDot;[1-{(1-\frac{d\left(x\right)}{d_{\mathrm{mean}}})}^2].$ 即

$f_{\mathrm{thrL}}\left(x\right)=\left\{\begin{array}{c}{f}_{\mathrm{thrL}0}\&CenterDot;[1-{(1-\frac{d\left(x\right)}{d_{\mathrm{mean}}})}^2],\mathrm{ifd}\left(x\right)<d_{\mathrm{mean}}\\ f_{\mathrm{thrL}0},\mathrm{ifd}\left(x\right)\&GreaterEqual;d_{\mathrm{mean}}\end{array}\right.----\left(8\right)$

其中，f_thrL(x)为生成的低阈值重要性图；d(x)为f_filted(·)上像素点x在与纯黑(0，0，0)之间的欧氏颜色距离；d_mean为d(·)的平均值；f_thrL0为d(x)＞d_mean时对应阈值。

(c)与式(6)相似，生成得到最终的素描阴影图f_shadow(x)。

$f_{\mathrm{shadow}}\left(x\right)=\left\{\begin{array}{c}128-127\&CenterDot;\tanh \left(\frac{3\left(f_{\mathrm{contrastnorm}}\right)\left(x\right)-f_{\mathrm{thrL}}\left(x\right)}{f_{\mathrm{thrL}}\left(x\right)}\right),\mathrm{if}{f}_{\mathrm{contrastnorm}}\left(x\right)<f_{\mathrm{thrL}}\left(x\right)\\ 128-127\&CenterDot;\tanh \left(\frac{3\left(f_{\mathrm{contrastnorm}}\right)\left(x\right)-f_{\mathrm{thrL}}\left(x\right)}{1-f_{\mathrm{thrL}}\left(x\right)}\right),\mathrm{if}{f}_{\mathrm{contrastnorm}}\left(x\right)\&GreaterEqual;f_{\mathrm{thrL}}\left(x\right)\end{array}\right.---\left(9\right)$

其中，f_shadow(x)为最终生成的素描阴影图像，f_contrastnorm(·)为归一化后的颜色差异图，f_thrL(x)为生成的低阈值重要性图。

参见图5，其中a是原始图像，b重要性图，c没有引入重要性图时的素描阴影图像，d引入重要性图后的素描阴影图像；对比图5(c)与图5(d)可知，图5(d)比图5(c)在衣服的纹理阴影上明显要多，可见重要性图的引入是很有必要的。

合成最终素描图像

将生成的轮廓与阴影叠加，合成得到最终的素描风格化图像f_skecth(·)。首先将由式(6)与式(9)生成的图像轮廓与阴影图像灰度值除以255归一化至[0，1]之间；然后对两者对应像素点值相乘，作为最终的素描画灰度值在[0，1]区间的大小；最后将得到的值乘以255返回至[0，255]区间，直接作为灰度图像输出，得到最终的素描风格化艺术效果图，a是原始图像，b当f_thrH＝0.98时生成得到的轮廓图，c当S_thrL0＝0.85时生成得到的阴影图像，d最终的素描图像。

Claims (1)

1.一种基于真实图像素描风格化的方法，包括以下步骤：

1)首先对图像做双边滤波预处理；

设一幅给定的输入图像为f_src(·)，经双边滤波后输出图像为f_filted(·)，定义双边滤波器的数学表达式如下：

$f_{\mathrm{filted}}(\hat{x},{\mathrm{\&sigma;}}_d,{\mathrm{\&sigma;}}_r)=\frac{{\&Integral;e}^{-\frac{1}{2}{\left(\frac{\left|\right|\hat{x}-x\left|\right|}{{\mathrm{\&sigma;}}_d}\right)}^2}\&CenterDot;e^{-\frac{1}{2}{\left(\frac{\left|\right|f_{\mathrm{src}}\left(\hat{x}\right)-f_{\mathrm{src}}\left(x\right)\left|\right|}{{\mathrm{\&sigma;}}_r}\right)}^2\&CenterDot;f_{\mathrm{src}}\left(x\right)\mathrm{dx}}}{\&Integral;e^{-\frac{1}{2}{\left(\frac{\left|\right|\hat{x}-x\left|\right|}{{\mathrm{\&sigma;}}_d}\right)}^2}\&CenterDot;e^{-\frac{1}{2}{\left(\frac{\left|\right|f_{\mathrm{src}}\left(\hat{x}\right)-f_{\mathrm{src}}\left(x\right)\left|\right|}{{\mathrm{\&sigma;}}_r}\right)}^2\mathrm{dx}}}---\left(1\right)$

其中，

是像素位置向量；x是

的相邻像素位置向量；f_src(x)是输入图像像素点x处的像素值；

是输出图像像素点

处的像素值；σ_d是双边虑波器的核半径大小，σ_d越大，滤波效果越强烈；σ_r决定着图像上边缘信息被保留或被平滑的强烈程度，σ_r越小，图像上边缘信息保留得越多，σ_r趋向于零时，f_filted(x)与f_src(x)相差不大，σ_r越大，图像上边缘信息保留得越少，σ_r趋向于无穷大时，f_filted(x)与f_src(x)只经过高斯滤波的结果相差不大，因此，要保留大的边缘平滑小的细节，σ_r必须取值适中；

2)然后计算双边滤波预处理后图像的颜色差异图；

(a)计算颜色差异图f_contrast(·)，素描创作中阴影的生成原则是，阴影只在亮度低的区域生成，在亮度高的区域原则上不应生成阴影，为避免阴影从低亮度区域向高亮度区域扩散，对f_filted(x)上的每个像素点x_i，在计算其与其八个邻域点的最大颜色距离值时，定义像素点x_i与邻域点x_j的颜色距离如下：

$d_{\mathrm{ij}}=\mathrm{sign}(l_j-l_i)\&CenterDot;\sqrt{{(l_i-l_j)}^2+{(a_i-a_j)}^2+{(b_i-b_j)}^2}---\left(2\right)$

其中，(l_i，a_i，b_i)，(l_j，a_j，b_j)为像素点x_i和x_j在Lab颜色空间中对应的颜色值；d_ij为像素x_i和x_j之间的颜色距离值；

在式(2)中，

代表的是像素点x_i和x_j在Lab颜色空间中的欧氏颜色距离，sign(l_j-l_i)则用来考虑像素点x_i和x_j之间的亮度信息，直观的理解为，在计算像素点x_i与其八邻域内像素点最大颜色距离值时，若x_i点亮度比邻域点亮度低，则计算的两者间欧氏颜色距离在寻找最大颜色距离值之列，否则不予考虑，这样有利于提高素描轮廓及阴影生成的准确度，防止阴影从低亮度区域向高亮度区域扩散，对f_filted(x)上每一像素点x_i，取其与其八邻域颜色距离的最大值作为该像素点与相邻区域的颜色差异值，由此得到一张颜色差异图f_contrast(·)；

(b)对颜色差异图f_contrast(·)进行统计去噪，在f_contrast(·)归一化过程中，需要求出f_contrast(·)中最大差异值f_contrastmax和最小差异值f_{contrast min}，然后将f_contrast(·)线性映射至[0，1]区间，为了使线性映射更加鲁棒，避免数据的微小扰动导致最大值和最小值取值偏差太大，计算颜色差异图的均值

和方差σ_contrast，将落在三倍方差以外的颜色差异值归在三倍方差处，即：

$f_{\mathrm{contrast}}^{\&prime;}\left(x\right)\&equiv;\begin{array}{c}\end{array}\left\{\begin{array}{c}{\stackrel{\&OverBar;}{f}}_{\mathrm{contrast}}+3{\mathrm{\&sigma;}}_{\mathrm{contrast}},\mathrm{if}{f}_{\mathrm{contrast}}\left(x\right)>{\stackrel{\&OverBar;}{f}}_{\mathrm{contrast}}+3{\mathrm{\&sigma;}}_{\mathrm{contrast}}\\ {\stackrel{\&OverBar;}{f}}_{\mathrm{contrast}}-3{\mathrm{\&sigma;}}_{\mathrm{contrast}},\mathrm{if}{f}_{\mathrm{contrast}}\left(x\right)<{\stackrel{\&OverBar;}{f}}_{\mathrm{contrast}}-3{\mathrm{\&sigma;}}_{\mathrm{contrast}}\\ f_{\mathrm{contrast}}\left(x\right),\mathrm{otherwise}\end{array}\right.---\left(3\right)$

其中，

是颜色差异图f_contrast(·)的均值；σ_contrast是颜色差异图f_contrast(·)的方差；f′_contrast(·)是经过统计去噪后的颜色差异图；

(c)将颜色差异图f′_contrast(·)做归一化处理得到f_contrastnorm(·)，计算f′_contrast(·)上的最小值f_{contrast min}和最大值f_{contrast max}，并将f′_contrast(·)由[f_{contrast min}，f_{contrast max}]线性映射至[0，1]之间，得到结果为f_contrastnorm(·)；

3)由颜色差异图得到素描的轮廓图；

设定一个较高的颜色差异阈值f_thrH，当f_contrastnorm(x)≥f_thrH时，则认为是轮廓信息，否则说明该区域不应给予重视，同时，为了使提取出的轮廓细节信息画面连续平滑并具有淡入浅出的效果，避免风格化后的图像出现尖锐的毛刺感，根据颜色差异阈值f_thrH∈[0，1]，对f_contrastnorm(·)进行软二值化处理，生成素描轮廓图像f_outline(·)；

(a)双曲正切函数由于其正负半轴对称的S形平滑过渡特性，能够将一个区域平滑连续地映射到另一个区域，且双曲正切函数值在(-∞，-3)、(3，+∞)区间时已经比较稳定地分别趋向于-1和+1，因此将[0，f_thrH]区间映射至[-3，0]区间，将[f_thrH，1]映射至[0，3]区间，tanh(-3)≈-1，tanh(3)≈1，如式(4)所示：

$f_{\mathrm{constrastnorm}}^{\&prime;}\left(x\right)=\left\{\begin{array}{cc}\frac{3(f_{\mathrm{contrastnorm}}\left(x\right)-f_{\mathrm{thrH}})}{f_{\mathrm{thrH}}}& \mathrm{if}{f}_{\mathrm{contrastnorm}}\left(x\right)<f_{\mathrm{thrH}}\\ \frac{3(f_{\mathrm{contrastnorm}}\left(x\right)-f_{\mathrm{thrH}})}{1-f_{\mathrm{thrH}}}& \mathrm{if}{f}_{\mathrm{contrastnorm}}\left(x\right)\&GreaterEqual;f_{\mathrm{thrH}}\end{array}\right.---\left(4\right)$

其中，f_contrastnorm(x)为f_contrastnorm(·)在点x值；f′_{constrastnorm}(x)是将f_contrastnorm(x)从[0，1]区间映射至[-3，+3]区间的值；f_thrH为生成素描轮廓取定的高阈值；

(b)使用双曲正切函数tanh做软二值化处理，区分出图像的轮廓细节信息，并在[0，255]区间以灰度图的形式输出，得到素描轮廓；

$f_{\mathrm{outline}}\left(x\right)=255\&CenterDot;(1-\frac{\tanh \left(f_{\mathrm{constrastnorm}}^{\&prime;}\left(x\right)\right)+1}{2})---\left(5\right)$

其中f_outline(·)为生成的素描轮廓图像；f′_{constrastnorm}(x)是将f_contrastnorm(x)从[0，1]区间映射至[-3，+3]区间的值；

综合式(4)与式(5)，即

$f_{\mathrm{outline}}\left(x\right)\left\{\begin{array}{cc}128-127\&CenterDot;\tanh \left(\frac{3(f_{\mathrm{contrastnorm}}\left(x\right)-f_{\mathrm{thrH}})}{f_{\mathrm{thrH}}}\right),& \mathrm{if}{f}_{\mathrm{contrastnorm}}\left(x\right)<f_{\mathrm{thrH}}\\ 128-127\&CenterDot;\tanh \left(\frac{3(f_{\mathrm{contrastnorm}}\left(x\right)-f_{\mathrm{thrH}})}{1-f_{\mathrm{thrH}}}\right),& \mathrm{if}{f}_{\mathrm{contrastnorm}}\left(x\right)\&GreaterEqual;f_{\mathrm{thrH}}\end{array}\right.---\left(6\right)$

式中f_contrastnorm(·)为归一化后的颜色差异图；f_outline(·)为生成的素描轮廓图像；f_thrH为生成素描轮廓取定的高阈值；

4)计算图像的重要性图，并结合颜色差异图得到素描的阴影图；

(a)在Lab颜色空间中对f_filted(·)图像上每个像素点x计算它与纯黑(0，0，0)的欧氏颜色距离d(x)，以来d(x)衡量原始图像上像素点x处的光感强度；

$d\left(x\right)=\sqrt{l^2+a^2+b^2}---\left(7\right)$

其中f_filted(·)为原始图像，d(x)为f_filted(·)上像素点x与纯黑(0，0，0)之间的欧氏颜色距离；(l，a，b)是像素点x在Lab颜色空间中的像素值；

(b)计算d(·)的平均值d_mean，并根据以下方式生成最终的低阈值重要性图f_thrH(·)，若像素点对应d(x)值大于平均值d_mean，该点光感强度足够高，软阈值处理颜色差异值时该点对应的阈值较大，生成的阴影较少，灰度值较大，将d(x)＞d_mean的点对应阈值均设为f_thrL0；若像素点对应d(x)值小于平均值d_mean，该点光感强度较低，软阈值处理颜色变异值时该点对应的阈值较小，生成的阴影较多，灰度值较小，本发明按照以下方法来取阈值，当

越小，该点重要性应当越大，且d(x)＜d_mean时

则以

来表示该点重要性程度，为了增强像素点间重要性的区分度，以

来代表该点的重要程度，而重要性越高，对应的阈值应当越低，如此可生成更多的阴影纹理，因此，当d(x)＜d_mean时，以d(x)＞d_mean时取阈值f_thrL0为参照，取该点对应的阈值为即

$f_{\mathrm{thrL}}\left(x\right)=\left\{\begin{array}{cc}{f}_{\mathrm{thrL}0}\&CenterDot;[1-{(1-\frac{d\left(x\right)}{d_{\mathrm{mean}}})}^2],& \mathrm{ifd}\left(x\right)<d_{\mathrm{mean}}\\ f_{\mathrm{thrL}0},\mathrm{ifd}\left(x\right)\&GreaterEqual;d_{\mathrm{mean}}& \end{array}\right.---\left(8\right)$

其中，f_thrL(x)为生成的低阈值重要性图；d(x)为f_filted(·)上像素点x在与纯黑(0，0，0)之间的欧氏颜色距离；d_mean为d(·)的平均值；f_thrL0为d(x)＞d_mean时对应阈值；

(c)与式(6)相似，生成得到最终的素描阴影图f_shadow(x)

$f_{\mathrm{shadow}}\left(x\right)\left\{\begin{array}{cc}128-127\&CenterDot;\tanh \left(\frac{3(f_{\mathrm{contrastnorm}}\left(x\right)-f_{\mathrm{thrL}}\left(x\right))}{f_{\mathrm{thrL}}\left(x\right)}\right),& \mathrm{if}{f}_{\mathrm{contrastnorm}}\left(x\right)<f_{\mathrm{thrL}}\left(x\right)\\ 128-127\&CenterDot;\tanh \left(\frac{3(f_{\mathrm{contrastnorm}}\left(x\right)-f_{\mathrm{thrL}}\left(x\right))}{1-f_{\mathrm{thrL}}\left(x\right)}\right),& \mathrm{if}{f}_{\mathrm{contrastnorm}}\left(x\right)\&GreaterEqual;f_{\mathrm{thrL}}\left(x\right)\end{array}\right.---\left(9\right)$

其中，f_shadow(x)为最终生成的素描阴影图像，f_contrastnorm(·)为归一化后的颜色差异图，f_thrL(x)为生成的低阈值重要性图；

5)最后将轮廓图与阴影图叠加得到素描风格化后的图像

将由式(6)与式(9)生成的图像轮廓与阴影图像灰度值除以255归一化至[0，1]之间；然后对两者对应像素点值相乘，作为最终的素描画灰度值在[0，1]区间的大小；最后将得到的值乘以255返回至[0，255]区间，直接作为灰度图像输出，得到最终的素描风格化艺术效果图，a是原始图像，b当f_thrH＝0.98时生成得到的轮廓图，c当S_thrL0＝0.85时生成得到的阴影图像，d最终的素描图像。

Images