CN102663806A - 基于艺术视觉的图像卡通风格化渲染方法 - Google Patents

Abstract

基于艺术视觉的图像卡通风格化渲染方法，通过抽象艺术创作中的三个关键步骤：线稿钩边，着色，光影抽象，并进行相应模拟，从而完成对输入图像的卡通风格渲染。首先，在光影抽象方面，卡通作品中的阴影通常具有高度的抽象性，而真实照片的光影对比则非常细致。其次，色彩增强方面，由于卡通作品常具有色彩艳丽明快的特点，本发明通过对不同饱和度的色彩做各向异性的强化达到整体色彩风格的增强。最后，在线条强化方面，本发明通过Gabor特征分析，提供不同细节程度的轮廓对结果进行不同层次的强化，以模拟卡通作品中对重要线条的强调。

Description

基于艺术视觉的图像卡通风格化渲染方法

技术领域

本发明是涉及一种风格化渲染方法，具体涉及一种基于艺术视觉的图像卡通风格化渲染方法。

背景技术

随着数字娱乐越来越得到大众的青睐，具备艺术气息的卡通图像素材使用率越来越高。然而为了得到这类素材，通常需要艺术家手工进行绘制，这对这类素材的获取是非常不便的。基于图像的卡通风格渲染技术一定程度上缓解了这个问题，它允许用户提供一幅真实图像，并输出相应的具备卡通风格的艺术结果。

传统的卡通风格渲染技术常致力于采用各种方式对图像内容进行抽象，然而并未遵循艺术创作的流程，因此生成的卡通风格化结果在色彩，光影抽象化效果及不同层次的线条强化方面仍存在不小的改善空间。

发明内容

本发明的目的在于提供一种基于艺术视觉的图像卡通风格化渲染方法，本发明通过用户输入的真实图像，系统将自动提供具备卡通风格及真实图像内容的输出结果。

为达到上述目的，本发明采用的技术方案是：

1)通过结合视觉显著性模型的图割技术获得光影的初始分布，进而采用经典的聚类算法对源图像中的阴影层进行抽象；

2)通过色彩的自增强技术，对不同饱和度的色彩进行各向异性的强化，以表现卡通作品中鲜艳明快的色彩风格；

3)通过Gabor特征分析，提取不同细节程度的阴影线或装饰线，并通过对源图像进行不同程度的强化模拟卡通作品中对重要线条的表现。

其具体步骤如下：

1)对输入源图像通过计算初始阴影分布并对一个提取的二值图进行简化，得到具有艺术抽象感的阴影层：

(a)通过优化一个建立的消费函数，生成一幅二值图描述源图像的初始阴影分布，该函数通过下式计算：

C(p)＝D(p)+α_s·S(p)

其中α_s∈[0，1]是一个平衡因子，数据项D(p)及平滑项S(p)分别通过以下两式计算：

D(p)＝(α_g·(I(p)-φ·M_g(I))+(1-α_g)·(I(p)-M_l(N))·sign_D(L_p))

S(p，q)＝sign_E(L_p，L_q)·(|I(p)-I(q)|)

在上两式中，α_g是一个比例因子，决定了图像I的全局平均强度M_g(I)对结果的影响程度，M_l(N)表示像素点p的邻域N中的局部平均强度，φ是一个由用户给出的调节因子，sign_D(·)是一个符号函数，L_p是像素点p是否属于阴影层的标签，I(p)表征了一个像素点p的强度值；

(b)在步骤(a)的基础上，采用均值漂移技术将初始阴影分布层划分为不同的区域，并存储每个区域的边界像素点序列，记作l(R)；

(c)在步骤(b)的基础上，进一步通过一个简化策略对得到的二值阴影分布层进行简化，以得到抽象化的阴影表示，具体如下式所示；

${\arg \min }_{\hat{l}\left(R\right)}{(\underset{p\∈\hat{l}\left(R\right)}{\mathrm{\Σ}}c\left(p\right)-\underset{p\∈l\left(R\right)}{\mathrm{\Σ}}c\left(p\right))}^2$

其中

表示经过下采样后的边界像素点序列，c(p)为边界点p处的曲率值；

2)基于源图像，通过一种提出的色彩自增强技术，对不同饱和度的像素进行各项异性的增强，从而增强结果的整体色彩，其中色彩自增强部分可以通过下式描述：

$\hat{C}\left(p\right)=\mathrm{\λ}\·\frac{{\mathrm{\μ}}_o}{{\mathrm{\μ}}_c}\·C_I\left(p\right)\·\frac{1+\tanh (\mathrm{\γ}\·C_M\left(p\right)-128)}{2}$

其中μ_o是源图像的平均亮度值，μ_c是色彩增强后图像的亮度值，λ是一个用户给出的控制因子，C_I(p)是源图像在像素点p处的颜色，C_M(p)为一个提取的色度图在像素点p处的颜色，该色度图中每个像素点p处的亮度值

可通过下式计算：

$\hat{L}\left(p\right)=\mathrm{\α}\·L\left(p\right)+(1-\mathrm{\α})\·(255-L\left(p\right))$

其中L(p)是源图像在像素点p处的亮度值，α是一个经验平衡因子；

3)通过Gabor特征分析，提取不同细节程度的阴影线或装饰线，对源图像中相应线条进行不同程度的强化。

(a)对输入图像进行Gabor特征分析，其中Gabor能量响应由下式计算：

$e_{\mathrm{\λ},\mathrm{\θ},\mathrm{\σ}}(x,y)=\sqrt{R_{\mathrm{\λ},\mathrm{\θ},\mathrm{\σ},0}{(x,y)}^2+R_{\mathrm{\λ},\mathrm{\θ},\mathrm{\σ},\frac{\mathrm{\π}}{2}}{(x,y)}^2}$

其中R_{λ，θ，σ，0}(x，y)²和

分别为其实部和虚部Gabor能量响应，λ和θ分别表示不同频率和方向的Gabor滤波核，σ为Gabor滤波核中高斯包络的标准差，通过上式计算的Gabor能量响应，并选择最大方向上的Gabor能量，构建每个像素点的多频率特征向量：

并分别计算其行为特征值：

$b(x,y)=-\frac{1}{6}\underset{i=2}{\overset{7}{\mathrm{\Σ}}}(e_{{\mathrm{\λ}}_i}(x,y)-e_{{\mathrm{\λ}}_1}(x,y))$

和衰减因子：

$\mathrm{\μ}(\mathrm{\Ω},\mathrm{\σ},x,y)=\underset{p(x^{\′},y^{\′})\∈\mathrm{\Ω}}{\mathrm{\Π}}{e}^{(-\frac{b^2(x^{\′},y^{\′})s(-b^2(x^{\′},y^{\′}))}{2{\mathrm{\σ}}^2})}$

其中Ω表示像素点(x，y)的一个邻域，半径为2，s(x)为符号函数，当x＞0时为1，否则为0，σ为衰减速率控制因子；

(b)通过上式算得的b(x，y)以及μ(Ω，σ，x，y)计算源图像细节区域的线条表征图，由下式计算：

R_D(x，y)＝b(x，y)·μ(Ω，σ，x，y)

类似的，将此过程在由步骤1获得的阴影层进行操作，可得到阴影层的细节区域线条表征图(x，y)，进而得到源图像轮廓区域线条表征图R_C：

R_C＝R_S-γ·(G_σ*R_D)

其中R_S表示输入图像的全方向Gabor响应，γ是一个用户输入的平衡因子，G_σ表示一个均值为0，标准差为σ的高斯卷积核，通过得到的源图像细节区域，轮廓区域以及阴影层细节区域的线条表征图R_D，R_C以及

对源图像的相应区域做不同程度的强化得到最终风格化结果。

本发明通过抽象艺术创作中的三个关键步骤：线稿钩边，着色，光影抽象，并进行相应模拟，完成对输入图像的卡通风格渲染。首先，在光影抽象方面，卡通作品中的阴影通常具有高度的抽象性，而真实照片的光影对比则非常细致。本发明通过结合视觉显著性的图割技术获得光影的初始分布，然后根据经典聚类技术对阴影作以简化，以达到卡通作品中光影的抽象化效果。其次，色彩增强方面，由于卡通作品常具有色彩艳丽明快的特点，本发明通过对不同饱和度的色彩做各向异性的强化达到整体色彩风格的增强。最后，在线条强化方面，本发明通过Gabor特征分析，提供不同细节程度的轮廓对结果进行不同层次的强化，以模拟卡通作品中对重要线条的强化。

附图说明

图1是本发明的流程图；

图2是一张效果图，呈现了阴影层的可视化效果。图2(a)是输入图像，图2(b)是阴影层效果图。

图3是一个效果图。呈现了线条表征图的可视化效果。其中图3(a)是输入源图像，图3(b)是得到线条表征图。

图4是一个效果图。呈现了卡通风格化渲染结果。其中图4(a)是输入源图像，图4(b)是得到的卡通风格化渲染结果。

具体实施方式

下面将根据附图对本发明进行详细说明。

传统的卡通风格渲染技术常致力于采用各种方式对图像内容进行抽象，而并未遵循艺术创作的流程，因此生成的卡通风格化结果在色彩，光影抽象化效果及不同层次的线条强化方面仍存在不小的改善空间。

针对以上情况，本发明针对艺术创作中的三个关键步骤：线稿钩边，着色，光影分别进行模拟。在光影抽象方面，通过结合视觉显著性的图割技术获得光影的初始分布，然后根据经典聚类技术对阴影作以简化，以达到卡通作品中光影的抽象化效果。在色彩增强方面，通过对不同饱和度的色彩做各向异性的强化达到整体色彩风格的增强。在线条强化方面，通过Gabor特征分析，提供不同细节程度的轮廓对结果进行不同层次的强化，以模拟卡通作品中对重要线条的强化。

图1是本发明的流程图。如图1所示，本发明主要分为12个步骤：

步骤1：输入待渲染源图像。

步骤2：计算初始阴影分布图。首先，将像素点p是否属于阴影层的标签记作Lp，其值为0表明像素点p属于阴影区，为一则表明该像素点不属于阴影区。然后，建立目标函数，并通过优化此函数为每个像素点分配一个标签，也即通过一幅二值图描述源图像的初始阴影分布。待优化目标函数如式1所示：

[式1]

C(p)＝D(p)+α_s·S(p)

其中α_s∈[0，1]是一个平衡因子，数据项D(p)及平滑项S(p)分别通过以下两式计算：

[式2]

D(p)＝(α_g·(I(p)-φ·M_g(I))+(1-α_g)·(I(p)-M_l(N))·sign_D(L_p))

[式3]

S(p，q)＝sign_E(L_p，L_q)·(|I(p)-I(q)|)

在上两式中，α_g是一个比例因子，决定了图像I的全局平均强度M_g(I)对结果的影响程度，M_l(N)表示像素点p的5*5邻域N中的局部平均强度，φ是一个由用户给出的调节因子，决定了整个阴影层的明暗色调。sign_D(·)是一个符号函数，当L_p＝0时值为1，当L_p＝1时值为-1，I(p)表征了一个像素点p的强度值。

步骤3：采用均值漂移技术(D.Comaniciu and P.Meer，“Mean shift：Arobust approach toward feature space analysis，”Pattern Analysis and MachineIntelligence，IEEE Transactions on，vol.24，no.5，pp.603-619，2002.)对步骤2得到的初始阴影图进行划分，将其分为不同大小的区域，并以边界链表存储每个区块的边界像素点，记作l(R)。

步骤4：阴影层简化。考虑到卡通图像中的阴影层通常具有高度抽象的特点，因此需要对提取的阴影层进行简化。简化过程主要通过对每个区块的边界链表进行下采样完成，下采样过程以优化如式4所示的目标函数为指导：

[式4]

${\arg \min }_{\hat{l}\left(R\right)}{(\underset{p\∈\hat{l}\left(R\right)}{\mathrm{\Σ}}c\left(p\right)-\underset{p\∈l\left(R\right)}{\mathrm{\Σ}}c\left(p\right))}^2$

其中

表示经过下采样后的边界像素点序列，c(p)为边界点p处的曲率值。

在得到每个区块的新边界序列后，区块灰度值由其内部所有像素的平均值填充。从而形成源图像的抽象化阴影表示。

图2是一张效果图，呈现了步骤4所得阴影层的可视化效果。图2(a)是输入图像，图2(b)是经过前四个步骤后得到的阴影层效果图。

步骤5：色度图计算。对最终风格化结果的色彩增强主要通过一个提取的色度图进行，该色度图中每个像素点p处的亮度值

可通过式5计算：

[式5]

$\hat{L}\left(p\right)=\mathrm{\α}\·L\left(p\right)+(1-\mathrm{\α})\·(255-L\left(p\right))$

其中L(p)是源图像在像素点p处的亮度值，α是一个经验平衡因子，取值范围通常为[0.4，0.6]；

步骤6：色彩增强过程。通过步骤5所得的色度图，及一个提出的各向异性色彩自增强技术，可增强源图像的整体色彩风格。色彩增强过程通过式6进行：

[式6]

$\hat{C}\left(p\right)=\mathrm{\λ}\·\frac{{\mathrm{\μ}}_o}{{\mathrm{\μ}}_c}\·C_I\left(p\right)\·\frac{1+\tanh (\mathrm{\γ}\·C_M\left(p\right)-128)}{2}$

其中μ_o是源图像的平均亮度值，μ_c是色彩增强后图像的亮度值，λ是一个用户给出的控制因子，C_I(p)是源图像在像素点p处的颜色，C_M(p)为由步骤5提取的色度图在像素点p处的颜色。

步骤7：Gabor特征分析。本发明主要通过Gabor特征分析技术提取不同层次的线条，并生成一张线条强化图用以强化最终渲染结果中的各种阴影线及装饰线。首先，采用Gabor滤波技术(D.Gabor，“A new microscopic principle，”Nature，vol.161，no.4098，pp.777-778，1948.)通过[式7]计算每个像素点的Gabor能量响应，并进行多频率操作得到每个像素点的Gabor特征向量，进而通过Gabor特征行为分析技术得到输入风格模板的纹理细节区域。Gabor能量响应由式7所示：

[式7]

$e_{\mathrm{\λ},\mathrm{\θ},\mathrm{\σ}}(x,y)=\sqrt{R_{\mathrm{\λ},\mathrm{\θ},\mathrm{\σ},0}{(x,y)}^2+R_{\mathrm{\λ},\mathrm{\θ},\mathrm{\σ},\frac{\mathrm{\π}}{2}}{(x,y)}^2}$

对像素点(x，y)，R_{λ，θ，σ，0}(x，y)²和

分别为输入源图像的实部和虚部Gabor能量响应(M.R.Turner，“Texture discrimination by Gaborfunctions，”Biological Cybernetics，vol.55，no.2，pp.71-82，1986.)，λ和θ分别表示不同频率和方向的Gabor滤波核，σ为Gabor滤波核中高斯包络的标准差。

通过上式计算7个频率

及每个频率下8个方向

上的Gabor能量响应，并选择最大方向上的Gabor能量作为该频率下的响应，构建每个像素点的多频率特征向量：

根据该特征向量，分别计算式8所示的行为特征值：

[式8]

$b(x,y)=-\frac{1}{6}\underset{i=2}{\overset{7}{\mathrm{\Σ}}}(e_{{\mathrm{\λ}}_i}(x,y)-e_{{\mathrm{\λ}}_1}(x,y))$

和式9所示的是一个衰减因子μ(Ω，σ，x，y)：

[式9]

$\mathrm{\μ}(\mathrm{\Ω},\mathrm{\σ},x,y)=\underset{p(x^{\′},y^{\′})\∈\mathrm{\Ω}}{\mathrm{\Π}}{e}^{(-\frac{b^2(x^{\′},y^{\′})s(-b^2(x^{\′},y^{\′}))}{2{\mathrm{\σ}}^2})}$

其中Ω表示像素点(x，y)的一个邻域，半径为2；s(x)为符号函数，当x＞0时为1，否则为0；σ为衰减速率控制因子。

步骤8：源图像细节区域线条提取。根据步骤7得到的Gabor特征向量的行为b(x，y)和一个衰减因子μ(Ω，σ，x，y)可得到源图像细节区域的线条表征图，具体由式10计算：

[式10]

R_D(x，y)＝b(x，y)·μ(Ω，σ，x，y)

步骤9：源图像轮廓区域线条提取。根据步骤8得到的源图像细节区域的线条表征图可得到源图像轮廓区域的线条表征图R_C，具体由式11计算：

[式11]

R_C＝R_S-γ·(G_σ*R_D)

其中R_S表示输入图像的全方向Gabor响应，γ是一个用户输入的平衡因子，G_σ表示一个均值为0，标准差为σ的高斯卷积核。

步骤10：阴影层细节区域线条提取。通过将步骤9和步骤10所示过程在步骤4所得阴影层中重复，可得到阴影层细节区域线条表征图

步骤11：完整线条表征图生成。通过将步骤8，步骤9和步骤10中获得的不同层次的线条表征图进行不同程度的叠加，可以生成完整的用于强化最终风格化结果的线条表征图。

图3是一个效果图。呈现了步骤11所得线条表征图的可视化效果。其中图3(a)是输入源图像，图3(b)是得到线条表征图。

步骤12：通过将步骤4得到的阴影层简化图和步骤11得到的线条表征图与源图像进行叠加，并结合步骤6的色彩增强过程，可以得到最终的卡通风格化渲染结果。

图4是一个效果图。呈现了步骤12所得的卡通风格化渲染结果。其中图4(a)是输入源图像，图4(b)是得到的最终渲染结果。

如上所述，本发明提供了一种基于艺术视觉的图像卡通风格化方法，通过抽象艺术创作中的三个关键步骤：线稿钩边，着色，光影抽象，并其进行相应模拟，从而完成对输入图像的卡通风格渲染。首先，在光影抽象方面，卡通作品中的阴影通常具有高度的抽象性，而真实照片的光影对比则非常细致。本发明通过结合视觉显著性的图割技术获得光影的初始分布，然后根据经典聚类技术对阴影作以简化，以达到卡通作品中光影的抽象化效果。其次，色彩增强方面，由于卡通作品常具有色彩艳丽明快的特点，本发明通过对不同饱和度的色彩做各向异性的强化达到整体色彩风格的增强。最后，在线条强化方面，本发明通过Gabor特征分析，提供不同细节程度的轮廓对结果进行不同层次的强化，以模拟卡通作品中对重要线条的强化。

尽管已经参考附图对本发明进行了解释和描述，专业技术人员应该理解，在不脱离本发明精神和范围的情况下，可以在其中或对其进行各种其他改变，增删。

Claims (2)

1.一种基于艺术视觉的图像卡通风格化渲染方法，包括以下步骤：

1)通过结合视觉显著性模型的图割技术获得光影的初始分布，进而采用经典的聚类算法对源图像中的阴影层进行抽象；

2)通过色彩的自增强技术，对不同饱和度的色彩进行各向异性的强化，以表现卡通作品中鲜艳明快的色彩风格；

3)通过Gabor特征分析，提取不同细节程度的阴影线或装饰线，并通过对源图像进行不同程度的强化模拟卡通作品中对重要线条的表现。

2.如权利要求1所述的基于艺术视觉的图像卡通风格化渲染方法，其具体步骤如下：

1)对输入源图像通过计算初始阴影分布并对一个提取的二值图进行简化，得到具有艺术抽象感的阴影层：

(a)通过优化一个建立的消费函数，生成一幅二值图描述源图像的初始阴影分布，该函数通过下式计算：

C(p)＝D(p)+α_s·S(p)

其中α_s∈[0，1]是一个平衡因子，数据项D(p)及平滑项S(p)分别通过以下两式计算：

D(p)＝(α_g·(I(p)-φ·M_g(I))+(1-α_g)·(I(p)-M_l(N))·sign_D(L_p))

S(p，q)＝sign_E(L_p，L_q)·(|I(p)-I(q)|)

在上两式中，α_g是一个比例因子，决定了图像I的全局平均强度M_g(I)对结果的影响程度，M_l(N)表示像素点p的邻域N中的局部平均强度，φ是一个由用户给出的调节因子，sign_D(·)是一个符号函数，L_p是像素点p是否属于阴影层的标签，I(p)表征了一个像素点p的强度值；

(b)在步骤(a)的基础上，采用均值漂移技术将初始阴影分布层划分为不同的区域，并存储每个区域的边界像素点序列，记作l(R)；

(c)在步骤(b)的基础上，进一步通过一个简化策略对得到的二值阴影分布层进行简化，以得到抽象化的阴影表示，具体如下式所示；

${\arg \min }_{\hat{l}\left(R\right)}{(\underset{p\∈\hat{l}\left(R\right)}{\mathrm{\Σ}}c\left(p\right)-\underset{p\∈l\left(R\right)}{\mathrm{\Σ}}c\left(p\right))}^2$

其中

表示经过下采样后的边界像素点序列，c(p)为边界点p处的曲率值；

2)基于源图像，通过一种提出的色彩自增强技术，对不同饱和度的像素进行各项异性的增强，从而增强结果的整体色彩，其中色彩自增强部分可以通过下式描述：

$\hat{C}\left(p\right)=\mathrm{\λ}\·\frac{{\mathrm{\μ}}_o}{{\mathrm{\μ}}_c}\·C_I\left(p\right)\·\frac{1+\tanh (\mathrm{\γ}\·C_M\left(p\right)-128)}{2}$

其中μ_o是源图像的平均亮度值，μ_c是色彩增强后图像的亮度值，λ是一个用户给出的控制因子，C_I(p)是源图像在像素点p处的颜色，C_M(p)为一个提取的色度图在像素点p处的颜色，该色度图中每个像素点p处的亮度值

可通过下式计算：

$\hat{L}\left(p\right)=\mathrm{\α}\·L\left(p\right)+(1-\mathrm{\α})\·(255-L\left(p\right))$

其中L(p)是源图像在像素点p处的亮度值，α是一个经验平衡因子；

3)通过Gabor特征分析，提取不同细节程度的阴影线或装饰线，对源图像中相应线条进行不同程度的强化。

(a)对输入图像进行Gabor特征分析，其中Gabor能量响应由下式计算：

$e_{\mathrm{\λ},\mathrm{\θ},\mathrm{\σ}}(x,y)=\sqrt{R_{\mathrm{\λ},\mathrm{\θ},\mathrm{\σ},0}{(x,y)}^2+R_{\mathrm{\λ},\mathrm{\θ},\mathrm{\σ},\frac{\mathrm{\π}}{2}}{(x,y)}^2}$

其中R_{λ，θ，σ，0}(x，y)²和

分别为其实部和虚部Gabor能量响应，λ和θ分别表示不同频率和方向的Gabor滤波核，σ为Gabor滤波核中高斯包络的标准差，通过上式计算的Gabor能量响应，并选择最大方向上的Gabor能量，构建每个像素点的多频率特征向量：

并分别计算其行为特征值：

$b(x,y)=-\frac{1}{6}\underset{i=2}{\overset{7}{\mathrm{\Σ}}}(e_{{\mathrm{\λ}}_i}(x,y)-e_{{\mathrm{\λ}}_1}(x,y))$

和衰减因子：

$\mathrm{\μ}(\mathrm{\Ω},\mathrm{\σ},x,y)=\underset{p(x^{\′},y^{\′})\∈\mathrm{\Ω}}{\mathrm{\Π}}{e}^{(-\frac{b^2(x^{\′},y^{\′})s(-b^2(x^{\′},y^{\′}))}{2{\mathrm{\σ}}^2})}$

其中Ω表示像素点(x，y)的一个邻域，半径为2，s(x)为符号函数，当x＞0时为1，否则为0，σ为衰减速率控制因子；

(b)通过上式算得的b(x，y)以及μ(Ω，σ，x，y)计算源图像细节区域的线条表征图，由下式计算：

R_D(x，y)＝b(x，y)·μ(Ω，σ，x，y)

类似的，将此过程在由步骤1获得的阴影层进行操作，可得到阴影层的细节区域线条表征图(x，y)，进而得到源图像轮廓区域线条表征图R_C：

R_C＝R_S-γ·(G_σ*R_D)

其中R_S表示输入图像的全方向Gabor响应，γ是一个用户输入的平衡因子，G_σ表示一个均值为0，标准差为σ的高斯卷积核，通过得到的源图像细节区域，轮廓区域以及阴影层细节区域的线条表征图R_D，R_C以及

对源图像的相应区域做不同程度的强化得到最终风格化结果。

Images