CN102800063A - 基于各向异性滤波的图像增强与抽象化方法 - Google Patents

Abstract

本发明提供一种基于各向异性滤波的图像增强与抽象化方法，其步骤包括：采用结构张量平滑技术计算输入图像的光滑连续且特征保持的边缘切向流场；沿边缘切向流方向对图像进行自适应平滑处理；沿梯度方向进行基于高斯差分掩模的反锐化图像增强；进行改进的基于特征流的双边滤波处理或者改进的基于特征流的Kuwahara滤波处理获得特征增强的抽象化图像。本发明可显著改善现有图像抽象化方法的生成质量，所得抽象化图像的边界特征明显增强，画质更清晰，层次感更分明。

Description

基于各向异性滤波的图像增强与抽象化方法

技术领域

本发明属于计算机图形学技术领域，涉及图像增强与抽象化方法，具体涉及一种基于各向异性滤波的图像增强与抽象化方法。

背景技术

在很多应用场合，人们通常只关注图像中最有意义的部分，而不关心其他无足轻重的细节。真实感绘制总是希望产生和显示足够多的细节，然而过多的细节可能会干扰观察者的认知理解，这也正是在影视动漫、科技工程插图、医学成像、考古展示、视频通信等领域广泛采用非真实感绘制效果图的原因。图像抽象化(Image Abstraction)是最常见的一种非真实感绘制技术，它将真实感的图像或视频序列转化为一种结构化、简单化的形式，类似于艺术家手工创作的绘画或者卡通画风格的效果。其中最能体现图像特征的视觉信息被保留甚至强调，而其他无关紧要的细节被去除或减弱。成功的抽象化绘制能够将观察者的注意力引导到最有意义的地方，从而让他不需要太多意识的努力就可以理解整个图像所表达的内容。

现有的图像抽象化方法中较为常见的是基于平滑滤波的思想。等（

H,Olsen S C,Gooch B.2006.Real-time video abstraction.ACM Trans.Graph,200625(3):1221-1226.）提出了一个完全自动实时的图像和视频抽象化系统框架，采用可扩展的非线性扩散滤波算法平滑低对比度区域的细节，同时用高斯差分滤波算子提取边缘线条以增强高对比度区域的显著特征。由于该框架所用的平滑滤波和边缘检测算法都是作用在各向同性的滤波核上，抽象化图像在去除噪声、边界形状保持和连贯一致性方面都存在着一定的局限性。为此，Kyprianidis等（Kyprianidis J,

J.Image Abstraction by structure adaptivefiltering.In Proc.EG UK Theory and Practice of Computer Graphics,2008:51-58.）扩展了的方法，利用结构自适应的各向异性滤波方法实现了图像的实时抽象化，滤波核的形状由两个相互垂直轴对齐的梯度方向和切向方向决定。随后，Kang等（Kang H,Lee S,Chui C K.Flow-Based Image Abstraction.IEEE Transactions on Visualization and ComputerGraphics,2009,15(1):62-76.）开发了一个类似的基于边缘切向流的实时图像抽象化系统，所用的双边滤波器和高斯差分滤波器首先作用于梯度方向生成中间结果，然后对中间结果沿切向流方向做平滑滤波处理得到最后的抽象化结果。虽然这些算法能够有效地平滑低对比度区域的高频噪声，并且保持高对比度区域的显著边缘特征，但是由于使用的是统一的滤波阈值，常常造成对于某些低对比度区域的低频特征过度抽象，而对于某些高对比度区域的高频特征如稠密纹理部分却又不能很好地抽象简化等问题。为了生成均匀一致的抽象化效果，Kyprianidis等（Kyprianidis JE,Kang H,

J.Image and video abstraction by anisotropickuwahara filtering.Computer Graphics Forum,2009,28(7):1955-1963.）提出了一种基于特征流的各向异性Kuwahara滤波算法，即滤波核窗口的形状、方向以及尺寸等由图像的局部结构特征决定。与其他的滤波方法相比，该方法不仅能有效处理被噪声污染的图像，还能保持和增强图像特征的方向性，整体抽象化效果更接近于艺术家的绘画风格。尽管该算法能够自动生成高质量的抽象化效果，但是经过Kuwahara滤波后的图像在显著特征区仍然造成了不同程度的模糊，进而导致抽象化图像的明暗对比度降低，画质昏暗模糊，层次感不分明；另外，由于需要逐一计算滤波核窗口内的各分区的平均值和方差，算法效率受到很大影响，很难实时处理大分辨率输入图像。

发明内容

目前已有的抽象化绘制算法主要是采用基于图像分割或边缘保持的平滑滤波技术，所生成的抽象化图像经常存在明暗对比度较低，画质昏暗模糊，画面色彩表现力不强等问题。为了解决这些问题，本发明提供一种高质量的图像抽象化方法，在对图像进行抽象化过程中引入了各向异性增强的预处理步骤，并在此基础上对基于特征流的双边滤波和Kuwahara滤波算法进行了改进，从而在计算效率和生成效果方面都有明显的改善。

为实现上述目的，本发明采用以下技术方案：

一种基于各向异性滤波的图像增强与抽象化方法，其步骤包括：

1）采用结构张量平滑技术计算输入图像的光滑连续且特征保持的边缘切向流场；

2）沿边缘切向流方向对所述图像进行自适应平滑处理；

3）沿梯度方向对步骤2）所得图像进行基于高斯差分掩模的反锐化图像增强；

4）对步骤3）所得图像进行基于特征流的双边滤波并获得抽象化图像。

进一步地，步骤4）采用改进的双边滤波方法：首先沿梯度方向应用一维的双边滤波，然后沿边缘切向流方向对双边滤波结果进行自适应高斯平滑。所述改进的双边滤波按照如下公式进行：

$I_1\left(x\right)=\frac{1}{k_1}\underset{y\∈G_t\left(x\right)}{\mathrm{\Σ}}{I}_0\left(y\right)c(x,y)s(I\left(x\right),I\left(y\right))$

$I_2\left(x\right)=\frac{1}{k_2}\underset{y\∈T_s\left(x\right)}{\mathrm{\Σ}}{I}_1\left(y\right)c(x,y),$

其中，G_t(x)表示以x像素为中心的沿梯度方向上的像素采样点集合，T_s(x)表示流经x像素的边缘切向流线上的像素采样点集合；将上述滤波作用于CIELab颜色空间中，I₀表示增强图像的Lab颜色值。

一种基于各向异性滤波的图像增强与抽象化方法，其步骤包括：

1）采用结构张量平滑技术计算输入图像的光滑连续且特征保持的边缘切向流场；

2）沿边缘切向流方向对所述图像进行自适应平滑处理；

3）沿梯度方向对步骤2）所得图像进行基于高斯差分掩模的反锐化图像增强；

4）对步骤3）所得图像进行基于特征流的Kuwahara滤波并获得抽象化图像。

进一步地，步骤4）采用改进的Kuwahara滤波方法：将Kuwahara滤波核窗口定义为一个弯曲的近似矩形，整个窗口分为四个分区，通过计算各分区的平均值及方差并进行加权平均来获得最后的抽象化图像。所述改进的Kuwahara滤波按照如下公式进行：

$O\left(x\right)=\frac{\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{\mathrm{\α}}_i{m}_i}{\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{\mathrm{\α}}_i}$ ${\mathrm{\α}}_i=\frac{1}{1+{(255\·({s_{i,r}}^2+{s_{i,g}}^2+{s_{i,b}}^2))}^{q/2}},$

其中，O(x)为滤波器的输出，α_i为第i分区的权重系数；

${s_i}^2\left(x\right)=\frac{1}{k_i}\underset{y\∈{\mathrm{\Ω}}_i}{\mathrm{\Σ}}{(H\left(y\right)-m_i)}^2{\mathrm{\ω}}_i(x,y)=\frac{1}{k_i}\underset{y\∈{\mathrm{\Ω}}_i}{\mathrm{\Σ}}H{\left(y\right)}^2{\mathrm{\ω}}_i(x,y)-{m_i}^2,$ m_i(x)即m_i,r(x),m_i,g(x),m_i,b(x)，s_i ²(x)即s_i,r ²(x),s_i,g ²(x),s_i,b ²(x)，分别表示RGB三分量的平均值和方差；Ω_i为第i个分区的像素集合；分区内像素权重系数 ${\mathrm{\ω}}_i(x,y)=e^{-\frac{1}{2}{\left(\frac{\left|\right|x-y\left|\right|}{{\mathrm{\σ}}_s}\right)}^2}\·e^{-\frac{1}{2}{\left(\frac{\left|\right|H\left(x\right)-H\left(y\right)\left|\right|}{{\mathrm{\σ}}_r}\right)}^2}$ 采用双边滤波的方法；归一化变量

参数q为用户自定义参数，用来控制抽象化程度。

本发明与现有抽象化算法直接对输入图像进行处理不同，首先对输入图像进行基于边缘切向流的各向异性图像增强预处理，然后使用基于特征流的双边高斯滤波或各向异性Kuwahara滤波算法对增强后的图像进行抽象化。在绘制效果方面，本发明的图像增强方法结合了沿边缘切向流方向的自适应平滑和沿梯度方向的对比度增强，因此所得结果的形状特征及其方向感明显增强；在绘制效率方面，本发明对基于特征流的双边滤波和Kuwahara滤波进行了改进，设计出一种基于GPU实现的近似可分离两遍绘制算法，因此可以达到实时绘制效率。本发明提供的算法可显著改善现有抽象化方法的生成质量，抽象化图像的边界特征明显增强，画质更清晰，层次感更分明。

附图说明

图1是本发明的基于各向异性滤波的图像增强与抽象化方法的流程图。

图2是本发明的基于特征流的各向异性Kuwahara滤波的原理示意图。

图3是应用本发明方法前的原始输入图像。

图4是应用现有技术中基于特征流的双边滤波方法的抽象化效果图。

图5是应用本发明改进的基于边缘切向流的双边滤波方法的抽象化效果图。

图6是应用现有技术中基于特征流的Kuwahara滤波方法的抽象化效果图。

图7是应用本发明改进的基于边缘切向流的Kuwahara滤波方法的抽象化效果图。

具体实施方式

下面通过具体实施例并配合附图，对本发明做详细的说明。

图1为本实施例的基于各向异性滤波的图像增强与抽象化方法的流程图。如该图所示，输入为单幅图像或视频的帧序列，输出为其对应的抽象化结果。该方法借鉴了的基于特征流场的各向异性滤波框架，首先需要计算出一个光滑连续且特征保持的方向流场，具体实现中采用结构张量平滑技术来获得边缘切向流场；然后基于该流场先后对图像进行沿边缘切向流方向的自适应平滑和沿梯度方向的对比度增强处理，得到原始图像的增强图像；最后对增强图像应用基于流场的双边滤波或者Kuwahara滤波处理，得到最终的抽象化效果。需要说明的是，该方法中除了双边滤波是在图像的CIELab颜色空间进行，其它方法都是在RGB颜色空间处理。对图1中各步骤具体介绍如下：

1）计算图像的边缘切向流场：采用结构张量平滑技术来获得一个光滑连续且特征保持的方向场。

输入的彩色RGB图像被表示为f:R²→R³，其结构张量被定义为：

$J(\▿f)=\left(\begin{array}{cc}{f}_x\·f_x& f_x\·f_y\\ f_x\·f_y& f_y\·f_y\end{array}\right)\≡\left(\begin{array}{cc}{E}_0& F_0\\ F_0& G_0\end{array}\right),---\left(1\right)$

其中 $f_x={\left(\begin{array}{ccc}\∂R/\∂x& \∂G/\∂x& \∂B/\∂x\end{array}\right)}^T$ 和 $f_y={\left(\begin{array}{ccc}\∂R/\∂y& \∂G/\∂y& \∂B/\∂y\end{array}\right)}^T$ 表示R、G、B三分量在x和y方向上的一阶方向导数，本发明采用Sobel滤波算子计算。上式计算出每个像素的2×2矩阵，然后用高斯函数对该矩阵的各分量进行卷积得到平滑后的结构张量：

$J_{\mathrm{\σ}}(\▿f)=G_{\mathrm{\σ}}*\left(\begin{array}{cc}{E}_0& F_0\\ F_0& G_0\end{array}\right)\≡\left(\begin{array}{cc}E& F\\ F& G\end{array}\right),---\left(2\right)$

其中G_σ是二维高斯函数；E、F、G分别表示中间运算结果矩阵的元素。由于高斯函数的可分离性，具体实现中本发明采用分离滤波核的两步一维滤波方法来提高计算效率。上式的结果是一个对称正半定矩阵，存在正交单位特征向量，分别记为μ和v，其中μ指向图像颜色的最大对比度方向，即平滑后的梯度向量；相应地，v指向图像颜色的最小对比度方向，即所求边缘切向流场的构成向量。μ，v对应的特征值分别记为λ₁，λ₂：

${\mathrm{\λ}}_{\mathrm{1,2}}=\frac{E+G\±\sqrt{{(E-G)}^2+{4F}^2}}{2}---\left(3\right)$

这两个值可以作为图像局部几何结构的描述因子：在平滑区域，λ₁≈λ₂≈0；在边缘区域，λ₁>>λ₂≈0；在角型区域，λ₁>>λ₂>>0。局部各向异性衡量因子:A=(λ₁-λ₂)/(λ₁+λ₂)，其取值范围0至1，A=0表示各向同性，无明显方向特征；而A=1表示各向异性，有强烈方向特征。

2）沿边缘切向流方向的自适应平滑滤波

该步骤可以采用高斯平滑滤波或其它平滑滤波算法。下面具体介绍高斯平滑滤波处理，其具有比较好的算法效率和效果。

高斯平滑滤波利用步骤1）所得的各向异性衡量因子自动调节高斯滤波器的空间尺度因子，从而实现可变积分范围的自适应平滑效果，既有效去除噪声，又能增强图像特征的方向感。

该步骤在执行时类似于经典的LIC算法(Cabral B,Leedom L C.Imaging vector fields usingline integral convolution.In Proceedings of the20th annual conference on Computer graphics andinteractive techniques.1993:263-270.)，根据边缘切向流场数据对输入图像进行卷积。假设Ω(S_x)是经过点x的边缘切向流线上的采样点的集合，那么x处的输出值为流线上所有采样点按照高斯核函数进行积分的结果：

$F\left(x\right)=\frac{1}{\mathrm{\ω}}\underset{y\∈\mathrm{\Ω}\left(S_x\right)}{\mathrm{\Σ}}f\left(y\right)G_{{\mathrm{\σ}}_s}\left(\right||x-y|\left|\right)---\left(4\right)$

其中ω是加权平均的归一化因子，f(y)表示y像素的R,G,B值组成的三维向量，

(||x‖)是一维高斯函数。

影响LIC算法效率和精度的两个主要因素是积分步长和积分步数：步长太大导致较少的采样点用于积分计算，造成边缘区域的模糊；步数太多又会导致采样点的浪费，降低计算效率；同时固定步长和步数又会使得所有的流线轨迹过于生硬，积分过程不能很好地适应局部特征变化。本发明利用步骤1)得到的A变量自动调节高斯滤波器的空间尺度因子：σ_s=0.25σ₀(1+A)²，从而实现可变积分范围的自适应平滑效果。在用户给定参数σ₀（默认取值σ₀=1.5）后，实际有效积分范围是[-3σ_s,3σ_s]，对于固定的积分步长（假设为一个像素的距离），该方法可以根据局部各向异性情况动态改变积分步数：在方向变化较平坦的区域采用较少的积分步数（使用较少的采样点进行积分计算），从而提高计算效率；在方向变化剧烈的区域采用较多的积分步数（使用较多的采样点进行积分计算），从而保持较好的精度（有利于边缘特征的保持）。

3）沿梯度方向进行反锐化掩模增强处理：使用高斯差分滤波结果作为待增强图像的细节信息，在增强边缘细节的同时既能避免噪声信号的放大，还能尽量减弱光晕现象。

反锐化掩模(Unsharp Masking)技术是最常用的图像增强方法之一，其原理是：首先计算出原图像的一个非锐化的或者是平滑的图像，然后用原图像减去非锐化图像得到细节图像，最后把细节图像乘以某个系数叠加到原图像上以达到锐化增强的目的。用公式可表示为：

h(x)=f(x)+c·g_mask(x)，其中g_mask(x)=f(x)-f_s(x)    (5)

上式中f(x)为原图像，f_s(x)为原图像的模糊图像或近似图像，g_mask(x)为原图像的细节图像或高频图像，h(x)为增强后的图像，c为用户自定义常数，用来控制锐化程度。

本发明将高斯差分滤波结果作为原始信号的细节信息用在反锐化掩模的技术中：

H(x)=F(x)+c·(G(σ)-τG(k·σ))    (6)

其中 $G\left(\mathrm{\σ}\right)=G_{\mathrm{\σ}}*F\left(x\right)=\frac{1}{\mathrm{\ω}}\underset{y\∈\mathrm{\Ω}\left(x\right)}{\mathrm{\Σ}}F\left(y\right)e^{-\frac{1}{2}{\left(\frac{\left|\right|x-y\left|\right|}{\mathrm{\σ}}\right)}^2},$ 式中的G(σ)-τG(k·σ)为可扩展的高斯差分滤波结果，实验中取默认值τ=0.99，k=1.6。Ω(x)表示以x像素为中心的沿梯度方向上的像素采样点集合。在低对比度区域的平坦区域和高频特征区域，高斯差分滤波结果趋近0；在高对比度区域的低频特征区，高斯差分滤波结果的正负值分布于中心边缘的两侧。基于该性质，H(x)在非边缘区域增强信号和原始信号几乎完全重合，在边缘区域增强信号的变化也是平缓过渡的，因而有效避免增强图像中的光晕现象。

4）对步骤3）所得的增强图像应用基于流场的双边滤波或者Kuwahara滤波处理，得到最终的抽象化效果。本发明对这两种滤波方法进行了改进，下面分别进行说明。

4-1）改进的基于边缘切向流的双边滤波

双边滤波器(Bilateral Filter)是一种可以保持边缘特征的平滑滤波器。该滤波器在加权平均邻域内像素值时不仅考虑像素间的空间距离关系，还考虑了像素颜色值的相似程度。标准的双边滤波器使用各向同性的滤波核，在对滤波核邻域窗口内的像素进行加权平均时忽略了形成颜色差异的方向性，因而有可能造成某些非常重要的微小边缘信息的丢失。另外，各向同性的滤波核还会导致边缘区域出现粗糙的锯齿。为了更好的保持图像的形状特征，生成更加平滑连续的滤波效果，基于特征流的各向异性双边滤波器被提出。标准的双边滤波和基于特征流的双边滤波的本质区别主要表现在滤波核的邻域窗口形状不同：前者的窗口是以目标像素为中心的圆形或方形窗口，而后者的窗口是由沿着目标像素的切向流方向和垂直于切向流方向的梯度方向铺展而成的弯曲窗口。

本发明先将一维双边滤波作用于梯度方向得到一个滤波结果，然后沿边缘切向流方向对该滤波结果进行高斯平滑：

$I_1\left(x\right)=\frac{1}{k_1}\underset{y\∈G_t\left(x\right)}{\mathrm{\Σ}}{I}_0\left(y\right)c(x,y)s(I\left(x\right),I\left(y\right))---\left(7\right)$

$I_2\left(x\right)=\frac{1}{k_2}\underset{y\∈T_s\left(x\right)}{\mathrm{\Σ}}{I}_1\left(y\right)c(x,y)---\left(8\right)$

其中G_t(x)表示以x像素为中心的沿梯度方向上的像素采样点集合，T_s(x)表示流经x像素的边缘切向流线上的像素采样点集合。为避免滤波后的图像颜色出现偏差，将上述滤波作用于CIELab颜色空间中，所以上式中的I₀表示增强图像的Lab颜色值，由步骤3)得到的H从RGB颜色空间转换而来。本发明提出的滤波方法充分结合了双边滤波和高斯滤波的优势：在梯度方向上应用双边滤波能够最大程度的保护边缘特征不被模糊；在边缘切向流方向上应用高斯滤波可以增强图像特征方向感。

4-2）改进的基于边缘切向流的Kuwahara滤波

与双边滤波器类似，Kuwahara滤波器也是一种保持边缘特征的非线性扩散滤波器，其基本思想是将滤波核的邻域窗口分为相同的N个分区，分别计算各分区内像素的平均值和方差，然后选择最小方差对应的平均值作为滤波结果，或者由方差作为其对应平均值的权重系数进行加权平均得到最后的滤波结果。这类方法虽然可以得到不错的滤波结果，但是不能有效突出特征的方向性，在视觉效果上表现出聚集的块状瑕疵。为了生成高质量的抽象化效果，Kyprianidis等提出了一种基于特征流的各向异性Kuwahara滤波算法，不仅能有效去除噪声，还能保持和增强图像的显著特征及其方向感。与标准的Kuwahara滤波器采用统一的圆形滤波核窗口不同，基于特征流的各向异性Kuwahara滤波器的窗口形状由图像的局部结构特征决定，在均匀平坦的区域窗口形状是圆形，在非均匀突变的边缘区域窗口形状则是椭圆形，其长轴的方向平行于局部切方向。事实上这种椭圆形的滤波核窗口在边缘特征区域并没有很完美的顺从于边缘切向流，因而在特征保持方面仍有改进的空间。

本发明将Kuwahara滤波核窗口从圆形或椭圆形改变为一个弯曲的近似矩形，其形状由边缘切向流方向T(x)和梯度方向G(x)铺展而成，如图2所示，整个窗口分为四个分区，通过计算各分区的平均值及方差并进行适当加权平均来获得最后的抽象化图像。各分区的平均值及方差计算如下：

$m_i\left(x\right)=\frac{1}{k_i}\underset{y\∈{\mathrm{\Ω}}_i}{\mathrm{\Σ}}H\left(y\right){\mathrm{\ω}}_i(x,y)---\left(9\right)$

${s_i}^2\left(x\right)=\frac{1}{k_i}\underset{y\∈{\mathrm{\Ω}}_i}{\mathrm{\Σ}}{(H\left(y\right)-m_i)}^2{\mathrm{\ω}}_i(x,y)=\frac{1}{k_i}\underset{y\∈{\mathrm{\Ω}}_i}{\mathrm{\Σ}}H\left(y\right){\mathrm{\ω}}_i(x,y)-{m_i}^2---\left(10\right)$

公式中的m_i(x)即m_i,r(x),m_i,g(x),m_i,b(x)，s_i ²(x)即s_i,r ²(x),s_i,g ²(x),s_i,b ²(x)，分别表示RGB三分量的平均值和方差，Ω_i为第i个分区的像素集合，分区内像素权重系数 ${\mathrm{\ω}}_i(x,y)=e^{-\frac{1}{2}{\left(\frac{\left|\right|x-y\left|\right|}{{\mathrm{\σ}}_s}\right)}^2}\·e^{-\frac{1}{2}{\left(\frac{\left|\right|H\left(x\right)-H\left(y\right)\left|\right|}{{\mathrm{\σ}}_r}\right)}^2}$ 采用双边滤波的方法，归一化变量

滤波器的输出被定义为：

$O\left(x\right)=\frac{\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{\mathrm{\α}}_i{m}_i}{\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{\mathrm{\α}}_i},$ ${\mathrm{\α}}_i=\frac{1}{1+{(255\·({s_{i,r}}^2+{s_{i,g}}^2+{s_{i,b}}^2))}^{q/2}}---\left(11\right)$

其中α_i为第i分区的权重系数，与该分区的RGB三通道的方差和有关，参数q控制抽象化程度，本文取q=8。

注意到上述方法的算法复杂度是O(n×u×v×2)，这里n是图像的像素数量，u是梯度方向上的采样点数量，v是梯度方向上的采样点数量，2表示邻域内每个像素要使用两次，分别用来计算平均值和方差。为了提高算法执行效率，本发明借鉴双边滤波分离滤波核的实现方法，通过两遍绘制可以快速计算出各分区的平均值和方差，算法复杂度也降为O(n×v×2)。在第一遍绘制中，针对每个像素（以当前像素x为例，如图2所示），沿梯度正方向x→g计算出该区域内的平均值m_R、方差s² _R及权重系数ω_R,共计七个分量。同理，沿梯度负方向x→-g也计算出七个分量。至此，每个像素计算出14个变量，本文使用OpenGL的多渲染目标(multiplerender targets,MRT)技术将这14个变量绘制到四张纹理中。在第二遍绘制中，以第一遍绘制结果作为输入，沿切线流正方向x→t进行累积，得到左上分区的{m₁,s² ₁,ω₁}和右上分区的{m₂,s² ₂,ω₂}；同理，沿切线流负方向x→-t累积得到左下分区的{m₃,s² ₃,ω₃}和右下分区的{m₄,s² ₄,ω₄}。然后计算各分区平均值和方差：M_i=m_i/ω_i，S_i=|s_i/ω_i-M_i*M_i|。

最后输出结果为：

$O\left(x\right)=\frac{\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{\mathrm{\α}}_i{M}_i}{\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{\mathrm{\α}}_i};$ ${\mathrm{\α}}_i=\frac{1}{1+{(255\·({s_{i,r}}^2+{s_{i,g}}^2+{s_{i,b}}^2))}^{q/2}}.$

图3至图7为应用本发明方法对输入图像进行抽象化的处理效果示意图。其中，图3为输入图像，图4为采用现有技术中基于特征流的双边滤波方法得到的抽象化图像（Kang H,LeeS,Chui C K.Flow-Based Image Abstraction.IEEE Transactions on Visualization and ComputerGraphics,2009,15(1):62-76.），图5为采用本发明改进的基于边缘切向流的双边滤波处理后得到的抽象化图像；可以看出，本发明方法得到的抽象化图像的颜色对比度明显增强，整体抽象化程度更匀称，图像的显著特征保持的更好。图6为采用现有技术中基于特征流的Kuwahara滤波方法得到的抽象化图像（Kyprianidis J E,Kang H,

J.Image and video abstraction byanisotropic kuwahara filtering.Computer Graphics Forum,2009,28(7):1955-1963.），图7为采用本发明改进的基于边缘切向流的Kuwahara滤波处理后得到的抽象化图像；可以看出，本发明方法得到的抽象化图像的颜色对比度明显增强，图像的方向特征更强烈，艺术化风格更浓重。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求所述为准。

Claims (10)

1.一种基于各向异性滤波的图像增强与抽象化方法，其步骤包括：

1）采用结构张量平滑技术计算输入图像的光滑连续且特征保持的边缘切向流场；

2）沿边缘切向流方向对所述图像进行自适应平滑处理；

3）沿梯度方向对步骤2）所得图像进行基于高斯差分掩模的反锐化图像增强；

4）对步骤3）所得图像进行基于特征流的双边滤波并获得抽象化图像。

2.如权利要求1所述的方法，其特征在于，步骤4）采用改进的双边滤波方法：首先沿梯度方向应用一维的双边滤波，然后沿边缘切向流方向对双边滤波结果进行自适应高斯平滑。

3.如权利要求2所述的方法，其特征在于：所述改进的双边滤波按照如下公式进行：

$I_1\left(x\right)=\frac{1}{k_1}\underset{y\∈G_t\left(x\right)}{\mathrm{\Σ}}{I}_0\left(y\right)c(x,y)s(I\left(x\right),I\left(y\right)),$

$I_2\left(x\right)=\frac{1}{k_2}\underset{y\∈T_s\left(x\right)}{\mathrm{\Σ}}{I}_1\left(y\right)c(x,y),$

其中，G_t(x)表示以x像素为中心的沿梯度方向上的像素采样点集合，T_s(x)表示流经x像素的边缘切向流线上的像素采样点集合；将上述滤波作用于CIELab颜色空间中，I₀表示增强图像的Lab颜色值。

4.一种基于各向异性滤波的图像增强与抽象化方法，其步骤包括：

1）采用结构张量平滑技术计算输入图像的光滑连续且特征保持的边缘切向流场；

2）沿边缘切向流方向对所述图像进行高斯平滑滤波，其滤波器的空间尺度因子由所述图像的局部结构特征决定；

3）沿梯度方向对步骤2）所得图像进行基于高斯差分掩模的反锐化图像增强；

4）对步骤3）所得图像进行基于特征流的Kuwahara滤波并获得抽象化图像。

5.如权利要求4所述的方法，其特征在于，步骤4）采用改进的Kuwahara滤波方法：将Kuwahara滤波核窗口定义为一个弯曲的近似矩形，整个窗口分为四个分区，通过计算各分区的平均值及方差并进行加权平均来获得最后的抽象化图像。

6.如权利要求5所述的方法，其特征在于：所述改进的Kuwahara滤波按照如下公式进行：

$O\left(x\right)=\frac{\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{\mathrm{\α}}_i{m}_i}{\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{\mathrm{\α}}_i}$ ${\mathrm{\α}}_i=\frac{1}{1+{(255\·({s_{i,r}}^2+{s_{i,g}}^2+{s_{i,b}}^2))}^{q/2}},$

其中，O(x)为滤波器的输出，α_i为第i分区的权重系数；

${s_i}^2\left(x\right)=\frac{1}{k_i}\underset{y\∈{\mathrm{\Ω}}_i}{\mathrm{\Σ}}{(H\left(y\right)-m_i)}^2{\mathrm{\ω}}_i(x,y)=\frac{1}{k_i}\underset{y\∈{\mathrm{\Ω}}_i}{\mathrm{\Σ}}H{\left(y\right)}^2{\mathrm{\ω}}_i(x,y)-{m_i}^2,$ m_i(x)即m_i,r(x),m_i,g(x),m_i,b(x)，s_i ²(x)即s_i,r ²(x),s_i,g ²(x),s_i,b ²(x)，分别表示RGB三分量的平均值和方差；Ωi为第i个分区的像素集合；分区内像素权重系数 ${\mathrm{\ω}}_i(x,y)=e^{-\frac{1}{2}{\left(\frac{\left|\right|x-y\left|\right|}{{\mathrm{\σ}}_s}\right)}^2}\·e^{-\frac{1}{2}{\left(\frac{\left|\right|H\left(x\right)-H\left(y\right)\left|\right|}{{\mathrm{\σ}}_r}\right)}^2}$ 采用双边滤波的方法；归一化变量

参数q为用户自定义参数，用来控制抽象化程度。

7.如权利要求1或4所述的方法，其特征在于，所述输入图像为单幅图像或视频的帧序列。

8.如权利要求1或4所述的方法，其特征在于，所述边缘切向流场的计算方法如下：

1）计算RGB彩色图像的初始结构张量：

$J(\▿f)=\left(\begin{array}{cc}{f}_x\·f_x& f_x\·f_y\\ f_x\·f_y& f_y\·f_y\end{array}\right)\≡\left(\begin{array}{cc}{E}_0& F_0\\ F_0& G_0\end{array}\right),$

其中 $f_x={\left(\begin{array}{ccc}\∂R/\∂x& \∂G/\∂x& \∂B/\∂x\end{array}\right)}^T$ 和 $f_y={\left(\begin{array}{ccc}\∂R/\∂y& \∂G/\∂y& \∂B/\∂y\end{array}\right)}^T$ 表示R、G、B三分量在x和y方向上的一阶方向导数；

2）用二维高斯函数对上式矩阵的各分量在图像中进行卷积得到平滑后的结构张量：

$J_{\mathrm{\σ}}(\▿f)=G_{\mathrm{\σ}}*\left(\begin{array}{cc}{E}_0& F_0\\ F_0& G_0\end{array}\right)\≡\left(\begin{array}{cc}E& F\\ F& G\end{array}\right),$

其中G_σ是二维高斯函数；

3）通过求解矩阵的特征值和特征方向来获得图像的边缘切向流场：

${\mathrm{\λ}}_{\mathrm{1,2}}=\frac{E+G\±\sqrt{{(E-G)}^2+{4F}^2}}{2},$ $\mathrm{\μ}=\left(\begin{array}{c}F\\ {\mathrm{\λ}}_1-E\end{array}\right),$ $v=\left(\begin{array}{c}{\mathrm{\λ}}_2-G\\ F\end{array}\right),$

其中λ1_,λ₂为矩阵 $\left(\begin{array}{cc}E& F\\ F& G\end{array}\right)$ 特征值；μ,v为其对应的特征向量，其中μ指向图像颜色的最大对比度方向，即平滑后的梯度向量，v指向图像颜色的最小对比度方向，即所求边缘切向流场的构成向量。

9.如权利要求8所述的方法，其特征在于，通过高斯平滑滤波进行所述自适应平滑处理，所述高斯平滑滤波按照如下公式进行：

$F\left(x\right)=\frac{1}{\mathrm{\ω}}\underset{y\∈\mathrm{\Ω}\left(S_x\right)}{\mathrm{\Σ}}f\left(y\right)G_{{\mathrm{\σ}}_s}\left(\right||x-y|\left|\right),$

其中，Ω(S_x)是经过点x的边缘切向流线上的采样点的集合，f(y)表示y像素的R,G,B值组成的三维向量，

是一维高斯函数，ω是加权平均的归一化项；利用局部各向异性衡量因子A=(λ₁-λ₂)/(λ₁+λ₂)自动调节高斯滤波器的空间尺度因子：σ_s=0.25σ₀(1+A)²，实现可变积分范围的自适应平滑效果。

10.如权利要求9所述的方法，其特征在于，所述反锐化图像增强按照如下公式进行：

H(x)=F(x)+c·(G(σ)-τG(k·σ))，

其中，

式中的G(σ)-τG(k·σ)为可扩展的高斯差分滤波结果；Ω(x)表示以x像素为中心的沿梯度方向上的像素采样点集合；c为用户自定义常数，用来控制锐化程度。

Images