CN101286228B - 一种基于特征的实时的视频和图像抽象化方法 - Google Patents

Abstract

本发明公开了一种基于特征的实时的视频图像抽象化方法，该方法包括将实时的视频和图像的红绿蓝颜色空间转换到CIE-Lab颜色空间、采用双边网格对亮度通道进行快速双边滤波、伪量子化亮度值、采用基于特征流的各向异性的高斯差分线条抽取算法抽取线条区域并对抽取的线条区域和近似亮度值进行组合操作使线条区域的线条增强、将实时的视频和图像由CIE-Lab颜色空间重新转换回红绿蓝颜色空间五个步骤。本发明每一个步骤都可以在家用电脑的图形卡硬件中并行处理，有效地解决了现有多实时的视频和图像抽象化方法存在的抽取线条生硬，不连贯的问题，为非专业人员提供了一种简便直观的实时的视频和图像的抽象化方法。

Description

一种基于特征的实时的视频和图像抽象化方法

技术领域

本发明涉及计算机图像及视频处理技术领域，特别是涉及一种基于特征的实时的视频和图像抽象化方法。

背景技术

实时的视频和图像抽象化通过简化低对比度区域及增强高对比度区域，提供了一种简洁、快速、美观的可视信息交流工具。

当艺术家想要描绘一幅景色时，他们并不是直接画出场景里的所有可视信息。相反，他们只选择其中重要的信息，并用自己的想像力把这些信息展现出来。线条能够很有效和自然地描述信息，并且已经被人类使用了上万年了。近年来，由于能使图像及视频更易于理解，抽象化技术已经变得越来越流行，参见D.Decarlo and A.Santella.Stylization and Abstractionof Photographs.In Proceedings of the ACM SIGGRAPH，2002，pp 769-776。

最近，一些研究人员提出了一个自动、实时的图像及视频抽象化框架。该系统使用可分离的双边滤波器来进一步减少低对比度区域的对比度，同时使用各向同性的高斯差分算法来人为地提高高对比度区域的对比度，参见H.

S.C.Olsen，and B.Gooch.Real-Time Video Abstraction.In Proceedings of the ACM SIGGRAPH，2006，pp 1221-1226。还有一些研究人员使用双边网格来进一步加速双边滤波器算法，能够对较高分辨率的视频进行实时处理，参见J.Chen，S.Paris，and F.Durand.Real-TimeEdge-Aware Image Processing with the Bilateral Grid.In Proceedings of theACM SIGGRAPH，2007，pp.171-182。但所有这些自动抽象化方法都使用各向同性的高斯差分算法来抽取线条信息。该线条抽取算法确实能够在图形卡上快速运行，然而由于该算法是基于各向同性的，所抽取出的线条看起来很生硬，不连贯。

发明内容

本发明提供一种基于特征的实时的视频和图像抽象化方法。该方法采用了一种基于特征流的各向异性的高斯差分线条抽取的技术，有效地解决了现有多实时的视频和图像抽象化方法存在的抽取线条生硬，不连贯的问题。

为了达到上述目的，本发明采用以下技术方案如下：

包括以下五个步骤：

1)原红绿蓝颜色空间转换到CIE-Lab颜色空间：算法将待处理的实时视频和图像序列中的每一帧图像的每个象素原红绿蓝颜色空间转换到CIE-Lab颜色空间，使实时的视频和图像的亮度通道和彩色通道相分离；

2)采用双边网格对亮度通道进行快速双边滤波，得到实时的视频和图像的近似亮度值：对所要处理图像的低对比度区域进行降低对比度，而对线条区域进行提高对比度；

3)伪量子化实时的视频和图像的近似亮度值：将连续的实时的视频和图像的近似亮度值进行伪量子化，用以产生类似于卡通的层次感效果；

4)采用基于特征流的各向异性的高斯差分线条抽取算法抽取线条区域并对抽取的线条区域和伪量子化的近似亮度值进行组合操作使线条区域的线条增强；

5)将最终的处理完毕的CIE-Lab颜色空间的实时的视频和图像重新转换回红绿蓝颜色空间的实时的视频和图像。

本发明所述的颜色空间转换方法如下：

1)红绿蓝颜色空间转换到CIE-Lab颜色空间按照下面的公式进行转换：

$\{\begin{array}{c}L=0.299*R+0.587*G+0.114*B\\ a=0.713*(R-L)\\ b=0.564*(B-L)\end{array}$

2)CIE-Lab颜色空间转换到红绿蓝颜色空间按照下面的公式进行转换：

$\{\begin{array}{c}R=L+1.403*a\\ G=L-0.714*a-0.334*b\\ B=L+1.773*a\end{array}$

式中R，G，B分别表示红绿蓝颜色值。L是亮度通道值，a和b是两个彩色通道值。在CIE-Lab颜色空间对图像进行处理的特点就是对L的处理只会改变象素的明暗，不会影响到象素的彩色效果。而且，两种颜色空间的相互转换是可逆的。

本发明所述的采用双边网格对亮度通道进行快速双边滤波方法如下：

首先，创建双边网格，用三维坐标来定义一个双边网格的数据结构Γ，其中前两维为图像上的二维坐标(x，y)，第三维是图像的亮度。对于每个双边网格(i，j，k)先初始化为：Γ(i，j，k)＝(0，0)，将图像的所有象素置入对应的网格中，对Γ进行累加：Γ([x/s_s]，[y/s_s]，[I(x，y)/s_r])+＝(I(x，y)，1)，式中s_s和s_r分别表示空间域和亮度域的采样率，[·]为最接近的整数值操作符，(I(x，y)，1)是齐次值的表示方法，第二项是齐次项。其次，双边网格创建完成后，对双边网格的齐次值相对于三维方向分别进行高斯卷积操作，并将所得结果除去齐次项。最后，将该三维网格切片，重构出二维图像结果。利用图形硬件的双线性插值功能，我们可以很快地取得双边网格中位于坐标(x/s_s，y/s_s，I(x，y)/s_r)的值，该值即为所要求的双边滤波后的近似亮度值，即实时的视频和图像的近似亮度值。使用双边网格来进一步加速双边滤波器算法，能够对较高分辨率的视频进行实时处理。

本发明所述的将连续的实时的视频和图像的近似亮度值进行伪量子化方法如下：

将连续的实时的视频和图像的近似亮度值伪量子化，通常我们将亮度值总宽度分为8到12层，按照下面的公式计算每一层的亮度值：

式中Q为所计算的伪量子化亮度值，Δq是离散化宽度，q_nearest是最接近I(x，y)的离散值，

用来控制相邻两个离散值之间变化的快慢程度。

本发明所述的采用基于特征流的各向异性的高斯差分线条抽取算法抽取线条区域并对抽取的线条区域和伪量子化的近似亮度值进行组合操作使线条区域的线条增强的方法如下：

采用基于特征流的各向异性的高斯差分线条抽取算法对实时的视频和图像的线条区域进行线条增强。首先，创建一个特征流场V(x，y)，初始值垂直于输入图像的梯度场g(x，y)＝▽I(x，y)。对该特征流场进行滤波的操作，使得该流场在特征相近区域变得平滑，而显著的边缘能保持其原有的方向。其次，根据各象素所处的特征流信息，先计算出流场方向的高斯卷积值，再计算垂直于流场方向的卷积值，最后进行差分计算。最后，根据所得到的特征流场，利用各向异性的高斯差分算法采用基于特征流的各向异性的高斯差分线条抽取算法抽取线条区域并对抽取的线条区域和伪量子化的近似亮度值进行组合操作使线条区域的线条增强，抽取出连贯的、风格化的线条。

本发明针对现有多实时的视频和图像抽象化方法存在的抽取线条生硬，不连贯的缺点，采用了一种基于特征流的各向异性的高斯差分线条抽取的技术方案处理实时的视频和图像，使实时的视频和图像线条增强，有效地解决了上述问题。本发明算法明确，界面友好，结果鲁棒，且该方法可以用于视频、图像中的实时抽象化设计。

附图说明

图1是本发明的技术方案流程图。

图2是双边网格处理过程图。

图3是基于特征流的各向异性的高斯差分线条抽取算法的处理过程图。

具体实施方式

下面结合附图对本发明一种基于特征的实时的视频和图像抽象化方法的实施例进行详细说明。

如图1所示，一种基于特征的实时的视频和图像抽象化方法，包括将实时的视频和图像序列中的每一帧图像的原红绿蓝颜色空间转换到CIE-Lab颜色空间、采用双边网格对亮度通道进行快速双边滤波、伪量子化亮度值、采用基于特征流的各向异性的高斯差分线条抽取算法抽取线条区域并对抽取的线条区域和伪量子化的近似亮度值进行组合操作使线条区域的线条增强、将图像由CIE-Lab颜色空间重新转换回红绿蓝颜色空间五个步骤。

现具体介绍本方法的五个步骤：

1)红绿蓝颜色空间转换到CIE-Lab颜色空间

对于实时的视频和图像，将待处理实时的视频和图像序列中的每一帧图像的每个象素原红绿蓝颜色空间转换到CIE-Lab颜色空间，使实时的视频和图像的亮度通道和彩色通道相分离。红绿蓝颜色空间转换到CIE-Lab颜色空间按照下面的公式进行转换：

$\{\begin{array}{c}L=0.299*R+0.587*G+0.114*B\\ a=0.713*(R-L)\\ b=0.564*(B-L)\end{array}$

式中R，G，B分别表示红绿蓝颜色值，L是亮度通道值，a和b是两个彩色通道值。在CIE-Lab颜色空间对图像进行处理的特点就是对L的处理只会改变象素的明暗，不会影响到象素的彩色效果。而且，两种颜色空间的相互转换是可逆的。

2)采用双边网格对亮度通道进行快速双边滤波，得到实时的视频和图像的近似亮度值

双边网格对亮度通道进行快速双边滤波的过程如图2所示。对于输入的实时的视频和图像I，双边滤波器被定义为：

$F(I,X,{\mathrm{\σ}}_s,{\mathrm{\σ}}_r)=\frac{1}{W(I,X,Y)}\underset{Y\∈N\left(X\right)}{\mathrm{\Σ}}w(I,X,Y)I\left(Y\right)$

$W(I,X,Y)=\underset{Y\∈N\left(X\right)}{\mathrm{\Σ}}w(I,X,Y)$

w(I，X，Y)＝G(‖Y-X‖，σ_s)G(|I(Y)-I(X)|，σ_r)

$G(d,\mathrm{\σ})=e^{-{\left(\frac{d}{\mathrm{\σ}}\right)}^2/2}$

式中X表示象素在图像中的二维坐标(x，y)，N(X)为其邻域，参数σ_s定义了滤波器中使用的邻域空间大小。增大σ_s能使图像变得更模糊，但如果σ_s设定得过大，则显著边缘的特征也将会变平滑。参数σ_r决定了邻域Y象素与X象素亮度差值所影响的权系数。

创建双边网格，用三维坐标来定义一个双边网格数据结构Γ，其中前两维为图像上的二维坐标(x，y)，第三维是图像的亮度。双边网格数据结构Γ以一张二维纹理储存，按第三维亮度域的级数平摊到纹理平面上。双边网格算法由以下五步实现。

(1)初始化：Γ(i，j，k)＝(0，0)。

(2)将输入实时的视频和图像的所有象素的值置入对应的网格中，对Γ进行累加，增加网格的值，这实际上是在顶点着色器中实现的分配操作：Γ([x/s_s]，[y/s_s]，[I(x，y)/s_r])+＝(I(x，y)，1)，式中s_s和s_r分别表示空间域和亮度域的采样率，[·]为最接近的整数值操作符，(I(x，y)，1)是齐次值的表示方法，第二项是齐次项。如果使用预先计算好的顶点缓存来进行光栅化，会消耗额外的存储空间及传输时间。因此，我们直接使用顶点着色器来光栅化输入象素的坐标并确定输出网格位置。我们利用Direct3D 10流水线中输入汇编器自动生成的值SV VertexID及图像的大小(高度及宽度)来计算输入坐标。这样，我们绘制图像象素个数的顶点，而无需绑定顶点缓存。顶点着色器也叫顶点着色单元(vertex shader)是一个在图形卡的GPU上执行的程序，它替换了固定功能管线(fixed function pipeline)中的变换(transformation)和光照(lighting)阶段。Direct3D是能处理比较复杂的三维动画的图形接口库(graphics interface library)。

(3)对双边网格进行高斯卷积，利用高斯卷积的可分离性，分别对x，y，和z三个方向进行卷积。根据用户设定的σ_s和σ_r值自动确定空间域s_s和亮度域s_r采样率。

(4)将卷积得到的值除以各自的齐次项，即归一化操作。

(5)将三维网格切片，重构出二维图像结果以得到输出图像的象素值。对于三维网格，使用三线性插值来取得(x/s_s，y/s_s，I(x，y)/s_r)位置的值。利用图形硬件的双线性插值特性，我们先从网格纹理中采样出最接近z值的两张切片上的值，再进行一次插值即可得到所求的值，该值即为实时的视频和图像的近似亮度值。

双边网格是一个基本的数据结构，它能使许多基于边缘的操作达到实时的运行效率。实际上，它是一个三维数组，前两维表示二维象素坐标(x，y)并构成空间域，第三维z表示亮度域。由于实时抽象化技术中的双边滤波器和边缘检测器是主要的耗时瓶颈，因此选用双边网格来进行加速。

3)伪量子化实时的视频和图像的近似亮度值

将上述双边网格对亮度通道进行快速双边滤波得到的连续的实时的视频和图像的近似亮度值进行伪量子化，我们将亮度值总宽度分为8到12层，按照下面的公式计算每一层的亮度值：

式中Q为所计算的伪量子化亮度值，Δq是离散化宽度，q_nearest是最接近I(X)的离散值，

用来控制相邻两个离散值之间变化的快慢程度。连续的实时的视频和图像的近似亮度值伪量子化后产生类似于卡通的层次感效果。

4)采用基于特征流的各向异性的高斯差分线条抽取算法对CIE-Lab颜色空间的实时的视频和图像的线条区域进行线条增强

基于特征流的各向异性的高斯差分线条抽取算法的流程如图3所示。我们将处理的实时的视频和图像的象素的局部方向考虑到高斯差分算法中，使高斯差分滤波器仅沿着垂直于局部“特征流”方向进行计算。为了获得光滑及风格化的线条，首先要从输入图像I中构造一个近似的特征流场V。该特征流场是一个向量场，初始值垂直于输入图像的梯度场g(X)＝▽I(X)。特征流场必须满足三个条件：1)向量流必须能表达该邻域中显著边缘的切线方向；2)除了尖角部位外，各邻域向量必须光滑地对齐；3)重要的边缘必须能保持它们原有的方向。

为了能达到实时的视频和图像数据处理的实时性能，我们定义了一个特征流滤波器：

$V^{{\mathrm{new}}^{\′}}\left(X\right)=\frac{1}{k_h}\underset{Y\∈{\mathrm{\Ω}}_h\left(X\right)}{\mathrm{\Σ}}{w}_m(X,Y)w_d(X,Y)V^{\mathrm{cur}}\left(Y\right)$

$V^{\mathrm{new}}\left(X\right)=\frac{1}{k_v}\underset{Y\∈{\mathrm{\Ω}}_v\left(X\right)}{\mathrm{\Σ}}{w}_m(X,Y)w_d(X,Y)V^{{\mathrm{new}}^{\′}}\left(Y\right)$

式中，Ω_h(X)和Ω_v(X)分别表示象素X在水平方向及竖直方向上的邻域，k_h和k_v为相应的归一化项。

强度权因子函数w_m定义为：

$w_m=\frac{1}{2}(1+\tanh \left(\mathrm{\η}(\hat{g}\left(Y\right)-\hat{g}\left(X\right))\right))$

式中

表示梯度的强度值。当一个邻居象素的梯度强度比较高时，它对应的强度权因子函数值就比较大，反之亦然。参数η用来控制双曲正切函数的下降率，一般设定为1。

方向权因子函数w_d定义为：

w_d(X，Y)＝dot_product(V(X)，V(Y))

V(X)表示之前计算得出的X象素的特征流向量。从公式中可以看出，随着两个向量的夹角的减小，该方向权因子函数值将增大。如果夹角大于90度，V(Y)的方向将在平滑操作前被反向，有效地防止了旋涡流。

该滤波器实质上使用了可分离的近似法来构造特征流，因此我们能够很方便地在图形处理芯片GPU上并行实现。图像的梯度场由图像滤波Sobel运算符计算得出，并可以得出特征流场的初始值。然后将该类双边滤波器应用到特征流场中二到三次。注意的是，梯度场g会随着特征流场的变化而变动，而强度值

是保持不变的。

过滤完特征流场后，我们使用基于流场的各向异性高斯差分滤波器来抽取线条区域，即特征线：

$F\left(X\right)=\underset{s\∈c\left(X\right)}{\mathrm{\Σ}}G\left(\right||s-X||,{\mathrm{\σ}}_m)W\left(s\right)$

$W\left(s\right)=\underset{Y\∈l\left(s\right)}{\mathrm{\Σ}}(G\left(\right||Y-X||,{\mathrm{\σ}}_c)-\mathrm{\ρ}\·G\left(\right||Y-X||,{\mathrm{\σ}}_s))I\left(Y\right)$

式中c(X)，l(s)分别表示沿着象素X∈I的流切线方向和垂直象素s∈c(X)流方向的邻域。因此W(s)是沿着垂直于V(s)并与s相交的线l_s进行卷积操作的。l_s平行于梯度方向g(s)，并且l_s(0)＝s。我们再一次利用图形硬件的双线性插值能力，从邻域中采样出p×q个点，而每一次采样只需要两次纹理读取操作。在这里，我们设定σ_s＝1.6σ_c，同时σ_c和σ_m还自动决定采样大小p和q。阈值参数ρ影响该边缘检测器的敏感度，我们设定为0.99。

计算出高斯差分函数F的值后，我们需要确定出线条区域，为了得到光滑的线条效果，我们不使用黑白阈值来抽取线条，而是将抽取的线条亮度值设定为：

式中，参数

控制线条的尖锐程度，这样使用连贯的、风格化的线条来增强了线条区域，抽取出了连贯的、风格化的线条。

由于特征流场的构造可以看作是一个修改的双边滤波器，细微的线条将被滤去，而显著的边缘将被增强。并且，我们可以在抽取线条之前应用真实的双边滤波以除去图像中的噪场。这样我们就可以降低低对比度区域的对比度，增强线条区域的对比度。

计算出线条区域后，我们对抽取的线条区域和近似亮度值进行组合操作使线条区域的线条增强。按照下面指令进行组合操作：

I(X)＝Q(X)·D(X)

这种基于特征流的各向异性的高斯差分线条抽取算法对视频和图像的线条区域进行线条增强的方法能够在图形处理的硬件中并行处理，使各种与边缘检测相关的图像处理技术能够达到实时的运行效率。

5)将最终的处理完毕的CIE-Lab颜色空间的实时的视频和图像重新转换回红绿蓝颜色空间的实时的视频和图像。CIE-Lab颜色空间转换到红绿蓝颜色空间按照下面的公式进行转换：

$\left\{\begin{array}{c}R=L+1.403*a\\ G=L-0.714*a-0.334*b\\ B=L+1.773*a\end{array}\right.$

式中R，G，B分别表示红绿蓝颜色值，L是亮度通道值，a和b是两个彩色通道值。在CIE-Lab颜色空间对图像进行处理的特点就是对L的处理只会改变象素的明暗，不会影响到象素的彩色效果。而且，两种颜色空间的相互转换是可逆的。

Claims (1)

1.一种基于特征的实时的视频和图像抽象化方法，该方法包括以下五个步骤：

(1)实时的视频和图像读取后，按照下面的公式由红绿蓝颜色空间转换到CIE-Lab颜色空间，使实时的视频和图像的亮度通道和彩色通道相分离；

$\left\{\begin{array}{c}L=0.299*R+0.587*G+0.114*B\\ a=0.713*(R-L)\\ b=0.564*(B-L)\end{array}\right.$

式中R，G，B分别表示红绿蓝颜色值，L是亮度通道值，a和b是两个彩色通道值；

(2)采用双边网格对亮度通道进行快速双边滤波，得到实时的视频和图像的近似亮度值，方法如下：

创建双边网格，用三维坐标来定义一个双边网格的数据结构Γ，其中前两维为图像上的二维坐标(x，y)，第三维是图像的亮度，对每个双边网格(i，j，k)先初始化为：Γ(i，j，k)＝(0，0)，将实时的视频和图像的所有象素置入对应的网格中，对Γ按公式Γ([x/s_s]，[y/s_s]，[I(x，y)/s_r])+＝(I(x，y)，1)进行累加，式中s_s和s_r分别表示空间域和亮度域的采样率，[·]为最接近的整数值操作符，(I(x，y)，1)是齐次值的表示方法，第二项是齐次项，双边网格创建完成后，对双边网格的齐次值相对于三维方向分别进行高斯卷积操作，并将所得结果除去齐次项，再将该三维网格切片，重构出二维图像结果，然后利用图形硬件的双线性插值功能取得双边网格中位于坐标(x/s_s，y/s_s，I(x，y)/s_r)的值，即实时的视频和图像的近似亮度值；

(3)伪量子化实时的视频和图像的近似亮度值，方法如下：

按照公式

计算每一层的亮度值，式中Q为所计算的伪量子化亮度值，Δq是离散化宽度，q_nearest是最接近I(x，y)的离散值，

用来控制相邻两个离散值之间变化的快慢程度；

(4)采用基于特征流的各向异性的高斯差分线条抽取算法抽取线条区域并对抽取的线条区域和近似亮度值进行组合操作使线条区域的线条增强；其中，所述的线条增强的方法如下：

创建一个特征流场V(x，y)，初始值垂直于输入图像的梯度场对该特征流场进行滤波操作并计算出流场方向的高斯卷积值和垂直于流场方向的卷积值，再进行差分计算，最后利用各向异性的高斯差分算法抽取线条区域并对抽取的线条区域和近似亮度值进行组合操作使线条区域的线条增强；

所述的滤波操作中采用如下特征流滤波器：

$V^{{\mathrm{new}}^{\′}}\left(X\right)=\frac{1}{k_h}\underset{Y\∈{\mathrm{\Ω}}_h\left(X\right)}{\mathrm{\Σ}}{w}_m(X,Y)w_d(X,Y)V^{\mathrm{cur}}\left(Y\right)$

$V^{\mathrm{new}}\left(X\right)=\frac{1}{k_v}\underset{Y\∈{\mathrm{\Ω}}_v\left(X\right)}{\mathrm{\Σ}}{w}_m(X,Y)w_d(X,Y)V^{{\mathrm{new}}^{\′}}\left(Y\right)$

式中，Ω_h(X)和Ω_v(X)分别表示象素X在水平方向及竖直方向上的邻域，k_h和k_v为相应的归一化项；

强度权因子函数w_m为：

$w_m=\frac{1}{2}(1+\tanh \left(\mathrm{\η}(\hat{g}\left(Y\right)-\hat{g}\left(X\right))\right))$

式中，

表示梯度的强度值，参数η用来控制双曲正切函数的下降率；

方向权因子函数w_d定义为：

w_d(X，Y)＝dot_product(V(X)，V(Y))，w_d(X，Y)表示(V(X)，V(Y))的点积；V(X)表示之前计算得出的X象素的特征流向量；

所述的线条区域如下：

$F\left(X\right)=\underset{s\∈c\left(X\right)}{\mathrm{\Σ}}G\left(\right||s-X||,{\mathrm{\σ}}_m)W\left(s\right)$

$W\left(s\right)=\underset{Y\∈l\left(s\right)}{\mathrm{\Σ}}(G\left(\right||Y-X||,{\mathrm{\σ}}_c)-\mathrm{\ρ}\·G\left(\right||Y-X||,{\mathrm{\σ}}_s))I\left(Y\right)$

式中c(X)，l(s)分别表示沿着象素X∈I的流切线方向和垂直象素s∈c(X)流方向的邻域，因此W(s)是沿着垂直于V(s)并与s相交的线l_s进行卷积操作的；阈值参数ρ影响该边缘检测器的敏感度；

(5)实时的视频和图像由CIE-Lab颜色空间重新转换回红绿蓝颜色空间，按照下面的公式进行：

$\left\{\begin{array}{c}R=L+1.403*a\\ G=L-0.714*a-0.334*b\\ B=L+1.773*a\end{array}\right.$

式中R，G，B分别表示红绿蓝颜色值，L是亮度通道值，a和b是两个彩色通道值。

Images