CN103065347A - 一种基于Gabor特征空间的视频染色方法 - Google Patents

Abstract

本发明公开了一种基于Gabor特征空间的视频染色方法。该方法首先利用视频的纹理特征构建旋转不变的Gabor滤波器和Gabor特征空间，然后生成视频的Gabor流并选取关键帧。染色时先对关键帧进行染色，再根据Gabor流的计算结果将关键帧的颜色在视频帧间传播。对于染色效果存在高误差的地方，用户可以通过交互操作对颜色进行修改。本发明的染色方法简单易用，适用于具有区域性纹理的各类视频数据，并可以在图形硬件GPU平台上完成，运行速度快。

Description

一种基于Gabor特征空间的视频染色方法

技术领域

本发明属于计算机算法、计算机图形技术、图象处理技术和纹理生成技术领域，具体涉及一种基于Gabor特征空间的视频染色方法，可以用于电影动画及多媒体编辑等应用领域。

背景技术

图像染色技术是一种将单色灰度图像转换成彩色图像的处理技术。由于在染色过程中图像的颜色信息由一维灰度信息增加为三维RGB彩色信息，这种信息的重建通常都需要将用户对于灰度图像的解释和假设作为约束条件，通过优化的方法进行颜色的恢复[A.Levin，D.Lischinski，and Y.Weiss.Colorization using optimization.ACM Trans.Graph.，vol.23，no.3，pp.689-694，2004.]。有些染色方法以人工智能中的样本学习为基础，通过对一系列彩色图像样本的学习，建立彩色与像素灰度值的映射关系，以对灰度图象进行染色处理[T.Welsh，M.Ashikhmin，and K.Mueller.Transferring color to greyscale images.Proceedings of SIGGRAPH2002.2002，pp.277-280；Y.-W.Tai，J.Jia，and C.-K.Tang.Local color transfer via probabilisticsegmentation by expectation-maximization.Proceedings of CVPR 2005，2005，pp.747-754；Q.Luan，F.Wen，D.Cohen-Or，L.Liang，Y.-Q.Xu，and H.-Y.Shum.Natural image colorization.inRendering Techniques 2007.Eurographics，2007.]。最近Irony等人提出的一种染色方法[R.Irony，D.Cohen-Or，and D.Lischinski.Colorization by example.Proceedings of RenderingTechniques，2005，pp.201-210.]，可以仅针对一张彩色样本图像进行学习就可有效地将颜色传播到指定的灰度图像上。随后，该方法被扩展来处理多幅灰度图像[X.Liu，L.Wan，Y.Qu，T.-T.Wong，S.Lin，C.-S.Leung，and P.A.Heng，“Intrinsic colorization，”ACM Transactions on Graphics(SIGGRAPH Asia 2008issue)，Vol.27，No.5，2008，pp.152.]。还有一些染色技术以用户交互为辅助手段[Y.-C.Huang，Y.-S.Tung，J.-C.Chen，S.-W.Wang，and J.-L.Wu，“An adaptive edgedetection based colorization algorithm and its applications，”Proceedings of ACM Multimedia，2005，pp.351-354；L.Yatziv and G.Sapiro.Fast image and video colorization using chrominanceblending.IEEE Transactions on Image Processing，vol.15，no.5，pp.1120-1129，2006；V.Konushin and V.Vezhnevets，“Interactive image colorization and recoloring based on coupled maplattices，”Proceedings of Graphicon，vol.4，2006，pp.231-234.]，通过用户交互给灰度图像的特定区域直接着色，然后再将颜色扩散传播到整个图像空间。Yatziv和Sapiro采用一种像素间颜色加权平均的方法进行颜色扩散，其颜色加权的权值与像素间测地距离成正比。另外，贝叶斯纹理分类的方法也被引入到航天航空灰度图像的染色中[U.Lipowezky.Grayscale aerialand space image colorization using texture classification.Pattern Recognition Letters，vol.27，no.4，pp.275-286，2006.]。通过使用原型匹配，它能克服[T.Welsh，M.Ashikhmin，and K.Mueller.Transferring color to greyscale images.Proceedings of SIGGRAPH，2002，pp.277-280.]所提出染色方法的缺点。

在现有的染色方法中，光流算法[B.K.P.Horn and B.G.Schunck.Determining optical flow.Artif.Intell.，vol.17，no.1-3，pp.185-203，1981；B.Lucas and T.Kanade.An iterative imageregistration technique with an application to stereo vision.International Joint Conference onArtificial Intelligence，vol.3，1981；D.Heeger.Optical flow using spatiotemporal filters.International Journal of Computer Vision，vol.1，no.4，pp.279-302，1988；R.MARCH.Computation of stereo disparity using regularization.Pattern recognition letters，vol.8，no.3，pp.181-187，1988；M.Black and P.Anandan.The Robust Estimation of Multiple Motions：Parametricand Piecewise-Smooth Flow Fields.COMPUTER VISION AND IMAGE UNDERSTANDING，vol.63，pp.75-104，1996；L.Alvarez，R.Deriche，J.S′anchez，and J.Weickert.Dense Disparity MapEstimation Respecting Image Discontinuities：A PDE and Scale-Space Based Approach.Journal ofVisual Communication and Image Representation，vol.13，no.1-2，pp.3-21，2002；T.Brox，A.Bruhn，N.Papenberg，and J.Weickert.High Accuracy Optical Flow Estimation Based on a TheoryforWarping.LECTURE NOTES IN COMPUTER SCIENCE，pp.25-36，2004.]是对视频图像间视差进行计算的方法，适用于一般视频序列的物体运动估计。但是，视频中场景结构的遮挡关系和物体的不规则运动，使得光流的精确计算很困难。最近提出的VideoSnap技术[X.Bai，J.Wang，D.Simons，and G.Sapiro，“Video SnapCut：robust video obj ect cutout using localizedclassifiers，”in ACM SIGGRAPH 2009papers.ACM，2009，p.70.]结合了图像分类和高质量抠图技术，可得到高质量的光流结果。而SIFT流[C.Liu，J.Yuen，A.Torralba，J.Sivic，and W.Freeman，“SIFT flow：dense correspondence across different scenes，”in Proc.ECCV2008，2008，pp.28-42.]采用了更强大的像素运动跟踪算子，能够提供更好的视频像素运动估计。

纹理特征提取可用于图像的分类、分块、合成以及形状提取等多种应用领域，通常纹理特征的提取可以通过统计模型来表达[M.Galun，E.Sharon，R.Basri，and A.Brandt.Texturesegmentation by multiscale aggregation of filter responses and shape elements.in Computer Vision，2003.Proceedings.Ninth IEEE International Conference on，2003，pp.716-723.]。纹理特性一般包括大小，方向，亮度，纹元密度等，这些基本特性在很多前人的方法中都有研究[B.Julesz.Textons，the elements of texture perception，and their interactions.Nature，vol.290，no.5802，pp.91-97，1981]。而对于纹理的分析最近也有了显著的提高，特别是利用统计方法来表达纹理特征的一些方法，比如Gabor滤波器、滤波组、随机过程模型以及小波等[T.Weldon，W.Higgins，and D.Dunn，Efficient Gabor filter design for texture segmentation.Pattern Recognition，vol.29，no.12，pp.2005-2015，1996.E.Bruno and D.Pellerin，“Robust motion estimation using spatialgabor-like filters，”Signal Process.，vol.82，no.2，pp.297-309，2002.]。这些纹理特征的统计函数可被利用来进行纹理分类和图像分割等。对于图像/视频染色技术而言，纹理特征的分析有助于将颜色从关键帧向其余帧进行传播，传播的精度与误差都可以通过图像帧之间的纹理度量来计算。

现有的染色方法中[A.Levin，D.Lischinski，and Y.Weiss，“Colorization usingoptimization，”ACM Trans.Graph.，vol.23，no.3，pp.689-694，2004.Q.Luan，F.Wen，D.Cohen-Or，L.Liang，Y.-Q.Xu，and H.-Y.Shum，“Natural image colorization，”in RenderingTechniques 2007.Eurographics，2007.]，颜色之间的传播(帧间传播通过光流)通常是在图像空间中按四/八连通的方式进行(一个像素有四/八-连通空间的邻居)。这种固定颜色的传播模式通常需要比较多的用户交互工作，特别是对于自然纹理分布比较密集的视频。由于这些视频中类似的色彩在分布上不一定连续，使用以前的染色方法(比如优化的方式[A.Levin，D.Lischinski，and Y.Weiss，“Colorization using optimization，”ACM Trans.Graph.，vol.23，no.3，pp.689-694，2004.]，混合方式[L.Yatziv and G.Sapiro，“Fast image and video colorization usingchrominance blending，”IEEE Transactions on Image Processing，vol.15，no.5，pp.1120-1129，2006.])，就需要用户指定每个区域的每一个细节的颜色，这对于视频染色来说，交互工作量非常大。

在视频染色中，为了得到更逼真的染色效果，通常还需要对染色进行色彩的修补，特别是针对一些细节比较复杂的视频和图像数据。为此，色彩传播计算要考虑帧间染色传播的时间相关性，具体地，就是要测量颜色传播的误差。这方面一般是采用运动估计的方法，但通常所采用的图像特征算子难以保证有效计算。比如SIFT(Scale-invariant feature transform)，虽然具有健壮性的特点，但与视频染色的特点不相符合，难以用于颜色的传播与跟踪。而对于SIFT流[C.Liu，J.Yuen，A.Torralba，J.Sivic，and W.Freeman，“SIFT flow：dense correspondenceacross different scenes，”in Proc.ECCV2008，2008，pp.28-42.]来说，其纹理特征检测更注重于纹理区域的特征点对比，因此，在应用于具有自然场景的视频数据时，其纹理特征检测容易产生误差，影响自然景观的染色效果，因为很多自然场景中的纹理通常表现为一些平滑过渡的视觉与色彩效果。

发明内容

本发明的目的在于克服现有技术中的问题，提供一种基于Gabor特征空间的视频染色方法。

本发明的基于Gabor特征空间的视频染色方法，其步骤包括：

1)利用视频的纹理特征构建旋转不变的Gabor滤波器和Gabor特征空间；

2)基于能量最小化生成视频的Gabor流并选择关键帧；

3)对关键帧进行染色；

4)基于Gabor流的计算结果将关键帧的颜色在视频帧间传播；

5)用户通过交互方式对存在高误差的染色区域进行修补。

步骤1)所述的Gabor滤波器由4个尺度、6个方向的滤波器组构成，其方向的调整根据像素所在局部区域的纹理方向判定算子得到，并可进行降维来压缩处理。

步骤1)所述的Gabor特征空间主要用于对像素的纹理特征相似性进行度量计算。

步骤2)所述的选择关键帧的方法为：基于视频的Gabor流计算帧间颜色传播误差，将误差累积值超过预设阈值的帧选取为所述关键帧；所述帧间颜色传播采用多分辨率金字塔的方法计算，并通过图形硬件GPU进行加速计算。

步骤3)所述的对关键帧进行染色的方法为：通过用户交互操作得到所述关键帧中部分像素的颜色，然后利用能量最优化原理将这些颜色在关键帧的Gabor特征空间中传播；所述对关键帧进行染色的方法可用于普通图像的染色。

步骤4)所述的帧间传播通过相邻帧间的像素与像素的并行颜色传播实现，并可以用图形硬件GPU加速。

所述GPU采用CUDA并行处理架构，具备可编程功能。

步骤5)中用户修补后的颜色可在局部图像空间进行再传播，以实时得到修正后的染色效果。

与现有技术相比，本发明的有益效果如下：

1、本发明构造了具有旋转不变性的视频/图像特征空间，用以度量视频/图像中像素所在区域的纹理相似性，由此可对色彩在Gabor特征空间中的传播和优化进行有效处理。

2、本发明的染色方法简单易用，且支持用户交互，可通过多遍叠加优化的计算，实现视频颜色的修补与渐进染色的优化处理，并得到实时显示。

3、在视频染色中，整个颜色的修补过程可以完全在图形硬件GPU平台上完成，相比于其它染色方法，运行速度能得到极大提高。

附图说明

图1为采用本发明的视频染色方法对河流视频进行染色的效果图。

图2为本发明实施例中的视频染色方法的流程示意图。

图3为本发明的旋转不变Gabor滤波器与传统的二维Gabor滤波器的纹理特征鉴别能力比较示意图。

图4为采用本发明方法针对帆船视频进行Gabor流计算，以及根据Gabor流进行的颜色传播示意图。

图5为采用本发明方法以登山视频为例根据帧间累计误差选择视频关键帧的流程图。

图6为利用光流方法和本发明方法对水母视频色彩传播误差进行度量的比较示意图。

图7为利用光流方法和本发明方法对攀岩视频色彩传播误差进行度量的比较示意图。

图8为利用光流方法和本发明方法对海岸视频色彩传播误差进行度量的比较示意图。

图9为利用本发明方法对攀岩视频进行染色的效果图。

图10为利用本发明方法对滑雪视频进行染色的效果图。

具体实施方式

以下通过实施例并结合附图对本发明进行详细的描述，但不构成对本发明的限制。

视频染色的实质任务就是将颜色从用户指定的少量像素向其余颜色未知的灰度像素进行传播，并传播到未知灰度的视频图像上。而染色的根本任务是由用户指定少数像素的颜色，然后将颜色分配到(颜色不详)图像/视频的像素中。为此，本发明基于以下的观察结果提出了本发明，即：视频中纹理特征或者灰度值相似的像素(纹理，灰度值)一般有类似的可移植颜色。在此，关键问题是如何量化地度量纹理特征的相似性关系，并获得灰度视频中的像素相似性。

对此，本发明构建了基于Gabor滤波特征值的像素特征空间，就可以根据像素的相似性对颜色进行有效的颜色传播。对于像素颜色在不同帧中的匹配关系，一种简单的解决方案是计算视频的光流，然后根据光流沿视频的时间轴对颜色进行传播。然而这种方法中，光流计算的误差常会导致用户输入的颜色在染色中发生混淆。同时，该方法需要通过求解一个大型的线性系统，计算开销很大。为此，本发明建立一种Gabor流，以专门测量颜色在视频序列中的传播误差，可避免对视频数据进行整体优化所带来的大量计算。经试验表明Gabor流可以很好地表达视频中大量像素的运动关系，因此可有效处理色彩传播的帧间误差问题，得到高质量的视频染色效果，如图1所示的河流视频中利用Gabor流技术得到的染色效果，其中(a)为原始视频中的一幅图像，用户对该图像的一些像素赋予了颜色，(b)为根据用户赋予的颜色对该原始图像染色后的效果图，(c)为是根据Gabor流颜色在视频帧间传播后的效果图。

本发明的视频染色方法可参见图2，其步骤包括

a)从原始视频中提取局部纹理特征；

b)构建旋转不变的Gabor特征空间：利用视频的局部纹理特征调整Gabor滤波器方向，构造具备旋转不变特性的Gabor滤波器，并生成视频Gabor特征空间，用于染色中的像素颜色传播与匹配；

c)计算Gabor流：基于能量最小化生成关于视频的Gabor流；

d)选择关键帧：利用视频的Gabor流计算帧间颜色传播的误差，误差累积值超过了预设阈值的帧，选取为视频染色的关键帧；

e)关键帧染色：通过用户交互操作得到关键帧中部分像素的颜色，然后利用能量最优化原理将这些颜色在关键帧的Gabor特征空间中传播，直至达到平衡状态；能量最优化原理即能量最小化计算，在求解能量最小化的过程中，其相应的方程组求得稳定解时即达到平衡状态。

f)将颜色进行帧间传播：按照Gabor流的计算结果，将关键帧的颜色在视频帧间传播；

g)染色的交互修补：对于染色效果存在高误差的地方，用户可以通过交互操作对颜色进行修改，并在局部图像空间进行修改颜色的再传播，以实时得到修正后的染色效果。

下面对上述视频染色方法做具体的说明。

1.旋转不变Gabor特征空间及Gabor流计算：

本发明的目标是建立一个函数空间，以便有效衡量像素间的纹理相似性。[B.S.Manjunath and W.-Y.Ma，“Texture features for browsing and retrieval of image data，”IEEE Trans.Pattern Anal.Mach.Intell.，vol.18，no.8，pp.837-842，1996.]提出了用Gabor小波来分析纹理的特征。首先，2维的Gabor小波及其傅里叶空间中的数学表达式为：

$g(x,y)=\left(\frac{1}{2\mathrm{\π}{\mathrm{\σ}}_x{\mathrm{\σ}}_y}\right)e^{-\frac{1}{2}(\frac{x^2}{{{\mathrm{\σ}}_x}^2}+\frac{y^2}{{{\mathrm{\σ}}_y}^2})+2\mathrm{\πjWx}}---\left(1\right)$

$G(u,v)=e^{-\frac{1}{2}[\frac{{(u-W)}^2}{{{\mathrm{\σ}}_u}^2}+\frac{v^2}{{{\mathrm{\σ}}_v}^2}]}---\left(2\right)$

其中

通过对函数g(x，y)进行适当的尺度放缩和方向旋转，就能得到各个尺度和方向下的Gabor小波(公式(3))：

g_mn(x，y)＝a^-mg(x′，y′)，a＞1    (3)

x′＝a^-m(xcosθ+ysinθ)，y′＝a^-m(-xsinθ+ycosθ)

其中m代表尺度，n代表方向。θ＝nπ/K，K是总方向数。

Gabor小波基不具备正交性，这意味着用它过滤图片将产生冗余信息。为此Manjunath提出了一种参数估计的方法来最大限度地避免滤波的冗余信息：令U_l和U_h分别代表中心频率的下界和上界，K代表总方向数，K为总尺度数，可用如下经验公式来估计参数σ_v和σ_u

$a={(U_h/U_l)}^{\frac{1}{S-1}}$

${\mathrm{\σ}}_u=\frac{(a-1)U_h}{(a+1)\sqrt{2\ln 2}}---\left(4\right)$

${\mathrm{\σ}}_v=\tan \left(\frac{\mathrm{\π}}{2k}\right)[U_h-2\ln \left(\frac{2{{\mathrm{\σ}}_u}^2}{U_h}\right)]{[2\ln 2-\frac{{\left(2\ln 2\right)}^2{{\mathrm{\σ}}_u}^2}{{U_h}^2}]}^{-\frac{1}{2}}$

对于输入图像I(x，y)，它的Gabor小波变换可以表示成如下卷积形式：

$W_{m,n}(u,v)=\underset{\mathrm{\Ω}}{\∫}I(x,y){g_{m,n}}^{*}(u-x,v-y)\mathrm{dxdy}---\left(5\right)$

g_m，n是公式(3)定义的Gabor小波函数，上标*代表求复共轭，下标m和n标志了尺度和方向。然后，对得到的结果图中的每个点计算某个邻域内的均值和方差：

${\mathrm{\μ}}_{m,n}=\∫\∫\left|W_{m,n}(x,y)\right|\mathrm{dxdy},$

(6)

${\mathrm{\σ}}_{m,n}=\sqrt{{\∫\∫\left(\right|W_{m,n}(x,y)|-{\mathrm{\μ}}_{m,n})}^2\mathrm{dxdy}}$

利用[B.S.Manjunath and W.-Y.Ma，“Texture features for browsing and retrievalof image data，”IEEE Trans.Pattern Anal.Mach.Intell.，vol.18，no.8，pp.837-842，1996.]中的方法，并结合本发明的视频染色技术，当U_l＝0.04，U_h＝0.5，S＝4，K＝6(S为滤波器组的尺度数，K为滤波器组的方向数)，窗口大小取5×5时对图像中纹理特征检测的效果最佳，从而可以为颜色和图像中的纹理特征建立较准确的对应关系。把所有尺度和方向下的均值和方差进行聚集，可得到特征向量F：

F＝(μ₀₀，v₀₀，μ₀₁...μ₃₅，v₃₅)    (7)

图像中任意两点间的纹理相似性可用它们特征向量之间的某种距离来度量，一般来说，选用欧氏距离就能达到不错的染色目标(虽然它并非是关于人眼分辨特性的最佳表达)。但这样会有一个问题：如果两个像素在纹理特征上相同，只是在纹理的旋转方向上有不同，则该度量方法会将它们当成是不同的两个像素。这样的误判现象在表现自然景观的视频数据中非常常见。为此，本发明需要构建一种具有旋转不变特性的Gabor滤波器。Gabor滤波器主要由4个尺度、6个方向的滤波器组来构成，其方向的调整根据像素所在局部区域的纹理方向判定算子得到，并可进行降维来压缩处理。通过降维来压缩处理是指针对Gabor特征向量采用主成分分析进行降维，比如可以将48维的Gabor特征向量降维到16维向量，主成分分析是标准算法。对此，本发明先确定一个能计算纹理方向的函数A(x，y)，使得在像素位置(x，y)通过局部的方向判断可以得到该像素处的纹理方向，即A(x，y)＝β(该公式表示在图像空间中(x，y)坐标上的像素点，它的局部纹理方向为β，β在0-180度之间)；然后通过设置公式(3)中Gabor滤波器的θ值，使θ＝β，以获得与旋转方向一致的Gabor滤波器，并构造出旋转不变的Gabor特征空间。图3比较了具有旋转不变性的Gabor滤波器与传统的二维Gabor滤波器的区别。本发明在图中衣物上指定的3样本像素点，它们都有相同的纹理，但纹理方向不同；在图3右边，显示了这两种滤波方式对这3个像素点的滤波效果，这里均采用了48项滤波均值和方差进行量化统计。从统计曲线看，使用旋转不变Gabor滤波器的三条曲线基本相似，表示了这3个点具有很好的相似性，而使用传统的Gabor滤波器则没有这种相似性。因此，旋转不变性的Gabor滤波器具有更好的纹理特征鉴别能力。

基于旋转不变Gabor滤波器，本发明可建立一个特征空间，然后基于这些Gabor滤波的特征值，按照光流计算的方法[T.Brox，A.Bruhn，N.Papenberg，and J.Weickert，“HighAccuracy Optical Flow Estimation Based on a Theory for Warping，”LECTURE NOTES INCOMPUTER SCIENCE，pp.25-36，2004.]进行计算，就得到了Gabor流的流场。利用Gabor流，本发明就可跟踪计算像素沿着时间轴的相似性。图4中显示了帆船视频中对像素颜色传播情况进行测量的Gabor流。本发明利用Gabor流计算像素运动误差，并用该误差的大小来衡量选取关键帧，即：如果一个帧的精度误差累积值超过了预设的阈值，该帧就被设为一个关键帧，阈值的设置由用户根据不同的视频的情况来取值，在此实施例中取为0.1。图5显示了登山视频中选择关键帧的例子。图6、7和8分别对不同的视频进行了Gabor流方法与光流方法的计算，并比较了各自的颜色传播误差。本发明发现利用光流(左侧图)所产生的颜色传播高误差区域明显大于Gabor流的(右侧图)。这说明Gabor流能更好地控制颜色传播误差。在本发明的方法中，基于旋转不变性的Gabor特征被用来进行帧间像素的运动匹配，可以大大提高纹理发生旋转时的匹配精度，对于场景发生旋转的视频数据中的颜色帧间传播准确性更高。同时由于视频图像的像素匹配往往具有相互的独立性，便于本发明采用离散化的并行匹配算法，以较快地生成视频中所有像素的帧间匹配关系。假设像素的Gabor特征值有p个元素组成，表示为F_k，k＝1....p，那么其对应的Gabor流能量为

$E_{\mathrm{GF}}(u,v)=\underset{k=1}{\overset{p}{\mathrm{\Σ}}}{({\left(F_k\right)}_{x}u+{\left(F_k\right)}_{y}u+{\left(F_k\right)}_z)}^2---\left(8\right)$

通过求解能量最小化的线性方程组，可以得到基于Gabor流的像素颜色匹配。

2.关键帧染色：

视频染色中最困难的任务在于用户通常需要输入很多彩色笔画，而完成这些笔画的输入通常非常费时而且需要较多的专业技巧。针对这个问题，本发明的方法是首先自动选取视频中的关键帧，并对这些关键帧进行染色，然后再将颜色传播到视频序列的其他帧上。颜色的帧间传播是通过计算得到的Gabor流来完成的，采用的是多分辨率金字塔的计算方法，对于其传播的精度，本发明采用[Y.Chuang，A.Agarwala，B.Curless，D.Salesin，and R.Szeliski.Video matting of complex scenes.Proceedings of the 29th annual conferenceon Computer graphics and interactive techniques.ACM Press New York，NY，USA，2002，pp.243-248.]的方法来测量。由于颜色在帧间传播具有双向性，所以本发明对于Gabor流也进行了两个方向上的精度测试，并得到相应的误差度量图，再由此创建Gabor流的精度累积误差图。事实上，本发明对于关键帧的选择正是采用了对累积误差进行度量的方法，如果累计误差超过预设的阈值，则判定为关键帧。选择好关键帧后，本发明针对关键帧的染色，主要是基于输入笔画与纹理的相似性进行的。为此，本实施例提出一种基于能量最小化的染色方法，使得像素间的颜色传播在Gabor特征空间中进行，而不是在一般方法所采用的八-连通的图像空间。对于像素i，本发明在Gabor特征空间中寻找其最近的邻居像素点j作为i在纹理特征空间中的邻居(这里像素i和像素j并不一定在实际图像坐标上具有相邻的位置关系)。由此，本发明可以建立所有像素在Gabor特征空间中的邻接关系。本发明的方法中，视频图像被转换到YUV颜色空间。因此，在灰度值已知的条件下，本发明需要求解视频图像的U和V颜色分量。为叙述方便，本发明在下面仅针对U分量的求解过程进行详细介绍，而V颜色分量的求解方法也是相同的，不再赘述。在染色过程中，本发明的目标实际上是对视频特征空间中的相邻像素的颜色差异按加权方式求最小化，即

$E\left(U\right)=\underset{i}{\mathrm{\Σ}}{(U\left(i\right)-\underset{k\∈N_F\left(i\right)}{\mathrm{\Σ}}{W}_{\mathrm{ki}}U\left(k\right))}^2---\left(9\right)$

这里W_ki是范围在[0，1]中的权值，且

k∈N_F(i)表示像素k属于像素i在Gabor特征空间中的邻居，并且像素k与像素i在纹理特征空间中越接近，则相关权值越大。U表示U分量，E(U)取最小值，可以进行大规模线形方程组求解，得到全部像素的U分量，同理可求出V分量。

具体来说，本发明求解权值的数值与特征空间中的像素距离相关，即

$W_{\mathrm{ki}}\∞e^{-\mathrm{dist}(k,i)/2{\mathrm{\σ}}_F^2\left(i\right)},$ k∈N_F(i)    (10)

这里σ_F(i)是像素i与其所有在特征空间中相邻像素的距离的方差。

无论纹理区域在图像中是否坐标相邻，本发明的关键帧染色优化方法都可以有效地将颜色传播到图像中的这些纹理相似的区域。因此，与其它在图像空间传播颜色的染色方法相比，本发明的方法不受限于图象空间的连通性，可以对图象空间中不连通的相似像素进行色彩传播。由此，本发明的方法可很好地减少笔画输入量，且得到很好的染色效果。

3.基于Gabor流的颜色传播：

当关键帧染色完毕后，本发明将关键帧上的颜色传播到的其他的中间帧中。在整个颜色的传播过程中，染色效果可能存在着传播误差，这种误差随着传播帧数的增多而逐渐累积增长。为了解决染色的误差问题，本发明先对Gabor流的传播精度进行测量，然后在低误差的图像区域本发明直接将关键帧的颜色值沿着Gabor流传递到相应像素，而对于高误差的图像区域的像素，则允许用户通过交互的方式来实时修正并优化视频帧中的像素色彩细节，高误差一般是指当像素的相应的Gabor流误差大于一定阈值的像素区域，而该像素区域的选择则是根据具体的视频来判断的，在本实施例中的高误差被认为是误差大于0.0002的像素区域。为此，本发明提出了一种迭代方式的能量优化方法，将该用户指定区域的指定颜色传播到它在Gabor特征空间中的邻居：

基于Gabor流，本发明的染色方法能够很好地处理视频图像中的大多数帧图像。但这种方法仍有可能对纹理特征判断不准，特别是当颜色传播到不同纹理的边界处的时候，容易导致染色效果出现误差。为此，本发明允许用户在误差大的帧图像上交互地加入修补的颜色笔画以改善质量，并在修补颜色的传播上进行一定的图象空间的限制。在此，不同于其它方法中基于块识别来进行颜色匹配，本发明对于染色的改进和修补是在Gabor特征空间进行的，能较好地适应不同场景的纹理旋转和尺度变化。经过测试，这种在图像空间对于颜色效果进行修补的方法可以取得很好的染色效果，并且能有效保持纹理颜色在空间关系上的连续性。

本实施例的微机配置为Intel Core Duo 2.3G CPU，3G内存，GeForce 8800显卡以及WindowXP操作系统。本发明为视频颜色在时间序列上保持连贯性提出了有效的计算方法，并建立了基于Gabor小波的像素特征空间。其中对于Gabor流的设计主要利用了视频图像序列中像素颜色的时间连续性，而这种时间连续性可以通过针对视频图像的纹理分析加以描述。为更好地检测视频图像像素的纹理特征，本发明设计了一种旋转不变Gabor滤波器组进行滤波，从而构建了具有旋转不变性的Gabor特征空间。利用这种新的Gabor特征空间，本发明可以基于纹理相似性和用户输入来优化计算像素的色彩，最小化颜色的误差。由于颜色传播是在纹理特征空间中进行的，只要像素具有类似的纹理特征，本发明的方法就可以有效地将颜色进行传播，所以本发明的染色方法可以较好地处理图像中的不连通但纹理相似的区域，而这是其它染色算法往往难以处理问题。

本发明测试的样本视频，其分辨率范围介于300×400与800×600之间。根据本发明的测试，对于长度为300帧的视频图像序列，通常本发明只需要选择三到五个关键帧，就能对整个视频进行高质量的染色。对于染色效果的修补，也可以通过GPU加速，实时地将颜色传播到目标像素区域。每次颜色修补，一般进行大约1000次并行迭代的颜色扩散就能得到很好的结果。由于这些迭代计算可基于nVidia的CUDA进行程序实现，因此颜色修补具有很高的运行效率。表1列出了本发明的实验运行时间统计数据。图6、7和8中分别采用光流和Gabor流对视频数据进行染色效果的对比，由实验结果可知，Gabor流在处理视频染色过程中较光流更为准确有效(右列的图象是使用的Gabor流，而左列的是使用光流)。在本发明的方法中，通过建立基于Gabor滤波的Gabor特征空间，对视频在时空两个维度上进行分析，有助于对色彩效果进行基于纹理相似性的优化和传播，并可采用并行处理的方式，很好地提高工作效率。同时，本发明能有效处理视频场景中纹理旋转或者在空间位置上不相连的纹理区域，而其它视频染色方法往往仅依靠空间连通性进行像素间的颜色传播，难以处理这些情况。

按照上述过程，本实例中选用七个小视频进行了染色实验。表1中对这些视频的数据量和运行时间进行了统计。

表1本发明方法在GPU平台上运行的效率统计

表1说明了新的视频染色算法可以通过GPU的并行处理，使得染色的修补能实时地进行和显示。图9和10显示了视频的染色效果，所选取的处理对象分别为攀岩视频和滑雪视频，图9(a)和图10(a)为原始视频中的一帧，图9(b)和图10(b)是对该帧图像进行染色后的效果，图9(c)和图10(c)是颜色在帧间传播染色后的效果。实验效果表明新的染色方法可以针对各种不同场景视频取到较好的效果。

在本发明中，本发明的视频染色方法采用一种优化的Gabor流来计算和度量纹理特征在视频数据中的相似性，并进行颜色的传播。首先，本发明改进Gabor滤波器的构成形式，使其具有旋转不变性，由此可提高纹理特征相似性度量的效率。其次，本发明在Gabor特征空间对颜色进行的优化传播，可有效处理图象空间中不连通而特征相似的象素染色。对于视频染色中的帧间颜色传播，本发明建立了Gabor流计算的方式，能比已有的光流方法更好地控制误差累积，使得色彩传播在时间序列上能得到优化的实施。同时，本发明可以有效利用GPU进行并行化的实现，得到很高的运算效率。实验表明，本发明适用于具有区域性纹理的各类视频数据，特别是包含自然场景内容和视角旋转的黑白视频。本发明可以直接推广应用到相关的数字媒体设计与电影制作过程中，具有较强的实用意义。

Claims (10)

1.一种基于Gabor特征空间的视频染色方法，其步骤包括：

1)利用视频的纹理特征构建旋转不变的Gabor滤波器和Gabor特征空间；

2)基于能量最小化生成视频的Gabor流并选择关键帧；

3)对关键帧进行染色；

4)基于Gabor流的计算结果将关键帧的颜色在视频帧间传播；

5)用户通过交互方式对存在高误差的染色区域进行修补。

2.如权利要求1所述的视频染色方法，其特征在于，所述Gabor滤波器由4个尺度、6个方向的滤波器组构成，其方向的调整根据像素所在局部区域的纹理方向判定算子得到，并可进行降维来压缩处理。

3.如权利要求1所述的视频染色方法，其特征在于，所述Gabor特征空间主要用于对像素的纹理特征相似性进行度量计算。

4.如权利要求1所述的视频染色方法，其特征在于，基于视频的Gabor流计算帧间颜色传播误差，将误差累积值超过预设阈值的帧选取为所述关键帧。

5.如权利要求4所述的视频染色方法，其特征在于，所述帧间颜色传播采用多分辨率金字塔的方法计算，并通过图形硬件GPU进行加速计算。

6.如权利要求1所述的视频染色方法，其特征在于，通过用户交互操作得到所述关键帧中部分像素的颜色，然后利用能量最优化原理将这些颜色在关键帧的Gabor特征空间中传播。

7.如权利要求6所述的视频染色方法，其特征在于，所述对关键帧进行染色的方法可用于普通图像的染色。

8.如权利要求1所述的视频染色方法，其特征在于，所述帧间传播通过相邻帧间的像素与像素的并行颜色传播实现，并可以用图形硬件GPU加速。

9.如权利要求5或8任一项所述的视频染色方法，其特征在于，所述GPU采用CUDA并行处理架构，具备可编程功能。

10.如权利要求1所述的视频染色方法，其特征在于，步骤5)中用户修补后的颜色可在局部图像空间进行再传播，以实时得到修正后的染色效果。

Images