CN101588459A - 一种视频抠像处理方法 - Google Patents

Abstract

本发明公开了一种视频抠像处理方法，该方法包括了交互式硬分割及其优化、遮罩自动生成、基于子图像的抠像、前景物体跟踪与分割四个基本步骤，克服了现有视频抠像技术中人工交互量大的问题，提供了一种只需在视频第一帧中进行少量的笔画式交互，就可以自动对其余视频帧进行抠像处理的方法。较之一般视频抠像方法，本发明提出的方法可以更加快速有效的抠取视频前景物体，在抠像效率、抠像质量和抠像结果的时空一致性，尤其是降低抠像时用户交互量上，都有了显著性的提高。

Description

一种视频抠像处理方法

技术领域

本发明涉及一种数字图像以及数字视频处理中的高效的视频抠像处理方法。

背景技术

视频抠像是数字抠像的一个重要分支，是视频编辑的一项重要技术，用于提取视频中的感兴趣物体，并将提取的物体合成到新的场景中，得到一段具有特殊效果的视频。视频抠像技术在影视制作、远程视频会议、虚拟现实、增强现实、数字家庭娱乐等方面有着广泛的应用，它可以将实际拍摄的景物与电脑制作的虚拟场景完美的结合起来，将更加震撼的视觉冲击效果呈现给观众。

根据处理对像的不同，数字抠像可以分为两类，即图像抠像和视频抠像，其中图像抠像又可以看作是视频抠像的基础。根据图像合成公式，图像上的一点c的颜色值C可以表示为前景颜色F与背景颜色值B的凸组合，即：C＝αF+(1-α)B。因而抠像问题就可以定义为图像合成的逆过程，即：对给定图像上的点c，求c点的颜色值C所包含的前景颜色F，背景颜色B以及不透明度α，通常情况下，B是不需要的，因此，求取F与α就成为抠像问题的核心。对于单一图像，抠像是一个欠约束问题，有无数组解，抠像问题的难点也就在于从这无数组解中找到最合理的解。

最早的抠像技术是蓝屏抠像，它要求输入图像的背景颜色为固定的单一颜色，利用图像中背景与前景物体颜色的不同，达到准确抠取前景的目的。蓝屏抠像技术简单有效，计算量小，可以达到实时处理。但是它对背景颜色的严格要求，极大的限制了它的应用范围，使得这项技术到目前为止也只是在影视业中得到应用。

由于设备与场地的限制，我们平时所拍摄的都是自然场景下的视频，因此，自然图像抠像技术(natural image matting)逐渐成为当前研究的热点。目前，在研究者们的努力下，自然图像抠像已经出现了几种切实可行的交互式方法。其中有代表性的有贝叶斯方法(Bayesian matting)、泊松方法(Poisson matting)、鲁棒性方法(Robust matting)、闭合式方法(Closed-form matting)、谱分析法(Spectral matting)、软分割剪刀(Soft Scissors)等。根据用户的输入，这些方法又可以分为两类，第一类需要用户输入一个精细的遮罩(trimap)，如贝叶斯方法、泊松方法和鲁棒性方法等都属于这一类。遮罩是与待抠取图像对应的一幅灰度图像，它用白色表示确定的前景，黑色表示确定的背景，灰色表示未知区域。制作一个精细的遮罩是一件费时费力的工作，而且需要一定的经验，否则很难一次性制作一个合适的遮罩。第二类方法仅需要用户提供一些笔画式输入(可以看作是一种稀疏的遮罩，sparse trimap)，闭合式方法就属于这一类，这类方法虽然在一定程度上减小的用户的交互量，但是增加了算法本身的复杂度，需要较大的时间与空间开销，对高分辨率的图片一般都会因为空间开销太大而无法完成。谱分析法和软分割剪刀是两种比较特殊的方法。谱分析方法是一种完全自动的抠像方法，是通过类比谱分析图像分割理论而得到的一种方法。虽然能够达到自动抠像的目的，但是它却存在固有缺陷，也就是它只能抠取视觉上与背景明显可分的前景物体，而且需要大量的内存开销。软分割剪刀可以看作是一种能够实时反映用户交互结果的抠像方法。用户只需要用鼠标沿着前景物体的边缘勾勒出需要进行抠像的未知区域，算法就可以实时的计算出抠像结果，虽然这个方法可以快速方便的抠取前景物体，但是它本质上还是一种基于遮罩的方法，对于拓扑结构复杂的前景物体的抠取仍有较大难度。

随着自然图像抠像技术研究的深入，研究者们自然而然的想到将自然图像抠像技术扩展到视频抠像领域。目前文献中提取的视频抠像技术主要有贝叶斯视频抠像技术(Bayesian video matting)、散焦视频抠像技术(Defocus videomatting)、基于摄像机阵列的自然视频抠像(Natural video matting usingcamera arrays)和交互式时空一致的视频抠图方法(一种数字视频处理中交互式时空一致的视频抠图方法，专利公开号CN 101098475A)。

贝叶斯视频抠像技术是自然图像贝叶斯抠像技术在视频上的扩展，其主要思路是在输入视频流的关键帧上由用户交互生成遮罩，然后用光流法在帧之间进行双向跟踪，将关键帧上的遮罩扩散到其他帧，从而在一定程度上减少了用户交互制作遮罩的工作量。该方法的缺点在于，光流估计本身的不准确影响了生成的遮罩的准确度，尤其是当两帧之间物体运动的幅度较大的时候，这种影响更加突出。

散焦视频抠像技术是一种采用了特殊摄像系统的视频抠像技术，包括三个拥有相同光心和不同焦距的摄像机，根据三幅同时采集的不同焦距的图像，可以自动计算出遮罩。由于摄像机同时采集了三路视频流，所以抠像从一个欠约束问题变成了一个过约束问题，最后通过梯度下降算法进行求解。这种方法的限制是，(1)由于采用了特殊的硬件设备，不适合普通用户使用；(2)在摄像时需要提供比正常摄像机更强的光照条件；(3)系统所摄取的前景与背景必须有较大的深度差，并且前景与背景的颜色不能太相似。

基于摄像机阵列的自然视频抠像技术是采用一个摄像机阵列采集视频流，由于摄像机位置的差异，导致同一前景物体所对应的背景也产生差异，这就对抠像问题形成了一种额外的约束条件。统计各摄像机取得的图像的颜色均值和方差就可以计算出遮罩，并进一步求出前景F和不透明度α。该方法的缺点同样在于不能处理前景颜色和背景颜色相近的视频。

交互式时空一致的视频抠图方法将视频看作一个三维视频时空体，用户在三维视频时空体上进行交互后，经过扩散计算得到遮罩，然后用迭代的方式计算出三维视频体上每一点的α值，最后通过时空一致的前景重建得到前景物体。这种方法在一定程度上保持了抠像的视频时空一致性，但是仍然需要较多的用户交互。

由上可以看出，当前的视频抠像技术存在的问题主要有三个，(1)虽然有些视频抠像技术可以达到自动抠像的目的，但是需要特殊的设备支持，难以推广使用；(2)对单摄像机拍摄的视频进行抠像处理时需要大量的人工交互，是一件费时费力的工作；(3)在抠像过程中，视频的时空一致性的保持问题，也就是说如何使抠取的前景物体在回放时连续、稳定、无闪烁。对于普通用户来说，我们更为关注后两点。

发明内容：

本发明的目的在于克服现有视频抠像技术中人工交互量大的问题，提供了一种只需在视频第一帧中进行少量的笔画式交互，就可以自动对其余视频帧进行抠像处理的方法。

本发明采取的技术方案是，一种视频抠像处理方法，包括以下步骤：

步骤1，交互式硬分割及其优化：在视频第一帧图像上，用户采用笔画式交互辅助生成一个粗略的硬分割结果，然后对此硬分割结果用加权核密度估计算法和图切分算法进行优化，便于较为准确的确定前景物体的边缘；

步骤2，遮罩自动生成：在上述优化后的硬分割基础上，采用统计方法自动生成一个遮罩；

步骤3，基于子图像的抠像：将上述生成的遮罩的未知区域分成多个小块，每个小块称为一个子图像，在每一个子图像中分别进行抠像操作，计算出其不透明度α，子图像重叠部分的不透明度取多个α值的平均值；

步骤4，前景物体跟踪与分割：当第一帧中的物体被准确抠取出来之后，采用直方图反投影与加权核密度估计准确找出下一帧中的前景物体，自动做出硬分割并对分割结果进行优化，然后转到步骤2，循环操作直到视频结束。

本发明中所说的交互式硬分割及其优化，其步骤为：

步骤101，交互式硬分割：采用笔画式交互方式，用基于区块的图切分方法提取出粗略的前景目标；

步骤102，概率图求解：概率图表示了图像中每一个像素属于前景与背景的概率，本发明采用加权核密度估计算法求解概率图；

步骤103，图切分方法前景分割：构造吉布斯能量函数，采用图切分方法最小化此能量函数，从而对图像进行优化分割，得到硬分割结果。

本发明所说的遮罩自动生成，其步骤为：

步骤201，提取硬分割边缘Ψ，确定候选区域：首先，提取硬分割边缘Ψ，然后，用半径r₀的圆形刷子沿着Ψ刷出一个区域作为遮罩中未知区域的候选区域，r₀的大小由用户设定，大小以覆盖前景物体的模糊边缘为准；

步骤202，计算像素点到Ψ的距离：用距离变换计算候选区域中的每个像素点到Ψ的最近距离r；

步骤203，计算像素点的梯度：计算候选区域中每个像素点的梯度Δv；

步骤204，统计刷子半径：对于Ψ上的任一像素点p，在半径为r₀的圆形刷子区域内统计最近距离r的均方差var_r，并以Δv作为权重：

r＝∑_pΔv_pr_p/∑_pΔv_p

${\mathrm{var}}_r=\sqrt{{\mathrm{\Σ}}_p{\mathrm{\Δv}}_p{(r_p-\stackrel{\‾}{r})}^2/{\mathrm{\Σ}}_p{\mathrm{\Δv}}_p}$

以2*var_r为刷子半径重新确未知区域，自动生成一个合适的遮罩。

本发明所说的基于子图像的抠像，其步骤为：

步骤301，提取子图像：对于硬分割边缘Ψ上的任一像素点p，以该点为中心，生成一个6*var_r为边长的正方形，在原图像和遮罩上将这个正方形区域所对应的局部图像作为一个新的图像和新的遮罩，称之为子图像和子遮罩；

步骤302，子图像抠像：对子图像采用闭合式抠像法进行抠像处理，确定未知区域的不透明度，对硬分割边缘Ψ上的每一个点均采取步骤301和步骤302；

步骤303，子图像抠像结果求平均：由于Ψ上的邻近点生成的子图像会有重叠，对重叠部分的不透明度α值，我们采用各个子图像重叠区域α值的平均值；

本发明所说的前景物体跟踪与分割，其步骤为：

步骤401，颜色空间转换：将原始视频图像转换到c1c2c3颜色空间；

步骤402，统计直方图并归一化：对于前一帧中抠取出来的前景物体，统计其在c1c2c3空间每个通道上的直方图，并分别记为：hist_c₁，hist_c₂和hist_c₃，由于c1c2c3是一个实数空间，所以需要对每一个通道进行量化，本发明采用下式归一化直方图：

hist_c_i(j)＝hist_c_i(j)/max(hist_c_i)，1≤j≤BINs，i＝1，2，3

其中BINs为量化级数，max(hist_c_i)为第i通道直方图的最大值；

步骤403，确定前景预测区域：对前一帧抠像结果的不透明度图像以半径为d的矩形结构进行膨胀，由于前景目标在相邻两帧的时间内位置移动很小，所以只要调整d大小，保证下一帧中的前景目标也在这个膨胀后的区域内，那么这个膨胀后的区域就作为下一帧中前景目标所在区域的预测；

步骤404，计算像素初始概率：首先，对下一帧图像预测区域内的某个像素，计算其c1c2c3值，并量化为：

c_i＝(_ci/(π/2))*BINs，i＝1，2，3

然后，计算此像素属于前景和背景的初始概率：

$p_{\mathrm{fg}}=\sqrt{\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{(\mathrm{hist}\_c_i\left(c_i\right))}^2/3},$ i＝1，2，3

p_bg＝1-p_fg

步骤405，图像硬分割：在预测区域内对像素进行平均抽样，再一次利用加权核密度估计算法求解概率图并用图切分算法对图像进行硬分割，这就完成了抠像的一个循环过程。

本发明的优点在于：

(1)现有的视频抠像技术需要大量的用户交互来制作遮罩，这一过程极其繁琐，费时费力，本发明的方法只需要用户在视频第一帧上进行少量的笔画式交互以辅助完成硬分割过程，而遮罩的制作完全是自动化的，极大减少了用户的交互量。

(2)本发明所采用的自动式遮罩制作方法，充分考虑了前景物体边缘可能存在的各种结构，经过统计得出刷子的当前宽度，这种可变宽度的刷子可以制作出更加合理的遮罩。

(3)本发明的方法在抠像过程中采用了分块图像的闭合式抠像方法，由于分块图像尺度小，可以加快抠像的速度，而且，将图像分块进行处理的方法也使得大图像的抠像成为可能，另外，我们使用子图像重叠区域α值的平均作为最后的抠像结果，有利于保持抠像结果的时空一致性。

(4)本发明所采用的直方图反投影、加权核密度估计和图切分相结合的前景物体跟踪算法与一般的跟踪算法不同，它可以自动对视频下一帧中前景物体做出精确的硬分割。正是这一技术的存在，使得本发明的方法可以自动进行抠像处理。

总之，本发明的方法较之一般视频抠像方法可以更加快速有效的抠取视频前景物体，在抠像效率、抠像质量和抠像结果的时空一致性，尤其是降低抠像时用户交互量上，都有了显著性的提高。

附图说明

图1是本发明所述方法示意图。

具体实施方式

下面结合具体实施方式对本发明做进一步描述，如图1所示，一种视频抠像处理方法其步骤包括：

步骤1，用户在第一帧图像上进行笔画式交互，辅助分割出前景物体，然后用加权核密度估计和图切分方法对硬分割结果进行优化；

步骤2，遮罩自动生成：在上述优化后的硬分割基础上，采用统计方法统计硬分割边缘附近高梯度像素的分散度，确定刷子的半径，从而自动生成一个合适的遮罩；

步骤3，基于子图像的抠像：将上述生成的遮罩的未知区域分成多个小块，每个小块称为一个子图像，在每一个子图像中分别进行抠像操作，计算出其不透明度α，子图像重叠部分的不透明度取多个α值的平均值；

步骤4，前景物体跟踪与分割：当第一帧中的物体被准确抠取出来之后，采用直方图反投影与加权核密度估计准确找出下一帧中的前景物体，自动做出硬分割并对分割结果进行优化，然后转到步骤2，循环操作直到视频结束。

上述各个步骤的详细说明如下，其中，

步骤1中的交互式硬分割及其优化，其步骤为：

步骤101，交互式硬分割：对输入的一帧图像，首先，用区域生长法对其进行过分割，过分割的结果是将图像分成小的区块，每个区块中像素的颜色相差不大；然后，用户用笔画式交互在前景物体和背景场景上分别画上不同的标识；最后，对过分割图像用Graph Cut方法提取出粗略的前景物体；

步骤102，概率图求解：概率图表示了图像中每一个像素属于前景与背景的概率，本发明采用加权核密度估计算法求解概率图；首先，对笔画式交互硬分割结果的前景像素初始化一个较大的前景概率 ${\hat{P}}_{\mathrm{fg}}\left(x_i\right)=0.9,$ 和一个较小的背景概率 ${\hat{P}}_{\mathrm{bg}}\left(x_i\right)=0.1,$ 表示该区域中的像素属于前景的概率极大，而属于背景的概率极小；对背景像素初始化一个较大的背景概率 ${\hat{P}}_{\mathrm{bg}}\left(x_i\right)=0.9$ 和一个较小的前景概率 ${\hat{P}}_{\mathrm{fg}}\left(x_i\right)=0.1,$ 表示该区域中的像素属于背景的概率极大，而属于前景的概率极小。然后，对笔画式交互硬分割结果的掩膜(mask)进行膨胀，并将膨胀后的区域作为采样区域对像素进行均匀采样，得到一组样值，记录采样点个数为N；最后，用加权核密度估计算法重新估算膨胀后的区域中的每个像素属于前景与背景的概率：

$w_{\mathrm{fg}}\left(y\right)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\hat{P}}_{\mathrm{fg}}\left(x_i\right)\underset{j=1}{\overset{d}{\mathrm{\Π}}}K\left(\frac{y_j-x_{\mathrm{ji}}}{{\mathrm{\σ}}_j}\right)$

$w_{\mathrm{bg}}\left(y\right)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\hat{P}}_{\mathrm{bg}}\left(x_i\right)\underset{j=1}{\overset{d}{\mathrm{\Π}}}K\left(\frac{y_j-x_{\mathrm{ij}}}{{\mathrm{\σ}}_j}\right)$

${\hat{P}}_{\mathrm{fg}}=w_{\mathrm{fg}}/(w_{\mathrm{fg}}+w_{\mathrm{bg}})$

${\hat{P}}_{\mathrm{bg}}=w_{\mathrm{bg}}/(w_{\mathrm{fg}}+w_{\mathrm{bg}})$

其中K是高斯核函数， $K\left(\frac{t}{\mathrm{\σ}}\right)=\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\σ}}\exp (-\frac{1}{2}{\left(\frac{t}{\mathrm{\σ}}\right)}^2).$

步骤103，图切分方法前景分割：构造吉布斯(Gibbs)能量函数，采用图切分方法最小化此能量函数，从而对图像进行优化分割，得到较为准确的硬分割结果。能量函数的构造如下：

$E\left(X\right)=\underset{v\∈V}{\mathrm{\Σ}}{E}_1\left(x_v\right)+\underset{(u,v)\∈E}{\mathrm{\Σ}}{E}_2(x_u,x_v)$

$E_1\left(x_v\right)=\left\{\begin{array}{ccc}{\hat{P}}_{\mathrm{bg}}& \mathrm{if}& x_v=0\\ {\hat{P}}_{\mathrm{fg}}& \mathrm{if}& x_v=1\end{array}\right.$

$E_2(x_u,x_v)=\left\{\begin{array}{ccc}\mathrm{\λ}(1.0-\arctan \left(\right||x_u-x_v|\left|\right)/(\mathrm{\π}/2)),& \mathrm{if}& x_u\≠x_v\\ 0& \mathrm{if}& x_u=x_v\end{array}\right.$

步骤2中的遮罩自动生成，其步骤为：

步骤201，提取硬分割边缘Ψ，确定候选区域：首先，提取硬分割边缘Ψ，然后，用半径r₀的圆形刷子沿着Ψ刷出一个区域作为遮罩中未知区域的候选区域，r₀的大小由用户设定，大小以覆盖前景物体的模糊边缘为准；

步骤202，计算像素点到Ψ的距离：用距离变换计算候选区域中的每个像素点到Ψ的最近距离r；

步骤203，计算像素点的梯度：计算候选区域中每个像素点的梯度Δv；

步骤204，统计刷子半径：对于Ψ上的任一像素点p，在半径为r₀的圆形刷子区域内统计最近距离r的均方差var_r，并以Δv作为权重：

r＝∑_pΔv_pr_p/∑_pΔv_p

${\mathrm{var}}_r=\sqrt{{\mathrm{\Σ}}_p{\mathrm{\Δv}}_p{(r_p-\stackrel{\‾}{r})}^2/{\mathrm{\Σ}}_p{\mathrm{\Δv}}_p}$

为了保证刷子刷出的未知区域可以覆盖p点附近的模糊边缘，我们以2*var_r为刷子半径重新确未知区域。当Ψ上的所有点都被刷子重新刷过以后，就自动生成了一个合适的遮罩。

步骤3中基于子图像的抠像，其步骤为：

步骤301，提取子图像：对于硬分割边缘Ψ上的任一像素点p，以该点为中心，生成一个6*var_r为边长的正方形，在原图像和遮罩上将这个正方形区域所对应的局部图像作为一个新的图像和新的遮罩，称之为子图像和子遮罩；

步骤302，子图像抠像：对子图像采用闭合式抠像法进行抠像处理，确定未知区域的不透明度，对硬分割边缘Ψ上的每一个点均采取步骤301和步骤302；

步骤303，子图像抠像结果求平均：由于Ψ上的邻近点生成的子图像会有重叠，对重叠部分的不透明度α值，我们采用各个子图像重叠区域α值的平均值；

步骤4中的前景物体跟踪与分割，在c1c2c3空间计算前景物体的直方图反投影概率图像，用加权核密度估计算法优化此概率图，然后用图切分算法求出硬分割前景物体，其步骤为：

步骤401，颜色空间转换：将原始视频图像转换到c1c2c3颜色空间；

c₁＝arctan(R/max(G，B))

c₂＝arctan(G/max(R，B))

c₃＝arctan(B/max(R，G))

c1c2c3是一种光照不变空间，采用这个空间进行直方图反投影防止了邻近两帧之间的光照变化所可能引起的较大的投影误差，保证跟踪准确度。

步骤402，统计直方图并归一化：对于前一帧中抠取出来的前景物体，统计其在c1c2c3空间每个通道上的直方图，并分别记为：hist_c₁，hist_c₂和hist_c₃，由于c1c2c3是一个实数空间，所以需要对每一个通道进行量化，本发明采用下式归一化直方图：

hist_c_i(j)＝hist_c_i(j)/max(hist_c_i)，1≤j≤BINs，i＝1，2，3

其中BINs为量化级数，max(hist_c_i)为第i通道直方图的最大值；

步骤403，确定前景预测区域：对前一帧抠像结果的不透明度图像以半径为d的矩形结构进行膨胀，d的大小由用户设定，以膨胀后的区域能够包含下一帧中的前景物体为准，这个膨胀后的区域就作为下一帧中前景目标所在区域的预测。

步骤404，计算像素初始概率：首先，对下一帧图像预测区域内的某个像素，计算其c1c2c3值，并量化为：

c_i＝(_ci/(π/2))*BINs，i＝1，2，3

然后，计算此像素属于前景和背景的初始概率：

$p_{\mathrm{fg}}=\sqrt{\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{(\mathrm{hist}\_c_i\left(c_i\right))}^2/3},$ i＝1，2，3

p_bg＝1-p_fg

步骤405，图像硬分割：在预测区域内对像素进行平均抽样，再一次利用加权核密度估计算法求解概率图并用图切分算法对图像进行硬分割，这就完成了抠像的一个循环过程。

Claims (5)

1.一种视频抠像处理方法，其特征在于，包括以下步骤：

步骤1，交互式硬分割及其优化：在视频第一帧图像上，用户采用笔画式交互辅助生成一个粗略的硬分割结果，然后对此硬分割结果用加权核密度估计算法和图切分算法进行优化，便于较为准确的确定前景物体的边缘；

步骤2，遮罩自动生成：在上述优化后的硬分割基础上，采用统计方法自动生成一个遮罩；

步骤3，基于子图像的抠像：将上述生成的遮罩的未知区域分成多个小块，每个小块称为一个子图像，在每一个子图像中分别进行抠像操作，计算出其不透明度α，子图像重叠部分的不透明度取多个α值的平均值；

步骤4，前景物体跟踪与分割：当第一帧中的物体被准确抠取出来之后，采用直方图反投影与加权核密度估计准确找出下一帧中的前景物体，自动做出硬分割并对分割结果进行优化，然后转到步骤2，循环操作直到视频结束。

2.根据权利要求1所述的一种视频抠像处理方法，其特征在于所说的交互式硬分割及其优化，其步骤为：

步骤101，交互式硬分割：采用笔画式交互方式，用基于区块的图切分方法提取出粗略的前景目标；

步骤102，概率图求解：概率图表示了图像中每一个像素属于前景与背景的概率，本发明采用加权核密度估计算法求解概率图；

步骤103，图切分方法前景分割：构造吉布斯能量函数，采用图切分方法最小化此能量函数，从而对图像进行优化分割，得到硬分割结果。

3.根据权利要求1所述的一种视频抠像处理方法，其特征在于所说的遮罩自动生成，其步骤为：

步骤201，提取硬分割边缘Ψ，确定候选区域：首先，提取硬分割边缘Ψ，然后，用半径r₀的圆形刷子沿着Ψ刷出一个区域作为遮罩中未知区域的候选区域，r₀的大小由用户设定，大小以覆盖前景物体的模糊边缘为准；

步骤202，计算像素点到Ψ的距离：用距离变换计算候选区域中的每个像素点到Ψ的最近距离r；

步骤203，计算像素点的梯度：计算候选区域中每个像素点的梯度Δv；

步骤204，统计刷子半径：对于Ψ上的任一像素点p，在半径为r₀的圆形刷子区域内统计最近距离r的均方差var_r，并以Δv作为权重：

r＝∑_pΔv_pr_p/∑_pΔv_p

${\mathrm{var}}_r=\sqrt{{\mathrm{\Σ}}_p{\mathrm{\Δv}}_p{(r_p-\stackrel{\‾}{r})}^2/{\mathrm{\Σ}}_p{\mathrm{\Δv}}_p}$

以2*var_r为刷子半径重新确未知区域，自动生成一个合适的遮罩。

4.根据权利要求1所述的一种视频抠像处理方法，其特征在于所说的基于子图像的抠像，其步骤为：

步骤301，提取子图像：对于硬分割边缘Ψ上的任一像素点p，以该点为中心，生成一个6*var_r为边长的正方形，在原图像和遮罩上将这个正方形区域所对应的局部图像作为一个新的图像和新的遮罩，称之为子图像和子遮罩；

步骤302，子图像抠像：对子图像采用闭合式抠像法进行抠像处理，确定未知区域的不透明度，对硬分割边缘Ψ上的每一个点均采取步骤301和步骤302；

步骤303，子图像抠像结果求平均：由于Ψ上的邻近点生成的子图像会有重叠，对重叠部分的不透明度α值，我们采用各个子图像重叠区域α值的平均值；

5.根据权利要求1所述的一种视频抠像处理方法，其特征在于所说的前景物体跟踪与分割，其步骤为：

步骤401，颜色空间转换：将原始视频图像转换到c1c2c3颜色空间；

步骤402，统计直方图并归一化：对于前一帧中抠取出来的前景物体，统计其在c1c2c3空间每个通道上的直方图，并分别记为：hist_c₁，hist_c₂和hist_c₃，由于c1c2c3是一个实数空间，所以需要对每一个通道进行量化，本发明采用下式归一化直方图：

hist_c_i(j)＝hist_c_i(j)/max(hist_c_i)，1≤j≤BINs，i＝1，2，3

其中BINs为量化级数，max(hist_c_i)为第i通道直方图的最大值；

步骤403，确定前景预测区域：对前一帧抠像结果的不透明度图像以半径为d的矩形结构进行膨胀，d的大小由用户设定，以膨胀后的区域能够包含下一帧中的前景物体为准，这个膨胀后的区域就作为下一帧中前景目标所在区域的预测。

步骤404，计算像素初始概率：首先，对下一帧图像预测区域内的某个像素，计算其c1c2c3值，并量化为：

c_i＝(c_i/(π/2))*BINs，i＝1，2，3

然后，计算此像素属于前景和背景的初始概率：

$p_{\mathrm{fg}}=\sqrt{\underset{i=1}{\overset{3}{\mathrm{\Σ}}}{(\mathrm{hist}\_c_i\left(c_i\right))}^2/3},i=\mathrm{1,2,3}$

p_bg＝1-p_fg

步骤405，图像硬分割：在预测区域内对像素进行平均抽样，再一次利用加权核密度估计算法求解概率图并用图切分算法对图像进行硬分割，这就完成了抠像的一个循环过程。