CN100583126C - 基于快速图像配准的视角变化条件下视频前景提取方法 - Google Patents

Abstract

本发明公开了一种基于快速图像配准的视角变化条件下视频前景分割的方法。本方法利用一组不同视角下的训练背景图像进行Isomap流形学习获得背景模型。然后，对由于相机运动等原因而引起视角变化的视频，可以实时地进行前景分割，即：将其中每帧的前景和背景进行分割。前景分割过程首先通过视频帧和最接近的训练背景图像间的光流构造一幅和视频帧的视角完全相同的背景图像，然后通过背景减除来获得前景区域。为了解决光流计算的低效率问题，本方法使用一种基于流形的光流插值来避免在线阶段的光流计算，在背景建模阶段预先计算视角相似的背景图像之间的光流，在前景分割阶段，利用新视频帧在背景流形上的位置快速插值获得光流。获得了很高的效率。

Description

基于快速图像配准的视角变化条件下视频前景提取方法

技术领域

本发明涉及视频与图像处理领域，尤其涉及一种基于快速图像配准的视角变化条件下视频前景提取方法。

背景技术

前景提取是指将视频中的前景物体(如人物)和背景相分离的过程。前景的位置、形状、运动等信息对于图像和视频理解非常关键，许多后期的视觉分析都是基于前景提取的结果。  例如，安全监控系统可以通过前景提取来监控特定的动作与行为；交通监控系统可以根据前景(车辆)提取来评估交通状态；人机交互系统可以通过提取的前景来识别人体的手势或动作从而产生响应；动作捕获系统可以通过前景提取来恢复三维人体运动；视频和动画编缉系统则可以通过前景提取将一段视频的前景附加到另外一段视频上，从而产生特效。

复杂条件下的前景提取是一项较困难的工作，困难主要来源于背景的高度复杂性，背景本身的变化，以及相机运动带来的视角变化。背景减除法(background subtraction)是一种广泛使用的方法，它假定背景已知而且是静态的，通过将视频帧和背景图像进行逐像素比较来提取前景。这种方法在背景本身发生变化或者相机发生运动的情况下显然会失效。为了解决背景的局部变化问题(如摇摆的树枝，荡漾的水波)，混合高斯模型(Mixture Gaussian Model)方法被广泛使用，如1 999年在IEEE Conference on Computer Vision and PatternRecognition(CVPR)会议上发表的《Adaptive background mixture models forrealtime tracking》。该方法认为，图像上每个像素的颜色值可以有多个来源。例如，随着树枝的摇摆，某个像素在某些时刻对应着树叶的颜色，而在另一些时刻对应着天空的颜色。于是，可以用混合高斯模型来对各个像素的颜色值进行建模。  为了解决阴影和高亮等光照问题，1999年的IEEE ICCV Frame-rateWorkshop上发表了《A statistical approach for real-time robust backgroundsubtraction and shadow detection》一文，公开了一种将色品和亮度分离的颜色模型扩展了传统的背景减除方法。为了解决背景的缓慢的变化问题(如光照的渐变)，还有一些方法通过自适应的滤波来不断的更新背景统计模型，如1997年在IEEE Transactions on Pattern Analysis and Machine Intelligence上发表的《Pfinder：Real-time tracking of human body》。另一种方法则使用隐马尔科夫模型(Hidden Markov Model)来解决背景本身的变化，如2002年在IEEE Transactionson Pattern Analysis and Machine Intelligence上发表的《An HMM basedsegmentation method for traffic monitoring movies》。

以上方法的共同点在于，他们都假定拍照的相机是静止不动的，即整个视频的视角是保持不变的。而事实上，现实中的大多数视频拍摄时相机都是运动的。例如，很多视频是用手持相机拍摄的，手的抖动会使视角发生变化；很多监控相机通过旋转视角来监控大范围的区域。在这些情况下，传统背景减除方法都不可用。如图1，(a)是一包含前景的视频帧；(b1)是处于相同视角的背景图像；(c1)是由于相机抖动而视角略有位移的背景图像；(b2)和(c2)分别是利用(b1)和(c1)通过背景减除获得的前景图。可以看出，背景减除对视角的微小变化也非常敏感。

另一方面，研究人员也提出了某些专门针对运动相机的前景提取方法。例如，2000年在IEEE Conference on Computer Vision and Pattern Recognition(CVPR)会议上发表的《Scene modeling for wide area surveillance and image synthesis》利用一系列不同视角的图像建立视频全景图，然后对于新视频帧，首先定位它在全景图中的位置，然后再用背景减除提取前景。这种方法在有运动视差(motionparallax)的情况下会失效。2000年在IEEE Transactions on Pattern Analysis andMachine Intelligence上发表的《Detecting salient motion by accumulatingdirectionally-consistent flow》通过计算光流(optical flow)，将光流不一致的局部区域作为前景。这种方法假定前景的运动和背景有显著的不同，且前景的运动方向要始终保持一致。

发明内容

本发明的目的是提供一种基于快速图像配准的视角变化条件下视频前景提取方法。

基于快速图像配准的视角变化条件下视频前景分割的方法包括离线的背景训练和在线的前景分割两个阶段，

离线的背景训练阶段包括如下步骤：

(1)获取训练背景图像集{B_n}；

(2)利用训练背景图像集来进行Isomap流形学习，获得其所在的低维流形；

(3)利用窗口相关性方法、基于角点的插值和基于局部高斯模型的奇异值去除方法来计算在背景流形上位置接近的训练背景图像之间的光流；

在线的前景分割阶段包括如下步骤：

(4)对每个新来的包含前景的视频帧F，首先利用扩展的Isomap计算该帧在背景流形上的位置；

(5)在计算获得新视频帧F在背景流形上的位置之后，在背景流形的局部欧氏范围内进行光流插值，得到从最接近的背景训练图像B(F)到F的光流O_BF；

(6)根据B(F)和O_BF构造出和F处在完全相同的视角下的背景图像B_F；

(7)利用图像F和B_F，通过背景减除，即获得F的前景区域，完成了F的前景分割。

所述的获取训练背景图像集{B_n}：拍摄不同视角的背景图像来获取训练背景图像集，或者使用视频中空的不包含前景的背景帧作为训练背景图像集。

所述的利用训练背景图像集来进行Isomap流形学习，获得训练背景图像集所在的低维流形：对于D维向量集{B_n}(n＝1，2，...，N)，首先计算一个N×N的距离矩阵S，公式如下：

S_ij＝||B_i-B_j||(i，j＝1，2，...，N)，                   1

其中||B_i-B_j||即为B_i与B_j之间的L2距离；然后，根据距离矩阵S构造最短路径矩阵S’，即：方阵S’记录了{B_n}中任意两个顶点B_j和B_i之间的最短路径；然后，由距离矩阵S’来构造矩阵M：

M＝HSH/2，                                             2

其中的矩阵H由H_ij＝δ_ij-1/N定义；于是，{B_n}在d维流形上的映射{c_n}(d＜＜D)由下式计算：

$[c_1^T,c_2^T,...,c_N^T]=[\sqrt{{\mathrm{\λ}}_1}\·e_1^T,\sqrt{{\mathrm{\λ}}_2}\·e_2^T,...,\sqrt{{\mathrm{\λ}}_d}\·e_d^T{]}^T,---3$

其中λ₁，λ₂，...，λ_d为矩阵M的前d个非负特征值(降序排列)，e₁，e₂，...，e_d是对应的特征向量，{B_n}的本征维度d由降维后的残差确定，当残差变化曲线停止随维度上升而降低时，维度作为本征维度d。

所述的利用窗口相关性方法、基于角点的插值和基于局部高斯模型的奇异值去除方法来计算在背景流形上位置接近的训练背景图像之间的光流：对于{B_n}中任一样本B_i，在流形上寻找它最接近的k个邻居并计算B_i和每个邻居间的光流；计算从B_i到B_j的光流的方法如下：定义一个局部窗口大小，对于B_i上的点P₀：(x₀，y₀)，在B_j的(x₀，y₀)点附近寻找点P’：(x₀+Δx，y₀+Δy)，使得B_j上以P’为中心的窗口和B_i上以P₀为中心的窗口的相关性最大，相关性定义为：

$r=\frac{{\mathrm{\Σ}}_{i,j}(W_1(i,j)-\stackrel{\‾}{W_1})(W_2(i,j)-\stackrel{\‾}{W_2})}{\sqrt{{\mathrm{\Σ}}_{i,j}{(W_1(i,j)-\stackrel{\‾}{W_1})}^2\·{\mathrm{\Σ}}_{i,j}{(W_2(i,j)-\stackrel{\‾}{W_2})}^2}},---4$

其中W₁和W₂为两个窗口，W₁和W₂为窗口W₁和W₂的颜色均值；只计算角点处的光流，同时，非角点处光流采用k近邻插值由邻近的角点处光流插值得到；在插值之前，采用局部高斯模型去除角点处光流的奇异值，用EM算法来迭代去除角点处光流的奇异值，在EM算法的每一步迭代中，对每个不为奇异值的光流O_i，利用其他临近的到不为奇异值的光流来计算一个局部高斯模型，然后利用这个局部高斯模型来判断O_i是否应为奇异值。

所述的对每个新来的包含前景的视频帧F，首先利用扩展的Isomap计算该帧在背景流形上的位置：位置坐标计算公式如下：

c_N+1＝C^*(S-s_N+1)/2                   5

其中，S是由Isomap计算的样本间距离矩阵S的列向量的均值，s_N+1是新视频帧和训练背景图像的距离平方组成的N维向量，C是所有训练样本的低维坐标构成的矩阵，C^*表示矩阵C的伪逆的转置。

所述的在计算获得新视频帧F在背景流形上的位置之后，在背景流形的局部欧氏范围内进行光流插值，得到从最接近的背景训练图像B(F)到F的光流O_RF：设背景流形维数为d，选取在背景流形上和F距离最接近的d+1个训练背景图像B(F)，B₂，...，B_d+1，将背景流形上从B(F)到B₂，从B(F)到B₃，...，从B(F)到B_d+1的向量分别用v_B2，v_B3，...，v_B(d+1)来表示，将从B(F)到F的向量用v_BF表示，则v_BF可以由下式表达成v_B2，v_B3，...，v_B3的线性组合：

v_BF＝α₁v_B2+α₂v_B3+...+α_dv_B(d+1)   6

再令O_B2，O_B3，O_BF表示从B(F)到B₂，从B(F)到B₃，...，从B(F)到B_d+1的光流，令O_BF表示从B(F)到F的向量，则O_BF可以用同样的权重由下式快速计算得到：

O_BF＝α₁OB₂+α₁O_B3+...+α_dO_B(d+1)   7

其中O_B2，O_B3，...，O_B(d+1)已在背景训练训练阶段计算得到。

所述的根据B(F)和O_BF构造出一个图像获得和F处在完全相同的视角下的背景图像B_F：设图像高h像素，宽w像素，首先构造一个h*w的空图像作为B_F的初始图像；B_F的像素(x，y)的颜色由下式计算：

B_F(x，y)＝B(F)(x-O_BF(x，y)，y-O_BF(x，y)) 8

所述的利用图像F和与其处在完全相同视角下的背景图像B_F，通过背景减除，即获得F的前景区域，完成了F的前景分割：对于每个像素坐标(x，y)，计算F和B_F的颜色R/G/B三分量差值：

[C(x，y)_R，C(x，y)_G，C(x，y)_B]＝

[||F(x，y)_R-B_F(x，y)_R||，||F(x，y)_G-B_F(x，y)_G||，||F(x，y)_B-B_F(x，y)_B||]  9

其中C(x，y)_R/G/B表示两幅图像的(x，y)像素颜色的R/G/B分量差值，F(x，y)表示图像F的像素(x，y)颜色_R/G/B分量，B_F(x，y)_R/G/B表示图像B_F的像素(x，y)颜色R/G/B分量；之后，计算向量C(x，y)在RGB空间的代表亮度的长度和代表色品的角度，如果角度超过阈值，则像素(x，y)为前景像素，否则为背景像素。

本发明具有的有益的效果是：方法具有准确、鲁棒和高效的特点。通过流形学习的背景建模避免了在线阶段的光流计算。所有的光流计算都在离线阶段预先完成，在线阶段的光流通过插值的方式得到，极大地提高了效率，使得本方法能够实时地对视频进行前景分割。由于对于每帧的前景提取是相互独立的，本方法也避免了跟踪机制往往存在的误差累积和难以从错误中自动恢复等问题。实验证明该方法在相机平移(translating)、旋转(panning/tilting)、滚动(rolling)、镜头缩放(zooming)等条件下均有良好的效果。

附图说明

图1是以背景流形维数d＝2为例的流形上的光流插值过程；

图2是实施例一所用的视频的若干代表帧、每帧构造出的背景、以及提取的前景；

图3是实施例二所用的视频的若干代表帧、每帧构造出的背景、以及提取的前景。

具体实施方式

基于快速图像配准的视角变化条件下视频前景分割的方法包括离线的背景训练和在线的前景分割两个阶段，

离线的背景训练阶段包括如下步骤：

(1)获取训练背景图像集{B_n}；

(2)利用训练背景图像集来进行Isomap流形学习，获得其所在的低维流形；

(3)利用窗口相关性方法、基于角点的插值和基于局部高斯模型的奇异值去除方法来计算在背景流形上位置接近的训练背景图像之间的光流；

在线的前景分割阶段包括如下步骤：

(4)对每个新来的包含前景的视频帧F，首先利用扩展的Isomap计算该帧在背景流形上的位置；

(5)在计算获得新视频帧F在背景流形上的位置之后，在背景流形的局部欧氏范围内进行光流插值，得到从最接近的背景训练图像B(F)到F的光流O_BF；

(6)根据B(F)和O_BF构造出和F处在完全相同的视角下的背景图像B_F；

(7)利用图像F和B_F，通过背景减除，即获得F的前景区域，完成了F的前景分割。

所述的获取训练背景图像集{B_n}：拍摄不同视角的背景图像来获取训练背景图像集，或者使用视频中空的不包含前景的背景帧作为训练背景图像集。本方法需要一组背景图像{B_n}用来进行背景训练。这些图像是不包含前景的纯背景图像，并处于不同的视角下。{B_n}所处的视角应当能够大致涵盖接下来在线提取阶段相机的运动范围。例如，如果是为了解决相机由于手持而产生的抖动，则可以手持该相机在同一个场景下拍摄一些没有前景的背景图像作为{B_n}；如果是处理已有的视频，很多视频中存在一些“空”的不包含任何前景的帧，这些帧可以作为训练图像；对于旋转监控相机，则可以手动拍摄一些不同视角下的纯背景图像。对于{B_n}中的训练图像数量，一般而言，该数量随着视角变化自由度的增加而增加。例如，对于仅存在抖动的情况，50幅左右的训练背景图像就可以达到良好的效果；对于相机大范围旋转的情况(典型的如旋转监控相机)，则需要200～300幅训练背景图像；而如果相机同时存在旋转、抖动和缩放，则需要500～600幅训练背景图像。

所述的利用训练背景图像集来进行Isomap流形学习，获得训练背景图像集所在的低维流形：对于D维向量集{B_n}(n＝1，2，...，N)，首先计算一个N×N的距离矩阵S，公式如下：

S_ij＝||B_i-B_j||(i，j＝1，2，...，N)，          1

其中||B_i-B_j||即为B_i与B_j之间的L2距离；然后，根据距离矩阵S构造最短路径矩阵S’，即：方阵S’记录了{B_n}中任意两个顶点B_j和B_i之间的最短路径；然后，由距离矩阵S’来构造矩阵M：

M＝HSH/2，                                   2

其中的矩阵H由H_ij＝δ_ij-1/N定义；于是，{B_n}在d维流形上的映射{c_n}(d＜＜D)由下式计算：

$[c_1^T,c_2^T,...,c_N^T]=[\sqrt{{\mathrm{\λ}}_1}\·e_1^T,\sqrt{{\mathrm{\λ}}_2}\·e_2^T,...,\sqrt{{\mathrm{\λ}}_d}\·e_d^T{]}^T,---3$

其中λ₁，λ₂，...，λ_d为矩阵M的前d个非负特征值(降序排列)，e₁，e₂，...，e_d是对应的特征向量，{B_n}的本征维度d由降维后的残差确定，当残差变化曲线停止随维度上升而降低时，维度作为本征维度d。

在获取训练背景图像集{B_n}之后，要对{B_n}进行Isomap流形降维。假设{B_n}在原始高维图像空间中的维数为D，坐标为B_i，Isomap的计算步骤如下：

(a)计算距离方阵S：

(b)构造最短路径

以{B_n}中的每个样本为顶点构造一个邻居图G，对于图中的任何两个顶点B_i与B_j，方阵S的S_ij项是它们之间的距离。对于任何i和j，当且仅当B_j是B_i的邻居时，将邻居图G中的B_i与B_j相连。邻居的判断可以用k最近邻法或epsilon法。

k最近邻法：所有的顶点中(除B_i外)和B_i最接近的k个顶点是B_i的邻居。

epsilon法：取一个阈值epsilon，对于任意一个顶点B_j(j≠i)，如果||B_i-B_j||＜epsilon，则B_j是B_i的邻居。

然后，在邻居图G中计算任意两个顶点B_j和B_i之间的最短路径，最短路径的计算方法可以用dijska法等方法。

(c)计算流形坐标

关于{B_n}的本征维度，也即流形的维数d，可以由降维后的残差确定，当残差停止随维度上升时，所处的维度即为本征维度。本征维度也可以利用相机的运动自由度来确定。如前所述，相机的转动、歪斜、缩放分别对应的自由度为2、1、1。例如，如果相机只做转动，则相机运动自由度为2，流形维数也是2；如果相机同时做转动、歪斜和缩放，则相机运动自由度为4，流形维数也为4。我们推荐的方法是：如果相机的运动类型很容易确定，那么就用相机运动的自由度作为流形维数d，如果相机运动类型不确定或者很复杂，则可以用Isomap降维后的残茶来确定d。

所述的利用窗口相关性方法、基于角点的插值和基于局部高斯模型的奇异值去除方法来计算在背景流形上位置接近的训练背景图像之间的光流：在确定了训练背景图像{B_n}的低维流形之后，要计算视角相近的训练背景图像之间的光流。由于{B_n}中的图像在流形上的坐标即反映了它们的视角关系，所以，在流形上距离接近的训练背景图像，它们的视角也接近。对于{B_n}中任一样本B_i，在流形上寻找它最接近的k个邻居并计算B_i和每个邻居间的光流；计算从B_i到B_j的光流的方法如下：定义一个局部窗口大小，对于B_i上的点P₀：(x₀，y₀)，在B_j的(x₀，y₀)点附近寻找点P’：(x₀+Δx，y₀+Δy)，使得B_j上以P’为中心的窗口和B_i上以P₀为中心的窗口的相关性最大，相关性定义为：

$r=\frac{{\mathrm{\Σ}}_{i,j}(W_1(i,j)-\stackrel{\‾}{W_1})(W_2(i,j)-\stackrel{\‾}{W_2})}{\sqrt{{\mathrm{\Σ}}_{i,j}{(W_1(i,j)-\stackrel{\‾}{W_1})}^2\·{\mathrm{\Σ}}_{i,j}{(W_2(i,j)-\stackrel{\‾}{W_2})}^2}},---4$

其中W₁和W₂为两个窗口，W₁和W₂为窗口W₁和W₂的颜色均值；光流的孔径问题(aperture problem)导致只有在图像的角点处计算得到的光流才是最可靠的，只需计算角点处的光流即可，这既可以提高准确率，又可以加快计算的速度。同时，非角点处光流采用k近邻插值由邻近的角点处光流插值得到；在插值之前，采用局部高斯模型去除角点处光流的奇异值，用EM算法来迭代去除角点处光流的奇异值，在EM算法的每一步迭代中，对每个不为奇异值的光流O_i，利用其他临近的到不为奇异值的光流来计算一个局部高斯模型，然后利用这个局部高斯模型来判断O_i是否应为奇异值。

所述的对每个新来的包含前景的视频帧F，首先利用扩展的Isomap计算该帧在背景流形上的位置：本方法对于每个视频帧的处理是独立的，设当前处理的视频帧为F。当F到达后，第一步是要对其进行流形映射，即确定F在背景流形上的位置。位置坐标计算公式如下：

c_N+1＝C^*(S-s_N+1)/2              5

其中，S是由Isomap计算的样本间距离矩阵S的列向量的均值，s_N+1是新视频帧和训练背景图像的距离平方组成的N维向量，C是所有训练样本的低维坐标构成的矩阵，C^*表示矩阵C的伪逆的转置。

所述的在计算获得新视频帧F在背景流形上的位置之后，在背景流形的局部欧氏范围内进行光流插值，得到从最接近的背景训练图像B(F)到F的光流O_BF：设背景流形维数为d，选取在背景流形上和F距离最接近的d+1个训练背景图像B(F)，B₂，...，B_d+1，将背景流形上从B(F)到B₂，从B(F)到B₃，...，从B(F)到B_d+1的向量分别用v_B2，v_B3，...，v_B(d+1)来表示，将从B(F)到F的向量用v_BF表示，则v_BF可以由下式表达成v_B2，v_B3，...，v_B3的线性组合：

v_BF＝α₁v_B2+α₂v_B3+...+α_dv_B(d+1)  6

再令O_B2，O_B3，O_BF表示从B(F)到B₂，从B(F)到B₃，...，从B(F)到B_d+1的光流，令O_BF表示从B(F)到F的向量，则O_BF可以用同样的权重由下式快速计算得到：

O_BF＝α₁O_B2+α₁O_B3+...+α_dO_B(d+1)  7

其中O_B2，O_B3，...，O_B(d+1)已在背景训练训练阶段计算得到。

所述的根据B(F)和O_BF构造出一个图像获得和F处在完全相同的视角下的背景图像B_F：设图像高h像素，宽w像素，首先构造一个h*w的空图像作为B_F的初始图像；B_F的像素(x，y)的颜色由下式计算：

B_F(x，y)＝B(F)(x-O_BF(x，y)，y-O_BF(x，y))     8

所述的利用图像F和与其处在完全相同视角下的背景图像B_F，通过背景减除，即获得F的前景区域，完成了F的前景分割：对于每个像素坐标(x，y)，计算F和B_F的颜色R/G/B三分量差值：

[C(x，y)_R，C(x，y)_G，C(x，y)_B]＝

[||F(x，y)_R-B_F(x，y)_R||，||F(x，y)_G-B_F(x，y)_G||，||F(x，y)_B-B_F(x，y)_B||]   9

其中C(x，y)_R/G/B表示两幅图像的(x，y)像素颜色的R/G/B分量差值，F(x，y)表示图像F的像素(x，y)颜色_R/G/B分量，B_F(x，y)_R/G/B表示图像B_F的像素(x，y)颜色R/G/B分量；之后，计算向量C(x，y)在RGB空间的代表亮度的长度和代表色品的角度，如果角度超过阈值，则像素(x，y)为前景像素，否则为背景像素。

实施例1

要对一个旋转的监控相机拍摄的视频进行前景提取。如图2所示为视频中的几个代表帧和前景提取的结果。相机拍摄到的图象分辨率为320*240。下面结合前面所述的具体技术方案说明该实例实施的步骤，如下：

1.训练背景图像的获取

在相机的旋转范围内，随机选取300个视角，拍摄300幅纯背景图像作为训练背景图像集{B_n}。

2.训练背景图像的流形降维

对300幅训练背景图像用Isomap进行降维(具体计算步骤如前面所示，不再罗列)。在判断邻居图G的邻居时，采用k最近邻法，取k＝6。由于本例中旋转相机的视角变化自由度为2(竖直方向的仰角和水平方向的偏离角)，因此Isomap降维时流形维数d取2。

3.训练背景图像的光流计算

对于{B_n}中任一样本B_i，在流形上寻找它最接近的k(k取6)个邻居并计算B_i和每个邻居间的光流。计算光流采用局部窗口相关性距离法，具体计算公式如前所述，不再罗列。在计算光流时，只计算角点处的光流，非角点处光流由邻近的角点处光流插值得到(采用k近邻插值，k取5)。在插值之前，采用局部高斯模型去除角点处光流的奇异值。

4.新视频帧的流形映射

本步骤是在线阶段的开始，从这里开始对每个新视频帧F提取前景。首先对F进行流形映射，即确定F在背景流形上的位置。具体计算公式如前所述，不再罗列。

5.新视频帧的光流插值

在确定新视频帧F在流形上的位置之后，在背景流形的局部欧氏范围内进行光流插值，获得从F到最接近的背景训练图像B(F)之间的光流O_BF：在本例中，流形维数d＝2，如图1，选取在背景流形上和F距离最接近的3个训练背景图像B(F)，B₂，B₃(按距离升序排列)。假定背景流形上从B(F)到B₂、从B(F)到B₃、从B(F)到F的向量分别用v_B2、v_B3、v_BF来表示，v_BF可以表达成v_B2与v_B3的线性组合：

v_BF＝αv_B2+βv_B3

再令O_B2，O_B3，O_BF表示从B(F)到B₂，从B(F)到B₃，从B(F)到F的光流，则O_BF可以用同样的权重由O_B2，O_B3和快速插值得到：

O_BF＝αO_B2+βO_B3

其中O_B2，O_B3和已在背景训练训练阶段(步骤3)计算得到。

6.新视频帧的背景构造

在插值获得从F到最接近的背景训练图像B(F)之间的光流O_BF之后，根据B(F)和O_BF构造出一个图像获得和F处在完全相同的视角下的背景图像B_F：由O_BF所记录的B(F)和F的像素间对应关系，根据已知的训练背景图像B(F)，即可以构造出图像B_F，它是一个背景图像，且和F处在完全相同的视角。

7.背景减除和前景提取

在构造出和新视频帧F处在完全相同视角下的背景图像B_F后，就可以利用利用图像F和B_F，通过背景减除，即获得F的前景区域，完成了F的前景分割。背景减除是指根据图像F和B_F逐像素进行颜色的比较，获得F的前景区域。在本例中，本方法的在线前景提取的速度为30帧/秒，达到实时要求。

实施例2

要对一个由于手持而抖动，同时又有缩放变化的相机拍摄的视频进行前景提取。如图3所示为视频中的几个代表帧和前景提取的结果。相机拍摄到的图象分辨率为320*240。下面结合前面所述的具体技术方案说明该实例实施的步骤，如下：

1.训练背景图像的获取

取相机的8个缩放级别，在每个缩放级别上随机抖动拍摄100幅图像，于是，训练背景图像集{B_n}包含800幅背景图像。

2.训练背景图像的流形降维

对640幅训练背景图像用Isomap进行降维(具体计算步骤如前面所示，不再罗列)。在判断邻居图G的邻居时，采用k最近邻法，取k＝6。由于本例中相机的视角变化自由度为4(竖直方向的仰角、水平方向的偏离角、歪斜角度和缩放比例)，因此Isomap降维时流形维数d取4。

3.训练背景图像的光流计算

对于{B_n}中任一样本B_i，在流形上寻找它最接近的k(k取6)个邻居并计算B_i和每个邻居间的光流。计算光流采用局部窗口相关性距离法，具体计算公式如前所述，不再罗列。在计算光流时，只计算角点处的光流，非角点处光流由邻近的角点处光流插值得到(采用k近邻插值，k取5)。在插值之前，采用局部高斯模型去除角点处光流的奇异值。

4.新视频帧的流形映射

本步骤是在线阶段的开始，从这里开始对每个新视频帧F提取前景。首先对F进行流形映射，即确定F在背景流形上的位置。具体计算公式如前所述，不再罗列。

5.新视频帧的光流插值

在确定新视频帧F在流形上的位置之后，在背景流形的局部欧氏范围内进行光流插值，获得从F到最接近的背景训练图像B(F)之间的光流O_BF：在本例中，流形维数d＝4，所以，选取在背景流形上和F距离最接近的5个训练背景图像B(F)，B₂，B₃，B₄，B₅(按距离升序排列)。假定背景流形上从B(F)到B₂、从B(F)到B₃、从B(F)到B₄、从B(F)到B₅、从B(F)到F的向量分别用v_B2、v_B3、v_B4、v_B5、v_BF来表示，v_BF可以表达成v_B2、v_B3、v_B4、v_B5的线性组合：

v_BF＝αv_B2+βv_B3+γv_B4+δv_B5

再令O_B2、O_B3、O_B4、O_B5、O_BF表示从B(F)到B₂、从B(F)到B₃、从B(F)到B₄、从B(F)到B₅、从B(F)到F的光流，则O_BF可以用同样的权重由O_B2、O_B3、O_B4、O_B5快速插值得到：

O_BF＝αO_B2+βO_B3+γO_B4+δO_B5

其中O_B2、O_B3、O_B4、O_B5和已在背景训练训练阶段(步骤3)计算得到。

6.新视频帧的背景构造

在插值获得从F到最接近的背景训练图像B(F)之间的光流O_BF之后，根据B(F)和O_BF构造出一个图像获得和F处在完全相同的视角下的背景图像B_F：由O_BF所记录的B(F)和F的像素间对应关系，根据已知的训练背景图像B(F)，即可以构造出图像B_F，它是一个背景图像，且和F处在完全相同的视角。

7.背景减除和前景提取

在构造出和新视频帧F处在完全相同视角下的背景图像B_F后，就可以利用利用图像F和B_F，通过背景减除，即获得F的前景区域，完成了F的前景分割。背景减除是指根据图像F和B_F逐像素进行颜色的比较，获得F的前景区域。

Claims (8)

1.一种基于快速图像配准的视角变化条件下视频前景分割的方法，其特征在于包括离线的背景训练和在线的前景分割两个阶段，

离线的背景训练阶段包括如下步骤：

(1)获取训练背景图像集{B_n}；

(2)利用训练背景图像集来进行Isomap流形学习，获得其所在的低维流形；

(3)利用窗口相关性方法、基于角点的插值和基于局部高斯模型的奇异值去除方法来计算在背景流形上位置接近的训练背景图像之间的光流；

在线的前景分割阶段包括如下步骤：

(4)对每个新来的包含前景的视频帧F，首先利用扩展的Isomap计算该帧在背景流形上的位置；

(5)在计算获得新视频帧F在背景流形上的位置之后，在背景流形的局部欧氏范围内进行光流插值，得到从最接近的背景训练图像B(F)到F的光流O_BF；

(6)根据B(F)和O_BF构造出和F处在完全相同的视角下的背景图像B_F；

(7)利用视频帧F和B_F，通过背景减除，即获得F的前景区域，完成了F的前景分割。

2.根据权利要求1所述的一种基于快速图像配准的视角变化条件下视频前景分割的方法，其特征在于，所述的获取训练背景图像集{B_n}：拍摄不同视角的背景图像来获取训练背景图像集，或者使用视频中空的不包含前景的背景帧作为训练背景图像集。

3.根据权利要求1所述的一种基于快速图像配准的视角变化条件下视频前景分割的方法，其特征在于，所述的利用训练背景图像集来进行Isomap流形学习，获得训练背景图像集所在的低维流形：对于D维向量集{B_n}，其中n＝1，2，...，N，首先计算一个N×N的距离矩阵S，公式如下：

S_ij＝||B_i-B_j||i，j＝1，2，...，N，             1

其中||B_i-B_j||即为B_i与B_j之间的L2距离；然后，根据距离矩阵S构造最短路径矩阵S’，即：方阵S’记录了{B_n}中任意两个顶点B_j和B_i之间的最短路径；然后，由最短路径矩阵S’来构造矩阵M：

M＝HS’H/2，                                   2

其中的矩阵H由H_ij＝δ_ij-1/N定义；于是，{B_n}在d维流形上的映射{c_n}，d＜＜D，由下式计算：

$[c_1^T,c_2^T,...,c_N^T]={[\sqrt{{\mathrm{\λ}}_1}\·e_1^T,\sqrt{{\mathrm{\λ}}_2}\·e_2^T,...,\sqrt{{\mathrm{\λ}}_d}\·e_d^T]}^T,---3$

其中λ₁，λ₂，...，λ_d为矩阵M的前d个降序排列的非负特征值，e₁，e₂，...，e_d是对应的特征向量，{B_n}的本征维度d由降维后的残差确定，当残差变化曲线停止随维度上升而降低时，维度作为本征维度d。

4.根据权利要求1所述的一种基于快速图像配准的视角变化条件下视频前景分割的方法，其特征在于，所述的利用窗口相关性方法、基于角点的插值和基于局部高斯模型的奇异值去除方法来计算在背景流形上位置接近的训练背景图像之间的光流：对于{B_n}中任一样本B_i，在流形上寻找它最接近的k个邻居并计算B_i和每个邻居间的光流；计算从B_i到B_j的光流的方法如下：定义一个局部窗口大小，对于B_i上的点P₀：(x₀，y₀)，在B_j的(x₀，y₀)点附近寻找点P’：(x₀+Δx，y₀+Δy)，使得B_j上以P’为中心的窗口和B_i上以P₀为中心的窗口的相关性最大，相关性定义为：

$r=\frac{{\mathrm{\Σ}}_{i,j}(W_1(i,j)-\stackrel{\‾}{W_1})(W_2(i,j)-\stackrel{\‾}{W_2})}{\sqrt{{\mathrm{\Σ}}_{i,j}{(W_1(i,j)-\stackrel{\‾}{W_1})}^2\·{\mathrm{\Σ}}_{i,j}{(W_2(i,j)-\stackrel{\‾}{W_2})}^2}},---4$

其中W₁和W₂为两个窗口，W₁和W₂为窗口W₁和W₂的颜色均值；只计算角点处的光流，同时，非角点处光流采用k近邻插值由邻近的角点处光流插值得到；在插值之前，采用局部高斯模型去除角点处光流的奇异值，用EM算法来迭代去除角点处光流的奇异值，在EM算法的每一步迭代中，对每个不为奇异值的光流O_i，利用其他临近的到不为奇异值的光流来计算一个局部高斯模型，然后利用这个局部高斯模型来判断O_i是否应为奇异值。

5.根据权利要求1所述的一种基于快速图像配准的视角变化条件下视频前景分割的方法，其特征在于，所述的对每个新来的包含前景的视频帧F，首先利用扩展的Isomap计算该帧在背景流形上的位置：位置坐标计算公式如下：

c_N+1＝C^*(S-s_N+1)/2                                  5

其中，S是由Isomap计算的样本间距离矩阵S的列向量的均值，s_N+1是新视频帧和训练背景图像的距离平方组成的N维向量，C是所有训练样本的低维坐标构成的矩阵，C*表示矩阵C的伪逆的转置。

6.根据权利要求1所述的一种基于快速图像配准的视角变化条件下视频前景分割的方法，其特征在于，所述的在计算获得新视频帧F在背景流形上的位置之后，在背景流形的局部欧氏范围内进行光流插值，得到从最接近的背景训练图像B(F)到F的光流O_BF：设背景流形维数为d，选取在背景流形上和F距离最接近的d+1个训练背景图像B(F)，B₂，...，B_d+1，将背景流形上从B(F)到B₂，从B(F)到B₃，...，从B(F)到B_d+1的向量分别用v_B2，v_B3，...，v_B(d+1)来表示，将从B(F)到F的向量用v_BF表示，则v_BF由下式表达成v_B2，v_B3，...，v_B(d+1)的线性组合：

v_BF＝α₁v_B2+α₂v_B3+...+α_dv_B(d+1)                                      6

再令O_B2，O_B3，...，O_B(d+1)表示从B(F)到B₂，从B(F)到B₃，...，从B(F)到B_d+1的光流，则O_BF用同样的权重由下式快速计算得到：

O_BF＝α₁O_B2+α₂O_B3+...+α_dO_B(d+1)                7

其中O_B2，O_B3，...，O_B(d+1)已在背景训练训练阶段计算得到。

7.根据权利要求1所述的一种基于快速图像配准的视角变化条件下视频前景分割的方法，其特征在于，所述的根据B(F)和O_BF构造出和F处在完全相同的视角下的背景图像B_F：设图像高h像素，宽w像素，首先构造一个h*w的空图像作为B_F的初始图像；B_F的像素(x，y)的颜色由下式计算：

B_F(x，y)＝B(F)(x-O_BF(x，y)，y-O_BF(x，y))         8

8.根据权利要求1所述的一种基于快速图像配准的视角变化条件下视频前景分割的方法，其特征在于，所述的利用视频帧F和与其处在完全相同视角下的背景图像B_F，通过背景减除，即获得F的前景区域，完成了F的前景分割：对于每个像素坐标(x，y)，计算F和B_F的颜色R/G/B三分量差值：

[C(x，y)_R，C(x，y)_G，C(x，y)_B]＝

[||F(x，y)_R-B_F(x，y)_R||，||F(x，y)_G-B_F(x，y)_G||，||F(x，y)_B-B_F(x，y)_B||]    9

其中C(x，y)_R/G/B表示两幅图像的像素(x，y)颜色的R/G/B分量差值，F(x，y)_R/G/B表示视频帧F的像素(x，y)颜色R/G/B分量，B_F(x，y)_R/G/B表示图像B_F的像素(x，y)颜色R/G/B分量；之后，计算向量C(x，y)在RGB空间的代表亮度的长度和代表色品的角度，如果角度超过阈值，则像素(x，y)为前景像素，否则为背景像素。

Images