CN102156995A - 一种运动相机下的视频运动前景分割方法 - Google Patents

Abstract

本发明涉及一种运动相机下的视频运动前景分割方法，属于计算机视觉领域。所述方法包括：对视频序列提取特征点并进行匹配，得到特征点的运动轨迹；通过模型估计算法有效的获得分别属于前景和背景的特征点；通过采用非参数核函数估计，求取背景和前景的似然概率模型；利用MRF构建分割模型，通过Gibbs采样方法获取前景分割结果。本发明避开了精准的全局运动补偿，利用了图像的邻域相关信息，提高了摄像机自由运动情况下背景景物存在深度差异时运动前景分割的准确性。本发明可广泛应用于车载平台、监控平台等运动场景下的运动目标检测、行为分析。

Description

一种运动相机下的视频运动前景分割方法

技术领域

本发明属于计算机视觉领域，涉及一种运动前景分割方法，具体是一种运动相机下的视频运动前景分割方法。

背景技术

运动前景分割就是从包含运动信息的视频或者图像序列中，检测并提取其中与背景存在相对运动的前景，然后根据灰度、边缘等图像特征将运动前景进一步分为若干独立目标。

对前景分割的研究已经经历了几十年的时间。在静止图像序列中运动前景分割常用的方法主要有相邻帧差法、光流法、背景减法、基于统计模型的方法、基于小波变换的方法、基于神经网络的方法以及将多种算法融合的方法等。目前，静止场景中的运动前景分割技术已经研究得比较成熟，在很多商用系统中广泛应用，科研的主攻方向已转向目标的三维建模、目标行为的语义理解等方面。随着计算机技术的发展，图像分析从早期只局限于静态图像的处理和分析到如今的动态图像分析，这一领域正引起了人们越来越浓厚的兴趣。事实上，动态景物在客观世界中更加普遍，图像序列能为我们提供更丰富的信息。因而，在实际的运动前景分割中，常常面临的是摄像头也存在运动的动态场景，由此形成了动态视频序列。

基于动态场景的运动前景分割方法通常包括全局运动补偿和运动前景分割两步。许多研究人员对此展开了深入的研究，提出了部分解决方法。大多数的基本思想都是：通过全局运动参数的估计对全局运动进行补偿；然后再利用基于静态场景的方法完成运动前景分割。现有运动估计方法都是基于图像灰度的时间变化的，可归纳为有基于空间像素点灰度的方法、基于图像块的方法、基于可变模型的方法、基于空间特征的方法以及基于变换域的方法等几种。但是现有的基于运动补偿的方法大多基于这样一个假设：背景景物的深度差异对图像序列帧间全局运动的影响可以忽略。也就是说，所有的背景景物在图像序列中都假设共享同一组全局运动参数。当背景较简单时，多数图像序列可以满足这个假没；但是当背景较复杂时，位于不同3维深度的背景物体，事实上会在由运动摄影机获得的图像序列中产生多组不同的，但是组内部一致的运动场，此时上述假设显然不再满足。

为此，有科研人员提出了一些基于层次化运动模型的方法，按照不同的全局运动参数将图像划分成不同的运动层(每个运动层具有相同的运动参数)；有学者进一步针对场景中有运动物体的动态场景图像序列展开研究，提出了一种逐次估计每组显著的运动参数后分别补偿的方法，并给出了判断运动物体层和静态背景层的定性规则。然而，这些方法对于如何判断运动分割后的图像中哪些运动层对应静止背景，哪些运动层对应运动物体还仅限于定性分析，而没有给出定量方法，从而造成运动目标检测实现时的困难。

在现有技术中，算法都是在一定的假设条件下建立的，大多是针对摄像机支架固定的情况，即摄像机PTZ运动的情况，在摄像机自由运动情况下不能有效的应用，无法适应客观世界的复杂多样性。且现有方法大多数是直接使用二维目标图像或者图像序列，只使用目标的二维图像信息无法对目标进行完整的描述，忽略了背景景物的深度差异的影响，使得复杂背景下的运动目标检测效果不佳。

发明内容

本发明的目的在于针对现有技术的不足，提出一种运动相机下的视频运动前景分割方法。

一种运动相机下的视频运动前景分割方法，具体步骤为：

步骤1：输入连续的F帧图像序列，选取图像中的特征点，对视频序列的每一帧进行特征点提取并匹配；

步骤2：利用匹配点的轨迹满足的约束条件，为后续的前景/背景建模提供样本点，进而将与场景有相对运动的前景物体与场景进行区分；

步骤3：通过RANSAC算法将轨迹向量分类，得到各帧中分别属于前景和背景的特征点；

步骤4：选取其中一帧，采用非参数核函数估计，求取背景和前景的似然概率模型；

步骤5：得到分别属于前景和背景的特征点之后，利用MRF构建分割模型，通过GIBBS采样方法获取前景分割结果。

所述的步骤1中采用Harris算法进行特征点提取的方法为：Harris算子寻找两个正交方向上的梯度变化较大的点；假设相邻两帧图像中的角点集分别为

和匹配就是找到这样一组角点

使得

$\left\{\begin{array}{c}\mathrm{im}={\arg }_{i=\mathrm{1,2},\·\·\·,n_1}\max \left(s_{\mathrm{ij}}(p_i^{\left(1\right)},p_{\mathrm{jm}}^{\left(2\right)})\right)\\ \mathrm{jm}={\arg }_{j=\mathrm{1,2},\·\·\·,n_2}\max \left(s_{\mathrm{ij}}(p_{\mathrm{im}}^{\left(1\right)},p_j^{\left(2\right)})\right)\end{array}\right.$

式中，

表示点

和点的相似度，当两个点之间的距离过大，则该相似度被设为-∞；否则各取一个邻域窗口(x-w，y-w)到(x+w，y+w)的一个矩形区域，窗口所涵盖的像素点的亮度I(·，·)被展开为一个向量，两个点的邻域窗口构成的向量之间的相关系数即为相似度，即

$s_{\mathrm{ij}}(p_i^{\left(1\right)},p_j^{\left(2\right)})=$

$\frac{{\mathrm{\Σ}}_{-w\≤\mathrm{\Δx},\mathrm{\Δy}\≤w}I(x_i^{\left(1\right)}+\mathrm{\Δ}{x,y}_i^{\left(1\right)}+\mathrm{\Δy})I(x_j^{\left(2\right)}+\mathrm{\Δ}{x,y}_j^{\left(2\right)}+\mathrm{\Δy})}{\sqrt{{\mathrm{\Σ}}_{-w\≤\mathrm{\Δx},\mathrm{\Δy}\≤w}I{(x_i^{\left(1\right)}+\mathrm{\Δ}{x,y}_i^{\left(1\right)}+\mathrm{\Δy})}^2}\sqrt{{\mathrm{\Σ}}_{-w\≤\mathrm{\Δx},\mathrm{\Δy}\≤w}I{(x_j^{\left(2\right)}+\mathrm{\Δ}{x,y}_j^{\left(2\right)}+\mathrm{\Δy})}^2}}$

即找两帧图像中的一组点，也就是说在点集

中与

最相似的点是

并且在点集中与

最相似的点是

所述步骤3中RANSAC算法的具体步骤如下：

1)从轨迹集合{w_α}，α＝1，...，P中随机选取3个轨迹向量w_i，w_j，w_k作为子空间的基，这三个向量组成的矩阵

用来构成一个投影矩阵P，用来评价给定的轨迹向量属于背景的可能性

$P=W_3{\left(W_3^T{W}_2\right)}^{-1}{W}_3^T$

2)依次计算剩下的轨迹向量的投影误差，对于给定的轨迹向量w_t，投影误差定义为：

f(w_t|w₃)＝||Pw_t-w_t||₂

如果这个误差小于阈值t，则认为这个向量对应的点是内点，否则为外点；

3)重复以上步骤直到使得内点数最大。

本发明的有益效果：

本发明对视频序列提取特征点并进行匹配，得到特征点的运动轨迹，通过模型估计算法有效的获得分别属于前景和背景的特征点，然后通过采用非参数核函数估计，求取背景和前景的似然概率模型，最后利用MRF构建分割模型，通过Gibbs采样方法获取前景分割结果。本发明避开了精准的全局运动补偿，利用了图像的邻域相关信息，提高了摄像机自由运动情况下背景景物存在深度差异时运动前景分割的准确性。

附图说明

图1为本发明实施例总体方案流程图。

图2为本发明实施例中的RANSAC算法流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明的实施例作详细说明：本实施例在以本发明的技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本实施例针对搭载在运动载体上的面阵相机采集的存在运动物体的图像序列进行运动前景分割。图1为总体方案流程图，由采集系统采集的存在运动物体的图像序列，对前F帧提取特征点并进行匹配，通过运动轨迹分类模块将这些特征点分为前景点和背景点，最后利用非参数核密度估计和MRF算法对每个点计算后验概率，得到最终的运动前景分割结果。具体步骤如下：

步骤1，特征点提取及匹配。

特征选择要考虑的因素包括特征的普遍存在性、特征的抗噪声能力、特征的定位精度和特征描述的复杂性等。在纹理比较丰富的区域容易找到对应点，也就是找到一些角点。在角点检测和匹配的领域前人做了很多工作，如Harris算法、SUSAN算法、SIFT算法等。基于Harris算法速度较快的特点，本发明采用Harris算法寻找角点。它最主要的优点是具有旋转不变性，尺度不变性，对光照变化和图像噪声较鲁棒。Harris角点检测算子是基于图像局部自矫正函数的，该自矫正函数衡量某个像素点在各个方向上微小偏移所造成的局部范围内的像素变化。简单而言，Harris算子是寻找两个正交方向上的梯度变化较大的点。使用Harris算子得到图像中的角点后，还需要将可能的对应点找到。假设相邻两帧图像中的角点集分别为

和

匹配就是找到这样一组角点

使得

$\left\{\begin{array}{c}\mathrm{im}={\arg }_{i=\mathrm{1,2},\·\·\·,n_1}\max \left(s_{\mathrm{ij}}(p_i^{\left(1\right)},p_{\mathrm{jm}}^{\left(2\right)})\right)\\ \mathrm{jm}={\arg }_{j=\mathrm{1,2},\·\·\·,n_2}\max \left(s_{\mathrm{ij}}(p_{\mathrm{im}}^{\left(1\right)},p_j^{\left(2\right)})\right)\end{array}\right.---\left(1\right)$

式中，

表示点

和点

的相似度。当两个点之间的距离过大，则该相似度被设为-∞；否则各取一个邻域窗口(窗口为(x-w，y-w)到(x+w，y+w)的一个矩形区域)，窗口所涵盖的像素点的亮度I(·，·)被展开为一个向量，两个点的邻域窗口构成的向量之间的相关系数即为相似度。即

$s_{\mathrm{ij}}(p_i^{\left(1\right)},p_j^{\left(2\right)})=$

$\frac{{\mathrm{\Σ}}_{-w\≤\mathrm{\Δx},\mathrm{\Δy}\≤w}I(x_i^{\left(1\right)}+\mathrm{\Δ}{x,y}_i^{\left(1\right)}+\mathrm{\Δy})I(x_j^{\left(2\right)}+\mathrm{\Δ}{x,y}_j^{\left(2\right)}+\mathrm{\Δy})}{\sqrt{{\mathrm{\Σ}}_{-w\≤\mathrm{\Δx},\mathrm{\Δy}\≤w}I{(x_i^{\left(1\right)}+\mathrm{\Δ}{x,y}_i^{\left(1\right)}+\mathrm{\Δy})}^2}\sqrt{{\mathrm{\Σ}}_{-w\≤\mathrm{\Δx},\mathrm{\Δy}\≤w}I{(x_j^{\left(2\right)}+\mathrm{\Δ}{x,y}_j^{\left(2\right)}+\mathrm{\Δy})}^2}}---\left(2\right)$

实际上就是找两帧图像中的一组点，这组点满足双向都是最优的，也就是说在点集

中与

最相似的点是

并且在点集

中与

最相似的点是

步骤2，运动轨迹分类。

按照步骤1的方法在F帧图像序列中对特征点进行跟踪，假设其中有P个为背景点，背景点中第i个点的轨迹为

其中x_fi＝[u_fi v_fi ^T]为点在第f帧图像中的坐标。这些轨迹的集合可以排列成一个2F×P的矩阵：

$W_{2F\×P}={[{W_1}^T\·\·\·{W_P}^T]}^T---\left(3\right)$

在视频序列中，场景造成的图像的全局变化是由场景的立体结构和相机的运动决定的。这种全局运动满足几何约束。在没有噪点的情况下，用仿射变换来近似摄像机成像系统，利用正交投影进行降维，则矩阵W的秩等于3。通过因式分解，矩阵可以被分解为一个表示三维的点的3×P结构的矩阵和一个2F×3的正交矩阵，这就是全局运动满足的几何约束：

这个几何约束可以用来证明，包含所有背景点二维运动轨迹的子空间的基为3，也就是说：

其中

是轨迹子空间的基。

而当场景中存在独立运动的物体时，一般而言W的秩会大于3。利用这个约束来得到对应于背景点的列的子集(也就是轨迹)。所有与场景没有相对运动的点的轨迹都在背景轨迹空间里，对应运动物体的点的轨迹则会退化。本实施例采用RANSAC鲁棒估计的算法来有效的对三维轨迹空间进行估算，同时确定属于该空间的点即背景点，而不属于该空间的点则为前景点。

RANSAC的具体步骤如下：

1)从轨迹集合{w_α}，α＝1，...，P中随机选取3个轨迹向量w_i，w_j，w_k作为子空间的基，这三个向量组成的矩阵用来构成一个投影矩阵：

$P=W_3{\left({W_3}^T{W}_3\right)}^{-1}{W_3}^T---\left(6\right)$

投影矩阵用来评价给定的轨迹向量属于背景的可能性。

2)依次计算剩下的轨迹向量的投影误差，对于给定的轨迹向量w_t，投影误差定义为：

f(w_t|W₃)＝||Pw_t-w_t||₂                            (7)

如果这个误差小于阈值t，则认为这个向量对应的点是内点，否则为外点。

3)重复以上步骤直到使得内点数最大。在本实施例中，当最大的内点数目连续200个循环都没有变化时，即认为内点数已达到最大，退出循环。

本实施例中，通过RANSAC算法得到的内点即认为是背景点，外点认为是前景点。

步骤3，运动前景的分割。

按照步骤2的方法得到分别属于前景和背景的特征点之后，本发明采用非参数核密度估计和马尔可夫随机场(MRF)的方法来得到运动的前景。视频运动前景分割是对连续的图像序列进行运动前景的提取，利用每帧图像的邻域相关性信息可以提高分割的准确性。视频运动前景分割可以看作是对视频图像序列的每一帧的每一个像素进行分类。

用x_i表示视频序列的像素集台

的某一元素，其中m和n是每帧图像的宽度和高度。L∈{0，1}是一个分类标签集，也是一个随机变量集，其中0表示背景，1表示前景，对视频序列的每一帧分类可以用后验概率

表示，根据Bayes公式计算后验概率：

$P\left(L\right|\hat{x})=\frac{P\left(\hat{x}\right|L)P\left(L\right)}{P\left(\hat{x}\right)}---\left(8\right)$

它又可以改写成：

$P\left(L\right|\hat{x})\∝P\left(\hat{x}\right|L)P\left(L\right)---\left(9\right)$

通过求解式(3.21)的最大后验概率MAP即可实现对视频序列帧的每一个像素的分类。其中式(3.21)的右边部分中表示似然概率，P(L)表示先验概率。

在本发明中，某一帧中背景点轨迹在该帧所对应的点用来构成一个背景模型

其中y_i是颜色特征和位置特征向量，y_i＝[r_ig_ib_ix_iy_i]。(r，g，b)是该点在RGB颜色空间中的值，(x，y)是该点在图像帧中的位置。本发明采用非参数核密度估计的方法，那么该帧图像中某一特征向量为x的像素属于背景的似然概率密度可以表示为：

其中为：

是核函数，本实施例采用高斯核函数来计算，高斯核

表示频宽，它决定核密度估计作用范围的大小，H是正定的对称带宽矩阵，本实施例中采用的是自适应的带宽矩阵。

前景建模与背景类似，某一帧中前景点轨迹在该帧所对应的点用来构成一个前景模型

采用非参数核密度估计的方法，那么该帧图像中某一特征向量为x的像素属于前景的似然概率密度可以表示为：

这样我们可以得到整个的似然概率函数可以表示为：

其中l∈L。

由马尔可夫场的邻域性质，空域相关性可以通过马尔可夫场的先验概率表示。本实施例选取Ising模型来定义先验概率密度，Ising模型是由统计物理学的铁磁性研究中发展而来，对于局部邻域的不连续性具有很好的抑制作用：

$P\left(L\right)=\exp \left({\mathrm{\Σ}}_{i=1}^{m\×n}{\mathrm{\Σ}}_{i=1}^{m\×n}\mathrm{\α}(l_i{l}_j+(1-l_i)(1-l_j))\right)---\left(14\right)$

其中α为正则化参数，i≠j为邻域。综合式(13)(14)并取对数，全局能量函数可以转化为：

本实施例采用了Gibbs采样算法，该算法是概率推理的一般方法，是蒙特卡罗Metropolis算法的一个特例，考虑到视频序列中每帧图像之间存在连贯信息，前一帧的MAP结果可以作为后一帧视频图像的Gibbs采样算法的初始输入。利用这种视频帧与帧之间的连贯信息代替Gibbs采样算法原本以随机值作为初始输入，可以大大减少算法的迭代次数。

本发明实施例通过对视频序列提取Harris角点并进行匹配，得到特征点的运动轨迹，通过RANSAC模型估计算法有效的获得分别属于前景和背景的特征点，利用得到的特征点通过非参数核函数估计，求取背景和前景的似然概率模型，最后利用MRF构建分割模型，通过Gibbs采样方法获取前景分割结果。本发明实施例避开了精准的全局运动补偿，利用了图像的邻域相关信息，从而提高了摄像机自由运动情况下背景景物存在深度差异时运动前景分割的准确性。

Claims (3)

1.一种运动相机下的视频运动前景分割方法，其特征在于，具体步骤为：

步骤1：输入连续的F帧图像序列，选取图像中的特征点，对视频序列的每一帧进行特征点提取并匹配；

步骤2：利用匹配点的轨迹满足的约束条件，为后续的前景/背景建模提供样本点，进而将与场景有相对运动的前景物体与场景进行区分；

步骤3：通过RANSAC算法将轨迹向量分类，得到各帧中分别属于前景和背景的特征点；

步骤4：选取其中一帧，采用非参数核函数估计，求取背景和前景的似然概率模型；

步骤5：得到分别属于前景和背景的特征点之后，利用MRF构建分割模型，通过GIBBS采样方法获取前景分割结果。

2.如权利要求1所述的一种运动相机下的视频运动前景分割方法，其特征在于：所述的步骤1中采用Harris算法进行特征点提取的方法为：Harris算子寻找两个正交方向上的梯度变化较大的点；假设相邻两帧图像中的角点集分别为

和

匹配就是找到这样一组角点使得

$\left\{\begin{array}{c}\mathrm{im}={\arg }_{i=\mathrm{1,2},\·\·\·,n_1}\max \left(s_{\mathrm{ij}}(p_i^{\left(1\right)},p_{\mathrm{jm}}^{\left(2\right)})\right)\\ \mathrm{jm}={\arg }_{j=\mathrm{1,2},\·\·\·,n_2}\max \left(s_{\mathrm{ij}}(p_{\mathrm{im}}^{\left(1\right)},p_j^{\left(2\right)})\right)\end{array}\right.$

式中，

表示点

和点

的相似度，当两个点之间的距离过大，则该相似度被设为-∞；否则各取一个邻域窗口(x-w，y-w)到(x+w，y+w)的一个矩形区域，窗口所涵盖的像素点的亮度I(·，·)被展开为一个向量，两个点的邻域窗口构成的向量之间的相关系数即为相似度，即

$s_{\mathrm{ij}}(p_i^{\left(1\right)},p_j^{\left(2\right)})=$

$\frac{{\mathrm{\Σ}}_{-w\≤\mathrm{\Δx},\mathrm{\Δy}\≤w}I(x_i^{\left(1\right)}+\mathrm{\Δ}{x,y}_i^{\left(1\right)}+\mathrm{\Δy})I(x_j^{\left(2\right)}+\mathrm{\Δ}{x,y}_j^{\left(2\right)}+\mathrm{\Δy})}{\sqrt{{\mathrm{\Σ}}_{-w\≤\mathrm{\Δx},\mathrm{\Δy}\≤w}I{(x_i^{\left(1\right)}+\mathrm{\Δ}{x,y}_i^{\left(1\right)}+\mathrm{\Δy})}^2}\sqrt{{\mathrm{\Σ}}_{-w\≤\mathrm{\Δx},\mathrm{\Δy}\≤w}I{(x_j^{\left(2\right)}+\mathrm{\Δ}{x,y}_j^{\left(2\right)}+\mathrm{\Δy})}^2}}$

即找两帧图像中的一组点，也就是说在点集

中与

最相似的点是

并且在点集

中与

最相似的点是

3.如权利要求1或2所述的一种运动相机下的视频运动前景分割方法，其特征在于：所述步骤3中RANSAC算法的具体步骤如下：

1)从轨迹集合{w_α}，α＝1，...，P中随机选取3个轨迹向量w_i，w_j，w_k作为子空间的基，这三个向量组成的矩阵

用来构成一个投影矩阵P，用来评价给定的轨迹向量属于背景的可能性

2)依次计算剩下的轨迹向量的投影误差，对于给定的轨迹向量w_t，投影误差定义为：

f(w_t|W₃)＝||Pw_t-w_t||₂

如果这个误差小于阈值t，则认为这个向量对应的点是内点，否则为外点；

3)重复以上步骤直到使得内点数最大。

Images