CN104715492B - 一种同时适应于静止相机和运动相机的前景目标提取方法 - Google Patents

Abstract

本发明公开了一种同时适应于静止相机和运动相机的前景目标提取方法，包括如下步骤：构建视频序列时域交叠的多组近邻帧窗口，求解近邻帧窗口的几何运动模型；结合所述运动模型，计算视频序列长时运动轨迹的平均投影误差；将投影误差升序得到排序后的误差曲线，求解曲线拐点得到长时运动轨迹的前/背景标记信息；结合长时运动轨迹的前/背景标记信息，构建数据项和权重项；结合光流和颜色信息，构建时域平滑项和空域平滑项；结合数据项、权重项、时域平滑项和空域平滑项，构建马尔可夫随机场模型的能量函数，求解能量函数得到前景目标提取结果。本发明可以广泛应用于电影片段、监控平台和移动载体等多种视频序列的前景目标提取。

Description

一种同时适应于静止相机和运动相机的前景目标提取方法

技术领域

本发明属于图像处理、计算机视觉和模式识别等技术领域，具体涉及一种同时适应于静止相机和运动相机的前景目标提取方法。

背景技术

前景目标提取是智能视频监控的一个重要而基础的内容，是后续目标跟踪、目标分类以及行为理解的基础，前景目标提取结果的好坏直接影响到这些后续应用的质量。

根据摄像机是否运动，前景目标提取可分为静止相机捕获视频序列和运动相机捕获视频序列两类。在静止相机的前景目标提取中，摄像机与监控场景保持相对静止，在此类摄像机静止——目标运动的情形下，前景目标的提取较为容易，常用的方法包括帧间差分法、背景建模法等，特别是背景建模法可以适应场景的微弱变化和噪声扰动，在很多商业系统中得到了广泛应用中，如混合高斯模型(Gaussian Mixture Models)、码本背景模型(Code Book Models)、视觉背景提取模型(Visual Background Extractor Models)等。

而在实际应用中，运动相机的前景目标提取更加普遍，例如，在互联网视频网站上，绝大部分电影片段通过手持式相机获取，其捕获的视频序列中往往包含着复杂的背景变化；在车载平台、机器人等移动载体上，摄像机需要在运动过程中完成对目标的采集工作；在PTZ相机视觉系统中，PTZ摄像机一般按照预先设定的路线监控大场景，摄像机运动同样会导致复杂的背景运动。上述摄像机运动——目标运动的情况增加了前景目标提取的难度，而前述静止相机的提取算法也将不再适用。

针对运动相机的前景目标提取，许多研究人员展开了深入的研究，并提出了部分解决方法。中国专利CN 102156995A公开了一种运动相机下基于低秩约束的前景目标提取方法，该方法通过低秩约束将视频序列提取的长时运动轨迹分类为背景轨迹和运动目标轨迹，并利用分类后的轨迹构造背景和运动目标的表观模型，从而获得前景目标的提取结果。Elqursh等人在文献“Online moving camera background subtraction”中提出了一种基于轨迹聚类分析和颜色模型迭代学习的前景目标提取方法，该方法首先通过距离度量产生运动轨迹的相似性矩阵，并在谱空间进行聚类，然后利用聚类的紧凑程度、谱空间的离散度以及背景和前景的位置关系，对上一步的聚类结果进行前背景标记，然后根据像素点之间的颜色属性对每个像素进行标记，从而获得最终的前景目标提取结果。

上述两种现有技术均有效利用了视频序列中的运动线索，在运动相机捕获视频序列中可以获得较好的前景提取结果，但是，所有包括这两篇文献在内的现有技术均无法适应于静止相机的前景目标提取，而实际应用中，运动相机捕获的视频序列中常常包含静态背景的情况，如PTZ摄像机不断改变参数对场景进行巡回监视时，PTZ摄像机为运动相机，而其参数固定不变监视某一特定场景时，又等价于静止相机。因此，寻找一种同时适应于静止相机和运动相机的前景目标提取方法是一个亟需解决的技术问题。

发明内容

本发明的目的在于解决现有技术中存在的技术问题，提出一种同时适应于静止相机和运动相机的前景目标提取方法。

为了实现上述目的，本发明采用的技术方案包括以下步骤：

S1构建视频序列时域交叠的多组近邻帧窗口，求解近邻帧窗口的几何运动模型；

S2结合运动模型，计算视频序列长时运动轨迹的平均投影误差；

S3将投影误差升序得到排序后的误差曲线，求解曲线拐点得到长时运动轨迹的前/背景标记信息；

S4结合长时运动轨迹的前/背景标记信息，构建数据项和权重项；

S5结合光流和颜色信息，构建时域平滑项和空域平滑项；

S6结合数据项、权重项、时域平滑项和空域平滑项，构建马尔可夫随机场模型的能量函数，求解能量函数得到前景目标提取结果。

所述步骤S1具体包括如下步骤：

S11提取视频序列的长时运动轨迹其中n为长时运动轨迹的数目，t_i和T_i为运动轨迹Λ_i的初始帧和结束帧序号，为运动轨迹Λ_i在第l(t_i≤l≤T_i)帧图像上的齐次坐标；

S12构建视频序列时域交叠的多个近邻帧窗口，其中近邻帧为间隔为t的任意两帧图像；

S13采用模型估计算法求解每个近邻帧窗口的几何单应模型。

所述步骤S12中参数t＝6，步骤S13的模型估计算法为采用RANSAC算法。

所述步骤S2具体包括如下步骤：

S21获得长时运动轨迹在其跟踪周期内通过的几何单应模型集合；

S22计算长时运动轨迹通过单应模型集合的平均投影误差，其中运动轨迹平均投影误差ε_i的计算公式为：

所述步骤S3具体包括如下步骤：

S31将所有长时运动轨迹的平均投影误差升序得到排序后的投影误差曲线，其中横坐标为轨迹序号，纵坐标为平均投影误差；

S32求取投影误差曲线的两个拐点τ_L和τ_H；

S33将长时运动轨迹的平均投影误差与拐点进行比较，得到每条运动轨迹的前/背景标号，计算公式为：

所述步骤S4具体包括如下步骤：

S41将视频序列过分割得到超像素集合

S42结合运动轨迹的前/背景标记信息，计算视频序列每个超像素的数据项惩罚函数其中N_ic代表超像素r_i内部分类标签为c的运动轨迹点数目，c的取值为0或1，0表示背景，1表示前景；

S43构建超像素标记的数据项的权重系数λ_i。

所述步骤S43具体包括如下步骤：

a)在视频序列运动轨迹点的基础上构建Delaunay三角网，如果三角形的三个顶点同时为背景点或前景点，则认为该三角形内部为标签一致性区域；

b)统计视频序列每个超像素与标签一致性区域的面积重合比例，并确定重合比例的最大值；

c)将重合比例最大值与给定阈值th进行比较，若大于该阈值，则权重系数λ_i＝1，否则λ_i＝0。

所述步骤S5具体包括如下步骤：

S51利用光流信息，计算视频序列每个超像素的时域平滑项惩罚函数其中ζ(i)为超像素r_i的时域近邻超像素集合，r′_i为超像素r_i经过帧间光流补偿在下一帧图像的映射区域，A′_i和A_k分别为超像素r′_i和r_k的面积，A′_ik为区域r′_i和超像素r_k的重合区域面积；

S52利用颜色信息，计算视频序列每个超像素的空域平滑项惩罚函数其中ψ(i)为超像素r_i的空域近邻超像素集合，c_i和c_j为超像素r_i和r_j的质心坐标，b_ij∈[0,1]代表空域近邻超像素r_i和r_j颜色信息的相似性度量。

所述步骤S6包括如下步骤：

S61结合数据项惩罚函数f_c(r_i)、权重系数λ_i、时域平滑项惩罚函数h(r_i,r_k)和空域平滑项惩罚函数g(r_i,r_j)，构建马尔可夫随机场模型的能量函数

S62求解能量函数获得超像素集合对应的分类标签集L＝{l₁,l₂,...,l_m}，其中，m为超像素数目，l_i的取值为0或1，0代表背景，1代表前景。

所述步骤S62通过图割算法求解L＝{l₁,l₂,...,l_m}的取值。

与现有技术相比，本发明具有以下有益效果：

本发明首次将视频序列建模为时域交叠的多组近邻帧窗口，每组近邻帧窗口满足几何单应模型，而对于静止相机捕获的视频序列，所述单应模型将退化为单位阵，因此所述多组近邻帧单应模型可以将静止相机和运动相机捕获视频序列有效统一；另外，本发明以超像素为基本单元，以运动轨迹通过所述模型后的前/背景标记结果为基础，结合空域颜色信息和时域光流信息，构建马尔可夫随机场模型的能量函数，从而获得更为准确稠密的前景目标提取结果。

附图说明

图1是本发明的流程图；

图2是本发明运动轨迹的投影误差曲线及其拐点示意图；

图3是本发明在不同视频序列前景目标提取的结果图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式做进一步描述，以下实施例仅用于本发明，但不用来限制本发明的范围。

本发明的目的是提供一种通用的前景目标提取方法，使其同时适应于静止相机和运动相机捕获的视频序列，发明的核心思想是利用时域交叠的多组单应模型建模视频序列的背景运动，并结合运动轨迹通过所述多组单应模型的平均投影误差，获取每条运动轨迹的前/背景标号，进一步的，本发明利用所述运动轨迹的分类结果，结合时域平滑约束和空域平滑约束构建马尔可夫随机场模型的能量函数，从而精确提取出前景运动目标。本实施例的一种同时适应于静止相机和运动相机的前景目标提取方法，其流程图如附图1所示，主要包括以下步骤：

第一步，构建视频序列时域交叠的多组近邻帧窗口，求解近邻帧窗口的几何运动模型，具体步骤如下：

首先，提取视频序列的长时运动轨迹其中n为长时运动轨迹的数目，t_i和T_i为运动轨迹Λ_i的初始帧和结束帧序号，为运动轨迹Λ_i在第l(t_i≤l≤T_i)帧图像上的齐次坐标；

然后，构建视频序列时域交叠的多组近邻帧窗口，其中近邻帧为间隔为t的任意两帧图像，每组近邻帧窗口满足几何单应模型，即对于图像帧数目为T的视频序列，其多组近邻帧窗口满足模型H^multi＝{H^k,k＝1,...,T-t}，在本实施方式中，优选取值为t＝6；

最后，采用模型估计算法求取每组窗口的几何单应模型，在本实施方式中，优选模型估计方法为RANSAC算法。

第二步，结合所述运动模型，计算视频序列长时运动轨迹的平均投影误差，具体步骤如下：

首先，获得长时运动轨迹在其跟踪周期内通过的几何单应模型集合，其中轨迹对应的多组单应模型为：

然后，采用累积确认的策略计算长时运动轨迹通过所述单应模型集合的平均投影误差，其中运动轨迹平均投影误差的计算公式为：

第三步，通过上述步骤，可获得所有运动轨迹的平均投影误差，若某条轨迹为背景运动轨迹，即满足多组近邻帧窗口的几何单应模型，则其对应的平均投影误差应该较小，反之，若该轨迹为前景目标轨迹，则对应的平均投影误差应较大，因此可通过设定适当阈值对运动轨迹进行前/背景分类。实际应用中，不同视频序列的阈值选取一般不同，为了自动选取所述阈值，本发明将所述投影误差升序得到排序后的误差曲线，并求取投影误差曲线的两个拐点，进而获得长时运动轨迹的前/背景标记信息，如附图2所示，具体步骤如下：

首先，将所有长时运动轨迹的平均投影误差升序排列，得到排序后的投影误差曲线，其中横坐标为轨迹序号，纵坐标为平均投影误差；

然后，求取所述投影误差曲线的两个拐点τ_L和τ_H；

最后，将长时运动轨迹的平均投影误差与所述拐点进行比较，得到每条运动轨迹的前/背景标号，计算公式为：

第四步，由于视频序列的长时运动轨迹只占图像像素点的很少一部分(约3％～6％的像素)，因此通过上述步骤获得的前景提取结果较为稀疏，为了进一步获得准确稠密的前景目标提取结果，本文以超像素为基本单元构建一个马尔可夫随机场模型，具体的，首先结合上述步骤获得的长时运动轨迹的前/背景标记信息，构建数据项和权重项，具体步骤如下：

首先，将视频序列过分割得到超像素集合

然后，结合所述运动轨迹的前/背景标记信息，计算视频序列每个超像素的数据项惩罚函数其中N_ic代表超像素r_i内部分类标签为c的运动轨迹点数目，c的取值为0或1，0表示背景，1表示前景；

最后，由于运动轨迹的稀疏性，部分超像素内部可能没有轨迹点，此外，在前景和背景的边界区域，部分超像素的背景轨迹点和前景轨迹点数目可能很接近，上述两种情况下，数据项惩罚函数f_c(r_i)的计算是不可靠的，因此需要为每个超像素的数据项构建权重系数λ_i，具体步骤如下：

步骤1，在视频序列运动轨迹点的基础上构建Delaunay三角网，如果三角形的三个顶点同时为背景点或前景点，则认为该三角形内部为标签一致性区域，通过此步骤可获得背景一致性区域和前景目标一致性区域；

步骤2，统计视频序列每个超像素与所述背景一致性区域和前景目标一致性区域的面积重合比例，并确定重合比例的最大值；

步骤3，将所述面积重合比例最大值与给定阈值th进行比较，若大于该阈值，则权重系数λ_i＝1，否则λ_i＝0，在本实施方式中，优选取值为th＝0.6。

第五步，在上述步骤的基础上，利用光流信息和颜色信息，构建每个超像素的时域平滑项和空域平滑项，具体步骤如下：

首先，利用光流信息，计算视频序列每个超像素的时域平滑项惩罚函数h(r_i,r_k)，具体步骤如下：

步骤1，将超像素r_i进行帧间光流补偿，得到其在后一帧图像的映射区域r′_i；

步骤2，求取在后一帧图像中与r′_i具有重叠区域的超像素，得到超像素r_i的时域近邻超像素集合ζ(i)；

步骤3，计算超像素rⁱ的时域平滑项惩罚函数其中A′_i和A_k分别为区域r′_i和超像素r_k的面积，A′_ik为r′_i和r_k的重合区域面积。

然后，利用颜色信息，计算视频序列每个超像素的空域平滑项惩罚函数g(r_i,r_j)，具体步骤如下：

步骤1，求取当前图像与超像素r_i具有共同边界的超像素，得到其对应的空域近邻超像素集合ψ(i)；

步骤2，求取超像素rⁱ与其对应的空域近邻超像素r_j的颜色相似性b_ij，b_ij可由前述过分割算法计算得到；

步骤3，计算超像素rⁱ的空域平滑项惩罚函数

其中c_i和c_j为超像素r_i和r_j的质心坐标。

第六步，结合所述数据项、权重项、时域平滑项和空域平滑项，构建马尔可夫随机场模型的能量函数，求解得到前景目标提取结果，具体步骤如下：

首先，结合所述数据项惩罚函数f_c(r_i)、权重系数λ_i、时域平滑项惩罚函数h(r_i,r_k)和空域平滑项惩罚函数g(r_i,r_j)，构建马尔可夫随机场模型的能量函数

然后，利用图割算法求解所述能量函数，得到超像素集合对应的分类标签集L＝{l₁,l₂,...,l_m}，其中l_i的取值为0或1，0代表背景，1代表前景。

附图3给出了本发明在不同视频序列前景目标提取的结果图，其中，图3a和图3b为运动相机捕获视频的前景目标提取结果，图3c和图3d为静止相机捕获视频的前景目标提取结果，图3所提供的四组视频序列中，第一列均为人工标注的真实前景目标，第二列为利用本发明进行前景目标提取的结果，可以看出，无论是运动相机捕获视频序列，还是静止相机捕获视频序列，采用本专利方法均获得了满意的前景提取效果。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (9)

1.一种同时适应于静止相机和运动相机的前景目标提取方法，其特征在于，包括如下步骤：

S1构建视频序列时域交叠的多组近邻帧窗口，求解近邻帧窗口的几何运动模型；

S2结合运动模型，计算视频序列长时运动轨迹的平均投影误差；

S3将投影误差升序得到排序后的误差曲线，求解曲线拐点得到长时运动轨迹的前/背景标记信息；

S4结合长时运动轨迹的前/背景标记信息，构建数据项和权重项；

S5结合光流和颜色信息，构建时域平滑项和空域平滑项；其具体方法如下：

S51利用光流信息，计算视频序列每个超像素的时域平滑项惩罚函数其中ζ(i)为超像素r_i的时域近邻超像素集合，r′_i为超像素r_i经过帧间光流补偿在下一帧图像的映射区域，A′_i和A_k分别为超像素r_i'和r_k的面积，A′_ik为区域r_i'和超像素r_k的重合区域面积；

S52利用颜色信息，计算视频序列每个超像素的空域平滑项惩罚函数其中ψ(i)为超像素r_i的空域近邻超像素集合，c_i和c_j为超像素r_i和r_j的质心坐标，b_ij∈[0,1]代表空域近邻超像素r_i和r_j颜色信息的相似性度量；

S6结合数据项、权重项、时域平滑项和空域平滑项，构建马尔可夫随机场模型的能量函数，求解能量函数得到前景目标提取结果。

2.如权利要求1所述的一种同时适应于静止相机和运动相机的前景目标提取方法，其特征在于，所述步骤S1具体包括如下步骤：

S11提取视频序列的长时运动轨迹Λ＝{Λ_i,i＝1,...,n},其中n为长时运动轨迹的数目，t_i和T_i为运动轨迹Λ_i的初始帧和结束帧序号，为运动轨迹Λ_i在第l(t_i≤l≤T_i)帧图像上的齐次坐标；

S12构建视频序列时域交叠的多个近邻帧窗口，其中近邻帧为间隔为t的任意两帧图像；

S13采用模型估计算法求解每个近邻帧窗口的几何单应模型。

3.如权利要求2所述的一种同时适应于静止相机和运动相机的前景目标提取方法，其特征在于，所述步骤S12中参数t＝6，步骤S13的模型估计算法为采用RANSAC算法。

4.如权利要求1所述的一种同时适应于静止相机和运动相机的前景目标提取方法，其特征在于，所述步骤S2具体包括如下步骤：

S21获得长时运动轨迹在其跟踪周期内通过的几何单应模型集合；

S22计算长时运动轨迹通过单应模型集合的平均投影误差，其中运动轨迹平均投影误差ε_i的计算公式为：

${\mathrm{\ϵ}}_i=\frac{1}{T_i-t-t_i+1}\underset{k=t_i}{\overset{T_i-t}{\Σ}}\left|\right|x_i^{k+t}-H^k{x}_i^k\left|\right|$

t_i和T_i为运动轨迹Λ_i的初始帧和结束帧序号；H^k为第k个近邻帧窗口的几何单应模型；为运动轨迹Λ_i在第k帧图像上的齐次坐标，其中t_i≤k≤T_i-t。

5.如权利要求1所述的一种同时适应于静止相机和运动相机的前景目标提取方法，其特征在于，所述步骤S3具体包括如下步骤：

S31将所有长时运动轨迹的平均投影误差升序得到排序后的投影误差曲线，其中横坐标为轨迹序号，纵坐标为平均投影误差；

S32求取投影误差曲线的两个拐点τ_L和τ_H；

S33将长时运动轨迹的平均投影误差与拐点进行比较，得到每条运动轨迹的前/背景标号，计算公式为：

6.如权利要求1所述的一种同时适应于静止相机和运动相机的前景目标提取方法，其特征在于，所述步骤S4具体包括如下步骤：

S41将视频序列过分割得到超像素集合

S42结合运动轨迹的前/背景标记信息，计算视频序列每个超像素的数据项惩罚函数其中N_ic代表超像素r_i内部分类标签为c的运动轨迹点数目，c的取值为0或1，0表示背景，1表示前景；

S43构建超像素标记的数据项的权重系数λ_i。

7.如权利要求6所述的一种同时适应于静止相机和运动相机的前景目标提取方法，其特征在于，所述步骤S43具体包括如下步骤：

a)在视频序列运动轨迹点的基础上构建Delaunay三角网，如果三角形的三个顶点同时为背景点或前景点，则认为该三角形内部为标签一致性区域；

b)统计视频序列每个超像素与标签一致性区域的面积重合比例，并确定重合比例的最大值；

c)将重合比例最大值与给定阈值th进行比较，若大于该阈值，则权重系数λ_i＝1，否则λ_i＝0。

8.如权利要求1所述的一种同时适应于静止相机和运动相机的前景目标提取方法，其特征在于，所述步骤S6包括如下步骤：

S61结合数据项惩罚函数f_c(r_i)、权重系数λ_i、时域平滑项惩罚函数h(r_i,r_k)和空域平滑项惩罚函数g(r_i,r_j)，构建马尔可夫随机场模型的能量函数

S62求解能量函数获得超像素集合对应的分类标签集L＝{l₁,l₂,...,l_m}，其中，m为超像素数目，l_i的取值为0或1，0代表背景，1代表前景。

9.如权利要求8所述的一种同时适应于静止相机和运动相机的前景目标提取方法，其特征在于，所述步骤S62通过图割算法求解L＝{l₁,l₂,...,l_m}的取值。