CN102156863A - 跨摄像头的多运动目标跟踪方法 - Google Patents

Abstract

本发明涉及图像处理、运动分析等。为能够实现跨摄像头的运动目标跟踪，本发明采取的技术方案是，跨摄像头的多运动目标跟踪方法，包括以下步骤：1.面向单摄像头的运动滤波：将人体复杂运动分解为有限个相对简单运动滤波模型的组合，其中每个单一运动滤波模型用线性运动状态转移模型和高斯噪声的组合表示，运动滤波方法包括如下两个核心部分：运动模型：

观测模型：z_k＝Hs_k+w_k2.面向跨摄像头的运动关联：(1)全景图的构建；(2)目标相似性度量；(3)运动轨迹关联；将跨摄像头多运动轨迹关联问题转化为二分图匹配问题，通过如下约束条件下的整数规划进行求解。本发明主要应用于图像处理、运动分析等。

Description

跨摄像头的多运动目标跟踪方法

技术领域

本发明涉及图像处理、运动分析等，具体讲涉及跨摄像头的多运动目标跟踪方法。

背景技术

随着国际社会对安防问题的日益重视以及基于IP网络的监控系统的广泛应用，多摄像头监控成为当前的主流模式，其中尤以摄像头视野之间有交叠区域的情形为研究热点。在多摄像头监控中，需要在传统的单摄像头目标检测基础上将在多个视角中出现的同一目标关联起来.因此跨摄像头的运动目标跟踪成为多摄像头监控系统的关键技术，是后续进行目标行为分析和目标识别等操作的基础。目标跟踪问题主要面临着两个难题：一个是遮挡，这是监控中的经典难题，遮挡会导致检测变得极为困难；另一个是目标的关联，有重叠区域的监控视频中通常可以记录同一目标在不同视角下的运动信息，因此如何关联两个运动轨迹形成对目标的全方位监控是另一难点。现有目标跟踪方法的研究，多局限于单摄像头下目标运动轨迹的跟踪，具体方法包括两大类：一类是对连续图像序列各帧进行目标检测，然后通过目标区域位置特性进行简单的关联；另一类是对连续图像前若干帧进行目标检测，将检测的目标作为初始信息，然后设计特定滤波器进行目标运动区域的预测。尽管两类方法对特定跟踪问题都有一定优势，但是现有方法并不能实现跨摄像头下目标运动轨迹的关联。本发明的创新点在于充分利用跨摄像头运动轨迹的时空关联特性进行运动轨迹的关联，为实现全网络的目标跟踪提供技术基础。

发明内容

为克服现有技术的不足，提供一种跨摄像头的运动目标跟踪方法，能够实现跨摄像头的运动目标跟踪，为达上述目的，本发明采取的技术方案是，跨摄像头的多运动目标跟踪方法，包括以下步骤：

1.面向单摄像头的运动滤波：

将人体复杂运动分解为有限个相对简单运动滤波模型的组合，其中每个单一运动滤波模型用线性运动状态转移模型和高斯噪声的组合表示，运动滤波方法包括如下两个核心部分：

运动模型： $s_k=F^i{s}_{k-1}+v_{k-1}^i,i\∈\{1,...,M\}$

观测模型：z_k＝Hs_k+w_k

运动模型表示M个不同运动类型下两个相邻时刻的运动状态转换关系的多个并行的状态转移模型；在此基础上，通过观测模型来表示当前状态下运动状态与观测的关联关系，s_k表示k时刻的状态矢量，z_k表示k时刻的观测矢量；Fⁱ表示运动状态转移矩阵，Hⁱ表示当前运动状态和观测的关联矩阵；

和w_k-1分别表示模型噪声和观测噪声，采用高斯噪声模拟，构造并融合表示不同运动轨迹的多个卡尔曼滤波器来进行运动滤波：1)对于多运动滤波器的构造，将目标的复杂运动分解为若干简单的运动形式，将目标运动分解为匀速运动、匀加速运动和匀速旋转三类运动的组合，根据各运动形式构造对应的运动状态转移矩阵Fⁱ和运动状态和观测的关联矩阵Hⁱ；2)对于多模型的融合，采用自适应的多运动模型融合和动态更新方法；

2.面向跨摄像头的运动关联：

(1)全景图的构建

利用摄像机空间设置的位置先验，并结合基于视觉不变量特征SIFT(Scale-invariant Feature Transformation)的图像配准方法实现全景图构建；

(2)目标相似性度量

针对跨摄像头时多视角条件下的人体表形的变化以及人体运动时自身形变的多样性，采用融合表形约束、形状约束和运动约束的方法进行目标相似性度量，融合目标区域特征(f_region)，形状特征(f_Shape)和运动特性(f_motion)三个因素构造特征函数f＝{f_region，f_Shape，f_motion}，在此基础上跨摄像头跟踪问题中的原始目标区域与候选区域的相似度(Similarity)可以通过下式计算：

${\mathrm{Similarity}}_{\mathrm{object},\mathrm{candidate}\left(i\right)}={\mathrm{Similarity}}_{\mathrm{region}}(f_{\mathrm{region}}^{\mathrm{object}},f_{\mathrm{region}}^{\mathrm{candidate}\left(i\right)}),$

$+\mathrm{\αg}{\mathrm{similarity}}_{\mathrm{shape}}(f_{\mathrm{shape}}^{\mathrm{object}},f_{\mathrm{shape}}^{\mathrm{candidate}\left(i\right)})$

$+\mathrm{\βg}{\mathrm{similarity}}_{\mathrm{motion}}(f_{\mathrm{motion}}^{\mathrm{object}},f_{\mathrm{motion}}^{\mathrm{candidate}\left(i\right)})\}$

上式表示，目标(_object)与第i个候选关联区域(_candidate(i))的相似度由二者区域(f_region)、形状(f_shape)和运动(f_motion)三类相似度的线性组合而成，其中各特征重要性可以通过参数α和β进行调节：首先，通过计算图像中各像素点属于各候选区域的联合后验概率进行目标区域特征的表示；其次，通过人体拓扑结构特性建立形状约束从而构建形状特征；再次，利用运动滤波模块预测结果对目标运动特性进行约束；采用自适应的权重参数α和β动态更新算法以实现相似度的计算；

(3)运动轨迹关联

将跨摄像头多运动轨迹关联问题转化为二分图匹配问题，通过如下约束条件下的整数规划进行求解：

首先，构建二分图，找到两个摄像头共同覆盖的区域，假设拟关联的两个摄像头中的运动目标应该出现在该重叠区域，并初步确定所要关联的运动目标区域，将跨摄像头运动轨迹关联问题转化为两个摄像头中运动目标构成的二分图匹配问题，该二分图第一个顶点集合U由第一个摄像头中运动轨迹的终点目标区域构成，第二个顶点集合V由第二个摄像头中运动轨迹的初始对象区域构成，根据二分图特性，该图的边连接集合U与集合V中的一对定点，并实现了跨摄像头运动轨迹的关联；

其次，构建关联假设并计算其相似度，在所构建二分图基础上，利用先验知识判断可能存在的关联假设，然后，利用第步骤(2)节中的相似度计算方法计算该关联的相似度，从而构建相似度矩阵p，p为M×1向量，M为存在的假设个数，并将各假设用标识矩阵C表示，C为M×N矩阵，N为所有运动目标的个数；

最后，构建和求解目标函数和约束集，针对二分图匹配问题，构建如下目标函数和约束集：

$\arg \underset{x}{\max }{p}^{T}X,$ s.t.C^TX≤1

上式表示，二分图匹配问题的最优解X(标记向量X为M×1向量)的每个元素表示该假设是否出现在最优解中，使得运动目标关联问题的似然最大化，并且满足二分图两个顶点集合中元素的一一对应关系，采用整数规划算法求解上述目标函数，从而实现跨摄像头的运动目标跟踪。

本发明具有以下技术效果：

跨摄像头的运动目标跟踪利用已检测各帧图像中运动目标通过运动滤波实现单目摄像头下运动目标轨迹的提取，并通过时空上下文信息实现跨摄像头下同一运动目标轨迹的关联，从而实现多摄像头下对同一个目标或场景的不同角度描述，获取关于某个特定对象的最为完整的信息描述。

附图说明

图1是本发明的跨摄像头运动轨迹关联示意图。

图2运动关联对应整数规划问题举例数据框图。

具体实施方式

跨摄像头的运动目标跟踪的核心技术包括单目摄像头内被关注目标的运动分析和跨摄像头的运动关联两部分。

1.面向单摄像头的运动滤波

单摄像头内被关注目标运动滤波的目的是提取目标在单目摄像头所覆盖区域内的运动轨迹，是跨摄像头运动目标跟踪的前提。由于人体运动轨迹的随机性以及多视角情况导致的目标方向的复杂性，提出多运动轨迹融合的运动滤波方法。该运动滤波方法的思想是将人体复杂运动分解为有限个相对简单运动滤波模型的组合，其中每个单一运动滤波模型可以用线性运动状态转移模型和高斯噪声的组合表示。所以，提出的运动滤波方法包括如下两个核心部分：

运动模型： $s_k=F^i{s}_{k-1}+v_{k-1}^i,i\∈\{1,...,M\}$

观测模型：z_k＝Hs_k+w_k

与传统运动滤波方法(如卡尔曼滤波或粒子滤波)不同，提出方法中的运动模型不是单一运动模式的状态转移方程，而是用来表示M个不同运动类型下两个相邻时刻的运动状态转换关系的多个并行的状态转移模型；在此基础上，通过观测模型来表示当前状态下运动状态与观测的关联关系。其中，s_k表示k时刻的状态矢量(如：运动目标的位置、速度、加速度等)，z_k表示k时刻的观测矢量(如：运动目标的位置)；Fⁱ表示运动状态转移矩阵，Hⁱ表示当前运动状态和观测的关联矩阵；

和w_k-1分别表示模型噪声和观测噪声，不失一般性的，可以采用高斯噪声模拟。本课题研究中，构造并融合表示不同运动轨迹的多个卡尔曼滤波器来进行运动滤波，将重点解决以下两个问题：1)对于多运动滤波器的构造，将目标的复杂运动分解为匀速运动、匀加速运动和匀速旋转三类运动的组合，根据各运动形式构造对应的运动状态转移矩阵Fⁱ和运动状态和观测的关联矩阵Hⁱ具体可参考[1]；2)对于多模型的融合，可以采用自适应的多运动模型融合和动态更新方法，此发明中以交互式的多模型运动滤波为例，具体参考[2].

2.面向跨摄像头的运动关联

由于跨摄像头视频监控容易造成观测视角、背景环境、目标相对位置等外界条件的变化，因此跨摄像头条件下的目标跟踪无法通过上述运动滤波独立完成。由该问题引发的关键科学问题包括三点：全景图的构建，目标相似性度量和基于整数线性规划的运动轨迹关联。

(2)全景图的构建

全景图的构建可以恢复具有重叠区域的摄像头同一时刻所覆盖区域的整体视觉信息，有利于跨摄像头运动目标关联时借助区域的特性缩小候选关联对象的选取，降低跨摄像头关联问题的复杂度。由于当前全景图的构建算法相对成熟，本课题研究中利用摄像机设置的位置先验，并结合基于视觉不变量特征SIFT(Scale-invariant Feature Transformation)的图像配准方法[3]实现全景图构建。

(2)目标相似性度量

针对跨摄像头时多视角条件下的人体表形的变化以及人体运动时自身形变的多样性，将采用融合表形约束、形状约束和运动约束的方法进行目标相似性度量。为达到这一目的，融合目标区域特征(f_region)，形状特征(f_Shape)和运动特性(f_motion)三个因素构造特征函数f＝{f_region，f_Shape，f_motion}。在此基础上跨摄像头跟踪问题中的原始目标区域与候选区域的相似度(Similarity)可以通过下式计算：

${\mathrm{Similarity}}_{\mathrm{object},\mathrm{candidate}\left(i\right)}={\mathrm{Similarity}}_{\mathrm{region}}(f_{\mathrm{region}}^{\mathrm{object}},f_{\mathrm{region}}^{\mathrm{candidate}\left(i\right)}),$

$+\mathrm{\αg}{\mathrm{similarity}}_{\mathrm{shape}}(f_{\mathrm{shape}}^{\mathrm{object}},f_{\mathrm{shape}}^{\mathrm{candidate}\left(i\right)})$

$+\mathrm{\βg}{\mathrm{similarity}}_{\mathrm{motion}}(f_{\mathrm{motion}}^{\mathrm{object}},f_{\mathrm{motion}}^{\mathrm{candidate}\left(i\right)})\}$

上式表示，目标(_object)与第i个候选关联区域(_candidate(i))的相似度由二者区域(f_region)、形状(f_shape)和运动(f_motion)三类相似度的线性组合而成，其中各特征重要性可以通过参数α和β进行调节。本课题研究中：首先，通过计算图像中各像素点属于各候选区域的联合后验概率进行目标区域特征的表示；其次，通过人体拓扑结构特性建立形状约束从而构建形状特征；再次，利用运动滤波模块预测结果对目标运动特性进行约束。在此基础上，研究自适应的权重参数α和β动态更新算法以实现相似度的计算。

(3)运动轨迹关联

跨摄像头目标跟踪的核心难点在于多摄像头不同视角采集到的视频中运动轨迹的关联。本课题研究中，将跨摄像头多运动轨迹关联问题转化为二分图匹配问题，该问题可以通过如下约束条件下的整数规划进行求解。

首先，构建二分图。全景图的构建可以发现两个摄像头共同覆盖的区域(如图1中重叠区域)，因此可以合理的假设拟关联的两个摄像头中的运动目标应该出现在该重叠区域，并初步确定所要关联的运动目标区域，详见图1所示样例。在此基础上，将跨摄像头运动轨迹关联问题转化为两个摄像头中运动目标构成的二分图匹配问题，该二分图第一个顶点集合U由第一个摄像头中运动轨迹的终点目标区域构成，第二个顶点集合V由第二个摄像头中运动轨迹的初始对象区域构成，根据二分图特性，该图的边连接集合U与集合V中的一对定点，并实现了跨摄像头运动轨迹的关联。

其次，构建关联假设并计算其相似度。在所构建二分图基础上，可以利用先验知识判断可能存在的关联假设，从而避免枚举所有关联情况所造成的计算复杂。如图2所示，通过假设被关联的两个运动目标的距离应该小于特定的阈值，排除了目标1与对象7的关联以及目标3与对象5的关联。然后，利用第(2)节中介绍的相似度计算方法计算该关联的相似度，从而构建相似度矩阵p(p为M×1向量，M为存在的假设个数)，并将各假设用标识矩阵C表示(C为M×N矩阵，N为所有运动目标的个数)。

最后，构建和求解目标函数和约束集。针对该二分图匹配问题，构建如下目标函数和约束集：

$\arg \underset{x}{\max }{p}^{T}X,$ s.t.C^TX≤1

上式表示，二分图匹配问题的最优解X(标记向量X为M×1向量，它的每个元素表示该假设是否出现在最优解中)应当使得运动目标关联问题的似然最大化，并且满足二分图两个顶点集合中元素的一一对应关系。采用整数规划算法[4]求解上述目标函数，从而实现跨摄像头的运动目标跟踪。

图1、跨摄像头运动轨迹关联及跨摄像机的全景图构建。其中，1、2、3三个阴影区域表示摄像机1在t时刻所采集图像1中的已检测运动目标；5、6、7三个阴影区域表示摄像机2在t时刻所采集图像2中的待关联运动区域，由于区域4的位置超出了关联所限定的区域范围，所以不再后续关联计算中；图2运动关联对应整数规划问题举例，其中最优关联结果用三个黑色边框表示。

参考文献：

[1]Kalman，Rudolph E.，1960.A new approach to linear filtering and prediction problems.Trans.ASME：J.Basic Eng.Ser.D 82，35-45.

[2]Blom，H.A.P.，1984.An efficient filter for abruptly changing systems.In：Proceedings of the 23rd IEEE Conference on Decision and Control，pp.656-658.

[3]Cheng，S.Stankovic，V Stankovic，L.，Improved sift-based image registration using belief propagation，IEEE International Conference on Acoustics，Speech and Signal Processing，pp：2909-2912，2009.

[4]J.E.Beasley，editor.Advances in Linear and Integer Programming.Oxford Science，1996.

Claims (1)

1.一种跨摄像头的多运动目标跟踪方法，其特征是，包括以下步骤：

1)面向单摄像头的运动滤波：

将人体复杂运动分解为有限个相对简单运动滤波模型的组合，其中每个单一运动滤波模型用线性运动状态转移模型和高斯噪声的组合表示，运动滤波方法包括如下两个核心部分：

运动模型： $s_k=F^i{s}_{k-1}+v_{k-1}^i,i\∈\{1,...,M\}$

观测模型：z_k＝Hs_k+w_k

运动模型表示M个不同运动类型下两个相邻时刻的运动状态转换关系的多个并行的状态转移模型；在此基础上，通过观测模型来表示当前状态下运动状态与观测的关联关系，s_k表示k时刻的状态矢量，z_k表示k时刻的观测矢量；Fⁱ表示运动状态转移矩阵，Hⁱ表示当前运动状态和观测的关联矩阵；

和w_k-1分别表示模型噪声和观测噪声，采用高斯噪声模拟，构造并融合表示不同运动轨迹的多个卡尔曼滤波器来进行运动滤波：

2)面向跨摄像头的运动关联：

(1)全景图的构建

利用摄像机空间设置的位置先验，并结合基于视觉不变量特征SIFT(Scale-invariant Feature Transformation)的图像配准方法实现全景图构建；

(2)目标相似性度量

针对跨摄像头时多视角条件下的人体表形的变化以及人体运动时自身形变的多样性，采用融合表形约束、形状约束和运动约束的方法进行目标相似性度量，融合目标区域特征(f_region)，形状特征(f_Shape)和运动特性(f_motion)三个因素构造特征函数f＝{f_region，f_Shape，f_motion}，在此基础上跨摄像头跟踪问题中的原始目标区域与候选区域的相似度(Similarity)可以通过下式计算：

${\mathrm{Similarity}}_{\mathrm{object},\mathrm{candidate}\left(i\right)}={\mathrm{Similarity}}_{\mathrm{region}}(f_{\mathrm{region}}^{\mathrm{object}},f_{\mathrm{region}}^{\mathrm{candidate}\left(i\right)}),$

$+\mathrm{\αg}{\mathrm{similarity}}_{\mathrm{shape}}(f_{\mathrm{shape}}^{\mathrm{object}},f_{\mathrm{shape}}^{\mathrm{candidate}\left(i\right)})$

$+\mathrm{\βg}{\mathrm{similarity}}_{\mathrm{motion}}(f_{\mathrm{motion}}^{\mathrm{object}},f_{\mathrm{motion}}^{\mathrm{candidate}\left(i\right)})\}$

上式表示，目标(_object)与第i个候选关联区域(_candidate(i))的相似度由二者区域(f_region)、形状(f_shape)和运动(f_motion)三类相似度的线性组合而成，其中各特征重要性可以通过参数α和β进行调节：首先，通过计算图像中各像素点属于各候选区域的联合后验概率进行目标区域特征的表示；其次，通过人体拓扑结构特性建立形状约束从而构建形状特征；再次，利用运动滤波模块预测结果对目标运动特性进行约束；采用自适应的权重参数α和β动态更新算法以实现相似度的计算；

(3)运动轨迹关联

将跨摄像头多运动轨迹关联问题转化为二分图匹配问题，通过如下约束条件下的整数规划进行求解：

首先，构建二分图，找到两个摄像头共同覆盖的区域，假设拟关联的两个摄像头中的运动目标应该出现在该重叠区域，并初步确定所要关联的运动目标区域，将跨摄像头运动轨迹关联问题转化为两个摄像头中运动目标构成的二分图匹配问题，该二分图第一个顶点集合U由第一个摄像头中运动轨迹的终点目标区域构成，第二个顶点集合V由第二个摄像头中运动轨迹的初始对象区域构成，根据二分图特性，该图的边连接集合U与集合V中的一对定点，并实现了跨摄像头运动轨迹的关联；

其次，构建关联假设并计算其相似度，在所构建二分图基础上，利用先验知识判断可能存在的关联假设，然后，利用第步骤(2)节中的相似度计算方法计算该关联的相似度，从而构建相似度矩阵p，p为M×1向量，M为存在的假设个数，并将各假设用标识矩阵C表示，C为M×N矩阵，N为所有运动目标的个数；

最后，构建和求解目标函数和约束集，针对二分图匹配问题，构建如下目标函数和约束集：

$\arg \underset{x}{\max }{p}^{T}X,$ s.t.C^TX≤1

上式表示，二分图匹配问题的最优解X(标记向量X为M×1向量)的每个元素表示该假设是否出现在最优解中，从而使得运动目标关联问题的似然最大化，并且满足二分图两个顶点集合中元素的一一对应关系，采用整数规划算法求解上述目标函数，从而实现跨摄像头的运动目标跟踪。

Images