CN101616309B - 无重叠视域多摄像机人体目标跟踪方法 - Google Patents

Abstract

本发明涉及一种无重叠视域多摄像机人体目标跟踪方法，具体是一种在多摄像机之间拓扑关系已知的情况下，在无重叠视域的多摄像机视频中进行目标匹配与跟踪的方法，首先建立多摄像机之间的拓扑关系矩阵，然后提取行人目标的前景图像，接着通过人机交互界面在某个摄像机的视域范围选定跟踪目标，并使用混合高斯模型提取该目标的外观特征，包括颜色直方图特征和UV色度特征，在整个跟踪过程中，采用树的结构对跟踪任务进行管理，并采用贝叶斯模型估计全局相似度，根据全局相似度寻找最佳匹配目标。本发明具有精确度高、算法简单、易于实现、实时性强等优点，可以为多摄像机目标识别与跟踪提供一种新的实时可靠的方法。

Description

无重叠视域多摄像机人体目标跟踪方法

技术领域

本发明涉及一种多摄像机视频监控领域中的目标跟踪方法，具体是一种在多摄像机之间拓扑关系已知的情况下，在无重叠视域的多摄像机视频中进行人体目标匹配与跟踪的方法。属于视频监控技术领域。

背景技术

随着视频监控技术的快速发展，以及单摄像机有限的视域无法满足广域视频监控的要求，无重叠视域多摄像机目标跟踪成为有效解决广域视频监控问题的一种途径。无重叠视域多摄像机目标跟踪问题不同于单摄像机和重叠视域多摄像机跟踪问题。单摄像机目标跟踪的研究主要集中在背景建模、前景检测、阴影去除、遮挡处理等关键问题上，这些关键问题也是多摄像机目标跟踪的研究基础。多摄像机目标跟踪从视域角度上看可以分为重叠视域多摄像机目标跟踪与无重叠视域多摄像机目标跟踪。对于前者由于视域是重叠的，目标在离开前一个摄像机视域之前已经出现在后一个摄像机的视域中，因此摄像机之间的目标跟踪可以由一个摄像机传递给另一个。而对于后者由于摄像机之间存在一个盲区，目标在这个盲区内的运动无法获知，因此造成时间和空间上的不连续，这为问题的解决设置了巨大障碍，而且使得前者的许多研究方法无法有效地应用到后者中。对于无重叠视域多摄像机目标跟踪问题，由于问题本身的复杂性和困难性，目前仍处于研究的初级阶段。

经对现有技术文献的检索发现，无重叠视域多摄像机目标跟踪问题的研究主要集中在不同摄像机中相同目标的匹配以及监控摄像机之间拓扑关系的估计。目前已有的匹配方法主要为对目标建立外观模型。Javed等人于2008年在《Computer Vision and Image Understanding》(计算机视觉与图像理解)发表的论文“Modeling inter-camera space-time and appearance relationships for trackingacross non-overlapping views”(针对非重叠视域跟踪的多摄像机时空及外观关系建模)运用颜色直方图建立外观模型。Teixeira等人于2008年在《PatternRecognition Letters》)(模式识别快报)发表的论文“Video object matching acrossmultiple independent views using local descriptors and adaptive learning”(基于局部特征描述器及适应性学习的独立多摄像机视频目标匹配)运用一个由量化的局部特征描述器组成的直方图建立外观模型。然而，由于多摄像机视域中各摄像机之间多种因素变化的不确定性，这些特征均无法对于这些不确定因素同时具有鲁棒性。

Javed等人于2008年在《Computer Vision and Image Understanding》(计算机视觉与图像理解)发表的论文“Modeling inter-camera space-time andappearance relationships for tracking across non-overlapping views”(针对非重叠视域跟踪的多摄像机时空及外观关系建模)采用一个基于Parzen窗和高斯核的混合概率密度估计器来估计由时间间隔、进出观测视域的位置和进出视域时的运动速度等量组成的概率密度函数，整个估计过程通过学习训练集数据的方法实现。然而，这种方法算法复杂，不易实现，因此不适合实际的工程运用。

发明内容

本发明的目的在于针对现有技术的不足，提供一种无重叠视域多摄像机人体目标跟踪方法，能在多摄像机之间的拓扑关系已知的前提下，实时准确的跟踪单个行人目标。

为实现上述目的，本发明首先建立多摄像机之间的拓扑关系矩阵，然后提取行人目标的前景图像，接着通过人机交互界面在某个摄像机的视域范围选定跟踪目标，并使用混合高斯模型提取该目标的外观特征，包括颜色直方图特征和UV色度特征，在整个跟踪过程中，采用树的结构对跟踪任务进行管理，并采用贝叶斯模型估计全局相似度，根据全局相似度寻找最佳匹配目标。

本发明方法通过以下具体步骤实现：

1、为每个摄像机设定编号：1，2，……，N；为每个摄像机定义出入口编号：1，2，……，m；从一个摄像机的某个出口至另一个摄像机的某个入口所用平均时间为t；引入一个时间窗参数w，使得所有行人从一个摄像机的某个出口至另一个摄像机的某个入口所用时间落在(t-w，t+w)区间内；根据已知多摄像机之间的拓扑关系，建立拓扑关系矩阵：

$T=\left[\begin{array}{cccccc}{t}_{11}& t_{12}& ...& t_{1j}& ...& t_{1N}\\ t_{21}& t_{22}& ...& t_{2j}& ...& t_{2N}\\ .& .& & .& & .\\ .& .& & .& & .\\ .& .& & .& & .\\ t_{i1}& t_{i2}& ...& t_{\mathrm{ij}}& ...& t_{\mathrm{iN}}\\ .& .& & .& & .\\ .& .& & .& & .\\ .& .& & .& & .\\ t_{N1}& t_{N2}& ...& t_{\mathrm{Nj}}& ...& t_{\mathrm{NN}}\end{array}\right],$ i＝1，2，……，N；j＝1，2，……，N；

其中，t_ij表示从摄像机i到摄像机j之间的连接信息，t_ij用以下结构表示：

t_ij＝{(摄像机号i，出口号)，(摄像机号j，入口号)，平均时间，时间窗}。

2、将摄像机采集的视频读入计算机，对每帧图像进行背景建模与背景实时更新，通过当前帧与背景帧相减的方法，得到每个行人目标的前景图像。

3、通过人机交互界面在某个摄像机的视域范围选定跟踪目标，根据与该跟踪目标对应的行人目标前景图像，使用混合高斯模型提取跟踪目标的外观特征，包括颜色直方图特征和UV色度特征。

4、当跟踪目标走出选定时所在摄像机视域范围，则针对该摄像机建立节点作为跟踪树的根节点；然后根据拓扑关系矩阵得到与该摄像机相连的所有摄像机，并向这些摄像机发布跟踪任务，同时针对这些摄像机为根节点分别建立子节点；所述节点的结构为：节点＝{父节点，子节点，摄像机号，对应跟踪任务，行人目标对象}；其中行人目标对象包括行人目标的外观特征以及该行人目标与选定跟踪目标之间的全局相似度；所述跟踪任务的结构为：跟踪任务＝{监控时间，出入口号，对应节点}。

5、当行人目标进入某个摄像机的视域范围，则在该摄像机的跟踪任务列表中寻找与之匹配的跟踪任务；若存在匹配的跟踪任务，则根据该行人目标的前景图像，使用混合高斯模型提取该行人目标的颜色直方图特征和UV色度特征；计算该行人目标与选定跟踪目标之间的相似度，再利用贝叶斯模型估计全局相似度，将此全局相似度与该摄像机对应节点中保存行人目标对象的全局相似度进行比较，保留较大者对应的行人目标对象作为局部最佳匹配目标，再根据全局相似度在该摄像机所对应的当前层节点中寻找全局最佳匹配节点，对于失去全局最佳匹配节点身份的节点，删除其子节点。

6、当与全局最佳匹配节点对应的行人目标走出某个摄像机的视域范围，则根据拓扑关系矩阵得到所有与该摄像机相连的摄像机，并向这些摄像机发布跟踪任务，同时针对这些摄像机为当前节点分别建立子节点。

7、当某个跟踪任务的监控时间失效，在该跟踪任务对应节点的所有兄弟节点中寻找全局最佳匹配节点，若该跟踪任务对应节点不是全局最佳匹配节点，则删除该跟踪任务对应节点及其子节点。

8、若所有节点的跟踪任务时间均失效，则完成无重叠视域多摄像机的目标跟踪。

本发明与现有技术相比的显著效果在于：融合两种特征建立外观模型以实现更加精确的匹配，并利用已知的拓扑关系来辅助目标匹配，具有精确度高，算法简单，易于实现、实时性强等优点，可以为多摄像机目标识别与跟踪提供一种新的实时可靠的方法。

附图说明

图1为本发明方法步骤方框示意图。

图2为摄像机出入口号定义方式示意图。

图3为摄像机拓扑结构示意图。

图4为跟踪树示意图。

具体实施方式

下面结合附图和实施例对本发明的技术方案作详细说明。本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例。

为了便于理解本发明提出的方法，在本实施例中选取非重叠视域摄像机数目为4，所选取的视频中共有两个行人分别为行人A与行人B先后经过，行人A依次经过摄像机1、2、4的视域，行人B依次经过摄像机1、3、4的视域。

图1给出了本发明方法流程示意图。如图1所示，本实施例具体实施步骤如下：

1、建立多摄像机之间的拓扑关系矩阵

在本实施例中选取非重叠视域摄像机数目为4，依次为每个摄像机设定编号：1，2，3，4；然后，所有摄像机均按附图2所示方式定义出入口编号：1，2，3，4；根据摄像机的实际连接方式以及以上定义，可以画出本实施例中4个摄像机的拓扑结构如附图3所示。定义从一个摄像机的某个出口至另一个摄像机的某个入口所用平均时间为t，引入一个时间窗参数w，使得所有行人从一个摄像机的某个出口至另一个摄像机的某个入口所用时间落在(t-w，t+w)区间内。t与w的取值根据一定数量的样本统计得到。如图3所示，本实施例中，行人A的行走路线中，1号摄像机的4号出口至2号摄像机的4号入口所用平均时间t为21s，时间窗参数w＝5s；2号摄像机的2号出口至4号摄像机的4号入口所用平均时间t为44s，时间窗参数w＝9s。行人B行走的路线中，1号摄像机的4号出口至3号摄像机的4号入口所用平均时间t为28s，时间窗参数w＝7s；3号摄像机的2号出口至4号摄像机的4号入口所用平均时间t为35s，时间窗参数w＝8s。

根据已知的拓扑关系，建立多摄像机之间的拓扑关系矩阵：

$T=\left[\begin{array}{cccc}{t}_{11}& t_{12}& t_{13}& t_{14}\\ t_{21}& t_{22}& t_{23}& t_{24}\\ t_{31}& t_{32}& t_{33}& t_{34}\\ t_{41}& t_{42}& t_{43}& t_{44}\end{array}\right]$

其中，t_ij表示从摄像机i到摄像机j之间的连接信息，包括出口号、入口号、平均时间以及时间窗参数。t_ij用以下结构表示：

t_ij＝{(摄像机号i，出口号)，(摄像机号j，入口号)，平均时间，时间窗}。

如果两摄像机之间不存在连接，则出口号与入口号赋-1，平均时间与时间窗赋0。

2、提取行人目标的前景图像

采用OpenCV(Intel开源计算机视觉库)中的功能函数进行视频读取，把摄像机采集的视频读入计算机，然后采用Tao Yang等人于2005年在CVPR(计算机视觉与模式识别会议)发表的论文“Real-time Multiple Objects Tracking withOcclusion Handling in Dynamic Scenes”(动态场景中的实时重叠多目标跟踪)中的方法对每帧图像进行背景建模与背景实时更新。通过当前帧与背景帧相减的方法，并结合高斯滤波与形态学处理，可以得到比较准确的每个行人目标的前景图像。

3、选定跟踪目标，提取跟踪目标的外观特征

当行人A首先出现在摄像机1的视域，通过人机交互界面选定它为跟踪目标。使用Cai等人于2007年在ACCV(亚洲计算机视觉会议)发表的论文“Continuously tracking objects across multiple widely separated cameras”(广域非重叠多摄像机持续目标跟踪)的方法提取基于前景分割的颜色直方图特征。根据空间关系将目标划分为三个部分，对于每部分使用高斯混合模型(GMM)来估计颜色分布，不同部分的权值由下式计算：

$p_i=p(a_s=b_s|S_{\mathrm{ai}}=S_{\mathrm{bi}})$

$=\frac{p(S_{\mathrm{ai}}=S_{\mathrm{bi}}|a_s=b_s)\×p(a_s=b_s)}{p(S_{\mathrm{ai}}=S_{\mathrm{bi}})}$

其中，a_s和b_s代表摄像机A和B中的检测目标，p(S_ai＝S_bi)代表a_s和b_s中的对应部分相匹配的概率，p(a_s＝b_s)代表摄像机A和B中的目标相匹配的概率。

使用Jeong和Jaynes于2008年在《Machine Vision and Applications》(机器视觉及应用)发表的论文“Object matching in disjoint cameras using a colortransfer approach”(使用颜色转换方法的非重叠摄像机目标匹配)提取UV色度空间模型。将目标划分为三个部分，根据YUV颜色空间的UV通道建立色度平面。对于平面上的颜色分布建立二维高斯混合模型。权值计算同颜色直方图。

多摄像机之间的跟踪任务管理采用树的结构进行，在本实施例中，整个管理过程依次通过以下几步实现：

4、选定的跟踪目标(行人A)走出摄像机1的视域范围，则针对摄像机1建立节点作为跟踪树的根节点；然后搜索拓扑关系矩阵，得到所有与之相连的摄像机为摄像机2和摄像机3；根据平均时间t与时间窗w向摄像机2和摄像机3发布跟踪任务，同时针对摄像机2和摄像机3为根节点建立子节点；所述节点的结构为：节点＝{父节点，子节点，摄像机号，对应跟踪任务，行人目标对象}；其中行人目标对象包括行人目标的外观特征以及该行人目标与选定跟踪目标之间的全局相似度；所述跟踪任务的结构为：跟踪任务＝{监控时间，出入口号，对应节点}；此时的跟踪树如附图4(a)所示。图中节点内的标号代表对应的摄像机号。

5、行人A进入摄像机2的视域，则在摄像机2的跟踪任务列表中根据待监控的摄像机出入口号以及有效监控时间寻找与之匹配的跟踪任务；结果为存在匹配的跟踪任务，则根据该行人目标的前景图像，使用混合高斯模型提取该行人目标的颜色直方图特征和UV色度特征；计算该行人目标与选定跟踪目标之间的相似度，再利用贝叶斯模型估计全局相似度，将该行人目标对象作为局部最佳匹配目标保存在摄像机2对应节点中；再根据全局相似度在摄像机1所对应的当前层节点中寻找全局最佳匹配节点，结果为摄像机2对应节点为最佳匹配节点。

接着，行人B进入摄像机3的视域，则在摄像机3的监控任务列表中根据待监控的摄像机出入口号以及有效监控时间寻找与之匹配的监控任务；结果为存在匹配的监控任务，则根据该行人目标的前景图像，使用混合高斯模型提取该行人目标的颜色直方图特征和UV色度特征；计算该行人目标与选定跟踪目标之间的相似度，再利用贝叶斯模型估计全局相似度，将该行人目标对象作为局部最佳匹配目标保存在摄像机3对应节点中；此时摄像机3所对应的当前层中有两个节点，比较它们的全局相似度，取相似度最大者为最佳匹配节点；结果上一步出现的行人(行人A)相似度更大，因此摄像机2对应节点被判为当前的最佳匹配节点；由于未发生最佳匹配节点身份的转移，所以不需进行删除子节点操作。

6、行人A走出摄像机2的视域，搜索拓扑关系矩阵，得到所有与摄像机2出口相连的摄像机为摄像机4；根据平均时间t与时间窗w向摄像机4发布跟踪任务，同时针对摄像机4为当前节点建立子节点；此时的跟踪树如附图4(b)所示。

7、摄像机2的跟踪任务监控时间失效，在摄像机2对应节点的所有兄弟节点中寻找全局最佳匹配节点，结果摄像机2对应节点为最佳匹配节点；因此不进行删除节点操作。

摄像机3的跟踪任务监控时间失效，在摄像机3对应节点的所有兄弟节点中寻找全局最佳匹配节点，结果摄像机2对应节点为最佳匹配节点；删除摄像机3对应节点及其子节点；此时的跟踪树如附图4(c)所示。

行人A走出摄像机2的视域范围后，进入了摄像机4的视域，采用与步骤5相同的方法进行跟踪任务管理。即在摄像机4的跟踪任务列表中根据待监控的摄像机出入口号以及有效监控时间寻找与之匹配的跟踪任务；结果为存在匹配的跟踪任务，则根据该行人目标的前景图像，使用混合高斯模型提取该行人目标的颜色直方图特征和UV色度特征；计算该行人目标与选定跟踪目标之间的相似度，再利用贝叶斯模型估计全局相似度，将该行人目标对象作为局部最佳匹配目标保存在摄像机2对应节点中，再根据全局相似度在摄像机4所对应的当前层节点中寻找全局最佳匹配节点，由于此时当前层只有一个节点，于是它被判为当前的最佳匹配目标。

行人A走出摄像机4的视域，搜索拓扑关系矩阵，没有与摄像机4出口相连的其它摄像机，不进行任何操作。

摄像机4的跟踪任务监控时间失效，在摄像机4对应节点的所有兄弟节点中寻找全局最佳匹配节点，由于当前层只有一个节点，结果摄像机4对应节点为最佳匹配节点；因此不进行删除节点操作。

8、摄像机4的跟踪任务监控时间失效，即所有摄像机的跟踪任务监控时间失效，则完成无重叠视域多摄像机的目标跟踪。于是，在整个跟踪过程中，成功地跟踪了行人A的运动轨迹。

Claims (1)

1.一种无重叠视域多摄像机人体目标跟踪方法，其特征在于包括以下步骤：

1)为每个摄像机设定编号：1，2，……，N；为每个摄像机定义出入口编号：1，2，……，m；从一个摄像机的某个出口至另一个摄像机的某个入口所用平均时间为t；引入一个时间窗参数w，使得所有行人从一个摄像机的某个出口至另一个摄像机的某个入口所用时间落在(t-w，t+w)区间内；根据已知多摄像机之间的拓扑关系，建立拓扑关系矩阵：

$T=\left[\begin{array}{cccccc}{t}_{11}& t_{12}& \·\·\·& t_{1j}& \·\·\·& t_{1N}\\ t_{21}& t_{22}& \·\·\·& t_{2j}& \·\·\·& t_{2N}\\ \·& \·& & \·& & \·\\ \·& \·& & \·& & \·\\ \·& \·& & \·& & \·\\ t_{i1}& t_{i2}& \·\·\·& t_{\mathrm{ij}}& \·\·\·& t_{\mathrm{iN}}\\ \·& \·& & \·& & \·\\ \·& \·& & \·& & \·\\ \·& \·& & \·& & \·\\ t_{N1}& t_{N2}& \·\·\·& t_{\mathrm{Nj}}& \·\·\·& t_{\mathrm{NN}}\end{array}\right],$ i＝1，2，……，N；j＝1，2，……，N；

其中，t_ij表示从摄像机i到摄像机j之间的连接信息，t_ij用以下结构表示：

t_ij＝{(摄像机号i，出口号)，(摄像机号j，入口号)，平均时间，时间窗}；

2)将摄像机采集的视频读入计算机，对每帧图像进行背景建模与背景实时更新，通过当前帧与背景帧相减的方法，得到每个行人目标的前景图像；

3)通过人机交互界面在某个摄像机的视域范围选定跟踪目标，根据与该跟踪目标对应的行人目标前景图像，使用混合高斯模型提取跟踪目标的外观特征，包括颜色直方图特征和UV色度特征；

4)当跟踪目标走出选定时所在摄像机视域范围，则针对该摄像机建立节点作为跟踪树的根节点；然后根据拓扑关系矩阵得到与该摄像机相连的所有摄像机，并向这些摄像机发布跟踪任务，同时针对这些摄像机分别建立节点作为根节点的子节点；所述节点的结构为：节点＝{父节点，子节点，摄像机号，对应跟踪任务，行人目标对象}；其中行人目标对象包括行人目标的外观特征以及该行人目标与选定跟踪目标之间的全局相似度；所述跟踪任务的结构为：跟踪任务＝{监控时间，出入口号，对应节点}；

5)当行人目标进入某个摄像机的视域范围，则在该摄像机的跟踪任务列表中寻找与之匹配的跟踪任务；若存在匹配的跟踪任务，则根据该行人目标的前景图像，使用混合高斯模型提取该行人目标的颜色直方图特征和UV色度特征；计算该行人目标与选定跟踪目标之间的相似度，再利用贝叶斯模型估计全局相似度，将此全局相似度与该摄像机对应节点中保存行人目标对象的全局相似度进行比较，保留较大者对应的行人目标对象作为局部最佳匹配目标，再根据全局相似度在该摄像机所对应的当前层节点中寻找全局最佳匹配节点；对于失去全局最佳匹配节点身份的节点，删除其子节点；

6)当与全局最佳匹配节点对应的行人目标走出某个摄像机的视域范围，则根据拓扑关系矩阵得到所有与该摄像机相连的摄像机，并向这些摄像机发布跟踪任务，同时针对这些摄像机分别建立节点作为当前节点的子节点；

7)当某个跟踪任务的监控时间失效，在该跟踪任务对应节点的所有兄弟节点中寻找全局最佳匹配节点，若该跟踪任务对应节点不是全局最佳匹配节点，则删除该跟踪任务对应节点及其子节点；

8)若所有节点的跟踪任务时间均失效，则完成无重叠视域多摄像机的目标跟踪。

Images