CN106373143A - 一种自适应跨摄像机多目标跟踪方法及系统 - Google Patents

Abstract

本发明公开了一种自适应跨摄像机多目标跟踪方法及系统，涉及计算机视觉领域的跨摄像机多目标跟踪技术。本发明方法包括：先固定跟踪窗口大小并使用预先建立的跟踪模型得到当前视频帧目标物体的位置，再在所得到的位置处变换跟踪窗口的大小，使用所述跟踪模型得到目标物体的尺度，根据得到的目标物体珠尺度在线更新跟踪模型；根据更新的跟踪模型，对当前视频帧目标物体的图像进行对数极坐标变换，对对数极坐标变换后的目标物体的图像进行混合高斯建模，度量目标物体的中心偏移和变化程度，判别目标物体是否已经消失。本发明还公开了一种自适应跨摄像机多目标跟踪系统。本申请技术方案有效地提高的跟踪算法的准确性和鲁棒性。

Description

一种自适应跨摄像机多目标跟踪方法及系统

技术领域

本发明涉及计算机视觉领域的跨摄像机多目标跟踪技术，具体为一种自适应跨摄像机多目标跟踪方法及系统。

背景技术

在智能视频监控中，单个摄像头的监控范围十分有限，并不能对整个监控场景进行有效覆盖。为了实现更大范围的监控，比如在城市的道路网络中跟踪某辆汽车或是在大型火车站内寻找某个可疑目标，通常需要多个监控摄像机协同工作。在无重叠区域拓扑结构未知的多摄像头监控网络中，多目标匹配与跟踪问题是其中的热点和难点。跨摄像机的多目标匹配与跟踪将不同监控摄像头中的同一运动目标联系起来，是监控网络中运动分析、行为理解等后续工作的基础，因此可以说跨摄像机的多目标匹配与跟踪是智能视频监控中的不可或缺环节。

尽管跨摄像机的多目标匹配与跟踪已经得到一定的关注和研究，然而，在现实环境中实现高效、鲁棒的目标跟踪算法仍然是一个极具挑战性的问题。这是因为在实际场景中，环境复杂多变，设计高效的跨摄像机的目标跟踪算法需要解决各种问题，这些问题包括场景光照变化、相互遮挡、目标尺度和姿势变化、不同摄像机之间的视角差异、不同摄像机之间的参数差异。

现有的目标跟踪算法一般可以分为生成模型方法和判别模型方法。基于生成模型的跟踪算法着重于准确地描述目标的特征，然后搜索具有最大相似度的物体作为目标；而基于判别模型的跟踪算法着重于把目标和背景分离开，往往采集背景区域作为负样本，目标物体作为正样本进行训练，得到一个二分类器，这种方法的好处是利用了背景的信息，能够有效地减弱背景中与目标相似的物体对于跟踪算法的影响。所以基于判别模型的跟踪算法往往具有更好的跟踪效果。

但是无论使用上述哪种方法，都没有考虑到目标消失情况的判断，而这种情况在实际场景中是经常出现的。目标绝大部分主流目标跟踪算法都只考虑到目标跟踪的准确度，缺少目标消失以后的有效判断机制，因此很难在实际场景中得到广泛的应用。Kalal等人于2012年发表在《IEEE TransactionsonPattern Analysis and Machine Intelligence》(国际电气和电子工程师协会模式分析和机器智能学报)第34卷1409页至1422页中“Tracking-learning-detection”一文中提出了目标物体消失判断的一种方法，这种方法使首先计算目标区域的光流，然后根据光流的混乱程度来判断物体是否消失，但是目前的光流计算方法是个病态问题，计算得到的光流并不可靠，因此根据光流来判断物体是否消失在理论上就存在较多问题，该方法在实际应用中也显示出较高的误判概率。Traver等人于2010年发表在《Roboticsand Autonomous Systems》(机器人技术和自动系统学报)第58卷378页至398页的“A review of log-polar imaging for visual perception in robotics”中指出，对数极坐标转换后的图像与人眼看物体的特征非常吻合，而人眼对于目标物体的消失判断是非常准确的。因此，我们可以模仿人眼对于目标物体的观察属性，利用对数极坐标转换来进行目标的消失判断。同时Hare等人于2011年发表在《IEEE International Conference onComputer Vision》(国际电气和电子工程师协会计算机视觉国际会议)上的“Struck:Structured output trackingwith kernels”中提出了一种基于结构化输出约束的online SVM分类器框架，该分类器可以有效地把前景目标与背景目标相分离。

发明内容

本发明所要解决的技术问题是，提供一种自适应跨摄像机多目标跟踪方法及系统，以解决现有跨摄像机多目标跟踪准确性低的问题。

为了解决上述技术问题，本发明公开了一种自适应跨摄像机多目标跟踪方法，该方法包括：

先固定跟踪窗口大小并使用预先建立的跟踪模型得到当前视频帧目标物体的位置，再在所得到的位置处变换跟踪窗口的大小，使用所述跟踪模型得到目标物体的尺度，根据得到的目标物体珠尺度在线更新跟踪模型；

根据更新的跟踪模型，对当前视频帧目标物体的图像进行对数极坐标变换，对对数极坐标变换后的目标物体的图像进行混合高斯建模，度量目标物体的中心偏移和变化程度，判别目标物体是否已经消失。

可选地，上述方法还包括：

在跟踪的同时提取并保存目标物体的特征，建立目标物体的特征库，当跟踪的目标物体离开该视频时，在另一段视频中匹配并检测最相似的目标物体，继续进行跟踪。

可选地，上述方法中，按照如下公式，对当前视频帧目标物体的位置进行对数极坐标变换：

其中，经过对数极坐标转换后的图像的横轴和纵轴为ρ和θ。

可选地，上述方法中，按照如下公式对对数极坐标变换后的目标物体的图像进行混合高斯建模

其中：q_t(x，y)表示目标的特征图像在(x，y)处的像素值，H表示混合高斯模型的个数，表示t时刻(x，y)坐标处第i个高斯模型的权重，N()表示正态分布，表示t时刻(x，y)坐标处第i个高斯模型的的均值，表示t时刻(x，y)坐标处第i个高斯模型的的方差。

可选地，上述方法中，度量目标物体的中心偏移和变化程度，判别目标物体是否已经消失的过程包括：

使用目标物体的混合高斯模型对下一帧视频图像中的跟踪目标物体的图像进行检测，统计非目标的像素占总像素的比例，若非目标的像素点总像素的比例达到或超过预先设定的阈值，则判断目标物体消失。

可选地，上述方法中，若非目标的像素点总像素的比例达到或超过预先设定的阈值时，还进行时域滤波操作；

仅当非目标的像素点总像素的比例达到或超过预先设定的阈值，且满足时域滤波的消失判断条件时，才判断目标物体消失。

可选地，上述方法中，在跟踪的同时提取并保存目标物体的特征，建立目标物体的特征库的过程包括：

周期性地对跟踪目标物体的图像提取色彩、饱和度和值HSV分块直方图特征、边缘方向直方图特征、主颜色特征和方向梯度直方图HOG特征，将这四种特征进行融合得到目标特征，存入目标特征库。

可选地，上述方法还包括：

在目标特征库容量达到上限时，用新的目标特征替换目标特征库中最原始的目标特征。

可选地，上述方法中，当跟踪的目标物体离开该视频时，在另一段视频中匹配并检测最相似的目标物体，继续进行跟踪的过程包括:

对整段匹配视频使用混合高斯模型进行前景物体提取,使用目标特征库计算跟踪目标与所有前景物体的相似度，选择相似度最高的前景物体作为跨摄像机跟踪的目标。

本发明还公开了一种自适应跨摄像机多目标跟踪系统，该系统包括：

更新模块，固定跟踪窗口大小并使用预先建立的跟踪模型得到当前视频帧目标物体的位置，在所得到的位置处变换跟踪窗口的大小，使用所述跟踪模型得到目标物体的尺度，根据得到的目标物体珠尺度在线更新跟踪模型；

判断模块，根据更新的跟踪模型，对当前视频帧目标物体的图像进行对数极坐标变换，对对数极坐标变换后的目标物体的图像进行混合高斯建模，度量目标物体的中心偏移和变化程度，判别目标物体是否已经消失。

可选地，上述系统还包括：

目标物体的特征库建立模块，在跟踪的同时提取并保存目标物体的特征，建立目标物体的特征库；

跟踪模块，在跟踪的目标物体离开该视频时，在另一段视频中匹配并检测最相似的目标物体，继续进行跟踪。

可选地，上述系统中，按照如下公式，对当前视频帧目标物体的位置进行对数极坐标变换：

其中，经过对数极坐标转换后的图像的横轴和纵轴为ρ和θ。

可选地，上述系统中，按照如下公式对对数极坐标变换后的目标物体的图像进行混合高斯建模：

其中：q_t(x，y)表示目标的特征图像在(x，y)处的像素值，H表示混合高斯模型的个数，表示t时刻(x，y)坐标处第i个高斯模型的权重，N()表示正态分布，表示t时刻(x，y)坐标处第i个高斯模型的的均值，表示t时刻(x，y)坐标处第i个高斯模型的方差。

可选地，上述系统中，所述判断模块度量目标物体的中心偏移和变化程度，判别目标物体是否已经消失指：

使用目标物体的混合高斯模型对下一帧视频图像中的跟踪目标物体的图像进行检测，统计非目标的像素占总像素的比例，若非目标的像素点总像素的比例达到或超过预先设定的阈值，则判断目标物体消失。

可选地，上述系统中，非目标的像素点总像素的比例达到或超过预先设定的阈值时，所述判断模块还进行时域滤波操作；

仅当非目标的像素点总像素的比例达到或超过预先设定的阈值，且满足时域滤波的消失判断条件时，才判断目标物体消失。

可选地，上述系统中，所述目标物体的特征库建立模块，在跟踪的同时提取并保存目标物体的特征，建立目标物体的特征库指：

周期性地对跟踪目标物体的图像提取色彩、饱和度和值HSV分块直方图特征、边缘方向直方图特征、主颜色特征和方向梯度直方图HOG特征，将这四种特征进行融合得到目标特征，存入目标特征库。

可选地，上述系统中，所述目标物体的特征库建立模块在目标特征库容量达到上限时，用新的目标特征替换目标特征库中最原始的目标特征。

可选地，上述系统中，所述跟踪模块，在跟踪的目标物体离开该视频时，在另一段视频中匹配并检测最相似的目标物体，继续进行跟踪指：

对整段匹配视频使用混合高斯模型进行前景物体提取,使用目标特征库计算跟踪目标与所有前景物体的相似度，选择相似度最高的前景物体作为跨摄像机跟踪的目标。

本申请技术方案利用online SVM框架来实现自适应尺度变换的跟踪算法，并融合了基于对数极坐标变换和混合高斯建模的消失判断机制，有效地提高的跟踪算法的准确性和鲁棒性。同时，本申请技术方案能够同时对多个目标进行跨摄像机跟踪，具有极强的鲁棒性，而且能够达到实时要求，能够应用到实际场景中。

附图说明

图1为本发明方法的整体流程示意图。

图2为实例1中的单目标跟踪结果图。

图3为实例2中的多目标跟踪结果图。

图4为实例3中的单目标跟踪结果图。

图5为实例3中的跨摄像机匹配结果图；

图6为本发明系统的具体实施结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文将结合附图对本发明技术方案作进一步详细说明。需要说明的是，在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

实施例1

本实施例提供一种自适应跨摄像机多目标跟踪方法，主要包括如下操作：

先固定跟踪窗口大小并使用预先建立的跟踪模型得到当前视频帧目标物体的位置，再在所得到的位置处变换跟踪窗口的大小，使用所述跟踪模型得到目标物体的尺度，根据得到的目标物体珠尺度在线更新跟踪模型；

根据更新的跟踪模型，对当前视频帧目标物体的图像进行对数极坐标变换，对对数极坐标变换后的目标物体的图像进行混合高斯建模，度量目标物体的中心偏移和变化程度，判别目标物体是否已经消失。

另外，按照上述方法操作时，还可以在跟踪的同时提取并保存目标物体的特征，建立目标物体的特征库，当跟踪的目标物体离开该视频时，在另一段视频中匹配并检测最相似的目标物体，继续进行跟踪。

具体地，度量目标物体的中心偏移和变化程度，判别目标物体是否已经消失的过程又分为如下操作：

使用目标物体的混合高斯模型对下一帧视频图像中的跟踪目标物体的图像进行检测，统计非目标的像素占总像素的比例，若非目标的像素点总像素的比例达到或超过预先设定的阈值，则判断目标物体消失。

要说明的是，当非目标的像素点总像素的比例达到或超过预先设定的阈值时，还可以进行时域滤波操作，这样，仅当非目标的像素点总像素的比例达到或超过预先设定的阈值，且满足时域滤波的消失判断条件时，才判断目标物体消失，从而提高判断结果的可靠性。

在跟踪的同时提取并保存目标物体的特征，建立目标物体的特征库的过程包括：

周期性地对跟踪目标物体的图像提取HSV分块直方图特征、边缘方向直方图特征、主颜色特征和hog特征，将这四种特征进行融合得到目标特征，存入目标特征库即可。

其中，在目标特征库容量达到上限时，还可以用新的目标特征替换目标特征库中最原始的目标特征。

当跟踪的目标物体离开该视频时，在另一段视频中匹配并检测最相似的目标物体，继续进行跟踪的操作如下:

对整段匹配视频使用混合高斯模型进行前景物体提取,使用目标特征库计算跟踪目标与所有前景物体的相似度，选择相似度最高的前景物体作为跨摄像机跟踪的目标。

从本实施例方法，可以看出，本申请技术方案主要以online SVM分类器为跟踪算法基础框架，在跟踪时，对上一帧图像的目标位置周围进行搜索，利用online SVM对搜索范围内的区域进行评分，评分最高的区域即为当前帧目标的位置，再利用先搜索位置再搜索尺度的方法来快速准确地跟踪目标的尺度，跟踪完成以后，在目标周围采样正样本和负样本来在线更新目标模型；对对数极坐标变换后的目标图像进行混合高斯建模来度量目标的中心偏移和变化程度，以此判别目标是否已经跟丢或消失。同时在跟踪过程中，对每一个目标提取多个目标模板并计算特征，用于跨摄像机匹配。当目标离开这段视频以后，由用户指定一段视频进行跨摄像机匹配，先对待匹配视频中的每一帧进行高斯建模和前景提取，对每一个前景物体计算特征，然后使用每一个跟踪目标的模板特征与前景特征进行匹配，得到对应的相似度，最后在整段视频中找到匹配相似度最高的物体作为目标物体，对该目标进行继续跟踪。重复上述步骤即可实现跨摄像机多目标跟踪。

具体地，上述方法的实现过程如图1所示，包括以下操作步骤：

步骤100：初始化输入。

由用户输入需要跟踪的视频、单个或多个跟踪目标所在的初始帧以及初始矩形框。

步骤200：跟踪模型建立。

读取目标所在初始帧，在距离目标位置R的范围内采集样本，样本的矩形框大小与目标矩形框大小一致，对所有样本提取haar-like特征，同时记录每个样本的矩形框位置。得到了训练样本以后，就通过求解如下的凸优化目标函数得到online SVM跟踪模型：

其中：ξ_i是松弛变量，C是调和参数，δΦ_i(y)＝Φ(x_i，y_i)-Φ(x_i，y)；表示两个不同位置的矩形框之间的覆盖度。

使用拉普拉斯对偶法对上式中的结构化输出SVM问题进行转化：

我们对公式(4)中目标函数的变量w，ξ求导，使之为零，得到一组条件：

将上式重新代入拉普拉斯对偶问题中，得到最终的对偶问题：

由于上式与一般SVM的形式有点差别，无法使用通用的SVM求解算法。所以对上式进行一定的参数变换，使之与一般的额SVM具有相同的形式：

使用上式参数转换后得到的对偶问题为：

其中：如果y＝y_i，δ(y，y_i)＝1；反之，δ(y，y_i)＝0。

上式的优化方程使用经典的SMO(sequential minimal optimization)算法求解。最后我们得到的跟踪算法模型为：

其中，内积使用核函数进行表示，为本文采用高斯核k(x，x′)＝e^{-γ||x-x′||}。

上式中的h(x，y)计算的是一个评分，评分越高表明与目标特征的相似度越高，越可能是目标物体。

步骤300：跟踪目标模板库建立。

对于每一个跟踪目标，建立目标模板库，模板库的容量为P。首先对初始目标图像提取HSV分块直方图特征、边缘方向直方图特征、主颜色特征和hog特征，把这四种特征进行融合得到目标特征，把该特征加入模板库。然后每间隔帧数Q对目标图像提取上述特征，把该特征加入模板库。当模板库中的模板数量达到容量上限时，把除了初始模板以外最早的模板进行删除，用最新的模板进行替换。

步骤400：消失判断模型建立。

得到初始目标物体的图像模板以后，先对目标图像作对数极坐标转换，公式如下：

其中，经过对数极坐标转换后的图像的横轴和纵轴为和。

然后，对目标的对数极坐标图像进行混合高斯建模：

其中：q_t(x，y)表示目标的特征图像在(x，y)处的像素值，H表示混合高斯模型的个数，表示t时刻(x，y)坐标处第i个高斯模型的权重，N()表示正态分布，表示t时刻(x，y)坐标处第i个高斯模型的的均值，表示t时刻(x，y)坐标处第i个高斯模型的的方差。

步骤500：输入下一帧视频图像。

步骤600：跟踪目标的位置和尺度。

该步骤600又分为如下各具体操作：

步骤600.1、目标位置跟踪。

首先固定搜索窗口的尺度为上一帧的目标尺度，初始搜索位置为上一帧的目标位置，然后在当前视频帧中，在初始搜索位置的领域大小为r的范围内进行遍历搜索，使用跟踪模型中的online SVM评分器h(x，y)对所有搜索窗口进行评分，评分最高的一个作为当前视频帧中目标的位置。

步骤600.2、目标尺度搜索。

得到了当前视频帧中目标的位置以后，我们就需要确定目标的尺度大小，即目标矩形框的长和宽。首先使用上一帧中目标的尺度作为初始搜索尺度，对初始搜索尺度乘以一系列系数得到尺度搜索空间，然后我们使用

尺度搜索空间的各个尺度在目标位置处截取一系列的图像作为候选目标图像，然后再对这些候选目标图像提取haar-like特征，使用online SVM评分器h(x，y)对所有候选目标的特征进行评分，评分最高者对应的尺度就作为当前视频帧中目标的尺度大小。

步骤600.3、跟踪模型更新。

跟踪模型更新使用步骤200中的online SVM分类器优化求解方法即可。

步骤600.4、目标模板库更新。

使用步骤300所述的方法对目标模板库进行更新即可。

步骤700：目标消失判断。

当得到了当前视频帧目标的位置和尺度，我们就需要判断该目标是都已经消失。我们先对目标图像进行对数极坐标转换，然后通过步骤消失判断机制中的高斯模型判断目标是都消失。具体的方法如下：

对于输入图像的每一个像素点，先对该像素点处的H个高斯模型按照

W进行排序，然后按照排序从高到低进行搜索，如果该像素点与当前高斯模型的均值的差小于2.5倍的标准差，就认为该像素点属于当前高斯模型，然后计算该高斯模型以及排名大于该高斯模型的其他高斯模型的参数的和，如果这个值大于阈值，则认为该点为背景点，反之，则认为该点为前景点，对相应的高斯模型进行更新。如果没有找到与该像素点对应的高斯模型，则认为该点为前景点，使用该像素点作为均值构建一个新的高斯模型，并替换掉原先排名最低的那个高斯模型。

高斯模型的更新使用下式：

其中，参数表示高斯模型的更新速率。

然后在每一帧统计当前对数极坐标图像被高斯模型判断为前景的像素点的个数，并计算其占总像素点数的比例，即

其中：n_t表示t时刻对数极坐标图像被高斯模型判断为前景的像素点的个数，N_t表示对数极坐标图像的总像素点数。

当上式中的比例大于阈值T1时，就触发了消失判断机制，此时怀疑目标有可能已经消失，但是不是非常确定，因为有可能只是目标物体改变姿态所引发的误判，所以下面可以进行时域滤波，减小误判的发生。下式表示了消失判断机制，也就是说，对随后的K帧所发生的情况进行统计，当随后K帧中有至少M(M≤K)帧的前景像素点个数占总像素点数的比例大于阈值T2，就认为目标真正消失。

当目标被判断为真正消失以后，为了防止误差的引入和累积，会停止跟踪模型和消失判断机制中的高斯模型的更新，而且此时跟踪算法的目标位置搜索范围r会变大，变为r2。同时，可以将目标消失的信息返回给上层用户。当目标被消失判断模型判断为重新出现，即η_t＜T₃的时候，跟踪算法和消失判断算法的模型恢复更新，跟踪算法的搜索范围恢复正常。

步骤800：返回目标矩形框和消失判断结果给上层用户，重复步骤500至700直到目标离开视频。

步骤900：跨摄像机目标匹配。

该步骤900又分为如下操作：

步骤900.1、下一段待匹配视频输入。

当目标离开原始视频以后，由用户指定下一段需要进行跨摄像机匹配的视频。

步骤900.2、前景目标提取。

使用混合高斯模型对输入视频的每一帧图像进行背景建模和前景提取，对前景图像提取连通区域得到每一帧中的所有前景物体。

步骤900.3、前景目标特征提取和跨摄像机匹配。

再对所有前景物体提取步骤3中所述的特征。然后，对每一个跟踪目标，使用目标模板库与这些前景的特征进行匹配，得到匹配相似度。这样，对于每一个跟踪目标，在该段视频中都有一条相似度曲线，曲线中的任意一点都代表在该时间点处视频中最相似的前景物体与跟踪目标之间的相似度度量值。最后，只需要找到曲线峰值处所对应的前景物体和时间点，把该前景物体作为匹配得到的目标物体，把该时间点作为匹配得到的目标的初始出现时间。

步骤900.4、继续跟踪。

在匹配得到该视频中的目标物体以后，从该目标出现的初始时间开始，使用步骤200至800中的方法对目标进行跟踪。

步骤900.5、多摄像机目标连续跟踪。

重复步骤900.1至900.5即可在多个摄像机的视频中对同一目标进行连续的跟踪。

下面结合具体应用场景说明上述方法的实施过程。

实例1：

本实例对某一段带有严重遮挡的室内场景视频中的脸部进行跟踪，该视频中的人物使用书本去遮挡脸部。该实施例包括以下步骤：

步骤1：初始化输入。

输入视频序列所在路径、初始跟踪矩形框给跟踪算法，该视频中初始矩形框中的目标为人物的脸部，如图2中图2a所示。

步骤2：跟踪模型建立。

读取目标所在初始帧，在距离目标位置R＝40像素点的范围内采集样本，样本的矩形框大小与目标矩形框大小一致，对所有样本提取haar-like特征，同时记录每个样本的矩形框位置。得到了训练样本以后，就通过求解如下的凸优化目标函数得到online SVM跟踪模型：

其中：ξ_i是松弛变量，C是调和参数，实施例中取C＝100，δΦ_i(y)＝Φ(x_i，y_i)-Φ(x_i，y)；

表示两个不同位置的矩形框之间的覆盖度。

使用拉普拉斯对偶法对上式中的结构化输出SVM问题进行转化：

我们对公式(4)中目标函数的变量求导，使之为零，得到一组条件：

将上式重新代入拉普拉斯对偶问题中，得到最终的对偶问题：

由于上式与一般SVM的形式有点差别，无法使用通用的SVM求解算法。所以对上式进行一定的参数变换，使之与一般的额SVM具有相同的形式：

使用上式参数转换后得到的对偶问题为：

其中：如果y＝y_i，δ(y，y_i)＝1；反之，δ(y，y_i)＝0。

上式的优化方程使用经典的SMO(sequential minimal optimization)算法求解。最后我们得到的跟踪算法模型为：

其中，内积使用核函数进行表示，为本文采用高斯核k(x，x′)＝e^{-γ||x-x′||}，在本实施例中，取γ＝0.2。

上式中的h(x，y)计算的是一个评分，评分越高表明与目标特征的相似度越高，越可能是目标物体。

步骤3：消失判断模型建立。

得到初始目标物体的图像模板以后，先对目标图像作对数极坐标转换，公式如下：

其中，经过对数极坐标转换后的图像的横轴和纵轴为和。

然后，对目标的对数极坐标图像进行混合高斯建模：

其中：q_t(x，y)表示目标的特征图像在(x，y)处的像素值，H表示混合高斯模型的个数，表示t时刻(x，y)坐标处第i个高斯模型的权重，N()表示正态分布，表示t时刻(x，y)坐标处第i个高斯模型的的均值，表示t时刻(x，y)坐标处第i个高斯模型的的方差。在本实施例中，取H＝8，初始权重w₀＝0.05，初始均值μ₀为目标特征图像像素值，初始方差σ₀＝900。

步骤4：输入下一帧视频图像。

步骤5：跟踪目标的位置和尺度。

5.1、目标位置跟踪。

首先固定搜索窗口的尺度为上一帧的目标尺度，初始搜索位置为上一帧的目标位置，然后在当前视频帧中，在初始搜索位置的领域大小为r＝20的范围内进行遍历搜索，使用跟踪模型中的online SVM评分器h(x，y)对所有搜索窗口进行评分，评分最高的一个作为当前视频帧中目标的位置。

5.2、目标尺度搜索。

得到了当前视频帧中目标的位置以后，我们就需要确定目标的尺度大小，即目标矩形框的长和宽。首先使用上一帧中目标的尺度作为初始搜索尺度，取尺度系数S＝0.9+0.01i，i＝0，2，.，用这些尺度系数与初始搜索尺度相乘构成尺度搜索空间，然后我们使用尺度搜索空间的各个尺度在目标位置处截取一系列的图像作为候选目标图像，然后再对这些候选目标图像提取haar-like特征，使用online SVM评分器h(x，y)对所有候选目标的特征进行评分，评分最高者对应的尺度就作为当前视频帧中目标的尺度大小。

5.3、跟踪模型更新。

跟踪模型更新使用步骤2中的online SVM分类器优化求解方法。

步骤6：目标消失判断。

当得到了当前视频帧目标的位置和尺度，我们就需要判断该目标是都已经消失。我们先对目标图像进行对数极坐标转换，然后通过步骤消失判断机制中的高斯模型判断目标是都消失。具体的方法如下：

对于输入图像的每一个像素点，先对该像素点处的H个高斯模型按照进行排序，然后按照排序从高到低进行搜索，如果该像素点与当前高斯模型的均值的差小于2.5倍的标准差，就认为该像素点属于当前高斯模型，然后计算该高斯模型以及排名大于该高斯模型的其他高斯模型的参数的和，如果这个值大于阈值ε，则认为该点为背景点，反之，则认为该点为前景点，对相应的高斯模型进行更新。如果没有找到与该像素点对应的高斯模型，则认为该点为前景点，使用该像素点作为均值构建一个新的高斯模型，并替换掉原先排名最低的那个高斯模型。

高斯模型的更新使用下式：

其中，参数表示高斯模型的更新速率。

然后我们会在每一帧统计当前对数极坐标图像被高斯模型判断为前景的像素点的个数，并计算其占总像素点数的比例，即

其中：n_t表示t时刻对数极坐标图像被高斯模型判断为前景的像素点的个数，N_t表示对数极坐标图像的总像素点数。

当上式中的比例大于阈值T1时，就触发了我们的消失判断机制，此时我们怀疑目标有可能已经消失，但是不是非常确定，因为有可能只是目标物体改变姿态所引发的误判，所以下面我们要进行时域滤波，减小误判的发生。下式表示了我们的消失判断机制，也就是说，我们对随后的K帧所发生的情况进行统计，当随后K帧中有至少M(M≤K)帧的前景像素点个数占总像素点数的比例大于阈值T2，就认为目标真正消失。在本实施例中，阈值T₁＝0.4，T₂＝0.3，K＝4，M＝2

当目标被判断为真正消失以后，为了防止误差的引入和累积，我们会停止跟踪模型和消失判断机制中的高斯模型的更新，而且此时跟踪算法的目标位置搜索范围r会变大，变为r2。同时，我们会把目标消失的信息返回给上层用户。当目标被消失判断模型判断为重新出现，即η_t＜T₃的时候，跟踪算法和消失判断算法的模型恢复更新，跟踪算法的搜索范围恢复正常。

在本实施例中，搜索范围r＝20，r₂＝30，T₂＝0.1。

步骤7：返回目标矩形框和消失判断结果给上层用户，重复步骤4至6直到视频结束或者用户中断。

图2显示了本实施例的结果，时间顺序为从左到右、从上到下，矩形框内为跟踪的目标物体，此实施例中为一个人的脸部，矩形框的颜色为白色表示目标物体正常跟踪，矩形框的颜色为黑色表示目标消失。可以看出，在本实施例中，跟踪算法准确地跟踪住了目标物体，当目标被其他物体大面积遮挡以后，能够准确地判断出目标消失。

实例2：

本实施例对某一段道路视频中的两个行人进行同时跟踪，该视频中的光照变化较大，目标车辆的分辨率较低。该实施例包括以下步骤：

步骤1：初始化输入。

由用户选择视频序列，并且框选想要跟踪的一个或多个目标，该视频中的跟踪目标为两个行人，如图3a所示。

步骤2：跟踪模型建立。

读取目标所在初始帧，在距离目标位置R＝40像素点的范围内采集样本，样本的矩形框大小与目标矩形框大小一致，对所有样本提取haar-like特征，同时记录每个样本的矩形框位置。得到了训练样本以后，就通过求解如下的凸优化目标函数得到online SVM跟踪模型：

其中：ξ_i是松弛变量，C是调和参数，实施例中取C＝100，δΦ_i(y)＝Φ(x_i，y_i)-Φ(x_i，y)； 表示两个不同位置的矩形框之间的覆盖度。

使用拉普拉斯对偶法对上式中的结构化输出SVM问题进行转化：

我们对公式(4)中目标函数的变量求导，使之为零，得到一组条件：

将上式重新代入拉普拉斯对偶问题中，得到最终的对偶问题：

由于上式与一般SVM的形式有点差别，无法使用通用的SVM求解算法。所以对上式进行一定的参数变换，使之与一般的额SVM具有相同的形式：

使用上式参数转换后得到的对偶问题为：

其中：如果y＝y_i，δ(y，y_i)＝1；反之，δ(y，y_i)＝0。

上式的优化方程使用经典的SMO(sequential minimal optimization)算法求解。最后我们得到的跟踪算法模型为：

其中，内积使用核函数进行表示，为本文采用高斯核k(x，x′)＝e^-γ||1k(x，x′)＝e^{-γ||x-x′||}，在本实施例中，取γ＝0.2。

上式中的h(x，y)计算的是一个评分，评分越高表明与目标特征的相似度越高，越可能是目标物体。

步骤3：消失判断模型建立。

得到初始目标物体的图像模板以后，先对目标图像作对数极坐标转换，公式如下：

其中，经过对数极坐标转换后的图像的横轴和纵轴为和。

然后，对目标的对数极坐标图像进行混合高斯建模：

其中：q_t(x，y)表示目标的特征图像在(x，y)处的像素值，H表示混合高斯模型的个数，表示t时刻(x，y)坐标处第i个高斯模型的权重，N()表示正态分布，表示t时刻(x，y)坐标处第i个高斯模型的的均值，表示t时刻(x，y)坐标处第i个高斯模型的的方差。在本实施例中，取H＝8，初始权重w₀＝0.05，初始均值μ₀为目标特征图像像素值，初始方差σ₀＝900。

步骤4：输入下一帧视频图像。

步骤5：跟踪目标的位置和尺度。

5.1、目标位置跟踪。

首先固定搜索窗口的尺度为上一帧的目标尺度，初始搜索位置为上一帧的目标位置，然后在当前视频帧中，在初始搜索位置的领域大小为r＝20的范围内进行遍历搜索，使用跟踪模型中的online SVM评分器h(x，y)对所有搜索窗口进行评分，评分最高的一个作为当前视频帧中目标的位置。

5.2、目标尺度搜索。

得到了当前视频帧中目标的位置以后，我们就需要确定目标的尺度大小，即目标矩形框的长和宽。首先使用上一帧中目标的尺度作为初始搜索尺度，取尺度系数S＝0.9+0.01i，i＝0，2，.，用这些尺度系数与初始搜索尺度相乘构成尺度搜索空间，然后我们使用尺度搜索空间的各个尺度在目标位置处截取一系列的图像作为候选目标图像，然后再对这些候选目标图像提取haar-like特征，使用online SVM评分器h(x，y)对所有候选目标的特征进行评分，评分最高者对应的尺度就作为当前视频帧中目标的尺度大小。

5.3、跟踪模型更新。

跟踪模型更新使用步骤2中的online SVM分类器优化求解方法。

步骤6：目标消失判断。

当得到了当前视频帧目标的位置和尺度，我们就需要判断该目标是都已经消失。我们先对目标图像进行对数极坐标转换，然后通过步骤消失判断机制中的高斯模型判断目标是都消失。具体的方法如下：

对于输入图像的每一个像素点，先对该像素点处的H个高斯模型按照

w进行排序，然后按照排序从高到低进行搜索，如果该像素点与当前高斯模型的均值的差小于2.5倍的标准差，就认为该像素点属于当前高斯模型，然后计算该高斯模型以及排名大于该高斯模型的其他高斯模型的参数的和，如果这个值大于阈值，则认为该点为背景点，反之，则认为该点为前景点，对相应的高斯模型进行更新。如果没有找到与该像素点对应的高斯模型，则认为该点为前景点，使用该像素点作为均值构建一个新的高斯模型，并替换掉原先排名最低的那个高斯模型。

高斯模型的更新使用下式：

其中，参数表示高斯模型的更新速率。

然后我们会在每一帧统计当前对数极坐标图像被高斯模型判断为前景的像素点的个数，并计算其占总像素点数的比例，即

其中：n_t表示t时刻对数极坐标图像被高斯模型判断为前景的像素点的个数，N_t表示对数极坐标图像的总像素点数。

当上式中的比例大于阈值T1时，就触发了我们的消失判断机制，此时我们怀疑目标有可能已经消失，但是不是非常确定，因为有可能只是目标物体改变姿态所引发的误判，所以下面我们要进行时域滤波，减小误判的发生。下式表示了我们的消失判断机制，也就是说，我们对随后的K帧所发生的情况进行统计，当随后K帧中有至少M(M≤K)帧的前景像素点个数占总像素点数的比例大于阈值T2，就认为目标真正消失。在本实施例中，阈值T₁＝0.4，T₂＝0.3，K＝4，M＝2

当目标被判断为真正消失以后，为了防止误差的引入和累积，我们会停止跟踪模型和消失判断机制中的高斯模型的更新，而且此时跟踪算法的目标位置搜索范围r会变大，变为r2。同时，我们会把目标消失的信息返回给上层用户。当目标被消失判断模型判断为重新出现，即η_t＜T₃的时候，跟踪算法和消失判断算法的模型恢复更新，跟踪算法的搜索范围恢复正常。

在本实施例中，搜索范围r＝20，r₂＝30，T₂＝0.1。

步骤7：返回目标矩形框和消失判断结果给上层用户，重复步骤4至6直到视频结束或者用户中断。

图3显示了本实施例的结果，时间顺序为从左到右、从上到下，矩形框内为跟踪的目标物体，此实施例中跟踪目标为两个行人。可以看出，在本实施例中，跟踪算法准确地跟踪住了两个目标行人。当这两个目标行人出现相互遮挡时，跟踪算法仍然没有发生跟丢的情况，说明了本文的跟踪方法的鲁棒性很强。同时在图3最后一幅图中，其中一个行人离开了视频边界，跟踪算法可以准确地判断出目标离开边界的情况，并且停止对该目标进行跟踪。从该实施例可以看出，本发明的跟踪方法能够有效地跟踪多个目标，在遮挡情况下仍然保持了跟踪的准确性。

实例3：

本实例对两段视频中的学生进行跨摄像机跟踪和匹配。其中一段视频是室内场景，我们对该视频内的一个学生进行跟踪；另外一段视频是走廊场景，其中出现了前一段视频中的跟踪目标，并且还有许多其他学生出现，作为干扰情况，我们对该视频中的目标学生进行匹配。该实施例包括以下步骤：

步骤1：初始化输入。

由用户选择视频序列，并且用矩形框选取感兴趣的跟踪目标，该视频中的跟踪目标为一个男学生，如图4a所示。

步骤2：跟踪模型建立。

读取目标所在初始帧，在距离目标位置R＝40像素点的范围内采集样本，样本的矩形框大小与目标矩形框大小一致，对所有样本提取haar-like特征，同时记录每个样本的矩形框位置。得到了训练样本以后，就通过求解如下的凸优化目标函数得到online SVM跟踪模型：

其中：ξ_i是松弛变量，C是调和参数，实施例中取C＝100，δΦ_i(y)＝Φ(x_i，y_i)＝Φ(x_i，y)； 表示两个不同位置的矩形框之间的覆盖度。

使用拉普拉斯对偶法对上式中的结构化输出SVM问题进行转化：

我们对公式(4)中目标函数的变量求导，使之为零，得到一组条件：

将上式重新代入拉普拉斯对偶问题中，得到最终的对偶问题：

由于上式与一般SVM的形式有点差别，无法使用通用的SVM求解算法。所以对上式进行一定的参数变换，使之与一般的额SVM具有相同的形式：

使用上式参数转换后得到的对偶问题为：

其中：如果y＝y_i，δ(y，y_i)＝1；反之，δ(y，y_i)＝0。

上式的优化方程使用经典的SMO(sequential minimal optimization)算法求解。最后我们得到的跟踪算法模型为：

其中，内积使用核函数进行表示，为本文采用高斯核k(x，x′)＝e^{-γ||x-x′||}，在本实施例中，取γ＝0.2。

上式中的h(x，y)计算的是一个评分，评分越高表明与目标特征的相似度越高，越可能是目标物体。

步骤3：跟踪目标模板库建立。

对于跟踪目标，建立目标模板库，模板库的容量为P＝4。首先对初始目标图像提取HSV分块直方图特征、边缘方向直方图特征、主颜色特征和hog特征，把这四种特征进行融合得到目标特征，把该特征加入模板库。然后每间隔帧数Q＝20对目标图像提取上述特征，把该特征加入模板库。当模板库中的模板数量达到容量上限时，把除了初始模板以外最早的模板进行删除，用最新的模板进行替换。

步骤4：消失判断模型建立。

得到初始目标物体的图像模板以后，先对目标图像作对数极坐标转换，公式如下：

其中，经过对数极坐标转换后的图像的横轴和纵轴为和。

然后，对目标的对数极坐标图像进行混合高斯建模：

其中：q_t(x，y)表示目标的特征图像在(x，y)处的像素值，H表示混合高斯模型的个数，表示t时刻(x，y)坐标处第i个高斯模型的权重，N()表示正态分布，表示t时刻(x，y)坐标处第i个高斯模型的的均值，表示t时刻(x，y)坐标处第i个高斯模型的的方差。在本实施例中，取H＝8，初始权重w₀＝0.05，初始均值μ₀为目标特征图像像素值，初始方差σ₀＝900。

步骤5：输入下一帧视频图像。

步骤6：跟踪目标的位置和尺度。

6.1、目标位置跟踪。

首先固定搜索窗口的尺度为上一帧的目标尺度，初始搜索位置为上一帧的目标位置，然后在当前视频帧中，在初始搜索位置的领域大小为r＝20的范围内进行遍历搜索，使用跟踪模型中的online SVM评分器h(x，y)对所有搜索窗口进行评分，评分最高的一个作为当前视频帧中目标的位置。

6.2、目标尺度搜索。

得到了当前视频帧中目标的位置以后，我们就需要确定目标的尺度大小，即目标矩形框的长和宽。首先使用上一帧中目标的尺度作为初始搜索尺度，取尺度系数S＝0.9+0.01i，i＝0，2，.，用这些尺度系数与初始搜索尺度相乘构成尺度搜索空间，然后我们使用尺度搜索空间的各个尺度在目标位置处截取一系列的图像作为候选目标图像，然后再对这些候选目标图像提取haar-like特征，使用online SVM评分器h(x，y)对所有候选目标的特征进行评分，评分最高者对应的尺度就作为当前视频帧中目标的尺度大小。

6.3、跟踪模型更新。

跟踪模型更新使用步骤2中的online SVM分类器优化求解方法。

步骤7：目标消失判断。

当得到了当前视频帧目标的位置和尺度，我们就需要判断该目标是都已经消失。我们先对目标图像进行对数极坐标转换，然后通过步骤消失判断机制中的高斯模型判断目标是都消失。具体的方法如下：

对于输入图像的每一个像素点，先对该像素点处的H个高斯模型按照

W进行排序，然后按照排序从高到低进行搜索，如果该像素点与当前高斯模型的均值的差小于2.5倍的标准差，就认为该像素点属于当前高斯模型，然后计算该高斯模型以及排名大于该高斯模型的其他高斯模型的参数的和，如果这个值大于阈值，则认为该点为背景点，反之，则认为该点为前景点，对相应的高斯模型进行更新。如果没有找到与该像素点对应的高斯模型，则认为该点为前景点，使用该像素点作为均值构建一个新的高斯模型，并替换掉原先排名最低的那个高斯模型。

高斯模型的更新使用下式：

其中，参数表示高斯模型的更新速率。

然后我们会在每一帧统计当前对数极坐标图像被高斯模型判断为前景的像素点的个数，并计算其占总像素点数的比例，即

其中：n_t表示t时刻对数极坐标图像被高斯模型判断为前景的像素点的个数，N_t表示对数极坐标图像的总像素点数。

当上式中的比例大于阈值T1时，就触发了我们的消失判断机制，此时我们怀疑目标有可能已经消失，但是不是非常确定，因为有可能只是目标物体改变姿态所引发的误判，所以下面我们要进行时域滤波，减小误判的发生。下式表示了我们的消失判断机制，也就是说，我们对随后的K帧所发生的情况进行统计，当随后K帧中有至少M(M≤K)帧的前景像素点个数占总像素点数的比例大于阈值T2，就认为目标真正消失。在本实施例中，阈值T₁＝0.4，T₂＝0，K＝4，M＝2

当目标被判断为真正消失以后，为了防止误差的引入和累积，我们会停止跟踪模型和消失判断机制中的高斯模型的更新，而且此时跟踪算法的目标位置搜索范围r会变大，变为r2。同时，我们会把目标消失的信息返回给上层用户。当目标被消失判断模型判断为重新出现，即η_t＜T₃的时候，跟踪算法和消失判断算法的模型恢复更新，跟踪算法的搜索范围恢复正常。

在本实施例中，搜索范围r＝20，r₂＝30，T₂＝0.1。

步骤8：返回目标矩形框和消失判断结果给上层用户，重复步骤5至7直到目标离开视频，如图4d所示。

步骤9：跨摄像机目标匹配。

9.1、下一段待匹配视频输入。

当目标离开原始视频以后，由用户指定下一段需要进行跨摄像机匹配的视频，如图5a所示。

9.2、前景目标提取。

使用混合高斯模型对输入视频的每一帧图像进行背景建模和前景提取，对前景图像提取连通区域得到每一帧中的所有前景物体。

9.3、前景目标特征提取和跨摄像机匹配。

再对所有前景物体提取步骤3中所述的特征。然后，对每一个跟踪目标，使用目标模板库与这些前景的特征进行匹配，得到匹配相似度。这样，对于每一个跟踪目标，在该段视频中都有一条相似度曲线，曲线中的任意一点都代表在该时间点处视频中最相似的前景物体与跟踪目标之间的相似度度量值。最后，我们只需要找到曲线峰值处所对应的前景物体和时间点，把该前景物体作为匹配得到的目标物体，把该时间点作为匹配得到的目标的初始出现时间。

9.4、继续跟踪。

在匹配得到该视频中的目标物体以后，从该目标出现的初始时间开始，使用步骤2至8中的方法对目标进行跟踪。

9.5、多摄像机目标连续跟踪。

重复步骤9.1至9.5即可在多个摄像机的视频中对同一目标进行连续的跟踪。

图4显示了本实施例的跟踪结果，图5显示了本实施例的跨摄像机匹配结果，时间顺序为从左到右、从上到下。在图4的每一幅图像中，左边为跟踪视频，矩形框内为跟踪的目标物体，此实施例中为一个学生，左下角为跟踪目标的消失判断结果，可以看出本发明的跟踪方法准确地跟踪住了该学生，直到他离开视频边界。在图6中的每一幅图像中，右上角为四张目标模板图像；右边为跨摄像机匹配的视频，目标学生在该视频中出现了六次；右下角为相似度曲线，该曲线中有六个尖峰，分别对应了跟踪目标在该视频中的六次出现情况。从图4和图5中的结果可以看出，本发明中的跨摄像机跟踪方法可以准确地跟踪目标物体，并且通过跨摄像机匹配成功找到另一段视频中的目标物体，跟踪效果好并且鲁棒性极强。

实施例2

本实施例提供一种自适应跨摄像机多目标跟踪系统，可实现上述实施例1的方法，该系统至少包括如下各模块。

更新模块，固定跟踪窗口大小并使用预先建立的跟踪模型得到当前视频帧目标物体的位置，在所得到的位置处变换跟踪窗口的大小，使用所述跟踪模型得到目标物体的尺度，根据得到的目标物体珠尺度在线更新跟踪模型；

判断模块，根据更新的跟踪模型，对当前视频帧目标物体的图像进行对数极坐标变换，对对数极坐标变换后的目标物体的图像进行混合高斯建模，度量目标物体的中心偏移和变化程度，判别目标物体是否已经消失。

具体地，判断模块可以按照如下公式，对当前视频帧目标物体的位置进行对数极坐标变换：

其中，经过对数极坐标转换后的图像的横轴和纵轴为ρ和θ。

判断模块还可以按照如下公式对对数极坐标变换后的目标物体的图像进行混合高斯建模：

其中：q_t(x，y)表示目标的特征图像在(x，y)处的像素值，H表示混合高斯模型的个数，表示t时刻(x，y)坐标处第i个高斯模型的权重，N()表示正态分布，表示t时刻(x，y)坐标处第i个高斯模型的的均值，表示t时刻(x，y)坐标处第i个高斯模型的方差。

而判断模块度量目标物体的中心偏移和变化程度，判别目标物体是否已经消失的过程如下：

使用目标物体的混合高斯模型对下一帧视频图像中的跟踪目标物体的图像进行检测，统计非目标的像素占总像素的比例，若非目标的像素点总像素的比例达到或超过预先设定的阈值，则判断目标物体消失。

优选地，非目标的像素点总像素的比例达到或超过预先设定的阈值时，判断模块还可以进行时域滤波操作；即仅当非目标的像素点总像素的比例达到或超过预先设定的阈值，且满足时域滤波的消失判断条件时，才判断目标物体消失，从而大大提高判断结果的可靠性。

另外，上述系统还可以包括目标物体的特征库建立模块。

其中，目标物体的特征库建立模块，在跟踪的同时提取并保存目标物体的特征，建立目标物体的特征库；

具体地，目标物体的特征库建立模块，可以周期性地对跟踪目标物体的图像提取HSV分块直方图特征、边缘方向直方图特征、主颜色特征和hog特征，再将这四种特征进行融合得到目标特征，存入目标特征库，即建立完成了目标物体的特征库。

另外，目标物体的特征库建立模块在目标特征库容量达到上限时，还可以用新的目标特征替换目标特征库中最原始的目标特征。

跟踪模块，在跟踪的目标物体离开该视频时，在另一段视频中匹配并检测最相似的目标物体，继续进行跟踪。

具体地，跟踪模块对整段匹配视频使用混合高斯模型进行前景物体提取,使用目标特征库计算跟踪目标与所有前景物体的相似度，选择相似度最高的前景物体作为跨摄像机跟踪的目标。

其中，更新模块和判断模块可构成目标跟踪单元和跨视频目标匹配单元，而目标物体的特征库建立模块可置于运动目标检测单元中，此时，整个系统的架构如图6所示。

从上述实施例可以看出，本申请技术方案与其他现有技术相比，具有以下优势和创新性：

(1)本申请技术方案，针对无重叠区域拓扑结构未知的多摄像头监控网络对多个目标进行跨摄像机连续跟踪，该方案具有极高的鲁棒性，而且能够达到实时要求。

(2)本申请技术方案采用了快速有效的目标尺度变换方法，能够实时准确地得到目标的尺度，并且对于跟踪算法运算速度的影响极小。

(3)本申请技术方案采用对数极坐标变换和混合高斯模型建立目标消失判断机制，并且加入时域滤波增强消失判断的鲁棒性。

(4)本申请技术方案将跟踪算法和消失判断机制有机的结合在一起，通过消失判断机制来控制跟踪模型和消失判断模型的更新，有效的减少了模型错误的引入和累积，提高了跟踪算法的准确性和鲁棒性。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本申请不限制于任何特定形式的硬件和软件的结合。

以上所述，仅为本发明的较佳实例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (18)

1.一种自适应跨摄像机多目标跟踪方法，其特征在于，该方法包括：

先固定跟踪窗口大小并使用预先建立的跟踪模型得到当前视频帧目标物体的位置，再在所得到的位置处变换跟踪窗口的大小，使用所述跟踪模型得到目标物体的尺度，根据得到的目标物体珠尺度在线更新跟踪模型；

根据更新的跟踪模型，对当前视频帧目标物体的图像进行对数极坐标变换，对对数极坐标变换后的目标物体的图像进行混合高斯建模，度量目标物体的中心偏移和变化程度，判别目标物体是否已经消失。

2.如权利要求1所述的方法，其特征在于，该方法还包括：

在跟踪的同时提取并保存目标物体的特征，建立目标物体的特征库，当跟踪的目标物体离开该视频时，在另一段视频中匹配并检测最相似的目标物体，继续进行跟踪。

3.如权利要求1或2所述的方法，其特征在于，按照如下公式，对当前视频帧目标物体的位置进行对数极坐标变换：

$\mathrm{\ρ}=\log \left(\sqrt{x^2+y^2}\right),\mathrm{\θ}=arctan\left(\frac{y}{x}\right)$

其中，经过对数极坐标转换后的图像的横轴和纵轴为ρ和θ。

4.如权利要求1或2所述的方法，其特征在于，按照如下公式对对数极坐标变换后的目标物体的图像进行混合高斯建模

$P\left(q_t\right(x,y\left)\right)=\underset{i=1}{\overset{H}{\Σ}}{w}_t^i(x,y)*N\left(q_t\right(x,y),{\mathrm{\μ}}_t^i(x,y),{\mathrm{\σ}}_t^i(x,y\left)\right)$

其中：q_t(x，y)表示目标的特征图像在(x，y)处的像素值，H表示混合高斯模型的个数，表示t时刻(x，y)卫坐标处第i个高斯模型的权重，N()表示正态分布，表示t时刻(x，y)坐标处第i个高斯模型的的均值，表示t时刻(x，y)坐标处第i个高斯模型的的方差。

5.如权利要求1或2所述的方法，其特征在于，度量目标物体的中心偏移和变化程度，判别目标物体是否已经消失的过程包括：

使用目标物体的混合高斯模型对下一帧视频图像中的跟踪目标物体的图像进行检测，统计非目标的像素占总像素的比例，若非目标的像素点总像素的比例达到或超过预先设定的阈值，则判断目标物体消失。

6.如权利要求5所述的方法，其特征在于，若非目标的像素点总像素的比例达到或超过预先设定的阈值时，还进行时域滤波操作；

仅当非目标的像素点总像素的比例达到或超过预先设定的阈值，且满足时域滤波的消失判断条件时，才判断目标物体消失。

7.如权利要求2所述的方法，其特征在于，在跟踪的同时提取并保存目标物体的特征，建立目标物体的特征库的过程包括：

周期性地对跟踪目标物体的图像提取色彩、饱和度和值HSV分块直方图特征、边缘方向直方图特征、主颜色特征和方向梯度直方图HOG特征，将这四种特征进行融合得到目标特征，存入目标特征库。

8.如权利要求7所述的方法，其特征在于，该方法还包括：

在目标特征库容量达到上限时，用新的目标特征替换目标特征库中最原始的目标特征。

9.如权利要求2、7或8所述的方法，其特征在于，当跟踪的目标物体离开该视频时，在另一段视频中匹配并检测最相似的目标物体，继续进行跟踪的过程包括:

对整段匹配视频使用混合高斯模型进行前景物体提取,使用目标特征库计算跟踪目标与所有前景物体的相似度，选择相似度最高的前景物体作为跨摄像机跟踪的目标。

10.一种自适应跨摄像机多目标跟踪系统，其特征在于，该系统包括：

更新模块，固定跟踪窗口大小并使用预先建立的跟踪模型得到当前视频帧目标物体的位置，在所得到的位置处变换跟踪窗口的大小，使用所述跟踪模型得到目标物体的尺度，根据得到的目标物体珠尺度在线更新跟踪模型；

判断模块，根据更新的跟踪模型，对当前视频帧目标物体的图像进行对数极坐标变换，对对数极坐标变换后的目标物体的图像进行混合高斯建模，度量目标物体的中心偏移和变化程度，判别目标物体是否已经消失。

11.如权利要求10所述的系统，其特征在于，该系统还包括：

目标物体的特征库建立模块，在跟踪的同时提取并保存目标物体的特征，建立目标物体的特征库；

跟踪模块，在跟踪的目标物体离开该视频时，在另一段视频中匹配并检测最相似的目标物体，继续进行跟踪。

12.如权利要求10或11所述的系统，其特征在于，所述判断模块按照如下公式，对当前视频帧目标物体的位置进行对数极坐标变换：

$\mathrm{\ρ}=\log \left(\sqrt{x^2+y^2}\right),\mathrm{\θ}=arctan\left(\frac{y}{x}\right)$

其中，经过对数极坐标转换后的图像的横轴和纵轴为ρ和θ。

13.如权利要求10或11所述的系统，其特征在于，所述判断模块按照如下公式对对数极坐标变换后的目标物体的图像进行混合高斯建模：

$P\left(q_t\right(x,y\left)\right)=\underset{i=1}{\overset{H}{\Σ}}{w}_t^i(x,y)*N\left(q_t\right(x,y),{\mathrm{\μ}}_t^i(x,y),{\mathrm{\σ}}_t^i(x,y\left)\right)$

其中：q_t(x，y)表示目标的特征图像在(x，y)处的像素值，H表示混合高斯模型的个数，表示t时刻(x，y)坐标处第i个高斯模型的权重，N()表示正态分布，表示t时刻(x，y)坐标处第i个高斯模型的的均值，表示t时刻(x，y)坐标处第i个高斯模型的方差。

14.如权利要求10或11所述的系统，其特征在于，所述判断模块度量目标物体的中心偏移和变化程度，判别目标物体是否已经消失指：

使用目标物体的混合高斯模型对下一帧视频图像中的跟踪目标物体的图像进行检测，统计非目标的像素占总像素的比例，若非目标的像素点总像素的比例达到或超过预先设定的阈值，则判断目标物体消失。

15.如权利要求14所述的系统，其特征在于，非目标的像素点总像素的比例达到或超过预先设定的阈值时，所述判断模块还进行时域滤波操作；

仅当非目标的像素点总像素的比例达到或超过预先设定的阈值，且满足时域滤波的消失判断条件时，才判断目标物体消失。

16.如权利要求11所述的系统，其特征在于，所述目标物体的特征库建立模块，在跟踪的同时提取并保存目标物体的特征，建立目标物体的特征库指：

周期性地对跟踪目标物体的图像提取色彩、饱和度和值HSV分块直方图特征、边缘方向直方图特征、主颜色特征和方向梯度直方图HOG特征，将这四种特征进行融合得到目标特征，存入目标特征库。

17.如权利要求16所述的系统，其特征在于，

所述目标物体的特征库建立模块在目标特征库容量达到上限时，用新的目标特征替换目标特征库中最原始的目标特征。

18.如权利要求11、16或17所述的系统，其特征在于，所述跟踪模块，在跟踪的目标物体离开该视频时，在另一段视频中匹配并检测最相似的目标物体，继续进行跟踪指：

对整段匹配视频使用混合高斯模型进行前景物体提取,使用目标特征库计算跟踪目标与所有前景物体的相似度，选择相似度最高的前景物体作为跨摄像机跟踪的目标。