CN102629385A - 一种基于多摄像机信息融合的目标匹配与跟踪系统及方法 - Google Patents

Abstract

本发明公开了一种基于多摄像机信息融合的目标匹配与跟踪系统及方法，系统包括单摄像机目标检测模块、单摄像机目标跟踪模块、单摄像机目标关键点特征提取模块，多摄像机目标匹配模块以及目标模型在线更新模块；在系统中建立与目标对应的模型，分别基于局部颜色和方向直方图这两种特征计算目标与模型的相似度，最后进行决策级的融合，将融合的结果作为目标匹配的依据。匹配上的目标特征用于模型的更新，实现对目标的自适应跟踪。本发明可提高多摄像机目标匹配对于遮挡、环境、光照、角度等的鲁棒性，有利于实现多摄像机视频监控系统对目标的鲁棒协同跟踪。

Description

一种基于多摄像机信息融合的目标匹配与跟踪系统及方法

技术领域

本发明涉及视频监控中多摄像机信息融合的技术领域，特别涉及一种在从不同角度对同一场景进行监控时，能够智能地检测多个运动目标并对运动目标进行跟踪的系统及方法。

背景技术

视频跟踪是计算机视觉方面要研究的一个重要领域。所谓视频跟踪，是指用一定的方法实现对视频序列中感兴趣的目标进行检测、特征提取、识别和跟踪，从而获取目标的运动参数以及运动轨迹，以便后续在此基础上对运动目标的行为进行分析与理解。实际视频监控中，需要工作人员干预和处理的事件发生概率很小，这就需要监控人员工作时长时间集中注意力，然而现实中很难做到这一点，注意力的分散可能会极大地影响监控的及时性和有效性。视频跟踪技术可以代替视频监控人员，在此基础上可实现自动地对目标的行为进行分析和理解，从而判断是否需要人工干预。因此，视频跟踪方面的研究具有重要的现实意义。

视频跟踪技术可以分为基于单个摄像机的目标跟踪和基于多个摄像机信息融合的目标跟踪。但基于单摄像机的目标跟踪存在监控范围有限、场景遮挡、跟踪精度不高等问题。采用多摄机对目标进行跟踪可以扩大监视范围和角度，从而扩展信息采集的区域，有助于解决目标遮挡及景深难题，有效克服单摄像机中存在的盲点问题。多摄像机能提供更为丰富的目标信息，包括目标的多种特征，对这些信息和特征进行有效的融合，可以更好地实现对目标的匹配和跟踪。

多摄像机间目标匹配的方法有很多，代表性的目标匹配方法有基于灰度的或基于特征的匹配方法等。

基于灰度匹配方法的基本思想把图像看成二维信号，然后利用图像的灰度信息建立目标之间的相似性度量，如差平方和、协方差函数、相关函数、差绝对值等，根据相似性来进行目标之间的匹配。这种方法的缺陷是计算量较大，很难达到实时性要求。

基于目标特征的配准方法在检测目标的基础上提取目标特征作为匹配依据，这些特征包括纹理特征、颜色特征、形状特征、空间位置特征等。但由于遮挡、光照、角度变化、形变等因素，这类方法缺乏必要的鲁棒性。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种基于多摄像机信息融合的目标匹配与跟踪系统，以提高多摄像机目标匹配与跟踪的鲁棒性和自适应性。

本发明的另一目的在于，提供一种基于多摄像机信息融合的目标匹配与跟踪方法。

为了达到上述第一目的，本发明采用以下技术方案：

一种基于多摄像机信息融合的运动目标匹配与跟踪系统，包括单摄像机目标检测模块、单摄像机目标跟踪模块、单摄像机目标关键点特征提取模块，多摄像机目标匹配模块以及目标模型在线更新模块；

所述单摄像机目标检测模块提取摄像机采集到的视频中的运动目标，输出给目标跟踪模块；

所述单摄像机目标跟踪模块提取运动目标的参数，实现在单摄像机内对目标进行跟踪；

所述单摄像机目标关键点特征提取模块检测目标上具有视觉显著性的关键点，提取关键点处的颜色与局部方向直方图特征，输出给多摄像机间目标匹配模块；

多摄像机目标匹配模块比对检测到的目标特征与已知目标模型，根据其相似度确定目标类别，从而实现摄像机间目标匹配；

目标模型在线更新模块根据与模型匹配的目标特征更新模型，实现对目标的自适应跟踪。

优选的，所述单摄像机目标检测模块采用混合高斯模型法对视频中的运动目标进行检测。

优选的，所述单摄像机目标跟踪模块采用均值偏移法对视频中的运动目标进行跟踪。

优选的，所述单摄像机目标关键点特征提取模块检测前景目标上具有视觉显著性的关键点，提取关键点局部区域的颜色特征和方向直方图特征，作为目标刻画，用于后续目标匹配。

为了达到上述第二目的，本发明采用以下技术方案：

一种基于多摄像机信息融合的运动目标匹配与跟踪方法，包括下述步骤：

首先，利用高斯混合模型进行视频序列中运动目标的检测，利用均值偏移法对单摄像机内的目标进行跟踪，然后对检测到的目标区域进行小波变换，以检测具有视觉显著性的关键点；

其次，在关键点局部区域提取颜色特征和局部方向直方图特征，以刻画前景目标，并作为目标模型更新的输入；

最后，在融合关键点处局部颜色特征和方向直方图特征的基础上，实现运动目标与模型间的匹配；同时，与模型匹配的前景目标特征被用于在线更新模型，以实现对目标的自适应跟踪。

优选的，匹配时，先分别基于目标关键点颜色特征和局部方向直方图特征进行相似度计算，然后融合两种相似度，设第一目标与第二目标基于颜色特征得到的相似度为S₁，基于直方图特征得到的相似度为S₂，则融合后的相似度为：

S＝wS₁+(1-w)S₂

其中w用于调整两种特征在匹配决策中的比重。

优选的，在进行更新时，为每一个运动目标建立一个特征模块，更新分为两部分，一部分利用当前帧中的目标特征对已建立的模型进行更新，另一部分是利用与特征模型可靠地匹配的运动目标特征信息来对模型进行更新。

优选的，对特征模型的更新公式如下：

${\mathrm{TF}}_k=\left\{\begin{array}{cc}(1-\mathrm{\α}-\mathrm{\β}){\mathrm{TF}}_{k-1}+{\mathrm{\αSF}}_k+{\mathrm{\βT}}_i,& S_{f_2}/S_{f_1}\≤\mathrm{\γ}\\ (1-\mathrm{\α}){\mathrm{TF}}_{k-1}+{\mathrm{\αSF}}_k,& S_{f_2}/S_{f_1}>\mathrm{\γ}\end{array}\right.$

其中，TF_k表示特征模型TF的第k帧，TF_k-1表示特征模型TF的第k-1帧，SF_k是第k帧中运动目标的特征，α是运动目标特征对模型的更新速度；T_i表示与特征模型匹配上的目标特征，β是与特征模型匹配上的运动目标的特征对模型的更新速度。

本发明相对于现有技术具有如下的优点及效果：

1、本发明利用基于关键点的局部特征进行目标间的匹配，能有效提高匹配与跟踪对遮挡、角度、形变等的鲁棒性，在减少无关信息干扰的同时降低了算法复杂度。

2、本发明通过融合具有互补性的局部颜色特征和方向直方图特征，并建立对应的目标特征模型，将目标与目标之间的匹配转换为目标与模型之间的匹配，提高匹配的准确性。

3、本发明对目标建立模型，并利用匹配结果在线更新模型，能实现对目标的自适应跟踪，提高对环境、姿态变化时的鲁棒性。

附图说明

图1是本发明单摄像机目标检测与跟踪模块；

图2是本发明单摄像机目标特征提取与模型在线更新模块；

图3是本发明多摄像机目标匹配及跟踪模块。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

本实施例一种基于多摄像机信息融合的运动目标匹配与跟踪系统，包括单摄像机目标检测模块、单摄像机目标跟踪模块、单摄像机目标关键点特征提取模块，多摄像机目标匹配模块以及目标模型在线更新模块；

如图1所示，所述单摄像机目标检测模块提取摄像机采集到的视频中的运动目标，输出给目标跟踪模块；所述单摄像机目标跟踪模块提取运动目标的参数，实现在单摄像机内对目标进行跟踪。

如图2所示，所述单摄像机目标关键点特征提取模块检测目标上具有视觉显著性的关键点，提取关键点处的颜色与局部方向直方图特征，输出给多摄像机间目标匹配模块。

如图3所示，所述多摄像机目标匹配模块比对检测到的目标特征与已知目标模型，根据其相似度确定目标类别，从而实现摄像机间目标匹配；所述目标模型在线更新模块根据与模型匹配的目标特征更新模型，实现对目标的自适应跟踪。

所述单摄像机目标检测模块采用混合高斯模型法对视频中的运动目标进行检测。

所述单摄像机目标跟踪模块采用均值偏移法对视频中的运动目标进行跟踪。

所述单摄像机目标关键点特征提取模块检测前景目标上具有视觉显著性的关键点，提取关键点局部区域的颜色特征和方向直方图特征，作为目标刻画，用于后续目标匹配。

本实施例一种基于多摄像机信息融合的目标匹配与跟踪方法，包括下述步骤：

首先，利用高斯混合模型进行视频序列中运动目标的检测，利用均值偏移法对单摄像机内的目标进行跟踪。然后对检测到的目标区域进行小波变换，以检测具有视觉显著性的关键点。

其次，在关键点局部区域提取颜色特征和局部方向直方图特征，以刻画前景目标，并作为目标模型更新的输入。

最后，在融合关键点处局部颜色特征和方向直方图特征的基础上，实现运动目标与模型间较为准确的匹配；同时，与模型匹配的前景目标特征被用于在线更新模型，以实现对目标的自适应跟踪。

匹配时，先分别基于目标关键点颜色特征和局部方向直方图特征进行相似度计算，然后融合两种相似度。设目标1与目标2基于颜色特征得到的相似度为S₁，基于直方图特征得到的相似度为S₂，则融合后的相似度为：

S＝wS₁+(1-w)S₂

其中w用于调整两种特征在匹配决策中的比重。

实验时，我们选取PETS2001数据库的dataset2视频序列的第1751帧到第2007帧共257作为测试帧。基于目标关键点颜色特征和局部方向直方图特征的实验结果分别如表1和表2所示，表1为利用颜色特征匹配的效果，表2为利用方向直方图特征进行匹配时的效果；融合两种特征后的对车与人的匹配效果分别如表3和表4所示；表3表示融合局部颜色特征和方向直方图特征后小车的匹配效果，表4表示融合局部颜色特征和方向直方图特征后人的匹配效果。

表1

匹配对象

匹配正确帧数

匹配错误帧数

准确率

车	196	61	76.3％
				人	156	101	60.7％

表2

匹配对象	匹配正确帧数	匹配错误帧数	准确率
				车	186	71	72.4％
人	164	93	63.8％

表3

w	0	0.2	0.4	0.6	0.8	1
							正确帧数	186	189	215	228	216	196
错误帧数	71	68	42	29	41	61
							正确率	72.4％	73.5％	83.7％	88.7％	84.0	76.3％

表4

w	0	0.2	0.4	0.6	0.8	1
							正确帧数	164	188	192	184	175	156
错误帧数	93	69	65	73	82	101
							正确率	63.8％	73.2％	74.7％	71.6％	68.1％	60.7％

为了进一步提高匹配的精度，我们为每一个运动目标建立一个特征模型。更新分为两个部分，一部分是利用当前帧中的目标特征对已建立的模型进行更新，另一部分是利用与特征模型可靠匹配的运动目标特征信息来对模型进行更新。

设第i个运动目标与特征模型TF的相似度最大，为

第j个运动目标与TF的相似度次大，为

由于视频序列中存在小车和人两种特征差异较大的运动目标，它们与特征模型的相似度会有较大的差别，我们求出次大相似度

和最大相似度

的比值，然后设定一个阈值，小于此阈值，我们认为是比较可靠的匹配，并利用与特征模型匹配上的目标的特征对模型进行更新，否则，不对模型进行更新。则对特征模型TF更新的公式如式(1)：

${\mathrm{TF}}_k=\left\{\begin{array}{cc}(1-\mathrm{\α}-\mathrm{\β}){\mathrm{TF}}_{k-1}+{\mathrm{\αSF}}_k+{\mathrm{\βT}}_i,& S_{f_2}/S_{f_1}\≤\mathrm{\γ}\\ (1-\mathrm{\α}){\mathrm{TF}}_{k-1}+{\mathrm{\αSF}}_k,& S_{f_2}/S_{f_1}>\mathrm{\γ}\end{array}\right.---\left(1\right)$

式中TF_k表示特征模型TF的第k帧，TF_k-1表示特征模型TF的第k-1帧，SF_k是第k帧中运动目标的特征，α是运动目标特征对模型的更新速度；T_i表示与特征模型匹配上的目标特征，β是与特征模型匹配上的运动目标的特征对模型的更新速度。

我们分别统计了车的匹配准确率和人的匹配准确率，先给出只利用当前帧的目标特征对模型进行更新时的匹配效果(表5、表6)，表5为只用当前帧对模型更新时车的匹配效果，表6表示只用当前帧对模型更新时人的匹配效果。

表5

α	0	0.005	0.01	0.05	0.1	0.2	0.5	1
									正确帧数	228	236	249	240	223	209	185	91
错误帧数	29	21	8	17	34	48	72	166
									正确率	88.7％	91.8％	96.9％	93.4％	86.8％	81.3％	72.0％	35.4％

表6

α	0	0.005	0.01	0.05	0.1	0.2	0.5	1
									正确帧数	192	203	227	242	209	198	169	82

错误帧数	65	54	30	15	48	59	88	175
									正确率	74.7％	79.0％	88.3％	94.2％	81.3％	77.0％	65.8％	31.9％

从上表我们可以看出特征模型的更新系数α对匹配正确率影响很大。我们选择合适的α值，然后结合可靠匹配的目标特征对模板进行更新。表7与表8给出了利用当前帧的目标特征和可靠的匹配目标特征同时对模型更新时的实验结果，表7为利用当前帧和可靠的匹配对模型更新时小车的匹配效果，表8为利用当前帧和可靠的匹配对模型更新时人的匹配效果。

表7

β	0	0.005	0.01	0.05	0.1	0.2	0.5	1
									正确帧数	249	250	250	243	223	207	194	121
错误帧数	8	7	7	14	34	50	63	136
									正确率	96.9％	97.3％	97.3％	94.6％	86.8％	80.5％	75.5％	47.1％

表8

β	0	0.005	0.01	0.05	0.1	0.2	0.5	1
									正确帧数	242	242	245	232	221	198	184	127
错误帧数	15	15	12	25	36	59	73	130
									正确率	94.2％	94.2％	95.3％	90.3％	86.0％	77.0％	71.6％	49.4％

从实验结果可以看出，利用当前帧和可靠的匹配同时对特征模板进行更新能提高目标匹配的精度。由于模型是在线更新的，因此这也实现了对目标的自适应跟踪，提高了对环境、角度、目标形变等的鲁棒性。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种基于多摄像机信息融合的运动目标匹配与跟踪系统，其特征在于，包括单摄像机目标检测模块、单摄像机目标跟踪模块、单摄像机目标关键点特征提取模块，多摄像机目标匹配模块以及目标模型在线更新模块；

所述单摄像机目标检测模块提取摄像机采集到的视频中的运动目标，输出给目标跟踪模块；

所述单摄像机目标跟踪模块提取运动目标的参数，实现在单摄像机内对目标进行跟踪；

所述单摄像机目标关键点特征提取模块检测目标上具有视觉显著性的关键点，提取关键点处的颜色与局部方向直方图特征，输出给多摄像机目标匹配模块；

多摄像机目标匹配模块比对检测到的目标特征与已知目标模型，根据其相似度确定目标类别，从而实现摄像机间目标匹配；

目标模型在线更新模块根据与模型匹配的目标特征更新模型，实现对目标的自适应跟踪。

2.根据权利要求1所述的多摄像机信息融合的运动目标匹配与跟踪系统，其特征在于，所述单摄像机目标检测模块采用混合高斯模型法对视频中的运动目标进行检测。

3.根据权利要求1所述的多摄像机信息融合的运动目标匹配与跟踪系统，其特征在于，所述单摄像机目标跟踪模块采用均值偏移法对视频中的运动目标进行跟踪。

4.根据权利要求1所述的多摄像机信息融合的运动目标匹配与跟踪系统，其特征在于，所述单摄像机目标关键点特征提取模块检测前景目标上具有视觉显著性的关键点，提取关键点局部区域的颜色特征和方向直方图特征，作为目标刻画，用于后续目标匹配。

5.一种基于多摄像机信息融合的运动目标匹配与跟踪方法，其特征在于，包括下述步骤：

首先，利用高斯混合模型进行视频序列中运动目标的检测，利用均值偏移法对单摄像机内的目标进行跟踪，然后对检测到的目标区域进行小波变换，以检测具有视觉显著性的关键点；

其次，在关键点局部区域提取颜色特征和局部方向直方图特征，以刻画前景目标，并作为目标模型更新的输入；

最后，在融合关键点处局部颜色特征和方向直方图特征的基础上，实现运动目标与模型间的匹配；同时，与模型匹配的前景目标特征被用于在线更新模型，以实现对目标的自适应跟踪。

6.根据权利要求5所述的基于多摄像机信息融合的运动目标匹配与跟踪方法，其特征在于，匹配时，先分别基于目标关键点颜色特征和局部方向直方图特征进行相似度计算，然后融合两种相似度，设第一目标与第二目标基于颜色特征得到的相似度为S₁，基于直方图特征得到的相似度为S₂，则融合后的相似度为：

S＝wS₁+(1-w)S₂

其中w用于调整两种特征在匹配决策中的比重。

7.根据权利要求5所述的基于多摄像机信息融合的目标匹配与跟踪方法，其特征在于，在进行更新时，为每一个运动目标建立一个特征模块，更新分为两部分，一部分利用当前帧中的目标特征对已建立的模型进行更新，另一部分是利用与特征模型可靠匹配的运动目标特征信息来对模型进行更新。

8.根据权利要求5所述的基于多摄像机信息融合的目标匹配与跟踪方法，其特征在于，对特征模型的更新公式如下：

${\mathrm{TF}}_k=\left\{\begin{array}{cc}(1-\mathrm{\α}-\mathrm{\β}){\mathrm{TF}}_{k-1}+{\mathrm{\αSF}}_k+{\mathrm{\βT}}_i,& S_{f_2}/S_{f_1}\≤\mathrm{\γ}\\ (1-\mathrm{\α}){\mathrm{TF}}_{k-1}+{\mathrm{\αSF}}_k,& S_{f_2}/S_{f_1}>\mathrm{\γ}\end{array}\right.$

其中，TF_k表示特征模型TF的第k帧，TF_k-1表示特征模型TF的第k-1帧，SF_k是第k帧中运动目标的特征，α是运动目标特征对模型的更新速度；T_i表示与特征模型匹配上的目标特征，β是与特征模型匹配上的运动目标的特征对模型的更新速度。

Images