CN102663777A - 基于多视点视频的目标跟踪方法及系统 - Google Patents

Abstract

本发明提供一种基于多视点视频的目标跟踪方法和系统，该方法包括：在样例目标的原始模板的基础上增加至少一个辅助模板；对视频流进行目标检测，得出目标区域；以原始模板和辅助模板分别和所得到的目标区域进行特征匹配，以匹配得到的最高相似度作为目标区域与样例目标的相似度，判断是否为需要跟踪的目标。辅助模板可选自对样例目标按设定比例进行放大后的放大模板、对样例目标按设定比例进行缩小后的缩小模板、或实时获取的相似目标所形成的更新模板。本发明克服了现有多视点视频特定目标跟踪技术中用大、小目标分别匹配小、大目标、以及用正面、侧面去分别匹配侧面、正面的不足，提高了多视点特定目标的匹配精度，降低了漏匹配和误匹配。

Description

基于多视点视频的目标跟踪方法及系统

技术领域

本发明涉及图像处理技术领域，尤其涉及基于多视点视频的目标跟踪方法及系统。

背景技术

在多摄像头监控中，需要在传统单摄像头目标检测基础上，将在多个视角中出现的同一目标关联起来。因此跨摄像头的运动目标跟踪成为多摄像头监控系统的关键技术，是后续进行目标行为分析和目标识别的基础。多视点特定目标的提取和跟踪与单摄像头运动目标检测与跟踪存在一定的差别：单摄像头运动目标的检测和跟踪是针对连续的目标，其跟踪可以通过运动矢量、速度特征应用kalman(卡尔曼)滤波等算法预估出目标在下一帧出现的位置，然后根据实际检测的结果进行纠正来达到跟踪的目的；而多视点特定目标的提取和跟踪，目标是在多个摄像头出现，不是连续的目标，从一个摄像头消失以后无法通过算法准确预测目标会在下面哪个摄像头的哪个位置出现，所以基于特征的跟踪就显得尤为重要。

目前多视点特定目标的提取与跟踪技术，基本采用如下步骤：首先通过运动目标检测分割出运动目标，然后对整个运动目标提取颜色、纹理、边缘和形状等特征，最后再通过一定的法则去匹配，比如专利：PTZ单目标自动跟踪的装置及方法(公开号：102215377A，公开日：2011-10-12)是对跟踪目标建立模板，跟踪过程中对提取的运动目标也建立模板，然后通过模板的相似度来判断是否是同一目标。也有技术通过对运动目标先分类为：人、车和其他，然后对人目标分为头、躯干和腿，车和其他目标不区分，最后再提取特征来匹配，比如专利：一种基于云计算及海量视频检索的多视频录入装置智能联动的装置和方法(公开号：101848377A，公开日：2010-09-29)。

多视点特定目标提取和跟踪的现有技术主要有以下几点不足：

1、跟踪目标的特征模板大小固定(用大、小目标分别匹配小、大目标)：现有技术采用的颜色、纹理或其它特征模板大小固定，而多摄像头跟踪的特点是目标在摄像头中其大小变化较大，采用固定大小的模板在匹配时误差较大，极易出现误匹配。

2、跟踪目标采用一个特征模板(用正面、侧面分别去匹配侧面、正面)：现有技术都是采用一个模板来对目标进行跟踪，但是在多摄像头跟踪过程中(特别是人)，可能会出现在上一个摄像头监控的是人的正面，而到下一个摄像头监控的是人的背面，特征变化较大，容易出现漏匹配，导致目标丢失。

发明内容

本发明的方面和优点在下文的描述中部分地陈述，或者可从该描述显而易见，或者可通过实践本发明而学习。

为克服现有多视点视频特定目标跟踪技术中用大、小目标分别匹配小、大目标、以及用正面、侧面分别去匹配侧面、正面的不足，本发明提供一种基于多视点视频的目标跟踪方法和系统，增加辅助模板来进行匹配，同时，可在跟踪过程中适时调整和增加更新模板，从而提高多视点特定目标的匹配精度，降低漏匹配和误匹配。

本发明解决上述技术问题所采用的技术方案如下：

根据本发明的一个方面，提供一种基于多视点视频的目标跟踪方法，包括下列步骤：

在样例目标的原始模板的基础上增加至少一个辅助模板；

对视频流进行目标检测，得出目标区域；

以该原始模板和辅助模板分别和所得到的目标区域进行特征匹配，以匹配得到的最高相似度作为该目标区域与该样例目标的相似度，判断是否为需要跟踪的目标。

根据本发明的一个实施例，该辅助模板选自对样例目标按设定比例进行放大后的放大模板、或对样例目标按设定比例进行缩小后的缩小模板、或实时获取的相似目标所形成的更新模板。

根据本发明的一个实施例，以该原始模板和辅助模板分别和所得到的目标区域进行基于颜色的模板匹配，以匹配得到的最高相似度作为颜色相似度，如果颜色相似度大于设定的颜色相似度阈值，则继续进行纹理或形状特征的匹配，如果匹配结果大于设定的纹理或形状特征相似度阈值则认为是需要跟踪的目标，否则认为没有跟踪目标。

根据本发明的一个实施例，以该原始模板和辅助模板分别和所得到的目标区域进行基于颜色的模板匹配，分别得到颜色相似度；以该原始模板和所得到的目标区域进行纹理特征匹配，得到纹理特征相似度；分别将各颜色相似度与该纹理特征相似度进行综合判断，并取最高相似度作为综合相似度；如果综合相似度大于设定的综合相似度阈值，则认为是需要跟踪的目标，否则认为没有跟踪目标。

根据本发明的一个实施例，该目标区域是采用建立背景模型，通过背景差从视频流中获取的运动目标区域；或者，该目标区域通过基于特征的匹配而从视频流中获取。

根据本发明的一个实施例，在检测到第一个符合相似度要求的跟踪目标后，将此目标作为该更新模板。

根据本发明的一个实施例，以该更新模板和所得到的目标区域进行特征匹配，得到匹配相似度；并以该原始模板或其它辅助模板和所得到的目标区域进行特征匹配，得到匹配相似度；以匹配得到的最高相似度作为该目标区域与该样例目标的相似度，判断是否为需要跟踪的目标。

根据本发明的一个实施例，在检测到符合相似度要求的后续跟踪目标后，判断该后续跟踪目标与该更新模板的相似度是否大于该后续跟踪目标与该原始模板或其它辅助模板的相似度，如果大于，则用当前目标替代该更新模板，否则不替代。

根据本发明的另一个方面，提供一种基于多视点视频的目标跟踪系统，包括：

多模板生成模块，其在样例目标的原始模板的基础上增加至少一个辅助模板；

目标检测模块，其对视频流进行目标检测，得出目标区域；

匹配模块，其以该原始模板和辅助模板分别和所得到的目标区域进行特征匹配，以匹配得到的最高相似度作为该目标区域与该样例目标的相似度，判断是否为需要跟踪的目标。

根据本发明的一个实施例，该辅助模板选自对样例目标按设定比例进行放大后的放大模板、或对样例目标按设定比例进行缩小后的缩小模板、或实时获取的相似目标所形成的更新模板。

本发明提供放大、缩小和原始大小三种模板来匹配，提高了准确率。同时，本发明可在跟踪过程中适时调整和增加更新模板，采用多模板来跟踪，提高准确率。

利用本发明的多模板跟踪方法，克服了现有多视点视频特定目标跟踪技术中模板固定(用大、小目标分别匹配小、大目标)、单一模板(用正面、侧面分别去匹配侧面、正面)的不足，提高了多视点特定目标的匹配精度，降低了漏匹配和误匹配。

通过阅读说明书，本领域普通技术人员将更好地了解这些实施例和其它实施例的特征和方面。

附图说明

下面通过参考附图并结合实例具体地描述本发明，本发明的优点和实现方式将会更加明显，其中附图所示内容仅用于对本发明的解释说明，而不构成对本发明的任何意义上的限制，在附图中：

图1为根据本发明的一个实施例，对要跟踪的目标生成多模板的示意图；

图2为根据本发明的一个实施例，采用多模板进行跟踪的流程图；

图3为根据本发明的一个实施例，基于多视点视频的目标跟踪系统的结构示意图。

具体实施方式

本实施例提供一种多视点视频特定目标的多模板跟踪方法，旨在解决现有多视点特定目标跟踪方法中存在的一些不足，通过多模板加缩放的方法，提高跟踪的准确率。

如图1所示为本发明对要跟踪的目标生成多模板的示意图，具体步骤如下：

101、选择要跟踪目标的模板；

102、对目标进行缩放；

103、生成缩小目标；

104、对缩小目标进行特征提取；

105、生成缩小目标的模板；

106、生成原始目标；

107、对原始目标进行特征提取；

108、生成原始目标的模板；

109、生成放大目标；

110、对放大目标进行特征提取；

111、生成放大目标的模板。

这样，形成了三个模板，即放大模板A、原始模板B和缩小模板C。除了原始模板B之外，增加了两个辅助模板，即放大模板A和缩小模板C。放大模板和缩小模板是基于设定的比例获取的，例如放大的比例是1.1倍，缩小的比例为0.9倍。此外，还可以增加一个辅助模板，即后面所详细描述的更新模块D。

本实施例中多视点视频特定目标的多模板加缩放跟踪的技术方案是：首先获取目标的分割区域，然后对该区域进行特征提取，接着将该区域特征和放大模板A、原始模板B、缩小模板C和更新模板D进行匹配，得出最高相似度，最后根据相似度的大小来判断是否要增加和调整模板。其具体步骤如下：

第一步、目标分割；

第二步、目标特征提取；

第三步、目标的多模板加缩放跟踪；

第四步、调整和增加模板；

第五步、保存当前跟踪结果，退出。

下面对本实施例的几个步骤依次进行详细描述：

第一步、目标分割

1、目标检测得出目标区域

目标检测分割出目标区域采用现有技术，主要有以下两种方法：

1)建立背景模型、通过背景差来获取运动目标区域；

2)基于特征匹配的目标区域提取。

第二步、目标特征提取

目标的特征提取也可以通过常见的目标特征提取算法实现，特征有很多种，可应用颜色、纹理、或形状特征。

1)颜色特征

本发明基于HSV颜色空间，计算颜色直方图作为特征。

2)纹理特征

本发明采用旋转缩放不变特征作为纹理特征。

第三步、目标的多模板加缩放跟踪

1、将放大、缩小和原始目标三种模板分别和当前目标进行匹配，计算目标的相似度，由于采用的旋转缩放不变纹理特征对旋转、放大、缩小、平移等变形具有特征不变的性质，所以仅仅对颜色特征采用三个模板分别匹配，纹理特征只和原始模板匹配；

当然，本实施例中采用三个模板(放大模板A、原始模板B、缩小模板C)分别进行匹配，但本领域技术人员应了解只采用放大模板和原始模板，或只采用缩小模板和原始模板也是可以的，同样可以实现提高精度的目的。

当然，也可以只增加一个更新模板D作为辅助模板，采用更新模板D的目的也是为了提高精度，比如最开始的模板是行人的正面模板，但是随着人在摄像机内的走动，有可能行人以侧面或背面出现在摄像机内，那么正面的模板和侧面或背面的目标去匹配显然准确率不会太高，通过更新模板D的实时调整，可以很好地解决这种问题。

1)将放大模板A和当前目标进行颜色特征匹配，采用相关系数方法计算相似度，下面是相关系数的公式：

这里采用的颜色特征是颜色直方图，由于这里是采用的72层HSV颜色空间，那么颜色直方图中颜色的个数就是72个，也就是公式中的n＝72；其中X_i在这一步代表放大模板A的颜色直方图的值，

在这里代表放大模板A所有颜色的颜色直方图值求和的平均值；Y_i在这一步代表当前目标的颜色直方图的值，在这里代表当前模板所有颜色的颜色直方图值求和的平均值；r_XY就是计算出来的颜色相似度的值。

$r_{\mathrm{XY}}=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(X_i-\stackrel{\‾}{X})(Y_i-\stackrel{\‾}{Y})}{\sqrt{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(X_i-\stackrel{\‾}{X})}^2\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(Y_i-\stackrel{\‾}{Y})}^2}}---\left(1\right)$

其中X_i为自变量的标志值；i＝1，2，3，…n；为自变量的平均值；Y_i为因变量的标志值；i＝1，2，3，…n；

为因变量的平均值；r_XY为相关系数的值。

2)将原始模板B和当前目标进行颜色特征匹配，采用相关系数方法按照公式(1)计算相似度；

3)将缩小模板C和当前目标进行颜色特征匹配，采用相关系数方法按照公式(1)计算相似度；

4)将原始模板B和当前目标进行旋转缩放不变的纹理特征匹配，将匹配对的个数转换为0-1的相似度，相似度的计算按照如下公式进行：

$f=\frac{n}{\mathrm{tota}\ln \mathrm{um}}---\left(2\right)$

其中，f是相似度，n是匹配对的个数，totalnum是总的特征个数。

公式(2)的作用如下：通过旋转缩放不变的纹理特征进行匹配，假定有10个(就是公式中的n为10)特征可以匹配上，而总的特征个数是原始模板通过旋转缩放不变的纹理特征计算得到的特征个数，这里假定为100个(就是公式中的totalnum为100)，那么纹理特征的相似度就是10/100＝0.1(就是公式中的f)。

5)计算颜色特征和纹理特征的综合相似度a，由于纹理特征、纹理特征的物理意义不相同，不具有直接可比性，需要对几种特征做归一化处理，公式如下：

D＝w₁d₁+w₂d₂(3)

其中，d₁、d₂分别表示两幅图像的颜色特征相似度、纹理特征相似度；w₁、w₁为特征量的权值(0≤w₁≤1，且w₁+w₁＝1)。

将三个模板分别按照公式(3)来计算相似度，这样就得到了三个综合相似度，取最大的一个结果作为综合相似度a。

2、将更新模板D和当前目标进行匹配，计算目标的相似度；

更新模板D是根据当前检测结果可以不断更新的模板，最开始只有放大模板A、原始模板B和缩小模板C，并没有更新模板D；当检测得到了第一个符合条件的目标之后，就将此目标作为更新模板D；它的作用是通过对模板的不断更新，来提高检测的精度。采用模板D的目的也是为了提高精度，比如最开始的模板是行人的正面模板，但是随着人在摄像机内的走动，有可能行人以侧面或背面出现在摄像机内，那么正面的模板和侧面或背面的目标去匹配显然准确率不会太高，通过更新模板D的实时调整，可以很好的解决这种问题。

1)将更新模板D和当前目标进行旋转缩放不变的纹理特征匹配，将匹配对的个数按照公式(2)转换为0-1的相似度；

2)将更新模板D和当前目标进行颜色特征匹配，采用相关系数法计算相似度；

3)计算颜色和纹理特征的综合相似度b，按照公式(3)做归一化处理。

3、取综合相似度a和综合相似度b中最好的结果作为最终的综合相似度c。

第四步、调整和增加模板

1、如果综合相似度c大于设定的阈值，则确定为跟踪目标。同时，按照下面的步骤进行调整和增加模板的处理；

1)如果还只有三个模板A、B、C，则将该目标作为新的更新模板D，更新模板D的相似度初始化为0；

2)如果已经有A、B、C、D四个模板，且综合相似度b大于综合相似度a，则将该目标作为新模板代替原更新模板D；

3)如果已经有A、B、C、D四个模板，且综合相似度b小于综合相似度a，则不调整和增加模板。

2、如果综合相似度c小于设定的阈值，则认为没有相似的跟踪目标，不调整和增加模板。

第五步、保存当前跟踪结果，退出。

采用本发明所述方法，通过对更新模板D的实时调整，使得匹配的时候尽量是正面去匹配正面、侧面去匹配侧面，克服了现有多视点视频特定目标跟踪技术中模板固定(用大、小目标分别匹配小、大目标)、单一模板(用正面、侧面分别去匹配侧面、正面)的不足，提高了多视点特定目标的匹配精度，降低了漏匹配和误匹配。

如图2所示，为使说明更加清楚，本实施例的采用多模板进行跟踪的流程如下：

201、进行目标分割；

202、进行目标特征提取；

203、采用放大模板A进行匹配；

204、采用原始模板B进行匹配；

205、采用缩小模板C进行匹配；

206、采用更新模板D进行匹配；

207、得到综合相似度；

208、如果综合相似度小于设定的阈值，则判断无匹配目标；

209、如果综合相似度大于设定的阈值，则匹配成功，判断为要跟踪的目标；

210、如果综合相似度大于设定的阈值，且利用更新模板匹配的综合相似度b大于利用放大、原始、缩小三个模板匹配的综合相似度a，则将该目标作为新模板，替换原来的更新模板。

前面所述的跟踪方法归纳如下：以原始模板和辅助模板分别和所得到的目标区域进行基于颜色的模板匹配，分别得到颜色相似度；然后以原始模板和所得到的目标区域进行纹理特征匹配，得到纹理特征相似度；再分别将各颜色相似度与纹理特征相似度进行综合判断，并取最高相似度作为综合相似度；如果综合相似度大于设定的综合相似度阈值，则认为是需要跟踪的目标，否则认为没有跟踪目标。

当然，也可以采用下面的方法：以原始模板和辅助模板分别和所得到的目标区域进行基于颜色的模板匹配，以匹配得到的最高相似度作为颜色相似度，如果颜色相似度大于设定的颜色相似度阈值，则继续进行纹理或形状特征的匹配，如果匹配结果大于设定的纹理或形状特征相似度阈值则认为是需要跟踪的目标，否则认为没有跟踪目标。

如图3所示，本实施例同时提供一种基于多视点视频的目标跟踪系统，包括：多模板生成模块、目标检测模块、和匹配模块。多模板生成模块在样例目标的原始模板的基础上增加至少一个辅助模板，该辅助模板选自对样例目标按设定比例进行放大后的放大模板、或对样例目标按设定比例进行缩小后的缩小模板、或实时获取的相似目标所形成的更新模板。目标检测模块对视频流进行目标检测，得出目标区域。匹配模块以该原始模板和辅助模板分别和所得到的目标区域进行特征匹配，以匹配得到的最高相似度作为该目标区域与该样例目标的相似度，判断是否为需要跟踪的目标。本实施例的基于多视点视频的目标跟踪系统采用上面所述的方法，在此不再重复描述。

以上参照附图说明了本发明的优选实施例，本领域技术人员不脱离本发明的范围和实质，可以有多种变型方案实现本发明。举例而言，作为一个实施例的部分示出或描述的特征可用于另一实施例以得到又一实施例。以上仅为本发明较佳可行的实施例而已，并非因此局限本发明的权利范围，凡运用本发明说明书及附图内容所作的等效变化，均包含于本发明的权利范围之内。

Claims (10)

1.一种基于多视点视频的目标跟踪方法，其特征在于包括下列步骤：

在样例目标的原始模板的基础上增加至少一个辅助模板；

对视频流进行目标检测，得出目标区域；

以所述原始模板和辅助模板分别和所得到的目标区域进行特征匹配，以匹配得到的最高相似度作为所述目标区域与所述样例目标的相似度，判断是否为需要跟踪的目标。

2.根据权利要求1所述的基于多视点视频的目标跟踪方法，其特征在于，所述辅助模板选自对样例目标按设定比例进行放大后的放大模板、或对样例目标按设定比例进行缩小后的缩小模板、或实时获取的相似目标所形成的更新模板。

3.根据权利要求1或2所述的基于多视点视频的目标跟踪方法，其特征在于，以所述原始模板和辅助模板分别和所得到的目标区域进行基于颜色的模板匹配，以匹配得到的最高相似度作为颜色相似度，如果颜色相似度大于设定的颜色相似度阈值，则继续进行纹理或形状特征的匹配，如果匹配结果大于设定的纹理或形状特征相似度阈值则认为是需要跟踪的目标，否则认为没有跟踪目标。

4.根据权利要求1或2中任一项所述的基于多视点视频的目标跟踪方法，其特征在于，以所述原始模板和辅助模板分别和所得到的目标区域进行基于颜色的模板匹配，分别得到颜色相似度；以所述原始模板和所得到的目标区域进行纹理特征匹配，得到纹理特征相似度；分别将各颜色相似度与所述纹理特征相似度进行综合判断，并取最高相似度作为综合相似度；如果综合相似度大于设定的综合相似度阈值，则认为是需要跟踪的目标，否则认为没有跟踪目标。

5.根据权利要求1所述的基于多视点视频的目标跟踪方法，其特征在于，所述目标区域是采用建立背景模型，通过背景差从视频流中获取的运动目标区域；或者，所述目标区域通过基于特征的匹配而从视频流中获取。

6.根据权利要求2所述的基于多视点视频的目标跟踪方法，其特征在于，在检测到第一个符合相似度要求的跟踪目标后，将此目标作为所述更新模板。

7.根据权利要求6所述的基于多视点视频的目标跟踪方法，其特征在于，以所述更新模板和所得到的目标区域进行特征匹配，得到匹配相似度；并以所述原始模板或其它辅助模板和所得到的目标区域进行特征匹配，得到匹配相似度；以匹配得到的最高相似度作为所述目标区域与所述样例目标的相似度，判断是否为需要跟踪的目标。

8.根据权利要求7所述的基于多视点视频的目标跟踪方法，其特征在于，在检测到符合相似度要求的后续跟踪目标后，判断所述后续跟踪目标与所述更新模板的相似度是否大于所述后续跟踪目标与所述原始模板或其它辅助模板的相似度，如果大于，则用当前目标替代所述更新模板，否则不替代。

9.一种基于多视点视频的目标跟踪系统，其特征在于包括：

多模板生成模块，其在样例目标的原始模板的基础上增加至少一个辅助模板；

目标检测模块，其对视频流进行目标检测，得出目标区域；

匹配模块，其以所述原始模板和辅助模板分别和所得到的目标区域进行特征匹配，以匹配得到的最高相似度作为所述目标区域与所述样例目标的相似度，判断是否为需要跟踪的目标。

10.根据权利要求9所述的基于多视点视频的目标跟踪系统，其特征在于，所述辅助模板选自对样例目标按设定比例进行放大后的放大模板、或对样例目标按设定比例进行缩小后的缩小模板、或实时获取的相似目标所形成的更新模板。

Images