CN103473542B - 多线索融合的目标跟踪方法 - Google Patents

Abstract

本发明提出一种多线索融合的目标跟踪方法，包括以下步骤：实时采集预定区域的图像，并将图像划分为多个子区域；选定待跟踪目标，对其在图像中的位置对应的子区域的模板集进行更新，并搜索该模板集的最佳匹配点；计算待跟踪目标和粒子滤波区域的分块颜色和边缘分布的外观特征；根据光流计算法估计待跟踪目标在图像中的整体运动矢量；对粒子进行重要性重采样，以得到待跟踪目标的位置；根据整体运动矢量和待跟踪目标的位置对目标的分块颜色和边缘分布的外观特征进行更新，以对待跟踪目标进行跟踪。本发明的实施例能够很好地适应在光线变化强烈或目标外观存在较大变化时，有效地对目标的位置进行调整和目标外观进行更新，从而提高了目标跟踪鲁棒性。

Description

多线索融合的目标跟踪方法

技术领域

本发明涉及计算机视频与图像处理技术领域，特别涉及一种多线索融合的目标跟踪方法。

背景技术

基于计算机视觉的目标跟踪技术是国内外的热点研究内容，该技术融合了模式识别、机器学习和自动控制等先进学科，并在过去几十年内不断发展。视觉跟踪是研究从视频图像序列中连续估计运动目标的位置以及其他运动参数的问题，是连接底层图像处理与高层行为分析的纽带。在应用方面，与传统视频分析的“实时录像，事后分析”不同，视觉目标跟踪能够自动地确定目标位置，这样不仅可以节省大量的人力成本，还可以达到实时分析和输出的目的，使得视觉目标跟踪技术在公共安全、军事训练、机器人导航、刑侦分析等领域有着广阔的应用前景。

视觉跟踪算法一般可以分为目标表示、相似度度量和搜索策略三部分，这三部分又存在交叠和相互配合。整体模板的目标表示法利用所有像素特征，但是对姿态变化较为敏感；统计直方图特征可以概括目标特征，但丢失了空间信息，所以分块的直方图特征可以在这方面做到较好的权衡。相似度度量用来决定搜索区域与目标的匹配程度，常见的有Bhattacharyya距离、欧氏距离、度量模板相似度的Hausdorff距离等。随着机器学习的引入，视觉目标跟踪问题可以看作是分类问题，即对目标和背景进行二值分类，这时相似度度量为分类器的输出，如SVM、Adaboost等的输出结果。搜索机制包括确定性搜索和随机搜索机制，前者如梯度下降算法等，后者如基于采样的粒子滤波算法等。

虽然视觉跟踪在理论和应用都得到了长足的发展，但是仍然面临着很多难点，这些难点主要分为周围环境的变化和目标外观的变化。周围环境的变化包括摄像机的平移、旋转、放缩，背景的变化，光线的变化，目标的遮挡等等；目标外观的变化包括物体快速移动、姿态变化等。针对这些问题，近年来在线学习、组合优化等策略被引入视觉跟踪，但总体说来这些难点问题仍然未能完全克服。

粒子滤波框架下的跟踪是一种流行的跟踪算法，但是其对运动信息利用的不够充分。另外，针对物体外观的快速变化，粒子滤波算法为了提高鲁棒性，也一般不会给出快速的外观特征更新。

发明内容

本发明旨在至少解决上述技术问题之一。

为此，本发明的目的在于提出一种多线索融合的目标跟踪方法，该方法能够很好地适应在光线变化强烈或目标外观存在较大变化时，有效地地对目标的位置进行调整和目标外观进行更新，从而可提高目标跟踪的鲁棒性。

为了实现上述目的，本发明的实施例提出了一种多线索融合的目标跟踪方法，包括以下步骤：S1：实时采集预定区域的图像，并将所述图像划分为多个子区域；S2：选定待跟踪目标，对所述待跟踪目标在所述图像中的位置对应的子区域的模板集进行更新，并搜索所述模板集的最佳匹配点；S3：计算所述待跟踪目标和粒子滤波区域的分块颜色和边缘分布的外观特征；S4：根据光流计算法估计所述待跟踪目标在所述图像中的整体运动矢量；S5：对粒子进行重要性重采样，以得到所述待跟踪目标的位置；S6：根据所述整体运动矢量和所述待跟踪目标的位置对所述待跟踪目标的分块颜色和边缘分布的外观特征进行更新，以及对所述待跟踪目标进行跟踪。

根据本发明实施例的多线索融合的目标跟踪方法，提取了结合分块颜色和边缘方向特征，不仅可以刻画目标的统计特征，还可以在一定程度上描述目标的空间特征；在粒子滤波中融合了外观特征和多模板匹配特征，能够更好地适应环境的光线变化和目标在不同区域的外观变化，同时也可以适应同一区域人体的多种姿态变化；另外，融合粒子滤波结果和光流运动信息，在光线较差、目标之间区分度较小、运动较规则时，可以以更可地进行目标位置的调整和目标外观的更新，从而提高了目标跟踪鲁棒性靠的运动信息有效和适应性。

另外，根据本发明上述实施例的多线索融合的目标跟踪方法还可以具有如下附加的技术特征：

在本发明的实施例中，所述待跟踪目标是通过目标检测算法自动选定的。

在本发明的实施例中，所述待跟踪目标是通过手工选定的。

在本发明的实施例中，所述步骤S2具体包括：根据所述待跟踪目标的坐标判断所述待跟踪目标所在的子区域；如果判断所述待跟踪目标为首次进入所述子区域，则以所述待跟踪目标为模板，为所述子区域初始化N个相同权重的模板，其中，N为正整数；根据所述N个模板计算所述待跟踪目标在各个位置的相关系数；如果判断最大的相关系数小于预设值，则替换所述模板集中权重最小的模板，并以当前目标为模板加入模板集。如果判断所述最大的相关系数大于所述预设值，则提高第一模板的权重，并进行归一化，以获得所述最佳匹配点，其中，所述最大的相关系数由所述第一模板得到。

在本发明的实施例中，所述根据N个模板计算待跟踪目标在各个位置的相关系数通过如下公式计算： $C(x,y)=\frac{{\mathrm{\Σ}}_{x^{\′},y^{\′}}(T^{\′}(x^{\′},y^{\′})\·I^{\′}(x+x^{\′},y+y^{\′}))}{\sqrt{{\mathrm{\Σ}}_{x^{\′},y^{\′}}{T}^{\′}{(x^{\′},y^{\′})}^2}\·\sqrt{{\mathrm{\Σ}}_{x^{\′},y^{\′}}{I}^{\′}{(x+x^{\′},y+y^{\′})}^2}},$ 其中，C(x,y)为相关系数，表示所述待跟踪目标在图像I的坐标(x,y)处模板T的匹配度。

在本发明的实施例中，所述步骤S3具体包括：将所述分块颜色从RGB色彩空间转换至HSV空间；获取所述图像的HSV颜色直方图，并将所述直方图进行连接；根据Canny算子对所述图像进行边缘检测并进行二值化；计算所述图像的分块边缘方向直方图；连接所述HSV颜色直方图和所述边缘方向直方图，并进行标准化；根据Bhattacharyya距离分别计算归一化的直方图h₁和h₂的距离，以得到所述待跟踪目标和所述子区域的分块颜色和边缘分布的外观特征。

在本发明的实施例中，根据Bhattacharyya距离计算归一化的直方图h₁和h₂的距离通过如下公式计算： $\mathrm{Bhattacharyya}(h_1,h_2)=\sqrt{1-{\mathrm{\Σ}}_i{h}_1\left(i\right)\·h_2\left(i\right)}.$

在本发明的实施例中，所述步骤S4具体包括：在所述待跟踪目标内均匀采样坐标点，并计算运动矢量；在每个采样点上，根据Lucas-Kanade光流算法计算相邻两帧图像中所述待跟踪目标的运动方向与运动幅度；根据每个采样点的运动矢量判定所述待跟踪目标的整体运动矢量。

在本发明的实施例中，所述步骤S6具体包括：比较前一帧和当前帧的所述待跟踪目标的位置以得到所述粒子滤波中粒子的运动矢量；比较所述粒子的运动矢量和所述整体运动矢量；如果所述粒子的运动矢量和所述整体运动矢量较为一致，则将所述粒子的运动矢量作为跟踪结果，如果所述粒子的运动矢量和所述整体运动矢量不一致，则将所有粒子按照所述整体运动矢量进行强制移动；计算新目标位置的颜色和边缘特征，并更新目标的历史颜色和历史边缘特征，以对所述待跟踪目标进行跟踪。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的多线索融合的目标跟踪方法的流程图；

图2为根据本发明另一个实施例的多线索融合的目标跟踪方法的流程图；

图3为根据本发明一个实施例的多线索融合的目标跟踪方法所涉及的功能模块示意图；

图4为根据本发明一个实施例的多线索融合的目标跟踪方法所涉及的初始化模块的工作流程图；

图5为根据本发明一个实施例的多线索融合的目标跟踪方法所涉及的多区域模板处理模块的工作流程图；

图6为根据本发明一个实施例的多线索融合的目标跟踪方法所涉及的外观特征提取模块的工作流程图；

图7为根据本发明一个实施例的多线索融合的目标跟踪方法所涉及的目标光流计算模块的工作流程图；

图8为根据本发明一个实施例的多线索融合的目标跟踪方法所涉及的粒子重要性重采样模块的工作流程图；和

图9为根据本发明一个实施例的多线索融合的目标跟踪方法所涉及的目标校正模块的工作流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

以下结合附图详细描述根据本发明实施例的多线索融合的目标跟踪方法。

图1为根据本发明一个实施例的多线索融合的目标跟踪方法的流程图。

如图1所示，根据本发明一个实施例的多线索融合的目标跟踪方法，包括以下步骤：

步骤S101，实时采集预定区域的图像，并将该图像划分为多个子区域。具体地，采集图像可以通过摄像头等设备实现。预定区域为预先设定的图像采集范围。在划分多个子区域时，例如为：在存在广角镜头的情况下，可以根据畸变情况人工划分图像区域，使得同一区域内目标外形较一致，不同区域目标外形存在较明显变化。当不存在畸变时，可以认为整个画面为一个区域。这种区域划分将为多区域模板集的生成做准备，即目标在不同位置时将使用所属区域的模板集进行匹配。

步骤S102，选定待跟踪目标，对待跟踪目标在图像中的位置对应的子区域的模板集进行更新，并搜索该模板集的最佳匹配点。具体地，待跟踪目标可通过目标检测算法自动选定。在本发明的一个实施例中，待跟踪目标也可通过手工选定。其中，待跟踪目标位于预定图像区域中。

在步骤S102中，具体还包括：在选定待跟踪目标后，首先根据待跟踪目标的坐标判断该目标所在的子区域，并进一步判断目标是否首次进入该子区域，如果该目标为首次进入该子区域，则以该待跟踪目标为模板，为其所在的子区域初始化N个相同权重的模板，其中，N为正整数，并进一步根据N个模板计算待跟踪目标在各个位置的相关系数，并找出多个相关系数中最大的相关系数，如果判断最大的相关系数小于预设值，则替换该子区域的模板集中权重最小的模板，并以当前目标为模板加入模板集，如果判断最大的相关系数大于预设值，则提高第一模板的权重，并进行归一化处理，以获得最佳匹配点。其中，上述预设值为根据具体情景预先设定的。最大的相关系数由第一模板计算得到。

在上述过程中，通过以下公式计算得到待跟踪目标在各个位置的相关系数：

$C(x,y)=\frac{{\mathrm{\Σ}}_{x^{\′},y^{\′}}(T^{\′}(x^{\′},y^{\′})\·I^{\′}(x+x^{\′},y+y^{\′}))}{\sqrt{{\mathrm{\Σ}}_{x^{\′},y^{\′}}{T}^{\′}{(x^{\′},y^{\′})}^2}\·\sqrt{{\mathrm{\Σ}}_{x^{\′},y^{\′}}{I}^{\′}{(x+x^{\′},y+y^{\′})}^2}},$

其中，C(x,y)为相关系数，表示待跟踪目标在图像I的坐标(x,y)处模板T的匹配度。进一步地，若令模板T的宽高分别为W和H，则：

$\begin{array}{c}{T}^{\′}(x^{\′},y^{\′})=T(x^{\′},y^{\′})-\frac{{\mathrm{\Σ}}_{x^{\′\′},y^{\′\′}}T(x^{\′\′},y^{\′\′})}{W\·H},I^{\′}(x+y^{\′},y+y^{\′})=\\ I(x+x^{\′},y+y^{\′})-\frac{{\mathrm{\Σ}}_{x^{\′\′},y^{\′\′}}I(x+x^{\′\′}y+,y^{\′\′})}{W\·H}.\end{array}$

步骤S103，计算待跟踪目标和粒子滤波区域的分块颜色和边缘分布的外观特征。具体地，首先将分块颜色从RGB色彩空间转换至HSV空间，并获取图像的HSV颜色直方图，并将所得到的颜色直方图进行连接，根据Canny算子对图像进行边缘检测并进行二值化，计算得到图像的分块边缘方向直方图，进一步连接HSV直方图和边缘方向直方图，对其进行标准化，最后根据Bhattacharyya距离分别计算归一化的直方图h₁和h₂的距离，以得到待跟踪目标和子区域的分块颜色和边缘分布的外观特征。其中，分块的颜色和边缘特征分布不仅能够描述外观的统计特征，还可以在一定程度上刻画空间特征，从而有效地给出粒子置信度。

具体而言，在上述步骤中，根据Bhattacharyya距离分别计算归一化的直方图h₁和h₂的距离可通过如下公式进行计算得到：

$\mathrm{Bhattacharyya}(h_1,h_2)=\sqrt{1-{\mathrm{\Σ}}_i{h}_1\left(i\right)\·h_2\left(i\right)}.$

步骤S104，根据光流计算法估计待跟踪目标在图像中的整体运动矢量。具体而言，首先在待跟踪目标内均匀采样坐标点，并计算运动矢量，在每个采样点上，使用Lucas-Kanade光流算法计算相邻两帧图像中待跟踪目标的运动方向与运动幅度，根据每个采样点的运动矢量判定待跟踪目标的整体运动矢量。具体言之，即如果超过一定比例的采样点具有相似的运动矢量，那么认为跟踪目标整体具有该方向和幅度的整体运动，否则判定目标没有整体运动。例如，在摄像机垂直向下照射的监控场景，行人进入时一般可利用的视觉信息较少（只有头部），但有规则的运动信息，这时利用光流法可以有效地估测出整体运动矢量；而当行人转身时或晃动手臂时，各部分运动矢量不一致，这时不输出整体运动矢量。其中，整体运动矢量即为目标整体移动方向。

步骤S105，对粒子进行重要性重采样，以得到待跟踪目标的位置。具体如下：首先计算粒子滤波中的粒子的权重，然后将所有粒子的权重进行归一化处理，并按权重由大到小进行排序，并依次按粒子的权重进行重要性采样，最后根据所有粒子的坐标的加权平均值计算待跟踪目标的位置。

步骤S106，根据整体运动矢量和待跟踪目标的位置对待跟踪目标的分块颜色和边缘分布的外观特征进行更新，以及对待跟踪目标进行跟踪。具体地，首先比较前一帧和当前帧的所述待跟踪目标的位置以得到所述粒子滤波中粒子的运动矢量，并比较粒子的运动矢量和整体运动矢量，如果粒子的运动矢量和整体运动矢量较为一致，则将粒子的运动矢量作为跟踪结果，如果粒子的运动矢量和整体运动矢量不一致，则将所有粒子按照整体运动矢量进行强制移动，最后计算新目标位置的颜色和边缘特征，并更新目标的历史颜色和历史边缘特征，以对所述待跟踪目标进行跟踪。需要说明的是，当光流法没能得到整体运动矢量时，也信任粒子滤波跟踪结果，即将粒子的运动矢量作为跟踪结果。

图2为根据本发明另一个实施例的多线索融合的目标跟踪方法的流程图。

如图2所示，根据本发明另一个实施例的多线索融合的目标跟踪方法，包括以下步骤：

步骤S201，跟踪目标位置确定。可通过手工选定或目标检测算法自动选定目标，对目标所属图像进行区域划分，并确定目标位置所处的子区域。

步骤S202，模板匹配点搜索。即在目标所处的子区域内搜索最佳匹配点。

步骤S203，区域模板集更新。即生成目标所处子区域内的模板集并对其进行更新。

步骤S204，目标外观相似度计算。即计算目标的和粒子滤波区域的分块颜色和边缘分布特征。分块的颜色和边缘特征分布不仅能够描述外观的统计特征，还可以在一定程度上刻画空间特征，从而有效地给出粒子置信度。

步骤S205，粒子重要性重采样。即根据粒子和最佳匹配点的距离及外观相似度为粒子赋予相应的权重，根据所有粒子的权重进行重要性采样，并根据所有粒子的坐标的加权平均值表示目标的位置。

步骤S206，目标内部光流计算。在目标内均匀采样一定数量的坐标点，并计算每个采样点上相邻两帧的运动方向与运动幅度。

步骤S207，目标整体运动估算。在上述步骤S206中，如果超过一定比例的采样点具有相似的运动矢量，则判定目标整体具有该方向和幅度的整体运动，否则判定没有整体运动。

步骤S208，目标运动比对。即比较粒子滤波得到的目标运动矢量和光流计算得到的目标整体运动矢量。

步骤S209，根据比对结果对目标位置进行校正。即如果上述步骤S208中两者的运动方向较为一致（或光流算法无法得到整体运动矢量），则信任粒子滤波跟踪结果；如果两者的运动方向不一致，则将所有粒子按照目标整体运动矢量进行强制移动，以更新目标位置。

作为具体的示例，以下结合附图3-9描述根据本发明实施例的多线索融合的目标跟踪方法实现过程中所涉及到的系统模块及其功能。

图3为根据本发明一个实施例的多线索融合的目标跟踪方法所涉及的功能模块的示意图。

如图3所示，本发明实施例的多线索融合的目标跟踪方法实现时主要涉及到初始化模块310、多区域模板处理模块32.、外观特征提取模块330、目标光流计算模块340、粒子重要性重采样模块350和目标校正模块360。

具体地，初始化模块310用于选定跟踪目标，划分图像子区域与初始化参数等。

多区域模板处理模块320用于当目标运动到不同子区域时，负责对该区域模板集进行初始化或更新，并搜索模板集的最佳匹配位置。

外观特征提取模块330用于计算目标和搜索区域的分块颜色、边缘分布特征。

目标光流计算模块340用于在目标区域内采样光流计算点，并在这些点上计算光流矢量，从而估算整体运动矢量。

粒子重要性重采样模块350用于综合粒子滤波中的粒子与模板最佳匹配点的距离、外观相似度来为粒子赋予权重，并根据权重对下一帧粒子进行重要性重采样。

目标校正模块360用于根据粒子滤波给出的运动方向和光流方向，对目标的位置进行校正，对外观特征进行更新。

具体地，初始化模块310的工作流程如图4所示，具体包括：

步骤S401，图像区域划分。具体而言，在存在广角镜头的情况下，可以根据畸变情况人工划分图像区域，使得同一区域内目标外形较一致，不同区域目标外形存在较明显变化。当不存在畸变时，可以认为整个画面为一个区域。这种区域划分将为多区域模板集的生成做准备，即目标在不同位置时将使用所属区域的模板集进行匹配。

步骤S402，跟踪目标选定。可通过手工选定或由目标检测算法自动选定待跟踪的目标。一般是划定目标的最小外接矩形。

步骤S403，初始化参数。初始化相关的跟踪算法参数，等待进入后续模块。

多区域模板处理模块320的工作流程如图5所示，具体包括：

步骤S501，目标区域判断。根据目标中心点的坐标和上述步骤S401中得到的区域划分，判断目标所在的区域。

步骤S502，区域模板集初始化。如果目标首次进入某区域，则以跟踪目标为模板，为该区域初始化N个相同权重的模板，其中，N为正整数。

步骤S503，最佳匹配位置搜索。在目标附近区域依次用N个模板计算在各个位置的相关系数，计算公式如下：

$C(x,y)=\frac{{\mathrm{\Σ}}_{x^{\′},y^{\′}}(T^{\′}(x^{\′},y^{\′})\·I^{\′}(x+x^{\′},y+y^{\′}))}{\sqrt{{\mathrm{\Σ}}_{x^{\′},y^{\′}}{T}^{\′}{(x^{\′},y^{\′})}^2}\·\sqrt{{\mathrm{\Σ}}_{x^{\′},y^{\′}}{I}^{\′}{(x+x^{\′},y+y^{\′})}^2}},$

其中，C(x,y)即为相关系数，表示在图像I坐标(x,y)处模板T的匹配度。令模板T的宽高分别为W和H，则 $T^{\′}(x^{\′},y^{\′})=T(x^{\′},y^{\′})-\frac{{\mathrm{\Σ}}_{x^{\′\′},y^{\′\′}}T(x^{\′\′},y^{\′\′})}{W\·H},$ $I^{\′}(x+x^{\′},y+y^{\′})=I(x+x^{\′},y+y^{\′})-\frac{{\mathrm{\Σ}}_{x^{\′\′},y^{\′\′}}I(x+x^{\′\′}y+,y^{\′\′})}{W\·H}.$ 假设最大的相关系数为C(x_m,y_m)，是由模板N_m得到。

步骤S504，权重最小模板替换。如果判断C(x_m,y_m)小于给定的阈值（即预设值），则在该区域模板集中替换掉权重最小的模板，并以当前目标为模板加入模板集，新的权重为模板集中权重的中位数。

步骤S505，匹配模板权重提升。如果判断C(x_m,y_m)大于给定的阈值，则提高模板N_m的权重，并将所有权重再重新归一化，输出匹配点(x_m,y_m)。

外观特征提取模块330的工作流程如图6所示，具体包括：

步骤S601，色彩空间转换。色彩可以看作由R（红色），G（绿色），B（蓝色）按照一定比例构成，在计算颜色特征时使用这三个通道容易受光线的影响。相关实验证明，相比于RGB颜色空间，HSV颜色空间的表示方法更接近于人类的视觉系统，在计算机视觉领域经常用HSV颜色空间进行物体检测与跟踪，其中，H表示色度，S表示饱和度，V表示亮度。该模块负责RGB空间到HSV空间的转换。

步骤S602，分块颜色直方图计算。为了同时兼顾统计特征与空间分布特征，对跟踪目标划分了9个区域，并使得相邻的两个区域互相覆盖面积的50%，这种划分方式有助于减少噪声的影响。得到了每个区域内的HSV颜色直方图后，最后再将这些直方图进行连接。对于小区域内的每个像素，计算其所属的直方图柱标号的公式如下：

$\mathrm{Bin}(h,s,v)=\left\{\begin{array}{cc}{N}_h\&times;N_s+\min (\frac{v}{{\mathrm{MAX}}_V}\&CenterDot;H_v,N_v-1)& s<T_s\mathrm{orv}<T_v\\ \min (\frac{s}{{\mathrm{MAX}}_S}\&CenterDot;N_s,N_s-1)\&times;N_h+\min (\frac{h}{{\mathrm{MAX}}_H}\&CenterDot;N_h,N_h-1)& \mathrm{else}\end{array}\right.$

其中，N_h、N_s和N_v分别表示H、S、V代表的直方图的柱数量，MAX_H、MAX_S和MAX_V代表H、S、V的最大值，T_s和T_v为S、V的阈值，即该像素点的S或V小于相应阈值时，只用亮度来填充直方图。

步骤S603，Canny边缘检测。即利用Canny算子进行边缘检测并进行二值化。Canny边缘检测的步骤包括图像高斯滤波、计算灰度梯度、非最大值抑制、双阈值操作判断等，是目前比较有效的边缘检测算法。

步骤S604，分块边缘方向直方图计算。在与步骤S602中相同的各区域内的边缘点上计算边缘方向直方图，计算时将边缘方向量化为8个方向，即直方图的8个圆柱，然后累加在8个方向上的边缘点个数。最后将9个区域的直方图进行连接。

步骤S605，直方图标准化与连接。将步骤S602中和步骤S604中计算得到的分块直方图连接成一个直方图并进行标准化，用来表示跟踪目标的外观特征。

步骤S606，外观相似度计算。采用Bhattacharyya距离计算两个归一化的直方图h₁和h₂的距离，定义如下：

$\mathrm{Bhattacharyya}(h_1,h_2)=\sqrt{1-{\mathrm{\&Sigma;}}_i{h}_1\left(i\right)\&CenterDot;h_2\left(i\right)}.$

目标光流计算模块340的工作流程如图7所示，具体包括：

步骤S701，光流计算点采样。在跟踪目标内均匀采样坐标点，用来计算运动矢量。这里采样点过少容易导致整体运动估计不准，过多会使计算负担变大，实际操作中可以根据情况指定。

步骤S702，采样点光流矢量计算。在每个采样点上，使用Lucas-Kanade光流算法计算相邻两帧的运动方向与运动幅度。

步骤S703，整体运动方向估算。在上述步骤S702中，如果超过一定比例的采样点具有相似的运动矢量，那么认为跟踪目标整体具有该方向和幅度的整体运动，否则目标没有整体运动。例如，在摄像机垂直向下照射的监控场景，行人进入时一般可利用的视觉信息较少（只有头部），但有规则的运动信息，这时利用光流法可以有效地估测出整体运动矢量；而当行人转身时或晃动手臂时，各部分运动矢量不一致，这时不输出整体运动矢量。

粒子重要性重采样模块350的工作流程如图8所示，具体包括：

步骤S801，粒子权重计算。对于粒子滤波框架下的每个粒子，其权重由两部分共同决定，第一部分是粒子与目标之间颜色、边缘直方图的距离S_edge-color，其计算方式如步骤S606中所述；第二部分是距离步骤S503中所得的模板最佳匹配点距离的高斯函数S_template：

w=w₁·(1-S_edge-color)+w₂·S_template，

其中，w₁和w₂分别为两部分的权重系数。

步骤S802，粒子重采样。首先将所有粒子的权重归一化并按权重有大到小排序，然后依次按粒子的权重进行重要性重采样。假设粒子滤波中一共使用K个粒子，某粒子的权重为w，那么由该粒子进行随机采样得到的粒子数为K×w，一直到重采样生成新一轮的K个新粒子后停止。直观来看，与目标越相似的粒子会产生更多的采样点来估计下一帧目标的位置。

步骤S803，目标位置计算。用所有粒子框的坐标的加权平均值来表示目标的位置。

目标校正模块360的工作流程如图9所示，具体包括：

步骤S901，粒子滤波与光流结果比较。比较前一帧和当前帧的目标位置后得到由粒子滤波给出的运动矢量，并与光流法给出的整体运动矢量相比较，如果方向和幅度较为一致（或光流法没能得到整体运动矢量），则信任粒子滤波跟踪结果。

步骤S902，粒子位置校正。如果光流法和粒子滤波结果的运动矢量不一致，则将所有粒子按照整体光流矢量进行强制移动。

步骤S903，外观特征更新：计算新目标位置的颜色和边缘特征，并按照一定的权重去更新目标的历史颜色和边缘特征。

根据本发明实施例的多线索融合的目标跟踪方法，提取了结合分块颜色和边缘方向特征，不仅可以刻画目标的统计特征，还可以在一定程度上描述目标的空间特征；在粒子滤波中融合了外观特征和多模板匹配特征，从而有效地给出粒子置信度，能够更好地适应环境的光线变化和目标在不同区域的外观变化，同时也可以适应同一区域人体的多种姿态变化；另外，融合粒子滤波结果和光流运动信息，在光线较差、目标之间区分度较小、运动较规则时，可以以更可地进行目标位置的调整和目标外观的更新，从而提高了目标跟踪鲁棒性靠的运动信息有效和适应性。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同限定。

Claims (9)

1.一种多线索融合的目标跟踪方法，其特征在于，包括以下步骤：

S1：实时采集预定区域的图像，并将所述图像划分为多个子区域；

S2：选定待跟踪目标，对所述待跟踪目标在所述图像中的位置对应的子区域的模板集进行更新，并搜索所述模板集的最佳匹配点；

S3：计算所述待跟踪目标和粒子滤波区域的分块颜色和边缘分布的外观特征；

S4：根据光流计算法估计所述待跟踪目标在所述图像中的整体运动矢量；

S5：对所述粒子滤波区域中所有粒子进行重要性重采样，以获得所述待跟踪目标的位置；

S6：根据所述整体运动矢量和所述待跟踪目标的位置对所述待跟踪目标的分块颜色和边缘分布的外观特征进行更新，以及对所述待跟踪目标进行跟踪。

2.如权利要求1所述的多线索融合的目标跟踪方法，其特征在于，所述待跟踪目标是通过目标检测算法自动选定的。

3.如权利要求1所述的多线索融合的目标跟踪方法，其特征在于，所述待跟踪目标是通过手工选定的。

4.如权利要求1所述的多线索融合的目标跟踪方法，其特征在于，所述步骤S2具体包括：

根据所述待跟踪目标的坐标判断所述待跟踪目标所在的子区域；

如果判断所述待跟踪目标为首次进入所述子区域，则以所述待跟踪目标为模板，为所述子区域初始化N个相同权重的模板，其中，N为正整数；

根据所述N个模板计算所述待跟踪目标在各个位置的相关系数；

如果判断最大的相关系数小于预设值，则替换所述模板集中权重最小的模板，并以当前目标为模板加入模板集；

如果判断所述最大的相关系数大于所述预设值，则提高第一模板的权重，并进行归一化，以获得所述最佳匹配点，其中，所述最大的相关系数由所述第一模板得到。

5.如权利要求4所述的多线索融合的目标跟踪方法，其特征在于，所述根据N个模板计算所述待跟踪目标在各个位置的相关系数通过如下公式得到：

$C(x,y)=\frac{{\mathrm{\&Sigma;}}_{x^{\&prime;},y^{\&prime;}}\left(T^{\&prime;}\right(x^{\&prime;},y^{\&prime;})\&CenterDot;I^{\&prime;}(x+x^{\&prime;},y+y^{\&prime;}\left)\right)}{\sqrt{{\mathrm{\&Sigma;}}_{x^{\&prime;},y^{\&prime;}}{T}^{\&prime;}{(x^{\&prime;},y^{\&prime;})}^2}\&CenterDot;\sqrt{{\mathrm{\&Sigma;}}_{x^{\&prime;},y^{\&prime;}}{I}^{\&prime;}{(x+x^{\&prime;},y+y^{\&prime;})}^2}},$

其中，C(x,y)为相关系数，表示所述待跟踪目标在图像I的坐标(x,y)处模板T的匹配度。

6.如权利要求1所述的多线索融合的目标跟踪方法，其特征在于，所述步骤S3具体包括：

将所述分块颜色从RGB色彩空间转换至HSV空间；

获取所述图像的HSV颜色直方图，并将所述直方图进行连接；

根据Canny算子对所述图像进行边缘检测并进行二值化；

计算所述图像的分块边缘方向直方图；

连接所述HSV颜色直方图和所述边缘方向直方图，并进行标准化；

根据Bhattacharyya距离分别计算归一化的直方图h₁和h₂的距离，以得到所述待跟踪目标和所述粒子滤波区域的分块颜色和边缘分布的外观特征。

7.如权利要求6所述的多线索融合的目标跟踪方法，其特征在于，所述根据Bhattacharyya距离分别计算归一化的直方图h₁和h₂的距离可通过如下公式得到：

$Bhattacharyya(h_1,h_2)=\sqrt{1-{\mathrm{\&Sigma;}}_i{h}_1\left(i\right)\&CenterDot;h_2\left(i\right)},$

其中，h(i)表示直方图的第i维，i的取值为从1到直方图的总维数。

8.如权利要求1所述的多线索融合的目标跟踪方法，其特征在于，所述步骤S4具体包括：

在所述待跟踪目标内均匀采样坐标点，并计算运动矢量；

在每个采样点上，根据Lucas-Kanade光流算法计算相邻两帧图像中所述待跟踪目标的运动方向与运动幅度；

根据每个采样点的运动矢量判定所述待跟踪目标的整体运动矢量。

9.如权利要求1所述的多线索融合的目标跟踪方法，其特征在于，所述步骤S6具体包括：

比较前一帧和当前帧的所述待跟踪目标的位置以得到所述粒子滤波中粒子的运动矢量；

比较所述粒子的运动矢量和所述整体运动矢量；

如果所述粒子的运动矢量和所述整体运动矢量较为一致，则将所述粒子的运动矢量作为跟踪结果，如果所述粒子的运动矢量和所述整体运动矢量不一致，则将所有粒子按照所述整体运动矢量进行强制移动；

计算新目标位置的颜色和边缘特征，并更新目标的历史颜色和历史边缘特征，以对所述待跟踪目标进行跟踪。