CN106875421A - 一种多目标跟踪方法及装置 - Google Patents

Abstract

本发明提供一种多目标跟踪方法及装置，通过提取视频图像中的关键点，并对所述关键点进行跟踪，对连续N帧跟踪到的这些关键点形成轨迹，采用一定的相似性度量方法对这些关键点轨迹进行聚类，形成至少一个完整的目标，从而实现对多个目标实时、持续、准确地跟踪。该发明能够通过对跟踪得到的数量较多的多个目标轨迹进行聚类，确定多个目标，在兼顾算法精度的同时，解决了现有多目标检测加跟踪算法耗时长的问题。

Description

一种多目标跟踪方法及装置

技术领域

本发明涉及目标跟踪技术领域，具体涉及一种多目标跟踪方法及装置。

背景技术

多目标跟踪技术在智能安防领域、车载辅助系统或者军事领域都有着十分广泛的应用。多目标跟踪技术一般都是先检测出目标，然后对检测出的每个目标进行特征描述，再根据所述特征对每个目标进行跟踪，从检测到跟踪，不但算法复杂而且计算耗时长，导致多目标跟踪的实时性较差、准确度较低。对于长时间跟踪或者被跟踪目标存在形状变化情况下的跟踪，很多人采用检测的方法来代替跟踪。该方法虽然在某些情况下可以改进跟踪效果，但它需要一个离线的学习过程，也就是在检测之前需要挑选大量的被跟踪目标的样本来进行学习和训练。因此训练样本要涵盖被跟踪目标可能发生的各种形变和各种尺度、姿态变化和光照变化的情况。换言之，利用检测的方法来达到长时间跟踪的目的，对于训练样本的选择至关重要，否则，跟踪的鲁棒性就难以保证。

同时，利用现有目标跟踪技术得到的多个目标的轨迹数量较多，在大量的目标轨迹中，难以逐一确定多个目标并实现对多个目标实时、持续、准确地跟踪。

发明内容

本发明要解决的技术问题在于克服现有的多目标跟踪方法实时性较差、准确度较低的缺陷。

本发明提供一种多目标跟踪方法，包括：

获取视频图像；

提取所述视频图像中的关键点；

对所述视频图像中的关键点进行跟踪；

根据所述视频图像中连续N帧跟踪到的关键点，形成关键点轨迹；

对所述关键点轨迹进行聚类，形成至少一个目标。

优选地，在所述对所述关键点轨迹进行聚类，形成至少一个目标的步骤之后，还包括剔除所述至少一个目标的噪声轨迹点，包括：

计算所述至少一个目标中的轨迹点连接所得的至少一条边的权值；

判断所述至少一条边的权值是否小于预设权值阈值；

当所述至少一条边的权值小于预设权值阈值时，判定所述至少一条边对应的轨迹点为噪声轨迹点，剔除所述至少一个目标的噪声轨迹点。

优选地，所述根据所述视频图像中连续N帧的关键点，形成关键点轨迹，包括：

提取所述视频图像中连续N帧的关键点对应的特征；

根据所述关键点在相邻两帧的特征判断所述关键点是否为有效关键点；

当所述关键点为有效关键点时，根据所述有效关键点形成关键点轨迹。

优选地，所述对所述关键点轨迹进行聚类，形成至少一个目标，包括：

判断所述关键点轨迹的长度是否大于预设长度阈值；

当所述关键点轨迹的长度大于预设长度阈值时，计算所述关键点轨迹的运动距离和任意两个所述关键点轨迹之间的夹角；

根据所述关键点轨迹的运动距离和任意两个所述关键点轨迹之间的夹角，进行相似性度量；

根据所述相似性度量结果进行聚类，形成至少一个目标。

优选地，所述视频图像中的关键点为角点。

本发明还提供一种多目标跟踪装置，包括：

视频图像获取单元，用于获取视频图像；

关键点提取单元，用于提取所述视频图像中的关键点；

关键点跟踪单元，用于对所述视频图像中的关键点进行跟踪；

轨迹形成单元，用于根据所述视频图像中连续N帧跟踪到的关键点，形成关键点轨迹；

轨迹聚类单元，用于对所述关键点轨迹进行聚类，形成至少一个目标。

优选地，还包括噪声轨迹点剔除单元，所述噪声轨迹点剔除单元包括：

权值计算子单元，用于计算所述至少一个目标中的轨迹点连接所得的至少一条边的权值；

权值判断子单元，用于判断所述至少一条边的权值是否小于预设权值阈值；

剔除子单元，用于当所述至少一条边的权值小于预设权值阈值时，判定所述至少一条边对应的轨迹点为噪声轨迹点，剔除所述至少一个目标的噪声轨迹点。

优选地，所述轨迹形成单元包括：

特征提取子单元，用于提取所述视频图像中连续N帧的关键点对应的特征；

有效关键点判断子单元，用于根据所述关键点在相邻两帧的特征判断所述关键点是否为有效关键点；

关键点轨迹形成子单元，用于当所述关键点为有效关键点时，根据所述有效关键点形成关键点轨迹。

优选地，所述轨迹聚类单元包括：

轨迹长度判断子单元，用于判断所述关键点轨迹的长度是否大于预设长度阈值；

计算子单元，用于当所述关键点轨迹的长度大于预设长度阈值时，计算所述关键点轨迹的运动距离和任意两个所述关键点轨迹之间的夹角；

相似性度量子单元，用于根据所述关键点轨迹的运动距离和任意两个所述关键点轨迹之间的夹角，进行相似性度量；

聚类子单元，用于根据所述相似性度量结果进行聚类，形成至少一个目标。

优选地，所述视频图像中的关键点为角点。

本发明技术方案，具有如下优点：

本发明提供一种多目标跟踪方法及装置，通过提取视频图像中的关键点，并对所述关键点进行跟踪，对连续N帧跟踪到的这些关键点形成轨迹，采用一定的相似性度量方法对这些关键点轨迹进行聚类，形成至少一个完整的目标，从而实现对多个目标实时、持续、准确地跟踪。该发明能够通过对跟踪得到的数量较多的多个目标轨迹进行聚类，确定多个目标，在兼顾算法精度的同时，解决了现有多目标检测加跟踪算法耗时长的问题。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一种多目标跟踪方法的流程图；

图2为一种多目标跟踪装置的示意图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

实施例1

本实施例提供一种多目标跟踪方法，该多目标跟踪方法适用于目标为刚体的跟踪，例如车辆、非机动车等。该多目标跟踪方法的流程图如图1所示，包括如下步骤：

S1：获取视频图像。所述视频图像可以通过移动摄像装置或设置在固定位置的摄像装置采集得到。

S2：提取所述视频图像中的关键点。优选地，可以通过控制视频图像的每一帧中目标轨迹的数量，以减少计算量，从而提高多目标跟踪的实时性。因此所述视频图像中的关键点可以采用哈里斯(Harris)角点，提取所述视频图像中的Harris角点。

首先，假设所述视频图像为I(x,y)，根据式(1)计算I(x,y)在X和Y两个方向的梯度I_x和I_y。

根据梯度I_x和I_y，由式(2)分别计算出两个方向梯度的乘积。

使用高斯滤波函数w对I_x ²、I_y ²和I_xy进行高斯加权，分别获得元素A、B、C如式(3)所示。

根据元素A、B、C得到矩阵M如式(4)所示。

根据矩阵M，计算所述视频图像中每个像素点的Harris响应值R，如式(5)所示，其中detM为矩阵M的行列式，trace(M)为矩阵M的直迹，α为经验常数，t为阈值。对小于阈值t的R置为零。

R＝{R：det M-α(trace M)²＜t} (5)

在所述视频图像中每个像素点的3*3和5*5的邻域内进行非极大抑制，局部最大点即为所述视频图像中的关键点。

S3：对所述视频图像中的关键点进行跟踪。具体地，可以采用光流跟踪算法对所述视频图像中的关键点进行跟踪。光流跟踪是利用图像序列中的像素点在时间域上的变化以及相邻帧之间的相关性来找到上一帧与当前帧之间存在的对应关系，计算相邻帧之间目标的运动信息。

优选地，为进一步控制所述视频图像的每一帧中目标轨迹的数量，对于提取的所述视频图像中的关键点，即Harris角点，不对当前帧提取的全部Harris角点进行光流跟踪。具体地，可以定义当前帧所有轨迹点的一个邻域δ，判断所述Harris角点是否在当前帧轨迹点的邻域δ内。当所述Harris角点在当前帧轨迹点的邻域δ内时，不对该Harris角点进行光流跟踪；当所述Harris角点不在当前帧轨迹点的邻域δ内时，将该Harris角点作为目标轨迹初始点，对其进行光流跟踪。

S4：根据所述视频图像中连续N帧跟踪到的关键点，形成关键点轨迹。对所述关键点跟踪连续N帧，分别得到所述关键点在连续N帧的每一帧中的位置坐标。由于光流跟踪出来的关键点的位置坐标会存有误差，导致目标跟踪漂移。优选地，可以通过对光流跟踪出来的关键点进行有效性判断，得到有效性关键点。根据所述有效性关键点，形成关键点轨迹。

S5：对所述关键点轨迹进行聚类，形成至少一个目标。具体地，可以通过计算所述关键点轨迹的运动距离和方向，对所述关键点轨迹的运动距离和方向进行相似性度量。根据相似性度量结果，通过谱聚类算法自动形成至少一个目标。

本发明提供的多目标跟踪方法，通过提取视频图像中的关键点，并对所述关键点进行跟踪，对连续N帧跟踪到的这些关键点形成轨迹，采用一定的相似性度量方法对这些关键点轨迹进行聚类，形成至少一个完整的目标，从而实现对多个目标实时、持续、准确地跟踪。该发明能够通过对跟踪得到的数量较多的多个目标轨迹进行聚类，确定多个目标，在兼顾算法精度的同时，解决了现有多目标检测加跟踪算法耗时长的问题。

作为一个具体的实施方式，在上述步骤S5之后，还包括：

S6：剔除所述至少一个目标的噪声轨迹点。由于上述步骤S5通过对所述关键点轨迹进行聚类形成的目标中可能含有较多其他目标上的点等噪声轨迹点，这些噪声轨迹点影响对目标跟踪的稳定性。因此，将这些噪声轨迹点进行剔除。

具体地，上述步骤S6包括以下子步骤：

S61：计算所述至少一个目标中的轨迹点连接所得的至少一条边的权值。

首先对已经形成的所述至少一个目标中的所有轨迹进行聚类，例如可以采用K近邻图进行聚类。再计算所述至少一个目标中的轨迹点的K近邻边的权值。具体地，连接目标轨迹中任意点的K近邻点，形成K近邻边，并对每条边赋值。可以将每个目标连续回溯N帧，当前帧每条边赋值为1，倒数第N-1帧每条边的权值计算如式(6)所示。

s(t)＝(1-α)·s(t-1)+α·S (6)

式(6)中，s(t-1)为目标中某点与其对应的K近邻点连接后所得边的权值，α为上一帧和当前帧的边的比值，一般设为0.5，S为当前帧的边的权值，计算公式如式(7)所示。

式(7)中，r_i＝l′_i-s·l_i，σ为计算目标尺度时的对应的方差，σ_n为中值方差。s为连续尺度值，假设倒数第N帧目标的尺度为1，其余时刻尺度定义为s₁,s₂,s₃,…,s_n，则s根据式(8)得到。

式(8)中，l_i表示目标上任意两点在当前帧所连接边的边长，l_i，表示目标上上一帧任意两点所连接边的边长。通过式(8)可以计算出目标回溯N帧的连续尺度值。至此就可以计算目标中往后回溯N时刻，每一时刻目标的尺度和目标中任意两点之间的边值。

S62：判断所述至少一条边的权值是否小于预设权值阈值。

S63：当所述至少一条边的权值小于预设权值阈值时，判定所述至少一条边对应的轨迹点为噪声轨迹点，剔除所述至少一个目标的噪声轨迹点。具体地，可以将权值阈值设为0.5。当所形成的边的权值小于0.5时，则认为该边无效，该边对应的轨迹点为噪声轨迹点，并剔除。反之则认为该边有效。

作为一个具体的实施方式，上述步骤S4包括以下子步骤：

S41：提取所述视频图像中连续N帧的关键点对应的特征。

S42：根据所述关键点在相邻两帧的特征判断所述关键点是否为有效关键点；

S43：当所述关键点为有效关键点时，根据所述有效关键点形成关键点轨迹。

由于光流跟踪出来的轨迹点的位置会存有误差，存在跟踪漂移。具体地，可以采用Forward-Backward算法(前向-后向算法)、NCC算法(normalized cross correlation，归一化互相关匹配法)和PN算法(neighbourhood consistency,近邻一致性算法)中的至少一种方法，对光流跟踪到的关键点进行有效性判断，删除那些未通过有效性判断的点，并对跟踪到的有效关键点形成轨迹。

对于Forward-Backward算法，提取的所述视频图像中连续N帧的关键点对应的特征为轨迹位置信息；对当前跟踪出来的轨迹点，再次采用光流跟踪法计算出其在上一帧的位置，然后计算所有轨迹点上一帧的位置与采用反向光流跟踪出来上一帧的位置的误差，本实施例只保留误差在一定容许范围内的轨迹点，若超过了一定误差范围则直接剔除。

对于NCC算法，提取的所述视频图像中连续N帧的关键点对应的特征为直方图；计算所有轨迹点中上一帧点和当前帧点邻域内的梯度直方图，比较所有点在上一帧和当前帧对应直方图的相似性，相似性大于一定阈值则认为有效。本实施例只保留通过了相似度量的轨迹点，否则直接剔除轨迹点。

对于PN算法，提取的所述视频图像中连续N帧的关键点对应的特征为运动状态；计算当前所有已跟踪轨迹点的邻域内，上一帧邻域内和当前帧邻域内的运动状态是否一致，或者一致点的数量是否大于一定的比例，如果是则认为跟踪到的轨迹点是有效点，否则直接剔除轨迹点。

优选地，本实施例只保留全部通过Forward-Backward算法、NCC算法和PN算法判定为有效的轨迹点，若当前轨迹点中有任一轨迹点未通过上述判断条件，则直接剔除。

作为一个具体的实施方式，上述步骤S5包括以下子步骤：

S51：判断所述关键点轨迹的长度是否大于预设长度阈值。具体地，所述关键点轨迹的长度可以用轨迹所在的连续帧的帧数来表示。通过预设长度阈值，只对满足条件的有效轨迹进行聚类，不仅减少了计算量，而且提高了准确度。

S52：当所述关键点轨迹的长度大于预设长度阈值时，计算所述关键点轨迹的运动距离和任意两个所述关键点轨迹之间的夹角。

具体地，根据式(9)和式(10)计算有效轨迹的运动距离和方向，其中，vi和vj分别表示轨迹在i时刻和j时刻所对应的坐标。

dir＝a tan((vi_y-vj_y)/(vi_x-vj_x)) (10)

S53：根据所述关键点轨迹的运动距离和任意两个所述关键点轨迹之间的夹角，进行相似性度量。通过计算有效轨迹两两之间的夹角和运动距离的比率，根据这两个度量值对有效轨迹进行相似性度量，作为后续采用聚类算法进行聚类的基础。

S54：根据所述相似性度量结果进行聚类，形成至少一个目标。采用谱聚类(Spectral Clustering)算法对那些轨迹夹角小于一定阈值、运动距离比率小于一定阈值的值作为相似性度量，将这些轨迹通过谱聚类算法自动形成一个目标，从而实现从轨迹层面到目标层面的全过程。

实施例2

本实施例提供一种多目标跟踪装置，该装置适用于目标为刚体的跟踪，例如车辆、非机动车等。该装置的示意图如图2所示。包括：

视频图像获取单元10，用于获取视频图像。所述视频图像可以通过移动摄像装置或设置在固定位置的摄像装置采集得到。

关键点提取单元20，用于提取所述视频图像中的关键点。优选地，可以通过控制视频图像的每一帧中目标轨迹的数量，以减少计算量，从而提高多目标跟踪的实时性。因此所述视频图像中的关键点可以采用哈里斯(Harris)角点，提取所述视频图像中的Harris角点。

关键点跟踪单元30，用于对所述视频图像中的关键点进行跟踪。具体地，可以采用光流跟踪算法对所述视频图像中的关键点进行跟踪。光流跟踪是利用图像序列中的像素点在时间域上的变化以及相邻帧之间的相关性来找到上一帧与当前帧之间存在的对应关系，计算相邻帧之间目标的运动信息。

优选地，为进一步控制所述视频图像的每一帧中目标轨迹的数量，对于提取的所述视频图像中的关键点，即Harris角点，不对当前帧提取的全部Harris角点进行光流跟踪。具体地，可以定义当前帧所有轨迹点的一个邻域δ，判断所述Harris角点是否在当前帧轨迹点的邻域δ内。当所述Harris角点在当前帧轨迹点的邻域δ内时，不对该Harris角点进行光流跟踪；当所述Harris角点不在当前帧轨迹点的邻域δ内时，将该Harris角点作为目标轨迹初始点，对其进行光流跟踪。

轨迹形成单元40，用于根据所述视频图像中连续N帧跟踪到的关键点，形成关键点轨迹。对所述关键点跟踪连续N帧，分别得到所述关键点在连续N帧的每一帧中的位置坐标。由于光流跟踪出来的关键点的位置坐标会存有误差，导致目标跟踪漂移。优选地，可以通过对光流跟踪出来的关键点进行有效性判断，得到有效性关键点。根据所述有效性关键点，形成关键点轨迹。

轨迹聚类单元50，用于对所述关键点轨迹进行聚类，形成至少一个目标。具体地，可以通过计算所述关键点轨迹的运动距离和方向，对所述关键点轨迹的运动距离和方向进行相似性度量。根据相似性度量结果，通过谱聚类算法自动形成至少一个目标。

本发明提供的多目标跟踪装置，通过提取视频图像中的关键点，并对所述关键点进行跟踪，对连续N帧跟踪到的这些关键点形成轨迹，采用一定的相似性度量方法对这些关键点轨迹进行聚类，形成至少一个完整的目标，从而实现对多个目标实时、持续、准确地跟踪。该发明能够通过对跟踪得到的数量较多的多个目标轨迹进行聚类，确定多个目标，在兼顾算法精度的同时，解决了现有多目标检测加跟踪算法耗时长的问题。

作为一个具体的实施方式，该装置还包括噪声轨迹点剔除单元，由于通过对所述关键点轨迹进行聚类形成的目标中可能含有较多其他目标上的点等噪声轨迹点，这些噪声轨迹点影响对目标跟踪的稳定性。因此，将这些噪声轨迹点进行剔除。所述噪声轨迹点剔除单元包括：

权值计算子单元，用于计算所述至少一个目标中的轨迹点连接所得的至少一条边的权值。

首先对已经形成的所述至少一个目标中的所有轨迹进行聚类，例如可以采用K近邻图进行聚类。再计算所述至少一个目标中的轨迹点的K近邻边的权值。具体地，连接目标轨迹中任意点的K近邻点，形成K近邻边，并对每条边赋值。可以将每个目标连续回溯N帧，当前帧每条边赋值为1，倒数第N-1帧每条边的权值计算如式(6)所示。

s(t)＝(1-α)·s(t-1)+α·S (6)

式(6)中，s(t-1)为目标中某点与其对应的K近邻点连接后所得边的权值，α为上一帧和当前帧的边的比值，一般设为0.5，S为当前帧的边的权值，计算公式如式(7)所示。

式(7)中，r_i＝l′_i-s·l_i，σ为计算目标尺度时的对应的方差，σ_n为中值方差。s为连续尺度值，假设倒数第N帧目标的尺度为1，其余时刻尺度定义为s₁,s₂,s₃,…,s_n，则s根据式(8)得到。

式(8)中，l_i表示目标上任意两点在当前帧所连接边的边长，l_i，表示目标上上一帧任意两点所连接边的边长。通过式(8)可以计算出目标回溯N帧的连续尺度值。至此就可以计算目标中往后回溯N时刻，每一时刻目标的尺度和目标中任意两点之间的边值。

权值判断子单元，用于判断所述至少一条边的权值是否小于预设权值阈值。

剔除子单元，用于当所述至少一条边的权值小于预设权值阈值时，判定所述至少一条边对应的轨迹点为噪声轨迹点，剔除所述至少一个目标的噪声轨迹点。具体地，可以将权值阈值设为0.5。当所形成的边的权值小于0.5时，则认为该边无效，该边对应的轨迹点为噪声轨迹点，并剔除。反之则认为该边有效。

作为一个具体的实施方式，轨迹形成单元40还包括：

特征提取子单元，用于提取所述视频图像中连续N帧的关键点对应的特征。

有效关键点判断子单元，用于根据所述关键点在相邻两帧的特征判断所述关键点是否为有效关键点；

关键点轨迹形成子单元，用于当所述关键点为有效关键点时，根据所述有效关键点形成关键点轨迹。

由于光流跟踪出来的轨迹点的位置会存有误差，存在跟踪漂移。具体地，可以采用Forward-Backward算法(前向-后向算法)、NCC算法(normalized cross correlation，归一化互相关匹配法)和PN算法(neighbourhood consistency,近邻一致性算法)中的至少一种方法，对光流跟踪到的关键点进行有效性判断，删除那些未通过有效性判断的点，并对跟踪到的有效关键点形成轨迹。

对于Forward-Backward算法，提取的所述视频图像中连续N帧的关键点对应的特征为轨迹位置信息；对当前跟踪出来的轨迹点，再次采用光流跟踪法计算出其在上一帧的位置，然后计算所有轨迹点上一帧的位置与采用反向光流跟踪出来上一帧的位置的误差，本实施例只保留误差在一定容许范围内的轨迹点，若超过了一定误差范围则直接剔除。对于NCC算法，提取的所述视频图像中连续N帧的关键点对应的特征为直方图；计算所有轨迹点中上一帧点和当前帧点邻域内的梯度直方图，比较所有点在上一帧和当前帧对应直方图的相似性，相似性大于一定阈值则认为有效。本实施例只保留通过了相似度量的轨迹点，否则直接剔除轨迹点。对于PN算法，提取的所述视频图像中连续N帧的关键点对应的特征为运动状态；计算当前所有已跟踪轨迹点的邻域内，上一帧邻域内和当前帧邻域内的运动状态是否一致，或者一致点的数量是否大于一定的比例，如果是则认为跟踪到的轨迹点是有效点，否则直接剔除轨迹点。

优选地，本实施例只保留全部通过Forward-Backward算法、NCC算法和PN算法判定为有效的轨迹点，若当前轨迹点中有任一轨迹点未通过上述判断条件，则直接剔除。

作为一个具体的实施方式，轨迹聚类单元50还包括：

轨迹长度判断子单元，用于判断所述关键点轨迹的长度是否大于预设长度阈值。具体地，所述关键点轨迹的长度可以用轨迹所在的连续帧的帧数来表示。通过预设长度阈值，只对满足条件的有效轨迹进行聚类，不仅减少了计算量，而且提高了准确度。

计算子单元，用于当所述关键点轨迹的长度大于预设长度阈值时，计算所述关键点轨迹的运动距离和任意两个所述关键点轨迹之间的夹角。

具体地，根据式(9)和式(10)计算有效轨迹的运动距离和方向，其中，vi和vj分别表示轨迹在i时刻和j时刻所对应的坐标。

dir＝a tan((vi_y-vj_y)/(vi_x-vj_x)) (10)

相似性度量子单元，用于根据所述关键点轨迹的运动距离和任意两个所述关键点轨迹之间的夹角，进行相似性度量。通过计算有效轨迹两两之间的夹角和运动距离的比率，根据这两个度量值对有效轨迹进行相似性度量，作为后续采用聚类算法进行聚类的基础。

聚类子单元，用于根据所述相似性度量结果进行聚类，形成至少一个目标。采用谱聚类(Spectral Clustering)算法对那些轨迹夹角小于一定阈值、运动距离比率小于一定阈值的值作为相似性度量，将这些轨迹通过谱聚类算法自动形成一个目标，从而实现从轨迹层面到目标层面的全过程。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种多目标跟踪方法，其特征在于，包括：

获取视频图像；

提取所述视频图像中的关键点；

对所述视频图像中的关键点进行跟踪；

根据所述视频图像中连续N帧跟踪到的关键点，形成关键点轨迹；

对所述关键点轨迹进行聚类，形成至少一个目标。

2.根据权利要求1所述的方法，其特征在于，在所述对所述关键点轨迹进行聚类，形成至少一个目标的步骤之后，还包括剔除所述至少一个目标的噪声轨迹点，包括：

计算所述至少一个目标中的轨迹点连接所得的至少一条边的权值；

判断所述至少一条边的权值是否小于预设权值阈值；

当所述至少一条边的权值小于预设权值阈值时，判定所述至少一条边对应的轨迹点为噪声轨迹点，剔除所述至少一个目标的噪声轨迹点。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述视频图像中连续N帧的关键点，形成关键点轨迹，包括：

提取所述视频图像中连续N帧的关键点对应的特征；

根据所述关键点在相邻两帧的特征判断所述关键点是否为有效关键点；

当所述关键点为有效关键点时，根据所述有效关键点形成关键点轨迹。

4.根据权利要求1或2所述的方法，其特征在于，所述对所述关键点轨迹进行聚类，形成至少一个目标，包括：

判断所述关键点轨迹的长度是否大于预设长度阈值；

当所述关键点轨迹的长度大于预设长度阈值时，计算所述关键点轨迹的运动距离和任意两个所述关键点轨迹之间的夹角；

根据所述关键点轨迹的运动距离和任意两个所述关键点轨迹之间的夹角，进行相似性度量；

根据所述相似性度量结果进行聚类，形成至少一个目标。

5.根据权利要求1-4中任一项所述的方法，其特征在于，所述视频图像中的关键点为角点。

6.一种多目标跟踪装置，其特征在于，包括：

视频图像获取单元，用于获取视频图像；

关键点提取单元，用于提取所述视频图像中的关键点；

关键点跟踪单元，用于对所述视频图像中的关键点进行跟踪；

轨迹形成单元，用于根据所述视频图像中连续N帧跟踪到的关键点，形成关键点轨迹；

轨迹聚类单元，用于对所述关键点轨迹进行聚类，形成至少一个目标。

7.根据权利要求6所述的装置，其特征在于，还包括噪声轨迹点剔除单元，所述噪声轨迹点剔除单元包括：

权值计算子单元，用于计算所述至少一个目标中的轨迹点连接所得的至少一条边的权值；

权值判断子单元，用于判断所述至少一条边的权值是否小于预设权值阈值；

剔除子单元，用于当所述至少一条边的权值小于预设权值阈值时，判定所述至少一条边对应的轨迹点为噪声轨迹点，剔除所述至少一个目标的噪声轨迹点。

8.根据权利要求6或7所述的装置，其特征在于，所述轨迹形成单元包括：

特征提取子单元，用于提取所述视频图像中连续N帧的关键点对应的特征；

有效关键点判断子单元，用于根据所述关键点在相邻两帧的特征判断所述关键点是否为有效关键点；

关键点轨迹形成子单元，用于当所述关键点为有效关键点时，根据所述有效关键点形成关键点轨迹。

9.根据权利要求6或7所述的装置，其特征在于，所述轨迹聚类单元包括：

轨迹长度判断子单元，用于判断所述关键点轨迹的长度是否大于预设长度阈值；

计算子单元，用于当所述关键点轨迹的长度大于预设长度阈值时，计算所述关键点轨迹的运动距离和任意两个所述关键点轨迹之间的夹角；

相似性度量子单元，用于根据所述关键点轨迹的运动距离和任意两个所述关键点轨迹之间的夹角，进行相似性度量；

聚类子单元，用于根据所述相似性度量结果进行聚类，形成至少一个目标。

10.根据权利要求6-9中任一项所述的装置，其特征在于，所述视频图像中的关键点为角点。