CN110490901A - 抗姿态变化的行人检测跟踪方法 - Google Patents

Abstract

本发明公开了一种视频图像中抗姿态变化的行人检测跟踪方法，首先利用目标检测算法进行行人检测；其次对检测到的目标进行基于卡尔曼滤波的轨迹预测，更新轨迹；然后对目标进行抗姿态变化的表观特征提取，针对行人姿态变化造成的跟踪丢失或误匹配问题，基于局部特征融合的思想，分别提取人体多个感兴趣区域的表观特征进行组合，最后构成鲁棒的全局表观特征，之后利用得到的运动信息和表观信息进行数据关联匹配，使用运动匹配度和表观匹配度两种度量方式的线性加权作为最终的度量。最后对跟踪轨迹进行筛选，去除消失的目标和无效的轨迹。本发明不仅适用于短时的行人检测跟踪，而且对一些遮挡及姿态变化的情况都有很好的鲁棒性。

Description

抗姿态变化的行人检测跟踪方法

技术领域

本发明属于视频图像处理技术领域，特别涉及视频序列中行人检测跟踪方法。

背景技术

行人检测跟踪是利用计算机视觉技术对视频序列中的行人建立轨迹。在智能交通、智能监控、人机交互等应用领域均有着重要的应用和地位。行人检测跟踪不仅可用来监控、检测和跟踪公共场所的运动目标，保证公共秩序正常的运行。而且也可用于在特殊情况快速找出关注目标及其运动轨迹，为安防提供重要保障。然而，在实际应用中实现鲁棒的行人检测跟踪仍存在诸多挑战，比如行人姿态的变化、环境光照变化、行人间的遮挡等因素，都一定程度上影响了行人检测跟踪的准确性。

多目标跟踪主要存在的问题和难点包括，跟踪目标数量的确定，跟踪目标标识即ID的维持，数据的匹配关联，跟踪轨迹的初始化和终止，目标外观相似的判断，以及多个目标的频繁遮挡。行人检测跟踪的主要任务是在给定视频中同时对多个感兴趣的目标进行定位，并且维持他们的跟踪目标标识即ID、记录他们的轨迹。行人检测跟踪中的行人检测和行人轨迹的匹配关联是一个复杂的问题，主要体现在以下几个方面，首先行人检测中存在一些误检和漏检，导致跟踪存在问题，其次，实际场景中会有大量的遮挡，会导致目标轨迹频繁变化，跟踪ID大量跳变，最后新目标的出现和旧目标的删除策略也是一个重要的问题。

本发明旨在针对监控场景，提升行人检测跟踪的鲁棒性，使其适用于背景复杂、行人有遮挡和姿态多变的场景中。

发明内容

本发明针对现有技术的不足，提供抗姿态变化的行人检测跟踪方法。

为解决上述技术问题，本发明所采取的技术方案如下：抗姿态变化的行人检测跟踪方法，包含以下步骤：

步骤1，针对视频序列中的当前帧，通过目标检测算法进行行人检测；

步骤2，利用当前帧中检测到的目标信息，基于卡尔曼滤波对下一帧的目标轨迹位置进行预测；

步骤3，利用卷积神经网络对目标进行抗姿态变化的表观特征提取；

步骤4，对步骤2中的运动信息和步骤3中的表观信息进行关联匹配；

步骤5，根据步骤4中的关联匹配结果对跟踪轨迹进行筛选，获得最终的行人跟踪轨迹。

进一步的，步骤2中基于卡尔曼滤波对下一帧的轨迹预测具体包括：

对于行人轨迹的状态，使用一个8维空间去描述轨迹在某时刻的状态(x,y,δ,h,x′,y′,δ′,h′)，其中x和y表示检测框中心的位置、δ表示检测框的纵横比、h表示检测框的宽、x′、y′、δ′和h′表示对应的速度，其中检测框是利用步骤1的目标检测算法得到；然后使用卡尔曼滤波器预测更新轨迹，该卡尔曼滤波器采用匀速模型和线性观测模型，其观测变量为(x,y,δ,h)，对目标进行状态估计，利用前一帧通过卡尔曼滤波得到的估计值和当前帧检测得到的观测值更新状态变量，进而对下一帧的轨迹位置预测。

进一步的，步骤3中抗姿态变化的表观特征提取具体包括以下子步骤：

步骤3.1，人体感兴趣区域提取，具体包括14个骨骼关节点提取和7个感兴趣区域的提取；

步骤3.2，局部表观特征提取，将行人图像和7个感兴趣区域图像输入到特征提取网络中分别提取8个局部表观特征，分别是行人整体图像的特征、头部图像的特征、四肢图像的特征、上半身图像的特征和下半身图像的特征，所述特征提取网络由一系列卷积神经网络(CNN)组成；

步骤3.3，局部表观特征融合，利用特征融合网络，其中特征融合网络由一系列最大池化层级联而成，将特征提取网络输出的8个局部表观特征在网络不同深度上融合，融合时按位保留两个特征中的最大值；首先融合2个下肢和2个上肢特征，再分别和下半身和上半身特征融合，接着将它们和头部特征融合，最后与行人整体图像的特征融合，得到对姿态变化鲁棒的表观特征向量。

进一步的，步骤3.1的具体实现包括：

(a)提取人体的14个骨骼关节点：首先利用区域候选网络RPN(region proposalnetwork)，将行人图像作为输入，输出为14个响应图再找到每个响应图中响应值最大的点，作为骨骼关节点(x_i,y_i)，表示为：其中W和H分别表示输入图像的长和宽，i∈(P_A,P_B,P_C1,P_C2,P_C2,P_D2,P_E1,P_E2,P_F1,P_G1,P_H1,P_F2,P_G2,P_H2)分别对应14个关节点；

(b)根据人体的14个骨骼关节点的坐标，获得人体的感兴趣区域框的坐标；14个关节点P_A,P_B,P_C1,P_C2,P_C2,P_D2,P_E1,P_E2,P_F1,P_G1,P_H1,P_F2,P_G2,P_H2构成7个点集：J₁＝{P_A,P_B,P_C1,P_C2}、J₂＝{P_C2,P_D2,P_E2}、J₃＝{P_C1,P_D1,P_E1}、J₄＝{P_F1,P_G1,P_H1}、J₅＝{P_F2,P_G2,P_H2}、J₆＝{P_B,P_C1,P_C2,P_D1,P_D2,P_E1,P_E2}、J₇＝{P_F1,P_F2,P_G1,P_G2,P_H1,P_H2}，分别对应头部、四肢、上半身和下半身7个矩形区域，表示为R_n；对于点集J_n构成的区域其中n∈(1,…,7)，(x_lt,y_lt)和(x_rb,y_rb)分别表示矩形左上角和右下角坐标。

进一步的，步骤4的具体实现方式如下，

步骤4.1，运动信息的关联；

将已跟踪上的行人运动状态的卡尔曼滤波预测结果与当前检测结果之间的马氏距离作为运行信息的关联依据，表示为：

其中D^Ι(i,j)表示当前第j个检测结果和第i条轨迹预测结果之间的运动匹配度；d_j表示第j个检测框的位置，y_i表示第i个追踪器对目标的预测位置；s_i是由卡尔曼滤波预测得到的在当前时刻观测空间的协方差矩阵；

如果某次关联的马氏距离小于指定的阈值m，则视为运动信息关联成功，继续进行后续表观信息关联，否则终止当前的关联；

步骤4.2，表观信息的关联；

对当前目标检测算法的每个检测结果提取一个表观特征向量v_j，并进行归一化使||v_j||＝1，每一个跟踪器存储一个特征集R_i，包含有该跟踪器最近n帧的特征向量，计算第i个跟踪器特征集与当前帧第j个检测结果的特征向量间的最小余弦距离；计算公式为：其中D^ΙΙ(i,j)表示第j个检测结果和第i个跟踪轨迹之间的表观匹配度，表示第i个跟踪器第k帧的特征向量；

步骤4.3，数据融合；

使用运动匹配度和表观匹配度两种度量方式的线性加权作为最终的度量，C(i,j)＝θD^Ι(i,j)+(1-θ)D^ΙΙ(i,j)

根据设定的阈值T，将匹配度C(i,j)小于阈值的行人检测结果j加入到已有跟踪轨迹i中。

进一步的，所述步骤5中跟踪轨迹筛选具体包括：

设置最大间隔阈值A，用于旧轨迹的移除，对每个跟踪的目标记录上一次跟踪与当前匹配间隔的帧数a，如果a＞A，则认为该目标已经消失，因此移除该目标的轨迹；设置最小间隔阈值B决定新轨迹的创建，如果当前检测结果中的目标始终无法与已经存在的跟踪器进行数据关联，那么可能出现新的目标，记潜在轨迹连续关联帧数为b，如果b＞B，则创建新轨迹。

本发明所达到的有益效果是：按照行人的运动状态和表观特征相结合的关联匹配方式来生成跟踪轨迹，并且表观特征考虑了行人姿态的变化融合了多个局部特征。这使本方法不仅适用于短时的预测跟踪，而且对一些遮挡及姿态变化的情况都有很好的鲁棒性。

附图说明

图1是本发明实施例的基于运动估计的抗姿态变化行人检测跟踪方法的流程图。

图2是本发明实施例的卡尔曼预测流程图。

图3是本发明实施例的表观特征提取网络结构图。

图4是本发明实施例的人体骨骼关节点及感兴趣区域示意图。

图5是本发明实施例的轨迹筛选流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

如图1所示，抗姿态变化的行人检测跟踪方法，包含以下步骤：

步骤1，利用目标检测算法对当前帧进行行人检测，实施例具体的实施方案如下。

对于基于检测的行人跟踪算法来说，行人检测是非常重要的一个环节，先要将视频中的行人检测出来，然后根据检测得到的结果，将每帧中的行人关联起来。行人检测的质量对后续行人跟踪至关重要。因此选择检测速度快且精度较高的目标检测算法作为目标检测网络。例如YOLO系列，faster RCNN等算法。本实施例选择YOLOv3目标检测算法。

YOLOv3算法将物体分类和物体定位统一在一个步骤中完成，核心思想就是利用整张图作为网络的输入，直接在输出层回归边界框的位置及其所属的类别，从而实现了端到端的目标检测。在基本的图像特征提取方面，YOLOv3采用了Darknet-53的网络结构，即含有53个卷积层，Darknet-53是一种基于Darknet-19网络和残差网络的混合网络结构。它借鉴了残差网络的做法，在一些层之间设置了快捷链路，同时借鉴FPN利用多尺度特征进行检测，提高了对小目标的检测效果。

步骤2，卡尔曼轨迹预测。实施例具体的实施方案如下。

对于行人轨迹的状态，使用一个8维空间去描述轨迹在某时刻的状态(x,y,δ,h,x′,y′,δ′,h′)，其中x和y表示检测框中心的位置、δ表示检测框的纵横比、h表示检测框的高、x′、y′、δ′和h′表示对应的速度，其中检测框是利用步骤1的目标检测算法得到。然后使用卡尔曼滤波器预测更新轨迹，该卡尔曼滤波器采用匀速模型和线性观测模型，其观测变量为(x,y,δ,h)。对目标进行状态估计，利用前一时刻通过卡尔曼滤波得到的估计值(通过上一帧的卡尔曼滤波预测得到的)和当前时刻检测得到的观测值(当前的观测值是通过目标检测得到)更新状态变量(即跟踪得到的目标状态的估计)，进而对下一时刻的轨迹位置预测。

如图2所示是卡尔曼预测流程图。卡尔曼滤波是一个最优化自回归数据处理算法。卡尔曼滤波的一个典型实例是从一组有限的包含噪声的对物体位置的观察序列预测出物体的位置的坐标及速度。在实际应用中可以在任何含有不确定信息的动态系统中使用卡尔曼滤波，对系统下一步的走向做出有根据的预测。卡尔曼滤波的意义在于尽可能地在包含不确定性的测量数据中提取更多信息。具体包含以下步骤：

(a)由上一级的状态预测当前状态，加上外界的输入。

(b)预测过程增加了新的不确定性Q，加上之前存在的不确定性。

(c)由预测结果的不确定性和观测结果的不确定性R，计算卡尔曼增益(权重)。

(d)对预测结果和观测结果做加权平均，得到当前时刻的状态估计。

(e)更新P_k，代表本次状态估计的不确定性。

和分别表示k-1时刻和k时刻的后验状态估计值，即状态更新后的结果，是通过卡尔曼滤波预测以及一些处理之后的目标的更新状态，也叫最优估计；表示k时刻的先验状态估计值，即根据上一时刻k-1时刻的最优估计预测的k时刻的结果，也就是未经过一些处理的粗预测结果；u_k-1表示k-1时刻对系统状态的控制量；P_k-1和P_k分别表示k-1时刻和k时刻的后验估计协方差。表示k时刻的先验估计协方差。H是状态变量到测量的转换矩阵，表示将状态和观测连接起来的关系。Z_k是测量值，也就是当前通过检测算法得到的测量变量(x,y,δ,h)等信息，是滤波的输入。K_k是滤波增益矩阵，是滤波的中间计算结果。A是状态转移矩阵，实际上是对目标状态转换的一种猜想模型。Q是过程激励噪声协方差，是卡尔曼滤波器用于估计离散时间过程的状态变量。R是测量噪声协方差。B是将输入转换为状态的矩阵。是实际观测(即检测得到的结果)和预测(即卡尔曼粗预测结果)的残差，和卡尔曼增益一起修正先验，得到后验。

步骤3，抗姿态变化的表观特征提取。实施例具体的实施方案如下。

针对行人姿态变化造成的跟踪丢失或误匹配问题，基于局部特征融合的思想，分别提取人体多个感兴趣区域的表观特征进行组合，最后构成鲁棒的全局表观特征。如图3所示为抗姿态变化的表观特征提取网络的结构图，包含特征提取网络和特征融合网络两部分，具体包括：

步骤3.1，人体感兴趣区域提取。具体包括14个骨骼关节点提取和7个感兴趣区域获得两个步骤，骨骼关节点和感兴趣区域分布如图4所示。

(a)提取人体的14个骨骼关节点：首先利用一个卷积网络例如RPN(regionproposalnetwork)网络，将行人图像作为输入，输出为14个响应图再找到每个响应图中响应值最大的点，作为骨骼关节点P_i＝(x_i,y_i)，表示为：其中W和H分别表示输入图像的长和宽，i∈(P_A,P_B,P_C1,P_C2,P_C2,P_D2,P_E1,P_E2,P_F1,P_G1,P_H1,P_F2,P_G2,P_H2)分别对应14个关节点。

(b)根据人体的14个骨骼关节点的坐标，获得人体的感兴趣区域框的坐标：如图4所示，14个关节点P_A,P_B,P_C1,P_C2,P_C2,P_D2,P_E1,P_E2,P_F1,P_G1,P_H1,P_F2,P_G2,P_H2可以构成7个点集：J₁＝{P_A,P_B,P_C1,P_C2}、J₂＝{P_C2,P_D2,P_E2}、J₃＝{P_C1,P_D1,P_E1}、J₄＝{P_F1,P_G1,P_H1}、J₅＝{P_F2,P_G2,P_H2}、J₆＝{P_B,P_C1,P_C2,P_D1,P_D2,P_E1,P_E2}、J₇＝{P_F1,P_F2,P_G1,P_G2,P_H1,P_H2}，对应头部、四肢、上半身和下半身7个矩形区域，表示为R_n。对于点集J_n构成的区域其中n∈(1,…,7)，(x_lt,y_lt)和(x_rb,y_rb)分别表示矩形左上角和右下角坐标。

步骤3.2，局部表观特征提取。将行人图像和它的7个感兴趣区域图像输入到特征提取网络中分别提取局部表观特征。如图3，特征提取网络由一系列卷积神经网络(CNN)组成，CNN内部是残差块、批量归一化层和激活函数。网络最后的输出为1×256维的特征向量。图3中感兴趣区域与图4人体骨骼关节点一一对应。

行人图像从特征提取网络起始输入，头部、上半身和下半身图像从特征提取网络的浅层输入，四肢图像从网络深层输入。每个图像都对应一个特征提取子网络，所有子网络结构相同，且对应层之间参数共享。其中ROI pooling的作用是将子网络输出的特征图统一到一个维度上，从而保证所有子网络可以使用同一个结构。

步骤3.3，局部表观特征融合。如图3，特征融合网络由一系列最大池化层级联而成，网络最后的输出为1×256维的特征向量。利用特征融合网络，将特征提取网络输出的8个局部表观特征在网络不同深度上融合。8个局部表观特征分别是行人整体图像的特征、头部图像的特征、四肢图像的特征、上半身图像的特征和下半身图像的特征。

融合时按位保留两个特征中的最大值。首先融合下肢和上肢的特征，再分别将它们与下半身和上半身特征融合，接着将它们和头部特征融合，最后与行人整体图像的特征融合，得到对姿态变化鲁棒的表观特征向量。

步骤4，数据关联匹配。实施例具体的实施方案如下。

同时考虑运动信息和表观信息，通过运动匹配度和表观匹配度来进行数据关联。具体包括运动信息关联、表观信息关联和数据融合三个步骤。

步骤4.1，运动信息的关联。

将已跟踪上的行人运动状态的卡尔曼预测结果与当前YOLOv3检测结果之间的马氏距离作为运行信息的关联依据，表示为：

其中D^Ι(i,j)表示当前第j个YOLOv3检测结果和第i条轨迹预测结果之间的运动匹配度；d_j表示第j个检测框的位置，y_i表示第i个追踪器对目标的预测位置；s_i是由卡尔曼预测得到的在当前时刻观测空间的协方差矩阵。

如果某次关联的马氏距离小于指定的阈值m，则视为运动信息关联成功，可以继续进行后续表观信息关联，否则终止当前的关联。

步骤4.2，表观信息的关联。

当运动的不确定性很低的时候，马氏距离匹配是一个合适的关联度量方法，但是在图像空间中使用卡尔曼滤波进行运动状态估计只是一个比较粗糙的预测。特别是相机存在运动时会使得马氏距离的关联方法失效，造成出现ID跳变的现象。因此引入了第二种关联方法。

对当前YOLOv3的每个检测结果提取一个表观特征向量v_j，并进行归一化使||v_j||＝1。每一个跟踪器存储一个特征集R_i，包含有该跟踪器最近n帧的特征向量。计算第i个跟踪器特征集与当前帧第j个检测结果的特征向量间的最小余弦距离。计算公式为：其中D^ΙΙ(i,j)表示第j个检测结果和第i个跟踪轨迹之间的表观匹配度，表示第i个跟踪器第k帧的特征向量。

步骤4.3，数据融合。

使用运动匹配度和表观匹配度两种度量方式的线性加权作为最终的度量。C(i,j)＝θD^Ι(i,j)+(1-θ)D^ΙΙ(i,j)

根据设定的阈值T，将匹配度C(i,j)小于阈值的行人检测结果j加入到已有跟踪轨迹i中。距离度量对短期的预测和匹配效果很好，但对于长时间的遮挡的情况，使用外观特征的度量比较有效。将两种度量方式进行融合，能够更好地对目标进行数据匹配。

步骤5，轨迹筛选。实施例具体的实施方案如下。

如图5所示是轨迹筛选流程图。设置最大间隔阈值A，用于旧轨迹的移除。对每个跟踪的目标记录上一次跟踪与当前匹配间隔的帧数a。如果a＞A，则认为该目标已经消失，因此移除该目标的轨迹。设置最小间隔阈值B决定新轨迹的创建。如果当前检测结果中的目标始终无法与已经存在的跟踪器进行数据关联，那么可能出现新的目标。记潜在轨迹连续关联帧数为b，如果b＞B，则创建新轨迹。

以上内容所描述的具体实施例仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做若干的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围，仍应由本发明的权利要求所覆盖。

Claims (6)

1.抗姿态变化的行人检测跟踪方法，其特征在于，包含以下步骤：

步骤1，针对视频序列中的当前帧，通过目标检测算法进行行人检测；

步骤2，利用当前帧中检测到的目标信息，基于卡尔曼滤波对下一帧的目标轨迹位置进行预测；

步骤3，利用卷积神经网络对目标进行抗姿态变化的表观特征提取；

步骤4，对步骤2中的运动信息和步骤3中的表观信息进行关联匹配；

步骤5，根据步骤4中的关联匹配结果对跟踪轨迹进行筛选，获得最终的行人跟踪轨迹。

2.根据权利要求1所述的抗姿态变化的行人检测跟踪方法，其特征在于：步骤2中基于卡尔曼滤波对下一帧的轨迹预测具体包括：

对于行人轨迹的状态，使用一个8维空间去描述轨迹在某时刻的状态(x,y,δ,h,x′,y′,δ′,h′)，其中x和y表示检测框中心的位置、δ表示检测框的纵横比、h表示检测框的宽、x′、y′、δ′和h′表示对应的速度，其中检测框是利用步骤1的目标检测算法得到；然后使用卡尔曼滤波器预测更新轨迹，该卡尔曼滤波器采用匀速模型和线性观测模型，其观测变量为(x,y,δ,h)，对目标进行状态估计，利用前一帧通过卡尔曼滤波得到的估计值和当前帧检测得到的观测值更新状态变量，进而对下一帧的轨迹位置预测。

3.根据权利要求1所述的抗姿态变化的行人检测跟踪方法，其特征在于：步骤3中抗姿态变化的表观特征提取具体包括以下子步骤：

步骤3.1，人体感兴趣区域提取，具体包括14个骨骼关节点提取和7个感兴趣区域的提取；

步骤3.2，局部表观特征提取，将行人图像和7个感兴趣区域图像输入到特征提取网络中分别提取8个局部表观特征，分别是行人整体图像的特征、头部图像的特征、四肢图像的特征、上半身图像的特征和下半身图像的特征，所述特征提取网络由一系列卷积神经网络(CNN)组成；

步骤3.3，局部表观特征融合，利用特征融合网络，其中特征融合网络由一系列最大池化层级联而成，将特征提取网络输出的8个局部表观特征在网络不同深度上融合，融合时按位保留两个特征中的最大值；首先融合2个下肢和2个上肢特征，再分别和下半身和上半身特征融合，接着将它们和头部特征融合，最后与行人整体图像的特征融合，得到对姿态变化鲁棒的表观特征向量。

4.根据权利要求3所述的抗姿态变化的行人检测跟踪方法，其特征在于：步骤3.1的具体实现包括：

(a)提取人体的14个骨骼关节点：首先利用区域候选网络RPN(region proposalnetwork)，将行人图像作为输入，输出为14个响应图再找到每个响应图中响应值最大的点，作为骨骼关节点(x_i,y_i)，表示为：其中W和H分别表示输入图像的长和宽,i∈(P_A,P_B,P_C1,P_C2,P_C2,P_D2,P_E1,P_E2,P_F1,P_G1,P_H1,P_F2,P_G2,P_H2)分别对应14个关节点；

(b)根据人体的14个骨骼关节点的坐标，获得人体的感兴趣区域框的坐标；14个关节点P_A,P_B,P_C1,P_C2,P_C2,P_D2,P_E1,P_E2,P_F1,P_G1,P_H1,P_F2,P_G2,P_H2构成7个点集：J₁＝{P_A,P_B,P_C1,P_C2}、J₂＝{P_C2,P_D2,P_E2}、J₃＝{P_C1,P_D1,P_E1}、J₄＝{P_F1,P_G1,P_H1}、J₅＝{P_F2,P_G2,P_H2}、J₆＝{P_B,P_C1,P_C2,P_D1,P_D2,P_E1,P_E2}、J₇＝{P_F1,P_F2,P_G1,P_G2,P_H1,P_H2}，分别对应头部、四肢、上半身和下半身7个矩形区域，表示为R_n；对于点集J_n构成的区域其中n∈(1,…,7)，(x_lt,y_lt)和(x_rb,y_rb)分别表示矩形左上角和右下角坐标。

5.根据权利要求3所述的抗姿态变化的行人检测跟踪方法，其特征在于：步骤4的具体实现方式如下，

步骤4.1，运动信息的关联；

将已跟踪上的行人运动状态的卡尔曼滤波预测结果与当前检测结果之间的马氏距离作为运行信息的关联依据，表示为：

其中D^Ι(i,j)表示当前第j个检测结果和第i条轨迹预测结果之间的运动匹配度；d_j表示第j个检测框的位置，y_i表示第i个追踪器对目标的预测位置；s_i是由卡尔曼滤波预测得到的在当前时刻观测空间的协方差矩阵；

如果某次关联的马氏距离小于指定的阈值m，则视为运动信息关联成功，继续进行后续表观信息关联，否则终止当前的关联；

步骤4.2，表观信息的关联；

对当前目标检测算法的每个检测结果提取一个表观特征向量v_j，并进行归一化使||v_j||＝1，每一个跟踪器存储一个特征集R_i，包含有该跟踪器最近n帧的特征向量，计算第i个跟踪器特征集与当前帧第j个检测结果的特征向量间的最小余弦距离；计算公式为：其中D^ΙΙ(i,j)表示第j个检测结果和第i个跟踪轨迹之间的表观匹配度，表示第i个跟踪器第k帧的特征向量；

步骤4.3，数据融合；

使用运动匹配度和表观匹配度两种度量方式的线性加权作为最终的度量，

C(i,j)＝θD^Ι(i,j)+(1-θ)D^ΙΙ(i,j)

根据设定的阈值T，将匹配度C(i,j)小于阈值的行人检测结果j加入到已有跟踪轨迹i中。

6.根据权利要求5所述的抗姿态变化的行人检测跟踪方法，其特征在于：所述步骤5中跟踪轨迹筛选具体包括：

设置最大间隔阈值A，用于旧轨迹的移除，对每个跟踪的目标记录上一次跟踪与当前匹配间隔的帧数a，如果a＞A，则认为该目标已经消失，因此移除该目标的轨迹；设置最小间隔阈值B决定新轨迹的创建，如果当前检测结果中的目标始终无法与已经存在的跟踪器进行数据关联，那么可能出现新的目标，记潜在轨迹连续关联帧数为b，如果b＞B，则创建新轨迹。