CN109859238B - 一种基于多特征最优关联的在线多目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于多特征最优关联的在线多目标跟踪方法。该方法包括实时检测视频流中的每一帧图像，提取图像中的多目标信息，通过CNN网络提取目标的表观特征，通过深度网络栈提取目标的深度特征，通过卡尔曼滤波跟踪器预测目标的运动特征，然后基于以上多特征模型的构建求检测序列集合与跟踪序列集合的相似度，再通过分层策略构建关联矩阵，并进行最优关联矩阵求解与更新，实现多目标的跟踪。该方法有效提高了相对运动情况下的多目标跟踪准确度与精度。

Description

一种基于多特征最优关联的在线多目标跟踪方法

技术领域

本发明涉及计算机视觉和图形学领域，尤其涉及一种基于多特征最优关联的在线多目标跟踪方法。

背景技术

在线多目标跟踪技术因在视觉监控、人机交互、自动驾驶等方面的深入应用具有显著学术与商业价值。

当前基于目标检测的在线多目标跟踪方法大多应用了卡尔曼滤波、粒子滤波或者马尔科夫决策过程，同时增添颜色或梯度方向直方图的外观模型及交互模型，辅助进行联合概率或多假设的关联。尽管如今已经有多种方法来处理该问题，但在复杂场景下，例如摄像头相对运动、目标重叠遮挡、外观巨变等问题，仍然面临许多问题挑战。因此为了更大程度的提升多目标跟踪的准确度和多目标跟踪的精确度，需要一种高精度且具有清晰理论支撑的在线多目标跟踪方法。

发明内容

本发明主要解决的技术问题是提供一种基于多特征最优关联的在线多目标跟踪方法，解决现有技术中的提升多目标跟踪准确度和精确度的问题。

为解决上述技术问题，本发明采用的一个技术方案是提供一种基于多特征最优关联的在线多目标跟踪方法，包括以下步骤：第一步，检测视频流中帧图像的多目标信息，实时检测视频流中的每一帧图像，获取当前帧图像中所含的多个目标对应的检测序列集合，以及前一帧图像中所含的多个目标对应的跟踪序列集合；第二步，构建目标特征模型并求解相似度，对所述检测序列集合中的每个检测目标子集提取检测特征值，对所述跟踪序列集合中的每个跟踪目标子集提取跟踪特征值，然后求解所述检测特征值和跟踪特征值的特征相似度；第三步，求解相连帧图像的匹配关联度并连续跟踪，基于所述特征相似度，构建关联矩阵并进行关联匹配优化，更新所述跟踪序列集合，重复上述步骤，实现多目标连续跟踪。

在本发明基于多特征最优关联的在线多目标跟踪方法另一实施例中，在所述第一步中，所述检测序列集合为D＝{q₁,q₂,q₃,...,q_j,...,q_N-1,q_N}，其中包含的任一检测目标子集q_j＝{c_j,x_j,y_j,w_j,h_j}，c_j为置信度，(x_j,y_j)为中心坐标，w_j为宽度，h_j为高度，N为检测目标子集的数量；

所述跟踪序列集合为T＝{r₁,r₂,r₃,...r_i...,r_M-1,r_M}，其中包含的任一跟踪目标子集

id_i为目标识别号，c_i为置信度，(x_i,y_i)为中心坐标，w_i为宽度，h_i为高度，Δw_i为宽度变化量，Δh_i为高度变化量，M为跟踪目标子集的数量。

在本发明基于多特征最优关联的在线多目标跟踪方法另一实施例中，在所述第二步中，对每个检测目标子集提取检测特征值包括对所述检测目标子集q_j＝{c_j,x_j,y_j,w_j,h_j}提取对应的检测表观特征向量B_j，对每个跟踪目标子集提取跟踪特征值包括对所述跟踪目标子集

提取对应的跟踪表观特征向量A_i，计算所述检测表观特征向量B_j和所述跟踪表观特征向量A_i的特征相似度

且满足：

其中，p表示对每一帧图像被分割为多个组成图的个数，η_(1，p)为设定的表观阈值门限，当计算的特征相似度

值小于表观阈值门限η_(1，p)则表明是相似度低的配对而被筛选掉。

在本发明基于多特征最优关联的在线多目标跟踪方法另一实施例中，每一帧图像被平均分割为上、中、下3个组成图，即p的取值包括1、2和3，并且所述检测表观特征向量B_j和所述跟踪表观特征向量A_i均为128维向量，即N＝128，M＝128，则有：

并对3个组成图赋予相似度不同的权重，对应为μ₁、μ₂、1-μ₁-μ₂，进一步计算获取所述检测序列集合与所述跟踪序列集合之间配对子集的表观特征相似度为：

在本发明基于多特征最优关联的在线多目标跟踪方法另一实施例中，在所述第二步中，对每个检测目标子集提取检测特征值包括对所述检测目标子集q_j＝{c_j,x_j,y_j,w_j,h_j}提取对应的检测深度特征值f_d,j，对每个跟踪目标子集提取跟踪特征值包括对所述跟踪目标子集

提取对应的跟踪深度特征值f_d,i，计算所述检测深度特征值f_d,j和所述跟踪深度特征值f_d,i的深度特征值差Δf_d(i,j)：

进一步设定深度阈值门限η₂，再通过归一化求解所述检测序列集合与所述跟踪序列集合之间配对子集的深度特征相似度为：

在本发明基于多特征最优关联的在线多目标跟踪方法另一实施例中，在所述第二步中，对所述跟踪序列集合中的每个跟踪目标子集提取跟踪特征值包括：

对所述跟踪序列集合T＝{r₁,r₂,r₃,...r_i...,r_M-1,r_M}对应的每一个跟踪目标子集

分配一个卡尔曼滤波追踪器，求解出跟踪目标子集r_i下一帧对应的预测子集

其中，(x_i′,y_i′)为预测坐标，w_i′为预测宽度，h_i′为预测高度；

然后，根据所述预测子集r_i'的坐标、高度和宽度信息，以及所述检测序列集合D中的检测目标子集q_j对应的坐标、高度和宽度信息，计算所述预测子集r_i'的包围框与所述检测目标子集q_j的包围框之间重叠率

其中，S_ri表示所述预测子集r_i'的包围框的面积，S_qj表示所述检测目标子集q_j的包围框的面积，S_rq表示所述预测子集r_i'的包围框与所述检测目标子集q_j的包围框之间重叠的面积；

对所述检测序列集合中的每个检测目标子集提取检测特征值包括：根据所述跟踪目标子集

的坐标、高度和宽度信息，以及所述检测目标子集q_j＝{c_j,x_j,y_j,w_j,h_j}对应的坐标、高度和宽度信息，求取所述检测目标子集q_j的速度向量

宽度变化量Δw_j，高度变换量Δh_j，然后通求取所述跟踪目标子集r_i和所述检测目标子集q_j的运动向量相似度

求解所述检测特征值和跟踪特征值的特征相似度包括：计算所述子集所述跟踪目标子集r_i与所述检测目标子集q_j的运动特征相似度

其中，λ表示重叠率

所占权重。

在本发明基于多特征最优关联的在线多目标跟踪方法另一实施例中，所述求解所述检测特征值和跟踪特征值的特征相似度还进一步包括计算相似度S_(i,j)：

其中，

表示表观特征相似度

所占权重，

表示深度特征相似度

所占权重。

在本发明基于多特征最优关联的在线多目标跟踪方法另一实施例中，所述构建关联矩阵并进行关联匹配优化包括：步骤1，构建集合，将所述跟踪序列集合T分级为多级集合T_a，还构建关联集合M，未关联集合U_a，其中，跟踪值a初始值为1，最大限度为Amax，初始化集合M、U₁均为空；步骤2，集合匹配，求解所述检测序列集合D与第一级跟踪序列集合T₁的特征相似度S(i,j)，当所述相似度S(i,j)值达到设定门限时认为是匹配关联，再构建第一级跟踪序列集合T₁与所述检测序列集合D的关联矩阵P(1,1)_(i,j)；步骤3，矩阵优化，将所述关联矩阵P(1,1)_(i,j)二值化为矩阵P(1,2)_(i,j)，运用Hungary匹配算法求解最大匹配值L1，再基于所述关联矩阵P(1,1)_(i,j)和最大匹配值L1，运用KM算法求解所述关联矩阵P(1,1)_(i,j)在最大匹配值为L1对应的最大权重匹配矩阵P(1,3)_(i,j)，二值化为矩阵P(1,4)_(i,j)，由此获得第一级跟踪序列集合T₁与所述检测序列集合D的关联子集对；步骤4，关联处理，对于所述关联子集对包含的r_i'和q_j'，对应更新r_i'＝{id,q_j'}，T₁更新为T₁-r_i'，所述检测序列集合D更新为D-q_j'，所述关联集合M更新为M∪r_i'；对于所述关联子集对没有包含的r_i”，通过卡尔曼滤波追踪器更新

U₂更新为U₁∪r_i”；步骤5，循环处理，将T₂赋值为U₂，并且所述检测序列集合D更新为D-q_j'，返回步骤2，求解更新后的检测序列集合D与第二级跟踪序列集合T₂的特征相似度S(i,j)，并重复以上步骤，直至a＝A_max或者所述检测序列集合D更新为空。

本发明的有益效果是：本发明公开了一种基于多特征最优关联的在线多目标跟踪方法。该方法包括实时检测视频流中的每一帧图像，提取图像中的多目标信息，通过CNN网络提取目标的表观特征，通过深度网络栈提取目标的深度特征，通过卡尔曼滤波跟踪器预测目标的运动特征，然后基于以上多特征模型的构建求检测序列集合与跟踪序列集合的相似度，再通过分层策略构建关联矩阵，并进行最优关联矩阵求解与更新，实现多目标的跟踪。该方法有效提高了相对运动情况下的多目标跟踪准确度与精度。

附图说明

图1是根据本发明基于多特征最优关联的在线多目标跟踪方法一实施例的流程图；

图2是根据本发明基于多特征最优关联的在线多目标跟踪方法另一实施例中的表观特征值提取示意图；

图3是根据本发明基于多特征最优关联的在线多目标跟踪方法另一实施例中的深度特征值提取示意图；

图4是根据本发明基于多特征最优关联的在线多目标跟踪方法另一实施例中的矩阵关联及优化过程示意图。

具体实施方式

为了便于理解本发明，下面结合附图和具体实施例，对本发明进行更详细的说明。附图中给出了本发明的较佳的实施例。但是，本发明可以以许多不同的形式来实现，并不限于本说明书所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。

需要说明的是，除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。

图1显示了本发明基于多特征最优关联的在线多目标跟踪方法一实施例的流程图。在图1中，包括以下步骤：

第一步S101，检测视频流中帧图像的多目标信息，实时检测视频流中的每一帧图像，获取当前帧图像中所含的多个目标对应的检测序列集合，以及前一帧图像中所含的多个目标对应的跟踪序列集合；

第二步S102，构建目标特征模型并求解相似度，对所述检测序列集合中的每个检测目标子集提取检测特征值，对所述跟踪序列集合中的每个跟踪目标子集提取跟踪特征值，然后求解所述检测特征值和跟踪特征值的特征相似度；

第三步S103，求解相连帧图像的匹配关联度并连续跟踪，基于所述特征相似度，构建关联矩阵并进行关联匹配优化，更新所述跟踪序列集合，重复上述步骤，实现多目标连续跟踪。

优选的，在上述第一步S101中，所述检测序列集合为D＝{q₁,q₂,q₃,...,q_j,...,q_N-1,q_N}，其中包含的任一检测目标子集q_j＝{c_j,x_j,y_j,w_j,h_j}，c_j为置信度，(x_j,y_j)为中心坐标，w_j为宽度，h_j为高度，N为检测目标子集的数量；

所述跟踪序列集合为T＝{r₁,r₂,r₃,...r_i...,r_M-1,r_M}，其中包含的任一跟踪目标子集

id_i为目标识别号，c_i为置信度，(x_i,y_i)为中心坐标，w_i为宽度，h_i为高度，Δw_i为宽度变化量，Δh_i为高度变化量，M为跟踪目标子集的数量。这里，N和M并不一定相等，这就表明当前帧图像中的多个目标与前一帧图像中的多个目标并不一定相等，有可能在当前帧图像中增加或减少了目标。当然，优选的，N＝M，则表明当前帧图像中的多个目标与前一帧图像中的多个目标数量相同。

优选的，在第一步S101中，通过应用检测器YOLOv3获取实时视频流每帧图片中的目标序列集合。关于目标检测器YOLOv3的模型训练，根据特定目标进行：例如行人多目标跟踪，我们可以使用Pets,TownCentre等数据集，或应用Lableme工具整理特定环境下行人数据集进行数据增广组成新的目标训练集；多类别可以采用Pascal_Voc等数据集训练，分类后进行对应类Classid的类内跟踪。

优选的，在所述第二步S102中，对每个检测目标子集提取检测特征值包括对所述检测目标子集q_j＝{c_j,x_j,y_j,w_j,h_j}提取对应的检测表观特征向量B_j，对每个跟踪目标子集提取跟踪特征值包括对所述跟踪目标子集

提取对应的跟踪表观特征向量A_i，计算所述检测表观特征向量B_j和所述跟踪表观特征向量A_i的特征相似度

且满足：

其中，p表示对每一帧图像被分割为多个组成图的个数，η_(1，p)为设定的表观阈值门限，当计算的特征相似度

值小于表观阈值门限η_(1，p)则表明是相似度低的配对而被筛选掉。

可以看出，通过上述方法主要是对每一帧图像进行分割的方法划分为多个组成的图块，然后再进行相似度的计算。

优选的，如图2所示，通过目标检测器获取的每帧图像目标，将每帧图像的各目标图像平均分为上中下部分，作为CNN网络(2个卷积层，2个池化层、1个全连接层)的输入，利用目标结构的轮廓与对称性,在预先定义的网格以及精细的局部区域提取颜色和纹理信息即提取目标的表观特征值f_a,j，用3个128维向量表示。因此，每一帧图像被平均分割为上、中、下3个组成图，即p的取值包括1、2和3，并且所述检测表观特征向量B_j和所述跟踪表观特征向量A_i均为128维向量，即N＝128，M＝128，则有：

利用该计算式对应图2中的计算检测表观特征向量B_j和所述跟踪表观特征向量A_i的余弦度量，三个部分的相似度可通过数据集测试分别进行阈值η_(1，p)的设定，筛选掉相似性较差的配对；并对3个组成图赋予相似度不同的权重，对应为μ₁、μ₂、1-μ₁-μ₂，进一步计算获取所述检测序列集合与所述跟踪序列集合之间配对子集的表观特征相似度为：

进一步的，如图3所示，我们使用神经网络对场景深度进行递归操作来估计实时视频流中每帧图片的深度信息，即将实时视频流每帧图片输入深度预测网络中，获取对应图片的场景深度。其中，包括粗尺度预测网络和细尺度预测网络两部分，首先应用一个粗尺度预测网络通过场景的全局视角来预测整体深度图结构，然后应用一个细尺度预测网络提取图片局部信息在全局深度图的基础上进行局部优化改进，即场景内局部区域进行全细化的深度预测，从而获取图片对应的深度图像(Depth map)。两个预测网络均单独输入原始图像，但是在细尺度预测网络的输入，还需要结合了粗尺度预测网络的输出特征，这样局部细尺度预测网络能对全局进行预测，优化局部细节。

其中，在粗尺度预测网络中包含5个特征提取层,即C1至C5层，用于融合输入图像中不同区域的信息，之后用两个全连接层，即C6和C7层，进行整合全图野，粗尺度预测网络的输出是输入原图像素的1/4尺寸。其中，在C1层进行卷积和池化处理，包含96个特征图层，为输入原图像素的1/8尺寸；在C2层也进行卷积和池化处理，包含256个特征图层，为输入原图像素的1/16尺寸；在C3层进行卷积处理，包含384个特征图层，为输入原图像素的1/16尺寸；在C4层进行卷积处理，包含384个特征图层，为输入原图像素的1/16尺寸；在C5层进行卷积处理，包含256个特征图层，为输入原图像素的1/32尺寸；在C6层包含4096个特征图层；C7层包含4096个特征图层，为输入原图像素的1/4尺寸，C7层得到粗糙的整体深度层。在F1层进行卷积和池化处理，在F1层提取边缘信息时使用池化处理，其每个输出像素的感受野是45*45的输入像素，其输出是输入图像像素的1/4尺寸，包含63个特征图层；在F2层进行汇聚连接，把来自F1层的63个特征图层和来自C7层的1个特征图层汇聚为64个特征图层，也即是粗尺度预测网络输出被作为额外的低级特征图输入细尺度预测网络，其输出结果被设计成具有和第一个精细网络层，即F1层相同的空间大小--原图1/4尺寸；在F3层进行卷积处理，包含64个特征图层，为输入原图像素的1/4尺寸。进一步基于目标检测器结果，获取图片的场景深度上对应目标的深度信息(类似于图像灰度值)，输出时依据各个目标宽高(w,h)等比例求取其目标中心点周边

的深度特征值f_d，目的是为了去除目标包围框的背景深度信息。

因此，进一步优选的，在所述第二步S102中，对每个检测目标子集提取检测特征值包括对所述检测目标子集q_j＝{c_j,x_j,y_j,w_j,h_j}提取对应的检测深度特征值f_d,j，对每个跟踪目标子集提取跟踪特征值包括对所述跟踪目标子集

提取对应的跟踪深度特征值f_d,i，计算所述检测深度特征值f_d,j和所述跟踪深度特征值f_d,i的深度特征值差Δf_d(i,j)：

进一步设定深度阈值门限η₂，再通过归一化求解所述检测序列集合与所述跟踪序列集合之间配对子集的深度特征相似度为：

进一步优选的，在所述第二步S102中，对所述跟踪序列集合中的每个跟踪目标子集提取跟踪特征值包括：

对所述跟踪序列集合T＝{r₁,r₂,r₃,...r_i...,r_M-1,r_M}对应的每一个跟踪目标子集

分配一个卡尔曼滤波追踪器，求解出跟踪目标子集r_i下一帧对应的预测子集

其中，(x′_i,y′_i)为预测坐标，w′_i为预测宽度，h′_i为预测高度；然后，根据所述预测子集r_i'的坐标、高度和宽度信息，以及所述检测序列集合D中的检测目标子集q_j对应的坐标、高度和宽度信息，计算所述预测子集r_i'的包围框与所述检测目标子集q_j的包围框之间重叠率

其中，S_ri表示所述预测子集r_i'的包围框的面积，S_qj表示所述检测目标子集q_j的包围框的面积，S_rq表示所述预测子集r_i'的包围框与所述检测目标子集q_j的包围框之间重叠的面积；对所述检测序列集合中的每个检测目标子集提取检测特征值包括：根据所述跟踪目标子集

的坐标、高度和宽度信息，以及所述检测目标子集q_j＝{c_j,x_j,y_j,w_j,h_j}对应的坐标、高度和宽度信息，求取所述检测目标子集q_j的速度向量

宽度变化量Δw_j，高度变换量Δh_j，然后通求取所述跟踪目标子集r_i和所述检测目标子集q_j的运动向量相似度

求解所述检测特征值和跟踪特征值的特征相似度包括：计算所述子集所述跟踪目标子集r_i与所述检测目标子集q_j的运动特征相似度

其中，λ表示重叠率

所占权重。

以上分别给出了基于表观特征相似度

深度特征相似度

运动特征相似度

来分别计算当前帧图像与前一帧图像的相似度。也可以进行结合使用，因此，优选的，所述求解所述检测特征值和跟踪特征值的特征相似度还进一步包括计算相似度S_(i,j)：

其中，

表示表观特征相似度

所占权重，

表示深度特征相似度

所占权重。

进一步的，为优先考虑最频繁或最新出现的跟踪目标，次考虑卡尔曼滤波跟踪器获取的因遮挡、漏检等无法检测或出视野状况的跟踪目标，所以我们在进行关联匹配的时，采取分层级匹配方法。主要方法是：基于上述多特征模型求解的跟踪序列集合T与检测序列集合D各子集相似度S(i,j)，通过测试进行阈值η的设定，所以当两个子集r_i,q_j相似度达到η时，认可二者的关联，从而构建跟踪序列集合T与检测序列集合D的关联矩阵P(a,1)。在进一步对关联矩阵求解过程中，本发明利用匈牙利算法与KM算法相结合的优化匹配算法，我们首先将关联矩阵P(a,1)二值化为P(a,2)，然后采用匈牙利算法求取二分图最大匹配值La，再基于关联矩阵P(a,1)采用KM算法求取La值下的最大权值匹配,即最优关联矩阵P(a,3)，再二值化为矩阵P(a,4)，最后进行跟踪序列集合T的更新，实现多目标的跟踪。

基于上述构思，进一步的，所述构建关联矩阵构建关联矩阵并进行关联匹配优化包括：

步骤1，构建集合，将所述跟踪序列集合T分级为多级集合T_a，还构建关联集合M，未关联集合U_a，其中，跟踪值a初始值为1，最大限度为Amax，初始化集合M、U₁均为空；

步骤2，集合匹配，求解所述检测序列集合D与第一级跟踪序列集合T₁的特征相似度S(i,j)，当所述相似度S(i,j)值达到设定门限时认为是匹配关联，再构建第一级跟踪序列集合T₁与所述检测序列集合D的关联矩阵P(1,1)_(i,j)；

步骤3，矩阵优化，将所述关联矩阵P(1,1)_(i,j)二值化为矩阵P(1,2)_(i,j)，运用Hungary匹配算法求解最大匹配值L1，再基于所述关联矩阵P(1,1)_(i,j)和最大匹配值L1，运用KM算法求解所述关联矩阵P(1,1)_(i,j)在最大匹配值为L1对应的最大权重匹配矩阵P(1,3)_(i,j)，二值化为矩阵P(1,4)_(i,j)，由此获得第一级跟踪序列集合T₁与所述检测序列集合D的关联子集对；

例如：

步骤4，关联处理，对于所述关联子集对包含的r_i'和q_j'，对应更新r_i'＝{id,q_j'}，T₁更新为T₁-r_i'，所述检测序列集合D更新为D-q_j'，所述关联集合M更新为M＝M∪r_i'；对于所述关联子集对没有包含的r_i”，通过卡尔曼滤波追踪器更新

U₂更新为U₂＝U₁∪r_i”。

步骤5，循环处理，将T₂赋值为T₂＝U₂，并且所述检测序列集合D更新为D＝D-q_j'，返回步骤2，求解更新后的检测序列集合D与第二级跟踪序列集合T₂的特征相似度S(i,j)，并重复以上步骤，直至a＝A_max或者所述检测序列集合D更新为空。

由此可见，本发明基于多特征最优关联的在线多目标跟踪方法包括实时检测视频流中的每一帧图像，提取图像中的多目标信息，通过CNN网络提取目标的表观特征，通过深度网络栈提取目标的深度特征，通过卡尔曼滤波跟踪器预测目标的运动特征，然后基于以上多特征模型的构建求检测序列集合与跟踪序列集合的相似度，再通过分层策略构建关联矩阵，并进行最优关联矩阵求解与更新，实现多目标的跟踪。该方法有效提高了相对运动情况下的多目标跟踪准确度与精度。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (5)

1.一种基于多特征最优关联的在线多目标跟踪方法，其特征在于，包括以下步骤：

第一步，检测视频流中帧图像的多目标信息，实时检测视频流中的每一帧图像，获取当前帧图像中所含的多个目标对应的检测序列集合，以及前一帧图像中所含的多个目标对应的跟踪序列集合；

第二步，构建目标特征模型并求解相似度，对所述检测序列集合中的每个检测目标子集提取检测特征值，对所述跟踪序列集合中的每个跟踪目标子集提取跟踪特征值，然后求解所述检测特征值和跟踪特征值的特征相似度；

第三步，求解相连帧图像的匹配关联度并连续跟踪，基于所述特征相似度，构建关联矩阵并进行关联匹配优化，更新所述跟踪序列集合，重复上述步骤，实现多目标连续跟踪；

在所述第一步中，所述检测序列集合为：D＝{q₁,q₂,q₃,...,q_j,...,q_N-1,q_N}，其中包含的任一检测目标子集q_j＝{c_j,x_j,y_j,w_j,h_j}，c_j为置信度，(x_j,y_j)为中心坐标，w_j为宽度，h_j为高度，N为检测目标子集的数量；

所述跟踪序列集合为T＝{r₁,r₂,r₃,...r_i...,r_M-1,r_M}，其中包含的任一跟踪目标子集

id_i为目标识别号，c_i为置信度，(x_i,y_i)为中心坐标，w_i为宽度，h_i为高度，Δw_i为宽度变化量，Δh_i为高度变化量，M为跟踪目标子集的数量,

为跟踪目标子集r_i的速度向量；

在所述第二步中，对每个检测目标子集提取检测特征值包括对所述检测目标子集q_j＝{c_j,x_j,y_j,w_j,h_j}提取对应的检测表观特征向量B_j，对每个跟踪目标子集提取跟踪特征值包括对所述跟踪目标子集

提取对应的跟踪表观特征向量A_i，计算所述检测表观特征向量B_j和所述跟踪表观特征向量A_i的特征相似度

且满足：

其中，p表示对每一帧图像被分割为多个组成图的个数，η_(1，p)为设定的表观阈值门限，当计算的特征相似度

值小于表观阈值门限η_(1，p)则表明是相似度低的配对而被筛选掉。

2.根据权利要求1所述的基于多特征最优关联的在线多目标跟踪方法，其特征在于，每一帧图像被平均分割为上、中、下3个组成图，即p的取值包括1、2和3，并且所述检测表观特征向量B_j和所述跟踪表观特征向量A_i均为128维向量，即N＝128，M＝128，则有：

并对3个组成图赋予相似度不同的权重，对应为μ₁、μ₂、1-μ₁-μ₂，进一步计算获取所述检测序列集合与所述跟踪序列集合之间配对子集的表观特征相似度为：

3.根据权利要求2所述的基于多特征最优关联的在线多目标跟踪方法，其特征在于，在所述第二步中，对每个检测目标子集提取检测特征值包括对所述检测目标子集q_j＝{c_j,x_j,y_j,w_j,h_j}提取对应的检测深度特征值f_d,j，对每个跟踪目标子集提取跟踪特征值包括对所述跟踪目标子集

提取对应的跟踪深度特征值f_d,i，计算所述检测深度特征值f_d,j和所述跟踪深度特征值f_d,i的深度特征值差Δf_d(i,j)：

进一步设定深度阈值门限η₂，再通过归一化求解所述检测序列集合与所述跟踪序列集合之间配对子集的深度特征相似度为：

4.根据权利要求3所述的基于多特征最优关联的在线多目标跟踪方法，其特征在于，在所述第二步中，对所述跟踪序列集合中的每个跟踪目标子集提取跟踪特征值包括：

对所述跟踪序列集合T＝{r₁,r₂,r₃,...r_i...,r_M-1,r_M}对应的每一个跟踪目标子集

分配一个卡尔曼滤波追踪器，求解出跟踪目标子集r_i下一帧对应的预测子集

其中，(x′_i,y′_i)为预测坐标，w′_i为预测宽度，h′_i为预测高度；

然后，根据所述预测子集r_i'的坐标、高度和宽度信息，以及所述检测序列集合D中的检测目标子集q_j对应的坐标、高度和宽度信息，计算所述预测子集r_i'的包围框与所述检测目标子集q_j的包围框之间重叠率

其中，S_ri表示所述预测子集r_i'的包围框的面积，S_qj表示所述检测目标子集q_j的包围框的面积，S_rq表示所述预测子集r_i'的包围框与所述检测目标子集q_j的包围框之间重叠的面积；

对所述检测序列集合中的每个检测目标子集提取检测特征值包括：根据所述跟踪目标子集

的坐标、高度和宽度信息，以及所述检测目标子集q_j＝{c_j,x_j,y_j,w_j,h_j}对应的坐标、高度和宽度信息，求取所述检测目标子集q_j的速度向量

宽度变化量Δw_j，高度变换量Δh_j，然后求取所述跟踪目标子集r_i和所述检测目标子集q_j的运动向量相似度

求解所述检测特征值和跟踪特征值的特征相似度包括：计算所述跟踪目标子集r_i与所述检测目标子集q_j的运动特征相似度

其中，λ表示重叠率

所占权重。

5.根据权利要求4所述的基于多特征最优关联的在线多目标跟踪方法，其特征在于，所述求解所述检测特征值和跟踪特征值的特征相似度还进一步包括计算相似度S_(i,j)：

其中，

表示表观特征相似度

所占权重，

表示深度特征相似度

所占权重。

Images