CN112084914B - 一种融合空间运动和表观特征学习的多目标跟踪方法 - Google Patents

Abstract

本发明公开了一种融合空间运动和表观特征学习的多目标跟踪方法，该方法具体为：利用yolo5方法实现图像中目标的检测；建立匀速状态模型和线性观测模型，采用kalman滤波对检测的目标进行预测；利用CNN方法实现检测出目标的特征描述向量；采用融合空间运动信息和表观特征信息的目标相似性度量方法度量当前帧检测目标与历史帧检测目标；根据最小相似度进行当前帧目标与历史帧目标的匹配；对匹配结果的跟踪器进行管理，提高了跟踪器的置信度。本发明通过学习物体的空间运动信息和表观特征信息进行历史帧和当前帧目标的匹配，可以有效解决长期遮挡时目标丢失的情况；通过对跟踪器进行管理，可以有效的控制身份ID的无限增长。

Description

一种融合空间运动和表观特征学习的多目标跟踪方法

技术领域

本发明涉及一种融合空间运动和表观特征学习的多目标跟踪方法，属于目标跟踪技术领域。

背景技术

近年来，基于检测的多目标跟踪方法渐渐成为主流，因其更加的实时高效。比较经典的是Alex Bewley提出的基于交并集的多目标跟踪方法以及简单实时的多目标跟踪方法(Simple Online and Realtime Tracking，SORT)。

一般SORT方法的具体步骤如下：1、通过kalman滤波方法用上一帧目标的位置预测当前帧目标的位置；2、通过快速区域卷积神经网络(Towards Real-Time ObjectDetection with Region Proposal Networks，Faster R-CNN)网络训练模型，检测当前帧的目标位置；3、计算当前帧中目标的预测位置与检测位置的交并比；4、通过匈牙利算法，关联匹配目标的预测位置和检测位置以期获得最大的交并比；并给每个目标分配身份标识。

现有方法通过先检测出目标；再预测出目标；计算检测目标与预测目标的交并集；匹配检测目标与预测目标。虽然现有方法整体来说能产生很好的跟踪效果，但是没有考虑长期遮挡的情况，也没有考虑身份标识管理的策略，导致产生过多的身份ID，以及长期遮挡是目标丢失情况。

发明内容

本发明所要解决的技术问题是：提供一种融合空间运动和表观特征学习的多目标跟踪方法，通过学习物体的空间运动信息和表观特征信息进行历史帧和当前帧目标的匹配，可以有效解决长期遮挡时目标丢失的情况；同时通过对跟踪器进行管理，可以有效的控制身份ID的无限增长。

本发明为解决上述技术问题采用以下技术方案：

一种融合空间运动和表观特征学习的多目标跟踪方法，包括如下步骤：

步骤1，利用yolo5方法对当前帧上的目标物体进行检测，获取各目标物体在当前帧中的位置；

步骤2，采用卡尔曼滤波方法预测当前帧上各目标物体的位置，得到各目标物体的预测位置，对于每个目标物体，利用预测位置校正步骤1获取的位置，得到最终位置；

步骤3，利用卷积神经网络方法通过最终位置获取各目标物体的特征描述向量；

步骤4，对于当前帧上的第j个目标物体，采用融合空间信息和表观信息的目标相似性度量方法，计算其与当前帧的历史帧中已匹配跟踪器的各目标物体的相似度；

当前帧上的第j个目标物体与当前帧的历史帧中已匹配跟踪器的第i个目标物体的相似度d为：

d＝w1*d1+w2*(1-d2)

其中，w1、w2均为权重参数，d1表示当前帧上的第j个目标物体的特征描述向量与当前帧的历史帧中已存在的标识为i的跟踪器所对应的目标物体的特征描述向量之间的最小相似距离，d2表示交集与并集的比值，其中，交集为当前帧上的第j个目标物体的目标框与当前已存在的标识为i的跟踪器所在的最近历史帧中目标框的交集，并集为当前帧上的第j个目标物体的目标框与当前已存在的标识为i的跟踪器所在的最近历史帧中目标框的并集；

步骤5，将相似度作为二维数组的元素，二维数组的行代表已存在的跟踪器，列代表当前帧的目标物体，设置阈值t，判断二维数组中的各元素与阈值的大小，并据此为当前帧上的各目标物体匹配跟踪器；

步骤6，对于当前帧上未匹配到跟踪器的目标物体，为其创建新的跟踪器，并将新的跟踪器的状态记为临时状态；若该新的跟踪器在当前帧接下来的3帧中均能匹配到目标物体，则将该新的跟踪器的状态记为保留状态，即保留该新的跟踪器，否则将该新的跟踪器的状态记为删除状态，即删除该新的跟踪器。

作为本发明的一种优选方案，步骤2所述采用卡尔曼滤波方法预测当前帧上各目标物体的位置，得到各目标物体的预测位置，具体为：

对于某个目标物体，从当前帧的历史帧中选择跟踪到该目标物体的那些帧，并从中选取离当前帧最近的那一帧，根据该目标物体在离当前帧最近的那一帧的位置预测该目标物体在当前帧的位置，得到该目标物体的预测位置。

作为本发明的一种优选方案，步骤4所述当前帧上的第j个目标物体的特征描述向量与当前帧的历史帧中已存在的标识为i的跟踪器所对应的目标物体的特征描述向量之间的最小相似距离d1的计算公式如下：

其中，d1表示最小相似距离，r_j表示当前帧上第j个目标物体的特征描述向量，上标^T表示转置，表示当前帧的第k个历史帧中已存在的标识为i的跟踪器所对应的目标物体的特征描述向量，R表示历史帧的集合。

作为本发明的一种优选方案，步骤4所述当前帧的历史帧具体指的是当前帧的前1帧至当前帧的前100帧。

作为本发明的一种优选方案，步骤4所述权重w1＝0.7。

作为本发明的一种优选方案，步骤4所述当前帧的最近历史帧以及权重w2的选择规则如下：

若匹配第i个目标物体的跟踪器的状态为保留状态，则当前帧的最近历史帧即为当前帧的前1帧，权重w2＝0.3；

若匹配第i个目标物体的跟踪器的状态为临时状态，则确定该跟踪器是从哪一帧开始出现的，若该跟踪器是从当前帧的前1帧出现，则当前帧的最近历史帧即为当前帧的前1帧，权重w2＝0.3；若该跟踪器是从当前帧的前2帧出现，则当前帧的最近历史帧即为当前帧的前2帧，权重w2＝0.2；该跟踪器是从当前帧的前3帧出现，则当前帧的最近历史帧即为当前帧的前3帧，权重w2＝0.1。

作为本发明的一种优选方案，所述步骤5的具体过程如下：

步骤51，找出二维数组中所有元素的最小元素，判断最小元素是否小于阈值t，若小于阈值t，则记录该最小元素在二维数组中的索引(i,j)，i,j分别表示该最小元素在二维数组中的行、列，为当前帧上的第j个目标物体匹配已存在的标识为i的跟踪器；否则匹配终止；

步骤52，将二维数组第i行第j列的元素删除，找出二维数组中剩余所有元素的最小元素，判断最小元素是否小于阈值t，若小于阈值t，则记录该最小元素在二维数组中的索引(i′,j′)，i′,j′分别表示该最小元素在二维数组中的行、列，为当前帧上的第j′个目标物体匹配已存在的标识为i′的跟踪器；否则匹配终止；

步骤53，重复步骤52，直至当前帧上的所有目标物体均匹配完成或者匹配终止。

作为本发明的一种优选方案，所述阈值t＝0.55。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1、本发明通过学习物体的空间运动信息和表观特征信息进行历史帧和当前帧目标的匹配，可以有效解决长期遮挡时目标丢失的情况。

2、本发明通过对跟踪器进行管理，可以有效的控制身份ID的无限增长。

3、本发明改进了匹配的策略，将检测目标分配给相似距离最小的跟踪器，提高了跟踪的精度。

附图说明

图1是本发明一种融合空间运动和表观特征学习的多目标跟踪方法的流程图。

图2是两个矩形的交集与并集。

图3是跟踪器与当前帧的示意图。

图4是检测目标与跟踪器的匹配过程。

图5是检测目标与跟踪器的匹配过程的实施例。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

如图1所示，为本发明一种融合空间运动和表观特征学习的多目标跟踪方法的流程图，步骤如下：

步骤1，利用yolo5方法实现图像中目标的检测；

步骤2，建立匀速状态模型和线性观测模型，采用kalman滤波对检测的目标进行预测；

步骤3，利用CNN方法实现检测出目标的特征描述向量；

步骤4，采用一种融合空间信息和表观信息的目标相似性度量方法度量当前帧检测目标与历史帧检测目标；

步骤5，根据最小相似度进行当前帧目标与历史帧目标的匹配；

步骤6，对匹配结果的跟踪器进行管理，提高了跟踪器的置信度。

具体步骤如下：

步骤1，采用现有的yolo5(You Only Look Once:Unified,Real-Time ObjectDetection)算法检测目标物体j，获取目标物体在图像中的位置；

步骤2，采用kalman滤波方法通过离当前帧最近的历史帧的目标位置预测当前帧的目标位置，并利用预测的位置去校正步骤1获取的位置；

采用标准卡尔曼公式：

目标状态采用匀速模型；

观测状态采用线性观测模型；

步骤3，采用现有的CNN算法获取256维的目标j的特征描述向量r_j；

步骤4，采用一种融合空间运动信息和表观特征信息的目标相似性度量方法度量相似度：

d＝w1*d1+w2*(1-d2)

其中，w1*d1表示表观信息相似性度量，d1表示最小相似距离，r_j表示当前帧上第j个目标物体的特征描述向量，上标^T表示转置，/>表示当前帧的第k个历史帧上已匹配跟踪器的第i个目标物体的特征描述向量，R表示历史帧的集合；

w2*(1-d2)表示空间信息相似性度量；

(如图2所示，两个矩形的交集与并集的比值)

w1和w2为权重参数，w1*d1为目标的表观信息相似性度量公式，值越小越相似；w2*(1-d2)为目标空间相似性度量，值越小越代表同一个目标；d的值越小越相似。

这里设w1＝0.7，w2的值为可变的权重参数；

当跟踪器的状态为“保留状态”时，采用最近历史帧的目标进行计算，此时最近历史帧为当前帧的前一帧，设w2＝0.3；

当跟踪器的状态为“临时状态”时，采用最近历史帧的目标进行计算：

如果最近历史帧为前一帧，设w2＝0.3；

如果最近历史帧为前两帧，设w2＝0.2；

如果最近历史帧为前三帧，设w2＝0.1。

图3是跟踪器与当前帧的示意图。跟踪器可以认为是物体的轨迹，包含历史帧中的目标信息(空间运动信息和表观特征信息)；上述跟踪器10距当前帧最近的历史帧是第四帧；跟踪器11距当前帧最近的历史帧是第三帧。

步骤5，检测目标与跟踪器的匹配

如图4所示，为检测目标与跟踪器的匹配过程，具体为：

将相似度作为二维数组的元素，二维数组的行代表历史帧中已匹配跟踪器的目标物体(即跟踪器的标识)，列代表当前帧的目标物体，设置阈值t，判断二维数组中的各元素与阈值的大小，并据此为当前帧上的各目标物体匹配跟踪器。

Step1.首先找出二维数组中最小元素，记录该元素的索引(i1,j1)；判断最小元素的值是否小于阈值t＝0.55，如果小于则为检测目标j1分配跟踪器i1的标识，并执行step2；如果不小于阈值t，则终止；

Step2.将二维数组i1行j1列上的元素丢弃，找出二维数组剩余的最小元素，判断最小元素的值是否小于阈值t＝0.55，如果为真，则记录该元素的索引(i2,j2)；再为此时的检测目标j2分配跟踪器i2的标识；如果不小于阈值t，则终止。

Step3.直到二维数组的所有行或者所有列元素全部丢弃，则匹配结束。

图5为检测目标与跟踪器的匹配过程的实施例。找出二维数组中最小元素x₂₃，若x₂₃小于阈值t，则为第3个检测目标匹配第2个跟踪器的标识；将二维数组的第2行第3列的元素丢弃，找出二维数组剩余的最小元素x₇₁，若x₇₁小于阈值t，则为第1个检测目标匹配第7个跟踪器的标识……。

步骤6，通过定义策略进行管理跟踪器；处理跟踪器什么时候创建，什么时候终止。

对于没有成功匹配到跟踪器的检测目标，认为需要创建新的跟踪器；记此时的跟踪器状态为“临时状态”；

观察接下来的3帧，如果连续匹配成功，则将此跟踪器的状态记为“保留状态”；

如果接下来的3帧，没有连续匹配成功，则将此跟踪器状态记为“删除状态”。

本发明方法能有效的解决长期遮挡中目标身份丢失的问题，以及解决目标身份标识的无限制增长问题，提高了跟踪的准确性。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (8)

1.一种融合空间运动和表观特征学习的多目标跟踪方法，其特征在于，包括如下步骤：

步骤1，利用yolov5方法对当前帧上的目标物体进行检测，获取各目标物体在当前帧中的位置；

步骤2，采用卡尔曼滤波方法预测当前帧上各目标物体的位置，得到各目标物体的预测位置，对于每个目标物体，利用预测位置校正步骤1获取的位置，得到最终位置；

步骤3，利用卷积神经网络方法通过最终位置获取各目标物体的特征描述向量；

步骤4，对于当前帧上的第j个目标物体，采用融合空间运动信息和表观特征信息的目标相似性度量方法，计算其与当前帧的历史帧中已匹配跟踪器的各目标物体的相似度；

当前帧上的第j个目标物体与当前帧的历史帧中已匹配跟踪器的第i个目标物体的相似度d为：

d＝w1*d1+w2*(1-d2)

其中，w1、w2均为权重参数，d1表示当前帧上的第j个目标物体的特征描述向量与当前帧的历史帧中已存在的标识为i的跟踪器所对应的目标物体的特征描述向量之间的最小相似距离，d2表示交集与并集的比值，其中，交集为当前帧上的第j个目标物体的目标框与当前已存在的标识为i的跟踪器所在的最近历史帧中目标框的交集，并集为当前帧上的第j个目标物体的目标框与当前已存在的标识为i的跟踪器所在的最近历史帧中目标框的并集；

步骤5，将相似度作为二维数组的元素，二维数组的行代表已存在的跟踪器，列代表当前帧的目标物体，设置阈值t，判断二维数组中的各元素与阈值的大小，并据此为当前帧上的各目标物体匹配跟踪器；

步骤6，对于当前帧上未匹配到跟踪器的目标物体，为其创建新的跟踪器，并将新的跟踪器的状态记为临时状态；若该新的跟踪器在当前帧接下来的3帧中均能匹配到目标物体，则将该新的跟踪器的状态记为保留状态，即保留该新的跟踪器，否则将该新的跟踪器的状态记为删除状态，即删除该新的跟踪器。

2.根据权利要求1所述融合空间运动和表观特征学习的多目标跟踪方法，其特征在于，步骤2所述采用卡尔曼滤波方法预测当前帧上各目标物体的位置，得到各目标物体的预测位置，具体为：

对于某个目标物体，从当前帧的历史帧中选择跟踪到该目标物体的那些帧，并从中选取离当前帧最近的那一帧，根据该目标物体在离当前帧最近的那一帧的位置预测该目标物体在当前帧的位置，得到该目标物体的预测位置。

3.根据权利要求1所述融合空间运动和表观特征学习的多目标跟踪方法，其特征在于，步骤4所述当前帧上的第j个目标物体的特征描述向量与当前帧的历史帧中已存在的标识为i的跟踪器所对应的目标物体的特征描述向量之间的最小相似距离d1的计算公式如下：

其中，d1表示最小相似距离，r_j表示当前帧上第j个目标物体的特征描述向量，上标^T表示转置，表示当前帧的第k个历史帧中已存在的标识为i的跟踪器所对应的目标物体的特征描述向量，R表示历史帧的集合。

4.根据权利要求1所述融合空间运动和表观特征学习的多目标跟踪方法，其特征在于，步骤4所述当前帧的历史帧具体指的是当前帧的前1帧至当前帧的前100帧。

5.根据权利要求1所述融合空间运动和表观特征学习的多目标跟踪方法，其特征在于，步骤4所述权重w1＝0.7。

6.根据权利要求1所述融合空间运动和表观特征学习的多目标跟踪方法，其特征在于，步骤4所述最近历史帧以及权重w2的选择规则如下：

若匹配第i个目标物体的跟踪器的状态为保留状态，则最近历史帧即为当前帧的前1帧，权重w2＝0.3；

若匹配第i个目标物体的跟踪器的状态为临时状态，则确定该跟踪器是从哪一帧开始出现的，若该跟踪器是从当前帧的前1帧出现，则最近历史帧即为当前帧的前1帧，权重w2＝0.3；若该跟踪器是从当前帧的前2帧出现，则最近历史帧即为当前帧的前2帧，权重w2＝0.2；该跟踪器是从当前帧的前3帧出现，则最近历史帧即为当前帧的前3帧，权重w2＝0.1。

7.根据权利要求1所述融合空间运动和表观特征学习的多目标跟踪方法，其特征在于，所述步骤5的具体过程如下：

步骤51，找出二维数组中所有元素的最小元素，判断最小元素是否小于阈值t，若小于阈值t，则记录该最小元素在二维数组中的索引(i,j)，i,j分别表示该最小元素在二维数组中的行、列，为当前帧上的第j个目标物体匹配已存在的标识为i的跟踪器；否则匹配终止；

步骤52，将二维数组第i行第j列的元素删除，找出二维数组中剩余所有元素的最小元素，判断最小元素是否小于阈值t，若小于阈值t，则记录该最小元素在二维数组中的索引(i′,j′)，i′,j′分别表示该最小元素在二维数组中的行、列，为当前帧上的第j′个目标物体匹配已存在的标识为i′的跟踪器；否则匹配终止；

步骤53，重复步骤52，直至当前帧上的所有目标物体均匹配完成或者匹配终止。

8.根据权利要求7所述融合空间运动和表观特征学习的多目标跟踪方法，其特征在于，所述阈值t＝0.55。