CN117409040B - 一种基于目标类别改进的多目标跟踪方法 - Google Patents

Abstract

本申请涉及图像数据处理技术领域，特别是涉及一种基于目标类别改进的多目标跟踪方法。该方法包括：获取视频vid中第i帧图像P_i对应的预测目标框集合A；获取vid中第i+1帧图像P_i+1对应的检测目标框集合B；获取IOU矩阵T；获取目标类别矩阵V，V为M×N的矩阵，V的第m行第n列的元素v_m,n为b_m与a_n的类别权值；利用V对T进行更新，得到更新后的目标IOU矩阵T’；根据T’获取损失矩阵L；根据L获取A和B中目标框的匹配结果。本发明在现有的SORT算法的基础上，通过对IOU矩阵进行更新的方式避免出现将两个不同类别的目标判定为同一目标的情况，无需额外增加跟踪器的数量，提高了对多类别目标的跟踪效率。

Description

一种基于目标类别改进的多目标跟踪方法

技术领域

本发明涉及图像数据处理技术领域，特别是涉及一种基于目标类别改进的多目标跟踪方法。

背景技术

多目标跟踪指在同一段影像序列中同时跟踪多个目标，现有技术中公开了多种多目标跟踪算法，例如SORT算法。当多目标跟踪的对象属于不同的类别时，为了避免将不同类别的目标判定为同一目标的情况，现有技术中的做法是使用多个跟踪器，每个跟踪器用于对同一类别的目标进行跟踪。现有技术中的该做法使用了多个跟踪器，存在跟踪效率比较低的问题。

发明内容

本发明目的在于，提供一种基于目标类别改进的多目标跟踪方法，以提高对多类别目标的跟踪效率。

根据本发明，提供了一种基于目标类别改进的多目标跟踪方法，包括以下步骤：

S100，获取视频vid中第i帧图像P_i对应的预测目标框集合A，A＝{a₁,a₂,…,a_n,…,a_N}，a_n为P_i对应的第n个预测目标框，n的取值范围为1到N，N为P_i对应的预测目标框的数量。

S200，获取vid中第i+1帧图像P_i+1对应的检测目标框集合B，B＝{b₁,b₂,…,b_m,…,b_M}，b_m为P_i+1对应的第m个检测目标框，m的取值范围为1到M，M为P_i+1对应的检测目标框的数量。

S300，获取IOU矩阵T，T为M×N的矩阵，T的第m行第n列的元素t_m,n为b_m与a_n的交并比。

S400，获取目标类别矩阵V，V为M×N的矩阵，V的第m行第n列的元素v_m,n为b_m与a_n的类别权值；当b_m对应的目标类别与a_n对应的目标类别为相同类别或易混淆的类别时，v_m,n＝1；当b_m对应的目标类别与a_n对应的目标类别为不同且不易混淆的类别时，v_m,n＝0。

S500，利用V对T进行更新，得到更新后的目标IOU矩阵T’，T’为M×N的矩阵，T’的第m行第n列的元素为t’_m,n，t’_m,n＝t_m,n×v_m,n。

S600，根据T’获取损失矩阵L，L为M×N的矩阵，L的第m行第n列的元素为l_m,n，l_m,n＝1-t’_m,n。

S700，根据L获取A和B中目标框的匹配结果。

本发明与现有技术相比至少具有以下有益效果：

本发明在得到了IOU矩阵的基础上，还根据任意两目标框对应的目标类别是否相同和容易混淆构建了目标类别矩阵，其中，当某两目标框对应的目标类别相同或容易混淆时，目标类别矩阵中这两个目标框对应的类别权值为1；否则，目标类别矩阵中这两个目标框对应的类别权值为0；由此，本发明中基于目标类别矩阵对IOU矩阵更新后得到的IOU矩阵中属于相同目标类别或易混淆的目标类别的两目标框对应的IOU保持不变，而属于不同且不是易混淆的目标类别的两目标框对应的IOU变为0，由此，损失矩阵中属于相同目标类别或易混淆的目标类别的两目标框对应的损失相对较小(具体为0到1之间的值)，而属于不同且不是易混淆的目标类别的两目标框对应的损失较大(具体为1)，由此，本发明根据损失矩阵获取A和B中目标框的匹配结果时，属于不同且不是易混淆的目标类别的两目标框被判定为同一目标的概率有所减小，能够避免出现将两个不同类别的目标判定为同一目标的情况。本发明在现有的SORT算法的基础上，通过对IOU矩阵进行更新的方式避免出现将两个不同类别的目标判定为同一目标的情况，无需额外增加跟踪器的数量，提高了对多类别目标的跟踪效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于目标类别改进的多目标跟踪方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

根据本实施例，如图1所示，提供了一种基于目标类别改进的多目标跟踪方法，包括以下步骤：

S100，获取视频vid中第i帧图像P_i对应的预测目标框集合A，A＝{a₁,a₂,…,a_n,…,a_N}，a_n为P_i对应的第n个预测目标框，n的取值范围为1到N，N为P_i对应的预测目标框的数量。

本实施例中的视频vid包括多帧图像，vid中第i帧图像指的是vid中除最后一帧以外的任一帧图像。

本领域技术人员知悉，现有技术中任何的获取预测目标框的方法均落入本发明的保护范围，可选的，利用卡尔曼滤波方法获取预测目标框。

S200，获取vid中第i+1帧图像P_i+1对应的检测目标框集合B，B＝{b₁,b₂,…,b_m,…,b_M}，b_m为P_i+1对应的第m个检测目标框，m的取值范围为1到M，M为P_i+1对应的检测目标框的数量。

本领域技术人员知悉，现有技术中利用任何的目标检测方法获取检测目标框的方法均落入本发明的保护范围，可选的，使用Faster RCNN或YOLO来得到检测目标框。

S300，获取IOU矩阵T，T为M×N的矩阵，T的第m行第n列的元素t_m,n为b_m与a_n的交并比。

本实施例中P_i+1对应的检测目标框的数量为M，P_i对应的预测目标框的数量为N，T包括P_i+1对应的任一检测目标框和P_i对应的任一预测目标框对应的交并比。

本领域技术人员知悉，现有技术中获取两目标框的交并比的方法落入本发明的保护范围。

S400，获取目标类别矩阵V，V为M×N的矩阵，V的第m行第n列的元素v_m,n为b_m与a_n的类别权值；当b_m对应的目标类别与a_n对应的目标类别为相同类别或易混淆的类别时，v_m,n＝1；当b_m对应的目标类别与a_n对应的目标类别为不同且不易混淆的类别时，v_m,n＝0。

本实施例中P_i+1对应的检测目标框的数量为M，P_i对应的预测目标框的数量为N，V包括P_i+1对应的任一检测目标框和P_i对应的任一预测目标框对应的类别权值。

本实施例的目标类别矩阵V不仅考虑了b_m对应的目标类别与a_n对应的目标类别为相同类别的情况，还考虑了b_m对应的目标类别与a_n对应的目标类别为易混淆的类别的情况，以避免出现由于检测器将b_m对应的目标类别或a_n对应的目标类别检测为对应的易混淆类别导致的相同类别的两目标框对应的损失极大的情况，以提高对多目标跟踪的准确性。

具体的，S400包括：

S410，获取b_m对应的目标类别s_1,m和a_n对应的目标类别s_2,n。

S420，如果s_1,m＝s_2,n，则将v_m,n确定为1；否则，进入S430。

S430，获取预设的易混淆类别列表C，C＝(c₁,c₂,…,c_r,…,c_R)，c_r为第r个类别的信息，c_r＝(nc_r,xc_r)，nc_r为第r个类别的名称，xc_r为第r个类别对应的易混淆类别的集合，xc_r＝{xc_r,1,xc_r,2,…,xc_r,j,…,xc_r,u}，xc_r,j为与第r个类别易混淆的第j个类别，j的取值范围为1到u，u为与第r个类别易混淆的类别数量，r的取值范围为1到R，R为检测的类别数量。

可选的，xc_r根据经验提前设置。需要说明的是，xc_r可能为空集，当xc_r为空集时，说明不存在与第r个类别易混淆的类别。例如，进行多目标跟踪时，共跟踪4个类型的目标，即跟踪的类别数量为4，分别为人、车、猫和狗，将人对应的类别对应的易混淆类别的集合设置为空集，将车对应的类别对应的易混淆类别的集合设置为空集，将猫对应的类别对应的易混淆类别的集合设置为{狗}，将狗对应的类别对应的易混淆类别的集合设置为{猫}。

优选的，xc_r的获取方法包括：

S431，获取测试图像集H，H中包括R个类别的目标。

本实施例S431中的R个类别与进行多目标跟踪时跟踪的R个类别是相同的类别。

作为一个具体实施方式，H中包括每个类别的目标数量均为较大值，不同类别的目标数量相等或不相等，上述较大值指大于等于1000。

S432，使用目标检测器对H进行检测，得到检测结果G，G＝(g₁,g₂,…,g_r,…,g_R)，g_r为H中被判定为属于第r个类别的目标数量序列，g_r＝(g_r,1,g_r,2,…,g_r,k,…,g_r,R)，g_r,k为H中第k个类别的目标被判定为属于第r个类别的数量，k的取值范围为1到R；所述目标检测器为用于获取b_m对应的目标类别与a_n对应的目标类别的检测器。

S433，遍历g_r，如果k≠r，则进入S434。

S434，获取第k个类别与第r个类别的混淆率d_r,k，如果d_r,k>d₀，则将第k个类别追加至预设的第r集合W_r，W_r的初始化为空集，d₀为预设的混淆率阈值，d_r,k与g_r,k正相关。

本实施例中d₀为经验值，可选的，0≤d₀≤10％。

作为第一具体实施方式，d_r,k＝(g_r,k/q_k+g_k,r/q_r)/2，q_k为H中包括的第k个类别的目标的数量，q_r为H中包括的第r个类别的目标的数量，g_k,r为H中第r个类别的目标被判定为属于第k个类别的数量。

作为第二具体实施方式，d_r,k＝max(g_r,k/q_k,g_k,r/q_r)，q_k为H中包括的第k个类别的目标的数量，q_r为H中包括的第r个类别的目标的数量，g_k,r为H中第r个类别的目标被判定为属于第k个类别的数量，max()为取最大值。

S435，将W_r确定为xc_r。

本实施例中，遍历g_r之后，W_r包括R个类别中所有不是第r个类别且与第r个类别的混淆率大于d₀的类别。

通过S431-S435，本实施例使用目标检测器(即获取b_m对应的目标类别与a_n对应的目标类别的检测器)对测试图像集中的目标进行检测，根据检测结果中出现的类别被判定错误的目标的数量，本实施例可以获知目标检测器容易将哪两种类别的目标判定混淆，由此可以得到准确的第r个类别对应的易混淆类别的集合，进而提高了本实施例对多目标跟踪的准确性。

S440，遍历C，如果s_1,m与nc_r匹配，且s_2,n∈xc_r，则将v_m,n确定为1；如果s_1,m与nc_r匹配，且则将v_m,n确定为0。

S500，利用V对T进行更新，得到更新后的目标IOU矩阵T’，T’为M×N的矩阵，T’的第m行第n列的元素为t’_m,n，t’_m,n＝t_m,n×v_m,n。

本实施例中，当b_m对应的目标类别与a_n对应的目标类别为不同且不易混淆的类别时，v_m,n＝0，t’_m,n＝0；当b_m对应的目标类别与a_n对应的目标类别为相同类别或易混淆的类别时，v_m,n＝1，t’_m,n＝t_m,n。

S600，根据T’获取损失矩阵L，L为M×N的矩阵，L的第m行第n列的元素为l_m,n，l_m,n＝1-t’_m,n。

本实施例中l_m,n为将b_m和a_n判定为同一目标的损失，l_m,n与t’_m,n成反比，t’_m,n越小，l_m,n越大；t’_m,n越大，l_m,n越小；当b_m对应的目标类别与a_n对应的目标类别为不同且不易混淆的类别时，l_m,n＝1；当b_m对应的目标类别与a_n对应的目标类别为相同类别或易混淆的类别时，l_m,n＝1-t_m,n，即当b_m对应的目标类别与a_n对应的目标类别为相同类别或易混淆的类别时，b_m和a_n的交并比越大，将b_m和a_n判定为同一目标的损失越小。

S700，根据L获取A和B中目标框的匹配结果。

具体的，S700包括：将L作为匈牙利算法中的损失矩阵，利用匈牙利算法获取A和B中目标框的匹配结果。

本领域技术人员知悉，利用匈牙利算法获取匹配结果的过程为现有技术，此处不再赘述。

本实施例在得到了IOU矩阵的基础上，还根据任意两目标框对应的目标类别是否相同和容易混淆构建了目标类别矩阵，其中，当某两目标框对应的目标类别相同或容易混淆时，目标类别矩阵中这两个目标框对应的类别权值为1；否则，目标类别矩阵中这两个目标框对应的类别权值为0；由此，本实施例中基于目标类别矩阵对IOU矩阵更新后得到的IOU矩阵中属于相同目标类别或易混淆的目标类别的两目标框对应的IOU保持不变，而属于不同且不是易混淆的目标类别的两目标框对应的IOU变为0，由此，损失矩阵中属于相同目标类别或易混淆的目标类别的两目标框对应的损失相对较小(具体为0到1之间的值)，而属于不同且不是易混淆的目标类别的两目标框对应的损失较大(具体为1)，由此，本实施例根据损失矩阵获取A和B中目标框的匹配结果时，属于不同且不是易混淆的目标类别的两目标框被判定为同一目标的概率有所减小，能够避免出现将两个不同类别的目标判定为同一目标的情况。本实施例在现有的SORT算法的基础上，通过对IOU矩阵进行更新的方式避免出现将两个不同类别的目标判定为同一目标的情况，无需额外增加跟踪器的数量，提高了对多类别目标的跟踪效率。

虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员还应理解，可以对实施例进行多种修改而不脱离本发明的范围和精神。本发明的范围由所附权利要求来限定。

Claims (6)

1.一种基于目标类别改进的多目标跟踪方法，其特征在于，包括以下步骤：

S100，获取视频vid中第i帧图像P_i对应的预测目标框集合A，A＝{a₁,a₂,…,a_n,…,a_N}，a_n为P_i对应的第n个预测目标框，n的取值范围为1到N，N为P_i对应的预测目标框的数量；

S200，获取vid中第i+1帧图像P_i+1对应的检测目标框集合B，B＝{b₁,b₂,…,b_m,…,b_M}，b_m为P_i+1对应的第m个检测目标框，m的取值范围为1到M，M为P_i+1对应的检测目标框的数量；

S300，获取IOU矩阵T，T为M×N的矩阵，T的第m行第n列的元素t_m,n为b_m与a_n的交并比；

S400，获取目标类别矩阵V，V为M×N的矩阵，V的第m行第n列的元素v_m,n为b_m与a_n的类别权值；当b_m对应的目标类别与a_n对应的目标类别为相同类别或易混淆的类别时，v_m,n＝1；当b_m对应的目标类别与a_n对应的目标类别为不同且不易混淆的类别时，v_m,n＝0；

S500，利用V对T进行更新，得到更新后的目标IOU矩阵T’，T’为M×N的矩阵，T’的第m行第n列的元素为t’_m,n，t’_m,n＝t_m,n×v_m,n；

S600，根据T’获取损失矩阵L，L为M×N的矩阵，L的第m行第n列的元素为l_m,n，l_m,n＝1-t’_m,n；

S700，根据L获取A和B中目标框的匹配结果；

S400包括：

S410，获取b_m对应的目标类别s_1,m和a_n对应的目标类别s_2,n；

S420，如果s_1,m＝s_2,n，则将v_m,n确定为1；否则，进入S430；

S430，获取预设的易混淆类别列表C，C＝(c₁,c₂,…,c_r,…,c_R)，c_r为第r个类别的信息，c_r＝(nc_r,xc_r)，nc_r为第r个类别的名称，xc_r为第r个类别对应的易混淆类别的集合，xc_r＝{xc_r,1,xc_r,2,…,xc_r,j,…,xc_r,u}，xc_r,j为与第r个类别易混淆的第j个类别，j的取值范围为1到u，u为与第r个类别易混淆的类别数量，r的取值范围为1到R，R为跟踪的目标的类别数量；

S440，遍历C，如果s_1,m与nc_r匹配，且s_2,n∈xc_r，则将v_m,n确定为1；如果s_1,m与nc_r匹配，且则将v_m,n确定为0。

2.根据权利要求1所述的基于目标类别改进的多目标跟踪方法，其特征在于，xc_r的获取方法包括：

S431，获取测试图像集H，H中包括R个类别的目标；

S432，使用目标检测器对H进行检测，得到检测结果G，G＝(g₁,g₂,…,g_r,…,g_R)，g_r为H中被判定为属于第r个类别的目标数量序列，g_r＝(g_r,1,g_r,2,…,g_r,k,…,g_r,R)，g_r,k为H中第k个类别的目标被判定为属于第r个类别的数量，k的取值范围为1到R；所述目标检测器为用于获取b_m对应的目标类别与a_n对应的目标类别的检测器；

S433，遍历g_r，如果k≠r，则进入S434；

S434，获取第k个类别与第r个类别的混淆率d_r,k，如果d_r,k>d₀，则将第k个类别追加至预设的第r集合W_r，W_r的初始化为空集，d₀为预设的混淆率阈值，d_r,k与g_r,k正相关；

S435，将W_r确定为xc_r。

3.根据权利要求2所述的基于目标类别改进的多目标跟踪方法，其特征在于，d_r,k＝(g_r,k/q_k+g_k,r/q_r)/2，q_k为H中包括的第k个类别的目标的数量，q_r为H中包括的第r个类别的目标的数量，g_k,r为H中第r个类别的目标被判定为属于第k个类别的数量。

4.根据权利要求2所述的基于目标类别改进的多目标跟踪方法，其特征在于，d_r,k＝max(g_r,k/q_k,g_k,r/q_r)，q_k为H中包括的第k个类别的目标的数量，q_r为H中包括的第r个类别的目标的数量，g_k,r为H中第r个类别的目标被判定为属于第k个类别的数量，max()为取最大值。

5.根据权利要求1所述的基于目标类别改进的多目标跟踪方法，其特征在于，S700包括：将L作为匈牙利算法中的损失矩阵，利用匈牙利算法获取A和B中目标框的匹配结果。

6.根据权利要求2所述的基于目标类别改进的多目标跟踪方法，其特征在于，0≤d₀≤10％。