CN114049383B - 一种多目标跟踪方法、设备及可读存储介质 - Google Patents
一种多目标跟踪方法、设备及可读存储介质 Download PDFInfo
- Publication number
- CN114049383B CN114049383B CN202210036861.XA CN202210036861A CN114049383B CN 114049383 B CN114049383 B CN 114049383B CN 202210036861 A CN202210036861 A CN 202210036861A CN 114049383 B CN114049383 B CN 114049383B
- Authority
- CN
- China
- Prior art keywords
- frame
- target detection
- target
- tracking
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000003860 storage Methods 0.000 title claims abstract description 9
- 238000001514 detection method Methods 0.000 claims abstract description 246
- 230000004044 response Effects 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 102100025444 Gamma-butyrobetaine dioxygenase Human genes 0.000 description 3
- 101000934612 Homo sapiens Gamma-butyrobetaine dioxygenase Proteins 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种多目标跟踪方法，包括：获取目标检测框及目标检测框的检测信息；根据检测信息对获取的目标检测框进行分类以得到高分框与低分框；将高分框和/或所述低分框与历史跟踪框进行匹配，并将匹配结果作为多目标跟踪的结果。本发明还提出一种计算机设备和计算机可读存储介质。通过本发明提出的一种多目标跟踪方法，充分利用了目标检测框的有效信息，并非简单的删除低分框。结合实际场景中的遮挡等现象会造成检测框得分低，为了处理该种现象重新找回低得分检测框，然后使用简单的IOU比对方法，增加跟踪器对遮挡的鲁棒性。
Description
技术领域
本发明涉及人工智能领域，具体涉及一种多目标跟踪方法、设备及可读存储介质。
背景技术
多目标跟踪是指在视频及图片序列中对人、车、非机动车等感兴趣的物体进行追踪，得到其运动轨迹并标定给多个目标唯一的ID，通常所讲的多目标跟踪技术是在线的多目标跟踪，即利用当前帧和历史帧的数据关联跟踪未来帧中相关物体的运动轨迹。
目前在学术界及工业界常用的跟踪方式是基于目标检测的多目标跟踪（trackingby detection）。其基本流程为：
1、目标检测模型在当前帧中获取目标物体的BBOX（目标检测框）及置信度；
2、跟踪器利用历史跟踪轨迹与BBOX进行数据关联、轨迹更新。
MOT（Multi-Object-Tracking，多目标跟踪）中的目标检测是数据关联跟踪的基础，目标检测领域出现了众多优秀的检测器，如FasterRcnn、YOLO、RetinaNet、CenterNet等。目标检测方法精度的不断提升，促使多目标跟踪结合更优秀的检测器获得更精准的检测框及其对应的置信度。但是目标检测器在对遮挡及消失目标检测时很难获得高的置信度，甚至无法检测出BBOX，低置信度的检测框在拥挤、遮挡的环境时常出现。
多目标跟踪的数据关联、轨迹更新步骤是整个流程中的关键。数据关联需要计算历史轨迹与当前帧目标框的相似度，根据相似度进行匹配。目标框的相似度包含三种信息：位置信息、运动信息和外观信息。位置信息和运动信息在短时跟踪结果比较准确，利用上述信息还可以矫正遮挡严重时目标检测框的结果。外观信息，在长时跟踪时可以发挥重要作用，使用物体的表观特征通常可以在当前帧进行REID查询，在应对长时间遮挡后又出现的目标有较好的处理效果。根据相似度进行关联匹配，可以采用匈牙利算法、贪心算法或使用级联匹配的策略。
上述表明，目标检测结果决定了数据跟踪关联的上限，更加充分的利用目标检测框可以提高关联精度，甚至指导检测的精度提升。多目标跟踪器在进行数据关联时，需要利用当前帧的检测结果，在拥挤、遮挡严重、甚至运动变化的场景中，低置信的框中往往包含有行人或其他跟踪物体的信息，但由于检测框置信度低，业界通常统一认为是背景干扰直接舍弃。
但在很多情况下，低置信的检测框也可能存在有用的或者说有价值的目标检测内容，却被忽略。
发明内容
为解决以上问题，本发明的一方面提出了一种多目标跟踪方法，包括：
获取目标检测框及所述目标检测框的检测信息；
根据所述检测信息对获取的目标检测框进行分类以得到高分框与低分框；
将所述高分框和/或所述低分框与历史跟踪框进行匹配，并将匹配结果作为多目标跟踪的结果。
在本发明的一些实施方式中，将所述高分框和/或所述低分框与历史跟踪框进行匹配，包括：
将所述高分框与所述历史跟踪框按照交并比的方式进行匹配，将匹配成功的历史跟踪框加到第一目标检测框列表，将匹配不成功的历史跟踪框添加到第二目标检测框列表。
在本发明的一些实施方式中，所述将所述高分框和/或所述低分框与历史跟踪框进行匹配，还包括：
将与所述历史跟踪框不匹配的所述高分框作为下一轮目标跟踪的历史跟踪框。
在本发明的一些实施方式中，所述将所述高分框和/或所述低分框与历史跟踪框进行匹配，还包括：
响应于所述目标检测框的检测信息中包括目标特征，通过所述目标检测框的目标特征与历史跟踪框进行级联匹配，以及将匹配成功的历史跟踪框添加到第一目标检测框列表，将匹配不成功的历史跟踪框添加到第二目标检测框列表。
在本发明的一些实施方式中，所述将所述高分框和/或所述低分框与历史跟踪框进行匹配，包括：
将所述低分框与所述高分框按照交并比的方式进行匹配，将匹配得分高于第一预定阈值的所述低分框添加到第三目标检测框列表。
在本发明的一些实施方式中，将所述高分框和/或所述低分框与历史跟踪框进行匹配，还包括：
将所述第三目标检测框列表中的低分框与所述第二目标检测框列表中的历史跟踪框按照交并比进行匹配并判断所述匹配得分；
响应于所述匹配得分高于第二预定阈值，将所述历史跟踪框添加第一目标检测框列表；
响应于所述匹配得分低于所述第二预定阈值，将所述低分框添加到述第二目标检测框列表中；以及
将所述第一目标检测框列表中的历史跟踪框作为目标检测的目标。
在本发明的一些实施方式中，获取目标检测框及所述目标检测框的检测信息，包括：
获取目标检测模型输出的目标检测框及所述目标检测框的置信度。
在本发明的一些实施方式中，根据所述检测信息对获取的目标检测框进行分类以得到高分框与低分框，包括：
判断所述目标检测框的置信度是否大于第三预定阈值，响应于所述目标检测框的置信度大于第三预定阈值，将所述目标检测框分类为高分框；以及
判断所述目标检测框的置信度是否小于第三预定阈值，响应于所述目标检测框的置信度小于第四预定阈值，将所述目标检测框分类为低分框。
本发明的另一方面还提出了一种计算机设备，包括：
至少一个处理器；以及
存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现上述实施方式中任意一项所述方法的步骤。
本发明的再一方面还提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述实施方式中任意一项所述方法的步骤。
通过本发明提出的一种多目标跟踪方法，充分利用了目标检测框的有效信息，并非简单的删除低分框。结合实际场景中的遮挡等现象会造成检测框得分低，为了处理该种现象重新找回低得分检测框，然后使用简单的IOU比对方法，增加跟踪器对遮挡的鲁棒性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提出的一种多目标跟踪方法的实施例的方法流程图；
图2为本发明实施例提供的一种计算机设备的结构示意图；
图3为本发明实施例提供的一种计算机可读存储介质的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
本发明所提出的一种多目标跟踪方法是应用于多目标识别领域，所要解决的技术问题是：复用因为遮挡造成的低置信度检测框，提高跟踪的精度，降低IDs；进而指导目标检测结果的提升。本发明并未提出一种目标跟踪模型或人工神经网络算法，而是在目标根据模型输出结果后基于数据关联的多目标跟踪优化方法。
现有技术中常见的方案包括：
1、以sort为代表仅使用高分检测框的运动信息和坐标信息进行匹配的方法；
2、以deepsort/MOTDT/FairMOT为代表的使用表观信息和IOU信息进行级联匹配的方法；
3、以TransTracker为代表的使用神经网络模型直接进行前后帧预测关联关系的方法。上述方案均在不同时间段在MOT-challenge数据集上取得了SOTA的效果，也被广泛使用在工业界生产环境中，如deepsort已被集成在多种视频结构化套件中。但是上述方案的共同问题在于对目标检测框简单的高低分处理，对于置信度高得分高的检测框被用来与历史跟踪轨迹做匹配，对于置信度得分低的检测框则被舍弃。得分低并不意味着检测框信息是错误的，有可能是因为遮挡等原因造成了低的置信度，对于低分框的合理使用可以矫正跟踪和检测结果。
为实现解决上述问题，如图1所示，本发明的一方面提出了一种多目标跟踪方法，包括：
S1、获取目标检测框及所述目标检测框的检测信息；
S2、根据所述检测信息对获取的目标检测框进行分类以得到高分框与低分框；
S3、将所述高分框和/或所述低分框与历史跟踪框进行匹配，并将匹配结果作为多目标跟踪的结果。
在步骤S1中，在通过模型对当前帧图像进行识别之后，获取多目标识别模型输出的一个或多个目标检测框以及对应的检测信息。其中，多目标识别模型可以是用于目标识别的多种神经网络模型。例如，fairmot、yolov5s、Faster R-CNN、SSD等人工智能模型。
在本发明的一些实施例中，目标检测框为矩形区域，检测信息包括对该矩形区域的图像的检测之后给出的置信度。
在步骤S2中，按照多目标识别模型输出的目标检测框对应的检测信息对目标检测进行分类，分为高分框与低分框两类。
在步骤S3中，将分类后的多个高分框和多个低分框分别和多个历史跟踪框进行匹配，将匹配的目标检测框作为跟踪目标。
在本发明的一些实施例中，历史跟踪框是表示由相关算法根据物体运动的规律预测的目标的下一位置的区域，通常为矩形。
在本发明的一些实施例中，用于生成历史跟踪框的算法为卡尔曼滤波器，卡尔曼滤波器可以记录运动物体的运行信息（速度、加速度等）预测目标的下一位置，也即，历史跟踪框使用卡尔曼滤波器进行预测，得到当前帧的预测位置（坐标信息）。结合标准的检测框更新物体的运动信息。历史跟踪框是由卡尔曼滤波器所预测的历史跟踪轨迹，历史跟踪框通常包装成对象，其中包含一些关键信息，如物体坐标位置（矩形区域），卡尔曼滤波器及运行信息，目标的ID，目标特征，目标的ID是在当前跟踪视频中的唯一标识，同一个物体在不同视频帧理论上应该具有相同的ID，但会因为遮挡等原因同一目标在不同帧有不同的ID，这种情况叫做idswitch(ids)；目标特征是指物体的表观信息（模型的输入数据，即图像（被处理过的）），通常由深度神经网络（REID网络）获取，其形式为128或更高维度的向量。
在本发明的一些实施方式中，将所述高分框和/或所述低分框与历史跟踪框进行匹配，包括：
将所述高分框与所述历史跟踪框按照交并比的方式进行匹配，将匹配成功的历史跟踪框加到第一目标检测框列表，将匹配不成功的历史跟踪框添加到第二目标检测框列表。
在本实施例中，将上述实施例中分类后的高分框率先与历史跟踪框采用交并比的方式进行匹配，如高分框与相应的历史跟踪框匹配，则将该历史跟踪框添加到匹配成功的第一目标检测框列表中。需要说明的是对于每一帧的图像，经过模型输出的高分框和通过卡尔曼滤波器预测的历史跟踪框基于图像中的物体对象的个数一般均为多个。因此，需要将多个高分框与多个历史跟踪框进行交并比计算获得对应的交并比评分，将评分满足设定要求的认为匹配成功。不满足设定要求的历史跟踪框则认为匹配不成功。将匹配成功的历史跟踪框保存作为下一轮识别的历史跟踪框，以此方式进行迭代更新跟踪框。在本发明的一些实施例中，上述匹配过程具体为计算历史跟踪框和高分框的欧式距离，再通过匈牙利算法进行匹配。
在本发明的一些实施例中，将匹配成功的历史跟踪框添加到第一目标检测框列表Track-Yes中，将与高分框不匹配的历史跟踪框添加到第二目标检测框列表Track-No中。Track-Yes中的历史跟踪可用于下一帧图像的目标识别。
在本发明的一些实施方式中，所述将所述高分框和/或所述低分框与历史跟踪框进行匹配，还包括：
将与所述历史跟踪框不匹配的所述高分框作为下一轮目标跟踪的历史跟踪框。
在本实施例中，如果模型输出的高分框与多个历史跟踪框均不匹配，则将对应的高分框作为新的历史跟踪框用于下一轮（下一帧）的目标跟踪识别。
在本发明的一些实施方式中，所述将所述高分框和/或所述低分框与历史跟踪框进行匹配，还包括：
响应于所述目标检测框的检测信息中包括目标特征，通过所述目标检测框的目标特征与历史跟踪框进行级联匹配，以及将匹配成功的历史跟踪框添加到第一目标检测框列表，将匹配不成功的历史跟踪框添加到第二目标检测框列表。
在本实施例中，如果目标检测框（包括高分框和低分框）的检测信息中不但有置信度，还包括对应的目标特征，在与历史跟踪框进行匹配时可选择级联匹配的方式进行匹配。即通过历史跟踪框所限定的图像与目标特征进行级联匹配。计算目标特征与历史跟踪框所限定的图像信息（预处理后转为特征数据）的余弦距离，再根据匈牙利算法进行匹配，同样匹配成功则将对应的历史跟踪框添加到第一目标检测框列表Track-Yes中，对于不匹配的历史跟踪框则添加到第二目标检测框列表Track-No中。
需要说明的是，上述两种（交并比匹配和级联匹配）对目标检测框与历史跟踪框的匹配，是根据所选择的多目标识别模型而定，如果多目标识别模型输出的检测信息中存在目标特征，可选择使用级联匹配，也可以使用交并比匹配，此外，同时也可以选择上述两种匹配，对于同一个目标检测框可根据两种匹配的得分高低，选择得分最高的匹配方式所对应的匹配结果。即对于同一个高分框与历史跟踪框进行对比，如果交并比的匹配方式匹配的历史跟踪框A得分为8.0，而级联匹配的匹配方式所匹配的历史跟踪框为B，且得分为9，则认为历史跟踪框B更接近该高分框。则将历史跟踪框B添加到第一目标检测框列表Track-Yes中。
在本发明的一些实施方式中，所述将所述高分框和/或所述低分框与历史跟踪框进行匹配，包括：
将所述低分框与所述高分框按照交并比的方式进行匹配，将匹配得分高于第一预定阈值的所述低分框添加到第三目标检测框列表。
在本实施例中，将多目标识别模型输出的且已经分类的高分框与低分框进行匹配，采用交并比的方式进行匹配，并计算匹配得分。如果匹配得分高于第一预定阈值，则将对应的低分框添加到第三目标检测框列表BBOX-Tlow-R中。第一预定阈值可以根据不同的目标识别任务及不同的目标识别场景进行设定。
在本发明的一些实施方式中，将所述高分框和/或所述低分框与历史跟踪框进行匹配，还包括：
将所述第三目标检测框列表中的低分框与所述第二目标检测框列表中的历史跟踪框按照交并比进行匹配并判断匹配得分；
响应于所述匹配得分高于第二预定阈值，将所述历史跟踪框添加第一目标检测框列表；
响应于所述匹配得分低于所述第二预定阈值，将所述低分框添加到述第二目标检测框列表中；以及
将所述第一目标检测框列表中的历史跟踪框作为目标检测的目标。
在本实施例中，将上述实施例中的第三目标检测框列表BBOX-Tlow-R中的低分框与第二目标检测框列表Track-No中历史跟踪框进行匹配，并按照交并比的匹配方式进行匹配，将匹配得分大于第二预定阈值的低分框添加到第一目标检测框列表Track-Yes中。将匹配得分低于第二预定阈值的低分框添加到第二目标检测列表Track-No中。并且将第一目标检测框列表Track-Yes中的历史跟踪框作为当前帧图像的目标跟踪的结果。
在本发明的一些实施例中，将第一目标检测框列表Track-Yes和在上述实施例中未匹配对应历史跟踪框的高分框作为当前帧图像的目标跟踪结果，并作为下一帧图像目标跟踪的历史跟踪框。
在本发明的一些实施方式中，获取目标检测框及所述目标检测框的检测信息，包括：
获取目标检测模型输出的目标检测框及所述目标检测框的置信度。
在本发明的一些实施方式中，根据所述检测信息对获取的目标检测框进行分类以得到高分框与低分框，包括：
判断所述目标检测框的置信度是否大于第三预定阈值，响应于所述目标检测框的置信度大于第三预定阈值，将所述目标检测框分类为高分框；以及
判断所述目标检测框的置信度是否小于第四预定阈值，响应于所述目标检测框的置信度小于第四预定阈值，将所述目标检测框分类为低分框。
在本实施例中，在对多目标识别检测模型输出的目标检测框进行分类时，是根据多目标识别模型所输出的置信度对多目标识别模型输出的目标检框进行分类。具体地，将目标检测框的置信度大于80%的作为高分框，将置信度低于50%的作为低分框。需要说明的是用于判断是否为高分框和低分框的第三预定阈值和第四预定阈值可根据需要进行设定。
在一些实施例中，可将第三预定阈值和第四预定阈值设定为相同的值，对多目标识别模型进行二分类。
下面以目前的MOT-SOTA模型fairmot为例，展示将上述方法插入到fairmot的原有的流程模块中，并展示处理之后的效果。
Fairmot的跟踪模块及流程：
1、初始化fairmot检测模型，通过该检测模型根据每一帧图像输出目标检测框、置信度及目标的表观特征ID-feature（目标特征），根据置信度和/或ID-feature进行分类分为高分框和低分框；
2、第一次匹配，使用ID-feature信息和/或目标检测框的坐标信息与历史跟踪框中的所有跟踪框进行匹配，对于未匹配的跟踪框进行接下来的二次匹配；
3、第二次匹配，使用未匹配的跟踪框（Track-NO）与当前帧中低分框的检测框进行IOU匹配；
4、对于第一次匹配中未匹配的检测框初始化为新的跟踪对象；
5、更新所有跟踪框的状态，以备下一帧继续使用。
在FairMOT的跟踪流程中添加基于阈值及遮挡判断的检测框与跟踪框比对更新方法，在上述步骤1完成后将检测框分为低分框和高分框；在步骤2中使用高分框与历史跟踪框进行匹配比对；步骤2完成之后，对低分框进行处理，低分框与高分框计算IOU距离，保留超过阈值的低分框；对于步骤3，使用未匹配的跟踪框与低分框进行IOU匹配；步骤4中对于未匹配的高分检测框初始化为新的跟踪对象；5、更新所有跟踪框的状态，以备下一帧继续使用。结果如下表所示，在现有的模型识别能力的基础上再次提高准确度。
通过本发明提出的一种多目标跟踪方法，充分利用了目标检测框的有效信息，并非简单的删除低分框。结合实际场景中的遮挡等现象会造成检测框得分低，为了处理该种现象重新找回低得分检测框，然后使用简单的IOU比对方法，增加跟踪器对遮挡的鲁棒性。
如图2所示，本发明的另一方面还提出了一种计算机设备，包括：
至少一个处理器21；以及
存储器22，所述存储器22存储有可在所述处理器21上运行的计算机指令23，所述指令由所述处理器执行时实现一种多目标跟踪方法，包括：
获取目标检测框及所述目标检测框的检测信息；
根据所述检测信息对获取的目标检测框进行分类以得到高分框与低分框；
将所述高分框和/或所述低分框与历史跟踪框进行匹配，并将匹配结果作为多目标跟踪的结果。
在本发明的一些实施方式中，将所述高分框和/或所述低分框与历史跟踪框进行匹配，包括：
将所述高分框与所述历史跟踪框按照交并比的方式进行匹配，将匹配成功的历史跟踪框加到第一目标检测框列表，将匹配不成功的历史跟踪框添加到第二目标检测框列表。
在本发明的一些实施方式中，所述将所述高分框和/或所述低分框与历史跟踪框进行匹配，还包括：
将与所述历史跟踪框不匹配的所述高分框作为下一轮目标跟踪的历史跟踪框。
在本发明的一些实施方式中，所述将所述高分框和/或所述低分框与历史跟踪框进行匹配，还包括：
响应于所述目标检测框的检测信息中包括目标特征，通过所述目标检测框的目标特征与历史跟踪框进行级联匹配，以及将匹配成功的历史跟踪框添加到第一目标检测框列表，将匹配不成功的历史跟踪框添加到第二目标检测框列表。
在本发明的一些实施方式中，所述将所述高分框和/或所述低分框与历史跟踪框进行匹配，包括：
将所述低分框与所述高分框按照交并比的方式进行匹配，将匹配得分高于第一预定阈值的所述低分框添加到第三目标检测框列表。
在本发明的一些实施方式中，将所述高分框和/或所述低分框与历史跟踪框进行匹配，还包括：
将所述第三目标检测框列表中的低分框与所述第二目标检测框列表中的历史跟踪框按照交并比进行匹配并判断所述匹配得分；
响应于所述匹配得分高于第二预定阈值，将所述历史跟踪框添加第一目标检测框列表；
响应于所述匹配得分低于所述第二预定阈值，将所述低分框添加到述第二目标检测框列表中；以及
将所述第一目标检测框列表中的历史跟踪框作为目标检测的目标。
在本发明的一些实施方式中，获取目标检测框及所述目标检测框的检测信息，包括：
获取目标检测模型输出的目标检测框及所述目标检测框的置信度。
在本发明的一些实施方式中，根据所述检测信息对获取的目标检测框进行分类以得到高分框与低分框，包括：
判断所述目标检测框的置信度是否大于第三预定阈值，响应于所述目标检测框的置信度大于第三预定阈值，将所述目标检测框分类为高分框；以及
判断所述目标检测框的置信度是否小于第三预定阈值，响应于所述目标检测框的置信度小于第四预定阈值，将所述目标检测框分类为低分框。
如图3所示，本发明的再一方面还提出了一种计算机可读存储介质401，所述计算机可读存储介质401存储有计算机程序402，所述计算机程序被处理器执行时实现一种多目标跟踪方法，包括：
获取目标检测框及所述目标检测框的检测信息；
根据所述检测信息对获取的目标检测框进行分类以得到高分框与低分框；
将所述高分框和/或所述低分框与历史跟踪框进行匹配，并将匹配结果作为多目标跟踪的结果。
在本发明的一些实施方式中，将所述高分框和/或所述低分框与历史跟踪框进行匹配，包括：
将所述高分框与所述历史跟踪框按照交并比的方式进行匹配，将匹配成功的历史跟踪框加到第一目标检测框列表，将匹配不成功的历史跟踪框添加到第二目标检测框列表。
在本发明的一些实施方式中，所述将所述高分框和/或所述低分框与历史跟踪框进行匹配，还包括：
将与所述历史跟踪框不匹配的所述高分框作为下一轮目标跟踪的历史跟踪框。
在本发明的一些实施方式中，所述将所述高分框和/或所述低分框与历史跟踪框进行匹配，还包括：
响应于所述目标检测框的检测信息中包括目标特征，通过所述目标检测框的目标特征与历史跟踪框进行级联匹配，以及将匹配成功的历史跟踪框添加到第一目标检测框列表，将匹配不成功的历史跟踪框添加到第二目标检测框列表。
在本发明的一些实施方式中，所述将所述高分框和/或所述低分框与历史跟踪框进行匹配，包括：
将所述低分框与所述高分框按照交并比的方式进行匹配，将匹配得分高于第一预定阈值的所述低分框添加到第三目标检测框列表。
在本发明的一些实施方式中，将所述高分框和/或所述低分框与历史跟踪框进行匹配，还包括：
将所述第三目标检测框列表中的低分框与所述第二目标检测框列表中的历史跟踪框按照交并比进行匹配并判断所述匹配得分；
响应于所述匹配得分高于第二预定阈值，将所述历史跟踪框添加第一目标检测框列表；
响应于所述匹配得分低于所述第二预定阈值，将所述低分框添加到述第二目标检测框列表中；以及
将所述第一目标检测框列表中的历史跟踪框作为目标检测的目标。
在本发明的一些实施方式中，获取目标检测框及所述目标检测框的检测信息，包括：
获取目标检测模型输出的目标检测框及所述目标检测框的置信度。
在本发明的一些实施方式中，根据所述检测信息对获取的目标检测框进行分类以得到高分框与低分框，包括：
判断所述目标检测框的置信度是否大于第三预定阈值，响应于所述目标检测框的置信度大于第三预定阈值，将所述目标检测框分类为高分框；以及
判断所述目标检测框的置信度是否小于第三预定阈值，响应于所述目标检测框的置信度小于第四预定阈值，将所述目标检测框分类为低分框。
以上仅为本发明实施例的优选实施例而已，并不用于限制本发明实施例，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。
Claims (6)
1.一种多目标跟踪方法，其特征在于，包括：
获取目标检测框及所述目标检测框的检测信息；
根据所述检测信息对获取的目标检测框进行分类以得到高分框与低分框；
将所述高分框和/或所述低分框与历史跟踪框进行匹配，并将匹配结果作为多目标跟踪的结果包括：
响应于所述目标检测框的检测信息中包括目标特征，通过所述目标检测框的目标特征与历史跟踪框进行级联匹配，以及将匹配成功的历史跟踪框添加到第一目标检测框列表，将匹配不成功的历史跟踪框添加到第二目标检测框列表；
将所述低分框与所述高分框按照交并比的方式进行匹配，将匹配得分高于第一预定阈值的所述低分框添加到第三目标检测框列表；
将所述第三目标检测框列表中的低分框与所述第二目标检测框列表中的历史跟踪框按照交并比进行匹配并判断匹配得分；
响应于所述匹配得分高于第二预定阈值，将所述历史跟踪框添加到所述第一目标检测框列表；
响应于所述匹配得分低于所述第二预定阈值，将所述低分框添加到所述第二目标检测框列表中；以及
将所述第一目标检测框列表中的历史跟踪框作为目标检测的目标；
其中，所述获取目标检测框及所述目标检测框的检测信息包括：
获取目标检测模型输出的目标检测框及所述目标检测框的置信度。
2.根据权利要求1所述的方法，其特征在于，所述将所述高分框和/或所述低分框与历史跟踪框进行匹配，包括：
将所述高分框与所述历史跟踪框按照交并比的方式进行匹配，将匹配成功的历史跟踪框加到第一目标检测框列表，将匹配不成功的历史跟踪框添加到第二目标检测框列表。
3.根据权利要求2所述的方法，其特征在于，所述将所述高分框和/或所述低分框与历史跟踪框进行匹配，还包括：
将与所述历史跟踪框不匹配的所述高分框作为下一轮目标跟踪的历史跟踪框。
4.根据权利要求1所述的方法，其特征在于，所述根据所述检测信息对获取的目标检测框进行分类以得到高分框与低分框，包括：
判断所述目标检测框的置信度是否大于第三预定阈值，响应于所述目标检测框的置信度大于第三预定阈值，将所述目标检测框分类为高分框；以及
判断所述目标检测框的置信度是否小于第四预定阈值，响应于所述目标检测框的置信度小于第四预定阈值，将所述目标检测框分类为低分框。
5.一种计算机设备，其特征在于，包括：
至少一个处理器；以及
存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现权利要求1-4任意一项所述方法的步骤。
6.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-4任意一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210036861.XA CN114049383B (zh) | 2022-01-13 | 2022-01-13 | 一种多目标跟踪方法、设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210036861.XA CN114049383B (zh) | 2022-01-13 | 2022-01-13 | 一种多目标跟踪方法、设备及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114049383A CN114049383A (zh) | 2022-02-15 |
| CN114049383B true CN114049383B (zh) | 2022-04-22 |
Family
ID=80196533
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210036861.XA Active CN114049383B (zh) | 2022-01-13 | 2022-01-13 | 一种多目标跟踪方法、设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114049383B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114943763A (zh) * | 2022-05-20 | 2022-08-26 | 深圳市锐明技术股份有限公司 | 违章车辆检测方法、装置、终端设备及存储介质 |
| TWI833308B (zh) * | 2022-07-28 | 2024-02-21 | 國立陽明交通大學 | 微粒追蹤方法 |
| CN115311608B (zh) * | 2022-10-11 | 2023-03-21 | 之江实验室 | 一种多任务多目标关联追踪的方法及装置 |
| CN117974725A (zh) * | 2024-03-28 | 2024-05-03 | 厦门大学 | 一种基于卡尔曼滤波器的鱼类追踪方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110826572B (zh) * | 2018-08-09 | 2023-04-21 | 京东方科技集团股份有限公司 | 多目标检测的非极大值抑制方法、装置及设备 |
| CN109636829B (zh) * | 2018-11-24 | 2021-01-01 | 华中科技大学 | 一种基于语义信息和场景信息的多目标跟踪方法 |
| CN112084914B (zh) * | 2020-08-31 | 2024-04-26 | 的卢技术有限公司 | 一种融合空间运动和表观特征学习的多目标跟踪方法 |
-
2022
- 2022-01-13 CN CN202210036861.XA patent/CN114049383B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN114049383A (zh) | 2022-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114049383B (zh) | 一种多目标跟踪方法、设备及可读存储介质 | |
| CN111127513B (zh) | 一种多目标跟踪方法 | |
| CN109886998B (zh) | 多目标跟踪方法、装置、计算机装置及计算机存储介质 | |
| Garcia-Fidalgo et al. | Hierarchical place recognition for topological mapping | |
| CN111709975A (zh) | 多目标跟踪方法、装置、电子设备及存储介质 | |
| Meuter et al. | A decision fusion and reasoning module for a traffic sign recognition system | |
| US9342759B1 (en) | Object recognition consistency improvement using a pseudo-tracklet approach | |
| US11880985B2 (en) | Tracking multiple objects in a video stream using occlusion-aware single-object tracking | |
| US8965115B1 (en) | Adaptive multi-modal detection and fusion in videos via classification-based-learning | |
| CN111931864B (zh) | 基于顶点距离与交并比多重优化目标检测器的方法与系统 | |
| CN111291280A (zh) | 一种大规模移动对象的轨迹快速预测方法、介质和设备 | |
| Ju et al. | Online multi-object tracking with efficient track drift and fragmentation handling | |
| CN111931571B (zh) | 基于在线增强检测的视频文字目标追踪方法与电子设备 | |
| CN111242985A (zh) | 基于马尔科夫模型的视频多行人追踪方法 | |
| CN116311063A (zh) | 监控视频下基于人脸识别的人员细粒度跟踪方法及系统 | |
| Ishida et al. | Intersection recognition using results of semantic segmentation for visual navigation | |
| CN114820765A (zh) | 图像识别方法、装置、电子设备及计算机可读存储介质 | |
| JP2021051589A (ja) | 情報処理装置、情報処理方法 | |
| CN113313733A (zh) | 基于共享卷积的分级无人机目标跟踪方法 | |
| CN114842198B (zh) | 车辆智能定损方法、装置、设备及存储介质 | |
| WO2022252482A1 (zh) | 机器人及其环境地图构建方法和装置 | |
| CN110059591B (zh) | 运动目标区域的识别方法 | |
| CN112561956A (zh) | 视频目标跟踪方法、装置、电子设备及存储介质 | |
| CN117495916B (zh) | 多目标轨迹关联方法、装置、通信设备及存储介质 | |
| CN113673392B (zh) | 基于时空聚类的动目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |