CN117911459A - 一种多目标跟踪方法、装置、电子设备及存储介质 - Google Patents
一种多目标跟踪方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117911459A CN117911459A CN202410138545.2A CN202410138545A CN117911459A CN 117911459 A CN117911459 A CN 117911459A CN 202410138545 A CN202410138545 A CN 202410138545A CN 117911459 A CN117911459 A CN 117911459A
- Authority
- CN
- China
- Prior art keywords
- target object
- detection
- prediction
- track
- box
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000001514 detection method Methods 0.000 claims abstract description 159
- 230000004044 response Effects 0.000 claims abstract description 31
- 238000005259 measurement Methods 0.000 claims abstract description 18
- 238000007499 fusion processing Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 6
- 238000011084 recovery Methods 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 description 8
- 230000008034 disappearance Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请公开了一种多目标跟踪方法、装置、电子设备及存储介质，该方法包括：对当前图像帧中的第一目标对象进行检测及运动状态预测，生成第一目标对象对应的检测边界框和预测边界框；基于第一目标对象的外观特征和运动信息，对检测边界框与预测边界框之间的关联程度进行测量，并基于测量结果确定检测边界框与预测边界框是否匹配；响应于预测边界框与检测边界框不匹配，将第一目标对象确定为轨迹消失对象，并将第一目标对象记录至预设的轨迹消失集合中；将新检测到的第二目标对象与轨迹消失集合中记录的各轨迹消失对象进行匹配，如果第二目标对象与第一目标对象匹配，确定恢复第一目标对象的跟踪。该方法可减少目标身份切换，提升目标跟踪性能。
Description
技术领域
本申请涉及无人机技术领域，具体涉及一种多目标跟踪方法。本申请同时涉及多目标跟踪装置、电子设备及计算机可读取存储介质。
背景技术
目标跟踪是指在恒定状态下对被检测对象的连续检测，其目的在于估计被检测对象的后续动作轨迹和运动状态。目前，有两种常见的目标跟踪算法，一种是基于相关滤波器的跟踪算法，如卡尔曼滤波器和粒子滤波器，该算法需手动指定处于初始状态下的跟踪目标，且该目标较容易丢失；另一种是基于深度学习的跟踪算法，如SORT(简单的在线和实时跟踪)算法及其改进版本DeepSORT算法，其对于新生成的跟踪轨迹，提出了基于级联匹配的方法，该方法考虑了目标区间和特征相似性，并对新开发的跟踪轨迹进行了检查，从而有效地消除了误差，然而，如果目标是聚类(即多个目标之间具有高相似度)和遮挡的，则该算法仍然存在较高的身份切换问题，从而导致跟踪失败。因此，如何在针对多目标跟踪时能够减少目标身份切换、提高跟踪精度，是丞需解决的问题。
发明内容
本发明提供一种多目标跟踪方法、多目标跟踪装置、电子设备以及计算机可读取存储介质，以在针对多目标跟踪时能够减少目标身份切换、提高跟踪精度。
为了解决或部分解决上述技术问题，根据本发明的一方面，提供一种多目标跟踪方法，该方法包括：
对当前图像帧中的第一目标对象进行检测，生成所述第一目标对象对应的检测边界框，并针对所述第一目标对象的运动状态进行预测，获得所述第一目标对象对应的预测边界框；
基于所述第一目标对象的外观特征和运动信息，对所述检测边界框与所述预测边界框之间的关联程度进行测量，并基于测量结果确定所述检测边界框与所述预测边界框是否匹配；
响应于所述预测边界框与所述检测边界框不匹配，将所述第一目标对象确定为轨迹消失对象，并将所述第一目标对象记录至预设的轨迹消失集合中，所述轨迹消失集合记录有至少一个轨迹消失对象；
响应于检测到第二目标对象，将所述第二目标对象与所述轨迹消失集合中记录的各轨迹消失对象进行匹配，并且，响应于所述第二目标对象与所述第一目标对象相匹配，确定恢复对所述第一目标对象的跟踪。
在一种实施方式中，将第一目标对象记录至预设的轨迹消失集合中，包括：将所述第一目标对象的最后一个检测边界框中心的坐标记录至所述轨迹消失集合中，所述轨迹消失集合记录有各所述轨迹消失对象的最后一个检测边界框中心的坐标；对应的，将第二目标对象与所述轨迹消失集合中记录的各轨迹消失对象进行匹配，包括：使用最小欧式距离对各所述轨迹消失对象的最后一个检测边界框中心的坐标和所述第二目标对象的最后一个检测边界框中心的坐标分别进行匹配。
在一种实施方式中，所述基于所述第一目标对象的外观特征和运动信息，对所述检测边界框与所述预测边界框之间的关联程度进行测量，包括：
计算获得所述预测边界框和所述检测边界框之间的运动信息相关性；
使用特征提取网络提取所述检测边界框的外观特征和所述预测边界框的外观特征，并计算获得所述检测边界框的外观特征与所述预测边界框的外观特征之间的外观特征相关性；
将所述运动信息相关性和所述外观特征相关性进行融合处理，获得所述检测边界框与所述预测边界框之间的关联程度。
在一种实施方式中，所述计算获得所述预测边界框和所述检测边界框之间的运动信息相关性，包括：利用马氏距离测量卡尔曼滤波器输出的所述预测边界框和检测器输出的所述检测边界框之间的运动信息相关性。
在一种实施方式中，所述计算获得所述检测边界框的外观特征与所述预测边界框的外观特征之间的外观特征相关性，包括：利用余弦距离计算所述检测边界框的外观特征与所述预测边界框的外观特征之间的外观特征相关性；
在一种实施方式中，所述将所述运动信息相关性和所述外观特征相关性进行融合处理，包括：利用线性加权将所述运动信息相关性和所述外观特征相关性进行融合处理，获得所述检测边界框与所述预测边界框之间的关联程度。
在一种实施方式中，上述方法还包括：响应于所述预测边界框与所述检测边界框相匹配，确定针对所述第一目标对象跟踪成功。
根据本发明另一方面，提供一种多目标跟踪装置，该装置包括：
检测预测单元，用于对当前图像帧中的第一目标对象进行检测，生成第一目标对象对应的检测边界框，并针对第一目标对象的运动状态进行预测，获得第一目标对象对应的预测边界框；
边界框匹配单元，用于基于第一目标对象的外观特征和运动信息，对检测边界框与预测边界框之间的关联程度进行测量，并基于测量结果确定检测边界框与预测边界框是否匹配；
轨迹消失对象确定单元，用于响应于预测边界框与所述检测边界框不匹配，将所述第一目标对象确定为轨迹消失对象，并将所述第一目标对象记录至预设的轨迹消失集合中，所述轨迹消失集合记录有至少一个轨迹消失对象；
恢复跟踪单元，用于响应于检测到第二目标对象，将所述第二目标对象与所述轨迹消失集合中记录的各轨迹消失对象进行匹配，并且，响应于所述第二目标对象与所述第一目标对象相匹配，确定恢复对所述第一目标对象的跟踪。
根据本发明的另一方面，还提供一种电子设备，包括处理器和存储器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现上述提供的多目标跟踪方法。
根据本发明的另一方面，还提供一种计算机可读存储介质，其上存储有一条或多条计算机指令，该指令被处理器执行以实现上述提供的多目标跟踪方法。
与现有技术相比，本发明具有以下优点：
本发明提供的多目标跟踪方法包括：对当前图像帧中的第一目标对象进行检测，生成第一目标对象对应的检测边界框，并针对第一目标对象的运动状态进行预测，获得第一目标对象对应的预测边界框；基于第一目标对象的外观特征和运动信息，对检测边界框与预测边界框之间的关联程度进行测量，并基于测量结果确定检测边界框与预测边界框是否匹配；响应于预测边界框与检测边界框不匹配，将第一目标对象确定为轨迹消失对象，并将第一目标对象记录至预设的轨迹消失集合中，轨迹消失集合记录有至少一个轨迹消失对象；响应于检测到第二目标对象，将第二目标对象与轨迹消失集合中记录的各轨迹消失对象进行匹配，并且，响应于第二目标对象与第一目标对象相匹配，确定恢复对第一目标对象的跟踪。该方法通过使用外观特征和运动信息对检测边界框与预测边界框之间的关联程度进行测量，可提升目标跟踪精度；并且，将第二目标对象与轨迹消失集合中记录的各轨迹消失对象进行匹配、以实现目标对象身份的恢复，可减少因遮挡等因素所导致的被跟踪对象的身份切换问题，降低多目标跟踪过程中目标对象的身份切换频率，从而提升多目标跟踪的跟踪性能。
附图说明
图1是本申请一实施例提供的多目标跟踪方法的流程图；
图2是本申请一实施例提供的多目标跟踪装置的单元框图；
图3是本申请一实施例提供的电子设备的逻辑结构示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
单目标跟踪是指在视频的初始帧上框选出单个目标，然后预测后续帧中该目标的大小和位置。多目标跟踪并非在初始帧上框选出单个目标，而是追踪多个目标的大小和位置，且每一帧中目标的数量和位置均会有变化。现有的多目标跟踪方法中，对于新生成的跟踪轨迹提出了基于级联匹配的方法，该方法考虑了目标区间和特征相似性，并对新开发的跟踪轨迹进行了检查，从而有效地消除了误差，然而，如果目标是聚类(即多个目标之间具有高相似度)和遮挡的，则该算法仍然存在较高的身份切换问题，从而导致跟踪失败。身份切换是指在进行多目标跟踪时，每个目标都会被赋予一个身份(ID)，当第一目标在当前帧中由于遮挡等原因跟踪失败后，检测器将其他目标识别成第一目标的身份(ID)，而第一目标在后续帧中又被重新识别，并被赋予一个新的身份(ID)。
对于多目标跟踪场景，为了减少目标身份切换、提高跟踪精度，本申请提供了一种多目标跟踪方法、与该方法相对应的多目标跟踪装置、电子设备及计算机可读取存储介质。以下提供实施例对上述方法、装置、电子设备以及计算机可读取存储介质进行详细说明。
本申请一实施例提供一种多目标跟踪方法，该方法的应用主体可以为用于进行多目标跟踪的计算设备应用，该计算设备应用可运行于无人机跟踪系统。图1为本申请第一实施例提供的多目标跟踪方法的流程图，以下结合图1对本实施例提供的方法进行详细描述。以下描述所涉及的实施例是用来解释说明方法原理，不是实际使用的限定。
如图1所示，本实施例提供的多目标跟踪方法包括如下步骤：
S101，对当前图像帧中的第一目标对象进行检测，生成第一目标对象对应的检测边界框，并针对第一目标对象的运动状态进行预测，获得第一目标对象对应的预测边界框。
本步骤用于对摄取的视频帧序列中的当前图像帧中的第一目标对象进行检测，生成检测边界框，并对第一目标对象的运动状态进行预测，获得预测边界框。检测边界框是对当前帧进行目标检测得出的边界框，预测边界框是预测下一帧的目标的边界框，即轨迹。第一目标对象可以为无人机集群中的某一无人机或其它被跟踪对象。具体的，通过目标检测器(例如YOLOv7)对当前图像帧中的所有目标对象进行检测，并使用卡尔曼滤波器对所有目标对象的运动状态进行预测，第一目标对象即为当前图像帧中的某一个目标对象。具体的，可使用八维空间描述第一目标对象在特定时间的状态，其中，(u,v)为检测边界框中心的坐标，γ为检测边界框的宽与高之比，h为检测边界框的高度，/>是图像中(u,v,γ,h)的相对速度，并采用均匀模型和线性观测模型的卡尔曼滤波器更新第一目标对象的状态，卡尔曼滤波器的观测变量输出的形式为(u,v,γ,h)。
S102，基于第一目标对象的外观特征和运动信息，对检测边界框与预测边界框之间的关联程度进行测量，并基于测量结果确定检测边界框与预测边界框是否匹配。
上述步骤获得第一目标对象对应的检测边界框和预测边界框，在此基础上，本步骤用于根据第一目标对象的外观特征和运动信息，对上述检测边界框与预测边界框之间的关联程度进行测量，并基于测量结果确定检测边界框与预测边界框是否匹配。运动信息指的是目标对象当前的运动状态，外观特征指的是目标对象自身的外观特点。在本实施例中，上述基于第一目标对象的外观特征和运动信息，对检测边界框与预测边界框之间的关联程度进行测量，具体可以是指：
首先，计算获得上述预测边界框和检测边界框之间的运动信息相关性，具体的，可利用马氏距离测量卡尔曼滤波器输出的所述预测边界框和检测器输出的所述检测边界框之间的运动信息相关性，即，本实施例使用检测框和预测框之间的马氏距离来描述运动信息的关联，马氏距离通过计算检测位置和平均跟踪位置之间的标准差，以应对状态测量的不确定性。其计算公式如下：d(1)(i,j)＝(dj-yi)Tsi -1(dj-yi)，其中，d(1)(i,j)是第j个检测边界框和第i个预测边界框之间的运动状态测量，dj为第j个预测边界框，yi为第i个检测边界框，si为第i个检测边界框与预测边界框的平均值之间的协方差矩阵。
其次，使用特征提取网络提取检测边界框的外观特征和预测边界框的外观特征，并计算获得检测边界框的外观特征与预测边界框的外观特征之间的外观特征相关性，具体的，可利用余弦距离计算检测边界框的外观特征与预测边界框的外观特征之间的外观特征相关性，其计算公式如下所示：
其中，rj为检测边界框dj的外观特征描述符，限制条件为|rj|＝1，d(2)(i,j)为第i个检测边界框与第j个预测边界框之间的最小余弦距离，如果d(2)(i,j)小于设置的阈值，则判断两个边界框匹配正确。
最后，将上述运动信息相关性和外观特征相关性进行融合处理，获得检测边界框与预测边界框之间的关联程度，具体的，可利用线性加权将所述运动信息相关性和所述外观特征相关性进行融合处理，获得所述检测边界框与所述预测边界框之间的关联程度。即，本实施例通过马氏距离和特征余弦距离两个度量来整合运动信息和外观信息，马氏距离可以在短期内提供准确的目标定位，并实现较好的预测和匹配，当目标长时间消失后再出现时，余弦距离在恢复目标身份方面可以发挥更好的作用，因此，为了补充该两种度量的优点，本实施例通过线性加权将马氏距离和余弦距离进行融合，并以此作为最终测量，其计算公式如下所示：
ci,j＝λd(1)(i,j)+(1-λ)d(2)(i,j)
其中，λ为可设定的参数，ci,j为最终的测量值，如果ci,j的最小值小于某个阈值(一个可设置的参数)，则确定预测边界框与检测边界框相匹配，表征第一目标对象跟踪成功。
S103，响应于预测边界框与检测边界框不匹配，将第一目标对象确定为轨迹消失对象，并将第一目标对象记录至预设的轨迹消失集合中。
轨迹消失集合记录有至少一个轨迹消失对象，上述将第一目标对象记录至预设的轨迹消失集合中，具体可以是指：将第一目标对象的最后一个检测边界框中心的坐标记录至轨迹消失集合中，该轨迹消失集合记录有各所述轨迹消失对象的最后一个检测边界框中心的坐标。
需要说明的是，如果步骤S102中检测边界框与预测边界框相匹配，则确定针对第一目标对象跟踪成功，在该种情况下则无需执行步骤S103和步骤S104。
S104，响应于检测到第二目标对象，将第二目标对象与轨迹消失集合中记录的各轨迹消失对象进行匹配，并且，响应于第二目标对象与第一目标对象相匹配，确定恢复对第一目标对象的跟踪。
第二目标对象为新检测到的跟踪对象，与上述步骤S103中将第一目标对象的最后一个检测边界框中心的坐标记录至轨迹消失集合中相对应，本步骤中将第二目标对象与轨迹消失集合中记录的各轨迹消失对象进行匹配，具体是指：使用最小欧式距离对各轨迹消失对象的最后一个检测边界框中心的坐标和第二目标对象的最后一个检测边界框中心的坐标分别进行匹配。如果第二目标对象与第一目标对象相匹配，则恢复对第一目标对象的跟踪，并将第一目标对象移出轨迹消失集合。如果第二目标对象与轨迹消失集合中的其他轨迹消失对象相匹配，则恢复对该其他轨迹消失对象的跟踪，并将其移出轨迹消失集合。
本实施例提供的多目标跟踪方法，对当前图像帧中的第一目标对象进行检测，生成第一目标对象对应的检测边界框，并针对第一目标对象的运动状态进行预测，获得第一目标对象对应的预测边界框；基于第一目标对象的外观特征和运动信息，对检测边界框与预测边界框之间的关联程度进行测量，并基于测量结果确定检测边界框与预测边界框是否匹配；如果预测边界框与检测边界框不匹配，则将第一目标对象确定为轨迹消失对象，并将其记录至预设的轨迹消失集合中；在检测到第二目标对象后，将第二目标对象与轨迹消失集合中记录的各轨迹消失对象进行匹配，如果第二目标对象与第一目标对象相匹配，确定恢复对第一目标对象的跟踪。该方法通过使用外观特征和运动信息对检测边界框与预测边界框之间的关联程度进行测量，可提升目标跟踪精度；并且，将第二目标对象与轨迹消失集合中记录的各轨迹消失对象进行匹配、以实现目标对象身份的恢复，可减少因遮挡等因素所导致的被跟踪对象的身份切换问题，降低多目标跟踪过程中目标对象的身份切换频率，从而提升多目标跟踪的跟踪性能。
上述实施例提供了一种多目标跟踪方法，与之相对应的，本申请另一实施例还提供了一种多目标跟踪装置，该装置可应用于无人机或其它跟踪设备中，由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关的技术特征的细节部分请参见上述提供的方法实施例的对应说明即可，下述对装置实施例的描述仅仅是示意性的。
请参考图2理解该实施例，图2为本实施例提供的多目标跟踪装置的单元框图，如图2所示，本实施例提供的多目标跟踪装置包括：
检测预测单元201，用于对当前图像帧中的第一目标对象进行检测，生成第一目标对象对应的检测边界框，并针对第一目标对象的运动状态进行预测，获得第一目标对象对应的预测边界框；
边界框匹配单元202，用于基于第一目标对象的外观特征和运动信息，对检测边界框与预测边界框之间的关联程度进行测量，并基于测量结果确定检测边界框与预测边界框是否匹配；
轨迹消失对象确定单元203，用于响应于预测边界框与检测边界框不匹配，将第一目标对象确定为轨迹消失对象，并将第一目标对象记录至预设的轨迹消失集合中，轨迹消失集合记录有至少一个轨迹消失对象；
恢复跟踪单元204，用于响应于检测到第二目标对象，将第二目标对象与轨迹消失集合中记录的各轨迹消失对象进行匹配，并且，响应于第二目标对象与第一目标对象相匹配，确定恢复对第一目标对象的跟踪。
在一种实施方式中，所述将所述第一目标对象记录至预设的轨迹消失集合中，包括：将所述第一目标对象的最后一个检测边界框中心的坐标记录至所述轨迹消失集合中，所述轨迹消失集合记录有各所述轨迹消失对象的最后一个检测边界框中心的坐标；
对应的，所述将所述第二目标对象与所述轨迹消失集合中记录的各轨迹消失对象进行匹配，包括：使用最小欧式距离对各所述轨迹消失对象的最后一个检测边界框中心的坐标和所述第二目标对象的最后一个检测边界框中心的坐标分别进行匹配。
在一种实施方式中，所述基于所述第一目标对象的外观特征和运动信息，对所述检测边界框与所述预测边界框之间的关联程度进行测量，包括：
计算获得所述预测边界框和所述检测边界框之间的运动信息相关性；
使用特征提取网络提取所述检测边界框的外观特征和所述预测边界框的外观特征，并计算获得所述检测边界框的外观特征与所述预测边界框的外观特征之间的外观特征相关性；
将所述运动信息相关性和所述外观特征相关性进行融合处理，获得所述检测边界框与所述预测边界框之间的关联程度。
在一种实施方式中，所述计算获得所述预测边界框和所述检测边界框之间的运动信息相关性，包括：利用马氏距离测量卡尔曼滤波器输出的所述预测边界框和检测器输出的所述检测边界框之间的运动信息相关性。
在一种实施方式中，所述计算获得所述检测边界框的外观特征与所述预测边界框的外观特征之间的外观特征相关性，包括：利用余弦距离计算所述检测边界框的外观特征与所述预测边界框的外观特征之间的外观特征相关性；
在一种实施方式中，所述将所述运动信息相关性和所述外观特征相关性进行融合处理，包括：利用线性加权将所述运动信息相关性和所述外观特征相关性进行融合处理，获得所述检测边界框与所述预测边界框之间的关联程度。
在一种实施方式中，上述方法还包括：响应于所述预测边界框与所述检测边界框相匹配，确定针对所述第一目标对象跟踪成功。
在上述的实施例中，提供了一种多目标跟踪方法以及一种多目标跟踪装置，此外，本申请另一实施例还提供一种电子设备，由于电子设备实施例基本相似于方法实施例，所以描述得比较简单，相关的技术特征的细节部分请参见上述提供的方法实施例的对应说明即可，下述对电子设备实施例的描述仅仅是示意性的。该电子设备实施例如下：
请参考图3理解本实施例，图3为本实施例提供的电子设备的示意图。
如图3所示，本实施例提供的电子设备包括：处理器301和存储器302；
该存储器302用于存储数据处理的计算机指令，该计算机指令在被处理器301读取执行时，执行如下操作：
对当前图像帧中的第一目标对象进行检测，生成所述第一目标对象对应的检测边界框，并针对所述第一目标对象的运动状态进行预测，获得所述第一目标对象对应的预测边界框；
基于所述第一目标对象的外观特征和运动信息，对所述检测边界框与所述预测边界框之间的关联程度进行测量，并基于测量结果确定所述检测边界框与所述预测边界框是否匹配；
响应于所述预测边界框与所述检测边界框不匹配，将所述第一目标对象确定为轨迹消失对象，并将所述第一目标对象记录至预设的轨迹消失集合中，所述轨迹消失集合记录有至少一个轨迹消失对象；
响应于检测到第二目标对象，将所述第二目标对象与所述轨迹消失集合中记录的各轨迹消失对象进行匹配，并且，响应于所述第二目标对象与所述第一目标对象相匹配，确定恢复对所述第一目标对象的跟踪。
在一种实施方式中，所述将所述第一目标对象记录至预设的轨迹消失集合中，包括：将所述第一目标对象的最后一个检测边界框中心的坐标记录至所述轨迹消失集合中，所述轨迹消失集合记录有各所述轨迹消失对象的最后一个检测边界框中心的坐标；
对应的，所述将所述第二目标对象与所述轨迹消失集合中记录的各轨迹消失对象进行匹配，包括：使用最小欧式距离对各所述轨迹消失对象的最后一个检测边界框中心的坐标和所述第二目标对象的最后一个检测边界框中心的坐标分别进行匹配。
在一种实施方式中，所述基于所述第一目标对象的外观特征和运动信息，对所述检测边界框与所述预测边界框之间的关联程度进行测量，包括：
计算获得所述预测边界框和所述检测边界框之间的运动信息相关性；
使用特征提取网络提取所述检测边界框的外观特征和所述预测边界框的外观特征，并计算获得所述检测边界框的外观特征与所述预测边界框的外观特征之间的外观特征相关性；
将所述运动信息相关性和所述外观特征相关性进行融合处理，获得所述检测边界框与所述预测边界框之间的关联程度。
在一种实施方式中，所述计算获得所述预测边界框和所述检测边界框之间的运动信息相关性，包括：利用马氏距离测量卡尔曼滤波器输出的所述预测边界框和检测器输出的所述检测边界框之间的运动信息相关性。
在一种实施方式中，所述计算获得所述检测边界框的外观特征与所述预测边界框的外观特征之间的外观特征相关性，包括：利用余弦距离计算所述检测边界框的外观特征与所述预测边界框的外观特征之间的外观特征相关性；
在一种实施方式中，所述将所述运动信息相关性和所述外观特征相关性进行融合处理，包括：利用线性加权将所述运动信息相关性和所述外观特征相关性进行融合处理，获得所述检测边界框与所述预测边界框之间的关联程度。
在一种实施方式中，上述方法还包括：响应于所述预测边界框与所述检测边界框相匹配，确定针对所述第一目标对象跟踪成功。
在上述的实施例中，提供了一种多目标跟踪方法、一种多目标跟踪装置以及一种电子设备，此外，本申请另一实施例还提供了一种用于实现上述多目标跟踪方法的计算机可读存储介质。本申请提供的计算机可读存储介质实施例描述得比较简单，相关部分请参见上述方法实施例的对应说明即可，下述描述的实施例仅仅是示意性的。
本实施例提供的计算机可读存储介质上存储有计算机指令，该指令被处理器执行时实现以下步骤：
对当前图像帧中的第一目标对象进行检测，生成所述第一目标对象对应的检测边界框，并针对所述第一目标对象的运动状态进行预测，获得所述第一目标对象对应的预测边界框；
基于所述第一目标对象的外观特征和运动信息，对所述检测边界框与所述预测边界框之间的关联程度进行测量，并基于测量结果确定所述检测边界框与所述预测边界框是否匹配；
响应于所述预测边界框与所述检测边界框不匹配，将所述第一目标对象确定为轨迹消失对象，并将所述第一目标对象记录至预设的轨迹消失集合中，所述轨迹消失集合记录有至少一个轨迹消失对象；
响应于检测到第二目标对象，将所述第二目标对象与所述轨迹消失集合中记录的各轨迹消失对象进行匹配，并且，响应于所述第二目标对象与所述第一目标对象相匹配，确定恢复对所述第一目标对象的跟踪。
在一种实施方式中，所述将所述第一目标对象记录至预设的轨迹消失集合中，包括：将所述第一目标对象的最后一个检测边界框中心的坐标记录至所述轨迹消失集合中，所述轨迹消失集合记录有各所述轨迹消失对象的最后一个检测边界框中心的坐标；
对应的，所述将所述第二目标对象与所述轨迹消失集合中记录的各轨迹消失对象进行匹配，包括：使用最小欧式距离对各所述轨迹消失对象的最后一个检测边界框中心的坐标和所述第二目标对象的最后一个检测边界框中心的坐标分别进行匹配。
在一种实施方式中，所述基于所述第一目标对象的外观特征和运动信息，对所述检测边界框与所述预测边界框之间的关联程度进行测量，包括：
计算获得所述预测边界框和所述检测边界框之间的运动信息相关性；
使用特征提取网络提取所述检测边界框的外观特征和所述预测边界框的外观特征，并计算获得所述检测边界框的外观特征与所述预测边界框的外观特征之间的外观特征相关性；
将所述运动信息相关性和所述外观特征相关性进行融合处理，获得所述检测边界框与所述预测边界框之间的关联程度。
在一种实施方式中，所述计算获得所述预测边界框和所述检测边界框之间的运动信息相关性，包括：利用马氏距离测量卡尔曼滤波器输出的所述预测边界框和检测器输出的所述检测边界框之间的运动信息相关性。
在一种实施方式中，所述计算获得所述检测边界框的外观特征与所述预测边界框的外观特征之间的外观特征相关性，包括：利用余弦距离计算所述检测边界框的外观特征与所述预测边界框的外观特征之间的外观特征相关性；
在一种实施方式中，所述将所述运动信息相关性和所述外观特征相关性进行融合处理，包括：利用线性加权将所述运动信息相关性和所述外观特征相关性进行融合处理，获得所述检测边界框与所述预测边界框之间的关联程度。
在一种实施方式中，上述方法还包括：响应于所述预测边界框与所述检测边界框相匹配，确定针对所述第一目标对象跟踪成功。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
2、本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
Claims (10)
1.一种多目标跟踪方法，其特征在于，所述方法包括：
对当前图像帧中的第一目标对象进行检测，生成所述第一目标对象对应的检测边界框，并针对所述第一目标对象的运动状态进行预测，获得所述第一目标对象对应的预测边界框；
基于所述第一目标对象的外观特征和运动信息，对所述检测边界框与所述预测边界框之间的关联程度进行测量，并基于测量结果确定所述检测边界框与所述预测边界框是否匹配；
响应于所述预测边界框与所述检测边界框不匹配，将所述第一目标对象确定为轨迹消失对象，并将所述第一目标对象记录至预设的轨迹消失集合中，所述轨迹消失集合记录有至少一个轨迹消失对象；
响应于检测到第二目标对象，将所述第二目标对象与所述轨迹消失集合中记录的各轨迹消失对象进行匹配，并且，响应于所述第二目标对象与所述第一目标对象相匹配，确定恢复对所述第一目标对象的跟踪。
2.根据权利要求1所述的方法，其特征在于，所述将所述第一目标对象记录至预设的轨迹消失集合中，包括：将所述第一目标对象的最后一个检测边界框中心的坐标记录至所述轨迹消失集合中，所述轨迹消失集合记录有各所述轨迹消失对象的最后一个检测边界框中心的坐标；
对应的，所述将所述第二目标对象与所述轨迹消失集合中记录的各轨迹消失对象进行匹配，包括：使用最小欧式距离对各所述轨迹消失对象的最后一个检测边界框中心的坐标和所述第二目标对象的最后一个检测边界框中心的坐标分别进行匹配。
3.根据权利要求1所述的方法，其特征在于，所述基于所述第一目标对象的外观特征和运动信息，对所述检测边界框与所述预测边界框之间的关联程度进行测量，包括：
计算获得所述预测边界框和所述检测边界框之间的运动信息相关性；
使用特征提取网络提取所述检测边界框的外观特征和所述预测边界框的外观特征，并计算获得所述检测边界框的外观特征与所述预测边界框的外观特征之间的外观特征相关性；
将所述运动信息相关性和所述外观特征相关性进行融合处理，获得所述检测边界框与所述预测边界框之间的关联程度。
4.根据权利要求3所述的方法，其特征在于，所述计算获得所述预测边界框和所述检测边界框之间的运动信息相关性，包括：利用马氏距离测量卡尔曼滤波器输出的所述预测边界框和检测器输出的所述检测边界框之间的运动信息相关性。
5.根据权利要求3所述的方法，其特征在于，所述计算获得所述检测边界框的外观特征与所述预测边界框的外观特征之间的外观特征相关性，包括：利用余弦距离计算所述检测边界框的外观特征与所述预测边界框的外观特征之间的外观特征相关性。
6.根据权利要求3所述的方法，其特征在于，所述将所述运动信息相关性和所述外观特征相关性进行融合处理，包括：利用线性加权将所述运动信息相关性和所述外观特征相关性进行融合处理，获得所述检测边界框与所述预测边界框之间的关联程度。
7.根据权利要求1所述的方法，其特征在于，还包括：响应于所述预测边界框与所述检测边界框相匹配，确定针对所述第一目标对象跟踪成功。
8.一种多目标跟踪装置，其特征在于，所述装置包括：
检测预测单元，用于对当前图像帧中的第一目标对象进行检测，生成所述第一目标对象对应的检测边界框，并针对所述第一目标对象的运动状态进行预测，获得所述第一目标对象对应的预测边界框；
边界框匹配单元，用于基于所述第一目标对象的外观特征和运动信息，对所述检测边界框与所述预测边界框之间的关联程度进行测量，并基于测量结果确定所述检测边界框与所述预测边界框是否匹配；
轨迹消失对象确定单元，用于响应于所述预测边界框与所述检测边界框不匹配，将所述第一目标对象确定为轨迹消失对象，并将所述第一目标对象记录至预设的轨迹消失集合中，所述轨迹消失集合记录有至少一个轨迹消失对象；
恢复跟踪单元，用于响应于检测到第二目标对象，将所述第二目标对象与所述轨迹消失集合中记录的各轨迹消失对象进行匹配，并且，响应于所述第二目标对象与所述第一目标对象相匹配，确定恢复对所述第一目标对象的跟踪。
9.一种电子设备，其特征在于，包括处理器和存储器；其中，
所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有一条或多条计算机指令，其特征在于，该指令被处理器执行以实现如权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410138545.2A CN117911459A (zh) | 2024-01-31 | 2024-01-31 | 一种多目标跟踪方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410138545.2A CN117911459A (zh) | 2024-01-31 | 2024-01-31 | 一种多目标跟踪方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117911459A true CN117911459A (zh) | 2024-04-19 |
Family
ID=90694515
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410138545.2A Pending CN117911459A (zh) | 2024-01-31 | 2024-01-31 | 一种多目标跟踪方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117911459A (zh) |
-
2024
- 2024-01-31 CN CN202410138545.2A patent/CN117911459A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110657803B (zh) | 机器人定位方法、装置以及存储装置 | |
| US20180284777A1 (en) | Method, control apparatus, and system for tracking and shooting target | |
| Lukežič et al. | Now you see me: evaluating performance in long-term visual tracking | |
| US7835542B2 (en) | Object tracking systems and methods utilizing compressed-domain motion-based segmentation | |
| US10600190B2 (en) | Object detection and tracking method and system for a video | |
| KR20150110697A (ko) | 타깃 오브젝트를 추적 및 검출하기 위한 시스템들 및 방법들 | |
| CN112308881A (zh) | 一种基于遥感图像的舰船多目标跟踪方法 | |
| CN110033472B (zh) | 一种复杂红外地面环境下的稳定目标跟踪方法 | |
| US20150104067A1 (en) | Method and apparatus for tracking object, and method for selecting tracking feature | |
| CN110349188B (zh) | 基于tsk模糊模型的多目标跟踪方法、装置及存储介质 | |
| Gonzalez et al. | Smat: Smart multiple affinity metrics for multiple object tracking | |
| CN112668524A (zh) | 多目标跟踪系统及方法 | |
| CN115063454A (zh) | 多目标跟踪匹配方法、装置、终端及存储介质 | |
| KR101913648B1 (ko) | 다중 객체 추적 방법 | |
| CN111464882B (zh) | 视频摘要生成方法及装置、设备、介质 | |
| CN116958267A (zh) | 位姿处理方法、装置、电子设备及存储介质 | |
| CN117911459A (zh) | 一种多目标跟踪方法、装置、电子设备及存储介质 | |
| US11315256B2 (en) | Detecting motion in video using motion vectors | |
| WO2020237501A1 (zh) | 一种多源协同道路车辆监控系统 | |
| Park et al. | Robust online multiple object tracking based on the confidence-based relative motion network and correlation filter | |
| CN108346158B (zh) | 基于主块数据关联的多目标跟踪方法及系统 | |
| Spurlock et al. | Dynamic subset selection for multi-camera tracking | |
| KR102538919B1 (ko) | 하이브리드 사물 추적 시스템 및 방법 | |
| CN114004861B (zh) | 目标跟踪方法及相关系统、存储介质、智能驾驶车辆 | |
| CN114241586B (zh) | 一种人脸检测方法及装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |