CN113344975A - 一种多目标跟踪方法、装置及电子设备 - Google Patents

Abstract

本申请提供了一种多目标跟踪方法，该方法包括：获取待处理图像，待处理图像包括多帧图像；确定第N帧图像中的新增目标，新增目标为：第N帧图像中的多个检测目标中，与多个预测跟踪目标未匹配成功的检测目标；将新增目标与预测跟踪失效目标库中的预测跟踪失效目标分别进行匹配，得到匹配结果；预测跟踪失效目标为：第N帧图像中的多个预测跟踪目标中，与多个检测目标未匹配成功的预测跟踪目标；预测跟踪失效目标库为1个或多个预测跟踪失效目标的集合；根据匹配结果，确定第N帧图像中多个检测目标的标识。本申请提供的方法，可以改善有遮挡情况下的目标追踪效果，也减少了目标ID跳变的问题，同时提升多目标跟踪算法的精度。

Description

一种多目标跟踪方法、装置及电子设备

技术领域

本申请属于图像处理技术领域，尤其涉及一种多目标跟踪方法、装置及电子设备。

背景技术

视频数据的数量目前呈现出爆发式增长，对视频数据中多个目标进行跟踪和大规模标注，需要耗费大量的人力和时间。如何进行高效大规模的视频数据标注，降低生产成本，是一个亟待解决的难题。

现有技术中，基于深度学习的目标检测算法在实际工程中的应用也越来越广泛，通过对视频数据提取特征并进行检测识别，完成对目标的标识和包围框信息的标注，成为大规模视频数据标注的主要解决方案。

但在实际应用中经常出现目标标识频繁跳变等问题，仍然不能很好满足实际生产需求。

发明内容

本申请实施例提供了一种多目标跟踪方法、装置及电子设备，可以解决对多个目标进行追踪时，目标轨迹标识频繁跳变的问题。

第一方面，提供了一种多目标跟踪方法，该方法包括：获取待处理图像，待处理图像包括多帧图像；每帧图像中包括多个检测目标和多个预测跟踪目标；确定第N帧图像中的新增目标，N≥2，N为整数，新增目标为第N帧图像中的多个检测目标中，与多个预测跟踪目标未匹配成功的检测目标；将新增目标与预测跟踪失效目标库中的预测跟踪失效目标分别进行匹配，得到匹配结果；预测跟踪失效目标为第N帧图像中的多个预测跟踪目标中，与多个检测目标未匹配成功的预测跟踪目标；预测跟踪失效目标库为1个或多个预测跟踪失效目标的集合；根据匹配结果，确定第N帧图像中多个检测目标的标识。

第一方面提供的多目标跟踪方法，通过确定第N帧图像中的新增目标和预测跟踪失效目标，并且将该新增目标和预测跟踪失效目标进行重新匹配，根据重新匹配后的结果，确定第N帧图像中的检测目标的标识。该方法可以改善有遮挡情况下的目标追踪效果，也减少了目标标识跳变的问题，同时提升多目标跟踪算法的精度。

在一种可能的实现方式中，确定第N帧图像中的新增目标，包括：将第N帧图像中的多个预测跟踪目标中的每一个预测跟踪目标，和多个检测目标分别进行匹配；当匹配成功时，将匹配成功的预测跟踪目标和检测目标，分别作为第一预测跟踪目标和第一检测目标；基于第一检测目标的信息，更新第一预测跟踪目标的信息；当匹配不成功时，将未匹配成功的检测目标，确定为新增目标。在该种实现方式中，将第N帧图像中的检测目标和预测跟踪目标进行匹配，将未匹配成功的检测目标作为新增目标，便于后续进行进一步目标追踪。

在一种可能的实现方式中，将新增目标与预测跟踪失效目标库中的预测跟踪失效目标分别进行匹配，得到匹配结果，该方法还包括：当匹配不成功时，将未匹配成功的预测跟踪目标，确定为预测跟踪失效目标。在该种实现方式中，将第N帧图像中的预测跟踪目标和检测目标进行匹配，将未匹配成功的预测跟踪目标作为预测跟踪失效目标，便于后续进行进一步目标重识别。

在一种可能的实现方式中，根据匹配结果，确定第N帧图像中多个检测目标的标识，包括：当新增目标和跟踪失效目标匹配成功时，根据新增目标的信息更新跟踪失效目标的信息。在该种实现方式中，当该跟踪失效目标和新增目标匹配成功时，将目标预测跟踪目标的标识赋予新增目标，并将新增目标的类别和位置信息，更新给预测跟踪目标。

在一种可能的实现方式中，当新增目标和跟踪失效目标匹配次数满足预设第一条件时，该方法还包括：当新增目标和跟踪失效目标失败时，在预测跟踪失效目标库中去除跟踪失效预测跟踪目标，并且，初始化新增目标的跟踪器。在该种实现方式中，当匹配一定次数后，将仍然没有匹配成功的预测跟踪失效目标从预测跟踪失效目标库中去除，避免干扰后面目标追踪，并将未匹配成功的新增目标重新初始化跟踪器，重新进行轨迹追踪。

在一种可能的实现方式中，当目标为行人和车辆时，该方法包括：通过检测多个检测目标，确定通过卡口的行人数量和车辆数。在该种实现方式中，可以避免同一目标由于ID跳变而被统计多次，保证了目标统计的精度。

在一种可能的实现方式中，判断第N帧图像中的第一检测目标和第N-1帧图像中的第二检测目标是否相同，第一检测目标为第N帧图像中的多个目标中的任意一个，第二检测目标为第N-1帧图像中的多个目标中的任意一个；当第一检测目标和第二检测目标相同，并且，第一检测目标和第二检测目标位置相同时，则不发送第一检测目标的信息；当第一检测目标和第二检测目标相同，并且，第一检测目标和第二检测目标位置不相同时，则发送第一检测目标的信息；当第一检测目标和第二检测目标不同时，则发送第一检测目标的信息。在该种实现方式中，避免了相同目标的信息重复发送，有效实现了目标信息的传输，提高了数据发送的效率。

第二方面，提供了一种多目标跟踪装置，该装置包括用于执行以上第一方面或者第一方面的任意一方面可能的实现方式中的各个步骤的单元。

第三方面，提供了一种多目标跟踪装置，该装置包括至少一个处理器和存储器，该至少一个处理器用于执行以上第一方面或第一方面的任意可能的实现方式中的方法。

第四方面，提供了一种多目标跟踪装置，该装置包括至少一个处理器和接口电路，该至少一个处理器用于执行以上第一方面或者第一方面中的任意一方面可能的实现方式中的方法。

第五方面，提供了一种电子设备，该设备包括处理器、摄像头、显示屏以及上述第二方面、第三方面或者第四方面提供的任一种多目标跟踪装置。

在一种可能的实现方式中，该电子设备中的显示屏用于显示第一信息。

第六方面，提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序在被处理器执行时，用于执行第一方面或第一方面的任意可能的实现方式中的方法。

第七方面，提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当该计算机程序被执行时，用于执行第一方面或第一方面的任意可能的实现方式中的方法。

第八方面，提供了一种芯片或者集成电路，该芯片或者集成电路包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有该芯片或者集成电路的设备执行第一方面或第一方面的任意可能的实现方式中的方法。

可以理解的是，上述第二方面至第八方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

本申请实施例与现有技术相比存在的有益效果是：

本申请提供的多目标跟踪方法，通过确定第N帧图像中的新增目标和预测跟踪失效目标，并且将该新增目标和预测跟踪失效目标进行重新匹配，根据重新匹配后的结果，确定第N帧图像中的检测目标的标识。该方法可以改善有遮挡情况下的目标追踪效果，也减少了目标标识跳变的问题，同时提升多目标跟踪算法的精度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种多目标跟踪方法的一个实施例的流程图；

图2是本申请实施例提供的一种确定第N帧图像中的新增目标和预测跟踪失效目标方法的实现流程示意图；

图3是本申请实施例提供的数据发送方式的示意图；

图4是本申请实施例提供的利用多目标跟踪方法进行卡口目标计数和区域入侵检测流程图；

图5是本申请实施例提供的检测目标和预测跟踪目标的匹配示意图；

图6是本申请实施例提供的新增目标和预测跟踪失效目标的目标重识别示意图；

图7是本申请实施例提供的每帧算法的处理结果的数据发送流程图；

图8为本申请实施例提供的装置800的示意性框图；

图9是本申请实施例提供的一例电子设备900结构的示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

首先，在介绍本申请提供的方法和装置之前，需要对下文中即将提及的部分术语进行说明。当本申请提及术语“第一”或者“第二”等序数词时，除非根据上下文其确实表达顺序之意，否则应当理解为仅仅是起区分之用。

术语“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

除非另有说明，本文中“/”一般表示前后关联对象是一种“或”的关系，例如，A/B可以表示A或B。术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请的描述中，“多个”是指两个或两个以上。

现有技术中，近年来随着深度学习的兴起，目标检测方面的研究成熟度越来越高，基于深度学习的目标检测算法在实际工程中的应用也越来越广泛，进而基于检测假设驱动跟踪过程的方式逐渐成为多目标跟踪(MOT)的主流形式。MOT跟踪过程中，检测与跟踪预测轨迹的匹配可以看作目标的重识别过程。

然而，在多目标跟踪问题中，主要面临以下几个挑战：首先考虑到跟踪场景的复杂性，多目标跟踪中的目标轨迹是频繁发生变化的，图像样本库的数量和种类并不固定；其次，检测目标中可能出现新的目标，也可能不包括已有的目标轨迹；另外，多目标跟踪场景下的检测目标可能混杂了一些错误的检测，以上这些问题都限制了MOT研究的进一步发展及其在实际系统中的应用。所以，研究目标重识别问题并将其扩展到MOT算法中，对于解决多目标跟踪面临的挑战性问题有着关键性的作用。

在现有技术中，一般通过目标检测模型和行人重识别的网络模型，对给定的视频序列中的多个感兴趣的目标进行定位，并且维持他们的标识，该标识也称ID，持续他们的轨迹，但是现有技术中的算法，含参数量比较大，性能提升有限，对改善目标轨迹频繁变化导致的跟踪ID跳变问题有一定限制。

有鉴于此，本申请提供了一种多目标跟踪方法，通过确定当前帧图像中的新增目标和预测跟踪失效目标，并且将当前帧图像中的新增目标和预测跟踪失效目标进行重新匹配，可以改善有遮挡情况下的目标追踪效果，也减少了目标ID跳变的问题，同时提升多目标跟踪算法的精度。

本申请实施例提供的方法，可以应用于某个采集城市道路监控系统或者应用于采集商场的监控系统中。在城市道路监控系统中，利用该方法可以统计出通过道路上某个卡口的人数或者车辆的数量。在商场的监控系统中，利用该方法可以统计出商场在某一时间段的人流量。

下面结合具体实施例，对本申请提供的多目标跟踪方法进行示例性的说明。参见图1，为本申请提供的一种多目标跟踪方法的一个实施例的流程图。如图1所示，该方法包括：

S110、获取待处理图像，待处理图像包括多帧图像，每帧图像中包括多个检测目标，和/或，多个预测跟踪目标。

具体地，本实施例的获取该待处理图像的主体为电子设备，具体可以为摄像机或者其他拍照设备。

在一个实施例中，该待处理图像可以对城市道路上的监控场景进行拍摄或者视频采集得到。

在另一个实施例中，该待处理图像可以对商场的监控场景进行拍摄或者视频采集得到。

当然，该处理图像还可以通过其他场景拍摄或者采集得到，本申请实施例不做限定。

需要说明的是，该待处理图像中包括多帧图像，其中，当为首帧图像时，首帧图像中包括多个检测目标，当不是首帧图像时，包括了多个检测目标和多个预测跟踪目标。

具体地，该多个目标可以为行人、车辆或者其他目标物，本申请实施例不做限制。示例性的，该待处理图像的中的目标是指行人或者车辆。

S120、确定第N帧图像中的新增目标，N≥2，N为整数，新增目标为第N帧图像中的多个检测目标中，与多个预测跟踪目标未匹配成功时的检测目标。

在本申请实施例中，将第N帧图像中的多个检测目标中，与多个预测跟踪目标分别进行匹配，将未匹配成功的检测目标作为新增目标。需要说明的是，该新增目标可以为一个也可以为多个。

具体地，将待处理图像输入至目标网络模型中进行目标检测，因为，每个目标在首帧已经赋予了跟踪器，当处理器检测到第N帧图像时，第N帧图像中既包括了检测目标和预测跟踪目标。将该检测目标和预测跟踪目标分别进行匹配，将未匹配成功的检测目标作为新增目标。

可以理解的是，除了首帧图像之外的每一帧图像中都会出现当前帧预测跟踪目标和当前帧的检测目标。例如，第N帧图像中具有N帧图像的中的预测跟踪目标和第N帧图像中的检测目标。将该检测目标和预测跟踪目标分别进行匹配，都会得到新增目标。

S130、将新增目标与预测跟踪失效目标库中的预测跟踪失效目标分别进行匹配，得到匹配结果；预测跟踪失效目标为：第N帧图像中的多个预测跟踪目标中，与多个检测目标未匹配成功的预测跟踪目标；预测跟踪失效目标库为1个或多个预测跟踪失效目标的集合。

具体地，将第N帧图像中的检测目标与预测跟踪目标分别进行匹配，将未匹配成功的预测跟踪目标作为预测跟踪失效目标。

需要说明的是，该预测跟踪失效目标可以为一个也可以为多个。

该预测跟踪失效目标库为一个或者多个预测跟踪失效目标的集合。换句话说，该预测跟踪失效目标库中可能包含一个预测跟踪失效目标也可能包含多个预测跟踪失效目标。

在本申请实施例中，将上述确定的新增目标与预测跟踪失效库中的预测跟踪失效目标分别进行匹配，得到两种不同的匹配结果。

在一个实施例中，将新增目标和预测跟踪失效目标输入至预训练好的目标重识别模型中进行匹配，得到匹配结果。

在另一个实施例中，将新增目标和预测跟踪目标根据预测的交叠比进行匹配。

需要说明的是，该匹配方式还可以其他方式，本申请实施例不做限制。

S140、根据匹配结果，确定第N帧图像中多个检测目标的标识。

在本申请实施例中，根据匹配后的结果，对第N帧图像中的多个检测目标进行确认。

本申请实施例提供的多目标跟踪方法，通过确定第N帧图像中的新增目标和预测跟踪失效目标，并且将该新增目标和预测跟踪失效目标进行重新匹配，根据重新匹配后的结果，确定第N帧图像中的检测目标的标识。该方法可以改善有遮挡情况下的目标追踪效果，也减少了目标标识跳变的问题，同时提升多目标跟踪算法的精度。

作为一种可能的实现方式，通过第N帧图像中的检测目标和预测跟踪目标，确定第N帧图像中的新增目标和预测跟踪失效目标。图2示出了本申请实施例提供的一种确定第N帧图像中的新增目标和预测跟踪失效目标的方法的实现流程示意图。如图2所示，该方法120包括S114至S118。

S114、将第N帧图像中的多个预测跟踪目标中的每一个预测跟踪目标，和多个检测目标分别进行匹配。

首先，获取第N帧图像中的M个检测目标，每个检测目标包括各自的类别和位置，M≥1，M为整数。获取第N帧图像中的K个预测跟踪目标，每个预测跟踪目标包括各自的标识，K≥1，K为整数。

然后，利用K个预测跟踪目标中的每一个预测跟踪目标，分别和M个检测目标进行匹配。

作为一种可能的实施方式，根据预设的交叠比(intersection over union，IOU)进行匹配，得到M×K的矩阵，将其输入到匈牙利算法中进行匹配。根据IOU阈值判断是否匹配成功。该IOU阈值可根据具体情况设定，本申请实施例不做限定。

具体地，可以将第N帧检测到的检测目标的检测框组成一个序列，同时将第N帧中具有多个预测跟踪目标的预测框组成一个序列，然后将该检测框和预测框进行IOU匹配。然后，在两个序列中任意两个矩形框之间计算IOU，选择最大的且超过某一阈值的两个对应框认为匹配成功。

S115、当匹配成功时，将匹配成功的预测跟踪目标和检测目标，分别作为第一预测跟踪目标和第一检测目标；基于第一检测目标的信息，更新第一预测目踪的信息。

在本申请实施例中，将匹配成功的预测跟踪目标作为第一预测跟踪目标，将匹配成功检测目标作为第一检测目标，并且，根据该第一检测目标更新该第一检测目标预测跟踪目标，使得更新后的预测跟踪目标包括该检测目标的标识、位置和类型。

需要说明的是，该第一预测跟踪目标可以为K个预测跟踪目标中的任意一个或者多个，该第一检测目标可以为M个检测目标中的任意一个或者多个。

可以理解的是，由于检测目标仅针对当前帧做出，因此获取的检测目标信息可以仅包括获取包围该目标的检测矩形框的位置和类别信息。而，预测跟踪目标是基于当前帧之前的目标的做出，因此获取的预测跟踪目标不仅包括获取该目标的预测矩形框的位置信息，而且还包括该目标的标识信息。即，预测的目标是在前已被检测到过且被赋予了标识的目标。

由此，在判定某一检测目标与某一预测跟踪目标相匹配的情况下，可以将该预测跟踪目标的标号赋予该检测目标，并使用该检测目标来更新该预测跟踪目标的状态信息。

S116、当匹配不成功时，将未匹配成功的检测目标，确定为新增目标。

在本申请实施例中，将匹配不成功的检测目标的跟踪器重新初始化，即确定该检测目标为新增目标。

需要说明的是，该新增目标可以为一个，也可以为多个。

作为一种可能的实施方式，将匹配不成功的预测跟踪目标确定为预测跟踪失效目标。

需要说明的是，该预测跟踪失效目标可以为一个，也可以为多个，将该一个或者多个预测跟踪失效目标保存至预测跟踪失效目标库中，以便后面进行目标重识别。

在一个实施例中，根据匹配结果，确定第N帧图像中多个检测目标的标识包括以下两种情况。

第一种情况：当新增目标和预测跟踪失效目标匹配成功时，根据新增目标的信息更新预测跟踪失效目标的信息。

作为一种可能的实现方式，在目标重识别模型中，将该新增目标和预测跟踪失效目标匹配成功的输出。同时根据将该新增目标的类别和位置的信息更新至预测跟踪失效目标中。

第二种情况，当新增目标和预测跟踪失效目标匹配次数满足预设第一条件时，当新增目标和预测跟踪失效目标匹配仍然失败时，在预测跟踪失效目标库中去除预测跟踪失效目标，并且，初始化新增目标的跟踪器。

换句话说，当新增目标和预测跟踪失效目标匹配次数不满足预测第一条件时，预测跟踪失效目标仍然匹配失败时，可继续保存在预测跟踪失效目标库中，继续和下一帧图像中的新增目标进行匹配。

在一个实施例中，当某一目标的预测跟踪失效目标在匹配了预设次数之后仍然没有与之匹配的检测目标的情况下，将该预测跟踪失效目标从预测跟踪失效目标库中剔除，并且，将没有匹配成功的检测目标重新初始化新的跟踪器。

例如，将未匹配成功的预测跟踪失效目标继续保存在预测跟踪失效目标库中，从邻近帧递归遍历与新增目标进行匹配，当连续匹配了100帧图像，仍然没有与该预测跟踪失效目标相匹配的新增目标，将该预测跟踪失效目标从预测跟踪失效库中剔除。

需要说明的是，该预设次数可根据具体情况设定，本申请实施例不做限制，示例性的，在本申请实施例中，该预设次数为100次。即，将该预测跟踪失效目标从邻近帧开始递归遍历与多帧图像中的检测目标进行匹配时，该多帧图像最多为100帧。

可选的，作为一种可能的实现方式，上述实施例提及的跟踪器，可以通过卡尔曼(Kalman)滤波器、线性滤波器、核相关滤波(KCF)跟踪器、均值漂移(MeanShift)跟踪器和连续自适应均值漂移(CamShift)跟踪器中的至少一种实现。该种实现方式，能够根据各自应用场合，灵活选择所需的预测机制。

通过上述实施例的具体介绍，可以确定该待处理图像中的第N帧图像中的每个检测目标的类别，位置和标识信息。

可选的，作为一种可能的实现方式，当该待处理图像上有预设卡口线时，可以获取上述检测目标的当前帧以及前一帧的位置框，判断该位置框的交线是否与预设卡口线相交，当该位置框的交线与预设卡口线相交时，则判断该检测目标通过了卡口，并且当检测目标通过卡口时可根据通过的数量对该检测目标的类别进行统计。

需要说明的是，该卡口线可以为道路上的某个关卡，或者某个小区的大门，或者当为了统计某个商场进出的人流，则该商场的大门可以视为一个卡口线。

比如，在本申请实施例中，检测目标为行人或者车辆，因此，当通过目标检测模型识别出来的目标为行人时，该行人的当前帧与前一帧的运动框的交线与预设卡口线相交时，行人计数累计加1。当通过目标检测模型识别出来的目标为车辆时，当该车辆的当前帧与前一帧的运动框的交线与预设卡口交线相交时，车辆计数累计加1。从而可以统计出经过该卡口线的人流量和车辆数。该种实现方式可以避免同一目标由于ID跳变而被统计多次，保证了目标统计的精度。

在一个实施例中，当待处理图像中的有一指定区域时，可以通过当前帧的检测目标的运动框的中心位置引一条射线，根据该条射线与该指定区域的交点个数判断此时该检测目标与该指定区域的位置关系。当交点个数为偶数时，则检测目标处于区域外，当交点个数为奇数时，则标识该检测目标处于该区域内。当确定该检测目标处于该区域内时，触发目标告警提醒，警示该检测目标远离该指定区域。

在一个实施例中，当每帧图像确定出上述卡口目标计数和得到区域入侵检测后，会将每帧处理结果发送至电子设备上。因此，本申请实施例还提供了一种数据发送方式。

图3示出了本申请实施例提供的数据发送方式的示意图，如图3所示，该方法300包括S310至S330。

S310、判断第N帧图像中的第一检测目标和第N-1帧图像中的第二检测目标是否相同，第一检测目标为第N帧图像中的多个目标中的任意一个，第二检测目标为第N-1帧图像中的多个目标中的任意一个。

在步骤S310中，将第N帧图像中的处理结果和第N-1帧图像中的处理结果进行对比，判断是否有相同的检测目标。

在一个实施例中，该处理结果包括通过卡口的检测目标，或者，为入侵指定区域的目标。

S320、当第一检测目标和第二检测目标相同，并且，第一检测目标和第二检测目标位置相同时，则不发送第一检测目标的信息。

在步骤S320中，当判断第N帧图像中的第一检测目标和第N-1帧图像中的第二检测目标相同，并且，该两个检测目标的位置也没发生移动时，则判断为同一检测目标，此时，在第N帧不用发送该第一检测目标给显示屏。

S330、当第一检测目标和第二检测目标相同，并且，第一检测目标和第二检测目标位置不相同时，则发送第一检测目标的信息。

在步骤S330中，当判断第N帧图像中的第一检测目标和第N-1帧图像中的第二检测目标相同，但是，该两个检测目标的位置发生了移动，则位置信息发生了移动，此时，需要将第N帧图像中的第一检测目标的信息发送给显示屏。

S340、当第一检测目标和第二检测目标不同时，则发送第一检测目标的信息。

在步骤S340中，当判断第N帧图像中的第一检测目标和第N-1帧图像中的第二检测目标均不相同时，即，该第一检测目标为新增目标，需要将第N帧图像中的第一检测目标的信息发送给显示屏。

在本申请实施例中，通过该种数据发送方式，避免了相同检测目标的信息重复发送，有效实现了目标信息的传输，提高了数据发送的效率。

下面举例说明利用本申请实施例提供的方法，进行卡口目标计数和区域入侵检测的步骤。图4示出了利用多目标跟踪方法进行卡口目标计数和区域入侵检测的流程图。

如图4所示，该方法包括以下S410至S470。

S410、获取样本图像，根据样本图像，训练目标检测模型和目标重识别模型。

首先对本申请实施例对应的城市道路上的监控场景进行拍摄或者视频采集，得到多个样本图像，通过样本图像训练离线的目标检测模型与目标重识别模型。该目标检测模型的主要框架为yolov5，该目标重识别模型以renet-50为基础，采用triplet loss和batchhard策略训练TriNet体系结构作为离线的目标重识别模型。

需要说明的是，该步骤S410为可选的步骤，可预先训练出该目标检测模型和目标重识别模型以便后续使用。

S420、获取待处理图像。

该待处理图像从城市道路的监控摄像头获得，待处理图像和样本图像可以为同一城市道路上的监控场景获取。

S430、确定待处理图像中第N帧图像中的检测目标和预测跟踪目标。

将待处理图像输入至训练好的目标检测模型里面，待处理图像包括多帧图像，当处理器检测到待处理图像的首帧图像时，给首帧图像中识别出来的每个目标，赋予一个跟踪器，该跟踪器可以用于预测目标在下一帧图像中的位置，得到该目标在下一帧图像中的预测跟踪目标。

当处理器检测到待处理图像中的第N帧图像时，其中，N≥2，N为整数，因为，每个目标在首帧已经赋予了跟踪器。因此，第N帧图像中既包括了检测目标也包括了预测跟踪目标。

例如，第N帧图像中包括M个检测目标和K个预测跟踪目标，M个检测目标对应有各自的类别和位置信息，K个预测跟踪目标中对应有各自的标识，这个标识也称ID。

图5示出了本申请实施例提供的检测目标和预测跟踪目标的匹配示意图。图5中虚线圆框为检测目标，实线圆框为预测跟踪目标。如图5中的(a)所示，M为4，K为5。该4个检测目标对应有各自的类别和位置信息，该5个预测跟踪目标中对应有各自的标识。

S440、根据第N帧图像中的检测目标和预测跟踪目标，确定第N帧图像中的新增目标和预测跟踪失效目标。

如图5中的(b)所示，对第N帧中的4个检测目标和5个预测跟踪目标进行匹配，例如，根据预设的交叠比(intersection over union，IOU)进行匹配，得到4×5的矩阵，将其输入到匈牙利算法中进行匹配。还可以根据其他算法进行匹配，本申请实施例不做限定。

假设，预设的IOU阈值为0.7，第N帧中的检测目标和预测跟踪目标对应的IOU大于0.7时，表示匹配成功，当IOU小于或者等于0.7时，则表示没有匹配成功。如图5中的(b)所示，位于区域A中的检测目标1和预测跟踪目标1匹配成功，位于区域B中的检测目标2和预测跟踪目标2匹配成功。检测目标3和检测目标4，预测跟踪目标3、预测跟踪目标4和预测跟踪目标5均没有匹配成功。

在此种情况下，将匹配成功的检测目标1的类别和位置信息更新至预测跟踪目标1中，同样的，将匹配成功的检测目标2的类别和位置信息更新至预测跟踪目标2中。

将未匹配成功的检测目标3和检测目标4的跟踪器，分别进行初始化。检测目标3和检测目标4分别作为第N帧图像中的新增目标。

如图5中的(c)所示，将未匹配成功的预测跟踪目标3、预测跟踪目标4和预测跟踪目标5分别作为预测跟踪失效目标3、预测跟踪失效目标4和预测跟踪失效目标5，并且将该预测跟踪失效目标3、预测跟踪失效目标4和预测跟踪失效目标5保存在预测跟踪失效目标库中。

S450、将第N帧图像中的新增目标和预测跟踪失效目标进行目标重识别确定第N帧图像中的新增目标和预测跟踪失效目标。

例如，可以将第N帧图像中的新增目标和预测跟踪失效目标输入目标重识别模型，利用目标重识别模型进行目标重识别，得到匹配成功的新增目标和预测跟踪失效目标。当然，可以利用其他方法实现目标重识别，本申请实施例不做限制。

图6示出了本申请实施例提供的新增目标和预测跟踪失效目标的目标重识别示意图，图6中虚线圆框为新增目标，实线圆框为预测跟踪失效目标。

如图6中的(a)所示为第N帧图像中的新增目标3和新增目标4，如图6中的(b)所示为第N帧图像中的预测跟踪失效目标3、预测跟踪失效目标4和预测跟踪失效目标5。

将预测跟踪失效目标3、预测跟踪失效目标4和预测跟踪失效目标5分别和新增目标3和新增目标4在目标重识别模型中进行目标重识别，输出匹配成功的新增目标和预测跟踪失效目标。如图6中的(c)，将匹配成功的新增目标3和预测失效目标3从目标重识别模型中输出。新增目标4和预测跟踪失效目标4和预测跟踪失效目标5则表示未匹配成功。

此时，将新增目标3中的类别和位置信息同步给预测跟踪失效目标3。并且，如图中的6(e)所示，将预测跟踪失效目标3从预测失效目标库中去除。

如图6中的(d)所示，将未匹配成功的新增目标4重新初始化跟踪器，将未匹配成功的预测失效目标4和5继续保留在预测失效目标库中。

结合图5和图6，根据第N帧图像中匹配成功的检测目标1和检测目标2以及第N帧进行目标重识别后匹配成功的检测目标3，共同确定第N帧图像中的检测目标的标识，即，每个检测目标都有相对应的唯一的ID。

S460、确定卡口目标人数以及区域入侵检测。

基于上述步骤S410-S450确定出来的每个检测目标的ID，当应用于商场的人流量识别时，可以确定某一时间段通过该商场的人流量。

具体地，将待处理图像上的某个商场的大门作为预设卡口线，可以获取上述检测目标的当前帧以及前一帧的位置框，判断该位置框的交线是否与预设卡口线相交，当该位置框的交线与预设卡口线相交，则判断该检测目标通过了卡口，行人计数累计加1，因此，可根据检测目标通过的数量对该商场某一时间段的人流量进行统计。该种实现方式可以避免同一目标由于ID跳变而被统计多次，保证了目标统计的精度。

当待处理图像中的有一指定区域时，可以通过当前帧的检测目标的运动框的中心位置引一条射线，根据该条射线与该指定区域的交点个数判断此时该检测目标与该指定区域的位置关系，当交点个数为偶数时，则检测目标处于区域外，当交点个数为奇数时，则检测目标处于该区域内，当确定该检测目标处于该区域内时，触发目标告警提醒，警示目标远离该区域。

S470、将卡口目标人数以及区域入侵检测结果输出。

在一个实施例中，将待处理图像中的每帧算法的处理结果进行保存，或者在显示屏上进行显示，该处理结果可以包括卡口计数、区域内目标位置、跟踪ID、类别。

下面，对数据发送方式进行距离说明，图7示出了本申请实施例提供的每帧算法的处理结果的数据发送流程图。

如图7所示，以首帧图像的处理结果为例，将首帧算法处理结果保存在目标库中，依次判断下一帧图像中是否含有目标库中的ID，如果下一帧图像中有目标库中的ID，则判断当前库文件中对应的目标是否发生移动，如果没有发生移动，则说明该目标没有位置上的改变则不发送该目标信息。当前库中对应目标发生了移动则发送该目标信息，从而更新目标库中保存的结果信息。当判断下一帧图像中没有包含目标库中的ID时，则发送该目标信息，更新目标库中保存的结果信息。本申请实施例提供的数据发送方式，有效实现了目标信息的传输，提高了数据发送的效率。

上述结合图1-图7描述了本申请实施例提供的多目标跟踪方法的实施例。下面介绍本申请实施例提供的装置。图8示出了本申请实施例提供的装置800的示意性框图，该装置800包括处理单元801。

处理单元801，用于获取待处理图像，确定第N帧图像中的新增目标，将新增目标与预测跟踪失效目标库中的预测跟踪失效目标分别进行匹配，得到匹配结果；根据匹配结果，确定第N帧图像中多个检测目标的标识。

处理单元801，还用于将第N帧图像中的多个预测跟踪目标中的每一个预测跟踪目标，和多个检测目标分别进行匹配；当匹配成功时，将匹配成功的所述预测跟踪目标和检测目标，分别作为第一预测跟踪目标和第一检测目标；基于第一检测目标的信息，更新第一预测目踪的信息；当匹配不成功时，将未匹配成功的检测目标，确定为新增目标。将未匹配成功的预测跟踪目标，确定为预测跟踪失效目标。

处理单元801，还用于当新增目标和跟踪失效目标匹配次数满足预设第一条件时，并且匹配失败时，在预测跟踪失效目标库中，去除预测跟踪失效目标，并且，初始化新增目标的跟踪器。

处理单元801，还用于当多个检测目标为行人和车辆时，通过检测多个检测目标，确定通过卡口的行人数量和车辆数。

处理单元801，还用于判断第N帧图像中的第一检测目标和第N帧图像中的第二检测目标是否相同，当第一检测目标和第二检测目标相同，并且，第一检测目标和第二检测目标位置相同时，则不发送第一检测目标的信息；当第一检测目标和第二检测目标相同，并且，第一检测目标和所述第二检测目标位置不相同时，则发送第一检测目标的信息；当第一检测目标和第二检测目标不同时，则发送第一检测目标的信息。

下面描述本申请实施例提供的电子设备。

图9示出了本申请实施例提供的一例电子设备结构的示意图。如图9所示的，该电子设备900可以包括处理器910、显示屏920、摄像头930。

电子设备900通过GPU，显示屏920，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏920和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器910可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

处理器910可以包括一个或多个处理单元，例如：处理器910可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

处理器910中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器910中的存储器为高速缓冲存储器。该存储器可以保存处理器910刚用过或循环使用的指令或数据。如果处理器910需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器910的等待时间，因而提高了系统的效率。

显示屏920用于显示第N帧图像中的多个检测目标的标识、第一检测目标的信息以及其他图像及视频等。显示屏920包括显示面板。显示面板可以采用液晶显示屏(liquidcrystal display，LCD)，有机发光二极管(organic light-emitting diode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emittingdiode的，AMOLED)，柔性发光二极管(flex light-emitting diode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot light emitting diodes，QLED)等。在一些实施例中，电子设备900可以包括1个或N个显示屏920，N为大于1的正整数。

电子设备900通过ISP，摄像头930编解码器，GPU，显示屏920用处理器等实现拍摄功能。

ISP用于处理摄像头930数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头930中。

摄像头930用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备900可以包括1个或N个摄像头930，N为大于1的正整数。

本申请实施例还提供了一种系统芯片，该系统芯片包括：处理器和存储器，存储器用于存储计算机程序，处理器用于从存储器中调用并运行计算机程序，以使该芯片执行上述本申请实施例提供的任意一种多目标跟踪方法。

上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质。半导体介质可以是固态硬盘(solid state drive，SSD)。

本申请实施例还提供了一种计算机可读介质，用于存储计算机程序代码，该计算机程序包括用于执行上述方法中本申请实施例的多目标跟踪方法的指令。该可读介质可以是只读存储器(read-only memory，ROM)或随机存取存储器(random access memory，RAM)，本申请实施例对此不做限制。

本申请还提供了一种计算机程序产品，该计算机程序产品包括指令，当该指令被执行时，该系统分别执行对应于上述方法中的操作。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种多目标跟踪方法，其特征在于，所述方法包括：

获取待处理图像，所述待处理图像包括多帧图像，每帧图像中包括多个检测目标，和/或，多个预测跟踪目标；

确定第N帧图像中的新增目标，N≥2，N为整数，所述新增目标为：所述第N帧图像中的多个检测目标中，与多个预测跟踪目标未匹配成功的检测目标；

将所述新增目标与预测跟踪失效目标库中的预测跟踪失效目标分别进行匹配，得到匹配结果；所述预测跟踪失效目标为：所述第N帧图像中的所述多个预测跟踪目标中，与所述多个检测目标未匹配成功的所述预测跟踪目标；所述预测跟踪失效目标库为1个或多个所述预测跟踪失效目标的集合；

根据所述匹配结果，确定所述第N帧图像中所述多个检测目标的标识。

2.根据权利要求1所述的方法，其特征在于，所述确定第N帧图像中的新增目标，包括：

将所述第N帧图像中的所述多个预测跟踪目标中的每一个预测跟踪目标，和所述多个检测目标分别进行匹配；

当匹配成功时，将匹配成功的所述预测跟踪目标和所述检测目标，分别作为第一预测跟踪目标和第一检测目标；基于所述第一检测目标的信息，更新所述第一预测跟踪目标的信息；

当匹配不成功时，将未匹配成功的所述检测目标，确定为所述新增目标。

3.根据权利要求2所述的方法，其特征在于，所述将所述新增目标与预测跟踪失效目标库中的预测跟踪失效目标分别进行匹配，得到匹配结果，包括：

当匹配不成功时，将未匹配成功的所述预测跟踪目标，确定为所述预测跟踪失效目标。

4.根据权利要求1所述的方法，其特征在于，所述根据所述匹配结果，确定所述第N帧图像中所述多个检测目标的标识，包括：

当所述新增目标和所述预测跟踪失效目标匹配成功时，根据所述新增目标的信息，更新所述预测跟踪失效目标的信息。

5.根据权利要求4所述的方法，其特征在于，当所述新增目标和所述预测跟踪失效目标匹配次数满足预设第一条件时，所述方法还包括：

当所述新增目标和所述预测跟踪失效目标匹配失败时，在所述预测跟踪失效目标库中，去除所述预测跟踪失效目标，并且，初始化所述新增目标的跟踪器。

6.根据权利要求5所述的方法，其特征在于，当所述多个检测目标为行人和车辆时，所述方法包括：

通过检测所述多个检测目标，确定通过卡口的行人数量和车辆数。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

判断第N帧图像中的第一检测目标和第N-1帧图像中的第二检测目标是否相同，所述第一检测目标为所述第N帧图像中的多个目标中的任意一个，所述第二检测目标为所述第N-1帧图像中的多个目标中的任意一个；

当所述第一检测目标和所述第二检测目标相同，并且，所述第一检测目标和所述第二检测目标位置相同时，则不发送所述第一检测目标的信息；

当所述第一检测目标和所述第二检测目标相同，并且，所述第一检测目标和所述第二检测目标位置不相同时，则发送所述第一检测目标的信息；

当所述第一检测目标和所述第二检测目标不同时，则发送所述第一检测目标的信息。

8.一种多目标跟踪装置，其特征在于，包括：处理器及存储器；所述处理器和存储器耦合，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时执行如权利要求1至7中任一项所述的方法。

9.一种电子设备，包括处理器、摄像头、显示屏，其特征在于，所述处理器用于利用如权利要求1至7任一项所述的方法，将所述摄像头获取到的待处理图像进行处理，将处理后的所述第N帧图像中所述多个检测目标的标识显示在所述显示屏上。

10.根据权利要求9所述的电子设备，其特征在于，所述显示屏还用于显示第一检测目标的信息。

Images