CN111369590A - 多目标跟踪方法、装置、存储介质及电子设备 - Google Patents

Abstract

本公开涉及一种多目标跟踪方法、装置、存储介质及电子设备，以解决相关技术中存在的问题，提高多目标跟踪的准确性。该方法包括：在预设检测框内，对目标帧图像进行目标检测，确定目标帧图像中多个目标的特征信息；根据目标帧图像中预设跟踪框内的目标以及预设跟踪模型，确定预估跟踪目标；针对多个目标中的每个目标，在多个预估跟踪目标中，确定与该目标的关联度大于或等于预设关联度的预估跟踪目标；根据预估跟踪目标位于预设跟踪框内的概率，计算预估跟踪目标的跟踪置信度；响应于预估跟踪目标的跟踪置信度小于或等于第一预设置信度，将检测到的目标的特征信息作为目标帧图像的下一帧图像待跟踪目标的特征信息，并进行目标跟踪。

Description

多目标跟踪方法、装置、存储介质及电子设备

技术领域

本公开涉及计算机技术领域，具体地，涉及一种多目标跟踪方法、装置、存储介质及电子设备。

背景技术

多目标跟踪在实时监控中具有重要的作用，可以在监控视频中同时跟踪多个目标，广泛应用于安防监控、自动驾驶等场景。但是，在多目标跟踪过程中，可能由于摄像头的设置位置不合适，导致靠近摄像头位置的监控图像偏大，远离摄像头位置的监控图像偏小，即导致同一物体或人像的尺度变化巨大。在此种情况下，如果长时间进行目标跟踪，则可能导致漂移现象，甚至导致跟踪目标的丢失。

发明内容

本公开的目的是提供一种多目标跟踪方法、装置、存储介质及电子设备，以解决相关技术中存在的问题，提高多目标跟踪的准确性。

为了实现上述目的，第一方面，本公开提供一种多目标跟踪方法，所述方法包括：

在预设检测框内，对目标帧图像进行目标检测，确定所述目标帧图像中多个目标的特征信息，所述特征信息包括目标的尺寸信息和位置信息；

根据所述目标帧图像中预设跟踪框内的目标以及预设跟踪模型，确定预估跟踪目标；

针对所述多个目标中的每个目标，在多个所述预估跟踪目标中，确定与所述目标的关联度大于或等于预设关联度的预估跟踪目标；

根据所述预估跟踪目标位于所述预设跟踪框内的概率，计算所述预估跟踪目标的跟踪置信度；

响应于所述预估跟踪目标的跟踪置信度小于或等于第一预设置信度，将检测到的所述目标的特征信息作为所述目标帧图像的下一帧图像待跟踪目标的特征信息，并进行目标跟踪。

可选地，所述将检测到的所述目标的特征信息作为所述目标帧图像的下一帧图像待跟踪目标的特征信息进行目标跟踪，包括：

确定检测到的所述目标与所述预估跟踪目标之间的相似度；

响应于所述相似度大于或等于第一预设相似度，将检测到的所述目标的特征信息作为所述目标帧图像的下一帧图像待跟踪目标的特征信息进行目标跟踪。

可选地，所述方法还包括：

响应于所述预估跟踪目标的跟踪置信度小于或等于第二预设置信度，且所述目标帧图像之前的帧图像中、历史跟踪到的目标间的位置偏差小于或等于预设差值，扩大所述预设检测框的范围，所述第二预设置信度小于所述第一预设置信度。

可选地，所述方法还包括：

响应于在扩大后的所述预设检测框内检测到目标，确定检测到的所述目标与历史跟踪到的目标间的相似度；

响应于所述相似度大于或等于第二预设相似度，将检测到的所述目标的特征信息作为所述目标帧图像的下一帧图像待跟踪目标的特征信息进行目标跟踪。

可选地，所述扩大所述预设检测框的范围，包括：

确定所述预估跟踪目标的位置信息和尺寸信息；

以所述预估跟踪目标的位置为中心，并根据所述预估跟踪目标的尺寸，确定扩大后的所述预设检测框的范围。

可选地，所述对所述目标帧图像进行目标检测，包括：

按照预设检测周期，对所述目标帧图像进行目标检测，所述目标帧图像为每一所述预设检测周期中的初始帧图像，或者所述目标帧图像为每一所述预设检测周期中的结束帧图像。

可选地，所述确定与所述目标的关联度大于或等于预设关联度的预估跟踪目标，包括：

响应于预估跟踪目标对应的预设跟踪框与所述预设检测框之间的重叠度IoU大于或等于第一预设阈值，确定所述预估跟踪目标为与所述目标的关联度大于或等于预设关联度的预估跟踪目标；或者

响应于预估跟踪目标对应的预设跟踪框与所述预设检测框之间的广义重叠度GIoU大于或等于第二预设阈值，确定所述预估跟踪目标为与所述目标的关联度大于或等于预设关联度的预估跟踪目标。

第二方面，本公开还提供一种多目标跟踪装置，所述装置包括：

检测模块，用于在预设检测框内，对目标帧图像进行目标检测，确定所述目标帧图像中多个目标的特征信息，所述特征信息包括目标的尺寸信息和位置信息；

第一确定模块，用于根据所述目标帧图像中预设跟踪框内的目标以及预设跟踪模型，确定预估跟踪目标；

第二确定模块，用于针对所述多个目标中的每个目标，在多个所述预估跟踪目标中，确定与所述目标的关联度大于或等于预设关联度的预估跟踪目标；

计算模块，用于根据所述预估跟踪目标位于所述预设跟踪框内的概率，计算所述预估跟踪目标的跟踪置信度；

跟踪模块，用于响应于所述预估跟踪目标的跟踪置信度小于或等于第一预设置信度，将检测到的所述目标的特征信息作为所述目标帧图像的下一帧图像待跟踪目标的特征信息，并进行目标跟踪。

第三方面，本公开还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面中任一项所述方法的步骤。

第四方面，本公开还提供一种电子设备，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现第一方面中任一项所述方法的步骤。

通过上述技术方案，可以在跟踪过程中进行目标检测，并在预估跟踪目标的跟踪置信度小于或等于第一预设置信度时，将检测到的目标的特征信息作为下一帧图像待跟踪目标的特征信息进行目标跟踪。即，可以通过目标检测的结果修正目标跟踪的结果，从而提高目标跟踪的准确性，解决相关技术中由于尺度变化而导致的目标丢失问题。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1是根据本公开一示例性实施例示出的一种多目标跟踪方法的流程图；

图2是根据本公开一示例性实施例示出的一种多目标跟踪方法中预设跟踪框与预设检测框之间关联度的示意图；

图3是根据本公开另一示例性实施例示出的一种多目标跟踪方法的流程图；

图4是根据本公开一示例性实施例示出的一种多目标跟踪装置的框图；

图5是根据本公开一示例性实施例示出的一种电子设备的框图；

图6是根据本公开另一示例性实施例示出的一种电子设备的框图。

具体实施方式

以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。

多目标跟踪在实时监控中具有重要的作用，可以在监控视频中同时跟踪多个目标，广泛应用于安防监控、自动驾驶等场景。但是，在多目标跟踪过程中，可能由于摄像头的设置位置不合适，导致靠近摄像头位置的监控图像偏大，远离摄像头位置的监控图像偏小，即导致同一物体或人像的尺度变化巨大。在此种情况下，如果长时间进行目标跟踪，则可能导致漂移现象，甚至导致跟踪目标的丢失。

有鉴于此，本公开实施例提供一种多目标跟踪方法、装置、存储介质及电子设备，以解决相关技术中存在的技术问题，减少多目标跟踪过程中的漂移现象，提高多目标跟踪的准确度。

首先需要说明的是，本公开实施例中的方法可以应用于具有视频拍摄功能的电子设备，比如室内摄像头、设置在无人驾驶车辆上的摄像头，等等。或者，本公开实施例还可以应用于服务器。在此种情况下，服务器可以接收具有视频拍摄功能的电子设备发送的视频，从而执行本公开实施例中的多目标跟踪方法。

图1是根据本公开一示例性实施例示出的一种多目标跟踪方法的流程图。参照图1，该方法可以包括：

步骤101，在预设检测框内，对目标帧图像进行目标检测，确定目标帧图像中多个目标的特征信息。该特征信息包括目标的尺寸信息和位置信息。

步骤102，根据目标帧图像中预设跟踪框内的目标以及预设跟踪模型，确定预估跟踪目标。

步骤103，针对多个目标中的每个目标，在多个预估跟踪目标中，确定与该目标的关联度大于或等于预设关联度的预估跟踪目标。

步骤104，根据预估跟踪目标位于预设跟踪框内的概率，计算预估跟踪目标的跟踪置信度。

步骤105，响应于预估跟踪目标的跟踪置信度小于或等于第一预设置信度，将检测到的目标的特征信息作为目标帧图像的下一帧图像待跟踪目标的特征信息，并进行目标跟踪。

相关技术中，是通过上一帧图像中的目标以及预设跟踪模型预估下一帧图像的目标，然后下一帧图像根据上述预估的目标，确定再下一帧图像的目标，以此类推，进而实现目标跟踪。由于每一帧图像待跟踪的目标均是根据上一帧图像中的目标以及预设跟踪模型预估得到的，经过很多帧图像后，如果目标的尺寸变化较大，则可能导致目标的漂移，甚至导致目标的丢失。

而本公开实施例中，可以在跟踪过程中进行目标检测，并在预估跟踪目标的跟踪置信度小于或等于第一预设置信度时，将检测到的目标的特征信息作为下一帧图像待跟踪目标的特征信息进行目标跟踪。即，可以通过目标检测的结果修正目标跟踪的结果，从而提高目标跟踪的准确性，解决相关技术中由于尺度变化而导致的目标丢失问题。

为了使得本领域技术人员更加理解本公开实施例中的多目标跟踪方法，下面对上述各步骤进行详细举例说明。

在步骤101中，预设检测框可以是根据实际情况设定的，本公开实施例对于预设检测框的尺寸以及设定方式进行限定。比如，在可能的方式中，可以设定预设检测框为70×173像素，或者可以设定预设检测框为127×290像素，等等。

对于步骤101中的目标帧图像，若将本公开实施例中的方法应用于具有视频拍摄功能的电子设备，则目标帧图像可以是该电子设备拍摄的视频中的任一帧图像。若将本公开实施例中的方法应用于服务器，则目标帧图像可以是该服务器接收到的视频中的任一帧图像。

对目标帧图像进行目标检测，可以确定目标帧图像中多个目标的特征信息。该特征信息可以包括目标的尺寸信息和位置信息。比如，该特征信息可以包括目标在目标帧图像中所占的长度像素和宽度像素以及目标位于目标帧图像的具体位置坐标，等等。应当理解的是，在本公开实施例中对目标帧图像进行目标检测的具体过程与相关技术中类似，这里不再赘述。

在可能的方式中，可以按照预设检测周期，对目标帧图像进行目标检测。在此种情况下，目标帧图像可以是每一预设检测周期中的初始帧图像，或者目标帧图像可以是每一预设检测周期中的结束帧图像。

也即是说，在本公开实施例中，在目标跟踪过程中，可以周期性进行目标检测，比如预设检测周期为5帧，即每5帧画面进行一次目标检测，在此种情况下，可以在第1帧图像进行目标检测和目标跟踪，在第2帧至第4帧图像不进行目标检测，仅进行跟踪，然后在第5帧图像进行目标检测和目标跟踪。

当然，在可能的方式中，也可以每一帧图像进行目标检测和目标跟踪，可以根据实际需求进行设定，本公开实施例对此不作限定。应当理解的是，每一帧图像进行目标检测和目标跟踪，可能需要耗费较多的计算资源，因此优选的，可以周期性进行目标检测。

在任一帧图像中，可以检测到多个目标，为了将检测到的目标与预估跟踪目标相对应，即为了保证检测到的目标与预估跟踪目标为同一个物体或人像，可以在针对多个目标中的每个目标，在多个预估跟踪目标中，确定与该目标的关联度大于或等于预设关联度的预估跟踪目标。其中，预设关联度可以是根据实际情况设定的，本公开实施例对此不作限定。

其中，预估跟踪目标是根据目标帧图像中预设跟踪框内的目标、以及预设跟踪模型而确定的，确定预估跟踪目标的具体过程与相关技术中类似，这里不再赘述。

在可能的方式中，关联度可以通过重叠度IoU或者广义重叠度GIoU进行表示。也即是说，确定与目标的关联度大于或等于预设关联度的预估跟踪目标。可以是：响应于预估跟踪目标对应的预设跟踪框与预设检测框之间的重叠度IoU大于或等于第一预设阈值，确定预估跟踪目标为与目标的关联度大于或等于预设关联度的预估跟踪目标。或者，响应于预估跟踪目标对应的预设跟踪框与预设检测框之间的广义重叠度GIoU大于或等于第二预设阈值，确定预估跟踪目标为与目标的关联度大于或等于预设关联度的预估跟踪目标。

其中，第一预设阈值与第二预设阈值可以是根据实际情况设定的，本公开实施例对此不作限定。应当理解的是，第一预设阈值与第二预设阈值的数值可以相同，也可以不同。比如，第一预设阈值与第二预设阈值均可以设定为0.5。

需要说明的是，在目标检测中可以设定预设检测框进行检测，检测到的目标位于预设检测框中。在目标跟踪中可以设定预设跟踪框进行跟踪，跟踪到的目标位于预设跟踪框中。并且，任一帧图像中，不同目标的尺寸大多不一样，相应地，不同目标对应的预设检测框和预设跟踪框的大小也不相同。如果预设检测框与预设跟踪框的具有较多重叠部分，则表明预设检测框中的目标的尺寸与预设跟踪框中的目标的尺寸相近，可能是同一目标，从而可以确定预设检测框中的目标与预设跟踪框中的目标具有较强的关联度。

重叠度IoU指的是两个边框的交集和并集的比值，因此，在本公开实施例中，可以通过预设跟踪框与预设检测框之间交集和并集的比值，确定与目标的关联度大于或等于预设关联度的预估跟踪目标。例如，通过重叠度IoU表示目标之间的关联度，第一预设阈值设定为0.5。参照图2，若预设检测框K1与预设跟踪框K2之间的重叠度IoU为0.9，则可以确定该预设跟踪框K2对应的预估跟踪目标为与目标的关联度大于或等于预设关联度的预估跟踪目标。

但是，重叠度IoUIoU仅关注两个边框的重叠区域，无法区分两个边框之间不同的对齐方式，从而可能导致不同方向上有相同交叉级别的两个边框的重叠度IoU会完全相等。因此，为了得到更加准确的结果，在本公开实施例中，还可以通过预设跟踪框与预设检测框中之间的广义重叠度GIoU确定与目标的关联度大于或等于预设关联度的预估跟踪目标。相较于重叠度GIoU，广义重叠度GIoU不仅关注两个边框的重叠区域，还关注其他的非重叠区域，从而可以更好的反映两个边框的重叠程度，提高结果准确性。

在确定监测到的目标对应的预估跟踪目标之后，可以判断该预估跟踪目标的跟踪置信度是否小于或等于第一预设置信度。其中，跟踪置信度可以用于表征预估跟踪目标位于预设跟踪框内的概率。其具体确定方式与相关技术中类似，本公开对此不作限定。比如，在目标跟踪方式中，采用了相关滤波，那么跟踪置信度可以通过相关滤波的峰值估计值进行表示。

示例地，第一预设置信度可以是根据实际情况设定，本公开实施例对此不作限定。应当理解的是，第一预设置信度可以是预先设定的用于表征预设跟踪目标位于预设跟踪框内的较小概率，比如可以设定为0.5，等等。

若预估跟踪目标的跟踪置信度小于或等于第一预设置信度，则表明预估跟踪目标出现在预设跟踪框中的概率较低，可能出现了目标漂移现象，如果将该预估跟踪目标作为下一帧图像待跟踪的目标，则可能导致目标的丢失。为了解决该问题，在本公开实施例中，可以当预估跟踪目标的跟踪置信度小于或等于第一预设置信度时，将检测到的目标的特征信息作为下一帧图像待跟踪目标的特征信息进行目标跟踪。由于目标检测过程中确定的目标，其准确性较高，因此，可以通过目标检测的方式修正目标跟踪的结果不准确性，从而提高目标跟踪的准确性。

在实际应用中，可能存在预设跟踪框与预设检测框的关联度满足条件，但是，预设跟踪框中的目标与预设检测框中的目标不一致的情况，比如尺寸相同的预设跟踪框和预设检测框，该预设跟踪框中包括目标A，而预设检测框中包括目标B。如果直接将检测到的目标作为下一帧图像待跟踪的目标，则可能导致跟踪目标的变化，无法保证对同一目标的连续跟踪。

为了解决该问题，进一步提高多目标跟踪的准确性，在可能的方式中，还可以先确定检测到的目标与预估跟踪目标之间的相似度，响应于相似度大于或等于第一预设相似度，将检测到的目标的特征信息作为目标帧图像的下一帧图像待跟踪目标的特征信息进行目标跟踪。

示例地，可以通过NCC((Normalized Cross Correlation，归一化互相关匹配)算法确定检测到的目标与该目标对应的预估跟踪目标之间的相似度，即确定该目标与该预设跟踪目标在特征信息方面的相似度，以保证该目标与该预设跟踪目标描述的是同一物体或人像。

应当理解的是，第一预设相似度可以根据实际情况设定，本公开实施例对此不作限定。比如，可以将第一预设相似度设定为0.5，等等。

在实际应用中，可能存在目标被遮挡的问题，从而无法在预设检测区域内检测到目标。在此种情况下，考虑到被遮挡的目标可能会在原检测区域的附近再次出现，因此可以扩大预设检测框的范围。

也即是说，在可能的方式中，响应于预估跟踪目标的跟踪置信度小于或等于第二预设置信度，且目标帧图像之前的帧图像中、历史跟踪到的目标间的位置偏差小于或等于预设差值，可以扩大预设检测框的范围。

其中，第二预设置信度小于第一预设置信度。第二预设置信度可以根据实际情况设定，本公开实施例对此不作限定，只要小于第一预设置信度即可。比如，在上述举例中，第一预设置信度设定为0.5，第二预设置信度可以设定为0.3。另外，预设差值和第二预设相似度也可以根据实际情况设定，本公开实施例对此不作限定。在可能的方式中，第二预设相似度的数值可以与第一预设相似度相同。

若预估跟踪目标的跟踪置信度小于或等于第二预设置信度，则说明预设跟踪目标出现在预设跟踪框的概率很低。若目标帧图像之前的帧图像中、历史跟踪到的目标间的位置偏差小于或等于预设差值，则说明连续多帧图像中跟踪到的目标位置没有较大变化。若满足上述两个条件，则可以确定目标存在被遮挡的问题，从而可以扩大预设检测框的范围。

在可能的方式中，可以先确定预估跟踪目标的位置信息和尺寸信息，然后以预估跟踪目标的位置为中心，并根据预估跟踪目标的尺寸，确定扩大后的预设检测框的范围。例如，可以在原检测区域的附近，以预估跟踪目标的中心点为原点，3-5倍预估跟踪目标大小范围内进行目标检测。

当然，在其他可能的方式中，可以根据实际情况，按照预设尺寸参数扩大预设检测框的范围，比如预设检测框的原尺寸为70×173像素，预设尺寸参数可以为127×290像素，那么可以按照该预设尺寸参数直接将预设检测框进行扩大，等等。应当理解的是，本公开实施例对于扩大预设检测区域的方式不作限定。

在可能的方式中，还可以响应于在扩大后的预设检测框内检测到目标，确定检测到的目标与历史跟踪到的目标间的相似度，然后响应于该相似度大于或等于第二预设相似度，将检测到的目标的特征信息作为下一帧图像作为待跟踪目标的特征信息进行目标跟踪。通过这样的方式，可以将检测到的目标与历史跟踪到的目标进行关联对应，保证检测到的目标与历史跟踪到的目标为同一物体或人像。并且，可以在目标被遮挡的情况下，实现目标跟踪，避免目标跟踪过程中目标的丢失。

下面通过另一示例性实施例对本公开提供的多目标跟踪方法进行说明。参照图3，该多目标跟踪方法可以包括：

步骤301，按照预设检测周期，在预设检测框中，对视频中的目标帧图像进行目标检测，确定目标帧图像中多个目标的特征信息。其中，目标帧图像可以是每一预设检测周期中的初始帧图像，或者目标帧图像可以是每一预设检测周期中的结束帧图像。

步骤302，针对多个目标中的每个目标，在多个预估跟踪目标中，确定与该目标之间的重叠度IoU大于或等于第一预设阈值的预估跟踪目标。

步骤303，响应于预估跟踪目标的跟踪置信度小于或等于第一预设置信度，确定检测到的目标与该预估跟踪目标之间的相似度。

步骤304，响应于相似度大于或等于预设相似度，将检测到的目标的特征信息作为目标帧图像的下一帧图像待跟踪目标的特征信息进行目标跟踪。

步骤305，响应于预估跟踪目标的跟踪置信度小于或等于第二预设置信度，且所述目标帧图像之前的帧图像中、历史跟踪到的目标间的位置偏差小于或等于预设差值，扩大预设检测框的范围，进入步骤301。

上述各步骤的具体实施方式已在上文进行详细举例说明，这里不再赘述。另外应当理解的是，对于上述方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本公开并不受上文所描述的动作顺序的限制。其次，本领域技术人员也应该知悉，上文所描述的实施例属于优选实施例，所涉及的步骤并不一定是本公开所必须的。

通过上述方式，可以在跟踪过程中进行目标检测，并在预估跟踪目标的跟踪置信度小于或等于第一预设置信度时，将检测到的目标的特征信息作为下一帧图像待跟踪目标的特征信息进行目标跟踪。即，可以通过目标检测的结果修正目标跟踪的结果，提高目标跟踪的准确性，并且，可以在目标被遮挡的情况下，实现目标跟踪，解决相关技术中的目标丢失问题。

基于同一发明构思，本公开实施例还提供一种多目标跟踪装置。该装置可以通过软件、硬件或者两者结合的方式成为电子设备(比如具有视频拍摄功能的电子设备或者服务器)的部分或者全部。参照图4，多目标跟踪装置400可以包括：

检测模块401，用于在预设检测框内，对目标帧图像进行目标检测，确定所述目标帧图像中多个目标的特征信息，所述特征信息包括目标的尺寸信息和位置信息；

第一确定模块402，用于用于根据所述目标帧图像中预设跟踪框内的目标以及预设跟踪模型，确定预估跟踪目标；

第二确定模块403，用于针对所述多个目标中的每个目标，在多个预估跟踪目标中，确定与所述目标的关联度大于或等于预设关联度的预估跟踪目标；

计算模块404，用于根据所述预估跟踪目标位于所述预设跟踪框内的概率，计算所述预估跟踪目标的跟踪置信度；

跟踪模块405，用于响应于所述预估跟踪目标的跟踪置信度小于或等于第一预设置信度，将检测到的所述目标的特征信息作为所述目标帧图像的下一帧图像待跟踪目标的特征信息，并进行目标跟踪。

可选地，所述跟踪模块405用于：

确定检测到的所述目标与所述预估跟踪目标之间的相似度；

当所述相似度大于或等于第一预设相似度时，将检测到的所述目标的特征信息作为所述目标帧图像的下一帧图像待跟踪目标的特征信息进行目标跟踪。

可选地，所述装置400还包括处理模块，用于：

响应于所述预估跟踪目标的跟踪置信度小于或等于第二预设置信度，且所述目标帧图像之前的帧图像中、历史跟踪到的目标间的位置偏差小于或等于预设差值，扩大所述预设检测框的范围，所述第二预设置信度小于所述第一预设置信度。

可选地，所述装置400还包括第三确定模块，用于：

响应于扩大后的所述预设检测框内检测到目标时，确定检测到的所述目标与历史跟踪到的目标间的相似度；

响应于所述相似度大于或等于第二预设相似度时，将检测到的所述目标的特征信息作为所述目标帧图像的下一帧图像待跟踪目标的特征信息进行目标跟踪。

可选地，所述处理模块用于：

确定所述预估跟踪目标的位置信息和尺寸信息；

以所述预估跟踪目标的位置为中心，并根据所述预估跟踪目标的尺寸，确定扩大后的所述预设检测框的范围。

可选地，所述检测模块401用于：

按照预设检测周期，对所述目标帧图像进行目标检测，所述目标帧图像为每一所述预设检测周期中的初始帧图像，或者所述目标帧图像为每一所述预设检测周期中的结束帧图像。

可选地，所述第二确定模块403用于：

响应于预估跟踪目标对应的预设跟踪框与所述预设检测框之间的重叠度IoU大于或等于第一预设阈值，确定所述预估跟踪目标为与所述目标的关联度大于或等于预设关联度的预估跟踪目标；或者

响应于预估跟踪目标对应的预设跟踪框与所述预设检测框之间的广义重叠度GIoU大于或等于第二预设阈值，确定所述预估跟踪目标为与所述目标的关联度大于或等于预设关联度的预估跟踪目标。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

基于同一发明，本公开实施例还提供一种电子设备，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现上述任一多目标跟踪方法的步骤。

在一种可能的方式中，该电子设备的框图可以如图5所示。参照图5，该电子设备500可以包括：处理器501，存储器502。该电子设备500还可以包括多媒体组件503，输入/输出(I/O)接口504，以及通信组件505中的一者或多者。

其中，处理器501用于控制该电子设备500的整体操作，以完成上述的多目标跟踪方法中的全部或部分步骤。存储器502用于存储各种类型的数据以支持在该电子设备500的操作，这些数据例如可以包括用于在该电子设备500上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如第一预设关联度、第一预设置信度等等。

该存储器502可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-OnlyMemory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。

多媒体组件503可以包括屏幕、音频组件和视频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号，视频组件用于拍摄视频。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器502或通过通信组件505发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口504为处理器501和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。视频组件可以包括摄像头，用于进行视频拍摄。

通信组件505用于该电子设备500与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near Field Communication，简称NFC)，2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件505可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。

在一示例性实施例中，电子设备500可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的多目标跟踪方法。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的多目标跟踪方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器502，上述程序指令可由电子设备500的处理器501执行以完成上述的多目标跟踪方法。

在另一种可能的方式中，该电子设备的框图可以如图6所示。参照图6，该电子设备可以被提供为一服务器，可以包括处理器622，其数量可以为一个或多个，以及存储器632，用于存储可由处理器622执行的计算机程序。存储器632中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理器622可以被配置为执行该计算机程序，以执行上述的多目标跟踪方法。

另外，电子设备600还可以包括电源组件626和通信组件650，该电源组件626可以被配置为执行电子设备600的电源管理，该通信组件650可以被配置为实现电子设备600的通信，例如，有线或无线通信。此外，该电子设备600还可以包括输入/输出(I/O)接口658。电子设备600可以操作基于存储在存储器632的操作系统，例如Windows ServerTM，Mac OSXTM，UnixTM，LinuxTM等等。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的多目标跟踪方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器632，上述程序指令可由电子设备600的处理器622执行以完成上述的多目标跟踪方法。

在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的多目标跟踪方法的代码部分。

以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。

此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (10)

1.一种多目标跟踪方法，其特征在于，所述方法包括：

在预设检测框内，对目标帧图像进行目标检测，确定所述目标帧图像中多个目标的特征信息，所述特征信息包括目标的尺寸信息和位置信息；

根据所述目标帧图像中预设跟踪框内的目标以及预设跟踪模型，确定预估跟踪目标；

针对所述多个目标中的每个目标，在多个所述预估跟踪目标中，确定与所述目标的关联度大于或等于预设关联度的预估跟踪目标；

根据所述预估跟踪目标位于所述预设跟踪框内的概率，计算所述预估跟踪目标的跟踪置信度；

响应于所述预估跟踪目标的跟踪置信度小于或等于第一预设置信度，将检测到的所述目标的特征信息作为所述目标帧图像的下一帧图像待跟踪目标的特征信息，并进行目标跟踪。

2.根据权利要求1所述的方法，其特征在于，所述将检测到的所述目标的特征信息作为所述目标帧图像的下一帧图像待跟踪目标的特征信息进行目标跟踪，包括：

确定检测到的所述目标与所述预估跟踪目标之间的相似度；

响应于所述相似度大于或等于第一预设相似度，将检测到的所述目标的特征信息作为所述目标帧图像的下一帧图像待跟踪目标的特征信息进行目标跟踪。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

响应于所述预估跟踪目标的跟踪置信度小于或等于第二预设置信度，且所述目标帧图像之前的帧图像中、历史跟踪到的目标间的位置偏差小于或等于预设差值，扩大所述预设检测框的范围，所述第二预设置信度小于所述第一预设置信度。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

响应于在扩大后的所述预设检测框内检测到目标，确定检测到的所述目标与历史跟踪到的目标间的相似度；

响应于所述相似度大于或等于第二预设相似度，将检测到的所述目标的特征信息作为所述目标帧图像的下一帧图像待跟踪目标的特征信息进行目标跟踪。

5.根据权利要求3所述的方法，其特征在于，所述扩大所述预设检测框的范围，包括：

确定所述预估跟踪目标的位置信息和尺寸信息；

以所述预估跟踪目标的位置为中心，并根据所述预估跟踪目标的尺寸，确定扩大后的所述预设检测框的范围。

6.根据权利要求1-5任一所述的方法，其特征在于，所述对所述目标帧图像进行目标检测，包括：

按照预设检测周期，对所述目标帧图像进行目标检测，所述目标帧图像为每一所述预设检测周期中的初始帧图像，或者所述目标帧图像为每一所述预设检测周期中的结束帧图像。

7.根据权利要求1-5任一所述的方法，其特征在于，所述确定与所述目标的关联度大于或等于预设关联度的预估跟踪目标，包括：

响应于预估跟踪目标对应的预设跟踪框与所述预设检测框之间的重叠度IoU大于或等于第一预设阈值，确定所述预估跟踪目标为与所述目标的关联度大于或等于预设关联度的预估跟踪目标；或者

响应于预估跟踪目标对应的预设跟踪框与所述预设检测框之间的广义重叠度GIoU大于或等于第二预设阈值，确定所述预估跟踪目标为与所述目标的关联度大于或等于预设关联度的预估跟踪目标。

8.一种多目标跟踪装置，其特征在于，所述装置包括：

检测模块，用于在预设检测框内，对目标帧图像进行目标检测，确定所述目标帧图像中多个目标的特征信息，所述特征信息包括目标的尺寸信息和位置信息；

第一确定模块，用于根据所述目标帧图像中预设跟踪框内的目标以及预设跟踪模型，确定预估跟踪目标；

第二确定模块，用于针对所述多个目标中的每个目标，在多个所述预估跟踪目标中，确定与所述目标的关联度大于或等于预设关联度的预估跟踪目标；

计算模块，用于根据所述预估跟踪目标位于所述预设跟踪框内的概率，计算所述预估跟踪目标的跟踪置信度；

跟踪模块，用于响应于所述预估跟踪目标的跟踪置信度小于或等于第一预设置信度，将检测到的所述目标的特征信息作为所述目标帧图像的下一帧图像待跟踪目标的特征信息，并进行目标跟踪。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。

10.一种电子设备，其特征在于，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-7中任一项所述方法的步骤。

Images