CN109325961B - 无人机视频多目标跟踪方法及装置 - Google Patents

Abstract

本发明实施例提供一种无人机视频多目标跟踪方法及装置，该方法包括：根据每个目标在当前帧图像中的第一位置信息及当前帧图像的下一帧图像，采用每个目标分别对应的跟踪模型，预测获得每个目标在下一帧图像中的第二位置信息；对于每个目标，若根据第二位置信息及下一帧图像判断获知目标没有离开跟踪区域，则将第二位置信息记录为目标在下一帧图像中的目标位置信息。本发明实施例根据每个目标在当前帧图像中的第一位置信息及下一帧图像，采用跟踪模型，预测获得目标在下一帧图像中的第二位置信息，在确认目标没有离开跟踪区域后，将第二位置信息记录为目标在下一帧图像中的目标位置信息，能够实现基于无人机视频对跟踪区域内的多个目标进行跟踪。

Description

无人机视频多目标跟踪方法及装置

技术领域

本发明实施例涉及计算机视觉领域，更具体地，涉及一种无人机视频多目标跟踪方法及装置。

背景技术

近年来，随着自动化技术、计算机视觉技术等科技领域水平的不断提高，无人机在军用、工业和民用领域都得到了快速发展。无人机的目标跟踪技术作为无人机应用技术的一个重要分支，在多方面具有广泛的应用前景，受到了极大关注，成为该领域当前最活跃的研究方向之一。目标跟踪的主要目的是通过处理与分析，从成像传感器获得的图像序列，计算出运动目标在每一帧图像上的二维坐标位置，将图像序列中连续帧里的同一运动目标关联起来，获取运动目标完整的运动轨迹。简单的说，就是在下一帧图像中找到目标的确定位置，并反馈给跟踪系统进行跟踪。现有技术中，针对于无人机视频的目标跟踪常采用的方法包括卡尔曼滤波跟踪算法、meanshift跟踪算法、卡尔曼与meanshift结合的目标跟踪算法、粒子滤波跟踪算法及相关滤波跟踪算法等，但是上述方法通常用来跟踪单个目标，无法满足多目标的跟踪需求。

发明内容

为了解决上述问题，本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的无人机视频多目标跟踪方法及装置。

根据本发明实施例的第一方面，提供一种无人机视频多目标跟踪方法，该方法包括：根据每个目标在当前帧图像中的第一位置信息及当前帧图像的下一帧图像，采用每个目标分别对应的跟踪模型，预测获得每个目标在下一帧图像中的第二位置信息；当前帧图像为无人机视频中的任意一帧图像；对于每个目标，若根据第二位置信息及下一帧图像判断获知目标没有离开跟踪区域，则将第二位置信息记录为目标在下一帧图像中的目标位置信息。

根据本发明实施例第二方面，提供了一种无人机视频多目标跟踪装置，该装置包括：预测模块，用于根据每个目标在当前帧图像中的第一位置信息及当前帧图像的下一帧图像，采用每个目标分别对应的跟踪模型，预测获得每个目标在下一帧图像中的第二位置信息；当前帧图像为无人机视频中的任意一帧图像；记录模块，用于对于每个目标，若根据第二位置信息及下一帧图像判断获知目标没有离开跟踪区域，则将第二位置信息记录为目标在下一帧图像中的目标位置信息。

根据本发明实施例的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与处理器通信连接的至少一个存储器，其中：存储器存储有可被处理器执行的程序指令，处理器调用程序指令能够执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的无人机视频多目标跟踪方法。

根据本发明实施例的第四方面，提供了一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的无人机视频多目标跟踪方法。

本发明实施例提供的无人机视频多目标跟踪方法及装置，通过根据每个目标在当前帧图像中的第一位置信息及下一帧图像，采用每个目标分别对应的跟踪模型，预测获得每个目标在下一帧图像中的第二位置信息，以及在确认目标没有离开跟踪区域后，将第二位置信息记录为目标在下一帧图像中的目标位置信息，能够实现基于无人机视频对跟踪区域内的多个目标进行跟踪。

应当理解的是，以上的一般描述和后文的细节描述是示例性和解释性的，并不能限制本发明实施例。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。

图1为本发明实施例的无人机视频多目标跟踪方法的流程示意图；

图2为本发明实施例的数据存储结构的示意图；

图3为本发明另一实施例的无人机视频多目标跟踪方法的流程示意图；

图4为本发明再一实施例的无人机视频多目标跟踪方法的流程示意图；

图5为本发明实施例的无人机视频多目标跟踪装置的结构示意图；

图6为本发明实施例的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现有技术中，卡尔曼滤波跟踪算法通过根据目标的运动信息来预测和估计目标的位置来实现跟踪，对目标的遮挡问题由一定的稳健性，但是只适用于线性系统。Meanshift跟踪算法根据目标色彩概率分布求得下一帧的位置，通过反复迭代实现目标跟踪，实现简单，计算速度快，但是存在信息单一，易受背景的影响。卡尔曼滤波与Meanshift结合的跟踪算法对这两种算法的缺点有了一定的改善。基于蒙特卡洛采样的粒子滤波在非线性、非高斯系统表现出来的优越性，使得它的应用范围非常广泛。

但是，卡尔曼滤波跟踪算法只适用于线性系统；Meanshift跟踪算法中，当跟踪目标速度较快时，会发生目标丢失，并且由于直方图特征在目标颜色特征描述方面略显匮乏，缺少空间信息，所以容易受到背景的影响。而对于高空无人机视频而言，目标尺度和场景动态变化，目标与背景相互交杂，相互影响，因此卡尔曼滤波与Meanshift跟踪算法并不适用于这种场景。粒子滤波的计算量相当大，尽管有许多改进方法提高了跟踪速度，但是面对多目标的动态场景时就不那么适用了。因此，上述滤波的跟踪算法不能很好的适用于无人机视频，并且目前现有的对无人机视频的跟踪方法大多数都以单目标跟踪为主，无法适用于多目标的跟踪需求。基于此，本发明实施例提供一种无人机视频多目标跟踪方法，该方法能够基于高空无人机可见光视频，使无人机在高空高速运动的情况下对场景中的多个目标进行动态跟踪，独立记录每一个目标的运动轨迹。参见图1，该方法包括：

101、根据每个目标在当前帧图像中的第一位置信息及当前帧图像的下一帧图像，采用每个目标分别对应的跟踪模型，预测获得每个目标在下一帧图像中的第二位置信息；当前帧图像为无人机视频中的任意一帧图像。

具体地，在步骤101中，对于每个待跟踪的目标，根据对应的第一位置信息及读取到的当前帧图像的下一帧图像，采用跟踪模型去预估每个目标在下一帧图像中的第二位置信息。本发明实施例对跟踪模型的具体类型不作限定，包括但不限于采用核相关滤波(KCF)跟踪算法建立的跟踪模型。其中，核相关滤波跟踪算法是在跟踪过程中训练一个目标检测器，使用目标检测器去检测下一帧预测位置是否是目标，然后再使用新检测结果去更新训练集进而更新目标检测器。而在训练目标检测器时一般选取目标区域为正样本，目标的周围区域为负样本，当然越靠近目标的区域为正样本的可能性越大。该算法相比于其他跟踪算法跟踪准确率相当稳定，特别是跟踪速度有了很大的提升。因此，利用KCF(核相关滤波)跟踪算法实现了动态场景下不同尺度的多目标的跟踪。

102、对于每个目标，若根据第二位置信息及下一帧图像判断获知目标没有离开跟踪区域，则将第二位置信息记录为目标在下一帧图像中的目标位置信息。

具体地，由于无人机需要对多个目标进行跟踪，因此，无人机跟踪的条件不能是跟踪某一个目标，而是跟踪设定一个跟踪区域。换言之，无人机只对跟踪区域内的目标进行跟踪，当其中一个目标离开跟踪区域后，就不对该目标继续跟踪，而继续对跟踪区域内的目标进行跟踪。因此，需要根据第二位置信息及下一帧图像依次对每个目标进行判断，若目标没有离开跟踪区域，则将第二位置信息记录为目标位置信息，否则，不记录。可以理解的是，基于跟踪模型预测的第二位置信息仅为临时存储的位置信息，只有在确认目标没有离开跟踪区域后，才将第二位置信息记录为下一帧图像的目标位置信息。

并且，在步骤102后可将下一帧图像作为当前帧图像、将目标位置信息作为第一位置信息并返回执行步骤101，从而通过循环执行步骤101和步骤102，依次对无人机视频中的每一帧图像进行处理，获得每一目标在每一帧图像的目标位置信息。根据目标位置信息可在每一帧图像中将每一目标标注出来，最终可输出每一目标在每一帧图像中的跟踪结果(即含有目标位置标注的图像)、每一个目标在每一帧图像的目标位置信息(记录为位置文件)和跟踪视频。

本发明实施例提供的方法，通过根据每个目标在当前帧图像中的第一位置信息及下一帧图像，采用每个目标分别对应的跟踪模型，预测获得每个目标在下一帧图像中的第二位置信息，以及在确认目标没有离开跟踪区域后，将第二位置信息记录为目标在下一帧图像中的目标位置信息，能够实现基于无人机视频对跟踪区域内的多个目标进行跟踪。

基于上述实施例的内容，作为一种可选实施例，预测获得每个目标在下一帧图像中的第二位置信息之后，还包括：将第二位置信息存储于数据存储结构；其中，数据存储结构包括目标编号矢量结构、目标跟踪模型矢量结构及目标位置矢量结构；目标编号矢量子结构包括多个第一单元，每个第一单元用于存储一个目标对应的编号信息；目标跟踪模型矢量结构包括多个第二单元，每个第二单元用于存储一个目标对应的跟踪模型；目标位置矢量结构包括多个第三单元及第四单元，每个第三单元用于存储一个目标的第二位置信息，每个第四单元用于存储一个目标在一帧图像中的目标位置信息；相应地，将第二位置信息记录为目标在下一帧图像中的目标位置信息之后，还包括：将目标位置信息记录至与下一帧图像及目标对应的第四单元。具体地，参见图2，数据存储结构包括三块：

其中，第一块为目标编号矢量结构，该结构包括多个第一单元(即图中的Target1和Target2等，每个Target为一个第一单元)，每一个第一单元用于存储一个目标的编号信息(每个编号信息是唯一的)，编号信息的数据类型可以为C++中string类，存储于c++中的容器类型vector；

其中，第二块为目标跟踪模型矢量结构，该结构包括多个第二单元(即图中的Tracker1和Tracker2等，每个Tracker为一个第二单元)，每一个第二单元用于存储一个目标对应的跟踪模型，其中，跟踪模型的数据类型可以为OpenCV的Tracker类，Tracker封装了多种比较成熟的跟踪算法，本发明实施例可采用其中的KCF(核相关滤波)跟踪算法，存储于c++中的容器类型vector；

其中，第三块为目标位置矢量结构，该结构包括两个部分，第一部分为第一列的目标临时存储位置，目标临时存储位置包括多个第三单元(即为图中的Location1和Location2等，每个Location为一个第三单元)，每一个第三单元用于存储目标的当前帧的位置，即为第二位置信息；第二部分为目标位置，目标位置包括多列第四单元，每一列第四单元用于存储多个目标在一帧图像中的目标位置信息，即每一个第四单元用于存储特定目标在特定帧数图像的目标位置信息，例如Location4-2用于存储编号信息为4的目标在第2帧图像的目标位置信息。另外，目标位置信息的数据类型可以为OpenCV中的Rect2d类(Rect2d为一个矩形类，其中有矩形的左上角坐标、长和宽来定义一个矩形)。存储于c++中的容器类型vector，构成了一个二维矢量。

因此，基于上述数据存储结构，矢量的每一行都代表一个目标，每个目标独立存储，只需要在分别在以上三块vector结构的末尾添加新的目标的信息就可以增加一个新的待跟踪目标，而删除目标只需要找到对应目标的行，然后删除该行。因此，基于该数据存储结构，可以很方便的实现对目标的增加和删除，各个目标独立存储互不影响，满足多目标的跟踪需求。

因此，在上述数据存储结构的基础上，在步骤101中得到下一帧图像的第二位置信息后，将该第二位置信息存储至该目标对应的第三单元，并在步骤102确认目标没有离开跟踪区域后，将第二位置信息作为目标位置信息存储至与该目标及下一帧图像对应的第四单元中。

另外，在执行步骤101前，可对无人机视频进行读取以及对目标的位置文件的解析读入；具体地，先获取每个目标在当前帧图像中的第一位置信息，获取的方式包括但不限于以下方式：参见图3，可首先利用OpenCV打开无人机视频(即可见光视频)，读取无人机视频中的任意一帧图像，该图像即为当前帧图像。可以理解的是，由于需要获取当前帧图像的下一帧图像，因此，该当前帧图像不应为无人机视频中的最后一帧图像。然后，读取存储待跟踪的目标的位置的txt文件，进行文件解析后，将目标的编号信息和第一位置信息(即目标位置信息)读入数据存储结构中的对应位置(目标的编号信息存储在第一单元，第一位置信息存储第四单元)。换言之，该txt文件中存储有每个目标的第一位置信息，通过读取该txt文件，即可获得第一位置信息。之后，可对目标进行初始化，具体调用OpenCV库的Tracker类对输入的目标初始化，获得该目标对应的跟踪模型，例如选择KCF(核相关滤波)跟踪方法，将所有初始化获得的每个目标对应的跟踪模型存储在对应的第二单元中。

基于上述实施例的内容，作为一种可选实施例，根据第二位置信息及下一帧图像判断获知目标没有离开跟踪区域，包括：若根据第二位置信息及下一帧图像，判断目标不处于边界缓冲区域，则确认目标没有离开跟踪区域；边界缓冲区域是在下一帧图像中设置的一片图像区域。具体地，可预先对每一帧图像设置对应的边界缓冲区，该边界缓冲区是图像上的一片特定的图像区域。当根据第二位置信息判断目标所处的位置不处于该边界缓冲区内，则判定目标没有离开跟踪区域或跟踪场景，需要在数据存储结构中增加与下一帧图像及该目标对应的第四单元，并将第二位置信息位置目标位置信息记录至该第四单元。

相应地，基于上述实施例的内容，作为一种可选实施例，根据第二位置信息及下一帧图像判断获知目标没有离开跟踪区域，还包括：若根据第二位置信息及下一帧图像，判断目标处于边界缓冲区域，则确认目标离开跟踪区域，并删除第一单元中存储的目标的编号信息。具体地，若判定目标离开了跟踪区域，则无需继续跟踪该目标，将用于存储该目标的编号信息的第一单元进行删除。

基于上述实施例的内容，作为一种可选实施例，将第二位置信息记录为目标在下一帧图像中的目标位置信息之后，还包括：若判断获知跟踪区域内增加了新目标且新目标与正在跟踪的目标不重复，则在目标编号矢量结构中添加用于存储新目标的编号信息的第一单元，以及在目标跟踪模型矢量结构中添加用于存储与新目标对应的跟踪模型的第二单元，并对新目标进行跟踪。

作为一种可选实施例，提供一种确认新目标与正在跟踪的目标不重复的方法，包括但不限于：通过掩膜处理，将正在跟踪的目标进行屏蔽后，若判断获知新目标的位置与屏蔽的位置不重叠，则确认新目标与正在跟踪的目标不重复。

具体地，还需要对新增加的新目标的重复性进行检测。即，如果在无人机的跟踪期间加入了新目标，需要对其进行检测，确认该新目标是否已经存在。本发明实施例可采用掩膜处理，把正在跟踪的目标进行屏蔽，然后再添加新的新目标，当该新目标的位置与屏蔽的位置重叠时，即认为该新目标已存在，无需继续进行跟踪。如果不存在，则可按照上述对无人机视频进行读取以及对目标的位置文件的解析读入，以及对目标进行初始化的步骤在数据存储结构中进行相应的设置，从而将新目标的编号信息存储至第一单元，将跟踪模型存储至第二单元，以对该新目标进行跟踪。

本发明实施例提供的方法，动态检测场景的内的目标，实现对新加入目标的重复检测，自动增加或删除，当场景内不存在跟踪目标时自动终止程序。重复目标检测方法，采用掩膜处理方法，对重复目标进行判断，比常规的特征匹配方法有更高的效率，缩短了处理时间。并经过测试对掩膜区域进行了合理的扩充，提高了检测的准确性。

基于上述实施例的内容，作为一种可选实施例，删除第一单元中存储的目标的编号信息之后，还包括：若确认存储有目标的编号信息的第一单元的数量为零，则确认跟踪结束。具体地，参见图4，由于每次目标离开跟踪区域后，都会删除该目标的编号信息，因此，若存储编号信息的第一单元的数量为0后，表明跟踪区域内没有待跟踪的目标，可以结束跟踪，终止程序。

采用本发明实施例提供的无人机视频多目标跟踪方法，不同数量的目标的跟踪速度如下表1所示，不同尺寸的目标的跟踪速度如下表2所示：

表1不同数量目标的跟踪速度

目标数	跟踪时间(多帧结果取平均值)
		18	178ms
16	160ms
		14	135ms
12	119ms
		10	100ms
8	78ms
		6	55ms
5	45ms
		4	38ms
3	28ms
		2	19ms
1	12ms

表2不同尺寸目标的跟踪速度

目标尺寸	跟踪速度(多帧结果取平均值)
		40X40(1600pix)	4.8ms
50X50(2500pix)	7.5ms
		60X60(3600pix)	9.4ms
70X70(4900pix)	11.7ms
		80X80(6400pix)	15.6ms

因此，本发明实施例提供的无人机视频多目标跟踪方法实现了对无人机视频中多目标的动态的跟踪，并采用特定设计的数据存储结构将目标之间独立存储，动态输出目标的位置。结果表明，本发明实施例能够同时稳定跟踪每一个目标，并记录其轨迹，采用的(KCF)核相关滤波跟踪使得跟踪速度也比其他跟踪算法有很大的提升。

基于上述实施例的内容，本发明实施例提供了一种无人机视频多目标跟踪装置，该无人机视频多目标跟踪装置用于执行上述方法实施例中的无人机视频多目标跟踪方法。参见图5，该装置包括：

预测模块501，用于根据每个目标在当前帧图像中的第一位置信息及当前帧图像的下一帧图像，采用每个目标分别对应的跟踪模型，预测获得每个目标在下一帧图像中的第二位置信息；当前帧图像为无人机视频中的任意一帧图像。

具体地，对于每个待跟踪的目标，预测模块501根据对应的第一位置信息及读取到的当前帧图像的下一帧图像，采用跟踪模型去预估每个目标在下一帧图像中的第二位置信息。本发明实施例对跟踪模型的具体类型不作限定，包括但不限于采用核相关滤波(KCF)跟踪算法建立的跟踪模型。

记录模块502，用于对于每个目标，若根据第二位置信息及下一帧图像判断获知目标没有离开跟踪区域，则将第二位置信息记录为目标在下一帧图像中的目标位置信息。

具体地，由于无人机需要对多个目标进行跟踪，因此，无人机跟踪的条件不能是跟踪某一个目标，而是跟踪设定一个跟踪区域。换言之，无人机只对跟踪区域内的目标进行跟踪，当其中一个目标离开跟踪区域后，就不对该目标继续跟踪，而继续对跟踪区域内的目标进行跟踪。因此，记录模块502需要根据第二位置信息及下一帧图像依次对每个目标进行判断，若目标没有离开跟踪区域，则将第二位置信息记录为目标位置信息，否则，不记录。可以理解的是，基于跟踪模型预测的第二位置信息仅为临时存储的位置信息，只有记录模块502在确认目标没有离开跟踪区域后，才将第二位置信息记录为下一帧图像的目标位置信息。

并且，还可将下一帧图像作为当前帧图像、将目标位置信息作为第一位置信息重新输入预测模块501，从而通过循环执行预测模块501和记录模块502，依次对无人机视频中的每一帧图像进行处理，获得每一目标在每一帧图像的目标位置信息。根据目标位置信息可在每一帧图像中将每一目标标注出来，最终可输出每一目标在每一帧图像中的跟踪结果(即含有目标位置标注的图像)、每一个目标在每一帧图像的目标位置信息(记录为位置文件)和跟踪视频。

本发明实施例提供的装置，通过根据每个目标在当前帧图像中的第一位置信息及下一帧图像，采用每个目标分别对应的跟踪模型，预测获得每个目标在下一帧图像中的第二位置信息，以及在确认目标没有离开跟踪区域后，将第二位置信息记录为目标在下一帧图像中的目标位置信息，能够实现基于无人机视频对跟踪区域内的多个目标进行跟踪。

作为一种可选实施例，预测模块在预测获得每个目标在下一帧图像中的第二位置信息之后，还用于：将第二位置信息存储于数据存储结构；

其中，数据存储结构包括目标编号矢量结构、目标跟踪模型矢量结构及目标位置矢量结构；目标编号矢量子结构包括多个第一单元，每个第一单元用于存储一个目标对应的编号信息；目标跟踪模型矢量结构包括多个第二单元，每个第二单元用于存储一个目标对应的跟踪模型；目标位置矢量结构包括多个第三单元及第四单元，每个第三单元用于存储一个目标的第二位置信息，每个第四单元用于存储一个目标在一帧图像中的目标位置信息；相应地，记录模块在将第二位置信息记录为目标在下一帧图像中的目标位置信息之后，还用于：将目标位置信息记录至与下一帧图像及目标对应的第四单元。

作为一种可选实施例，记录模块，包括：判断单元，用于若根据第二位置信息及下一帧图像，判断目标不处于边界缓冲区域，则确认目标没有离开跟踪区域；边界缓冲区域是在下一帧图像中设置的一片图像区域。

作为一种可选实施例，判断单元还用于：若根据第二位置信息及下一帧图像，判断目标处于边界缓冲区域，则确认目标离开跟踪区域，并删除第一单元中存储的目标的编号信息。

作为一种可选实施例，记录模块还包括：重复判断单元在将第二位置信息记录为目标在下一帧图像中的目标位置信息之后，用于若判断获知跟踪区域内增加了新目标且新目标与正在跟踪的目标不重复，则在目标编号矢量结构中添加用于存储新目标的编号信息的第一单元，以及在目标跟踪模型矢量结构中添加用于存储与新目标对应的跟踪模型的第二单元，并对新目标进行跟踪。

作为一种可选实施例，重复判断单元具体用于：通过掩膜处理，将正在跟踪的目标进行屏蔽后，若判断获知新目标的位置与屏蔽的位置不重叠，则确认新目标与正在跟踪的目标不重复。

作为一种可选实施例，判断单元在删除第一单元中存储的目标的编号信息之后，还用于：若确认存储有目标的编号信息的第一单元的数量为零，则确认跟踪结束。

本发明实施例提供了一种电子设备，如图6所示，该设备包括：处理器(processor)601、存储器(memory)602和总线603；其中，处理器601及存储器602分别通过总线603完成相互间的通信；处理器601用于调用存储器602中的程序指令，以执行上述实施例所提供的无人机视频多目标跟踪方法，例如包括：根据每个目标在当前帧图像中的第一位置信息及当前帧图像的下一帧图像，采用每个目标分别对应的跟踪模型，预测获得每个目标在下一帧图像中的第二位置信息；当前帧图像为无人机视频中的任意一帧图像；对于每个目标，若根据第二位置信息及下一帧图像判断获知目标没有离开跟踪区域，则将第二位置信息记录为目标在下一帧图像中的目标位置信息。

本发明实施例还提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令使计算机执行对应实施例所提供的无人机视频多目标跟踪方法，例如包括：根据每个目标在当前帧图像中的第一位置信息及当前帧图像的下一帧图像，采用每个目标分别对应的跟踪模型，预测获得每个目标在下一帧图像中的第二位置信息；当前帧图像为无人机视频中的任意一帧图像；对于每个目标，若根据第二位置信息及下一帧图像判断获知目标没有离开跟踪区域，则将第二位置信息记录为目标在下一帧图像中的目标位置信息。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的电子设备等实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种无人机视频多目标跟踪方法，其特征在于，包括：

根据每个目标在当前帧图像中的第一位置信息及所述当前帧图像的下一帧图像，采用每个所述目标分别对应的跟踪模型，预测获得每个所述目标在所述下一帧图像中的第二位置信息；所述当前帧图像为无人机视频中的任意一帧图像；

对于每个所述目标，若根据所述第二位置信息及所述下一帧图像判断获知所述目标没有离开跟踪区域，则将所述第二位置信息记录为所述目标在所述下一帧图像中的目标位置信息；

所述预测获得每个所述目标在所述下一帧图像中的第二位置信息之后，还包括：

将所述第二位置信息存储于数据存储结构；

其中，所述数据存储结构包括目标编号矢量结构、目标跟踪模型矢量结构及目标位置矢量结构；所述目标编号矢量子结构包括多个第一单元，每个所述第一单元用于存储一个所述目标对应的编号信息；所述目标跟踪模型矢量结构包括多个第二单元，每个所述第二单元用于存储一个所述目标对应的所述跟踪模型；所述目标位置矢量结构包括多个第三单元及第四单元，每个所述第三单元用于存储一个所述目标的所述第二位置信息，每个所述第四单元用于存储一个所述目标在一帧图像中的所述目标位置信息；

相应地，所述将所述第二位置信息记录为所述目标在所述下一帧图像中的目标位置信息之后，还包括：

将所述目标位置信息记录至与所述下一帧图像及所述目标对应的所述第四单元。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第二位置信息及所述下一帧图像判断获知所述目标没有离开跟踪区域，包括：

若根据所述第二位置信息及所述下一帧图像，判断所述目标不处于边界缓冲区域，则确认所述目标没有离开所述跟踪区域；所述边界缓冲区域是在所述下一帧图像中设置的一片图像区域。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第二位置信息及所述下一帧图像判断获知所述目标没有离开跟踪区域，还包括：

若根据所述第二位置信息及所述下一帧图像，判断所述目标处于所述边界缓冲区域，则确认所述目标离开所述跟踪区域，并删除所述第一单元中存储的所述目标的编号信息。

4.根据权利要求2所述的方法，其特征在于，所述将所述第二位置信息记录为所述目标在所述下一帧图像中的目标位置信息之后，还包括：

若判断获知所述跟踪区域内增加了新目标且所述新目标与正在跟踪的所述目标不重复，则在所述目标编号矢量结构中添加用于存储所述新目标的编号信息的第一单元，以及在所述目标跟踪模型矢量结构中添加用于存储与所述新目标对应的跟踪模型的第二单元，并对所述新目标进行跟踪。

5.根据权利要求4所述的方法，其特征在于，通过以下方式确认所述新目标与正在跟踪的所述目标不重复：

通过掩膜处理，将正在跟踪的所述目标进行屏蔽后，若判断获知所述新目标的位置与屏蔽的位置不重叠，则确认所述新目标与正在跟踪的所述目标不重复。

6.根据权利要求3所述的方法，其特征在于，所述删除所述第一单元中存储的所述目标的编号信息之后，还包括：

若确认存储有所述目标的编号信息的所述第一单元的数量为零，则确认跟踪结束。

7.一种无人机视频多目标跟踪装置，其特征在于，包括：

预测模块，用于根据每个目标在当前帧图像中的第一位置信息及所述当前帧图像的下一帧图像，采用每个所述目标分别对应的跟踪模型，预测获得每个所述目标在所述下一帧图像中的第二位置信息；所述当前帧图像为无人机视频中的任意一帧图像；

所述预测获得每个所述目标在所述下一帧图像中的第二位置信息之后，还包括：

将所述第二位置信息存储于数据存储结构；

其中，所述数据存储结构包括目标编号矢量结构、目标跟踪模型矢量结构及目标位置矢量结构；所述目标编号矢量子结构包括多个第一单元，每个所述第一单元用于存储一个所述目标对应的编号信息；所述目标跟踪模型矢量结构包括多个第二单元，每个所述第二单元用于存储一个所述目标对应的所述跟踪模型；所述目标位置矢量结构包括多个第三单元及第四单元，每个所述第三单元用于存储一个所述目标的所述第二位置信息，每个所述第四单元用于存储一个所述目标在一帧图像中的所述目标位置信息；

相应地，所述将所述第二位置信息记录为所述目标在所述下一帧图像中的目标位置信息之后，还包括：

将所述目标位置信息记录至与所述下一帧图像及所述目标对应的所述第四单元；

记录模块，用于对于每个所述目标，若根据所述第二位置信息及所述下一帧图像判断获知所述目标没有离开跟踪区域，则将所述第二位置信息记录为所述目标在所述下一帧图像中的目标位置信息。

8.一种电子设备，其特征在于，包括：

至少一个处理器；

以及与所述处理器通信连接的至少一个存储器，其中：

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至6任一所述的方法。

9.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至6任一所述的方法。

Images