CN104217417A - 一种视频多目标跟踪的方法及装置 - Google Patents

Abstract

本发明公开了一种视频多目标跟踪的方法及装置，该方法包括：当上一帧跟踪结果中包含跟踪目标的位置框时，针对上一帧，执行：在整体图像上分布密集网格，每个网格对应一个特征点；对所有跟踪目标的位置框，确定每个跟踪目标的位置框对应的跟踪特征点，记录对应关系和各个跟踪特征点的位置；根据上一帧中各个跟踪特征点的位置，推算出上一帧中各个跟踪特征点在当前帧的位置信息；根据推算出的各个跟踪特征点在当前帧的位置信息和记录的上一帧的所述对应关系，生成当前帧中各个跟踪目标的位置框，分别保存；输出跟踪结果后，将视频数据的下一帧确定为当前帧，循环执行上述处理，实现多目标跟踪。应用本发明，能够大幅度提高处理效率和精确度。

Description

一种视频多目标跟踪的方法及装置

技术领域

本发明涉及视频监控技术，特别涉及一种视频多目标跟踪的方法及装置。

背景技术

随着智慧城市建设的不断推进，已经初步形成了国家意义上的大规模视频监控网络。与此同时，大规模视频监控网络普及的一个最直接的后果就是产生海量的视频数据。海量视频数据对传统的智能视频分析技术手段提出了巨大的挑战。

智能视频分析中一项非常重要的任务就是动态目标捕获与跟踪，且视频检索、目标识别、行为分析、视频浓缩等多项非常重要的应用都需要用到多目标跟踪技术。

现有的多目标跟踪技术通常可以分为两大类：第一类方法是直接组合传统单目标跟踪技术，也就是对多各个目标单独进行跟踪，只是将获得的数据进行组合。这种方法的算法比较简单。但是，这种方法在每增加一个目标的情况下，就会增加对一个目标进行跟踪的数据运算量，降低了跟踪的处理速度。因此，这种方法不适用于目标很多的情况，在目标很多时，存在大量的重复计算,处理速度慢又导致了跟踪的精确度降低。

第二类方法把多个目标作为一个整体来统一处理，利用优化方法计算整体最优跟踪结果。目前，对多个目标整体进行处理的算法相对复杂，处理速度较慢。

由于第一类方法中存在大量的重复计算,而第二类方法计算复杂度高，处理速度较慢，因此这两类方法很难在工程中实际应用。此外，由于现实世界目标运动情况非常复杂，现有跟踪方法通常缺乏选取有效的跟踪特征来兼顾跟踪的稳定性和精确度。

发明内容

有鉴于此，本发明实施例的目的在于提供一种视频多目标跟踪的方法及装置，以提高多目标跟踪的处理速度。

为达到上述目的，本发明实施例公开了一种视频多目标跟踪的方法，包括步骤：

获取视频数据的当前帧；

当上一帧跟踪结果中包含跟踪目标的位置框时，针对上一帧，执行：在整体图像上分布密集网格，每个网格对应一个特征点；对所有跟踪目标的位置框，确定每个跟踪目标的位置框分别对应的跟踪特征点，并记录对应关系和各个跟踪特征点的位置；

根据记录的上一帧中各个跟踪特征点的位置，推算出上一帧中各个跟踪特征点在当前帧的位置信息；

根据推算出的各个跟踪特征点在当前帧的位置信息和记录的上一帧的所述对应关系，生成当前帧中各个跟踪目标的位置框，分别保存至跟踪结果中；

输出当前帧中各个跟踪结果后，将视频数据的下一帧确定为当前帧，循环执行上述处理，实现多目标跟踪。

较佳地，在获取视频数据的当前帧后，进一步对其中的运动目标建立当前帧的目标位置框；将当前帧的目标位置框与上一帧的跟踪结果进行比较，确定是否有新增目标位置框；当确定当前帧中有新增目标位置框时，进一步将各个新增的目标位置框，确定为跟踪目标的位置框，保存至跟踪结果中；并确定上一帧跟踪结果中是否包含跟踪目标的位置框。

较佳地，所述跟踪结果包含各个跟踪目标的位置框列表，每个跟踪目标的位置框列表中存储了该跟踪目标在每一帧的位置框。

所述将当前帧的目标位置框与上一帧的跟踪结果进行比较，确定是否有新增目标位置框，包括：

将当前帧的各个目标位置框分别与上一帧的跟踪结果中各个跟踪目标的位置框相交，分别获得当前帧的各个目标位置框与上一帧的跟踪结果中各个跟踪目标的位置框的重合度，根据重合度是否满足预设条件，确定各个目标位置框是否属于上一帧的跟踪结果中各个跟踪目标，不属于上一帧的跟踪结果中各个跟踪目标的目标位置框为新增的目标位置框。

较佳地，对其中的运动目标建立当前帧的目标位置框，包括：

通过背景建模先对当前帧中的各个运动目标画出各个运动目标的轮廓图；将各个轮廓图之外的图像，作为背景图像去除；将去除了背景图像后的图像，确定为当前帧的前景图并保存；

在当前帧的前景图上，对各个运动目标建立当前帧的目标位置框；

当确定当前帧中有新增目标位置框时，进一步对新增目标位置框进行过滤，去除环境中运动物体造成的虚假目标位置框，并将前景图中虚假目标位置框对应的轮廓图去除；

在所述针对上一帧，对所有跟踪目标的位置框，确定每个跟踪目标的位置框分别对应的跟踪特征点前，进一步根据上一帧的前景图，去除不属于前景的跟踪特征点。

较佳地，所述根据记录的上一帧中各个跟踪特征点的位置，推算出上一帧中各个跟踪特征点在当前帧的位置信息，为：根据记录的上一帧中各个跟踪特征点的位置，采用光流法，推算出上一帧中各个跟踪特征点在当前帧的位置信息，并给出各个跟踪特征点的可信度；将可信度不满足预设条件的跟踪特征点去除。

本发明实施例还公开了一种视频多目标跟踪的装置，包括：

当前帧获取单元，获取视频数据的当前帧；

上一帧跟踪特征点确定单元，当上一帧跟踪结果中包含跟踪目标的位置框时，针对上一帧，执行：在整体图像上分布密集网格，每个网格对应一个特征点；对所有跟踪目标的位置框，确定每个跟踪目标的位置框分别对应的跟踪特征点，并记录对应关系和各个跟踪特征点的位置；

当前帧特征点推算单元，根据记录的上一帧中各个跟踪特征点的位置，推算出上一帧中各个跟踪特征点在当前帧的位置信息；

跟踪结果生成单元，根据推算出的各个跟踪特征点在当前帧的位置信息和记录的上一帧的所述对应关系，生成当前帧中各个跟踪目标的位置框，分别保存至跟踪结果中；

跟踪结果输出单元，输出当前帧中各个跟踪结果后，将视频数据的下一帧确定为当前帧，将该帧返回给当前帧获取单元，实现多目标跟踪。

较佳地，所述装置还包括新增目标跟踪单元；

所述新增目标跟踪单元包括：目标位置框建立子单元、新增目标位置框确定子单元和新增目标跟踪结果保存子单元；

所述目标位置框建立子单元，在获取视频数据的当前帧后，对其中的运动目标建立当前帧的目标位置框；

所述新增目标位置框确定子单元，将当前帧的目标位置框与上一帧的跟踪结果进行比较，确定是否有新增目标位置框；

所述新增目标跟踪结果保存子单元，当确定当前帧中有新增目标位置框时，进一步将各个新增的目标位置框，确定为跟踪目标的位置框，保存至跟踪结果中，并确定上一帧跟踪结果中是否包含跟踪目标的位置框。

较佳地，所述跟踪结果包含各个跟踪目标的位置框列表，每个跟踪目标的位置框列表中存储了该跟踪目标在每一帧的位置框；

新增目标位置框确定子单元，包括重合度获得子单元和确定新子单元；

所述重合度获得子单元，将当前帧的各个目标位置框分别与上一帧的跟踪结果中各个跟踪目标的位置框相交，分别获得当前帧的各个目标位置框与上一帧的跟踪结果中各个跟踪目标的位置框的重合度；

所述确定子单元，根据重合度是否满足预设条件，确定各个目标位置框是否属于上一帧的跟踪结果中各个跟踪目标，不属于上一帧的跟踪结果中各个跟踪目标的目标位置框为新增的目标位置框。

较佳地，所述目标位置框建立子单元，包括去除背景子单元和建立子单元；所述去除背景子单元，对当前帧中的各个运动目标画出各个运动目标的轮廓图；将各个轮廓图之外的图像，作为背景图像去除；将去除了背景图像后的图像，确定为当前帧的前景图并保存；所述建立子单元，在当前帧的前景图上，对各个运动目标建立当前帧的目标位置框；

所述新增目标位置框确定子单元，进一步对新增目标位置框进行过滤，去除环境中运动物体造成的虚假目标位置框，并将前景图中虚假目标位置框对应的轮廓图去除；

所述上一帧跟踪特征点确定单元，在确定每个跟踪目标的位置框分别对应的跟踪特征点前，进一步根据上一帧的前景图，去除不属于前景的跟踪特征点。

较佳地，所述当前帧特征点推算单元，包括光流法推算子单元和去除子单元；

所述光流法推算子单元，根据记录的上一帧中各个跟踪特征点的位置，采用光流法，推算出上一帧中各个跟踪特征点在当前帧的位置信息，并给出各个跟踪特征点的可信度；

所述去除子单元，将可信度不满足预设条件的跟踪特征点去除。

由上述的技术方案可见，本发明实施例提供的视频多目标跟踪的方法及装置，具有如下优点：

（1）非常高效，本发明实施例在跟踪当前帧时，通过对上一帧所有跟踪目标的位置框，直接获得每个跟踪目标的位置框对应的跟踪特征点，推算出上一帧的所有跟踪目标的跟踪特征点在当前帧的位置，再根据各个跟踪特征点与跟踪目标的对应关系，获得当前帧中各个跟踪目标的位置框。也就是说，不管有多少个目标，通过一次处理，能够获得所有跟踪目标的跟踪数据，大幅提高了处理的速度和效率。

（2）精确度高，由于本发明实施例采用网格获得跟踪特征点的跟踪方式，极大的回避了之前方法在跟踪点选取上所遇到的种种问题，即使在非常复杂的情况下也能够非常稳定的跟踪多个目标，极大的缓解了之前多目标跟踪的稳定性和精度之间的矛盾。

当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为根据本发明实施例的一种视频多目标跟踪的方法的流程图；

图2为根据本发明实施例的另一种视频多目标跟踪的方法的流程图；

图3为根据本发明实施例的再一种视频多目标跟踪的方法的流程图；

图4为根据本发明实施例的一种视频多目标跟踪的装置的结构示意图；

图5为根据本发明实施例的另一种视频多目标跟踪的装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种视频多目标跟踪的方法及装置，通过一次处理，能够获得所有跟踪目标的跟踪数据，大幅提高了处理效率和准确率。

参见图1，根据本发明实施例的一种视频多目标跟踪的方法，包括如下步骤：

步骤101，获取视频数据的当前帧。

本步骤就是读取视频数据的当前帧，如果无法读取，则结束流程。

步骤102，当上一帧跟踪结果中包含跟踪目标的位置框时，针对上一帧，执行：在整体图像上分布密集网格，每个网格对应一个特征点；对所有跟踪目标的位置框，确定每个跟踪目标的位置框分别对应的跟踪特征点，并记录对应关系和各个跟踪特征点的位置。

在实际应用中，还可以对新增的跟踪目标，直接获取跟踪目标的位置框，保存至跟踪结果中。

步骤103，根据记录的上一帧中各个跟踪特征点的位置，推算出上一帧中各个跟踪特征点在当前帧的位置信息。

在实际应用中，本步骤可以根据记录的上一帧中各个跟踪特征点的位置，采用光流法，推算出上一帧中各个跟踪特征点在当前帧的位置信息，并给出各个跟踪特征点的可信度；然后将可信度不满足预设条件的跟踪特征点去除。这样，进一步提高了跟踪的精确度。

当然，在其他实施例中，还可以采用其他算法，例如：颜色直方图匹配法、均值偏移法等等:来推算出上一帧中各个跟踪特征点在当前帧的位置信息。

步骤104，根据推算出的各个跟踪特征点在当前帧的位置信息和记录的上一帧的所述对应关系，生成当前帧中各个跟踪目标的位置框，分别保存至跟踪结果中。

步骤105，输出当前帧中各个跟踪结果后，将视频数据的下一帧确定为当前帧，返回执行步骤101，循环执行上述处理，实现多目标跟踪。

参见图2，根据本发明实施例的另一种视频多目标跟踪的方法，包括如下步骤：

步骤201，获取视频数据的当前帧。

本步骤与图1所述步骤101完全相同，这里不再重复。

步骤202，对当前帧中的运动目标建立当前帧的目标位置框。

本步骤中，可以通过背景建模，检测出当前帧中的所有运动目标。再对检测出的所有运动目标建立当前帧的目标位置框。具体方法，可以与现有技术相同。

步骤203，判断是否有新增目标位置框，如果有，则执行步骤204；否则执行步骤206。

本实施例中，跟踪结果包含了各个跟踪目标的位置框列表，每个跟踪目标的位置框列表中存储了该跟踪目标在每一帧的位置框。

实际应用中，可以通过如下方式，判断是否有新增目标位置框：

先将当前帧的各个目标位置框分别与上一帧的跟踪结果中各个跟踪目标的位置框相交，分别获得当前帧的各个目标位置框与上一帧的跟踪结果中各个跟踪目标的位置框的重合度，根据重合度是否满足预设条件，例如：重合度大于等于90%或者85%等，确定各个目标位置框是否属于上一帧的跟踪结果中各个跟踪目标，不属于上一帧的跟踪结果中各个跟踪目标的目标位置框为新增的目标位置框。

步骤204，将各个新增的目标位置框，确定为跟踪目标的位置框，保存至跟踪结果中。

在其他实施例中，可以先对新增的目标位置框进行过滤，去除掉一些虚假的位置框，以进一步提高跟踪的精确度。

步骤205，判断上一帧跟踪结果中，是否包含跟踪目标的位置框，如果是，则执行步骤206；否则执行步骤210。

本步骤中，可以直接判断是否保存有上一帧的位置框列表，如果有，则上一帧跟踪结果中包含跟踪目标的位置框，否则不包含。

步骤206，针对上一帧，在整体图像上分布密集网格，每个网格对应一个特征点；对所有跟踪目标的位置框，确定每个跟踪目标的位置框分别对应的跟踪特征点。

理论上讲，密集网格越密，跟踪精确度越高。实际应用中，密集网格一般可以是每隔5-10个像素高宽，也可以根据运动目标的大小整体调整网格高宽。

步骤207，记录对应关系和各个跟踪特征点的位置。

本步骤中，就是记录了每个跟踪目标的位置框与各个跟踪特征点的对应关系，和各个跟踪特征点的位置。

步骤208，根据记录的上一帧中各个跟踪特征点的位置，推算出上一帧中各个跟踪特征点在当前帧的位置信息。

本步骤可以与图1所述步骤103完全相同，这里不再重复。

步骤209，根据推算出的各个跟踪特征点在当前帧的位置信息和记录的上一帧的所述对应关系，生成当前帧中各个跟踪目标的位置框，分别保存至跟踪结果中。

本步骤可以与图1所述步骤104完全相同，这里不再重复。

步骤210，输出当前帧中各个跟踪结果后，将视频数据的下一帧确定为当前帧，返回执行步骤201，循环执行上述处理，实现多目标跟踪。

参见图3，根据本发明实施例的再一种视频多目标跟踪的方法，包括如下步骤：

步骤301，获取视频数据的当前帧。

本步骤与图1所述步骤101完全相同，这里不再重复。

步骤302，对当前帧中的各个运动目标画出各个运动目标的轮廓图。

步骤303，将各个轮廓图之外的图像，作为背景图像去除；将去除了背景图像后的图像，确定为当前帧的前景图并保存。

需要说明的是，本实施例中的跟踪目标的轮廓图，包括跟踪目标的轮廓线及轮廓线内的图像。

步骤304，在当前帧的前景图上，对各个运动目标建立当前帧的目标位置框。

具体地，上述步骤302～304，可以通过背景建模，检测出当前帧中的所有运动目标，画出各个运动目标的轮廓图。再将各个轮廓图之外的图像，作为背景图像去除；将去除了背景图像后的图像，确定为当前帧的前景图并保存。再在当前帧的前景图上，对各个运动目标建立当前帧的目标位置框。

步骤305，判断是否有新增目标位置框，如果是，则执行步骤306；否则执行步骤309。

本步骤可以与图2所示步骤203完全相同，这里不再重复。

步骤306，去除虚假目标位置框。

本步骤就是对新增目标位置框进行过滤，去除环境中运动物体造成的虚假目标位置框，并将前景图中虚假目标位置框对应的轮廓图去除。

例如：对道路上的行人和交通工具进行视频跟踪的情况下，如果当前帧中有被风吹动的树叶，或者当前帧中的道路上有积水或道路某侧有河流，则会有水流动或被风吹动产生的波纹，这些树叶和波纹也是运动目标，在建立新增目标位置框时，有可能被建立了虚假的目标位置框。

在过滤时，可以通过一些预设的算法来去除这些虚假的目标位置框。例如，可以通过目标位置框的面积与要跟踪的行人和交通工具在视频上可能占的面积，去除一些微小的水的波纹的虚假位置框。或者，通过目标位置框的面积和位置框中和框外的颜色是否都是绿色来去除一些树叶的虚假位置框等等。具体地，本领域技术人员能够采用现有技术的算法来实现。

步骤307，将各个新增的目标位置框，确定为跟踪目标的位置框，保存至跟踪结果中。

本步骤可以与与图2所示步骤204完全相同，这里不再重复。

步骤308，判断上一帧跟踪结果中，是否包含跟踪目标的位置框，如果是，则执行步骤309；否则执行步骤314。

步骤309，针对上一帧，在整体图像上分布密集网格，每个网格对应一个特征点；对所有跟踪目标的位置框，确定每个跟踪目标的位置框分别对应的跟踪特征点。

本步骤与图2所示步骤206完全相同，这里不再重复。

步骤310，去除不属于前景的跟踪特征点。

本步骤就是根据上一帧的前景图，将跟踪特征点与各个跟踪目标的轮廓图相重合，如果出现位于轮廓图外的跟踪特征点，则这些跟踪特征点就是不属于前景的跟踪特征点，在本步骤中被去除。通过本步骤，进一步提高跟踪的精确度。

步骤311～步骤314，与图2所示步骤207～210，这里不再重复。

参见图4，图4为根据本发明实施例的一种视频多目标跟踪的装置的结构示意图，该装置可以与图1所示实施例相对应，包括：当前帧获取单元401、上一帧跟踪特征点确定单元402、当前帧特征点推算单元403、跟踪结果生成单元404和跟踪结果输出单元405。

其中，所述当前帧获取单元401，获取视频数据的当前帧。

所述上一帧跟踪特征点确定单元402，当上一帧跟踪结果中包含跟踪目标的位置框时，针对上一帧，执行：在整体图像上分布密集网格，每个网格对应一个特征点；对所有跟踪目标的位置框，确定每个跟踪目标的位置框分别对应的跟踪特征点，并记录对应关系和各个跟踪特征点的位置。

所述当前帧特征点推算单元403，根据记录的上一帧中各个跟踪特征点的位置，推算出上一帧中各个跟踪特征点在当前帧的位置信息。

所述跟踪结果生成单元404，根据推算出的各个跟踪特征点在当前帧的位置信息和记录的上一帧的所述对应关系，生成当前帧中各个跟踪目标的位置框，分别保存至跟踪结果中。

所述跟踪结果输出单元405，输出当前帧中各个跟踪结果后，将视频数据的下一帧确定为当前帧，将该帧返回给当前帧获取单元，实现多目标跟踪。

参见图5，图5为根据本发明实施例的另一种视频多目标跟踪的装置的结构示意图，该装置可以与图3所示实施例相对应，包括：当前帧获取单元510、上一帧跟踪特征点确定单元520、当前帧特征点推算单元530、跟踪结果生成单元540、跟踪结果输出单元550和新增目标跟踪单元560。

本实施例中，当前帧获取单元510，获取到视频数据的当前帧后，发送至新增目标跟踪单元560。

所述新增目标跟踪单元560包括：目标位置框建立子单元561、新增目标位置框确定子单元562和新增目标跟踪结果保存子单元563。

所述目标位置框建立子单元561，在获取视频数据的当前帧后，对其中的运动目标建立当前帧的目标位置框。

所述新增目标位置框确定子单元562，将当前帧的目标位置框与上一帧的跟踪结果进行比较，确定是否有新增目标位置框。

所述新增目标跟踪结果保存子单元563，当确定当前帧中有新增目标位置框时，进一步将各个新增的目标位置框，确定为跟踪目标的位置框，保存至跟踪结果中；并确定上一帧跟踪结果中是否包含跟踪目标的位置框。

所述上一帧跟踪特征点确定单元520，当上一帧跟踪结果中包含跟踪目标的位置框时，针对上一帧，执行：在整体图像上分布密集网格，每个网格对应一个特征点；对所有跟踪目标的位置框，确定每个跟踪目标的位置框分别对应的跟踪特征点，并记录对应关系和各个跟踪特征点的位置。

本实施例中，所述跟踪结果可以包含各个跟踪目标的位置框列表，每个跟踪目标的位置框列表中存储了该跟踪目标在每一帧的位置框。

另外，本实施例中的新增目标位置框确定子单元562，可以包括重合度获得子单元和确定新子单元（图5中未示出）。所述重合度获得子单元，将当前帧的各个目标位置框分别与上一帧的跟踪结果中各个跟踪目标的位置框相交，分别获得当前帧的各个目标位置框与上一帧的跟踪结果中各个跟踪目标的位置框的重合度。所述确定子单元，根据重合度是否满足预设条件，确定各个目标位置框是否属于上一帧的跟踪结果中各个跟踪目标，不属于上一帧的跟踪结果中各个跟踪目标的目标位置框为新增的目标位置框。

再有，本实施例中的所述目标位置框建立子单元561，可以包括去除背景子单元和建立子单元（图5中未示出）。所述去除背景子单元，对当前帧中的各个运动目标画出各个运动目标的轮廓图；将各个轮廓图之外的图像，作为背景图像去除；将去除了背景图像后的图像，确定为当前帧的前景图并保存。所述建立子单元，在当前帧的前景图上，对各个运动目标建立当前帧的目标位置框。

还有，本实例中的所述新增目标位置框确定子单元562，还可以进一步对新增目标位置框进行过滤，去除环境中运动物体造成的虚假目标位置框，并将前景图中虚假目标位置框对应的轮廓图去除。

如图5所示，本实施例的上一帧跟踪特征点确定单元520，当上一帧跟踪结果中包含跟踪目标的位置框时，针对上一帧，执行：在整体图像上分布密集网格，每个网格对应一个特征点；对所有跟踪目标的位置框，确定每个跟踪目标的位置框分别对应的跟踪特征点，并记录对应关系和各个跟踪特征点的位置。

实际应用中，本实施例的上一帧跟踪特征点确定单元520，在确定每个跟踪目标的位置框分别对应的跟踪特征点前，可以进一步根据上一帧的前景图，去除不属于前景的跟踪特征点。

图5中的当前帧特征点推算单元530包括：光流法推算子单元531和去除子单元532。

所述光流法推算子单元531，根据记录的上一帧中各个跟踪特征点的位置，采用光流法，推算出上一帧中各个跟踪特征点在当前帧的位置信息，并给出各个跟踪特征点的可信度。

所述去除子单元531，将可信度不满足预设条件的跟踪特征点去除。

本实施例中的跟踪结果生成单元540和跟踪结果输出单元550可以分别与图4中的跟踪结果生成单元404和跟踪结果输出单元405相同，这里不再重复。

由上述的实施例可见，本发明实施例提供的这种视频多目标跟踪方法及装置，与现有技术实时跟踪的每秒30帧的情况相比，效果非常明显，大幅提升了跟踪的处理速度、效率和精确度，在标清视频上可以最快处理120帧每秒，同时扩大了跟踪算法在实际应用的范围，能够处理更加复杂的视频场景。可见，本发明实施例提供的这种视频多目标跟踪方法及装置，可以说是一种超实时的多目标跟踪技术，可以简称为“ZTrack”。

本发明实施例中某一装置具体可以由**芯片或实体实现，或者由具有某种功能的产品来实现。

为了描述的方便，描述以上装置是以功能分为各种单元分别描述。当然，在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例或者实施例的某些部分所述的方法。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本发明可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种视频多目标跟踪的方法，其特征在于，包括步骤：

获取视频数据的当前帧；

当上一帧跟踪结果中包含跟踪目标的位置框时，针对上一帧，执行：在整体图像上分布密集网格，每个网格对应一个特征点；对所有跟踪目标的位置框，确定每个跟踪目标的位置框分别对应的跟踪特征点，并记录对应关系和各个跟踪特征点的位置；

根据记录的上一帧中各个跟踪特征点的位置，推算出上一帧中各个跟踪特征点在当前帧的位置信息；

根据推算出的各个跟踪特征点在当前帧的位置信息和记录的上一帧的所述对应关系，生成当前帧中各个跟踪目标的位置框，分别保存至跟踪结果中；

输出当前帧中各个跟踪结果后，将视频数据的下一帧确定为当前帧，循环执行上述处理，实现多目标跟踪。

2.根据权利要求1所述的方法，其特征在于：

在获取视频数据的当前帧后，进一步对其中的运动目标建立当前帧的目标位置框；

将当前帧的目标位置框与上一帧的跟踪结果进行比较，确定是否有新增目标位置框；

当确定当前帧中有新增目标位置框时，进一步将各个新增的目标位置框，确定为跟踪目标的位置框，保存至跟踪结果中；并确定上一帧跟踪结果中是否包含跟踪目标的位置框。

3.根据权利要求2所述的方法，其特征在于：所述跟踪结果包含各个跟踪目标的位置框列表，每个跟踪目标的位置框列表中存储了该跟踪目标在每一帧的位置框；

所述将当前帧的目标位置框与上一帧的跟踪结果进行比较，确定是否有新增目标位置框，包括：

将当前帧的各个目标位置框分别与上一帧的跟踪结果中各个跟踪目标的位置框相交，分别获得当前帧的各个目标位置框与上一帧的跟踪结果中各个跟踪目标的位置框的重合度，根据重合度是否满足预设条件，确定各个目标位置框是否属于上一帧的跟踪结果中各个跟踪目标，不属于上一帧的跟踪结果中各个跟踪目标的目标位置框为新增的目标位置框。

4.根据权利要求2所述的方法，其特征在于：对其中的运动目标建立当前帧的目标位置框，包括：

通过背景建模先对当前帧中的各个运动目标画出各个运动目标的轮廓图；将各个轮廓图之外的图像，作为背景图像去除；将去除了背景图像后的图像，确定为当前帧的前景图并保存；

在当前帧的前景图上，对各个运动目标建立当前帧的目标位置框；

当确定当前帧中有新增目标位置框时，进一步对新增目标位置框进行过滤，去除环境中运动物体造成的虚假目标位置框，并将前景图中虚假目标位置框对应的轮廓图去除；

在所述针对上一帧，对所有跟踪目标的位置框，确定每个跟踪目标的位置框分别对应的跟踪特征点前，进一步根据上一帧的前景图，去除不属于前景的跟踪特征点。

5.根据权利要求1-4任一项所述的方法，其特征在于：

所述根据记录的上一帧中各个跟踪特征点的位置，推算出上一帧中各个跟踪特征点在当前帧的位置信息，为：根据记录的上一帧中各个跟踪特征点的位置，采用光流法，推算出上一帧中各个跟踪特征点在当前帧的位置信息，并给出各个跟踪特征点的可信度；

将可信度不满足预设条件的跟踪特征点去除。

6.一种视频多目标跟踪的装置，其特征在于，包括：

当前帧获取单元，获取视频数据的当前帧；

上一帧跟踪特征点确定单元，当上一帧跟踪结果中包含跟踪目标的位置框时，针对上一帧，执行：在整体图像上分布密集网格，每个网格对应一个特征点；对所有跟踪目标的位置框，确定每个跟踪目标的位置框分别对应的跟踪特征点，并记录对应关系和各个跟踪特征点的位置；

当前帧特征点推算单元，根据记录的上一帧中各个跟踪特征点的位置，推算出上一帧中各个跟踪特征点在当前帧的位置信息；

跟踪结果生成单元，根据推算出的各个跟踪特征点在当前帧的位置信息和记录的上一帧的所述对应关系，生成当前帧中各个跟踪目标的位置框，分别保存至跟踪结果中；

跟踪结果输出单元，输出当前帧中各个跟踪结果后，将视频数据的下一帧确定为当前帧，将该帧返回给当前帧获取单元，实现多目标跟踪。

7.根据权利要求6所述的装置，其特征在于：还包括新增目标跟踪单元；

所述新增目标跟踪单元包括：目标位置框建立子单元、新增目标位置框确定子单元和新增目标跟踪结果保存子单元；

所述目标位置框建立子单元，在获取视频数据的当前帧后，对其中的运动目标建立当前帧的目标位置框；

所述新增目标位置框确定子单元，将当前帧的目标位置框与上一帧的跟踪结果进行比较，确定是否有新增目标位置框；

所述新增目标跟踪结果保存子单元，当确定当前帧中有新增目标位置框时，进一步将各个新增的目标位置框，确定为跟踪目标的位置框，保存至跟踪结果中，并确定上一帧跟踪结果中是否包含跟踪目标的位置框。

8.根据权利要求7所述的装置，其特征在于：所述跟踪结果包含各个跟踪目标的位置框列表，每个跟踪目标的位置框列表中存储了该跟踪目标在每一帧的位置框；

新增目标位置框确定子单元，包括重合度获得子单元和确定新子单元；

所述重合度获得子单元，将当前帧的各个目标位置框分别与上一帧的跟踪结果中各个跟踪目标的位置框相交，分别获得当前帧的各个目标位置框与上一帧的跟踪结果中各个跟踪目标的位置框的重合度；

所述确定子单元，根据重合度是否满足预设条件，确定各个目标位置框是否属于上一帧的跟踪结果中各个跟踪目标，不属于上一帧的跟踪结果中各个跟踪目标的目标位置框为新增的目标位置框。

9.根据权利要求7所述的装置，其特征在于：

所述目标位置框建立子单元，包括去除背景子单元和建立子单元；所述去除背景子单元，对当前帧中的各个运动目标画出各个运动目标的轮廓图；将各个轮廓图之外的图像，作为背景图像去除；将去除了背景图像后的图像，确定为当前帧的前景图并保存；所述建立子单元，在当前帧的前景图上，对各个运动目标建立当前帧的目标位置框；

所述新增目标位置框确定子单元，进一步对新增目标位置框进行过滤，去除环境中运动物体造成的虚假目标位置框，并将前景图中虚假目标位置框对应的轮廓图去除；

所述上一帧跟踪特征点确定单元，在确定每个跟踪目标的位置框分别对应的跟踪特征点前，进一步根据上一帧的前景图，去除不属于前景的跟踪特征点。

10.根据权利要求6-9任一项所述的装置，其特征在于：

所述当前帧特征点推算单元，包括光流法推算子单元和去除子单元；

所述光流法推算子单元，根据记录的上一帧中各个跟踪特征点的位置，采用光流法，推算出上一帧中各个跟踪特征点在当前帧的位置信息，并给出各个跟踪特征点的可信度；

所述去除子单元，将可信度不满足预设条件的跟踪特征点去除。