CN114170545A - 一种数据处理方法、装置、存储介质及电子装置 - Google Patents

Abstract

本发明实施例提供了一种数据处理方法、装置、存储介质及电子装置，通过对目标视频流进行解码，获取图片流和帧运动向量集，其中所述帧运动向量集包含所有目标对象的表征信息，基于检测模型，确定至少一个目标对象，并基于所述图片流和所述帧运动向量集，利用所述检测模型获取所述至少一个目标对象的基础信息和所述表征信息，基于所述基础信息和所述表征信息，对不同帧图像中的所述目标对象进行目标关联匹配，得到目标匹配组，基于所述目标匹配组，确认所述目标匹配组中所述目标对象之间的关联信息，使得获取所述目标对象的表征信息耗费的计算力较小，提升了判断不同帧中所述目标对象是否是同一个目标对象的处理效率。

Description

一种数据处理方法、装置、存储介质及电子装置

技术领域

本发明实施例涉及数据处理领域，具体而言，涉及一种数据处理方法、装置、存储介质及电子装置。

背景技术

随着社会的发展和城市化进程的推进，城市人口变得密集，越来越多的人们喜欢在节日出行、旅游，导致城市建设中的交通、公共安全、重点区域防范等相关问题逐渐成为城市建设中的隐患因素。目前，来自于摄像头监控的图像和视频能够为城市交通建设提供相关信息，能为一些危险提前敲响警钟，帮助相关部门提前采取防范措施，为人们的平安出行提供了一定的安全保障。

显而易见的，对海量的视频数据进行实时的智能分析有着广泛的应用场景，而视频监控系统由于其高真实性、准确度、实时性被广泛应用，其中通过多目标跟踪技术(MOT)获取视频中特定目标对象的运动轨迹，是很多智能分析应用的基础。

其中多目标跟踪技术(MOT)使用先检测后跟踪的策略，基于深度检测器获取目标框坐标，提取追踪目标的基础信息，同时利用表观特征算法，获取追踪物体的表观特征。以基础信息和表观特征的组合描述作为组合标识，对其进行关联匹配。

但对于交通等应用领域的实际应用过程中，往往一台主控设备要接入数十路视频，每路视频又包含数十目标，实时处理对硬件要求非常高，为了控制硬件成本，经常不使用表观特征，或为了计算表观特征使用更加昂贵的硬件。

从上述可知，基于现有的方法在对目标对象进行跟踪识别上，提取目标物体的表观特征计算代价较大是目前主要存在的问题。

发明内容

本发明的主要优势在于提供一种数据处理方法、装置、存储介质及电子装置，以帧图像中的运动向量为表征信息，通过对目标视频流进行解码，同时获取所述目标对象的运动向量，降低了得到所述表征信息所耗费的算力。

本发明的另一优势在于提供一种数据处理方法、装置、存储介质及电子装置，以帧图像中的运动向量为表征信息，通过对目标视频流进行解码，同时获取所述目标对象的运动向量的形式，同时获取多个所述目标对象的运动轨迹，提升了对多目标对象进行跟踪时的数据处理效率。

根据本发明一实施例，提供一种数据处理方法，包括：

对目标视频流进行解码，获取图片流和帧运动向量集，其中所述帧运动向量集包含所有目标对象的表征信息；

基于检测模型，确定至少一个目标对象，并基于所述图片流和所述帧运动向量集，利用所述检测模型获取所述至少一个目标对象的基础信息和所述表征信息；

基于所述基础信息和所述表征信息，对不同帧图像中的所述目标对象进行目标关联匹配，得到目标匹配组；

基于所述目标匹配组，确认所述目标匹配组中所述目标对象之间的关联信息。

在一个示例性实施例中，所述方法还包括：

基于所述关联信息，获取所述至少一个目标对象的运动轨迹。

在一个示例性实施例中，基于检测模型，确定至少一个目标对象，并基于所述图片流和所述帧运动向量集，利用所述检测模型获取所述至少一个目标对象的基础信息和所述表征信息，包括：

通过所述检测模型的目标检测框，确定所述至少一个目标对象，其中每个所述目标对象对应一个所述目标检测框；

基于所述图片流和所述帧运动向量集，利用所述检测模型获取每一帧图像中所述目标检测框下中所述目标对象的所述基础信息和所述表征信息。

在一个示例性实施例中，基于所述目标匹配组，确认所述目标匹配组中所述目标对象之间的关联信息，包括：

对所述目标匹配组进行相似度评分，得到目标相似值；

设置第一阈值，当所述目标相似值达到所述第一阈值时，则对所述目标匹配组中的所述目标对象进行目标关联处理，得到所述目标匹配组的关联值；

设置第二阈值，基于所述关联值与所述第二阈值的关系，确认所述目标匹配组中所述目标对象之间关联信息。

在一个示例性实施例中，所述基于所述关联值与所述第二阈值的关系，确认所述目标匹配组中所述目标对象之间关联信息包括：

当所述目标匹配组的所述关联值达到所述第二阈值时，则确认所述关联信息为所述目标匹配组中的所述目标对象为同一个目标对象；

当所述目标匹配组的所述关联值未达到所述第二阈值时，则确认所述关联信息为所述目标匹配组中的所述目标对象不是同一个目标对象。

根据本发明另一实施例，提供一种数据处理装置，包括：

第一获取模块，用于对目标视频流进行解码，获取图片流和帧运动向量集，其中所述帧运动向量集包含所有目标对象的表征信息；

第二获取模块，用于基于检测模型，确定至少一个目标对象，并基于所述图片流和所述帧运动向量集，利用所述检测模型获取所述至少一个目标对象的基础信息和所述表征信息；

匹配模块，用于基于所述基础信息和所述表征信息，对不同帧图像中的所述目标对象进行目标关联匹配，得到目标匹配组；

关联信息确认模块，用于基于所述目标匹配组，确认所述目标匹配组中所述目标对象之间的关联信息。

在一个示例性实施例中，所述第二获取模块包括：

目标对象确认单元，用于通过所述检测模型的目标检测框，确定所述至少一个目标对象，其中每个所述目标对象对应一个所述目标检测框；

信息获取单元，用于基于所述图片流和所述帧运动向量集，利用所述检测模型获取每一帧图像中所述目标检测框下中所述目标对象的所述基础信息和所述表征信息。

在一个示例性实施例中，所述关联信息确认模块包括：

相似度评分单元，用于对所述目标匹配组进行相似度评分，得到目标相似值；

关联处理单元，用于设置第一阈值，当所述目标相似值达到所述第一阈值时，则对所述目标匹配组中的所述目标对象进行目标关联处理，得到所述目标匹配组的关联值；

关联信息确认单元，用于设置第二阈值，基于所述关联值与所述第二阈值的关系，确认所述目标匹配组中所述目标对象之间关联信息。

根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

附图说明

图1是根据本发明实施例的一种数据处理方法的移动终端的硬件结构框图；

图2是根据本发明实施例的一种数据处理方法的流程图；

图3是根据本发明实施例的一种数据处理装置的结构框图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明的实施例。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种检测方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置) 和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备 106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的一种检测方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

由上文发明背景可知，通过多目标跟踪技术(MOT)获取视频数据中特定目标对象的运动轨迹，需要利用表观特征算法，获取追踪物体的表观特征，而通过表观特征算法对大量视频进行实时处理和对大量目标进行跟踪处理对硬件要求非常高，为了控制硬件成本，经常不使用表观特征，或使用更加昂贵的硬件来运行表观特征算法。

为了更好的解决上述技术问题，本发明公开了一种数据处理方法、装置、存储介质及电子装置，下面的实施例中将逐一进行详细说明。

参见图2，图2示出了根据本说明书一个实施例提供的一种数据处理方法的流程图，具体包括以下步骤：

S202、对目标视频流进行解码，获取图片流和帧运动向量集，其中所述帧运动向量集包含所有目标对象的表征信息；

根据本发明一实施例，其中在步骤S202中，所述目标视频流可以是通过外部视频记录设备所获取的可能包含所述目标对象运动轨迹的的视频流，即所述目标对象的运动轨迹可能包含在所述目标视频流中，也可能没有包含在所述目标视频流中。其中所述目标对象可以是人，可以是车(包含机动车、非机动车等各种车的种类)，也可以是物体，在发明提供的实施例中，所述目标对象指可移动的动态集合体，该移动方式可以是主动移动也可以是被动移动，以上为目标对象的举例，不作为限制。对应的，所述目标视频流可以为包含以上人、车、物体和或者上述组合的可移动的动态集合体的视频流。

根据本发明一实施例，优选的，在所述步骤S202中，对目标视频流进行解码可具体实施为使用ffmpeg对视频流进行解码，其中获取帧运动向量集是指在对视频流进行解码时从码流中抽取出的运动向量集，即Motion Vector的集合，其中所述帧运动向量集具体对应图片流中每一帧图像中所呈现的运动向量的集合，在本发明提供的实施例中，所述帧运动向量集包含每一帧中所有目标对象的表征信息。换句话说，此步骤中所获取的所述帧运动向量集包含了所有目标对象的运动向量。

由现有技术可知，在H.264、MPEG4等常见的视频编码协议中，编码码流由I、P、 B帧组成。其中I帧是完全帧，只需对帧内编码。P帧包含运动向量(Motion Vector，MV) 与运动补偿信息，解码时结合前向的一个或多个参考帧恢复原始数据。B帧是依赖前向与后向双向参考帧编码的数据帧。也就是说在视频编解码过程的P帧中，包含了Motion Vector, 即运动向量信息，无需额外计算。

根据本发明一实施例，所述数据处理方法还包括：

S204、基于检测模型，确定至少一个目标对象，并基于所述图片流和所述帧运动向量集，利用所述检测模型获取所述至少一个目标对象的基础信息和所述表征信息；

根据本发明一实施例，所述步骤S204还包括：

S2041、通过所述检测模型的目标检测框，确定所述至少一个目标对象，其中每个所述目标对象对应一个所述目标检测框；

S2042、基于所述图片流和所述帧运动向量集，利用所述检测模型获取每一帧图像中所述目标检测框下中所述目标对象的所述基础信息和所述表征信息。

根据本发明一实施例，优选的，所述检测模型为深度学习模型。例如Yolov5网络模型，其中Yolov5网络模型中使用的算法为单阶段目标检测算法中的代表算法，该算法将检测转化为回归思路，一次性完成目标定位与分类。根据本发明其他一些实施例，还可以适用其他可以实现同样检测功能的网络模型，这里仅为举例，不做限制。

根据本发明一实施例，可选的，其中在每一帧图像中，所述检测模型可以分别为每一帧图像中所述至少一个目标对象对应一个目标检测框。

根据本发明一实施例，所述步骤S2042具体为：根据所述目标检测框，利用所述检测模型获取每一帧图像中所述目标检测框下所述目标对象的基础信息，以及根据所述目标检测框，利用所述检测模型获取每一帧图像中所述目标检测框下中所述目标对象的表征信息。

其中所述目标对象的基础信息包括所述目标对象的位置、大小和尺寸等信息。其中所述目标对象的表征信息为所述目标对象在对所述视频流中进行解码时获取的运动向量信息，其中所述目标对象的表征信息来自对所述目标视频流进行解码获取的所述帧运动向量集。

根据本发明一实施例，可选的，根据所述目标检测框，利用所述检测模型获取每一帧图像中所述目标对象的基础信息，具体为利用所述目标检测框的中心坐标、尺度信息，以及形状比例等信息，通过所述检测模型对应得到所述目标检测框下所述目标对象的基础信息，即所述目标对象的位置、大小和尺寸等信息。

其中，根据所述目标检测框，利用所述检测模型获取每一帧图像中所述目标对象的表征信息，即运动向量，其中所述目标对象的运动向量的数目与目标检测框相关，例如逐帧图像中，类别为车的运动向量数目要比类别为人的运动向量数目多，类别细分为客车的运动向量数目要比类别为电瓶车或自行车的运动向量数目多。行人走路或车辆行驶不同姿态时，其内部的运动向量也会有不同。本发明实施例利用这些不同类型的目标对象的运动向量的可区分性，将运动向量作为所述目标对象的表征信息。

需要说明的是，早期对跟踪目标对象的研究主要基于模板匹配技术和简单部件模型展开，在此之后，目标检测取得较大进展，物体的外表特征逐渐从全局表示向着局部表示转移，出现各种各样的局部特征描述子，例如SIFT特征描述子、形状上下文特征描述子、HOG特征描述子以及LBP特征描述子。而在MOT任务中，使用以上特征描述算法计算代价大，有较大的耗时开销，增加了实际应用的成本。

而本发明提供的实施例，运用视频流的解码信息天然包含了运动矢量这一特征，在对视频流解码的同时，抽取其中包含的运动向量信息，用来作为物体的表征信息。通过这样的方式，使得计算力较小，提升了数据处理速度。

根据本发明一实施例，所述数据处理方法还包括：

S206、基于所述基础信息和所述表征信息，对不同帧图像中的所述目标对象进行目标关联匹配，得到目标匹配组；

其中在步骤S2061中，所述目标匹配组包括进行所述目标关联匹配的来自不同帧图像中的多个所述目标对象，并且所述目标匹配组的数量没有限制，可以是一个也可以是多个。

根据本发明一实施例，所述数据处理方法还包括：

S208、基于所述目标匹配组，确认所述目标匹配组中所述目标对象之间的关联信息；

其中所述步骤S208进一步包括：

S2081、对所述目标匹配组进行相似度评分，得到目标相似值；

S2082、设置第一阈值，当所述目标相似值达到所述第一阈值时，则对所述目标匹配组中的所述目标对象进行目标关联处理，得到所述目标匹配组的关联值；

S2083、设置第二阈值，基于所述关联值与所述第二阈值的关系，确认所述目标匹配组中所述目标对象之间关联信息。

根据本发明一实施例，可选的，其中所述不同帧图像可以为相邻帧图像。在本发明另外一些实施例中，所述不同帧图像也可以为某一时间段内的不相邻的帧图像。

根据本发明一实施例，其中基于关联值与第二阈值的关系，确认目标匹配组中所述目标对象之间关联信息包括：

当所述目标匹配组的所述目标相似值达到所述第一阈值时，则证明所述目标匹配组中的所述目标对象相似度较高，但这时所述目标匹配组中的多个所述目标对象可能是同一个目标对象，也可能是不同的目标对象。所以需要对所述目标匹配组中相似度较高的所述目标匹配组中的所述目标对象进行所述目标关联处理，基于得到的所述关联值确认所述目标匹配组中的所述目标对象是否为同一个。

根据本发明一实施例，其中当所述目标匹配组的所述目标相似值未达到所述第一阈值时，则证明所述目标匹配组中的所述目标对象相似度不高，则不再对所述目标匹配组中的所述目标对象进行所述目标关联处理。

根据本发明一实施例，优选的，其中所述目标关联处理可实施为匈牙利匹配算法关联处理，在其他实施例中，也可利用其他类似算法进行目标关联处理，只要能达到同样功能的算法都可适用本发明，在此不做限制。

根据本发明一实施例，其中步骤S2083可具体实施为：当所述目标匹配组的所述关联值达到所述第二阈值时，则确认所述关联信息为所述目标匹配组中的所述目标对象为同一个目标对象；当所述目标匹配组的所述关联值未达到所述第二阈值时，则确认所述关联信息为所述目标匹配组中的所述目标对象不是同一个目标对象。

根据本发明一实施例，其中所述方法还包括：

S210、基于所述关联信息，获取所述至少一个目标对象的运动轨迹。

根据本发明一实施例，其中所述步骤S210具体可实施为，根据步骤S208确认的所述关联信息，即当所述关联信息为，所述目标匹配组中的所述目标对象为同一个目标对象，则获取所述目标匹配组中所述目标对象的运动轨迹；当所述关联信息为，所述目标匹配组中的所述目标对象不是同一个目标对象，则不获取所述目标匹配组中所述目标对象的运动轨迹。其中所述运动轨迹为需要跟踪的所述目标对象的运动轨迹，因对应所述目标匹配组的数量不受限制，所述目标对象的运动轨迹可以是一个所述目标对象的运动轨迹，也可以是多个所述目标对象的运动轨迹。即需要跟踪的所述目标对象的数量没有限制。换句话说，本发明提供的实施例既可以适用单目标对象跟踪的场景，也可以适用多目标对象跟踪的场景。

需要说明的是，对于每一个需要跟踪的所述目标对象，基于所述目标检测框的基础上获取其运动向量，所述目标对象的静止或运动会影响其运动向量的生成。另外，不同类别目标对象的所述运动向量在表观上有着很大的区别，同一类别的目标对象由于角度、姿态等不同都会影响运动向量的大小与分布，可以在此基础上，进行人和车的表观特征区分。

另外，在多路视频流、多个目标跟踪的应用场景中，利用提取视频码流中已经存在的运动向量信息作为表观特征，即表征信息，其计算速度大大优于传统的HOG、SIFT等表观特征的计算速度。

根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

在本实施例中还提供了一种数据处理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

根据本发明另一实施例，参考图3，提供一种数据处理装置，包括：

第一获取模块30，用于对目标视频流进行解码，获取图片流和帧运动向量集，其中所述帧运动向量集包含所有目标对象的表征信息；

第二获取模块40，用于基于检测模型，确定至少一个目标对象，并基于所述图片流和所述帧运动向量集，利用所述检测模型获取所述至少一个目标对象的基础信息和所述表征信息；匹配模块50，用于基于所述基础信息和所述表征信息，对不同帧图像中的所述目标对象进行目标关联匹配，得到目标匹配组；

关联信息确认模块60，用于基于所述目标匹配组，确认所述目标匹配组中所述目标对象之间的关联信息。

根据本发明一实施例，其中所述目标视频流可以是通过外部视频记录设备所获取的可能包含所述目标对象运动轨迹的的视频流，即所述目标对象的运动轨迹可能包含在所述目标视频流中，也可能没有包含在所述目标视频流中。其中所述目标对象可以是人，可以是车 (包含机动车、非机动车等各种车的种类)，也可以是物体，在发明提供的实施例中，所述目标对象指可移动的动态集合体，该移动方式可以是主动移动也可以是被动移动，以上为目标对象的举例，不作为限制。对应的，所述目标视频流可以为包含以上人、车、物体和或者上述组合的可移动的动态集合体的视频流。

根据本发明一实施例，优选的，对目标视频流进行解码可具体实施为使用ffmpeg对视频流进行解码，其中获取帧运动向量集是指在对视频流进行解码时从码流中抽取出的运动向量集，即Motion Vector的集合，其中所述帧运动向量集具体对应图片流中每一帧图像中所呈现的运动向量的集合，在本发明提供的实施例中，所述帧运动向量集包含每一帧中所有目标对象的表征信息。换句话说，此步骤中所获取的所述帧运动向量集包含了所有目标对象的运动向量。

由现有技术可知，在H.264、MPEG4等常见的视频编码协议中，编码码流由I、P、 B帧组成。其中I帧是完全帧，只需对帧内编码。P帧包含运动向量(Motion Vector，MV) 与运动补偿信息，解码时结合前向的一个或多个参考帧恢复原始数据。B帧是依赖前向与后向双向参考帧编码的数据帧。也就是说在视频编解码过程的P帧中，包含了Motion Vector, 即运动向量信息，无需额外计算。

其中所述第二获取模块40还包括：

目标对象确认单元41，用于通过所述检测模型的目标检测框，确定所述至少一个目标对象，其中每个所述目标对象对应一个所述目标检测框；

信息获取单元42，基于所述图片流和所述帧运动向量集，利用所述检测模型获取每一帧图像中所述目标检测框下中所述目标对象的所述基础信息和所述表征信息。

根据本发明一实施例，优选的，所述检测模型为深度学习模型。例如Yolov5网络模型，其中Yolov5网络模型中使用的算法为单阶段目标检测算法中的代表算法，该算法将检测转化为回归思路，一次性完成目标定位与分类。根据本发明其他一些实施例，还可以适用其他可以实现同样检测功能的网络模型，这里仅为举例，不做限制。

根据本发明一实施例，可选的，其中在每一帧图像中，所述检测模型可以分别为每一帧图像中所述至少一个目标对象对应一个目标检测框。

其中所述目标对象的基础信息包括所述目标对象的位置、大小和尺寸等信息。其中所述目标对象的表征信息为所述目标对象在对所述视频流中进行解码时获取的运动向量信息，其中所述目标对象的表征信息来自对所述目标视频流进行解码获取的所述帧运动向量集。

根据本发明一实施例，可选的，根据所述目标检测框，利用所述检测模型获取每一帧图像中所述目标对象的基础信息，具体为利用所述目标检测框的中心坐标、尺度信息，以及形状比例等信息，通过所述检测模型对应得到所述目标检测框下所述目标对象的基础信息，即所述目标对象的位置、大小和尺寸等信息。

其中，根据所述目标检测框，利用所述检测模型获取每一帧图像中所述目标对象的表征信息，即运动向量，其中所述目标对象的运动向量的数目与目标检测框相关，例如逐帧图像中，类别为车的运动向量数目要比类别为人的运动向量数目多，类别细分为客车的运动向量数目要比类别为电瓶车或自行车的运动向量数目多。行人走路或车辆行驶不同姿态时，其内部的运动向量也会有不同。本发明实施例利用这些不同类型的目标对象的运动向量的可区分性，将运动向量作为所述目标对象的表征信息。

根据本发明一实施例，其中所述目标匹配组包括进行所述目标关联匹配的来自不同帧图像中的多个所述目标对象，并且所述目标匹配组的数量没有限制，可以是一个也可以是多个。

其中所述关联信息确认模块60还包括：

相似度评分单元61，用于对所述目标匹配组进行相似度评分，得到目标相似值；

关联处理单元62，用于设置第一阈值，当所述目标相似值达到所述第一阈值时，则对所述目标匹配组中的所述目标对象进行目标关联处理，得到所述目标匹配组的关联值；

关联信息确认单元63，用于设置第二阈值，基于所述关联值与所述第二阈值的关系，确认所述目标匹配组中所述目标对象之间关联信息。

根据本发明一实施例，可选的，其中所述不同帧图像可以为相邻帧图像。在本发明另外一些实施例中，所述不同帧图像也可以为某一时间段内的不相邻的帧图像。

根据本发明一实施例，其中当所述目标匹配组的所述目标相似值达到所述第一阈值时，则证明所述目标匹配组中的所述目标对象相似度较高，但这时所述目标匹配组中的多个所述目标对象可能是同一个目标对象，也可能是不同的目标对象。所以需要对所述目标匹配组中相似度较高的所述目标匹配组中的所述目标对象进行所述目标关联处理，基于得到的所述关联值确认所述目标匹配组中的所述目标对象是否为同一个。

根据本发明一实施例，其中当所述目标匹配组的所述目标相似值未达到所述第一阈值时，则证明所述目标匹配组中的所述目标对象相似度不高，则不再对所述目标匹配组中的所述目标对象进行所述目标关联处理。

根据本发明一实施例，优选的，其中所述目标关联处理可实施为匈牙利匹配算法关联处理，在其他实施例中，也可利用其他类似算法进行目标关联处理，只要能达到同样功能的算法都可适用本发明，在此不做限制。

根据本发明一实施例，其中当所述目标匹配组的所述关联值达到所述第二阈值时，则确认所述关联信息为所述目标匹配组中的所述目标对象为同一个目标对象；当所述目标匹配组的所述关联值未达到所述第二阈值时，则确认所述关联信息为所述目标匹配组中的所述目标对象不是同一个目标对象。

根据本发明一实施例，其中所述数据处理装置还包括：

第三获取模块70，用于基于所述关联信息，获取所述至少一个目标对象的运动轨迹。

根据本发明一实施例，其中当所述关联信息为，所述目标匹配组中的所述目标对象为同一个目标对象，则获取所述目标匹配组中所述目标对象的运动轨迹；当所述关联信息为，所述目标匹配组中的所述目标对象不是同一个目标对象，则不获取所述目标匹配组中所述目标对象的运动轨迹。其中所述运动轨迹为需要跟踪的所述目标对象的运动轨迹，因对应所述目标匹配组的数量不受限制，所述目标对象的运动轨迹可以是一个所述目标对象的运动轨迹，也可以是多个所述目标对象的运动轨迹。即需要跟踪的所述目标对象的数量没有限制。换句话说，本发明提供的实施例既可以适用单目标对象跟踪的场景，也可以适用多目标对象跟踪的场景。

需要说明的是，对于每一个需要跟踪的所述目标对象，基于所述目标检测框的基础上获取其运动向量，所述目标对象的静止或运动会影响其运动向量的生成。另外，不同类别目标对象的所述运动向量在表观上有着很大的区别，同一类别的目标对象由于角度、姿态等不同都会影响运动向量的大小与分布，可以在此基础上，进行人和车的表观特征区分。

另外，在多路视频流、多个目标跟踪的应用场景中，利用提取视频码流中已经存在的运动向量信息作为表观特征，即表征信息，其计算速度大大优于传统的HOG、SIFT等表观特征的计算速度。

本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

对目标视频流进行解码，获取图片流和帧运动向量集，其中所述帧运动向量集包含所有目标对象的表征信息；

基于检测模型，确定至少一个目标对象，并基于所述图片流和所述帧运动向量集，利用所述检测模型获取所述至少一个目标对象的基础信息和所述表征信息；

基于所述基础信息和所述表征信息，对不同帧图像中的所述目标对象进行目标关联匹配，得到目标匹配组；

基于所述目标匹配组，确认所述目标匹配组中所述目标对象之间的关联信息。

2.根据权利要求1所述的方法，其特征在于，还包括：

基于所述关联信息，获取所述至少一个目标对象的运动轨迹。

3.根据权利要求1所述的方法，其特征在于，基于检测模型，确定至少一个目标对象，并基于所述图片流和所述帧运动向量集，利用所述检测模型获取所述至少一个目标对象的基础信息和所述表征信息，包括：

通过所述检测模型的目标检测框，确定所述至少一个目标对象，其中每个所述目标对象对应一个所述目标检测框；

基于所述图片流和所述帧运动向量集，利用所述检测模型获取每一帧图像中所述目标检测框下中所述目标对象的所述基础信息和所述表征信息。

4.根据权利要求3所述的方法，其特征在于，基于所述目标匹配组，确认所述目标匹配组中所述目标对象之间的关联信息，包括：

对所述目标匹配组进行相似度评分，得到目标相似值；

设置第一阈值，当所述目标相似值达到所述第一阈值时，则对所述目标匹配组中的所述目标对象进行目标关联处理，得到所述目标匹配组的关联值；

设置第二阈值，基于所述关联值与所述第二阈值的关系，确认所述目标匹配组中所述目标对象之间关联信息。

5.根据权利要求4所述的方法，其特征在于，所述基于所述关联值与所述第二阈值的关系，确认所述目标匹配组中所述目标对象之间关联信息包括：

当所述目标匹配组的所述关联值达到所述第二阈值时，则确认所述关联信息为所述目标匹配组中的所述目标对象为同一个目标对象；

当所述目标匹配组的所述关联值未达到所述第二阈值时，则确认所述关联信息为所述目标匹配组中的所述目标对象不是同一个目标对象。

6.一种数据处理装置，其特征在于，包括：

第一获取模块，用于对目标视频流进行解码，获取图片流和帧运动向量集，其中所述帧运动向量集包含所有目标对象的表征信息；

第二获取模块，用于基于检测模型，确定至少一个目标对象，并基于所述图片流和所述帧运动向量集，利用所述检测模型获取所述至少一个目标对象的基础信息和所述表征信息；

匹配模块，用于基于所述基础信息和所述表征信息，对不同帧图像中的所述目标对象进行目标关联匹配，得到目标匹配组；

关联信息确认模块，用于基于所述目标匹配组，确认所述目标匹配组中所述目标对象之间的关联信息。

7.根据权利要求6所述的装置，其特征在于，所述第二获取模块包括：

目标对象确认单元，用于通过所述检测模型的目标检测框，确定所述至少一个目标对象，其中每个所述目标对象对应一个所述目标检测框；

信息获取单元，用于基于所述图片流和所述帧运动向量集，利用所述检测模型获取每一帧图像中所述目标检测框下中所述目标对象的所述基础信息和所述表征信息。

8.根据权利要求6所述的装置，其特征在于，所述关联信息确认模块包括：

相似度评分单元，用于对所述目标匹配组进行相似度评分，得到目标相似值；

关联处理单元，用于设置第一阈值，当所述目标相似值达到所述第一阈值时，则对所述目标匹配组中的所述目标对象进行目标关联处理，得到所述目标匹配组的关联值；

关联信息确认单元，用于设置第二阈值，基于所述关联值与所述第二阈值的关系，确认所述目标匹配组中所述目标对象之间关联信息。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至5任一项中所述的方法。

10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至5任一项中所述的方法。

Images