CN113296723B - 目标框与视频帧的同步显示方法、系统、设备及介质 - Google Patents

Abstract

本发明提出的一种目标框与视频帧的同步显示方法、系统、设备及介质，该方法通过获取初始视频数据，将其中的视频帧存入视频缓冲队列，将目标框存入目标框缓冲队列，从视频缓冲队列中获取待显示视频帧时，若目标框缓冲队列中存在与待显示视频帧匹配的匹配目标框，将该匹配目标框存入待显示目标框队列中，从待显示目标框队列中提取待显示目标框，将待显示目标框和待显示视频帧同步显示，可以实现提升跟踪效果，降低目标框和实际视频帧中的目标对象位置之间的偏差，当目标对象离开区域时，目标框及时消除，避免了目标框提前或滞后显示的问题。

Description

目标框与视频帧的同步显示方法、系统、设备及介质

技术领域

本发明涉及智能视频监控领域，尤其涉及一种目标框与视频帧的同步显示方法、系统、设备及介质。

背景技术

目标跟踪框也即目标框，是视频分析的常用技术手段。视频分析主要是对图像序列进行处理，从而研究运动目标的规律，包括运动检测，目标分类，目标跟踪，行为理解，事件检测等。在此基础上的目标跟踪方法的研究和应用作为计算机视觉领域的一个重要分支，正日益广泛的应用到科学技术，国防建设，航空航天，卫生医疗等各个领域，因而研究目标跟踪技术有着重大的实用价值和广阔的发展前景。

目前目标跟踪已经被广泛应用于众多生活和工作领域，主要包括电视监控，视频压缩编码，智能交通，人机交互等。但相关技术中，目标框与视频画面异步传输往往导致跟踪效果不佳，具体表现在目标框和实际视频帧中的目标对象位置有偏差，当目标对象离开区域时，目标框有短时间残留，目标框提前或滞后显示。

发明内容

鉴于以上所述现有技术的缺点，本发明提供一种目标框与视频帧的同步显示方法、系统、设备及介质，以解决上述技术问题。

本发明提供的一种目标框与视频帧的同步显示方法，包括：

一种目标框与视频帧的同步显示方法，其特征在于，所述方法包括：

获取初始视频数据，所述初始视频数据包括若干视频帧和若干目标框；

将所述视频帧存入视频缓冲队列，将所述目标框存入目标框缓冲队列；

从所述视频缓冲队列中获取待显示视频帧，若所述目标框缓冲队列中存在匹配目标框，则将所述匹配目标框存入待显示目标框队列，所述待显示目标框为与所述待显示视频帧符合预设匹配规则的目标框；

从所述待显示目标框队列中提取所述待显示目标框，将所述待显示目标框与所述待显示视频帧同步显示。

可选的，所述将所述视频帧存入视频缓冲队列，将所述目标框存入目标框缓冲队列之前，还包括：

对所述初始视频数据进行解析，得到若干视频帧和若干目标框，并对所述视频帧和与所述视频帧对应的目标框分别添加标识信息。

可选的，所述将所述目标框存入目标框缓冲队列包括：

获取所述目标框的属性信息，根据所述属性信息将所述目标框存入对应的子目标框缓冲队列；

所述目标框缓冲队列包括若干个所述子目标框缓冲队列。

可选的，所述标识信息包括时间戳，所述待显示目标框与所述待显示视频帧之间的待显示时间差小于预设时间差阈值，所述待显示时间差根据所述待显示目标框的时间戳与所述待显示视频帧的时间戳得到，所述预设时间差阈值根据所述初始视频数据的采样率和所述初始视频数据的帧率确定。

可选的，所述标识信息包括时间戳，若所述目标框缓冲队列中不存在匹配目标框，分别获取所述目标框的时间戳与所述待显示视频帧的时间戳，所述方法还包括以下至少之一：

若所述目标框的时间戳早于所述待显示视频帧的时间戳，则将所述目标框从所述目标框缓冲队列中删除；

若所述目标框的时间戳晚于所述待显示视频帧的时间戳，则获取所述目标框的时间戳与所述待显示视频帧的时间戳之间的目标时间差，若所述目标时间差小于最大时间差阈值，则保留所述目标框；

若所述目标框的时间戳晚于所述待显示视频帧的时间戳，则获取所述目标框的时间戳与所述待显示视频帧的时间戳之间的目标时间差，若所述目标时间差大于最大时间差阈值，则将所述目标框从所述目标框缓冲队列中删除。

可选的，所述将所述待显示目标框与所述待显示视频帧同步显示包括：

从所述待显示目标框队列中获取待显示目标框，并将所述待显示目标框绘制到所述待显示视频帧中；

获取下一帧待显示视频帧和所述待显示目标框的剩余显示次数；

若所述剩余显示次数大于零，且所述目标框缓冲队列中不存在下一帧待显示目标框，从所述待显示目标框队列中获取待显示目标框，并将所述待显示目标框绘制到所述下一帧待显示视频帧中，所述下一帧待显示目标框为与所述下一帧待显示视频帧符合预设匹配规则的目标框。

可选的，若所述剩余显示次数等于零，将所述待显示目标框从所述待显示目标框缓冲队列中删除。

本发明还提供了一种目标框与视频帧的同步显示系统，所述系统包括：

获取模块，用于获取初始视频数据，所述初始视频数据包括若干视频帧和若干目标框；

缓存模块，用于将所述视频帧存入视频缓冲队列，将所述目标框存入目标框缓冲队列；

匹配模块，用于从所述视频缓冲队列中获取待显示视频帧，若所述目标框缓冲队列中存在匹配目标框，则将所述匹配目标框存入待显示目标框队列，所述待显示目标框为与所述待显示视频帧符合预设匹配规则的目标框；

显示模块，用于从所述待显示目标框队列中提取所述待显示目标框，将所述待显示目标框与所述待显示视频帧同步显示。

本发明还提供了一种电子设备，包括处理器、存储器和通信总线；

所述通信总线用于将所述处理器和存储器连接；

所述处理器用于执行所述存储器中存储的计算机程序，以实现如上述中任一项实施例所述的方法。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，

所述计算机程序用于使所述计算机执行如上述任一项实施例所述的方法。

本发明的有益效果：本发明提出的一种目标框与视频帧的同步显示方法、系统、设备及介质，该方法通过获取初始视频数据，将其中的视频帧存入视频缓冲队列，将目标框存入目标框缓冲队列，从视频缓冲队列中获取待显示视频帧时，若目标框缓冲队列中存在与待显示视频帧匹配的匹配目标框，将该匹配目标框存入待显示目标框队列中，从待显示目标框队列中提取待显示目标框，将待显示目标框和待显示视频帧同步显示，可以实现提升跟踪效果，降低目标框和实际视频帧中的目标对象位置之间的偏差，当目标对象离开区域时，目标框及时消除，避免了目标框提前或滞后显示的问题。

附图说明

图1是本发明实施例一中提供的目标框与视频帧的同步显示方法的一种流程示意图；

图2是本发明实施例一中提供的目标框与视频帧的同步显示方法的一种具体的流程示意图；

图3是本发明实施例中提供的一种目标框与视频帧绑定渲染流程示意图；

图4是本发明实施例二提供的目标框与视频帧的同步显示系统的一种结构示意图；

图5是本发明一实施例提供的一种电子设备的结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。

实施例一

如图1所示，本实施例提供了一种目标框与视频帧的同步显示方法，该方法包括：

S101：获取初始视频数据。

初始视频数据包括若干视频帧和若干目标框。其中，若干个目标框为对至少一部分视频帧中的目标对象进行识别得到，用于对目标对象进行标注，并且可以通过该目标框实现对目标对象的追踪。换句话说，对一部分视频帧进行目标识别，得到该部分视频帧的目标框。具体的识别规则可以由本领域的技术人员根据需要进行设定。如间隔若干视频帧识别一次等。

目标框的获取方式可以采用本领域相关技术手段实现，在此不做限定。

初始视频帧中可能存在多种属性的目标对象，如人脸、人体、车辆、车牌等，可以基于相同或不同的算法模型得到。当存在基于多种属性的目标对象时，对于每一种属性的目标对象的目标框可以赋予特定的属性信息，以实现不同属性的目标对象的目标框加以区分。可见，对于同一个视频帧，可以存在一个或多个目标框，当存在多个目标框时，这些目标框可能是同属于同一个属性，也可能属于不同属性。

初始视频数据可以是监控图像或其他具有时间顺序的图像序列等。

对于初始视频数据的获取方式可以根据本领域的相关技术手段实现，在此不做限定。

S102：将视频帧存入视频缓冲队列，将目标框存入目标框缓冲队列。

其中，视频缓冲队列和目标框缓冲队列为预先构建的缓冲队列。

在一些实施例中，将视频帧存入视频缓冲队列，将目标框存入目标框缓冲队列之前，还包括：

对初始视频数据进行解析，得到若干视频帧和若干目标框，并对视频帧和与视频帧对应的目标框分别添加标识信息。

可选的，对初始视频数据进行解析后，得到的视频帧数据，将该视频帧数据进行解码，得到若干个视频帧。对各个视频帧和目标框添加标识信息，该标识信息包括但不限于时间戳或其他能够表明某一视频帧与其对应的目标框之间的匹配关系。

在一些实施例中，将目标框存入目标框缓冲队列包括：

获取目标框的属性信息，根据属性信息将目标框存入对应的子目标框缓冲队列；

目标框缓冲队列包括若干个子目标框缓冲队列。

可选的，可以通过预先获取目标框确定所依赖的各种算法模型所能够标注的目标对象的属性信息，或目标框自带的属性信息，预先构建不同属性所对应的子目标框缓冲队列，根据属性信息将目标框划分为若干组，对应存入相应的子目标框缓冲队列。这样可以便于后续和视频帧同步显示。一种示例性的方式为：在获取到即将要显示的待显示视频帧时，从各个子目标框缓冲队列中根据标识信息分别获取与该待显示视频帧匹配的若干个待显示目标框，再将获得到的待显示目标框统一绘制在待显示视频帧中。通过对多个子目标框缓冲队列的同时分别查找，可以提升待显示目标框的确定速率，减少运算耗时。

当然，也可以将全部的目标框存在同一个目标框缓冲队列，这样在确定待显示目标框时，则需要对目标框缓冲队列遍历，耗时相对于将目标框存在对应的子目标框缓冲队列较多。

S103：从视频缓冲队列中获取待显示视频帧，若目标框缓冲队列中存在匹配目标框，则将匹配目标框存入待显示目标框队列。

需要说明的是，匹配目标框为与待显示视频帧符合预设匹配规则的目标框。

其中，预设匹配规则可以由本领域技术人员根据需要制定，在此不再限定。

可选的，视频缓冲队列中的视频帧可能是尚未解码的视频帧，匹配视频帧是已经解码完成的视频帧。

也即，将于当前即将显示的待显示视频帧相匹配的匹配目标框从目标框缓冲队列中转移到待显示目标框队列中，以便后续在需要显示时，更加快速的实现目标框的绘制。

在一些实施例中，标识信息包括时间戳，待显示目标框与待显示视频帧之间的待显示时间差小于预设时间差阈值，待显示时间差根据待显示目标框的时间戳与待显示视频帧的时间戳得到，预设时间差阈值根据初始视频数据的采样率和初始视频数据的帧率确定。

其中，时间戳包括时间信息，根据待显示目标框的时间戳与待显示视频帧的时间戳，可以得到一个时间差值，取该时间差值的绝对值作为待显示时间差。

换句话说，判断目标框缓冲队列中是否存在匹配目标框的一种方式可以是通过分别确定各目标框与待显示视频帧之间的待显示时间差，若存在一个或多个待显示时间差小于预设时间差阈值，则目标框缓冲队列中存在匹配目标框，并将小于预设时间差阈值的待显示时间差所对应的一个或多个目标框作为匹配目标框。反之，若不存在一个或多个待显示时间差小于预设时间差阈值，则目标框缓冲队列中不存在匹配目标框。

可选的，目标框缓冲队列中不存在匹配目标框则不对目标框缓冲队列进行处理。

在一些实施例中，预设时间差阈值T₁的一种确定方式如下：

T₁＝(采样率/帧率)/2+100

在一些实施例中，标识信息包括时间戳，若目标框缓冲队列中不存在匹配目标框，分别获取目标框的时间戳与待显示视频帧的时间戳，该方法还包括以下至少之一：

若目标框的时间戳早于待显示视频帧的时间戳，则将目标框从目标框缓冲队列中删除；

若目标框的时间戳晚于待显示视频帧的时间戳，则获取目标框的时间戳与待显示视频帧的时间戳之间的目标时间差，若目标时间差小于最大时间差阈值，则保留目标框；

若目标框的时间戳晚于待显示视频帧的时间戳，则获取目标框的时间戳与待显示视频帧的时间戳之间的目标时间差，若目标时间差大于最大时间差阈值，则将目标框从目标框缓冲队列中删除。

其中，预设时间差阈值、最大时间差阈值也可以是由本领域技术人员根据需要设定。

若目标框缓冲队列中不存在匹配目标框，也即各待显示时间差均大于预设时间差阈值，则可能存在以下情形中至少之一：目标框的时间标记值小于待显示视频帧时间戳、目标框的时间标记值大于待显示视频帧时间戳且没有超过最大时间差阈值、目标框的时间标记值大于视频帧时间戳超过最大时间差阈值。对此，对于目标框的处理方式可以有如下几种方法：

a、当目标框的时间标记值小于视频帧时间戳，则丢弃；

b、当目标框的时间标记值大于视频帧时间戳且没有超过最大时间差阈值，则仍保留在目标框缓冲队列，等待下一次视频帧显示时尝试被提取；

c、当目标框的时间标记值大于视频帧时间戳超过最大时间差阈值时，则丢弃。

这样，可以进一步的对目标框缓冲队列进行实时的更新整理，及时删除不需要的目标框，减少内存占用以及降低后续待显示目标框确定的计算量。

S104：从待显示目标框队列中提取待显示目标框，将待显示目标框与待显示视频帧同步显示。

待显示目标框提取的时机可以是待显示视频帧为当前显示的视频帧之后第N个即将显示的视频帧，其中N可以是由本领域技术人员根据需要设定。通过预先将待显示目标框渲染在待显示视频帧上，使得该视频帧在显示时目标框与之能够同步显示。

待显示目标框也即之前由目标框缓冲队列中存入到待显示目标框队列中的匹配目标框中的一个。换句话说，在从目标框缓冲队列中确定匹配目标框时，可能一次确定一个或多个目标框，当一次确定多个目标框时，待显示目标框队列中就包括了多个匹配目标框，通过对匹配目标框的进一步筛选，以确定一个待显示目标框如，选取与当前待播的视频帧的下一视频帧匹配的匹配目标框作为待显示目标框。

在一些实施例中，将待显示目标框与待显示视频帧同步显示包括：

从待显示目标框队列中获取待显示目标框，并将待显示目标框绘制到待显示视频帧中；

获取下一帧待显示视频帧和待显示目标框的剩余显示次数；

若剩余显示次数大于零，且目标框缓冲队列中不存在下一帧待显示目标框，从待显示目标框队列中获取待显示目标框，并将待显示目标框绘制到下一帧待显示视频帧中。

其中，下一帧待显示目标框为与下一帧待显示视频帧符合预设匹配规则的目标框。下一帧待显示视频帧可以是待显示视频帧之后的下一个视频帧。换句话说，下一帧待显示视频帧既在目标框缓冲队列中没有与之匹配的匹配目标框，相应的也在待显示目标框队列中没有与之匹配的待显示目标框。

可选的，若剩余显示次数大于零，且目标框缓冲队列中不存在下一帧待显示目标框，下一帧待显示视频帧重新进行目标框匹配，若匹配到与之对应的匹配目标框，则将该匹配目标框作为该下一帧待显示视频帧的下一帧待显示目标框，并将该下一帧待显示目标框绘制到下一帧待显示视频帧中。例如，若待显示目标框Y的剩余显示次数为2，当前下一帧待显示视频帧(X+1)在待显示目标框队列中没有与之匹配的目标框，由于之前的算法失误等原因，对下一帧待显示视频帧(X+1)进行重新匹配后，匹配到了该下一帧待显示视频帧(Y+1)，则此时将下一帧待显示目标框(Y+1)绘制到下一帧待显示视频帧(X+1)中，并且更新待显示目标框队列，将该下一帧待显示目标框(Y+1)作为新的待显示目标框，计算剩余显示次数。之前的待显示目标框Y丢弃。

可选的，若剩余显示次数等于零，将待显示目标框从待显示目标框缓冲队列中删除。

可选的，对每个待显示目标框赋予初始显示次数，该初始显示次数大于0，初始显示次数可以由本领域技术人员根据需要设定，如3次等。待显示目标框的初始显示次数等于该目标框的初始显示次数，在待显示目标框尚未绘制到待显示视频帧中时，该待显示目标框的剩余显示次数等于初始显示次数，每使用该待显示目标框对待显示视频帧进行绘制一次，该待显示目标框的剩余显示次数都减一并更新。例如，在即将显示待显示视频帧时，从待显示目标框队列中获取待显示目标框的相关数据，并对待显示视频帧绘制目标框，绘制结束后，把该目标框的剩余显示次数减1，剩余显示次数减1后，判断该剩余显示次数的取值。若剩余显示次数仍大于等于1，则把此目标框继续保存到待显示目标框队列中，待下一次继续获取；若显示次数小于等于0，则从待显示目标框队列中删除该待显示目标框。

可选的，每一次显示次数的显示时长可以设置于一帧的时长，也即显示一次就是显示一帧。

通常情况下，目标框并不是每一帧视频帧都会进行提取，仅会对一部分视频帧提取目标框，因此，对于某一帧有与之匹配的待显示目标框的待显示视频帧来说，其之后的若干帧视频帧中的目标对象大概率其移动的范围是很小的，且其之后的若干帧视频帧很可能也没有与之对应的目标框，若仅将目标框显示一帧，很可能就是一闪而过，对于普通人肉眼观察并不友好，因此，可以在待显示视频帧之后所显示的若干帧视频帧上保留该目标框，以便肉眼看到的同时，也不会给人眼以目标框延迟显示的困扰。

可选的，若剩余显示次数大于零，且目标框缓冲队列中存在下一帧待显示目标框，则将下一帧待显示目标框绘制到下一帧待显示视频帧中，渲染后，进行显示。

本实施例提出的一种目标框与视频帧的同步显示方法、该方法通过获取初始视频数据，将其中的视频帧存入视频缓冲队列，将目标框存入目标框缓冲队列，从视频缓冲队列中获取待显示视频帧，若目标框缓冲队列中存在与待显示视频帧匹配的匹配目标框，将该匹配目标框存入待显示目标框队列中，当即将显示待显示视频帧时，从待显示目标框队列中提取待显示目标框，将待显示目标框和待显示视频帧同步显示，可以实现提升跟踪效果，降低目标框和实际视频帧中的目标对象位置之间的偏差，当目标对象离开区域时，目标框及时消除，避免了目标框提前或滞后显示的问题。

下面，参见图2，通过一个具体的实施例，示例性的说明本申请所提供的目标框与视频帧的同步显示方法，该具体的目标框与视频帧的同步显示方法包括：首先，对获取到的初始视频数据进行数据解析，该数据解析包括视频帧数据解析和目标框数据解析，将视频帧数据组帧后保存到视频缓冲队列，等待后续解码，对解析后的视频帧和目标框分别添加时间戳标记，判断目标框的确定的算法模型的属性，作为该目标框的属性信息，根据属性的不同，将目标框存入对应的子目标框缓冲队列中，以便于后续与待显示视频帧同步显示。其次，获取待显示的待显示视频帧时，判断目标框缓冲队列中是否有与待显示视频帧匹配的匹配目标框。有匹配目标框时，把匹配目标框提取出来，作为待显示目标框，存入待显示目标框队列中。

继续参见图3，图3为一种目标框与视频帧绑定渲染流程示意图。通过获取初始视频数据，将待显示视频帧存入视频缓冲队列(图中的待显示视频帧队列)，将目标框存入目标框缓冲队列(图中的目标框队列)，根据预设匹配规则对两个队列之中的待显示视频帧与目标框进行匹配，若匹配成功，则获取匹配的目标框存入待显示目标框队列中，进而获取当前待显示视频帧和当前待显示目标框，进行同步展示，若匹配不成功，则根据目标框的时间标记值与待显示视频帧的时间戳的关系，确定对该目标框的下一步操作，具体的，若当目标框的时间标记值(目标框的时间戳)小于待显示视频帧的时间戳，则丢弃；若目标框的时间标记值(目标框的时间戳)大于待显示视频帧的时间戳且没有超过最大时间差阈值，则仍保留在待显示目标框队列，等待下一次视频帧显示时尝试被提取；若目标框的时间标记值(目标框的时间戳)大于待显示视频帧的时间戳超过最大时间差阈值时，则丢弃。

此外，若虽然待显示目标框的剩余显示次数大于零，但此时检测到与下一帧待显示视频帧X匹配的匹配目标框Y(之前在形成目标框缓冲队列时可能由于算法失误或其他原因导致该下一帧待显示视频帧X的匹配目标框Y没有被匹配到，因而当前匹配目标框Y并没有存在于待显示目标框队列中)则将下一帧待显示视频帧X与匹配目标框Y进行同步显示。可选的，可以将该匹配目标框Y更新为新的待显示目标框，显示预设次数。

具体的，判断是否有与待显示视频帧匹配的目标框的一种方式为：

步骤一：先根据算法模型的属性分别搜寻匹配的目标框数据，获取到的目标框数据可能是一组数据，也即可能存在多个匹配的目标框。

步骤二：对待显示视频帧的视频时间戳与目标框标记值(目标框的时间戳)进行差值的绝对值计算，以得到目标时间差。

步骤三：若所有的目标时间差均超过预设时间差阈值时，匹配不成功，在预设时间差阈值范围内则匹配成功。超过预设时间差阈值可能存在以下情形：

a、当目标框的时间标记值(目标框的时间戳)小于待显示视频帧的时间戳，则丢弃；

b、当目标框的时间标记值(目标框的时间戳)大于待显示视频帧的时间戳且没有超过最大时间差阈值，则仍保留在待显示目标框队列，等待下一次视频帧显示时尝试被提取；

c、当目标框的时间标记值(目标框的时间戳)大于待显示视频帧的时间戳超过最大时间差阈值时，则丢弃。

其中，预设时间差阈值计算方式如下：预设时间差阈值＝(采样率/帧率)/2+100。

再次，将待显示目标框的剩余显示次数设置于初始显示次数，如3次。当不存在匹配的待显示目标框时，对目标框缓冲队列则不进行处理。

最后，当即将显示所述待显示视频帧时，从待显示目标框队列中获取待显示目标框，根据剩余显示次数判断该待显示目标框是否显示。若剩余显示次数大于等于1，则显示该待显示目标框，然后把剩余显示次数减1，当剩余显示次数为0时，删除该待显示目标框数据。具体的，显示待显示视频帧时，从待显示目标框队列中获取待显示目标框数据，并绘制目标框；绘制结束后，把该目标框数据的剩余显示次数减1；剩余显示次数减1后，判断该剩余显示次数的取值。若剩余显示次数仍大于等于1，则把此目标框数据继续保存到待显示目标框队列中，待下一次继续获取；若剩余显示次数小于等于0，则删除该数据。待显示视频帧上绘制好目标框后，经过渲染，显示。

在一些实施例中，初始视频数据的采集设备可以同时开启移动侦测和目标对象识别，如人脸识别两个算法模型，得到移动侦测框及人脸识别框两个属性的目标框，让一个或多个人面对采集设备并在采集设备的可视范围内来回走动，通过观察视频画面中移动侦测框及人脸识别框是否正常显示且跟踪效果是否良好来确定本同步显示方法的执行效果。

通过上述目标框与视频帧的同步显示方法，可以解决目标框与视频画面异步传输导致跟踪效果不佳，目标框和实际目标位置有偏差，目标对象离开显示区域时，目标框有短时间残留，目标框提前或滞后显示的技术问题，实现了适配多种属性的目标框同时显示，目标框的显示和目标对象一致，不存在目标框超前或者滞后的现象，目标对象离开显示区域时目标框信息没有滞留。

实施例二

请参阅图4，一种目标框与视频帧的同步显示系统900，包括：

获取模块901，用于获取初始视频数据，初始视频数据包括若干视频帧和若干目标框；

缓存模块902，用于将视频帧存入视频缓冲队列，将目标框存入目标框缓冲队列；

匹配模块903，用于从视频缓冲队列中获取待显示视频帧，若目标框缓冲队列中存在匹配目标框，则将匹配目标框存入待显示目标框队列，待显示目标框为与待显示视频帧符合预设匹配规则的目标框；

显示模块904，用于从待显示目标框队列中提取待显示目标框，将待显示目标框与待显示视频帧同步显示。

在本实施例中，该目标框与视频帧的同步显示系统实质上是设置了多个模块用以执行上述实施例中的方法，具体功能和技术效果参照上述实施例一即可，此处不再赘述。

参见图5，本发明实施例还提供了一种电子设备1000，包括处理器1001、存储器1002和通信总线1003；

通信总线1003用于将处理器1001和存储器连接1002；

处理器1001用于执行存储器1002中存储的计算机程序，以实现如上述实施例一中的一个或多个所述的方法。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，

计算机程序用于使计算机执行如上述实施例一中的任一项所述的方法。

本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的实施例一所包含步骤的指令(instructions)。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种目标框与视频帧的同步显示方法，其特征在于，所述方法包括：

获取初始视频数据，所述初始视频数据包括若干视频帧和若干目标框；

将所述视频帧存入视频缓冲队列，将所述目标框存入目标框缓冲队列；

从所述视频缓冲队列中获取待显示视频帧，若所述目标框缓冲队列中存在匹配目标框，则将所述匹配目标框存入待显示目标框队列，所述匹配目标框为与所述待显示视频帧符合预设匹配规则的目标框；

从所述待显示目标框队列中提取所述待显示目标框，将所述待显示目标框与所述待显示视频帧同步显示。

2.如权利要求1所述的同步显示方法，其特征在于，所述将所述视频帧存入视频缓冲队列，将所述目标框存入目标框缓冲队列之前，还包括：

对所述初始视频数据进行解析，得到若干视频帧和若干目标框，并对所述视频帧和与所述视频帧对应的目标框分别添加标识信息。

3.如权利要求1所述的同步显示方法，其特征在于，所述将所述目标框存入目标框缓冲队列包括：

获取所述目标框的属性信息，根据所述属性信息将所述目标框存入对应的子目标框缓冲队列；

所述目标框缓冲队列包括若干个所述子目标框缓冲队列。

4.如权利要求2所述的同步显示方法，其特征在于，所述标识信息包括时间戳，所述待显示目标框与所述待显示视频帧之间的待显示时间差小于预设时间差阈值，所述待显示时间差根据所述待显示目标框的时间戳与所述待显示视频帧的时间戳得到，所述预设时间差阈值根据所述初始视频数据的采样率和所述初始视频数据的帧率确定。

5.如权利要求2所述的同步显示方法，其特征在于，所述标识信息包括时间戳，若所述目标框缓冲队列中不存在匹配目标框，分别获取所述目标框的时间戳与所述待显示视频帧的时间戳，所述方法还包括以下至少之一：

若所述目标框的时间戳早于所述待显示视频帧的时间戳，则将所述目标框从所述目标框缓冲队列中删除；

若所述目标框的时间戳晚于所述待显示视频帧的时间戳，则获取所述目标框的时间戳与所述待显示视频帧的时间戳之间的目标时间差，若所述目标时间差小于最大时间差阈值，则保留所述目标框；

若所述目标框的时间戳晚于所述待显示视频帧的时间戳，则获取所述目标框的时间戳与所述待显示视频帧的时间戳之间的目标时间差，若所述目标时间差大于最大时间差阈值，则将所述目标框从所述目标框缓冲队列中删除。

6.如权利要求1-5任一项所述的同步显示方法，其特征在于，所述将所述待显示目标框与所述待显示视频帧同步显示包括：

从所述待显示目标框队列中获取待显示目标框，并将所述待显示目标框绘制到所述待显示视频帧中；

获取下一帧待显示视频帧和所述待显示目标框的剩余显示次数；

若所述剩余显示次数大于零，且所述目标框缓冲队列中不存在下一帧待显示目标框，从所述待显示目标框队列中获取待显示目标框，并将所述待显示目标框绘制到所述下一帧待显示视频帧中，所述下一帧待显示目标框为与所述下一帧待显示视频帧符合预设匹配规则的目标框。

7.如权利要求6所述的同步显示方法，其特征在于，若所述剩余显示次数等于零，将所述待显示目标框从所述待显示目标框缓冲队列中删除。

8.一种目标框与视频帧的同步显示系统，其特征在于，所述系统包括：

获取模块，用于获取初始视频数据，所述初始视频数据包括若干视频帧和若干目标框；

缓存模块，用于将所述视频帧存入视频缓冲队列，将所述目标框存入目标框缓冲队列；

匹配模块，用于从所述视频缓冲队列中获取待显示视频帧，若所述目标框缓冲队列中存在匹配目标框，则将所述匹配目标框存入待显示目标框队列，所述待显示目标框为与所述待显示视频帧符合预设匹配规则的目标框；

显示模块，用于从所述待显示目标框队列中提取所述待显示目标框，将所述待显示目标框与所述待显示视频帧同步显示。

9.一种电子设备，其特征在于，包括处理器、存储器和通信总线；

所述通信总线用于将所述处理器和存储器连接；

所述处理器用于执行所述存储器中存储的计算机程序，以实现如权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，

所述计算机程序用于使所述计算机执行如权利要求1-7中任一项所述的方法。

Images