CN111246178B - 视频处理方法和装置、存储介质及电子装置 - Google Patents

视频处理方法和装置、存储介质及电子装置 Download PDF

Info

Publication number
CN111246178B
CN111246178B CN202010080722.8A CN202010080722A CN111246178B CN 111246178 B CN111246178 B CN 111246178B CN 202010080722 A CN202010080722 A CN 202010080722A CN 111246178 B CN111246178 B CN 111246178B
Authority
CN
China
Prior art keywords
frame
target
track
video
frame rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010080722.8A
Other languages
English (en)
Other versions
CN111246178A (zh
Inventor
汪照
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202010080722.8A priority Critical patent/CN111246178B/zh
Publication of CN111246178A publication Critical patent/CN111246178A/zh
Application granted granted Critical
Publication of CN111246178B publication Critical patent/CN111246178B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331—Caching operations, e.g. of an advertisement for later insertion during playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising

Abstract

本发明公开了一种视频处理方法和装置、存储介质及电子装置。其中，该方法包括：获取目标通道当前送入到第一缓存队列中的第一视频帧的第一帧序号，目标通道用于按照第一目标帧率向第一缓存队列送入目标视频的视频帧；获取当前播放的第二视频帧的时间戳第二视频帧的第一时间戳和第一轨迹帧的时间戳之间第一轨迹帧的第二时间戳的时间戳差值，第一轨迹帧为目标通道按照第一帧率送入到第二缓存队列中、且与当前显示的第一轨迹帧数据目标轨迹帧数据对应的视频帧，第一轨迹帧数据目标轨迹帧数据用于表示从第一轨迹帧中识别出的目标对象；根据时间戳差值、第一目标帧率、第一帧率和第一帧序号，确定从目标通道送入到第二缓存队列中的第二轨迹帧的帧序号。

Description

视频处理方法和装置、存储介质及电子装置
技术领域
本发明涉及计算机领域，具体而言，涉及一种视频处理方法和装置、存储介质及电子装置。
背景技术
目前，可以在显示设备(例如，安防监控设备)显示视频的同时，可以同时显示视频中的特定对象的活动轨迹。例如，对于视频中的特定人员，可以在显示视频的同时，通过方框的标识出视频中的该特定人员，或者，该特定人员的特定部位(例如，脸部)，以显示出该特定人员在视频中的活动轨迹。
图1是相关技术中的一种可选的在视频中显示对象的示意图，如图1所示，在视频显示模块显示视频帧数据与轨迹帧数据之前，满帧帧率送处理后的视频显示帧数据，而固定丢弃部分处理送算法YUV(“Y”表示亮度，“U”和“V”表示色度、浓度)数据，得到的智能轨迹帧数据与视频帧数据融合显示到显示模块，并在显示屏中显示。然而，在显示视频帧数据和轨迹帧数据时，如果由于某些原因导致轨迹帧与视频显示帧数据不同步，则不同步问题会一直持续。
可见，相关技术中的视频处理方法存在由于轨迹帧数据的获取时延不固定导致的轨迹帧和视频帧显示不同步的问题。
发明内容
本申请实施例提供了一种视频处理方法和装置、存储介质及电子装置，以至少解决相关技术中的视频处理方法存在由于轨迹帧数据的获取时延不固定导致的轨迹帧和视频帧显示不同步的技术问题。
根据本申请实施例的一个方面，提供了一种视频处理方法，包括：获取目标通道当前送入到第一缓存队列中的第一视频帧的第一帧序号，其中，目标通道用于按照第一目标帧率向第一缓存队列送入目标视频的视频帧，第一缓存队列用于将缓存的视频帧输出到显示屏上进行播放；获取当前播放的第二视频帧的第一时间戳和第一轨迹帧的第二时间戳的时间戳差值，其中，第一轨迹帧为目标通道按照第一帧率送入到第二缓存队列中、且与当前显示的目标轨迹帧数据对应的视频帧，目标轨迹帧数据用于表示从第一轨迹帧中识别出的目标对象；根据时间戳差值、第一目标帧率、第一帧率和第一帧序号，确定从目标通道送入到第二缓存队列中的第二轨迹帧的帧序号，以使目标视频的视频帧和轨迹帧的轨迹帧数据同步播放。
根据本申请实施例的另一方面，还提供了一种视频处理装置，包括：第一获取单元，用于获取目标通道当前送入到第一缓存队列中的第一视频帧的第一帧序号，其中，目标通道用于按照第一目标帧率向第一缓存队列送入目标视频的视频帧，第一缓存队列用于将缓存的视频帧输出到显示屏上进行播放；第二获取单元，用于获取当前播放的第二视频帧的第一时间戳和第一轨迹帧的第二时间戳的时间戳差值，其中，第一轨迹帧为目标通道按照第一帧率送入到第二缓存队列中、且与当前显示的目标轨迹帧数据对应的视频帧，目标轨迹帧数据用于表示从第一轨迹帧中识别出的目标对象；第一确定单元，用于根据时间戳差值、第一目标帧率、第一帧率和第一帧序号，确定从目标通道送入到第二缓存队列中的第二轨迹帧的帧序号，以使目标视频的视频帧和轨迹帧的轨迹帧数据同步播放。
根据本申请实施例的又一方面，还提供了一种存储介质，上述存储介质存储有计算机程序，上述计算机程序被设置为运行时执行上述的方法。
根据本申请实施例的另一方面，还提供了一种电子装置，包括存储器、处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过上述计算机程序执行上述的方法。
在本申请实施例中，采用第一缓存队列缓存待播放的视频帧和采用第二缓存队列缓存待识别的轨迹帧的方式，根据目标通道当前送入到缓存队列的视频帧的帧序号(第一帧序号)、当前视频帧和当前轨迹帧之间的时间戳差值、目标通道向第一缓存队列送入视频帧的帧率(第一目标帧率)和目标通道当前向第二缓存队列送入轨迹帧的帧率(第一帧率)确定目标通道送入到第二缓存队列中的下一个轨迹帧(第二轨迹帧)的帧序号，由于参考视频帧和轨迹帧的播放时延、以及帧率调整获取的下一个轨迹帧的帧序号，可以达到同步播放视频帧数据与轨迹帧数据的目的，从而实现了保证轨迹帧和视频帧显示同步的技术效果，进而解决了相关技术中的视频处理方法存在由于轨迹帧数据的获取时延不固定导致的轨迹帧和视频帧显示不同步的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是相关技术中的一种可选的在视频中显示对象的示意图；
图2是本申请实施例的一种视频处理方法的终端设备的硬件结构框图；
图3是根据本申请实施例的一种可选的视频处理方法的流程示意图；
图4是根据本申请实施例的一种可选的视频处理方法的示意图；
图5是根据本申请实施例的另一种可选的视频处理方法的流程示意图；
图6是根据本申请实施例的又一种可选的视频处理方法的流程示意图；
图7是根据本申请实施例的一种可选的视频处理装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
根据本申请实施例的一个方面，提供了一种视频处理方法。可选地，上述视频处理方法可以在终端设备(例如，计算机终端、移动终端)或者类似的运算装置中执行。以运行在终端设备上为例，图2是本申请实施例的一种视频处理方法的终端设备的硬件结构框图。如图2所示，终端设备20可以包括一个或多个(图2中仅示出一个)处理器202(处理器202可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器204，可选地，上述终端设备还可以包括用于通信功能的传输设备206以及输入输出设备208。本领域普通技术人员可以理解，图2所示的结构仅为示意，其并不对上述终端设备的结构造成限定。例如，终端设备20还可包括比图2中所示更多或者更少的组件，或者具有与图2所示不同的配置。
存储器204可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本申请实施例中的视频处理方法对应的计算机程序，处理器202通过运行存储在存储器204内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器204可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器204可进一步包括相对于处理器202远程设置的存储器，这些远程存储器可以通过网络连接至终端设备20。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置206用于经由一个网络接收或者发送数据。上述的网络具体实例可包括终端设备20的通信供应商提供的无线网络。在一个实例中，传输装置206包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置206可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种运行于上述终端设备的视频处理方法，图3是根据本申请实施例的一种可选的视频处理方法的流程示意图，如图3所示，该流程包括如下步骤：
步骤S302，获取目标通道当前送入到第一缓存队列中的第一视频帧的第一帧序号，其中，目标通道用于按照第一目标帧率向第一缓存队列送入目标视频的视频帧，第一缓存队列用于将缓存的视频帧输出到显示屏上进行播放；
步骤S304，获取当前播放的第二视频帧的第一时间戳和第一轨迹帧的第二时间戳的时间戳差值，其中，第一轨迹帧为目标通道按照第一帧率送入到第二缓存队列中、且与当前显示的目标轨迹帧数据对应的视频帧，目标轨迹帧数据用于表示从第一轨迹帧中识别出的目标对象；
步骤S306，根据时间戳差值、第一目标帧率、第一帧率和第一帧序号，确定从目标通道送入到第二缓存队列中的第二轨迹帧的帧序号，以使目标视频的视频帧和轨迹帧的轨迹帧数据同步播放。
通过本实施例，根据目标通道当前送入到缓存队列的视频帧的帧序号(第一帧序号)、当前视频帧和当前轨迹帧之间的时间戳差值、目标通道向第一缓存队列送入视频帧的帧率(第一目标帧率)和目标通道当前向第二缓存队列送入轨迹帧的帧率(第一帧率)确定目标通道送入到第二缓存队列中的下一个轨迹帧(第二轨迹帧)的帧序号，解决了相关技术中的视频处理方法存在由于轨迹帧数据的获取时延不固定导致的轨迹帧和视频帧显示不同步的技术问题，保证了视频帧数据与轨迹帧数据同步播放，进而保证了轨迹帧和视频帧的显示同步。
可选地，上述步骤的执行主体可以是终端设备(如，计算机终端)等，但不限于此。
下面结合图3对上述视频处理方法进行说明。
在步骤S302中，获取目标通道当前送入到第一缓存队列中的第一视频帧的第一帧序号，其中，目标通道用于按照第一目标帧率向第一缓存队列送入目标视频的视频帧，第一缓存队列用于将缓存的视频帧输出到显示屏上进行播放。
终端设备(例如，安防监控设备)可以播放目标视频，上述目标视频可以是特定时间段的监控视频，并通过终端设备的显示器(视频显示模块)显示目标视频。
在播放目标视频的过程中，从模拟通道或数字通道来的目标视频的视频帧(视频yuv数据)可以以固定帧率(第一目标帧率)送入到第一缓存队列(送视频显示YUV缓存模块)，并将第一缓存队列中缓存的视频帧输出到终端设备的显示屏上进行视频播放。也就是说，第一缓存队列中缓存的是在终端设备的显示屏上显示的视频帧。
从模拟通道或数字通道来的目标视频的视频帧(视频yuv数据)可以以第二目标帧率(帧率可变，当前为第一帧率)送入到第二缓存队列(送算法视频YUV缓存模块)(第二缓存队列中缓存的视频帧称为轨迹帧)，并对第二缓存队列中缓存的轨迹帧进行目标对象(例如，人物，或者特定的人物)识别(通过对象识别算法进行识别)，得到轨迹帧数据，得到的轨迹帧数据可以在播放目标视频上显示。
需要说明的是，目标视频的播放和轨迹帧的轨迹帧数据的播放是相互独立的，两者可以分别显示在显示器的不同层上，或者，显示在相同层上。目标视频以第一目标帧率进行播放(在没有其他控制的情况下，在整个播放过程中第一目标帧率保持不变)，轨迹帧的轨迹帧数据以第二目标帧率进行播放(在播放的过程中，第二目标帧率可以根据需要进行更改)，其中，第一目标帧率大于或者等于第二目标帧率。
在目标视频的播放过程中，可以首先确定送显示的轨迹帧数据是否接收到，如果接收到，可以获取目标通道当前送入到第一缓存队列中的第一视频帧的第一帧序号。
可选地，在本实施例中，在获取当前播放的第二视频帧的第一时间戳和第一轨迹帧的第二时间戳的时间戳差值之前，可以以第一帧率从第二缓存队列中获取到第一轨迹帧；识别出第一轨迹帧中包含的目标对象，得到第一轨迹帧的目标轨迹帧数据。
为了在目标视频上显示轨迹帧的轨迹帧数据，可以在获取当前播放的第二视频帧的第一时间戳和第一轨迹帧的第二时间戳的时间戳差值之前，以第一帧率从目标视频中获取到轨迹帧，并识别出获取的轨迹帧中包含的目标对象，得到轨迹帧的轨迹帧数据(例如，用于表示目标对象所在区域的矩形框)。获取轨迹帧、识别轨迹帧中包含的目标对象和显示轨迹帧可以是实时进行的。
例如，在一个处理周期(例如，1s)内，当前的目标帧率为12fps(第一帧率)。以12fps从目标视频中获取轨迹帧，并识别轨迹帧中的人脸，得到轨迹帧的轨迹帧数据。
通过本申请实施例的上述技术方案，通过从目标视频中获取轨迹帧并识别轨迹帧中的目标对象的方式得到轨迹帧的轨迹帧数据，保证了轨迹帧的轨迹帧数据显示的可行性。
可选地，在步骤S304中，获取当前播放的第二视频帧的第一时间戳和第一轨迹帧的第二时间戳的时间戳差值，其中，第一轨迹帧为目标通道按照第一帧率送入到第二缓存队列中、且与当前显示的目标轨迹帧数据对应的视频帧，目标轨迹帧数据用于表示从第一轨迹帧中识别出的目标对象。
为了保证数据帧和轨迹帧播放同步，可以获取当前视频帧和当前轨迹帧的时延(时间戳差值)。
作为一种可选的实施方式，可以对于所有的轨迹帧均执行统计轨迹帧数据显示时延的操作，并根据统计的显示时延(时间戳差值)、当前送入第一缓存队列中的视频帧的帧序号(第一帧序号)、和当前送第一缓存队列的第一目标帧率和当前送第二缓存队列的第二目标帧率确定送入第二缓存队列的下一个轨迹帧的帧序号，直到目标视频播放完成。
作为另一种可选的实施方式，可以对一个统计周期内的最后一个轨迹帧执行统计轨迹帧数据显示时延。可以周期性地统计轨迹帧数据显示的整体时延，并根据统计的整体时延、当前送入第一缓存队列中的视频帧的帧序号(第一帧序号)、和当前送第一缓存队列的第一目标帧率和当前送第二缓存队列的第二目标帧率确定送入第二缓存队列的下一个轨迹帧的帧序号，直到目标视频播放完成。
在播放的目标视频上显示轨迹帧的轨迹帧数据之前、之后或者过程中，终端设备可以获取当前视频帧的时间戳和当前轨迹帧的时间戳，并获取当前视频帧的时间戳和当前轨迹帧的时间戳之间的时间戳差值，以确定当前轨迹帧的显示时延。
可选地，在步骤S306中，根据时间戳差值、第一目标帧率、第一帧率和第一帧序号，确定从目标通道送入到第二缓存队列中的第二轨迹帧的帧序号，以使目标视频的视频帧和轨迹帧的轨迹帧数据同步播放。
对于每一个轨迹帧，可以均根据时间戳差值、当前送入第一缓存队列中的视频帧的帧序号(第一帧序号)、和当前送第一缓存队列的第一目标帧率和当前送第二缓存队列的第二目标帧率确定送入第二缓存队列的下一个轨迹帧的帧序号，以使下一个轨迹帧和下一个轨迹帧的轨迹帧数据同步播放。
可选地，可以周期性执行调整帧序号的操作。对于一个周期的除了第一轨迹帧以外的轨迹帧，可以根据本周期的第一个轨迹帧的帧序号以及目标帧率，确定下一个轨迹帧的帧序号。对于一个周期的第一轨迹帧，可以根据与上一个轨迹帧(上一个周期的最后一个轨迹帧)对应的时间戳差值、接收到上一个轨迹帧的轨迹帧数据时送入第一缓存队列的视频帧的帧序号、第一目标帧率和第二目标帧率(上一个周期轨迹帧的帧率)，确定出本周期的第一个轨迹帧的帧序号，以使本周期的第一个轨迹帧和本周期的第一个轨迹帧的轨迹帧数据同步播放。
例如，在第一周期内，第一个轨迹帧的帧序号为S1，第二目标帧率为12fps，第一目标帧率为24fps，则第一周期的第N个轨迹帧，其对应的帧序号可以为：S1+(N-1)(24/2)＝S1+2(N-1)。则第一周期内的最后一个轨迹帧的帧序号为：S1+22。对于该周期的下一个周期(第二周期)的第一个轨迹帧，可以根据与第一周期的最后一个轨迹帧对应的时间戳差值、第一目标帧率、第二目标帧率以及模拟通道或数字通道当前送入到送视频显示yuv缓存模块中的视频yuv数据的帧序号，确定第二周期的第一个轨迹帧的帧序号。
可选地，在本实施例中，在获取当前播放的第二视频帧的第一时间戳和第一轨迹帧的第二时间戳的时间戳差值之后，可以确定与第一帧率对应的第一帧时间间隔，其中，第一帧时间间隔为按照第一帧率获取两个轨迹帧之间的时间间隔；根据时间戳差值和第一帧时间间隔，将目标通道向第二缓存队列送入轨迹帧的第二目标帧率由第一帧率调整到第二帧率。
在获取到当前视频帧的时间戳和当前轨迹帧的时间戳之间的时间戳差值之后，可以确定出于第一帧率对应的第一帧时间间隔。第一帧时间间隔为按照第一帧率获取两个轨迹帧之间的时间间隔。
例如，轨迹帧的第一帧率为10fps，那么，与第一帧率对应的第一帧时间间隔为：1000/10＝100ms。
在确定出第一帧时间间隔之后，可以根据时间戳差值与第一帧时间间隔的大小关系，将第二目标帧率由第一帧率调整为第二帧率。
通过本申请实施例的上述技术方案，根据时间戳差值和第一帧时间间隔，对第二目标帧率进行调整，可以根据轨迹帧数据的显示时延调整获取轨迹帧的帧率，保证视频帧数据与轨迹帧数据的同步显示，以及目标对象识别资源的使用效率。
根据时间戳差值与第一帧时间间隔，将第二目标帧率由第一帧率调整为第二帧率的方式可以有多种。
作为一种可选的实施方式，在时间戳差值大于或者等于第一帧时间间隔，且第二时间戳早于第一时间戳的情况下，可以确定与第一帧率对应的平均耗时，其中，平均耗时为识别按照第一帧率向第二缓存队列送入的多个轨迹帧中包含的目标对象所消耗的平均时长，多个轨迹帧包括第一轨迹帧；在第一帧时间间隔大于平均耗时的情况下，将第二目标帧率由第一帧率调整为第二帧率，其中，第二帧率大于第一帧率。
如果时间戳差值(可以认为是时间戳差值的绝对值)小于第一帧时间间隔，则可以认为目标视频的播放和轨迹帧的显示是同步的。如果时间戳差值大于或者等于第一帧时间间隔，且第二时间戳早于第一时间戳，则轨迹帧超前，轨迹帧的轨迹帧数据提前在目标视频中显示，导致视频帧数据与轨迹帧数据显示不同步。
可以通过调高目标帧率的方式来充分利用智能算法处理模块的处理资源：确定与第一帧率对应的平均耗时，其中，平均耗时为识别按照第一帧率向第二缓存队列送入的多个轨迹帧中包含的目标对象所消耗的平均时长，多个轨迹帧包括第一轨迹帧；在第一帧时间间隔大于或者等于平均耗时的情况下，将第二目标帧率由第一帧率调整为第二帧率，其中，第二帧率大于第一帧率。
通过调高第二目标帧率的方式，可以避免由于智能算法处理模块处理轨迹帧的速率过快导致的轨迹帧数据提前在目标视频上显示，其中，智能算法处理模块用于对输入的轨迹帧执行目标对象识别，得到轨迹帧数据，并将得到的轨迹帧数据发送至视频显示模块(包括显示屏)进行显示。并且，通过调高第二目标帧率，可以提高每个周期内的轨迹帧的数量，从未可以提高轨迹帧数据显示的流畅性。
例如，在时间戳差值(DT)大于后组合等于第一帧时间间隔(T1)，且第二时间戳早于第一时间戳的情况下，可以获取智能算法处理的平均时延Tavg(平均耗时)，判断第一帧率(FP1)是否小于1000/Tavg，若是，调整送算法帧率为FP1＝FP1+1，其中，Tavg的计算方式可以为：获取轨迹帧数据与送智能算法处理前时间差为tn，Tavg＝(t1+t2+t3…+tN)/N，N＝FP1。
通过本申请实施例的上述技术方案，在时间戳差值大于或者等于第一帧时间间隔，第二时间戳早于所述第一时间戳，且第一帧时间间隔大于平均耗时的情况下，通过调高第二目标帧率，可以在保证视频帧数据和轨迹帧数据的同步显示，提高目标对象识别资源的使用率。
可选地，在本实施例中，根据时间戳差值、第一目标帧率、第一帧率和第一帧序号，确定从目标通道送入到第二缓存队列中的第二轨迹帧的帧序号包括：确定出从目标通道送入到第二缓存队列中的第二轨迹帧的帧序号为第二帧序号，其中，第二帧序号为第一帧序号与第一商的和，第一商为第一目标帧率与第二帧率的商。
例如，目标通道当前送入到第一缓存队列中的第一视频帧的第一帧序号为S，则目标通道送入到第二缓存队列中的下一个轨迹帧的帧序号为：S+FP2/FP1，其中，FP2(第一目标帧率)为播放目标视频的帧率，FP1(第二目标帧率，可以为第一帧率或第二帧率)为获取轨迹帧数据的帧率。
通过本申请实施例的上述技术方案，根据当前送入到第一缓存队列中的视频帧的帧序号、目标视频的帧率和调整后的轨迹帧的帧率，确定送入到第二缓存队列中的下一个轨迹帧的帧序号，可以保证视频帧数据和轨迹帧数据同步的准确性。
作为另一种可选的实施方式，根据时间戳差值和第一帧时间间隔，将目标通道向第二缓存队列送入轨迹帧的第二目标帧率由第一帧率调整到第二帧率包括：在时间戳差值大于或者等于第一帧时间间隔、且第二时间戳晚于第一时间戳的情况下，确定第一缓存队列中当前剩余的视频帧的目标数量；在第一帧时间间隔大于或者等于目标时长的情况下，将第二目标帧率由第一帧率调整为第二帧率，其中，第二帧率小于第一帧率，目标时长为第二帧时间间隔与目标数量的乘积，第二帧时间间隔为按照第一目标帧率向第一缓存队列送入两个视频帧之间的时间间隔。
在时间戳差值大于或者等于第一帧时间间隔，且第二时间戳晚于所述第一时间戳的情况下，则轨迹帧滞后，轨迹帧的轨迹帧数据在目标视频中的显示滞后，导致视频帧数据与轨迹帧数据显示不同步。
如果轨迹帧显示滞后，可以确定第一缓存队列中当前剩余的缓存视频帧的目标数量，确定按照第一目标帧率播放目标数量的缓存视频帧需要的时间为目标时长，并在第一帧时间间隔大于或者等于目标时长时，调低目标帧率。
通过本申请实施例的上述技术方案，轨迹帧显示滞后，且第一帧时间间隔大于或者等于目标时长时，通过调低目标帧率的方式补偿轨迹帧滞后的时间，保证了视频帧数据和轨迹帧数据的显示同步。
可选地，在本实施例中，根据时间戳差值、第一目标帧率、第一帧率和第一帧序号，确定从目标通道送入到第二缓存队列中的第二轨迹帧的帧序号包括：确定出从目标通道送入到第二缓存队列中的第二轨迹帧的帧序号为第三帧序号，其中，第三帧序号为第一帧序号与第一商的和，第一商为第一目标帧率与第二帧率的商。
确定第三帧序号的方式与确定第二帧序号的方式基本类似，在此不作赘述。
通过本申请实施例的上述技术方案，根据当前送入到第一缓存队列中的视频帧的帧序号、目标视频的帧率和调整后的轨迹帧的帧率，确定送入到第二缓存队列中的下一个轨迹帧的帧序号，可以保证视频帧数据和轨迹帧数据同步的准确性。
可选地，在本实施例中，根据时间戳差值、第一目标帧率、第一帧率和第一帧序号，确定从目标通道送入到第二缓存队列中的第二轨迹帧的帧序号包括：在第一帧时间间隔小于目标时长的情况下，确定出从目标通道送入到第二缓存队列中的第二轨迹帧的帧序号为第四帧序号，其中，第四帧序号为第一帧序号、第一商和第二商的和，第一商为第一目标帧率与第一帧率的商，第二商为目标时长和第一帧时间间隔的差与第一帧率的商。
在第一帧时间间隔小于目标时长的情况下，第二缓存队列中的缓存数据帧数量较多，可以结合第一帧时间间隔和目标时长来确定送入到第二缓存队列中的下一个轨迹帧的帧序号。
例如，当前轨迹帧的帧序号为S，第一帧时间间隔为T1，目标时长为T2，第一目标帧率为FP2，第二目标帧率为FP1，则，送入到第二缓存队列中的下一个轨迹帧的帧序号为：S+[FP2/FP1]+[(T2–T1)/FP1]，其中，[]为取整操作。
通过本申请实施例的上述技术方案，根据当前送入到第一缓存队列中的视频帧的帧序号、目标视频的帧率、调整后的轨迹帧的帧率、第一帧时间间隔和目标时长，确定送入到第二缓存队列中的下一个轨迹帧的帧序号，可以保证视频帧数据和轨迹帧数据同步的准确性。
在确定出送入到第二缓存队列中的下一个轨迹帧的帧序号之后，目标视频按照第一目标帧率进行正常播放，在对下一个轨迹帧进行目标对象识别，得到下一个轨迹帧的轨迹帧数据之后，在播放的目标视频上播放下一个轨迹帧的轨迹帧数据。
下面结合可选示例对上述视频处理方法进行说明。在本示例中，针对送入算法模块视频帧yuv数据固定帧率，周期性地统计轨迹帧数据显示的整体时延，自适应的调整送入算法的视频yuv数据帧率；同时，在视频帧数据与轨迹帧数据显示前，比较轨迹帧与视频帧的时间戳差值，根据其差值动态预测下次需要送入的算法的视频帧数据，保证显示的视频帧数据与轨迹帧数据基本同步。
图4是根据本申请实施例的一种可选的视频处理方法的示意图，该方法通过增加数据同步模块实现模拟通道与数字通道的视频帧与轨迹帧的同步显示，该数据同步模块包含周期性统计轨迹帧数据显示时延及比较轨迹帧与视频帧数据时间戳差值，动态选择送智能算法yuv数据两个功能。
在图4中，可以将模拟或数字通道输出的yuv视频数据周期性的发送到送算法视频YUV缓存模块(缓存有视频处理前送算法yuv数据，第二缓存队列)和送视频显示YUV缓存模块进行缓存(缓存有视频处理前送显示yuv数据，第一缓存队列)，并将视频处理前送算法yuv数据和视频处理前送显示yuv数据发送至视频处理模块进行图像处理，将视频处理后的送算法yuv数据发送至智能算法处理模块进行智能算法处理(识别目标对象)，将视频处理后的送显示yuv数据发送至视频显示模块进行显示，并发送至数据同步模块进行数据同步分析。智能算法处理模块将得到的智能轨迹帧数据发送到视频显示模块进行显示，并发送数据同步模块进行数据同步分析。数据同步模块可以将分析结果发送至送算法视频YUV缓存模块，以使送算法视频YUV缓存模块根据分析结果进行视频处理前送算法yuv数据丢帧选择。
本示例中的视频处理方法可以包括以下处理操作：
(1)模拟通道或数字通道来的视频yuv数据放入视频yuv缓存模块中；
(2)从视频yuv缓存模块中获取视频数据送入视频处理模块进行图像处理(如必要的缩放操作)；
(3)视频处理模块输出的图像送入视频显示模块及部分图像送入智能算法处理模块，其中部分图像是由数据同步模块进行同步比较及周期性统计后，进行数据反馈丢帧选择的结果；
(4)视频显示模块同步显示视频yuv数据及智能轨迹帧数据。
本示例中的视频处理方法的总体流程如图5所示，该视频处理方法的流程可以包括以下步骤：
步骤1，数字通道或模拟通道过来的yuv视频数据，分别同时输入到视频显示yuv数据缓存队列和送算法视频yuv数据缓存队列，其中送算法视频yuv数据队列缓存时，它会根据数据同步模块反馈来的信息选择性丢帧，并决定1s内送入缓存队列的帧数及不同的帧数据。
步骤2，送入算法视频yuv数据队列缓存的数据经过视频处理(如yuv格式转换、大小缩放)等得到处理后的送算法视频yuv数据，同时送入视频显示yuv数据队列缓存的数据经过视频处理(如yuv格式转换、图像增强、降噪、大小缩放等)得到处理后的送显示yuv数据。
步骤3，经过视频处理后的送算法yuv数据送入智能算法处理得到轨迹帧数据并与送显示的视频yuv数据经过显示模块同步显示到显示屏上。
对于视频同步模块，如图6所示，视频同步模块的处理流程可以包括以下步骤：
步骤1，初始设置送算法yuv数据的帧率FP1(第二目标帧率)。
例如，可以初始设置人脸送算法帧率为12fps(第一帧率)，表示1s内平均送12帧给算法做智能处理)。
步骤2，判断送显示的轨迹帧数据是否接收到，若是，执行步骤3，否则，等待。
步骤3，获取数字通道或模拟通道送来的视频yuv数据帧率FP2(第一目标帧率)。
步骤4，获取数字通道或模拟通道送来的视频yuv数据当前帧序号。
步骤5，获取送显示的轨迹帧数据编码时间戳(第二时间戳)与最新送显示的视频编码时间戳(第一时间戳)差值DT(时间戳差值)。
步骤6，根据时间戳差值DT与平均显示的轨迹帧数据时延T1(第一帧时间间隔，T1＝1000/FP1)做比处理，若DT大于T1，且第二时间戳早于第一时间戳，转到步骤7，若D1大于T1，且第二时间戳晚于第一时间戳，转到步骤8，若D1小于或者等于T1，则重新执行步骤2。
可以根据(第二时间戳-第一时间戳)是否大于0来判断视频帧和轨迹帧是否同步，如果(第二时间戳-第一时间戳)属于[-1000/FP1，1000/FP1]可以视为同步，如果大于1000/FP1，则轨迹帧显示超前，如果小于-1000/FP1，则轨迹帧显示滞后。
步骤7，获取智能算法处理的平均时延Tavg(获取轨迹帧数据与送智能算法处理前时间差为tn，Tavg＝(t1+t2+t3…+tN)/N，N＝FP1)，判断FP1是否小于1000/Tavg，若是，调整送算法帧率为FP1＝FP1+1，执行步骤10。
步骤8，获取送入视频显示YUV缓存队列中缓存帧时间间隔T2(目标时长，T2＝1000/FP2*M，M为缓存帧数)；判断T2是否大于T1，若是转到步骤9；否则，转到步骤11。
步骤9，调整送算法帧率为FP1＝FP1-1，执行步骤10。
步骤10，送算法视频YUV数据缓存队列下一帧待接收的帧序号为：S+[FP2/FP1](取整操作)。
步骤11，送算法视频YUV数据缓存队列下一帧待接收的帧序号为：S+[FP2/FP1](取整操作)+[(T2-T1)/FP1](取整操作)。
通过本示例，根据智能轨迹帧数据显示整体时延及轨迹帧数据与视频帧数据显示前的时间戳差值，自适应的调整送算法模块视频帧yuv数据帧率及动态选择送入算法的视频帧yuv数据，从而有效保证显示的视频帧数据与轨迹帧数据的同步性。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
根据本申请实施例的另一个方面，还提供了一种用于实施上述视频处理方法的视频处理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图7是根据本申请实施例的一种可选的视频处理装置的结构框图，如图7所示，该装置包括：
(1)第一获取单元72，用于获取目标通道当前送入到第一缓存队列中的第一视频帧的第一帧序号，其中，目标通道用于按照第一目标帧率向第一缓存队列送入目标视频的视频帧，第一缓存队列用于将缓存的视频帧输出到显示屏上进行播放；
(2)第二获取单元74，与第一获取单元72相连，用于获取当前播放的第二视频帧的第一时间戳和第一轨迹帧的第二时间戳的时间戳差值，其中，第一轨迹帧为目标通道按照第一帧率送入到第二缓存队列中、且与当前显示的目标轨迹帧数据对应的视频帧，目标轨迹帧数据用于表示从第一轨迹帧中识别出的目标对象；
(3)第一确定单元76，与第二获取单元74相连，用于根据时间戳差值、第一目标帧率、第一帧率和第一帧序号，确定从目标通道送入到第二缓存队列中的第二轨迹帧的帧序号，以使目标视频的视频帧和轨迹帧的轨迹帧数据同步播放。
可选地，第一获取单元72可以用于执行上述的方法实施例中的步骤S302，第二获取单元74可以用于执行上述的方法实施例中的步骤S304，第一确定单元76可以用于执行上述的方法实施例中的步骤S306。
通过本实施例，根据目标通道当前送入到缓存队列的视频帧的帧序号(第一帧序号)、当前视频帧和当前轨迹帧之间的时间戳差值、目标通道向第一缓存队列送入视频帧的帧率(第一目标帧率)和目标通道当前向第二缓存队列送入轨迹帧的帧率(第一帧率)确定目标通道送入到第二缓存队列中的下一个轨迹帧(第二轨迹帧)的帧序号，解决了相关技术中的视频处理方法存在由于轨迹帧数据的获取时延不固定导致的轨迹帧和视频帧显示不同步的技术问题，保证了视频帧数据与轨迹帧数据同步播放，进而保证了轨迹帧和视频帧的显示同步。
作为一种可选的实施方案，上述装置还包括：
(1)第二确定单元，用于在获取当前播放的第二视频帧的第一时间戳和第一轨迹帧的第二时间戳的时间戳差值之后，确定与第一帧率对应的第一帧时间间隔，其中，第一帧时间间隔为按照第一帧率获取两个轨迹帧之间的时间间隔；
(2)调整单元，与第二确定单元相连，用于根据时间戳差值和第一帧时间间隔，将目标通道向第二缓存队列送入轨迹帧的第二目标帧率由第一帧率调整到第二帧率。
作为一种可选的实施方案，调整单元包括：
(1)第一确定模块，用于在时间戳差值大于或者等于第一帧时间间隔，且第二时间戳早于第一时间戳的情况下，确定与第一帧率对应的平均耗时，其中，平均耗时为识别按照第一帧率向第二缓存队列送入的多个轨迹帧中包含的目标对象所消耗的平均时长，多个轨迹帧包括第一轨迹帧；
(2)第一调整模块，用于在第一帧时间间隔大于平均耗时的情况下，将第二目标帧率由第一帧率调整为第二帧率，其中，第二帧率大于第一帧率。
作为一种可选的实施方案，第一确定单元76包括：
(1)第二确定模块，用于确定出从目标通道送入到第二缓存队列中的第二轨迹帧的帧序号为第二帧序号，其中，第二帧序号为第一帧序号与第一商的和，第一商为第一目标帧率与第二帧率的商。
作为一种可选的实施方案，调整单元包括：
(1)第三确定模块，用于在时间戳差值大于或者等于第一帧时间间隔、且第二时间戳晚于第一时间戳的情况下，确定第一缓存队列中当前剩余的视频帧的目标数量；
(2)第二调整模块，用于在第一帧时间间隔大于或者等于目标时长的情况下，将第二目标帧率由第一帧率调整为第二帧率，其中，第二帧率小于第一帧率，目标时长为第二帧时间间隔与目标数量的乘积，第二帧时间间隔为按照第一目标帧率向第一缓存队列送入两个视频帧之间的时间间隔。
作为一种可选的实施方案，第一确定单元76包括：
(1)第四确定模块，用于确定出从目标通道送入到第二缓存队列中的第二轨迹帧的帧序号为第三帧序号，其中，第三帧序号为第一帧序号与第一商的和，第一商为第一目标帧率与第二帧率的商。
作为一种可选的实施方案，第一确定单元76包括：
(1)第五确定模块，用于在第一帧时间间隔小于目标时长的情况下，确定出从目标通道送入到第二缓存队列中的第二轨迹帧的帧序号为第四帧序号，其中，第四帧序号为第一帧序号、第一商和第二商的和，第一商为第一目标帧率与第一帧率的商，第二商为目标时长和第一帧时间间隔的差与第一帧率的商。
作为一种可选的实施方案，上述装置还包括：
(1)第三获取单元，用于在获取当前播放的第二视频帧的第一时间戳和第一轨迹帧的第二时间戳之间的时间戳差值之前，以第一帧率从第二缓存队列中获取到第一轨迹帧；
(2)识别单元，用于识别出第一轨迹帧中包含的目标对象，得到第一轨迹帧的目标轨迹帧数据。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
根据本申请实施例的又一个方面，还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，获取目标通道当前送入到第一缓存队列中的第一视频帧的第一帧序号，其中，目标通道用于按照第一目标帧率向第一缓存队列送入目标视频的视频帧，第一缓存队列用于将缓存的视频帧输出到显示屏上进行播放；
S2，获取当前播放的第二视频帧的第一时间戳和第一轨迹帧的第二时间戳的时间戳差值，其中，第一轨迹帧为目标通道按照第一帧率送入到第二缓存队列中、且与当前显示的目标轨迹帧数据对应的视频帧，目标轨迹帧数据用于表示从第一轨迹帧中识别出的目标对象；
S3，根据时间戳差值、第一目标帧率、第一帧率和第一帧序号，确定从目标通道送入到第二缓存队列中的第二轨迹帧的帧序号，以使目标视频的视频帧和轨迹帧的轨迹帧数据同步播放。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
根据本申请实施例的又一个方面，还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取目标通道当前送入到第一缓存队列中的第一视频帧的第一帧序号，其中，目标通道用于按照第一目标帧率向第一缓存队列送入目标视频的视频帧，第一缓存队列用于将缓存的视频帧输出到显示屏上进行播放；
S2，获取当前播放的第二视频帧的第一时间戳和第一轨迹帧的第二时间戳的时间戳差值，其中，第一轨迹帧为目标通道按照第一帧率送入到第二缓存队列中、且与当前显示的目标轨迹帧数据对应的视频帧，目标轨迹帧数据用于表示从第一轨迹帧中识别出的目标对象；
S3，根据时间戳差值、第一目标帧率、第一帧率和第一帧序号，确定从目标通道送入到第二缓存队列中的第二轨迹帧的帧序号，以使目标视频的视频帧和轨迹帧的轨迹帧数据同步播放。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种视频处理方法，其特征在于，包括：
获取目标通道当前送入到第一缓存队列中的第一视频帧的第一帧序号，其中，所述目标通道用于按照第一目标帧率向所述第一缓存队列送入目标视频的视频帧，所述第一缓存队列用于将缓存的视频帧输出到显示屏上进行播放；
获取当前播放的第二视频帧的第一时间戳和第一轨迹帧的第二时间戳的时间戳差值，其中，所述第一轨迹帧为所述目标通道按照第一帧率送入到第二缓存队列中、且与当前显示的目标轨迹帧数据对应的视频帧，所述目标轨迹帧数据用于表示从所述第一轨迹帧中识别出的目标对象；
根据所述时间戳差值、所述第一目标帧率、所述第一帧率和所述第一帧序号，确定从所述目标通道送入到所述第二缓存队列中的第二轨迹帧的帧序号，以使所述目标视频的视频帧和所述轨迹帧的轨迹帧数据同步播放。
2.根据权利要求1所述的方法，其特征在于，在获取当前播放的所述第二视频帧的所述第一时间戳和所述第一轨迹帧的所述第二时间戳的所述时间戳差值之后，所述方法还包括：
确定与所述第一帧率对应的第一帧时间间隔，其中，所述第一帧时间间隔为按照所述第一帧率获取两个轨迹帧之间的时间间隔；
根据所述时间戳差值和所述第一帧时间间隔，将所述目标通道向所述第二缓存队列送入轨迹帧的第二目标帧率由所述第一帧率调整到第二帧率。
3.根据权利要求2所述的方法，其特征在于，根据所述时间戳差值和所述第一帧时间间隔，将所述目标通道向所述第二缓存队列送入轨迹帧的所述第二目标帧率由所述第一帧率调整到所述第二帧率包括：
在所述时间戳差值大于或者等于所述第一帧时间间隔，且所述第二时间戳早于所述第一时间戳的情况下，确定与所述第一帧率对应的平均耗时，其中，所述平均耗时为识别按照所述第一帧率向所述第二缓存队列送入的多个轨迹帧中包含的所述目标对象所消耗的平均时长，所述多个轨迹帧包括所述第一轨迹帧；
在所述第一帧时间间隔大于或者等于所述平均耗时的情况下，将所述第二目标帧率由所述第一帧率调整为所述第二帧率，其中，所述第二帧率大于所述第一帧率。
4.根据权利要求3所述的方法，其特征在于，根据所述时间戳差值、所述第一目标帧率、所述第一帧率和所述第一帧序号，确定从所述目标通道送入到所述第二缓存队列中的所述第二轨迹帧的帧序号包括：
确定出从所述目标通道送入到所述第二缓存队列中的所述第二轨迹帧的帧序号为第二帧序号，其中，所述第二帧序号为所述第一帧序号与第一商的和，所述第一商为所述第一目标帧率与所述第二帧率的商。
5.根据权利要求2所述的方法，其特征在于，根据所述时间戳差值和所述第一帧时间间隔，将所述目标通道向所述第二缓存队列送入轨迹帧的所述第二目标帧率由所述第一帧率调整到所述第二帧率包括：
在所述时间戳差值大于或者等于所述第一帧时间间隔、且所述第二时间戳晚于所述第一时间戳的情况下，确定所述第一缓存队列中当前剩余的视频帧的目标数量；
在所述第一帧时间间隔大于或者等于目标时长的情况下，将所述第二目标帧率由所述第一帧率调整为所述第二帧率，其中，所述第二帧率小于所述第一帧率，所述目标时长为第二帧时间间隔与所述目标数量的乘积，所述第二帧时间间隔为按照所述第一目标帧率向所述第一缓存队列送入两个视频帧之间的时间间隔。
6.根据权利要求5所述的方法，其特征在于，根据所述时间戳差值、所述第一目标帧率、所述第一帧率和所述第一帧序号，确定从所述目标通道送入到所述第二缓存队列中的所述第二轨迹帧的帧序号包括：
确定出从所述目标通道送入到所述第二缓存队列中的所述第二轨迹帧的帧序号为第三帧序号，其中，所述第三帧序号为所述第一帧序号与第一商的和，所述第一商为所述第一目标帧率与所述第二帧率的商。
7.根据权利要求5所述的方法，其特征在于，根据所述时间戳差值、所述第一目标帧率、所述第一帧率和所述第一帧序号，确定从所述目标通道送入到所述第二缓存队列中的所述第二轨迹帧的帧序号包括：
在所述第一帧时间间隔小于所述目标时长的情况下，确定出从所述目标通道送入到所述第二缓存队列中的所述第二轨迹帧的帧序号为第四帧序号，其中，所述第四帧序号为所述第一帧序号、第一商和第二商的和，所述第一商为所述第一目标帧率与所述第一帧率的商，所述第二商为所述目标时长和所述第一帧时间间隔的差与所述第一帧率的商。
8.根据权利要求1至7中任一项所述的方法，其特征在于，在获取当前播放的所述第二视频帧的第一时间戳和所述第一轨迹帧的第二时间戳的时间戳差值之前，所述方法还包括：
以所述第一帧率从所述第二缓存队列中获取到所述第一轨迹帧；
识别出所述第一轨迹帧中包含的所述目标对象，得到所述第一轨迹帧的所述目标轨迹帧数据。
9.一种视频处理装置，其特征在于，包括：
第一获取单元，用于获取目标通道当前送入到第一缓存队列中的第一视频帧的第一帧序号，其中，所述目标通道用于按照第一目标帧率向所述第一缓存队列送入目标视频的视频帧，所述第一缓存队列用于将缓存的视频帧输出到显示屏上进行播放；
第二获取单元，用于获取当前播放的第二视频帧的第一时间戳和第一轨迹帧的第二时间戳的时间戳差值，其中，所述第一轨迹帧为所述目标通道按照第一帧率送入到第二缓存队列中、且与当前显示的目标轨迹帧数据对应的视频帧，所述目标轨迹帧数据用于表示从所述第一轨迹帧中识别出的目标对象；
第一确定单元，用于根据所述时间戳差值、所述第一目标帧率、所述第一帧率和所述第一帧序号，确定从所述目标通道送入到所述第二缓存队列中的第二轨迹帧的帧序号，以使所述目标视频的视频帧和所述轨迹帧的轨迹帧数据同步播放。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括：
第二确定单元，用于在获取当前播放的所述第二视频帧的第一时间戳和所述第一轨迹帧的第二时间戳的所述时间戳差值之后，确定与所述第一帧率对应的第一帧时间间隔，其中，所述第一帧时间间隔为按照所述第一帧率获取两个轨迹帧之间的时间间隔；
调整单元，用于根据所述时间戳差值和所述第一帧时间间隔，将所述目标通道向所述第二缓存队列送入轨迹帧的第二目标帧率由所述第一帧率调整到第二帧率。
11.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，所述计算机程序被处理器执行所述权利要求1至8任一项中所述的方法。
12.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至8任一项中所述的方法。
CN202010080722.8A 2020-02-05 2020-02-05 视频处理方法和装置、存储介质及电子装置 Active CN111246178B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010080722.8A CN111246178B (zh) 2020-02-05 2020-02-05 视频处理方法和装置、存储介质及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010080722.8A CN111246178B (zh) 2020-02-05 2020-02-05 视频处理方法和装置、存储介质及电子装置

Publications (2)

Publication Number Publication Date
CN111246178A CN111246178A (zh) 2020-06-05
CN111246178B true CN111246178B (zh) 2021-06-18

Family

ID=70864751

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010080722.8A Active CN111246178B (zh) 2020-02-05 2020-02-05 视频处理方法和装置、存储介质及电子装置

Country Status (1)

Country Link
CN (1) CN111246178B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112738356A (zh) * 2020-12-31 2021-04-30 威创集团股份有限公司 一种视频信号同步采集方法和装置
CN113411499B (zh) * 2021-06-17 2023-03-24 浙江大华技术股份有限公司 一种图像融合方法、装置、存储介质及电子装置
CN113949898B (zh) * 2021-10-13 2024-03-08 北京奇艺世纪科技有限公司 多媒体处理方法、装置、设备和存储介质
CN115550709B (zh) * 2022-01-07 2023-09-26 荣耀终端有限公司 数据处理方法及电子设备
CN114449309B (zh) * 2022-02-14 2023-10-13 杭州登虹科技有限公司 一种用于云导播的动图播放方法
CN114900727A (zh) * 2022-05-11 2022-08-12 上海哔哩哔哩科技有限公司 视频流处理方法及装置
CN115022658B (zh) * 2022-05-30 2023-09-08 广州力加贺电子科技有限公司 适用于嵌入式的直播数据处理方法、装置、设备及介质
CN115484407B (zh) * 2022-08-25 2023-07-04 奥比中光科技集团股份有限公司 一种多路采集数据的同步输出方法、系统及rgbd相机
CN115665502B (zh) * 2022-10-24 2023-04-21 昆易电子科技(上海)有限公司 视频数据处理方法、注入方法、系统、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150195425A1 (en) * 2014-01-08 2015-07-09 VIZIO Inc. Device and method for correcting lip sync problems on display devices
CN105163080A (zh) * 2015-09-01 2015-12-16 上海由零网络科技有限公司 一种视频播放方法及视频播放装置
CN107333163A (zh) * 2017-06-29 2017-11-07 上海鋆创信息技术有限公司 一种视频处理方法及装置、一种终端及存储介质
CN109547831A (zh) * 2018-11-19 2019-03-29 网宿科技股份有限公司 一种白板与视频同步的方法、装置、计算设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150195425A1 (en) * 2014-01-08 2015-07-09 VIZIO Inc. Device and method for correcting lip sync problems on display devices
CN105163080A (zh) * 2015-09-01 2015-12-16 上海由零网络科技有限公司 一种视频播放方法及视频播放装置
CN107333163A (zh) * 2017-06-29 2017-11-07 上海鋆创信息技术有限公司 一种视频处理方法及装置、一种终端及存储介质
CN109547831A (zh) * 2018-11-19 2019-03-29 网宿科技股份有限公司 一种白板与视频同步的方法、装置、计算设备及存储介质

Also Published As

Publication number Publication date
CN111246178A (zh) 2020-06-05

Similar Documents

Publication Publication Date Title
CN111246178B (zh) 视频处理方法和装置、存储介质及电子装置
CN110399110B (zh) 多屏同步显示方法及系统、显示设备和存储介质
CN109409513B (zh) 一种基于神经网络的任务处理方法及相关设备
CN107801080A (zh) 一种音视频同步方法、装置及设备
CN112154669B (zh) 基于系统时钟的视频流帧时间戳的相关
CN106851044B (zh) 一种视频同步回放方法及装置
CN107371061A (zh) 一种视频流播放方法、装置及设备
CN106488273A (zh) 一种传输直播视频的方法和装置
CN108881955A (zh) 一种实现分布式节点设备视频同步输出的方法及系统
CN109714622A (zh) 一种视频数据处理方法、装置及电子设备
CN111131817A (zh) 屏幕共享方法、设备、存储介质及屏幕共享系统
CN108174267A (zh) 直播中互动信息的发送装置、方法及计算机可读存储介质
CN109821235B (zh) 游戏录像方法、装置及服务器
CN114007108A (zh) 音频流混音控制方法及其装置、设备、介质、产品
US10897655B2 (en) AV server and AV server system
CN116437028B (zh) 一种视频显示方法及系统
CN112817753A (zh) 任务的处理方法及装置、存储介质、电子装置
CN112911390B (zh) 一种视频数据的播放方法及终端设备
CN109688618A (zh) 视频处理方法、装置、电子设备及存储介质
CN113473215B (zh) 录屏方法、装置、终端及存储介质
CN109618207B (zh) 视频帧的处理方法、装置、存储介质及电子装置
US11210261B2 (en) Systems and methods for synchronizing frame processing within a multi-stage modular architecture
CN105187688A (zh) 一种对手机采集的实时视频和音频进行同步的方法及系统
CN114866829A (zh) 同步播放的控制方法及装置
CN108024121B (zh) 语音弹幕同步方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant