CN111416994A - 视频流和跟踪信息的同步呈现的方法、装置及电子设备 - Google Patents

Abstract

本申请提供一种视频流和跟踪信息的同步呈现的方法、装置及电子设备，该方法包括：服务器端接收分别具有时间戳的视频流和跟踪信息；根据时间戳将所述跟踪信息同步到所述视频流中；对同步后的预设时间内的所述视频流和所述跟踪信息存储到服务器缓存中；所述服务器将所述缓存中的同步后的所述视频流和所述跟踪信息推送至终端，并在所述终端上同步显示所述视频流和跟踪信息。根据本申请实施例的视频流和跟踪信息的同步呈现的方法，能够适应不同网络环境，高清流畅展示视频结果，视频画面与声音、文字同步，有效降低网络的不确定因素对视频演示造成视频流和跟踪信息不同步的影响，且能够保持前端演示的连续性。

Description

视频流和跟踪信息的同步呈现的方法、装置及电子设备

技术领域

本申请涉及视频处理技术领域，尤其涉及视频流和跟踪信息的同步呈现的方法、装置及电子设备。

背景技术

现有技术中对于音频、视频和文字同步一直是一个比较难解决的难题，例如在播放视频时，经常会出现音频或文字的播放速度滞后于视频流的速度，而导致视频流与音频或文字不同步的情况，特别是在不同的网络环境下，受到网络带宽，延时等制约因素，要做到在终端进行视频结果高清流畅展示尤其难。目前的实现大多是视频流，文字流在后端解析后，前端通过主动拉取的方式获取视频解析结果，以在前端进行同步演示，这种方式依赖于网络环境，大大增加了前端的技术处理难度和压力。

发明内容

有鉴于此，本申请提供一种视频流和跟踪信息的同步呈现的方法、装置及电子设备，能够适应不同网络环境，解决网络的不确定因素对播放的视频流和跟踪信息不同步的问题。

为解决上述技术问题，本申请采用以下技术方案：

第一方面，本申请提供一种视频流和跟踪信息的同步呈现的方法，包括如下步骤：

服务器端接收分别具有时间戳的视频流和跟踪信息。其中，接收的视频流和跟踪信息可以存储在服务器端。

根据时间戳将所述跟踪信息同步到所述视频流中。其中，将所述视频流与所述跟踪信息对齐到同一时间戳。

对同步后的预设时间内的所述视频流和所述跟踪信息存储到服务器缓存中。其中，预设时间包括当前时间戳的前后一段时间范围，该范围可以根据需要进行设定。

所述服务器将所述缓存中的同步后的所述视频流和所述跟踪信息推送至终端，并在所述终端上同步显示所述视频流和跟踪信息。

根据本申请实施例的视频流和跟踪信息的同步呈现的方法，能够适应不同网络环境，高清流畅展示视频结果，视频画面与声音、文字同步，有效降低网络的不确定因素视频播放造成的视频画面与声音、文字不同步的问题，保持视频播放的连续性。

作为本申请的第一方面的一个实施例，所述跟踪信息包括文字信息和音频信息中的一种或两种，也就是说，视频流和跟踪信息的同步呈现的方法既可以保证视频画面与声音同步，也可以保证视频画面与字幕同步，或者是视频流和声音、字幕同步。

作为本申请的第一方面的一个实施例，对同步后的预设时间内的所述视频流和所述跟踪信息存储到缓存中，包括：

对同步后的预设时间内的所述视频流和所述跟踪信息混合编码以压缩同步后的视频流和跟踪信息，将压缩后的视频流和跟踪信息数据存储到所述缓存中。其中，对所述视频流和所述跟踪信息混合编码可以在视频流传输过程中尽量减少网络带宽占用，降低网络传输的压力从而降低延时。

作为本申请的第一方面的一个实施例，所述方法还包括：所述服务器对网络状态实时监测，根据所述网络状态调整所述同步后的视频流和跟踪信息压缩率和码率。其中，根据所述网络状态动态调整编码的方式可以通过调整视频流压缩率和码率，减小视频数据量，根据网络状态实时的调整压缩率和码率，可以降低网络传输的压力从而尽可能避免视频流播放延时。

作为本申请的第一方面的一个实施例，将所述缓存中的同步后的所述视频流和所述跟踪信息推送至终端，包括：

通过CDN网络将所述缓存中的同步后的视频流和所述跟踪信息推送至终端的缓存中。其中，内容分发网络CDN应用于服务器。将视频资源缓存到所述服务器缓存，能够使用户就近获取所需内容，避免网络拥堵，提升用户访问速度，降低响应时间，提供流畅的视频流播放。

第二方面，本申请实施例提供了一种视频流和跟踪信息的同步呈现的装置，所述装置包括：

接收模块，用于接收分别具有时间戳的视频流和跟踪信息。其中，接收的视频流和跟踪信息存储在服务器端。

处理模块，用于根据时间戳，将所述跟踪信息同步到所述视频流中。其中，将所述视频流的与所述跟踪信息对齐到同一时间戳。

所述处理模块对同步后的预设时间内的所述视频流和所述跟踪信息存储到服务器缓存中。其中，预设时间包括当前时间戳的前后一段时间范围。

推送模块，用于将所述缓存中的同步后的所述视频流和所述跟踪信息推送至终端，并在所述终端上同步显示所述视频流和跟踪信息。

根据本申请实施例的视频流和跟踪信息的同步呈现的装置，能够适应不同网络环境，高清流畅展示视频结果，视频画面与声音、文字同步，有效降低网络的不确定因素造成视频播放波动而造成的损失。

作为本申请第二方面的一个实施例，所述跟踪信息包括文字信息和音频信息中的一种或两种。

作为本申请第二方面的一个实施例，所述处理模块用于：

对同步后的预设时间内的所述视频流和所述跟踪信息混合编码以压缩同步后的视频流和跟踪信息，将压缩后的视频流和跟踪信息数据存储到所述缓存中。其中，对所述视频流和所述跟踪信息混合编码可以在视频流传输过程中尽量减少网络带宽占用，降低网络传输的压力从而降低延时。

作为本申请第二方面的一个实施例，所述装置还包括：

监测模块，用于对网络状态实时监测，所述处理模块根据所述网络状态调整所述同步后的视频流和跟踪信息压缩率和码率。其中，根据所述网络状态动态调整编码的方式可以通过调整视频流压缩率和码率，减小视频数据量，因而根据网络状态实时的调整压缩率和码率，可以降低网络传输的压力从而尽可能避免视频流播放延时。

作为本申请第二方面的一个实施例，所述推送模块具体用于：

通过CDN网络将所述缓存中的同步后的视频流和所述跟踪信息推送至终端的缓存中。其中，内容分发网络CDN广泛采用各种缓存服务器，将这些缓存服务器分布到用户访问相对集中的地区或网络中。将视频资源缓存到所述缓存服务器，能够使用户就近获取所需内容，避免网络拥堵，提升用户访问速度，降低响应时间，提供流畅的视频流播放。

第三方面，本申请实施例提供了一种电子设备，其特征在于，包括处理器和存储器，

所述存储器中存储有指令，

所述处理器，用于读取所述存储器中存储的所述指令，以执行视频流和跟踪信息的同步呈现的方法。

本申请的上述技术方案至少具有如下有益效果之一：

根据本申请实施例的视频流和跟踪信息的同步呈现的装置，能够基于视频流与跟踪信息的时间戳，将视频流和跟踪信息进行同步，且将同步后的一段时间内的视频流和所述跟踪信息存储到服务器缓存中，以便于服务器将缓存中的数据直接推送至前端，可以有效的降低延时，降低网络的不确定因素对视频演示造成视频流和跟踪信息不同步的影响，且能够保持前端演示的连续性。

附图说明

图1为本申请实施例的服务器端与终端网络通信的场景图；

图2为本申请实施例的视频流和跟踪信息的同步呈现的方法的流程图；

图3为本申请实施例的视频流和跟踪信息的同步呈现的装置的结构示意图；

图4为本申请实施例的电子设备的结构示意图。

具体实施方式

为了使本申请的内容更容易被清楚地理解，下面将结合附图和实施例，对本申请的具体实施方式作进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。

根据本申请的一些实施例，公开了一种服务器端与终端网络通信的场景图。图1是根据本申请一个实施例的服务器端与终端网络通信的场景图。如图1所示，该场景中包括服务器101以及终端设备102，终端设备可以是电子设备中的一种，具体地，终端设备102可以但非限制性的为手机、手表、智能音箱、平板电脑、PC端电脑、电视、车载控制设备等互联网设备，服务器101可以为提供视频流和跟踪信息处理的服务器，例如云端服务器，其中跟踪信息包括文字信息(字幕)和音频信息(语音)。服务器101与终端设备建立网络连接后，服务器根据时间戳，将跟踪信息同步到视频流中，并缓存有一定时间的同步的视频流，并通过网络将缓存的且同步后的视频流推送至终端，以使得终端可以同步获得视频流和跟踪信息，并进行演示，确保终端演示的视频画面、语音、文字同步显示。

下面结合附图对本申请的视频流和跟踪信息的同步呈现的方法进行描述，图2示出了视频流和跟踪信息的同步呈现的方法的流程图，如图2所示，该方法包括如下步骤：

步骤S110，服务器端接收分别具有时间戳的视频流和跟踪信息。

具体地，服务器端可以通过读取视频流和跟踪信息的路径信息获取需要处理的视频流和跟踪信息，通过路径将需要处理的视频流和跟踪信息进行存储。

步骤S120，根据时间戳，将跟踪信息同步到视频流中。

其中，首先选择一个参考时钟，参考时钟上的时间是线性递增的，生成视频流和跟踪信息的数据流时依据参考时钟上的时间给每个数据块都打上时间戳，一般包括开始时间和结束时间，在同步时，读取数据块上的时间戳，同时参考当前参考时钟上的时间来安排播放，如果数据块的开始时间大于当前参考时钟上的时间，则不急于播放该数据块，直到参考时钟达到数据块的开始时间，如果数据块的开始时间小于当前参考时钟上的时间，则可以尽快播放这块数据或者直接将这块数据丢弃，以使播放进度追上参考时钟，实现视频流与跟踪信息的数据流一一对应。最终，得到时间戳一致的视频流和跟踪信息。

步骤S130，对同步后的预设时间内的视频流和跟踪信息存储到服务器缓存中。

其中，将当前时间戳前后一段时间范围的视频流和跟踪信息缓存在缓存中，以便于后续推送存储在缓存中的视频流时，可以根据情况推送缓存中的部分视频流，该方式快速高效，可有效降低视频流的播放延时。

步骤S140，服务器将缓存中的同步后的视频流和跟踪信息推送至终端，并在终端上同步显示视频流和跟踪信息。通过服务器主动推送的方式可以将服务器缓存中的同步后的视频流和跟踪信息同时推送至终端，以实现在终端同步演示视频流和跟踪信息。

根据本申请的一个实施例，可以通过内容分发网络(Content Delivery Network，CDN)将缓存中的同步后的视频流和跟踪信息推送至终端的缓存中。

其中，服务器接收具有时间戳的视频流和跟踪信息，并根据时间戳将视频流与跟踪信息同步，同步后的视频流及跟踪信息被存储在CDN内容分发网络采用的服务器缓存中，当用户选择的播放视频流时，把存储在本地缓存的视频流和跟踪信息快速提供给用户，能够使用户就近获取所需内容，避免网络拥堵，提升用户访问速度，降低响应时间，保证视频流播放的流畅性以及视频流与跟踪信息的同步显示。

此外，将同步后的视频流和跟踪信息推送到终端的缓存中，以缓冲网络暂时卡顿造成的间隔影响，保持前端演示的连续性。

根据本申请的一个实施例，跟踪信息包括文字信息和音频信息中的一种或两种，也就是说，可以实现视频画面与声音同步，也可以保证视频画面与字幕同步，或者是视频流和声音、字幕同步。

根据本申请的一个实施例，对同步后的预设时间内的视频流和跟踪信息存储到缓存中，包括：对同步后的预设时间内的视频流和跟踪信息混合编码以压缩同步后的视频流和跟踪信息，将压缩后的视频流和跟踪信息数据存储到缓存中。

其中，混合编码可以包括变换编码和预测编码是两类不同的压缩编码方法，可以达到对视频流图像的更高的压缩效率。

根据本申请的一个实施例，服务器还可以对网络状态实时监测，根据网络状态调整同步后的视频流和跟踪信息压缩率和码率。

其中，根据网络状态来协调视频输出的实时码率，如果网络环境不稳定就会直接影响到视频的实时流畅性，通过获取网络带宽比特率，根据网络带宽和编码器负载情况进行判断，如果网络带宽和编码器允许，提高编码器码率，如果带宽和编码器不允许，降低编码器码率。

因此，通过本申请实施例的视频流和跟踪信息的同步呈现的方法，能够适应不同网络环境，高清流畅展示视频结果，视频画面与声音、文字同步，有效降低网络的不确定因素对视频演示造成视频流和跟踪信息不同步的影响，且能够保持前端演示的连续性。

基于上面的描述，下面结合具体实施例对本申请的视频流和跟踪信息的同步呈现的装置进行说明，如图3所示，本申请实施例的视频流和跟踪信息的同步呈现的装置，该装置包括：

接收模块1001，用于接收分别具有时间戳的视频流和跟踪信息；

处理模块1002，用于根据时间戳将跟踪信息同步到视频流中；

处理模块1002对同步后的预设时间内的视频流和跟踪信息存储到服务器缓存中；

推送模块1003，用于将缓存中的同步后的视频流和跟踪信息推送至终端，并在终端上同步显示视频流和跟踪信息。

根据本申请的一个实施例，视频流和跟踪信息的同步呈现的装置，跟踪信息包括文字信息和音频信息中的一种或两种。

根据本申请的一个实施例的，处理模块1002用于：

对同步后的预设时间内的视频流和跟踪信息混合编码以压缩同步后的视频流和跟踪信息，将压缩后的视频流和跟踪信息数据存储到缓存中。

根据本申请的一个实施例的，视频流和跟踪信息的同步呈现的装置还包括：

监测模块1004，用于对网络状态实时监测，处理模块1002根据网络状态调整同步后的视频流和跟踪信息压缩率和码率。

根据本申请的一个实施例，推送模块具体用于：

通过CDN网络将缓存中的同步后的视频流和跟踪信息推送至终端的缓存中。

需要说明的是，本申请实施例提供的视频流和跟踪信息的同步呈现的装置的各模块的具体工作过程在上述实施例中已经详细的说明，具体可参见上述实施例的方法，对此不在重复赘述。

基于与上述方法相同的发明构思，本申请还提供一种电子设备，图4示出了一种电子设备，如图4所示，该电子设备包括：处理器1401和存储器1402，在存储器1402中存储有计算机程序指令，其中，在计算机程序指令被处理器运行时，使得处理器1401执行以下步骤：

步骤S110，服务器端接收分别具有时间戳的视频流和跟踪信息。

步骤S120，根据时间戳将跟踪信息同步到视频流中。

步骤S130，对同步后的预设时间内的视频流和跟踪信息存储到服务器缓存中。

步骤S140，服务器将缓存中的同步后的视频流和跟踪信息推送至终端，并在终端上同步显示视频流和跟踪信息。

进一步地，如图4所示，电子设备还包括网络接口1403、输入设备1404、硬盘1405、和显示设备1406。

上述各个接口和设备之间可以通过总线架构互连。总线架构可以是可以包括任意数量的互联的总线和桥。具体由处理器1401代表的一个或者多个中央处理器(CPU)，以及由存储器1402代表的一个或者多个存储器的各种电路连接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其它电路连接在一起。可以理解，总线架构用于实现这些组件之间的连接通信。总线架构除包括数据总线之外，还包括电源总线、控制总线和状态信号总线，这些都是本领域所公知的，因此本文不再对其进行详细描述。

网络接口1403，可以连接至网络(如因特网、局域网等)，从网络中获取相关数据，并可以保存在硬盘1405中。

输入设备1404，可以接收操作人员输入的各种指令，并发送给处理器1401以供执行。输入设备1404可以包括键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等。

显示设备1406，可以将处理器1401执行指令获得的结果进行显示。

存储器1402，用于存储操作系统运行所必须的程序和数据，以及处理器1401计算过程中的中间结果等数据。

可以理解，本发明实施例中的存储器1402可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或闪存。易失性存储器可以是随机存取存储器(RAM)，其用作外部高速缓存。本文描述的装置和方法的存储器1402旨在包括但不限于这些和任意其它适合类型的存储器。

在一些实施方式中，存储器1402存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统14021和应用程序14014。

其中，操作系统14021，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序14014，包含各种应用程序，例如浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序14014中。

本发明上述实施例揭示的方法可以应用于处理器1401中，或者由处理器1401实现。处理器1401可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1401中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1401可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1402，处理器1401读取存储器1402中的信息，结合其硬件完成上述方法的步骤。

可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ASIC)、数字信号处理器DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请功能的其它电子单元或其组合中。

对于软件实现，可通过执行本文功能的模块(例如过程、函数等)来实现本文的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。

具体地，处理器1401还用于读取计算机程序，执行如下步骤:

对同步后的预设时间内的视频流和跟踪信息混合编码以压缩同步后的视频流和跟踪信息，将压缩后的视频流和跟踪信息数据存储到缓存中。

具体地，处理器1401还用于读取计算机程序，执行如下步骤:对网络状态实时监测，根据网络状态调整同步后的视频流和跟踪信息压缩率和码率。

具体地，处理器1401还用于读取计算机程序，执行如下步骤:

通过CDN网络将缓存中的同步后的视频流和跟踪信息推送至终端的缓存中。

由此，本申请实施例的视频流和跟踪信息的同步呈现的方法、装置及电子设备提供了能够适应不同网络环境，高清流畅展示视频结果，视频画面与声音、文字同步，有效降低网络的不确定因素对视频演示造成视频流和跟踪信息不同步的影响，且能够保持前端演示的连续性。

在本申请所提供的几个实施例中，应该理解到，所揭露方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。以上所述是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种视频流和跟踪信息的同步呈现的方法，其特征在于，包括：

服务器端接收分别具有时间戳的视频流和跟踪信息；

根据时间戳将所述跟踪信息同步到所述视频流中；

对同步后的预设时间内的所述视频流和所述跟踪信息存储到服务器缓存中；

所述服务器将所述缓存中的同步后的所述视频流和所述跟踪信息推送至终端，并在所述终端上同步显示所述视频流和跟踪信息。

2.根据权利要求1所述的方法，其特征在于，所述跟踪信息包括文字信息和音频信息中的一种或两种。

3.根据权利要求1所述的方法，其特征在于，对同步后的预设时间内的所述视频流和所述跟踪信息存储到缓存中，包括：

对同步后的预设时间内的所述视频流和所述跟踪信息混合编码以压缩同步后的视频流和跟踪信息，将压缩后的视频流和跟踪信息数据存储到所述缓存中。

4.根据权利要求3所述的方法，其特征在于，还包括：所述服务器对网络状态实时监测，根据所述网络状态调整所述同步后的视频流和跟踪信息压缩率和码率。

5.根据权利要求1所述的方法，其特征在于，将所述缓存中的同步后的所述视频流和所述跟踪信息推送至终端，包括：

通过CDN网络将所述缓存中的同步后的视频流和所述跟踪信息推送至终端的缓存中。

6.一种视频流和跟踪信息的同步呈现的装置，其特征在于，包括：

接收模块，用于接收分别具有时间戳的视频流和跟踪信息；

处理模块，用于根据时间戳将所述跟踪信息同步到所述视频流中；

所述处理模块对同步后的预设时间内的所述视频流和所述跟踪信息存储到服务器缓存中；

推送模块，用于将所述缓存中的同步后的所述视频流和所述跟踪信息推送至终端，并在所述终端上同步显示所述视频流和跟踪信息。

7.根据权利要求6所述的装置，其特征在于，所述处理模块用于：

对同步后的预设时间内的所述视频流和所述跟踪信息混合编码以压缩同步后的视频流和跟踪信息，将压缩后的视频流和跟踪信息数据存储到所述缓存中。

8.根据权利要求7所述的装置，其特征在于，还包括：

监测模块，用于对网络状态实时监测，所述处理模块根据所述网络状态调整所述同步后的视频流和跟踪信息压缩率和码率。

9.根据权利要求6所述的装置，其特征在于，所述推送模块具体用于：

通过CDN网络将所述缓存中的同步后的视频流和所述跟踪信息推送至终端的缓存中。

10.一种电子设备，其特征在于，包括处理器和存储器，

所述存储器中存储有指令，

所述处理器，用于读取所述存储器中存储的所述指令，以执行权利要求1-5任一项所述的方法。

Images