CN110602524B - 一种多路数字流同步方法、装置、系统及存储介质 - Google Patents

一种多路数字流同步方法、装置、系统及存储介质 Download PDF

Info

Publication number
CN110602524B
CN110602524B CN201910764492.4A CN201910764492A CN110602524B CN 110602524 B CN110602524 B CN 110602524B CN 201910764492 A CN201910764492 A CN 201910764492A CN 110602524 B CN110602524 B CN 110602524B
Authority
CN
China
Prior art keywords
synchronized
synchronization
digital
digital stream
sampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910764492.4A
Other languages
English (en)
Other versions
CN110602524A (zh
Inventor
任晋军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Moviebook Science And Technology Co ltd
Original Assignee
Beijing Moviebook Science And Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Moviebook Science And Technology Co ltd filed Critical Beijing Moviebook Science And Technology Co ltd
Priority to CN201910764492.4A priority Critical patent/CN110602524B/zh
Publication of CN110602524A publication Critical patent/CN110602524A/zh
Application granted granted Critical
Publication of CN110602524B publication Critical patent/CN110602524B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23106—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331—Caching operations, e.g. of an advertisement for later insertion during playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明实施例公开了一种多路数字流同步方法、装置、系统及存储介质，所述方法包括：对多路数字流进行采样，采集终端保证相同的采样率；采样后在送入编码器之前对采集样本打上绝对时间戳，作为采样的唯一标识；服务端为每路数字流创建一个缓存队列，缓存队列的长度超过数字流长度；对将要同步的数字流的流名称以特定关系进行对应，根据缓存策略将数字流存储在缓存队列中，通过设立flag标志来标识数字流中的帧是否已同步；利用同步算法找到将要同步的数字流中的同步帧，根据同步帧对数字流进行同步；客户端对同步后的数字流进行缓存，在客户端对同步的数字流进行业务处理。本发明解决了现有多路数字流不能同步的问题。

Description

一种多路数字流同步方法、装置、系统及存储介质
技术领域
本发明实施例涉及数字音视频处理技术领域，具体涉及一种多路数字流同步方法、装置、系统及存储介质。
背景技术
随着多媒体及AI技术的高速发展，人们对复杂媒体有了更高的需求，多媒体已经逐渐成为人们获取信息和传递信息的重要途径，并且能够通过网络媒体进行自主学习。因此，从多源流媒体中获取两路或者两路以上流媒体数据同步播放并以特定方式表现或分析处理，能够进一步提高媒体表现力、提升获取有用信息的能力。
目前，在直播或多用户视频通话等涉及多路音视频流的实时视频场景中，需要将多路音视频流合成为一路视频，使用户终端能够同时显示多个用户的音视频画面。终端通过一个传输通道将多路视频流上传给服务器，以及从另一个传输通道将每路视频流的布局信息传输给服务器。服务器根据每路视频流的布局信息将这多路视频流合成为一路视频，然后将合成的视频发送给用户终端。不同传输通道来传输音视频流及其对应的布局信息，由于丢包等因素影响容易存在服务器接收不到布局信息的情况，进而导致服务器无法根据终端侧设置的布局信息进行合流。并且不同协议的音频或视频的帧率不同，中间过程帧率还会发生改变，不易采用固定一种方式播放。
发明内容
本发明实施例的目的在于提供一种多路数字流同步方法、装置、系统及存储介质，用以解决现有多路数字流不能同步的问题。
为实现上述目的，本发明实施例主要提供如下技术方案：
第一方面，本发明实施例提供了多路数字流同步方法，该方法包括：对多路数字流进行采样，采集终端保证相同的采样率；
采样后在送入编码器之前对采集样本打上绝对时间戳，作为采样的唯一标识；
服务端为每路数字流创建一个缓存队列，缓存队列的长度超过数字流长度；
对将要同步的数字流的流名称以特定关系进行对应，根据缓存策略将数字流存储在缓存队列中，通过设立flag标志来标识数字流中的帧是否已同步；
利用同步算法找到将要同步的数字流中的同步帧，根据同步帧对数字流进行同步；
客户端对同步后的数字流进行缓存，在客户端对同步的数字流进行业务处理。
进一步地，所述多路数字流采样过程中对各采集终端的时间进行同步，直至各端时间误差不超过
Figure BDA0002171495690000021
式中video_sample_rate为采样率，若各采集终端的采样率不同，则时间误差以最大采样率为准。
进一步地，所述各采集终端的时间同步方法为：
将采集终端的时间与服务器时间进行比对，采集终端向服务器发送时间同步请求；
服务器将时间发送至采集终端，采集终端根据服务器发送的时间与其进行同步，通过多次同步，使时间误差不超过
Figure BDA0002171495690000022
进一步地，所述将要同步的数字流的流名称以特定关系进行对应，对应规则为：不同的数字流的名称包括主名称和副名称，对将要进行同步的数字流的主名称命名为同一名称，副名称命名不同以进行区别，将主名称相同的数字流进行匹配对应。
进一步地，所述缓存策略为：利用求余算法查找帧数据的存储位置，在存储位置对帧数据进行储存；
检查将要同步的数字流的相对应位置上是否已经有根据同步算法匹配上的帧，若有则置flag为1，若没有则置flag为0。
进一步地，所述同步算法为：利用求余算法查找帧数据的存储位置，该存储位置的帧数据为要同步的帧数据，若flag为1，则表示有同步帧数据，同步成功。
进一步地，所述求余算法为：根据视频采样的绝对时间与采样率求商后再与缓存总长度进行求余，求余公式为：
Figure BDA0002171495690000031
式中pos为帧数据的存储位置，pts为视频采样的绝对时间，video_sample_rate为采样率、％为求余运算符。
第二方面，本发明实施例还提供一种多路数字流同步装置，该装置包括：采样单元、缓存单元和同步单元；
所述采样单元，用于对多路数字流进行采样；
所述缓存单元，用于为每路数字流创建缓存队列，根据缓存策略将数字流存储在缓存队列中；
所述同步单元，用于利用同步算法找到将要同步的数字流中的同步帧，根据同步帧对数字流进行同步。
第三方面，本发明实施例还提供一种多路数字流同步系统，所述多路数字流同步系统包括：至少一个处理器、至少一个存储器、采集终端和客户端；
所述存储器，用于存储一个或多个程序指令；
所述处理器，用于运行一个或多个程序指令，用以执行如权利要求1-7任一项所述的方法；
所述采集终端，用于从多路数字流中进行采样，并向服务器发送时间同步请求；
所述客户端，用于对同步的数字流进行业务处理，根据同步算法取数据做业务。
第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被一种多路数字流同步系统执行如上一种多路数字流同步方法中任一项所述的方法。
本发明实施例提供的技术方案至少具有如下优点：
本发明实施例公开了一种多路数字流同步方法、装置、系统及存储介质，通过对多路数字流进行采样，对采集样本打上绝对时间戳，创建缓存队列，根据缓存策略将数字流存储在缓存队列中，利用同步算法找到将要同步的数字流中的同步帧，根据同步帧对数字流进行同步，实现多路数据流的同步，在客户端对同步的数字流进行业务处理，能够有效地避免数据包丢失的情况，保证帧率的同步，实现同步播放。
附图说明
图1为本发明实施例提供的一种多路数字流同步方法流程图。
图2本发明实施例提供的一种多路数字流同步装置结构示意图。
图3本发明实施例提供的一种多路数字流同步系统结构示意图。
图中：1-采样单元、2-缓存单元、3-同步单元、4-处理器、5-存储器、6-采集终端、7-客户端。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本发明。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
实施例
本发明实施例中涉及的一些背景词语解释包括：
采样率，是指计算机每秒钟采集多少个声音样本，是描述声音文件的音质、音调，衡量声卡、声音文件的质量标准。采样频率越高，即采样的间隔时间越短，则在单位时间内计算机得到的声音样本数据就越多，对声音波形的表示也越精确。采样频率与声音频率之间有一定的关系，根据奎斯特理论，只有采样频率高于声音信号最高频率的两倍时，才能把数字信号表示的声音还原成为原来的声音。这就是说采样频率是衡量声卡采集、记录和还原声音文件的质量标准。视频采样绝对时间(presentation time stamp，简称PTS)表示本次采样时采样终端该时刻的时间值。
本发明实施例提供一种多路数字流同步方法，包括：
S1：对多路数字流进行采样，采集终端6保证相同的采样率；
具体地，通过多路数字流采样过程中对各采集终端6的时间进行同步，直至各端时间误差不超过
Figure BDA0002171495690000051
式中video_sample_rate为采样率，若各采集终端6的采样率不同，则时间误差以最大采样率为准，采样率值越大，还原信号的真实度越高，清晰度和分辨率更加。
各采集终端6的时间同步方法为：
将采集终端6的时间与服务器时间进行比对，采集终端6向服务器发送时间同步请求；
服务器将时间发送至采集终端6，采集终端6根据服务器发送的时间与其进行同步，通过多次同步，使时间误差不超过
Figure BDA0002171495690000052
S2：采样后在送入编码器之前对采集样本打上绝对时间戳，作为采样的唯一标识；
时间戳单位为毫秒，在封装层的时间戳字段中设置该值，根据封装格式不同而不同，通过时间戳表示本次采样时采样终端该时刻的时间值，作为采样的唯一标识。编码器主要起到压缩作用。
S3：服务端为每路数字流创建一个缓存队列，缓存队列的长度超过数字流长度；
建立缓存队列，缓存队列为一块连续的存储空间，队列的长度要足够长，要满足缓存长度要求，缓存队列的长度超过数字流长度，为数字流留出足够的存储空间。
S4：对将要同步的数字流的流名称以特定关系进行对应，根据缓存策略将数字流存储在缓存队列中，通过设立flag标志来标识数字流中的帧是否已同步；
将要同步的数字流的流名称以特定关系进行对应，对应规则为：不同的数字流的名称包括主名称和副名称，对将要进行同步的数字流的主名称命名为同一名称，副名称命名不同以进行区别，将主名称相同的数字流进行匹配对应；举例说明，两路将要进行同步的数字流，将名称分别命名为A-1和A-2，其中A为数字流的主名称，1和2分别为两路数字流的副名称，将主名称相同、副名称不同的数字流进行匹配对应，进行同步。设立flag标志来标识数字流中的帧是否已同步，flag为1，则表示数字流中的帧已同步，flag为0，则表示数字流中的帧未同步。
缓存策略为：
利用求余算法查找帧数据的存储位置，在存储位置对帧数据进行储存；
检查将要同步的数字流的相对应位置上是否已经有根据同步算法匹配上的帧，若有则置flag为1，如果同步队列中的数据在网络延时的时间范围内没有帧数据与之同步，则该帧数据自动移动到超时缓存中，并置flag为0。
S5:利用同步算法找到将要同步的数字流中的同步帧，根据同步帧对数字流进行同步；
同步算法为：利用求余算法查找帧数据的存储位置，该存储位置的帧数据为要同步的帧数据，若flag为1，则表示有同步帧数据，同步成功，若flag为0，则表示没有同步帧数据。
S6：客户端7对同步后的数字流进行缓存，在客户端7对同步的数字流进行业务处理；
业务处理逻辑根据同步算法去获取需要的帧数据，业务处理逻辑根据终端业务的不同而不同，可以是播放器或特效处理器4，在业务处理端对同步后的数字流进行调取，进行运用。
本实施例中，令客户端7进行业务处理的时间为t1，待同步的缓存长度为t2，超时未同步的缓存长度为t3，网络延时为t4，缓存总长度为t，t＝t2+t3，t2根据实际的业务去设设置，但必须大于t1+t4，t3要保证同步和业务处理后安全释放，初始值：t的初始值是缓存长度，t2初始值为0，t3＝t。
本实施例提供的一种多路数字流同步方法，通过对多路数字流进行采样，对采集样本打上绝对时间戳，创建缓存队列，根据缓存策略将数字流存储在缓存队列中，利用同步算法找到将要同步的数字流中的同步帧，根据同步帧对数字流进行同步，实现多路数据流的同步，在客户端7对同步的数字流进行业务处理，能够有效地避免数据包丢失的情况，保证帧率的同步，实现同步播放。
与上述实施例1对应的，本发明实施例2还提供了一种多路数字流同步装置，包括：所述多路数字流同步装置包括：采样单元1、缓存单元2和同步单元3；
所述采样单元1，用于对多路数字流进行采样；
所述缓存单元2，用于为每路数字流创建缓存队列，根据缓存策略将数字流存储在缓存队列中；
所述同步单元3，用于利用同步算法找到将要同步的数字流中的同步帧，根据同步帧对数字流进行同步。
本发明实施例提供的一种多路数字流同步装置中各部件所执行的功能均已在上述实施例1中做了详细介绍，因此这里不做过多赘述。
本实施例提供的一种多路数字流同步装置，通过对多路数字流进行采样，对采集样本打上绝对时间戳，创建缓存队列，根据缓存策略将数字流存储在缓存队列中，利用同步算法找到将要同步的数字流中的同步帧，根据同步帧对数字流进行同步，实现多路数据流的同步，在客户端7对同步的数字流进行业务处理，能够有效地避免数据包丢失的情况，保证帧率的同步，实现同步播放。
与上述实施例对应的，本发明实施例还提供了一种多路数字流同步系统，所述多路数字流同步系统包括：至少一个处理器4、至少一个存储器5、采集终端6和客户端7；
所述存储器5，用于存储一个或多个程序指令；
所述处理器4，用于运行一个或多个程序指令，用以执行如权利要求1-7任一项所述的方法；
所述采集终端6，用于从多路数字流中进行采样，并向服务器发送时间同步请求；
所述客户端7，用于对同步的数字流进行业务处理，根据同步算法取数据做业务。
本实施例提供的一种多路数字流同步系统，通过对多路数字流进行采样，对采集样本打上绝对时间戳，创建缓存队列，根据缓存策略将数字流存储在缓存队列中，利用同步算法找到将要同步的数字流中的同步帧，根据同步帧对数字流进行同步，实现多路数据流的同步，在客户端7对同步的数字流进行业务处理，能够有效地避免数据包丢失的情况，保证帧率的同步，实现同步播放。
与上述实施例对应的，本发明实施例还提供了一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被一种多路数字流同步系统执行如上一种多路数字流同步方法中任一项所述的方法。
在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。
存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
其中，非易失性存储器可以是只读存储器(Read-Only Memory，简称ROM)、可编程只读存储器(Programmable ROM，简称PROM)、可擦除可编程只读存储器(Erasable PROM，简称EPROM)、电可擦除可编程只读存储器(Electrically EPROM，简称EEPROM)或闪存。
易失性存储器可以是随机存取存储器(Random Access Memory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，简称SRAM)、动态随机存取存储器(Dynamic RAM，简称DRAM)、同步动态随机存取存储器(Synchronous DRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，简称DDRSDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，简称ESDRAM)、同步连接动态随机存取存储器(Synch Link DRAM，简称SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，简称DRRAM)。
本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (7)

1.一种多路数字流同步方法，其特征在于，所述方法包括：
对多路数字流进行采样，采集终端保证相同的采样率；
采样后在送入编码器之前对采集样本打上绝对时间戳，作为采样的唯一标识；
服务端为每路数字流创建一个缓存队列，缓存队列的长度超过数字流长度；
对将要同步的数字流的流名称以特定关系进行对应，根据缓存策略将数字流存储在缓存队列中，通过设立flag标志来标识数字流中的帧是否已同步；所述缓存策略为：
利用求余算法查找帧数据的存储位置，在存储位置对帧数据进行储存；
检查将要同步的数字流的相对应位置上是否已经有根据同步算法匹配上的帧，若有则置flag为1，若没有则置flag为0；
利用同步算法找到将要同步的数字流中的同步帧，根据同步帧对数字流进行同步；所述同步算法为：利用求余算法查找帧数据的存储位置，该存储位置的帧数据为要同步的帧数据，若flag为1，则表示有同步帧数据，同步成功；
所述求余算法为：根据视频采样的绝对时间与采样率求商后再与缓存总长度进行求余，求余公式为：
Figure FDA0003268704840000011
式中pos为帧数据的存储位置，pts为视频采样的绝对时间，video_sample_rate为采样率，t为缓存总长度，％为求余运算符；
客户端对同步后的数字流进行缓存，在客户端对同步的数字流进行业务处理。
2.如权利要求1所述的一种多路数字流同步方法，其特征在于，所述多路数字流采样过程中对各采集终端的时间进行同步，直至各端时间误差不超过
Figure FDA0003268704840000021
式中video_sample_rate为采样率，若各采集终端的采样率不同，则时间误差以最大采样率为准。
3.如权利要求2所述的一种多路数字流同步方法，其特征在于，所述各采集终端的时间同步方法为：
将采集终端的时间与服务器时间进行比对，采集终端向服务器发送时间同步请求；
服务器将时间发送至采集终端，采集终端根据服务器发送的时间与其进行同步，通过多次同步，使时间误差不超过
Figure FDA0003268704840000022
4.如权利要求1所述的一种多路数字流同步方法，其特征在于，所述将要同步的数字流的流名称以特定关系进行对应，对应规则为：不同的数字流的名称包括主名称和副名称，对将要进行同步的数字流的主名称命名为同一名称，副名称命名不同以进行区别，将主名称相同的数字流进行匹配对应。
5.一种多路数字流同步装置，其特征在于，包括：所述多路数字流同步装置包括：采样单元、缓存单元和同步单元；
所述采样单元，用于对多路数字流进行采样；
所述缓存单元，用于为每路数字流创建缓存队列，根据缓存策略将数字流存储在缓存队列中；缓存策略为：
利用求余算法查找帧数据的存储位置，在存储位置对帧数据进行储存；
检查将要同步的数字流的相对应位置上是否已经有根据同步算法匹配上的帧，若有则置flag为1，若没有则置flag为0；
所述同步单元，用于利用同步算法找到将要同步的数字流中的同步帧，根据同步帧对数字流进行同步；
同步算法为：利用求余算法查找帧数据的存储位置，该存储位置的帧数据为要同步的帧数据，若flag为1，则表示有同步帧数据，同步成功；
求余算法为：根据视频采样的绝对时间与采样率求商后再与缓存总长度进行求余，求余公式为：
Figure FDA0003268704840000031
式中pos为帧数据的存储位置，pts为视频采样的绝对时间，video_sample_rate为采样率，t为缓存总长度，％为求余运算符。
6.一种多路数字流同步系统，其特征在于，所述多路数字流同步系统包括：至少一个处理器、至少一个存储器、采集终端和客户端；
所述存储器，用于存储一个或多个程序指令；
所述处理器，用于运行一个或多个程序指令，用以执行如权利要求1-4任一项所述的方法；
所述采集终端，用于从多路数字流中进行采样，并向服务器发送时间同步请求；
所述客户端，用于对同步的数字流进行业务处理，根据同步算法取数据做业务。
7.一种计算机可读存储介质，其特征在于，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被一种多路数字流同步系统执行如权利要求1-4任一项所述的方法。
CN201910764492.4A 2019-08-19 2019-08-19 一种多路数字流同步方法、装置、系统及存储介质 Active CN110602524B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910764492.4A CN110602524B (zh) 2019-08-19 2019-08-19 一种多路数字流同步方法、装置、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910764492.4A CN110602524B (zh) 2019-08-19 2019-08-19 一种多路数字流同步方法、装置、系统及存储介质

Publications (2)

Publication Number Publication Date
CN110602524A CN110602524A (zh) 2019-12-20
CN110602524B true CN110602524B (zh) 2021-12-10

Family

ID=68854607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910764492.4A Active CN110602524B (zh) 2019-08-19 2019-08-19 一种多路数字流同步方法、装置、系统及存储介质

Country Status (1)

Country Link
CN (1) CN110602524B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112351294A (zh) * 2020-10-27 2021-02-09 广州赞赏信息科技有限公司 一种云导播多机位间帧同步方法及系统
CN115484407B (zh) * 2022-08-25 2023-07-04 奥比中光科技集团股份有限公司 一种多路采集数据的同步输出方法、系统及rgbd相机

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101162919A (zh) * 2006-10-11 2008-04-16 中兴通讯股份有限公司 一种数据缓存电路
CN101895750A (zh) * 2010-07-13 2010-11-24 上海未来宽带技术及应用工程研究中心有限公司 面向机顶盒和pc的实时流媒体服务器及工作方法
CN102821308A (zh) * 2012-06-04 2012-12-12 西安交通大学 一种多场景流媒体课件录制与直播方法
CN104125534A (zh) * 2013-07-18 2014-10-29 中国传媒大学 一种多声道音频同步录制及播出方法以及相应的系统
CN106210689A (zh) * 2015-05-28 2016-12-07 长沙维纳斯克信息技术有限公司 一种图像同步采集系统和方法
CN107071509A (zh) * 2017-05-18 2017-08-18 北京大生在线科技有限公司 多路直播的视频精确同步方法
CN108769786A (zh) * 2018-05-25 2018-11-06 网宿科技股份有限公司 一种合成音视频数据流的方法和装置
CN208707740U (zh) * 2018-09-05 2019-04-05 国家体育总局体育科学研究所 一种多路视频影像同步录制转发存储读取系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7630397B2 (en) * 2006-10-26 2009-12-08 Transwitch Corporation Efficient scalable implementation of VCAT/LCAS for SDH and PDH signals
US9338210B2 (en) * 2013-03-15 2016-05-10 Rhapsody International Inc. Distributing content items to users

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101162919A (zh) * 2006-10-11 2008-04-16 中兴通讯股份有限公司 一种数据缓存电路
CN101895750A (zh) * 2010-07-13 2010-11-24 上海未来宽带技术及应用工程研究中心有限公司 面向机顶盒和pc的实时流媒体服务器及工作方法
CN102821308A (zh) * 2012-06-04 2012-12-12 西安交通大学 一种多场景流媒体课件录制与直播方法
CN104125534A (zh) * 2013-07-18 2014-10-29 中国传媒大学 一种多声道音频同步录制及播出方法以及相应的系统
CN106210689A (zh) * 2015-05-28 2016-12-07 长沙维纳斯克信息技术有限公司 一种图像同步采集系统和方法
CN107071509A (zh) * 2017-05-18 2017-08-18 北京大生在线科技有限公司 多路直播的视频精确同步方法
CN108769786A (zh) * 2018-05-25 2018-11-06 网宿科技股份有限公司 一种合成音视频数据流的方法和装置
CN208707740U (zh) * 2018-09-05 2019-04-05 国家体育总局体育科学研究所 一种多路视频影像同步录制转发存储读取系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于P2P技术的流媒体多源同步传输研究方案与设计;李游;《中国优秀硕士学位论文全文数据库》;20100215(第02期);全文 *
基于Peercast的P2P直播系统改进;李游;《计算机工程》;20090531;第35卷(第9期);全文 *

Also Published As

Publication number Publication date
CN110602524A (zh) 2019-12-20

Similar Documents

Publication Publication Date Title
CN111147907B (zh) 多智能终端同步播放的方法、装置、系统及智能终端
US11252444B2 (en) Video stream processing method, computer device, and storage medium
US11778258B2 (en) Establishing a streaming presentation of an event
US7274862B2 (en) Information processing apparatus
CN110602524B (zh) 一种多路数字流同步方法、装置、系统及存储介质
US10334293B2 (en) Multiplexing apparatus, receiving apparatus, multiplexing method, and delay adjustment method
CN112584087B (zh) 视频会议录制方法、电子装置和存储介质
CN112565224B (zh) 一种视频处理方法及装置
EP1884115A4 (en) METHOD AND DEVICE FOR SYNCHRONIZING A DATA SERVICE WITH A VIDEO SERVICE FOR DIGITAL MULTIMEDIA RADIATION
CN111162971B (zh) 一种时延确定方法及装置
KR102279598B1 (ko) 미디어 스트리밍을 위한 수신 디바이스, 수신 방법, 송신 디바이스, 및 송신 방법
US20180376180A1 (en) Method and apparatus for metadata insertion pipeline for streaming media
CN109040818B (zh) 直播时的音视频同步方法、存储介质、电子设备及系统
CN113225597A (zh) 一种网络传输中的多路音视频的同步播放的方法
WO2021050376A1 (en) Use of in-band metadata as basis to access reference fingerprints to facilitate content-related action
CN115296764A (zh) 时间戳置信水平
US10063907B1 (en) Differential audio-video synchronization
CN108810575B (zh) 一种发送目标视频的方法和装置
CN116260539A (zh) 音频数据同步方法、数字广播系统以及电子设备
CN114302169B (zh) 一种画面同步录制方法、装置、系统及计算机存储介质
CN110545447B (zh) 一种音视频同步的方法及装置
CN113573088B (zh) 一种为直播视频流同步绘制识别对象的方法与设备
KR102240602B1 (ko) 리얼 타임 스탬프 기반 타임 시프팅 장치 및 방법
CN110602525B (zh) 一种视频分析结果与图像帧绑定传输的方法
KR102273795B1 (ko) 영상 동기화 처리를 위한 시스템 및 그 제어방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A multi-channel digital stream synchronization method, device, system, and storage medium

Effective date of registration: 20230713

Granted publication date: 20211210

Pledgee: Bank of Jiangsu Limited by Share Ltd. Beijing branch

Pledgor: BEIJING MOVIEBOOK SCIENCE AND TECHNOLOGY Co.,Ltd.

Registration number: Y2023110000278

PP01 Preservation of patent right

Effective date of registration: 20241008

Granted publication date: 20211210