CN100442858C - 分组网络中多媒体实时传输的唇同步方法及其装置 - Google Patents

分组网络中多媒体实时传输的唇同步方法及其装置 Download PDF

Info

Publication number
CN100442858C
CN100442858C CNB2005101002931A CN200510100293A CN100442858C CN 100442858 C CN100442858 C CN 100442858C CN B2005101002931 A CNB2005101002931 A CN B2005101002931A CN 200510100293 A CN200510100293 A CN 200510100293A CN 100442858 C CN100442858 C CN 100442858C
Authority
CN
China
Prior art keywords
audio stream
video flowing
time
separately
delay
Prior art date
Application number
CNB2005101002931A
Other languages
English (en)
Other versions
CN1949879A (zh
Inventor
马辉
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Priority to CNB2005101002931A priority Critical patent/CN100442858C/zh
Publication of CN1949879A publication Critical patent/CN1949879A/zh
Application granted granted Critical
Publication of CN100442858C publication Critical patent/CN100442858C/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/654Transmission by server directed to the client
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23406Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving management of server-side video buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368Multiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242Synchronization processes, e.g. processing of PCR [Program Clock References]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341Demultiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44004Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633Control signals issued by server directed to the network components or client
    • H04N21/6332Control signals issued by server directed to the network components or client directed to client
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols
    • H04N21/6437Real-time Transport Protocol [RTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64746Control signals issued by the network directed to the server or the client
    • H04N21/64753Control signals issued by the network directed to the server or the client directed to the client

Abstract

本发明涉及分组网络中的多媒体实时传输,公开了一种分组网络中多媒体实时传输的唇同步方法及其装置,使得能够通过简单而有效的调整来克服网络抖动、变化,实现音频流和视频流的唇同步。本发明中,设置了可以根据网络时延信息来灵活调解缓冲时长的缓冲器,通过分别对音频、视频流的缓冲时长调整来实现两者的同步;设置了时延检测模块来检测音频、视频数据在分组网络中的传输时延,然后由同步模块参考音频、视频流的平均传输时延和传输时延抖动进行音频、视频模块的同步;用同步模块计算音频、视频缓冲器的缓存时长并进行灵活设置,以抵抗网络传输抖动;由音频或视频两方中一方给另一方定期发送同步时间参考点,以协调双方的同步。

Description

分组网络中多媒体实时传输的唇同步方法及其装置
技术领域
本发明涉及分组网络中的多媒体实时传输,特别涉及分组网络中多媒体 实时传输的唇同步方法装置。
背景技术
随着互联网(Internet)的飞速发展,流媒体技术的应用越来越广泛,从 网上广播、电影播放到远程教学以及在线的新闻网站等都用到了流媒体技术。 当前网上传输视频、音频主要有下载(Download)和流式传输(Streaming) 两种方式。流式传输是连续传送视/音频信号,当流媒体在客户机播放时其余 部分在后台继续下载。流式传输有顺序流式传输(Progressive Streaming)和实 时流式传输(Realtime Streaming)两种方式。实时流式传输是实时传送,特别 适合现场事件,实时流式传输必须匹配连接带宽,这意味着图像质量会因网 络速度降低而变差,以减少对传输带宽的需求。"实时"的概念是指在一个 应用中数据的交付必须与数据的产生保持精确的时间关系。在互联网中使用 流式传输技术的连续时基媒体就称为流媒体,通常也将其视频与音频称为视 频流和音频流。
流媒体传输需要几个基本组件,这些组件在各个不同层面上互相通信以 实现流媒体传输,基本的流媒体系统包含以下3个组件:播放器(Player), 用来播放流媒体的软件;服务器(Server),用来向用户发送流媒体的软件; 编码器(Encode),用来将原始的音频视频转化为流媒体格式的软件。这些 组件之间通过特定的协议互相通信,按照特定的格式互相交换文件数据。有 些文件中包含了由特定编解码器解码的数据,这种编解码器通过特定算法压缩文件的数据量。
目前流媒体传输基本上都是采用实时传输协议(Real-time Transport Protocol,简称"RTP")及其控制协议(Real-time Transport Control Protocol, 简称"RTCP" ) 。 RTP是针对Internet上多媒体数据流的一个传输协议,由 互联网工程任务组(Internet Engineering Task Force,简称"IETF")发布。 RTP被定义为在一对一或一对多的传输情况下工作,其目的是提供时间信息 和实现流同步。RTP的典型应用建立在用户数据包协议(User Datagram Protocol,简称"UDP")上,但也可以在传输控制协议(Transport Control Protocol,简称"TCP")或异步传输模式(Asynchronous Transfer Mode,筒 称"ATM")等其他协议之上工作。RTP本身只保证实时数据的传输,并不 能为按顺序传送数据包提供可靠的传送机制,也不提供流量控制或拥塞控制, 它依靠RTCP提供这些服务。RTCP负责管理传输质量在当前应用进程之间 交换控制信息。在RTP会话期间,各参与者周期性地传送RTCP包,包中含 有已发送的数据包的数量、丢失的数据包的数量等统计资料,因此,服务器 可以利用这些信息动态地改变传输速率,甚至改变有效载荷类型。RTP和 RTCP配合使用,能以有效的反馈和最小的开销使传输效率最佳化,故特别 适合传送网上的实时数据。
在RTP协议中为了实现接收端能够正确恢复多媒体数据包的顺序并进 行播放,给出了根据时间戳进行同步的方法。时间戳字段是RTP首部中说明 数据包时间的同步信息,是数据能以正确的时间顺序恢复的关键。时间戳的 值给出了分组中数据的第一个字节的采样时间(Sampling Instant),要求发送 方时间戳的时钟是连续、单调增长的,即使在没有数据输入或发送数据时也 是如此。在静默时,发送方不必发送数据,保持时间戳的增长,在接收端, 由于接收到的数据分组的序号没有丢失,就知道没有发生数据丢失,而且只 要比较前后分组的时间戳的差异,就可以确定输出的时间间隔。 一次会话的 初始时间戳必须随机选择,时间戳的单位是由负载类型来确定的。另外,多媒体传输往往包含多种不同的流一起传输,播放时也需要同时
播。因此如何实现多种流的同步将是多媒体流传输的一大难题。RTCP的一 个关键作用就是能让接收方同步多个RTP流,例如:当音频与视频一起传输 的时候,由于编码的不同,RTP使用两个流分别进行传输,这样两个流的时 间戳以不同的速率运行,接收方必须同步两个流,以保证声音与影像的一致。
为能进行流同步,RTCP要求发送方给每个传送一个唯一的标识数据源 的规范名(Canonical Name),由一个数据源发出的不同的流具有相同的规范 名,这样接收方就知道哪些流是有关联的。而发送方报告报文所包含的信息 可被接收方用于协调两个流中的时间戳值。发送方报告中含有 一 个以网络时 间协议(Network Time Protocol,简称"NTP")格式表示的绝对时间值, 产生该值的时钟就是产生RTP分组中的时间戳字段的那个时钟。由于发送方 发出的所有流和发送方报告都使用同一个绝对时钟,接收方就可以比较来自 同 一数据源的两个流的绝对时间,从而确定如何将一个流中的时间戳值映射 为另一个流中的时间戳值。
但是,由于多媒体流的各个流如音频流、视频流等各自的传输路径和环 境都不同,网络传输情况变化复杂且不可预测,会造成音频流和视频流传输 的延时和抖动。为了消除抖动的现象,接收端在接受到多媒体流后还要进行 緩冲,即有个緩冲器在緩存接受到的数据包,然后进行同步后播放。加上抖 动和緩冲处理后,多种流同步的问题将变得比原来复杂得多,而仅仅靠 RTP/RTCP协议无法实现很好的同步。对于音频流和视频流之间的同步,称为唇同步,是多媒体传输的主要问 题之一。为了声音和图像能够更好的表达事物及含义,唇同步是为了实现声 音及其画面的一致,保证音频所表达的含义和图像所表达的含义实时的相符
合。如何在分组网络环境下结合现有多媒体实时传输技术来实现唇同步是网 络多媒体传输急需解决的一个关键问题。现有的网络多媒体传输中,为了消除抖动在接收端设置了抖动緩冲
(Jitter Buffer)。每个Jitter Buffer设置一定的緩冲深度,而且设置有固定时 延。比如音频流和视频流的Jitter Buffer中分别i殳置固定的延时Al和A2。 在緩存中的媒体流数据经过延时后一旦到达允许的播放时间,即分别播放音 频流和视频流。图1是现有技术中两个Jitter Buffer的设置及其作用机制示意 图。
在现有技术中,由于每个流在Jitter Buffer中的时延是固定的,虽然緩 冲可以消除抖动带来的影响,同时也可以根据两个流之间的延时确定补偿其 同步偏差。但是同步偏差是固定,这对于比较稳定的网络情况是适用的。而 对于分组网络的传输情况,两个独立的流由于路径不同、服务质量登记不同, 导致音频和视频流在网络传输中本身具有不同的延时,再加上抖动的情况使 得网络传输的延时也变化很大、不稳定,使得Jitter Buffer中固定的延时无法 补偿同步偏差,最终导致音频流、视频流失步而唇同步失败。
在实际应用中,上述方案存在以下问题:首先,音频流和视频流在Jitter Buffer中的时延是固定的,不能够动态调节,这对于网络情况变化不能适应。 比如当网络条件好时,本身多媒体传输较快,緩沖时延太大会导致系统延时 的浪费;而当网络条件较差时抖动强烈而无法消除,导致两个流失去同步关 系,不能达到同步的效果。
其次,在固定时延后,两个流之间同步偏差也是固定的,这在网络条件 发生变化时,比如变好或者恶化,导致同步偏差变化,但是经过同步处理后, 反而增加了两个流的同步偏差。
再次,音频流和视频流的独立处理且在同步时相互间没有同步的参考 量,只是简单通过增加固定延时的方法使得两个流达到同步,不能根据两个 流同步结果反馈调整。
造成这种情况的主要原因在于,对于多媒体流的各个不同流即音频流和-现频流进行緩冲Jitter Buffer处理时设置固定的延时,没有调整机制。 发明内容
有鉴于此,本发明的主要目的在于提供一种分组网络中多媒体实时传输 的唇同步方法及其装置,使得能够通过简单而有效的调整来克服网络抖动、 变化,实现音频流和^L频流的唇同步。
为实现上述目的,本发明提供了 一种分组网络中多媒体实时传输的唇同 步方法,所述多纟某体包含音频流和视频流,该音频流、^L频流在接收端通过 各自的緩冲器緩存后再播放,包含以下步骤,
A分别测量所述音频流、视频流的各自的平均传输时延;
B分别测量所述音频流、视频流的各自的传输时延抖动;
C根据所述音频流、视频流各自的所述平均传输时延、传输时延抖动, 计算所述音频流与视频流之间的时延差,根据所述时延差设定所述音频流、 视频流各自的緩冲器的緩存时长。
此外,还包含以下步骤,
D所述音频流或视频流的缓冲器中的第 一方周期性提供自身播放时间 给第二方作为同步时间参考点,所述第二方根据该同步时间参考点调整播放。
此外在所述方法中,所述步骤A中,根据所述音频流、视频流数据包的 发送时刻和接收时刻计算所述平均传输时延。
此外在所述方法中,所述步骤A中,通过迭代算法计算所述音频流、视 频流各自的平均传输时延,包含以下子步骤,
分别计算当前音频流、视频流各自数据包的传输时延;
迭代修正所述音频流、视频流各自的平均传输时延,使其更趋近所述当前音频流、视频流各自的数据包的传输时延。
此外在所述方法中,所述步骤c中,根据所述延时差设定所述音频流、
视频流各自的緩冲器的緩存时长包括:
如果所述音频流、视频流的平均传输时延之差在允许的同步偏差范围 内,且所述音频流、视频流各自的平均传输时延均小于音频流、视频流各自 的緩存器的最大緩存时长,则直接按所述传输时延设置所述音频流、视频流 各自的緩沖器的緩存时长;
如果所述音频流、视频流的平均传输时延之差超出允许的同步偏差范围 内,则限定所述音频流或视频流的緩存器的緩存时长中的一个,以使音频流 和视频流之间的同步偏差在同步偏差范围内;
如果所述音频流、视频流各自的平均传输时延均超出所述音频流、视频 流各自的緩存器的最大緩存时长,则设置所述音频流、视频流各自的緩存器 的緩存时长分别为所述音频流、视频流各自的緩存器的最大緩存时长。
本发明还提供了一种分组网络中多媒体实时传输的唇同步装置,所述多 媒体包含音频流和视频流,各自设置有緩冲器。该音频流、视频流在接收端 通过各自的緩冲器緩存后再播放,还包含时延检测模块、同步模块。
其中所述音频流、视频流各自的緩冲器还用于分别计算所述音频流、视 频流各自的传输时延抖动;
所述时延检测模块用于分别计算所述音频流、视频流各自的平均传输时
延;
所述同步模块用于根据所述音频流、视频流各自的所述平均传输时延、 传输时延抖动,计算所述音频流与视频流之间的时延差,根据所述延时差设 定所述音频流、视频流各自的緩沖器的緩存时长。
其中,所述音频流或视频流的緩冲器中的第 一 方周期性提供自身播放时间给第二方作为同步时间参考点,所述第二方根据该同步时间参考点调整播 放。
此外,所述时延检测模块根据所述音频流、视频流各自的数据包的发送 时刻和接收时刻分别计算所述音频流、视频流的各自的平均传输时延。
此外,所述时延检测模块通过迭代算法分别计算所述音频流、视频流各 自的平均传输时延。
通过比较可以发现,本发明的技术方案与现有技术的主要区别在于,设 置了可以根据网络时延信息来灵活调解緩冲时长的緩沖器,通过分别对音频、
视频流的緩冲时长调整来实现两者的同步;
设置了时延检测模块来检测音频、视频数据在分组网络中的传输时延, 然后由同步模块参考音频、视频流的平均传输时延和传输时延抖动进行音频、 视频模块的同步;
用同步模块计算音频、视频緩沖器的緩存时长并进行灵活设置,以抵抗 网络传输抖动,同时调整两者同步播放;
由音频或视频两方中一方给另一方定期发送同步时间参考点,以协调解 决双方的同步问题,增强唇同步精确度。
这种技术方案上的区别,带来了较为明显的有益效果,即通过网络传输 时延和抖动的检测及基于此的唇同步,并结合音频、视频之间的同步参考点 对照机制,通过简单、准确的方法,能够简便快速地实现音频、视频流的同 步,提高网络多媒体传输的服务质量和执行效率,及其有利于服务提供商的 市场拓展和业务提升。附图说明
图l是现有技术方案中网络多媒体传输的唇同步装置示意图;
图2是根据本发明的实施例的网络多媒体传输的唇同步装置示意图; 图3是根据本发明的实施例的网络多媒体传输的唇同步方法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发 明作进一步地详细描述。
由于IP分组网络不是一个面向连接的网络,其所提供的服务也是尽力而 为的服务,网络的服务质量得不到保证。数据在传送时必将受到网络的时延 和抖动的影响。这样在传送多媒体业务时,必然会导致音频流和视频流失步, 从而影响图像和声音所表达的效果。本发明力求在保证系统较小延时的情况 克服分组网络的影响,最终实现音频流和视频流的唇同步的处理。
本发明基于动态调整緩存时长的緩沖器来实现音频和视频流之间的唇 同步。调整的依据是通过对分组网络音频、视频数据包传送时延及其抖动信 息的分析。前端设置时延检测模块,根据数据包的发送时刻和接收时刻来计 算相对传输时延,再由緩冲器本身来统计时延的抖动,将两个信息传给同步 模块,由其计算緩冲器中应该设置多长时间的緩存,并告知緩冲器。两个流
的緩沖器均按照同步模块提供的参数设置緩存时长。同时緩冲器之间还由一 方提供另一方自身播放时刻作为同步参考点,以增强唇同步精确度。
下面结合本发明的实施例讨论技术实现细节。图2给出本发明的第一实 施例的多媒体网络传输唇同步装置的组成框图,包括各个模块的功能及其相 互协作关系。可见,多媒体实时传输的唇同步装置中,对于音频流和视频流 各自设置有緩沖器,即音频緩冲器(Jitter Buffer )和视频緩沖器(Jitter Buffer )。多媒体数据在接收端通过各自的緩沖器緩存后再播放,图中示出了音频、视
频緩冲器的緩存时长分别是Al和A2。
前面已经提及,多媒体流再分组网络上传输会有一定的延时,变化的延 时就是网络的抖动。不同数据包的延时不同,抖动就是延时的变化程度、方 差或范围。如果有网络抖动,多媒体数据包到达的间隔都不同,这导致播放 的时候不顺畅或者不连续,而緩冲器的设置就可以避免或消除抖动带来的影 响。Jitter Buffer在物理上是一块緩存,音频帧或视频帧要在这块緩存中保留 足够长的时间然后再播放,它的大小反映了抵抗网络抖动的能力。
与现有技术方案不同的是,本发明还包含时延检测模块和同步模块,并 且緩存时长Al和A2都是可以动态调整的。同步模块用于根据音频流、视频 流的平均传输时延、传输时延抖动,计算音频流、视频流的緩冲器的緩存时 长A1、 A2的最佳值应该取多少,然后通知Jitter Buffer由其进行调整緩存时 长设定。为了获取时延抖动等信息,设置的时延检测模块就是用于计算音频 流、视频流的平均传输时延。而緩冲器则还用于计算音频流、视频流的传输 时延抖动。
可见,本发明的唇同步装置的关键原理就是,由同步模块根据网络传输 情况实时调整Jitter Buffer的延时。这个延时差就是两个流播放时和数据接收 时的同步偏差。通过对两个流延时的调整,不仅可以使得各个流都能满足消 除抖动的影响,而且可以产生偏差来弥补网络传输差异引起的失步。
但是上述装置中两个流之间从开始播放之后就没有在接收端有统一的 时间参考点,这对于唇同步是一个潜在的威胁。当播放时间长了以后,由于 技术、方法上的误差,导致同步时间参考相差累积越来越大。考虑到这一点, 本发明的第二实施例在第一实施例的基础上,引入两个流之间的同步时刻参 考点更新机制。即音频流或视频流的緩沖器中的第 一方周期性提供自身播放 时间给第二方作为同步时间参考点,然后第二方根据该同步时间参考点调整播放。这个提供的机制使得音频和视频流能够在一个周期内重新建立一致的 同步参考。避免因误差累积导致的潜在失步危险。
上面提及各个模块之间的协作关系可以描述如下:同步模块从时延检测 模块、音频Jitter Buffer、视频Jitter Buffer模块获取信息,如网络延时信息、 音频和视频的抖动信息;同时同步模块又给音频Jitter Buffer模块,视频Jitter Buffer模块提供设定緩存时长的信息。该关系在图2中可以清楚的看出。
本发明的第三实施例在第二实施例的基础上,采用根据网络数据包传输 时刻计算统计其时延的方法来实现时延检测模块。时延检测模块根据音频流、 视频流数据包的发送时刻和接收时刻计算平均传输时延。
首先根据音频流和视频流的到达时间和发送时间确定每一音频包和视 频包在网络上传送相对延时。这里每个数据包按照RTP协议在发送出时会打 上一个时间戳(Time Stamp)这样接收端即可以根据包上时间戳获知发送时
能不一致,因此只能计算相对时刻。
值得注意的是时延检测模块统计的是平均时延,因此需要采用迭代的算 法根据之前数据包的历时时延慢慢累积计算当前时刻平均时延。在本发明的 第四实施例中,采用迭代算法计算出网络的平均时延。同样的Jitter Buffer 中也要采用迭代算法来将每次设置的时延统计,计算一个平均的网络抖动。 该迭代方法的具体流程在下文中有详细描述。
本发明的第五实施例在第三实施例的基础上,同步模块的实现方法如下 所述:从上面的实现方案可知同步模块的输入参数有音频抖动值,视频抖动 值,音频流和视频流的网络传输延时值。同步模块接收到上述的信息后要将 音频流的延时值和抖动值与视频流的延时值和抖动值进行比较,以此调整音 频流和视频流之间总的延时差,使得音频流和视频流同步,最后再统一给出 音频Jitter Buffer模块和视频Jitter Buffer模块各自总的延时Al和A2。
14其中同步模块计算音频流、视频流的緩冲器的緩存时长的原则是:设置 緩存时长,使得同步偏差在限定的范围内并且尽量的小。具体就是要考虑到 以下几条:如果音频流、视频流的平均传输时延之差在允许的同步偏差范围 内,且均小于最大緩存时长,则直接按传输时延设置緩沖器的緩存时长;如 果音频流、视频流的平均传输时延之差超出允许的同步偏差范围内,则限定 其中一者在同步偏差范围内;如果音频流、视频流的平均传输时延超出最大 緩存时长,则限定在最大緩存时长。关于具体同步模块如何进行比较判断和 设定的技术细节在下文中描述。
为了更加清晰的描述本发明的多媒体网络传输唇同步装置的工作机理, 下面详细给出一个上述装置的一个动态工作过程。
从分组网络侧接收的音频流和视频流经过传输时延检测模块的处理计 算出它们在网络上的传输时间给同步模块。音频流和视频流分别经过各自的 动态Jitter Buffer模块计算出各自的网络抖动值给同步模块。同步模块根据上 述的四个输入参数按照一定算法分别计算出音频Jitter Buffer的緩冲时长Al 和视频Jitter Buffer的緩冲时长A2,并送给音频、视频Jitter Buffer动态更新 其緩冲时长。同时,音频JitterBuffer模块根据Al计算出音频的播放时间及 其对应播放的音频帧,并将这个播放时间发送给视频Jitter Buffer,作为其播 放的同步时间参考点,当然也可以反过来由视频发给音频。视频Jitter Buffer 根据同步参考点和A2值计算并调整播放緩冲器中的视频帧。从而实现音频 与视频的同步播放即唇同步。
熟悉本领域的技术人员可以理解,对于上述各实施例中,在模块划分、 角色分配等方面若采用其它表现形式,比如同步模块和音频Jitter Buffer在物 理上结合,共同实现同步信息的计算和音频抖动的处理;又或者时延检测模 块和同步模块结合,共同实现传输延时的计算和同步信息的计算;或者同步
模块和视频Jitter Buffer结合,共同实现同步信息的计算和视频抖动的处理等,对于角色划分比如由视频Jitter Buffer发送同步时间参考点给音频Jitter Buffer,这些不同的表现形式有着同样一个实现原理,都能实现发明目的, 并不影响本发明的实质和范围。
对于上文描述的网络多媒体实时传输的唇同步装置,下面将详细给出相 应的一些工作流程,即网络多媒体实时传输的唇同步方法。本发明的第六实 例中唇同步方法流程图如图3所示。
首先步骤301中,在分组网络侧接收多媒体流数据,多媒体包含音频流 和视频流,该音频流、视频流在接收端通过各自的緩沖器緩存后再播放。
接着在步骤302中,分别测量音频流、视频流的平均传输时延。如前所 述,在分组网络侧,最先通过处理的就是时延检测模块,根据音频流、视频 流数据包的发送时刻和接收时刻,通过迭代算法计算平均传输时延。
接着在步骤303中,分别测量音频流、视频流的传输时延抖动。这一步 由Jitter Buffer完成。由于Jitter Buffer本身处理和记录网络数据包的延时间 隔,通过这些间隔的变化,可以很容易的计算网络抖动。这里也通过迭代算 法计算。
接着在步骤304中,根据音频流、视频流的平均传输时延、传输时延抖 动,计算并设定音频流、视频流的緩冲器的緩存时长。
同步模块计算音频流、视频流的緩冲器的緩存时长的原则是:设置緩存 时长,使得同步偏差在限定的范围内并且尽量的小。具体就是要考虑到以下 几条:如果音频流、视频流的平均传输时延之差在允许的同步偏差范围内, 且均小于最大緩存时长,则直接按传输时延设置緩冲器的緩存时长;如果音 频流、视频流的平均传输时延之差超出允许的同步偏差范围内,则限定其中 一者在同步偏差范围内;如杲音频流、视频流的平均传输时延超出最大緩存 时长,则限定在最大緩存时长。
接着在步骤305中,音频流或视频流的Jitter Buffer中的一方周期性提供自身播放时间给另 一 方作为同步时间参考点,使其根据该同步时间参考点调 整播放。这样便完成了唇同步过程。
本发明的第七实施例在第六实施例的基础上,通过以下步骤实现步骤
302中的迭代方法计算平均传输时延:
根据数据包上的时间戳及本地时钟,可以得知第!•个媒体数据包的发送 时刻和接收时刻分别为邓),邓)。于是相对传输时延为
丄(0 =外)—外)
则迭代计算平均传输时延r的公式为
r := r+丄["!•)—r]
其中AT为一个较大的常数,其取值与平均时延的精度有关。
可以看出,每当接收到一个新的数据包后,都会对原有的平均时延进行 矫正,矫正的程度跟设置的W大小有关,该值越大表示当前值对平均时延影 响越大,反之则越小。W应该取一个合适的值,如果太大则不能很好反映当 前网络状况,如果太小则太容易受到起伏的影响,不能体现平均的效果,比
如当f有32比特时取#=16。
该迭代方法也适用于步骤303中JitterBuffer对抖动的估计。由上,第!包 和第y包两个包的传输时延之差D(!',y)可以计算为
卯,力=[W力-及(')]-[s(/)-邻)]
而所谓网络抖动就是定义为不同包传输时延变化的标准差,也就是不同 包之间时延差的平均值,于是网络抖动按下式计算
/::";IJD('-1,0卜J] M
这里的A/与上面的W类似。
本发明的第八实施例在第六实施例的基础上,通过以下判断法则来实现步骤304中的几条准则,从而根据平均传输时延、抖动来确定Al和A2的设 定值。
比如先假设唇同步要求同步偏差的范围为[-〜",即音频超前视频的最大 偏差为e,,音频滞后视频的最大偏差为62。那么唇同步最终的结果要使得两个 流的偏差在这个范围内。另外设緩冲器緩存的最大深度为A和A,且在一般 情况下有1,<^,就是说4 (Al)和4 (A2)不能超过这个最大深度。
下面根据上面几条原则,给出一种比较简单的仅由前面计算得到的网络
传输平均时延A,A来确定緩存时长牟4的方法:
如果满足A〈A〈",且有丄,一A"2 ,则置4=丄,,4=丄"
如果满足A〈A〈《且有A-丄2"2,则置4",' 4=丄2;
如果满足A <不<A ,则置4 =《,;
如杲满足", < 丄2 <丄,,则置4 =""毛=min(丄2,A); 如果满足A"2〈",且有A-,则置4=4, W
如果满足A〈A〈《且有丄广A",,则置4"" 4 如果满足A〈",〈A〈A且有丄广A",,则置4=",, 4=丄2; 如果满足A〈《"2〈A且有丄广A^,则置4-A,毛=12; 如果满足W "2 "2 ,则置4 = ma叫,A, "2 - A), 4 = Z2; 如果满足A <A <丄2 ,则置4 =《,^ -min^,;^,;^ 。
从上面的准则,很容易归纳出这样的设置准则,即在物理可以实现的范 围内,设置緩存时长,使得同步偏差在限定的范围内并且尽量的小。通过这 种方法,能够简便、快速的计算出音频流和视频流能够保证同步的动态延时
Al和A2,根据同步时间参考点,能够简便、快速的实现两个流的同步,根
据不同的网络状况,动态的计算出最小延时,以保证同步质量。综上,本发明给出了分组网络中多媒体实时传输的唇同步方法,则对当 今网络流媒体业务发展具有很大意义。流媒体技术的应用日益广泛,本发明
针对RTP/RTCP等多媒体实时传输协议的研究,分析流媒体服务器的一般功 能和结构,给出构建一个基本的流媒体服务器的实现方案,实验证明可以同 时满足多个实时和文件客户的要求,并已经应用于一个远程监控系统中。
虽然通过参照本发明的某些优选实施例,已经对本发明进行了图示和描 述,但本领域的普通技术人员应该明白,可以在形式上和细节上对其作各种 改变,而不偏离本发明的精神和范围。

Claims (9)

1.一种分组网络中多媒体实时传输的唇同步方法,所述多媒体包含音频流和视频流,该音频流、视频流在接收端通过各自的缓冲器缓存后再播放,其特征在于,包含以下步骤, A分别测量所述音频流、视频流的各自的平均传输时延; B分别测量所述音频流、视频流的各自的传输时延抖动; C根据所述音频流、视频流各自的所述平均传输时延、传输时延抖动,计算所述音频流与视频流之间的时延差,根据所述时延差设定所述音频流、视频流各自的缓冲器的缓存时长。
2. 根据权利要求1所述的分组网络中多媒体实时传输的唇同步方法, 其特征在于,还包含步骤,D所述音频流或视频流的緩冲器中的第一方周期性提供自身播放时间 给第二方作为同步时间参考点,所述第二方根据该同步时间参考点调整播放。
3. 根据权利要求2所述的分组网络中多媒体实时传输的唇同步方法, 其特征在于,所述步骤A中,根据所述音频流、视频流各自的数据包的发 送时刻和接收时刻计算所述音频流、视频流各自的平均传输时延。
4. 根据权利要求3所述的分组网络中多媒体实时传输的唇同步方法, 其特征在于,所述步骤A中,通过迭代算法计算所述音频流、视频流各自 的所述平均传输时延,包含以下子步骤,分别计算当前音频流、视频流各自数据包的传输时延;迭代修正所述音频流、视频流各自的平均传输时延,使其更趋近所述当 前音频流、;现频流各自的数据包的传输时延。
5. 根据权利要求3所述的分组网络中多媒体实时传输的唇同步方法, 其特征在于,所述步骤C中,根据所述延时差设定所述音频流、视频流各自 的緩沖器的緩存时长包括:如果所述音频流、视频流的平均传输时延之差在允许的同步偏差范围 内,且所述音频流、视频流各自的平均传输时延均小于音频流、视频流各自 的緩存器的最大緩存时长,则直接按所述音频流、视频流各自的传输时延设 置所述緩沖器的緩存时长;如果所述音频流、视频流的平均传输时延之差超出所述允许的同步偏差 范围内,则限定所述音频流或视频流的緩存器的緩存时长中的一个,以使音 频流和视频流之间的同步偏差在同步偏差范围内;如果所述音频流、视频流各自的平均传输时延均超出所述音频流、视频 流各自的緩存器的最大緩存时长,则设置所述音频流、视频流各自的緩存器 的緩存时长分别为所述音频流、视频流各自的緩存器的最大緩存时长。
6. —种分组网络中多媒体实时传输的唇同步装置,所述多媒体包含音 频流和视频流,各自设置有緩冲器,该音频流、视频流在接收端通过各自的 緩冲器緩存后再播放,其特征在于,还包含时延检测模块、同步模块,其中所述音频流、视频流各自的緩冲器还用于分别计算所述音频流、视 频流各自的传输时延抖动;所述时延检测模块用于分别计算所述音频流、视频流各自的平均传输时延;所述同步模块用于根据所述音频流、视频流各自的所述平均传输时延、 传输时延抖动,计算所述音频流与视频流之间的时延差,根据所述时延差设 定所述音频流、视频流各自的緩冲器的緩存时长。
7. 根据权利要求6所述的分组网络中多媒体实时传输的唇同步装置, 其特征在于,所述音频流或视频流的緩冲器中的第一方周期性提供自身播放时间给第二方作为同步时间参考点,所述第二方根据该同步时间参考点调整 播放。
8. 根据权利要求7所述的分组网络中多媒体实时传输的唇同步装置, 其特征在于,所述时延检测模块根据所述音频流、视频流各自的数据包的发 送时刻和接收时刻分別计算所述音频流、视频流的各自的平均传输时延。
9. 根据权利要求8所述的分组网络中多媒体实时传输的唇同步装置, 其特征在于,所述时延检测模块通过迭代算法分别计算所述音频流、视频流 各自的平均传输时延。
CNB2005101002931A 2005-10-11 2005-10-11 分组网络中多媒体实时传输的唇同步方法及其装置 CN100442858C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNB2005101002931A CN100442858C (zh) 2005-10-11 2005-10-11 分组网络中多媒体实时传输的唇同步方法及其装置

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
CNB2005101002931A CN100442858C (zh) 2005-10-11 2005-10-11 分组网络中多媒体实时传输的唇同步方法及其装置
PCT/CN2006/001957 WO2007041917A1 (fr) 2005-10-11 2006-08-03 Appareil et méthode de synchronisation de flux de transmission multimédia temps réel dans un réseau par paquets
CN2006800121067A CN101160900B (zh) 2005-10-11 2006-08-03 分组网络中多媒体实时传输的流同步方法及装置
AT06121989T AT397356T (de) 2005-10-11 2006-10-09 Verfahren und vorrichtung zur synchronisierung eines audiovisuellen datenstroms in echtzeit über ein paketnetzwerk
DE200660001342 DE602006001342D1 (de) 2005-10-11 2006-10-09 Verfahren und Vorrichtung zur Synchronisierung eines audiovisuellen Datenstroms in Echtzeit über ein Paketnetzwerk
EP20060121989 EP1775964B1 (en) 2005-10-11 2006-10-09 Method and device for stream synchronization of real-time multimedia transport over packet network
US11/546,182 US7680153B2 (en) 2005-10-11 2006-10-11 Method and device for stream synchronization of real-time multimedia transport over packet network

Publications (2)

Publication Number Publication Date
CN1949879A CN1949879A (zh) 2007-04-18
CN100442858C true CN100442858C (zh) 2008-12-10

Family

ID=37696036

Family Applications (2)

Application Number Title Priority Date Filing Date
CNB2005101002931A CN100442858C (zh) 2005-10-11 2005-10-11 分组网络中多媒体实时传输的唇同步方法及其装置
CN2006800121067A CN101160900B (zh) 2005-10-11 2006-08-03 分组网络中多媒体实时传输的流同步方法及装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN2006800121067A CN101160900B (zh) 2005-10-11 2006-08-03 分组网络中多媒体实时传输的流同步方法及装置

Country Status (6)

Country Link
US (1) US7680153B2 (zh)
EP (1) EP1775964B1 (zh)
CN (2) CN100442858C (zh)
AT (1) AT397356T (zh)
DE (1) DE602006001342D1 (zh)
WO (1) WO2007041917A1 (zh)

Families Citing this family (101)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6307487B1 (en) 1998-09-23 2001-10-23 Digital Fountain, Inc. Information additive code generator and decoder for communication systems
US7068729B2 (en) * 2001-12-21 2006-06-27 Digital Fountain, Inc. Multi-stage code generator and decoder for communication systems
US9288010B2 (en) 2009-08-19 2016-03-15 Qualcomm Incorporated Universal file delivery methods for providing unequal error protection and bundled file delivery services
US9419749B2 (en) 2009-08-19 2016-08-16 Qualcomm Incorporated Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes
US9240810B2 (en) * 2002-06-11 2016-01-19 Digital Fountain, Inc. Systems and processes for decoding chain reaction codes through inactivation
JP4546246B2 (ja) 2002-10-05 2010-09-15 デジタル ファウンテン, インコーポレイテッド 連鎖的暗号化反応の系統的記号化および復号化
EP2722995A3 (en) 2003-10-06 2018-01-17 Digital Fountain, Inc. Soft-decision decoding of multi-stage chain reaction codes
KR101205758B1 (ko) * 2004-05-07 2012-12-03 디지털 파운튼, 인크. 파일 다운로드 및 스트리밍 시스템
EP1872533B1 (en) 2005-04-22 2019-05-22 Audinate Pty Limited Network, device and method for transporting digital media
US9386064B2 (en) * 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
US9178535B2 (en) * 2006-06-09 2015-11-03 Digital Fountain, Inc. Dynamic stream interleaving and sub-stream based delivery
US9432433B2 (en) * 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US9380096B2 (en) 2006-06-09 2016-06-28 Qualcomm Incorporated Enhanced block-request streaming system for handling low-latency streaming
US9209934B2 (en) * 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
WO2007095550A2 (en) 2006-02-13 2007-08-23 Digital Fountain, Inc. Streaming and buffering using variable fec overhead and protection periods
US9270414B2 (en) * 2006-02-21 2016-02-23 Digital Fountain, Inc. Multiple-field based code generator and decoder for communications systems
US7459624B2 (en) 2006-03-29 2008-12-02 Harmonix Music Systems, Inc. Game controller simulating a musical instrument
GB2437123B (en) * 2006-04-10 2011-01-26 Vqual Ltd Method and apparatus for measuring audio/video sync delay
WO2007134196A2 (en) 2006-05-10 2007-11-22 Digital Fountain, Inc. Code generator and decoder using hybrid codes
EP2033360B1 (en) 2006-05-17 2015-12-02 Audinate Pty Limited Redundant media packet streams
US7965650B2 (en) * 2006-05-18 2011-06-21 Cisco Technology, Inc. Method and system for quality monitoring of media over internet protocol (MOIP)
US8599884B2 (en) * 2007-03-15 2013-12-03 Nokia Corporation System and method for implementing optimized multiplexing and power saving in a broadcast network
CN100488133C (zh) * 2007-05-11 2009-05-13 中兴通讯股份有限公司 一种多媒体终端音频服务质量特性的测试方法
US8171152B2 (en) 2007-05-11 2012-05-01 Audinate Pty Limited Systems, methods and computer-readable media for configuring receiver latency
US8918541B2 (en) * 2008-02-22 2014-12-23 Randy Morrison Synchronization of audio and video signals from remote sources over the internet
JP4854029B2 (ja) * 2007-06-08 2012-01-11 Kddi株式会社 無瞬断パケット切替装置
US8678896B2 (en) 2007-06-14 2014-03-25 Harmonix Music Systems, Inc. Systems and methods for asynchronous band interaction in a rhythm action game
US7625284B2 (en) 2007-06-14 2009-12-01 Harmonix Music Systems, Inc. Systems and methods for indicating input actions in a rhythm-action game
US9794605B2 (en) * 2007-06-28 2017-10-17 Apple Inc. Using time-stamped event entries to facilitate synchronizing data streams
CN101802797B (zh) * 2007-09-12 2013-07-17 数字方敦股份有限公司 生成和传达源标识信息以实现可靠的通信
FR2922401B1 (fr) * 2007-10-10 2010-04-16 Sagem Comm Dispositif de reception en continu de paquets de donnees audio et/ou video
EP2255541B1 (en) 2008-02-29 2012-11-28 Audinate Pty Ltd Network devices, methods and/or systems for use in a media network
US9143810B2 (en) * 2008-03-13 2015-09-22 Telefonaktiebolaget L M Ericsson (Publ) Method for manually optimizing jitter, delay and synch levels in audio-video transmission
US20090241163A1 (en) * 2008-03-21 2009-09-24 Samsung Electronics Co. Ltd. Broadcast picture display method and a digital broadcast receiver using the same
US7860044B2 (en) * 2008-05-30 2010-12-28 Alcatel-Lucent Usa Inc. Methods and apparatus for providing synchronization in a multi-channel communication system
CN101378356B (zh) * 2008-06-10 2011-05-11 中兴通讯股份有限公司 一种ip实时流媒体的播放方法
EP2292013B1 (en) 2008-06-11 2013-12-04 Koninklijke Philips N.V. Synchronization of media stream components
CN101369866B (zh) * 2008-10-21 2011-07-27 中国电信股份有限公司 一种测试流媒体传输质量的方法和设备
US20100211690A1 (en) * 2009-02-13 2010-08-19 Digital Fountain, Inc. Block partitioning for a data stream
US9281847B2 (en) * 2009-02-27 2016-03-08 Qualcomm Incorporated Mobile reception of digital video broadcasting—terrestrial services
US20120036277A1 (en) * 2009-03-16 2012-02-09 Nederlandse Organisatie Voor Toegepast-Natuurwetenschappelijk Onderzoek Tno Modified Stream Synchronization
CN101577827B (zh) * 2009-04-22 2012-02-01 北京大学 一种延时播放控制方法及系统
KR101705592B1 (ko) * 2009-05-18 2017-02-10 삼성전자주식회사 노드 간의 시간 동기화를 수행하는 네트워크 동기화 방법 및 장치
US8449360B2 (en) 2009-05-29 2013-05-28 Harmonix Music Systems, Inc. Displaying song lyrics and vocal cues
US8465366B2 (en) 2009-05-29 2013-06-18 Harmonix Music Systems, Inc. Biasing a musical performance input to a part
WO2010149226A1 (en) * 2009-06-26 2010-12-29 Telefonaktiebolaget Lm Ericsson (Publ) Detection of jitter in a communication network
US8437266B2 (en) * 2009-08-26 2013-05-07 Avaya Inc. Flow through call control
US9917874B2 (en) 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
US20110096828A1 (en) * 2009-09-22 2011-04-28 Qualcomm Incorporated Enhanced block-request streaming using scalable encoding
EP2494432B1 (en) 2009-10-27 2019-05-29 Harmonix Music Systems, Inc. Gesture-based user interface
US9981193B2 (en) 2009-10-27 2018-05-29 Harmonix Music Systems, Inc. Movement based recognition and evaluation
US8699351B2 (en) * 2009-12-04 2014-04-15 At&T Intellectual Property I, L.P. Method and system for detecting audio and video synchronization
JP5635626B2 (ja) * 2010-01-27 2014-12-03 コニンクリーケ・ケイピーエヌ・ナムローゼ・フェンノートシャップ メディア・ストリームの同期のための方法、システム及び装置
US8568234B2 (en) 2010-03-16 2013-10-29 Harmonix Music Systems, Inc. Simulating musical instruments
EP2579955B1 (en) 2010-06-11 2020-07-08 Harmonix Music Systems, Inc. Dance game and tutorial
US8562403B2 (en) 2010-06-11 2013-10-22 Harmonix Music Systems, Inc. Prompting a player of a dance game
US9358456B1 (en) 2010-06-11 2016-06-07 Harmonix Music Systems, Inc. Dance competition game
US8532804B2 (en) 2010-06-18 2013-09-10 Microsoft Corporation Predictive resampler scheduler algorithm
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US9456015B2 (en) 2010-08-10 2016-09-27 Qualcomm Incorporated Representation groups for network streaming of coded multimedia data
US8635390B2 (en) * 2010-09-07 2014-01-21 International Business Machines Corporation System and method for a hierarchical buffer system for a shared data bus
US8874808B2 (en) * 2010-09-07 2014-10-28 International Business Machines Corporation Hierarchical buffer system enabling precise data delivery through an asynchronous boundary
US9024166B2 (en) 2010-09-09 2015-05-05 Harmonix Music Systems, Inc. Preventing subtractive track separation
US8606953B2 (en) * 2010-10-04 2013-12-10 Dialogic Corporation Adjusting audio and video synchronization of 3G TDM streams
US9237324B2 (en) 2010-10-22 2016-01-12 Phorus, Inc. Playback synchronization
US9565426B2 (en) * 2010-11-12 2017-02-07 At&T Intellectual Property I, L.P. Lip sync error detection and correction
EP3110105A1 (en) * 2011-02-11 2016-12-28 Interdigital Patent Holdings, Inc. Method and apparatus for synchronizing mobile station media flows during a collaborative session
US8958375B2 (en) 2011-02-11 2015-02-17 Qualcomm Incorporated Framing for an improved radio link protocol including FEC
US9270299B2 (en) 2011-02-11 2016-02-23 Qualcomm Incorporated Encoding and decoding using elastic codes with flexible source block mapping
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
US9843844B2 (en) 2011-10-05 2017-12-12 Qualcomm Incorporated Network streaming of media data
JP5916244B2 (ja) * 2011-12-29 2016-05-11 株式会社ソニー・インタラクティブエンタテインメント 映像再生システム
US9294226B2 (en) 2012-03-26 2016-03-22 Qualcomm Incorporated Universal object delivery and template-based file delivery
EP2670157B1 (en) * 2012-06-01 2019-10-02 Koninklijke KPN N.V. Fingerprint-based inter-destination media synchronization
CN103475906B (zh) * 2012-06-08 2016-08-10 华为技术有限公司 用于多媒体流的测量方法和测量装置
CN102724584B (zh) * 2012-06-18 2016-07-27 Tcl集团股份有限公司 网络视频在线播放方法、视频在线播放装置及智能电视
EP2866457B1 (en) * 2012-06-22 2019-03-20 Saturn Licensing LLC Reception device, and synchronous processing method therefor
CN103888381A (zh) * 2012-12-20 2014-06-25 杜比实验室特许公司 用于控制抖动缓冲器的装置和方法
CN103916716B (zh) * 2013-01-08 2017-06-20 北京信威通信技术股份有限公司 一种无线网络下视频实时传输的码率平滑方法
CN103219029A (zh) * 2013-03-25 2013-07-24 广东欧珀移动通信有限公司 自动调节音视频同步的方法和系统
GB201318653D0 (en) * 2013-10-22 2013-12-04 Microsoft Corp Adapting a jitter buffer
CN103594103B (zh) 2013-11-15 2017-04-05 腾讯科技(成都)有限公司 音频处理方法及相关装置
CN104811824B (zh) * 2014-01-29 2018-05-04 上海数字电视国家工程研究中心有限公司 多媒体传输网络系统
CN106211306B (zh) 2015-04-30 2020-04-03 华为技术有限公司 一种通信网络延时抖动平滑方法、装置及系统
EP3095494A1 (en) 2015-05-19 2016-11-23 Harmonix Music Systems, Inc. Improvised guitar simulation
CN106331847B (zh) * 2015-07-06 2019-12-03 成都鼎桥通信技术有限公司 音视频播放方法及设备
JP6668636B2 (ja) * 2015-08-19 2020-03-18 ヤマハ株式会社 オーディオシステムおよびオーディオ機器
US9634947B2 (en) 2015-08-28 2017-04-25 At&T Mobility Ii, Llc Dynamic jitter buffer size adjustment
US9799314B2 (en) 2015-09-28 2017-10-24 Harmonix Music Systems, Inc. Dynamic improvisational fill feature
US9773486B2 (en) 2015-09-28 2017-09-26 Harmonix Music Systems, Inc. Vocal improvisation
CN105376613B (zh) 2015-12-10 2019-05-10 华为技术有限公司 一种快速频道切换方法、服务器及iptv系统
CN105704506A (zh) * 2016-01-19 2016-06-22 北京流金岁月文化传播股份有限公司 一种解决视音频编码唇音同步的装置和方法
US9973638B2 (en) * 2016-01-26 2018-05-15 Qsc, Llc Peripheral bus video communication using internet protocol
US10454982B1 (en) * 2016-03-18 2019-10-22 Audio Fusion Systems, Inc. Monitor mixing system that distributes real-time multichannel audio over a wireless digital network
US10686897B2 (en) * 2016-06-27 2020-06-16 Sennheiser Electronic Gmbh & Co. Kg Method and system for transmission and low-latency real-time output and/or processing of an audio data stream
CN106331120B (zh) * 2016-08-26 2019-06-21 自连电子科技(上海)有限公司 实现不同物联网设备之间协同操作的系统与方法
CN106658135B (zh) * 2016-12-28 2019-08-09 北京奇艺世纪科技有限公司 一种音视频播放方法及装置
EP3591908A4 (en) * 2017-03-23 2020-01-08 Huawei Technologies Co., Ltd. METHOD AND DEVICE FOR SPEECH-TO-SPEECH SYNCHRONIZATION BETWEEN MULTIPLE DEVICES
CN108401194B (zh) * 2018-04-27 2020-06-30 广州酷狗计算机科技有限公司 时间戳确定方法、装置和计算机可读存储介质
CN110392291A (zh) * 2019-07-29 2019-10-29 昆腾微电子股份有限公司 一种蓝牙同步播放方法、装置、系统及存储介质
WO2021054769A1 (ko) * 2019-09-18 2021-03-25 엘지전자 주식회사 무선 통신 시스템에서 근거리 무선 통신을 이용한 오디오 데이터 전송 방법 및 이에 대한 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5570372A (en) * 1995-11-08 1996-10-29 Siemens Rolm Communications Inc. Multimedia communications with system-dependent adaptive delays
US20030198256A1 (en) * 2002-04-19 2003-10-23 Wang Charles Chuanming Apparatus and method for synchronization of audio and video streams
CN1455408A (zh) * 2002-05-04 2003-11-12 三星电子株式会社 控制音频流缓冲的方法和装置
US20040037325A1 (en) * 2000-06-28 2004-02-26 Hans-Jurgen Busch Method and device for time-synchronized relaying of signals

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US570372A (en) * 1896-10-27 William frank browne
GB9501378D0 (en) * 1995-01-24 1995-03-15 Ibm A system and method for establishing a communication channel over a heterogeneous network between a source node and a destination node
JP3063841B2 (ja) * 1997-11-26 2000-07-12 日本電気株式会社 オーディオ・ビデオ同期再生装置
DE69902874T2 (de) * 1998-01-07 2003-01-30 Thomson Licensing Sa Vorrichtung zur erzeugung einer verzögerung für videolippensynchronisation und verfahren dafür
US6249319B1 (en) * 1998-03-30 2001-06-19 International Business Machines Corporation Method and apparatus for finding a correct synchronization point within a data stream
US6438702B1 (en) * 1999-12-21 2002-08-20 Telcordia Technologies, Inc. Method for providing a precise network time service
JP3921986B2 (ja) * 2000-10-30 2007-05-30 ソニー株式会社 同期装置及び方法、ディジタル放送受信装置
JP2002202404A (ja) 2000-12-27 2002-07-19 Nikon Corp 光学部品およびその製造方法
US20030112758A1 (en) * 2001-12-03 2003-06-19 Pang Jon Laurent Methods and systems for managing variable delays in packet transmission
US6906755B2 (en) * 2002-01-04 2005-06-14 Microsoft Corporation Method and apparatus for synchronizing audio and video data
US7283175B2 (en) * 2002-11-07 2007-10-16 Thomson Licensing System and method for determining lip synchronization between audio and video in a digitized environment using buffer calculation
JP2005123789A (ja) * 2003-10-15 2005-05-12 Matsushita Electric Ind Co Ltd Av同期システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5570372A (en) * 1995-11-08 1996-10-29 Siemens Rolm Communications Inc. Multimedia communications with system-dependent adaptive delays
US20040037325A1 (en) * 2000-06-28 2004-02-26 Hans-Jurgen Busch Method and device for time-synchronized relaying of signals
US20030198256A1 (en) * 2002-04-19 2003-10-23 Wang Charles Chuanming Apparatus and method for synchronization of audio and video streams
CN1455408A (zh) * 2002-05-04 2003-11-12 三星电子株式会社 控制音频流缓冲的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于RTP/RTCP协议的实时数据传输与同步控制策略. 任延珍,喻占武,胡瑞敏.计算机工程与应用,第10期. 2003
基于RTP/RTCP协议的实时数据传输与同步控制策略. 任延珍,喻占武,胡瑞敏.计算机工程与应用,第10期. 2003 *

Also Published As

Publication number Publication date
US7680153B2 (en) 2010-03-16
CN101160900B (zh) 2011-09-14
EP1775964B1 (en) 2008-05-28
WO2007041917A1 (fr) 2007-04-19
AT397356T (de) 2008-06-15
DE602006001342D1 (de) 2008-07-10
US20070081562A1 (en) 2007-04-12
CN1949879A (zh) 2007-04-18
CN101160900A (zh) 2008-04-09
EP1775964A1 (en) 2007-04-18

Similar Documents

Publication Publication Date Title
US9191664B2 (en) Adaptive bitrate management for streaming media over packet networks
US9832497B2 (en) Marker-based inter-destination media synchronization
Benslimane A multimedia synchronization protocol for multicast groups
US8973063B2 (en) Method and system for synchronization of digital media playback
Schulzrinne et al. RFC3550: RTP: A transport protocol for real-time applications
US10034037B2 (en) Fingerprint-based inter-destination media synchronization
US6778493B1 (en) Real-time media content synchronization and transmission in packet network apparatus and method
Schulzrinne et al. RTP: A transport protocol for real-time applications
CN1914876B (zh) 定时体验质量的度量
CN1897490B (zh) 无线环境中用于多媒体传输的方法、系统及多媒体处理设备
Jo et al. Synchronized one-to-many media streaming with adaptive playout control
US8094667B2 (en) RTP video tunneling through H.221
CA2559225C (en) Transport stream dejitterer
KR101261123B1 (ko) 신호 동기화를 위한 개선된 방법, 시스템 및 장치
RU2367011C2 (ru) Устройство и способ передачи сигналов с упреждающей адаптацией скорости
CN1941916B (zh) 用于同步分组数据流的方法和系统
CN103945166B (zh) 用于在媒体中继会议中同步音频和视频流的方法和系统
US8839340B2 (en) Method, system and device for synchronization of media streams
Biersack et al. Intra-and inter-stream synchronisation for stored multimedia streams
CN101425891B (zh) 时间同步方法、系统和客户端
CN101296184B (zh) 一种数据传输的方法、系统及装置
KR100975176B1 (ko) 프로토콜이 기록된 컴퓨터로 판독가능한 기록 매체, 정보 처리 시스템 및 방법, 정보 처리 장치 및 방법, 및 기록 매체
US7949890B2 (en) Method and system for precise synchronization of audio and video streams during a distributed communication session with multiple participants
CN1951083B (zh) 流传输服务中的改进的质量反馈
Perkins et al. Rapid Synchronisation of RTP flows

Legal Events

Date Code Title Description
PB01 Publication
C06 Publication
SE01 Entry into force of request for substantive examination
C10 Entry into substantive examination
GR01 Patent grant
C14 Grant of patent or utility model