CN1206536A - 具有系统相关自适应延迟的多媒体通信 - Google Patents

具有系统相关自适应延迟的多媒体通信 Download PDF

Info

Publication number
CN1206536A
CN1206536A CN96199429A CN96199429A CN1206536A CN 1206536 A CN1206536 A CN 1206536A CN 96199429 A CN96199429 A CN 96199429A CN 96199429 A CN96199429 A CN 96199429A CN 1206536 A CN1206536 A CN 1206536A
Authority
CN
China
Prior art keywords
delay
video
signal
data
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN96199429A
Other languages
English (en)
Other versions
CN1119029C (zh
Inventor
S·谢弗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Business Communication Systems Inc
Original Assignee
Siemens Business Communication Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Business Communication Systems Inc filed Critical Siemens Business Communication Systems Inc
Publication of CN1206536A publication Critical patent/CN1206536A/zh
Application granted granted Critical
Publication of CN1119029C publication Critical patent/CN1119029C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6137—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a telephone network, e.g. POTS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)
  • Telephonic Communication Services (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种在多系统视频和音频数据通信中将声像同步限制到单个系统的方法和系统。在一个最佳实施例中,接收系统在重现时对视频和音频信号实行同步。始发系统分离地形成和处理视频和音频信号。对许多系统,处理包含不同的延迟。因此,当信息通过一个网络传输到接收系统时,视频和音频数据是不同步的。始发系统提供表示在始发系统中视频和音频处理时间的不同性的延迟信息。接收系统利用该延迟信息确定用来引入到适当的视频或音频处理通道的自适应补偿延迟。通过给多系统通信提供单个补偿延迟,减少了潜在的总延迟。

Description

具有系统相关自适应延迟的多媒体通信
本发明一般涉及宽带和窄带多媒体通信，更具体地说，涉及减少重现一个系统与一个远端系统间的音-视频通信时的相互间的延迟。
业已有将第一系统中产生的音视频信号通过公共或专用网传输到第二系统的诸多应用。例如，在视频电话和视频会议中要求用音视频通信。
在一对可视电话系统之间的通信中，每个系统通常包括诸如摄影机和监视器这样的视频输入／输出设备，和包括诸如麦克风和扬声器这样的音频输入／输出设备。为了减少通信带宽，来自输入输出设备的音视频信号被数字化并压缩。编码的信号被多路复用为一个单比特流，用来通过网络传输到目标系统。单比特流也包括数据和控制信号。因为目标系统可能与始发系统不一样，所以必须进行标准化。在视频电话系统的场合，International Telecommuication Union(ITU)提供了窄带电信的推荐标准。该标准被称为ITU-T Recommendation H．320，其中窄带定义为64千比特／秒到1920千比特／秒。
在目标系统显现信息的声像同步要求有一个处理视频和音频数据的同步。在从一个信息的始发系统到目标系统的网络传输中，信息被转变为一个单比特流，从而视频和音频数据的延迟是一致的。然而，在始发系统和目标系统，视频和音频信号是分开处理的。在每个由网络链接的两个系统内，视频数据通常经历与音频数据分离的处理。例如，始发系统可以有并行的视频和音频通道，在该通道内所述分离的信号被数字化和压缩(即编码)。在目标系统视频和音频信号再被分离并沿各自的通道被处理。从始发系统的信息获取到目标系统的信息重现所产生的总延迟是两个系统的延迟和网络延迟的组合。
处理和传输延迟降低了电信质量。总延迟中的网络延迟分量并不在系统设计者的控制之内。在系统级，源和目标的延迟可以通过增加在每个网络上的编码器／译码器对的速度来减少。最大速度受音频处理和视频处理中速度较低者的限制。例如，在始发系统，音频处理可以比视频处理复杂程度低些而花费时间少些。因此人为在音频通道加上一个延迟以提供视频和音频数据在通过网络传输时相同步。以类似的方法，可以人为地在接收系统的视频或音频处理通道加上一个延迟，以保证它们在重现时同步
因此需要一个可以改进系统之间，例如在两个视频电话系统之间的通信性能的多媒体同步方法。同时也需要一个用来无需显著增加设备费用而可实现同步的系统。
一个为在远端系统之间通信而将第一媒体形式数据和第二媒体形式数据相同步的方法，包括：系统间交换有关第一媒体处理和第二媒体处理的相对定时的延迟数据。只在其中的一个系统中引入补偿延迟，而补偿则是基于在两个系统中的延迟之和。不管补偿延迟是被引入到始发系统还是目标系统，多媒体数据在两个系统之间的网络中的传输将是异步的。
在最佳实施例中，补偿延迟是引入到目标系统中。视频音频信号在始发系统中产生。例如，摄影机可用来产生视频信号而麦克风用来产生音频信号。分离的信号沿着不同的视频和音频通道进行处理。例如，每个信号可被数字化和压缩，即编码。此外，分离的信号可代表诸如图形，声音，文本等等的其他形式的通信媒体。
在分离的信号的处理期间，每个信号将相对于信号产生时间被延迟。在许多系统中，此两种延迟将是不相同的。不是加上一个系统唯一的补偿延迟，而是在始发系统产生一个表示不同性的延迟数据并将它传送到目标系统中。在接收系统加上此系统间的补偿延迟。该补偿是自适应的，因为补偿量是基于在始发系统的延迟的不相同性和在接收系统的延迟不相同性。根据原始的传输，实行延迟数据的类似交换，以便在先前始发的系统中进行自适应补偿。
对于大多数电信系统，视频编码和音频编码的延迟之差一般是固定的。因此，在两个系统之间的延迟数据的交换可为一个单一交换。然而，本发明可用于延迟可变的系统，所以所传输的延迟数据是动态的。该延迟数据可以是一个相应于两个延迟之差的单一值。在这种实施中，根据视频延迟是超过或被超过音频延迟，延迟数据可正可负。
采用此种方法的系统具有一个自适应补偿延迟能力，可以由硬件电路也可由软件实现。系统唯一延迟数据是从一个远端系统接收到的。非同步的视频和音频数据也是从远端系统接收的，通过利用来自远端的系统唯一延迟数据结合在接收系统的视频和音频延迟之差来计算出必须的补偿延迟实现声像同步。
虽然最佳实施例在接收端加入了补偿延迟，但是这并不是关键之处。传输系统可根据来自接收系统的接收系统唯一延迟数据为其通信提供一个过补偿。无论是在发送端还是在接收端实行自适应补偿，该方法和系统都挖掘了减少信号传输和重现的总延迟的潜力。例如，如果视频编码延迟超过音频编码延迟，但是视频解码被音频解码超出，则相对于现有技术，本自适应补偿法将使得所需的总延迟减少。同样，如果视频编码延迟被音频编码延迟超出，但视频解码超过音频解码，则总延迟也减少。重现延迟的减少的优点是提高了通信的质量。对于本发明来说，这种提高是无需显著增加设备成本而实现的。
图1是一个具有本发明的自适应补偿延迟的系统的方框图。
图2是一个用来执行本发明的传输步骤的一个实施例的说明。
图3是一个图2的实施例的接收步骤的说明。
参考图1，一个可视电话系统10与一个网络12相连，用来与远端的其他可视电话系统14，16，18和20进行可视的话音通信。虽然本发明所显示的是用于电话会议的，但本发明也可用于在不同场所的系统中传输多媒体信号的场合。除了重现视频和音频数据，所述的信号可涉及文本，图形，或语音数据。除了可视电话系统，本发明还可用于诸如局域网和异步传输模式(ATM)传输这样的应用。
可视电话系统10包括视频输入／输出设备22。该设备简单的可以是一个摄影机和一个监视器，但是当前也使用其他的设备。图象从视频通道24传输到多路复用／多路分用单元26。此通道包括一个视频编码器28。视频编码器筛选掉冗余度进行简化编码。也就是说，视频信号被数字化和压缩以减少通过网络12进行数据传输所需的带宽。编码器28的操作是众所周知的现有技术，对本发明并不是关键。
系统10也包括音频输入／输出设备30。该设备可仅仅是一个麦克风和一个扬声器。另一方面，该设备可包括更复杂的设备，诸如回声消除电路。该设备的输出经音频处理通道32送到电路复用／多路分用单元26。音频编码器34对音频输出信号进行如同视频编码器28对视频输出信号所进行的处理。
虽然图1并未示出，但多路复用／多路分用单元26通常还有其他的信号输入。例如，可以加入一个电子黑板来增强通信性能。
控制单元36也与多路复用／多路分用单元26相连。控制单元与网络12并也与远端系统14-20交换信号。众所周知，系统-系统控制信号用来建立工作和信令的通用模式。
多路复用／多路分用单元26将视频，音频，数据和控制信号简化为一个用来传输的单个比特流。传输可以是窄带业务或是宽带业务。在电信中，窄带业务是一个在64kbit／s-1920kbit／s的比特流。网络接口38在系统终端和网络12之间作必要的适配并接收该比特流。可以用已知的方式相互进行通信。例如，系统10可以是一个可视电话而远端系统可以是一个综合业务数字网(ISDN)电话。语音信号需要连续的业务和实时传输。同样，视频信号也是连续业务。分配给视频信号的比特率应尽可能高，以便使在一个给定的信道容量下通信质量最好。
沿处理通道24和32的视频和音频输出信号将会经历某些延迟。通常，即使处理功能是基本等效的，在延迟上也存在差别。在现有技术的系统中，在编码处理时会引入短延迟的处理通道24和32中包括软件引入的延迟或延迟电路。这些人为的延迟使传输到一或多个远端系统14-20的视频和音频信号相同步。在接收系统进行一个类似的延迟均衡，以便以声像同步来重现视频和音频信息。与现有技术相比较，系统10只包括沿视频输入通道44和音频输入通道46的延迟40和42。于是，来自输出处理线24和32的音频可视信息将是非同步的。延迟40和42不是引入固定延迟而是自适应的。延迟控制单元48控制该自适应延迟，既可以是软件引入的，也可以由硬件电路实现。
现参阅图1和2，在可视电话系统10中，用输入／输出设备22和30在步骤50产生音频和视频信号。在步骤52，对信号进行编码。通常，在编码视频信号和编码音频信号之间有一个固定的时间关系。也就是说，由沿通道24和32的处理所加上的延迟通常在系统操作期间保持一样。如前所述，通常在沿通道的视频和音频编码之间有一个不相同性。为了建立信号同步，以使接收系统提供一个声像同步重现。现有技术系统在两个通道24和32中较快的那个通道中引入一个延迟。另一方面，图1的系统10都不对该两个通道提供延迟补偿。
在步骤54产生延迟数据。此延迟数据指明了沿视频处理通道24的编码延迟与沿音频处理通道32的编码延迟的相异。对于相异固定的系统，控制单元36可一次产生延迟数据。然而，在延迟可能是动态的场合，则延迟数据随环境而变化。在最简单的形式中，延迟数据的数值是与两个通道的延迟的时间差的程度相对应的。数值的极性可用来表示哪个通道是快通道和哪个通道是慢通道。例如，一个正值可表明视频编码比音频编码处理得快些，而负数值则相反。
在步骤56中，信号和数据被传输。在图1中，信号和数据被多路复用成为单个用来沿网络12传输到一个或多个系统14-20的比特流。该比特流将包含所有常规系统的信号和数据，而且也包括延迟数据。
现参阅图1和3，如果系统10假定为接收系统，则就有图3的步骤。在步骤58中，系统10从远端站14-20之一接收视频，音频和控制信号。还收到有关视频和音频信息之间的关系的延迟数据。除非远端系统是视频和音频信号以等延迟进行处理的系统，视频和音频信息将不会是同步的。再有，延迟数据可具有一个表示不同步的程度的数值，并可有一个表示在远端对音频信号和视频信号编码时，哪个信号编码经历较长的延迟的极性。
在步骤60，根据下面要描述的算法确定自适应补偿延迟。基本上，该补偿延迟是按照发送系统和接收系统的两个延迟差之和计算的。也就是说，将从远端系统14-20接收的延迟数据与接收系统10中的在解码视频信号和音频信号时的延迟之差相加。图1的延迟控制电路48调节出合适的自适应延迟40和42以提供声像同步。利用自适应延迟的方法使得在多路复用／多路分用单元26接收的非同步的视频和音频相同步。其结果减少了潜在的重现延迟。例如，如果传输系统的音频编码的延迟比视频编码的延迟大，但接收系统却要求相反的同步，则该自适应延迟方法将使总的显示延迟相对于传统的系统-系统的显示有一减少。同样，如果传输系统的视频编码延迟比音频编码延迟大，但接收系统的音频编码延迟超过视频编码延迟，则总的显示延迟将减少。因为重现延迟是音频-视频通信质量的一个要素，所以重现延迟的减少提高了通信质量。
图1的视频输入通道44包括一个视频解码器70。视频解码器执行视频编码器28的相反的功能。视频解码器的输出可以是一个未压缩的模拟信号。音频输入通道46包括一个音频解码器72。该解码器解压音频信号并提供一个供音频输入／输出设备30工作的适当的模拟或数字信号
在图3中，由解码器70和72和延迟40和42实行信号处理步骤62和自适应延迟步骤64。在步骤66由输入／输出设备22和30提供视频和音频重现。虽然图3中自适应延迟40和42是在视频和音频解码以前提供的，但这并不是本发明的关键。在解码信号以后提供延迟同样实现声像同步。
在另一个实施例中，自适应延迟出现在视频和音频处理输出通道24和32。也就是说，延迟40和42是在编码通道而不是如图1所示的在解码通道上。在该实施例中，作为接收侧的远端系统14-20提供表示在收到信号时对视频和音频产生不同延迟的延迟数据。在本实施例中，沿着输入通道44和46将无延迟40和42。不管怎样，基本工作将是一样的，因为都是将延迟之差相加来提供声像同步。而且，在上述每个实施例中，沿网络12传输的视频和音频信号是不同步的。
对传统的系统间的音-视频通信和使用如上所述的结构的和方法的通信而言，总的延迟是始发系统的延迟，由传输到网络所引入的延迟和由目标系统14-20引起的延迟之和。对传统的方法而言，在始发系统的延迟将是音频编码延迟和视频编码延迟中的较大者，因为对较快的处理时间故意延长以使接收系统获得声像同步。然后，在接收系统，延迟将是视频解码延迟和音频解码延迟中较大的那个。在接收系统提供一个第二补偿延迟。本发明则是通过只允许其中一个系统实现声像同步来提供单个补偿延迟。
无论是传统的方法或是图2和3的方法，从编码电路输入到解码电路输出所引入的音频-可视信息的延迟是等于在始发系统和接收系统产生的延迟和网络产生的延迟之和。也就是说，总的重现延迟如下：
    延迟总=延迟编码+延迟网络+延迟解码            (1)
利用现有技术，由始发系统的编码电路引起的延迟是视频编码延迟(延迟视频编码)和音频编码延迟(延迟音频编码)中较大的延迟。现有技术只向网络提供声像同步的信号，因而两个编码电路中较慢的一个决定延迟，也就是说：
        延迟编码=Max{延迟视频编码延迟音频编码}   (2)
根据常规技术，通过故意在视频解码和音频解码的较快者中引入一个延迟来在接收系统提供声像同步。因此，在常规系统中的解码延迟是视频解码延迟(延迟视频编码)和音频解码延迟(延迟音频编码)中较大的延迟，即：
    延迟解码=Max{延迟视频解码延迟音频解码}    (3)
图2和图3的方法并不受式(2)和(3)的限制。本发明不是两个系统提供一个等于式(2)和(3)之和的延迟，而是采用提供一个视频编码和解码的延迟之和或音频编码和解码的延迟之和中相对较大的延迟。也就是说：
延迟系统=Max{延迟视频编码+延迟解码解码
             延迟音频编码+延迟音频解码}       (4)
常规的方法是在始发系统和接收系统提供分开的补偿延迟，这样一来式(2)和式(3)是相关的。另一方面，在图1的系统中，只有输入通道44和46包括硬件或软件延迟40和42。该延迟是自适应的和由延迟控制单元48控制。当每个输入通道包括一个延迟时，只有一个延迟将被用于给定的音-视频通信的声像同步。自适应补偿延迟将是视频编码和解码的总延迟与音频编码和解码总延迟之差，即：
延迟自适应补偿=(延迟视频编码+延迟视频解码)-(延迟音频编码+延迟音频解码)    (5)
按照图1-3的系统和方法工作时，自适应补偿延迟实际上将如下工作：
延迟自适应补偿=(延迟视频编码-延迟音频编码)+(延迟视频解码-延迟音频解码)    (6)式(6)的第一项差(即编码延迟差)建立了从始发系统传输到接收系统所引起的数据延迟。接收系统所接收的数据延迟与式(6)中的第二项差(即解码延迟差)相加。有两种情况下式(6)的补偿延迟比式(2)和(3)之和的传统补偿延迟小。一种情况是，如果(延迟视频编码＞延迟音 频编码)和(延迟视频解码＜延迟音频解码)式(6)的自适应补偿将比总补偿延迟小。另一种情况是(延迟视频编码)＜延迟音频编码)和(延迟视频解码＞延迟音频解 码)如果不存在这两种情况，则自适应补偿将为传统系统和方法的两个固定补偿之和。式(6)的自适应补偿将不会比由传统系统和方法所提供的补偿大。
虽然本发明已经主要根据处理音频和视频信号作了描述和举例，但是其中的方法和系统也可用于其他涉及系统-系统通信的多媒体应用。例如，在重现时要同步的信号可表现为图形数据和语音数据，或表现为文本数据和语音数据。

Claims (10)

1．一种在系统间通信中同步多媒体数据的方法，包括如下步骤：
在始发系统(10)形成(50)分离的第一和第二信号，使得所述信号代表不同形式的通信媒体数据；
处理(52)沿所述始发系统的第一通道(24)的第一信号和沿第二通道(32)的第二信号，以将第一媒体第二媒体数据传输到远端(14，16，18和20)，其中对所述第一和第二信号的处理要对所述第一媒体第二媒体数据引入不同的延迟；
形成(54)表示对所述第一媒体和第二媒体数据不同的所述延迟的延迟数据；
将所述第一和第二媒体数据和所述延迟数据传输(56)到远离所述始发系统的接收系统；
处理(62)所述沿所述接收系统的第一(44)和第二(46)通道的第一和第二媒体数据，其中所述接收系统的所述第一和第二通道引入不同延迟；和
根据来自所述始发系统的所述延迟数据和根据所述接收系统的所述延迟的不同值，在接收系统中将一个补偿延迟(40和42)自适应地引入(64)到所述第一和第二媒体数据中的其中一个数据中，包括选择(60)所述补偿延迟，以至少部分地补偿在通过组合所述始发和接收系统所引入的第一和第二媒体数据之间的延迟差。
2．根据权利要求1所述的方法，其中所述形成(50)分离的第一和第二信号的步骤是用来形成可视电话通信信号的步骤，每个所述始发系统(10)和接收系统(14，16，18和20)是可视电话系统。
3．根据权利要求1或2所述的方法，其中所述处理(52)沿所述始发系统(10)的第一和第二通道(24，32)的所述第一和第二信号的步骤是一个包括编码(28和34)和压缩所述信号并引入固有的延迟到所述信号中的步骤，且对其中一个所述信号的固有延迟是比对另一个所述信号的固有延迟大。
4．根据权利要求3所述的方法，其中所述形成(54)所述延迟数据的步骤包括根据在所述始发系统(10)的所述固有延迟之间的差值来形成一个补偿信号。
5．根据权利要求4的方法，其中所述形成(54)所述补偿信号的步骤包括根据所述第一和第二信号中哪个以相对较大的延迟被引入来确定极性。
6．根据权利要求1，2，3，4或5的方法，还包括在所述接收系统(14，16，18和20)形成(54)延迟数据和将所述延迟数据传输到所述始发系统(10)的步骤，使得所述始发系统可给从所述接收系统传输到所述始发系统的第一和第二信号中的一个引入一个补偿延迟。
7．一种用来与位于远端的多个其他系统中任一个交换视频和音频数据的系统，包括
用来产生(22和30)分离的视频和音频信号的装置；
电路装置(28和34)，它与所述产生装置相连，用来为进行传输而处理所述视频和音频信号，所述电路装置具有一个视频通道(24)和音频通道(32)，每个通常具有一个固定的信号延迟；
求差装置(48)，它与所述电路装置相连，用来产生表示所述沿所述视频通道的所述信号延迟与所述沿音频通道的所述信号延迟之差的延迟数据；
装置(26)，它与所述电路装置和求差装置相连，用来传输所述延迟数据和所述音频和视频信号到远端系统(14，16，18和20)；
用来从远端系统接收音频和视频信号并接收表示在所述远端系统音频和视频延迟差的系统唯一延迟数据的装置(38)；及
自适应装置(40，42，和48)，它与所述用来接收的装置相连，用来根据所收到的与一个特定的所述远端系统相关的系统唯一延迟数据，延迟自该特定的一个所述远端系统接收的音频和视频信号之其中一个信号，由此来提供所述接收的音频和视频信号间的同步。
8．根据权利要求7所述的系统，其中所述用来传输的装置(26)与一个电话网络(12)相连，用来与所述远端系统(14，16，18和20)进行通信。
9．根据权利要求7或8所述的系统，其中所述自适应装置包括一个控制电路(48)和一个响应于所述控制电路的可变延迟(40和42)。
10．根据权利要求7，8或9的系统，其中所述用来传输的装置包括一个用来以单个比特流传输音频，视频和延迟数据的多路复用器(26)。
CN96199429A 1995-11-08 1996-10-24 具有系统相关自适应延迟的多媒体通信方法和装置 Expired - Lifetime CN1119029C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/555,567 1995-11-08
US08/555,567 US5570372A (en) 1995-11-08 1995-11-08 Multimedia communications with system-dependent adaptive delays

Publications (2)

Publication Number Publication Date
CN1206536A true CN1206536A (zh) 1999-01-27
CN1119029C CN1119029C (zh) 2003-08-20

Family

ID=24217765

Family Applications (1)

Application Number Title Priority Date Filing Date
CN96199429A Expired - Lifetime CN1119029C (zh) 1995-11-08 1996-10-24 具有系统相关自适应延迟的多媒体通信方法和装置

Country Status (7)

Country Link
US (1) US5570372A (zh)
EP (1) EP0882359B1 (zh)
JP (1) JP3493372B2 (zh)
CN (1) CN1119029C (zh)
CA (1) CA2236907C (zh)
DE (1) DE69605948T2 (zh)
WO (1) WO1997017798A2 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007041917A1 (fr) * 2005-10-11 2007-04-19 Huawei Technologies Co., Ltd. Appareil et méthode de synchronisation de flux de transmission multimédia temps réel dans un réseau par paquets
CN100421412C (zh) * 2001-04-17 2008-09-24 Tv网网络股份有限公司 在不同种类的网络上模拟常量延迟网络和进行常量延迟通信的方法
CN100525459C (zh) * 2004-06-18 2009-08-05 杜比实验室特许公司 使用因特网协议保持流式音频和视频的同步
CN101707703A (zh) * 2004-06-02 2010-05-12 松下电器产业株式会社 在多角度观看多媒体流中多路复用的随机存取单元之间的无缝切换
US7742465B2 (en) 2004-08-20 2010-06-22 Nokia Siemens Networks Gmbh & Co. Kg Method and device for tapping the payload data of multimedia connections in a packet network
CN101137066B (zh) * 2007-05-11 2011-01-05 中兴通讯股份有限公司 一种多媒体数据流同步控制的方法及装置
CN101088292B (zh) * 2004-11-16 2012-02-08 汤姆森许可贸易公司 用于对数字服务的不同部分进行同步的设备和方法
CN103220058A (zh) * 2012-01-20 2013-07-24 旭扬半导体股份有限公司 音频数据与视觉数据同步装置及其方法
CN103916716A (zh) * 2013-01-08 2014-07-09 北京信威通信技术股份有限公司 一种无线网络下视频实时传输的码率平滑方法
TWI551148B (zh) * 2015-06-16 2016-09-21 鴻海精密工業股份有限公司 雲端伺服器、控制設備及音訊視訊同步方法
CN110290411A (zh) * 2019-07-05 2019-09-27 四川长虹电器股份有限公司 视频播放过程中自动校正音画不同步的方法
WO2021175297A1 (zh) * 2020-03-05 2021-09-10 华为技术有限公司 一种分布式数据传输的方法、装置和系统

Families Citing this family (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08154095A (ja) * 1994-11-28 1996-06-11 Hitachi Ltd Ａｔｍセル遅延揺らぎ吸収方式およびその装置
JP3149328B2 (ja) * 1995-01-09 2001-03-26 松下電器産業株式会社 送信装置と受信装置
US6330033B1 (en) * 1995-12-07 2001-12-11 James Carl Cooper Pulse detector for ascertaining the processing delay of a signal
US6836295B1 (en) 1995-12-07 2004-12-28 J. Carl Cooper Audio to video timing measurement for MPEG type television systems
JP3094900B2 (ja) * 1996-02-20 2000-10-03 ヤマハ株式会社 ネットワーク機器およびデータ送受信方法
JP3250139B2 (ja) * 1996-03-01 2002-01-28 三菱電機株式会社 キャリアスリップ補償機能を備えた受信機
JP2809179B2 (ja) * 1996-03-14 1998-10-08 日本電気株式会社 無線同報通信システム
GB2326781B (en) * 1997-05-30 2001-10-10 British Broadcasting Corp Video and audio signal processing
US7507705B2 (en) 1997-10-02 2009-03-24 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Methods for the modulation of neovascularization and/or the growth of collateral arteries and/or other arteries from preexisting arteriolar connections
US6249319B1 (en) * 1998-03-30 2001-06-19 International Business Machines Corporation Method and apparatus for finding a correct synchronization point within a data stream
US6347387B1 (en) 1998-10-09 2002-02-12 Agere Systems Guardian Corp. Test circuits for testing inter-device FPGA links including a shift register configured from FPGA elements to form a shift block through said inter-device FPGA links
GB0000874D0 (en) * 2000-01-14 2000-03-08 Koninkl Philips Electronics Nv Latency handling for interconnected devices
GB0000873D0 (en) * 2000-01-14 2000-03-08 Koninkl Philips Electronics Nv Interconnection of audio/video devices
EP1273030A1 (en) 2000-03-31 2003-01-08 Koninklijke Philips Electronics N.V. Discharge lamp
DE10031355A1 (de) * 2000-06-28 2002-01-17 Grundig Ag Verfahren und Vorrichtung zur zeitsynchronen Weiterleitung von Signalen
WO2002085030A1 (en) * 2001-04-11 2002-10-24 Cyber Operations, Llc System and method for preconditioning analog video signals
JP2002344898A (ja) * 2001-05-17 2002-11-29 Pioneer Electronic Corp 映像表示装置、音声調整装置及び映像音声出力装置、並びに映像音声同期方法
JP4141952B2 (ja) * 2001-07-19 2008-08-27 トムソン ライセンシング 信号の受信を改善する方法、システム、および受信機
US20030122964A1 (en) * 2002-01-02 2003-07-03 Sony Electronics Inc. Synchronization network, system and method for synchronizing audio
EP1341386A3 (en) * 2002-01-31 2003-10-01 Thomson Licensing S.A. Audio/video system providing variable delay
US20030179317A1 (en) * 2002-03-21 2003-09-25 Sigworth Dwight L. Personal audio-synchronizing device
US6912010B2 (en) * 2002-04-15 2005-06-28 Tektronix, Inc. Automated lip sync error correction
US6956871B2 (en) * 2002-04-19 2005-10-18 Thomson Licensing Apparatus and method for synchronization of audio and video streams
US6872007B2 (en) * 2002-09-24 2005-03-29 Tektronix, Inc. Optical line-of-sight inter-board data transfer
US7280813B2 (en) * 2003-03-13 2007-10-09 Peter Fortier Elliott Variable delay radio receiver
FR2854523A1 (fr) * 2003-04-29 2004-11-05 France Telecom Procede et dispositif de synchronisation de flux de donnees
WO2005004450A1 (en) * 2003-06-19 2005-01-13 Sony Ericsson Mobile Communications Ab Media stream mixing
DE102004017215A1 (de) * 2004-04-05 2005-10-20 Sennheiser Electronic Audiovisuelles System
DE602005027837D1 (de) * 2004-05-13 2011-06-16 Qualcomm Inc Zustellung von informationen über einen kommunikationskanal
KR100651894B1 (ko) * 2004-07-23 2006-12-06 엘지전자 주식회사 영상기기 및 그 제어방법
US7809452B2 (en) * 2005-02-23 2010-10-05 Leviton Manufacturing Co., Inc. Delay management of presentation output system and method
US20070047590A1 (en) * 2005-08-26 2007-03-01 Nokia Corporation Method for signaling a device to perform no synchronization or include a synchronization delay on multimedia stream
US7970222B2 (en) * 2005-10-26 2011-06-28 Hewlett-Packard Development Company, L.P. Determining a delay
AU2007219142A1 (en) * 2006-02-21 2007-08-30 Markport Limited Audio and video communication
CN101496387B (zh) 2006-03-06 2012-09-05 思科技术公司 用于移动无线网络中的接入认证的系统和方法
US7693190B2 (en) 2006-11-22 2010-04-06 Cisco Technology, Inc. Lip synchronization for audio/video transmissions over a network
US7953118B2 (en) * 2006-12-08 2011-05-31 Microsoft Corporation Synchronizing media streams across multiple devices
US8077745B2 (en) * 2007-03-23 2011-12-13 Qualcomm Incorporated Techniques for unidirectional disabling of audio-video synchronization
JP2010538534A (ja) * 2007-08-28 2010-12-09 トムソン ライセンシング チャネル変更遅延のないスタガーキャスティング
US8355041B2 (en) 2008-02-14 2013-01-15 Cisco Technology, Inc. Telepresence system for 360 degree video conferencing
US8797377B2 (en) 2008-02-14 2014-08-05 Cisco Technology, Inc. Method and system for videoconference configuration
US8319819B2 (en) 2008-03-26 2012-11-27 Cisco Technology, Inc. Virtual round-table videoconference
US8390667B2 (en) 2008-04-15 2013-03-05 Cisco Technology, Inc. Pop-up PIP for people not in picture
US8694658B2 (en) 2008-09-19 2014-04-08 Cisco Technology, Inc. System and method for enabling communication sessions in a network environment
CN102203728A (zh) * 2008-11-03 2011-09-28 引擎实验室公司 在硬件系统上动态构建行为模型的系统和方法
US8477175B2 (en) * 2009-03-09 2013-07-02 Cisco Technology, Inc. System and method for providing three dimensional imaging in a network environment
US8659637B2 (en) 2009-03-09 2014-02-25 Cisco Technology, Inc. System and method for providing three dimensional video conferencing in a network environment
US8659639B2 (en) 2009-05-29 2014-02-25 Cisco Technology, Inc. System and method for extending communications between participants in a conferencing environment
US9082297B2 (en) 2009-08-11 2015-07-14 Cisco Technology, Inc. System and method for verifying parameters in an audiovisual environment
US9225916B2 (en) 2010-03-18 2015-12-29 Cisco Technology, Inc. System and method for enhancing video images in a conferencing environment
US9313452B2 (en) 2010-05-17 2016-04-12 Cisco Technology, Inc. System and method for providing retracting optics in a video conferencing environment
US8896655B2 (en) 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
US8599934B2 (en) 2010-09-08 2013-12-03 Cisco Technology, Inc. System and method for skip coding during video conferencing in a network environment
US8599865B2 (en) 2010-10-26 2013-12-03 Cisco Technology, Inc. System and method for provisioning flows in a mobile network environment
US8699457B2 (en) 2010-11-03 2014-04-15 Cisco Technology, Inc. System and method for managing flows in a mobile network environment
US9143725B2 (en) 2010-11-15 2015-09-22 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US9338394B2 (en) 2010-11-15 2016-05-10 Cisco Technology, Inc. System and method for providing enhanced audio in a video environment
US8902244B2 (en) 2010-11-15 2014-12-02 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US8730297B2 (en) 2010-11-15 2014-05-20 Cisco Technology, Inc. System and method for providing camera functions in a video environment
US8542264B2 (en) 2010-11-18 2013-09-24 Cisco Technology, Inc. System and method for managing optics in a video environment
US8723914B2 (en) 2010-11-19 2014-05-13 Cisco Technology, Inc. System and method for providing enhanced video processing in a network environment
US9111138B2 (en) 2010-11-30 2015-08-18 Cisco Technology, Inc. System and method for gesture interface control
USD678320S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD682854S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen for graphical user interface
USD678894S1 (en) 2010-12-16 2013-03-26 Cisco Technology, Inc. Display screen with graphical user interface
USD678308S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD682864S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen with graphical user interface
USD678307S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD682294S1 (en) 2010-12-16 2013-05-14 Cisco Technology, Inc. Display screen with graphical user interface
USD682293S1 (en) 2010-12-16 2013-05-14 Cisco Technology, Inc. Display screen with graphical user interface
US8692862B2 (en) 2011-02-28 2014-04-08 Cisco Technology, Inc. System and method for selection of video data in a video conference environment
US8670019B2 (en) 2011-04-28 2014-03-11 Cisco Technology, Inc. System and method for providing enhanced eye gaze in a video conferencing environment
US8786631B1 (en) 2011-04-30 2014-07-22 Cisco Technology, Inc. System and method for transferring transparency information in a video environment
US8934026B2 (en) 2011-05-12 2015-01-13 Cisco Technology, Inc. System and method for video coding in a dynamic environment
CN102355455B (zh) * 2011-08-31 2014-05-07 中国铁道科学研究院电子计算技术研究所 视频信息处理方法
US8947493B2 (en) 2011-11-16 2015-02-03 Cisco Technology, Inc. System and method for alerting a participant in a video conference
US8682087B2 (en) 2011-12-19 2014-03-25 Cisco Technology, Inc. System and method for depth-guided image filtering in a video conference environment
US9491505B2 (en) 2012-02-28 2016-11-08 Qualcomm Incorporated Frame capture and buffering at source device in wireless display system
US9681154B2 (en) 2012-12-06 2017-06-13 Patent Capital Group System and method for depth-guided filtering in a video conference environment
DE102013200171A1 (de) * 2013-01-09 2014-07-10 Lufthansa Technik Ag Datennetzwerk, Verfahren sowie Abspielgerät zur Wiedergabe von Audio- und Videodaten in einem In-flight Entertainment System
US9843621B2 (en) 2013-05-17 2017-12-12 Cisco Technology, Inc. Calendaring activities based on communication processing
US10034036B2 (en) * 2015-10-09 2018-07-24 Microsoft Technology Licensing, Llc Media synchronization for real-time streaming

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE33535E (en) * 1985-09-16 1991-02-12 Audio to video timing equalizer method and apparatus
DE69032361T2 (de) * 1989-03-16 1998-10-29 Fujitsu Ltd Video/audiomultiplexübertragungssystem
JPH04207343A (ja) * 1990-11-30 1992-07-29 Hitachi Ltd 端末接続方式
US5231649A (en) * 1991-08-08 1993-07-27 Ascend Communications, Inc. Method and apparatus for dynamic bandwidth allocation in a digital communication session
AU4543593A (en) * 1992-07-08 1994-01-31 Bell Atlantic Network Services, Inc. Media server for supplying video and multi-media data over the public telephone switched network
CA2108872C (en) * 1993-01-28 1997-09-16 David B. Smith Audio/video telephone communications
US5481543A (en) * 1993-03-16 1996-01-02 Sony Corporation Rational input buffer arrangements for auxiliary information in video and audio signal processing systems
US5467139A (en) * 1993-09-30 1995-11-14 Thomson Consumer Electronics, Inc. Muting apparatus for a compressed audio/video signal receiver

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100421412C (zh) * 2001-04-17 2008-09-24 Tv网网络股份有限公司 在不同种类的网络上模拟常量延迟网络和进行常量延迟通信的方法
CN101707703B (zh) * 2004-06-02 2013-11-06 松下电器产业株式会社 在多角度观看多媒体流中多路复用的随机存取单元之间的无缝切换
CN101707703A (zh) * 2004-06-02 2010-05-12 松下电器产业株式会社 在多角度观看多媒体流中多路复用的随机存取单元之间的无缝切换
CN100525459C (zh) * 2004-06-18 2009-08-05 杜比实验室特许公司 使用因特网协议保持流式音频和视频的同步
US7742465B2 (en) 2004-08-20 2010-06-22 Nokia Siemens Networks Gmbh & Co. Kg Method and device for tapping the payload data of multimedia connections in a packet network
US9509887B2 (en) 2004-11-16 2016-11-29 Thomson Licensing Device and method for synchronizing different parts of a digital service
US9826126B2 (en) 2004-11-16 2017-11-21 Thomson Licensing Device and method for synchronizing different parts of a digital service
CN101088292B (zh) * 2004-11-16 2012-02-08 汤姆森许可贸易公司 用于对数字服务的不同部分进行同步的设备和方法
US8903217B2 (en) 2004-11-16 2014-12-02 Thomson Licensing Device and method for synchronizing different parts of a digital service
US7680153B2 (en) 2005-10-11 2010-03-16 Hui Ma Method and device for stream synchronization of real-time multimedia transport over packet network
WO2007041917A1 (fr) * 2005-10-11 2007-04-19 Huawei Technologies Co., Ltd. Appareil et méthode de synchronisation de flux de transmission multimédia temps réel dans un réseau par paquets
CN101137066B (zh) * 2007-05-11 2011-01-05 中兴通讯股份有限公司 一种多媒体数据流同步控制的方法及装置
CN103220058A (zh) * 2012-01-20 2013-07-24 旭扬半导体股份有限公司 音频数据与视觉数据同步装置及其方法
CN103916716A (zh) * 2013-01-08 2014-07-09 北京信威通信技术股份有限公司 一种无线网络下视频实时传输的码率平滑方法
CN103916716B (zh) * 2013-01-08 2017-06-20 北京信威通信技术股份有限公司 一种无线网络下视频实时传输的码率平滑方法
US9794451B2 (en) 2015-06-16 2017-10-17 Hon Hai Precision Industry Co., Ltd. Cloud server, control equipment and method for audio and video synchronization
TWI551148B (zh) * 2015-06-16 2016-09-21 鴻海精密工業股份有限公司 雲端伺服器、控制設備及音訊視訊同步方法
CN110290411A (zh) * 2019-07-05 2019-09-27 四川长虹电器股份有限公司 视频播放过程中自动校正音画不同步的方法
WO2021175297A1 (zh) * 2020-03-05 2021-09-10 华为技术有限公司 一种分布式数据传输的方法、装置和系统
CN114760275A (zh) * 2020-03-05 2022-07-15 华为技术有限公司 一种分布式数据传输的方法、装置和系统

Also Published As

Publication number Publication date
CA2236907A1 (en) 1997-05-15
US5570372A (en) 1996-10-29
DE69605948D1 (de) 2000-02-03
WO1997017798A3 (en) 1997-06-26
EP0882359B1 (en) 1999-12-29
WO1997017798A2 (en) 1997-05-15
EP0882359A2 (en) 1998-12-09
CA2236907C (en) 2001-09-11
JPH10512736A (ja) 1998-12-02
CN1119029C (zh) 2003-08-20
JP3493372B2 (ja) 2004-02-03
DE69605948T2 (de) 2000-05-18

Similar Documents

Publication Publication Date Title
CN1119029C (zh) 具有系统相关自适应延迟的多媒体通信方法和装置
KR100311943B1 (ko) 변경 압축 영역 비디오 합성시스템과 중앙속도 제어처리기
US5751694A (en) Methods and apparatus for synchronizing temporally related data streams
US6404779B1 (en) System and method of disharmonic frequency multiplexing
CA1268546A (en) Stereophonic voice signal transmission system
US5473363A (en) System, method and multipoint control unit for multipoint multimedia conferencing
US5453780A (en) Continous presence video signal combiner
US6300973B1 (en) Method and system for multimedia communication control
US5623312A (en) Compressed-domain bit rate reduction system
JP2003504897A (ja) 電話回線による高速映像伝送
US6356294B1 (en) Multi-point communication arrangement and method
EP0711077A2 (en) Video transmission rate matching for multimedia communication systems
GB2323246A (en) Internet telephony signal conversion
Hsing et al. Video communications and services in the copper loop
EP1090506A1 (en) A method for transmitting video images, a data transmission system and a multimedia terminal
US20070036229A1 (en) Wideband-narrowband telecommunication
Sun et al. A coded-domain video combiner for multipoint continuous presence video conferencing
JPH1169330A (ja) 留守録機能を備えた画像通信装置
JP3207284B2 (ja) ステレオ音声伝送装置
JP3207281B2 (ja) ステレオ音声符号化・復号化方式、ステレオ音声復号化装置及び単独発言／複数同時発言判別装置
US20030053166A1 (en) Method and apparatus of transmitting several digital signals over a common optical fiber
JPH0884327A (ja) 画像通信装置及び画像通信方法
JPH0758939B2 (ja) ステレオ信号伝送方法、符号化装置および復号化装置
JPH06216779A (ja) 通信装置
JPH0662398A (ja) 画像通信端末装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CX01 Expiry of patent term

Granted publication date: 20030820

EXPY Termination of patent right or utility model