CN1314762A

CN1314762A - 数据传输方法和数据传输系统

Info

Publication number: CN1314762A
Application number: CN01111465A
Authority: CN
Inventors: 高嶋昌利; 成田秀之; 村山明佳; 伊东义之; 平中大介
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2000-03-17
Filing date: 2001-03-14
Publication date: 2001-09-26
Also published as: EP1146740A3; JP2001268080A; US6987526B2; EP1146740A2; US20060038878A1; US20020015108A1; JP4228505B2

Abstract

一种数据传输方法和数据传输系统,不要求用于复用和合并的大的延迟单元并能够减小硬件规模,其中当传送来自安置在网络中的多个终端的多点间的数据时,当在多点的数据被传送到终端时,在网络中,根据传输延迟相同的分组被添加上不同的时间标记,因此根据传输延迟移位的数据被传送了。

Description

数据传输方法和数据传输系统

本发明涉及当在网络上多个终端中进行通信、流传输等的时候，用于传输多个流的数据传输方法和数据传输系统。

下面，根据附图对当在网络上多个终端中进行通信、流传输等的时候，用于传输多个流的常规方法进行描述。

图1是电视(TV)会议系统例子的示意图。

在这个TV会议系统中，通过使用其上安装有摄象机CMR的终端1到终端5来同时进行会议。

终端1到5通过交换器SW1到SW4、路由器RT1到RT3和ISDN网络NTW1被连接。

来自终端1到5的信号(视频和音频)在多点控制器(MCU)6上被组装，在此它们被合并成将在每一终端再现的信号。

MCU6主要具有两个功能。一个是多点控制器(MC)6A块的控制参加会议的终端的功能，而另一个功能是多点控制器(MC)6B块的为每一终端合并来自多点组装的信号的功能。

图2A和2B在网络上流动的数据的结构以及在图1的TV会议系统中的传输总量的示意图。

如图2A所示，从终端1传送的信号(A1,V1)通过交换器SW1、路由器RT1、ISDN网络NTW1、路由器RT2和交换器SW4将被传送到MCU6。

相似地，从终端2、3、4和5传送的信号都传送到MCU6。在MCU6组装的信号为每一终端合并如下：

终端1：(A2-3-4-5,V2-3-4-5)

终端2：(A1-3-4-5,V1-3-4-5)

终端3：(A1-2-4-5,V1-2-4-5)

终端4：(A1-2-3-5,V1-2-3-5)

终端5：(A1-2-3-4,V1-2-3-4)

这里，A代表音频，而V代表视频。而且，(A1,V1)中的(，)指示与一信号是分离的，以及(-)指示信号被合并。

“被合并”是指对于音频，信号在基带状态(例如PCM)下被相加。

在视频的情况下，它是指通过减小在基带(像素)状态下的图像的大小并将多个图像彼此合并为一帧，将信号合并成具有相同图象大小的一个信号。

在图2A中所示在网络上流动的信号的结构变成图2B所示的结构。

即，在合并前后数据具有相同的信息总量。音频和视频形成不同的分组并以分组单位被复用(MUX)。而且，除了音频和视频之外的数据也被复用。

当以这种方法安排时，要理解，作为在TV会议系统的网络上流动的信号的信息的总量，20倍的数据结构的信号在所有层上流动。

下面，将考虑将TV会议系统应用到无线电话中的情况。

图3是当TV会议系统被应用到无线电话中的情况时的拓扑示意图。换言之，图3是多点通信的配置的一个例子的示意图。在这个例子中，同样示出了五个终端MT(移动终端)1到MT5的通信。

终端MT1到MT5通过安置在网络中的移动基站(MBS)11A到11D被连接，具有MCU 12A到12C的移动交换中心(MSC)13A到13C也连接于其上，而且具有本地位置注册器(home location registers,HLR)的网关移动交换中心(GMSC)14A到14E也连接于其上。

中心部分是一个网络，其中GMSC 14A到14E以所谓的网孔状态(例如，电路交换网络或分组交换网络)连接。

和TV会议系统的巨大不同在于在网络中存在有许多MCU，并且最靠近每一终端的MCU复用多点的信号。

亦即，在MCU中，以和TV会议时的相同方法，存在有MC的功能和MP的功能。但是，在多个MCU中的一个MC控制一个通信，而多个MP由这一个MC来控制以及执行复用。

图4A和4B是网络中流动的数据的结构示意图以及在图3多点通信中的传输总量的示意图。

如图4A所示，和TV会议系统不同，存在有多个MCU，这样多点的信号就必须都被传送到多个MCU 12A到12C。因此，来自例如终端MT1的信号(A1,V1)被传送到MCU 12A、MCU 12B和MCU 12C。

信号(A1,V1)的数据结构变成如图4B所示。由于信道窄，因此，和TV会议系统的情况不同，从每一终端发送的图像匹配合并后的大小被传送。

而且，当看一下MCU 12A时，为终端MT1和MT2从收集的5个信号中以下列方法合并两个类型。

MT1:(A2-3-4-5,V2-3-4-5)

MT2:(A1-3-4-5,V1-3-4-5)

这个信号的数据结构由图4B中的数字15指示。这和在TV系统中被合并的一个信号的结构相同。注意，由于无线或其他信道的厚度不同，图像的大小、音频的质量等等和使用ISDN网络的TV会议系统中的那些是不同的。

用这种方法，在GMSC存在之后，因为合并的信号不在网络上流动，所以在这层上流动的数据的结构变成在图4B的参考数字16指示的格式。

用这种方法，要理解在整个网络上流动的数据的总量通过安排多个MCU与TV会议相比被改进了一点。

而且，通过给终端端同时解码多个流的功能，MCU端可以复用分组单元中的数据而不进行在基带水平上合并。这种情况将在图5A和5B中示出。

在这种情况中，看一下MCU 12A，为终端MT1和MT2合并的信号变为如下：

MT1:(A2,3,4,5,V2,3,4,5)

MT2:(A1,3,4,5,V1,3,4，5)

这种数据结构变为如图5B所示。图5B的例子示出了数据在分组单元中被复用的情况。

下面，将给出在多点通信中的MCU的操作的说明。

图6是用于多点通信的常规MCU的配置的例子示意图。

注意，在这个例子中，给出将三个MCU作为一个MCU12对待的说明。

从终端MT1到MT5收集的每一信号到达MCU12时间存在不同。

为了使这些为常数，MCU12为插入延迟单元DLY1到DLY5以便信号匹配它们的相位，接着在MP提供的多路分离器DMX1到DMX5上对多个信号执行多路分离，经过交换器(缓冲存储器)BF，然后为每一终端在复用器MX1到MX5上将它们合并。

根据MC的指令执行延迟的总时间以及在MP上的多路分离和复用。

下面，将说明这个延迟时间是如何被控制的。

图7A、7B和7C以及图8A、8B和8C是用于说明视频和音频被编码和解码的情形的示意图。

(视频编码说明)

首先，根据图7A说明视频编码。

在图7A中的1)指示了一个垂直同步信号V Sync。黑体线代表帧。这个帧是视频的访问单元。通常这是用作压缩信息总量的单元。而且，根据压缩方法，可能会有I-图形和P-图形。I-图形是利用和一个帧的相关压缩的图形，而P-图形是利用在帧之中的相关压缩的图形。图形类型后面的数字指示输入帧的序列。

在图7A中2)的图形输入在时间4)上被编码。

在图7A中的5)指示了存在于编码器内部的缓冲存储器的图像。描述了对虚拟解码器缓中存储器(VBV缓冲中存储器)的逆形式而不是实际的缓冲存储器的操作。这对应于存在于用于控制速率的控制器内部的虚拟缓中存储器。

因此，当编码终止时，这个缓冲存储器是即时产生的。黑体线示出了这个情况。

在图7A中的3)指示了当视频的每一访问单元被输入到编码器时STC(系统时间时钟)的值。这个STC说明了在电话网络中的绝对时钟。假设所有的系统和终端都用相同的时钟和时间工作。

在图7A中的6)指示一STS(解码时间标记)，该STS指示当在5)上访问单元结束了编码开始在再现端被解码时的定时。

当视频的访问单元被形成分组并被复用时，该值也一起被传送。因此，对于10个图形，诸如STC V6之类的值被传送。当系统到达这个时间时，解码便开始了。

(对音频相关信息的编码的说明)

下面，根据图7B和8A说明音频的编码。

在音频中，和视频不同，不存在诸如帧之类的离散访问单元的概念。但是，音频是以对采样数字的每一可能的数字的访问单元的形式被取得的。

在图7B和8A中的8)示出了当AAU(音频访问单元)被输入到解码器中时的情况。7)是AAU被输入的时间。9)是当编码被实际执行的时间。而10)指示了这种情况，即，当编码完成时，在虚拟缓中存储器中立即产生数据的情况。11)是当每一AAU被解码的定时。这个值和AAU一起被复用并传送到解码器端。

(视频解码的说明)

下面，根据图7C和8B说明视频解码。

在监视解码器端上的缓冲存储器的状态的同时，产生于图7A中的5)的缓冲中存储器中的位流(所压缩的信号)开始被传送。数据累积在解码器缓中存储器中。

这种情况示于图7C和图8B的12)中。这里，将说明虚拟缓冲存储器(VBV缓中存储器)的情况。

图7C和图8B中的13)指示了当解码被执行时与15)的STC的时间相匹配的定时。这里，假设解码是理想地即刻完成的，并且在解码完成的同时，数据如14)所示被输出。

这里，从信号被输入到编码器(终端)的瞬时开始到信号从解码器(终端)被输出为止的时间被定义作端-到-端延迟。即，图7C和图8B的15)所示的时间。这变得在视频和音频二者的所有的访问单元中都相同。

当视频和音频不同相的状态被定义作“lip-sync偏差”。在相同的视频或在相同的音频之间的偏差被定义为“抖动”。

(音频相关信息的解码的说明)

下面，根据图8C将说明音频解码。

如图8C的16)所示，音频和延迟一起被传送以便匹配视频的端-到-端延迟。数据累积在解码器缓冲存储器中。

确定解码定时使17)所示的每一AAU和图8C中的19)的STC的值匹配。在与其匹配的同时，解码被立即完成。此后来自解码器的数据立即被输出。

如上所述，关于视频和音频的信息通过传送诸如DTS之类的时间标记被同步。而且，它们通过控制使得在系统中不会出现缓冲存储器的下溢或溢出。

通过利用图7A到7C和图8A到8C中所示的DTS，能够取得在多点之间的同步。这种情况在图9中示出。

在图9的例子中，终端MT1和MT2的信号到达MCU 12A而不经过GMSC 14。

与此相反，终端MT3、MT4和MT5的信号在经过GMSC 14之后到达MCU 12A。

因此，可以知道，终端MT3(T3-AU1,AU2)、终端MT4(T4-AU1,AU2)和终端MT5(T5-AU1,AU2)的信号到达和终端MT1(T1-AU1,AU2)、终端MT2(T2-AU1,AU2)的信号到达相比是延迟的，这一点如在从在图9中由符号MT1指示的终端传送的分组的时间差异的情况中所示。

MCU 12A分析来自每一分组的这个DTS，控制MCU中的延迟单元以匹配来自终端的信号的相位，接着复用和合并这些信号。

用这种方法，使所有终端的信号的相位完全匹配每一终端MT1和MT2成为可能，如在图9中所示的以参考符号TM2示出的每一终端上的再现和显示情况。

而且，在近些年，互联网电话和其他使用互联网的业务已经开始进行了。

在互联网中，带宽常常是不被补偿的。因此，它是服务质量(QoS)低的领域。当使用这样的网络时，监视拥塞的状态并根据拥塞状态控制将要发送到网络的信号是必须的。

图10是仅利用具有低QoS的网络的多点通信系统的配置的一个例子的示意图。

作为具有低QoS的网络，这里，示出了利用互联网的情况。

在图10中，和上面相同的方法由MT1到MT4指示终端。而且21A到21C表示MBS,22A和22B表示MSC,23A和23B表示MCU,24A和24B表示分组交换网络，25A和25B表示互联网交换(Internet exchanges Ⅸ)，以及26表示互联网。

从终端产生的信号全部被传送到在MSC 22A和22B上的分组交换网络24A和24B。这里，用于复用多点信号的MCU 23A和23B被放置在这个分组交换网络中。

准备将要传送到终端MT1和MT2的信号的MCU 23A接收来自终端MT1、MT2、MT3和MT4的信号，将它们复用，并将它们发送到终端MT1和MT2。

这里，终端MT3和MT4的数据通过互联网26被传送，这样相应于网络拥塞状态，传输延迟被极大地影响了。

这时，为了确认拥塞，RTCP(real-time control protocol实时控制协议)被用来监视RTT(round trip time往返时间)。

当RTT由超过可允许的端-对-端抖动的总量而大范围地波动时，在网络上传送的数据的总量被控制以舒缓拥塞状态以便避免拥塞。

简述通过本发明将解决的问题，即存在有下列问题。

(问题1)

常规地，所有的多点的信号已经累积在MCU(多点控制单元)用于合并多点信号，这些多点信号包括每一终端要求的信号。基于这个原因，许多信号不得不在网络上被传送。

(问题2)

常规地，当合并多点信号时，为了匹配多点信号的时间，由传输占用的时间被取消并且通过插入延迟使相位被匹配。为了实现这点，补偿长延迟的延迟单元是必须的。

(问题3)

当在两个或多点中传输多个诸如视频和音频的信号时，从信号连续性的观点看，较重要的信号和较不重要的信号经常与这些多个信号混合在一起。

例如，当比较视频和音频时，在音频中连续性是较重要的。

这些信号在具有相同的QoS的带宽上被传送，这样使传输成本变高而且，从带宽的有效利用的角度来看，利用效率低。

(问题4)

当利用不同带宽时，多个信号(例如音频和视频)通过多个传输线路被传送。此时，因为在传输线路上流动的信号的延迟值是不同的，如果信号照原样被再合并时，多个信号将不同相而结束。在音频和视频的情况下，这将导致lip-sync偏差和极怪异的感觉。在某些情况下，信号甚至能够变得比lip-sync偏差更不同相。

(问题5)

当仅利用具有低QoS的网络进行通信时，根据网络的拥塞状态，存在大的抖动或大的延迟发生的可能性。

为了扩大网络中这样的抖动的允许值，在系统中某处必须有大的延迟单元(缓冲中存储器)。在单向流中，通过这种方法连续信号的传递成为可能。

而且，如果插入了大的延迟，在通信中，在相互的响应中回出现偏差，并且会话结束就变得不可能。

而且，如果拥塞状态发生在网络中，音频将被中断。接着不仅使用这个系统作为通信工具是困难的，而且存在下述问题，即，一旦拥塞发生，系统很长时间内不能被恢复。

本发明的第一目的在于提供一种能够减缓在整个网络上流动的信号的流通量的数据传输方法和数据传输系统。

本发明的第二目的在于提供一种在执行复用和合并的MCU中不需要大的延迟单元以及因此能够减小硬件尺寸的数据传输方法和数据传输系统。

本发明的第三目的在于提供一种取得对传输带宽的利用效率的改进以及降低传输成本的数据传输方法和数据传输系统。

本发明的第四目的在于提供一种能够对不同带宽上传送的多个信号进行同步的数据传输方法和数据传输系统。

本发明的第五目的在于提供一种能够避免在传输线路中累积大量的信号以及在长时间内没有数据更新的这些问题的数据传输方法和数据传输系统。

根据本发明的第一方面，提供了一种用于传送来自安置在网络中的多个终端的多点中的视频数据和音频数据的数据传输方法，包括：通过复用视频数据作为对每一点编码的流来传送该视频数据，和通过合并在网络的基带中的至少一个音频信号来传送该音频信号。

根据本发明的第二方面，提供了一种用于传送来自安置在网络中的多个终端的多点中的数据的数据传输方法，包括当将在多点上的数据传送到终端时，根据传输延迟移动数据。

在本发明中，根据网络中的传输延迟，传送给出不同的时间标记的相同的分组。

根据本发明的第三方面，提供一种用于传送来自安置在网络中的多个终端的多点中的多个数据流的数据传输方法，包括通过具有不同特性的网络传送多个数据流中的每一个数据流并在网络上传送之后再合并这些数据流以及将它们传送到终端。

最好，当具有较高特性的网络被定义为主网络以及其他的网络被定义为从网络时，以主网络作为标准监视从网络的延迟值，并且当和主网络相比，从网络具有大于某一延迟的延迟时，限制通过从网络的数据传输。

而且，最好，当限制到从网络的数据传输时，如果在从网络上传送的数据使用利用在访问单元间的相关的压缩方法，则对相关的中断的每一单元控制传送到网络的数据。

而且，在本发明中，当限制到从网络的数据传输时，用于限制帧速率和位速率的数据自网络中被传送到终端。

根据本发明的第四方面，提供一种用于传送在来自安置在网络中的多个终端的具有不同重要程度的多个数据流的数据传输方法，包括在传输线路的中间对具有不同重要程度的多个数据流进行多路分离，通过具有较高服务质量的网络传送其连续性被认为是重要的数据，通过具有较高服务质量的网络传送其不连续性是被允许的数据，在数据到达目的终端之前再次合并通过不同的网络所传送的多个数据，以及将其传送到终端。

根据本发明的第五方面，提供一种用于传送在来自安置在网络中的多个终端的多点中的视频数据和音频数据的数据传输方法，包括：一种装置，用于通过复用视频数据作为对每一点编码的流来传送该视频数据，以及通过合并在网络的基带中的至少一个音频信号来传送该音频信号。

根据本发明的第六方面，提供一种用于在来自安置在网络中的多个终端的多点中的数据的数据传输方法，包括一种当多点上的数据被传送到终端时根据传输延迟移位数据的装置。

在本发明中，根据网络中的传输延迟，该装置传送给定了不同时间标记的相同的分组。

根据本发明的第七方面提供一种用于传送在来自安置在网络中的多个终端的多点中的多个数据流的数据传输方法，包括：具有不同特性的多个网络，用于通过具有不同特性的网络传送多个数据流的每一个数据流的第一装置，以及用于当在网络上传送之后，将它们再合并并将它们传送到终端的第二装置。

最好地，当具有较高特性的网络被定义为主网络，以及其他的被定义为从网络时，第一装置以主网络作为标准监视从网络的延迟值并且当相比主网络，从网络具有大于某一延迟的延迟值时，通过从网络限制数据的传输。

而且，最好，当限制到从网络的数据传输时，如果在从网络上传送的数据使用利用在访问单元间的相关的压缩方法，则为相关的中断的每一单元，第一装置控制传送到网络的数据。

而且，在本发明中，当限制到从网络的数据传输时，第一装置自网络中传送用于限制帧速率和位速率的数据到终端。

根据本发明的第八方面，提供一种用于传送在来自安置在网络中的多个终端的多点中的具有不同重要程度的多个数据流的数据传输方法，包括：具有较高服务质量的第一网络；具有比第一网络低的服务质量的第二网络；在传输线路的中间用于多路分离具有不同重要程度的多个数据流的第一装置；当数据连续性被认为是重要时，通过第一网络传送该数据，当数据的不连续性允许时通过第二网络传送该数据；以及在数据到达目的终端之前用于再次合并通过不同网络传送的多个数据并将其传送到终端的第二装置。

根据本发明，当合并并传送多个数据(信号)时，系统仅添加在基帝(PCM)的与音频有关的信息以获得一个信道的信号。它通过在保持分组形式的同时绑定多个信道来传送视频。

在那时，通过在一个信道中对其组装而极大地减小了与音频有关的信息的大小。注意，在视频中，因为信息的总量是根据图像大小被确定的，所以尽管图像被返回到基帝并被合并，但信息的总量没有被减小的。相反，为了返回图像到其原始形式并合并它们，就要求高的性能。

而且，当传输复用要求的数据时，通过发送上述的数据信号到彼此，使在MCU中流动的信号的信息总量被减小了。

而且，当传送复用后的信号到终端时，通过仅在基带(PCM)上添加与音频有关的信息以及传送由在保持分组形式的同时通过绑定多个信道作为视频所复用的信号，在传输线路上流动的信息总量被减小了。

由于这点，在整个网络上流动的信号的流通量被减小了。

而且，根据本发明，从多点传送的数据为了再现和显示根据传输延迟被有意地移位，而不是在同一时间对输入到终端的信号的相位进行匹配。

在这种情况下，例如当传送相同的访问单元到多个多点控制设备时，根据传输延迟通过添加不同延迟值到时间标记来将它们传送。

而且，根据本发明，具有不同重要程度的多个数据信号(例如视频和音频)在传输线路的中间被多路分离，当信号的连续性被认为是重要时(例如，和音频有关的信号)，该信号通过具有较高QoS(服务质量)的网络被传送，当信号的不连续性被允许时(例如视频)，则通过具有较低QoS的网络将其传送。

而且，当信号到达目的终端之前，它们被再合并并传递到终端。

而且，通过具有较高QoS的网络传送的信号(例如音频)被用作参考，并且通过具有较低QoS的网络传送的信号(例如视频)被复用并将其传送到目标终端。

而且，根据本发明，当在具有较低QoS的网络上传送的信号(例如视频)相比在具有较高QoS的网络传送的信号(例如音频)被延迟超过某一预定水平时，则在接收端上显示的定时被移位。为了这个目的，时间标记的值(例如DTS)被延迟了那个总量。

而且，当在具有较低QoS的网络上传送的信号(例如视频)相比在具有较高QoS的网络传送的信号(例如音频)被延迟超过某一预定水平时，则在传送器端，到网络的传输被限制。

作为控制方法，存在有降低位速率的方法和降低帧速率的方法。

而且，当具有低QoS的网络的拥塞没有被减轻时，系统的端_到_端延迟就被延迟了。

通过对下面参考附图给出的优选实施例的描述，本发明的这些和其他目的和特点将会变得更加清楚，其中：

图1是电视(TV)会议系统的例子的示意图；

图2A和2B是在图1的TV会议系统中的网络上流动的数据的结构以及传输总量的示意图；

图3是将TV会议系统应用到无线电话的情况的拓扑示意图(多点通信的配置的例子)；

图4A和4B是在图3的多点通信系统中的网络上流动的数据的结构以及传输总量的示意图；

图5A和5B是在图3的多点通信系统中的网络上流动的数据的结构以及传输总量的另一个例子的示意图；

图6是用于多点通信的常规的MCU的配置的例子的示意图；

图7A到7C是说明当视频和音频被编码和解码时的情况的示意图；

图8A到8C是说明当视频和音频被编码和解码时的该情况的示意图；

图9是说明当在图7A到7C和图8A到8C中所示的DTS被用于多点通信的情况下，信号的流动和定时的示意图；

图10是仅利用具有低QoS的网络的多点通信的配置的例子的示意图；

图11是说明使用根据本发明的数据传输方法的数据传输系统的第一实施例的示意图以及多点通信情况中信号传输状态的示意图；

图12是说明使用根据本发明的数据传输方法的数据传输系统的第一实施例的示意图以及当在多点通信中信号在终端上被再现和显示的状态的示意图；

图13A到13E是说明使用根据本发明的数据传输方法的数据传输系统的第二实施例的示意图以及在基带上添加与音频有关的信息的情况的示意图；

图14A和14B是说明使用根据本发明的数据传输方法的数据传输系统的第二实施例的示意图，其中图14A是这样被复用的信号被在MCU中以及MCU和终端之间传送的情况下，数据传输系统40的配置的例子的示意图，图14B是图14A中系统的数据结构和传输总量的示意图；

图15A和15B是说明使用根据本发明的数据传输方法的数据传输系统的第二实施例的示意图，其中图15A是这样被复用的信号被在MCU之间以及MCU和终端之间传送，MCU不是MSC的层而是GMSC的层的情况下，数据传输系统40A的配置的例子，图15B是图15A中系统的数据结构和传输总量的示意图；

图16是说明使用根据本发明的数据传输方法的数据传输系统的第三实施例的示意图以及其配置的第一例子的示意图；

图17是说明使用根据本发明的数据传输方法的数据传输系统的第三实施例的示意图以及其配置的第二例子的示意图；

图18是说明使用根据本发明的数据传输方法的数据传输系统的第三实施例的示意图以及其配置的第三例子的示意图；

图19A到19C是根据第四实施例的监视和控制传输延迟的说明图；

图20是根据第四实施例的监视和控制传输延迟的流程图。

以下，参照附图来说明优选实施例。

第一实施例

图11和图12是说明使用根据本发明的数据传输方法的数据传输系统的第一实施例的示意图。图11示出了多点通信情况下信号的传输状态，而图12示出了在多点通信中信号在终端上被再现和显示的状态。

根据第一实施例的数据传输系统30基于下列特点被配置：

1)从多点传送的数据为了再现和显示根据传输延迟被有意地移位，而不是在同一时间内将输入到终端的信号的相位进行匹配。

2)为了实现1)，当将相同的访问单元传送到多个MCU(多点控制设备)时，根据传输延迟将不同的延迟值添加到DTS(解码时间标记)中并将其传送。

在图11和图12中，MT31到MT35表示移动终端(以下，简称为终端)，31A到31C表示MBS(移动基站)，32A到32C表示MSC(移动交换中心)，33A到33C表示MCU,34表示网关移动交换中心(GMSC)。

图11示出了当终端MT31到MT35的信号被传送到MCU 33A的情况。

具体地说，来自终端MT31的音频信号A1和视频信号V1以及来自终端MT32的音频信号A2和视频信号V2通过MBS 31A和MSC 32A，但不经过GMSC 34，到达MCU 33A。

和此相对，来自终端MT33的音频信号A3和视频信号V3通过MBS 31B、MSC 32B和MCU 33B，来自终端MT34的音频信号A4和视频信号V4以及来自终端MT35的音频信号A5和视频信号V5通过MBS 31C、MSC 32C和MCU 33C，并且还经过GMSC 34到达MCU 33A。

而且，由图11的符号MT31指示的部分指示从终端MT31传送到MT35的分组的时间差异的情况。

(T1-AU1,T1-AU2,…,T1-AU5)表示来自终端MT31的分组信号，(T2-AU1,T2-AU2,…,T2-AU5)表示来自终端MT32的分组信号，(T3-AU1,T3-AU2,…,T3-AU5)表示来自终端MT33的分组信号，(T4-AU1,T4-AU2,…,T4-AU5)表示来自终端MT34的分组信号，(T5-AU1,T5-AU2,…,T5-AU5)表示来自终端MT35的分组信号。

注意，T31表示每一分组信号的传输的定时。

而且，由图11的符号MT32指示的部分指示所传送的分组信号在终端MT31和MT32上被再现以及被显示的情况。

注意，T32表示再现和显示的定时。

在具有上述配置的数据传输系统30中，在MCU 33B中，从MCU 33B传送到MCU 33A的终端MT33的信号(A3,V3)被准确地延迟1延迟传送。

由于这个原因，传送到MCU 33A的信号(A3,V3)的DTS值按如下建立：

DTS=DTS+延迟1

注意，因为假设传输线路具有高的QoS，所以延迟值是预先知道的。

相似地，在MCU 33C中，从MCU 33C传送到MCU 33A的终端MT34和终端MT35的信号(A4,V4)、(A5,V5)的DTS值被如下代替：

DTS=DTS+延迟2

通过这样处理，则在MCU 33A中，使对从终端MT33、MT34和MT35发送的信号进行复用而对从终端MT31和MT32发送的信号不进行延迟，并将它们通过MSC 32A和MBS 31A发送成为可能。根据指定的次数，在终端MT31和MT32上再现和显示它们。

相似地，在终端MT31到MT35上再现和显示的情况如图12示出。

在图12中，由符号MT32指示的部分指示在终端MT31和MT32上信号被再现和显示的情况，符号MT33指示的部分指示在终端MT33上信号被再现和显示的情况，以及符号MT34指示的部分指示在终端MT34和MT35上信号被再现和显示的情况。

注意，T32到T34表示再现和显示的定时。

在图12的例子中，当终端MT31的分组信号(T1-AU1,T1-AU2,…,T1-AU5)被显示时的定时是根据终端而不同的。

为了实现这点，从MCU 33A发送到MCU 33A(MCU1)、MCU 33B(MCU2)和MCU 33C(MCU3)的终端MT31的信号(A1,V1)被传送以便DTS被根据传输线路的延迟值的下列三种类型所代替。

MCU 1→MCU 1:DTS=DTS+0

MCU 1→MCU 2:DTS=DTS+延迟1

MCU 1→MCU 3:DTS=DTS+延迟2

注意，在图12中，MCU 33A、MCU 33B和MCU 33C的每一个都被分为两部分示出，但是物理地说，这两部分是相同的。因此，传送到自身的信号不经过GMSC 34。

用这种方法，根据本发明的第一实施例，即使是对相同的信号，通过根据其被传送的地点控制DTS，在终端的显示次数就能够被控制。通过这个方法，在每一MCU中，能够简单地平滑地得到复用。

而且，来自近位置的信号可以在最短的时间内被输出。仅在传输延迟之后，即使来自远位置的一个信号的快速显示也被使能。

因此，总之，具有最短延迟值的通信变得可能。

第二实施例

图13A到13E、图14A和14B以及图15A和15B是说明使用根据本发明的数据传输方法的数据传输系统的第二实施例的示意图。

根据第二实施例的数据传输系统30A基于下列特点被配置：

1)当合并和传送多个信号时，仅将与音频有关的信息添加在基带上

以获得一个信道的信号。它通过在保持分组形式的同时绑定多个

信道来传送视频。

2)当传送用于在MCU中复用所要求的数据时，通过发送在1)中的

信号到彼此，在MCU中流动的信号的信息总量被减小了。

3)当从MCU传送复用后的信号到终端时，通过传送在1)中复用的

信号，通过传输线路流动的信息的总量被减小了。

4)通过合并2)和3)，在整个网络上流动的信号的流通量能够被减

小。

图13A到13E是在基带上添加与音频有关的信息的情况的示意图。

图13A示出了与音频有关的信息，图13B示出了视频信息，图13C和13E示出了数据结构，以及图13D示出了信号的流动。

如图13A所示，通过添加音频，多个信道的音频能够转换到一个信道。当它以后不必进行多路分离和再现相同的数据时，通过合并它们就能够减小信息总量。

在视频中，空间信息不能假设在相同的位置。因此，通过将视频放在一起来显示它是可能的。

但是，由于图象的大小使信息的总量极大地被影响了。因此，尽管它们在基带上被合并了，信息的总量的变化并不大。

因此，在视频中，如图13B所示，信号以分组单元进行编码以及被复用。

用这种方法，当将在MCU中取得的信号传送到MCU中的彼此时，通过以合并状态来传送它们，则通过网络流动的信息的总量被减小，并且因此传输量能够被减小。

而且，即使当从MCU将信号传送到终端时，通过执行相似的复用，在传输线路上流动的信息的总量能够被减小。

图14A是当这样被复用的信号被在MCU之间以及MCU和上述的终端之间传送的情况下，数据传输系统40的配置的例子的示意图，而图14B是图14A中系统的数据结构和传输总量的示意图。

在图14A的数据传输系统40中，以图11以及图12中的相同方法，由符号MT31到MT35指示终端。

而且，在图14A中，41A到41E表示MBS,42A到42C表示MSC,43A到43C表示MCU,44A到44C表示GMSC。

而且，MBS 41A和41B、MCU 43A、以及GMSC 44A都被连接到MSC42A,MBS 41C、MCU 43B和GMSC 44B都被连接到MSC 42B，以及MBS41D、MBS 41E、MCU 43C和GMSC 44C被连接到MSC 42C。

在图14A的数据传输系统40中，当观看MCU 43A时，终端MT31的信号(A1,V1)和终端MT32的信号(A2,V2)被复用为(A1-2,V1,2)，亦即，变换到图14B中的符号X6指示的数据结构，该信号通过GMSC 44A到44C、MSC 42B以及MSC 42C，并被传送到MCU 43B和MCU 43C。

而且，对于终端MT31和MT32，信号被变换成(A2-3-4-5,V2,3,4,5)和(A1-3-4-5,V1,3,4,5)，亦即，变换到图14B中的数字411指示的数据结构，并将其传送。

用这种方法，在数据传输系统40中，相比在图4A所示的常规数据传输系统来说，通过网络流动的数据的传输总量被减小了。

而且，图15A示出了这样被复用的信号被在MCU之间以及MCU和上述的终端之间传送的情况，以及示出了在MCU不是MSC的层而是GMSC的层的情况下，数据传输系统40A的配置的例子，而图15B是图15A中系统的数据结构和传输总量。

在图15A的数据传输系统40A中的MCU 43A(MCU 1)和MCU 43B(MCU 2)之间的数据的传输变成如下所示：

MCU 1→MCU 2:(A1-2,V1,2)：图15B的数字421的数据结构

MCU 2→MCU 1:(A3-4-5,V3,4,5)：图15B的数字422的数据结构

用这种方法，同样在数据传输系统40A中，在整个网络上流动的信号的信息总量能够被减小，并且传输量能够被减小。

第三实施例

图16、图17和图18是说明使用根据本发明的数据传输方法的数据传输系统的第三实施例的示意图。

根据第三实施例的数据传输系统基于下列特点被配置：

当其连续性被认为是重要的信号(例如，有关音频的信息)在具有较高QoS(服务质量)的网络上被传送，而其不连续性被认为是能够允许的信号(例如，视频)在具有较低QoS(服务质量)的网络上被传送。

具有较高QoS(服务质量)的网络包括目前的电路交换网络，而具有较低QoS(服务质量)的网络包括分组交换网络。

因此，在第三实施例中，有关音频的信息被传送到电路交换网络，并且与视频有关的信息被传送到分组交换网络。

相比视频，与音频有关的信息具有较小的信息量，但连续性被认为作是重要的。相反地，在视频中，信息量是大的，但是相比音频来说，连续性并不被认为如此重要的。

图16是根据第三实施例的数据传输系统的配置的第一例子的示意图。

同样在这个数据传输系统50中，使用与图11和图12相同的方法，终端由符号MT31到MT34指示。

而且，在图16中，51A到51C表示MBS,52A和52B表示MSC,53A和53B表示MCU,54表示电路交换网络，以及55表示分组交换网络。

在电路交换网络54中，安置了具有本地位置注册器(HLR)的GMSC 541和542。

MBS 51A和51B,MCU 53A，电路交换网络54的GMSC 541，以及分组交换网络55被连接到MSC 52A，而MBS 51C,MCU 53B，电路交换网络54的GMSC 542，以及分组交换网络55被连接到MSC 52B。

在这个数据传输系统50中，当传输包含信息(该信息包含例如从终端MT31和MT32端到终端MT33和MT34端视频和音频)的信号时，在MCU53A的控制下，MSC 52A传送包含连续性被认为是重要的音频的信息到具有较高QoS(服务质量)的电路交换网络54，并且传送不连续性被认为允许的视频信号到具有较低QoS(服务质量)的分组交换网络55。

接着，通过电路交换网络54以及分组交换网络55传送的与音频有关的信息以及视频信号在MSC 52B上被合并成一个信号，并且通过MBS 51C传送到终端MT33和MT34。

用这种方法，根据相应于第三实施例的数据传输系统50，因为其连续性被认为是重要的与音频有关的信息被分配到具有较高QoS的交换网络，以及其不连续性被认为允许的与视频有关的信息被分配到具有较低QoS和许多频带的分组网络，所以存在这样的优点，即，传输成本能够被极大地提高，以及网络的有效利用成为可能。

当比较传输量时，分组交换网络55比电路交换网络54更昂贵。但是，如果在将来引入CoS(服务等级)，可以预期成本在“最佳努力”地区将全面马上被大大降低。

图17是根据第三实施例的数据传输系统的配置的第二例子的示意图。

根据第二例子的配置与图16的第一例子的配置的数据传输系统50A的不同在于互联网56被用作具有低QoS的网络，并且互联网56通过互联网交换(Ⅸ)57A和57B被连接到分组交换网络55A和55B。

同样在这个数据传输系统50A中，其连续性被认为是重要的信息被传送到电路交换网络54，而其连续性被认为不太重要的信息通过分组交换网络55A和55B以及互联网56形成的传输线路被传送。

在第二例子的配置中，可以获得与第一例子的配置效果相似的效果。图18是根据第三实施例的数据传输系统的配置的第三例子的示意图。

图18是根据第三实施例的数据传输系统的配置的第三例子的示意图。

这个第三例子是假设国际漫游的情况下的配置。

具体地说，如图16中类似的系统A和B出现在例如两个国家内。数据传输系统50B是由连接到互联网56上的系统A和B的分组交换网络55A和55B的配置。

注意，在这个第三例子的配置中，作为具有低QoS和廉价成本的网络，从GMSC层通过分组交换网络，以及通过互联网经过其他国家的分组交换网络，然后返回到电路交换网络的路径形成了。

同样在第三例子的配置中，可以获得与上述的第一例子的配置效果相似的效果。

第四实施例

图19到19C和图20是说明本发明第四实施例的示意图。

在第四实施例中，作为数据传输系统，使用包括将连续性被认为是重要的与音频有关的信息分配给具有高QoS和极少频带的交换网络以及将其连续性被认为是不那么重要的与视频有关的信息分配给具有低QoS和许多频带的交换网络，如图16到图18所示。

而且，在第四实施例中，按照如下说明监视和控制传输延迟。

1)使用在具有高QoS的网络上传送的信号(例如，音频)作为参考，在具有低QoS的网络上传送的信号(例如，视频)在与显示时间匹配的同时被复用和合并，并且被传送到目的终端。

2)相比在具有高QoS的网络上传送的信号(例如，音频)，当在具有低QoS的网络上传送的信号(例如，视频)被延迟超过某一预定水平时，显示的定时在接收端被移位。为了这个目的，时间标记的值(例如DTS)被延迟该总量。

3)相比在具有高QoS的网络上传送的信号(例如，音频)，当在具有低QoS的网络上传送的信号(例如，视频)被延迟超过某一预定水平时，在发送器端控制到网络的传输。

作为用于控制的方法，存在有降低位速率的方法和降低帧速率的方法。

当具有低QoS的网络的拥塞没有减轻时，系统的端_到_端延迟就被延迟了。

图19A到19C是根据第四实施例的监视和控制传输延迟的说明图，而图20是根据第四实施例的监视和控制传输延迟的流程图。

在图19A中，1)指示着视频被输入到终端的情况，2)指示着输入信号被以访问单元的单元进行编码的情况，3)指示着音频被输入到终端的情况，4)指示着输入音频信号被在访问单元的单元中进行编码的情况，以及5)和6)指示根据端_到_端延迟以相同的定时将视频和音频再现和显示的情况。

为了实现这个，使用在具有高QoS的网络上传送的信号(例如，音频)作为参考，在具有低QoS的网络上传送的信号(例如，视频)在与显示时间匹配的同时被复用和合并，并且被传送到目的终端。

而且如图19B和19C所示，观察并监视具有低QoS的网络的延迟值。当它变得大于估计的端_到_端延迟值时，将这个延迟值添加到传送到接收机端上的具有低QoS的网络的视频DTC上，以便在终端上显示具有那个延迟总量的数据是可能的。

而且，当在具有低QoS的网络出现拥塞时，为了快速地减轻这种情况，是能够确定下列情况的，即，如果延迟值正在增加并且相比估计的端_到_端延迟值来说是大于或小于估计的端_到_端延迟值时，因此按照以前提到的，使接收器端替换DTS的值以及使发送器端控制将要传送到网络的信息。

上述系列操作的流程示出在图20的流程图中。

即，第一，观察具有低QoS的网络上的MCU中的延迟值(ST1)。

下面，确定延迟值是否大于以前时间的延迟值(ST2)。

当在步骤ST2确定了延迟值大于以前时间的延迟值时，相比估计的端_到端延迟值，确定延迟值是否大于估计的端_到_端延迟值(ST3)。

当在步骤ST3确定了延迟值大于估计的端_到_端延迟值时，假设延迟值正在增加并正在超过允许值，通过具有低QoS的网络流动的信号的DTS被替换，并且控制到具有低QoS的网络的信号传输(ST4)。

当在步骤ST3确定了延迟值小于估计的端_到_端延迟值时，假设延迟值正在增加但不超过允许值，则控制到具有低QoS的网络的信号传输(ST5)。

而且，当在步骤ST2确定了延迟值小于以前时间的延迟值时，确定延迟值是否大于估计的端_到_端延迟值(ST6)。

当在步骤ST6确定了延迟值大于估计的端_到_端延迟值时，假设延迟值正在减小并超过允许值，通过具有低QoS的网络上流动的信号的DTS被替换，并且放松对到具有低QoS的网络的信号传输的控制(ST7)。

当在步骤ST6确定了延迟值小于估计的端_到_端延迟值时，假设延迟值正在减小并不超过允许值，通过具有低QoS的网络上流动的信号的DTS被返回到原始值，到具有低QoS的网络的信号传输被返回到原始水平(ST8)。

根据第四实施例，同步在不同频带传送的多个信号(例如，音频和视频)成为可能。

简述本发明的效果，如上所述，根据本发明，在整个网络上流动的信号的传输量能够被减少。

而且，根据本发明，在MCU中用于执行复用和合并的大的延迟单元变得不是必须的，因此硬件的尺寸能够被减小。

而且，在多点通信时的多点之间的延迟能够被尽可能地缩短了。

而且，根据本发明，所有的信号都能够被连续的传送而不需为较重要的信号和其连续性被认为是重要的信号(例如，音频)插入或减少延迟值。而且，通过利用为具有较低重要等级的信号以及其连续性不被认为是重要的信号(例如，视频)准备的具有低QoS的频带，使总传输成本的建立廉价变得可能。

而且，从有效利用频带的观点来看，能够改进利用效率。

而且，根据本发明，同步在不同频带传送的多个信号(例如，音频和视频)变得可能。

而且，根据本发明，可以避免大量信号累积在传输线路上以及很长时间数据没有被更新的问题。

对本发明已经参考为说明目的选择的特定实施例进行了描述，应该清楚，在不脱离本发明的基本概念和范围的情况下，本领域技术人员能够对其进行各种修改。

Claims

1、一种用于传送来自安置在网络中的多个终端的多点中的视频数据和音频数据的数据传输方法，包括：

通过复用视频数据作为对每一点编码的流来传送该视频数据，和

通过合并在网络的基带中的至少一个音频信号来传送该音频信号。

2、一种用于传送来自安置在网络中的多个终端的多点中的数据的数据传输方法，包括当在多点上的数据传送到终端时，根据传输延迟移动数据。

3、如前权利要求2所述的数据传输方法，还包括：根据网络中的传输延迟，传送给定不同的时间标记的相同的分组。

4、一种用于传送来自安置在网络中的多个终端的多点中的多个数据流的数据传输方法，包括：

通过具有不同特性的网络传送多个数据流中的每一个数据流，和

在网络上传送之后再合并这些数据流并将它们传送到终端。

5、如前权利要求4所述的数据传输方法，还包括：当具有较高特性的网络被定义为主网络以及其他的被定义为从网络时，以主网络作为标准监视从网络的延迟值并且当和主网络相比从网络具有大于某一延迟的延迟时，限制通过从网络的数据传输。

6、如前权利要求5所述的数据传输方法，还包括：当限制到从网络的数据传输时，如果在从网络上传送的数据使用利用在访问单元间的相关的压缩方法，则对相关的中断的每一单元控制传送到网络的数据。

7、如前权利要求5所述的数据传输方法，还包括：当限制到从网络的数据传输时，用于限制帧速率和位速率的数据自网络中被传送到终端。

8、一种用于传送在来自安置在网络中的多个终端的多点问的具有不同重要程度的多个数据流的数据传输方法，包括：

在传输线路的中间对具有不同重要程度的所述的多个数据流进行多路分离，

通过具有较高服务质量的网络传送其连续性被认为是重要的数据，通过具有较低服务质量的网络传送其不连续性是被允许的数据，和

在数据到达目的终端之前再次通过不同的网络合并所传送的多个数据，以及将其传送到终端。

9、一种用于传送在来自安置在网络中的多个终端的多点中的视频数据和音频数据的数据传输方法，包括：

一种装置，用于通过复用视频数据作为对每一点编码的流来传送该视频数据，以及通过合并在网络的基带中的至少一个音频信号来传送该音频信号。

10、一种用于传送在来自安置在网络中的多个终端的多点中的数据的数据传输方法，包括：

用于当多点上的数据被传送到终端时根据传输延迟移位数据的装置。

11、如前权利要求10所述的数据传输方法，其中根据网络中的传输延迟，该装置传送给定了不同时间标记的相同的分组。

12、一种用于传送在来自安置在网络中的多个终端的多点中的多个数据流的数据传输方法，包括：

具有不同特性的多个网络，

用于通过具有不同特性的网络传送所述多个数据流的每一个数据流的第一装置，和

用于当在网络上传送之后，将它们再合并并将它们传送到终端的第二装置。

13、如前权利要求12所述的数据传输方法，其中当具有较高特性的网络被定义为主网络，以及其他的被定义为从网络时，第一装置以主网络作为标准监视从网络的延迟值并且当相比主网络，从网络具有大于某一延迟的延迟值时，限制通过从网络数据的传输。

14、如前权利要求13所述的数据传输方法，其中当限制到从网络的数据传输时，如果在从网络上传送的数据使用利用在访问单元间的相关的压缩方法，则对相关的中断的每一单元，第一装置控制传送到网络的数据。

15、如前权利要求13所述的数据传输方法，其中当限制到从网络的数据传输时，第一装置自网络中传送用于限制帧速率和位速率的数据到终端。

16、一种用于传送在来自安置在网络中的多个终端的多点中的具有不同重要程度的多个数据流的数据传输方法，包括：

具有较高服务质量的第一网络，

具有比第一网络低的服务质量的第二网络，

第一装置，用于在传输线路的中间多路分离具有不同重要程度的所述多个数据流，通过第一网络传送连续性被认为是重要的数据，通过第二网络传送不连续性被允许的数据，和

第二装置，用于在数据到达目的终端之前再次合并通过不同网络传送的多个数据并将其传送到终端。