CN103023666B - 用于低延迟和分布式会议应用的会议服务器架构的系统和方法 - Google Patents

用于低延迟和分布式会议应用的会议服务器架构的系统和方法 Download PDF

Info

Publication number
CN103023666B
CN103023666B CN201210379807.1A CN201210379807A CN103023666B CN 103023666 B CN103023666 B CN 103023666B CN 201210379807 A CN201210379807 A CN 201210379807A CN 103023666 B CN103023666 B CN 103023666B
Authority
CN
China
Prior art keywords
quality
audio signal
communication channel
layer
conference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210379807.1A
Other languages
English (en)
Other versions
CN103023666A (zh
Inventor
R·希万拉
A·埃尔法泽阿迪斯
O·莎彼洛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vidyo Inc
Original Assignee
Vidyo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vidyo Inc filed Critical Vidyo Inc
Priority claimed from CN2006800341160A external-priority patent/CN101502109B/zh
Publication of CN103023666A publication Critical patent/CN103023666A/zh
Application granted granted Critical
Publication of CN103023666B publication Critical patent/CN103023666B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1827—Network arrangements for conference optimisation or adaptation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H04L65/4038—Arrangements for multi-party communication, e.g. for conferences with floor control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/567—Multimedia conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor

Abstract

本发明涉及用于低延迟和分布式会议应用的会议服务器架构的系统和方法。提供了用于进行多端点视频信号会议的系统和方法。会议端点通过可靠和较不可靠的通信信道对来链接。会议视频信号以基层和增强层的格式来可缩放地编码。对应于最小画面质量的视频信号基层通过可靠信道来传送。视频信号增强层可通过较不可靠的信道来传送。会议服务器在无需任何中间编码或重编码操作的情况下协调从发送端点到接收端点的视频层信息的交换。视频会议可使用经可缩放编码的音频信号或经非可缩放编码的音频信号来与音频会议集成。

Description

用于低延迟和分布式会议应用的会议服务器架构的系统和方法
本申请是申请日为2008年3月17日，申请号为200680034116.0，名为“用于低延迟和分布式会议应用的会议服务器架构的系统和方法”的申请的分案申请。
技术领域
本发明涉及多媒体和电信技术。具体地，本发明涉及多方会议应用的音频和视频数据的通信和分发。更具体地，本发明涉及采用可缩放的视频和音频编码技术的会议系统和方法的实现。
背景技术
当今，计算机网络（例如，因特网）已替代了传统的分发系统（例如，电子邮件和电话）对媒体和信息的传送。多媒体和电信技术的最新进展涉及将视频和音频通信及会议的能力与诸如IP PBX、即时信息收发、web会议的网际协议（“IP”）通信系统进行集成。为了有效地将视频通信集成到这些系统中，这些系统通常必须支持点对点和多点通信。在这些应用中所采用的多点服务器（也称为会议桥分器（conference bridge）、多点会议单元、或“MCU”）必须对来自多方会议的多个参与方的媒体流进行混合，并且将它们分发给所有会议参与方。较佳地，MCU还应当提供包括以下的选项：（1）连续出席（例如，因此可同时看到多个参与方）；（2）视图或布局个性化（例如，因此每个参与方可选择他或她自己的关于其他参与方的视图－其他参与方的一部分可以采用较大的格式来观看，而一部分以较小的格式来观看）；（3）差错定位（例如，当传输中出现差错时，在该参与方与服务器之间解决该差错）；（4）随机进入（例如，进入会议的新参与方对其他参与方没有影响或有最小影响）；以及（5）速率匹配（例如，因此每个参与方可经由带宽不同的不同网络而连接，并且可以采用自己的速率从会议桥分器接收数据）。
当前称为“代码转换”MCU的MCU解决方案通过解码MCU中的所有视频流、为每个参与方创建个人布局以及重编码参与方专用数据流以发送到每个参与方、考虑例如参与方的可用带宽等来实现这些有益功能。然而，这种解决方案向视频流传输添加了显著延迟、使视频数据的质量降级，并且开发和部署很昂贵（这些系统要求复杂、专用的数字信号处理器）。
替代的MCU解决方案是基于所谓的“交换”MCU的。在此解决方案中，仅将单个所选参与方（即，“活动说话者”）的视频和/或音频信号从该MUC发送给一个或所有其他参与方。活动说话者/参与方可通过对所有参与方的音频信号施加语音活动性的定量测量来选择。虽然对活动说话者的选择通常在MCU处执行，但是语音活动指标的计算也可在端点上执行（在发送之前）。交换MCU涉及较少的DSP处理并且比代码转换MUC更简单，但它们相应地具有较少的功能（例如，没有差错定位、没有速率匹配、随机进入功能受限）。
此外，已作出各种尝试来实现专用于一个视频标准的、用以组合压缩域中的视频流的方法。基于ITU-T H.261标准的方法要求端点向会议桥分器发送H.261QCIF图像，随后该桥分器组合诸如4个QCIF图像以创建一个CIF图像。诸如ITU-TH.263和H.264的较新的视频编解码器允许通过将成分子画面的每一个视为该更大画面的独立切片来将已编码画面组合或“合成”为更大的画面。这些和其他类似方法往往只针对视频压缩标准并且不支持个人布局（即，所有参与方被迫以相同分辨率观看给定参与方）、差错弹性或速率匹配。它们还在视频与音频之间的正确同步以及抖动缓冲器管理方面向MCU设计者提出新的挑战。其他解决方案是基于向所有参与方发送全部数据流；这些解决方案不支持速率匹配或端点对分辨率的选择。
除昂贵及专用的网络配置之外，当前可用的视频通信解决方案还不具备针对分组丢失的弹性，并且执行不可预测。可能未对大多数其它应用造成问题的网络差错条件可在视频会议中导致不可接受的质量。
引起编码效率普遍改进的新的数字视频和音频“可缩放”编码技术还具有许多新的结构特性。具体地，新的重要特性是可缩放性。在可缩放编码中，使用两个或更多分层结构的位流来表示原始或源信号。分层结构意味着给定位流的解码依赖于在分层结构中处于较低层的某些或全部其它位流的可用性。每个位图连同其所依赖的位图一起在特定时间、质量（例如，在信噪比或SNR方面）、或空间分辨率（针对视频）下提供了对原始信号的表示。
术语‘可缩放’并非指数量的大小或规模，而是指通常用以不同的分辨率或质量提供对应于原始或源信号的有效表示的一组不同位流的编码技术的能力。现有的ITU-T H.264 Annex F规范（称为可缩放视频编码，SVC）是在时间、空间、和时间分辨率三方面提供视频编码可缩放性的视频编码标准的一个示例，并且是H.264标准的扩展（也称为高级视频编码，或AVC）。另一种更老的示例是ISOMPEG-2（也作为ITU-T H.262发布），它也提供了所有三类可缩放性。ITU G.729.1（也称为G.729EV）是提供可缩放音频编码的标准的示例。
编码中的可缩放性被设计为针对流送或广播中的视频和音频分发问题的解决方案，以允许给定系统与各种不同的访问网络（例如与不同带宽连接的客户端）、网络条件（带宽波动）或客户端设备（例如使用较大监视器的个人计算机相对于屏幕小得多的手持式设备）一起操作。
现在考虑经改进的多媒体会议应用。具体地，将注意力转向通过使用可缩放视频和音频编码技术来改进会议服务器架构。期望的会议服务器架构和数据编码技术将支持个人布局、连续出席（continuous presence）、速率匹配、差错弹性和随机进入以及低延迟。
发明内容
本发明提供了多点和点对点会议应用的媒体通信服务器架构。该媒体服务器架构被设计成用于可缩放视频编码（SVC）数据和/或可缩放音频编码（SAC）数据或者以可从已编码位流导出多种质量的方式编码的一般音频的低延迟通信。在下文中，服务器称为可缩放视频编码服务器（SVCS），但是应当理解，同一服务器设计和操作也可应用于音频。作为替代，术语可缩放音频编码服务器（SACS）也可用于描述该服务器，尤其在音频应用的上下文中。本发明的服务器/客户端架构可提供诸如连续出席、个人布局和低延迟的速率匹配以及经改进的差错弹性的会议功能。有益的是，本发明的服务器/客户端架构通过选择性地对若干可缩放的已编码媒体信号进行多路复用，以及通过提供分辨率、比特率、质量或帧速率的多个层，在处理要求显著降低的情况下提供这些会议能力。
本发明还提供一种用于通过对在统计上复用的视频流中的较大分组或帧进行由服务器驱动的同步来最优化网络链路中的带宽利用的方法。
本发明的示例性实施例通过复用可缩放音频和视频流的基层分组来提供一种低延迟和带宽有效的数据通信的方法。在某些情形中，音频编码可以是不可缩放的。
在另一示例性实施例中，本发明为基于可缩放视频的会议提供了基于服务器的速率控制，其中该服务器实现了用于增强更重要的流的视频质量的基于策略或基于内容的方案。
在又一示例性实施例中，本发明提供一种用于以提供低延迟和特征丰富的服务（例如，连续出席、速率匹配和个人布局）的方式基于可缩放视频编码级联许多客户端会议单元的方法。同时，该方法优化不同种网络中或之间的网络通信量。
在再一示例性实施例中，本发明提供一种用于在采用可缩放视频会议服务器的视频会议中统一会话边界控制功能的方法。
附图说明
根据以下优选实施例及附图的详细描述，本发明的其它特征、其特性以及各种优点将更加显而易见，在附图中：
图1是根据本发明的原理的多点会议服务器（SVCS）系统的示意图，该系统被配置成将可缩放视频和/或音频数据从端点发送器传送到客户端接收器；
图2是示出了根据本发明的原理的多点SVCS（或SACS）的内部交换结构的框图；
图3是根据本发明的原理的以星形级联安排配置的SVCS/SACS系统的示意图；
图4是示出了根据本发明的原理的由示例性SVCS系统中的四个发送器提供的模拟组合带宽的示图；
图5是示出了根据本发明的原理的通过对示例性SVCS系统中的复用视频数据流中较大的帧进行交错而实现的带宽统一的示图；
图6是根据本发明的原理的用于示例性SVCS系统中的音频和视频分组复用和解复用的安排的示意图；
图7是根据本发明的原理的用于示例性SVCS系统的已编码可缩放层数据的示例性可缩放编码多层数据格式和可能的预测路径的示意图；
图8是根据本发明的原理的示例性SACS的操作示意图，其中来自各个发送者的音频流成分被选择并使用高可靠性和低可靠性的信道发送到接收器。
在所有附图中，除非另外指明，相同的附图标记和字符用于指示所示实施例的类似特征、元素、组件或部分。此外，现在将参照附图，同时结合示例性实施例对本发明进行描述。
具体实施方式
本发明提供一种用于多点或点对点会议应用的系统和方法。这些系统和方法被设计成传送使用合适的可缩放编码技术编码的视频和音频数据。这些技术将源数据编码为许多不同的位流，这些位流又以各种时间分辨率、质量分辨率（即，在SNR方面）、以及在视频情况中的空间分辨率提供原始信号的表示。
简便起见，本文主要在视频信号的上下文中描述本发明的系统和方法。然而，应当理解，这些系统和方法同样可用于音频信号，或者视频和音频信号的组合。
图1示出了可在电子或计算机网络环境中实现的针对多点或点对点会议应用的示例性系统100。系统100使用一个或多个网络化服务器（例如，可缩放视频会议服务器（SVCS）110）来协调向会议参与方或客户端120、130和140的定制数据传输。例如，SVCS 110可协调由端点140生成的发往其它会议参与方的视频流150的传输。在系统100中，首先使用SVC技术将视频流150适当地编码或缩小成多个数据成分（例如层150a和150b）。多个数据层可具有不同的特性或特征（例如，空间分辨率、帧速率、画面质量、信噪比（SNR）等）。在考虑到例如不同的各个用户需求以及电子网络环境中的基础结构规范（例如，CPU能力、显示尺寸、用户偏好和带宽）的情况下，可适当地选择数据层的不同特性或特征。
系统100的示例性实现被设计成支持在具有不同的数据要求或需要的参与方之间的多方会议。在此实现中，SVCS 110适于被配置成从接收器的数据流（例如，视频流150）中为会议中每个特定参与方/接收方选择适当的信息量，并被配置成仅将所选择/所请求的信息量转发到相应的参与方/接收方。例如，图1示出了选自视频流150的信息量（例如，数据流122和132），这些信息量通过SVCS 110分别转发到客户端120和130。SVCS 110可被配置成响应于接收端点请求（例如，各个会议参与方所请求的画面质量）以及基于网络条件和策略的考虑作出合适的选择。
此定制数据选择和转发方案利用SVC视频流的内部结构，这允许将视频流明确地划分成具有不同分辨率、帧速率和/或带宽等的多个层。图1示出了SVC视频流150中表示端点140对会议的媒体输入的示例性内部结构。示例性内部结构包括“基”层150b和一个或多个不同的“增强”层150。层150a和150b共同表示端点140对会议的所有媒体输入150。基层150b是以某一基本质量水平解码或恢复原始媒体所必不可少的。相应地，SVCS 110将基层150b转发到所有接收端点120和130。增强层150a添加信息并提高所恢复媒体的质量，但是仅将这些层以选定量转发到各个接收端点120和130。例如，低带宽客户端－接收端点130可选择仅接收图1中所示的三个增强层150a之一。
在系统100中，可通过一个或多个信道（例如，可以是虚拟和/或物理信道的信道170和180）进行通往或来自端点的SVC数据流（例如，视频流150）发送。每个数据承载信道可被设计成承载SVC数据流的特定层。例如，高可靠性信道（HRC）170可承载基本画面质量数据层（基层150b）。类似地，一个或多个低可靠性信道（LRC）180可承载“画面增强”数据层（例如，更好的质量、分辨率、或帧速率层150a）。所发送的SVC数据流可被结构化或分层，使得在LRC的任一个上丢失信息都不会导致接收单元（例如SVCS 110或端点120和130）处所收到的画面质量的任何显著或不可容忍的降级。通过可靠HRC传输基层确保接收到的画面具有至少最小或基本画面质量。其中HRC 170具有未使用带宽的情况下，除基层150b之外，增强层150a的某些或全部也可在HRC 170上承载。其中HRC170的带宽足够承载所有层的情况下，就完全不使用LRC 180。在这种情况中，在系统100中可以只存在或实现单个通信信道（即，HRC 170），而非LRC 180。
在可甚至丢失较高优先级分组的尽力型通信网络上的系统100的实现中，基层传输的完整性可通过使用合适的增强丢失弹性和恢复机制（例如前向纠错（FEC）和自动重复请求（ARQ）机制）来进行保护，诸如题为“Method Of And ApparatusFor The Transmission Or High And Low priority Segments Of A Video BitestreamOver Packet Networks（用于在分组网络上传输视频流的高和低优先级片段的方法及装置）”的美国专利No.5,481,312中所述的那些机制。所引用的专利通过全文引用结合于此。在允许区分服务（DiffServ）的网际协议（IP）网络上的系统100的实现中，基层可在由DiffServ所提供的高可靠性连接上传输。
在没有建立专用HRC 170的合适方法可用或者专用传输信道具有不可信的可靠性的实现中，系统100可被配置成实现其它方法以确保基层传输的完整性。系统100可例如被配置成使发送单元（例如，发送端点140或SVCS 110）为实现HRC上的可靠传输而主动重复基层信息的发送。重复发送的实际次数可取决于传输信道差错条件。除此之外或作为替代，系统100可被配置成发送单元高速缓存基层信息并基于接收端点或SVCS的请求重新发送该信息。这种基于请求的重新发送过程至少在快速检测到原始发送中的信息丢失的情况中是有效的。取决于可用传输信道类型和条件，前述系统100配置对于基层信息在各个客户端到SVCS、SVCS到客户端、SVCS到SVCS连接或其任何组合上的可靠传送是有益的。
在系统100的某些实现中，SVCS 100可被配置成在接收到的SVC视频流（例如视频流150）中重新组织或重新指定基层和增强层信息以转发到预期接收端点。基层和增强层信息的重新指定可针对每个预期接收端点或多组接收端点来定制。SVCS 110可随后经由适当的HRC和LRC连接分别将重新指定的基层和增强层转发到预期接收端点。通过重新指定过程，通过入站HRC发送到SVCS 110的信息可被重新分类并在出站LRC上转发到特定接收端点。相反，通过入站LRC发送到SVCS 110的信息可被重新分类并在出站HRC上转发到特定接收端点。
系统100及其组件（例如，SVCS 100）可被配置成使用一个或多个可选编码结构或操作模式。共同提交的美国专利申请[编解码器（codec）]描述了适于视频会议应用的示例性编码结构。参照图7，在一示例性操作模式中，SVC数据流（例如，数据流150）可被编码成包括对应于称为时间分辨率0、1和2的三个时间分辨率（例如，每秒7.5、15和30帧）、以及称为空间分辨率L和S的两个空间分辨率（例如，QCIF和CIF）的多个层。S0对应于源在CIF分辨率和每秒7.5帧下的表示，而S1对应于源在CIF分辨率和每秒15帧下的表示。
图7所示多层编码格式或结构使得L0画面基于L0画面（即，从其预测）来编码，L1画面基于L0和/或L1画面来编码，而L2画面基于L0、L1和/或L2画面来编码。平行方案被用于编码空间增强层S0到S2。在此特定方案中，用以解码L1和L2层信息的能力分别取决于L0和L0+L1层的可用性。对于从QCIF到CIF的增强，也可使得经增强的分辨率画面（即，层S0、S1和S2）可用。解码S0-S2层的任一个的能力要求相应的底层L0-L2层可用。此外，解码S1和S2层信息的能力分别取决于S0和S0+S1层的可用性。
在本发明的示例性应用中，系统100可用于建立多点视频会议。在该会议中，发送端点可向SVCS 110发送其被编码为L0-L1和S0-S2层的格式的的输入信息，用以转发到接收端点。L0、L1和S0层可在HRC上传输，而L2、S1和S2层可在LRC上传输。SVCS 100可混合并匹配分层信息以定制被转发到每个接收端点的信息量。接收端点可接收定制的经混合及匹配的层组合，该层组合具有例如不同的比特率、分辨率和帧速率。表1示出了L0-L2和S0-S2层的经混合及匹配的示例性层组合，SVCS 110可经由HRC和LRC将它们转发到接收端点。
向特定端点提供的流的质量 高可靠性信道 低可靠性信道
CIF高帧速率 L0、L1、S0 L2、S1、S2
CIF低帧速率 L0、S0 L1、S1
QCIF高帧速率 L0 L1、L2
QCIF低帧速率 L0 L1
表1：L0-L2和S0-S2层的示例性层组合
位于特定端点（例如，端点120）的会议参与方可能希望选择性地将关注或聚焦到许多视频会议参与方中的一个特定参与方（例如，位于端点140的参与方）。系统100允许处于端点120的这一会议参与方请求目标参与方/端点（例如，端点140）的高质量视图（例如，CIF高帧速率）以及其它非目标会议参与方/端点（例如端点130）的普通低质量视图（例如，QCIF低帧速率）。请求端点120可随后解码所有接收到的数据流并以所请求的视频质量独立显示每个数据流。例如，图1示出目标参与方/端点140的高质量CIF视图显示190，该视图显示被呈现给端点120处的请求参与方。应当理解，系统100可为显示提供多层次的附加分辨率、时间、以及画面质量。
SVCS 100还可被配置成指示目标发送端点来在其输入数据流（例如，数据流150）中至少包括满足会议中的任何端点当前的全部需要所需的最少的质量和分辨率信息量。
SVCS 100用作在多点会议中的端点之间协调或路由信息的交换机。图2示出了通过网络接口卡（NIC）链接到通信网络的SVC 100的内部交换结构的示例。SVC100的内部交换结构可被设计成根据交换矩阵解复用、复用和交换编码在层中的信息。内部交换结构可被实现为任何合适的软件和/或硬件单元的安排（例如复用器和解复用器）。
应当注意，在系统100中，信息可通过SVC运送，使得从发送端点到接收端点保持信息的初始编码层格式。在SVC 100自身中没有必要进行任何中间解码或重编码操作。这个特征与采用“串联编码过程”的常规会议安排形成对比，其中中间过渡或桥接点（例如，MCU）对从发送端点收到的以编码数据进行解码、对其重编码、随后将经编码的数据发送到接收端点。串联编码过程在信息传输中引入算法延迟，并且所涉及的重复编码/解码还使画面质量降级。
有益地，本发明的会议系统采用SVC技术来避免或最小化通过SVCS 110转发数据流时的算法延迟以及将质量增强的视频数据传送到端点。例如，在共同提交的美国专利申请S/N[SVC]中描述了可用在本发明的会议系统中的SVC技术或模式的附加特征，该申请通过引用结合于此。所引用的专利申请描述了具体的视频编码和传输方案，这有助于SVCS 110提取或交换视频流信息。
如前所述，本发明的会议系统和方法有益地以优于或比的常规会议安排可实现的更可靠的方式提供了高质量、低延迟、特征丰富的视频会议功能。本发明的会议系统和方法的优点可至少部分地归因于用以承载两个会议系统单元之间的每个SVC数据流中的总体信息的不同部分的一对并行路径或信道（例如，HRC和LRC）的建立。所需最小会议功能所必要的重要或关键信息通过具有优越传输特性（即，可能为更可靠的信道、具有较低抖动的信道和/或更安全的信道的HRC）的信道来传输。可在会议系统实现中以对实现环境实用或适当的任何合适的方式建立HRC。表2标识了用于在不同的电子网络实现环境中建立HRC的示例性实用或适当的选项。
表2：用于建立HRC的示例性选项
应当理解，仅出于示出和描述方便，在图1中单个SVCS 110被示为部署在示例性多点会议服务器（SVCS）系统100中。多个SVCS 110或类似服务器可被部署在系统100中以提供多点视频会议会话。例如，当多点视频会议跨越不同（例如，以带宽或服务质量为代价）网络时，多个SVCS 110实现会是有益的。在会议连接需要（例如，多点视频会议会话中的大量参与方）可能超出单个SVCS 110的容量（例如，物理设备或带宽限制）时，多个SVCS 110实现也是所期望或必需的。尤其有益的是，部署若干个已链接SVCS 110来在涉及在来自多个接入服务提供商的参与方之间或者其中多个会议参与方处在不同的公司位置的地理上广阔的公司网络上的基于应用服务提供商（ASP）的会议的情形中传导视频会议会话。
多个SVCS 110可被链接或部署在级联安排中，该安排可提供比其它几何安排更好的网络利用率和更好的系统可缩放性。应当注意，基于桥接器（例如，硬件MCU）的传统会议技术由于多个性能和成本原因而不适于级联安排。例如，在传统会议安排中，穿过多个MCU的呼叫遭遇或累积与所穿越的MCU数成比例的延迟。此外，由于在每个MCU处的串联编码过程，呼叫信息质量与所穿越的MCU数成比例地降级。另外，在传统会议安排中，画面/数据分辨率随级联的MCU数增加而降级，这使得参与方/端点丧失了选择其它参与方/端点的至少一些的较高分辨率画面的能力。相反，本发明的SVCS不增加延迟或使画面质量降级，即使在SVCS被级联的情况下。
图3示出了可主存在地理多样的不同通信网络和域（例如，AOL、韦里孙（Verizon）、康科斯特（Comcast）和法国电信网络）上延伸的多点视频会议会话的示例性SVCS系统300。SVCS系统300采用多个SVCS 110。各个SVCS 100可被定位在不同的通信网络和/或不同的域中，并且通过通信信道（例如，HRC和LRC）链接到其它SVCS 110。经链接的SVCS 110可被部署在星形配置拓朴（如所示）、全网状或冗余配置拓朴、这些拓朴的混合或者其它合适的联接拓朴。
在操作中，单个多点会议会话的通信可分布在位于不同域或不同网络中的多个SVCS 110上。所有经部署的SVCS 110可共享关于总体会议结构和拓朴的信息。此外，所有经链接的SVCS 110可被配置成有效地寻址或路由信息流（例如，以避免在昂贵的广域网上发送重复的信息）。
图3所示的多点视频会议会话中，法国电信域中的所有参与方/客户端303可能倾向于以高分辨率观看或查看“端点A”（例如，参与方/客户端404）。相反，Comcast域中的参与方/客户端202可能倾向于以低分辨率观看或查看端点A。类似于系统100，系统300被配置成4了解并确认会议参与方/客户端的观看偏好。因此，响应于参与方/客户端202和303的观看偏好，系统300可指示端点A向其附件的SVCS 110（非指出）流送SVC低分辨率基层和高分辨率增强层信息。附近的SVCS110将基层和增强层信息转发到AOL域中的SVCS 110，该域处于SVCS 110网络的星形配置的中央。响应于参与方/客户端303的观看偏好，中央SVCS 110可将高、低分辨率信息转发到法国电信SVCS 110。此外，响应于参与方/客户端202的观看偏好，中央SVCS 110可仅将低分辨率信息转发到Comcast SVCS 110。在图3中，从中央SVCS 110发送到下游SVCS 110的信息类型分别由标记“高+低”、“低”来指示。
应当理解，系统300适于交互式会议。在图3中示出的具有位于AOL域中的中央SVCS 110的集中式环境中，从端点A到参与方/客户端303的信息传输经过三个SVCS 110（即，附近的、中央的、以及法国电信的SVCS）。相应地，端点A与端点A的信息传输接收者之间的信号延迟等于网络延迟以及任何单个SVCS单元延迟的三倍。然而，本发明的交换矩阵SVCS设计确保各个SVCS单元的延迟基本上为零。这将与通常比200ms更长的传统MCU延迟形成对比。使用传统MCU替代系统300或类似系统中的本发明的SVCS将在从端点A到参与方/客户端303的信号传输中导致600ms的额外延迟。此延迟量反映了传统基于MCU的系统无法进行交互式会议。
本发明的基于SVCS的系统还可被配置成对可使期望会议功能降级的网络堵塞或其它环境因素作出响应。例如，系统300可被配置成使得遭受网络堵塞的端点或SVCS可向其它SVCS发信号以丢弃或不对发送给它们的增强层进行转发，从而减小网络堵塞对维护或维持会议会话的影响。
除此之外或作为替代，本发明的基于SVCS的系统可被配置成对多点会议会话采用基于可缩放编码的速率控制。这种特征可提供维护所发送的运动对象以及陡然的场景变化的视频图像的质量所必需的视频带宽控制。通常，当视频场景中的成像对象突然或陡然运动时，保持所发送的视频质量所需的视频带宽可比长期的平均带宽要求增加100%或者更多。在传统基于固定速率或非可缩放视频的系统中，由运动对象或场景变化导致的质量的总的降级通过使用保持传输比特率以避免丢掉分组的“抢先降级”传输方案来避免。保持传输比特率导致帧被跳过以及SNR减小，它们中的任一个可至少暂时地使视频质量降级。然而，在大多数视频观看情形中，这种暂时或瞬时的质量变化对观众在视觉上形成振动或者干扰。至少出于这个原因，“抢先降级”传输方案并非用于维护所发送的运动对象或陡然场景变化的视频图像的质量的满意解决方案。本发明的基于可缩放视频的系统被设计成甚至能避免或最小化传统固定速率视频系统中所容许的暂时或瞬时的质量变化。
本发明的基于可缩放视频的系统可被配置成使得在检测到视频质量降级运动或场景变化时，发送端点维持其基层传输（例如，层150b）上的比特率，但是增加其增强层（150a）传输上的带宽。在增强层上运送的信息增加可补偿基层传输中由运动或场景变化导致的固定速率基层传输中的视频质量降级。这样，在活动或场景变化期间，至少对于能够接收基层和增强层两者的接收端，维持视频流的总质量可得以维持。如果网络容量足以向接收端传送基层和增强层，则视频质量将得到维持。在网络容量不足以传送增强层的较高比特率的传输的情况中，视频质量的水平可至少与在传统抢先降级方案中所获得的相同。通过增加增强层信息的发送补偿视频质量降级的方法也可应用于其中基层比特率并不保持恒定的系统实现中。
图4中示出了一示例，它演示解决视频质量降级的本发明的基于可缩放编码的速率控制系统和方法的优点。在该示例中，对来自多点会议安排中由SVCS链接的四个发送器的组合带宽进行研究。为了进行模拟，每个发送器信道具有2千比特/帧的基层带宽以及2-8千比特/帧的增强层带宽，为这些帧的7%另外增加10千比特。总的平均“帧大小”为30千比特。
图4示出了每个发送器信道上的带宽的标准偏差是平均带宽的约50%，而组合数据流的标准偏差仅是平均带宽的约18%。所观测到的约3:1的标准偏差比表明：与在由SVCS在组合流上以一个标准偏差剪切所发送信号信息的情况下所剪切的帧数量相比，在每个单独的发送器信道上以一个标准偏差剪切所发送信号信息会导致三倍数量的帧剪切。第二情形对应于传统抢先降级方案，而前一情形对应于用于如上所述通过调节比特率补偿视频质量降级的本发明的方法。
本发明的基于可缩放编码的速率控制系统和方法在解决视频质量降级时可采用任何合适的算法来混合数据流以及控制分配给给定参与方/端点的总体带宽。可用在SVCS中进行宽带分配的合适算法可基于例如统计复用、给定参与方网络接入类型、比特流的同步以及参与方/端点的筛余。以下章节在多点视频会议应用的上下文中描述了这些示例性算法的每一个的特征。
统计复用：视频降级动作不可能在所有参与方/端点上同时发生。在大多数实例中，在一预定时刻，仅一个参与方/端点将发送具有运动或变化场景的视频。因此，SVCS 110算法可在一特定时刻仅允许一个源分担比其长期平均共享带宽更宽的带宽来传输其会议数据流。如以上参照图4所述，额外带宽分配减少了画面被降级的次数。
给定参与方网络接入类型：存在其中接收端点可经由带宽比视频流带宽更宽的网络连接来接入会议的实例。在这种实例中，SVCS 110可总是将带宽补偿增加的增强质量层转发到接收端点。此外，SVCS 110可动态地与接收端点通信以确定增加带宽的分配的效用。在某些实例中，经增加的带宽尖峰可能未被接收到，或者可能会降低基层传输的信道质量（诸如经增加的抖动、延迟或分组丢失）。在这个实例中，SVCS 110可按需通过剪掉增强层传输来维持或提高基层传输的平均数据率。SVCS 110还可对剩余信息层的传输重新安排服务质量的优先级。
比特流的同步：在SVC数据流中，某些已编码帧往往大于其它帧。例如，L0画面大于L1画面，L1画面通常也大于L2帧。带宽统一可通过对不同流的较大帧进行交错来实现（参见图5）。因此，SVCS 110可向所有会议端点的某些或全部发送控制信号以在正常的时间线序列期间保持较大帧，或者可被插入的内帧被交错，使得该比特率的峰值不超过特定期望值。SVCS 110可监视由会议参与方/端点的每一个生成的速率。当来自不同或新的视频源的较大分组以同步方式到达SVCS110时，SVCS 110可指示会议参与方/端点的一个或多个改变其时间线序列以实现交错。参与方/端点可例如通过改变视频源上的样本时间或通过对分层序列进行移位来改变其时间线序列。
参与方/端点的筛余：在其中从某些参与方/端点接受的增强层必需被抛弃以进行速率控制的实例中，SVCS 110可设法对参与方/端点进行优先级排序以抛弃信息。SVCS 110可保持与更重要的参与方/端点相关联的增强层，并且仅抛弃与其它较不重要的参与方/端点相关联的增强层。SVCS 110可例如通过标识会议中的活动说话者来动态地标识更重要的参与方/端点。SVCS 110可经由音频层或通过从音频会议设备或从相关联的参与方/端点接收这种标识来标识活动说话者。或者，SVCS110可先验建立会议优先级策略，该策略基于诸如按组织、会议调解功能或其它应用层信息中的分级的合适标准来对参与方/端点赋予给定的会议会话优先级。SVCS110可随后使用该先验指派的优先级来标识更重要的参与方/端点。
本发明的视频会议系统和方法还可被配置成将音频会议特征集成到视频会议会话中。通常，由于许多原因，单独的音频会议比视频会议容易实现。例如，音频所需的带宽通常仅为视频所需带宽的5-10%，这使得与保护视频信息相比，更容易使音频信息免受分组丢失。另外，音频信号需要比视频信号更少的处理能力用于编码/解码。编码/解码音频信号所需的处理能力可降低约1-2个量级。此外，音频信号延迟比视频信号延迟更加可控，因为音频分组包括比视频分组短得多的时间帧。然而，通过减小分组大小来减小音频信号增加了与分组报头数目相应增加相关联的带宽开销。因此，至少在某些带宽环境中，传统音频会议中的音频信号质量可能是较差的。
本发明的基于SVC的集成音频和视频会议系统和方法通过认识到音频和视频基层信号的带宽接近并要求类似的服务质量（QoS）而有效地解决了音频延迟和质量问题。因此，集成音频和视频会议系统中的发送端点被配置成将音频和视频基层信号的有效载荷复用至单个分组来进行发送，由此减小了分组开销。组合分组可在接收端点（例如，在端对端呼叫中）或SVCS 110处被解复用。在某些实现中，外置相关联音频会议桥接器（音频MCU）可执行音频会议功能。
在某些实现中，本发明的基于SVC的集成音频和视频会议系统和方法可采用可缩放音频编码（SAC）或其它音频编码技术，其中可从经编码的比特流中获得多个质量。（参见图6）。SAC的使用最小化SVCS 110或相关联的音频会议桥接器中的对信号处理的任何需要。在这些实现中，可在无需以与它（SVC 110）交换和转发SVC流（图1-5）相同或类似的方式来解码/编码SAC流的情况下，由SVCS 110来交换并转发SAC流到接收端点。SAC是一种方法，它提供了一种用以发送多个音频质量的有效且高效的方法。然而，在同一网络上发送音频和视频时，与可缩放视频的情形中的节省相比，发送可缩放音频比发送多个质量的不可缩放音频的比特率节省可能是较小的。在某些环境中，例如，为了传统系统的兼容性，可能期望继续结合SVCS 110所交换的可缩放视频流使用不可缩放音频流。
图6示出了用于复用和解复用音频和视频流的示例性安排。安排600a示出了通过发送端点140复用并在并行的尽力型和可靠的信道上传输的组合音频和视频流610。如果是非缩放编码，则在MCU或相关联的会议服务器630上解码并重新混合音频流610以转发到接收端点120。如果是缩放编码，则视频流610可仅通过接收端点120来解码。
本发明的SVC和基于SAC的集成音频和视频会议系统可使用信号转发方案来最小化或减小会阻碍会议参与方/说话者之间的交互式或实时讨论的音频剪切效应。在示例性方案中，每个发送端点140发送具有表示流中的说话者的音量指标的可缩放音频流（具有低质量或高质量层）。SVCS 110向接收端点以高质量转发最强的流并在低质量（以及比特率）层中为按音量指示符排序的下N个说话者转发。N可通常为1到3。信号强度指标也可在SACS处计算。所有接收到的流可通过端点来混合。在此方案中，随着一个说话者的信号缓缓淡出以及新的说话者切入，所有收听者都经历包括话音脉冲之前部分的平滑过渡。不使用这种方案的情况下，说话者的音频剪切可在他们开始说话时进行。通过在此方式中采用可缩放音频编码，本发明克服了常见的与音频切换相关的缺点。
图8示出了多个端点（例如，端点810A-E）之间的会议会话801中的SACS 800的操作的示例性安排。SACS 800被配置成接收和处理以多个质量编码的音频信号830。每个端点可发送具有不同质量层或成分的音频信号830。在图8中示意性示出了来自端点“i”的音频信号830中不同质量的成分，并且以左侧基层开始从左到右排列的层的质量递增。SACA 800在来自端点810A-E的音频信号830中选择适当的信息量以转发到会议会话801中的参与方端点的每一个。被选择并转发到特定端点（例如，分别为端点820A和820B）的信息的量和类型（例如，850A和850B）可取决于特定接收端点的特性或需要。例如，对于能够播放高质量声音以及具有可支持这种质量的网络连接的端点820A，SACS 800可转发高质量信息850A。相反，对于不能够播放高质量声音或者不具有可支持这种质量的网络连接的端点820B，SACS 800可仅转发质量比850A低的信息850B。
在图8中所示的会议801中的特定时刻或实例中，端点810A可被视为“活动说话者”，使得来自其传输830A的更好的音频质量被供给收听者。端点810B和810C可被视为“临时说话者”，其终端用户是（i）当前的实际说话者但由于源自端点810A的中断和噪声而被暂时遮蔽；（ii）正同时与端点810A以较低语音交谈；或者（iii）是先前的说话者，对于该说话者，SACS 800从最高质量开始逐渐以最低质量停止转发信号成分。在所有这些实例中，使得来自端点810B和810C的音频信号成分可供收听者例如，端点820A和820B）用（来进行混合。这种特征允许或实现不同说话者之间的未剪切过渡。在图8中所示的会议实例中，端点810D和810E被视为非说话者，但正向SACS 800发送低质量信息830D和830E。在其音量变成会话810中的N个较强的音频流之一的情况中，SACS 800可将此信息包括在音频混合中。
对于某些音频编码技术，接收器/解码器可能需要多个分组以便适当地解码音频流。此外，解码器可能需要多个分组以便填充其播放抖动缓冲器。在此实例中，基于SAC的服务器（例如，SVCS 110）可被配置成对所有传入流高速缓存一个或多个语音分组，并在适当时刻将所高速缓存的分组转发给接收器（例如，一旦此流被认为是接收器所需要的）。
在需要低延迟音频的会议应用中，一般使用包括少到10-20毫秒的样本的音频数据分组。在此应用中，相对于语音数据（有效负荷），由分组报头（例如，IP、TCP或UDP以及RTP信息）所引入的开销相当多。这些开销可高达200%。对于此应用，基于SAC的服务器（例如，SVCS 110）可被配置成通过将送往特定接收器的一个或多个分组聚集成一个组合分组、然后将这个组合分组发送到接收器来实现音频流的速率控制。传输一个组合分组减小了报头开销，但是代价是将延迟引入到前往特定接收器的传输中。SVCS 110可被配置成通过平衡聚集/高速缓存时间与分组开销的节省来实现速率控制。
这种速率控制方案还可在端点处与传统静默和/或音量检测方案相结合。在许多语音通信系统中，端点实现静默检测方案，其中在认为所捕捉的语音中不存在话音信息时，不在网络中传输语音。该静默检测方案设置阈值水平以过滤源自通过网络传输的非期望噪声。然而，语音传输的这种阈值水平设置常常导致对说话者切入的语音脉冲的剪切。在根据本发明的示例性基于SAC的语音通信系统中，可实现两个阈值：较小的一个，在其之后由基于SAC的服务器（例如，SVCS 110）发送基层信息，以及较大的一个，在其之后较高质量的增强层被发送。这样，对说话者切入语音脉冲的剪切被最小化或变得不明显。
上述本发明的基于SVC和SAC的会议系统和方法使用零延迟以及在计算上有效的SVCS 110的会议功能。根据本发明，对多方和点对点呼叫通用的SVCS 110的功能可被有益地结合到或用于通信网络设计。例如，与会话边界控制器、代理和其它防火墙以及网络地址转换（NAT）遍历机制相结合会是有益的。所有这些“媒体代理”设备或机构都可使用服务器，该服务器在两个域或网络（例如，对于点对点呼叫）之间的接口点（网络边缘）上路由从其通过的媒体通信量。在示例性网络设计中，SVCS 110较佳地位于网络边缘位置。因为每个点对点呼叫可扩展成多方呼叫，所以使用SVCS作为媒体代理设备以及方便较高质量的呼叫配置更改（即，点对点到多点）是十分有效的。部署在网络边缘的SVCS 110可用于改进对视频通信量的控制。通过引用结合于此的共同提交的美国专利申请No._______描述了视频通信量控制方案，该方案涉及不同视频流的同步以实现更好的网络利用率和QoS链路的管理。
虽然已描述了本发明的优选实施例，但是本领域技术人员应当认识到，可作出其它及进一步的改变和更改而不背离本发明的精神，并且旨在要求保护落在本发明的实际范围内的所有这些改变和更改。
应当理解，根据本发明，可使用任何合适的硬件和软件的组合来实现SVCS、SACS和会议安排。用于实现和操作前述SVCS会议安排的软件（即，指令）可被设置在计算机可读介质上，该介质可包括但不限于：固件、存储器、存储设备、微控制器、微处理器、集成电路、ASIC、可在线下载的介质、以及其它可用介质。

Claims (56)

1.一种用于通过至少一个通信信道向至少一个接收端点发送视频信号的多端点视频信号会议系统，其中所述视频信号被可缩放编码成包括基层和一个或多个增强层的层，所述基层是以某一基本质量水平解码或恢复原始媒体所必不可少的层，而所述增强层是添加信息并提高所恢复媒体的质量的层，所述会议系统包括：
可缩放视频编码服务器SVCS，适于通过所述至少一个通信信道链接到所述至少一个接收端点，
其中所述通信信道的至少一个提供了改进的服务质量；以及
其中所述SVCS被配置来，响应于各个不同端点的接收端点请求并基于网络条件和策略的考虑，通过所述至少一个通信信道接收视频信号层，并通过所述至少一个通信信道选择性地向所述至少一个接收端点发送视频信号层。
2.如权利要求1所述的会议系统，其特征在于，所述SVCS还被配置来，通过选择性地复用视频信号层并向其转发，来向所述至少一个接收端点提供连续出席、个性化布局、速率匹配、差错定位和随机进入特征中的至少一个。
3.如权利要求2所述的会议系统，其特征在于，所述SVCS还被配置来选择性地复用具有两个或更多信号特性的视频信号层并转发给所述至少一个接收端点，所述信号特性包括不同分辨率、比特率、质量和帧速率特性中的至少一个。
4.如权利要求1所述的会议系统，其特征在于，所述SVCS还被配置来除对视频信号进行处理之外还对音频信号进行处理。
5.如权利要求1所述的会议系统，其特征在于，所述SVCS还被配置来提供会话网络边界控制、媒体代理、防火墙和网络地址转换功能中的至少一个。
6.如权利要求1所述的会议系统，其特征在于，所述通信信道的改进质量的服务包括所述SVCS还被配置来主动地重复至少基层信息的传送。
7.如权利要求1所述的会议系统，其特征在于，所述通信信道的改进质量的服务包括所述SVCS还被配置来带有向前纠错地发送至少基层信息。
8.如权利要求1所述的会议系统，其特征在于，所述通信信道的改进质量的服务包括所述SVCS还被配置来高速缓存至少基层信息并依据请求重新发送经高速缓存的信息。
9.一种用于通过至少一个通信信道与至少一个发送端点进行视频信号通信的多端点视频信号会议系统，其中所述视频信号被可缩放编码成包括基层和一个或多个增强层的层，所述基层是以某一基本质量水平解码或恢复原始媒体所必不可少的层，而所述增强层是添加信息并提高所恢复媒体的质量的层，所述会议系统包括：
可缩放视频编码服务器SVCS，适于通过所述至少一个通信信道链接到所述至少一个发送端点，并从所述发送端点接收一个或多个视频信号层，
其中所述通信信道的至少一个提供了改进的服务质量；以及
其中所述SVCS被配置来响应于各个不同端点的接收端点请求并基于网络条件和策略的考虑，通过所述至少一个通信信道，选择性地传送从所述发送端点接收的所述一个或多个视频信号层。
10.如权利要求9所述的会议系统，其特征在于，所述SVCS还被配置来，通过选择性地复用并转发从所述发送端点接收的视频信号层，来为所述至少一个发送端点提供连续出席、个性化布局、速率匹配、差错定位和随机进入特征中的至少一个。
11.如权利要求9所述的会议系统，其特征在于，所述SVCS还被配置来除对视频信号进行处理之外还对音频信号进行处理。
12.如权利要求9所述的会议系统，其特征在于，所述SVCS还被配置来提供会话网络边界控制、媒体代理、防火墙和网络地址转换功能中的至少一个。
13.如权利要求9所述的会议系统，其特征在于，所述通信信道的改进质量的服务包括所述SVCS还被配置来主动地重复至少基层信息的传送。
14.如权利要求9所述的会议系统，其特征在于，所述通信信道的改进质量的服务包括所述SVCS还被配置来带有向前纠错地接收基层信息。
15.如权利要求9所述的会议系统，其特征在于，所述通信信道的改进质量的服务包括所述SVCS还被配置来依据请求接收重新发送的高速缓存了的信息。
16.一种用于通过至少一个通信信道向至少一个接收端点发送音频信号的多端点视频信号会议系统，其中所述音频信号按成分编码使得能够从经编码的域中的位流导出多个质量，所述会议系统包括：
可缩放音频编码服务器SACS，适于通过所述至少一个通信信道链接到音频会议中的至少一个接收端点，
其中所述SACS被配置来，响应于各个不同端点的接收端点请求并基于网络条件和策略的考虑，通过所述至少一个通信信道接收所述音频信号的音频信号成分，并通过所述至少一个通信信道选择性地向所述至少一个接收端点发送所述音频信号成分。
17.如权利要求16所述的会议系统，其特征在于，所述音频信号被可缩放编码成包括基层和一个或多个增强层的分层成分，所述基层是以某一基本质量水平解码或恢复原始媒体所必不可少的层，而所述增强层是添加信息并提高所恢复媒体的质量的层。
18.如权利要求16所述的会议系统，其特征在于，所述通信信道的至少一个提供了改进的服务质量。
19.如权利要求18所述的会议系统，其特征在于，所述通信信道的改进质量的服务包括所述SACS还被配置来主动地重复所述至少一个音频信号的基层信息的传送。
20.如权利要求18所述的会议系统，其特征在于，所述通信的改进质量的服务包括所述SACS还被配置来带有向前纠错地发送所述至少一个音频信号的基层信息。
21.如权利要求18所述的会议系统，其特征在于，所述通信信道的改进质量的服务包括所述SACS还被配置来高速缓存所述至少一个音频信号的基层信息的数据并依据请求重新发送经高速缓存的数据。
22.如权利要求16所述的会议系统，其特征在于，所述音频信号与信号强度指标相关联。
23.如权利要求22所述的会议系统，其特征在于，所述SACS还被配置来：
将所接收到的最强的音频信号中所有质量的成分转发到除起始参与方之外的所有参与方，
将所接收到的大量较弱的音频信号中少于全部质量的成分，如果有，转发到除所述起始参与方之外的所有参与方；以及
不转发所接收到的任何剩余的较弱的音频信号中的质量的成分。
24.如权利要求16所述的会议系统，其特征在于，所述音频信号被SACS转发到所述至少一个接收端点用于混合。
25.如权利要求16所述的会议系统，其特征在于，所述SACS还被配置来高速缓存所接收到的音频成分，并在第一接收器需要以特定质量水平进行对所述音频信号的解码时，将高速缓存了的成分转发到第一接收器，所述特定质量水平先前未接收过。
26.如权利要求16所述的会议系统，其特征在于，所述至少一个通信信道包括基于分组的信道，并且其中所述SACS还被配置来：
将大量前往接收器的音频分组聚集成一个组合分组，并且将所述组合分组转发到所述接收器。
27.如权利要求17所述的会议系统，其特征在于，所述音频信号与一个或多个信号强度指标相关联，并且其中所述SACS还被配置来在所述一个或多个信号强度指标之一超出第一阈值时仅转发基层信息，并在所述一个或多个信号强度指标之一超出第二阈值时转发增强层信息。
28.如权利要求16所述的会议系统，其特征在于，所述SACS还被配置来选择性地复用具有两个或更多信号特性的音频信号成分并转发给所述至少一个接收端点，所述特性包括不同采样速率、比特率、质量和音频信号信道数目。
29.如权利要求16所述的会议系统，其特征在于，所述SACS还被配置来根据向接收端点分配优先级的会议系统优先级策略按优先级向接收端点转发增强层，所述增强层是添加信息并提高所恢复媒体的质量的层。
30.如权利要求16所述的会议系统，其特征在于，所述SACS还被配置来处理视频信号。
31.如权利要求16所述的会议系统，其特征在于，所述SACS还被配置来提供会话边界控制、媒体代理、防火墙和网络地址转换功能中的至少一个。
32.如权利要求16所述的会议系统，其特征在于，所述经编码的音频信号的所述多个质量成分包括能够独立解码的对所述音频信号的编码。
33.如权利要求16所述的会议系统，其特征在于，所述音频信号与一个或多个信号强度指标相关联，并且其中所述SACS还被配置来在所述一个或多个信号强度指标之一超出第一阈值时仅转发一个质量成分，并在所述一个或多个信号强度指标之一超出第二阈值时转发附加质量成分。
34.如权利要求16所述的会议系统，其特征在于，所述音频信号与在SACS计算的一个或多个信号强度指标相关联。
35.一种用于通过至少一个通信信道与至少一个发送端点进行音频信号通信的多端点视频信号会议系统，其中所述音频信号按成分编码使得能够从经编码的域中的位流导出多个质量，所述会议系统包括：
可缩放音频编码服务器SACS，适于通过所述至少一个通信信道链接到音频会议中的至少一个发送端点，
其中所述SACS被配置来，响应于各个不同端点的接收端点请求并基于网络条件和策略的考虑，接收并选择性地转发从所述至少一个发送端点通过所述至少一个通信信道接收到的所述音频信号的音频信号成分。
36.如权利要求35所述的会议系统，其特征在于，所述音频信号被可缩放编码成包括基层和一个或多个增强层的分层成分，所述基层是以某一基本质量水平解码或恢复原始媒体所必不可少的层，而所述增强层是添加信息并提高所恢复媒体的质量的层。
37.如权利要求35所述的会议系统，其特征在于，所述通信信道的至少一个提供了改进的服务质量。
38.如权利要求37所述的会议系统，其特征在于，所述通信信道的改进质量的服务包括所述SACS还被配置来从所述至少一个发送端点接收至少一个音频信号的基层信息的主动地重复传送。
39.如权利要求37所述的会议系统，其特征在于，所述通信信道的改进质量的服务包括所述SACS还被配置来带有向前纠错地接收发送音频信号的基层信息。
40.如权利要求37所述的会议系统，其特征在于，所述通信的改进质量的服务包括所述SACS还被配置来依据请求接收重新发送的高速缓存了的信息。
41.如权利要求35所述的会议系统，其特征在于，所述音频信号与一个或多个信号强度指标相关联。
42.如权利要求41所述的会议系统，其特征在于，所述SACS还被配置成：
将所接收到的最强的音频信号中所有质量的成分转发到除起始参与方之外的所有参与方；将所接收到的大量较弱的音频信号中少于全部质量的成分，如果有，转发到除所述起始参与方之外的所有参与方；以及
不转发所接收到的任何剩余的较弱的音频信号中的质量的成分。
43.如权利要求35所述的会议系统，其特征在于，所述至少一个通信信道包括基于分组的信道，并且其中所述SACS还被配置来将大量音频分组聚集成一个组合分组，并且转发所述组合分组。
44.如权利要求36所述的会议系统，其特征在于，所接收到的音频信号与一个或多个信号强度指标相关联，并且其中所述SACS还被配置来在所述一个或多个信号强度指标之一超出第一阈值时仅转发基层信息，并在所述一个或多个信号强度指标之一超出第二阈值时转发增强层信息。
45.如权利要求36所述的会议系统，其特征在于，所述音频信号与一个或多个信号强度指标相关联，并且其中所述一个或多个发送端点被配置来在所述一个或多个信号强度指标之一超出第一阈值时仅发送基层信息，并在所述一个或多个信号强度指标之一超出第二阈值时发送增强层信息。
46.如权利要求35所述的会议系统，其特征在于，所述SACS被配置来选择性地复用并转发具有两个或更多信号特性的音频信号成分，所述特性包括不同采样速率、比特率、质量和音频信号信道数目的至少一个。
47.如权利要求35所述的会议系统，其特征在于，所述SACS还被配置成除对音频信号进行处理之外还对视频信号进行处理。
48.如权利要求35所述的会议系统，其特征在于，所述SACS还被配置来提供会话边界控制、媒体代理、防火墙和网络地址转换功能中的至少一个。
49.如权利要求35所述的会议系统，其特征在于，所述经编码的音频信号的所述多个质量成分的每一个包括能够独立解码的对所述音频信号的编码。
50.如权利要求35所述的会议系统，其特征在于，从发送端点接收到的音频信号与信号强度指标相关联，并且其中所述SACS还被配置来在所述一个或多个信号强度指标之一超出第一阈值时仅转发基层信息，并在所述一个或多个信号强度指标之一超出第二阈值时转发增强层信息，其中所述基层是以某一基本质量水平解码或恢复原始媒体所必不可少的层，而所述增强层是添加信息并提高所恢复媒体的质量的层。
51.如权利要求35所述的会议系统，其特征在于，所述音频信号与一个或多个信号强度指标相关联，并且其中所述至少一个发送端点被配置来在所述一个或多个信号强度指标之一超出第一阈值时仅发送基层信息，并在所述一个或多个信号强度指标之一超出第二阈值时发送增强层信息，其中所述基层是以某一基本质量水平解码或恢复原始媒体所必不可少的层，而所述增强层是添加信息并提高所恢复媒体的质量的层。
52.如权利要求35所述的会议系统，其特征在于，从所述至少一个发送端点接收的所述音频信号与在所述SACS处计算的一个或多个信号强度指标相关联。
53.如权利要求35所述的会议系统，其特征在于，从所述至少一个发送端点接收的所述音频信号与在所述发送端点处计算的信号强度指标相关联。
54.一种用于电子通信网络上的多端点视频信号会议的方法，所述网络具有链接所述会议端点的通信信道以及链接一端点的、与其它信道相比具有较高质量服务的至少一个通信信道，所述方法包括：
获得经可缩放视频编码的视频信号，其中所述视频信号以包括基层和一个或多个增强层中的分层格式来编码，所述基层是以某一基本质量水平解码或恢复原始媒体所必不可少的层，而所述增强层是添加信息并提高所恢复媒体的质量的层；
选择所述经编码的视频信号的至少一个层；以及
响应于各个不同端点的接收端点请求并基于网络条件和策略的考虑，通过具有较高质量服务的所述通信信道向所述端点转发所选择层中的信息。
55.一种用于电子通信网络上的多端点音频信号会议的方法，所述网络具有链接会议端点，即，发送和接收端点的通信信道，所述方法包括：
获得编码在成分比特流中的音频信号，使得可从经编码的域中的比特流中导出多个质量；以及
响应于各个不同端点的接收端点请求并基于网络条件和策略的考虑，将通过其相应的链接通信信道从发送端点接收的音频信号成分通过其相应的链接通信信道选择性地转发到接收端点。
56.一种用于电子通信网络上的多端点视频信号会议的方法，所述网络具有链接所述会议端点的通信信道，所述方法包括：
获得经可缩放视频编码的视频信号，其中所述视频信号以包括至少一个基层和一个或多个增强层中的分层格式来编码，所述基层是以某一基本质量水平解码或恢复原始媒体所必不可少的层，而所述增强层是添加信息并提高所恢复媒体的质量的层；
选择所述经编码的视频信号的至少一个层；以及
响应于各个不同端点的接收端点请求并基于网络条件和策略的考虑，通过所述链接通信信道选择性地复用视频信号层并将其转发给所述会议端点，由此向所述会议端点提供连续出席、个性化布局、速率匹配、差错定位和随机进入特征中的至少一个。
CN201210379807.1A 2005-09-07 2006-07-21 用于低延迟和分布式会议应用的会议服务器架构的系统和方法 Active CN103023666B (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US71474105P 2005-09-07 2005-09-07
US71460005P 2005-09-07 2005-09-07
US60/714,600 2005-09-07
US60/714,741 2005-09-07
US72334705P 2005-10-04 2005-10-04
US72334805P 2005-10-04 2005-10-04
US60/723,348 2005-10-04
US60/723,347 2005-10-04
CN2006800341160A CN101502109B (zh) 2005-09-07 2006-07-21 用于低延迟和分布式会议应用的会议服务器架构的系统和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN2006800341160A Division CN101502109B (zh) 2005-09-07 2006-07-21 用于低延迟和分布式会议应用的会议服务器架构的系统和方法

Publications (2)

Publication Number Publication Date
CN103023666A CN103023666A (zh) 2013-04-03
CN103023666B true CN103023666B (zh) 2016-08-31

Family

ID=39590780

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210379807.1A Active CN103023666B (zh) 2005-09-07 2006-07-21 用于低延迟和分布式会议应用的会议服务器架构的系统和方法

Country Status (4)

Country Link
EP (1) EP1966917B1 (zh)
JP (3) JP5265383B2 (zh)
CN (1) CN103023666B (zh)
WO (1) WO2008082375A2 (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2633819C (en) * 2005-12-08 2016-12-06 Vidyo, Inc. Systems and methods for error resilience and random access in video communication systems
EP1989877A4 (en) 2006-02-16 2010-08-18 Vidyo Inc SYSTEM AND METHOD FOR DILUTING SCALABLE VIDEO-CODING BITSTRAMS
US8320450B2 (en) 2006-03-29 2012-11-27 Vidyo, Inc. System and method for transcoding between scalable and non-scalable video codecs
US7898950B2 (en) 2006-08-18 2011-03-01 Microsoft Corporation Techniques to perform rate matching for multimedia conference calls
US8773494B2 (en) 2006-08-29 2014-07-08 Microsoft Corporation Techniques for managing visual compositions for a multimedia conference call
US20100149301A1 (en) * 2008-12-15 2010-06-17 Microsoft Corporation Video Conferencing Subscription Using Multiple Bit Rate Streams
US8380790B2 (en) * 2008-12-15 2013-02-19 Microsoft Corporation Video conference rate matching
US8169936B2 (en) 2009-12-22 2012-05-01 Motorola Solutions, Inc. Decoupled cascaded mixers architechture and related methods
JP5629783B2 (ja) * 2010-01-26 2014-11-26 ヴィディオ・インコーポレーテッド 低計算量の高フレームレートビデオエンコーダ
JP6103003B2 (ja) * 2010-02-24 2017-03-29 株式会社リコー 伝送端末、伝送方法、及びプログラム
US8947492B2 (en) 2010-06-18 2015-02-03 Microsoft Corporation Combining multiple bit rate and scalable video coding
EP2408205A1 (en) * 2010-07-12 2012-01-18 Alcatel Lucent A video server, video client and method of scalable encoding video files
JP5899710B2 (ja) * 2010-09-06 2016-04-06 株式会社リコー 伝送システム
JP2012178672A (ja) * 2011-02-25 2012-09-13 Ricoh Co Ltd 中継装置、多拠点テレビ会議システム
EP2525533B1 (en) * 2011-05-16 2014-02-26 Alcatel Lucent Method and apparatus for providing bidirectional communication between segments of a home network
CN102790872B (zh) * 2011-05-20 2016-11-16 南京中兴软件有限责任公司 一种视频会议的实现方法及系统
JP5906150B2 (ja) * 2012-07-12 2016-04-20 日本電信電話株式会社 映像品質制御装置及び方法及びプログラム
GB2513345B (en) * 2013-04-23 2017-07-26 Gurulogic Microsystems Oy Data communication system and method
CN103442202B (zh) * 2013-08-22 2017-09-26 北京智谷睿拓技术服务有限公司 视频通信方法及装置
DE102013220901A1 (de) 2013-10-15 2015-04-16 Continental Automotive Gmbh Verfahren zur Übertragung von digitalen Audio- und/oder Videodaten
EP3111626B1 (en) 2014-02-28 2021-09-22 Dolby Laboratories Licensing Corporation Perceptually continuous mixing in a teleconference
JP2015192230A (ja) * 2014-03-27 2015-11-02 沖電気工業株式会社 会議システム、会議サーバ、会議方法及び会議プログラム
CN106464842B (zh) 2014-03-31 2018-03-02 宝利通公司 用于混合式拓扑媒体会议系统的方法和系统
US9332224B2 (en) 2014-05-29 2016-05-03 International Business Machines Corporation Adaptive video streaming for communication sessions
WO2016003344A1 (en) * 2014-07-04 2016-01-07 Telefonaktiebolaget L M Ericsson (Publ) Priority of uplink streams in video switching
CN106534760B (zh) * 2015-09-15 2020-07-28 华为技术有限公司 一种媒体流传输方法、设备及系统
US10531047B2 (en) 2017-09-29 2020-01-07 Apple Inc. Multiway audio-video conferencing with multiple communication channels per device
CN108243066B (zh) * 2018-01-23 2020-01-03 电子科技大学 低延迟的网络服务请求部署方法
KR102212401B1 (ko) * 2018-06-18 2021-02-04 애플 인크. 디바이스당 다중 통신 채널들을 갖는 멀티웨이 오디오-비디오 회의
EP3618442B1 (en) * 2018-08-27 2020-09-30 Axis AB An image capturing device, a method and computer program product for forming an encoded image
US20200120211A1 (en) * 2018-10-10 2020-04-16 Avaya Inc. Dynamic agent media type selection based on communication session quality of service parameters
GB202015670D0 (en) * 2020-10-02 2020-11-18 Communication Security Group Inc End-to-end encrypted group communications

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1488222A (zh) * 2000-11-30 2004-04-07 伊麦杰特通讯股份有限公司 多点视频会议和交互式广播系统的统一分布式结构
CN1529502A (zh) * 2003-10-16 2004-09-15 上海交通大学 基于对等互连的多点视频会议系统的应用层组播方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06125361A (ja) * 1992-10-09 1994-05-06 Nippon Telegr & Teleph Corp <Ntt> 音声パケット通信方式
DE19860531C1 (de) * 1998-12-30 2000-08-10 Univ Muenchen Tech Verfahren zur Übertragung codierter digitaler Signale
US6816194B2 (en) * 2000-07-11 2004-11-09 Microsoft Corporation Systems and methods with error resilience in enhancement layer bitstream of scalable video coding
US6496217B1 (en) * 2001-06-12 2002-12-17 Koninklijke Philips Electronics N.V. Video communication system using model-based coding and prioritzation techniques
JP3757857B2 (ja) * 2001-12-12 2006-03-22 ソニー株式会社 データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
KR100959573B1 (ko) * 2002-01-23 2010-05-27 노키아 코포레이션 비디오 코딩시 이미지 프레임들의 그루핑
GB2384932B (en) * 2002-01-30 2004-02-25 Motorola Inc Video conferencing system and method of operation
JP4329358B2 (ja) * 2003-02-24 2009-09-09 富士通株式会社 ストリーム配信方法、及びストリーム配信システム
US20050024487A1 (en) * 2003-07-31 2005-02-03 William Chen Video codec system with real-time complexity adaptation and region-of-interest coding
JP2005130428A (ja) * 2003-09-29 2005-05-19 Ntt Communications Kk 双方向画像通信装置、その処理方法及びクライアント装置並びにプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1488222A (zh) * 2000-11-30 2004-04-07 伊麦杰特通讯股份有限公司 多点视频会议和交互式广播系统的统一分布式结构
CN1529502A (zh) * 2003-10-16 2004-09-15 上海交通大学 基于对等互连的多点视频会议系统的应用层组播方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
分布式视频会议系统的软件实现;封浩宇，郑力明;《广东通信技术》;20021130;第22卷(第11期);全文 *

Also Published As

Publication number Publication date
JP2015080255A (ja) 2015-04-23
JP5265383B2 (ja) 2013-08-14
CN103023666A (zh) 2013-04-03
EP1966917A2 (en) 2008-09-10
JP2012239184A (ja) 2012-12-06
WO2008082375A2 (en) 2008-07-10
EP1966917B1 (en) 2016-05-04
WO2008082375A3 (en) 2008-12-31
JP2009518996A (ja) 2009-05-07
EP1966917A4 (en) 2011-07-06

Similar Documents

Publication Publication Date Title
CN103023666B (zh) 用于低延迟和分布式会议应用的会议服务器架构的系统和方法
AU2009225308B2 (en) System and method for a conference server architecture for low delay and distributed conferencing applications
US7593032B2 (en) System and method for a conference server architecture for low delay and distributed conferencing applications
CN101502109B (zh) 用于低延迟和分布式会议应用的会议服务器架构的系统和方法
CN1969562B (zh) 在无线通信系统中的音频和视频数据的同步
CA2662812C (en) System and method for multipoint conferencing with scalable video coding servers and multicast
CN102036071B (zh) 用于视频通信系统中的差错弹性和随机接入的系统和方法
CN100531210C (zh) 一种用于移动流媒体传输的无缝切换的方法
CA2615459C (en) System and method for a conference server architecture for low delay and distributed conferencing applications
JP2005506812A (ja) 会議に参加するための多様な端末が接続可能な音声、映像その他のデータブリッジから構成される会議システム
KR101951221B1 (ko) 멀티미디어 방송 서비스 시스템, 멀티미디어 방송 중계를 위한 무선 중계장치 및 그 멀티미디어 방송 중계방법
US20130042278A1 (en) Method and apparatus for providing video service
Li Scalable and adaptive video multicast over the internet
Chen et al. Dynamic resource allocation for robust distributed multi-point video conferencing
Gopal et al. Regenerative satellite mesh system for realtime multi-party multimedia traffic
Johanson Video communication over the Internet
Yin et al. An adaptive real-time multimedia distance learning system based on computer supported collaborative work
Mvumbi Literature review–Web Conferencing Systems
KR20130019225A (ko) 멀티미디어 통신에서 고화질의 끊김 없는 서비스 요청/요구사항을 위한 처리 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant