CN101669324A - 多点视频会议中对带宽进行优化 - Google Patents

多点视频会议中对带宽进行优化 Download PDF

Info

Publication number
CN101669324A
CN101669324A CN200880013465A CN200880013465A CN101669324A CN 101669324 A CN101669324 A CN 101669324A CN 200880013465 A CN200880013465 A CN 200880013465A CN 200880013465 A CN200880013465 A CN 200880013465A CN 101669324 A CN101669324 A CN 101669324A
Authority
CN
China
Prior art keywords
video
end points
mcu
stream
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200880013465A
Other languages
English (en)
Other versions
CN101669324B (zh
Inventor
拉加·K·V·R·卡利帕特那普
拉杰什·维利亚特
克鲁塔斯·M·沙赫
莫西·V·艾特玛酷睿
考·T·瑞恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cisco Technology Inc
Original Assignee
Cisco Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cisco Technology Inc filed Critical Cisco Technology Inc
Publication of CN101669324A publication Critical patent/CN101669324A/zh
Application granted granted Critical
Publication of CN101669324B publication Critical patent/CN101669324B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1822—Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10—Architectures or entities
    • H04L65/1046—Call controllers; Call servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H04L65/1104—Session initiation protocol [SIP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H04L65/4038—Arrangements for multi-party communication, e.g. for conferences with floor control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/562—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities where the conference facilities are distributed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/567—Multimedia conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

多个多点会议单元(MCU)可通过选择特定的视频流以发送至参与视频会议的端点和/或其他MCU来优化带宽。端点可生成视频流和音频流，并且将这些流发送至它的管理MCU。在视频会议期间，端点还可接收和显示不同的视频流和不同的音频流。在具体实施例中，受控MCU从它的受管理端点接收视频流，基于任一端点能够并发显示的视频流的最大数目来选择潜在视频流，并且向主MCU发送这些潜在视频流。MCU还可以从它的受管理端点接收视频流，并且可以选择活动视频流用于发送至它的受管理端点和受控MCU，受控MCU向它的受管理端点发送选中的流。

Description

多点视频会议中对带宽进行优化
技术领域
本发明一般地涉及电信，并且更具体地涉及多点视频会议中对带宽进行优化。
背景技术
存在可用于成组的个体参与会议的很多方法。一种进行视频会议的普通方法涉及第一位置处的个体参与和位于至少一个远程位置的一个或多个个体的视频和音频通信。视频会议通常需要相当大的带宽以容纳实时传输的数据量，特别是与音频会议相比。
发明内容
根据本发明，提供了用于在多点视频会议中优化带宽的技术。根据具体实施例，这些技术描述了通过发送选中的视频流来减小视频会议期间所使用的带宽的量的方法。
根据具体实施例，一种用于在视频会议期间优化带宽的系统包括：多个多点会议单元(MCU)，每个MCU都能够辅助两个或更多参与者之间的视频会议。MCU还能够辅助包括由两个或更多MCU管理的参与者的级联(cascade)的视频会议。所述系统还包括多个端点，这多个端点参与视频会议。每个端点能够建立与MCU中的选中的一个MCU的会议链接，生成多个视频流和相应多个音频流，在会议链接上发送所生成的视频流和所生成的音频流，接收多个视频流和多个音频流，利用多个扬声器呈现所接收的音频流，并且利用多个监视器显示所接收的视频流。所述系统还包括MCU中的受控MCU，受控MCU管理第一组端点。受控MCU能够：(1)接收包括了从第一组端点中的每一个端点生成的视频流的第一组可用视频流，(2)从第一组可用视频流中选出N个潜在(potential)视频流，其中N等于任一端点能够并发显示的活动视频流的最大数目，并且(3)向MCU中的主MCU发送潜在视频流。所述系统还包括主MCU，主MCU管理第二组端点。主MCU能够：(1)接收包括了从第二组端点中的每一个端点生成的视频流以及来自受控MCU的潜在视频流的第二组可用视频流，(2)从第二组可用视频流中选出活动视频流，其中活动视频流包括N个主要视频流和M个替代视频流，(3)确定活动视频流中所需的视频流，用于传送至第一组端点中的一个或多个端点，并且(4)将活动视频流中所需的视频流发送至受控MCU。
本发明的实施例提供了各种技术优点。例如，这些技术可减小多点视频会议所需要的带宽。通过减小带宽，额外视频会议可以基本上同时发生。此外，在较少带宽可用的情况下，可发起和维持优化了带宽的视频会议。在某些实施例中，有限的带宽连接使用这些带宽减小技术以支持高清晰度的视频会议。在一些实施例中，通过从总体数目的可用视频流中发送仅特定的视频流，可减少网络业务量和产生的错误。此外，在具体实施例中，降低了对接收(一个或多个)视频流的装置的处理要求。如果更少的视频流被发送，则接收装置可处理更少的接收到的视频流。
从下面的附图、说明书和权利要求中，本领域的技术人员将会容易明白本发明的其他技术优点。此外，虽然具体优点已被列举在上面，但是各种实施例可全部地、一些地或者不包括所列举的优点。
附图说明
为了更完整地理解本发明及其优点，结合附图参考下面的描述，其中：
图1示出用于优化多点视频会议中的带宽的系统；
图2是示出示例三重端点的框图，该端点生成三个视频流并且显示三个接收到的视频流；
图3示出多点控制单元(MCU)，该单元通过选择某些视频流以发送至视频会议参与者来优化多点视频会议期间的带宽；
图4是示出在主MCU处和在受控MCU处执行的优化带宽的方法的流程图；
图5是示出用于通过选择某些视频流以发送至视频会议参与者来优化MCU处的带宽的特定方法的流程图；并且
图6示出示例多点视频会议，该视频会议通过选择特定视频流以发送至端点和/或MCU来优化带宽。
具体实施方式
图1示出用于优化多点视频会议中的带宽的系统，该系统总地指示为10。如所示出的，视频会议系统10包括网络12。网络12包括端点14、日历服务器16、呼叫服务器18、远程会议服务器20和多点控制单元(MCU)22(有时被称为多点会议单元)。总的说来，视频会议系统10内的元件互操作(interoperate)以优化视频会议期间所使用的带宽。
在具体实施例中，MCU 22可通过选择发送至端点14和/或其他MCU22的具体视频流，来优化视频会议期间所使用的带宽。在某些实施例中，当端点14中止发送未使用的视频流时，也可在视频会议期间优化带宽。例如，如果音频流指示在某个时间段中没有活动的说话者，则管理MCU22可指示发送端点14停止发送相应的视频流。作为另一示例，不是接收来自管理MCU 22的指令，而是端点14可自己确定它的音频流没有活动说话者并且临时间断相应视频流的发送。
网络12将系统10的元件互连并且辅助视频会议系统10中端点14之间的视频会议。网络12表示包括了用于将耦合至网络12的或网络12内的元件互连的硬件和任何适当的控制逻辑的通信设备。网络12可包括局域网(LAN)，城域网(MAN)，广域网(WAN)，任何其他的公用或专用网，本地的、区域的或全球的通信网络，企业内联网，其他合适的有线或无线通信链路，或者任何合适网络的任何组合。网络12可包括网关、路由器、集线器、交换机、接入点、基站以及实现合适的协议和通信的任何其他硬件或软件的任何组合。
端点14表示支持参与视频会议的电信设备。视频会议系统10的用户可使用端点14之一以参与视频会议。端点14可包括任何合适的视频会议设备，例如扬声器、麦克风、扬声器电话、显示器、相机和网络接口。在例示实施例中，视频会议系统10包括六个端点14a、14b、14c、14d、14e、14f。在视频会议期间，每个参与端点14都可生成一个或多个音频、视频和/或数据流，并且可将这些音频、视频和/或数据流发送至MCU 22中管理的一个。端点14还可为每个音频流生成和发送置信值(confidencevalue)，其中置信值指示音频流包括活动说话者的话音的可能性。每个端点14还可显示或投射(project)从管理MCU 22接收的一个或多个音频、视频和/或数据流。如下面更充分地描述的，MCU 22可建立并辅助两个或更多的端点14之间的视频会议。
在具体实施例中，端点14被配置为生成和显示(或投射)相同数目的音频和视频流。例如，“单重(single)”端点14可生成一个音频流和一个视频流，并且显示一个接收到的音频流和一个接收到的视频流。“双重(double)”端点14可生成两个音频流和两个视频流，每个流通过该端点14传送参与视频会议的一个或多个用户的声音或图像。双重端点14还可包括用于显示和呈现多个视频和音频流的两个视频屏幕和多个扬声器。类似地，具有“三重(triple)”配置的端点14可包含用于生成和发送多达三个视频流的三个视频屏幕、三个相机，以及用于接收和投射音频信号的三个麦克风和扬声器的组。在某些实施例中，视频会议系统10中的端点14包括任何数目的单重、双重和三重端点14。端点14可生成和显示大于三的音频和视频流。此外，在具体实施例中，一个或多个端点14可生成与端点14能够显示的数目相比不同数目的音频、视频和/或数据流。
此外，端点14可包括利用任何合适的协议技术或方法建立和辅助视频会议的任何合适的组件和装置。例如，会话发起协议(SIP)或H.323可被使用。此外，端点14可支持支持了诸如H.261、H.263和/或H.264之类的其他标准的、以及具有纯音频电话装置的其他视频系统，并且对这些其他视频系统是不可操作的(inoperable)。虽然视频会议系统10被示出为具有六个端点14，但是被理解的是，视频会议系统10可包括任何合适配置的任何合适数目的端点14。
日历服务器16使用户能在一个或多个端点14之间调度视频会议。日历服务器16可执行编排日历(calendaring)操作，例如接收视频会议请求、存储所调度的视频会议和提供对所调度的视频会议的通知。在具体实施例中，用户可借助在编排日历应用中调度会议通过日历服务器16来组织视频会议。用户可通过端点14之一或通过用户的个人计算机、蜂窝或工作电话、个人数字助理(PDA)或任何适当的装置来访问编排日历应用。日历服务器16可使组织者能指定所调度的视频会议的各种方面，例如视频会议中的其他参与者、视频会议的时间、视频会议的持续时间以及视频会议所需要的任何资源。一旦用户已调度了视频会议，日历服务器16就可存储视频会议的必要信息。日历服务器16还可向组织者提醒视频会议或者向组织者提供关于所调度的视频会议的额外信息。
呼叫服务器18协调网络12中某音频、视频和/或数据通信的发起、维持和终止。在具体实施例中，呼叫服务器18辅助了端点14之间的IP语音(Voice-over-Internet-Protocol)(VoIP)通信。例如，呼叫服务器18可辅助实现了基于分组的媒体流通信的端点14之间的信号发送。呼叫服务器18可保存与网络12中的端点14或其他装置有关的任何必要信息。
远程会议服务器20协调视频会议系统10中端点14之间的视频会议的发起、维持和终止。远程会议服务器20可访问日历服务器16以获得关于所调度的视频会议的信息。远程会议服务器20可使用此信息来预约网络12中的装置，例如端点14和MCU 22。远程会议服务器20可在视频会议的发起之前预约网络12中的各种元件(例如端点14和MCU 22)，并且可在视频会议期间修改这些预约。例如，远程会议服务器20可使用关于所调度的视频会议的信息来确定端点14a、14b、14e将被预约，从4:00p.m.EST直到5:00p.m.EST，用于将由MCU 22a建立和维持的视频会议。此外，在具体实施例中，远程会议服务器20负责在视频会议终止之后释放资源。
远程会议服务器20可确定哪一个或多个MCU 22将会建立视频会议、以及哪些端点14将会连接到所分配的MCU 22中的每一个。远程会议服务器20还可确定“主”MCU 22以及一个或多个“受控”MCU 22。在具体实施例中，远程会议服务器20基于各种不同因素，例如参与端点14的位置、一个或多个MCU 22的容量、网络连接性以及网络12中不同装置之间的等待时间和带宽，来选择用于参与视频会议的主MCU 22以及一个或多个受控MCU 22。在作出哪些MCU 22将会作为主MCU 22和(一个或多个)受控MCU 22来参与视频会议的决定之后，远程会议服务器20可向这些MCU 22发送消息告知它们主和/或受控的指定。此消息可被包括在关于视频会议所发送的其他消息内。在具体实施例中，主和受控MCU 22由视频会议系统10中的不同装置来选择。
在具体实施例中，远程会议服务器20将MCU 22a和MCU 22b分配给涉及端点14a、14b、14c、14d、14e和14f的视频会议。远程会议服务器20还可确定MCU 22a将会管理端点14a、14b、14c，同时MCU 22b将会管理端点14d、14e、14f。远程会议服务器20还可确定MCU 22a和MCU22b如何交互和/或连接的细节，例如，MCU 22a可被指定为主MCU，MCU 22b可被指定为受控MCU。虽然视频会议系统10被示出和描述为具有具体配置，但是要理解，远程会议服务器20可发起、维持和终止视频会议系统10中任何端点14与任何MCU 22之间的视频会议。
总的说来，MCU 22可建立视频会议、在视频会议期间控制和管理端点14、并且辅助视频会议的终止。MCU 22可管理哪些端点14参与哪些视频会议，并且可控制向受管理端点14发送的和从受管理端点14发送的视频、音频和/或数据流。
在具体实施例中，MCU 22可通过在视频会议期间选择某(一个或多个)视频流以发送至端点14和/或其他MCU 22，来优化带宽。例如，当带宽在端点14和/或MCU 22之间是有限的时候，这可能是重要的。所选择的视频流的数目可直接与任何一个端点14可并发显示的流的最大数目有关。为了选择视频流，MCU 22可标识出提供识别要选择哪些流的准则的一个或多个策略。在具体实施例中，远程会议服务器20确定哪个策略或哪些策略将被用于具体视频会议，并且发送此信息至MCU 22。在具体实施例中，参与视频会议的其他装置将会选择该一个或多个策略来用，并且发送此信息至MCU 22。例如，一个策略可指定特定视频流应当显示在参与视频会议的所有端点14处(例如，用于从一个端点14到所有其他参与端点14的演讲或陈述)。结果，MCU 22可选择至少此特定视频流用于发送至视频会议中涉及的端点14和/或MCU 22。
作为另一示例，一种策略可指定活动说话者应当显示在端点14处。活动说话者可以是当前正在通信(例如说话)的用户，或者活动说话者可以是通信的最后用户。结果，MCU 22可确定一个或多个活动说话者，并且选择(一个或多个)相应视频流用于发送至视频会议中涉及的端点14和/或MCU 22。例如，为了确定活动说话者，MCU 22a可监控从受管理端点14a、14b、14c接收的音频流。如果端点14a、14b和14c被配置为三重，则MCU 22a监控和分析九个音频流。为了确定活动说话者，MCU 22a可估计与每个接收到的音频流相关联的置信值。置信值可通过发送端点14来生成，并且可指示音频流包含活动说话者的音频的可能性。此外，MCU22a可分析音频流以识别任何活动说话者。如果活动说话者被识别出在来自端点14b的音频流之一中，则MCU 22a选择相应的视频流用于发送。当参与视频会议的端点14被配置为单重、双重或三重时，那么MCU 22a可识别三个活动说话者，用于利用多达三个的视频流向端点14发送。在具体实施例中，MCU 22还选择一个或多个替代活动说话者，从而活动说话者不被显示自身的图像。此外，除选择和发送视频流以外，MCU 22可接收来自受管理端点14的音频流，并且向参与视频会议的端点14和MCU22全部地、一些地或者不转发这些流。
虽然可以描述这些具体策略，但是被理解的是，当为了优化带宽而在视频会议期间选择具体视频流来传输时，可使用任何合适的策略。此外，虽然视频会议系统10被示出和描述为包含两个MCU，但是被理解的是，视频会议系统10可包括任何合适数目的MCU。例如第三个MCU可连接至MCU 22b。在此示例中，MCU 22b可以以类似于受管理端点14的方式来与第三个MCU交互，并且第三个MCU可以以和MCU 22a与MCU 22b交互大致相同的方式来与MCU 22b交互。
在示例操作中，端点14通过向其他端点14发送音频、视频和/或数据流以及从其他端点14接收流(MCU 22控制这媒体流)来参与视频会议。例如，MCU 22a可建立与端点14a、14b、14c和MCU 22b的视频会议，其中MCU 22b可将端点14d、14e、14f连接至视频会议。MCU 22a可被指定为主MCU，同时MCU 22b被指定为受控MCU。MCU 22a、22b可发送和接收由端点14a、14b、14c、14d、14e和14f生成的音频、视频和/或数据流中的各种流。为了优化带宽，MCU 22b可选择特定视频流以发送至MCU 22a，并且MCU 22a可选择特定视频流以发送至MCU 22b和受管理端点14。MCU 22还可通过指示一个或多个受管理端点14不发送视频流来优化带宽。
在具体实施例中，端点14a、14b、14c、14d、14e、14f具有单重配置，每个都生成一个视频流，并且每个都能够显示一个接收到的视频流。此外，端点14a、14b、14c、14d、14e、14f每个都可生成一个音频流并且接收一个聚合(aggregate)的音频流。受控MCU，MCU 22b，可从受管理端点14d、14e、14f接收三个音频流和三个视频流。从这些音频流中，MCU 22b可确定活动说话者，选择相应的视频流，并且发送此视频流至MCU 22a。在具体实施例中，如果活动说话者是不可得的，则MCU 22b可选择和发送对应于适度活动的说话者的视频流。MCU 22b还可将与受管理端点14d、14e、14f相对应的三个音频流发送至MCU 22a。主MCU，MCU 22a，可接收：来自MCU 22b的视频流、来自MCU 22b的音频流、以及来自受管理端点14a、14b、14c中的每一个的视频流和音频流。对于六个接收到的音频流，MCU 22a可确定所有参与端点14中的活动说话者。可替代地，MCU 22a可使用仅仅四个音频流(来自受管理端点14a、14b、14c的三个以及与MCU 22b所发送的视频流相对应的一个)，因为MCU 22b已经从它的受管理端点14d、14e、14f之中选出了“胜利的”音频/视频组合。MCU 22a然后可选择对应于所识别的活动说话者的视频流，并且向端点14a、14b、14c和MCU 22b发送此视频流。MCU 22a还可聚合六个接收到的音频流，并且向端点14a、14b、14c和MCU 22b发送聚合的音频流。在接收到此视频流和聚合音频流之后，MCU 22b可向端点14d、14e、14f发送此视频流和聚合音频流。
在某些实施例中，MCU 22a将会选择两个视频流以确保活动说话者不收到它自己的视频流。例如，可能不希望向正在进行说话的用户显示活动说话者的图像。因此，MCU 22可确定活动说话者和替代的活动说话者。替代的活动说话者可以是先前的活动说话者(在当前的活动说话者被选择之前)，或者替代的活动说话者可指示正在比活动说话者更小声地说话的说话者。虽然大多数端点14接收对应于活动说话者的视频流，但是与活动说话者相关联的端点14可接收对应于替代的活动说话者的视频流。例如，MCU 22b可选择对应于端点14d的视频流，并且可发送此视频流至MCU 22a。在分析了接收到的音频流之后，MCU 22a可确定端点14d包含活动说话者并且端点14a包含替代的活动说话者，例如因为端点14a先前是活动说话者。MCU 22a向受管理端点14a、14b、14c发送对应于端点14d的视频流。另一方面，MCU 22a向MCU 22b发送既与端点14a相对应的又与端点14d相对应的视频流。MCU 22b然后可向端点14e、14f发送对应于端点14d的视频流，并且可向端点14d发送对应于端点14a的视频流。
虽然已参考被配置为单重端点14的端点14描述了优化带宽，但是被理解的是，可修改这些技术并且使这些技术适于支持包括任何合适数目的单重、双重、三重和/或更大重数的端点的视频会议系统10。在具体实施例中，视频会议系统10包括各种不同类型的端点14。在具体实施例中，MCU 22a仅将与它的受管理端点14a、14b、14c相对应的(一个或多个)视频流发送至MCU 22b，因为MCU 22b缓冲了由它的受管理端点14d、14e、14f接收到的视频流，并且因此MCU 22a不需要发送这些流给MCU22b。在一些实施例中，不是选择和发送视频流给MCU 22a，而是MCU22b将接收到的音频流转发至MCU 22a，直到被MCU 22a指示发送特定视频流。
视频会议系统10的具体实施例已被描述，并且不希望是全部包括的。虽然视频会议系统10被描绘为包含元件和装置的某配置和布置，但是应当注意，这是逻辑描绘，并且可以既逻辑地又物理地酌情组合、分开和分布视频会议系统10的组件和功能。此外，可通过组件的任何合适的聚集和布置来提供视频会议系统10的功能。视频会议系统10内的元件所执行的功能可由在视频会议期间优化带宽的任何合适装置来实现。
图2是示出示例三重端点14的框图，该端点14生成三个视频流并且显示三个接收到的视频流。端点14可包括参与视频会议的任何合适数目的用户30。总的说来，即使端点14处监视器36的数目可能少于其他端点14为视频会议生成的视频流的数目，视频会议系统10也通过端点14向用户30提供逼真的视频会议体验。
用户30表示可出席视频会议的一个或多个个体或者成组的个体。用户30可利用诸如音频因特网协议(IP)电话、视频电话器具、基于个人计算机(PC)的视频电话和流客户端(streaming client)之类的任何合适的装置和/或组件来参与视频会议。在视频会议期间，用户30可作为说话者或作为观察者参与视频会议。
遥现设备32辅助了在不同端点14处的用户30之间的视频会议。遥现设备32可包括建立和辅助视频会议的任何合适的元件和装置。例如，遥现设备32可包括扬声器、用户接口、控制器、麦克风或扬声器电话。在所示的实施例中，遥现设备32包括相机34、监视器36、麦克风38、扬声器40、控制器42、存储器44和网络接口46。
相机34和监视器36生成和投射视频会议期间的视频流。相机34可包括辅助捕捉一个或多个用户30和周围区域的图像以及提供图像给其他用户30的任何合适的硬件和/或软件。每个视频信号可作为分开的视频流来发送(例如，每个相机34都发送它自己的视频流)。在具体实施例中，相机34捕捉和发送一个或多个用户30的图像作为高清晰度视频信号。监视器36可包括辅助接收(一个或多个)视频流和向用户30显示接收到的视频流的任何合适的硬件和/或软件。例如，监视器36可包括笔记本PC、墙上安装的监视器、地板上安装的监视器或自立式(free standing)监视器。虽然，如所示出的，端点14包含：每个用户30一个相机34和一个监视器36，但是被理解的是，端点14可包含每个都与任何合适数目的用户30相关联的任何合适数目的相机34和监视器36。
麦克风38和扬声器40生成和投射视频会议期间的音频流。麦克风38提供来自用户30的音频输入。麦克风38可从每个麦克风38周围的噪声生成音频流。扬声器40可包括辅助接收(一个或多个)音频流和向用户30投射接收到的音频流的任何合适的硬件和/或软件。例如，扬声器40可包括高保真扬声器。虽然，如所示出的，端点14包含：每个用户30一个麦克风38和一个扬声器40，但是被理解的是，端点14可包含每个都与任何合适数目的用户30相关联的任何合适数目的麦克风38和扬声器40。
控制器42控制遥现设备32的操作和管理。控制器42可处理从诸如麦克风38、相机34和网络接口46之类的、遥现设备32的其他元件接收的信息和信号。控制器42可包括任何合适的硬件、软件和/或逻辑。例如，控制器42可以是可编程逻辑器件、微控制器、微处理器、任何合适的处理装置或上述的任何组合。存储器44可存储在提供视频会议功能方面由控制器42使用的任何数据或逻辑。在一些实施例中，存储器44可存储全部或部分的视频会议。存储器44可包括任何形式的易失性或非易失性存储器，包括但不限于磁介质、光介质、随机存取存储器(RAM)、只读存储器(ROM)、可拆卸介质、或任何其他合适的本地或远程存储组件。网络接口46可向网络12传送信息和信号，并且从网络12接收信息和信号。网络接口46表示任何端口或连接，真实或虚拟的，包括使遥现设备32能与视频会议系统10中的网络12、其他遥现设备32和/或其他装置交换信息和信号的任何合适的硬件和/或软件。
当端点14参与视频会议时，视频流可由每个相机34生成并且被发送至呼叫的远端参与者。类似地，端点14可利用麦克风38捕捉相应的音频流并且与视频流一起发送这些音频流。在多点视频会议的情况下，远端参与者可以是选出的管理MCU 22，并且管理MCU 22可能需要或者可能不需要一个或多个视频流。对于这些和类似的情况，端点14可支持暂停一个或多个它的视频流的发送。例如，如果对应于特定相机34的麦克风38已超过针对给定时间段的预定阈值还没检测到输入，则MCU 22可指示端点14中止发送由相应相机34生成的视频流。响应地，端点14可临时停止发送视频流。此时间段可被自动调节，并且可以启发式地或利用可配置的参数来确定。可替代地或附加地，端点14可独立确定它的视频流是不需要的并且可单向地暂停发送。如果MCU 22检测到活动说话者可能对应于被停止的视频流，则MCU 22可发送开始视频消息至适当的端点14。可替代地或附加地，在检测到超过预定阈值的输入之后，端点14可重启视频流的发送。
根据具体实施例，控制器42监控来自麦克风38的输入，并且向每个输入音频流指派置信值。例如，端点14可指派从1到10(或者任何其他合适的范围)的置信值，该置信值指示麦克风38正在从相应的(一个或多个)用户30接收所希望的音频输入的可能性。为了生成这些置信值，端点14可使用任何适当的算法和数据。例如，端点14可处理接收到的音频输入，并且甚至可使用从适当相机34接收的相应视频输入来确定相应的(一个或多个)用户30希望提供输入的可能性。在规则的间隔或其他适当时间，端点14可将这些经测量的置信值嵌入它的音频流中，或者以另外的方式将这些值发信号给管理MCU 22。在某些实施例中，端点14将用于每个视频流的置信值发送至它的管理MCU 22。MCU 22然后可使用这些置信值来帮助选择活动的音频和视频流，它们可被提供至参与视频会议的端点14。
在视频会议期间，端点14可在监视器36上显示三个视频流(或者更多，在单个监视器36显示多个视频流的情况下)。在具体实施例中，端点14利用对哪个监视器36应当显示每个视频流的指示来接收三个视频流。作为具体示例，考虑四个三重端点14之间的视频会议。在此示例中，参与端点14总共生成十二个视频流。在会议期间，MCU 22确定哪些视频流将由参与端点14处的哪些监视器来显示。在此示例中，从每个端点14接收的三个视频流可被指定为左、中和右流。在每个参与端点14处，监视器36将会显示活动的左视频流、活动的中视频流和活动的右视频流。这提供了用于维持参与者的空间一致性的相对直接的技术。
为了避免迫使活动说话者观看它自己的视频馈给(feed)，MCU 22可选择替代的视频馈给，例如先前的活动视频流。例如，如果参与端点14的左视频流被选为活动流，则MCU 22可向此端点14提供替代的左视频流。
如果单重或双重端点14也参与和三重端点14的呼叫，则MCU 22可使用适当的技术来确保来自这些端点14的视频流维持空间一致性。例如，MCU 22可确保来自双重端点14的视频馈给总是保持在所有显示器上正确的左-右配置中。然而，应当明白，来自具有小于最大数目的监视器的端点14的视频流可被不同地对待，同时仍然维持参与者之间的空间一致性。例如，在不损害空间一致性的情况下，来自单重端点14的视频馈给可被置于左、中或右监视器36上。
在具体实施例中，主MCU 22创建和存储“虚拟表”，该虚拟表维持了参与视频会议的所有用户的空间一致性。使用此虚拟表以及与选择哪些视频流用于发送有关的策略，MCU 22可确定哪些监视器36显示视频流中的哪些。例如，通过使用虚拟表，MCU 22a可确定针对左监视器36a、中监视器36b和右监视器36c的活动说话者。这可实现用于确定适当的视频馈给以显示在每个端点14处的监视器36上的更复杂的算法。然而，系统10考虑到了MCU 22使用用于确定哪些视频馈给显示在哪些监视器36上的任何合适的算法。例如，系统操作者可确定空间一致性是不重要的，并且MCU 22可被配置为当选择和提供视频流时完全不管空间关系。
此外，在某些实施例中，端点14可将一个或多个监视器36的部分划分成分开区，每个区仿佛它是分开的监视器般发挥作用。通过将监视器划分成分开区，端点14可以能够显示额外的视频流。
生成和接收三个视频流的端点14的具体实施例已被描述，并且不希望是全部包括的。要理解，虽然端点14被描述为具有三重配置，但是端点14可生成和接收任何合适数目的音频和视频流。生成的音频流、接收到的音频流、生成的视频流和接收到的视频流的数目可以是不同的。虽然端点14被描绘为包含元件和装置的某配置和布置，但是应当注意，这是逻辑描绘，并且可以既逻辑地又物理地酌情组合、分开和分布端点14的组件和功能。例如，端点14可包括任何合适数目的相机34和监视器36以辅助视频会议。此外，可通过组件的任何合适的聚集和布置来提供端点14的功能。
图3示出多点控制单元(MCU)，该单元总地指示为MCU 22，该单元通过选择某些视频流以发送至视频会议参与者来在多点视频会议期间优化带宽。视频会议参与者可包括一个或多个受管理端点14和/或其他MCU22。在所示的实施例中，MCU 22包括网络接口50、控制器52、交叉点交换器54和存储器56。
网络接口50支持与视频会议系统10的其他元件的通信。网络接口50可与端点14和其他MCU 22相连接。在具体实施例中，网络接口50可包括有线以太网接口。虽然被描述和示出为MCU 22内的单个组件，但是被理解的是，这是逻辑描绘。网络接口50可由用于将MCU 22与视频会议系统10的其他元件和/或网络12相接口的任何合适的组件、硬件、软件和/或逻辑所组成。这里所使用的术语“逻辑”包括软件、固件以及可运行以执行操作的计算机可读代码。
总的说来，控制器52控制MCU 22的操作和功能。控制器52可处理由MCU 22通过网络接口50接收的信息。控制器52还可访问存储器56中的信息以供操作期间使用并且在该存储器56中存储信息。虽然被描绘为MCU 22中的单个元件，但是被理解的是，控制器52的功能可由一个或多个元件来执行。控制器52可具有控制MCU 22的操作的任何合适的额外功能。
交叉点交换器54一般地使MCU 22能接收和转发从端点14和/或其他MCU 22接收到的分组至端点14和/或其他MCU 22。在具体实施例中，MCU 22接收来自一个或多个端点14的视频、音频和/或数据流中的分组，并且转发这些分组至另一MCU 22。交叉点交换器54可转发特定视频流至端点14和/或其他MCU 22。在具体实施例中，交叉点交换器54确定活动说话者。为了确定活动说话者，交叉点交换器54可分析从受管理端点14和/或其他MCU 22接收的音频流以确定哪个端点14包含正在口头通信的用户。在具体实施例中，交叉点交换器54估计与每个接收到的音频流相关联的置信值以确定(一个或多个)活动流。基于(一个或多个)活动说话者，MCU 22可选择视频流以发送至受管理端点14和/或其他MCU22。交叉点交换器54还可聚合从端点14和/或其他MCU 22接收的一些或全部音频流。在具体实施例中，交叉点交换器54转发聚合的音频流至受管理端点14和其他MCU 22。交叉点交换器54可包含执行这些功能或任何其他合适功能的硬件、软件、逻辑和/或任何适当的电路。此外，虽然被描述为MCU 22内的不同元件，但是被理解的是，网络接口50和交叉点交换器54是逻辑元件并且可物理地实现为MCU 22中的一个或多个元件。
存储器56存储由MCU 22使用的数据。在所示的实施例中，存储器56包含端点信息58、会议信息60、虚拟表62、选择策略64和选择数据66。
端点信息58和会议信息60分别可包括与受管理端点14和涉及端点14的视频会议有关的任何合适的信息。例如，端点信息58可存储与指派给用于特定视频会议的MCU 22的端点14的数目和类型有关的信息。端点信息58还可指定从特定端点14预期的视频、音频和/或数据流的数目(如果有的话)。端点信息58可指示每个端点14预期接收的视频流的数目。在具体实施例中，当MCU 22被指定为用于特定视频会议的主MCU时，端点信息58存储与参与视频会议的所有端点14有关的信息。会议信息60可包含与MCU 22将会建立或管理的经调度的或专门的视频会议有关的信息。例如，会议信息60可包括视频会议的调度开始时间和持续时间，并且可包括视频会议所必需的额外资源。在具体实施例中，会议信息60包括与可能正在参与特定视频会议的其他MCU 22有关的信息。例如，会议信息60可包括对于哪个MCU 22将会在视频会议期间作为主MCU 22来操作以及哪些其他MCU 22(如果有的话)将会作为受控MCU 22来操作的指定。在具体实施例中，哪个MCU 22被指定为主MCU 22可基于任何数目的因素在视频会议期间被修改，这些因素例如哪些端点14连接至会议、从会议断开和/或包含最活动的说话者。在某些实施例中，用于特定视频会议的主MCU 22具有大于或等于由任何参与的受控MCU 22管理的端点14的数目的受管理端点14的数目。要理解，存储器56可包括与视频会议系统10内的端点14、MCU 22和/或任何其他元件有关的任何合适的信息。
虚拟表62维持视频会议期间参与者的空间一致性。在具体实施例中，利用虚拟表62，MCU 22确保特定三重端点14的左侧的相机34c总是显示在任何三重端点14的左监视器36c上。对虚拟表的指派可持续视频会议的持续时间。因此，当多于一个的监视器在端点14处可用时，MCU 22可使用虚拟表62来确保远程用户贯穿视频会议都显示在相同的监视器上。这可使得用户更容易识别所显示的用户是谁和在哪。在具体实施例中，由虚拟表62表示的虚拟表处的位置针对每个端点14都是不同的。例如，虽然特定视频流可显示在端点14b的左监视器36上，但是相同的视频流可显示在端点14a的中监视器上。虽然以具体的方式来描述，但是被理解的是，虚拟表62可以以任何适当的方式为用户指定虚拟的“位置”。
MCU 22还可包括一个或多个选择策略64。每个选择策略64都可标识用于选择视频流以在视频会议期间发送的特定算法。例如，选择策略64之一可指定特定视频流应当显示在参与视频会议的所有端点14处。结果，MCU 22可选择至少此特定视频流用于发送至视频会议中涉及的端点14和/或MCU 22。例如，当个体正在作陈述或者当公司的CEO正在对各种不同办公室处的雇员演讲时，此选择策略64可以是适当的。作为另一示例，一种策略可指定一个或多个活动说话者应当显示在端点14处。结果，MCU 22可确定(一个或多个)活动说话者，并且选择与这些(一个或多个)活动说话者相对应的(一个或多个)视频流用于发送至视频会议中涉及的端点14和/或MCU 22。MCU 22可使用任何合适的手段来确定使用哪一个或多个选择策略64。例如，会议信息60可标识哪一个或多个选择策略64应用于特定视频会议期间。
选择数据66存储由选择策略64用来确定哪些视频流发送至端点14和/或其他MCU 22的数据。例如，如果活动说话者选择策略64被选中，则选择数据66可标识(一个或多个)活动说话者。在具体实施例中，选择数据66还指定(一个或多个)替代的活动说话者，从而，不是看到他自身的视频，而是当前的活动说话者被示出对应于替代活动说话者的视频流。
在操作中，充当主MCU的MCU 22选择特定视频流以发送至一个或多个端点14和/或其他MCU 22，以便优化视频会议期间的带宽使用。MCU 22可标识当选择视频会议期间的视频流时使用的一个或多个选择策略64，例如主要说话者优先(override)和/或活动说话者。如果活动说话者选择策略64被建立，则MCU 22可选择特定的视频流来发送。在具体实施例中，此选择基于活动说话者、替代的活动说话者、虚拟表62中不同说话者的位置、以及任何其他合适的因素。
MCU 22可通过确定参与端点14将会同时接收的视频流的最大数目，来确定选择的视频流的数目。此信息可存储在端点信息58和/或会议信息60中。在某些实施例中，当端点14要么是单重的、要么是双重的、要么是三重的端点14时，所显示的流的此最大数目是三。在具体实施例中，没有端点14接收它自己所生成的视频流，所以MCU 22可选择多达六个视频流用于发送：三个活动说话者流以及发送至活动说话者的三个替代说话者流。选择数据66可存储对当前活动说话者和上一活动说话者的指示。例如，端点14可接收要显示在左、中和右监视器上的多达三个视频流的情况下，选择数据66可存储活动的左说话者、替代的左说话者、活动的中说话者、替代的中说话者、活动的右说话者和替代的右说话者。
当新的活动说话者被选中时，虚拟表62可用来确定新的活动说话者的位置。例如，虚拟表62可指定某些视频流定位于左、中或右位置。利用虚拟表62，MCU 22可判断新的活动说话者是否变为活动的左说话者、活动的右说话者或活动的中说话者。如果虚拟表62没有指定新的活动说话者的位置，则MCU 22可为新的活动说话者选择位置。在具体实施例中，MCU 22将新的活动说话者放在与已经保持安静最长时间段的活动说话者(左、中或右)相对应的位置。
MCU 22的具体实施例已被示出和描述，并且不希望是全部包括的。虽然MCU 22被描绘为包含组件的某配置和布置，但是应当注意，这是逻辑描绘，并且可以既逻辑地又物理地酌情组合、分开和分布MCU 22的组件和功能。MCU 22的功能可由在多点视频会议期间优化带宽的任何合适组件来执行。
图4是总地指示为80的流程图，示出在主MCU 82处和在受控MCU84处执行的优化带宽的方法。在具体实施例中，主MCU 82和受控MCU84具有类似于MCU 22的功能。
在步骤86处，受控MCU 84从受管理端点14接收音频、视频和/或数据流。在具体实施例中，MCU 84从一个或多个受管理端点14接收多个音频流和多个视频流。受控MCU 84在步骤88处分析接收到的音频流，并且在步骤90中确定选中的视频流。在具体实施例中，MCU 84分析接收到的音频流以识别一个或多个活动说话者。为了识别(一个或多个)活动说话者，MCU 84可估计与每个接收到的音频流相关联的置信值。MCU 84可选择与(一个或多个)当前活动说话者和/或(一个或多个)替代说话者相对应的视频流。MCU 84可使它对视频流的选择基于虚拟表中说话者的位置。在具体实施例中，MCU 84基于任何一个端点14处同时显示的视频流的最大数目来确定选择的视频流的数目。例如，如果仅仅单重、双重和三重端点14被涉及在特定视频会议中，则MCU 84可选择三个视频流。在步骤92处，受控MCU 84向主MCU 82发送选中的视频流和接收到的音频流。
在步骤94处，主MCU 82从受管理端点14接收音频、视频和/或数据流。在具体实施例中，主MCU 82从一个或多个受管理端点14接收多个音频流和多个视频流。在步骤96处，主MCU 82接收由受控MCU 84发送的音频和视频流。在具体实施例中，步骤94和96可以以任何合适的顺序发生，例如步骤94和96可并行地发生。
在步骤98处，主MCU 82分析从受管理端点14和受控MCU 84接收的音频流。在步骤100中，从接收到的音频流，主MCU 82确定所选择的视频流。这些选中的视频流可包括从受控MCU 84接收的一个、很多或零个视频流。在具体实施例中，类似于MCU 84，MCU 82分析接收到的音频流以识别一个或多个活动说话者。为了识别(一个或多个)活动说话者，MCU 82可估计与每个接收到的音频流相关联的置信值。主MCU 82还可选择与当前活动说话者和/或替代说话者相对应的视频流。MCU 82还可使它对视频流的选择基于虚拟表处说话者的位置。此虚拟表可以是虚拟表62。在具体实施例中，MCU 82可选择多达MCU 84所选择的两倍多的视频流。例如，如果MCU 84发送三个视频流并且所有的三个视频流都被MCU 82选择，则MCU 82可选择与原始的三个活动说话者相对应的、要显示在监视器36处的额外的三个视频流。在步骤102处，主MCU 82可聚合音频流。在具体实施例中，MCU 82聚合从端点14和MCU 84接收的所有音频流。在聚合期间，MCU 82可使用任何合适的协议或技术来减小聚合的音频流中的噪声、回声和其他不希望的效果。在某些实施例中，MCU82对接收到的音频流的一些组合进行聚合。例如，MCU 82可将特定音频流或其部分增加到对应于选中视频流的音频流中，并且可发送后面的流用于与选中视频流一起投射。
在步骤104处，主MCU 82向受管理端点14和受控MCU 22发送聚合的音频流和选中的视频流。在具体实施例中，主MCU 82向端点14和受控MCU 84发送不同的选中视频流。例如，主MCU 82可向受控MCU 84发送与MCU 82所管理的端点14处的活动说话者相对应的三个视频流；然而主MCU 82可向原始地发送选中流的三个端点14中的每一个都发送额外的视频流。因此，端点14可以不接收由此端点14原始生成的视频流。受控MCU 22在步骤106处接收这些音频和视频流，并且在步骤108中向受管理端点14发送这些流。类似地，受控MCU 22可将不同的视频流发送至不同的受管理端点14以提供端点14处的更希望的用户体验。
参考图4描述的方法仅是例示性的，并且被理解的是，操作的方式以及指示为执行操作的装置可以以任何适当的方式来修改。虽然该方法描述了以特定顺序执行的具体步骤，但是应当理解，视频会议系统10考虑到了以任何可操作顺序来一些地、全部地或者不执行步骤的元件的任何合适的聚集和布置。如所描述的，主MCU 82和受控MCU 84以特定的方式来选择视频流以在视频会议期间发送。要理解，这些技术可以以任何合适的方式来使之适应和修改，以便通过选择特定视频流以在视频会议期间发送来优化带宽。
图5是示出特定方法的流程图，该方法总地指示为120，该方法用于通过选择某些视频流以发送至视频会议参与者来优化MCU 22处的带宽。在具体实施例中，MCU 22是受控MCU 22。
在步骤122处，MCU 22从受管理端点14接收音频和视频流。MCU22还可接收来自另一MCU 22的音频和视频流，并且可以以仿佛它们是从受管理端点14接收的相同的方式来处理这些流。在具体实施例中，MCU22管理三个端点14d、14e、14f，其中端点14d具有单重配置，端点14e、14f具有三重配置。因此，MCU 22可接收七个音频流和七个视频流。MCU 22在步骤124处分析接收到的音频流，并且在步骤126中判断新的活动说话者是否出现。MCU 22可确定哪个音频流具有相应的活动说话者。在具体实施例中，MCU 22通过估计每个音频流的置信值来分析音频流。置信值可由端点14来确定并且可指示相应音频流具有活动说话者的可能性。如果新的活动说话者没有出现，则方法120进至步骤140。
在步骤127处，MCU 22判断对应于活动说话者的视频馈给是否需要开始。例如，当发送端点14先前从MCU 22接收到关于此视频流的停止-视频消息时，开始视频馈给可能是必需的。例如，在步骤138中停止-视频消息可能被发送至特定端点14。在具体实施例中，代替MCU 22发送开始-视频消息，端点14确定何时它应当恢复特定视频流的发送。如果视频馈给需要开始，则MCU 22在步骤128中发送开始-视频消息。在步骤129处，MCU 22选择对应于活动说话者的视频流。例如，如果MCU 22确定活动说话者出现在端点14e的中心位置，则MCU 22可选择由端点14e的中心位置生成的视频流。在步骤130处，MCU 22确定虚拟表处活动说话者的“位置”。在具体实施例中，MCU 22访问虚拟表62以判断活动说话者的虚拟位置是否已被设置。如果位置没被设置，则MCU22可设置活动说话者的位置。如果位置已被确定，则MCU 22识别此位置。例如，如果活动说话者位于端点14e的中心位置，则MCU 22可确定此活动说话者位于虚拟表处的中心位置。从此“位置”，MCU 22可确定对应于此活动说话者的视频流应当显示在其他端点14的什么地方。
在步骤132处，MCU 22判断活动说话者的位置是否与另一选中流的位置相同。例如，如果端点14e处的中心位置被确定为当前的活动说话者，则MCU 22判断任何其他的选中视频流是否对应于活动的中心说话者。如果没有另一选中流对应于此位置，则方法120进至步骤140。否则，在步骤134处，MCU 22不选择该另一视频流。在具体实施例中，MCU 22可指定此未选中的视频流作为替代的活动流。在步骤136处，MCU 22判断相应的端点14是否应当继续发送未选中视频流。MCU 22可以使此判断基于自从活动说话者对应于未选中视频流以来的时间长度。此时间量的阈值可以被自动调节、启发式地来确定、或者利用可配置的参数来确定。如果视频流应当被停止，则在步骤138中，MCU 22将停止-视频消息发送至对应于未选中视频流的端点14。在具体实施例中，代替MCU 22发送停止-视频消息，端点14确定何时它应当不再发送此特定的(一个或多个)视频流。在某些实施例中，如果此端点14确定它应当重启发送，则它将会重启此特定的(一个或多个)视频流的发送。例如，如果端点14确定与相应音频流相关联的置信值超过阈值，则端点14可恢复视频流的发送。作为另一示例，端点14可确定相关联的相机34已检测到超过预定阈值的输入，并且可响应地重启发送。
在步骤140处，受控MCU 22向主MCU 22发送接收到的音频流和选中的视频流。在步骤142处，受控MCU 22从主MCU 22接收一个或多个音频流和选中的视频流。在具体实施例中，主MCU选中的视频流可以全部地、一些地或者不包括由受控MCU 22选择的视频流。此外，受控MCU 22可接收(一个或多个)聚合音频流。每个选中视频流都可具有它自己相关联的音频流，该音频流可以包括或者可以不包括从一个或多个其他音频流聚合的音频。在步骤144处，受控MCU 22访问虚拟表以确定接收到的视频流应当如何分配至受管理端点14。例如，受控MCU 22可能接收四个视频流，其中的三个与主MCU 22所管理的端点14a、14b、14c相对应，并且其中的一个与端点14e的中心相对应。这些视频流可指示端点14e的中心是最新近活动的说话者，并且其他三个视频流是虚拟表处左、中和右位置处的替代活动说话者。因此，MCU 22可确定：具有单重配置的端点14d应当接收与端点14e的中心相对应的视频流；具有三重配置的端点14e应当接收与远程端点14a、14b、14c左、中和右位置相对应的视频流(从而端点14e不接收它原始生成的视频流)；并且具有三重配置的端点14f应当接收与端点14e的中心以及远程端点14a、14b、14c的左和右位置相对应的视频流。基于所确定的分布，MCU 22向受管理端点14发送接收到的音频流和选中的视频流。
参考图5描述的方法仅是例示性的，并且被理解的是，操作的方式以及指示为执行操作的装置可以以任何适当的方式来修改。虽然该方法描述了以特定顺序执行的具体步骤，但是应当理解，视频会议系统10考虑到了以任何可操作顺序来一些地、全部地或者不执行步骤的元件的任何合适的聚集和布置。如所描述的，MCU 22以特定的方式来选择视频流以在视频会议期间发送。要理解，这些技术可以以任何合适的方式来使之适应和修改，以便通过选择特定视频流以在视频会议期间发送来优化带宽。
图6示出总地指示为150的示例多点视频会议，该视频会议通过选择特定视频流以发送至端点14和/或MCU 22来优化带宽。如所示出的，多点视频会议150包括六个端点14a、14b、14c、14d、14e、14f，主MCU22a，以及受控MCU 22b。
如所示出的，端点14被配置为三重。因此，每个端点14生成三个视频流并且转发这三个视频流至它的管理MCU 22。例如，端点14a生成视频流a1、a2、a3并且转发这些流至MCU 22a。类似地，端点14d生成视频流d1、d2、d3并且转发这些流至MCU 22b。在此示例中，来自每个端点14的三个视频流分别可被指定为与下标“1”、“2”和“3”相对应的左、中和右。在每个参与端点14处，三个监视器36显示接收到的左视频流、中视频流和右视频流。虽然没有被分开地示出，但是每个端点14还生成三个音频流并且转发这三个音频流至它的管理MCU 22。每个音频流都与特定视频流相关联。端点14可确定与每个生成的音频流相关联的置信值。此置信值可指示音频流包含活动说话者的可能性。在具体实施例中，端点14将这些置信值与音频流一起发送至管理MCU 22。
受控MCU 22b可接收来自它的受管理端点14d、14e、14f的九个视频流和九个音频流。从接收到的视频流，MCU 22b确定选中的视频流以发送至主MCU 22a。在某些实施例中，受控MCU 22b选择多达N个视频流，其中N等于任何端点14可同时显示的视频流的最大数目。在所示的实施例中，N是三。虽然MCU 22b可选择多达N个视频流，但是在适当的环境下，MCU 22b可选择少于N个视频流。例如，如果MCU 22b确定(或者被MCU 22a告知)没有受管理端点14d、14e、14f所生成的视频流正显示在端点14a、14b、14c处，则MCU 22b可以不选择或发送任何视频流至MCU 22a并且可以仅发送相应的音频流，直到以另外的方式被指示。
在具体实施例中，MCU 22b通过识别任何当前活动的或新近活动的(一个或多个)说话者，来选择视频流以发送至主MCU 22a。例如，MCU 22b可分析音频流以判断一个或多个活动说话者是否出现。在具体实施例中，MCU 22b估计与每个接收到的音频流相关联的置信值以判断(一个或多个)活动说话者的存在或不存在。MCU 22b还可存储类似于选择数据66的选择数据，该选择数据可包含上一活动的左、中和右说话者以及针对左、中和右位置的替代说话者的标识。例如，当新的活动或替代说话者被识别出时，MCU 22b可更新选择数据66。基于所存储的选择数据，MCU 22b可选择和发送与左活动说话者、中活动说话者和右活动说话者相对应的视频流至MCU 22a。替代的左、中和右活动说话者可被维持，用于发送至任何受管理端点14。例如，在所示的实施例中，MCU 22b选择三个(N个)视频流：视频流d1，因为它可能具有活动说话者；以及视频流e2和e3，因为选择数据指示，中和右位置的视频流，这些视频流最新近地具有有着活动说话者的音频流。MCU 22b还可将所有接收到的音频流发送至MCU 22a。
以与受控MCU 22b接收和处理从它的受管理端点14d、14e、14f接收的音频和视频流类似的方式，主MCU 22a接收和处理来自它的受管理端点14a、14b、14c的音频和视频流。此外，MCU 22a接收来自MCU 22b的音频和视频流。类似于MCU 22b，MCU 22a确定选择哪些视频流用于发送至受管理端点14a、14b、14c和MCU 22b。在某些实施例中，主MCU 22a将会选择多达2N个视频流，其中N等于任何端点14可同时显示的视频流的最大数目。因此，在所示的实施例中，MCU 22a选择六个视频流用于发送至受管理端点14和MCU 22b。虽然MCU 22a可选择多达2N个视频流，但是在适当的环境下，MCU 22a可选择少于2N个视频流。
为了选择视频流，MCU 22a可分析接收到的音频流以判断(一个或多个)活动说话者是否出现，并且可估计与音频流相关联的置信值。在所示的实施例中，MCU 22a将选择数据存储在活动说话者表152中。活动说话者表152针对虚拟表处的每个位置，即左、中和右将活动说话者标识为“PRIM.(主要)”并且将替代说话者标识为“ALT.(替代)”。如所示出的，活动说话者表152当前指定了活动的左说话者、活动的中说话者和活动的右说话者：d1、a2和b3。因此，除端点14d以外的所有端点14将会接收到d1视频流用于显示在左屏幕上。类似地，除端点14a以外的所有端点14将会接收到a2视频流用于显示在中屏幕上，并且除端点14b以外的所有端点14将会接收到b3视频流用于显示在右屏幕上。然而，因为用户可能发现不希望被显示自身的视频，所以活动说话者表152为活动说话者提供三个替代说话者以选择。如活动说话者表152中所示出的，端点14d的左屏幕将会显示a1视频流，端点14a的中屏幕将会显示e2视频流，并且端点14b的右屏幕将会显示a3视频流。
利用活动说话者表152，MCU 22a可选择视频流，并且可确定每个受管理端点14和MCU 22b应当接收哪些视频流。在所示的实施例中，MCU22a向MCU 22b发送对应于主要活动流的视频流，即d1、a2和b3。此外，如上所述，MCU 22a确定端点14d将不会显示d1视频流，所以MCU 22a将替代活动流，即a1发送至MCU 22b。因此，在所示的示例中，MCU 22a选择四个视频流(即N+1)用于发送至MCU 22b。除了选择视频流以外，MCU 22a可选择某些音频流用于发送和/或聚合某些音频流。例如，MCU 22a可选择对应于选中视频流的音频流，并且将这些音频流与它们相应的视频流一起发送至MCU 22b和受管理端点14。在具体实施例中，MCU 22a将对应于未选中视频流的一些音频包括进对应于选中视频流的音频流。
通过从MCU 22b向MCU 22a发送N个视频流，可优化MCU 22a与MCU 22b之间的带宽使用。在所示的实施例中，MCU 22b接收九个视频流并且向MCU 22a发送可能用在视频会议中的仅仅三个视频流。此外，MCU 22b可向MCU 22a发送少于N个视频流。例如，MCU 22a可指示MCU 22b中止e1视频流的发送，因为此视频流最终没有发送至任何参与端点14。在具体实施例中，受控MCU 22b将音频流和零视频流发送至主MCU 22a，直到MCU 22a指示MCU 22b发送一个或多个特定视频流。MCU 22a还可通过确定哪些视频流将会被MCU 22b所管理的端点14显示并且仅发送这些视频流至MCU 22b，来优化带宽使用。
此外，例如，当受管理端点14d、14e、14f中止未被MCU 22b选中的一些视频流的发送时，MCU 22b和受管理端点14d、14e、14f之间的带宽使用可被优化。在具体实施例中，当相应的音频流已经有阈值时间段不具有活动说话者时，MCU 22b向端点14发送指定特定视频流的停止-视频消息。此时间段可被自动调节，并且可以启发式地或利用可配置的参数来确定。例如，一旦自从对应于d3的音频流指示了活动说话者以来已流逝了五分钟，MCU 22b就可指示端点14d中止对应于d3的视频流的发送。当相应视频流变得适当的时候，端点14d可继续发送对应于d3的音频流，并且可重启相应视频流的发送。在具体实施例中，当MCU 22b确定活动说话者与此视频流相关联时，MCU 22b将开始-视频消息发送至受管理端点14，指示受管理端点14恢复视频流的发送。在某些实施例中，当与相应音频流相关联的置信值指示活动说话者的出现时，特定端点14重启发送。利用类似的技术可优化MCU 22a和它的受管理端点14a、14b、14c之间的带宽使用。
多点视频会议150的具体示例已被描述并且不希望是包括性的。虽然多点视频会议150被描绘为包含元件的某配置和布置，但是应当注意，这这是示例，并且视频会议可包含全部地、一些地或者不执行上述功能的元件的任何合适的聚集和布置。
虽然已在几个实施例中描述了本发明，但是无数的改变和修改可被暗示给本领域的技术人员，并且希望本发明包括落在本所附权利要求内的这样的改变和修改。

Claims (26)

1.一种用于在视频会议期间优化带宽的系统，包括：
多个多点会议单元(MCU)，每个MCU都可操作用于辅助两个或更多参与者之间的视频会议，MCU还可操作用于辅助包括由两个或更多MCU管理的参与者的级联的视频会议；
多个端点，所述多个端点参与视频会议，每个端点可操作用于建立与MCU中的选中的一个MCU的会议链接，生成多个视频流和相应多个音频流，在所述会议链接上发送所生成的视频流和所生成的音频流，接收多个视频流和多个音频流，利用多个扬声器呈现所接收的音频流，并且利用多个监视器显示所接收的视频流；
MCU中的受控MCU，所述受控MCU管理第一组端点，所述受控MCU可操作用于：
接收包括了从第一组端点中的每一个端点生成的视频流的第一组可用视频流；
从所述第一组可用视频流中选出N个潜在视频流，其中N等于任一端点能够并发显示的活动视频流的最大数目；并且
向MCU中的主MCU发送所述潜在视频流；以及
所述主MCU，所述主MCU管理第二组端点，所述主MCU可操作用于：
接收包括了从第二组端点中的每一个端点生成的视频流以及来自所述受控MCU的潜在视频流的第二组可用视频流；
从所述第二组可用视频流中选出活动视频流，所述活动视频流包括N个主要视频流和M个替代视频流；
确定所述活动视频流中所需的视频流，用于传送至第一组端点中的一个或多个端点；并且
将所述活动视频流中所需的视频流发送至所述受控MCU。
2.根据权利要求1所述的系统，其中所述活动视频流中所需的视频流包括由第二组端点生成的活动流。
3.根据权利要求1所述的系统，其中：
所述活动视频流中所需的视频流包括所述N个主要视频流；并且
如果任何的主要视频流都是由第一组端点生成的，则所需的视频流还包括所述M个替代视频流中的一个或多个。
4.根据权利要求1所述的系统，其中所述受控MCU和所述主MCU每个都还可操作用于：
对于每个主要视频流，将该主要视频流发送至没有生成该主要视频流的每个端点；并且
对于生成L个主要流的每个受管理端点，将L个替代视频流发送至此受管理端点。
5.根据权利要求1所述的系统，其中从所述第一组可用视频流中选出N个潜在视频流包括：
对于所述第一组可用视频流中的每个可用视频流，识别与对应于该可用视频流的音频流相关联的置信值，所述置信值指示相应音频流与活动说话者相关联的可能性；并且
选择具有指示最高可能性的置信值的N个可用视频流。
6.根据权利要求1所述的系统，其中所述受控MCU和所述主MCU每个都还可操作用于：
确定自从特定音频流与活动说话者相关联以来流逝了的时间段，所述特定音频流与由特定端点所生成的特定视频流相对应；并且
响应于该确定，发送停止-视频消息至所述特定端点，所述停止-视频消息指示所述特定端点停止所述特定视频流的发送。
7.根据权利要求1所述的系统，其中M等于N。
8.根据权利要求1所述的系统，还包括：
参与视频会议的一个或多个单重端点，每个单重端点可操作用于生成一个视频流和一个音频流并且用于接收一个视频流和一个音频流；
其中所述多个端点包括一个或多个双重端点和一个或多个三重端点，每个双重端点可操作用于生成两个视频流和两个音频流并且用于接收两个视频流和两个音频流，每个三重端点可操作用于生成三个视频流和三个音频流并且用于接收三个视频流和三个音频流。
9.根据权利要求1所述的系统，其中所述多个监视器中的至少一个可操作用于显示多个所接收的视频流。
10.根据权利要求1所述的系统，还包括远程会议服务器，所述远程会议服务器可操作用于：
从多个MCU中选出所述主MCU和所述受控MCU；并且
向所述受控MCU发送消息，该消息标识所述主MCU。
11.一种用于在视频会议期间优化带宽的多点会议单元(MCU)，所述MCU包括控制器，所述控制器可操作用于：
在第一操作模式中：
作为管理第一组参与视频会议的多个端点的受控MCU来辅助视频会议，每个端点可操作用于生成多个视频流和相应多个音频流并且用于接收不同的多个视频流和不同的多个音频流；
接收包括了从第一组端点中的每一个端点生成的视频流的第一组可用视频流；
从所述第一组可用视频流中选出N个潜在视频流，其中N等于任一端点能够并发显示的活动视频流的最大数目；并且
向主MCU发送所述潜在视频流；并且
所述控制器还可操作用于在第二操作模式中：
作为管理第二组端点的所述主MCU来辅助视频会议；
接收包括了从第二组端点中的每一个端点生成的视频流以及来自所述受控MCU的潜在视频流的第二组可用视频流；
从所述第二组可用视频流中选出活动视频流，所述活动视频流包括N个主要视频流和M个替代视频流；
确定所述活动视频流中所需的视频流，用于传送至第一组端点中的一个或多个端点；并且
将所述活动视频流中所需的视频流发送至所述受控MCU。
12.根据权利要求11所述的MCU，其中所述活动视频流中所需的视频流包括由第二组端点生成的活动流。
13.根据权利要求11所述的MCU，其中：
所述活动视频流中所需的视频流包括所述N个主要视频流；并且
如果任何的主要视频流都是由第一组端点生成的，则所需的视频流还包括所述M个替代视频流中的一个或多个。
14.根据权利要求11所述的MCU，其中所述控制器还可操作用于：
对于每个主要视频流，将该主要视频流发送至没有生成该主要视频流的每个端点；并且
对于生成L个主要流的每个受管理端点，将L个替代视频流发送至此受管理端点。
15.根据权利要求11所述的MCU，其中从所述第一组可用视频流中选出N个潜在视频流包括：
对于所述第一组可用视频流中的每个可用视频流，识别与对应于该可用视频流的音频流相关联的置信值，所述置信值指示相应音频流与活动说话者相关联的可能性；并且
选择具有指示最高可能性的置信值的N个可用视频流。
16.一种用于在视频会议期间优化带宽的方法，包括：
在第一操作模式中：
作为管理第一组参与视频会议的多个端点的受控MCU来辅助视频会议，每个端点可操作用于生成多个视频流和相应多个音频流并且用于接收不同的多个视频流和不同的多个音频流；
接收包括了从第一组端点中的每一个端点生成的视频流的第一组可用视频流；
从所述第一组可用视频流中选出N个潜在视频流，其中N等于任一端点能够并发显示的活动视频流的最大数目；并且
向主MCU发送所述潜在视频流；并且
在第二操作模式中：
作为管理第二组端点的所述主MCU来辅助视频会议；
接收包括了从第二组端点中的每一个端点生成的视频流以及来自所述受控MCU的潜在视频流的第二组可用视频流；
从所述第二组可用视频流中选出活动视频流，所述活动视频流包括N个主要视频流和M个替代视频流；
确定所述活动视频流中所需的视频流，用于传送至第一组端点中的一个或多个端点；并且
将所述活动视频流中所需的视频流发送至所述受控MCU。
17.根据权利要求16所述的方法，其中所述活动视频流中所需的视频流包括由第二组端点生成的活动流。
18.根据权利要求16所述的方法，其中：
所述活动视频流中所需的视频流包括所述N个主要视频流；并且
如果任何的主要视频流都是由第一组端点生成的，则所需的视频流还包括所述M个替代视频流中的一个或多个。
19.根据权利要求16所述的方法，还包括：
对于每个主要视频流，将该主要视频流发送至没有生成该主要视频流的每个端点；并且
对于生成L个主要流的每个受管理端点，将L个替代视频流发送至此受管理端点。
20.根据权利要求16所述的方法，其中从所述第一组可用视频流中选出N个潜在视频流包括：
对于所述第一组可用视频流中的每个可用视频流，识别与对应于该可用视频流的音频流相关联的置信值，所述置信值指示相应音频流与活动说话者相关联的可能性；并且
选择具有指示最高可能性的置信值的N个可用视频流。
21.一种用于在视频会议期间优化带宽的逻辑，所述逻辑编码在介质中，并且当被执行时可操作用于：
在第一操作模式中：
作为管理第一组参与视频会议的多个端点的受控MCU来辅助视频会议，每个端点可操作用于生成多个视频流和相应多个音频流并且用于接收不同的多个视频流和不同的多个音频流；
接收包括了从第一组端点中的每一个端点生成的视频流的第一组可用视频流；
从所述第一组可用视频流中选出N个潜在视频流，其中N等于任一端点能够并发显示的活动视频流的最大数目；并且
向主MCU发送所述潜在视频流；并且
在第二操作模式中：
作为管理第二组端点的所述主MCU来辅助视频会议；
接收包括了从第二组端点中的每一个端点生成的视频流以及来自所述受控MCU的潜在视频流的第二组可用视频流；
从所述第二组可用视频流中选出活动视频流，所述活动视频流包括N个主要视频流和M个替代视频流；
确定所述活动视频流中所需的视频流，用于传送至第一组端点中的一个或多个端点；并且
将所述活动视频流中所需的视频流发送至所述受控MCU。
22.根据权利要求21所述的逻辑，其中所述活动视频流中所需的视频流包括由第二组端点生成的活动流。
23.根据权利要求21所述的逻辑，其中：
所述活动视频流中所需的视频流包括所述N个主要视频流；并且
如果任何的主要视频流都是由第一组端点生成的，则所需的视频流还包括所述M个替代视频流中的一个或多个。
24.根据权利要求21所述的逻辑，还可操作用于：
对于每个主要视频流，将该主要视频流发送至没有生成该主要视频流的每个端点；并且
对于生成L个主要流的每个受管理端点，将L个替代视频流发送至此受管理端点。
25.根据权利要求21所述的逻辑，其中从所述第一组可用视频流中选出N个潜在视频流包括：
对于所述第一组可用视频流中的每个可用视频流，识别与对应于该可用视频流的音频流相关联的置信值，所述置信值指示相应音频流与活动说话者相关联的可能性；并且
选择具有指示最高可能性的置信值的N个可用视频流。
26.一种用于在视频会议期间优化带宽的系统，包括：
在第一操作模式中：
用于作为管理第一组参与视频会议的多个端点的受控MCU来辅助视频会议的装置，每个端点可操作用于生成多个视频流和相应多个音频流并且用于接收不同的多个视频流和不同的多个音频流；
用于接收包括了从第一组端点中的每一个端点生成的视频流的第一组可用视频流的装置；
用于从所述第一组可用视频流中选出N个潜在视频流的装置，其中N等于任一端点能够并发显示的活动视频流的最大数目；以及
用于向主MCU发送所述潜在视频流的装置；并且
在第二操作模式中：
用于作为管理第二组端点的所述主MCU来辅助视频会议的装置；
用于接收包括了从第二组端点中的每一个端点生成的视频流以及来自所述受控MCU的潜在视频流的第二组可用视频流的装置；
用于从所述第二组可用视频流中选出活动视频流的装置，所述活动视频流包括N个主要视频流和M个替代视频流；
用于确定所述活动视频流中所需的视频流，用于传送至第一组端点中的一个或多个端点的装置；以及
用于将所述活动视频流中所需的视频流发送至所述受控MCU的装置。
CN2008800134653A 2007-04-27 2008-04-22 多点视频会议中对带宽进行优化 Expired - Fee Related CN101669324B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/741,088 US8300556B2 (en) 2007-04-27 2007-04-27 Optimizing bandwidth in a multipoint video conference
US11/741,088 2007-04-27
PCT/US2008/061120 WO2008134301A1 (en) 2007-04-27 2008-04-22 Optimizing bandwidth in a multipoint video conference

Publications (2)

Publication Number Publication Date
CN101669324A true CN101669324A (zh) 2010-03-10
CN101669324B CN101669324B (zh) 2012-10-03

Family

ID=39677405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008800134653A Expired - Fee Related CN101669324B (zh) 2007-04-27 2008-04-22 多点视频会议中对带宽进行优化

Country Status (4)

Country Link
US (2) US8300556B2 (zh)
EP (1) EP2140608B1 (zh)
CN (1) CN101669324B (zh)
WO (1) WO2008134301A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104221366A (zh) * 2012-02-01 2014-12-17 玛格通讯有限公司 提供虚拟物理上下文的视频会议系统
CN105376515A (zh) * 2014-09-02 2016-03-02 华为技术有限公司 用于视频通讯的通讯信息的呈现方法、装置及系统
CN106416149A (zh) * 2014-03-31 2017-02-15 宝利通公司 用于优化多参与者全网状对等视频会话中的带宽利用的方法和系统
CN106650380A (zh) * 2016-12-29 2017-05-10 上海百芝龙网络科技有限公司 一种手部识别非接触式身份识别系统
WO2017124289A1 (zh) * 2016-01-19 2017-07-27 王晓光 一种视频网络会议的开会提醒方法及系统
CN107430858A (zh) * 2015-03-20 2017-12-01 微软技术许可有限责任公司 传送标识当前说话者的元数据
CN115242712A (zh) * 2022-09-26 2022-10-25 中央广播电视总台 一种4k8kip制播调度控制方法、装置和系统

Families Citing this family (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2713779B1 (fr) * 1993-12-10 1996-03-08 Lorraine Laminage Procédé automatique d'analyse macérale et de détermination du pouvoir réflecteur de la vitrinite dans les charbons.
US8103519B2 (en) 2006-01-30 2012-01-24 Hoozware, Inc. System for marketing campaign specification and secure digital coupon redemption
US9105039B2 (en) 2006-01-30 2015-08-11 Groupon, Inc. System and method for providing mobile alerts to members of a social network
US20110093340A1 (en) 2006-01-30 2011-04-21 Hoozware, Inc. System for providing a service to venues where people perform transactions
CN101496387B (zh) 2006-03-06 2012-09-05 思科技术公司 用于移动无线网络中的接入认证的系统和方法
US8793354B2 (en) * 2006-04-20 2014-07-29 Cisco Technology, Inc. System and method for optimizing maintenance of geographically distributed processing units
US8300789B2 (en) * 2007-04-30 2012-10-30 Cisco Technology, Inc. Method and system for identifying a multipoint control unit for hosting a conference
US8179821B2 (en) * 2007-06-25 2012-05-15 Comverse, Ltd. Identifying participants of an audio conference call
US20090015659A1 (en) * 2007-07-11 2009-01-15 Seungyeob Choi Method and System for Moderating Multiparty Video/Audio Conference
CN101471804B (zh) * 2007-12-28 2011-08-10 华为技术有限公司 一种音频处理方法、系统和控制服务器
US8797377B2 (en) 2008-02-14 2014-08-05 Cisco Technology, Inc. Method and system for videoconference configuration
US8390667B2 (en) 2008-04-15 2013-03-05 Cisco Technology, Inc. Pop-up PIP for people not in picture
US20090268008A1 (en) * 2008-04-24 2009-10-29 Cisco Technology Inc. Media conference switching in a multi-device configuration
WO2009134260A1 (en) * 2008-04-30 2009-11-05 Hewlett-Packard Development Company, L.P. Event management system
CN102016818A (zh) * 2008-04-30 2011-04-13 惠普开发有限公司 预定和进行中事件参加者之间的通信
US9324173B2 (en) * 2008-07-17 2016-04-26 International Business Machines Corporation System and method for enabling multiple-state avatars
US8957914B2 (en) 2008-07-25 2015-02-17 International Business Machines Corporation Method for extending a virtual environment through registration
US10166470B2 (en) 2008-08-01 2019-01-01 International Business Machines Corporation Method for providing a virtual world layer
US20110314506A1 (en) * 2008-08-07 2011-12-22 Broadcom Corporation Point to multi-point wireless video delivery
US8694658B2 (en) 2008-09-19 2014-04-08 Cisco Technology, Inc. System and method for enabling communication sessions in a network environment
WO2010036261A1 (en) * 2008-09-26 2010-04-01 Hewlett-Packard Development Company, L.P. Event management system for creating a second event
US20100091687A1 (en) * 2008-10-15 2010-04-15 Ted Beers Status of events
US7792901B2 (en) * 2008-10-15 2010-09-07 Hewlett-Packard Development Company, L.P. Reconfiguring a collaboration event
US8587634B1 (en) * 2008-12-12 2013-11-19 Cisco Technology, Inc. System and method for intelligent mode switching in a communications environment
US9235842B2 (en) 2009-03-02 2016-01-12 Groupon, Inc. Method for providing information to contacts without being given contact data
US8659637B2 (en) * 2009-03-09 2014-02-25 Cisco Technology, Inc. System and method for providing three dimensional video conferencing in a network environment
CN101515948B (zh) * 2009-03-31 2012-04-25 华为终端有限公司 分布式多点会议系统中的管理方法、装置及系统
CN101552913B (zh) * 2009-05-12 2011-07-06 腾讯科技（深圳）有限公司 多路视频通讯系统及处理方法
CN101583011B (zh) * 2009-05-27 2012-04-04 华为终端有限公司 视频会议控制方法、系统、视频会议网络设备和会场
US8659639B2 (en) 2009-05-29 2014-02-25 Cisco Technology, Inc. System and method for extending communications between participants in a conferencing environment
US8330794B2 (en) * 2009-06-10 2012-12-11 Microsoft Corporation Implementing multiple dominant speaker video streams with manual override
US9082297B2 (en) 2009-08-11 2015-07-14 Cisco Technology, Inc. System and method for verifying parameters in an audiovisual environment
US8880679B2 (en) * 2009-12-07 2014-11-04 Oracle International Corporation Techniques for web server management
US9225916B2 (en) 2010-03-18 2015-12-29 Cisco Technology, Inc. System and method for enhancing video images in a conferencing environment
US8717407B2 (en) * 2010-05-13 2014-05-06 Lifesize Communications, Inc. Telepresence between a multi-unit location and a plurality of single unit locations
US9313452B2 (en) 2010-05-17 2016-04-12 Cisco Technology, Inc. System and method for providing retracting optics in a video conferencing environment
US8896655B2 (en) 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
US8599934B2 (en) 2010-09-08 2013-12-03 Cisco Technology, Inc. System and method for skip coding during video conferencing in a network environment
CA2811419A1 (en) * 2010-09-20 2012-03-29 Vidyo, Inc. System and method for the control and management of multipoint conferences
EP2448265A1 (en) 2010-10-26 2012-05-02 Google, Inc. Lip synchronization in a video conference
US8599865B2 (en) 2010-10-26 2013-12-03 Cisco Technology, Inc. System and method for provisioning flows in a mobile network environment
CN102469295B (zh) * 2010-10-29 2015-03-11 华为终端有限公司 会议控制方法及相关设备和系统
US8699457B2 (en) 2010-11-03 2014-04-15 Cisco Technology, Inc. System and method for managing flows in a mobile network environment
US9143725B2 (en) 2010-11-15 2015-09-22 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US8902244B2 (en) 2010-11-15 2014-12-02 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US8730297B2 (en) 2010-11-15 2014-05-20 Cisco Technology, Inc. System and method for providing camera functions in a video environment
US9338394B2 (en) 2010-11-15 2016-05-10 Cisco Technology, Inc. System and method for providing enhanced audio in a video environment
US8542264B2 (en) 2010-11-18 2013-09-24 Cisco Technology, Inc. System and method for managing optics in a video environment
US8723914B2 (en) 2010-11-19 2014-05-13 Cisco Technology, Inc. System and method for providing enhanced video processing in a network environment
US20130252223A1 (en) * 2010-11-23 2013-09-26 Srikanth Jadcherla System and method for inculcating explorative and experimental learning skills at geographically apart locations
US9111138B2 (en) 2010-11-30 2015-08-18 Cisco Technology, Inc. System and method for gesture interface control
US8446455B2 (en) * 2010-12-08 2013-05-21 Cisco Technology, Inc. System and method for exchanging information in a video conference environment
US8553064B2 (en) 2010-12-08 2013-10-08 Cisco Technology, Inc. System and method for controlling video data to be rendered in a video conference environment
USD682854S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen for graphical user interface
CN102547210B (zh) * 2010-12-24 2014-09-17 华为终端有限公司 级联会议中级联会场的处理方法、装置及系统
US8692862B2 (en) 2011-02-28 2014-04-08 Cisco Technology, Inc. System and method for selection of video data in a video conference environment
US8995306B2 (en) * 2011-04-06 2015-03-31 Cisco Technology, Inc. Video conferencing with multipoint conferencing units and multimedia transformation units
US8670019B2 (en) 2011-04-28 2014-03-11 Cisco Technology, Inc. System and method for providing enhanced eye gaze in a video conferencing environment
US8786631B1 (en) 2011-04-30 2014-07-22 Cisco Technology, Inc. System and method for transferring transparency information in a video environment
US8934026B2 (en) 2011-05-12 2015-01-13 Cisco Technology, Inc. System and method for video coding in a dynamic environment
US9451320B2 (en) * 2011-05-23 2016-09-20 Broadcom Corporation Utilizing multi-dimensional resource allocation metrics for concurrent decoding of time-sensitive and non-time-sensitive content
US9210302B1 (en) 2011-08-10 2015-12-08 Google Inc. System, method and apparatus for multipoint video transmission
US9009341B2 (en) * 2011-10-11 2015-04-14 Avaya Inc. Video bandwidth management system and method
US8947493B2 (en) 2011-11-16 2015-02-03 Cisco Technology, Inc. System and method for alerting a participant in a video conference
US8749612B1 (en) 2011-12-01 2014-06-10 Google Inc. Reduced bandwidth usage in video conferencing
US8682087B2 (en) 2011-12-19 2014-03-25 Cisco Technology, Inc. System and method for depth-guided image filtering in a video conference environment
US8917309B1 (en) 2012-03-08 2014-12-23 Google, Inc. Key frame distribution in video conferencing
US8791982B1 (en) 2012-06-27 2014-07-29 Google Inc. Video multicast engine
US9118940B2 (en) * 2012-07-30 2015-08-25 Google Technology Holdings LLC Video bandwidth allocation in a video conference
JP6064518B2 (ja) * 2012-10-29 2017-01-25 株式会社リコー 通信端末、遠隔会議システムおよびプログラム
JP2014090387A (ja) * 2012-10-31 2014-05-15 Ricoh Co Ltd 情報処理装置、会議システムおよびプログラム
NO336150B1 (no) 2012-12-19 2015-05-26 Videxio As Fremgangsmåte og enhet for å optimalisere storskala videokonferanser
CN103905776B (zh) * 2012-12-26 2018-01-16 华为技术有限公司 码流处理方法和系统、多点控制单元
US20150365244A1 (en) * 2013-02-22 2015-12-17 Unify Gmbh & Co. Kg Method for controlling data streams of a virtual session with multiple participants, collaboration server, computer program, computer program product, and digital storage medium
US9979829B2 (en) * 2013-03-15 2018-05-22 Dolby Laboratories Licensing Corporation Normalization of soundfield orientations based on auditory scene analysis
US9843621B2 (en) 2013-05-17 2017-12-12 Cisco Technology, Inc. Calendaring activities based on communication processing
US9692831B1 (en) * 2013-05-31 2017-06-27 Google Inc. Pausing interactive sessions
US9549006B2 (en) 2013-07-31 2017-01-17 Cisco Technology, Inc. Self-adaptive sample period for content sharing in communication sessions
US9219880B2 (en) 2014-02-19 2015-12-22 International Business Machines Corporation Video conference window activator
US9210379B2 (en) 2014-02-27 2015-12-08 Google Inc. Displaying a presenter during a video conference
EP3137100B1 (en) 2014-04-15 2023-12-20 University Of Virginia Patent Foundation Isolated t cell receptors and methods of use therefor
US10182280B2 (en) * 2014-04-23 2019-01-15 Panasonic Intellectual Property Management Co., Ltd. Sound processing apparatus, sound processing system and sound processing method
US9332226B2 (en) * 2014-09-15 2016-05-03 Tata Communications (America) Inc. Video session manager and method for enabling a video communication session across geographically disparate domains
CN104394351B (zh) * 2014-12-12 2017-10-10 国家电网公司 一种会议电视系统多mcu管理系统
US9800972B2 (en) * 2015-04-05 2017-10-24 Nicholaus J. Bauer Distributed audio system
US9641585B2 (en) * 2015-06-08 2017-05-02 Cisco Technology, Inc. Automated video editing based on activity in video conference
US9609275B2 (en) 2015-07-08 2017-03-28 Google Inc. Single-stream transmission method for multi-user video conferencing
CN105657329B (zh) * 2016-02-26 2018-11-20 苏州科达科技股份有限公司 视频会议系统、处理装置及视频会议方法
CN107846633B (zh) * 2016-09-18 2023-07-14 腾讯科技（深圳）有限公司 一种直播方法及系统
US9712570B1 (en) * 2016-09-28 2017-07-18 Atlassian Pty Ltd Dynamic adaptation to increased SFU load by disabling video streams
US10708320B2 (en) * 2017-06-27 2020-07-07 Atlassian Pty Ltd Selective internal forwarding in conferences with distributed media servers
CN110719430A (zh) * 2018-07-13 2020-01-21 杭州海康威视数字技术股份有限公司 图像数据生成方法、装置、电子设备及存储介质
EP3777205A4 (en) * 2018-09-12 2021-05-19 Samsung Electronics Co., Ltd. METHOD AND DEVICE FOR CONTROLLING THE STREAMING OF MULTIMEDIA DATA IN A NETWORK
US11451747B2 (en) * 2020-08-12 2022-09-20 Kishore Daggubati System enabling multiple screens sharing in an online meeting
US20230065847A1 (en) * 2021-08-31 2023-03-02 International Business Machines Corporation Network bandwidth conservation during video conferencing
US20230308826A1 (en) * 2022-03-28 2023-09-28 Lenovo (Singapore) Pte. Ltd Audio augmentation system and method

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4494144A (en) 1982-06-28 1985-01-15 At&T Bell Laboratories Reduced bandwidth video transmission
US5270919A (en) 1990-06-04 1993-12-14 At&T Bell Laboratories Network planning tool
JP2827932B2 (ja) 1994-11-25 1998-11-25 日本電気株式会社 多地点テレビ会議における合成画面表示制御方式
US5673256A (en) 1995-07-25 1997-09-30 Motorola, Inc. Apparatus and method for sending data messages at an optimum time
US6182110B1 (en) 1996-06-28 2001-01-30 Sun Microsystems, Inc. Network tasks scheduling
US5995608A (en) 1997-03-28 1999-11-30 Confertech Systems Inc. Method and apparatus for on-demand teleconferencing
US6014700A (en) 1997-05-08 2000-01-11 International Business Machines Corporation Workload management in a client-server network with distributed objects
US6611503B1 (en) 1998-05-22 2003-08-26 Tandberg Telecom As Method and apparatus for multimedia conferencing with dynamic bandwidth allocation
US6477571B1 (en) 1998-08-11 2002-11-05 Computer Associates Think, Inc. Transaction recognition and prediction using regular expressions
US6757277B1 (en) 1999-01-26 2004-06-29 Siemens Information And Communication Networks, Inc. System and method for coding algorithm policy adjustment in telephony-over-LAN networks
US6775247B1 (en) 1999-03-22 2004-08-10 Siemens Information And Communication Networks, Inc. Reducing multipoint conferencing bandwidth
US6606643B1 (en) 2000-01-04 2003-08-12 International Business Machines Corporation Method of automatically selecting a mirror server for web-based client-host interaction
US7103664B1 (en) 2000-05-31 2006-09-05 International Business Machines Corporation Method, system and program products for ordering lists of service addresses to provide load balancing of a clustered environment
US20040015409A1 (en) 2000-07-07 2004-01-22 Andrew Chittenden Method, computer system and computer system network
US6711212B1 (en) 2000-09-22 2004-03-23 Industrial Technology Research Institute Video transcoder, video transcoding method, and video communication system and method using video transcoding with dynamic sub-window skipping
US7009943B2 (en) 2000-11-02 2006-03-07 Polycom, Inc. Conferencing network resource management for call connectivity
US20020078153A1 (en) * 2000-11-02 2002-06-20 Chit Chung Providing secure, instantaneous, directory-integrated, multiparty, communications services
US6597773B2 (en) 2001-01-11 2003-07-22 Lexent Inc. System for managing telecommunications infrastructure
TW540205B (en) 2001-02-27 2003-07-01 Ind Tech Res Inst Real-time scheduling mechanism capable of controlling quality of service
US7054933B2 (en) 2001-03-19 2006-05-30 Polycom, Inc. Self-tuning statistical resource allocation for multipoint network events
US7213050B1 (en) 2001-07-11 2007-05-01 Cisco Technology, Inc. System and method for reserving conference resources for a multipoint conference using a priority scheme
US20030023672A1 (en) 2001-07-27 2003-01-30 Arthur Vaysman Voice over IP conferencing server system with resource selection based on quality of service
US6999829B2 (en) 2001-12-26 2006-02-14 Abb Inc. Real time asset optimization
US7085786B2 (en) 2002-05-20 2006-08-01 International Business Machines Corporation Apparatus and method to schedule and perform database maintenance
JP2004062853A (ja) 2002-06-06 2004-02-26 Hitachi Ltd データバックアップ方法およびシステム
US7184531B2 (en) 2003-06-05 2007-02-27 Siemens Communications, Inc. System and method for authorizing a party to join a conference
US8924464B2 (en) 2003-09-19 2014-12-30 Polycom, Inc. Method and system for improving establishing of a multimedia session
US8659636B2 (en) * 2003-10-08 2014-02-25 Cisco Technology, Inc. System and method for performing distributed video conferencing
CN100359942C (zh) * 2003-11-05 2008-01-02 华为技术有限公司 视讯会议系统及其管理方法
JP4383952B2 (ja) 2004-04-27 2009-12-16 株式会社エヌ・ティ・ティ・ドコモ データ配信装置およびデータ配信時刻の変更方法
US7440973B2 (en) 2004-07-29 2008-10-21 Oracle International Corporation Systems, methods and software for automating database tasks
US7856483B2 (en) 2004-12-10 2010-12-21 Microsoft Corporation Information management systems with time zone information, including event scheduling processes
US8077635B2 (en) 2005-01-28 2011-12-13 Cisco Technology, Inc. Method and system for reserving facility resources for a conference
US7492730B2 (en) * 2005-04-19 2009-02-17 Polycom, Inc. Multi-site conferencing system and method
US20060248210A1 (en) * 2005-05-02 2006-11-02 Lifesize Communications, Inc. Controlling video display mode in a video conferencing system
US20070083521A1 (en) 2005-10-07 2007-04-12 International Business Machines Corporation Routing requests based on synchronization levels
US7800642B2 (en) * 2006-03-01 2010-09-21 Polycom, Inc. Method and system for providing continuous presence video in a cascading conference
US7313050B2 (en) 2006-04-18 2007-12-25 Taiwan Semiconductor Manufacturing Co., Ltd. Word-line driver for memory devices
US8793354B2 (en) 2006-04-20 2014-07-29 Cisco Technology, Inc. System and method for optimizing maintenance of geographically distributed processing units
US20070285501A1 (en) * 2006-06-09 2007-12-13 Wai Yim Videoconference System Clustering
US9137043B2 (en) 2006-06-27 2015-09-15 International Business Machines Corporation System, method and program for determining a network path by which to send a message
US8300789B2 (en) 2007-04-30 2012-10-30 Cisco Technology, Inc. Method and system for identifying a multipoint control unit for hosting a conference

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104221366A (zh) * 2012-02-01 2014-12-17 玛格通讯有限公司 提供虚拟物理上下文的视频会议系统
CN106416149A (zh) * 2014-03-31 2017-02-15 宝利通公司 用于优化多参与者全网状对等视频会话中的带宽利用的方法和系统
CN106416149B (zh) * 2014-03-31 2020-08-28 宝利通公司 用于优化多参与者全网状对等视频会话中的带宽利用的方法和系统
CN105376515A (zh) * 2014-09-02 2016-03-02 华为技术有限公司 用于视频通讯的通讯信息的呈现方法、装置及系统
CN105376515B (zh) * 2014-09-02 2019-03-19 华为技术有限公司 用于视频通讯的通讯信息的呈现方法、装置及系统
CN107430858A (zh) * 2015-03-20 2017-12-01 微软技术许可有限责任公司 传送标识当前说话者的元数据
CN107430858B (zh) * 2015-03-20 2020-11-03 微软技术许可有限责任公司 传送标识当前说话者的元数据
WO2017124289A1 (zh) * 2016-01-19 2017-07-27 王晓光 一种视频网络会议的开会提醒方法及系统
CN106650380A (zh) * 2016-12-29 2017-05-10 上海百芝龙网络科技有限公司 一种手部识别非接触式身份识别系统
CN115242712A (zh) * 2022-09-26 2022-10-25 中央广播电视总台 一种4k8kip制播调度控制方法、装置和系统
CN115242712B (zh) * 2022-09-26 2023-01-24 中央广播电视总台 一种4k8kip制播调度控制方法、装置和系统

Also Published As

Publication number Publication date
WO2008134301A1 (en) 2008-11-06
US9843769B2 (en) 2017-12-12
EP2140608A1 (en) 2010-01-06
EP2140608B1 (en) 2018-04-04
US20130021432A1 (en) 2013-01-24
CN101669324B (zh) 2012-10-03
US8300556B2 (en) 2012-10-30
US20080267282A1 (en) 2008-10-30

Similar Documents

Publication Publication Date Title
CN101669324B (zh) 多点视频会议中对带宽进行优化
US10021347B2 (en) Architecture for high availability conferencing
CN1810029B (zh) 设立会晤和会议的方法
US8325896B2 (en) System and method for dynamic audio conference call configuration and management
US7707247B2 (en) System and method for displaying users in a visual conference between locations
CN1633652B (zh) 用于视频会议系统的回放控制系统、服务器和显示方法
EP2050264B1 (en) Conference resource allocation and dynamic reallocation
US8330795B2 (en) Extended presence for video conferencing systems
US8290128B2 (en) Unified communication based multi-screen video system
US8941712B2 (en) Call movement in a conferencing system
US20160099978A1 (en) Distributed Audio Conferencing Architecture with Optimum Resource Utilization and Seamless Scalability
JP2007534266A (ja) 会議のコール内に参加者を含めるためのシステムと方法
US20070041366A1 (en) Distributed conference bridge
CN1849824A (zh) 用于执行分布式视频会议的系统和方法
US20090164575A1 (en) Method and system for the establishment of complex network telepresence conference
US9571533B2 (en) Graphical environment for adding liaison agents to a communication session
JP2006217576A (ja) Ｉｐのための動的トポロジ交換および回線交換型ファブリックを使用する会議接続
EP2140609A2 (en) Method and system for identifying a multipoint control unit for hosting a conference
JP6699862B2 (ja) 遠隔会議システム、遠隔会議サーバ、遠隔会議方法及びプログラム
CN100493123C (zh) 电话会议系统和控制方法
CA2644813A1 (en) Method and system for the establishment of complex network telepresence conference
EP2214374A1 (en) Communications system and method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121003

CF01 Termination of patent right due to non-payment of annual fee