CN108134915A - 用于混合式拓扑媒体会议系统的方法和系统 - Google Patents

用于混合式拓扑媒体会议系统的方法和系统 Download PDF

Info

Publication number
CN108134915A
CN108134915A CN201810213550.XA CN201810213550A CN108134915A CN 108134915 A CN108134915 A CN 108134915A CN 201810213550 A CN201810213550 A CN 201810213550A CN 108134915 A CN108134915 A CN 108134915A
Authority
CN
China
Prior art keywords
endpoint
video
video flowing
audio stream
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810213550.XA
Other languages
English (en)
Other versions
CN108134915B (zh
Inventor
E.德克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huihe Development Co ltd
Original Assignee
Polycom Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Polycom Inc filed Critical Polycom Inc
Publication of CN108134915A publication Critical patent/CN108134915A/zh
Application granted granted Critical
Publication of CN108134915B publication Critical patent/CN108134915B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1069—Session establishment or de-establishment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/632—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing using a connection between clients on a wide area network, e.g. setting up a peer-to-peer communication via Internet for retrieving video segments from the hard-disk of other client devices

Abstract

公开了会议系统的示例混合式拓扑。混合式拓扑的示例可以包括多个端点和中央实体。所述多个端点中的每一个可以向所述集中式实体提供其主要视频流和音频流。集中式实体将主要发言者流和混合音频流提供给所述多个端点参与者中的每一个。此外，对于非发言者视频，多个端点中的一些建立与所述多个端点参与者中的其它者的低带宽/低分辨率媒体流。

Description

用于混合式拓扑媒体会议系统的方法和系统
技术领域
本发明涉及会议系统。
背景技术
随着每日应用和服务以惊人的速度迁移到互联网协议（IP）网络，并且随着各种各样的多媒体会议设备的增长，越来越多的人使用多媒体会议作为其通信工具。现在，多媒体会议通信可以使用多个会议技术来承载。下面是会议技术的几个示例：AVC多媒体会议方法和媒体中继会议方法。AVC表示高级视频编码。在该公开中，术语：多媒体会议、视频会议（具有或者没有内容）和音频会议可以互换地使用，并且术语视频会议可以被用作它们的代表性术语。
通常，三个或更多参与者之间的AVC多点会议要求AVC多点控制单元（MCU）。AVCMCU是典型地位于网络的节点中或者位于从多个端点接收若干信道的终端中的会议控制实体。根据某些准则，AVC MCU处理音频和视频信号并且经由所连接的信道的集合而将它们分布给每一个参与端点。AVC MCU的示例包括RMX® 2000，其从Polycom公司可获得（RMX是Polycom公司的注册商标）。可以被称为AVC端点（AVCEP）的AVC通信方法中的终端是网络上能够提供与另一个AVCEP或者与MCU的实时、双向音频和/或视听通信的实体。AVCEP和MCU的更全面的定义可以在国际电信联盟（“ITU”）标准中找到，诸如但不限于H.320、H.324和H.323标准，其可以在ITU网站：www.itu.int上找到。
还被称为AVC MCU的常用MCU可以包括多个音频和视频解码器、编码器和媒体组合器（音频混合器和/或视频图像构建器）。MCU可以使用大量处理能力以处置可变数目的参与者（AVCEP）之间的音频和视频通信。通信可以是基于各种通信协议和压缩标准，并且可以涉及不同类型的AVCEP。MCU可能需要将多个输入音频或视频流分别组合成至少一个单个音频或视频输出流，其与将输出流所发送到的至少一个出席者的AVCEP的性质兼容。从端点接收的经压缩的音频流被解码并且可以被分析以确定将选择哪些音频流以用于混合成会议的单个音频流。在本公开中，可以互换地使用术语解码和解压缩。
会议可以具有一个或多个视频输出流，其中每一个输出流与布局相关联。布局限定接收流的一个或多个出席者的显示器上的会议的外观。布局可以划分成一个或多个片段，其中每一个片段可以与某一出席者经由他/她的AVCEP所发送的视频输入流相关联。每一个输出流可以从若干输入流构造，从而导致连续存在（CP）图像。在CP会议中，远程终端处的用户可以同时地观察会议中的若干其他参与者。每一个参与者可以显示在布局的片段中，其中每一个片段可以为相同尺寸或不同尺寸。与布局的片段相关联并且显示的参与者的选择可以在参与到相同会话中的不同出席者之中变化。
第二种类型的通信方法是媒体中继会议（MRC）。在MRC中，媒体中继MCU（MRM）从每一个参与的媒体中继端点（MRE）接收一个或多个流。MRM向每一个参与端点中继从会议中的其它端点所接收的多个媒体流的集合。每一个接收端点使用多个流以根据布局而生成视频CP图像以及会议的混合音频。将CP视频图像和混合音频播放给MRE的用户。MRE可以是具有以下能力的会话中的出席者的终端：从MRM接收所中继的媒体并且根据来自MRM的指令递送经压缩的媒体。邀请想要就MRC、MRM或MRE的示例了解得更多的读者阅读美国专利No. 8,228,363，其通过引用并入本文。在下文中，术语端点也可以表示MRE。
在一些MRC系统中，传送MRE在两个或更多流中发送其视频图像；每一个流可以与不同的质量等级相关联。质量可以在帧速率、分辨率和/或信噪比（SNR）等方面不同。以类似方式，每一个传送MRE可以在两个或更多流中发送其音频，这两个或更多流可以通过例如压缩比特率而彼此不同。这样的系统可以使用多个流来提供布局中的不同片段尺寸、由每一个接收端点使用的不同分辨率等。另外，多个流可以用于克服分组丢失。
现在，MRC变得越来越流行。许多视频会议系统在一个或多个流内并行地递送多个质量等级。对于视频，例如质量可以以数个域表述，诸如时间域（例如，每秒帧）、空间域（例如，HD对比CIF）和/或质量（例如，锐度）。例如可以用于多质量流的视频压缩标准为H.264AVC、H.264附录G（SVC）、MPEG-4等。关于诸如H.264之类的压缩标准的更多信息可以在ITU网站www.itu.int或者在www.mpeg.org处找到。
H.323是ITU标准。要求想要就视频会议标准和协议了解得更多的读者在ITU网站：www.itu.int上或者在互联网工程任务组（IETF）网站：www.ietf.irg上访问国际电信联盟（“ITU”）。AVC多点会议系统、MRC、MCU、AVC端点、MRE、网络会议客户端和VMR是本领域普通技术人员所已知的并且已经在许多专利、专利申请和技术手册中描述。因此，将不对这些进行进一步描述。下面是描述视频会议系统的专利和专利申请的示例：美国专利No. 6,496,216、No. 6,757,005、No. 7,174,365、No. 7,085,243、No. 8,411,595、No. 7,830,824、No.7,542,068、No. 8,340,271、No. 8,228,363以及其它专利和专利申请。
在两种类型的通信方法AVC和MRC中，需要中央实体以用于处置信令和媒体流（音频、视频），例如（分别地）MCU或MRM。为了建立视频会议系统，端点可以调用中央单元，诸如MCU或虚拟MCU。虚拟MCU（VMCU）可以是网络设备，例如控制服务器，其可以与多个MCU和多个端点通信。用户发起预留会议和/或自组会议可以与VMCU通信。如果在一个或多个MCU上可获得充足的资源，则做出预留并且分配连接编号。当用于会议的时间出现时，将一个或多个MCU分配给会议并且然后参与者连接到会议。要求想要就VMCU了解得更多的读者阅读多个专利和专利申请，诸如美国专利No. 7,174,365、美国专利No. 7,492,730以及许多其它专利和专利申请。VMCU的示例可以是诸如由Polycom公司销售的DMA®之类的产品（DMA是Polycom公司的注册商标）。
在建立会话之后，每一个端点将其媒体流发送给MCU或MRM。MCU或MRM根据通信方法的类型处理媒体流并且将相关流传递给接收端点。沿着该描述和权利要求，可以使用术语MCU作为用于MRM和AVC MCU的代表性术语。
MCU可以包括多点控制器（MC）和多点处理器（MP）。MC可以是位于网络处的分组-切换（SW）网络实体，其提供参与多点会议中的三个或更多终端的信令和控制。分组SW网络的示例可以是IP网络。MC还可以连接对等会议中的两个终端，对等会议随后可以发展成多点会议。MC为所有终端提供能力协商以实现公共等级的通信，并且还可以控制会议资源。MC信令和控制可以通过使用诸如SIP之类的标准信令协议而实现。SIP表示会话发起协议。要求想要就SIP了解得更多的读者访问IETF（互联网工程任务组）网站：www.itef.org。然而，MC不执行音频、视频和数据的混合或切换。多点处理器（MP）是网络上提供多点会议中的音频、视频和/或数据流的集中式处理的媒体实体。
MP在MC的控制之下提供媒体处理，诸如解码、混合、合成、编码、切换、路由或者媒体流的其它处理。MP可以取决于所支持的会议的类型而处理单个媒体流或者多个媒体流。单个MC可以控制多个MP。
现在，在支持多点会议中使用两个常见的拓扑：
1）集中式拓扑（图1）：对于该方法，所有参与者110朝上向中央媒体处理实体130发送一个或多个媒体流120，并且每一个从相同集中式实体130接收一个或多个流140。向上流传送到集中式实体130的流120可以包括一个或多个本地相机馈送和一个或多个内容馈送。从集中式实体130传送回来的流140在屏幕上渲染并且显示给参与者。当使用集中式方案时，现在使用两个特点：
A、编码变换：其中中央实体130对所有传入和传出的流进行编码变换，典型地使用诸如AVC MCU之类的MCU。对于该方案，集中式实体消耗每一参与者的大量计算资源。这对于分派这样的资源所需要的预算和规模而言成为问题。
B、媒体中继：其中中央实体130，典型地MRM，中继所有传入和传出的流。对于当前中继部署，集中式实体130从每一个参与者110接收一个或多个流120，并且将多个流140朝下发送回到该参与者110，所以参与者110可以看到呼叫中的其他参与者110。这意味着所有媒体必须流过单个实体，其可能变为瓶颈。
2）网状拓扑（图2）：对于该方法，流220在参与者210之间对等发送。每一个参与者210将其（多个）流的副本发送给每一个其他参与者210并且从会话中的每一个其它参与者210接收（多个）媒体流。
每一个方法都有其自身的限制。集中式拓扑会话取决于繁重的媒体编码变换资源，其是昂贵的并且具有规模化限制。网状拓扑会话要求用于处理所发送和接收的流的每一个端点210上的CPU的良好处理，并且每一个参与者要求的带宽数量的总和也可能是巨大的以便具有成功体验。
发明内容
在混合式拓扑中，每一个参与者并行地递送多个媒体流：具有较高分辨率/带宽的主要视频流以及具有较低分辨率/带宽的附加流。
每一个参与者将其主要视频流、音频流以及可选地一个或多个内容流提供给集中式实体。其还将低带宽/低分辨率的视频流提供给其他参与者。每一个参与者从集中式实体接收一个或多个主要发言者（speaker）的（多个）流、可选的（多个）内容流和混合音频流。此外，每一个参与者从其他参与者接收一个或多个低带宽/低分辨率的视频流。
附图说明
并入该说明书中并且构成该说明书的部分的附图图示了与本发明一致的装置和方法的实现，并且与详细描述一起服务于解释与本发明一致的优点和原理。
图1图示了根据现有技术的使用集中式实体的会议系统。
图2图示了根据现有技术的使用对等通信的会议系统。
图3图示了混合式拓扑会议系统的第一实施例。
图4图示了混合式拓扑会议系统的第二实施例。
图5图示了混合式拓扑会议系统的第三实施例。
图6图示了根据一个实施例的由某个端点在某些时间点处呈现的可能布局的示例。
图7是图示了根据一个实施例的集中式实体的组件的框图。
图8是图示了根据一个实施例的端点的组件的框图。
具体实施方式
根据本发明的实施例使用混合式方案，其中参与者同时使用网状和集中式拓扑，从而获得优于仅使用一个或另一个的益处。
在图3中示出混合式拓扑的示例，其中网状端点310A-C经由网状连接315在它们之间通信，而同时它们与集中式实体320通信，而一个或多个传统端点340经由媒体编码变换引擎330与集中式实体320通信。
视频处置
当每一个参与者310加入会话时，每一个参与者310将其主要视频馈送（例如，其相机资源）以及可选地一个或多个内容馈送327向上流发送给集中式实体320，其可以是媒体中继器或者编码变换引擎或桥。集中式实体320继而发送回活跃发言者的高分辨率/带宽视频流325以及一个或多个内容流，如果存在任何的话。在一些实施例中，集中式实体320可以返回表示活跃发言者的多个子集以及一个或多个内容流的多个流325。集中式实体320的结构和功能性是本领域所已知的。
每一个参与者310还建立与其它参与者310的网状连接315，以便仅发送和接收非发言者的视频。这些是低分辨率/低比特率的连接315。
在一些实施例中，传统端点340可以通过连接到中央实体320的媒体编码变换引擎330而连接到会议会话，从而向媒体编码变换引擎330发送视频流345，媒体编码变换引擎330将该流编码变换成经编码变换的流335并且将经编码变换的流335发送给中央实体320。类似地，中央实体320可以向编码变换引擎330发送回高分辨率/带宽的视频流337，编码变换引擎330对视频流337进行编码变换并且将经编码变换的视频流347发送给传统端点340。媒体编码变换引擎330是可选的并且在编码变换不必要或者可以由中央实体320执行的情况下可以省略。在一些实施例中，多个传统端点可以经由媒体编码变换引擎330连接，或者可以按照期望直接连接到中央实体320。
音频处置
在一个实施例中，当每一个参与者加入会话时，每一个参与者310将其主要音频馈送327（例如，其麦克风源）向上流发送给集中式实体320，其可以是媒体中继或者编码变换引擎或桥。集中式实体320继而发送回所有会议参与者310（或其所选子集）的音频混合325。在该实施例中，音频流没有经由参与者310之中的网状连接进行发送。在不使用媒体编码变换引擎330的实施例中，中央实体320可以在必要的情况下对音频流进行编码变换以便将音频流作为流337而发送给传统端点340。在一些实施例中，中央实体320可以将音频流327混合成单个音频流337以用于递送给媒体编码变换引擎330或者传统端点340。在其它实施例中，编码变换引擎330或者传统端点340可以执行音频混合。
在可替换实施例中，每一个参与者310经由网状连接315将其主要音频馈送（例如，其麦克风源）发送给呼叫中的每一个其它参与者310。呼叫中的每一个参与者310执行参与者310经由网状连接315所接收的音频流的本地混合。此外，每一个参与者310作为流327将其主要音频馈送向上流发送给集中式实体320。集中式实体320作为流337朝向媒体编码变换引擎330发送音频流。媒体编码变换引擎330将所有会议参与者（或其所选子集）的音频混合347发送给一个或多个传统端点340。传统端点340将其音频流345发送给媒体编码变换引擎330以用于向中央实体320发送，中央实体320然后将该音频流作为流325递送给网状参与者310。
媒体编码变换引擎330可以对媒体流、信令以及所需要的控制以便借助集中式实体320而连接到传统端点的控制进行编码变换。邀请想要就媒体编码变换引擎330了解得更多的读者阅读美国专利No. 8,228,363或者美国专利公开No. 20140028788，其内容通过引用并入本文。
示例使用情形
图4图示了其中所有参与者410使用兼容编解码器的情况。每一个参与者410将其主要视频馈送（例如，其相机源）以及可选地一个或多个内容馈送415向上流发送给集中式实体420。集中式实体420继而发送回活跃发言者的高分辨率/带宽视频流417以及（多个）内容流，如果它们存在的话。在存在多个活跃发言者的情况下，集中式实体420可以在一些实施例中返回表示活跃发言者的子集的多个流417。每一个参与者410建立与其它参与者410的网状连接412以便仅发送和接收非发言者的视频。这些是低分辨率/低比特率的连接412。
所有参与者410具有可用兼容音频和视频编解码器并且推选使用它们。在该情况下，我们可以在中央实体420处使用媒体中继。在一些实施例中，中央实体420可以混合所有或所选参与者的音频流，但是不需要对任何视频流进行编码变换。
图5图示了其中一些参与者使用非兼容编解码器的情况。在所图示的示例中，与会话中的其它端点510相比，传统端点540可以使用用于音频或视频的不同编解码器。每一个参与者510将其主要视频馈送（例如，其相机源）527以及可选地一个或多个内容馈送向上流发送给集中式实体520。在该示例中，集中式实体520对来自于一个或多个传统端点540的活跃发言者的视频进行编码变换并且混合所有参与者510的音频流。集中式实体520在流525中将用于活跃发言者的高分辨率视频发送给端点510。端点510使用网状连接515以用于在端点510之间发送低带宽/负载比特率视频。
集中式实体520朝向媒体编码变换引擎530发送媒体流537A-C。媒体编码变换引擎530发送合成媒体流547，其包含所有会议参与者510（或其所选子集）的音频混合、合成视频图像以及可选地一个或多个内容流。将合成媒体流547传递到一个或多个传统端点540以便向一个或多个传统端点540的用户渲染。在其它方向上，传统端点540将其媒体流545（包括音频、视频和内容，如果有任何的话）发送给媒体编码变换引擎530，其继而将流535发送给集中式实体520，典型地媒体中继引擎以用于作为流525而递送给其他端点510。
此外，图6图示了由一些端点在某一时间点处呈现的可能布局610、620和630的示例。示例布局610表示可以显示给端点510A（其为当前发言者）的用户的布局。在该示例中，主要片段612显示来自端点510B（之前的发言者）的视频，而不是参与者510A的自图像。
示例布局620表示将显示给端点510B或510C（其不是当前发言者）的用户的布局。在该示例中，主要片段622显示来自端点510A（当前发言者）的视频。
示例布局630表示将显示给传统端点540的用户的布局，其中端点510A、510B和510C中的每一个以2x2布置显示，并且片段632为空。
在图6中所图示的示例中，每一个布局610、620将参与者510A、510B和510C显示为片段614A、614B和614C，而传统端点540由图标616表示。在一些实施例中，图标616可以是传统端点540的用户的静止图像。在其它实施例中，图标616可以是用户的图形表示、或者显示传统端点540的用户的姓名的文本、端点540所位于的地方的场所的名称、或者任何其它图形表示。图标图像616可以例如从存储器设备（没有示出）获取，存储器设备可以与每一个端点510连接性耦合。
在图6中所图示的示例中，每一个布局610、620显示参与者510A、510B和510C的自图像。在另一个示例中，每一个布局610-630可以排除相关参与者的自图像，例如在用于端点510A的布局610中，可以排除片段614A，从而仅显示片段614B、614C和616。
混合式方案的一些益处包括：
1、相比于完全网状方案，借助混合式拓扑，每一个参与者需要发送和接收仅一个单个的高分辨率/高带宽媒体流，并且仅处理单个音频流。完全网状拓扑在参与者变为发言者时要求该参与者的端点发送N-1个（其中N是会话中的参与者的数目）高分辨率/高带宽流。因而，混合式方案减少了带宽消耗。
2、相比于完全编码变换的集中式拓扑方案，混合式拓扑方法使用少得多的计算资源。也就是说，仅要求集中式实体中继发言者媒体并且执行音频混合。相比于所有传入和传出的音频和视频流都要求编码变换而言，这要求少得多的处理资源。
图7-8是图示了集中式实体700（在该示例中，MCU）和端点800的示例实施例的相关元件的框图。集中式实体700能够实现所公开的用于控制混合式拓扑媒体会议系统的方法的方面。集中式实体700的示例实施例可以包括一个或多个处理器、计算机可读介质，诸如读取/写入硬盘、CDROM、闪存、ROM、或者其它存储器或存储设备等。逻辑模块的软件可以体现在计算机可读介质之一上。为了执行某一任务，可以按照需要而将软件程序加载到适当的处理器。
集中式实体700可以包括网络接口模块（NI）710、音频模块720、控制模块740和视频模块750。网络接口模块710经由一个或多个网络（没有在图中示出）从多个端点接收通信。网络接口710根据诸如但不限于H.320、H.323、SIP等的一种或多种通信标准以及诸如H.261、H.263、H.264、G711、G722；MPEG等的压缩标准来处理通信。网络接口710可以从其它集中式实体700和端点800接收控制和数据信息和/或向其它集中式实体700和端点800传送控制和数据信息。关于端点和集中式实体700之间通过相关网络的通信的更多信息以及描述对视频呼叫的信令、控制、压缩和设定的信息可以在国际电信联盟（ITU）标准H.320、H.323、H.322、H.261、H.263和H.264或SIP中找到。
网络接口模块710复用/解复用在端点和集中式实体700之间传达的不同信号、媒体和/或“信令和控制”。向音频模块720以及从音频模块720传递经压缩的音频信号。向视频模块750以及从视频模块750传递经压缩的音频信号，并且向控制模块740以及从控制模块740传递“控制和信令”。
音频模块720可以经由网络接口710和音频线路从多个端点接收经压缩的音频流。音频模块720对经压缩的音频流进行解码，分析经解码的流，选择某些流并且混合所选择的流。然后压缩经混合的流并且经由音频线路将经压缩的音频流发送回到网络接口710，其将经压缩的音频流发送给不同端点。发送给不同端点的音频流可以不同。例如，音频流可以根据不同通信标准以及根据各个端点的需要进行格式化。音频流可以排除与音频流所发送至的端点相关联的用户的语音。然而，该用户的语音可以包括在所有其它音频流中。音频模块720可以适配成分析从端点所接收的音频信号并且分析每一个音频信号所确定的能量。关于信号能量的信息可以传递给控制模块740。能量等级可以用作选择参数以用于将适当的一个或多个端点选择为会议的音频和/或视频的混合的源。端点可以被称为所选择的端点或者所呈现的端点。
视频模块750从多个端点（没有在图6中示出）接收经压缩的视频流，其经由相关网络（没有在图中示出）朝向集中式实体700发送并且由网络接口710处理。视频模块750可以根据与当前由集中式实体700进行的一个或多个会话相关联的一个或多个布局创建一个或多个经压缩的CP视频图像。视频模块750的示例可以具有多个输入模块751A-C、多个输出模块755a-c以及视频公共接口754。每一个输入模块751A-C可以与端点相关联。每一个输出模块755A-C可以与可以接收和处理类似CP视频图像的一个或多个端点相关联。
控制模块740可以是使用控制线路744控制集中式实体700的操作的逻辑单元。除典型集中式实体700的常见操作之外，集中式实体700能够作为具有控制模块740的结果而进行附加功能性。
现在返回来描述示例性集中式实体700的视频模块750的元件。除其它元件之外，示例性输入模块751A-C可以包括解码器752。解码器752从相关联的端点接收经压缩的视频。相关联的端点是与相关输入模块751相关联的端点。解码器752将经压缩的视频解码成经解码的视频数据。经解码的信息存储在解码器帧存储器中，其经由公共接口754而从解码器帧存储器朝向一个或多个输出模块755A-C传递。
除其它元件之外，示例性输出模块755A-C可以包括编码器758。
在一些实施例中，集中式实体700可以配置为递送所呈现的CP视频图像。所呈现的CP视频图像与接收端点（REP）的显示单元的参数相符。
帧存储器中的数据可以由编码器758编码（压缩）。压缩可以与如在和REP的协商期间所限定的压缩标准和参数相符。公共接口754可以包括任何各种接口，诸如但不限于共享存储器、ATM总线、TDM总线、切换和直接连接等。ATM表示异步传递模式，TDM表示时分复用。
图8图示了具有音频-视频端点800的示例实施例的相关元件的框图。所图示的端点800的示例适配成处理来自集中式实体700的接收的经压缩的视频图像。端点800的示例实施例可以包括一个或多个处理器、计算机可读介质，诸如读取/写入硬盘、CDROM、闪存、ROM、或者其它存储器或存储设备等。逻辑模块的软件可以体现在计算机可读介质之一上。为了执行某一任务，可以按照需要而将软件模块加载到适当的处理器。
端点800能够获取经压缩的视频图像，对经压缩的视频进行解码，并且处理视频图像的经解码的数据以便创建所呈现的CP视频图像。可以将所呈现的CP视频图像递送给端点800的显示单元（没有在图中示出）。
端点800的示例可以包括网络接口（NI）810、音频模块820、控制模块840和视频模块850。NI 810可以经由一个或多个网络（没有在图中示出）与集中式实体700或另一个端点800通信。网络接口810根据诸如但不限于H.320、H.323、SIP等的一种或多种通信标准以及诸如H.261、H.263、H.264、G711、G722；MPEG等的压缩标准来处理通信。网络接口810可以从集中式实体700或其它端点800接收控制和数据信息和/或向集中式实体700或其它端点800传送控制和数据信息。关于端点和集中式实体700或其它端点800之间通过相关网络的通信的更多信息以及描述对视频呼叫的信令、控制、压缩和设定的信息可以在国际电信联盟（ITU）标准H.320、H.321、H.323、H.261、H.263和H.264中找到。
网络接口模块810复用/解复用在端点和集中式实体700或端点800和其它端点800之间传达的不同信号、媒体和/或“信令和控制”。向音频模块820以及从音频模块820传递经压缩的音频信号。向视频模块850以及从视频模块850传递经压缩的音频信号，并且向控制模块840以及从控制模块840传递“控制和信令”。
音频模块840可以经由网络接口810和音频线路从集中式实体700或另一个端点800接收经压缩的混合音频流。音频模块820对经压缩的混合音频流进行解码，放大它，并且将经解码的混合音频流朝向端点800的一个或多个扬声器（没有示出）传递。在其它方向上，音频模块820可以处理通过麦克风（没有在图中示出）从端点800的用户所获得的音频，压缩音频信号，并且经由NI 810朝向集中式实体700或者其它端点800发送经压缩的音频。
控制模块840可以是控制端点800的操作的逻辑单元。除典型端点的常见操作之外，端点800能够作为具有控制模块840的结果而进行附加功能性。
除其它元件之外，视频模块850的一些实施例可以包括编码器851、解码器853和CP帧存储器（CPFM）859。CPFM 859的实施例可以是循环式缓冲器，其适配来存储所呈现的视频流的至少两个帧的经解码的视频数据。从CPFM 859所完成的帧可以朝向端点800的显示单元传递以便呈现给端点800的用户。
以上描述意图为说明性而非限制性的。例如，以上描述的实施例可以彼此组合地使用。通过回顾以上描述，许多其它实施例将对于本领域技术人员显而易见。因此，本发明的范围参照随附权利要求连同这样的权利要求所享有的等同方案的完整范围来确定。在随附权利要求中，术语“包含”和“在其中”被用作相应术语“包括”和“其中”的平义英语等同。

Claims (14)

1.一种用于视频会议系统的集中式实体，包括：
网络接口；
音频模块，配置为从网络接口接收音频流并且向网络接口发送音频流；
视频模块，配置为从网络接口接收视频流并且向网络接口发送视频流；以及
控制模块，配置为管理与多个网状连接的端点的连接，其中控制模块配置为使集中式实体：
建立与所述多个网状连接的端点中的每个端点的连接；
在视频模块处从所述多个网状连接的端点中的每个端点接收视频流；以及
从视频模块向从所述多个网状连接的端点中的一个或多个端点返回比由所述一个或多个端点从所述多个网状连接的端点中的其它端点接收的视频流高的分辨率的所选择的视频流。
2.根据权利要求1所述的集中式实体，其中所选择的视频流对应于活跃扬声器。
3.根据权利要求1所述的集中式实体，其中控制模块进一步配置为使集中式实体：
从所述多个网状连接的端点中的一个端点接收内容流；以及
向从所述多个网状连接的端点中的一个或多个端点发送该内容流。
4.根据权利要求1所述的集中式实体，其中控制模块进一步配置为使集中式实体：
在视频模块处从传统端点接收视频流；
从视频模块向所述多个网状连接的端点中的每个端点转发视频流；以及
从视频模块朝向传统端点转发来自所述多个网状连接的端点中的每个端点的视频流。
5.根据权利要求4所述的集中式实体，其中控制模块进一步配置为使集中式实体：
在从视频模块向所述传统端点转发视频流之前，对从所述多个网状连接的端点接收的视频流进行编码变换。
6.根据权利要求4所述的集中式实体，其中控制模块进一步配置为使集中式实体：
经由媒体编码变换引擎从视频模块朝向传统端点转发视频流。
7.根据权利要求1所述的集中式实体，其中控制模块进一步配置为使集中式实体：
从所述多个网状连接的端点接收音频流；以及
向媒体编码变换引擎转发视频流以便递送给传统端点。
8.根据权利要求1所述的集中式实体，其中控制模块进一步配置为使集中式实体：
从所述多个网状连接的端点接收音频流；
将所述音频流的至少一些混合到混合音频流中；以及
向传统端点转发混合音频流。
9.根据权利要求1所述的集中式实体，其中控制模块进一步配置为使集中式实体：
从所述多个网状连接的端点接收音频流；
将所述音频流的至少一些混合到混合音频流中；以及
向所述多个网状连接的端点发送混合音频流。
10.一种在其上存储指令的机器可读介质，所述指令包括在执行时使集中式实体进行以下步骤的指令：
建立与多个网状连接的端点中的每个端点的连接；
在集中式实体的视频模块处从所述多个网状连接的端点中的每个端点接收视频流；以及
从视频模块向从所述多个网状连接的端点中的一个或多个端点返回比由所述一个或多个端点从所述多个网状连接的端点中的其它端点接收的视频流高的分辨率的所选择的视频流。
11.根据权利要求10所述的机器可读介质，其中所选择的视频流对应于活跃扬声器。
12.根据权利要求10所述的机器可读介质，其中所述指令进一步包括在执行时使集中式实体进行以下步骤的指令：
从所述多个网状连接的端点中的一个端点接收内容流；以及
向从所述多个网状连接的端点中的一个或多个端点发送该内容流。
13.根据权利要求10所述的机器可读介质，其中所述指令进一步包括在执行时使集中式实体进行以下步骤的指令：
在视频模块处从传统端点接收视频流；
从视频模块向所述多个网状连接的端点中的每个端点转发视频流；以及
从视频模块朝向传统端点转发来自所述多个网状连接的端点中的每个端点的视频流。
14.根据权利要求10所述的机器可读介质，其中所述指令进一步包括在执行时使集中式实体进行以下步骤的指令：
从所述多个网状连接的端点接收音频流；
将所述音频流的至少一些混合到混合音频流中；以及
向所述多个网状连接的端点转发混合音频流。
CN201810213550.XA 2014-03-31 2015-03-31 用于混合式拓扑媒体会议系统的方法和系统 Active CN108134915B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201461973059P 2014-03-31 2014-03-31
US61/973059 2014-03-31
CN201580028970.5A CN106464842B (zh) 2014-03-31 2015-03-31 用于混合式拓扑媒体会议系统的方法和系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201580028970.5A Division CN106464842B (zh) 2014-03-31 2015-03-31 用于混合式拓扑媒体会议系统的方法和系统

Publications (2)

Publication Number Publication Date
CN108134915A true CN108134915A (zh) 2018-06-08
CN108134915B CN108134915B (zh) 2020-07-28

Family

ID=54192216

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201580028970.5A Active CN106464842B (zh) 2014-03-31 2015-03-31 用于混合式拓扑媒体会议系统的方法和系统
CN201810213550.XA Active CN108134915B (zh) 2014-03-31 2015-03-31 用于混合式拓扑媒体会议系统的方法和系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201580028970.5A Active CN106464842B (zh) 2014-03-31 2015-03-31 用于混合式拓扑媒体会议系统的方法和系统

Country Status (4)

Country Link
US (2) US9338401B2 (zh)
EP (1) EP3127326B1 (zh)
CN (2) CN106464842B (zh)
WO (1) WO2015153593A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109889765A (zh) * 2019-03-27 2019-06-14 联想(北京)有限公司 视频处理方法、视频处理装置和会议系统
CN109963110A (zh) * 2019-03-15 2019-07-02 兰州大学 多方视频会议的处理方法、装置、存储介质及计算设备

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8074581B2 (en) 2007-10-12 2011-12-13 Steelcase Inc. Conference table assembly
US10631632B2 (en) 2008-10-13 2020-04-28 Steelcase Inc. Egalitarian control apparatus and method for sharing information in a collaborative workspace
US20140361954A1 (en) 2013-06-07 2014-12-11 Lewis Epstein Personal control apparatus and method for sharing information in a collaboration workspace
US10884607B1 (en) 2009-05-29 2021-01-05 Steelcase Inc. Personal control apparatus and method for sharing information in a collaborative workspace
US10264213B1 (en) 2016-12-15 2019-04-16 Steelcase Inc. Content amplification system and method
WO2019001722A1 (en) * 2017-06-29 2019-01-03 Huawei Technologies Co., Ltd. SYSTEMS AND METHOD FOR PREDICTING FLOWS IN A NETWORK
CN109218640A (zh) * 2018-09-13 2019-01-15 广州市保伦电子有限公司 一种小型空间会议中控系统及其调音控制方法、存储介质
JP7116240B2 (ja) * 2019-02-19 2022-08-09 株式会社ソニー・インタラクティブエンタテインメント 音声出力制御システム、中継装置、通信装置、音声出力制御方法及びプログラム
US11662975B2 (en) * 2020-10-06 2023-05-30 Tencent America LLC Method and apparatus for teleconference

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1618233A (zh) * 2002-01-30 2005-05-18 摩托罗拉公司 视频会议系统和操作方法
US20110187813A1 (en) * 2010-02-01 2011-08-04 Magor Corporation Method of Connecting Mesh-Topology Video Sessions to a Standard Video Conference Mixer
US20110292165A1 (en) * 2010-05-25 2011-12-01 Tandberg Telecom As System and method for scalable media switching conferencing
US20130108029A1 (en) * 2011-11-01 2013-05-02 Charles Douglas Blewett Method and apparatus for providing ambient social telephony
WO2013155202A1 (en) * 2012-04-11 2013-10-17 Jie Diao Conveying gaze information in virtual conference

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7007098B1 (en) 2000-08-17 2006-02-28 Nortel Networks Limited Methods of controlling video signals in a video conference
NO318911B1 (no) * 2003-11-14 2005-05-23 Tandberg Telecom As Distribuert sammensetting av sanntids-media
CN1897535A (zh) * 2005-07-12 2007-01-17 松下电器产业株式会社 接力式建立多方会议的方法和装置
EP1966917B1 (en) * 2005-09-07 2016-05-04 Vidyo, Inc. System and method for a conference server architecture for low delay and distributed conferencing applications
US7729299B2 (en) * 2007-04-20 2010-06-01 Cisco Technology, Inc. Efficient error response in a video conferencing system
US8319820B2 (en) * 2008-06-23 2012-11-27 Radvision, Ltd. Systems, methods, and media for providing cascaded multi-point video conferencing units
US8312164B2 (en) * 2010-04-14 2012-11-13 Adobe Systems Incorporated Media quality enhancement among connected media communication devices
WO2012120540A1 (en) * 2011-03-10 2012-09-13 Bansal Sanjay A dynamic telepresence system and method
WO2012175228A1 (en) * 2011-06-23 2012-12-27 Telefonaktiebolaget L M Ericsson (Publ) Methods and apparatus for advertising endpoint device capabilities for sending/receiving simultaneous media streams
US9204099B2 (en) * 2012-02-01 2015-12-01 Magor Communications Corporation Videoconferencing system providing virtual physical context
US9532002B2 (en) * 2014-03-18 2016-12-27 CafeX Communications Inc. System for enabling meshed conferences to be seamlessly promoted to full MCU based conferences

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1618233A (zh) * 2002-01-30 2005-05-18 摩托罗拉公司 视频会议系统和操作方法
US20110187813A1 (en) * 2010-02-01 2011-08-04 Magor Corporation Method of Connecting Mesh-Topology Video Sessions to a Standard Video Conference Mixer
US20110292165A1 (en) * 2010-05-25 2011-12-01 Tandberg Telecom As System and method for scalable media switching conferencing
US20130108029A1 (en) * 2011-11-01 2013-05-02 Charles Douglas Blewett Method and apparatus for providing ambient social telephony
WO2013155202A1 (en) * 2012-04-11 2013-10-17 Jie Diao Conveying gaze information in virtual conference

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109963110A (zh) * 2019-03-15 2019-07-02 兰州大学 多方视频会议的处理方法、装置、存储介质及计算设备
CN109889765A (zh) * 2019-03-27 2019-06-14 联想(北京)有限公司 视频处理方法、视频处理装置和会议系统

Also Published As

Publication number Publication date
EP3127326B1 (en) 2021-11-03
WO2015153593A1 (en) 2015-10-08
CN106464842B (zh) 2018-03-02
US9338401B2 (en) 2016-05-10
EP3127326A4 (en) 2017-12-06
US20150281648A1 (en) 2015-10-01
CN108134915B (zh) 2020-07-28
CN106464842A (zh) 2017-02-22
US20160227169A1 (en) 2016-08-04
US9596433B2 (en) 2017-03-14
EP3127326A1 (en) 2017-02-08

Similar Documents

Publication Publication Date Title
CN106464842B (zh) 用于混合式拓扑媒体会议系统的方法和系统
US11503250B2 (en) Method and system for conducting video conferences of diverse participating devices
CN104580991B (zh) 用于会议系统对会议会话的当前条件的实时适应的系统和方法
US8228363B2 (en) Method and system for conducting continuous presence conferences
KR100880150B1 (ko) 멀티 포인트 화상회의 시스템 및 해당 미디어 프로세싱방법
CN101198008A (zh) 一种实现多屏多画面的方法和系统
US9743043B2 (en) Method and system for handling content in videoconferencing
CN105144702A (zh) 视频会议虚拟端点
CN111385515B (zh) 视频会议数据的传输方法和视频会议数据的传输系统
CN102957893B (zh) 用于在连续呈现会议中的视频流之间切换的方法和系统
JP2017092802A (ja) 会議通話システム及びそれに用いられるバックエンドシステム
Sarwar Real time multiple codecs switching architecture for video conferencing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231011

Address after: Texas, USA

Patentee after: Huihe Development Co.,Ltd.

Address before: California, USA

Patentee before: Polycom, Inc.