CN107205132A - 网格拓扑与集中式桥拓扑之间视频会话的无缝过渡 - Google Patents
网格拓扑与集中式桥拓扑之间视频会话的无缝过渡 Download PDFInfo
- Publication number
- CN107205132A CN107205132A CN201710156791.0A CN201710156791A CN107205132A CN 107205132 A CN107205132 A CN 107205132A CN 201710156791 A CN201710156791 A CN 201710156791A CN 107205132 A CN107205132 A CN 107205132A
- Authority
- CN
- China
- Prior art keywords
- bridge
- conferencing endpoints
- meeting
- grid
- end points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1069—Session establishment or de-establishment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/403—Arrangements for multi-party communication, e.g. for conferences
- H04L65/4046—Arrangements for multi-party communication, e.g. for conferences with distributed floor control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/403—Arrangements for multi-party communication, e.g. for conferences
- H04L65/4053—Arrangements for multi-party communication, e.g. for conferences without floor control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/104—Peer-to-peer [P2P] networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/14—Session management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/152—Multipoint control units therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/155—Conference systems involving storage of or access to video conference sessions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W84/00—Network topologies
- H04W84/18—Self-organising networks, e.g. ad-hoc networks or sensor networks
Abstract
公开了一种用于使网格与桥拓扑之间的过渡对于视频会话的终端用户而言无缝的技术,其中当过渡发生时在视频会话的音频与视频体验之间没有明显的间隙。另外,函数提供了用于确定是否已经发生用于这样的过渡的触发事件的方式。
Description
技术领域
本发明涉及视频会议领域,并且特别地涉及一种用于在网格拓扑与集中式桥拓扑或集中式选择性转发单元之间过渡视频会话的技术。
背景技术
视频会议中的全网格点对点拓扑通过在会议的每个参与方之间设立独立的音频/视频实时RTP流以使得每个参与方将一个音频/视频流传输到每个其他参与方并且从每个其他参与方接收一个音频/视频流来实现。通过与更为传统的集中式桥会议方法相比,全网格会议的主要优点是媒体的较低时延和集中式媒体服务器形式的瓶颈的消除。网格会议在云资源方面也更为成本高效。另一方面,全网格点对点拓扑由于带宽限制的原因无法被分级超过每会话一定数目的参与方。在这样的情况下,其中媒体被发送到集中式媒体服务器的桥拓扑更为高效和可分级。
在网格式模式下多方会议通话的情况下,所有参与方将其媒体直接发送给彼此。如果该网格式通话被逐步升级到桥式模式(由于老式端点加入会议或者超过网格式模式下的最大数目的参与方),那么现有会议通话中的所有参与方被迫使在诸如多点控制单元(MCU)之类的音频/视频桥上加入会议。从网格式通话到桥式通话的该过渡在已经运行的会议中产生中断。该逐步升级或过渡有时花费多于预期长度的时间,从而在会议通话中产生静默(blackout)期。因而,当逐步升级发生时,用户体验到其会议通话的视频和音频流中的不连续。
由于网络和设备能力正快速变化,用以决定网格通话到桥通话的准则可以是非常动态的。当前,所述准则主要是参与方的数目。随着网络带宽的增加和移动端点以及比如WEBRTC(“Web Real-Time Communication”)之类的标准的使用,存在可以影响基于网格的会议通话中的用户体验的其他因素。这可以产生对于用户而言非常差的体验,如果他们的设备不能支持会议所需的流数目或者网络条件不佳的话。
发明内容
为了充分利用两种拓扑的优点,我们使用一种混合方案,其中视频会话从网格拓扑开始并且然后基于数个准则(诸如可用带宽、参与方数目、需要记录等等)而逐步升级或过渡到桥拓扑。类似地,当参与方数目减少或其他这样的准则时,桥拓扑可以逐步降级或过渡到网格拓扑。
在下面的讨论中,我们提出一种用于使网格与桥拓扑之间的这样的过渡对于视频会话的终端用户而言无缝的技术,即当过渡发生时在视频会话的音频和视频体验之间没有明显的间隙。另外,描述了一种用于触发过渡的函数。
附图说明
并入本说明书中且构成本说明书一部分的附图图示了与本发明一致的装置和方法的实现方式,并且连同具体实施方式一起用于解释与本发明一致的优点和原理。在附图中:
图1是图示出依照一个实施例的用于将视频会议会话从网格拓扑无缝地过渡到桥拓扑的技术的流程图。
图2是图示出依照一个实施例的用于将视频会议会话从桥拓扑无缝地过渡到网格拓扑的技术的流程图。
图3是图示出依照一个实施例的网格拓扑视频会议会话的系统的框图。
图4是图示出依照一个实施例的桥拓扑视频会议会话的系统的框图。
图5是图示出依照一个实施例的用于触发基于网格的会议到桥式会议的逐步升级的技术的流程图。
图6是图示出依照一个实施例的基于网格的会议的框图。
图7是图示出试图加入图2的会议的另一端点的框图。
图8是图示出使用依照一个实施例的逐步升级管理器用于管理图6的基于网格的会议到桥式会议的逐步升级的框图。
图9是依照一个实施例的过渡到完全桥式会议的图8的会议的框图。
图10是依照一个实施例的处于向桥式会议过渡的基于网格的会议的框图。
图11是在过渡到桥式会议之后的图10的会议的框图。
具体实施方式
在下面的描述中,出于解释的目的,阐述了众多特定细节以便提供对本发明的透彻理解。然而,对于本领域技术人员将清楚明白的是,可以在没有这些特定细节的情况下实践本发明。在其他实例中,以框图形式示出结构和设备以便避免使本发明模糊。对于没有下标或后缀的数字的引用被理解为引用对应于所引用数字的下标和后缀的所有实例。而且,本公开内容中使用的语言主要针对可读性和指示性目的而被选择,并且可能未被选择来描画或界定发明主题,其中需要求助于权利要求来确定这样的发明主题。在说明书中对“一个实施例”或“一实施例”的引用意指联系实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中,并且对“一个实施例”或“一实施例”的多次引用不应当被理解为一定是全部引用同一个实施例。
术语“一”、“一个”和“该”不意图是指单数的实体,除非明确地如此定义,而是包括一般类别,其特定示例可以用于例示说明。术语“一”或“一个”的使用因此可以意指至少一个的任何数目,包括“一个”、“一个或多个”、“至少一个”和“一个或多于一个”。
术语“或”意指可替换方案中的任一个和可替换方案的任何组合,包括所有可替换方案,除非这些可替换方案被明确指示为相互排斥。
当与项目列表相组合时,短语“…中的至少一个”意指来自该列表的单个项目或者该列表中的项目的任何组合。该短语并不要求所有列出的项目,除非明确地如此定义。
如本文中使用的,术语“计算机系统”可以是指单个计算机或者一起工作以执行被描述为在计算机系统上执行或由计算机系统执行的功能的多个计算机。
在下面的描述中,会议通话或会议会话可以是只有音频、只有视频或音频与视频的混合。另外,尽管为了清楚起见在图中未图示出,但是可以在会议会话中提供只有数据的流。术语“通话”和“会话”在本文中被同义地使用。另外,术语“参与方”和“端点”被可互换地使用,即使多个人可以在任意给定的端点处参与。
如本文中使用的,术语“处理元件”可以是指单个硬件处理元件或者可以被一起编程以执行所指示的动作的多个硬件处理元件。硬件处理元件可以被实现为在物理硬件设备上托管的虚拟可编程设备的虚拟硬件处理元件。当被执行时对处理元件编程以执行动作的指令可以对这些处理元件中的任一个或全部编程以执行所指示的动作。在处理元件是一个或多个多核处理器的情况下,当被执行时对处理元件编程以执行动作的指令可以对多个核中的任一个或全部编程以执行所指示的动作。
如本文中使用的,术语“介质”可以是指单个物理介质或者一起存储被描述为存储在介质上的信息的多个介质。
如本文中使用的,术语“存储器”可以是指单个存储器设备或者一起存储被描述为存储在介质上的信息的多个存储器设备。存储器可以是任何类型的存储设备,包括随机存取存储器、只读存储器、光学和电机磁盘驱动器等等。
从网格拓扑到桥拓扑的无缝过渡:
当端点必须从网格拓扑过渡到桥拓扑时,该端点利用桥设立音频/视频流,从而产生桥连接。该端点只有在特定网格流的两个端点均已加入桥之后才终止用于网格流的网格连接。这为音频体验提供了连续性和平滑过渡,然而对于无缝视频过渡而言是不足的。桥流视频被隐藏在该端点处,直到网格通话上当前活动(active)的发言者已经过渡到这样的桥,在该点处桥视频被显示并且所有剩余的网格视频(如果有的话)被隐藏。这为视频体验提供了连续性。
图1是图示出依照一个实施例的用于执行从网格模式到桥模式的过渡的技术的流程图。
在开始时在块110中,端点处于网格模式下的音频/视频会话中。在块115中,端点接收到用以触发从网格模式到桥模式的过渡的事件。该事件可以归因于任何准则,诸如参与方数目的变化、带宽的变化等等。
在块140中,端点监听来自所有其他端点的“transition_to_bridge_complete”事件。在块145中,端点检测从另一端点接收的该事件。端点在块150中确定所有端点是否已过渡到桥模式。如果没有,则端点记住其他端点已经完成到桥式会话的过渡并且在块140中返回监听附加的“transition_to_bridge_complete”事件。
在端点开始监听“transition_to_bridge_complete”事件的同时,端点还在块120中发起到集中式桥的音频/视频流。在块125中,集中式桥接受通话,并且利用集中式桥建立双向音频/视频流。在一个实施例中,端点在桥会话中保持远程视频静音以节省带宽。此时来自网格流和桥流二者的音频均可听。
在块130中,端点向所有其他端点广播“transition_to_bridge_complete”事件。然后,端点在块135中拆除该端点已经从其接收到“transition_to_bridge_complete”事件的仅仅那些远程端点的网格音频/视频流。
端点继续监听来自远程端点的“transition_to_bridge_complete”事件,当接收到该事件时在块160中拆除网格音频/视频流。
当端点终止用于如块165中确定的作为当前活动发言者的远程端点的网格流时,在块170中,端点隐藏所有网格视频流(如果有的话)并且仅显示桥视频流。
当已经从所有远程端点接收到“transition_to_bridge_complete”事件时,如块175中确定的,在块180中,不再存在网格连接并且到桥的过渡完成。“transition_to_bridge_complete”的名称是说明性的且仅作为示例,并且可以使用用于该事件的任何名称。
图2是图示出依照一个实施例的用于从桥模式到网格模式的无缝过渡的类似技术的流程图。
当端点必须从桥拓扑过渡到网格拓扑时,该端点设立与所有远程端点的、用于音频/视频流的网格连接。网格流在本地视频静音且远程音频处于静音状态的情况下被设立以便节省带宽和避免双音频。一旦在所有端点之间设立完整的网格拓扑,端点就使网格流上的本地视频和远程音频取消静音,并且终止用于桥流的桥连接。
在每个端点处,如图2中图示的,在块210处,端点当前处于桥模式下的视频会话中。在块215中,端点接收到用以触发从桥模式到网格模式的过渡的事件。该事件可以归因于任何准则,诸如参与方数目的变化、带宽的变化等等。
在块235中,端点监听来自其他端点的“transition_to_mesh_complete”事件。当在块240中接收到该事件时,在块245中,端点确定对于所有端点而言是否完成过渡,并且如果没有,则在块250中,端点记住哪些端点已经完成到网格的过渡。
随着端点监听“transition_to_mesh_complete”事件,在块220中,端点开始设立与所有远程端点的音频/视频流。这些网格流在其本地视频和远程音频处于静音状态的情况下被发起。本地视频被静音以保持带宽为低,并且远程音频被静音以防止来自同一参与方的双音频。
当在块225中完成与所有远程端点的网格通话的设立时,在块230中,端点向所有远程端点发送出“transition_to_mesh_complete”事件。
当如块255中确定的从所有远程端点接收到“transition_to_mesh_complete”事件时,该端点在块260中使网格通话中的本地视频和远程音频取消静音,在块265中拆除桥流并且显示网格通话视频流。然后,在块270中完成到网格模式的过渡。“transition_to_mesh_complete”的名称是说明性的且仅作为示例,并且可以使用用于该事件的任何名称。
图3是图示出依照一个实施例的具有网格拓扑中的视频会议会话的系统300的框图。图4是图示出依照一个实施例的具有桥式拓扑中的视频会议会话的系统400的框图。使用网络370与端点305、315、325和335之间的链接307、317、327和337,利用通过网络370的网格连接310、320、330、340、350和360在图3中图示出端点305、315、325和335。尽管被图示为单个网络370,但是任何数目的互连网络可以使端点305、315、325和335互连。尽管在该示例中存在集中式桥380且其经由链接385连接到网络370,但是网格连接并不经过桥380。在图4中,会话已经过渡到桥拓扑,在该桥拓扑中经由桥380而不是直接在端点305、315、325和335之间做出连接410、420、430和440。端点的数目是说明性的且仅作为示例,并且受制于资源可用性,可以使用任何数目的端点。
尽管在上文被描述为音频-视频会议会话,但是所公开的技术可以用于只有音频的会议会话,并且可以包括附加的内容数据流(为了清楚起见,图3-4中未示出)。可以作为音频-视频或只有音频的会议端点或桥进行交互的端点305、315、325和335以及集中式桥380可编程设备一般包括一个或多个可编程处理器和耦合到该处理器的存储器,所述存储器存储指令,所述指令当被执行时促使所述可编程处理器执行上文描述的技术。这些指令可以提供于一个或多个机器可读介质上,所述介质存储指令以供载入存储器中。端点和桥的其他细节在本公开内容的范围之外,但是是本领域技术人员公知的。
上文描述的技术可以使用任何类型的触发事件或触发点来实现。在下文中,描述了依照各个实施例的、用于标识用于在网格与集中式会议之间切换的触发点的各种度量标准。还描述了用以收集这些度量标准并计算准则的加权指数以确定触发点的机制。
按照定义,在网格会议通话中,每个参与方建立与每个其他参与方的单独的媒体连接。这消耗设备上的大量CPU循环/处理能力。它还消耗大量网络带宽。
在一个实施例中,在决定是否将网格通话逐步升级到桥通话时可以考虑以下准则。
1、会话中的参与方数目(N)。随着更多的参与方加入会议,由每个端点保持的媒体流的数目增加。这可以产生差的用户体验。
2、用于网格式端点的设备带宽限制(D1)。在一些情景中,端点可能具有良好的能力,而网络带宽可能被限制。在这样的情景中,在该网络中处理多个媒体连接可能是个问题。
3、用于网格式端点的设备计算限制(D2)。移动设备可能具有范围广泛的能力。例如,低端移动设备可能不能处理多个媒体流。
4、用于网格式端点的设备功耗(D3)。对于作为移动设备的端点而言,可消耗用于计算的功率也可能被限制。
5、用于网格式端点的设备的移动性(M)。在端点为移动设备的情况下,网络路由和NAT穿越(traversal)也可能在通话期间发生变化。这些可以触发参与方之间明显的会话描述协议(SDP)重新协商,这对于一些用户而言可以产生差的体验。
5、桥用户加入(B)。在该情景中,桥用户想要加入当前正在基于网格的会议通话中运行的会议通话。
在一个实施例中,触发点是所有以上准则的函数:
。
该函数的实施例可以是简单的加权指数或者系统中配置的任何其他数学模型。为了实现这样的系统,在一些实施例中,会议监视者使用代理或以无代理的方式从端点设备收集所有度量标准。会议监视者可以对从所有端点设备接收的度量标准数据运行实时分析,并且计算触发点值。如果所计算的触发点值超过预定可配置门限值,则会议监视者可以触发到桥通话的逐步升级。类似地,如果触发点值低于预定可配置门限值,则会议监视者可以触发从桥通话到网格通话的过渡。
在一个实施例中,用于确定触发点和门限的函数可在系统中定制。可以根据期望向不同会议分配不同的函数和门限。例如,一些函数可以对各种参数进行加权,从而根据期望给予不同的参数以不同的权重。其他函数可以省略以上参数中的一个或多个,并且可以包括上文未讨论的一个或多个其他参数。基于所使用的准则和参数的加权,可以为每个会议会话标识用于触发点的一个或多个最优门限。在一些实施例中,可以使用单个门限用于在网格与桥式会话之间过渡。在其他实施例中,可以使用第一门限用于从网格过渡并且可以使用第二门限用于从桥式会话过渡到网格会话。
通过采用上文与触发点一起描述的无缝过渡技术,所公开的系统的实施例提供了执行过渡而不打断现有对话的更佳的用户体验。
图5是图示出依照一个实施例的上文概述的技术的流程图500。在块510中,每个会议被分配触发点函数和触发点门限。在块520中,从会议中的所有端点获得与触发点函数相关的度量标准。也可以获得关于网络容量和质量的度量标准。可以在使用或不使用代理的情况下收集这些度量标准,并且一些实施例可以使用代理用于收集一些度量标准并且不使用代理用于收集其他度量标准。在块530中,评估触发点函数,在一个实施例中,应用用于参与方数目、设备带宽限制、设备计算限制、设备移动性和桥用户的度量标准数据。在块540中,针对门限值来评估触发点函数值。如果超过门限(或者在一些实施例中满足门限),则在块560中触发会议以逐步升级到桥式会议。如果触发点值未超过(或满足)门限值,那么在块550中进行检查以确定会议是否已经结束。如果没有,那么该技术从块520中的度量标准收集开始而重复。如果会议已经结束,那么该技术终结。尽管在图5中被描述为从网格会话到桥会话的逐步升级,但是同样的技术可以用于触发从桥会话到网格会话的过渡。
图6-11图示了用于使用上文公开的触发函数、在网格会话与桥会话之间过渡的附加实施例。在下文中,为了清楚起见,触发函数退化为参与方数目的简单函数,并且门限为参与方的数目N。然而,下面公开的技术不限于这样的“参与方数目”函数。
考虑具有N个参与方的门限的基于网格的会议通话,其中当前存在N-1个活动的参与方。当新的参与方加入该会议通话时,该通话需要逐步升级到桥通话。该过渡可以由独立于端点的逐步升级管理器来处理,如图6-9中图示的。
当新的参与方尝试作为参与方加入该网格式会议通话时,逐步升级管理器将该新的参与方直接重定向到桥。然后,该逐步升级管理器自身作为逐步升级管理器的网格侧上的第N个参与方加入该网格式会议,而MCU或桥在逐步升级管理器的另一侧上。随着时间的推移,通话可以将网格式参与方移动到桥侧,从而提供到桥会议的无缝过渡。
图6是图示出三个端点610A-C之间的基于网格的会议会话600的框图。在该简单示例中,用于触发到桥会议的逐步升级的门限为4个参与方。尽管在图5中被图示为膝上型计算机,但是端点610可以是任何类型的计算设备,包括移动设备,其每一个包含一个或多个处理器和存储指令的存储器,所述指令当被执行时促使该一个或多个处理器执行所公开的动作。尽管为了清楚起见各端点610被示出为彼此直接连接,但是典型地各端点610经由跨一个或多个网络(在图6-9中被省略)的网络连接而彼此连接,所述一个或多个网络可以包括蜂窝网络。
在图7中,新的参与方610D试图加入会议会话,其将把会议带给门限数目个参与方。在该实施例中,如图8-9图示的,逐步升级管理器开始起作用。
端点610D联系逐步升级管理器820,表明加入具有端点610A-C的会议的期望。逐步升级管理器820指导端点610D连接到桥810(其可以是多点控制单元(MCU)),并且在端点管理器820与MCU 810之间建立连接。逐步升级管理器820还与网格会议中的其他三个端点610A-C进行网格连接,使得会议现在为4路网格会议。
在通话的桥侧,逐步升级管理器820将从该网格式通话中的所有其他N-1个会议参与方610A-C接收或采集的多个媒体流发送到MCU 810。MCU 810将所有网格式会议参与方的媒体的拼凑(stitched)音频-视频流发送给新添加的参与方610D。MCU 810还将来自端点610D(第N+1个参与方)的音频-视频流回送给逐步升级管理器820。然后,逐步升级管理器820将流叉分给所有网格式通话参与方610A-C。在一个实施例中,逐步升级管理器820为发送到MCU 810的每个媒体流添加特定的令牌,以使得MCU 810不将流认为是来自单个源的媒体并且不将其在拼凑视频流中回送给逐步升级管理器820。
如果又另一个参与方(在图8中,端点610E)加入会议,则该端点仅加入桥会话,从而连接到MCU 810。在一个实施例中,MCU 810为直接连接到桥810的每个端点向逐步升级管理器820发送附加媒体流。在其他实施例中(诸如图8中图示的实施例),将单个媒体流从MCU810发送到逐步升级管理器,从而组合来自直接连接到桥MCU 810的参与方中的每一个的媒体流。
然后,会议作为混合网格-桥会议而继续。在一个实施例中,逐步升级管理器820可以使用与上文描述的触发技术类似的触发技术决定整个网格式会议是否需要移动到MCU810上。在其他实施例中,该混合网格-桥会议可以针对会议会话的剩余部分而继续。
在一个实施例中,逐步升级管理器820缓慢地停止网格式端点610A-C之间的点对点媒体流,同时指导或请求MCU 810为丢弃网格连接的每个端点610A-C添加附加媒体流,如图9中图示的。在这样的实施例中,逐步升级管理器820然后可以用作媒体中继MCU,作为代理者中继去往和来自MCU 810的媒体流。
在一个实施例中,逐步升级管理器820可以监视会议,监听活动的发言者。逐步升级管理器820可以触发用于对应于非活动发言者的端点610的序列以便丢弃它们的网格式连接。逐步升级管理器820还向MCU 810发送通知,以便促使MCU 810开始发送意图用于不再是网格的一部分的每个端点610的单独的流。通过使仅仅非活动发言者端点从网格突然转到(snapping)桥会议连接,会议过渡对于其连接已经从网格切换到桥的端点610处的参与方而言看起来是无缝的。随着时间的推移,这可以导致图9中图示的情形,其中所有先前网格化的端点610A-C经由逐步升级管理器820被连接为桥式端点。
在图10-11中图示的另一实施例中,没有逐步升级管理器820用于中继媒体流。在一个实施例中,代替单独的逐步升级管理器820中的逐步升级逻辑,在端点610A-D中的每一个中实现逐步升级逻辑。在另一实施例中,可以使用逐步升级管理器,但是仅用于指导端点和MCU 810执行逐步升级,而不是用作用于流的中继。如图6中图示的,会议作为网格式会议开始进行。但是在图10-11的实施例中,当端点610C试图加入会议时,这些端点中的每一个中的逐步升级逻辑促使MCU 810作为第N个参与方加入网格会议,并且促使端点610D(第N+1个端点)直接在MCU 810上加入会议,如图10中图示的。
然后,随着时间的推移,当端点610A-C中的每一个不是活动的发言者时,该端点610丢弃其到其他端点610的网格连接,并且仅通过MCU 810进行通信,最终导致图11的完全桥式会议。
如图10中图示的,所有当前基于网格的会议参与方610A-C拨号进入桥MCU 810中,同时保持它们的网格式通话线路运转和运行。这确保运行的对话不被打断。
在一个实施例中,加入MCU 810的通话可以包含特定标记或标识符,所述特定标记或标识符将使得MCU 810能够将来自原始的N-1个参与方----端点610A-C的所有媒体认为是来自逻辑上被看作单个实体的特殊源的媒体。在该实施例中,由MCU 810发送给基于网格的参与方端点610A-C的媒体流并不包含网格式端点610A-C的任何音频或视频,而只有来自已经直接在MCU 810上加入会议通话的参与方的媒体。
然而,被托管在MCU 810上的端点610D从MCU 810接收来自所有网格式会议参与方610A-C和任何其他来自桥的桥接参与方的媒体流。
类似于图8-9中图示的过渡,随着会议进行,在给定时间点处,可以存在作为活动发言者的、N个参与方的子集m。使该m个活动发言者保持原样(untouched),端点610A-C中的逐步升级逻辑可以从网格式通话中移除其余的其他N-m个参与方。在一个实施例中,这通过以下过程而顺序地、一个接一个地执行。
首先,为将过渡到完全桥式模式的端点移除(与网格式用户的)现有点对点连接线路。接下来,向MCU 810发送通知以从单个源上下文中移除该参与方,使得MCU 发送用于会议中的所有其他参与方而不仅是仅桥(bridge-only)的参与方的端点媒体。
在应用以上步骤之后,没有活动发言者的端点可以通过简单地关断其网格式连接并从公共源上下文脱离开而平滑地过渡到MCU 810。
在一个实施例中,所有网格式用户利用(例如,在会话发起协议或会话描述协议中共享的)特殊密钥加入MCU 810上的通话,其使得MCU 810能够将来自网格式端点的实时协议(RTP)媒体流保持到单个源中。
通过将RTP保持到同一上下文/源中,当拼凑媒体时,MCU 810并不在拼凑流中回送网格式参与方媒体。
例如,使用图10-11中图示的示例,端点610A-C在网格式通话上;因而,它们正从彼此直接得到媒体流。当端点610D在MCU 810上加入通话时,逐步升级发生,并且端点610A-C向MCU 810发送包含其音频视频端口的SDP邀请。在该邀请中,端点610A-C共享公共密钥,从而允许MCU 810将来自这些端点的RTP媒体流保持为来自单个源的RTP流。因此,MCU 810并不将拼凑媒体回送给端点610A-C,从而防止将它们的流回送给仍在通过其网格连接彼此交谈的网格式端点610A-C。
然而,新的参与方端点610D从所有网格式端点610A-C得到媒体,并且所有网格式端点610A-C在从MCU 810回到端点610A-C的拼凑视频中得到来自作为会议参与方的端点610D的媒体。当端点610A-C中的任一个从网格过渡到桥式连接时,来自该端点的媒体流不再包含特殊密钥,从而促使MCU 810将来自该端点的媒体包括在拼凑媒体流中。这一旦发生,端点就可以简单地丢弃其网格连接。
可以用硬件、固件和软件中的一个或组合实现各实施例。也可以将各实施例实现为存储在计算机可读存储介质上的指令,所述指令可以由至少一个处理元件读取和执行以便执行本文中描述的操作。计算机可读存储介质可以包括用于存储可由机器(例如,计算机)读取的形式的信息的任何非瞬时机制。例如,计算机可读存储设备可以包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光学存储介质、闪存设备和其他存储设备和介质。
如本文中描述的实施例可以包括逻辑或数个组件、模块或机制,或者可以在逻辑或数个组件、模块或机制上操作。模块可以是通信地耦合到一个或多个处理元件以便执行本文中描述的操作的硬件、软件或固件。模块可以是硬件模块,并且因此模块可以被认为是能够执行指定操作的有形实体,并且可以以一定方式进行配置或布置。电路可以以指定方式被布置(例如,布置在诸如其他电路之类的外部实体的内部或者相对于该外部实体布置)为模块。一个或多个可编程设备(例如,单独的客户端或服务器计算机系统)或一个或多个硬件处理元件的整体或部分可以由固件或软件(例如,指令、应用部分或应用)配置为操作用于执行指定操作的模块。软件可以驻留在计算机可读介质上。软件当由模块的底层硬件执行时促使硬件执行指定操作。因此,术语硬件模块被理解为涵盖有形实体,无论实体被物理地构造、被具体地配置(例如,被硬连线)还是被临时地(例如,瞬时地)配置(例如,被编程)成以指定方式操作或执行本文中描述的任何操作中的部分或全部。在模块被临时地配置的情况下,各模块中的每一个无需在任意一个时刻进行实例化。例如,在模块包括使用软件进行配置的通用硬件处理元件的情况下,该通用硬件处理元件可以在不同的时间被配置为各不相同的模块。因此,软件可以将硬件处理器编程成例如在一个时间实例处构成特定模块并且在一不同的时间实例处构成不同的模块。模块也可以是软件或固件模块,其操作用于执行本文中描述的方法。
将理解的是,以上描述意图是说明性而非限制性的。例如,可以彼此相组合地使用上述实施例。在检视以上描述时对于本领域技术人员而言许多其他实施例将是清楚明白的。因此,本发明的范围应当参考所附权利要求以及这样的权利要求应被授予的等同物的完整范围进行确定。
Claims (20)
1.一种其上存储指令的机器可读介质,包括指令,所述指令当被执行时促使会议端点:
确定在具有多个其他会议端点的会议会话中已经发生网格到桥会议触发事件;
响应于所述确定在会议端点与桥之间建立桥连接,所述桥连接被配置用于会议端点与桥之间的双向音频-视频通信;
将会议端点已经过渡到所述桥连接通知到所述多个其他会议端点;
监听来自所述多个其他会议端点中的第二会议端点的通知,所述通知指示所述第二会议端点已经过渡到桥连接;
拆除会议端点与所述第二会议端点之间的网格连接;以及
追踪所述多个其他会议端点中的哪些端点已经过渡到桥连接。
2. 权利要求1所述的机器可读介质,
其中所述桥连接最初被静音;并且
其中所述桥连接响应于所述多个会议端点中的活动发言者端点过渡到桥连接而被取消静音。
3.权利要求1所述的机器可读介质,其中所述指令还包括指令,该指令当被执行时促使会议端点:
响应于接收到所有所述多个其他会议端点已经过渡到桥连接的通知而完成过渡到桥会议。
4.权利要求1所述的机器可读介质,其中所述网格到桥会议触发事件包括一个或多个度量标准的函数。
5.权利要求4所述的机器可读介质,其中所述一个或多个度量标准中的度量标准包括多少会议端点被连接到所述会议会话。
6.权利要求4所述的机器可读介质,其中所述当被执行时促使会议端点确定是否已经发生网格到桥会议触发事件的指令包括当被执行时促使会议端点响应于所述函数超过门限值而确定已经发生所述网格到桥会议触发事件的指令。
7.一种其上存储指令的机器可读介质,包括指令,所述指令当被执行时促使会议端点:
确定在具有多个其他会议端点的会议会话中已经发生桥到网格会议触发事件;
设立与所述多个其他会议端点的网格连接;
将会议端点已经过渡到网格会议通知到所述多个其他会议端点中的每一个;
监听来自所述多个其他会议端点的、所述多个其他会议端点已经过渡到所述网格会议的通知;以及
拆除到桥的连接。
8. 权利要求7所述的机器可读介质,其中所述当被执行时促使会议端点设立所述网格连接的指令包括指令,该指令当被执行时促使会议端点:
使来自所述多个其他会议端点的网格连接音频静音;以及
使从所述网格连接上的会议端点到所述多个其他会议端点的音频静音。
9. 权利要求8所述的机器可读介质,其中所述指令还包括指令,该指令当被执行时促使会议端点:
响应于所有所述多个其他会议端点已经过渡到所述网格连接而使来自所述多个其他会议端点的网格连接音频取消静音;以及
响应于所有所述多个其他会议端点已经过渡到所述网格会议而使从所述网格连接上的会议端点到所述多个其他会议端点的音频取消静音。
10.权利要求8所述的机器可读介质,其中所述桥到网格会议触发事件包括一个或多个度量标准的函数。
11.权利要求10所述的机器可读介质,其中所述一个或多个度量标准中的度量标准包括多少会议端点被连接到所述会议会话。
12.权利要求10所述的机器可读介质,其中所述当被执行时确定是否已经发生所述桥到网格会议触发事件的指令包括当被执行时促使会议端点响应于所述函数未超过门限值而确定已经发生所述桥到网格会议触发事件的指令。
13.一种逐步升级管理器,包括:
处理元件;
存储器,被耦合到所述处理元件,所述存储器上存储指令,所述指令当被执行时促使所述处理元件:
接收来自想要加入具有多个其他会议端点的网格会议会话的会议端点的指示;
确定会议端点将把所述网格会议会话带给门限数目个参与方;
指导会议端点连接到桥;
在所述桥与所述逐步升级管理器之间建立连接;
建立与所述多个其他会议端点中的每一个的网格连接;
将从所述多个其他会议端点接收的媒体流转发给所述桥,以用于转发给会议端点;以及
经由所述网格连接将从所述桥接收的媒体流转发给所述多个其他会议端点。
14.权利要求13所述的逐步升级管理器,其中所述指令还包括指令,该指令当被执行时促使所述处理元件:
将具有所述多个其他会议端点的所述会议会话过渡到所述桥。
15.权利要求13所述的逐步升级管理器,其中所述逐步升级管理器包括媒体中继多点控制单元。
16.一种将网格会议过渡到桥会议的方法,包括:
确定已经发生触发事件;
建立到桥的连接;
将到桥会议的过渡通知到所述网格会议的其他端点;
接收来自所述网格会议的所述其他端点的、所述其他端点已经过渡到所述桥会议的通知;以及
丢弃与所述网格会议的所述其他端点的连接。
17.权利要求16所述的方法,还包括:
隐藏从所述桥接收的视频和音频并使所述视频和音频静音,直到接收到所述其他端点中的活动发言者端点已经过渡到所述桥会议的通知。
18.权利要求16所述的方法,其中所述触发事件包括预定的一个或多个度量标准的函数超过门限值。
19.一种将桥会议过渡到网格会议的方法,包括:
确定已经发生触发事件;
建立与所述桥会议的其他端点的网格连接;
将到网格会议的过渡通知到所述其他端点;
接收来自所述其他端点的、所述其他端点已经过渡到所述网格会议的通知;以及
丢弃桥连接。
20.权利要求19所述的方法,还包括:
隐藏所述网格连接上的音频和视频并使所述音频和视频静音,直到接收到来自所有所述其他端点的、所述其他端点已经过渡到所述网格会议的通知。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
IN201631009178 | 2016-03-16 | ||
IN201631009178 | 2016-03-16 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107205132A true CN107205132A (zh) | 2017-09-26 |
Family
ID=59848056
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710156791.0A Pending CN107205132A (zh) | 2016-03-16 | 2017-03-16 | 网格拓扑与集中式桥拓扑之间视频会话的无缝过渡 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10686873B2 (zh) |
CN (1) | CN107205132A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112346683A (zh) * | 2020-10-13 | 2021-02-09 | 深圳市创维群欣安防科技股份有限公司 | 具有物联网功能的拼接屏系统及连接处理方法 |
US20240064573A1 (en) * | 2022-08-18 | 2024-02-22 | Uab 360 It | Conservation of resources in a mesh network |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB201609986D0 (en) * | 2016-06-08 | 2016-07-20 | Cyviz As | Streamed communications |
US10212206B2 (en) | 2016-07-15 | 2019-02-19 | International Business Machines Corporation | Adaptive multi-control unit load balancing in a voice-over-IP system |
US10951669B2 (en) * | 2017-03-30 | 2021-03-16 | Polycom, Inc. | Reverse call forking |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050165894A1 (en) * | 1999-02-26 | 2005-07-28 | Rosenberg Jonathan D. | Signaling method for Internet telephony |
US7417983B2 (en) * | 2006-03-29 | 2008-08-26 | Microsoft Corporation | Decentralized architecture and protocol for voice conferencing |
CN101335870A (zh) * | 2007-06-29 | 2008-12-31 | 株式会社东芝 | 会议系统及其服务器装置 |
US20100067680A1 (en) * | 2008-09-15 | 2010-03-18 | Karrie Hanson | Automatic mute detection |
US20110019593A1 (en) * | 2009-07-21 | 2011-01-27 | Symbol Technologies, Inc. | Methods and apparatus for selecting between an ad-hoc conference mode and an infrastructure supported conference mode |
US20140219435A1 (en) * | 2011-05-17 | 2014-08-07 | Damaka, Inc. | System and method for transferring a call bridge between communication devices |
CN104135640A (zh) * | 2014-08-08 | 2014-11-05 | 华为技术有限公司 | 会议迁移的方法、装置及系统 |
CN104580991A (zh) * | 2013-10-15 | 2015-04-29 | 宝利通公司 | 用于会议系统对会议会话的当前条件的实时适应的系统和方法 |
US20150271447A1 (en) * | 2014-03-18 | 2015-09-24 | CafeX Communications Inc. | System for enabling meshed conferences to be seamlessly promoted to full mcu based conferences |
US20150288926A1 (en) * | 2014-04-03 | 2015-10-08 | CafeX Communications Inc. | Framework to support a hybrid of meshed endpoints with non-meshed endpoints |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7379450B2 (en) * | 2006-03-10 | 2008-05-27 | International Business Machines Corporation | System and method for peer-to-peer multi-party voice-over-IP services |
CA2684500A1 (en) * | 2007-03-30 | 2008-10-09 | Societe De Commercialisation Des Produits De La Recherche Appliquee - So Cpra, Sciences Et Genie, S.E.C. | Session mobility between communicating devices |
US20090220066A1 (en) * | 2008-02-29 | 2009-09-03 | Cisco Technology, Inc. | System and method for seamless transition of a conference call participant between endpoints |
US9674242B1 (en) * | 2012-06-28 | 2017-06-06 | Shoretel, Inc. | Mesh conferencing |
KR102129297B1 (ko) * | 2013-07-29 | 2020-07-03 | 삼성전자주식회사 | 공기 조화기 및 그 제어 방법 |
US9491406B2 (en) * | 2014-10-27 | 2016-11-08 | Polycom, Inc. | Seamless escalation of mesh videoconferences to bridged videoconferences |
-
2016
- 2016-07-27 US US15/221,371 patent/US10686873B2/en active Active
-
2017
- 2017-03-16 CN CN201710156791.0A patent/CN107205132A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050165894A1 (en) * | 1999-02-26 | 2005-07-28 | Rosenberg Jonathan D. | Signaling method for Internet telephony |
US7417983B2 (en) * | 2006-03-29 | 2008-08-26 | Microsoft Corporation | Decentralized architecture and protocol for voice conferencing |
CN101335870A (zh) * | 2007-06-29 | 2008-12-31 | 株式会社东芝 | 会议系统及其服务器装置 |
US20100067680A1 (en) * | 2008-09-15 | 2010-03-18 | Karrie Hanson | Automatic mute detection |
US20110019593A1 (en) * | 2009-07-21 | 2011-01-27 | Symbol Technologies, Inc. | Methods and apparatus for selecting between an ad-hoc conference mode and an infrastructure supported conference mode |
US20140219435A1 (en) * | 2011-05-17 | 2014-08-07 | Damaka, Inc. | System and method for transferring a call bridge between communication devices |
CN104580991A (zh) * | 2013-10-15 | 2015-04-29 | 宝利通公司 | 用于会议系统对会议会话的当前条件的实时适应的系统和方法 |
US20150271447A1 (en) * | 2014-03-18 | 2015-09-24 | CafeX Communications Inc. | System for enabling meshed conferences to be seamlessly promoted to full mcu based conferences |
US20150288926A1 (en) * | 2014-04-03 | 2015-10-08 | CafeX Communications Inc. | Framework to support a hybrid of meshed endpoints with non-meshed endpoints |
CN104135640A (zh) * | 2014-08-08 | 2014-11-05 | 华为技术有限公司 | 会议迁移的方法、装置及系统 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112346683A (zh) * | 2020-10-13 | 2021-02-09 | 深圳市创维群欣安防科技股份有限公司 | 具有物联网功能的拼接屏系统及连接处理方法 |
US20240064573A1 (en) * | 2022-08-18 | 2024-02-22 | Uab 360 It | Conservation of resources in a mesh network |
Also Published As
Publication number | Publication date |
---|---|
US10686873B2 (en) | 2020-06-16 |
US20170272512A1 (en) | 2017-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107205132A (zh) | 网格拓扑与集中式桥拓扑之间视频会话的无缝过渡 | |
US9998517B2 (en) | System and method for end-to-end RTCP | |
JP6325741B2 (ja) | メッシュエンドポイントと非メッシュエンドポイントのハイブリッドをサポートするフレームワーク | |
CN106063255B (zh) | 显示视频会议期间的演讲者的方法和系统 | |
US9356917B2 (en) | System and method for end-to-end encryption and security indication at an endpoint | |
WO2013131437A1 (zh) | 一种远程会议控制方法、终端设备、mcu及视讯系统 | |
CN104901815B (zh) | 一种用户终端的分组方法、会议服务器、会议系统 | |
US9450882B2 (en) | Method and apparatus for supporting call admission control using graph assembly and fate-share identifiers | |
JP7463552B2 (ja) | セッション作成方法、電子機器、および可読記憶媒体 | |
CN106973253A (zh) | 一种调整媒体流传输的方法及装置 | |
CN106416234A (zh) | 通信设备、通信系统、通信管理系统、通信控制方法和计算机程序产品 | |
CN108712584A (zh) | 一种用于电话会议的分布式混音方法 | |
US10079866B2 (en) | Potential echo detection and warning for online meeting | |
CN104158673B (zh) | 会议模式选择方法及服务器 | |
CN103095664A (zh) | Ip多媒体会话建立方法和系统 | |
CN101815138B (zh) | 一种会议留言方法和设备 | |
US9491406B2 (en) | Seamless escalation of mesh videoconferences to bridged videoconferences | |
CN108293052A (zh) | 通信系统 | |
CN103546459A (zh) | 一种基于会话初始协议进行会话的方法、终端及服务器 | |
EP3220635B1 (en) | Seamless transition of a video session between a mesh topology and a centralized bridge topology | |
CN113038064B (zh) | 一种移动终端会议系统 | |
CN102438120B (zh) | 移动终端以及基于移动终端实现远程会议的方法 | |
CN111741177B (zh) | 在线会议的混音方法、装置、设备和介质 | |
WO2016197885A1 (zh) | 一种媒体级联的管理方法及装置 | |
EP2642711A1 (en) | System and method for end-to-end encryption and security indication at an endpoint |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170926 |