CN103581610B - 进行不同参与设备的视频会议的方法与系统 - Google Patents

进行不同参与设备的视频会议的方法与系统 Download PDF

Info

Publication number
CN103581610B
CN103581610B CN201310242963.8A CN201310242963A CN103581610B CN 103581610 B CN103581610 B CN 103581610B CN 201310242963 A CN201310242963 A CN 201310242963A CN 103581610 B CN103581610 B CN 103581610B
Authority
CN
China
Prior art keywords
media
interface
transmission frame
stream
carrying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310242963.8A
Other languages
English (en)
Other versions
CN103581610A (zh
Inventor
A·海拉威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Polycom Inc
Original Assignee
Polycom Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Polycom Inc filed Critical Polycom Inc
Publication of CN103581610A publication Critical patent/CN103581610A/zh
Application granted granted Critical
Publication of CN103581610B publication Critical patent/CN103581610B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/152Multipoint control units therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/74Address processing for routing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/403Arrangements for multi-party communication, e.g. for conferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本公开涉及一种新型通用桥(UB),该UB可以在多个MRE和LEP之间处理并进行多媒体多点会议,而不需要使用MRM、MCU和网关。另外,UB可以配置成根据每个与会者和会话的当前需求而动态地分配和释放资源。

Description

进行不同参与设备的视频会议的方法与系统
对相关申请的交叉引用
本申请要求于2012年7月30日提交、标题为“Method and System for ConductingVideo Conference of Diverse Participating Devices”且序列号为61/677,200的美国临时申请的优先权,该申请在此引入其全部作为参考。
本申请关于2012年7月24日授权、标题为“Method and System for ConductingContinuous Presence Conference”且专利号为8,228,363的美国专利,该专利的全部内容在此引入作为参考。
另外,本申请还关于2012年6月4日提交、标题为“Method and System forSwitching Between Video Streams in a Continuous Presence Conference”且所分配的序列号为13/487,703的美国专利申请,该申请的全部内容在此引入作为参考。
技术领域
本发明涉及音频/视频通信,并且尤其涉及多点音频/视频会议领域。
背景技术
随着互联网协议(IP)网络上的流量持续快速增长,随着各种多媒体会议装备的增长,越来越多的人使用多媒体会议作为他们的通信工具。如今,多媒体会议通信可以经两种类型的通信方法执行,传统(legacy)多媒体通信方法和媒体中继通信方法的新技术。如在此所使用的,术语:多媒体会议、视频会议和音频会议可以理解为是可以互换的,并且术语视频会议可以作为它们的一个代表性术语来使用。
三个或更多个参与者之间的传统多点会议需要多点控制单元(MCU)。MCU是会议控制实体,一般位于网络节点中或者从端点接收几个信道的终端中。根据某些标准,MCU处理音频和视频信号并且把它们分发到一组连接的信道。MCU的例子包括MGC-100和其可以从Polycom公司获得。(RMX是Polycom公司的注册商标。)可以被称为传统端点(LEP)的终端是网络上的一个实体,能够提供与另一个LEP或者与MCU的实时双向音频和/或视听通信。对LEP和MCU的更透彻的定义可以在国际电信联盟(“ITU”)标准中找到,包括H.320、H.324和H.323标准,这些可以在ITU的网站www.itu.int找到。
也称为传统MCU的公用MCU可以包括多个音频与视频解码器、编码器和媒体组合器(音频混合器和/或视频图像生成器)。如在此所使用的,术语公用MCU和传统MCU可以被认为是可以互换的。MCU可以使用大量的处理能力来处理可变数量的参与者(LEP)之间的音频与视频通信。通信可以基于多种通信协议和压缩标准,并且可能涉及不同类型的LEP。MCU可能需要把多个输入音频或视频流分别组合到至少一个单个的音频或视频输出流中,其中这单个音频或视频输出流与该输出流要发送到的至少一个与会者的LEP的属性兼容。从端点接收到的压缩音频流被解码并可以被分析,以便确定哪些音频流将被选择用于混合到会议的单个音频流中。如在此所使用的,术语解码和解压缩应当理解为是可以互换的。
会议可以有一个或多个视频输出流,其中每个输出流都与一个布局关联。布局定义在接收所述流的一个或多个与会者的显示器上的会议外观。布局可以分成一个或多个片段,其中每个片段可以与由某个与会者(端点)发送的视频输入流关联。每个输出流可以由几个输入流构成,从而导致持续呈现(CP)会议。在CP会议中,位于远端终端的用户可以同时观察会议中的若干个其他参与者。每个参与者可以在布局的一个片段中显示,其中每个片段可以是相同的尺寸或者不同的尺寸。所显示并且与布局的片段关联的参与者的选择在参与同一会话的不同与会者之间可以变化。
公用MCU可能需要把每个输入的视频流解码成未压缩的全帧视频;管理与会议关联的多个未压缩视频流;并且组成和/或管理多个输出流,其中每个输出流可以与一个与会者或者某个布局关联。输出流可以由与MCU关联的视频输出端口生成。视频输出端口可以包括布局生成器和编码器。布局生成器可以从选定的与会者收集不同的未压缩视频帧并将其缩放成其最终尺寸并且把它们放到布局中它们的片段中。其后,所组成视频帧的视频被编码器编码并发送到合适的端点。因此,处理和管理多个视频会议需要繁重且昂贵的计算资源并且因此MCU一般是昂贵并且相当复杂的产品。公用MCU在几个专利和专利申请中进行了描述,例如美国专利Nos.6,300,973、6,496,216、5,600,646或者5,838,664,这些专利或专利申请的内容在此引入作为参考。这些专利公开了MCU中可以为CP会议生成视频输出流的视频单元的操作。
利用视频会议的增长趋势产生了对使得一个人能够进行具有所组成CP视频图像的多个会议会话的低成本MCU的需求。这种需求导致媒体中继会议(MRC)的新技术。
在MRC中,媒体中继MCU(MRM)从每个参与的媒体中继端点(MRE)接收一个或多个流。MRM向每个参与的端点中继从会议中其它端点接收到的一组多个媒体流。根据布局,每个接收端点使用这多个流生成视频CP图像,及混合的会议音频。CP视频图像和混合的音频向MRE的用户播放。MRE可以是会话中有能力从MRM接收中继媒体并且根据来自MRM的指令交付压缩媒体的与会者的终端。如在此所使用的,术语端点可以代表MRE或者LEP。
在有些MRC系统中,发送MRE在两个或更多个流中发送其视频图像;每个流可以与不同的质量等级关联。这种系统可以使用多个流来提供布局中不同的片段尺寸、每个接收端点使用的不同分辨率等。另外,这多个流可以用于克服分组丢失。质量等级可以在帧速率、分辨率和/或信噪比(SNR)等方面不同。
如今,MRC变得越来越流行。另外,视频会议系统越来越多的源并行地交付多个流,其中这些流彼此区别在于压缩视频的质量。质量等级可以在多个域中表达,诸如时间域(例如,每秒的帧数)、空间域(例如,HD对CIF)和/或质量(例如,锐度)。可以用于多质量流的视频压缩标准是H.264AVC、H.264附件G(SVC)、MPEG-4等。关于诸如H.264的压缩标准的更多信息可以在ITU网站www.itu.int或者在www.mpeg.org找到。
常见的视频压缩方法涉及使用帧内帧(intra frame)和帧间帧(inter frame)。帧内帧是与只包含在同一帧内的信息有关地而不与视频序列中任何其它帧有关地进行压缩的视频帧。帧间帧是与包含在同一帧内的信息有关地并且还与视频序列中一个或多个其它帧有关地进行压缩的视频帧。
有些多媒体多点会议会话可能涉及一些具有LEP的与会者和一些具有MRE的与会者。这种会议会话需要网关、MCU和MRM。
网关可以适应控制涉及一个或多个LEP及一个或多个MRE的多点多媒体会议。网关可以安装在MRM和一个或多个LEP之间的中间节点中。在一种可供选择的实施例中,网关可以嵌入在MRM中。在还有其它实施例中,网关可以添加到LEP或者添加到控制该LEP的公用MCU。
在从MRM到LEP的方向,网关可以处理从MRM中继的多个音频流、布置它们并且解码并混合音频流。混合后的音频流可以根据由目的地LEP使用的音频压缩标准来编码并且发送到LEP。以类似的方式,所接收到的一个或多个压缩视频流可以被网关布置、解码并组成到CP图像中。CP图像可以根据由目的地LEP使用的视频压缩标准来编码并发送到LEP。
在从LEP到MRM的另一个方向,网关可以适应解码视频流、(如果需要的话)把视频流缩放到一个或多个尺寸并且根据参与会话的MRE所使用的压缩标准来压缩每一个缩放后的视频图像。遵循MRE的需求的压缩视频流朝着MRM发送。从LEP接收到的压缩音频流可以被解码并且可以确定其能量等级。解码后的音频可以根据MRE使用的压缩标准来压缩,并且还可以添加关于音频能量的指示,并且遵循MRM的需求的压缩音频可以朝着MRM发送。
从MRM接收到的控制与信令信息,诸如分配给LEP的一个或多个ID、分配给LEP的布局、要混合的选定音频流或者所呈现的流及其片段,可以被网关处理并使用。其它信令和控制可以被翻译并发送到LEP,例如调用设置指令(setup instruction)。希望关于MRM、MRE及MRC与传统会议系统之间的网关了解更多的读者请阅读美国专利No.8,228,363,该申请的全部内容在此引入作为参考。
在参与同一多媒体多点会议会话的MRE与LEP之间使用三个中间节点(MRM、网关和MCU)对使用任意一种类型端点,MRE或LEP,的与会者的体验都导致负影响。在之间使用网关增加了流量的等待时间并降低了媒体的质量。网关一般增加附加的解码/缩放/编码操作。因为解压缩和压缩标准的有损本质,解码、缩放和编码操作增加了延迟并降低了媒体的质量。
另外,在公用MCU中,只要一个与会者连接到一个会话,解码器和编码器一般就分配给该与会者,而不管该与会者的视频图像或语言是否被选择来呈现或者由其他与会者听到。MRE和LEP之间用于处理会议会话的三个中间设备的这种分配与使用消耗了昂贵的资源。
上述当前现状的缺陷不是要以任何方式限定本公开的发明概念的范围。这些缺陷仅仅是为了说明而给出的。
发明内容
一种新型的通用桥(UB)可以在多个MRE和LEP之间处理并进行多媒体多点会议,而不需要使用MRM、MCU和网关。另外,UB可以配置成根据每个与会者和会话的当前需求动态地分配并释放资源。
在一种实施例中,UB可以包括媒体公用接口(MCIF),该MCIF接口可以携带嵌入在MCIF传输协议(MCIFTP)帧中的压缩媒体流、半压缩媒体流和解压缩媒体流。每个MCIFTP帧可以具有MCIFTP头,该MCIFTP头具有识别流的ID字段。在UB的一种实施例中,MCIF可以是共享存储器。在这种实施例中,流ID可以代表一组存储器地址。在UB的另一种实施例中,MCIF可以是具有多播路由能力的以太网交换机。在UB的这种实施例中,流ID可以是帧的以太网头中的一个字段。在UB的还有另一种实施例中,MCIF可以是时分多路复用(TDM)总线。在这种实施例中,流ID可以代表时隙编号。UB的其它例子可以使用其它类型的MCIF。
半压缩可以是无损压缩,诸如但不限于ZIP、Lempel-Ziv-Welch(LZW)、无损JPEG2000等。在另一种实施例中,例如,半压缩可以通过部分H.264编码来实现,而不执行无损区(lossless section)。
UB的一种实施例可以包括各堆(bank)元件:一堆LEP输入网络接口处理器(LEPINIP);一堆MRE输入网络接口处理器(MREINIP);一堆解码模块(DM);一堆媒体组合器模块(MCM);一堆编码器输出模块(EOM);一堆LEP输出网络接口处理器(LEPONIP);一堆MRE输出网络接口处理器(MREONIP);及控制模块(CM)。
UB的一种实施例可以采用经MCIF连接的多个处理单元,例如刀片计算机。每个刀片可以实现来自以上堆中的元件的组合。
LEPINIP可以获得携带从LEP接收到的压缩媒体的互联网协议(IP)分组流。每个所获得的IP分组可以根据互联网协议来处理。在有些实施例中,LEPINIP可以进一步处理实时协议(RTP)和实时控制协议(RTCP)头。希望关于RTP和RTCP协议了解更多的读者请访问互联网工程任务组(IETF)网站www.ietf.org。在被LEPINIP处理之后,每个所获得的分组的媒体有效载荷可以根据MCIFTP嵌入到MCIF帧中;并且携带从LEP接收到的压缩媒体的MCIFTP帧流朝MCIF传输。
MREINIP可以获得携带从MRE接收到的压缩媒体的互联网协议(IP)分组流。每个所获得的IP分组可以根据相关的通信协议来处理。在被MREINIP处理之后,每个所获得的分组的媒体有效载荷可以根据MCIFTP嵌入到MCIF帧中;并且携带从LEP接收到的压缩媒体的MCIFTP帧流朝MCIF传输。
DM的一种实施例可以获得携带压缩媒体的MCIFTP帧流。DM可以解码MCIFTP帧流并且把携带解码器模块数据单元(DMDU)的MCIFTP帧流交给MCIF。在有些实施例中,DM可以包括一个或多个缩放器。每个缩放器可以把解码后的图像缩放成所需的尺寸并且缩放后的DMDU嵌入到MCIFTP帧中。所述尺寸可以由每个方向中的像素个数来定义,一般是宽乘高(WxH)。
在UB的有些实施例中,MCM可以获得多个携带DMDU的MCIFTP帧流。MCM可以把由这多个MCIFTP帧流携带的解压缩帧组合到一个CP视频图像中并且交付目标指向至少一个LEP的、携带CP视频图像的组合媒体的MCIFTP帧流。在其中DM不包括缩放器的UB的有些实施例中,MCM可以为每个所获得的携带DMDU的MCIFTP帧流包括一个缩放器。该缩放器把由所获得的流携带的视频图像的尺寸缩放到其中要放置所获得的视频图像的CP视频图像布局中片段的适当尺寸。
EOM的一种实施例可以获得携带DMDU的MCIFTP帧流。例如,DMDU可以是从LEP发送、由DM解码并且以MRE为目标的解压缩的数据单元。DMDU的另一个源可以是交付CP视频图像的解压缩数据单元的MCM。EOM的一种实施例可以处理携带DMDU的一个或多个MCIFTP帧流并且把携带压缩媒体的MCIFTP帧流交给MCIF。在采用多个刀片计算机的UB的有些实施例中,EOM可以半压缩携带目标指向另一个刀片计算机的DMDU的MCIFTP帧流。
压缩和解压缩可以根据诸如但不限于H.264AVC、H.264附件G、MPEG-4等的压缩标准来进行,这些压缩标准在本领域是众所周知的并且将不进一步描述。在其中媒体是音频的有些实施例中,音频压缩和解压缩可以根据诸如但不限于G.711、G.729、G.722.1C、G.719等的压缩标准来进行。关于压缩标准的更多信息可以在ITU网站www.itu.int或者在www.mpeg.org找到。
MREONIP的一种实施例可以获得携带源自MRE或LEP的压缩媒体的一个或多个MCIFTP帧流、根据诸如RTP的相关通信协议处理这一个或多个流。可以用于把压缩媒体传输到MRE的RTP的一种实施例在美国专利No.8,228,363中描述。携带压缩媒体的IP分组可以朝着一个或多个MRE发送。
CM的一种实施例控制多个LEP、MRE和UB之间的通信会话。CM可以进一步控制到MCIF和来自MCIF的数据流量并且为每个流分配ID。此外,CM可以分配每个会话所需的资源并且把相关资源关联到相关的MRE或LEP。在UB的有些实施例中,CM可以配置成根据会话的当前需求动态地分配有些资源。
鉴于附图和具体描述,本公开的这些及其它方面将是很显然的。以上概述不是要概述本公开的每种可能的实施例或者每个方面,并且,当连同附图和所附权利要求一起阅读以下实施例的具体描述时,本公开的其它特征和优点将变得显然。
此外,尽管详细地描述了具体的实施例,以便向本领域技术人员说明发明概念,但是这种实施例很容易有各种修改和备选形式。相应地,图和书面描述不是要以任何方式限定所述发明概念的范围。
附图说明
根据以下具体描述并联系附图,本发明的实施例将得到更完全的理解和认识,附图中:
图1说明了包括多种新型电子视频会议系统的新型多媒体会议系统100的实施例。
图2绘出了关于集中式通用桥(CUB)的一种实施例的相关元件的简化框图。
图3绘出了关于分散式通用桥(DCUB)的一种实施例的相关元件的简化框图。
图4绘出了关于高容量通用桥(HVUB)的一种实施例的相关元件的简化框图。
图5A和5B绘出了说明由CUB的实施例实现的会议设置方法(conference setupmethod)500的相关动作的流程图。
具体实施例
现在转向附图,描述了本公开的实施例,其中附图中相同的标号贯穿几个附图都代表相同的元件。为了方便,同一组中只有一些元件用编号做了标记。附图的目的是为了描述实施例而不是为了生产。因此,图中所示出的特征仅仅是为了方便和清晰而选择的。并且,本公开中所使用的语言主要是为可读性和指导性目的而选择的,并且没有选择成划定或限定发明主题,因此有必要借助权利要求来确定这种发明主题。
本说明书中对“一种实施例”或者对“实施例”的引用意味着联系该实施例所描述的特定特征、结构或特性包括在本发明的至少一种实施例中,并且对“一种实施例”或者“实施例”的多次引用不应当理解为全都指的是同一个实施例。
尽管以下描述中的一些是以关于软件或固件的术语写的,但是,根据期望,实施例可以在软件、固定或硬件中实现在此所述的特征和功能,包括软件、固件和硬件的任意组合。在以下描述中,词“单元”、“元件”、“模块”和“逻辑模块”可以互换使用。指定为单元或模块的任何东西都可以是独立的单元或者是专用或集成的模块。单元或模块可以是模块化的或者具有模块化方面,从而允许其容易地被除去或者用另一个类似的单元或模块代替。每个单元或模块可以是软件、硬件和/或固件中的任意一种或者其任意组合,这最终导致编程成执行赋予该单元或模块的功能的一个或多个处理器。此外,相同或不同类型的多个模块可以由单个处理器实现。逻辑模块的软件可以体现在计算机可读介质上,诸如读/写硬盘、CDROM、闪存存储器、ROM或者其它存储器或储存器等。为了执行某个任务,软件程序可以根据需要加载到适当的处理器。如在此所使用的,术语任务、方法和过程可以理解为是可以互换的。
图1说明了根据本公开实施例的新型多媒体会议系统100。系统100可以包括网络110、一个或多个UB120、多个MRE130及多个LEP140。网络110可以是,但不限于,分组交换网络、电路交换网络、IP网络或者其任意组合。经网络的多媒体通信可以基于诸如但不限于H.320、H.323、SIP的通信协议,并且可以使用诸如但不限于H.263、H.264、G.711、G.719的媒体压缩标准。如在此所使用的,术语数据块、帧和分组可以理解为是可以互换的。
每个MRE130都能够提供到另一个MRE130或者到UB120的实时双向音频和/或视频通信。MRE130可以是会话中的一个与会者的终端,该终端具有从UB120接收被中继的压缩媒体(音频和/或视频)并且根据来自UB120的指令交付中继压缩媒体数据块的能力。中继(relay)和被中继(relayed)的压缩媒体,音频或视频,数据块可以是RTP压缩的媒体数据块。每个MRE130都可以按适当的所需位速率(一个或多个)和所需压缩标准发送中继RTP压缩音频数据块。类似地,每个MRE130可以按适当的所需尺寸(一个或多个)、位速率(一个或多个)、质量和所需的压缩标准发送中继RTP压缩视频数据块。在一种实施例中,每个MRE130可以适应通过把音频能量指示嵌入到中继RTP压缩音频数据块的头或扩展头中的一个字段来发送其音频能量的指示。
在CP视频会议中,MRE130可以接收源自选定与会者的视频图像数据块的多个被中继RTP压缩视频流。每个视频图像可以适合与那个图像关联的CP图像的适当布局片段。MRE130可以解码每个接收到的被中继RTP压缩视频流、通过在布局的适当片段中放置每个解码的图像来把解码的视频图像组合到一个CP视频图像中。CP视频图像可以传输到显示器,以呈现给使用该MRE130的与会者。
此外,MRE130可以接收音频数据块的被中继RTP压缩音频流。MRE130可以解码所接收到的音频数据块的被中继RTP压缩音频流、混合不同的解码音频流并且把混合后的音频传输到MRE130扬声器。在另一个方向,MRE130可以根据来自UB120的指令交付中继RTP压缩音频与视频数据块。
LEP140是作为网络110上一个实体的常见视频会议终端,能够提供与另一个LEP140或者与MCU(图1中未示出)的实时双向音频和/或视听通信。
UB120的一种实施例可以在多个MRE130和LEP140之间处理并进行多媒体多点会议,而不需要使用MRM和/或MCU和/或网关。另外,UB120可以配置成根据每个与会者与会话的当前需求动态地分配并释放资源。
UB120的一种实施例可以是集中式UB(CUB)。CUB可以具有集中式体系结构并且可以位于多个MRE130和多个LEP140之间网络110的中间节点中。在另一个例子中,UB120可以是具有分散式体系结构的分散式UB(DCUB)。DCUB可以包括位于多个MRE130和多个LEP140之间网络110的中间节点中的多个处理实体。在DCUB的有些实施例中,每个处理实体或者处理实体组可以执行UB120的一部分功能。在还有其它实施例中,这多个处理实体中的每一个都可以执行UB120的全部功能并且多个处理实体可以共享负荷。
UB120的实施例可以包括可以携带嵌入在MCIFTP帧中的压缩媒体流、半压缩媒体流和解压缩媒体流的MCIF。每个MCIFTP帧可以具有MCIFTP头,该MCIFTP头具有识别流的ID字段。在CUB中,MCIF可以是内部公用接口。在DCUB中,MCIF可以包括内部MCIF和外部MCIF。一个处理实体的内部MCIF可以连接到那个处理实体的内部模块,而外部MCIF可以连接组成DCUB的多个处理实体。为了把外部和内部MCIF关联到DCUB的MCIF中,可以使用MCIF适配器。
在UB120的有些实施例中,MCIF可以是共享存储器。在这种实施例中,流ID可以代表一组存储器地址。在UB120的另一种实施例中,MCIF可以是具有多播路由能力的以太网交换机。在UB120的这种实施例中,流ID可以是帧的以太网头中的一个字段。在UB120的还有另一种实施例中,MCIF可以是TDM总线。在这种实施例中,流ID可以代表时隙编号。UB的其它实施例可以使用其它类型的常见接口或者以上类型的常见接口的任意组合。以下在图2-5B的讨论中描述关于UB120实施例的操作的更多信息。
图2绘出了关于CUB200的一种实施例的相关元件的简化框图。CUB200可以包括MCIF292;一堆LEPINIP210;一堆MREINIP220;一堆LEPONIP230;一堆MREONIP240;一堆去往/来自MRE或LEP的信令与控制模块250;一堆DM260;一堆MCM270;一堆EOM280;及经控制总线294控制CUB200的操作的CM290。如在此所使用的,术语“堆(bank)”代表某种类型的一组多个资源。这些资源中的每一个都可以根据需要由CM290分配。每个分配的资源可以经MCIF292与CUB200的一个或多个内部模块关联及与当前连接到多媒体多点会议的LEP或MRE中的一个或多个关联。
LEPINIP210的一种实施例可以与LEP关联并且可以获得携带从关联的LEP140接收到的压缩媒体的互联网协议(IP)分组流。压缩媒体可以是音频和/或视频。每个所获得的IP分组可以根据例如互联网协议进行处理。在有些实施例中,LEPINIP210可以进一步处理RTP和RTCP头。在被LEPINIP210处理之后,媒体有效载荷——每个所获得的包的压缩音频或压缩视频——可以根据MCIFTP嵌入到MCIF帧中;并且携带从LEP140接收到的压缩媒体的MCIFTP帧流朝着MCIF传输。
当LEP140加入视频会议时,CM290可以分配一个用于处理从那个LEP接收到的压缩视频流的LEPINIP210和一个用于处理从那个LEP接收到的压缩音频流的LEPINIP210。每个LEPINIP210都可以接收与所接收到的压缩视频或音频流关联的流ID(SID),所接收到的压缩视频或音频流要由LEPINIP210进行处理。CM290可以管理所有SID及所分配资源和如何把每个流路由到适当资源的信息的映射(map)。
所分配的SID用于在其经MCIF292行进的同时标记那个流的MCIFTP帧。用于经MCIF行进的每个流的标记技术依赖于MCIF292的类型。例如,如果MCIF是共享存储器,则LEPINIP210可以从CM290得到LEPINIP210可以把每个接收到的压缩数据块以例如循环模式写(存储)到其中的共享存储器中地址的间隔。如果MCIF292是TDM总线,则LEPINIP210可以得到与那个SID关联的时隙编号,等等。
基于从CM290接收到的信息,每个分配的LEPINIP210可以设定与相关LEP的RTP连接,用于携带压缩媒体,视频或音频,并且设定RTCP连接,用于携带关于RTP连接的实时控制协议的分组。经RTP连接,每个接收到的携带压缩媒体的分组根据IP协议和RTP协议进行处理,以便获得压缩媒体的数据块。然后,压缩媒体数据块可以根据MCIF292的结构组织到MCIFTP帧中,并且SID的值可以作为MCIFTP帧的头的一部分添加。MCIFTP帧可以经例如缓冲区传输到MCIF292。例如,如果MCIF292是共享存储器,则每个MCIFTP帧可以按循环模式存储在分配给那个SID的共享存储器的区中。
在有些实施例中(图中未示出),LEPINIP210可以进一步包括DM。DM可以包括一个或多个缩放器。在这种实施例中,经RTP连接接收到的、源自LEP的携带压缩媒体的每个分组根据IP协议和RTP协议进行处理,以便获得压缩媒体的数据块。然后,压缩媒体数据块可以被解码,通过或者没有通过DM进行缩放。DMDU可以根据MCIF292的结构组织到MCIFTP帧中,并且SID的值可以作为MCIFTP帧的头的一部分添加。在其中DM包括一个或多个缩放器的实施例中,SID可以与缩放器关联。携带DMDU的MCIFTP帧可以经缓冲区传输到MCIF292。如果MCIF292是共享存储器,则每个MCIFTP帧可以按循环模式存储在分配给那个SID的共享存储器的区中。
在包括DM的LEPINIP210的备选实施例中(图中未示出),DM可以进一步包括无损编码器。无损编码器可以用于利用无损算法压缩需要经MCIF292传输的、未压缩的解码媒体(音频或视频)。无损解码器可以由收集DMDU的元件使用。无损编码器和解码器可以使用无损压缩算法,诸如但不限于GZIP、Lempel-Ziv-Welch(LZW)、无损JPEG2000等。在另一种实施例中,例如,无损压缩可以通过部分H.264编码来实现,而不执行无损区。如在此所使用的,术语半压缩和无损压缩可以理解为是可以互换的。
MREINIP220可以与MRE130关联并且可以获得携带从关联的MRE130接收到的压缩媒体的IP分组流。压缩媒体可以是音频和/或视频。每个所获得的IP分组可以根据例如互联网协议来进行处理。在被MREINIP220处理之后,每个所获得的分组的RTP媒体有效载荷,中继压缩压缩音频或压缩压缩视频数据块,可以根据MCIFTP嵌入到MCIF帧中;并且携带从MRE130接收到的中继RTP压缩媒体的MCIFTP帧流朝着MCIF292传输。
当MRE130加入视频会议时,CM290可以分配一个或多个MREINIP220,用于处理从那个MRE130接收到的一个或多个压缩视频流。每个压缩视频流可以是不同的分辨率(尺寸)、质量等。此外,可以分配一个或多个MREINIP220,用于处理从那个MRE130接收到的一个或多个压缩音频流。每个MREINIP220可以接收与由那个MREINIP220处理的所接收到的压缩视频或音频流关联的流ID(SID)。
所分配的SID用于在其经MCIF292行进的同时标记那个流的MCIFTP帧。如何经MCIF292路由每个流的信息依赖于MCIF292的类型。例如,如果MCIF292是共享存储器,则MREINIP220可以从CM290得到MREINIP220可以把每个MCIFTP帧以循环模式写(存储)到其中的共享存储器中地址的间隔。如果MCIF292是TDM总线,则MREINIP220可以得到与那个SID关联的时隙编号,等等。
基于经控制总线294从CM290接收到的信息,每个分配的MREINIP220可以设定与相关MRE130的RTP连接,用于携带压缩媒体,视频或音频,还设定RTCP连接,用于携带与RTP连接相关的实时控制协议的分组。经RTP连接接收到的、携带压缩媒体的每个分组根据IP协议进行处理,以便获得压缩媒体的中继RTP数据块。然后,RTP压缩媒体数据块可以根据MCIF292的结构组织到MCIFTP帧中,并且相关SID的值可以作为MCIFTP帧的头的一部分添加。MCIFTP帧可以经例如缓冲区传输到MCIF292。例如,如果MCIF292是共享存储器,则每个MCIFTP帧可以按循环模式存储在分配给那个SID的共享存储器的区中。如果MCIF292是以太网LAN,则每个MCIFTP帧可以把SID与以太网头的目的地地址关联。在其中以太网LAN具有多播能力的实施例中,SID可以与多播地址关联。
当LEP140加入视频会议时,CM290可以分配一个用于处理朝那个LEP发送的压缩CP视频图像的LEPONIP230和一个用于处理朝那个LEP发送的压缩音频混合的LEPONIP230。每个LEPONIP230可以接收与需要由相关LEPONIP230从MCIF292获得的压缩视频或音频MCIFTP帧关联的SID。基于从CM290接收到的信息,每个分配的LEPONIP230可以建立与相关LEP140的RTP连接,用于携带压缩媒体,视频或音频,还建立RTCP连接,用于携带与RTP连接相关的实时控制协议的分组。
LEPONIP230可以从MCIF292获得携带从与相关LEP140关联的EOM280接收到的压缩媒体的MCIFTP帧流。压缩媒体可以是由适当MCM270生成的混合音频或CP视频图像。用于从MCIF292获得适当MCIFTP帧的技术依赖于MCIF292的类型并且包括共享存储器、TDM总线、以太网等。
LEPONIP230可以处理每个所获得的MCIFTP帧,以便检索帧中所嵌的压缩媒体。例如,MCIFTP帧的处理可以包括除去MCIFTP帧的头。每个处理后的MCIFTP帧的媒体有效载荷可以适应遵循RTP,以便创建RTP压缩媒体数据块。可以添加具有适当字段的RTP头。RTP头的字段可以反映那个流的来源(SSRC)、反映媒体及编码器的有效载荷类型(PT)、序列号、时间戳等。RTP数据块可以根据IP协议来处理,以便嵌入到IP分组中。IP头可以添加到分组。源IP地址与头的端口可以反映相关的LEPONIP230。目的地IP地址可以反映关联的LEP140和与那种媒体类型关联的端口号。IP分组可以朝关联的LEP140发送。在有些实施例中或者在有些会话中,IP分组可以朝共享相同压缩标准与相同音频混合或CP视频图像的多个LEP140发送。
当MRE130加入视频会议时,CM290可以分配一个或多个MREONIP240,用于处理朝那个MRE130发送的、要包括在CP视频图像中的被中继RTP压缩视频图像。在CUB200的一种实施例中,所呈现的MRE130或LEP140的被中继RTP压缩视频数据块可以经CUB200与相关MRE130之间的单个RTP连接发送。在这种实施例中,可以分配单个MREONIP240,用于处理朝那个MRE130发送的CP图像的压缩视频。
在CUB200的另一种实施例中,每个呈现的MRE130或LEP140的被中继RTP压缩视频数据块可以经CUB200与相关MRE130之间的单独RTP连接发送。在这种实施例中,可以分配多个MREONIP240,用于被中继的压缩视频流,每个RTP连接一个MREONIP240。每个MREONIP240可以处理源自所呈现的MRE130或LEP140之一的被中继RTP压缩视频数据块。
以类似的方式,可以分配一个或多个MREONIP240,用于处理朝那个MRE130发送的被中继RTP压缩混合音频。对于携带压缩媒体(音频/视频)的每个RTP连接,可以建立用于携带关于该RTP连接的实时控制协议的分组的RTCP连接。
在分配过程中,每个分配的MREONIP240可以从CM290接收关于SID值的指示。所指示的SID可以与携带需要由相关MREONIP240从MCIF292获得的被中继RTP压缩视频/音频数据块的MCIFTP帧关联。所指示的SID可以由相关的MCM270使用,其中MCM270组织携带被中继RTP压缩视频/音频数据块的MCIFTP帧。
MREONIP240可以从CM290获得一个或多个要从MCIF292收集的被中继压缩流的SID值。流的个数依赖于CP图像或混合音频的被中继压缩媒体是经单个RTP连接还是多个RTP连接发送的。携带压缩媒体的一个或多个MCIFTP帧流是从与相关MRE130关联的MCM270接收的。基于所接收到的SID值,从MCIF292获得适当的MCIFTP帧依赖于MCIF292的类型:共享存储器、TDM总线、以太网等。
MREONIP240的实施例可以处理每个获得的MCIFTP帧并且检索嵌在帧中的压缩媒体。例如,处理MCIFTP帧可以包括除去MCIFTP帧的头。每个处理后的MCIFTP帧的媒体有效载荷可以适应遵循RTP,以便创建RTP压缩媒体数据块。可以添加具有适当字段的RTP头。RTP头的字段可以反映那个流的来源(SSRC)、反映媒体及编码器的有效载荷类型(PT)、序列号、时间戳等。RTP数据块可以根据IP协议来处理,以便嵌入到IP分组中。IP头可以添加到分组。源IP地址与头的端口可以反映相关的MREONIP240。目的地IP地址可以反映关联的MRE130和与那种媒体类型关联的端口号。IP分组可以朝关联的MRE130发送。在有些实施例中或者在有些会话中,IP分组可以朝共享相同压缩标准与相同音频混合或CP视频图像的多个MRE130发送。
当端点连接到CUB200时,可以由CM290为MRE130或LEP140分配去往/来自MRE或LEP的信令与控制处理器250的一种实施例。信令与控制模块250用于建立通信会话并且把相关端点连接到会议。经相关的信令与控制模块250,CM290可以认证端点和相关的会议会话。在认证之后,可以启动协商阶段,以便定义端点的类型、端点的能力、定义压缩标准、位速率等。此外,可以定义描述用于那个端点的CP视频图像、被强制讲话者(forced speaker)等的布局。协商可以基于例如H.323或SIP,这些在本领域中是众所周知的并且将不进一步讨论。
三种类型的媒体处理器可以包括在CUB200中。第一种是解码(解压缩)压缩媒体,音频或视频,的解码模块DM260。第二种是把从两个或更多个端点接收到的媒体组合到要经MCIF292朝一个或多个端点发送的组合媒体中的MCM270。组合音频的MCM270可以混合从一个或多个端点接收到的音频。组合视频的MCM270可以组合从两个或更多个所呈现的端点接收到的、要组合到CP图像中的视频图像。第三种类型的媒体处理器可以包括编码(压缩)解码媒体,音频或视频,的EOM280。
这三种类型媒体处理器中的每一种,DM260、MCM270和EOM280,都可以包括两个区(在图中未示出):MCIF区和媒体区。这三种类型媒体处理器的MCIF区可以类似。MCIF区的一种实施例可以配置成从MCIF292获得相关的一个或多个MCIFTP帧流、处理MCIFTP帧的头、组织媒体有效载荷并且朝着媒体区交付该媒体有效载荷。在另一个方向,MCIF区可以配置成从媒体区获得处理过的媒体数据、把媒体组织成MCIFTP帧的有效载荷、添加适当的头来标记一个或多个MCIFTP帧流并且朝着MCIF292交付MCIFTP帧。
在分配媒体处理器之后,不管是DM260、MCM270还是EOM280,所分配媒体处理器的MCIF区都可以从CM290接收两个SID值。输入SID值和输出SID值。输入SID值可以代表要从MCIF292获得的压缩媒体MCIFTP帧流,作为到所分配媒体处理器的输入,由该媒体处理器进行处理。输出SID值可以代表位于所分配媒体处理器输出的、要经MCIF292朝着CUB200的一个或多个内部模块交付的处理过的媒体MCIFTP帧流。SID的类型和经MCIF292获得并发送MCIFTP帧的方式依赖于以上所述MCIF的类型(共享存储器、TDM总线等)并且将不进一步描述。
在CUB200的一种实施例中,对于在MCIF292上携带并且从MRE130或LEP140经(分别)MREINIP220或LEPINIP210交付的MCIFTP帧的每个压缩媒体流,可以由CM290为整个会话分配DM260。
在CUB200的另一种实施例中,对于在MCIF292上携带并且从LEP140经LEPINIP210接收到的MCIFTP帧的每个压缩媒体流,可以由CM290根据需要分配DM260,其中所述压缩媒体流当前在CP视频图像中呈现,其将被组合并朝着LEP140或MRE130中的一个交付。对于在MCIF292上携带并且从MRE130经MREINIP220接收到的MCIFTP帧的每个压缩媒体流,还可以分配DM260,所述压缩媒体流当前在CP视频图像中呈现,其将被组合并朝着LEP140中的一个交付。在这种实施例中,在每次分配DM260时,可以从相关的MRE130或LEP140请求帧内帧。
所分配DM260的MCIF区可以从CM290接收两个SID值:输入SID值,可以代表要从MCIF292获得的压缩媒体MCIFTP帧流,作为到所分配DM260的输入,由该DM260解码;及输出SID值,代表解码的媒体MCIFTP帧流,作为所分配DM260的输出流,经MCIF292朝MCM270或EOM280中的一个或多个交付。DM260的所分配的媒体区配置成遵循用于压缩到所分配DM260的输入流的压缩标准。压缩标准可以是诸如但不限于用于压缩视频的H.264或者用于压缩音频的G.729。
在操作过程中,DM260的MCIF区可以从MCIF292获得与输入SID值关联的压缩媒体的MCIFTP帧。每个帧都可以被处理,以便根据它们的顺序和时间戳组织这些帧。帧头可以被除去并且压缩的媒体有效载荷(音频或视频)可以朝DM260的媒体区交付,其中DM260是媒体解码器。媒体解码器依赖于相关压缩流的类型,把压缩媒体解码成解码流,音频或视频。压缩音频或视频的解码在本领域是众所周知的并且将不进一步描述。在相关DM260所处理的媒体是音频的情况下,DM260可以周期性地确定解码的音频流的音频能量并且经控制连接294把这个参数交给CM290。
解码后的媒体流可以传输到所分配DM260的MCIF区。该MCIF区可以把解码后的媒体流布置到与分配给那个DM260的输出SID值关联的MCIFTP帧中。MCIFTP帧是根据MCIF292的类型创建的。MCIFTP帧可以作为DM260的输出流交付,该输出流在MCIF292上携带DMDU的MCIFTP帧。
在CUB200的有些实施例中,DM260的视频区可以包括一个或多个缩放器。每个缩放器可以把解码后的图像缩放成所需的尺寸。在这种实施例中,多个输出SID值可以分配给那个DM260的MCIF区。每个输出SID值可以与一个缩放器关联。在MCIF区,缩放后的DMDU嵌入到与相关输出SID关联的MCIFTP帧中并且作为单独的流交给MCIF292。每个缩放器的输出尺寸可以由每个方向中的像素个数来定义,即宽乘高(WxH)。视频图像缩放器的操作在本领域是众所周知的并且将不进一步描述。
CUB200的实施例可以包括多种类型的MCM270。MCM270的类型可以依赖于媒体的类型,音频或视频,还依赖于作为组合媒体的目标的端点的类型,LEP140或MRE130。如上所述,MCM270可以包括MCIF区和媒体区。MCM270的MCIF区可以按类似于上述方式的方式操作,并可以具有不同个数的所分配输入和输出SID值。所分配MCM270的MCIF区可以接收多个输入SID值。例如,输入SID值中的每一个代表源自由CM290选择的端点的流,该流要由目标端点呈现或听到。因而,当讲话者改变或者所呈现的与会者改变时,等等,输入SID值可以在会议会话期间根据会话的动态而改变。根据当前所分配的输入SID值,MCIF区从MCIF292获得选定流的MCIFTP帧、组织流中的所获得的帧并且把每个流的媒体有效载荷朝位于MCM270的媒体区的媒体组合器交付。
在另一个方向,来自MCM270的媒体区的一个或多个组合媒体流可以由MCM270的MCIF区组织成作为MCIFTP帧的有效载荷。具有适当输出SID值的头可以添加到组合媒体有效载荷,以便创建MCIFTP帧,该MCIFTP帧交付到MCIF292。
配置成创建目标指向LEP140的CP视频图像的视频MCM270的一种实施例可以具有MCIF区,该MCIF区可以基于当前所分配的输入SID值获得多个携带视频DMDU的MCIFTP帧流。所获得的视频DMDU的MCIFTP帧通过多个视频DM260交给MCIF292。每个视频DM260都与当前选定的所呈现LEP140或MRE130关联。因而,由某个视频DM260交付的流的输出SID值可以类似于指向那个流的视频MCM270的输入SID值。在CUB200的另一种实施例中,由某个视频DM260交付的流的输出SID的值和指向那个流的视频MCM270的输入SID值可以不同。在这种实施例中,SID转换表可以提供给视频MCM270,用于关联两个不同的SID值。MCIF区可以处理接收到的选定流的MCIFTP帧、组织流中的所获得的帧并且朝着位于视频MCM270的媒体区的CP图像生成器交付每个流的DMDU。
CP图像生成器可以把选定视频图像的解码视频数据组合到CP视频图像中并且把解码的CP图像数据单元的流交给视频MCM270的MCIF区。该MCIF区可以把解码后的CP图像数据单元组织到MCIFTP帧中、添加包括所分配输出SID值的头并且经视频EOM280和LEPONIP230朝着至少一个目标LEP140交付MCIFTP帧流。在CUB200的有些实施例中,其中视频DM260不包括缩放器,则CP图像生成器可以包括用于携带DMDU的每个选定的MCIFTP帧流的缩放器。该缩放器把由每个选定的流所携带的视频图像的尺寸缩放成要在其中放置所获得的视频图像的CP视频图像布局中片段的合适尺寸。CP图像生成器和缩放器的操作在本领域是众所周知的并且将不进一步描述。
配置成混合要朝着至少一个目标LEP140发送的多个音频流的音频混合器MCM270的一种实施例可以具有MCIF区,该MCIF区可以基于当前所分配的输入SID值获得携带DMDU的多个MCIFTP帧流,这些DMDU是解码的音频数据单元。所获得的DMDU的MCIFTP帧通过多个音频DM260交给MCIF292。每个音频DM260与当前选定的被听到的LEP或MRE关联。因而,由某个音频DM260交付的音频流的输出SID值可以类似于指向那个流的MCM270的输入SID值。在CUB200的另一种实施例中,由某个音频DM260交付的流的输出SID的值和指向那个流的音频混合器MCM270的输入SID值可以不同。在这种实施例中,SID转换表可以提供给MCM270,用于关联两个不同的SID值。MCIF区可以处理接收到的选定流的MCIFTP帧、组织音频流中的所获得的帧并且朝着位于MCM270的媒体区的音频混合器交付每个音频流的DMDU。
音频混合器可以把选定的音频流的解码音频数据混合到解码后的混合音频中并且向音频MCM270的MCIF区交付解码后的混合音频数据单元流。MCIF区可以把解码后的混合音频数据单元组织到MCIFTP帧中、添加包括所分配输出SID值的头并且经音频EOM280和LEPONIP230朝着至少一个目标LEP140交付MCIFTP帧的混合音频流。音频混合器的操作在本领域是众所周知的并且将不进一步描述。
为了把两个或更多个选定的中继RTP压缩视频流转换成要朝着一个或多个MRE130发送的一个或多个被中继RTP压缩视频流,可以使用另一种类型的MCM270,被中继视频MCM270。每个MRE130可以从接收到的所发送的一个或多个被中继RTP压缩视频流建立CP视频图像并将其呈现。
被中继视频MCM270的一种实施例可以具有MCIF区,该MCIF区可以基于当前所分配的输入SID值获得携带中继RTP压缩视频数据块的多个选定的MCIFTP帧流。所获得的中继RTP压缩视频数据块的MCIFTP帧流由一个或多个MREINIP230或者从一个或多个EOM280交给MCIF292,每个MREINIP230与当前选定的MRE130关联,每个EOM280与当前选定的LEP140关联。因而,由选定的EOM280或选定的MREINIP230交付的流的输出SID值可以类似于指向那个流的被中继视频MCM270的输入SID值。在CUB200的另一种实施例中,由选定的EOM280或MREINIP230交付的流的输出SID值和指向那个流的被中继视频MCM270的输入SID值可以不同。在这种实施例中,SID转换表可以提供给被中继视频MCM270,用于关联两个不同的SID值。MCIF区可以处理接收到的选定流的MCIFTP帧、组织流中的所获得的帧并且朝着位于被中继视频MCM270的媒体区的会话压缩视频RTP处理器(SCVRP)交付每个流的中继RTP压缩视频数据块。
SCVRP可以从被中继视频MCM270的MCIF区接收每个流的中继RTP压缩视频数据块(RTP头和压缩视频有效载荷)。SCVRP可以管理多个顺序存储器,每个选定的MRE130或LEP140一个顺序存储器。例如,SCVRP可以解析所接收到的中继RTP压缩视频数据块的头并且根据其帧号或时间戳把它存储到合适的顺序存储器中。有时候,依赖于会话所使用的帧速率,根据从CM290接收到的信令与控制信息,SCVRP可以访问一组一个或多个顺序存储器并且把这组选定端点的压缩数据转换成要朝那个被中继视频MCM270的MCIF区传输的被中继RTP压缩视频数据块。希望关于SCVRP的操作了解更多的读者请阅读美国专利No.8,228,363,该专利的内容在此引入作为参考。
被中继视频MCM270的MCIF区可以把被中继RTP压缩视频数据块组织到MCIFTP帧中、添加包括所分配输出SID值的头并且经MREONIP240朝着至少一个目标MRE130交付MCIFTP帧流。在CUB200的其它实施例中,MCIF区可以把被中继RTP压缩视频数据块组织到多个输出MCIFTP帧流中,其中每个输出流源自选定的LEP140或MRE130并且携带按分配给那个选定端点(MRE130或LEP140)的片段的缩放后尺寸的视频图像。对于每个输出流,MCIF区可以为那个流添加包括所分配输出SID值的头,并且经MREONIP240朝着至少一个目标MRE交付MCIFTP帧流。
另一种类型的MCM270可以称为被中继音频MCM270。被中继音频MCM270的一种实施例可以用来把两个或更多个选定的中继RTP压缩音频流转换成要朝着一个或多个MRE130发送的一个或多个被中继RTP压缩音频流。每个MRE130可以通过接收所发送的一个或多个被中继RTP压缩音频流来解码、混合并播放混合后的音频。本领域技术人员可以通过以上对被中继视频MCM270的描述来理解被中继音频MCM270的操作,其中媒体从视频变成了音频并且用会话压缩音频RTP处理器(SCARP)代替了SCVRP。希望关于SCARP的操作了解更多的读者请阅读美国专利No.8,228,363,该专利的内容在此引入作为参考。
EOM280是关于图2中所说明的CUB200实施例的另一种媒体处理器。CUB200可以包括多种类型EOM280。EOM280的类型可以依赖媒体的类型,视频或视频,并且依赖编码(压缩)媒体目标所指的端点类型,LEP140或MRE130。如上所述,EOM280可以包括MCIF区和媒体区。EOM280的MCIF区可以类似于以上所述的方式操作,具有附加功能和不同个数的所分配输入与输出SID值。
与LEP140(目标LEP140)关联的所分配EOM280的MCIF区可以接收输入SID值,其代表携带目标指向那个LEP140的、解码后的合成媒体的MCIFTP帧流。这个流可以由与那个LEP140相关的MCM270组成。MCM270可以是用于视频的CP视频图像生成器或者用于音频的音频混合器。根据当前所分配的输入SID值,MCIF区可以从MCIF292获得选定流的MCIFTP帧、组织所获得的帧并且朝着位于EOM280的媒体区的媒体编码器交付解码后的组合媒体有效载荷。对于音频流,媒体编码器可以遵循目标LEP140所使用的音频压缩标准。音频压缩标准的例子可以是G.711、G.729、G.722.1C、G.719等。用于视频的媒体编码器可以遵循诸如但不限于H.263、H.264的压缩标准。
在另一个方向,来自EOM280的媒体区的压缩媒体流可以由EOM280的MCIF区组织成为MCIFTP帧的有效载荷。具有适当输出SID值的头可以添加到编码后的媒体有效载荷,以便创建MCIFTP帧,该MCIFTP帧交给MCIF292。
为了适配源自LEP140并且需要交给MRE130的媒体流,可以使用其它类型的EOM280。这种EOM280可以被称为适配器EOM280。依赖于媒体的类型,可以使用两种类型的适配器EOM280。在输入方向,与源LEP140的音频关联的所分配适配器EOM280的MCIF区可以接收代表携带源自源LEP140的解码音频的MCIFTP帧流的输入SID值。这个流可以被与那个源LEP140相关的DM260解码。
根据当前所分配的输入SID值,MCIF区可以从MCIF292获得选定解码流的MCIFTP帧、组织所获得的帧并且把解码后的音频有效载荷朝着位于适配器EOM280的媒体区的音频编码器交付。音频编码器可以遵循由一个或多个目标MRE130使用的音频压缩标准。音频压缩标准的例子包括G.711、G.729、G.722.1C、G.719等。在CUB200的有些实施例中,音频DM260和EOM280可以分别包括可缩放的音频编解码器解码器/编码器。希望关于可缩放的音频编解码器解码器/编码器了解更多的读者请阅读美国专利申请公开No.2012/0004918,该申请在此全部引入作为参考。
在有些实施例中,MCIF区可以接收音频流的音频能量的指示。该指示可以从相关的DM260或者从CM290直接接收。MCIF区还可以接收为了把编码的音频数据块转换成中继RTP压缩音频数据块所需的附加信息。这种附加信息可以包括序列号、源ID、时间戳等。在其它实施例中,EOM280可以确定流的音频能量。
通过在RTP音频数据块的头中添加并嵌入附加的参数,适配器EOM280的MCIF输出区可以配置成以类似于MRE130的输出音频RTP处理器的方式操作。所述附加参数可以包括序列号、源ID、时间戳、音频能量指示等。然后,中继RTP压缩音频数据块可以由适配器EOM280的MCIF区组织成为MCIFTP帧的有效载荷。具有适当输出SID值的头可以添加到中继RTP压缩音频数据块的有效载荷,以便创建MCIFTP帧,该MCIFTP帧交付到MCIF292。这个MCIFTP帧流可以由与一个或多个目标MRE130关联的音频MCM270从MCIF292获得。希望关于MRE130了解更多的读者请阅读美国专利No.8,228,363,该专利的全部内容在此引入作为参考。
为了适配源自LEP140并且需要交给MRE130的视频流,可以使用第二类型适配器EOM280。可以为交付从源LEP140接收到的某个尺寸的解码视频图像的每个DM260分配这种适配器EOM280。因而,所分配适配器EOM280的MCIF区可以接收代表携带源自源LEP140并且被DM260解码并缩放的缩放后解码视频的MCIFTP帧流的输入SID值。根据当前所分配的输入SID值,MCIF区可以从MCIF292获得选定的缩放后解码视频的MCIFTP帧、组织所获得的帧并且把解码后的缩放后视频有效载荷朝着位于适配器EOM280的媒体区的视频编码器交付。视频编码器可以遵循由一个或多个目标MRE130使用的视频压缩标准。视频压缩标准的例子包括H.263、H.264等。此外,MCIF区还可以接收把编码的视频数据块转换成中继RTP压缩视频数据块流所需的附加信息。该附加信息可以包括序列号、源ID、时间戳、CP视频图像中的片段号等。
通过在RTP视频数据块的头中添加并嵌入附加参数,适配器视频EOM280的MCIF输出区可以配置成以类似于MRE130的输出视频RTP处理器的方式操作。所述附加参数可以包括序列号、源ID、时间戳、片段号等。然后,中继RTP压缩视频数据块可以由适配器EOM280的MCIF输出区组织成为MCIFTP帧的有效载荷。具有适当输出SID值的头可以添加到中继RTP压缩视频数据块有效载荷,以便创建MCIFTP帧,该MCIFTP帧交给MCIF292。这个MCIFTP帧流可以由与一个或多个目标MRE130关联的视频MCM270从MCIF292获得。
CUB200的其它例子可以给CUB200的模块添加除上述之外的某些功能。例如,在CUB200的有些实施例中,视频DM260可以不包括缩放器;相反,与LEP140关联的视频MCM270可以包括缩放器并且与MRE130关联的视频EOM280也可以具有缩放器。
在CUB200的有些实施例中,与MRE关联的MCM270或EOM280可以配置成把RTP头转换成被中继RTP头。在CUB200的其它实施例中,MREONIP240可以适应实现头转换。
CM290的一种实施例可以管理CUB200的操作。CM290可以从MRE130或者LEP140接收建立视频会议会话(拨入与会者)的请求。该请求可以经一个或多个信令与控制模块250接收。备选地,CM290可以从管理服务器(图中未示出)获得在多个MRE130和/或LEP140之间建立会议会话(拨出与会者)的请求。该请求可以与由CUB200使用的拨号列表(一个拨号可以代表一个IP地址)关联,以便经一个或多个信令与控制模块250与那些端点建立连接。有些会议会话可以既包括拨入与会者又包括拨出与会者。例如,与端点建立连接可以遵循诸如H.323或SIP的众所周知的标准。
对于加入会话的每个端点,MRE130或LEP140,CM290可以从该端点获得与会话相关的信息。这种信息诸如但不限于端点的类型、能力、带宽、压缩标准、位速率等。与端点的协商可以经适当的信令与控制模块250进行。基于所获得的信息,CM290可以向那个端点分配相关的内部模块。对于MRE130,CM290可以为从MRE130获得的多个视频流中的每个视频流分配MREINIP220(每个尺寸、质量等级等一个);为从那个MRE130获得的多个音频流中的每个音频流分配MREINIP220(例如,每个质量等级一个);一个或多个MREONIP240,携带与要在MRE显示单元上呈现的CP视频图像有关的视频图像的每个视频流一个MREONIP240;一个或多个MREONIP240,携带与要从MRE130扬声器听到的混合音频有关的音频的每个音频流一个MREONIP240;一个或多个信令与控制模块250,等等。
此外,CM290可以分配用于处理去往/来自MRE130的媒体的一个或多个媒体处理器单元。例如,可以为从MRE130获得的多个视频流中的每个视频流分配一个视频DM260(每个尺寸、质量等级等一个);可以为从MRE130获得的多个音频流中的每个音频流分配一个音频DM260(例如,每个质量等级一个)。所分配的视频或音频DM260配置成遵循用于压缩相关流的压缩标准、位速率等。
可以分配一个或多个视频EOM280,携带从与参与会话的LEP140关联的视频DM260获得的缩放后解码视频图像的每个视频流一个视频EOM280。可以分配一个或多个音频EOM280,携带从与参与会话的LEP140关联的音频DM260获得的某个质量的解码音频的每个解码音频流一个音频EOM280。音频和视频MCM270可以分配给那个MRE130,以便从MCIF292获得相关的压缩音频与视频流,以便组成要朝那个MRE130传输的音频和视频的被中继RTP流,等等。
以类似的方式,可以分配具有一个或多个缩放器的视频DM260,用于解码从LEP140获得的视频流,并且可以分配音频DM260,用于从LEP140获得的音频流。所分配的视频和/或音频DM260配置成遵循用于压缩相关流的压缩标准、位速率等。可以分配视频LEP MCM270,以便从选定端点的解码视频流建立要在LEP140的显示单元上呈现的CP视频图像。可以分配视频EOM280,来压缩由所分配的LEP视频MCM270创建的解码CP视频图像,以便朝着那个LEP140传输并且在那个LEP140的显示单元上呈现。可以分配音频LEP MCM270,以便混合选定的解码音频流,在LEP140的扬声器上被听到。可以分配音频EOM280,以便压缩从与那个LEP140关联的音频MCM270获得的混合解码音频流。
在有些实施例中,在分配用于处理去往/来自MRE130或LEP140的媒体的内部资源之后,可以向由所分配的内部模块之一交付到MCIF292的每个流分配输出SID值。管理SID值和MCIF292的分配可以通过使用管理与控制表(MCT)进行。SID的类型和MCIF292的控制依赖于MCIF292的类型。对于其中MCIF292是共享存储器的CUB200的实施例,输出SID值可以代表相关内部模块可以把其输出流的MCIFTP帧写(存储)到其中的共享存储器中地址的间隔。对共享存储器的写和读可以例如按循环模式进行。为了从MCIF292获得流,需要获得该流的每个内部模块可以接收由把该流交给MCIF292的模块所使用的输出SID,作为输入SID。基于该输入SID值,相关的内部模块可以按循环模式一个接一个地从与那个SID值关联的相同地址间隔提取MCIFTP帧。
在CUB200的其它实施例中,MCIF292可以是TDM总线。在这种实施例中,输出SID值可以代表来自那个内部模块的每个MCIFTP帧将要传输到MCIF292的时隙编号。为了从MCIF292获得流,需要获得该流的每个内部模块可以接收由把流交付到MCIF292的模块所使用的输出SID,作为输入SID。基于该输入SID值,相关的内部模块可以提取与TDM总线的那个时隙关联的MCIFTP帧。
在CUB200的还有另一种实施例中,MCIF可以是由具有多播路由能力的以太网交换机控制的以太网网络。在CUB200的这种实施例中,输出SID可以是MCIFTP帧的以太网头中的字段。输出SID值可以代表用于一个流的多播地址。为了从MCIF292获得流,需要从MCIF292获得那个流的每个内部模块可以使相同的SID值作为输入SID值。基于该输入SID值,相关的内部模块可以从以太网交换机获得相关的MCIFTP帧。CUB200的其它例子可以使用其它类型的MCIF和SID或者以上例子的任意组合。本领域的技术人员将认识到,本发明的范围不限于MCIF292的类型。
会议会话的MCT的一种实施例可以包括多个条目。每个条目可以与参与会话的MRE130或LEP140关联。每个条目可以与多个字段关联。这些字段可以分成若干个区。第一个区可以被称为端点区。端点区的字段可以包括关于端点的信息,诸如但不限于端点类型(MRE或LEP)、用于每个流的IP地址、压缩标准(音频和视频)、位速率、CP视频图像所需的布局等。在有些会议中,只要端点(MRE130或LEP140)连接到会话,端点区的字段就保持不变。
MCT的第二个区可以被称为输入区。对于每个条目,输入区可以包括多个字段,与从与那个条目关联的端点(MRE130或LEP140)接收到的输入有关的字段。可以为分配来处理从那个端点接收到的压缩媒体流,音频或视频,的每个资源分配一个字段。属于LEP140的条目的输入区字段可以包括关于例如所分配的LEPINIP210、DM260、EOM280的信息。属于MRE130的条目的输入区字段可以包括关于例如所分配的一个或多个MREINIP220及一个或多个DM260的信息。除了关于所分配的资源的其它参数之外,存储在一些所述字段中的信息可以包括由该资源传输到MCIF292的MCIFTP帧流的输出SID值。在CUB200的有些实施例中,只要关联的端点(MRE130或LEP140)连接到会话,输入区的字段就可以保持不变。在CUB200的其它实施例中,依赖于会话的动态,输入区的有些字段在会议会话期间可以变化。例如,与从LEP140或MRE130接收到的视频输入流关联的视频DM260只有在那个端点(MRE130或LEP140)被选作会议CP视频图像的一部分在至少一个其他LEP140或MRE130的显示单元上呈现的时候才能分配。
MCT的第三个区可以被称为输出区。对于每个条目,输出区可以包括多个字段,与要朝着与那个条目关联的端点(MRE130或LEP140)传输的输出流有关的字段。可以为分配来处理目标指向那个端点的输出媒体流,音频或视频,的每个资源分配一个字段。属于LEP140的条目的输出区字段可以包括例如关于所分配的音频与视频MCM270、音频与视频EOM280及一个或多个LEPONIP230的信息。属于与MRE130关联的条目的输出区字段可以包括例如关于所分配的音频与视频MRE MCM270、一个或多个MREONIP240的信息。除关于所分配资源的其它参数之外,存储在有些所述字段中的信息可以包括由所述资源传输到MCIF292的MCIFTP帧流的输出SID值。在CUB200的有些实施例中,只要关联的端点(MRE130或LEP140)连接到会话,输出区的字段就可以保持不变。
在CUB200的其它实施例中,依赖于会话的动态,输出区的有些字段在会议会话的过程中可以变化。例如,与目标指向LEP140或MRE130的视频输出流关联的视频MCM270可以重新配置,以便要在端点上所呈现的CP布局改变的时候组合不同数量的流。MCT会不时地变化,例如当每次有一个端点加入或离开会议会话时。
基于MCT,CM可以创建MCIF路由表(MRT)。MRT可以具有多个条目;每个条目可以与CUB200的所分配内部模块的输入关联并且为那个内部模块定义将从MCIF292获得哪一个或多个MCIFTP帧流。MRT中的一个条目可以分配给DM260的输入(音频或视频);与那个条目关联的字段可以包括例如LEPINIP210或MREINIP220的输出SID值。另一个条目可以分配给与LEP140关联的音频MCM270。这个条目可以具有多个字段,每个字段可以包括输出SID值,该输出SID值与和MRE130或LEP140关联的音频DM270相关,其被选择来混合并经关联的LEP140的扬声器听到。另一个条目可以分配给音频EOM280的输入。与那个条目关联的字段可以包括混合目标指向LEP140的音频流的音频MCM270的输出SID值,其中的LEP140与所述音频EOM280关联。另一个条目可以分配给LEPONIP230的输入。与那个条目关联的字段可以包括音频EOM280的输出SID值,其中音频EOM280编码目标指向与那个LEPONIP230相关的LEP140的混合音频流。以类似的方式,可以分配具有多个字段的附加条目,来处理朝向LEP140的视频流及目标指向MRE130的音频流和视频流。
MRT可以被CM290更新与控制。CUB200的每个内部模块可以不时地访问MRT,以便了解它需要从MCIF292获得的MCIFTP帧流的一个或多个适当SID。备选地,内部模块可以由CM290利用那些SID来更新。在其中除输出SID值之外还使用输入SID值的CUB200实施例中,MRT可以用作那个会话的SID转换表。在这种实施例中,每个条目可以关联到相关的输入SID值。在其中内部模块在需要的时候动态分配的实施例中,可以相应地更新MRT。
在会议会话期间,CM290可以执行MCU中控制多个LEP140之间视频会议的控制模块的常见行为和用于控制多个MRE130之间的会议会话的MRM的控制模式的常见行为。此外,CM290可以提供与CUB200的新型体系结构相关的附加功能。例如,基于从参与会议会话的多个MRE130和LEP140接收到的音频流的音频能量,以每个几十毫秒(例如,10至40毫秒)的间隔,CM290可以选择具有最高音频能量的一组一些端点(例如,三至六个)。根据这种选择,MRT中与音频MCM270和音频EOM280的输入相关的条目的字段可以更新成包括与新选择的音频流而不是先前音频流相关的输出SID值。
以类似的方式,以每个几秒钟的周期(例如,三至五秒),CM290可以确定哪个端点可以被选为讲话者。讲话者可以是在某一比例的该时间周期(例如,那个时间周期中50-70%的间隔)中具有最高音频能量的端点。根据选定的讲话者,可以选择呈现给会议会话参与者的端点。为了适应新的选择,MRT中与视频MCM270和视频EOM280关联的条目的字段可以更新成包括与新选择的视频流而不是先前视频流相关的输出SID值。
在其中只有当需要时才分配视频资源的CUB200实施例中,每次当选择一个LEP140在CP视频图像中呈现时,可以分配视频DM260,来解码从那个LEP140接收到的视频流。解码可以包括适当的缩放。在这种实施例中,帧内请求可以朝那个LEP发送。此外,可以分配一个或多个EOM280来压缩源自那个LEP140并且目标指向一个MRE130的缩放后的解码流,以便由该MRE130将其组合到CP视频图像中。MRE中的相关字段可以相应地更新。当选择一个MRE130呈现时,等等,类似的过程可以重复。
图3绘出了关于DCUB300的一种实施例的相关元件的简化框图。DCUB300可以包括三个区,包括一个或多个DCUB MRE处理器(DCUBMRE)310的MRC区,包括一个或多个DCUB LEP处理器(DCUBLEP)320的传统区和包括DCUB控制模块(DCUBCM)330的控制区。DCUBMRE310和DCUBLEP320中的每一个可以包括内部MCIF318或328。这三个区的元件可以经外部MCIF345彼此通信。多个内部MCIF318或328连同外部MCIF345可以实现以上在图2的讨论中描述过的MCIF292的任务。
外部MCIF345可以经高容量局域网(LAN),诸如但不限于以太网,携带MCIFTP帧。外部MCIF345的其它实施例可以遵循例如IP协议。此外,外部MCIF345可以与路由设备关联。例如,在其中外部MCIF345是以太网网络的DCUB300实施例中,路由设备可以是具有多播能力的以太网交换机340。以太网交换机340的例子可以是来自3750-X和3560-X系列的交换机,但是其它的交换机也可以使用。以太网交换机340可以由DCUBCM330控制。从DCUBCM330到每个处理单元DCUBMRE310和DCUBLEP320或者从每个处理单元DCUBMRE310和DCUBLEP320到DCUBCM330的命令或者状态和报告可以经控制通信链路342携带。控制通信链路342可以经外部MCIF345携带。
DCUBMRE310的一种实施例可以包括多个MREINIP312、多个MREONIP314、多个MREMCM316、内部MCIF318及MCIF适配器319。每个DCUBMRE310可以经MREINIP312和MREONIP314与一个或多个MRE130通信。内部MCIF318可以与内部模块(MREINIP312、MREONIP314和MREMCM316)彼此连接并且经MCIF适配器319连接到外部MCIF345。
每个MREINIP312可以与MRE130关联并且可以获得携带从关联MRE130接收到的压缩媒体的IP分组流。压缩媒体可以是音频和/或视频。每个所获得的IP分组可以根据IP协议来处理。在被MREINIP312处理之后,每个所获得的分组的RTP媒体有效载荷,中继RTP压缩音频或压缩视频数据块,可以根据MCIFTP嵌到MCIF帧中;并且携带从MRE130接收到的中继RTP压缩媒体的MCIFTP帧流朝着内部MCIF318传输。MREINIP312的操作可以类似于以上描述过的MREINIP220的操作并且因此将不进一步描述。
每个MREONIP314可以与一个或多个MRE130关联。MREONIP314的一种实施例可以从DCUBCM330获得要从内部MCIF318收集的一个或多个压缩后的被中继流的SID值。流的个数依赖于CP图像或混合音频的被中继压缩媒体是经单个RTP连接还是经多个RTP连接发送。携带压缩媒体的一个或多个MCIFTP帧流是从与相关的一个或多个MRE130关联的MRE MCM316接收的。基于所接收到的SID值,从内部MCIF318获得适当的MCIFTP帧依赖于内部MCIF318的类型,共享存储器、TDM总线、以太网等。
MREONIP314的实施例可以处理每个所获得的MCIFTP帧并且检索帧中所嵌的压缩媒体。例如,处理MCIFTP帧可以包括除去MCIFTP帧的头。每个处理后的MCIFTP帧的媒体有效载荷可以适应遵循RTP,以便创建RTP压缩媒体数据块。可以添加具有适当字段的RTP头。RTP头的字段可以反映那个流的源(SSRC)、反映媒体及编码器的有效载荷类型(PT)、序列号、时间戳等。RTP数据块可以根据互联网协议来处理,以便嵌入到IP分组中。IP头可以添加到该分组。源IP地址和头的端口可以反映相关的MREONIP314。目的地IP地址可以反映关联的MRE130和与那种媒体类型关联的端口号。IP分组可以朝着关联的MRE130发送。在有些实施例中或者在有些会话中,IP分组可以朝着共享相同压缩标准和相同音频混合或CP视频图像的多个MRE130发送。MREONIP314的操作可以类似于以上描述过的MREONIP240的操作并且因此将不进一步描述。
为了把来自内部MCIF318的两个或更多个选定的中继RTP压缩视频流转换成要经关联的MREONIP314朝一个或多个MRE130发送的一个或多个被中继RTP压缩视频流,可以使用MRE MCM316。这种MRE MCM316可以称为被中继视频MRE MCM316。每个MRE130可以从接收到的所发送的一个或多个被中继RTP压缩视频流建立并呈现CP视频图像。被中继视频MREMCM316的操作类似于以上在图2的讨论中描述过的被中继视频MCM270的操作。因此,被中继视频MRE MCM316将不进一步描述。
另一种MRE MCM316可以称为被中继音频MRE MCM316。为了把来自内部MCIF318的两个或更多个选定的中继RTP压缩音频流转换成要经关联的MREONIP314朝一个或多个MRE130发送的一个或多个被中继RTP压缩音频流,可以使用被中继音频MCM316。通过接收所发送的一个或多个被中继RTP压缩音频流,每个MRE130可以解码、混合并播放混合后的音频。被中继音频MRE MCM316的操作类似于以上在图2的讨论中描述过的被中继音频MCM270的操作。因此,被中继音频MRE MCM316将不进一步描述。
内部MCIF318可以类似于MCIF292。MCIF292的操作、MCIFTP帧及SID值的处理都在以上图2的讨论中描述过了,因此将不进一步描述。为了在内部MCIF318与外部MCIF345之间接口,可以使用MCIF适配器319。MCIF适配器319把外部MCIF345与内部MCIF318关联,以便充当DCUB300的一个MCIF。MCIF适配器319的操作依赖于内部MCIF318的类型和外部MCIF345的类型。
在DCUB300的实施例中,例如,内部MCIF318可以是共享存储器,而外部MCIF345可以是以太网网络。在这种实施例中,对于每个MCIFTP帧流,MCIF适配器319可以获得SID值、源以太网地址和目的地以太网地址。对于从内部MCIF318传输到外部MCIF345的MCIFTP帧流,SID值可以代表MCIF适配器319可以按循环模式从其提取要朝外部MCIF345传输的MCIFTP帧的共享存储器(内部MCIF318)中地址的间隔。相关的源以太网地址可以代表DCUBMRE310与生成那个MCIFTP帧流的相关内部模块MREINIP312或MRE MCM316之间的对应。关联的目的地以太网地址可以代表所述帧要传输到的那个单元中的另一个DCUBMRE310或DCUBLEP320与相关的内部模块。在添加以太网头之后,利用合适的SID值与以太网地址,以太网MCIFTP帧可以经外部MCIF345朝着其目的地传输。
对于从外部MCIF345传输到内部MCIF318的MCIFTP帧流,SID值可以代表MCIF适配器319可以按循环模式把从外部MCIF345接收到的MCIFTP帧存储在其中的共享存储器(内部MCIF318)中地址的间隔。相关的目的地以太网地址可以与那个SID值关联并且代表DCUBMRE310与作为那个MCIFTP帧流目标的相关内部模块MREINIP312或MRE MCM316之间的对应。在基于适当的SID值处理以太网头之后,MCIFTP帧流可以按循环模式存储在与那个SID值关联的共享存储器(内部MCIF318)的地址间隔中。
DCUBLEP320可以包括多个LEPINIP321、多个LEPONIP322、多个LEP MCM323、多个EOM324、多个DM325、内部MCIF328及MCIF适配器329。每个DCUBLEP320可以经LEPINIP321和LEPONIP322与一个或多个LEP140通信。内部MCIF328可以彼此连接DCUBLEP320的内部模块并且经MCIF适配器329连接到外部MCIF345。内部MCIF328和MCIF适配器329以(分别)与如上所述的DCUBMRE310的内部MCIF318和MCIF适配器319操作类似的方式操作并且因此将不进一步描述。
LEPINIP321、LEPONIP322、EOM324和DM325以(分别)与以上图2的讨论中所述的LEPINIP210、LEPONIP230、EOM280和DM260操作类似的方式操作并且因此将不进一步描述。
DCUBLEP320可以进一步包括多个无损解码器(LLD)326、多个无损编码器(LLE)327。LLD326和LLE327可以用于利用无损算法压缩需要经外部MCIF345朝另一个DCUBLEP320或DCUBMRE310传输的未压缩(音频或视频)的解码媒体。一对LLE327和LLD326可以执行无损压缩算法,诸如但不限于GZIP、Lempel-Ziv-Welch(LZW)、无损JPEG2000等。在另一种实施例中,例如,无损压缩可以通过部分H.264编码来实现,而无需执行无损区。如在此所使用的,术语半压缩和无损压缩应当理解为可以互换。
在DCUBLEP320的一种备选的实施例中,LLE327和LLD326可以包括在MCIF适配器329的实施例中。在这种实施例中,在适应经外部MCIF345携带之前,经MCIF适配器329从内部MCIF318传输到外部MCIF345的MCIFTP帧的有效载荷可以被MCIF适配器329的内部LLE327无损压缩。在另一个方向,在适应经内部MCIF318携带之前,从外部MCIF345传输到内部MCIF318的MCIFTP帧的有效载荷可以被MCIF适配器329的内部LLD326无损解压缩。
DCUBCM330可以包括多个去往/来自LEP或MRE的信令与控制模块332及主控制器334。信令与控制模块332可以与以上在图2讨论中所描述过的信令与控制模块250类似的方式操作。信令与控制模块332可以用于建立通信会话并且把相关端点连接到会议。经相关的信令与控制模块332,主控制器334可以认证端点和相关的会议会话。在认证之后,协商阶段可以启动,以便定义端点的类型、端点的能力、定义压缩标准、位速率等。此外,可以为那个端点定义描述CP视频图像、被强制讲话者等的布局。协商可以基于例如H.323或SIP,这些在本领域中是众所周知的并且将不进一步讨论。
主控制器334可以管理DCUB300的操作。主控制器334可以从MRE130或LEP140接收建立视频会议会话的请求(拨入与会者)。该请求可以经一个或多个信令与控制模块332接收。备选地,主控制器334可以从管理服务器(图中未示出)获得在多个MRE130和/或LEP140之间建立会议会话的请求(拨出与会者)。该请求可以与要由主控制器334用于经一个或多个信令与控制模块332与那些端点建立连接的拨出号码(一个拨号可以代表一个IP地址)的列表关联。有些会议会话可以既包括拨入与会者又包括拨出与会者。建立与端点的连接可以遵循众所周知的标准,诸如,例如H.323或SIP。
对于加入会话的每个端点,MRE130或LEP140,主控制器334可以向那个端点分配相关的内部模块。对于MRE130,主控制器334可以把DCUBMRE310关联到那个会话并且为从那个MRE获得的多个视频流中的每个视频流分配一个MREINIP312(每个尺寸、质量等级等一个);为从那个MRE130获得的多个音频流中的每个音频流分配一个MREINIP312(例如,每个质量等级一个);一个或多个MREONIP314,每个都用于携带与要在MRE130的显示单元上呈现的CP视频图像相关的视频图像的一个视频流;一个或多个MREONIP314,每个都用于携带与要从MRE的扬声器听到的混合音频相关的音频的一个音频流;一个或多个信令与控制模块332,等等。
此外,主控制器334可以分配用于处理去往/来自那个MRE130的媒体的一个或多个媒体处理器单元。例如,可以为从那个MRE130获得的多个视频流中的每个视频流分配一个视频DM325(每个尺寸、质量等级等一个)。类似地,可以为从那个MRE130获得的多个音频流中的每个音频流分配一个音频DM325(例如,每个质量等级一个)。所分配的视频或音频DM325可以配置成遵循用于压缩相关流的压缩标准、位速率等。另外,那些DM325可以驻留在与那个会议会话关联的DCUBLEP320中。为了到达关联的DM325,来自相关MREINIP312的每个MCIFTP帧流可以经内部MCIF318、MCIF适配器319、外部MCIF345、MCIF适配器329和内部MCIF328传输。主控制器334可以配置成向那些流分配SID值与以太网地址,并且相应地设定以太网交换机340及两个MCIF适配器319和329。
一个或多个视频EOM324可以由主控制器334分配,每个视频流一个,其中每个视频流都携带从与参与会话的LEP140关联的视频DM325获得的缩放后解码视频图像;可以分配一个或多个音频EOM324,每个解码音频流一个,每个解码音频流都携带从与参与会话的LEP140关联的音频DM325获得的某个质量的解码音频。位于那些EOM324输出的压缩MCIFTP帧流可以经内部和外部MCIF318、328和345及MCIF适配器319和329与以太网交换机340传输到适当的MRE MCM316。主控制器334可以继续分配并控制所需的资源、所需的SID值和所需的以太网资源与目的地地址。主控制器334的剩余操作与以上图2讨论中描述过的CM290的操作类似并且将不进一步描述。
图4绘出了关于高容量通用桥(HVUB)400的实施例的相关元件的简化框图。HVUB400可以用在具有高容量多媒体会议的地方。HVUB400可以包括多个子高容量通用桥(SHVUB)模块410、DCUB控制模块(DCUBCM)450和具有路由设备440的外部MCIF445。每个SHVUB410和DCUBCM450可以经外部MCIF445彼此通信。在HVUB400的有些实施例中,每个SHVUB410及DCUBCM450可以嵌到刀片计算机中。在这种实施例中,HVUB400可以不时地通过添加一个或多个SHVUB410来扩展。
SHVUB410可以包括类似于在以上图2讨论中描述过的CUB200的内部模块的内部模块,诸如LEPINIP210、MREINIP220、LEPONIP230、MREONIP240、DM260、MCM270和EOM280。那些模块将不进一步描述。此外,SHVUB410可以包括内部MCIF412和MCIF适配器414。内部MCIF412和MCIF适配器414连同外部MCIF445一起可以实现在以上图2讨论中描述过的MCIF292的任务。另外,内部MCIF412、MCIF适配器414、外部MCIF445和路由设备440的操作类似于在以上图3讨论中描述过的内部MCIF318和328、MCIF适配器319和329、外部MCIF345和路由设备340的操作并且因此将不进一步描述。在其中外部MCIF遵循守以太网协议的实施例中,路由设备340和440可以是以太网交换机。在其中外部MCIF345或445遵循IP的其它实施例中,路由设备340和440可以是互联网路由器。
路由设备440、外部MCIF445及每一个SHVUB410都可以由DCUBCM450控制。从DCUBCM450到每个SHVUB410或者从每个SHVUB410到DCUBCM450的命令或者状态和报告可以经控制通信链路416携带。控制通信链路416可以经外部MCIF445携带。
DCUBCM450可以包括多个去往/来自LEP或MRE的信令与控制模块452和主控制器454。DCUBCM450的操作类似于在以上图3讨论中描述过的DCUBCM350的操作并且因此将不进一步描述。
现在参考说明根据一种实施例的过程500的图5A和5B,其中过程500可以由CUB200的CM290实现。具有少许修改的类似方法可以分别由DCUBCM330或DCUBCM450的主控制器334或454使用。方法500可以在多媒体会议会话开始的时候或者每次新与会者加入现有的多媒体会议时在方框502启动。图5A说明了设置任务,而图5B说明了在会议运行的同时CM290的相关动作。
任务500可以在获得开始所保留会话的指示的时候由CM290启动。该指示可以包括会话简介。会话简介可以包括关于会话的信息,所述信息诸如但不限于会话持续时间、拨入或拨出号码、压缩参数、CP布局、端点的类型等。所述指示可以从管理服务器获得,这在图中未示出。备选地,当接收到对虚拟会议室的拨入呼叫时,临时会议可以在方框502启动。会议简介和虚拟会议室在本领域是众所周知的并且将不进一步描述。希望关于那些功能了解更多的读者请阅读美国专利Nos.7,085,243、7,310,320和7,830,824,这些专利的内容在此引入作为参考。
当启动时,在方框504可以获得会议参数。会议参数可以从会议简介、会议室简介或者通过与呼叫端点协商来获得。基于所获得的会议参数,可以在方框506中分配资源,诸如但不限于可以在会话处于活动状态的同时被使用的管理与控制表(MCT)、MCIF路由表(MRT)等。对于每个MRE130,进一步的资源和MCT与MRT的分配可以在方框510和518之间的回路中进行,而对于每个LEP140,这在之后方框520和528之间的回路中进行。如果新的与会者加入会话,就可以基于端点的类型,MRE130或LEP140,执行相关回路的适当循环。
对于每个MRE130,第一回路循环可以在方框510启动。在方框512,基于所收集到的信息,确定(从MRE接收到的)输入流的个数。基于由那个MRE130呈现的CP布局和要由那个MRE130混合的音频流的个数,为每种类型的媒体(音频/视频)确定(朝那个MRE130发送的)输出流的个数。流的个数可以依赖于从那个MRE130获得/发送到那个MRE130的流的不同尺寸(分辨率)、不同帧速率、不同质量、不同位速率等的个数。
对于每个输入流(音频或视频),在方框514中可以分配适当的MREINIP220和DM260(音频或视频)。可以为每个MREINIP220分配输出SID值。此外,可以为每个DM260(音频或视频)分配输入SID值和输出SID值。DM260可以用于解码组成要由LEP140呈现的CP视频图像所需的压缩视频;备选地,DM260可以用于解码混合要在LEP140中使用的音频所需的音频。另外,对于每个输出流(音频或视频),在方框514中可以分配适当的MREONIP240和MRE MCM270(音频或视频)。可以为每个MREONIP240分配输入SID值。此外,可以为每个MRE MCM270(音频或视频)分配输入SID值和输出SID值。
在方框516,在MCT中为每个所分配的资源分配一个条目。每个条目可以包括用于在那个会话中管理资源的多个字段。与MREINIP220或MREONIP240关联的条目可以包括与MREINIP220或MREONIP240和携带相关流的相关MRE之间的IP连接相关的信息、输出/输入SID值等。与DM260(音频或视频)关联的条目可以包括对于每种资源与相关MRE所使用的压缩相关的信息、与那个DM相关的输入和输出SID值等。此外,可以在方框516中在MRT(SID转换表)中为所分配的DM260、MRE MCM270和MREONIP240的每个输入流分配一个条目。每个条目可以具有至少两个字段。在第一个字段中,可以写那个流的输入SID值。在第二个字段中,可以写要由这个资源获得的流的输出SID值。这个字段可以根据会话的动态而变化。在其中使用单个SID值的CUB200的实施例中,对于输入流的每个条目只能使用一个字段。这个字段的值可以根据会话的动态而不时地更新。
接下来,在方框518,确定是否有一个或多个附加的MRE130参与到会话中。如果有,方法500就返回方框510并对下一个MRE130开始新的回路循环。如果没有,过程500就前进到方框520,处理参与到会话中的一个或多个LEP140。
对于每个参与的LEP140,可以在方框520启动第二回路循环。对于每个输入流(音频或视频),可以在方框524中分配适当的LEPINIP210、DM260(音频或缩放后的视频)及一个或多个缩放器(对于视频DM)。此外,可以为每个缩放后的解码视频分配一个EOM280。EOM280可以在相关的LEP140包括在由MRE130呈现的CP图像中的时候使用。可以为每个LEPINIP210分配一个输出SID值。此外,可以为每个DM260(音频或视频)和EOM280分配输入SID值和输出SID值。另外,对于朝着那个LEP140的每个输出流(音频或视频),可以在方框524中分配适当的LEPONIP230和传统MCM270(音频或视频)。传统MCM270可以适应组成相关的CP视频图像。可以为CP视频图像分配适当尺寸的帧存储器。帧存储器可以根据定义的布局等分成片段。可以为每个LEPONIP230分配一个输入SID值。此外,可以为每个传统MCM270(音频或视频)分配输入SID值和输出SID值。
在方框526,在MCT中为用于那个LEP140的每个所分配的资源分配一个条目。每个条目可以包括在那个会话过程中管理资源所需的多个字段。与LEPINIP210或MREONIP230关联的条目可以包括关于LEPINIP210和MREONIP230与携带相关流的相关LEP140之间的IP连接的信息、输出/输入SID值等。对于每种资源,与DM260(音频或视频)关联的条目可以包括与由相关LEP140使用的压缩相关的信息、关于那个DM260的输入和输出SID值等。此外,在方框526中,可以在MRT(SID转换表)中为所分配的DM260、传统MCM270和LEPONIP230的每个输入流分配一个条目。在有些实施例中,每个条目可以具有至少两个字段。在第一个字段中,可以写那个流的输入SID值。在第二个字段中,可以写要由这个资源获得的流的输出SID值。这个字段可以根据会话的动态在会话过程中改变。在其中使用单个SID值的CUB200的实施例中,对于输入流的每个条目,可以使用单个字段。这个字段的值可以根据会话的动态不时地更新。
接下来,在方框528,确定是否有附加的LEP140参与到会话中。如果有,方法500就返回方框520并且对下一个LEP开始新的回路循环。如果没有,过程500就前进到图5B中的方框530,处理正在进行的会话。
在方框530,启动当前视频设置过程。当前视频设置过程可以在两个内部回路中处理。在第一个回路中,从方框540到方框550,可以处理参与会话的一个或多个MRE130的设置。第二个回路,从方框560到方框572,处理参与会话的一个或多个LEP140的当前视频设置。当前视频设置过程可以每几秒钟重复一次,例如1至10秒,以便响应会议会话中的变化,诸如但不限于:新的讲话者、新的参与者等。用于处理音频的类似的当前音频设置过程(图中未示出)也可以由CM290执行。当前音频设置过程可以用于使混合音频适应会议会话中的变化。与视频过程相反,当前音频设置过程可以更高的频率重复,例如每几十毫秒至几百毫秒。在音频过程中,音频MCM270处理音频流,以混合它们。
用于每个MRE130的回路循环可以在方框542中通过确定哪些端点(MRE130或LEP140)将在当前CP视频图像中呈现开始,该当前CP视频图像将在那个MRE130显示器上呈现。选择所呈现的端点及将在其中呈现来自每个端点的视频图像的片段可以基于不同的标准。所使用的标准可以在方框504定义。在一个会议会话中,该标准可以是从每个端点获得的音频的能量。例如,讲话者可以定义为在某一比例(例如,60-80%)的某个周期(例如,1-10秒)期间具有最高音频能量的端点。在其它会议会话中,某个端点可以被强制成为讲话者。在还有其它会议会话中,MRE130可以定义将由它呈现的选定端点,等等。
在方框548,可以更新MRT中与和那个MRE130关联的MCM270关联的条目。更新可以基于当前所呈现端点的选择、当前讲话者的选择、布局参数(每个片段的尺寸与位置)等等。相应地,与当前呈现的一个或多个MRE130关联的MREINIP240的输出SID值,及与当前呈现的一个或多个LEP140关联的EOM280的输出SID值,可以写到MRT的相关条目中。基于更新后的MRT,MCM270可以获得携带从所呈现MRE130接收到的中继RTP压缩视频数据块的适当MCIFTP帧流。此外,在被适当的DM260解码并缩放至合适的尺寸并且被EOM280压缩成中继RTP压缩视频数据块之后,MCM270可以获得携带源自所选LEP140的中继RTP压缩视频数据块的适当MCIFTP帧流。接下来,在方框550中确定是否有附加的MRE130参与到会话中。如果有,方法就返回方框540。如果没有,就在方框560中启动第二个回路,以为参与会话的每个LEP140处理当前视频设置过程。
用于每个LEP140的回路循环可以在方框562中通过确定哪些端点(MRE130或LEP140)将在当前CP视频图像中呈现开始,该当前CP视频图像将在那个LEP140显示器上呈现。选择所呈现的端点及将在其中呈现来自每个端点的视频图像的片段是与以上方框542中所述的选择类似地执行的。
在方框568,可以更新MRT中与和那个LEP140关联的MCM270关联的条目。更新可以基于当前所呈现端点的选择、当前讲话者的选择、布局参数(每个片段的尺寸与位置)等等。相应地,与当前呈现的一个或多个LEP140和MRE130关联的DM260的输出SID值可以写到MRT的相关条目中。基于更新后的MRT,LEP MCM270可以获得携带解码并缩放之后的、源自所呈现LEP140和MRE130的DMDU的合适MCIFTP帧流。接下来,在方框570中确定是否有附加的LEP140参与到会话中。如果有,方法就返回方框560。如果没有,就在方框572中请求来自所呈现LEP和MRE的帧内帧。
然后,过程500可以在方框574中等待几秒钟,例如1至10秒。在该等待周期之后,可以在方框576中检查会话的当前状态,寻找变化。变化可以是:加入会话的新与会者、离开会话造成布局改变的与会者、新讲话者等。如果在方框580中没有变化,过程500就返回方框574并等待另一个几秒钟的周期。如果在方框580中选择了新讲话者,过程500就返回方框540并重复当前视频设置过程。如果在方框580中有新的端点加入会话,方法500就可以从开头开始并返回方框504,获得关于该新端点的当前会议参数。新的端点会影响当前的布局、压缩参数等。这个过程可以继续,直到会议会话结束。
在权利要求及本公开的描述中,“包括”、“包含”、“具有”及其变化形式用于指示该动词的一个或多个对象不一定是该动词的一个或多个主语的成员、部分、元素或者部分的完全列表。
应当理解,以上描述是说明性而不是约束性的。以上所述的装置、系统与方法可以许多种方式变化,包括改变步骤的次序及所使用的确切实现。所述实施例包括不同的特征,不是在本公开的所有实施例中都需要所有这些特征。并且,本公开的有些实施例只使用一些特征或者特征的可能组合。在所述实施例中指出的特征的不同组合对本领域技术人员来说是很容易想到的。此外,本公开的有些实施例可以通过已经关于本公开不同实施例描述过的特征与元素的组合来实现。本发明的范围只能由以下权利要求及其等同来限定。

Claims (45)

1.一种用于多媒体会议系统的通用桥,包括:
接口,配置成携带根据传输协议的传输帧流,每个帧都具有流标识符;
媒体中继输入处理器,耦合到所述接口并且配置成把携带从媒体中继端点接收到的压缩媒体的传输帧交付给所述接口;
解码器模块,耦合到所述接口并且配置成获得携带压缩媒体的传输帧流并且生成携带解码器模块数据单元的传输帧流;
第一类型媒体组合器模块,耦合到所述接口并且配置成把携带解码器模块数据单元的多个传输帧流组合到携带目标指向传统端点的组合媒体的传输帧流中;
编码器输出模块,耦合到所述接口并且配置成获得携带解码器模块数据单元的传输协议帧流并且生成携带压缩媒体的传输帧流;
媒体中继端点输出处理器,耦合到所述接口并且配置成获得携带源自第一媒体中继端点或者第一传统端点的压缩媒体的一个或多个传输帧流并且朝着第二媒体中继端点交付一个或多个分组流;及
控制模块,控制去往接口或来自接口的数据流量并且为传输帧流分配流标识符。
2.如权利要求1所述的通用桥,还包括:
传统输入处理器,耦合到所述接口并且配置成把携带从传统端点接收到的压缩媒体的传输帧交付给所述接口。
3.如权利要求2所述的通用桥,其中传统输入处理器还包括实时协议处理单元。
4.如权利要求1所述的通用桥,还包括:
传统输入处理器,耦合到所述接口并且配置成从传统端点接收携带压缩媒体的数据块并对其进行处理,包括:
解码器模块,配置成把压缩媒体的数据块处理成携带要传输到所述接口的解码器模块数据单元的传输帧流,
其中传统输入处理器还配置成把压缩媒体的数据块交给所述解码器模块。
5.如权利要求1所述的通用桥,还包括:
第二类型媒体组合器模块,耦合到所述接口并且配置成把携带压缩媒体的多个传输帧流组合到携带目标指向媒体中继端点的组合媒体的传输帧流。
6.如权利要求5所述的通用桥,其中所述携带压缩媒体的多个传输帧流中的至少一个传输帧流源自传统端点。
7.如权利要求1所述的通用桥,还包括多个解码器模块、编码器输出模块和第一类型媒体组合器模块,
其中,响应所获得的控制参数,控制模块不时地分配选自包括以下项的组的至少一个模块:
解码器模块、编码器输出模块和第一类型媒体组合器模块。
8.如权利要求1所述的通用桥,其中解码器模块数据单元是解压缩的数据单元。
9.如权利要求1所述的通用桥,其中编码器输出模块获得携带组合媒体的传输帧流并且生成携带压缩组合媒体的传输协议帧流。
10.如权利要求9所述的通用桥,还包括传统输出处理器,所述传统输出处理器耦合到所述接口并且配置成获得携带压缩组合媒体的传输帧流,并且朝传统端点交付分组。
11.如权利要求1所述的通用桥,其中根据传输协议的传输帧包括遵循实时协议的头。
12.如权利要求1所述的通用桥,其中媒体是视频,并且第一类型媒体组合器模块还配置成建立持续呈现视频图像。
13.如权利要求12所述的通用桥,其中第一类型媒体组合器模块配置成在建立持续呈现视频图像的同时把解码后的视频图像缩放到所需的分辨率。
14.如权利要求1所述的通用桥,其中媒体是音频,并且第一类型媒体组合器模块是音频混合器。
15.如权利要求1所述的通用桥,其中解码器模块还包括把解码后的视频图像缩放到所需分辨率的缩放器。
16.如权利要求1所述的通用桥,其中编码器输出模块包括把解码后的视频图像缩放到所需分辨率的缩放器。
17.如权利要求1所述的通用桥,其中所述接口是共享存储器。
18.如权利要求17所述的通用桥,
其中根据传输协议的传输帧包括传输协议头;
其中传输协议头包括流标识符;及
其中流标识符代表一组存储器地址。
19.如权利要求1所述的通用桥,其中所述接口包括具有多播路由能力的交换机。
20.如权利要求1所述的通用桥,其中携带朝着第二媒体中继端点的压缩媒体的分组用于在第二媒体中继端点建立持续呈现视频图像。
21.如权利要求1所述的通用桥,
其中控制模块响应一个或多个控制参数而控制数据流量,及
其中所述控制参数包括状态信息、用户请求和端点参数中的一个或多个。
22.如权利要求21所述的通用桥,其中状态信息包括从一个或多个媒体中继端点和一个或多个传统端点接收到的音频流的音频能量。
23.如权利要求1所述的通用桥,其中控制模块分配选自包括以下项的组的至少一个模块:
解码模块、编码器输出模块和媒体组合器模块。
24.一种用于多媒体会议系统的通用桥系统,包括:
第一接口,配置成携带根据传输协议的传输帧流;
控制模块,连接到所述第一接口;
媒体中继处理器,连接到所述第一接口并且配置成接收从第一媒体中继端点接收到的压缩媒体、朝第二媒体中继端点交付一个或多个分组流、向所述第一接口交付传输帧流并且从所述第一接口接收传输帧流;及
传统处理器,连接到所述第一接口,配置成接收从第一传统端点接收到的压缩媒体、朝第二传统端点交付一个或多个分组流、向所述第一接口交付传输帧流并且从所述第一接口接收传输帧流。
25.如权利要求24所述的通用桥系统,其中媒体中继处理器包括:
第二接口,配置成携带根据传输协议的传输帧流;
媒体中继输入处理器,耦合到所述第二接口并且配置成向所述第二接口交付携带从第一媒体中继端点接收到的压缩媒体的传输帧;
第一类型媒体组合器模块,耦合到所述第二接口并且配置成把携带压缩媒体的多个传输帧流组合到携带目标指向媒体中继端点的组合媒体的传输帧流中;
媒体中继端点输出处理器,耦合到所述第二接口并且配置成获得携带由第一类型媒体组合器模块根据源自第一媒体中继端点和第一传统端点的压缩媒体创建的组合媒体的一个或多个传输帧流并且朝第二媒体中继端点交付一个或多个分组流;及
第一接口适配器模块,耦合到所述第一和第二接口,配置成在第一接口和第二接口之间交付传输帧。
26.如权利要求24所述的通用桥系统,其中传统处理器包括:
第三接口,配置成携带根据传输协议的传输帧流;及
传统端点输出处理器,耦合到所述第三接口并且配置成获得携带源自第一媒体中继端点和第一传统端点的压缩媒体的传输帧流并且朝第二传统端点交付一个或多个分组流;及
第二接口适配器模块,耦合到所述第一和第三接口,配置成在第一接口和第三接口之间交付传输帧。
27.如权利要求26所述的通用桥系统,其中传统处理器还包括:
传统输入处理器,耦合到所述第三接口,配置成向所述第三接口交付携带从第一传统端点接收到的压缩媒体的传输帧。
28.如权利要求27所述的通用桥系统,其中传统处理器还包括:
解码器模块,耦合到所述第三接口并且配置成获得携带压缩媒体的传输帧流并且生成携带解码器模块数据单元的传输帧流。
29.如权利要求26所述的通用桥系统,其中传统处理器还包括:
传统输入处理器,耦合到所述第三接口,配置成从第一传统端点接收携带压缩媒体的数据块;以及
解码器模块,配置成把压缩媒体的数据块处理成携带要传输到所述第三接口的解码器模块数据单元的传输帧流;及
其中传统输入处理器还配置成向解码器模块交付压缩媒体的数据块。
30.如权利要求26所述的通用桥系统,其中传统处理器还包括:
无损解码器,耦合到所述第三接口,配置成利用无损技术解码在从第一接口接收到的传输帧中所携带的无损压缩媒体。
31.如权利要求26所述的通用桥系统,其中传统处理器还包括:
无损编码器,耦合到所述第三接口,配置成利用无损技术压缩未压缩媒体,以便在传输帧中向第一接口交付无损压缩的媒体。
32.如权利要求26所述的通用桥系统,其中第二接口适配器模块包括:
无损解码器,配置成利用无损技术解码在从第一接口接收到的传输帧中所携带的压缩媒体;及
无损编码器,配置成利用无损技术压缩未压缩媒体,以便在传输帧中向第一接口交付无损压缩的媒体。
33.如权利要求26所述的通用桥系统,其中传统处理器还包括:
第二类型媒体组合器模块,耦合到所述第三接口,配置成把携带解码器模块数据单元的多个传输帧流组合到携带目标指向第二传统端点的组合媒体的传输帧流中。
34.如权利要求33所述的通用桥系统,其中所述携带解码器模块数据单元的多个传输帧流中的至少一个源自媒体中继端点。
35.如权利要求26所述的通用桥系统,其中传统处理器还包括:
编码器模块,耦合到所述第三接口并且配置成获得携带解码器模块数据单元的传输协议帧流并且生成携带压缩媒体的传输帧流。
36.如权利要求24所述的通用桥系统,包括多个媒体中继处理器和多个传统处理器。
37.一种用于多媒体会议系统的通用桥系统,包括:
第一接口,配置成携带根据传输协议的传输帧流;
通信耦合到媒体中继端点和传统端点的多个子桥,其中多个子桥中的每一个都配置成用于
从源媒体中继端点接收携带压缩媒体的分组流;
朝目的地媒体中继端点交付携带压缩媒体的分组流;
从源传统端点接收携带压缩媒体的分组流;
朝目的地传统端点交付携带压缩媒体的分组流;
从所述第一接口接收源自所述多个子桥中的另一个子桥的传输帧流;及
向所述第一接口交付传输帧流,所述第一接口是所述多个子桥中的另一个子桥的目标。
38.如权利要求37所述的通用桥系统,还包括:
控制模块,连接到所述第一接口,配置成用于控制多个子桥。
39.如权利要求37所述的通用桥系统,其中所述多个子桥中的每一个子桥都包括:
第二接口,配置成携带根据传输协议的传输帧流;
媒体中继输入处理器,耦合到所述第二接口,配置成向所述第二接口交付携带从源媒体中继端点接收到的压缩媒体的传输帧;
传统输入处理器,耦合到所述第二接口,配置成向所述第二接口交付携带从源传统端点接收到的压缩媒体的传输帧;
解码器模块,耦合到所述第二接口,配置成获得携带压缩媒体的传输帧流并且生成携带解码器模块数据单元的传输帧流;
媒体组合器模块,耦合到所述第二接口,配置成把携带解码器模块数据单元的多个传输帧流组合到携带组合媒体的传输帧流中;
编码器输出模块,耦合到所述第二接口,配置成获得携带解码器模块数据单元或组合媒体的传输协议帧流并且生成携带压缩媒体的传输帧流;
媒体中继输出处理器,耦合到所述第二接口,配置成获得携带压缩媒体的一个或多个传输帧流并且朝目的地媒体中继端点交付一个或多个分组流;
传统输出处理器,耦合到所述第二接口,配置成获得携带压缩组合媒体的传输帧流并且朝目的地传统端点交付分组;及
接口适配器,配置成在第一接口和第二接口之间传递传输帧。
40.一种用于配置用于多媒体会议系统的通用桥的方法,包括:
在会议中为媒体中继输入流分配:
媒体中继输入处理器,配置成把携带从媒体中继端点接收到的压缩媒体的传输帧交付给接口;及
解码器模块,耦合到所述接口并且配置成获得携带压缩媒体的传输帧流并且生成携带解码器模块数据单元的传输帧流;
在会议中为每个媒体中继端点分配:
媒体组合器模块,耦合到所述接口并且配置成把携带解码器模块数据单元的多个传输帧流组合到携带目标指向传统端点的组合媒体的传输帧流中;及
媒体中继输出处理器,耦合到所述接口并且配置成获得携带源自第一媒体中继端点或者第一传统端点的压缩媒体的一个或多个传输帧流并且朝着第二媒体中继端点交付一个或多个分组流;
在会议中为传统输入流分配:
传统输入处理器,耦合到所述接口并且配置成从传统端点接收携带压缩媒体的数据块并对其进行处理,包括:
解码器模块;配置成把压缩媒体的数据块处理成携带要传输到所述接口的解码器模块数据单元的传输帧流;
缩放器,把解码后的视频图像缩放到所需分辨率;及
编码器输出模块,耦合到所述接口并且配置成获得携带解码器模块数据单元的传输协议帧流并且生成携带压缩媒体的传输帧流;
在会议中为每个传统端点分配:
媒体组合器模块,耦合到所述接口并且配置成把携带压缩媒体的多个传输帧流组合到携带目标指向媒体中继端点的组合媒体的传输帧流;及
传统输出处理器,耦合到所述接口并且配置成获得携带压缩组合媒体的传输帧流,并且朝传统端点交付分组。
41.如权利要求40所述的方法,还包括:
创建控制表和路由表;
在控制表中为会议中的每个媒体中继端点和每个传统端点分配条目;及
在路由表中为每个媒体中继输入流和每个传统输入流分配条目。
42.如权利要求41所述的方法,还包括:
确定要在会议中的媒体中继端点呈现的当前持续呈现图像;及
更新路由表以允许向该媒体中继端点分配媒体组合器模块,以便获得对应于所呈现媒体中继端点的传输帧和由所分配的与所呈现传统端点对应的编码器输出模块产生的传输帧。
43.如权利要求41所述的方法,还包括:
确定要在会议中的传统端点呈现的当前持续呈现图像;及
更新路由表以允许向该传统端点分配媒体组合器模块,以便从与所呈现媒体中继端点和所呈现传统端点关联的解码器模块获得传输帧。
44.如权利要求40所述的方法,其中为媒体中继输入流分配是在对应于该媒体中继输入流的持续呈现图像被呈现给至少一个传统端点时执行的。
45.如权利要求40所述的方法,其中为传统输入流分配是在对应于该传统输入流的持续呈现图像被呈现给至少一个媒体中继端点时执行的。
CN201310242963.8A 2012-07-30 2013-06-19 进行不同参与设备的视频会议的方法与系统 Expired - Fee Related CN103581610B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261677200P 2012-07-30 2012-07-30
US61/677,200 2012-07-30

Publications (2)

Publication Number Publication Date
CN103581610A CN103581610A (zh) 2014-02-12
CN103581610B true CN103581610B (zh) 2017-11-07

Family

ID=48628259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310242963.8A Expired - Fee Related CN103581610B (zh) 2012-07-30 2013-06-19 进行不同参与设备的视频会议的方法与系统

Country Status (5)

Country Link
US (5) US20140028788A1 (zh)
EP (2) EP3197153B1 (zh)
JP (1) JP2014068339A (zh)
KR (1) KR101555855B1 (zh)
CN (1) CN103581610B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10091461B2 (en) 2013-10-15 2018-10-02 Polycom, Inc. System and method for real-time adaptation of a conferencing system to current conditions of a conference session
US20150288926A1 (en) * 2014-04-03 2015-10-08 CafeX Communications Inc. Framework to support a hybrid of meshed endpoints with non-meshed endpoints
CN103957391A (zh) * 2014-05-23 2014-07-30 无锡矽太恒科电子有限公司 在可视对讲中多方通话时同时显示各方视频的方法及系统
US10283091B2 (en) * 2014-10-13 2019-05-07 Microsoft Technology Licensing, Llc Buffer optimization
KR101628071B1 (ko) 2014-10-21 2016-06-09 (주)해든브릿지 대규모 그룹통신 방법 및 시스템
KR101577986B1 (ko) 2015-03-24 2015-12-16 (주)해든브릿지 양방향 가상 현실 구현 시스템
JP6387972B2 (ja) * 2016-01-25 2018-09-12 ブラザー工業株式会社 通信方法、通信システム、及び、通信プログラム
CN107659415B (zh) * 2016-07-25 2021-05-18 中兴通讯股份有限公司 一种云会议的媒体资源管理方法及装置
CN107181928A (zh) * 2017-07-21 2017-09-19 苏睿 会议系统及数据传输方法
CN109391794A (zh) * 2017-08-10 2019-02-26 中兴通讯股份有限公司 视频会议多点控制方法、装置、存储介质和计算机设备
US10719394B2 (en) * 2017-10-25 2020-07-21 Innogrit Technologies Co., Ltd. Systems and methods for fast access of non-volatile storage devices
US10645035B2 (en) * 2017-11-02 2020-05-05 Google Llc Automated assistants with conference capabilities
KR102324609B1 (ko) * 2017-12-22 2021-11-10 한국전자통신연구원 다지점 영상회의 장치 및 그 제어 방법
US10841357B1 (en) * 2019-09-12 2020-11-17 Dialpad, Inc. Using transport layer protocol packet headers to encode application layer attributes in an audiovisual over internet protocol (AVoIP) platform
CN115335817A (zh) * 2020-03-27 2022-11-11 科乐美数码娱乐株式会社 影像分发系统、影像分发控制方法以及计算机程序
KR102546662B1 (ko) 2022-12-19 2023-06-22 (주)옴니스토리 공중교환전화망 통신 및 웹 실시간 통신 연동형 컨퍼런스 제공 시스템 및 그 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1809153A (zh) * 2005-01-17 2006-07-26 株式会社东芝 视频合成设备及视频合成方法
CN101795389A (zh) * 2009-01-30 2010-08-04 宝利通公司 用于进行连续呈现会议的方法和系统
CN102209228A (zh) * 2010-03-31 2011-10-05 宝利通公司 根据参会人员之间的交互作用调整cp布局的方法和系统

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5570363A (en) 1994-09-30 1996-10-29 Intel Corporation Transform based scalable audio compression algorithms and low cost audio multi-point conferencing systems
US5821986A (en) 1994-11-03 1998-10-13 Picturetel Corporation Method and apparatus for visual communications in a scalable network environment
US5838664A (en) 1997-07-17 1998-11-17 Videoserver, Inc. Video teleconferencing system with digital transcoding
US5600646A (en) 1995-01-27 1997-02-04 Videoserver, Inc. Video teleconferencing system with digital transcoding
US5862329A (en) * 1996-04-18 1999-01-19 International Business Machines Corporation Method system and article of manufacture for multi-casting audio visual material
JP2933132B2 (ja) * 1997-01-09 1999-08-09 日本電気株式会社 多地点テレビ会議制御装置及び画面合成符号化方法
US6141597A (en) 1997-09-08 2000-10-31 Picturetel Corporation Audio processor
EP1070417B1 (en) 1998-04-08 2002-09-18 BRITISH TELECOMMUNICATIONS public limited company Echo cancellation
US6453336B1 (en) 1998-09-14 2002-09-17 Siemens Information And Communication Networks, Inc. Video conferencing with adaptive client-controlled resource utilization
US6182031B1 (en) 1998-09-15 2001-01-30 Intel Corp. Scalable audio coding system
CA2395605C (en) 1999-12-22 2011-04-05 General Instrument Corporation Video compression for multicast environments using spatial scalability and simulcast coding
US6940826B1 (en) 1999-12-30 2005-09-06 Nortel Networks Limited Apparatus and method for packet-based media communications
US6300973B1 (en) 2000-01-13 2001-10-09 Meir Feder Method and system for multimedia communication control
US7830824B2 (en) 2000-03-01 2010-11-09 Polycom, Inc. System and method for providing reservationless third party meeting rooms
US7085243B2 (en) 2000-03-01 2006-08-01 Polycom Israel Ltd. System and method for providing reservationless conferencing
US6683909B1 (en) 2000-03-16 2004-01-27 Ezenial Inc. Macroblock parsing without processing overhead
US7158534B2 (en) * 2000-11-30 2007-01-02 Imajet Communications, Inc. Unified distributed architecture for a multi-point video conference and interactive broadcast systems
US7006456B2 (en) 2001-02-02 2006-02-28 Nortel Networks Limited Method and apparatus for packet-based media communication
WO2002073963A1 (en) 2001-03-12 2002-09-19 Polycom, Inc. A low-delay video encoding method for concealing the effects of packet loss in multi-channel packet switched networks
US7133362B2 (en) 2001-11-14 2006-11-07 Microsoft Corporation Intelligent buffering process for network conference video
US7034860B2 (en) * 2003-06-20 2006-04-25 Tandberg Telecom As Method and apparatus for video conferencing having dynamic picture layout
US8659636B2 (en) * 2003-10-08 2014-02-25 Cisco Technology, Inc. System and method for performing distributed video conferencing
NO318911B1 (no) * 2003-11-14 2005-05-23 Tandberg Telecom As Distribuert sammensetting av sanntids-media
US7084898B1 (en) * 2003-11-18 2006-08-01 Cisco Technology, Inc. System and method for providing video conferencing synchronization
US7139015B2 (en) * 2004-01-20 2006-11-21 Polycom, Inc. Method and apparatus for mixing compressed video
NO320115B1 (no) * 2004-02-13 2005-10-24 Tandberg Telecom As Anordning og fremgangsmate for a generere CP-bilder.
JP4559976B2 (ja) * 2005-01-17 2010-10-13 株式会社東芝 映像合成装置、映像合成方法及び映像合成プログラム
US7920488B2 (en) * 2005-03-15 2011-04-05 Alcatel-Lucent Usa Inc. Method and apparatus for establishing a distributed conference bridge
US7593032B2 (en) 2005-07-20 2009-09-22 Vidyo, Inc. System and method for a conference server architecture for low delay and distributed conferencing applications
CA2633366C (en) * 2005-12-22 2015-04-28 Vidyo, Inc. System and method for videoconferencing using scalable video coding and compositing scalable video conferencing servers
US8319820B2 (en) 2008-06-23 2012-11-27 Radvision, Ltd. Systems, methods, and media for providing cascaded multi-point video conferencing units
US20090323560A1 (en) * 2008-06-27 2009-12-31 Microsoft Corporation Customized Media Routing For Conferencing
US20100149301A1 (en) * 2008-12-15 2010-06-17 Microsoft Corporation Video Conferencing Subscription Using Multiple Bit Rate Streams
US8386266B2 (en) 2010-07-01 2013-02-26 Polycom, Inc. Full-band scalable audio codec
US8379642B2 (en) * 2010-04-26 2013-02-19 International Business Machines Corporation Multicasting using a multitiered distributed virtual bridge hierarchy

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1809153A (zh) * 2005-01-17 2006-07-26 株式会社东芝 视频合成设备及视频合成方法
CN101795389A (zh) * 2009-01-30 2010-08-04 宝利通公司 用于进行连续呈现会议的方法和系统
CN102209228A (zh) * 2010-03-31 2011-10-05 宝利通公司 根据参会人员之间的交互作用调整cp布局的方法和系统

Also Published As

Publication number Publication date
EP3197153A2 (en) 2017-07-26
US11006075B2 (en) 2021-05-11
EP3197153A3 (en) 2017-09-27
US20200007821A1 (en) 2020-01-02
KR20140016154A (ko) 2014-02-07
EP2693747A2 (en) 2014-02-05
US20160286168A1 (en) 2016-09-29
KR101555855B1 (ko) 2015-09-25
US10075677B2 (en) 2018-09-11
EP2693747A3 (en) 2016-08-17
JP2014068339A (ja) 2014-04-17
US20180343419A1 (en) 2018-11-29
US20140028788A1 (en) 2014-01-30
US11503250B2 (en) 2022-11-15
CN103581610A (zh) 2014-02-12
EP3197153B1 (en) 2021-06-23
US10455196B2 (en) 2019-10-22
US20210235041A1 (en) 2021-07-29

Similar Documents

Publication Publication Date Title
CN103581610B (zh) 进行不同参与设备的视频会议的方法与系统
EP2214410B1 (en) Method and system for conducting continuous presence conferences
KR100880150B1 (ko) 멀티 포인트 화상회의 시스템 및 해당 미디어 프로세싱방법
US9215416B2 (en) Method and system for switching between video streams in a continuous presence conference
CN106464842B (zh) 用于混合式拓扑媒体会议系统的方法和系统
CN101198008A (zh) 一种实现多屏多画面的方法和系统
CN102447875A (zh) 一种对视频会议终端集中监控的方法和系统及相关装置
CN100454821C (zh) 一种视频会议系统多mcu之间资源共享的方法
EP2557780A2 (en) Method and system for switching between video streams in a continuous presence conference
CN102957893B (zh) 用于在连续呈现会议中的视频流之间切换的方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171107

Termination date: 20200619