CN102138324A - 用于管理多媒体会议事件的媒体内容的技术 - Google Patents

用于管理多媒体会议事件的媒体内容的技术 Download PDF

Info

Publication number
CN102138324A
CN102138324A CN2009801168613A CN200980116861A CN102138324A CN 102138324 A CN102138324 A CN 102138324A CN 2009801168613 A CN2009801168613 A CN 2009801168613A CN 200980116861 A CN200980116861 A CN 200980116861A CN 102138324 A CN102138324 A CN 102138324A
Authority
CN
China
Prior art keywords
media stream
participant
module
decode
activity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009801168613A
Other languages
English (en)
Other versions
CN102138324B (zh
Inventor
P·塔尔卡
N-E-G·辛格
S·贾殷
A·巴塔查杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102138324A publication Critical patent/CN102138324A/zh
Application granted granted Critical
Publication of CN102138324B publication Critical patent/CN102138324B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

描述了用于管理多媒体会议事件的媒体内容的技术。媒体内容管理器组件可用于生成多媒体会议事件的视觉合成。该媒体内容管理器组件可包括可用于解码多媒体会议事件的多个媒体流的视频解码器模块。该媒体内容管理器组件可包括可用于确定已解码媒体流的总数大于视觉合成中的可用显示帧的总数的媒体流管理器模块。该媒体内容管理器组件可包括可用于基于发言活动从已解码媒体流的总数中选择活跃的一组已解码媒体流来映射到可用显示帧的媒体选择模块。对其他实施例也予以描述并要求保护。

Description

用于管理多媒体会议事件的媒体内容的技术
背景
多媒体会议系统通常允许多个参与者通过网络在协作且实时的会议中进行通信并共享不同类型的媒体内容。该多媒体会议系统可使用各种图形用户界面(GUI)窗口或视图来显示不同类型的媒体内容。例如，一个GUI视图可能包括参与者的视频图像，另一GUI视图可能包括演示幻灯片，又一GUI视图可能包括参与者之间的文本消息，等等。以此方式，各个地理位置完全不同的参与者可以在与其中所有参与者都在一个房间中的物理会议环境类似的虚拟会议环境中交互并传递信息。
然而，在虚拟会议环境中，可能难以显示会议的全部各个参与者。这一问题通常随会议参与者数量的增加而增加，因为一些参与者可能在发言而未被显示，或反之亦然，从而可能在参与者之间导致混淆和尴尬。此外，可能难以在任何给定时刻标识特定发言者，尤其是在多个参与者同时或快速连续发言时。因此，涉及改进虚拟会议环境中的显示技术的技术可增强用户体验和便利性。
概述
各实施例一般可涉及多媒体会议系统。一些实施例尤其可涉及用于为多媒体会议事件生成视觉合成的技术。多媒体会议事件可包括多个参与者，这些参与者中的某一些可聚集在会议室中，而其他参与者可以从远程位置参与多媒体会议事件。
在一个实施例中，例如，诸如会议控制台等装置可包括显示器和媒体内容管理器组件。该媒体内容管理器组件可用于生成多媒体会议事件的视觉合成以呈现在显示器上。该媒体内容管理器组件可包括可用于解码多媒体会议事件的多个媒体流的视频解码器模块以及其他元素。该媒体内容管理器组件可包括通信耦合到视频解码器模块的媒体流管理器模块，该媒体流管理器模块可用于确定已解码媒体流的总数大于视觉合成中的可用显示帧的总数。媒体内容管理器组件可包括通信耦合到媒体流管理器模块的媒体选择模块，该媒体选择模块可用于基于发言活动从已解码媒体流的总数中选择活跃的一组已解码媒体流以映射到可用显示帧。对其他实施例也予以描述并要求保护。
提供本概述是为了以简化的形式介绍将在以下详细描述中进一步描述的一些概念。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限定所要求保护的主题的范围。
附图简述
图1示出了多媒体会议系统的一实施例。
图2示出了媒体内容管理器组件的一实施例。
图3a示出了第一视觉合成的一实施例。
图3b示出了第二视觉合成的一实施例。
图4示出逻辑流程的一实施例。
图5示出计算体系结构的一实施例。
图6示出了制品的一实施例。
详细描述
各实施例包括被安排成执行特定操作、功能或服务的物理或逻辑结构。这些结构可包括物理结构、逻辑结构或两者的组合。物理或逻辑结构是使用硬件元素、软件元素或两者的组合来实现的。然而，参考特定硬件或软件元素的对各实施例的描述旨在作为示例而非限制。使用硬件还是软件元素来实际地实施一实施例的决定取决于多个外部因素，诸如所需计算速率、功率级、热容忍度、处理周期预算、输入数据率、输出数据率、存储器资源、数据总线速度、以及其他设计或性能约束。此外，物理或逻辑结构可具有对应的物理或逻辑连接以便在这些结构之间以电子信号或消息的形式传递信息。连接可包括如适于信息或特定结构的有线和/或无线连接。值得注意的是，任何对“一个实施例”或“一实施例”的引用都意味着结合该实施例所描述的特定的特征、结构、或特性被包括在至少一个实施例中。出现在说明书中各个地方的短语“在一个实施例中”不必全都指的是同一实施例。
各实施例一般涉及被安排成通过网络向多个参与者提供会议和协作服务的多媒体会议系统。一些多媒体会议系统可被设计成用诸如因特网或万维网(“web”)等各种基于分组的网络操作以提供基于web的会议服务。这些实现有时被称为web会议系统。web会议系统的示例可包括由美国华盛顿州雷蒙德市的微软公司制作的
Figure BPA00001254414900031
OFFICE LIVEMEETING。其他多媒体会议系统可被设计成针对专用网络、公司、组织、或企业操作，并且可利用多媒体会议服务器，诸如由美国华盛顿州雷蒙德市的微软公司制作的MICROSOFT OFFICE COMMUNICATIONSSERVER。然而，可以理解，这些实现不限于这些示例。
多媒体会议系统可包括被安排成提供web会议服务的多媒体会议服务器或其他处理设备以及其他网络元件。例如，多媒体会议服务器可包括可用于控制和混合诸如web会议等会议和协作事件的不同类型的媒体内容的服务器会议组件以及其他服务器元件。会议和协作事件可以指在实时或实况在线环境中提供各种类型的多媒体信息的任何多媒体会议事件，并且在此处有时被简称为“会议事件”、“多媒体事件”或“多媒体会议事件”。
在一个实施例中，多媒体会议系统还可包括被实现为会议控制台的一个或多个计算设备。每一个会议控制台都可被安排成通过连接到多媒体会议服务器来参与多媒体事件。来自各个会议控制台的不同类型的媒体信息可由多媒体会议服务器在多媒体事件期间接收，该服务器进而将媒体信息分发给参与该多媒体事件的其他会议控制台中的部分或全部。由此，任何给定会议控制台可具有拥有不同类型媒体内容的多个媒体内容视图的显示器。以此方式，各个地理位置完全不同的参与者可以在与其中所有参与者都在一个房间中的物理会议环境类似的虚拟会议环境中交互并传递信息。
多媒体会议事件中的参与者通常在具有参与者名单的GUI视图中列出。该参与者名单可具有关于每一个参与者的某些标识信息，包括姓名、位置、图像、标题等。参与者名单中的参与者和标识信息通常从用于加入多媒体会议事件的会议控制台导出。例如，参与者通常使用会议控制台来加入多媒体会议事件的虚拟会议室。在加入之前，参与者提供各种类型的标识信息以向多媒体会议服务器执行认证操作。一旦多媒体会议服务器认证了参与者，该参与者就被允许访问虚拟会议室，并且多媒体会议服务器将标识信息添加到参与者名单。
然而，在虚拟会议环境中，可能难以显示会议的全部各个参与者。例如，显示器可能没有足够显示区域来呈现所有会议参与者的GUI视图。这可能是由于会议控制台、多媒体会议服务器或这两者的通信或计算资源的技术约束。这也可由于拥有具有不足以用查看者易于辨别的方式来呈现所有参与者的GUI视图的显示区域的显示器造成。例如，具有较小形状因素的电子设备，如手持式计算机或蜂窝电话，可以具有在物理上或逻辑上不能够呈现所需GUI视图的较小的显示区域。对于具有较大显示器的那些电子设备，如笔记本或台式计算机，会议参与者的数量可能使得GUI视图必然成为各单独的会议参与者难以查看的大小。甚至对于能够使用没有实际显示区域约束的显示器的那些电子设备，如具有全尺寸监视器的台式计算机，会议参与者的数量可导致在对应数量的GUI视图被同时显示时产生混淆且拥挤的视觉合成。这一问题进一步恶化，因为担当会议领导者的会议参与者可能“钉住”某些会议参与者的某些GUI视图。当这一情况发生时，会议控制台全都显示所钉住的GUI视图，而不管该GUI视图所呈现的会议参与者的发言活动。因此，可用GUI视图的数量进一步减少到这些GUI视图中的一些由会议领导者钉住的程度。
为了解决这些和其他问题，各实施例一般涉及用于为多媒体会议事件生成视觉合成的技术。更具体而言，某些实施例涉及用于生成在数字域中提供会议参与者的更自然表示的视觉合成的技术。该视觉合成集成并聚集与多媒体会议事件中的每一个参与者相关的不同类型的多媒体内容，包括视频内容、音频内容、标识信息等。视觉合成以允许高效地显示少于会议参与者的数量的多个GUI视图的方式呈现该集成和聚集的信息。
在各实施例中，媒体内容管理器组件可以在任何给定时刻选择性地显示具有活跃地发言或可能要发言的会议参与者的GUI视图。在当前没有显示的会议参与者参与发言活动时，媒体内容管理器组件可以用具有该新会议参与者的给定GUI视图来选择性地替换当前显示的某一现有会议参与者。这可以例如通过利用根据一组媒体内容选择规则被调节来以智能的方式替换某一现有会议参与者的选择算法来实现。以此方式，媒体内容管理器组件可能提供超过常规显示技术的若干优点，如减少媒体内容重复的数量、限制给定GUI视图所显示的媒体内容之间的转移、以及向观看者提供在任何给定时刻选择被显示的特定一组媒体内容的灵活性。结果，虚拟会议环境中的经改进的显示技术可增强用户体验和便利性。
图1示出了多媒体会议系统100的框图。多媒体会议系统100可以表示适用于实现各实施例的通用系统体系结构。多媒体会议系统100可以包括多个元素。元素可以包括被安排成执行特定操作的任何物理或逻辑结构。视给定的一组设计参数或性能约束的需要，每一元素可被实现为硬件、软件、或其任意组合。硬件元素的示例可以包括设备、组件、处理器、微处理器、电路、电路元件(例如，晶体管、电阻器、电容器、电感器等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、存储器单元、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片组等。软件的示例可以包括任何软件组件、程序、应用软件、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、函数、方法、接口、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、文字、值、符号、或其任意组合。虽然图1中示出的多媒体会议系统100具有呈特定拓扑结构的有限数量的元素，但可以理解多媒体会议系统100视给定实现所需可以包括呈另选拓扑结构的更多或更少元素。各实施例不限于该上下文。
在各实施例中，多媒体会议系统100可包括有线通信系统、无线通信系统或两者的组合，或者构成其一部分。例如，多媒体会议系统100可包括被安排成通过一种或多种类型的有线通信链路来传递信息的一个或多个元件。有线通信链路的示例可包括但不限于导线、电缆、总线、印刷电路板(PCB)、以太网连接、对等(P2P)连接、背板、交换光纤、半导体材料、双绞线、同轴电缆、光纤连接等。多媒体会议系统100还可包括被安排成通过一种或多种类型的无线通信链路来传递信息的一个或多个元件。无线通信链路的示例可包括但不限于无线电频道、红外频道、射频(RF)频道、无线保真(WiFi)频道、RF频谱的一部分、和/或一个或多个得到许可或免许可的频带。
在各实施例中，多媒体会议系统100可被安排成传递、管理或处理不同类型的信息，诸如媒体信息和控制信息。媒体信息的示例一般可包括表示对用户有意义的内容的任何数据，如语音信息、视频信息、音频信息、图像信息、文本信息、数字信息、应用程序信息、字母数字符号、图形等。媒体信息有时也可被称为“媒体内容”。控制信息可以指的是表示对自动化系统有意义的命令、指令或控制字的任何数据。例如，控制信息可被用来将媒体信息路由通过一系统、在设备之间建立连接、指示设备以预定方式处理该媒体信息等。
在各实施例中，多媒体会议系统100可包括多媒体会议服务器130。该多媒体会议服务器130可包括被安排成通过网络120建立、管理或控制会议控制台110-1-m之间的多媒体会议呼叫的任何逻辑或物理实体。网络120可包括例如分组交换网络、电路交换网络或两者的组合。在各实施例中，多媒体会议服务器130可包括或被实现为任何处理或计算设备，诸如计算机、服务器、服务器阵列或服务器场、工作站、小型计算机、大型计算机、超级计算机等。多媒体会议服务器130可包括或实现适用于传递和处理多媒体信息的通用或专用计算体系结构。例如，在一个实施例中，多媒体会议服务器130可使用如参考图5描述的计算体系结构来实现。多媒体会议服务器130的示例可包括但不限于MICROSOFT OFFICECOMMUNICATIONS SERVER、MICROSOFT OFFICE LIVE MEETING服务器，等等。
多媒体会议服务器130的特定实现可取决于要用于多媒体会议服务器130的一组通信协议或标准而变化。在一个示例中，多媒体会议服务器130可根据因特网工程任务组(IETF)、多方多媒体会话控制(MMUSIC)工作组、会话发起协议(SIP)系列的标准和/或变体来实现。SIP是用于发起、修改、并终止交互式用户会话的建议标准，交互式用户会话涉及诸如视频、语音、即时消息通信、在线游戏和虚拟现实等多媒体元素。在另一示例中，多媒体会议服务器130可根据国际电信联盟(ITU)H.323系列的标准和/或变体来实现。该H.323标准定义用于协调会议呼叫操作的多点控制单元(MCU)。具体而言，MCU包括处理H.245信令的多点控制器(MC)以及用于混合并处理数据流的一个或多个多点处理器(MP)。SIP和H.323标准两者本质上都是用于网际协议语音(VoIP)或分组语音(VOP)多媒体会议呼叫操作的信令协议。然而，可以理解，可实现用于多媒体会议服务器130的其他信令协议并且仍然落在各实施例的范围内。
在通用操作中，多媒体会议系统100可用于多媒体会议呼叫。多媒体会议呼叫通常涉及在多个端点之间传递语音、视频和/或数据信息。例如，公共或专用分组网络120可用于音频会议呼叫、视频会议呼叫、音频/视频会议呼叫、协作文档共享和编辑等。分组网络120还可经由被安排成在电路交换信息和分组信息之间进行转换的一个或多个合适的VoIP网关来连接到公共交换电话网络(PSTN)。
为了通过分组网络120建立多媒体会议呼叫，每一个会议控制台110-1-m可使用诸如例如低带宽PSTN电话连接、中带宽DSL调制解调器连接或电缆调制解调器连接、以及局域网(LAN)上的高带宽内联网连接等以不同的连接速度或带宽操作的各种类型的有线或无线通信链路来经由分组网络120连接到多媒体会议服务器130。
在各实施例中，多媒体会议服务器130可建立、管理和控制会议控制台110-1-m之间的多媒体会议呼叫。在某些实施例中，多媒体会议呼叫可包括使用提供全协作能力的web会议应用程序的实况的基于web的会议呼叫。多媒体会议服务器130用作控制和分发会议中的媒体信息的中央服务器。它从各个会议控制台110-1-m接收媒体信息，执行对多种类型的媒体信息的混合操作，并将媒体信息转发给其他参与者中的部分或全部。会议控制台110-1-m中的一个或多个可通过连接到多媒体会议服务器130来加入会议。多媒体会议服务器130可实现用于以安全且受控的方式认证并添加会议控制台110-1-m的各种准入控制技术。
在各实施例中，多媒体会议系统100可包括被实现为会议控制台110-1-m的一个或多个计算设备，这些会议控制台经由网络120通过一个或多个通信连接连接到多媒体会议服务器130。例如，计算设备可实现可同时主存各自表示单独会议的多个会议控制台的客户机应用程序。类似地，该客户机应用程序可接收多个音频、视频和数据流。例如，来自参与者中的全部或子集的视频流可作为马赛克显示在参与者的显示器上，且顶部窗口具有当前活跃发言者的视频而其他参与者的全景视图在其他窗口中。
会议控制台110-1-m可包括被安排成参与或参加由多媒体会议服务器130管理的多媒体会议呼叫的任何逻辑或物理实体。会议控制台110-1-m可被实现为任何设备，该设备在其最基本的形式中包括包含处理器和存储器的处理系统、一个或多个多媒体输入/输出(I/O)组件以及无线和/或有线网络连接。多媒体I/O组件的示例可包括音频I/O组件(例如，话筒、扬声器)、视频I/O组件(例如，摄像机、显示器)、触觉(I/O)组件(例如，振动器)、用户数据(I/O)组件(例如，键盘、拇指板、键区、触摸屏)等等。会议控制台110-1-m的示例可包括电话、VoIP或VOP电话、被设计成在PSTN上操作的分组电话、因特网电话、视频电话、蜂窝电话、个人数字助理(PDA)、组合蜂窝电话和PDA、移动计算设备、智能电话、单向寻呼机、双向寻呼机、消息收发设备、计算机、个人计算机(PC)、台式计算机、膝上型计算机、笔记本计算机、手持式计算机、网络设备等。在某些实现中，会议控制台110-1-m可使用与参考图5描述的计算体系结构类似的通用或专用计算体系结构来实现。
会议控制台110-1-m可包括或实现各自的客户机会议组件112-1-n。客户机会议组件112-1-n可被设计成与多媒体会议服务器130中的服务器会议组件132互操作以建立、管理或控制多媒体会议事件。例如，客户机会议组件112-1-n可包括或实现适当的应用程序和用户界面控件以允许相应的会议控制台110-1-m参与由多媒体会议服务器130推动的web会议。这可包括用于捕捉由会议控制台110-1-m的操作者提供的媒体信息的输入装置(例如，摄像机、话筒、键盘、鼠标、控制器等)，以及用于再现由其他会议控制台110-1-m的操作者提供的媒体信息的输出装置(例如，显示器、扬声器等)。客户机会议组件112-1-n的示例可包括但不限于MICROSOFT OFFICE COMMUNICATOR或MICROSOFT OFFICE LIVEMEETING基于Windows的会议控制台等。
如图1所示的实施例所示，多媒体会议系统100可包括会议室150。企业或公司通常利用会议室来举行会议。这些会议包括多媒体会议事件，该多媒体会议事件具有位于会议室150内部的参与者以及位于会议室150外部的远程参与者。会议室150可具有可用于支持多媒体会议事件并在一个或多个远程会议控制台110-2-m和本地会议控制台110-1之间提供多媒体信息的各种计算和通信资源。例如，会议室150可包括位于会议室150内部的本地会议控制台110-1。
本地会议控制台110-1可以连接到能够捕捉、传递或再现多媒体信息的各种多媒体输入设备和/或多媒体输出设备。多媒体输入设备可包括被安排成从会议室150中的操作者捕捉或接收多媒体信息作为输入的任何逻辑或物理设备，包括音频输入设备、视频输入设备、图像输入设备、文本输入设备、以及其他多媒体输入装置。多媒体输入设备的示例可包括但不限于摄像机、话筒、话筒阵列、会议电话、白板、交互式白板、语音-文本组件、文本-语音组件、语音识别系统、定点设备、键盘、触摸屏、平板计算机、手写识别设备等。摄像机的示例可包括全景相机(ringcam)，诸如由美国华盛顿州雷蒙德市的微软公司制作的MICROSOFTROUNDTABLE。MICROSOFT ROUNDTABLE是具有向远程会议参与者提供坐在会议桌周围的每一个人的全景视频的360度相机的视频会议设备。多媒体输出设备可包括被安排成再现或显示来自远程会议控制台110-2-m的操作者的多媒体信息作为输出的任何逻辑或物理设备，包括音频输出设备、视频输出设备、图像输出设备、文本输出设备、以及其他多媒体输出装置。多媒体输出设备的示例可包括但不限于电子显示器、视频投影仪、扬声器、振动单元、打印机、传真机等。
会议室150中的本地会议控制台110-1可包括被安排成从包括参与者154-1-p的会议室150捕捉媒体内容并将该媒体内容流传送到多媒体会议服务器130的各种多媒体输入设备。在图1所示的实施例中，本地会议控制台110-1包括摄像机106和话筒阵列104-1-r。摄像机106可捕捉包括出现在会议室150中的参与者154-1-p的视频内容的视频内容，并经由本地会议控制台110-1将这些视频内容流传送到多媒体会议服务器130。类似地，话筒阵列104-1-r可捕捉包括来自出现在会议室150中的参与者154-1-p的音频内容的音频内容，并经由本地会议控制台110-1将这些音频内容流传送到多媒体会议服务器130。本地会议控制台还可包括诸如显示器116或视频投影仪等各种媒体输出设备，用于示出具有经由多媒体会议服务器130接收到的来自使用会议控制台110-1-m的所有参与者的视频内容或音频内容的一个或多个GUI视图。
会议控制台110-1-m和多媒体会议服务器130可利用为给定多媒体会议事件建立的各种媒体连接来传递媒体信息和控制信息。媒体连接可使用诸如SIP系列协议等各种VoIP信令协议来建立。SIP系列协议是用于创建、修改和终止与一个或多个参与者的会话的应用层控制(信令)协议。这些会话包括因特网多媒体会议、因特网电话呼叫以及多媒体分发。会话中的成员可经由多播或经由单播关系的网格或其组合来进行通信。SIP被设计为总IETF多媒体数据和控制体系结构的一部分，该体系结构当前结合诸如用于预约网络资源的资源预约协议(RSVP)(IEEE RFC 2205)、用于传输实时数据并提供服务质量(QOS)反馈的实时传输协议(RTP)(IEEE RFC 1889)、用于控制流传输媒体的传递的实时流传输协议(RTSP)(IEEE RFC 2326)、用于经由多播广告多媒体会话的会话通告协议(SAP)、用于描述多媒体会话的会话描述协议(SDP)(IEEE RFC 2327)等协议。例如，会议控制台110-1-m可将SIP用作信令信道以设置媒体连接，并将RTP用作媒体信道以通过媒体连接传输媒体信息。
在通用操作中，可使用调度设备108来为多媒体会议系统100生成多媒体会议事件预约。该调度设备108可包括例如具有用于调度多媒体会议事件的适当硬件和软件的计算设备。例如，调度设备108可包括利用由美国华盛顿州雷蒙德市的微软公司制作的MICROSOFT OFFICE
Figure BPA00001254414900101
应用程序软件的计算机。MICROSOFT OFFICE OUTLOOK应用软件包括可用于调度多媒体会议事件的消息收发和协作客户机软件。操作者可使用MICROSOFT OFFICE OUTLOOK来将调度请求转换成要发送到会议受邀者列表的对MICROSOFT OFFICE LIVE MEETING事件。该调度请求可包括到多媒体会议事件的虚拟房间的超链接。受邀者可点击该超链接，并且会议控制台110-1-m启动web浏览器，连接到多媒体会议服务器130，并加入虚拟房间。一旦到了那里，参与者就可呈现幻灯片演示，在内置白板以及其他工具上注释文档或进行集体讨论(brainstorm)。
操作者可使用调度设备108来为多媒体会议事件生成多媒体会议事件预约。该多媒体会议事件预约可包括多媒体会议事件的会议受邀者的列表。该会议受邀者列表可包括受邀参与多媒体会议事件的各个人的列表。在某些情况下，该会议受邀者列表只可包括对多媒体事件受邀并接受邀请的那些人。诸如Microsoft Outlook的邮件客户端等客户机应用程序将预约请求转发给多媒体会议服务器130。多媒体会议服务器130可接收多媒体会议事件预约，并且从诸如企业资源目录160等网络设备中检索会议受邀者的列表和会议受邀者的相关联信息。
企业资源目录160可包括发布操作者和/或网络资源的公共目录的网络设备。由企业资源目录160发布的网络资源的常见示例包括网络打印机。例如，在一个实施例中，企业资源目录160可被实现为MICROSOFT现用目录
Figure BPA00001254414900111
现用目录是用于为网络计算机提供中央认证和授权服务的轻量目录访问协议(LDAP)目录服务的一种实现。现用目录还允许管理员向组织分配策略、部署软件并应用关键更新。现用目录将信息和设置存储在中央数据库中。现用目录网络可以在从具有几百个对象的小型安装到具有几百万个对象的大型安装的范围内变化。
在各实施例中，企业资源目录160可包括关于多媒体会议事件的各个会议受邀者的标识信息。该标识信息可包括能够唯一地标识每一个会议受邀者的任何类型的信息。例如，标识信息可包括但不限于姓名、位置、联系人信息、账号、职业信息、组织信息(例如，头衔)、个人信息、连接信息、到场信息、网络地址、媒体访问控制(MAC)地址、网际协议(IP)地址、电话号码、电子邮件地址、协议地址(例如，SIP地址)、设备标识符、硬件配置、软件配置、有线接口、无线接口、所支持的协议、以及其他所需信息。
多媒体会议服务器130可接收包括会议受邀者列表在内的多媒体会议事件预约，并从企业资源目录160中检索对应的标识信息。多媒体会议服务器130可使用该会议受邀者列表和对应的标识信息来帮助标识多媒体会议事件的参与者。例如，多媒体会议服务器130可将会议受邀者列表和所附标识信息转发给会议控制台110-1-m以供在多媒体会议事件的视觉合成108中标识参与者时使用。
再次参考会议控制台110-1-m，会议控制台110-1-m中的每一个都可包括或实现各自的媒体内容管理器组件114-1-t。媒体内容管理器组件114-1-t一般可用于为多媒体会议事件生成、管理视觉合成108并在显示器116上显示该视觉合成108。尽管作为示例而非限制，视觉合成108和显示器116被示为会议控制台110-1的一部分，但可以理解，会议控制台110-1-m中的每一个都可包括与显示器116类似、并且能够为会议控制台110-1-m的每一个操作者呈现视觉合成108的电子显示器。
例如，在一个实施例中，本地会议控制台110-1可包括显示器116以及可用于为多媒体会议事件生成视觉合成108的媒体内容管理器组件114-1。该媒体内容管理器组件114-1可包括被安排成生成在数字域中提供会议参与者(例如，154-1-p)的更自然表示的视觉合成108的各种硬件元件和/或软件元件。该视觉合成108集成并聚集与多媒体会议事件中的每一个参与者相关的不同类型的多媒体内容，包括视频内容、音频内容、标识信息等。
媒体内容管理器组件114-1-t可以选择性地显示视觉合成108的各GUI视图。视觉合成108可包括多个GUI视图，每一GUI视图具有一个或多个会议参与者。在当前没有显示在视觉合成108的GUI视图中的会议参与者参与发言活动时，媒体内容管理器组件114-1-t可以用具有该新会议参与者的给定GUI视图来选择性地替换当前显示的某一现有会议参与者。这可以例如利用根据一组媒体内容选择规则被调节来以智能的方式替换某一现有会议参与者的选择算法来实现。一般而言，会议控制台110-1-m，并且具体而言是媒体内容管理器组件114-1-t，可以参考图2来进行更详细的描述。
图2示出来自媒体内容管理器组件114-1-t的示例性媒体内容管理器组件114的框图。媒体内容管理器组件114可包括多个模块。这些模块可使用硬件元件、软件元件或硬件元件和软件元件的组合来实现。虽然如图2所示的媒体内容管理器组件114具有呈特定拓扑结构的有限数量的元素，但可以理解，媒体内容管理器组件114视给定实现所需可包括呈替换拓扑结构的更多或更少的元素。各实施例不限于该上下文。
在图2所示的实施例中，媒体内容管理器组件114包括视频解码器模块210。视频解码器模块210一般可解码经由多媒体会议服务器130从各个会议控制台110-1-m接收到的媒体流。例如，在一个实施例中，视频解码器模块210可被安排成从参与多媒体会议事件的各个会议控制台110-1-m接收输入媒体流202-1-f。视频解码器模块210可将输入媒体流202-1-f解码成适于由显示器116显示的数字或模拟视频内容。此外，视频解码器模块210可将输入媒体流202-1-f解码成适于显示器116的各种空间分辨率和时间分辨率以及由视觉合成108使用的显示帧。
媒体内容管理器组件114-1可包括通信地耦合到视频解码器模块210的活跃发言者检测器(ASD)模块220。ASD模块220一般可检测已解码媒体流202-1-f中是否有任何参与者是活跃发言者或以其他方式参与可发觉的发言活动。针对ASD模块220可实现各种活跃发言者检测技术。例如，在一个实施例中，ASD模块220可检测并测量已解码媒体流中的语音能量，根据从最高语音能量到最低语音能量来对测量进行排序，并将具有最高语音能量的已解码媒体流选为表示当前活跃发言者。然而，可使用其他ASD技术并且各实施例在该上下文中不受限制。
然而，在某些情况下，输入媒体流202-1-f可能包含不止一个参与者，诸如来自位于会议室150中的本地会议控制台110-1的输入媒体流202-1。在这种情况下，ASD模块220可被安排成使用音频(声源局部化)和视频(运动和空间图案)特征来从位于会议室150中的参与者154-1-p中检测出主要或活跃发言者。ASD模块220可以在若干个人同时说话时确定会议室150中的主要发言者。该模块还补偿背景噪声和反射声音的硬表面。例如，ASD模块220可从六个单独的话筒104-1-r接收输入以便在不同的声音之间进行区分并通过被称为波束形成(beamforming)的过程来隔离主要声音。话筒104-1-r中的每一个都被内置到会议控制台110-1的不同部分中。不管声音的速度如何，话筒104-1-r可以在相对于彼此不同的时间间隔从参与者154-1-p处接收语音信息。ASD模块220可使用时间差来标识语音信息的源。一旦标识了语音信息的源，本地会议控制台110-1的控制器就可使用来自摄像机106-1-p的视觉提示来精确定位、放大和强调主要发言者的面部。以此方式，本地会议控制台110-1的ASD模块220从会议室150中隔离出单个参与者154-1-p作为发送侧的活跃发言者。
媒体内容管理器组件114-1可包括通信地耦合到ASD模块220的媒体流管理器(MSM)模块230。MSM模块230一般可将已解码媒体流映射到各个显示帧。在一个实施例中，例如，MSM模块230可被安排成确定已解码输入媒体流202-1-f的总数。这一信息可以例如从视频解码器模块210接收。MSM模块230还可以确定视觉合成108中的可用显示帧的总数。可用显示帧的总数可以基于技术约束(例如，计算资源或通信资源)、查看约束(例如，显示区域或所需GUI视图大小)或其他设计约束来计算。MSM模块230可以比较这些总数以确定已解码媒体流的总数是否大于视觉合成108中的可用显示帧的总数，从而使得媒体内容选择算法的实现必须选择将要使用可用显示帧来显示已解码媒体流中的哪一些。媒体内容选择算法可以由媒体选择模块260来实现。
作为示例，假定L表示由视频解码器模块210解码的已解码媒体流的数量，并且A表示视觉合成108的可用显示帧的数量。此外，假定A＝x+y，其中x表示用于呈现所钉住的已解码媒体流的显示帧的数量，并且y表示用于呈现活跃的一组已解码媒体流中的已解码媒体流的显示帧的数量。
在已解码媒体流的总数不大于视觉合成108的显示帧的总数时(例如，L＜＝A)，MSM模块230可以将已解码媒体流映射到可用显示帧。在这种情况下，视频合成108可具有用于显示给定多媒体会议事件的已解码媒体流中的所有参与者154-1-p的足够数量的可用显示帧。
然而，在已解码媒体流的总数大于视觉合成108的显示帧的总数时(例如，L＞A)，MSM模块230可能需要将已解码媒体流的总数的一个子集映射到可用显示帧。在这种情况下，视频合成108可能不一定具有用于显示给定多媒体会议事件的已解码媒体流中的所有参与者154-1-p的足够数量的可用显示帧。可用显示帧要呈现的已解码媒体流的特定子集可由媒体选择模块260来选择。
媒体选择模块260可被安排成基于发言活动从已解码媒体流的总数中选择活跃的一组已解码媒体流来映射到可用显示帧。活跃的一组已解码媒体流可以指的是当前映射到可用显示帧的那些已解码媒体流。作为对比，当前未映射到可用显示帧的那些已解码媒体流被称为非活跃的一组已解码媒体流。非活跃组的成员通常不可经由来自已解码媒体流的视频内容查看，但可以经由来自该已解码媒体流的音频内容听到。
在初始化期间或在媒体会议事件开始时，媒体选择模块260可以一开始用任何数量的不同方式来选择活跃的一组已解码媒体流。例如，媒体选择模块260可以用随机或任意的方式来选择该活跃组。在另一示例中，媒体选择模块260可以根据一组选择规则来选择活跃组，如以参与者154-1-p加入多媒体会议事件的时间的次序。在一些情况下，媒体选择模块260可以基于被设计来预测更可能参与而非不参与发言活动的那些参与者154-1-p的某组试探法来选择活跃组。例如，特定参与者154-1-p可被指定为多媒体会议事件的演示者，而其他参与者154-1-p可被指定为多媒体会议事件的出席者。因为演示者通常在多媒体会议事件期间比出席者发言更多，所以被指定为演示者的这些参与者154-1-p一开始可被选为活跃组。在任何情况下，媒体选择模块260可以一开始选择活跃组，并将该活跃组选择发送到MSM模块230以供映射到可用显示帧。
在多媒体会议事件期间的某一点，MSM模块230可能必须周期性地重新配置活跃组以显示与媒体选择模块260一开始选择的那些参与者不同的参与者154-1-p。例如，在一个实施例中，媒体选择模块260可以基于发言活动来选择已解码媒体流的非活跃组的某一成员作为非活跃替换候选，以替换已解码媒体流的活跃组的某一成员。在多媒体会议事件期间，已解码媒体流的非活跃组中的参与者154-1-p可能参与发言活动，如出席者向演示者提问。ASD模块220监视已解码媒体流来检测发言活动何时发生。在ASD模块220检测非活跃组的成员参与发言活动时，ASD模块220可以向MAM模块230发送通知。
MSM模块230可能基于ASD模块220检测到的发言活动来重新配置活跃组。在MSM模块230具有当前未映射到活跃组的已解码媒体流的可用显示帧时，MSM模块230将非活跃组的该成员映射到该可用显示帧。然而，在没有可用显示帧时，MSM模块230可以向媒体选择模块260发送控制指令以选择活跃组的成员以供非活跃组的发言成员来替换。
媒体选择模块260可被安排成基于活动分数来选择已解码媒体流的活跃组的某一成员作为要由已解码媒体流的非活跃组的某一成员替换的活跃替换候选。该活跃替换候选可以是降低通过参与在时间上接近被放到非活跃组的后续发言活动而被交换回活跃组的概率的参与者154-1-p。换言之，活跃替换候选理想地应当是在被放到非活跃组中后短期内最不可能再次发言(从而迫使到活跃组的另一短期交换)的活跃组成员。
在一些情况下，活跃替换候选可以使用活动分数来选择。媒体内容管理器组件114可包括通信耦合到ASD模块220和媒体选择模块260的活动分数生成(ASG)模块250。ASG模块250可以接收来自ASD模块220的发言活动信息。ASG模块250可以使用发言活动信息以及其他输入来生成参与者154-1-p的活动分数。活动分数可以表示参与者154-1-p中的每一个的不同的发言活动水平。活动分数随后可被输出到媒体选择模块260以供在选择活跃组时使用。
在一个实施例中，例如，ASG模块250可以生成表示已解码媒体流的参与者154-1-p的发言活动的特性的活动分数。ASG模块250可以实现基于预测活跃组的某一成员何时将再次发言的发言活动的不同特性来生成活动分数的各种打分算法。可为这些不同的特性定义变化的度量，并且这些度量可被用来生成可被用作将来发言活动的预测器的统计或分析。媒体选择模块260可以使用活动分数来从活跃组选择在短期内具有较低发言概率从而降低在活跃组和非活跃组之间的成员转移的活跃替换候选。一般而言，较高活动分数指示较高发言活动水平，而较低活动分数指示较低发言活动水平，但各实施例不限于该示例。活动分数可被针对相关性来进行排名和/或评级，从而便于选择操作。
例如，在一个实施例中，ASG模块250可以生成表示参与者154-1-p的发言活动的最近时间的活动分数。ASD模块220可以监视已解码媒体流并记录给定已解码媒体流的发言活动何时发生。可为已解码媒体流的每一参与者154-1-p存储时间戳。该时间戳可以具有表示参与者154-1-p参与发言活动(如提问或演示信息)的最近时间的日期和/或时间。ASG模块250可以分析所有参与者154-1-p的时间戳，并为在时间上较近从而示出最近发言活动的时间戳生成较高活动分数，并且为较老从而示出较老发言活动的时间戳生成较低活动分数。较高活动分数可以预测最近发言的参与者154-1-p更可能参与该多媒体会议事件的主题并且因此具有在近期再次发言的更大可能性。较低活动分数可以预测在该多媒体会议事件中较早发言的参与者154-1-p较不可能参与该多媒体会议事件的当前主题并且因此具有在近期再次发言的较低可能性从而成为供在活跃组中进行替换的良好候选。
在一个实施例中，例如，ASG模块250可以生成表示发言活动与非发言活动的比值的活动分数。ASD模块220可以监视已解码媒体流并记录给定已解码媒体流的发言活动何时发生。可为已解码媒体流的每一参与者154-1-p存储多个时间戳。这些时间戳可以具有表示参与者154-1-p每次参与发言活动的日期和/或时间以及该发言活动发生的时间量。ASG模块250可以分析所有参与者154-1-p的这些时间戳以确定发言活动与非发言活动的比值。ASG模块250可为指示发言活动相对于非发言活动量较大的比值生成较高活动分数，并为指示发言活动相对于非发言活动量较少的比值生成较低活动分数。较高活动分数可以预测较频繁和/或较长时间发言的参与者154-1-p具有在近期再次发言的较高可能性。较低活动分数可以预测较不频繁和/或较短时间发言的参与者154-1-p具有在近期再次发言的较低可能性从而成为供在活跃组中进行替换的良好候选。
在一个实施例中，例如，ASG模块250可以生成表示参与者的发言活动的计数值的活动分数。并非与先前示例那样使用比值来表示发言持续时间和/或频率，ASG模块250可为每一参与者154-1-p实现计数器并且对参与者154-1-p每次参与发言活动进行计数。与比值类似，较高活动分数可被分配给较高计数，并且较低活动分数可被分配给较低计数。较高活动分数可以预测较频繁发言的参与者154-1-p具有在近期再次发言的较高可能性。较低活动分数可以预测较不频繁发言的参与者154-1-p具有在近期再次发言的较低可能性从而成为供在活跃组中进行替换的良好候选。
在一个实施例中，例如，ASG模块250可以生成表示参与者的发言活动的长度值的活动分数。ASD模块220可以监视已解码媒体流并记录给定已解码媒体流的发言活动何时发生。可为已解码媒体流的每一参与者154-1-p存储多个时间戳。这些时间戳可以具有表示参与者154-1-p每次参与发言活动的日期和/或时间以及该发言活动发生的时间量。ASG模块250可以分析所有参与者154-1-p的这些时间戳以确定每一参与者154-1-p的发言活动的平均长度。ASG模块250可为指示发言活动的较长持续时间的平均长度值生成较高活动分数，并且为指示发言活动的较短持续时间的平均长度值生成较低活动分数。较高活动分数可以预测较长时间发言的参与者154-1-p具有在近期再次发言的较高可能性。较低活动分数可以预测较短发言的参与者154-1-p具有在近期再次发言的较低可能性从而成为供在活跃组中进行替换的良好候选。
一旦ASG模块250生成参与者154-1-p的活动分数，ASG模块250就可以将该活动分数输出到媒体选择模块260。媒体选择模块260可以使用该活动分数来选择活跃替换候选，并且将该活跃替换候选输出到MSM 230。MSM模块230随后可以用来自非活跃组的非活跃替换候选来替换来自活跃组的活跃替换候选。例如，MSM模块230可以解除来自可用显示帧的活跃替换候选的分配，并将该非活跃替换候选映射到该新释放的可用显示帧。以此方式，可以使用可用显示帧来显示较活跃的发言者，同时降低可用显示帧所显示的媒体内容之间的转移。
媒体内容管理器组件114-1可包括通信地耦合到MSM模块230的视觉合成生成器(VCG)模块240。VCG模块240一般可呈现或生成视觉合成108。例如，在一个实施例中，VCG模块240可被安排成生成以静态或动态方式定位可用显示帧的参与者名单的视觉合成。VCG模块240可经由给定会议控制台110-1-m的操作系统的视频图形控制器和/或GUI模块向显示器116输出视觉合成信号206-1-g。
图3a、3b示出视觉合成108的更详细图示。视觉合成108可包括被排列成特定马赛克或显示图案以供呈现给诸如会议控制台110-1-m的操作员等查看者的各个显示帧330-1-a。每一个显示帧330-1-a都被设计成呈现或显示来自媒体流202-1-f的多媒体内容，诸如来自由MSM模块230映射到显示帧330-1-a的对应媒体流202-1-f的视频内容和/或音频内容。
在图3a、3b所示的实施例中，例如，视觉合成108可包括包含用于显示诸如来自演示应用软件的演示幻灯片304等应用程序数据的主查看区域的显示帧330-6。此外，视觉合成108可包括包含显示帧330-1到330-5的参与者名单306。参与者名单306可以表示活跃组340。活跃组340可包括当前被映射到显示帧330-1-s的参与者302-1到302-5。非活跃组350可包括当前未被映射到显示帧330-1-s的参与者302-6到302-8。可以理解，视觉合成108可包括具有如给定实现所需要的不同大小和替换排列的更多或更少的显示帧330-1-s。
参与者名单306可包括多个显示帧330-1到330-5。显示帧330-1到330-5可提供由会议控制台110-1-m传递的来自各个媒体流202-1-f的参与者302-1-b的视频内容和/或音频内容。参与者名单306中的各个显示帧330-1可以按从视觉合成108的顶部到视觉合成108的底部的给定次序来定位，诸如显示帧330-1在接近顶部的第一位置，显示帧330-2在第二位置，显示帧330-3在第三位置，显示帧330-4在第四位置，而显示帧330-5在接近底部的第五位置。由显示帧330-1到330-5显示的参与者302-1-b的视频内容可以按各种格式呈现，诸如“头和肩膀”剪切块(例如，具有或不具有任何背景)、可覆盖其他对象的透明对象、透视和全景视图中的矩形区域等等。
参与者名单306中的显示帧330-1-b的次序不一定是静态的。例如，在某些实施例中，该次序可出于多个原因而变化。例如，操作者可以基于个人偏好来手动配置该次序中的部分或全部。在另一示例中，媒体内容管理器组件114-1-t可基于以下各项来自动修改该次序：参与者加入或离开给定多媒体会议事件、修改显示帧330-1-a的显示大小、改变为显示帧330-1-a呈现的视频内容的空间或时间分辨率、显示帧330-1-a的视频内容中所示出的参与者302-1-b的数量、不同的多媒体会议事件等等。
在一些情况下，操作者或观看者可以选择显示帧330-1-a来显示特定参与者302-1-s，或反之亦然。响应于接收到操作者命令，VCG模块240可临时或永久地将所选显示帧330-1-a分配给所需参与者302-1-s。例如，操作者或查看者可能想要将参与者名单306的显示帧330-3分配给第三参与者302-3。诸如大头针图标308等视觉指示符可指示显示帧330-3被分配给第三参与者302-3并且将保持映射到该第三参与者302-3直到被释放。
MSM模块230可将已解码媒体流映射到各个显示帧。继续前面的示例，在已解码媒体流的总数不大于视觉合成108的显示帧的总数时(例如，L＜＝A)，MSM模块230可以将已解码媒体流映射到可用显示帧。在这种情况下，视频合成108可具有用于显示给定多媒体会议事件的已解码媒体流中的所有参与者154-1-p的足够数量的可用显示帧。例如，在存在五个可用显示帧330-1到330-5以及具有参与者302-1到302-5(a-c)的五个已解码媒体流时，视觉合成108可以在视觉合成108中显示所有五个已解码媒体流。
然而，在已解码媒体流的总数大于视觉合成108的显示帧的总数时(例如，L＞A)，MSM模块230可能需要将已解码媒体流的总数的一个子集映射到可用显示帧。如上所述，在初始化期间或在媒体会议事件开始时，媒体选择模块260可以用任何数量的不同方式来选择活跃的一组已解码媒体流。在图3a中示出的实施例中，例如，参与者302-1到302-5被映射到对应显示帧330-1到330-5以形成活跃组340，而参与者302-6到302-8未被映射到对应显示帧330-1并且因此构成非活跃组350的成员。
媒体选择模块260可以基于发言活动来选择已解码媒体流的非活跃组350的某一成员作为非活跃替换候选，以替换已解码媒体流的活跃组340的某一成员。在多媒体会议事件的过程期间，假定参与者302-7参与发言活动。ASD模块220监视已解码媒体流来检测发言活动何时发生。在ASD模块220检测到参与者302-7的发言活动时，ASD模块220可以向MSM模块230发送通知。然而，因为没有可用显示帧330-1-s，所以MSM模块230可以向媒体选择模块260发送控制指令以选择活跃组340的成员以供非活跃组350的发言成员来替换。媒体选择模块260可基于参与者302-7的活动分数来选择已解码媒体流的活跃组340的某一成员作为要由已解码媒体流的非活跃组的参与者302-7替换的活跃替换候选。假定媒体选择模块260选择具有活跃组340的所有参与者302-1到302-5的最低活动分数的参与者302-4，并且因此将参与者302-4指定为活跃替换候选。例如，最低活动分数可以指示参与者302-4在所有参与者302-1到302-5中发言时间离得最远。然而，值得注意的是，媒体选择模块260在评估活动分数时将排除参与者302-3，因为操作者将参与者302-3钉到显示帧330-3上，如大头针图标308所示。媒体选择模块260将对参与者302-4的选择输出到MSM 230作为活跃替换候选。MSM模块230随后可以用来自非活跃组350的非活跃替换候选(在这一情况下是参与者302-7)来替换来自活跃组340的参与者302-4。例如，MSM模块230可以从显示帧330-4解除具有参与者302-4的已解码媒体流的分配，并将参与者302-7映射到该新释放的显示帧330-4，如图3b所示。活跃组340现在包括参与者302-1、302-2、302-3、302-5(a-c)和302-7。非活跃组350现在包括302-4、302-6和302-8。
上述实施例的操作可参考一个或多个逻辑流程来进一步描述。可以理解，除非另外指明，否则代表性的逻辑流程不一定要按所呈现的次序或者按任何特定次序来执行。而且，关于逻辑流程描述的各种活动可按串行或并行的方式执行。视给定一组设计和性能约束所需，逻辑流程可使用所述实施例的一个或多个硬件元素和/或软件元素或替换元素来实现。例如，逻辑流程可被实现为供逻辑设备(例如，通用或专用计算机)执行的逻辑(例如，计算机程序指令)。
图4示出逻辑流程400的一个实施例。逻辑流程400可表示由在此所描述的一个或多个实施例所执行的操作中的部分或全部。
如图4所示，逻辑流程400可在框402解码多媒体会议事件的多个媒体流。例如，视频解码器模块210可以解码多媒体会议事件的多个输入媒体流202-1-f以形成已解码媒体流。
逻辑流程400可以在框404确定已解码媒体流的总数大于视觉合成中的可用显示帧的总数。例如，MSM模块230可以确定已解码媒体流的总数大于视觉合成中的可用显示帧的总数(例如，L＞A)。
逻辑流程400在框406可基于发言活动从已解码媒体流的总数中选择活跃的一组已解码媒体流来映射到可用显示帧。例如，媒体选择模块260可基于发言活动从已解码媒体流的总数中选择活跃的一组已解码媒体流来映射到可用显示帧330-1-s。发言活动可由使用不同打分算法生成的各种活动分数来表示。
图5进一步示出了适于实现会议控制台110-1-m或多媒体会议服务器130的计算体系结构510的更详细框图。在基本配置中，计算体系结构510通常包括至少一个处理单元532和存储器534。存储器534可以使用能够存储数据的任何机器可读的或计算机可读介质来实现，包括易失性和非易失性存储器。例如，存储器534可以包括只读存储器(ROM)、随机存取存储器(RAM)、动态RAM(DRAM)、双数据率DRAM(DDRAM)、同步DRAM(SDRAM)、静态RAM(SRAM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪存、诸如铁电聚合物存储器等聚合物存储器、奥氏存储器、相变或铁电存储器、硅-氧化物-氮化物-氧化物-硅(SONOS)存储器、磁卡或光卡、或适于存储信息的任何其它类型的介质。如图5所示，存储器534可存储各种软件程序，诸如一个或多个应用程序536-1-t和附带数据。取决于实现，应用程序536-1-t的示例可包括服务器会议组件132、客户机会议组件112-1-n或媒体内容管理器组件114。
计算体系结构510还可具有除其基本配置之外的附加特征和/或功能。例如，计算体系结构510可包括可移动存储538和不可移动存储540，这些存储还可包括如上所述的各种类型的机器可读的或计算机可读介质。计算体系结构510还可具有一个或多个输入设备544，如键盘、鼠标、笔、语音输入设备、触摸输入设备、测量设备、传感器等。计算体系结构510还可包括一个或多个输出设备542，诸如显示器、扬声器、打印机等。
计算体系结构510还可包括允许计算体系结构510与其他设备进行通信的一个或多个通信连接546。通信连接546可以包括各种类型的标准通信元件，如一个或多个通信接口、网络接口、网络接口卡(NIC)、无线电、无线发射机/接收机(收发机)、有线和/或无线通信介质、物理连接器等。通信介质通常以诸如载波或其他传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其他数据，并包括任意信息传送介质。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被设定或更改的信号。作为示例而非限制，通信介质包括有线通信介质和无线通信介质。有线通信介质的示例可以包括导线、电缆、金属线、印刷电路板(PCB)、背板、交换光纤、半导体材料、双绞线、同轴电缆、光纤、所传播的信号等。无线通信介质的示例可以包括声学、射频(RF)频谱、红外和其他无线介质。此处使用的术语机器可读介质和计算机可读介质旨在包括存储介质和通信介质两者。
图6示出了适用于存储包括逻辑流程400在内的用于各实施例的逻辑的制品600的图示。如图所示，制品600可包括用于存储逻辑604的存储介质602。存储介质602的示例可包括能够存储电子数据的一种或多种类型的计算机可读存储介质，包括易失性存储器或非易失性存储器、可移动或不可移动存储器、可擦除或不可擦除存储器、可写或可重写存储器等。逻辑604的示例可包括各种软件元素，诸如软件组件、程序、应用软件、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、函数、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、文字、值、符号、或其任意组合。
例如，在一个实施例中，制品600和/或计算机可读存储介质602可存储包括可执行计算机程序指令的逻辑604，这些指令在被计算机执行时使该计算机执行根据所述实施例的方法和/或操作。可执行计算机程序指令可包括任何合适类型的代码，诸如源代码、已编译代码、已解释代码、可执行代码、静态代码、动态代码等。可执行计算机程序指令可根据用于指示计算机执行特定功能的预定义的计算机语言、方式或句法来实现。这些指令可使用任何合适的高级、低级、面向对象、可视、已编译和/或已解释编程语言来实现，诸如C、C++、Java、BASIC、Perl、Matlab、Pascal、VisualBASIC、汇编语言等。
各实施例可以使用硬件元素、软件元素或两者的组合来实现。硬件元素的示例可以包括如先前关于逻辑设备所提供的任何示例，且还可以包括微处理器、电路、电路元件(例如，晶体管、电阻器、电容器、电感器等等)、集成电路、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片组等等。软件元素的示例可以包括软件组件、程序、应用软件、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、函数、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、文字、值、符号、或其任意组合。确定一实施例是否使用硬件元素和/或软件元素来实现可视给定实现所需根据任何数量的因素而变化，这些因素如所需计算速率、功率级、耐热性、处理周期预算、输入数据速率、输出数据速率、存储器资源、数据总线速度以及其他设计或性能约束。
一些实施例可使用表述“耦合的”和“连接的”及其派生词来描述。这些术语不必旨在互为同义词。例如，一些实施例可使用术语“连接的”和/或“耦合的”来描述以指示两个或更多元素彼此有直接的物理或电接触。然而，术语“耦合的”还可以意味着两个或更多元素彼此不直接接触，而仍彼此合作或交互。
要强调的是，提供了本发明的摘要以符合37C.F.R.1.72(b)节，该节要求可使读者快速确定本技术公开的特性的摘要。提交摘要的同时要明白，将不用它来解释或限制权利要求的范围或含义。另外，在前面的详细描述中，可以看到，出于将本公开连成一个整体的目的而将各种特征组合在一起放在单个实施例中。此公开方法将不被解释为反映所要求保护的实施例要求比每个权利要求中明确陈述的更多特征的意图。相反，如所附权利要求书所反映，发明性的主题存在于比单个已公开实施例的所有特征少的特征中。从而，据此将所附权利要求结合进详细描述中，其中每个权利要求独立地代表一个单独的实施例。在所附权利要求书中，术语“包括”和“其中”分别用作术语“包含”和“其特征在于”的易懂的英文等价词。而且，术语“第一”、“第二”、“第三”等等只用作标记，而不旨在将数字要求强加于其对象上。
尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，上文所描述的具体特征和动作是作为实现权利要求的示例形式来公开的。

Claims (15)

1.一种方法，包括：
解码多媒体会议事件的多个媒体流(202)；
确定已解码媒体流的总数大于视觉合成(108)中的可用显示帧(330)的总数；以及
基于发言活动从已解码媒体流的所述总数中选择活跃的一组已解码媒体流(340)以映射到所述可用显示帧。
2.如权利要求1所述的方法，其特征在于，包括基于发言活动来选择已解码媒体流的非活跃组(350)的某一成员作为非活跃替换候选，以替换已解码媒体流的所述活跃组的某一成员。
3.如权利要求1或2所述的方法，其特征在于，包括基于活动分数来选择已解码媒体流的所述活跃组的某一成员作为要由已解码媒体流的所述非活跃组的某一成员替换的活跃替换候选。
4.如权利要求1-3中的任一项所述的方法，其特征在于，包括使用来自非活跃组的非活跃替换候选来替换来自所述活跃组的活跃替换候选。
5.如权利要求1-4中的任一项所述的方法，其特征在于，包括生成表示所述已解码媒体流的参与者的发言活动的特性的活动分数。
6.如权利要求1-5中的任一项所述的方法，其特征在于，包括生成表示参与者的发言活动的最近时间的活动分数。
7.如权利要求1-6中的任一项所述的方法，其特征在于，包括生成表示发言活动与非发言活动的比值的活动分数。
8.如权利要求1-7中的任一项所述的方法，其特征在于，包括生成表示参与者的发言活动的计数值的活动分数。
9.如权利要求1-8中的任一项所述的方法，其特征在于，包括生成表示参与者的发言活动的长度值的活动分数。
10.如权利要求1-9中的任一项所述的方法，其特征在于，包括基于所述活动分数将已解码媒体流的所述活跃组映射到所述可用显示帧，其中所述活跃组是已解码媒体流的所述总数的子集。
11.一种包括包含指令的机器或计算机可读存储介质的制品，所述指令在被执行时使得一系统能够实现如权利要求1到10中的任一项所述的方法。
12.一种装置，包括：
可用于为多媒体会议事件生成视觉合成(108)的媒体内容管理器组件(114)，所述媒体内容管理器组件包括：
可用于解码多媒体会议事件的多个媒体流(202)的视频解码器模块(210)；
通信耦合到所述视频解码器模块的媒体流管理器模块(230)，所述媒体流管理器模块可用于确定已解码媒体流的总数大于视觉合成(108)中的可用显示帧(330)的总数；以及
通信耦合到所述媒体流管理器模块的媒体选择模块(260)，所述媒体选择模块可用于基于发言活动从已解码媒体流的所述总数中选择活跃的一组已解码媒体流(340)以映射到所述可用显示帧。
13.如权利要求12所述的装置，其特征在于，包括通信耦合到所述视频解码器模块的活跃发言者检测器模块(220)，所述活跃发言者检测器模块可用于检测所述已解码媒体流中的参与者(302)的发言活动。
14.如权利要求12或13所述的装置，其特征在于，所述媒体选择模块可用于基于发言活动来选择已解码媒体流的非活跃组(350)的某一成员作为非活跃替换候选，以替换已解码媒体流的所述活跃组的某一成员。
15.如权利要求12-14所述的装置，其特征在于，所述媒体选择模块可用于基于活动分数来选择已解码媒体流的所述活跃组的某一成员作为要由已解码媒体流的所述非活跃组的某一成员替换的活跃替换候选。
CN2009801168613A 2008-05-06 2009-04-17 用于管理多媒体会议事件的媒体内容的技术 Active CN102138324B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/115,556 US8316089B2 (en) 2008-05-06 2008-05-06 Techniques to manage media content for a multimedia conference event
US12/115,556 2008-05-06
PCT/US2009/040926 WO2009137260A2 (en) 2008-05-06 2009-04-17 Techniques to manage media content for a multimedia conference event

Publications (2)

Publication Number Publication Date
CN102138324A true CN102138324A (zh) 2011-07-27
CN102138324B CN102138324B (zh) 2013-11-20

Family

ID=41265288

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801168613A Active CN102138324B (zh) 2008-05-06 2009-04-17 用于管理多媒体会议事件的媒体内容的技术

Country Status (10)

Country Link
US (1) US8316089B2 (zh)
EP (1) EP2274913B1 (zh)
JP (1) JP5639041B2 (zh)
KR (1) KR101532463B1 (zh)
CN (1) CN102138324B (zh)
BR (1) BRPI0910586A2 (zh)
CA (1) CA2723368C (zh)
RU (1) RU2518423C2 (zh)
TW (1) TWI530191B (zh)
WO (1) WO2009137260A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104284133A (zh) * 2013-07-08 2015-01-14 阿瓦亚公司 用于白板协作的系统和方法
CN105450976A (zh) * 2014-08-28 2016-03-30 鸿富锦精密工业（深圳）有限公司 视频会议处理方法及系统
CN113596384A (zh) * 2021-07-30 2021-11-02 北京字跳网络技术有限公司 一种多媒体会议自动布局方法、装置及设备

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8452344B2 (en) * 2005-08-25 2013-05-28 Nokia Corporation Method and device for embedding event notification into multimedia content
US8402391B1 (en) 2008-09-25 2013-03-19 Apple, Inc. Collaboration system
US20100302346A1 (en) * 2009-05-27 2010-12-02 Tingxue Huang System for processing and synchronizing large scale video conferencing and document sharing
US8310520B2 (en) * 2009-08-19 2012-11-13 Avaya Inc. Flexible decomposition and recomposition of multimedia conferencing streams using real-time control information
US9277021B2 (en) * 2009-08-21 2016-03-01 Avaya Inc. Sending a user associated telecommunication address
US8718246B2 (en) * 2009-11-22 2014-05-06 Avaya Inc. Providing a roster and other information before joining a participant into an existing call
US8411599B2 (en) * 2009-12-15 2013-04-02 At&T Intellectual Property I, L.P. Methods and apparatus for timeslot teleconferencing
US20110157298A1 (en) * 2009-12-31 2011-06-30 Tingxue Huang System for processing and synchronizing large scale video conferencing and document sharing
US20110196928A1 (en) * 2010-02-09 2011-08-11 Inxpo, Inc. System and method for providing dynamic and interactive web content and managing attendees during webcasting events
US8406608B2 (en) * 2010-03-08 2013-03-26 Vumanity Media, Inc. Generation of composited video programming
US8818175B2 (en) 2010-03-08 2014-08-26 Vumanity Media, Inc. Generation of composited video programming
TWI468014B (zh) 2010-03-30 2015-01-01 Ibm 互動式傳輸一媒體資源
CN101877643B (zh) * 2010-06-29 2014-12-10 中兴通讯股份有限公司 多点混音远景呈现方法、装置及系统
US20120169835A1 (en) * 2011-01-05 2012-07-05 Thomas Woo Multi-party audio/video conference systems and methods supporting heterogeneous endpoints and progressive personalization
US8774955B2 (en) * 2011-04-13 2014-07-08 Google Inc. Audio control of multimedia objects
US8774168B2 (en) * 2011-04-14 2014-07-08 Skype Communication system and method
US9338396B2 (en) 2011-09-09 2016-05-10 Cisco Technology, Inc. System and method for affinity based switching
US20130063542A1 (en) * 2011-09-14 2013-03-14 Cisco Technology, Inc. System and method for configuring video data
US9143728B2 (en) 2011-09-19 2015-09-22 Telefonaktiebolaget L M Ericsson (Publ) User interface control in a multimedia conference system
US9368028B2 (en) 2011-12-01 2016-06-14 Microsoft Technology Licensing, Llc Determining threats based on information from road-based devices in a transportation-related context
US9159236B2 (en) 2011-12-01 2015-10-13 Elwha Llc Presentation of shared threat information in a transportation-related context
US8811638B2 (en) 2011-12-01 2014-08-19 Elwha Llc Audible assistance
US9064152B2 (en) 2011-12-01 2015-06-23 Elwha Llc Vehicular threat detection based on image analysis
US9245254B2 (en) 2011-12-01 2016-01-26 Elwha Llc Enhanced voice conferencing with history, language translation and identification
US9053096B2 (en) 2011-12-01 2015-06-09 Elwha Llc Language translation based on speaker-related information
US10875525B2 (en) 2011-12-01 2020-12-29 Microsoft Technology Licensing Llc Ability enhancement
US20130144619A1 (en) * 2011-12-01 2013-06-06 Richard T. Lord Enhanced voice conferencing
US9107012B2 (en) 2011-12-01 2015-08-11 Elwha Llc Vehicular threat detection based on audio signals
US8934652B2 (en) 2011-12-01 2015-01-13 Elwha Llc Visual presentation of speaker-related information
US20130169742A1 (en) * 2011-12-28 2013-07-04 Google Inc. Video conferencing with unlimited dynamic active participants
TWI488503B (zh) * 2012-01-03 2015-06-11 國際洋行股份有限公司 會議攝錄裝置及其方法
CN102664820A (zh) * 2012-04-10 2012-09-12 苏州阔地网络科技有限公司 一种视频会议的来宾邀请方法及系统
US20140026070A1 (en) * 2012-07-17 2014-01-23 Microsoft Corporation Dynamic focus for conversation visualization environments
US10237082B2 (en) * 2012-08-31 2019-03-19 Avaya Inc. System and method for multimodal interaction aids
US9094524B2 (en) * 2012-09-04 2015-07-28 Avaya Inc. Enhancing conferencing user experience via components
US20140114664A1 (en) * 2012-10-20 2014-04-24 Microsoft Corporation Active Participant History in a Video Conferencing System
WO2014199596A1 (ja) * 2013-06-10 2014-12-18 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 話者識別方法、話者識別装置及び話者識別システム
US20150049162A1 (en) * 2013-08-15 2015-02-19 Futurewei Technologies, Inc. Panoramic Meeting Room Video Conferencing With Automatic Directionless Heuristic Point Of Interest Activity Detection And Management
US20150156458A1 (en) * 2013-12-03 2015-06-04 Avaya Inc. Method and system for relative activity factor continuous presence video layout and associated bandwidth optimizations
KR101559364B1 (ko) * 2014-04-17 2015-10-12 한국과학기술원 페이스 투 페이스 인터랙션 모니터링을 수행하는 모바일 장치, 이를 이용하는 인터랙션 모니터링 방법, 이를 포함하는 인터랙션 모니터링 시스템 및 이에 의해 수행되는 인터랙션 모니터링 모바일 애플리케이션
US9070409B1 (en) * 2014-08-04 2015-06-30 Nathan Robert Yntema System and method for visually representing a recorded audio meeting
TWI562640B (en) * 2014-08-28 2016-12-11 Hon Hai Prec Ind Co Ltd Method and system for processing video conference
US9456181B2 (en) * 2015-02-04 2016-09-27 Citrix Systems, Inc. Smart selection of video feeds during an online meeting
RU2602667C1 (ru) * 2015-04-21 2016-11-20 Федеральное государственное казенное военное образовательное учреждение высшего образования "Академия Федеральной службы охраны Российской Федерации" (Академия ФСО России) Способ мультимедийного вывода
US10607152B2 (en) 2015-05-26 2020-03-31 Textio, Inc. Using machine learning to predict outcomes for documents
US10409550B2 (en) * 2016-03-04 2019-09-10 Ricoh Company, Ltd. Voice control of interactive whiteboard appliances
US9681094B1 (en) * 2016-05-27 2017-06-13 Microsoft Technology Licensing, Llc Media communication
US10176808B1 (en) * 2017-06-20 2019-01-08 Microsoft Technology Licensing, Llc Utilizing spoken cues to influence response rendering for virtual assistants
JP2019191824A (ja) * 2018-04-23 2019-10-31 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
TWI675581B (zh) * 2018-08-28 2019-10-21 立新 陳 分散架構進行電話會議之方法
CA3134561A1 (en) * 2019-03-21 2020-09-24 Divx, Llc Systems and methods for multimedia swarms
WO2020219490A1 (en) * 2019-04-23 2020-10-29 Textio, Inc. Passively suggesting text in an electronic document
US11444988B2 (en) 2020-03-17 2022-09-13 Qualcomm Incorporated Signaling of scene description for multimedia conferencing
US11249715B2 (en) 2020-06-23 2022-02-15 Switchboard Visual Technologies, Inc. Collaborative remote interactive platform
US11172006B1 (en) * 2020-06-23 2021-11-09 Monarch Visual Technologies, Inc. Customizable remote interactive platform
US11595447B2 (en) 2020-08-05 2023-02-28 Toucan Events Inc. Alteration of event user interfaces of an online conferencing service
US11606465B2 (en) 2020-12-16 2023-03-14 Rovi Guides, Inc. Systems and methods to automatically perform actions based on media content
US11290684B1 (en) * 2020-12-16 2022-03-29 Rovi Guides, Inc. Systems and methods to automatically perform actions based on media content
US11749079B2 (en) 2020-12-16 2023-09-05 Rovi Guides, Inc. Systems and methods to automatically perform actions based on media content
US11595278B2 (en) 2020-12-16 2023-02-28 Rovi Guides, Inc. Systems and methods to automatically perform actions based on media content
US11349889B1 (en) 2020-12-21 2022-05-31 Switchboard Visual Technologies, Inc. Collaborative remote interactive platform
US11894938B2 (en) 2021-06-21 2024-02-06 Toucan Events Inc. Executing scripting for events of an online conferencing service
US11689666B2 (en) * 2021-06-23 2023-06-27 Cisco Technology, Inc. Proactive audio optimization for conferences
US11770425B2 (en) * 2021-12-29 2023-09-26 Microsoft Technology Licensing, Llc Dynamic management of presenters of a communication session
US11461480B1 (en) 2022-05-24 2022-10-04 Switchboard Visual Technologies, Inc. Synchronizing private data with reduced trust

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5473367A (en) * 1993-06-30 1995-12-05 At&T Corp. Video view selection by a chairperson
US7185054B1 (en) * 1993-10-01 2007-02-27 Collaboration Properties, Inc. Participant display and selection in video conference calls
US5767897A (en) * 1994-10-31 1998-06-16 Picturetel Corporation Video conferencing system
JP2827932B2 (ja) * 1994-11-25 1998-11-25 日本電気株式会社 多地点テレビ会議における合成画面表示制御方式
EP0829166A4 (en) * 1995-06-02 1999-06-09 Intel Corp METHOD AND DEVICE FOR MONITORING THE ENTRY OF A PARTICIPANT DURING A CONFERENCE
KR19980701471A (ko) * 1995-11-15 1998-05-15 이데이 노부유키 다지점 비디오 회의 장치(Multipoint video conference apparatus)
JPH09149396A (ja) * 1995-11-27 1997-06-06 Fujitsu Ltd 多地点テレビ会議システム
JPH09307869A (ja) * 1996-05-15 1997-11-28 Nec Corp ビデオ会議システム
US6128649A (en) * 1997-06-02 2000-10-03 Nortel Networks Limited Dynamic selection of media streams for display
JP3684525B2 (ja) * 1998-02-19 2005-08-17 富士通株式会社 多画面合成方法及び多画面合成装置
US7081915B1 (en) * 1998-06-17 2006-07-25 Intel Corporation Control of video conferencing using activity detection
US6414707B1 (en) * 1998-10-16 2002-07-02 At&T Corp. Apparatus and method for incorporating virtual video conferencing environments
US6628767B1 (en) * 1999-05-05 2003-09-30 Spiderphone.Com, Inc. Active talker display for web-based control of conference calls
US6795106B1 (en) * 1999-05-18 2004-09-21 Intel Corporation Method and apparatus for controlling a video camera in a video conferencing system
US7242421B2 (en) * 2000-11-10 2007-07-10 Perceptive Network Technologies, Inc. Methods of establishing a communications link using perceptual sensing of a user's presence
US6894714B2 (en) * 2000-12-05 2005-05-17 Koninklijke Philips Electronics N.V. Method and apparatus for predicting events in video conferencing and other applications
US6577333B2 (en) * 2000-12-12 2003-06-10 Intel Corporation Automatic multi-camera video composition
US6922718B2 (en) * 2002-02-01 2005-07-26 Dell Products L.P. Method and system for participating locations in a multi-point video conference
US7454460B2 (en) * 2003-05-16 2008-11-18 Seiko Epson Corporation Method and system for delivering produced content to passive participants of a videoconference
US8081205B2 (en) * 2003-10-08 2011-12-20 Cisco Technology, Inc. Dynamically switched and static multiple video streams for a multimedia conference
US8659636B2 (en) * 2003-10-08 2014-02-25 Cisco Technology, Inc. System and method for performing distributed video conferencing
US20050099492A1 (en) * 2003-10-30 2005-05-12 Ati Technologies Inc. Activity controlled multimedia conferencing
JP2005303736A (ja) * 2004-04-13 2005-10-27 Ntt Communications Kk ビデオ会議システムにおける映像表示方法、ビデオ会議システムに用いられる利用者端末、及びビデオ会議システムに用いられる利用者端末用プログラム
US7362350B2 (en) * 2004-04-30 2008-04-22 Microsoft Corporation System and process for adding high frame-rate current speaker data to a low frame-rate video
US8095887B2 (en) * 2005-08-05 2012-01-10 Samsung Electronics Co., Ltd. Apparatus for providing multiple screens and method of dynamically configuring multiple screens
JP2007147762A (ja) * 2005-11-24 2007-06-14 Fuji Xerox Co Ltd 発話者予測装置および発話者予測方法
US20070140465A1 (en) * 2005-12-16 2007-06-21 Avaya Technology Llc Dynamic content stream delivery to a telecommunications terminal based on the excecution state of the terminal
US8760485B2 (en) * 2006-03-02 2014-06-24 Cisco Technology, Inc. System and method for displaying participants in a videoconference between locations
US7797383B2 (en) * 2006-06-21 2010-09-14 Cisco Technology, Inc. Techniques for managing multi-window video conference displays
US7577246B2 (en) * 2006-12-20 2009-08-18 Nice Systems Ltd. Method and system for automatic quality evaluation
CN101080000A (zh) * 2007-07-17 2007-11-28 华为技术有限公司 视频会议中显示发言人的方法、系统、服务器和终端

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104284133A (zh) * 2013-07-08 2015-01-14 阿瓦亚公司 用于白板协作的系统和方法
CN104284133B (zh) * 2013-07-08 2018-09-04 阿瓦亚公司 用于白板协作的系统和方法
CN105450976A (zh) * 2014-08-28 2016-03-30 鸿富锦精密工业（深圳）有限公司 视频会议处理方法及系统
CN105450976B (zh) * 2014-08-28 2018-08-07 南宁富桂精密工业有限公司 视频会议处理方法及系统
CN113596384A (zh) * 2021-07-30 2021-11-02 北京字跳网络技术有限公司 一种多媒体会议自动布局方法、装置及设备

Also Published As

Publication number Publication date
US8316089B2 (en) 2012-11-20
CA2723368C (en) 2016-03-29
EP2274913A2 (en) 2011-01-19
EP2274913A4 (en) 2014-03-05
JP2011520387A (ja) 2011-07-14
WO2009137260A3 (en) 2010-02-18
BRPI0910586A2 (pt) 2015-09-22
TW200948069A (en) 2009-11-16
EP2274913B1 (en) 2019-03-06
US20090282103A1 (en) 2009-11-12
KR20110021748A (ko) 2011-03-04
RU2518423C2 (ru) 2014-06-10
JP5639041B2 (ja) 2014-12-10
WO2009137260A2 (en) 2009-11-12
RU2010145110A (ru) 2012-05-10
CN102138324B (zh) 2013-11-20
TWI530191B (zh) 2016-04-11
KR101532463B1 (ko) 2015-06-29
CA2723368A1 (en) 2009-11-12

Similar Documents

Publication Publication Date Title
CN102138324B (zh) 用于管理多媒体会议事件的媒体内容的技术
CN101946511A (zh) 用于为多媒体会议事件生成视觉合成的技术
US11507867B2 (en) Systems and methods for managing interactions between an individual and an entity
Egido Teleconferencing as a technology to support cooperative work: Its possibilities and limitations
CN101952852A (zh) 用于自动标识多媒体会议事件的参与者的技术
US9923982B2 (en) Method for visualizing temporal data
CN102067579A (zh) 管理多媒体会议事件的白板的技术
Oloyede et al. COVID-19 lockdown and remote attendance teaching in developing countries: A review of some online pedagogical resources
US20140111603A1 (en) Routing For Video in Conferencing
Isaacs et al. Studying video-based collaboration in context: From small workgroups to large organizations
CN113676691A (zh) 一种智能视频会议系统及方法
Jakab et al. Booking solution for video conference planning
CN112019791A (zh) 基于教育考试的多方音视频通话方法及系统
Kouadio et al. Technology on social issues of videoconferencing on the internet: a survey
Earon Operating Teleconferencing Systems (Audio, Audiographics/Multimedia, and Video)
Booth VoIP in professional communication, collaboration, and development
Advisory Group on Computer Graphics et al. The Dos and Don't of Video Conferencing in Higher Education
Elrod et al. iCommunication: Technologies in the Contemporary Workplace
Monfort et al. SuperJANET Mbone Pilot sites, November 1995 Aberdeen Aberystwyth Aston
Kumar et al. Samvadak—A way to communicate

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150421

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150421

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.