CN101946511A - 用于为多媒体会议事件生成视觉合成的技术 - Google Patents

用于为多媒体会议事件生成视觉合成的技术 Download PDF

Info

Publication number
CN101946511A
CN101946511A CN2009801053893A CN200980105389A CN101946511A CN 101946511 A CN101946511 A CN 101946511A CN 2009801053893 A CN2009801053893 A CN 2009801053893A CN 200980105389 A CN200980105389 A CN 200980105389A CN 101946511 A CN101946511 A CN 101946511A
Authority
CN
China
Prior art keywords
vision
display frame
participant
active display
synthetic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2009801053893A
Other languages
English (en)
Inventor
P·塔尔卡
N-E-G·辛格
S·贾殷
伊科斯
A·巴塔查杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN101946511A publication Critical patent/CN101946511A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/567—Multimedia conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1827—Network arrangements for conference optimisation or adaptation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/765—Media network packet handling intermediate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1822—Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2203/00—Aspects of automatic or semi-automatic exchanges
    • H04M2203/50—Aspects of automatic or semi-automatic exchanges related to audio conference
    • H04M2203/5072—Multiple active speakers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

描述了用于为多媒体会议事件生成视觉合成的技术。一种装置可包括可用于为多媒体会议事件生成视觉合成的视觉合成组件。该视觉合成组件可包括视频解码器模块，该视频解码器模块可用于解码多媒体会议事件的多个媒体流；活跃说话者检测器模块，该活跃说话者检测器模块可用于将已解码媒体流中的参与者检测为活跃说话者；媒体流管理器模块，该媒体流管理器模块可用于将具有活跃说话者的已解码媒体流映射到活动显示帧并将其他已解码媒体流映射到非活动显示帧；以及视觉合成生成器模块，该视觉合成生成器模块可用于生成具有以预定次序定位的活动显示帧和非活动显示帧的参与者名单的视觉合成。对其它实施例也予以描述并要求保护。

Description

用于为多媒体会议事件生成视觉合成的技术
背景
多媒体会议系统通常允许多个参与者通过网络在协作且实时的会议中进行通信并共享不同类型的媒体内容。该多媒体会议系统可使用各种图形用户界面(GUI)窗口或视图来显示不同类型的媒体内容。例如，一个GUI视图可能包括参与者的视频图像，另一GUI视图可能包括演示幻灯片、又一GUI视图可能包括参与者之间的文本消息，等等。以此方式，各个地理位置完全不同的参与者可以在与其中所有参与者都在一个房间中的物理会议环境类似的虚拟会议环境中交互并传递信息。
然而，在虚拟会议环境中，可能难以标识会议的各个参与者。这个问题通常随着会议参与者数量的增加而增加，由此可能导致参与者之间的混淆和不便。此外，可能难以在任何给定时刻标识特定说话者，尤其是在多个参与者同时或快速连续说话时。涉及改进虚拟会议环境中的标识技术的技术可改善用户体验和便利性。
概述
各实施例一般涉及多媒体会议系统。某些实施例尤其可涉及用于为多媒体会议事件生成视觉合成的技术。多媒体会议事件可包括多个参与者，这些参与者中的某一些可聚集在会议室中，而其他参与者可以从远程位置参与多媒体会议事件。
例如，在一个实施例中，诸如会议控制台等装置可包括显示器和可用于为多媒体会议事件生成视觉合成的视觉合成组件。该视觉合成组件可包括可用于解码多媒体会议事件的多个媒体流的视频解码器模块。该视觉合成组件还可包括通信地耦合到视频解码器模块的活跃说话者检测器模块，该活跃说话者检测器模块可用于将已解码媒体流中的参与者检测为活跃说话者。视觉合成组件还可包括通信地耦合到活跃说话者检测器模块的媒体流管理器模块，该媒体流管理器模块可用于将具有活跃说话者的已解码媒体流映射到活动显示帧并将其他已解码媒体流映射到非活动显示帧。视觉合成组件还可包括通信地耦合到媒体流管理器模块的视觉合成生成器模块，该视觉合成生成器模块可用于生成具有以预定次序定位的活跃和非活动显示帧的参与者名单的视觉合成。对其它实施例也予以描述并要求保护。
提供本概述是为了以简化的形式介绍将在以下详细描述中进一步描述的一些概念。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限定所要求保护的主题的范围。
附图简述
图1示出了多媒体会议系统的一实施例。
图2示出了视觉合成组件的一实施例。
图3示出了视觉合成的一实施例。
图4示出了逻辑流程的一实施例。
图5示出了计算体系结构的一实施例。
图6示出了制品的一实施例。
详细描述
各实施例包括被安排成执行特定操作、功能或服务的物理或逻辑结构。这些结构可包括物理结构、逻辑结构或两者的组合。物理或逻辑结构可以使用硬件元素、软件元素或两者的组合来实现。然而，参考特定硬件或软件元素的对各实施例的描述旨在作为示例而非限制。使用硬件还是软件元素来实际地实施一实施例的决定取决于多个外部因素，诸如所需计算速率、功率电平、热容忍度、处理周期预算、输入数据率、输出数据率、存储器资源、数据总线速度、以及其他设计或性能约束。此外，物理或逻辑结构可具有对应的物理或逻辑连接以便在这些结构之间以电子信号或消息的形式传递信息。连接可包括如适于信息或特定结构的有线和/或无线连接。值得注意的是，任何对“一个实施例”或“一实施例”的引用都意味着结合该实施例所描述的特定的特征、结构、或特性被包括在至少一个实施例中。出现在说明书中各个地方的短语“在一实施例中”不必全都指的是同一实施例。
各实施例一般涉及被安排成通过网络向多个参与者提供会议和协作服务的多媒体会议系统。某些多媒体会议系统可被设计成用诸如因特网或万维网(“web”)等各种基于分组的网络操作以提供基于web的会议服务。这些实现有时被称为web会议系统。web会议系统的示例可包括由美国华盛顿州雷蒙德市的微软公司制作的MICROSOFT
Figure BPA00001204942400031
OFFICE LIVE MEETING。其他多媒体会议系统可被设计成针对专用网络、公司、组织、或企业操作，并且可利用多媒体会议服务器，诸如由美国华盛顿州雷蒙德市的微软公司制作的MICROSOFT OFFICE COMMUNICATIONS SERVER。然而，可以理解，这些实现不限于这些示例。
多媒体会议系统可包括被安排成提供web会议服务的多媒体会议服务器或其他处理设备以及其他网络元件。例如，多媒体会议服务器可包括可用于控制和混合诸如web会议等会议和协作事件的不同类型的多媒体内容的服务器会议组件以及其他服务器元件。会议和协作事件可以指在实时或实况在线环境中提供各种类型的多媒体信息的任何多媒体会议事件，并且在此处有时被简称为“会议事件”、“多媒体事件”或“多媒体会议事件”。
在一个实施例中，多媒体会议系统还可包括被实现为会议控制台的一个或多个计算设备。每一个会议控制台都可被安排成通过连接到多媒体会议服务器来参与多媒体事件。来自各个会议控制台的不同类型的媒体信息可由多媒体会议服务器在多媒体事件期间接收，该服务器进而将媒体信息分发给参与多媒体事件的其他会议控制台中的部分或全部。由此，任何给定会议控制台可具有拥有不同类型媒体内容的多个媒体内容视图的显示器。以此方式，各个地理位置完全不同的参与者可以在与其中所有参与者都在一个房间中的物理会议环境类似的虚拟会议环境中交互并传递信息。
在虚拟会议环境中，可能难以标识会议的各个参与者。多媒体会议中的参与者通常在具有参与者名单的GUI视图中列出。该参与者名单可具有关于每一个参与者的某些标识信息，包括姓名、位置、图像、标题等。参与者名单中的参与者和标识信息通常从用于加入多媒体会议事件的会议控制台导出。例如，参与者通常使用会议控制台来加入多媒体会议事件的虚拟会议室。在加入之前，参与者提供各种类型的标识信息以执行与多媒体会议服务器的认证操作。一旦多媒体会议服务器认证了参与者，该参与者就被允许访问虚拟会议室，并且多媒体会议服务器将标识信息添加到参与者名单。
然而，参与者名单所显示的标识信息通常是与多媒体会议事件中的实际参与者的任何视频内容断开的。例如，参与者名单和关于每一个参与者的对应标识信息通常在与具有多媒体内容的其他GUI视图分开的GUI视图中示出。在来自参与者名单的参与者和流传输视频内容中的参与者的图像之间不存在直接映射。因此，有时变得难以将GUI视图中的关于参与者的视频内容映射到参与者名单中的一组特定标识信息。
此外，可能难以在任何给定时刻标识特定活跃说话者，尤其是在多个参与者同时或快速连续说话时。这个问题在关于参与者的标识信息和关于参与者的视频内容之间不存在直接链接时恶化。查看者无法容易地标识哪一个特定GUI视图具有当前活跃说话者，并因此妨碍了与虚拟会议室中的其他参与者的会谈。
为了解决这些和其他问题，某些实施例涉及用于为多媒体会议事件生成视觉合成的技术。更具体而言，某些实施例涉及用于生成在数字域中提供会议参与者的更自然表示的视觉合成的技术。该视觉合成集成并聚集与多媒体会议事件中的每一个参与者相关的不同类型的多媒体内容，包括视频内容、音频内容、标识信息等。该视觉合成以允许查看者聚焦于视觉合成的一特定区域以收集关于一个参与者的参与者专用信息、并聚焦于另一特定区域以收集关于另一参与者的参与者专用信息等的方式呈现所集成和聚集的信息。以此方式，查看者可聚焦于多媒体会议事件的交互部分，而不是花时间从不同的源收集参与者信息。结果，该视觉合成技术可提高操作员、设备或网络的可承受性、可伸缩性、模块性、可扩展性或可互操作性。
图1示出了多媒体会议系统100的框图。多媒体会议系统100可以表示适用于实现各实施例的通用系统体系结构。多媒体会议系统100可以包括多个元素。元素可以包括被安排成执行特定操作的任何物理或逻辑结构。视给定的一组设计参数或性能约束的需要，每一元素可被实现为硬件、软件、或其任意组合。硬件元素的示例可以包括设备、组件、处理器、微处理器、电路、电路元件(例如，晶体管、电阻器、电容器、电感器等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、存储器单元、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片组等。软件的示例可以包括任何软件组件、程序、应用软件、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、函数、方法、接口、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、文字、值、符号、或其任意组合。虽然图1中示出的多媒体会议系统100在特定拓扑结构中具有有限数量的元素，但可以理解多媒体会议系统100视给定实现所需在另选拓扑结构中可以包括更多或更少元素。各实施例在此上下文中不受限制。
在各实施例中，多媒体会议系统100可包括有线通信系统、无线通信系统或两者的组合，或者构成其一部分。例如，多媒体会议系统100可包括被安排成通过一种或多种类型的有线通信链路来传递信息的一个或多个元件。有线通信链路的示例可包括但不限于导线、电缆、总线、印刷电路板(PCB)、以太网连接、对等(P2P)连接、背板、交换光纤、半导体材料、双绞线、同轴电缆、光纤连接等。多媒体会议系统100还可包括被安排成通过一种或多种类型的无线通信链路来传递信息的一个或多个元件。无线通信链路的示例可包括但不限于无线电频道、红外频道、射频(RF)频道、无线保真(WiFi)频道、RF频谱的一部分、和/或一个或多个有许可证或无许可证的频带。
在各实施例中，多媒体会议系统100可被安排成传递、管理或处理不同类型的信息，诸如媒体信息和控制信息。媒体信息的示例一般可包括表示对用户有意义的内容的任何数据，如语音信息、视频信息、音频信息、图像信息、文本信息、数字信息、应用程序信息、字母数字符号、图形等。媒体信息有时也可被称为“媒体内容”。控制信息可以指的是表示对自动化系统有意义的命令、指令或控制字的任何数据。例如，控制信息可被用来将媒体信息路由通过一系统、在设备之间建立连接、指示设备以预定方式处理该媒体信息等。
在各实施例中，多媒体会议系统100可包括多媒体会议服务器130。该多媒体会议服务器130可包括被安排成通过网络120建立、管理或控制会议控制台110-1-m之间的多媒体会议呼叫的任何逻辑或物理实体。网络120可包括例如分组交换网络、电路交换网络或两者的组合。在各实施例中，多媒体会议服务器130可包括或被实现为任何处理或计算设备，诸如计算机、服务器、服务器阵列或服务器场、工作站、小型计算机、大型计算机、超级计算机等。多媒体会议服务器130可包括或实现适用于传递和处理多媒体信息的通用或专用计算体系结构。例如，在一个实施例中，多媒体会议服务器130可使用如参考图5描述的计算体系结构来实现。多媒体会议服务器130的示例可包括但不限于MICROSOFT OFFICE COMMUNICATIONS SERVER、MICROSOFT OFFICE LIVE MEETING服务器。
多媒体会议服务器130的特定实现可取决于将对多媒体会议服务器130使用的一组通信协议或标准而变化。在一个示例中，多媒体会议服务器130可根据因特网工程任务组(IETF)、多方多媒体会话控制(MMUSIC)工作组、会话发起协议(SIP)系列的标准和/或变体来实现。SIP是用于发起、修改、并终止交互式用户会话的建议标准，交互式用户会话涉及诸如视频、语音、即时消息通信、在线游戏和虚拟现实等多媒体元素。在另一示例中，多媒体会议服务器130可根据国际电信联盟(ITU)H.323系列的标准和/或变体来实现。该H.323标准定义用于协调会议呼叫操作的多点控制单元(MCU)。具体而言，MCU包括处理H.245信令的多点控制器(MC)以及用于混合并处理数据流的一个或多个多点处理器(MP)。SIP和H.323标准两者本质上都是用于网际协议语音(VoIP)或分组语音(VOP)多媒体会议呼叫操作的信令协议。然而，可以理解，可实现用于多媒体会议服务器130的其他信令协议并且仍然落在各实施例的范围内。
在通用操作中，多媒体会议系统100可用于多媒体会议呼叫。多媒体会议呼叫通常涉及在多个端点之间传递语音、视频和/或数据信息。例如，公共或专用分组网络120可用于音频会议呼叫、视频会议呼叫、音频/视频会议呼叫、协作文档共享和编辑等。分组网络120还可经由被安排成在电路交换信息和分组信息之间进行转换的一个或多个合适的VoIP网关来连接到公共交换电话网络(PSTN)。
为了通过分组网络120建立多媒体会议呼叫，每一个会议控制台110-1-m可使用诸如例如低带宽PSTN电话连接、中带宽DSL调制解调器连接或电缆调制解调器连接、以及局域网(LAN)上的高带宽内联网连接等以不同的连接速度或带宽操作的各种类型的有线或无线通信链路来经由分组网络120连接到多媒体会议服务器130。
在各实施例中，多媒体会议服务器1130可建立、管理和控制会议控制台110-1-m之间的多媒体会议呼叫。在某些实施例中，多媒体会议呼叫可包括使用提供全协作能力的web会议应用程序的实况基于web的会议呼叫。多媒体会议服务器130用作控制和分发会议中的媒体信息的中央服务器。它从各个会议控制台110-1-m接收媒体信息，执行对多种类型的媒体信息的混合操作，并将媒体信息转发给其他参与者中的部分或全部。会议控制台110-1-m中的一个或多个可通过连接到多媒体会议服务器130来加入会议。多媒体会议服务器130可实现用于以安全且受控的方式认证并添加会议控制台110-1-m的各种准入控制技术。
在各实施例中，多媒体会议系统100可包括被实现为会议控制台110-1-m的一个或多个计算设备，这些会议控制台经由网络120通过一个或多个通信连接连接到多媒体会议服务器130。例如，计算设备可实现可同时主存各自表示单独会议的多个会议控制台的客户机应用程序。类似地，客户机应用程序可接收多个音频、视频和数据流。例如，来自参与者中的全部或子集的视频流可作为马赛克显示在参与者的显示器上，且顶部窗口具有当前活跃说话者的视频而其他参与者的全景视图在其他窗口中。
会议控制台110-1-m可包括被安排成参与或参加由多媒体会议服务器130管理的多媒体会议呼叫的任何逻辑或物理实体。会议控制台110-1-m可被实现为任何设备，该设备在其最基本的形式中包括包含处理器和存储器的处理系统、一个或多个多媒体输入/输出(I/O)组件以及无线和/或有线网络连接。多媒体I/O组件的示例可包括音频I/O组件(例如，话筒、扬声器)、视频I/O组件(例如，摄像机、显示器)、触觉(I/O)组件(例如，振动器)、用户数据(I/O)组件(例如，键盘、拇指板、键区、触摸屏)等等。会议控制台110-1-m的示例可包括电话、VoIP或VOP电话、被设计成在PSTN上操作的分组电话、因特网电话、视频电话、蜂窝电话、个人数字助理(PDA)、组合蜂窝电话和PDA、移动计算设备、智能电话、单向寻呼机、双向寻呼机、消息收发设备、计算机、个人计算机(PC)、台式计算机、膝上型计算机、笔记本计算机、手持式计算机、网络设备等。在某些实现中，会议控制台110-1-m可使用与参考图5描述的计算体系结构类似的通用或专用计算体系结构来实现。
会议控制台110-1-m可包括或实现各个客户机会议组件112-1-n。客户机会议组件112-1-n可被设计成与多媒体会议服务器130中的服务器会议组件132互操作以建立、管理或控制多媒体会议事件。例如，客户机会议组件112-1-n可包括或实现适当的应用程序和用户界面控件以允许各个会议控制台110-1-m参与由多媒体会议服务器130推动的web会议。这可包括用于捕捉由会议控制台110-1-m的操作员提供的媒体信息的输入装置(例如，摄像机、话筒、键盘、鼠标、控制器等)，以及用于再现由其他会议控制台110-1-m的操作员提供的媒体信息的输出装置(例如，显示器、扬声器等)。客户机会议组件112-1-n的示例可包括但不限于MICROSOFT OFFICE COMMUNICATOR或MICROSOFT OFFICE LIVE MEETING基于Windows的会议控制台等。
如图1所示的实施例所示，多媒体会议系统100可包括会议室150。企业或公司通常利用会议室来举行会议。这些会议包括多媒体会议事件，该多媒体会议事件具有位于会议室150内部的参与者以及位于会议室150外部的远程参与者。会议室150可具有可用于支持多媒体会议事件并在一个或多个远程会议控制台110-2-m和本地会议控制台110-1之间提供多媒体信息的各种计算和通信资源。例如，会议室150可包括位于会议室150内部的本地会议控制台110-1。
本地会议控制台110-1可以连接到能够捕捉、传递或再现多媒体信息的各种多媒体输入设备和/或多媒体输出设备。多媒体输入设备可包括被安排成从会议室150中的操作员捕捉或接收多媒体信息作为输入的任何逻辑或物理设备，包括音频输入设备、视频输入设备、图像输入设备、文本输入设备、以及其他多媒体输入装置。多媒体输入设备的示例可包括但不限于摄像机、话筒、话筒阵列、会议电话、白板、交互式白板、语音-文本组件、文本-语音组件、语音识别系统、定点设备、键盘、触摸屏、图形输入板计算机、手写识别设备等。摄像机的示例可包括全景相机(ringcam)，诸如由美国华盛顿州雷蒙德市的微软公司制作的MICROSOFT ROUNDTABLE。MICROSOFT ROUNDTABLE是具有向远程会议参与者提供坐在会议桌周围的每一个人的全景视频的360度相机的视频会议设备。多媒体输出设备可包括被安排成再现或显示来自远程会议控制台110-2-m的操作员的多媒体信息作为输出的任何逻辑或物理设备，包括音频输出设备、视频输出设备、图像输出设备、文本输出设备、以及其他多媒体输出装置。多媒体输出设备的示例可包括但不限于电子显示器、视频投影仪、扬声器、振动单元、打印机、传真机等。
会议室150中的本地会议控制台110-1可包括被安排成从包括参与者154-1-p的会议室150捕捉媒体内容并将该媒体内容流传送到多媒体会议服务器130的各种多媒体输入设备。在图1所示的实施例中，本地会议控制台110-1包括摄像机106和话筒阵列104-1-r。摄像机106可捕捉包括出现在会议室150中的参与者154-1-p的视频内容的视频内容，并经由本地会议控制台110-1将这些视频内容流传送到多媒体会议服务器130。类似地，话筒阵列104-1-r可捕捉包括来自出现在会议室150中的参与者154-1-p的音频内容的音频内容，并经由本地会议控制台110-1将这些音频内容流传送到多媒体会议服务器130。本地会议控制台还可包括诸如显示器116或视频投影仪等各种媒体输出设备，用于示出具有经由多媒体会议服务器130接收到的来自使用会议控制台110-1-m的所有参与者的视频内容或音频内容的一个或多个GUI视图。
会议控制台110-1-m和多媒体会议服务器130可利用为给定多媒体会议事件建立的各种媒体连接来传递媒体信息和控制信息。媒体连接可使用诸如SIP系列协议等各种VoIP信令协议来建立。SIP系列协议是用于创建、修改和终止与一个或多个参与者的会话的应用层控制(信令)协议。这些会话包括因特网多媒体会议、因特网电话呼叫以及多媒体分发。会话中的成员可经由多播或经由单播关系的网格或其组合来进行通信。SIP被设计为总IETF多媒体数据和控制体系结构的一部分，该体系结构当前结合诸如用于保留网络资源的资源保留协议(RSVP)(IEEE RFC 2205)、用于传输实时数据并提供服务质量(QOS)反馈的实时传输协议(RTP)(IEEE RFC 1889)、用于控制流传输媒体的传递的实时流传输协议(RTSP)(IEEE RFC 2326)、用于经由多播广告多媒体会话的会话通告协议(SAP)、用于描述多媒体会话的会话描述协议(SDP)(IEEE RFC 2327)等协议。例如，会议控制台110-1-m可将SIP用作信令信道以设置媒体连接，并将RTP用作媒体信道以通过媒体连接传输媒体信息。
在通用操作中，可使用调度设备108来为多媒体会议系统100生成多媒体会议事件保留。该调度设备108可包括例如具有用于调度多媒体会议事件的适当硬件和软件的计算设备。例如，调度设备108可包括利用由美国华盛顿州雷蒙德市的微软公司制作的MICROSOFT OFFICE OUTLOOK
Figure BPA00001204942400101
应用程序软件的计算机。MICROSOFT OFFICE OUTLOOK应用软件包括可用于调度多媒体会议事件的消息收发和协作客户机软件。操作员可使用MICROSOFT OFFICE OUTLOOK来将调度请求转换成要发送到会议受邀者列表的对MICROSOFT OFFICE LIVE MEETING事件。该调度请求可包括到多媒体会议事件的虚拟房间的超链接。受邀者可点击该超链接，并且会议控制台110-1-m启动web浏览器，连接到多媒体会议服务器130，并加入虚拟房间。一旦在那里，参与者就可呈现幻灯片演示，在内置白板以及其他工具上注释文档或进行集体讨论(brainstorm)。
操作员可使用调度设备108来为多媒体会议事件生成多媒体会议事件保留。该多媒体会议事件保留可包括多媒体会议事件的会议受邀者的列表。该会议受邀者列表可包括受邀参与多媒体会议事件的各个人的列表。在某些情况下，该会议受邀者列表只可包括获得参与多媒体事件的受邀并接受邀请的那些人。诸如Microsoft Outlook的邮件客户端等客户机应用程序将保留请求转发给多媒体会议服务器130。多媒体会议服务器130可接收多媒体会议事件保留，并且从诸如企业资源目录160等网络设备中检索会议受邀者的列表和会议受邀者的相关联信息。
企业资源目录160可包括发布操作员和/或网络资源的公共目录的网络设备。由企业资源目录160发布的网络资源的常见示例包括网络打印机。例如，在一个实施例中，企业资源目录160可被实现为MICROSOFT现用目录
Figure BPA00001204942400102
现用目录是用于为网络计算机提供中央认证和授权服务的轻量级目录访问协议(LDAP)目录服务的一种实现。现用目录还允许管理员分配策略、部署软件并应用对组织的关键更新。现用目录将信息和设置存储在中央数据库中。现用目录网络可以在从具有几百个对象的小型安装到具有几百万个对象的大型安装的范围内变化。
在各实施例中，企业资源目录160可包括关于多媒体会议事件的各个会议受邀者的标识信息。该标识信息可包括能够唯一地标识每一个会议受邀者的任何类型的信息。例如，标识信息可包括但不限于姓名、位置、联系人信息、账号、职业信息、组织信息(例如，头衔)、个人信息、连接信息、到场信息、网络地址、媒体访问控制(MAC)地址、网际协议(IP)地址、电话号码、电子邮件地址、协议地址(例如，SIP地址)、设备标识符、硬件配置、软件配置、有线接口、无线接口、所支持的协议、以及其他所需信息。
多媒体会议服务器130可接收包括会议受邀者列表在内的多媒体会议事件保留，并从企业资源目录160中检索对应的标识信息。多媒体会议服务器130可使用该会议受邀者列表和对应的标识信息来帮助自动地标识多媒体会议事件的参与者。例如，多媒体会议服务器130可将会议受邀者列表和所附标识信息转发给会议控制台110-1-m以供在多媒体会议事件的视觉合成中标识参与者时使用。
再次参考会议控制台110-1-m，会议控制台110-1-m中的每一个都可包括或实现各自的视觉合成组件114-1-t。视觉合成组件114-1-t一般可用于为多媒体会议事件生成视觉合成108并在显示器116上显示该视觉合成108。尽管视觉合成108和显示器116被示为作为示例而非限制的会议控制台110-1的一部分，但可以理解，会议控制台110-1-m中的每一个都可包括与显示器116类似、并且能够为会议控制台110-1-m的每一个操作员呈现视觉合成108的电子显示器。
例如，在一个实施例中，本地会议控制台110-1可包括显示器116以及可用于为多媒体会议事件生成视觉合成108的视觉合成组件114-1。该视觉合成组件114-1可包括被安排成生成在数字域中提供会议参与者(例如，154-1-p)的更自然表示的视觉合成108的各种硬件元件和/或软件元件。该视觉合成108集成并聚集与多媒体会议事件中的每一个参与者相关的不同类型的多媒体内容，包括视频内容、音频内容、标识信息等。该视觉合成以允许查看者聚焦于视觉合成的一特定区域以收集关于一个参与者的参与者专用信息、并聚焦于另一特定区域以收集关于另一参与者的参与者专用信息等的方式来呈现所集成和聚集的信息。以此方式，查看者可聚焦于多媒体会议事件的交互部分，而不是花时间从不同的源收集参与者信息。一般而言的会议控制台110-1-m，具体而言的视觉合成组件114可参考图2更详细地描述。
图2示出了视觉合成组件114-1-t的框图。视觉合成组件114可包括多个模块。这些模块可使用硬件元件、软件元件或硬件元件和软件元件的组合来实现。虽然如图2所示的视觉合成组件114具有呈特定拓扑结构的有限数量的元素，但可以理解，视觉合成组件114视给定实现所需可包括呈替换拓扑结构的更多或更少的元素。各实施例在此上下文中不受限制。
在图2所示的实施例中，视觉合成组件114包括视频解码器模块210。视频解码器210一般可解码经由多媒体会议服务器130从各个会议控制台110-1-m接收到的媒体流。例如，在一个实施例中，视频解码器模块210可被安排成从参与多媒体会议事件的各个会议控制台110-1-m接收输入媒体流202-1-f。视频解码器模块210可将输入媒体流202-1-f解码成适于由显示器116显示的数字或模拟视频内容。此外，视频解码器模块210可将输入媒体流202-1-f解码成适于显示器116的各种空间分辨率和时间分辨率以及由视觉合成108使用的显示帧。
视觉合成组件114-1可包括通信地耦合到视频解码器模块210的活跃说话者检测器(ASD)模块220。ASD模块220一般可检测已解码媒体流202-1-f中的任何参与者是否是活跃说话者。针对ASD模块220可实现各种活跃说话者检测技术。例如，在一个实施例中，ASD模块220可检测并测量已解码媒体流中的语音能量，根据从最高语音能量到最低语音能量来对测量进行排序，并将具有最高语音能量的已解码媒体流选为表示当前活跃说话者。然而，可使用其他ASD技术并且各实施例在该上下文中不受限制。
然而，在某些情况下，输入媒体流202-1-f可能包含不止一个参与者，诸如来自位于会议室150中的本地会议控制台110-1的输入媒体流202-1。在这种情况下，ASD模块220可被安排成使用音频(声源局部化)和视频(运动和空间图案)特征来从位于会议室150中的参与者154-1-p中检测出主要或活跃说话者。ASD模块220可以在若干个人同时讲话时确定会议室150中的主要说话者。该模块还补偿背景噪声和反射声音的硬表面。例如，ASD模块220可从六个单独的话筒104-1-r接收输入以便在不同的声音之间进行区分并通过被称为波束形成(beamforming)的过程来隔离主要声音。话筒104-1-r中的每一个都被内置到会议控制台110-1的不同部分中。不管声音的速度如何，话筒104-1-r可以在彼此相对不同的时间间隔从参与者154-1-p处接收语音信息。ASD模块220可使用时间差来标识语音信息的源。一旦标识了语音信息的源，本地会议控制台110-1的控制器就可使用来自摄像机106-1-p的视觉提示来精确定位、放大和强调主要说话者的脸部。以此方式，本地会议控制台110-1的ASD模块220从会议室150中隔离出单个参与者154-1-p作为发送侧的活跃说话者。
视觉合成组件114-1可包括通信地耦合到ASD模块220的媒体流管理器(MSM)模块230。MSM模块230一般可将已解码媒体流映射到各个显示帧。例如，在一个实施例中，MSM模块230可被安排成将具有活跃说话者的已解码媒体流映射到活动显示帧，并将其他已解码媒体流映射到非活动显示帧。
视觉合成组件114-1可包括通信地耦合到MSM模块230的视觉合成生成器(VCG)模块240。VCG模块240一般可呈现或生成视觉合成108。例如，在一个实施例中，VCG模块240可被安排成生成具有以预定次序定位的活动显示帧和非活动显示帧的参与者名单的视觉合成。VCG模块240可经由给定会议控制台110-1-m的操作系统的视频图形控制器和/或GUI模块向显示器116输出视觉合成信号206-1-g。
视觉合成组件114-1可包括通信地耦合到VCG模块240的注释模块250。注释模块250一般可以用标识信息注释参与者。例如，在一个实施例中，注释模块250可被安排成接收用标识信息来注释活动或非活动显示帧中的参与者的操作员命令。注释模块250可确定用于定位标识信息的标识位置。注释模块250然后可以在标识位置处用标识信息来注释参与者。
图3示出了视觉合成108的更详细图示。视觉合成108可包括被排列成特定马赛克或显示图案以供呈现给诸如会议控制台110-1-m的操作员等查看者的各个显示帧330-1-a。每一个显示帧330-1-a都被设计成呈现或显示来自媒体流202-1-f的多媒体内容，诸如来自由MSM模块230映射到显示帧330-1-a的对应媒体流202-1-f的视频内容和/或音频内容。
在图3所示的实施例中，例如，视觉合成108可包括包含用于显示诸如来自演示应用软件的演示幻灯片304等应用程序数据的主查看区域的显示帧330-6。此外，视觉合成108可包括包含显示帧330-1到330-5的参与者名单306。可以理解，视觉合成108可包括具有如给定实现所需要的不同大小和替换排列的更多或更少的显示帧330-1-s。
参与者名单306可包括多个显示帧330-1到330-5。显示帧330-1到330-5可提供由会议控制台110-1-m传递的来自各个媒体流202-1-f的参与者302-1-b的视频内容和/或音频内容。参与者名单306中的各个显示帧330-1可以按从视觉合成108的顶部到视觉合成108的底部的预定次序来定位，诸如显示帧330-1在接近顶部的第一位置，显示帧330-2在第二位置，显示帧330-3在第三位置，显示帧330-4在第四位置，而显示帧330-5在接近底部的第五位置。由显示帧330-1到330-5显示的参与者302-1-b的视频内容可以按各种格式呈现，诸如“头和肩膀”剪切块(例如，具有或不具有任何背景)、可覆盖其他对象的透明对象、透视和全景视图中的矩形区域等等。
参与者名单306中的显示帧330-1-b的预定次序并非必需是静态的。例如，在某些实施例中，预定次序可出于多个原因而变化。例如，操作员可以基于个人偏好来手动配置预定次序中的部分或全部。在另一示例中，视觉合成组件114-1-t可基于以下各项来自动修改预定次序：参与者加入或离开给定多媒体会议事件、修改显示帧330-1-a的显示大小、改变为显示帧330-1-a所呈现的视频内容的空间或时间分辨率、显示帧330-1-a的视频内容中所示出的参与者302-1-b的数量、不同的多媒体会议事件等等。
在一个实施例中，视觉合成组件114-1-t可基于如由ASD模块220实现的ASD技术来自动修改预定次序。因为某些多媒体会议时间的活跃说话者通常在频繁的基础上改变，所以查看者可能难以查明显示帧330-1-a中的哪一个包含当前活跃说话者。为了解决这个和其他问题，参与者名单306可具有为活跃说话者320保留预定次序中的第一个位置的显示帧330-1-a的预定次序。
VCG模块240可用于生成具有使活动显示帧330-1处在预定次序的第一位置的参与者名单306的视觉合成108。活动显示帧可以指被特别设计成显示活跃说话者320的显示帧330-1-a。例如，在一个实施例中，VCG模块240可被安排成将预定次序中的对应于具有被指定为当前活跃说话者的参与者的视频内容的显示帧330-1-a的位置移至该预定次序中的第一位置。例如，假设如在第一显示帧330-1中示出的来自第一媒体流202-1的参与者302-1被指定为第一时间间隔处的活跃说话者320。还假设ASD模块220检测到活跃说话者320在第二时间间隔处从参与者302-4改为如在第四显示帧330-4中示出的来自第四媒体流202-4的参与者302-4。VCG模块240可将第四显示帧330-4从预定次序中的第四位置移至该预定次序中为活跃说话者320保留的第一位置。VCG模块240然后可将第一显示帧330-1从预定次序中的第一位置移至该预定次序中第四显示帧330-4刚刚空出的第四位置。这例如对于实现诸如示出显示帧330-1-a在交换操作期间的移动等视觉效果可以是合乎需要的，由此向查看者提供活跃说话者320已改变的视觉提示。
MSM模块230可被安排成交换映射到具有被指定为当前活跃说话者320的参与者的视频内容的显示帧330-1-a的媒体流202-1-f，而不是交换显示帧330-1-a在预定次序中的位置。使用前一示例，MSM模块230可以在显示帧330-1、330-4之间交换相应媒体流202-1、202-4，而不是响应于活跃说话者320的改变来交换显示帧330-1、330-4的位置。例如，MSM模块230可使得第一显示帧330-1显示来自第四媒体流202-4的视频内容，并使得第四显示帧330-4显示来自第一媒体流202-1的视频内容。这例如对于减少重画显示帧330-1-a所需的计算资源的量可以是合乎需要的，由此为其他视频处理操作释放资源。
VCG模块240可用于生成具有使非活动显示帧330-2处在预定次序的第二位置的参与者名单306的视觉合成108。非活动显示帧可以指未被设计成显示活跃说话者320的显示帧330-1-a。非活动显示帧330-2可具有对应于生成视觉合成108的会议控制台110-1-m的参与者302-2的视频内容。例如，视觉合成108的查看者通常是也在多媒体会议事件中的会议参与者。因此，输入媒体流202-1-f之一包括对于该查看者的视频内容和/或音频内容。查看者可能需要查看他们自己以确保正在使用正确的呈现技术，评估由该查看者信令的非口头通信等。因此，参与者名单306的预定次序中的第二个位置可包括该查看方的视频内容，而参与者名单306的预定次序中的第一个位置包括活跃说话者320。类似于活跃说话者320，查看方通常甚至在其他显示帧330-1、330-3、330-4和330-5在该预定次序中移动时也保持在预定次序中的第二个位置。这为查看者确保连续性并减少对扫描视觉合成108的其他区域的需求。
在某些情况下，操作员可以基于个人偏好来手动配置预定次序中的部分或全部。VCG模块240可用于接收将非活动显示帧330-1-a从预定次序中的当前位置移至该预定次序中的新位置的操作员命令。VCG模块240然后可响应于该操作员命令来将非活动显示帧330-1-a移至该新位置。例如，操作员可使用诸如鼠标、触摸屏、键盘等输入设备来控制指针340。操作员可拖放显示帧330-1-a以便手动形成显示帧330-1-a的任何所需次序。
除了显示输入媒体流202-1-f的音频内容和/或视频内容之外，参与者名单306还可用于显示关于参与者302-1-b的标识信息。注释模块250可用于接收用标识信息来注释活动显示帧(例如，显示帧330-1)或非活动显示帧(例如，显示帧330-2到330-5)中的参与者302-1-b的操作员命令。例如，假设具有拥有视觉合成108的显示器116的会议控制台110-1-m的操作员需要查看关于显示帧330-1-a中所示出的参与者302-1-b中的部分或全部的标识信息。注释模块250可从多媒体会议服务器130和/或企业资源目录160接收标识信息204。注释模块250可确定用于定位标识信息204的标识位置308，并在该标识位置308处用标识信息来注释参与者。标识信息308应相对靠近相关参与者302-1-b。标识位置308可包括显示帧330-1-a中的用于注释标识信息204的位置。在应用中，从查看视觉合成108的人的观点来看，标识信息204应足够靠近参与者302-1-b以便于参与者302-1-b的视频内容和关于参与者302-1-b的标识信息204之间的连接，同时降低或避免部分或完全遮住参与者302-1-b的视频内容的可能性。标识位置308可以是静态位置，或者可根据诸如参与者302-1-b的大小、参与者302-1-b的移动、显示帧330-1-a中的背景对象的改变等因素来动态变化。
在某些情况下，VCG模块240(或OS的GUI模块)可用于生成具有打开单独的GUI视图316的选项的菜单314，该单独的GUI视图316具有关于所选参与者302-1-b的标识信息204。例如，操作员可使用输入设备来控制指针340以悬停在诸如显示帧330-4等给定显示帧的上方，并且菜单314将自动或在激活时打开。选项之一可包括在被选择时打开具有标识信息350的GUI视图316的“打开联系人卡片”或某一类似标签。标识信息350可以与标识信息204相同或相似，但通常包括关于目标参与者302-1-b的更详细的标识信息。
对参与者名单306的动态修改提供用于与多媒体会议事件的虚拟会议室中的各个参与者302-1-b交互的更高效机制。然而，在某些实施例中，操作员或查看者可能需要将非活动显示帧330-1-a固定在预定次序中的当前位置，而不是使非活动显示帧330-1-a或对应于非活动显示帧330-1-a的视频内容在参与者名单306中来回移动。例如，如果查看者想要在多媒体会议事件的部分或全部中容易地定位并查看特定参与者，则这可以是合乎需要的。在这些情况下，操作员或查看者可选择非活动显示帧330-1-a以将其保持在参与者名单306的预定次序的当前位置中。响应于接收到操作员命令，VCG模块240可临时或永久地将所选非活动显示帧330-1-a分配到预定次序中的所选位置。例如，操作员或查看者可能想要将显示帧330-3分配到预定次序中的第三位置。诸如大头针图标306等视觉指示符可指示显示帧330-3被分配到第三位置并且将保持在该第三位置直到被释放。
用于上述实施例的操作可参考一个或多个逻辑流程来进一步描述。可以理解，除非另外指明，否则代表性的逻辑流程不一定要按所呈现的次序或者按任何特定次序来执行。而且，关于逻辑流程描述的各种活动可按串行或并行的方式执行。视给定一组设计和性能约束所需，逻辑流程可使用所述实施例的一个或多个硬件元素和/或软件元素或替换元素来实现。例如，逻辑流程可被实现为供逻辑设备(例如，通用或专用计算机)执行的逻辑(例如，计算机程序指令)。
图4示出逻辑流程400的一个实施例。逻辑流程400可表示由在此所描述的一个或多个实施例所执行的操作中的部分或全部。
如图4所示，逻辑流程400可在框402解码多媒体会议事件的多个媒体流。例如，视频解码器模块210可接收多个已编码媒体流202-1-f，并解码这些媒体流202-1-f以供由视觉合成108显示。已编码媒体流202-1-f可包括单独媒体流或由多媒体会议服务器130组合的混合媒体流。
逻辑流程400可以在框404将已解码媒体流中的参与者检测为活跃说话者。例如，ASD模块220可检测出已解码媒体流202-1-f中的参与者302-1-b是活跃说话者320。活跃说话者320能够并通常的确在给定多媒体会议事件期间频繁地改变。因此，随着时间的流逝，不同的参与者302-1-b可被指定为活跃说话者320。
逻辑流程400可在框406将具有活跃说话者的已解码媒体流映射到活动显示帧，并将其他已解码媒体流映射到非活动显示帧。例如，MSM模块230可将具有活跃说话者320的已解码媒体流202-1-f映射到活动显示帧330-1，并将其他已解码媒体流映射到非活动显示帧330-2-a。
逻辑流程400可在框408生成具有以预定次序定位的活动显示帧和非活动显示帧的参与者名单的视觉合成。例如，VCG模块240可生成具有以预定次序定位的活动显示帧330-1和非活动显示帧330-2-a的参与者名单306的视觉合成108。VCG模块240可响应于改变的条件来自动修改预定次序，或者操作员可按需手动修改预定次序。
图5进一步示出了适于实现会议控制台110-1-m或多媒体会议服务器130的计算体系结构510的更详细框图。在基本配置中，计算体系结构510通常包括至少一个处理单元532和存储器534。存储器534可以使用能够存储数据的任何机器可读的或计算机可读介质来实现，包括易失性和非易失性存储器。例如，存储器534可以包括只读存储器(ROM)、随机存取存储器(RAM)、动态RAM(DRAM)、双数据率DRAM(DDRAM)、同步DRAM(SDRAM)、静态RAM(SRAM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪存、诸如铁电聚合物存储器等聚合物存储器、奥氏存储器、相变或铁电存储器、硅-氧化物-氮化物-氧化物-硅(SONOS)存储器、磁卡或光卡、或适于存储信息的任何其它类型的介质。如图5所示，存储器534可存储各种软件程序，诸如一个或多个应用程序536-1-t和附带数据。取决于实现，应用程序536-1-t的示例可包括服务器会议组件132、客户机会议组件112-1-n或视觉合成组件114。
计算体系结构510还可具有除其基本配置之外的附加特征和/或功能。例如，计算体系结构510可包括可移动存储538和不可移动存储540，这些存储还可包括如上所述的各种类型的机器可读的或计算机可读介质。计算体系结构510还可具有一个或多个输入设备544，如键盘、鼠标、笔、语音输入设备、触摸输入设备、测量设备、传感器等。计算体系结构510还可包括一个或多个输出设备542，诸如显示器、扬声器、打印机等。
计算体系结构510还可包括允许计算体系结构510与其它设备进行通信的一个或多个通信连接546。通信连接546可以包括各种类型的标准通信元件，如一个或多个通信接口、网络接口、网络接口卡(NIC)、无线电、无线发射机/接收机(收发机)、有线和/或无线通信介质、物理连接器等。通信介质通常以诸如载波或其他传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其他数据，并包括任意信息传送介质。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被设定或更改的信号。作为示例而非限制，通信介质包括有线通信介质和无线通信介质。有线通信介质的示例可以包括导线、电缆、金属线、印刷电路板(PCB)、背板、交换光纤、半导体材料、双绞线、同轴电缆、光纤、经传播的信号等。无线通信介质的示例可以包括声学、射频(RF)频谱、红外和其它无线介质。此处使用的术语机器可读介质和计算机可读介质旨在包括存储介质和通信介质两者。
图6示出了适用于存储包括逻辑流程400在内的用于各实施例的逻辑的制品600的图示。如图所示，制品600可包括存储逻辑602的存储介质604。存储介质602的示例可包括能够存储电子数据的一种或多种类型的计算机可读存储介质，包括易失性存储器或非易失性存储器、可移动或不可移动存储器、可擦除或不可擦除存储器、可写或可重写存储器等。逻辑604的示例可包括各种软件元素，诸如软件组件、程序、应用软件、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、函数、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、文字、值、符号、或其任意组合。
例如，在一个实施例中，制品600和/或计算机可读存储介质602可存储包括可执行计算机程序指令的逻辑604，这些指令在被计算机执行时使该计算机执行根据所述实施例的方法和/或操作。可执行计算机程序指令可包括任何合适类型的代码，诸如源代码、已编译代码、已解释代码、可执行代码、静态代码、动态代码等。可执行计算机程序指令可根据用于指示计算机执行特定功能的预定义的计算机语言、方式或句法来实现。这些指令可使用任何合适的高级、低级、面向对象、可视、已编译和/或已解释编程语言来实现，诸如C、C++、Java、BASIC、Perl、Matlab、Pascal、Visual BASIC、汇编语言等。
各实施例可以使用硬件元素、软件元素或两者的组合来实现。硬件元素的示例可以包括如先前关于逻辑设备所提供的任何示例，且还可以包括微处理器、电路、电路元件(例如，晶体管、电阻器、电容器、电感器等等)、集成电路、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片组等等。软件元素的示例可以包括软件组件、程序、应用软件、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、函数、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、文字、值、符号、或其任意组合。确定一实施例是否使用硬件元素和/或软件元素来实现可视给定实现所需根据任何数量的因素而变化，这些因素如所需计算速率、功率级、耐热性、处理周期预算、输入数据速率、输出数据速率、存储器资源、数据总线速度以及其它设计或性能约束。
某些实施例可使用表述“耦合的”和“连接的”及其派生词来描述。这些术语不必旨在互为同义词。例如，某些实施例可使用术语“连接的”和/或“耦合的”来描述以指示两个或更多元素彼此有直接的物理或电接触。然而，术语“耦合的”还可以意味着两个或更多元素彼此不直接接触，而仍彼此合作或交互。
要强调的是，提供了本公开的摘要以符合37C.F.R.1.72(b)节，该节要求使读者能快速确定本技术公开的特性的摘要。提交摘要的同时要明白，将不用它来解释或限制权利要求的范围或含义。另外，在前面的详细描述中，可以看到，出于将本公开连成一个整体的目的而将各种特征组合在一起放在单个实施例中。此公开方法将不被解释为反映所要求保护的实施例要求比每个权利要求中明确陈述的更多特征的意图。相反，如以下权利要求书所反映的，本发明的主题决不在于单个公开实施例的所有特征。从而，据此将所附权利要求结合进详细描述中，其中每个权利要求独立地代表一个单独的实施例。在所附权利要求书中，术语“包括”和“其中”分别用作术语“包含”和“其特征在于”的易懂的英文等价词。而且，术语“第一”、“第二”、“第三”等等只用作标记，而不旨在将数字要求强加于其对象上。
尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，上述具体特征和动作是作为实现权利要求的示例形式公开的。

Claims (20)

1.一种方法，包括：
解码多媒体会议事件的多个媒体流(402)；
将已解码媒体流中的参与者检测为活跃说话者(404)；
将具有所述活跃说话者的已解码媒体流映射到活动显示帧、并将其他已解码媒体流映射到非活动显示帧(406)；以及
生成具有以预定次序定位的所述活动显示帧和所述非活动显示帧的参与者名单的视觉合成(408)。
2.如权利要求1所述的方法，其特征在于，包括接收用标识信息来注释活动或非活动显示帧中的参与者的操作员命令。
3.如权利要求1所述的方法，其特征在于，包括确定用于定位关于活跃或非活动显示帧中的参与者的标识信息的标识位置。
4.如权利要求1所述的方法，其特征在于，包括在标识位置处用标识信息来注释活动或非活动显示帧中的参与者。
5.如权利要求1所述的方法，其特征在于，包括生成具有打开单独的图形用户界面视图的选项的菜单，所述单独的图形用户界面视图具有关于所选参与者的标识信息。
6.如权利要求1所述的方法，其特征在于，包括生成具有使所述活动显示帧处在所述预定次序中的第一位置的参与者名单的视觉合成。
7.如权利要求1所述的方法，其特征在于，包括生成具有使非活动显示帧处在所述预定次序中的第二位置的参与者名单的视觉合成，所述非活动显示帧具有对应于生成所述视觉合成的会议控制台的参与者的视频内容。
8.如权利要求1所述的方法，其特征在于，包括响应于操作员命令来将非活动显示帧从所述预定次序中的当前位置移至所述预定次序中的新位置。
9.如权利要求1所述的方法，其特征在于，包括响应于操作员命令来将非活动显示帧固定在所述预定次序中的当前位置。
10.一种包括包含指令的存储介质的制品，所述指令如果被执行则可使系统能够：
解码多媒体会议事件的多个媒体流；
将已解码媒体流中的参与者检测为活跃说话者；
将具有所述活跃说话者的已解码媒体流映射到活动显示帧、并将其他已解码媒体流映射到非活动显示帧；以及
生成具有以预定次序定位的所述活动显示帧和所述非活动显示帧的参与者名单的视觉合成。
11.如权利要求10所述的制品，其特征在于，还包括如果被执行则使所述系统能够用标识信息来注释活动或非活动显示帧中的参与者的指令。
12.如权利要求10所述的制品，其特征在于，还包括如果被执行则使所述系统能够生成具有使所述活动显示帧处在所述预定次序中的第一位置的参与者名单的视觉合成的指令。
13.如权利要求10所述的制品，其特征在于，还包括如果被执行则使所述系统能够生成具有使非活动显示帧处在所述预定次序中的第二位置的参与者名单的视觉合成的指令，所述非活动显示帧具有对应于生成所述视觉合成的会议控制台的参与者的视频内容。
14.如权利要求10所述的制品，其特征在于，还包括如果被执行则使所述系统能够响应于操作员命令来将非活动显示帧从所述预定次序中的当前位置移至所述预定次序中的新位置的指令。
15.一种装置，包括：
视觉合成组件(114)，所述视觉合成组件可用于为多媒体会议事件生成视觉合成(108)，所述视觉合成组件包括：
视频解码器模块(210)，所述视频解码器模块可用于解码多媒体会议事件的多个媒体流(202)；
通信地耦合到所述视频解码器模块的活跃说话者检测器模块(220)，所述活跃说话者检测器模块可用于将已解码媒体流中的参与者检测为活跃说话者；
通信地耦合到所述活跃说话者检测器模块的媒体流管理器模块(230)，所述媒体流管理器模块可用于将具有所述活跃说话者的已解码媒体流映射到活动显示帧(330-1)、并将其他已解码媒体流映射到非活动显示帧(330-2、330-3)；以及
通信地耦合到所述媒体流管理器模块的视觉合成生成器模块(240)，所述视觉合成生成器模块可用于生成具有以预定次序定位的所述活动显示帧和所述非活动显示帧的参与者名单(306)的视觉合成。
16.如权利要求15所述的装置，其特征在于，包括通信地耦合到所述视觉合成生成器模块的注释模块(250)，所述注释模块可用于接收用标识信息(204)来注释活动或非活动显示帧中的参与者的操作员命令，确定用于定位所述标识信息的标识位置(308)，并在所述标识位置处用标识信息来注释所述参与者。
17.如权利要求15所述的装置，其特征在于，包括视觉合成生成器模块，所述视觉合成生成器模块可用于生成具有使所述活动显示帧处在所述预定程序中的第一位置的参与者名单的视觉合成。
18.如权利要求15所述的装置，其特征在于，包括视觉合成生成器模块，所述视觉合成生成器模块可用于生成具有使非活动显示帧处在所述预定程序中的第二位置的参与者名单的视觉合成，所述非活动显示帧具有对应于生成所述视觉合成的会议控制台(110)的参与者的视频内容。
19.如权利要求15所述的装置，其特征在于，包括视觉合成生成器模块，所述视觉合成生成器模块可用于接收将非活动显示帧从所述预定次序中的当前位置移至所述预定次序中的新位置的操作员命令，并响应于所述操作员命令来将所述非活动显示帧移至所述新位置。
20.如权利要求15所述的装置，其特征在于，包括具有显示器(116)和所述视觉合成组件的会议控制台(110)，所述视觉合成组件用于在所述显示器上呈现所述视觉合成。
CN2009801053893A 2008-02-14 2009-01-29 用于为多媒体会议事件生成视觉合成的技术 Pending CN101946511A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/030,872 2008-02-14
US12/030,872 US20090210789A1 (en) 2008-02-14 2008-02-14 Techniques to generate a visual composition for a multimedia conference event
PCT/US2009/032314 WO2009102557A1 (en) 2008-02-14 2009-01-29 Techniques to generate a visual composition for a multimedia conference event

Publications (1)

Publication Number Publication Date
CN101946511A true CN101946511A (zh) 2011-01-12

Family

ID=40956296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801053893A Pending CN101946511A (zh) 2008-02-14 2009-01-29 用于为多媒体会议事件生成视觉合成的技术

Country Status (10)

Country Link
US (1) US20090210789A1 (zh)
EP (1) EP2253141A4 (zh)
JP (1) JP5303578B2 (zh)
KR (1) KR20100116662A (zh)
CN (1) CN101946511A (zh)
BR (1) BRPI0907024A8 (zh)
CA (1) CA2711463C (zh)
RU (1) RU2518402C2 (zh)
TW (1) TWI549518B (zh)
WO (1) WO2009102557A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103533294A (zh) * 2012-07-03 2014-01-22 中国移动通信集团公司 视频数据流的发送方法、终端及系统
CN107533417A (zh) * 2015-04-16 2018-01-02 微软技术许可有限责任公司 在通信会话中呈现消息
CN110336972A (zh) * 2019-05-22 2019-10-15 深圳壹账通智能科技有限公司 一种视频数据的播放方法、装置、及计算机设备

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8452344B2 (en) * 2005-08-25 2013-05-28 Nokia Corporation Method and device for embedding event notification into multimedia content
US8612868B2 (en) * 2008-03-26 2013-12-17 International Business Machines Corporation Computer method and apparatus for persisting pieces of a virtual world group conversation
EP2109285A1 (en) * 2008-04-11 2009-10-14 Hewlett-Packard Development Company, L.P. Conference system and method
US20090259937A1 (en) * 2008-04-11 2009-10-15 Rohall Steven L Brainstorming Tool in a 3D Virtual Environment
US8843552B2 (en) * 2008-04-21 2014-09-23 Syngrafii Inc. System, method and computer program for conducting transactions remotely
US10289671B2 (en) * 2008-05-07 2019-05-14 Microsoft Technology Licensing, Llc Graphically displaying selected data sources within a grid
US8402391B1 (en) 2008-09-25 2013-03-19 Apple, Inc. Collaboration system
US8902272B1 (en) 2008-11-24 2014-12-02 Shindig, Inc. Multiparty communications systems and methods that employ composite communications
US9401937B1 (en) 2008-11-24 2016-07-26 Shindig, Inc. Systems and methods for facilitating communications amongst multiple users
US8587634B1 (en) * 2008-12-12 2013-11-19 Cisco Technology, Inc. System and method for intelligent mode switching in a communications environment
US9268398B2 (en) * 2009-03-31 2016-02-23 Voispot, Llc Virtual meeting place system and method
US9344745B2 (en) 2009-04-01 2016-05-17 Shindig, Inc. Group portraits composed using video chat systems
US8779265B1 (en) 2009-04-24 2014-07-15 Shindig, Inc. Networks of portable electronic devices that collectively generate sound
AU2011214952B2 (en) 2010-02-12 2016-08-04 Let's Powow Limited Public collaboration system
US9041765B2 (en) 2010-05-12 2015-05-26 Blue Jeans Network Systems and methods for security and privacy controls for videoconferencing
US8878773B1 (en) 2010-05-24 2014-11-04 Amazon Technologies, Inc. Determining relative motion as input
US9124757B2 (en) 2010-10-04 2015-09-01 Blue Jeans Networks, Inc. Systems and methods for error resilient scheme for low latency H.264 video coding
US8995306B2 (en) * 2011-04-06 2015-03-31 Cisco Technology, Inc. Video conferencing with multipoint conferencing units and multimedia transformation units
US20140047025A1 (en) * 2011-04-29 2014-02-13 American Teleconferencing Services, Ltd. Event Management/Production for an Online Event
US9369673B2 (en) 2011-05-11 2016-06-14 Blue Jeans Network Methods and systems for using a mobile device to join a video conference endpoint into a video conference
US9300705B2 (en) 2011-05-11 2016-03-29 Blue Jeans Network Methods and systems for interfacing heterogeneous endpoints and web-based media sources in a video conference
US9007421B2 (en) * 2011-06-21 2015-04-14 Mitel Networks Corporation Conference call user interface and methods thereof
US10088924B1 (en) 2011-08-04 2018-10-02 Amazon Technologies, Inc. Overcoming motion effects in gesture recognition
US8683054B1 (en) * 2011-08-23 2014-03-25 Amazon Technologies, Inc. Collaboration of device resources
US20130097244A1 (en) 2011-09-30 2013-04-18 Clearone Communications, Inc. Unified communications bridging architecture
US9203633B2 (en) * 2011-10-27 2015-12-01 Polycom, Inc. Mobile group conferencing with portable devices
US9024998B2 (en) 2011-10-27 2015-05-05 Pollycom, Inc. Pairing devices in conference using ultrasonic beacon
US9491404B2 (en) 2011-10-27 2016-11-08 Polycom, Inc. Compensating for different audio clocks between devices using ultrasonic beacon
EP2595354A1 (en) * 2011-11-18 2013-05-22 Alcatel Lucent Multimedia exchange system for exchanging multimedia, a related method and a related multimedia exchange server
US20130169742A1 (en) * 2011-12-28 2013-07-04 Google Inc. Video conferencing with unlimited dynamic active participants
US9223415B1 (en) 2012-01-17 2015-12-29 Amazon Technologies, Inc. Managing resource usage for task performance
BR112014026611A2 (pt) 2012-05-01 2018-05-15 Lisnr, Llc método de distribuição e gerenciamento de conteúdo
US11452153B2 (en) 2012-05-01 2022-09-20 Lisnr, Inc. Pairing and gateway connection using sonic tones
KR101969802B1 (ko) * 2012-06-25 2019-04-17 엘지전자 주식회사 이동 단말기 및 재생 영상의 오디오 줌잉 방법
US9813255B2 (en) * 2012-07-30 2017-11-07 Microsoft Technology Licensing, Llc Collaboration environments and views
US8902322B2 (en) 2012-11-09 2014-12-02 Bubl Technology Inc. Systems and methods for generating spherical images
US9065971B2 (en) 2012-12-19 2015-06-23 Microsoft Technology Licensing, Llc Video and audio tagging for active speaker detection
US20150077509A1 (en) 2013-07-29 2015-03-19 ClearOne Inc. System for a Virtual Multipoint Control Unit for Unified Communications
CN104349107A (zh) * 2013-08-07 2015-02-11 联想(北京)有限公司 一种双摄像头的视频录制的显示方法和电子设备
CN104349117B (zh) 2013-08-09 2019-01-25 华为技术有限公司 多内容媒体通信方法、装置及系统
US9679331B2 (en) * 2013-10-10 2017-06-13 Shindig, Inc. Systems and methods for dynamically controlling visual effects associated with online presentations
WO2015058799A1 (en) * 2013-10-24 2015-04-30 Telefonaktiebolaget L M Ericsson (Publ) Arrangements and method thereof for video retargeting for video conferencing
US10271010B2 (en) 2013-10-31 2019-04-23 Shindig, Inc. Systems and methods for controlling the display of content
US9733333B2 (en) 2014-05-08 2017-08-15 Shindig, Inc. Systems and methods for monitoring participant attentiveness within events and group assortments
US9070409B1 (en) 2014-08-04 2015-06-30 Nathan Robert Yntema System and method for visually representing a recorded audio meeting
EP3207639A4 (en) 2014-10-15 2018-04-11 Lisnr, Inc. Inaudible signaling tone
TWI602437B (zh) 2015-01-12 2017-10-11 仁寶電腦工業股份有限公司 視訊與音訊處理裝置及其視訊會議系統
US11956290B2 (en) * 2015-03-04 2024-04-09 Avaya Inc. Multi-media collaboration cursor/annotation control
US10447795B2 (en) * 2015-10-05 2019-10-15 Polycom, Inc. System and method for collaborative telepresence amongst non-homogeneous endpoints
US10771508B2 (en) 2016-01-19 2020-09-08 Nadejda Sarmova Systems and methods for establishing a virtual shared experience for media playback
US9686510B1 (en) 2016-03-15 2017-06-20 Microsoft Technology Licensing, Llc Selectable interaction elements in a 360-degree video stream
US10204397B2 (en) 2016-03-15 2019-02-12 Microsoft Technology Licensing, Llc Bowtie view representing a 360-degree image
US9706171B1 (en) 2016-03-15 2017-07-11 Microsoft Technology Licensing, Llc Polyptych view including three or more designated video streams
US11233582B2 (en) 2016-03-25 2022-01-25 Lisnr, Inc. Local tone generation
US10133916B2 (en) 2016-09-07 2018-11-20 Steven M. Gottlieb Image and identity validation in video chat events
JP2017097852A (ja) * 2016-09-28 2017-06-01 日立マクセル株式会社 投射型画像表示装置
JP6798288B2 (ja) 2016-12-02 2020-12-09 株式会社リコー 通信端末、通信システム、映像出力方法、及びプログラム
EP3361706A1 (en) * 2017-02-14 2018-08-15 Webtext Holdings Limited A redirection bridge device and system, a method of redirection bridging, method of use of a user interface and a software product
US11189295B2 (en) 2017-09-28 2021-11-30 Lisnr, Inc. High bandwidth sonic tone generation
US10826623B2 (en) 2017-12-19 2020-11-03 Lisnr, Inc. Phase shift keyed signaling tone
DE102017131420A1 (de) * 2017-12-29 2019-07-04 Unify Patente Gmbh & Co. Kg Echtzeit-Kollaborations-Plattform und Verfahren zum Ausgeben von Mediaströmen über ein Echtzeit-Ansagesystem
JP2022076685A (ja) * 2020-11-10 2022-05-20 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
CN112616035B (zh) * 2020-11-23 2023-09-19 深圳市捷视飞通科技股份有限公司 多画面拼接方法、装置、计算机设备和存储介质
CN113784189B (zh) * 2021-08-31 2023-08-01 Oook(北京)教育科技有限责任公司 一种圆桌视频会议的生成方法、装置、介质和电子设备
US11700335B2 (en) * 2021-09-07 2023-07-11 Verizon Patent And Licensing Inc. Systems and methods for videoconferencing with spatial audio

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2573177B2 (ja) * 1986-02-28 1997-01-22 株式会社東芝 電子会議システムにおける図形表示装置
JP3036088B2 (ja) * 1991-01-21 2000-04-24 日本電信電話株式会社 複数画像ウインドウ表示用音信号出力方法
JPH0715710A (ja) * 1993-06-22 1995-01-17 Hitachi Ltd テレビ会議システム
US6594688B2 (en) * 1993-10-01 2003-07-15 Collaboration Properties, Inc. Dedicated echo canceler for a workstation
US7185054B1 (en) * 1993-10-01 2007-02-27 Collaboration Properties, Inc. Participant display and selection in video conference calls
JPH07307935A (ja) * 1994-05-11 1995-11-21 Hitachi Ltd 会議画面表示制御装置
JPH07336660A (ja) * 1994-06-14 1995-12-22 Matsushita Electric Ind Co Ltd テレビ会議システム
JPH0837655A (ja) * 1994-07-26 1996-02-06 Kyocera Corp 話者識別表示機能を有するテレビ会議システム
RU2144283C1 (ru) * 1995-06-02 2000-01-10 Интел Корпорейшн Способ и устройство для управления вводом участников в систему конференц-связи
KR19980701471A (ko) * 1995-11-15 1998-05-15 이데이 노부유키 다지점 비디오 회의 장치(Multipoint video conference apparatus)
JPH09149396A (ja) * 1995-11-27 1997-06-06 Fujitsu Ltd 多地点テレビ会議システム
US6628767B1 (en) * 1999-05-05 2003-09-30 Spiderphone.Com, Inc. Active talker display for web-based control of conference calls
US6795106B1 (en) * 1999-05-18 2004-09-21 Intel Corporation Method and apparatus for controlling a video camera in a video conferencing system
US20030125954A1 (en) * 1999-09-28 2003-07-03 Bradley James Frederick System and method at a conference call bridge server for identifying speakers in a conference call
US6760750B1 (en) * 2000-03-01 2004-07-06 Polycom Israel, Ltd. System and method of monitoring video and/or audio conferencing through a rapid-update web site
US6590604B1 (en) * 2000-04-07 2003-07-08 Polycom, Inc. Personal videoconferencing system having distributed processing architecture
US6956828B2 (en) * 2000-12-29 2005-10-18 Nortel Networks Limited Apparatus and method for packet-based media communications
EP1381237A3 (en) * 2002-07-10 2004-05-12 Seiko Epson Corporation Multi-participant conference system with controllable content and delivery via back-channel video interface
US20040008249A1 (en) * 2002-07-10 2004-01-15 Steve Nelson Method and apparatus for controllable conference content via back-channel video interface
JP4055539B2 (ja) * 2002-10-04 2008-03-05 ソニー株式会社 双方向コミュニケーションシステム
US7454460B2 (en) * 2003-05-16 2008-11-18 Seiko Epson Corporation Method and system for delivering produced content to passive participants of a videoconference
US8140980B2 (en) * 2003-08-05 2012-03-20 Verizon Business Global Llc Method and system for providing conferencing services
US20050071427A1 (en) * 2003-09-29 2005-03-31 Elmar Dorner Audio/video-conferencing with presence-information using content based messaging
CA2537944C (en) * 2003-10-08 2010-11-30 Cisco Technology, Inc. System and method for performing distributed video conferencing
US8081205B2 (en) * 2003-10-08 2011-12-20 Cisco Technology, Inc. Dynamically switched and static multiple video streams for a multimedia conference
US8659636B2 (en) * 2003-10-08 2014-02-25 Cisco Technology, Inc. System and method for performing distributed video conferencing
US7624166B2 (en) * 2003-12-02 2009-11-24 Fuji Xerox Co., Ltd. System and methods for remote control of multiple display and devices
KR100569417B1 (ko) * 2004-08-13 2006-04-07 현대자동차주식회사 마이크로웨이브를 이용한 폐고무분말의 연속식표면개질장치와 이를 이용한 표면개질방법
US20060047749A1 (en) * 2004-08-31 2006-03-02 Robert Davis Digital links for multi-media network conferencing
US7180535B2 (en) * 2004-12-16 2007-02-20 Nokia Corporation Method, hub system and terminal equipment for videoconferencing
US20060149815A1 (en) * 2004-12-30 2006-07-06 Sean Spradling Managing participants in an integrated web/audio conference
US7475112B2 (en) * 2005-03-04 2009-01-06 Microsoft Corporation Method and system for presenting a video conference using a three-dimensional object
US7593032B2 (en) * 2005-07-20 2009-09-22 Vidyo, Inc. System and method for a conference server architecture for low delay and distributed conferencing applications
US20070100939A1 (en) * 2005-10-27 2007-05-03 Bagley Elizabeth V Method for improving attentiveness and participation levels in online collaborative operating environments
US8125509B2 (en) * 2006-01-24 2012-02-28 Lifesize Communications, Inc. Facial recognition for a videoconference
US7822811B2 (en) * 2006-06-16 2010-10-26 Microsoft Corporation Performance enhancements for video conferencing
US8289363B2 (en) * 2006-12-28 2012-10-16 Mark Buckler Video conferencing
US7729299B2 (en) * 2007-04-20 2010-06-01 Cisco Technology, Inc. Efficient error response in a video conferencing system
US20090193327A1 (en) * 2008-01-30 2009-07-30 Microsoft Corporation High-fidelity scalable annotations
US20090204465A1 (en) * 2008-02-08 2009-08-13 Santosh Pradhan Process and system for facilitating communication and intergrating communication with the project management activities in a collaborative environment

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103533294A (zh) * 2012-07-03 2014-01-22 中国移动通信集团公司 视频数据流的发送方法、终端及系统
CN107533417A (zh) * 2015-04-16 2018-01-02 微软技术许可有限责任公司 在通信会话中呈现消息
CN110336972A (zh) * 2019-05-22 2019-10-15 深圳壹账通智能科技有限公司 一种视频数据的播放方法、装置、及计算机设备

Also Published As

Publication number Publication date
KR20100116662A (ko) 2010-11-01
TWI549518B (zh) 2016-09-11
JP2011514043A (ja) 2011-04-28
RU2518402C2 (ru) 2014-06-10
RU2010133959A (ru) 2012-02-20
BRPI0907024A2 (pt) 2015-07-07
CA2711463C (en) 2016-05-17
TW200939775A (en) 2009-09-16
CA2711463A1 (en) 2009-08-20
JP5303578B2 (ja) 2013-10-02
EP2253141A4 (en) 2013-10-30
US20090210789A1 (en) 2009-08-20
EP2253141A1 (en) 2010-11-24
BRPI0907024A8 (pt) 2019-01-29
WO2009102557A1 (en) 2009-08-20

Similar Documents

Publication Publication Date Title
CN101946511A (zh) 用于为多媒体会议事件生成视觉合成的技术
CN102138324B (zh) 用于管理多媒体会议事件的媒体内容的技术
US9781385B2 (en) User interfaces for presentation of audio/video streams
US9369673B2 (en) Methods and systems for using a mobile device to join a video conference endpoint into a video conference
CN101952852A (zh) 用于自动标识多媒体会议事件的参与者的技术
US20110131498A1 (en) Presentation method and presentation system using identification label
US9923982B2 (en) Method for visualizing temporal data
CN102217310A (zh) 用于本地远程出席视频会议系统的控制系统和用于建立视频会议呼叫的方法
CN102067579A (zh) 管理多媒体会议事件的白板的技术
Oloyede et al. COVID-19 lockdown and remote attendance teaching in developing countries: A review of some online pedagogical resources
US20100066806A1 (en) Internet video image producing method
Sakata et al. Real-time desktop conference system based on integrated group communication protocols
Russ Desktop conversations—the future of multimedia conferencing
CN117097865A (zh) 一种无延时感的远程会议系统及方法
Russ Desktop conversations—the future of multimedia conferencing
Caladine The Future of Real Time Communications Technologies in E-Learning
UA104334C2 (uk) Спосіб та система інтерактивного медіателекомунікаційного зв'язку

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150723

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150723

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20110112