CN101198945B - 用于富媒体环境的管理系统 - Google Patents

用于富媒体环境的管理系统 Download PDF

Info

Publication number
CN101198945B
CN101198945B CN200480036697.2A CN200480036697A CN101198945B CN 101198945 B CN101198945 B CN 101198945B CN 200480036697 A CN200480036697 A CN 200480036697A CN 101198945 B CN101198945 B CN 101198945B
Authority
CN
China
Prior art keywords
rich media
task
media environments
interested
thread
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200480036697.2A
Other languages
English (en)
Other versions
CN101198945A (zh
Inventor
S·J·维
H·H·贝克
N·T·巴蒂
M·科维尔
M·哈维尔
D·G·格尔布
D·坦圭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of CN101198945A publication Critical patent/CN101198945A/zh
Application granted granted Critical
Publication of CN101198945B publication Critical patent/CN101198945B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1827—Network arrangements for conference optimisation or adaptation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H04L65/4038—Arrangements for multi-party communication, e.g. for conferences with floor control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/306—User profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/563—User guidance or feature selection
    • H04M3/564—User guidance or feature selection whereby the feature is a sub-conference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/567—Multimedia conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667—Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/30—Definitions, standards or architectural aspects of layered protocol stacks
    • H04L69/32—Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
    • H04L69/322—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions
    • H04L69/329—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions in the application layer [OSI layer 7]

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Computer And Data Communications (AREA)
  • Telephonic Communication Services (AREA)
  • Transition And Organic Metals Composition Catalysts For Addition Polymerization (AREA)

Abstract

一种用于富媒体环境的管理系统，其能够汇集相对较大量的传感和再现部件以用于多种任务和服务。根据本教导的管理系统包括服务管理器400，该服务管理器通过协调在富媒体环境中的一组任务来提供与富媒体环境有关的通信服务，并且还包括任务管理器402，该任务管理器通过将一组处理资源和通信资源分配给每个任务并响应于来自服务管理器400的对每个任务的请求而执行每个任务来管理每个任务。

Description

用于富媒体环境的管理系统
背景
视频会议系统可以用于在分布于多个会议场所的参会者之间提供通信。在视频会议系统中的每个会议场所可以配备有视频/音频传感设备和视频/音频再现(rendering)设备。视频/音频传感设备可以用于控制通信对话(session)以及获得会议的视频/音频记录。所获得的视频/音频记录可以被传送到一个远程会议场所，并在该远程会议场所中的视频/音频再现设备上再现。
对于参会者而言，分成副(side)组以进行私人的或者集中的讨论可能是常见的。遗憾的是，现有视频会议系统不可以促进不同会议场所的参会者之间的副组通信。例如，在现有视频会议系统中传感和再现设备的互连每次只可以允许一个讨论组。
另外，现有视频会议系统不可以使位于不同会议场所的参会者协作创建文档。现有视频会议系统可以增加基于计算机的文档共享系统。遗憾的是，文档共享系统不可以很好地集成到视频会议系统中。
发明概要
公开了一种富媒体环境的管理系统，其能够汇集相对较大量的传感和再现部件以用于多种任务和服务。根据本教导的管理系统包括服务管理器，该服务管理器通过协调富媒体环境中的一组任务来提供与富媒体环境有关的通信服务，并且还包括任务管理器，该任务管理器通过响应于来自服务管理器的对每个任务的请求而将一组处理资源和通信资源分配给每个任务并执行每个任务来管理每个任务，其中所述通信服务包括用于通过使用机器视觉技术来跟踪在富媒体环境中的人造品的服务。
根据随后的详细描述，本发明的其他特征和优点将是显而易见的。
附图简述
相对于本发明的特定典型实施例来描述本发明，并因此参考附图，其中：
图1示出根据本教导的系统；
图2示出使用富媒体环境进行通信的方法；
图3示出富媒体环境中个体(individual)之间的主会话(conversation)和副会话的例子；
图4示出通信提供器的一个实施例；
图5示出包括一对示例富媒体环境的本系统的实施例；
图6示出根据本教导的富媒体环境；
图7示出根据本教导的管理系统中的服务管理器和任务管理器；
图8示出根据本教导的管理系统中的用户管理器和部件管理器；
图9示出根据本教导的管理系统中的感兴趣(interest)区域管理器和感兴趣线程管理器；
图10示出根据本教导的管理系统中的性能监视器、系统控制器、以及对话管理器。
详细描述
图1示出根据本教导的系统10。系统10包括一组富媒体环境12-14、感兴趣线程检测器16和通信提供器18。感兴趣线程检测器16和/或通信提供器18的功能可以如所示地被集中或者可以分布于富媒体环境12-14中。
每个富媒体环境12-14包括传感和再现部件的配置。富媒体环境12-14中的传感部件可以包括任何种类的话筒、摄像机、运动检测器等。诸如键盘、鼠标、小键盘、触摸屏等之类的输入设备可以被看作传感部件。富媒体环境12-14中的再现部件可以包括任何类型的视觉显示器和音频扬声器。富媒体环境12-14可以以任何邻近的空间来实现。示例包括会议室、会见室、户外会场例如体育比赛等。每个富媒体环境12-14优选地包括相对较大量的传感和再现部件，从而能够使传感和再现部件灵活地运用到多种通信交互上。因此叫做富媒体环境。
感兴趣线程检测器16使用富媒体环境12-14中的传感部件来检测富媒体环境12-14中个体之间的通信交互的形成。感兴趣线程检测器16为每个检测到的通信交互创建一个感兴趣线程。通信提供器18选择富媒体环境12-14中的传感和再现部件的子集，以用于与在每个感兴趣线程中涉及的个体通信，并且在所选择的传感和再现部件之间传送媒体数据以支持每个感兴趣线程。
图2示出一种利用富媒体环境进行通信的方法。在步骤30，检测一组个体之间的通信交互的形成。在步骤32，为每个检测到的通信交互创建一个感兴趣线程。
图3示出富媒体环境12和14中个体之间的主会话和副会话的例子。感兴趣线程1是为主会话创建的，并且感兴趣线程2是为副会话创建的。
对每个感兴趣线程执行步骤34-38。在步骤34，与相应感兴趣线程有关的一组媒体数据从传感部件被获取，以及在步骤36，响应于感兴趣线程中参加和未参加的个体的活动而组合所获取的媒体数据。在步骤38，将所组合的媒体数据传送到感兴趣线程的再现部件。
通信交互即感兴趣线程可以涉及富媒体环境12-14之一中的个体。例如，感兴趣线程检测器16可以检测富媒体环境12中的两个或更多个体之间的通信交互。
通信交互可以涉及富媒体环境12-14的两个或更多个中的个体。例如，感兴趣线程检测器16可以检测富媒体环境12中的个体与富媒体环境13中的个体之间的通信交互。
通信交互可以与富媒体环境12-14之一中的人造品(artifact)有关。人造品可以被定义为除个体之外的任何事物，例如无生命的对象、动物、机器人对象等。例如，感兴趣线程检测器16可以检测富媒体环境12中涉及一张纸、白板、或者其他感兴趣项的通信交互。人造品可以是在显示器上再现并包括计算机维护的文档历史的电子文档。
感兴趣线程检测器16可以通过检测富媒体环境12-14中一个或多个个体之一的视觉线索例如姿势、移动等来检测通信交互的形成。视觉线索可以与相同富媒体环境中的另一个个体有关，或者可以与另一个富媒体环境中的一个个体有关。例如，富媒体环境12中的个体可以指向或者接近富媒体环境12中的另一个个体，并且感兴趣线程检测器16作为响应在富媒体环境12中的这两个个体之间创建感兴趣线程。在另一个例子中，富媒体环境12中的个体可以指向富媒体环境12中的一个视觉显示器，同时位于富媒体环境13中的个体正被再现在该视觉显示器上，并且感兴趣线程检测器16作为响应在富媒体环境12中的个体和富媒体环境13中的个体之间创建感兴趣线程。
感兴趣线程检测器16可以利用机器视觉技术来检测视觉线索。例 如，富媒体环境12-14中的传感部件可以包括数字摄像机，并且感兴趣线程检测器16可以使用多种已知的机器视觉技术来检测个体的移动、姿势等。另外，富媒体环境12-14中的传感部件可以包括话筒，并且感兴趣线程检测器16可以使用多种已知的音频处理技术来检测富媒体环境12-14中的个体和个体的移动。
感兴趣线程检测器16可以通过检测音频线索例如口头语音来检测通信交互的形成。感兴趣线程检测器16可以响应于经由图形用户接口的用户输入而创建感兴趣线程。
对于每个感兴趣线程，通信提供器18从相应子集的传感部件获取一组媒体数据。对于每个感兴趣线程，通信提供器18响应于相应个体的活动而组合所获取的媒体数据，并将组合的媒体数据传送给相应子集的再现部件。举几个例子，可以导致媒体数据被组合的活动可以包括个体的语音电平、个体的姿势或者个体的移动。通信提供器18响应于该活动而提炼从传感器部件所获得的媒体数据。另外，通信提供器18可以存储所组合的媒体数据以提供相应通信交互的历史。
通信提供器18为感兴趣线程选择富媒体环境12-14的传感和再现部件的子集，以响应于感兴趣线程中涉及的每个个体的位置以及与富媒体环境12-14中的传感和再现部件有关的一组特征。例如，数字摄像机的特征可以指定其在富媒体环境中的覆盖区域，即数字摄像机能够采样的富媒体环境的区域。类似地，话筒的特征可以指定话筒能够采样的富媒体环境的区域，并且视觉显示器的特征可以指定视觉显示器能够到达的富媒体环境的区域。通信提供器18可以使用机器视觉或者音频处理技术来定位在感兴趣线程中涉及的个体，并接着基于在感兴趣线程中涉及的个体的位置以及那些个体的富媒体环境中的传感和再现部件的覆盖区域来为该感兴趣线程选择传感和再现部件。
系统10可以包括一个或多个用于保存富媒体环境12-14中传感和再现部件的特征的记录的数据库。当为感兴趣线程选择传感和再现部件时，通信提供器18可以访问该数据库。
通信提供器18监视每个感兴趣线程，并且需要时重新选择传感和再现部件。例如，通信提供器18可以检测到在感兴趣线程中涉及的一个或多个个体何时移出当前选择的传感和再现部件的覆盖区域。通信提供器18可以使用机器视觉或者音频处理技术来检测在感兴趣线程中 涉及的个体的移动。作为响应，通信提供器18基于在感兴趣线程中涉及的个体的新位置以及可用的传感和再现部件的指定覆盖区域来为感兴趣线程选择新的一组传感和再现部件。
为感兴趣线程选择和重新选择传感和再现部件可以基于参与感兴趣线程的个体的位置和移动以及没有参与该感兴趣线程的个体的位置和移动。例如，自适应调零(nulling)技术可以用于选择将未参加的个体从私人的副会话中排除的再现部件。
图4示出通信提供器18的一个实施例。在该实施例中，通信提供器18包括传感任务20、数据组合器21、再现任务22、以及通信任务24。传感任务20、数据组合器21、再现任务22、以及通信任务24中的一个或多个可以如所示地被集中或者分布于富媒体环境12-14中。
传感任务20从已为特定感兴趣线程所选择的富媒体环境12-14中的传感部件获取传感器数据，并从所获取的传感器数据中提取一组与该特定感兴趣线程有关的数据。例如，传感任务20可以从所选择的话筒中获取传感器数据，并接着使用音频处理技术来提取在特定感兴趣线程中涉及的个体的话音。在另一个例子中，传感任务20可以从所选择的数字摄像机中获取传感器数据，并使用机器视觉技术来提取在特定感兴趣线程中涉及的个体的图像。传感任务20可以使用数字摄像机的扫视和缩放功能来获取相关个体的视觉数据。
数据组合器21从传感任务20获得传感器数据，分析视频内容，并组合所获取的视频以便选择个体或者人造品或者感兴趣区域的最佳视图。用于平铺、重叠、合成或者组合视频的多种已知方法的任何一种都可以用于组合要在单个显示器上再现的多个同步视频源。通过音频分析、运动分析、注视分析、或者姿势分析，数据组合器21在任何给定时刻选择组合哪些视频流。
例如，可以根据下面的任何技术来选择最佳的摄像机视图。如果话筒所测量的音频电平高于所有其他的音频电平，则可以选择覆盖该话筒周围的可见区域的摄像机视图。当语音/噪声鉴别器将音频输入分类为语音时，则选择离该话筒最近的其嘴和下巴正在移动的个体的视图。当由摄像机正在获取的内容中运动电平的测量(例如经由帧差)为高时，可以选择包含该运动的视图。当被认为在说话的个体正指向富媒体环境的另一部分时，那么可以选择与他们的姿势的方向最佳对 准的视图。当多个个体都注视同一方向时，那么可以选择最佳地包含那些注视方向的交叉点的视图。
数据组合器21可以自动地提炼由富媒体环境12-14中的摄像机所获取的视图，以更清楚地显示个体或者人造品或者感兴趣区域。例如，基于视频的面部检测、运动检测、以及肤色检测方法可以用于数字地缩放、居中、和/或裁切视图以更好地将摄像机聚焦在所相关的个体上。如果使用跟踪方法来监视摄像机视场中个体的位置，则可以允许缩放、居中和裁切参数以在会议期间动态改变。
类似地，数据组合器21分析并组合由话筒所获取的音频，以便选择最佳音频表示。当多个同步话筒记录被组合成一个时，可以使用用于波束形成、自适应调零或者音频混合的任何已知方法。在任何给定时刻选择组合哪些音频流可以通过音频分析或者运动分析或者立体分析来执行。
例如，可以根据以上列出的任何技术来选择最佳的音频源位置。这可以导致选择下述的任何一个：(1)单个话筒，例如离所确定的感兴趣区域最近的话筒，或者(2)利用话筒阵列由自适应波束形成/零控制(null-steering)的任何已知方法产生的音频。
由数据组合器21产生的组合媒体数据是通信交互的媒体数据的压缩的索引的形式。组合的媒体数据可以记录在持久的存储设备例如盘中。所存储的即所存档的数据能够使得随后浏览在通信交互中发生的事件。系统10可以存储显示什么被选择为“最佳”视图的单个视频流，其由拼接在一起的在通信交互的每个时刻的“最佳”视频内容(feed)组成。系统10可以存储重放什么被选择为“最佳”音频的单个音频流，其由拼接在一起的来自会议的每个时刻的“最佳”音频数据组成。系统10可以存储表示何时谁在说话的时间线索引。该信息可以根据位置并根据已知的基于音频的说话者识别方法来获得。系统10可以存储在通信交互期间所说的话的记录。这可以通过将语音识别软件应用于通信交互的单个存档的音频记录(上面所述的)来得到。系统10可以存储一组会议要点，其每个要点可以包含音频、视频、以及其他数据，其将通信交互的事件压缩成更短的时间，同时保留最重要的内容。可以将用于自动视频和/或音频概括的许多已知方法应用于上述的单个存档视频和/或音频流。
通信任务24从传感任务20获得与特定感兴趣线程有关的数据，并将其以媒体数据流传送到再现任务22。在一些实施例中，通信任务24使用网络通信协议，例如TCP/IP/UDP、HTTP、SOAPXML，以用于传送在传感任务20和再现任务22之间的媒体数据流以及控制数据。
再现任务22经由通信任务24获得特定感兴趣线程的媒体数据流，并使用所选择的该特定感兴趣线程的再现部件来再现所获得的媒体数据流。例如，再现任务22可以获得由所选择的数字摄像机所获取的视频数据，并接着将获得的视觉数据再现在所选择的视觉显示器上。类似地，再现任务22可以获得由所选择的话筒所获得的音频数据，并接着使用所选择的音频扬声器来再现所获得的音频数据。
在一个实施例中，感兴趣线程检测器16通过创建并监视富媒体环境12-14内的感兴趣区域来检测并跟踪富媒体环境12-14中的活动。感兴趣区域可以与富媒体环境12-14之一中的个体相关联。感兴趣区域可以与富媒体环境12-14之一中的人造品相关联。感兴趣区域可以与富媒体环境12-14之一中的区域相关联。例如，感兴趣线程检测器16可以检测人造品，例如使用机器视觉技术，并为检测到的人造品创建感兴趣区域。在另一个例子中，感兴趣线程检测器16可以检测一个或多个个体，例如使用机器视觉和/或音频处理技术，并接着为检测到的个体创建感兴趣区域。
感兴趣线程检测器16可以将一个或多个感兴趣区域与感兴趣线程相关联。例如，感兴趣线程检测器16可以检测富媒体环境12的区域中的一组个体和富媒体环境13的区域中的一组个体，为每个区域创建感兴趣区域，并接着将两个感兴趣区域与在这些区域中检测到的个体之间的通信交互的感兴趣线程相关联。
在一个实施例中的系统10包括通过跟踪相应感兴趣区域中的变化来跟踪感兴趣线程的变化的感兴趣区域跟踪器。例如，个体可以进入、离开感兴趣区域或者在感兴趣区域中改变位置。感兴趣区域跟踪器将感兴趣区域的变化报告给通信提供器18，以使通信提供器18能够在适当时为相应的感兴趣线程重新选择传感和再现部件。
图5示出包括一对示例的富媒体环境250-252的系统10的实施例。对富媒体环境250-252所示的配置只是示例，并且许多其他配置也 是可能的。
富媒体环境250具有包括下述的传感和再现部件的配置：一组数字摄像机140-145、一组话筒160-165、视频显示器200、以及一对扬声器180-181。一组个体120-126被显示为聚集在会议桌222的周围。人造品220例如一张纸被显示在会议桌222上。个体123具有手持设备328，例如PDA、手持计算机、蜂窝电话等。
富媒体环境252具有包括下述的传感和再现部件的配置：一组数字摄像机150-159、一组话筒170-174、话筒阵列175、一对视频显示器210-212以及一组扬声器190-194。一组个体130-136被显示为沿着会议桌226。个体132具有手持设备224，个体130具有手持设备326，以及个体135具有手持设备324。富媒体环境252包括白板228。
富媒体环境250与一组网络资源230、一组处理资源232以及一组任务234相关联。类似地，富媒体环境252与一组网络资源240、一组处理资源242以及一组任务244相关联。
网络资源230和240以及处理资源232和242为感兴趣线程检测器16和通信提供器18提供平台。感兴趣线程检测器16和通信提供器18的功能可以以任何方式分布于网络资源230和240以及处理资源232和242中。
网络资源230和240可以包括一个或多个网络信号路径、网络接口、客户和服务器硬件和软件等。网络资源230和240可以被实现为与外部服务器(未示出)通信的客户系统，或者可以被实现为相对于彼此的客户/服务器。
处理资源232和242可以包括处理器、存储器、数据库存储器等。处理资源232和242可以包括用于执行机器视觉功能、音频处理、音频/视频数据压缩/解压缩等的专用硬件/软件。处理资源232和242可以分布于包括富媒体环境250-252的传感和再现部件的一组硬件设备中。例如，数字摄像机140-145、150-159可以包括板上处理资源，用于通过执行mpeg编码来产生媒体流。类似地，视频显示器200、210-212可以包括用于执行mpeg解码的处理资源。
处理资源232和242可以包括个人计算机、膝上型计算机、手持计算机等，它们位于富媒体环境250-252中并具有适当的网络通信能力。例如，手持设备224可以被包括在处理资源242中。
另外，位于富媒体环境250-252中并具有适当的网络通信能力的手持设备可以用作传感和/或再现部件。例如，手持设备224可以包括传感和再现部件，其可以被包括在富媒体环境252的传感和再现部件中。
任务234和244提供一组可以由感兴趣线程检测器16和通信提供器18采用的任务。举几个例子，所述任务的示例包括使用机器视觉来检测人造品和个体的任务、使用音频处理来检测个体的任务、使用机器视觉和/或音频处理来检测个体的移动的任务、使用摄像机阵列获得立体视觉信息的任务。系统10可以包括管理部件，用于在需要时将任务部署到处理资源232和242。
任务234可以依赖于富媒体环境250的部件和处理资源，以及任务244可以依赖于富媒体环境250的部件和处理资源。例如，一些音频处理任务可能需要话筒阵列，该话筒阵列在富媒体环境252中可用，但在富媒体环境250中不可用。
感兴趣线程检测器16可以使用富媒体环境250-252中的传感部件来检测个体120-126和130-136之间的通信交互的形成，并为富媒体环境250-252之间的主交互创建感兴趣线程。主交互可以经由图形用户接口到感兴趣线程检测器16的用户输入而启动。为此目的，富媒体环境250-252可以包括用户接口硬件，例如小键盘、显示器、手持设备等。通信提供器18选择富媒体环境250-252中的传感和再现部件的子集，以基于那些部件的覆盖区域和富媒体环境250-252内个体120-126以及130-136的位置来使用主交互。例如，通信提供器18可以选择富媒体环境250中的数字摄像机143-144、话筒160-165、扬声器180-181和视频显示器200以及富媒体环境252中的数字摄像机152、157、话筒170、扬声器190-191和视频显示器210-212以用于主交互。
感兴趣线程检测器16可以根据个体120-126和130-136中一个的姿势来检测副会话。例如，感兴趣线程检测器16可以检测姿势，例如个体132斜向或者指向个体135，并为该副会话创建感兴趣线程。通信提供器18可以选择手持设备224和手持设备324以用于该感兴趣线程。手持设备324，例如PDA、蜂窝电话、膝上型计算机等，可以提供音频再现、视频再现、音频传感和视频传感能力的任何组合。例如，手持设备324可以是能够将电话呼叫中的媒体流发送至传感任务20和/或能够从再现任务22接收电话呼叫中的媒体流的设备。
在另一个例子中，感兴趣线程检测器16可以检测指着的个体130的姿势以及具有个体123图像的视频显示器212的区域，并为个体130和123之间的副会话创建感兴趣线程。通信提供器18可以选择数字摄像机150、话筒172、手持设备326、数字摄像机144、话筒165以及手持设备328，以用于该感兴趣线程。
如果传感设备例如话筒165由主交互和副会话共享，那么通信提供器18使用音频处理技术来提取与每个感兴趣线程有关的数据，并接着适当地路由所提取的数据。例如，从话筒165提取的与主会话有关的数据被路由到说话者190-191，而从话筒165提取的与副会话有关的数据被路由到手持设备326。
通信提供器18响应于所涉及的个体的移动来为主和副会话的感兴趣线程重新选择传感和再现部件。例如，如果移动导致个体130不再位于数字摄像机150的覆盖区域之内，则通信提供器18可以为涉及个体130和123的副会话的感兴趣线程选择数字摄像机151，并释放数字摄像机150。在另一个例子中，如果在主会话中涉及的说话者移出了数字摄像机143和144的覆盖区域，则通信提供器18可以为主会话的感兴趣线程选择数字摄像机140。
感兴趣线程检测器16可以使用机器视觉技术来检测作为人造品的纸220。例如，富媒体环境250可以包括具有桌子222的顶视图的数字摄像机，其实现纸220的模式识别。感兴趣线程检测器16可以创建与纸220有关的感兴趣区域，并随着时间的过去跟踪该感兴趣区域。与纸220相关的感兴趣区域可以与感兴趣线程相关。
感兴趣线程检测器16可以使用机器视觉技术来检测图画，即人造品，其由个体136传递到白板228上。例如，数字摄像机155-156能够采样白板228上的图像内容。感兴趣线程检测器16可以创建与白板228有关的感兴趣区域，并随着时间的过去跟踪该感兴趣区域。与白板228相关的感兴趣区域可以与感兴趣线程相关。例如，白板228的内容可以被采样并接着被再现到视频显示器200上，以作为感兴趣线程的一部分。
感兴趣线程检测器16可以使用机器视觉技术来检测作为人造品的纸220。例如，富媒体环境250可以包括具有桌子222的顶视图的数字摄像机，其实现纸220的模式识别。感兴趣线程检测器16可以创建与 纸220有关的感兴趣区域，并随着时间的过去跟踪该感兴趣区域。与纸220相关的感兴趣区域可以与感兴趣线程相关。
感兴趣线程检测器16可以使用机器视觉技术来检测图画区域，即共享的人造品。例如，数字摄像机155-156能够采样白板228上的图像内容。感兴趣线程检测器16可以创建与白板228有关的感兴趣区域，并随着时间的过去跟踪该感兴趣区域。与白板228相关的感兴趣区域可以与感兴趣线程相关。例如，白板228的内容可以被采样并接着被再现到视频显示器200上，以作为感兴趣线程的一部分。
系统10能够使协作于共享的人造品的多个个体之间进行通信交互，所述人造品的视图可以随着时间的过去而改变。这种共享的人造品的一个例子是共享的虚拟书写面，例如虚拟白板或者虚拟记事本。例如，个体可以使用诸如一拍纸簿(pad)的纸和书写工具之类的项，并且系统10使用计算机视觉方法来检测书写面。从检测书写面所获得的数据被再现给适当的个体以经由一个或多个显示面来观看。可以记录来自每个个体和所得的合成虚拟白板的数据。
涉及虚拟白板的通信交互可以包括位于相同富媒体环境或者不同富媒体环境中的个体。两个或者更多个书写面可以用作到共享的虚拟白板的输入。所有个体的所有书写都由富媒体环境中的摄像机发现，并被再现到适当的再现设备以供个体观看。通过利用数字投影仪，这些显示器优选地覆盖并对准一个或多个原始输入书写面。也可以使用其他类型的显示面，例如等离子体、膝上型计算机、计算机或者平板计算机显示器。
系统10可以存储当前共享的白板内容以及对共享白板的内容随着时间的过去所作的改变的历史。该历史可以被存储为一系列时间标记的或者时间排序的图像，从而显示出在协作对话过程中不同时间的共享白板内容的状态。所述历史能够取消最近对白板作出的一个或多个改变。所述历史也能够利用较早时间的白板的图像来替换当前显示的白板的内容。所述历史也能够显示由哪些个体作出了哪些标记。所述历史也能够重放协作对话。所述历史能够使用户交互地寻找过去的特定时间点。
图6示出根据本教导的富媒体环境300。富媒体环境300包括含有下述的传感和再现部件的配置：一组数字摄像机310-318、一组音频扬 声器320-323、一组话筒340-345、以及一组视频显示器320-332。富媒体环境还包括一组便携式设备350-352、例如蜂窝电话、PDA、膝上型计算机等，其中任何一个或者多个可以包括传感和或再现部件。例如，便携式设备可以包括数字摄像机、话筒、扬声器、视频显示器等的任何组合。
富媒体环境300由一组个体360-363使用。富媒体环境300可以被实现为会议室例如会议桌370、会见室、实验室等、或者任何类型的会场。富媒体环境300优选地包括相对较大量的传感和再现部件，从而能够灵活地运用传感和再现部件来执行任务和服务。
富媒体环境300与一组处理资源和一组网络资源相关联。处理资源的例子包括处理设备，例如计算机、专用处理设备、以及存储器和存储设备。网络资源的例子包括服务器、网络通信设备、网线、客户机设备等。一些处理和网络资源可以被包括在传感和再现部件中。例如，数字摄像机310-318可以包括板上网卡和/或板上mpeg编码器。类似地，视频显示器330-332包括板上网卡和/或板上mpeg解码器。另外，便携式设备350-352可以提供处理资源和/或网络资源以用于富媒体环境300。
图7示出根据本教导的管理系统420中的服务管理器400和任务管理器402。服务管理器400提供与富媒体环境300有关的一组通信服务440-442，以及任务管理器402执行一组支持通信服务440-442的任务450-452。
任务管理器402保存了可以在富媒体环境300中执行的任务450-452的列表。该列表可以基于富媒体环境300中的传感和再现部件的配置以及可用的处理和通信资源以及安装的软件。可用任务的列表可以在富媒体环境300的设置/配置过程中创建。
可以由任务管理器402执行的任务的一个例子是用于找出富媒体环境300中的个体的任务。找出个体的任务可以通过使用机器视觉来识别个体而执行。视觉识别任务的可用性可以依赖于数字摄像机以及处理和网络资源以及用于从数字摄像机获得个体图像并将所获得的图像与所存储的已知个体的图像相比较的软件的可用性。找出个体的任务可以通过话音识别来执行。话音识别任务的可用性可以依赖于话筒以及处理和网络资源以及用于获得个体的语音样本并将所获得的语音 样本与所存储的已知个体的语音样本相比较的软件的可用性。
可以由任务管理器402执行的任务的另一个例子是用于跟踪个体的移动的任务。跟踪个体的任务可以使用机器视觉或者音频处理技术来执行。
可以由任务管理器402执行的任务的另一个例子是用于检测个体的姿势的任务。检测姿势的任务可以使用机器视觉技术来执行。
可以由任务管理器402执行的任务的另一个例子是用于执行话音识别的任务。可以由任务管理器402执行的任务的又一个例子是用于执行语音识别的任务。
可以由任务管理器402执行的任务的另一个例子是用于从富媒体环境300中的位置获取一组传感器数据的任务。传感器数据可以是来自话筒340-345的音频数据和/或来自数字摄像机310-318的视频数据和/或来自便携式设备350-352的音频和/或视频数据。
可以由任务管理器402执行的任务的又一个例子是用于将一组数据再现到富媒体环境300中的位置的任务。所述数据可以是要使用音频扬声器320-323再现的音频数据和/或要使用视频显示器330-332和/或便携式设备350-352再现的视频数据。
可以由任务管理器402执行的任务的另一个例子是用于产生富媒体环境300的3D模型的任务。该任务的可用性可以依赖于适当配置的数字摄像机的阵列以及处理和网络资源以及用于获得立体图像并构造所获得的图像的3D表示的软件的可用性。
服务管理器400使用任务管理器402来执行每个通信服务440-442所需要的适当任务。服务管理器400将请求发送至任务管理器402以执行所需的任务，并且任务管理器402将一组处理资源和通信资源分配给请求的任务，并且执行所请求的任务。
由服务管理器400提供的通信服务的一个例子是用于跟踪富媒体环境300中的一组个体中每个个体的移动的服务。例如，服务管理器400可以通过向任务管理器402请求定位个体360的任务和跟踪个体360的移动的任务以及定位个体361的任务和跟踪个体361的移动的任务来提供跟踪个体360-361的移动的服务。两个定位任务的输出可以用作这两个跟踪任务的输入。
由服务管理器400提供的通信服务的另一个例子是用于将通信信 道提供给富媒体环境300中的一组个体的服务。例如，服务管理器400可以通过向任务管理器402请求定位个体360的任务和从个体360获得传感器数据的任务和将数据再现给个体360的任务以及定位个体361的任务和从个体361获得传感器数据的任务和将数据再现给个体361的任务来提供在个体360-361之间的通信信道的服务。从个体360获得的传感器数据可以用作再现给个体361的数据，反之亦然。响应于个体360-361中每个的当前位置以及传感和再现部件的覆盖区域和其他职责，可以选择要由这些任务使用的传感和再现部件。服务管理器400也可以请求用于跟踪个体360-361的移动的任务，所以产生需要时可以更新用于通信信道的传感和再现部件。
图8示出管理系统420中的用户管理器404和部件管理器406。用户管理器404管理富媒体环境300中的个体360-363之间的通信和协作，以及部件管理器406管理富媒体环境300的部件，所述富媒体环境300包括其传感和再现部件、处理资源、存储资源、网络资源以及其便携设备。
用户管理器404保存一组用于各个个体360-363的用户简档460-463。例如，个体360的简档460可以包括在富媒体环境300内个体360的当前位置。简档460可以包括与个体360有关的一组属性。个体的一组属性可以在涉及富媒体环境300的正在进行的会议的情况下有意义。例如，属性可以指定个体的资格或者专业领域。所述属性可以用于形成个体360-363以及其他富媒体环境或者远程场所中的个体之间的通信交互，所述远程场所中的个体例如是具有手持设备、蜂窝电话等的远程用户。例如，可以基于他们的专业、等级、组织因素等在个体之间形成通信交互。
用户管理器404提供个体360-363的简档460-463的图形用户接口视图。用户管理器404也可以提供与其他富媒体环境相关的个体的图形用户接口视图，所述其他富媒体环境具有与富媒体环境300中的个体360-363正在进行的通信交互。
当个体360-363进入富媒体环境300时，用户管理器404识别他们。例如，富媒体环境300可以包括图形用户接口，例如键盘/小键盘、显示器等，其能够使个体在进入富媒体环境300时提供标识信息。用户管理器404可以使用富媒体环境中的传感和再现部件以用于图形用 户接口。富媒体环境300可以包括条形码检测器、磁码检测器等，其在个体进入富媒体环境300时获得与个体有关的标识信息。个体的标识信息可以被存储在个体的用户简档中。
用户管理器404可以使用由服务管理器400提供的服务例如图像或者话音识别来识别个体360-363。用户管理器404使用由服务管理器400提供的服务来跟踪个体360-363随着时间的过去在富媒体环境300内的位置。可以使用个体360-363的位置来形成个体360-363以及其他富媒体环境或者远程场所中的个体之间的通信交互，并且选择传感和再现部件以用于通信交互。
用户管理器404跟踪富媒体环境300内的便携式设备350-352。例如，每个便携式设备350-352可以与个体相关，并被登记在个体的用户简档中。
部件管理器406保存一组部件记录470-472。部件记录470-472包括富媒体环境300的每个传感和再现部件的记录。传感或再现部件的部件记录可以指定其在富媒体环境300中的位置和覆盖区域、以及任何其他有关信息，例如阵列的一部分或者部件的阵列。传感或再现部件的部件记录可以指定传感部件当前被分配的任何感兴趣线程和/或感兴趣区域。
部件记录470-472包括与富媒体环境300相关的每个处理资源、存储资源和网络资源的部件记录。处理资源、存储资源或者网络资源的部件记录可以基于其当前正在执行的任务来指定其可用性或者可用能力。
部件记录470-472包括可以在富媒体环境300中使用的便携式设备350-352的每个部件的部件记录。便携式设备的部件记录可以指定其所相关的个体和/或它可拥有并可以由管理系统420使用的处理性能。
图9示出管理系统420中的感兴趣区域管理器408和感兴趣线程管理器410。感兴趣区域管理器408管理富媒体环境300中的一组感兴趣区域，而感兴趣线程管理器410管理与富媒体环境300有关的一组感兴趣线程。
感兴趣区域管理器408标识富媒体环境300中的感兴趣区域。感兴趣区域可以与富媒体环境300中的个体或者富媒体环境300中的人造品或者富媒体环境300内的子区域相关联。感兴趣区域管理器408 可以通过例如使用服务440-442来标识富媒体环境300中的一个或多个个体或者人造品来标识感兴趣区域。感兴趣区域管理器408可以通过将富媒体环境300细分成一组子区域并为每个子区域创建感兴趣区域来标识一组感兴趣区域。
感兴趣区域管理器408为每个标识的感兴趣区域创建一组感兴趣区域记录480-482。每个感兴趣区域记录480-482包括在相应感兴趣区域中所包含的个体的标识和位置。感兴趣区域管理器408选择要用于每个感兴趣区域的富媒体环境300的传感和再现部件，并在感兴趣区域记录480-482中标识所选择的部件。
感兴趣区域管理器408使用服务440-442来随着时间的过去跟踪每个感兴趣区域并检测与感兴趣区域相关的个体或者人造品的移动。感兴趣区域管理器408在感兴趣区域记录480-482中记录该移动，并且该信息可以用于重新选择传感和再现部件以便为感兴趣区域提供适当的覆盖区域。
感兴趣区域管理器408可以从感兴趣线程管理器410获得所需目标再现请求的列表，并接着确定获取目标取景器的感兴趣区域所需要的传感和再现部件。例如，目标再现请求可以请求特定个体或者人造品的视频或者音频，或者可以请求在感兴趣区域之一中个体或者人造品的特定透视图。
感兴趣线程管理器410使用富媒体环境300中的传感部件来检测个体360-363以及其他富媒体环境中的个体或者远程位置的个体之间的通信交互的形成。感兴趣线程管理器410为所检测到的每个通信交互创建一组感兴趣线程记录490-492。感兴趣线程管理器410可以通过使用服务440-442检测一个或多个个体360-363之一的视觉线索例如姿势、移动等来检测通信交互的形成。感兴趣线程管理器410可以通过使用服务440-442检测个体360-363的口头语音线索来检测通信交互的形成。感兴趣线程管理器410可以响应于经由图形用户接口的用户输入来创建感兴趣线程。
感兴趣线程管理器410可以经由感兴趣区域管理器408跟踪感兴趣线程中的变化，并将变化记录在感兴趣线程记录490-492中。例如，感兴趣线程管理器410可以将感兴趣线程与由感兴趣区域管理器408跟踪的一个或多个感兴趣区域相关联，以使感兴趣线程中的变化依赖 于其下面的感兴趣区域中的变化。
感兴趣线程管理器410管理与富媒体环境300相关的正在进行的感兴趣线程。例如，感兴趣线程管理器410获得与在正在进行的感兴趣线程中所涉及的个体的移动有关的信息。感兴趣线程管理器410可以使用该信息来检测在正在进行的感兴趣线程中所涉及的新个体以及离开正在进行的感兴趣线程的个体。感兴趣线程管理器410可以使用该信息来检测正在进行的感兴趣线程的合并以及正在进行的感兴趣线程的分裂。例如，在第一感兴趣线程中涉及的个体向在第二感兴趣线程中涉及的个体移动可以表示第一和第二感兴趣线程的合并。类似地，在第一感兴趣线程中涉及的个体远离在第二感兴趣线程中涉及的个体可以表示第一和第二感兴趣线程的分裂。如果一个感兴趣线程在预定时间段内没有活动或者如果所有涉及的个体实际上或者虚拟地离开彼此，则感兴趣线程管理器410可以结束该感兴趣线程。
图10示出管理系统420中的性能监视器412、系统控制器414、以及对话管理器416。性能监视器412提供图形用户接口来监视系统性能。性能监视器412产生一组系统的视图，包括系统的用户视图、系统的感兴趣区域视图、系统的感兴趣线程视图、系统的部件视图、系统的任务管理器视图、以及系统的服务视图。
系统控制器414使操作者能够控制部分系统。系统控制器414产生图形用户接口来显示系统性能和系统状态。系统控制器414使操作者能够手动地指定富媒体环境300中的感兴趣区域，并匹配感兴趣区域和感兴趣线程。系统控制器414使操作者能够手动地控制用于感兴趣区域和感兴趣线程的富媒体环境300的部件。
对话管理器416创建管理系统420和另一个富媒体环境的管理系统之间的对话。
用于跟踪个体的移动的任务可以被实现为基于视觉的个人跟踪系统。个人跟踪系统可以基于对区域的被动观察来检测并跟踪个体。个人跟踪系统可以基于平面成像来检测和跟踪个体，所述平面成像是至少部分地从表示区域中视觉场景的深度图像的视频流中获得的。个人跟踪系统可以产生三维的网格或点云。三维点云具有带有从视频流获得的一个或多个相关属性的成员，并表示由地平面和正交于该地平面的垂直轴所跨越的三维坐标系中所选择的深度图像像素。三维点云被 分成一组垂直方向的面元(bin)。所划分的三维点云被映射成平面图像，所述平面图像对于每个垂直方向的面元都包含一个相应的像素，该像素具有基于一个或多个属性所计算的一个或多个值、或者占据相应垂直方向面元的三维点云成员的计数。至少部分地基于平面图像来跟踪对象。三维网格是具有明确的连续性的三维点云。
感兴趣线程是动态实体，该动态实体可以被看作具有从创建感兴趣线程到对感兴趣线程可能的一次或多次的修改到破坏感兴趣线程的生存期。对感兴趣线程的修改可以在对象/个体离开相应的通信交互时进行。例如，如果个体离开了组会话，则相应的感兴趣线程以进行修改而继续。可以把线程修改事件通知给在修改的感兴趣线程中涉及的其他个体。
感兴趣线程可以合并和分支。合并就是将两个或更多个预先存在的感兴趣线程组合成一个感兴趣线程。分支就是将一个感兴趣线程分裂成两个或更多个感兴趣线程。感兴趣线程也可以在富媒体环境之间移动。
用户简档也可以包括许可简档。许可简档可以与感兴趣线程或者对象或个体有关。线程许可可以用来使线程对于组预定为私人、公开或者受限。线程许可可以控制是否把与感兴趣线程有关的存在和活动通知给富媒体环境中的任何个体。在感兴趣线程开始时，它可以被指定为专用线程，并且不允许任何人收听。会议的说话者可以开始感兴趣线程并允许每个人收听。
用户许可使用户能够使他们的动作和存在不被检测到。感兴趣线程检测器不能监视这种个体的属性或者动作。
以上对本发明的详细描述是为了说明的目的而提供的，并且不打算是穷举的或者将本发明限制于所公开的确切实施例。因此，本发明的范围由所附权利要求书来限定。

Claims (8)

1.一种用于富媒体环境的管理系统，包括：
服务管理器(400)，其通过协调在富媒体环境中的一组任务来提供与富媒体环境有关的通信服务；
任务管理器(402)，其通过响应于来自服务管理器(400)的对每个任务的请求而将一组处理资源和通信资源分配给每个任务并执行每个任务来管理每个任务，以及
感兴趣线程管理器，其使用所述富媒体环境中的传感部件来检测所述富媒体环境中的个体以及其他富媒体环境中的个体或者远程位置的个体之间的通信交互的形成，并且为所检测到的每个通信交互创建感兴趣线程。
2.权利要求1所述的管理系统，其中所述通信服务还包括用于跟踪在富媒体环境中一组个体的每个个体的移动的服务。
3.权利要求1所述的管理系统，其中通信服务还包括用于提供在富媒体环境中一组个体之间的通信信道的服务。
4.权利要求1所述的管理系统，进一步包括用户管理器(404)，其为与富媒体环境相关的一组个体的每个个体保存用户简档。
5.权利要求1所述的管理系统，进一步包括部件管理器(406)，其为与富媒体环境相关的一组传感和再现部件中的每个保存部件记录。
6.权利要求1所述的管理系统，进一步包括感兴趣区域管理器(408)，其管理在富媒体环境中的一组感兴趣区域。
7.权利要求1所述的管理系统，进一步包括系统控制器(414)，其使操作者能够控制部分管理系统。
8.一种用于管理富媒体环境的方法，包括以下步骤：
通过协调在富媒体环境中的一组任务来提供与富媒体环境有关的通信服务；
通过响应于对每个任务的请求而将一组处理资源和通信资源分配给每个任务并执行每个任务来管理每个任务，以及
使用所述富媒体环境中的传感部件来检测所述富媒体环境中的个体以及其他富媒体环境中的个体或者远程位置的个体之间的通信交互的形成，并且为所检测到的每个通信交互创建感兴趣线程。
CN200480036697.2A 2003-10-09 2004-10-06 用于富媒体环境的管理系统 Expired - Fee Related CN101198945B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/682,755 US20050080849A1 (en) 2003-10-09 2003-10-09 Management system for rich media environments
US10/682,755 2003-10-09
PCT/US2004/033082 WO2005036350A2 (en) 2003-10-09 2004-10-06 Management system for rich media environments

Publications (2)

Publication Number Publication Date
CN101198945A CN101198945A (zh) 2008-06-11
CN101198945B true CN101198945B (zh) 2011-06-22

Family

ID=34422606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200480036697.2A Expired - Fee Related CN101198945B (zh) 2003-10-09 2004-10-06 用于富媒体环境的管理系统

Country Status (5)

Country Link
US (1) US20050080849A1 (zh)
EP (1) EP1671211B1 (zh)
CN (1) CN101198945B (zh)
AT (1) ATE510257T1 (zh)
WO (1) WO2005036350A2 (zh)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7480502B2 (en) * 2005-11-15 2009-01-20 Clearone Communications, Inc. Wireless communications device with reflective interference immunity
US7765266B2 (en) 2007-03-30 2010-07-27 Uranus International Limited Method, apparatus, system, medium, and signals for publishing content created during a communication
US8627211B2 (en) 2007-03-30 2014-01-07 Uranus International Limited Method, apparatus, system, medium, and signals for supporting pointer display in a multiple-party communication
US8702505B2 (en) 2007-03-30 2014-04-22 Uranus International Limited Method, apparatus, system, medium, and signals for supporting game piece movement in a multiple-party communication
US7765261B2 (en) * 2007-03-30 2010-07-27 Uranus International Limited Method, apparatus, system, medium and signals for supporting a multiple-party communication on a plurality of computer servers
US8060887B2 (en) 2007-03-30 2011-11-15 Uranus International Limited Method, apparatus, system, and medium for supporting multiple-party communications
US7950046B2 (en) 2007-03-30 2011-05-24 Uranus International Limited Method, apparatus, system, medium, and signals for intercepting a multiple-party communication
US8185906B2 (en) * 2007-05-23 2012-05-22 Sap Ag Method and apparatus for dynamically adjusting thread pool
NO327899B1 (no) * 2007-07-13 2009-10-19 Tandberg Telecom As Fremgangsmate og system for automatisk kamerakontroll
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US8325214B2 (en) * 2007-09-24 2012-12-04 Qualcomm Incorporated Enhanced interface for voice and video communications
WO2009104081A1 (en) * 2008-02-22 2009-08-27 Nokia Corporation Systems and methods for determining behaviors for live and playback consumption
US8745250B2 (en) * 2009-06-30 2014-06-03 Intel Corporation Multimodal proximity detection
CN101674310B (zh) * 2009-09-23 2012-12-05 华南理工大学 多源信息智能家庭业务的播放系统及方法
WO2012059115A1 (de) * 2010-11-02 2012-05-10 Siemens Enterprise Communications Gmbh & Co.Kg Verfahren zur durchführung einer telefonkonferenz und einrichtung zur durchführung dieses verfahrens
WO2013057548A1 (en) 2011-10-21 2013-04-25 Telefonaktiebolaget Lm Ericsson (Publ) Real-time communications methods providing pause and resume functionality and related devices
WO2013057547A1 (en) * 2011-10-21 2013-04-25 Telefonaktiebolaget Lm Ericsson (Publ) Communication methods providing media content stream selection and related system
WO2014017134A1 (ja) * 2012-07-27 2014-01-30 ソニー株式会社 情報処理システムおよび記憶媒体
US20140229568A1 (en) * 2013-02-08 2014-08-14 Giuseppe Raffa Context-rich communication between a device and a vehicle
KR102193029B1 (ko) * 2014-05-09 2020-12-18 삼성전자주식회사 디스플레이 장치 및 그의 화상 통화 수행 방법
US20160127441A1 (en) * 2014-10-30 2016-05-05 Microsoft Corporation Application level audio connection and streaming
JP2016152505A (ja) * 2015-02-17 2016-08-22 株式会社リコー 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム
US11356520B2 (en) 2015-05-29 2022-06-07 Sound United, Llc. System and method for selecting and providing zone-specific media
US10825480B2 (en) * 2017-05-31 2020-11-03 Apple Inc. Automatic processing of double-system recording
US10861196B2 (en) 2017-09-14 2020-12-08 Apple Inc. Point cloud compression
US11818401B2 (en) 2017-09-14 2023-11-14 Apple Inc. Point cloud geometry compression using octrees and binary arithmetic encoding with adaptive look-up tables
US10909725B2 (en) 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
US11113845B2 (en) 2017-09-18 2021-09-07 Apple Inc. Point cloud compression using non-cubic projections and masks
US10516852B2 (en) 2018-05-16 2019-12-24 Cisco Technology, Inc. Multiple simultaneous framing alternatives using speaker tracking
US11017566B1 (en) 2018-07-02 2021-05-25 Apple Inc. Point cloud compression with adaptive filtering
US11202098B2 (en) 2018-07-05 2021-12-14 Apple Inc. Point cloud compression with multi-resolution video encoding
US11367224B2 (en) 2018-10-02 2022-06-21 Apple Inc. Occupancy map block-to-patch information compression
US11356488B2 (en) * 2019-04-24 2022-06-07 Cisco Technology, Inc. Frame synchronous rendering of remote participant identities
US11895307B2 (en) 2019-10-04 2024-02-06 Apple Inc. Block-based predictive coding for point cloud compression
US11798196B2 (en) 2020-01-08 2023-10-24 Apple Inc. Video-based point cloud compression with predicted patches
US11948338B1 (en) 2021-03-29 2024-04-02 Apple Inc. 3D volumetric content encoding using 2D videos and simplified 3D meshes
US11825200B2 (en) * 2021-12-30 2023-11-21 Microsoft Technology Licensing, Llc Framing an image of a user requesting to speak in a network-based communication session

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1344397A (zh) * 1998-06-26 2002-04-10 维科泰克通讯有限公司 用于在多个与会者之间共享文献的系统和方法
US6598075B1 (en) * 1997-03-31 2003-07-22 Intercall, Inc. Method and system for using multiple networks to provide a presentation

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5206934A (en) * 1989-08-15 1993-04-27 Group Technologies, Inc. Method and apparatus for interactive computer conferencing
GB2313251B (en) * 1996-05-17 2000-06-07 Motorola Ltd Multimedia communications conferencing system and method of exchanging private communication
US5795228A (en) * 1996-07-03 1998-08-18 Ridefilm Corporation Interactive computer-based entertainment system
EP0944003A1 (en) * 1998-03-18 1999-09-22 SONY EUROPE GmbH Notification subsystem
US6795106B1 (en) * 1999-05-18 2004-09-21 Intel Corporation Method and apparatus for controlling a video camera in a video conferencing system
US7299405B1 (en) * 2000-03-08 2007-11-20 Ricoh Company, Ltd. Method and system for information management to facilitate the exchange of ideas during a collaborative effort
US6559863B1 (en) 2000-02-11 2003-05-06 International Business Machines Corporation System and methodology for video conferencing and internet chatting in a cocktail party style
US6763377B1 (en) * 2000-03-03 2004-07-13 International Business Machines Corporation Asset management and scheduling graphical user interface for media streamer
US6948131B1 (en) * 2000-03-08 2005-09-20 Vidiator Enterprises Inc. Communication system and method including rich media tools
US6850265B1 (en) * 2000-04-13 2005-02-01 Koninklijke Philips Electronics N.V. Method and apparatus for tracking moving objects using combined video and audio information in video conferencing and other applications
US7000180B2 (en) * 2000-06-29 2006-02-14 Balthaser Online, Inc. Methods, systems, and processes for the design and creation of rich-media applications via the internet
JP4581210B2 (ja) * 2000-09-29 2010-11-17 日本電気株式会社 テレビ会議システム
JP4310916B2 (ja) * 2000-11-08 2009-08-12 コニカミノルタホールディングス株式会社 映像表示装置
US6894714B2 (en) * 2000-12-05 2005-05-17 Koninklijke Philips Electronics N.V. Method and apparatus for predicting events in video conferencing and other applications
JP3818054B2 (ja) * 2000-12-08 2006-09-06 日本電気株式会社 多地点ビデオ会議制御装置、音声切替え方法、およびそのプログラムを記録した記録媒体
US7358985B2 (en) * 2001-02-16 2008-04-15 Fuji Xerox Co., Ltd. Systems and methods for computer-assisted meeting capture
US6611281B2 (en) * 2001-11-13 2003-08-26 Koninklijke Philips Electronics N.V. System and method for providing an awareness of remote people in the room during a videoconference
US7130446B2 (en) * 2001-12-03 2006-10-31 Microsoft Corporation Automatic detection and tracking of multiple individuals using multiple cues
US20030154084A1 (en) * 2002-02-14 2003-08-14 Koninklijke Philips Electronics N.V. Method and system for person identification using video-speech matching
US7298392B2 (en) * 2003-06-26 2007-11-20 Microsoft Corp. Omni-directional camera design for video conferencing
US7181393B2 (en) * 2002-11-29 2007-02-20 Microsoft Corporation Method of real-time speaker change point detection, speaker tracking and speaker model construction
US7698141B2 (en) * 2003-02-28 2010-04-13 Palo Alto Research Center Incorporated Methods, apparatus, and products for automatically managing conversational floors in computer-mediated communications
US7343289B2 (en) * 2003-06-25 2008-03-11 Microsoft Corp. System and method for audio/video speaker detection
US7428000B2 (en) * 2003-06-26 2008-09-23 Microsoft Corp. System and method for distributed meetings

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6598075B1 (en) * 1997-03-31 2003-07-22 Intercall, Inc. Method and system for using multiple networks to provide a presentation
CN1344397A (zh) * 1998-06-26 2002-04-10 维科泰克通讯有限公司 用于在多个与会者之间共享文献的系统和方法

Also Published As

Publication number Publication date
US20050080849A1 (en) 2005-04-14
EP1671211A4 (en) 2009-04-01
ATE510257T1 (de) 2011-06-15
CN101198945A (zh) 2008-06-11
EP1671211A2 (en) 2006-06-21
WO2005036350A3 (en) 2007-11-22
EP1671211B1 (en) 2011-05-18
WO2005036350A2 (en) 2005-04-21

Similar Documents

Publication Publication Date Title
CN100399240C (zh) 使用富媒体环境的通信和协作系统
CN101198945B (zh) 用于富媒体环境的管理系统
US7598975B2 (en) Automatic face extraction for use in recorded meetings timelines
CN110703913B (zh) 对象交互方法和装置、存储介质及电子装置
Liu et al. FLYSPEC: A multi-user video camera system with hybrid human and automatic control
US20060101022A1 (en) System and process for providing an interactive, computer network-based, virtual team worksite
CN104469256A (zh) 沉浸式和交互式的视频会议房间环境
CN107820037B (zh) 音频信号、图像处理的方法、装置和系统
CN102884537A (zh) 用于设备定位和通信的方法
GB2342802A (en) Indexing conference content onto a timeline
AU2019204474A1 (en) System of Automated Script Generation With Integrated Video Production
CN113196239A (zh) 对与在通信会话内所显示的对象相关的内容的智能管理
TWI795762B (zh) 用於在現實場景中疊加直播人物影像的方法和電子設備
CN117321985A (zh) 具有多种空间交互模式特征的视频会议系统
CN117616748A (zh) 具有多种空间交互模式的视频会议系统
JP2022003818A (ja) 画像表示システム、画像表示プログラム、画像表示方法及びサーバ
US11039046B2 (en) System of automated script generation with integrated video production
US11949727B2 (en) Organic conversations in a virtual group setting
CN117493392A (zh) 一种基于ar技术的多平台联动查询方法及系统
CN113703712A (zh) 音频处理方法、装置、存储介质及计算机设备
Ranjan Automatic Camera Control for Capturing Collaborative Meetings
Khan et al. project AVRiL
CN105992065A (zh) 随选视讯社交互动方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110622

Termination date: 20191006

CF01 Termination of patent right due to non-payment of annual fee