CN102725748A - 用于空间通信环境的网络浏览器接口 - Google Patents

用于空间通信环境的网络浏览器接口 Download PDF

Info

Publication number
CN102725748A
CN102725748A CN2011800071266A CN201180007126A CN102725748A CN 102725748 A CN102725748 A CN 102725748A CN 2011800071266 A CN2011800071266 A CN 2011800071266A CN 201180007126 A CN201180007126 A CN 201180007126A CN 102725748 A CN102725748 A CN 102725748A
Authority
CN
China
Prior art keywords
correspondent
network node
visitor
virtual region
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800071266A
Other languages
English (en)
Inventor
J·莫耶斯
D·范威尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Social Communications Co
Original Assignee
Social Communications Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Social Communications Co filed Critical Social Communications Co
Publication of CN102725748A publication Critical patent/CN102725748A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/403Arrangements for multi-party communication, e.g. for conferences
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/16Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1827Network arrangements for conference optimisation or adaptation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/56Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/563User guidance or feature selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21Monitoring or handling of messages
    • H04L51/222Monitoring or handling of messages using geographical location information, e.g. messages transmitted or received in proximity of a certain spot or area

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Quality & Reliability (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Data Mining & Analysis (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)

Abstract

用于视觉化空间通信环境中的实时网络通信的网络浏览器接口允许通信者与沉浸性空间通信环境中的其他通信者交互。

Description

用于空间通信环境的网络浏览器接口
背景
当面对面通信不切实际时,人们往往依赖于一种或更多种技术解决方案来满足其通信需求。这些解决方案一般设计为模拟面对面通信的一个或更多个方面。传统电话系统实现了呼叫者之间的语音通信。即时消息接发(也称为“聊天”)通信系统使用户能够通过由即时消息服务器互连的即时消息计算机客户端实时地传达文本消息。一些即时消息接发系统另外允许用户在虚拟环境中由用户可控图形对象(称为“头像”)来表示。交互式虚拟现实通信系统使得在远程位置的各个用户能够在多个实时信道上进行通信并通过在三维虚拟空间中操控其相应的头像来彼此交互。需要改善的用于实时网络通信的接口。
附图说明
图1是包括第一客户端网络节点、第二客户端网络节点、访客网络节点16和虚拟环境创建器的网络通信环境的实施例的框图。
图2是由图1的虚拟环境创建器的实施例实现的方法的实施例的流程图。
图3是访客通信者网络节点被配置为视觉化空间通信会话的方法的实施例的流程图。
图4示出虚拟区域的分级表示的实施例。
图5是将XML接口规范转换为HTML文档的呈现引擎的实施例的框图。
图6是网络通信环境的实施例的框图。
图7是在主办客户端网络节点和访客通信者之间建立实时音频通信信道的方法的实施例的流程图。
图8是在主办客户端网络节点上执行的虚拟区域使能通信应用将从访客通信者接收的音频通信集成到空间通信会话中的方法的实施例的流程图。
图9是主办客户端网络节点与虚拟区域使能和非虚拟区域使能网络节点通信的方法的实施例的流程图。
图10是使操作虚拟区域使能通信应用的通信者与非区域使能通信设备通信的通信基础设施的实施例的框图。
图11是网络通信环境的实施例的框图。
图12是空间通信接口的实施例的示图。
图13是空间通信接口的实施例的示图。
图14是与图13的空间通信接口相关联的弹出浏览器窗口的实施例的示图。
图15是网络节点的实施例的框图。
详细描述
在以下描述中,相同附图标记用于标识相同元素。此外,附图旨在以图解方式示出示例性实施例的主要特征。附图既不旨在描绘实际实施例的每个特征,也不意在描绘所描绘元素的相对尺寸,并且不是按比例绘制的。
I.术语定义
“通信者”是通过一个或多个网络连接与其他人通信或以其他方式交互的人,其中该通信或交互可以在或可以不在虚拟区域的上下文中发生。“用户”是正在操作特定网络节点的通信者,其出于描述目的定义特定视角。“访客通信者”是通过网络浏览器应用与空间通信环境交互的通信者。
用户的“实时联系人”是已经由实时通信平台与该用户通信的通信者或其他人。
“计算机”是根据临时或永久地存储在计算机可读介质上的计算机可读指令来处理数据的任何机器、设备或装置。“计算机操作系统”是计算机系统的管理和协调任务执行以及计算和硬件资源共享的软件组件。“软件应用”(也被称为软件、应用、计算机软件、计算机应用、程序、以及计算机程序)是计算机能解读和实行以执行一个或多个具体任务的指令集。“计算机数据文件”是持久地存储数据以供软件应用使用的信息块。
“网络浏览器”是在显示器上显示网页的软件应用。“网页”通常以超文本标记语言(HTML)被格式化,HTML规定各种类型的网页元素(包括文本、图像和多媒体文件)的布局和格式。
“窗口”是显示器的视觉区域,其通常包括用户界面。窗口通常显示软件进程的输出,并且通常使用户能够输入用于软件进程的命令或数据。具有父窗口的窗口被称为“子窗口”。没有父窗口、或其父窗口是桌面窗口的窗口被称为“顶层窗口”。“桌面”是由系统定义的窗口,其绘制图形用户界面(GUI)的背景且用作所有软件进程所显示的所有窗口的基础。
“数据库”是以可由计算机搜索的标准化格式展示的经组织记录集合。数据库可被存储在单个计算机上的单个计算机可读数据存储介质上,或者其可跨一个或多个计算机上的多个计算机可读数据存储介质分布。
“数据阱”(在本文中简称为“阱”)是接收数据的设备(例如,计算机)、设备的一部分、或软件中的任一个。
“数据源”(在本文中简称为“源”)是发出数据的设备(例如,计算机)、设备的一部分、或软件中的任一个。
“网络节点”(也简称为“节点”)是通信网络中的联结点或连接点。示例性网络节点包括,但不限于,终端、计算机和网络交换机。“服务器”网络节点是网络上的对信息或服务请求作出响应的主机计算机。“客户端网络节点”是网络上的向服务器请求信息或服务的计算机。“访客网络节点”是通过网络浏览器应用与空间通信环境交互的访客通信者正操作的客户端网络节点。
“网络连接”是两个通信网络节点之间的链路。“连接句柄”是可用于建立与网络节点上的通信者、资源、或服务的网络连接的指针或标识符(例如,统一资源标识符(URI))。“网络通信”可包括通过网络连接从一个网络节点向另一个网络节点传送或以其他方式传达的任何类型的信息(例如,文本、语音、音频、视频、电子邮件消息、数据文件、运动数据流、以及数据分组)。
同步会议是指各个通信者同时参加的通信。同步会议涵盖了所有类型的联网协作技术,包括即时消息接发(例如,文本聊天)、音频会议、视频会议、应用共享、以及文件共享技术。
“通信者交互”是通信者和另一网络实体之间的任何类型的直接或间接动作或影响,该另一网络实体可包括例如另一通信者、虚拟区域、或网络服务。示例性类型的通信者通信包括通信者彼此实时地通信、通信者进入虚拟区域、以及通信者请求访问来自网络服务的资源。
“在场(presence)”是指联网实体(例如,通信者、服务、或设备)进行通信的能力和意愿,其中这种意愿影响检测和获取关于网络上的实体的状态的信息的能力以及连接到该实体的能力。
“实时数据流”是在连续流中被构造和处理且被设计成无延迟地或仅以觉察不到的延迟被接收的数据。实时数据流包括语音、视频、用户移动、面部表情以及其他物理现象的数字表示,以及计算环境内的可受益于快速传输、快速执行、或快速传输和快速执行两者的数据,包括例如头像移动指令、文本聊天、实时数据馈送(例如,传感器数据、机器控制指令、交易流和股价信息馈送)、以及文件传输。
“链路”是两个网络节点之间的连接并代表由这两个节点分配以用于实时通信的完整带宽。每个链路被划分为携带相应实时数据流的信道。各个信道被分配给已被分配给该链路的总带宽内的特定流。
“虚拟区域”(也称为“区域”或“场所”)是计算机管理的空间或场景的表示。虚拟区域通常是一维、二维、或三维表示;尽管在一些实施例中虚拟区域可能对应于单个点。虚拟区域时常被设计为模拟物理的、现实世界的空间。例如,使用传统的计算机监视器,虚拟区域可被视觉化为计算机生成的三维空间的二维图形。但是,虚拟区域不需要相关联的视觉化来实现交换规则。虚拟区域通常是指虚拟区域方案的实例,其中该方案以变量的形式定义虚拟区域的结构和内容,而实例以已从特定上下文解出的值的形式定义虚拟区域的结构和内容。
“虚拟区域应用”(也称为“虚拟区域规范”)是对在创建虚拟环境时使用的虚拟区域的描述。虚拟区域应用通常包括对与虚拟区域的一个或多个区段(zone)相关联的几何体系、物理体系、和实时交换规则的定义。
“虚拟区域通信应用”是将实时音频通信(以及潜在的其他实时通信,例如视频、聊天以及其他实时数据流)与虚拟区域中的交互的视觉展示相集成的客户端通信应用。
“虚拟环境”是包括至少一个虚拟区域且支持通信者之间的实时通信的由计算机管理的空间的表示。
“区段”是虚拟区域中与至少一个交换规则或支配规则相关联的区域。“交换规则”是根据一个或多个条件先例来指定一个或多个实时数据源与一个或多个实时数据阱的连接或断开的指令。交换规则控制在虚拟区域的上下文中通信的网络节点之间的实时数据流的交换(例如,路由、连接、以及断开)。支配规则控制通信者对资源(例如,区域、区域的地区、该区域或地区的内容)的访问、该访问的范围、以及该访问的后继结果(例如,要求必须记录与该访问相关的审计记录)。“可呈现区段”是与相应视觉化相关联的区段。
虚拟区域中的“位置”是指虚拟区域中的点或面积或体积的位置。点通常是由定义虚拟区域中的点的一维、二维、或三维坐标(例如,x、y、z)的单个集合表示的。区域通常由定义虚拟区域中闭合二维形状的边界的三个或更多共面顶点的三维坐标来表示。体积通常由定义虚拟区域中的三维形状的闭合边界的四个或四个以上非共面顶点的三维坐标来表示。
“空间状态”是描述用户在虚拟区域中在场之处的属性。空间状态属性通常具有对应用户在场的每个区段的相应值(例如,区段ID值)。
“通信状态”是描述通信者中的相应通信者被配置成在其上通信的相应通信信道的状态的属性。
在虚拟区域的上下文中,“对象”(有时称作“道具(prop)”)是虚拟区域中可有用地与虚拟区域的几何分开对待的任何类型的分立元素。示例性的对象包括门、入口、窗、视图屏幕、以及扬声器。对象通常具有与虚拟区域的属性和特性分离且相异的属性和特性。“头像”(本文也称作“子图形”)是表示虚拟区域中的通信者的对象。
如本文中所使用的,术语“包括”意味着包括但不限于此,术语“包含”意味着包含但不限于此。术语“基于”意味着至少部分地基于。
II.引言
本文中描述的各个实施例提供了用于视觉化实时网络通信的改进型系统和方法。具体而言,这些实施例提供了用于空间通信环境的网络浏览器接口。该特征允许通信者与沉浸性空间通信环境中的其他通信者交互,而不必安装任何专用通信软件且不需要特殊代理或防火墙附加或例外。
图1示出了包括由网络(未示出)互连的第一客户端网络节点12、第二客户端网络节点14、访客网络节点16和虚拟环境创建器18的示例性网络通信环境10的实施例。第一客户端网络节点12和第二客户端网络节点14中的每一个包括输入/输出(I/O)硬件、处理器、和存储可由处理器执行的至少一个虚拟区域使能通信应用的相应实例20、22的计算机可读存储器。访客网络节点16包括输入/输出(I/O)硬件、处理器和存储包括呈现引擎26的网络浏览器应用24的实例的计算机可读存储器。虚拟环境创建器18包括提供网络基础设施服务环境30的至少一个服务器网络节点28。虚拟区域使能通信应用20、22和网络基础设施服务环境30一起提供用于创建空间通信环境(在本文中也简称为“虚拟环境”)的平台(在本文中称为“平台”)。虚拟环境创建器18也包括与在访客网络节点16上运行的网络浏览器应用24通信的网络服务器31以将空间通信环境扩展到操作访客网络节点16的访客通信者。
如以下详细解释的,虚拟区域使能通信应用20、22是根据原有格式和促进实时通信性能的通信协议与网络基础设施服务环境30通信的专用通信应用。虚拟区域使能通信应用的示例性实施例在2009年12月4日提交的共同待决美国申请第12/630,973号中有描述,该申请整体通过引用纳入于此。虚拟区域使能通信应用20、22也使操作客户端节点12、14的客户端通信者彼此建立实时对等通信。另一方面,网络浏览器应用24具有有限的功能性。在一些实施例中,网络浏览器应用24解释HTML代码(例如,文本、图像、超文本链接、JavaScript以及Java小应用程序)并呈现该HTML代码以在显示器上产生网页的展示。网络浏览器应用24通常根据HTTP与网络服务器31通信。在典型的通信会话中,网络浏览器应用24作为客户端向网络服务器31发送HTTP请求(本文中也称作“消息”)以打开文件(例如,可由统一资源定位符(URL)访问的网页或其他文件),且在网络服务器31上运行的HTTP后台程序或其他计算机软件处理该HTTP请求并向网络浏览器应用24返回所请求的文件。
在一些实施例中,网络基础设施服务环境30根据虚拟区域应用34来在虚拟区域32中管理操作第一和第二客户端节点12、14以及访客网络节点16的通信者之间的通信会话。虚拟区域应用34由虚拟区域32主存并包括对虚拟区域32的描述。在第一和第二客户端网络节点12、14上操作的虚拟区域使能通信应用20、22和在访客网络节点16上操作的网络浏览器应用24根据从网络基础设施服务环境30接收到的数据来展示虚拟区域32的相应视图36、38、40并提供用于从操作客户端节点12、14和访客网络节点16的客户端通信者接收命令的相应接口。客户端节点12、14上的视图36、38展示在由虚拟区域使能通信应用20、22所生成的相应窗口42、44内。访客网络节点16上的视图40展示在由网络浏览器应用24生成的相应浏览器窗口46内。通信应用窗口42、44和浏览器窗口46通常显示在客户端节点12、14和访客网络节点16的显示器硬件上的相应“桌面”或其他由系统定义的基本窗口48、50、52上。
呈现引擎26可以是任何类型的程序代码(例如,浏览器脚本、插件、或小应用程序),该程序代码可由网络浏览器应用24执行以用于将从网络服务器31接收的实时通信会话的视觉化规范转换为可由网络浏览器应用24所呈现的格式。在一些实施例中,呈现引擎26被实施为JavaScript代码,其在每次访客用户进入虚拟区域时被“即时”下载至访客网络节点16。JavaScript代码包含用于将从虚拟环境创建器18接收的接口规范转换为可由网络浏览器应用24呈现的HTML以创建与由虚拟区域使能通信应用20、22创建的用户界面的观感相匹配的用户界面的所有逻辑。
通信者通常在虚拟区域32中由相应头像62、64、70来表示,这些头像响应于通信者在其相应网络节点12-16处输入的命令在虚拟区域32中四处移动。在一些实施例中,每个通信者对虚拟区域32的视图是从该通信者的头像的视角来展示的,这增加了该通信者所体验的身临其境的程度。每个通信者通常能够观察虚拟区域32中在他或她的头像周围的任何部分。在一些实施例中,虚拟环境创建器18基于通信者的头像在虚拟区域32中的相应位置在共享虚拟区域32的网络节点12、14、16以及其他网络节点之间建立实时数据流连接。
III.管理通信会话
A.引言
图2示出由虚拟环境创建器18的实施例实现的方法的实施例。
根据图2的方法,虚拟环境创建器18与通信会话的空间视觉化相关联地管理操作客户端网络节点20、22的客户端通信者之间的实时通信会话,客户端网络节点20、22正交换对等实时数据流54(图2,框60)该空间视觉化包括与虚拟区域66的图形表示空间关联的每个客户端通信者的相应图形表示62、64(参见图1)。在管理通信会话的过程中,虚拟环境创建器18确定虚拟区域66中的客户端通信者的图形表示62、64的相应位置。虚拟环境创建器18也将访客通信者与该实时通信会话对接,其中访客通信者正在访客网络节点16上操作网络浏览器应用24(图2,框68)。在此过程中,虚拟环境创建器18向访客网络节点16传送接口规范,该接口规范包括虚拟区域32的图形表示和客户端通信者的图形表示及其在虚拟区域32中的相应当前位置的规范。虚拟环境创建器18还结合该接口规范的相应元素来响应从网络浏览器应用24接收的请求。示例性的请求包括请求导航至虚拟区域32中的选定位置、请求与虚拟区域32中的相应头像表示的选定通信者交互、以及请求经由虚拟区域32中的选定道具与其他通信者通信。
B.客户端网络节点间的通信
1.网络环境
客户端和访客网络节点12-16在其上通信的网络可包括局域网(LAN)、城域网(MAN)和广域网(WAN)(例如,因特网)中的任一个。网络通常包括多个不同计算平台和支持网络节点之间各种各样不同媒体类型(例如,文本、语音、音频、以及视频)传输的传输设施。
虚拟区域使能通信应用20、22(参见图1)通常在包括软件和硬件资源的客户端网络节点上操作,这些软件和硬件资源与管理策略、用户偏好(包括关于用户在场的输出以及用户与区域和其他用户的连接的偏好)、以及其他设置一起定义影响对与其他网络节点的实时连接的管理的本地配置。网络节点之间的网络连接可以各种不同流处置拓扑来安排,包括对等架构、由服务器仲裁的架构、以及组合对等和由服务器仲裁的架构的各方面的混合式架构。在皆于2007年10月24日提交的美国申请No.11/923,629和11/923,634中描述了这些类型的示例性拓扑。
2.网络基础设施服务
网络基础设施服务环境30通常包括一个或多个网络基础设施服务,其在建立和管理客户端节点12、14和其他网络节点之间的网络连接的过程中与虚拟区域使能通信应用20、22协作(参见图1)。网络基础设施服务可在单个网络节点上运行,或者可跨多个网络节点分布。网络基础设施服务通常在一个或多个专用网络节点(例如,服务器计算机或执行诸如路由和交换之类的一个或多个边缘服务的网络设备)上运行。然而,在一些实施例中,网络基础设施服务中的一个或多个在通信者的网络节点中的至少一个上运行。网络基础设施服务环境30的示例性实施例中所包括的网络基础设施服务有账户服务、安全服务、区域服务、会合服务、以及交互服务。
账户服务
账户服务管理虚拟环境的通信者账户。账户服务还管理可由客户端网络节点使用以向任何网络基础设施服务认证它们自己的认证令牌的创建和颁发。
安全服务
安全服务控制通信者对虚拟环境的资产和其他资源的访问。安全服务所实现的访问控制方法通常基于能力(其中访问被授予具有适当能力或许可的实体)和访问控制列表(其中访问被授予具有列表上的身份的实体)中的一种或多种。在已授予特定通信者对资源的访问之后,该通信者通常使用由其他网络基础设施服务所提供的功能在网络通信环境10中交互。
区域服务
区域服务管理虚拟区域。在一些实施例中,区域服务根据受一组约束的虚拟区域应用34来远程地配置在第一和第二客户端网络节点12、14上操作的虚拟区域使能通信应用20、22。这些约束通常包括对访问虚拟区域32的控制。访问控制一般基于能力(其中访问被授予具有适当能力或许可的通信者或客户端节点)和访问控制列表(其中访问被授予具有列表上的身份的通信者或客户端节点)中的一种或多种。
区域服务还依照请求实体的能力来管理与虚拟区域32相关联的网络连接,维护虚拟区域的全局状态信息,以及用作参与虚拟区域32所定义的上下文中的共享通信会话的客户端网络节点的数据服务器。全局状态信息包括该虚拟区域32中的所有对象及其在该虚拟区域中的相应位置的列表。区域服务发送配置客户端网络节点的指令。区域服务还注册请求加入通信会话的其他客户端网络节点并向其传送初始化信息。在该过程中,区域服务可根据虚拟区域应用32向每个加入的客户端网络节点传送在该客户端网络节点上呈现虚拟区域34所需的组件(例如,插件)的列表。区域服务还确保客户端网络节点在发生通信故障的情况下可同步到全局状态。区域服务通常经由与虚拟区域相关联的支配规则来管理通信者与这些虚拟区域的交互。
会合服务
会合服务管理在场信息的收集、存储和分发,并依照请求实体的能力(例如,通过管理连接句柄的分发)为网络节点提供用以彼此通信的机制。会合服务通常将在场信息存储于在场数据库中。会合服务通常经由通信者隐私偏好来管理通信者彼此之间的交互。
交互服务
交互服务维护包含通信者之间交互的记录的关系数据库。对于通信者之间的每个交互,网络基础设施服务环境30中的一个或更多个服务(例如,区域服务)向交互服务传送交互数据。作为响应,交互服务生成一个或更多个相应交互记录并将它们存储于关系数据库中。每个交互记录描述一对通信者之间的交互的上下文。例如,在一些实施例中,交互记录包含每个通信者的标识符、交互场所(例如,虚拟区域实例)的标识符、交互场所的等级的描述(例如,对交互房间与更大区域有何关系的描述)、交互的起始和结束时间、以及在交互期间共享或记录的所有文件和其他数据流的列表。因此,对于每个实时交互,交互服务跟踪其何时发生、在哪里发生、以及在交互期间在所涉及的通信者(例如,进入或退出)、被激活/禁用的对象、以及曾共享的文件这些方面发生了什么。
交互服务还支持依照请求实体的能力对关系数据库的查询。交互服务以基于虚拟区域的分类次序(例如,最频繁的或最近的)展示对交互数据库记录的查询结果。该查询结果可用于驱动通信者在哪些虚拟区域中已经遇到的联系人的频度排序,以及在不论虚拟区域的情况下该通信者已经遇到的人的排序和该通信者最常出入的虚拟区域的排序。查询结果也可被应用开发者用作基于关系使某些任务自动化的启发式系统的一部分。此类型的启发式操作示例是默认允许已经到访特定虚拟区域超过5次的通信者进入而无需敲门的启发式操作,或者是允许在特定时间存在于一区域中的通信者修改和删除由在该同一时间存在于该同一区域中的另一通信者创建的文件的启发式操作。对关系数据库的查询可与其他搜索相组合。例如,对关系数据库的查询可与针对使用网络基础设施服务环境30的域之外的通信系统(例如,Skype、Facebook、以及Flickr)与联系人交互而生成的联系人历史数据的查询相结合。
3.虚拟区域
虚拟区域使能通信应用20、22和网络基础设施服务环境30通常在由虚拟区域实例定义的通信上下文中管理与网络节点的实时连接。该虚拟区域实例可对应于关于抽象(非几何)坐标定义的抽象虚拟空间。可替换地,该虚拟区域实例可对应于关于与特定视觉化相关联的一维、二维或三维几何坐标定义的视觉虚拟空间。抽象虚拟区域可以与相应视觉化相关联也可以不相关联,而视觉虚拟区域与相应视觉化相关联。
如上所解释的,通信者通常由具有相关联视觉化的虚拟区域中的相应头像来表示。这些头像响应于通信者在其相应网络节点处输入的命令在虚拟区域中到处移动。在一些实施例中,通信者对虚拟区域实例的视图通常从该通信者的头像的视角展示,并且每个通信者通常能够查看视觉虚拟区域中在他或她的头像周围的任何部分,由此增加该通信者所体验的身临其境的程度。
虚拟区域通常包括与支配由虚拟区域中头像表示的网络节点之间的实时数据流的交换的相应规则相关联的区段。交换规则规定在每一个网络节点上执行的本地连接进程如何基于通信者的头像在虚拟区域的区段中的位置来建立与其他网络节点的通信。
虚拟区域由包括对该虚拟区域的几何元素的描述以及一个或多个规则(包括交换规则和支配规则)的规范来定义。交换规则支配网络节点之间的实时流连接。支配规则控制通信者对诸如虚拟区域本身、具有虚拟区域的区划、以及虚拟区域内的对象之类的资源的访问。在一些实施例中,虚拟区域的几何元素根据COLLADA——2006年4月数字资产计划版本1.4.1规范(可从http://www.khronos.org/collada/得到)进行描述,交换规则根据在美国申请号11/923,629和11/923,634中描述的COLLADA流参考规范使用可扩展标记语言(XML)文本格式(在本文称作虚拟空间描述格式(VSDL))进行描述。虚拟区域的几何元素通常包括虚拟区域的物理几何体系和碰撞几何体系。物理几何体系描述虚拟区域的形状。物理几何体系通常由三角形、四边形、或多边形的表面构成。颜色和纹理被映射到物理几何体系上以创建虚拟区域的更真实外观。例如,可通过将光线绘制到视觉几何体系上并修改光线附近的纹理、颜色、或亮度来提供灯光效果。碰撞几何体系描述确定对象可在虚拟区域中移动的方式的不可见表面。碰撞几何体系可与视觉几何体系一致、与视觉几何体系的更简单近似相对应、或与虚拟区域设计者的因应用而异的要求相关。
交换规则通常包括对用于根据虚拟区域中的位置来连接实时数据流的源和阱的条件的描述。每个规则通常包括定义该规则所适用的实时数据流类型以及该规则在该虚拟区域中所适用的(诸)位置的属性。在一些实施例中,每个规则可任选地包括指定源的所需角色、阱的所需角色、流的优先级别、以及所请求的流处置拓扑的一个或多个属性。在一些实施例中,如果没有为虚拟区域的特定部分定义显式交换规则,则可向虚拟区域的该部分应用一个或多个隐式或默认交换规则。一个示例性默认交换规则是依照策略规则的、将区域内的每个源连接到每个兼容阱的规则。策略规则可全局地适用于客户端节点之间的所有连接,或者只适用于与个体客户端节点的相应连接。策略规则的示例是接近度策略规则,该规则仅允许源与关联于虚拟区域中彼此在规定距离(或半径)内的相应对象的兼容阱的连接。
在一些实施例中,支配规则与虚拟区域相关联以控制谁能访问该虚拟区域、谁能访问其内容、对该虚拟区域的内容的访问的范围是什么(例如,用户关于该内容能做什么)、以及访问这些内容的后继结果是什么(例如,记录跟踪,诸如审计日志、和支付要求)。在一些实施例中,整个虚拟区域或该虚拟区域的区段与“支配网格”相关联。在一些实施例中,支配网格是以与美国申请No.11/923,629和11/923,634中所描述的区段网格的实现相类似的方式来实现的。支配网格使软件应用开发者能够将支配规则与虚拟区域或虚拟区域的区段相关联。这避免了为虚拟区域中的每个文件创建个体许可的需求,并且避免了处理在需要取决于上下文不同地对待同一文档时可能产生的复杂性的需求。
在一些实施例中,虚拟区域与使该虚拟区域的一个或多个区段与数字版权管理(DRM)功能相关联的支配网格相关联。DRM功能控制对虚拟区域、或该虚拟区域内的一个或多个区段、或该虚拟区域内的对象中的一个或多个的访问。在每次通信者越过该虚拟区域内的支配网格边界时触发DRM功能。DRM功能确定是否许可触发动作,并且如果是,则确定许可动作的范围是什么、是否需要支付、以及是否需要生成审计记录。在虚拟区域的示例性实现中,相关联支配网格被配置成使得如果通信者能够进入该虚拟区域,则他或她能够对与该虚拟区域相关联的所有文档执行动作,包括操纵文档、查看文档、下载文档、删除文档、修改文档和重新上传文档。以此方式,虚拟区域可变成在由该虚拟区域所定义的上下文中共享和讨论的信息的储存库。
在美国申请号12/418,243(提交于2009年4月3日)、11/923,629(提交于2007年10月24日)和11/923,634(提交于2007年10月24日)中描述了关于虚拟区域的规范的附加细节。
空间通信环境通常可被建模为场所(在本文中也称为“位置”)和对象的空间分层结构。空间分层结构包括从顶层到底层范围的层级的经排序序列。空间分层结构的后继层级中的场所各自被包含在前一层级中的相应场所中。空间分层结构中的对象各自被包含在相应场所中。空间分层结构的层级通常关联于与地理、架构、或市区象征一致的相应视觉化,并且被相应地标记。每个虚拟区域的区段由相应网格定义,其中一些网格定义可包含对象(例如,头像和道具,诸如观察屏对象、桌子对象和开会对象)的物理环境的元素(例如,与建筑物相关联的空间,诸如房间和院子)。
4.虚拟区域使能通信应用资源
在一些实施例中,每个虚拟区域使能通信应用20、22包括针对以下资源的接口:
a.本地人机接口设备(HID)和音频回放设备;
b.So3D图形显示、头像、和物理学引擎;
c.系统数据库和存储设施。
a.本地人机接口设备(HID)和音频回放设备
本地HID使通信者在参与虚拟区域通信会话时能够向客户端网络节点输入命令和其他信号。示例性HID包括计算机键盘、计算机鼠标、触摸屏显示器、以及话筒。
音频回放设备使通信者能够回放在虚拟区域通信会话期间接收到的音频信号。示例性音频回放设备包括用于操纵(例如,混音和施加特殊效果)音频信号的音频处理硬件(例如,声卡)、以及用于输出声音的扬声器。
b.So3D图形显示、头像、和物理学引擎
So3D引擎是控制虚拟区域和虚拟区域内的对象在客户端网络节点的显示监视器上的相应视图的展示的视觉化引擎。So3D引擎通常与图形用户界面驱动器和HID设备对接,以展示虚拟区域的视图并允许通信者控制虚拟区域使能通信应用20、22的操作。
在一些实施例中,So3D引擎从区域服务接收图形呈现指令。So3D引擎还可读取包含呈现通信者在虚拟区域中的头像所需的图像的本地通信者头像数据库。基于该信息,So3D引擎从虚拟区域中通信者的头像的角度(位置和方向)生成虚拟区域和该虚拟区域中对象的视觉表示(即,图像)。该视觉表示通常被传递到操作系统的图形呈现组件,该图形呈现组件驱动图形呈现硬件在客户端网络节点上呈现虚拟区域的视觉表示。
通信者可通过经由HID设备(例如,计算机鼠标)输入视图控制命令来控制所展示的虚拟区域的视图。So3D引擎根据视图控制命令来更新虚拟区域的视图。So3D引擎还根据从区域服务接收到的经更新的对象位置信息来更新在显示监视器上的虚拟区域的图形表示。
c.系统数据库和存储设施
系统数据库和存储设施存储平台所使用的各种类型的信息。通常由存储设施存储的示例性信息包括在场数据库、关系数据库、头像数据库、真实用户标识符(RUID)数据库、样式(art)高速缓存数据库、以及区域应用数据库。该信息可被存储在单个网络节点上,或者其可跨多个网络节点分布。
5.示例性通信会话
在通信会话期间,每个客户端网络节点12、14生成相应的一组实时数据流(例如,运动数据流、音频数据流、聊天数据流、文件传递数据流、以及视频数据流)。例如,每个通信者操纵生成运动数据流的一个或多个输入设备(例如,计算机鼠标和键盘),这些运动数据流控制他或她的头像在虚拟区域32中的移动。另外,在计算机系统附近本地生成的通信者的语音和其他声音通常由话筒捕获。话筒生成可转换为实时音频流的音频信号。将音频流的相应副本传送到虚拟区域32中的头像表示的其他网络节点。在这些其他网络节点处本地生成的声音被转换成实时音频信号并且被传送到计算机系统。计算机系统将其他网络节点生成的音频流转换为由扬声器呈现的音频信号。运动数据流和音频流可直接或间接从每一个通信者节点传送至其他客户端网络节点。在一些流处置拓扑中,每个客户端网络节点接收其他客户端网络节点传送的实时数据流的副本。在其他流处置拓扑中,一个或更多个客户端网络节点接收从源自(或发源于)其他一些网络节点的实时数据流导出的一个或更多个流混合。
在一些实施例中,区域服务维护全局状态信息,该全局状态信息包括虚拟区域的当前规范、位于该虚拟区域中的对象的当前注册表、以及当前正由主存区域服务的网络节点生成的任何流混合的列表。对象注册表针对虚拟区域中的每个对象通常包括相应对象标识符(例如,唯一地标识该对象的标签)、使得能建立与关联于该对象的网络节点的网络连接的连接句柄(例如,URI,诸如IP地址)、以及标识与该对象相关联的实时数据源和阱(例如,与该对象相关联的网络节点的源和阱)的接口数据。对象注册表通常还包括针对每个对象的一个或多个任选角色标识符;这些角色标识符可被通信者或区域服务显式分配给这些对象,或者可从这些对象或用户的其他属性中推断出。在一些实施例中,对象注册表还包括每个对象在虚拟区域中的当前位置,这由区域服务从对接收自与虚拟区域中的对象相关联的网络节点的实时运动数据流的分析中确定。在这点上,区域服务从与虚拟区域中的对象相关联的网络节点接收实时运动数据流,基于这些运动数据跟踪进入、离开虚拟区域和在虚拟区域中四处移动的通信者的头像和其他对象。区域服务根据被跟踪对象的当前位置来更新对象注册表。
在管理与其他网络节点的实时数据流连接的过程中,区域服务为每个客户端网络节点维护一组配置数据,包括接口数据、区段列表、以及当前位于虚拟区域中的对象的位置。针对与每个客户端网络节点相关联的每个对象,接口数据包括与该对象相关联的实时数据流类型的所有源和阱的相应列表。区段列表是虚拟区域中当前被与相应客户端网络节点相关联的头像占据的所有区段的注册表。当通信者首次进入一虚拟区域中时,区域服务通常用位置初始化信息来初始化当前对象位置数据库。此后,区域服务用对象在虚拟区域中的当前位置来更新当前对象位置数据库,这些当前位置是从对接收自共享该虚拟区域的其他客户端网络节点的实时运动数据流的分析中确定的。
由虚拟区域使能通信应用的实施例生成的示例性空间通信接口在2009年1月15日提交的美国专利申请No.12/354,709和2009年7月27日提交的美国专利申请No.12/509,658中描述,这两者皆通过引用结合于此。
C.将网络浏览器与空间通信会话对接
1.配置访客通信者以用于视觉化空间通信会话
图3示出访客通信者网络节点被配置为视觉化空间通信会话的方法的实施例。
客户端通信者的主办方(例如,操作客户端网络节点12的主办通信者)通过准备对访客通信者的邀请来发起该过程(图3,过程70)。在一些实施例中,主办客户端通信者通过调用“发送访客邀请”进程来启动访客邀请过程,该“发送访客邀请”进程由在主办客户端网络节点12上运行的虚拟区域使能通信应用20提供。该进程生成包括邀请表的用户接口,邀请表含有其中主办客户端通信者可指定关于访客通信者和该访客通信者将被邀请参加的通信会话的信息的各种字段。其中示例性类型的信息可被指定为:(i)关于访客通信者的信息(例如,姓名、商业从属关系、以及联络信息,诸如电子邮件地址和电话号码);(ii)关于通信会话的信息(例如,开始日期和时间、持续时间、通信会话将发生的虚拟区域位置、以及对通信会话的特性或主题的描述);以及(iii)在空间通信会话期间访客通信者的能力。示例性类型的能力包括定义访客通信者能在虚拟区域内导航的范围、访客通信者能参与文件共享和应用共享的范围、以及访客通信者能下载、上传或删除虚拟区域中的文件的范围的支配规则。
主办客户端向虚拟环境创建器18发送完成的邀请表(图3,过程72)。作为响应,虚拟环境创建器18为访客通信者生成全局唯一访客标识符并向该访客通信者发送邀请,其包括对应于由主办客户端在完成的邀请表中指定的通信会话的位置的URL(图3,过程73)。在一些实施例中,访客标识符是从主办客户端在完成的邀请表中提供的联络信息(例如,电子邮件地址或电话号码)构建的。该邀请通常指定空间通信环境中将发生该通信会话的精确位置。虚拟环境创建器18基于主办客户端所指定的位置为指定的通信会话位置确定唯一地址。在一些实施例中,由诸如URL之类的唯一标识符来定址精确的会合位置。
图4示出虚拟区域72的示例性模型作为“场所”或“位置”(即,房间1、房间2、房间3…)和对象或道具(即,桌子、查看屏…)的空间分层结构。空间分层结构包括从顶层(例如,区域72)到底层范围的层级的经排序序列。空间分层结构的后继层级中的场所各自被包含在前一层级中的相应场所中。空间分层结构中的对象各自被包含在相应场所中。在这些实施例中,场所和场所中的对象与相应URL相关联,这些URL作为这些场所和对象的唯一地址。该定址方案允许主办通信者向虚拟环境创建器18精确地指定在访客通信者登录该系统时应将他或她带领至虚拟区域中的何处。例如,主办客户端通信者可指定当访客通信者首次访问该系统时,应向他或她展示房间171的视图(即,http://*/区域/房间1)。替换地,主办客户端通信者可指定应向访客通信者展示在查看屏对象(即,http://*/区域/房间1/查看屏)上正共享的应用_I(App_I)应用73的视图(即,http://*/区域/房间1/查看屏/App_I)。
回头参照图3,访客通信者从访客网络节点16向虚拟环境创建器18发送对由邀请中的URL所指定的网页的网络浏览器请求(图3,过程74)。虚拟环境创建器18确定访客网络节点16是否安装了虚拟区域使能通信应用20、22的版本(图3,过程76、78)。
若虚拟区域使能通信应用被安装在访客网络节点16上,则虚拟环境创建器18在该访客网络节点上开始虚拟区域使能通信应用的实例,且该通信应用实例在界面窗口中向访客通信者展示指定的通信会话位置的视图。在一些实施例中,按指定的URI所检索的文档内包含的信息通过向操作系统注册应用协议或MIME类型被传递给虚拟区域使能通信应用。这样,通过简单点击该URL,虚拟区域使能通信应用可被启动、登录、以及可能被直接发送至原始邀请中指定的会合位置,而用户不必手动这样做(在某些情况下)。例如,在一些实施例中,虚拟区域使能通信应用被提供URI(例如,sococo://将信息传递至虚拟区域使能通信应用)。在其他实施例中,向浏览器应用提供与虚拟区域使能通信应用相关联的MIME类型头部(例如,内容-类型:sococo/应用,随后是至区段x的XML指令)。浏览器应用可配置成一旦文档要求与在客户端节点12、14上运行的通信应用20、22交互,就向访客用户展示确认对话框。这样,访客用户可唯一地驶入至虚拟区域32中的合适位置。该体验可在各种平台上被适当路由。例如,智能电话可被配置为基于URL通过启动该智能电话上的本地应用并传递如上所述的相同信息集经由因特网访问虚拟区域32中的会合体验。
响应于确定虚拟区域使能通信应用未被安装在访客网络节点16上,虚拟环境创建器18向网络浏览器应用24发送包含登录表的登录页面(图3,过程80)。访客通信者完成该登录表且网络浏览器应用24将完成的登录表发送给虚拟环境创建器18(图3,过程82)。在虚拟环境创建器18已经基于该完成的登录表中包含的数据认证了访客通信者之后,虚拟环境创建器18向网络浏览器应用24发送呈现引擎26的实例以及包括访客通信者已被邀请至的虚拟区域的视觉化的接口规范(图3,过程84)。网络浏览器应用24安装呈现引擎26,且呈现引擎26在浏览器窗口52内呈现该视觉化。
在一些实施例中,虚拟环境创建器18向访客通信者的网络浏览器应用24发送接口规范,该接口规范包括虚拟区域的图形表示和客户端通信者的图形表示及其在虚拟区域中的相应当前位置的规范。接口规范通常以可扩展标记语言(XML)格式被发送至访客网络节点16。根据XML方案(XSD)使用基于标记的分层结构语言来表示接口规范的元素。以下XML规范表示包括四个座位、桌子和两个查看屏道具的示例性虚拟区域房间(即,“办公室A”):
-<房间名称="办公室A"艺术="办公室"大小="3800,3200">
-<!--办公室17,18-->
-<座位模板="标准座位">
<椅子坐标="1612,1748"/>
<椅子坐标="2687,1748"/>
<椅子坐标="2287,956"/>
<椅子坐标="1212,956"/>
</座位>
<标签名称="办公室标签"原点="中心"坐标="1900,500"
大小="3800,450"文本="$区段标签;"字体="办公室标签"调整="中心"/>
<道具名称="墙壁"位图="墙壁_办公室"原点="左上角"坐标="0,0"
大小="3800,3200"/>
<道具名称="桌子"模板="标准桌子"坐标="1900,2621″/>
-<!--<道具名称="钟"模板="标准钟"坐标="2020,2646"/>-->
-<kvm区段名称="屏1″大小="3800,3200">
<屏名称="屏1″模板="屏W"标签="屏1″
坐标="581,1772"旋转="0"/>
-<座位模板="标准座位">
<椅子坐标="704,2395"/>
</座位>
</kvm区段>
-<kvm区段名称="屏2"大小="3800,3200">
<屏名称="屏2"模板="屏E"标签="屏2"
坐标="3218,1772"旋转="180"/>
-<座位模板="标准座位">
<椅子坐标="3095,2395"/>
</座位>
</kvm区段>
</房间>
通信者的图形表示(即,头像)在虚拟区域中的位置通常在与该虚拟区域的几何元素的规范分离的XML规范中表示。指示头像位置的示例性消息可具有以下XML规范:
<a:Soda定义名称="Soda区段位置数据">
<a:ID字段名称="ID"类型="UUID"值="1cb68e80-
17d1-4758-8114-c911780c37f3"/>
<a:长度字段名称="长度"类型="短"/>
<a:字段名称="区段"类型="UUID"/>
<a:字段名称="x"类型="整数"/>
<a:字段名称="y"类型="整数"/>
<a:字段名称="z"类型="整数"/>
</a:Soda定义>
其中“Soda区段位置数据”是在协议中向下发送至常规桌面通信应用的消息。这些字段标识了头像(通过全局唯一标识符(UUID))、它们所在的区段(也由UUID标识),以及对应于区段中的头像位置的x,y和z坐标。该信息被封装并作为状态信息流被发送至通信应用,且存在与所有属性方式(轮廓、颜色、艺术、话筒开启、话筒关闭等)相关联的消息。
在一些实施例中,网络浏览器中的头像的位置可用利用现成的数据处理库的稍微不同的格式来体现。例如,头像位置规范可采用XML、JSON的形式,或其他数据封装技术。在XML中,头像位置规范可能看起来象:
<Soda区段位置数据>
<ID>2eb68e81-17f1-8758-2914-d83480c37f6</ID>
<区段>1cb68e80-17d1-4758-8114-c911780c37f3</区段>
<X>25</X>
<Y>38</Y>
<Z>0</Z>
</Soda区段位置数据>
网络浏览器应用获取XML头像位置规范、解析字段、并将位置和区段信息应用于具有匹配ID的头像。相同的概念可应用于任何其他元素(例如,道具、头像和几何体系)的其余状态信息。
参照图5,在这些实施例中,呈现引擎26是可扩展样式表语言变换(XSLT)引擎,其使用一个或多个模板75来将XML接口规范77转换为可被网络浏览器应用24在浏览器窗口内呈现的HTML文档79(例如,动态HTML(DHTML)文档)。在此过程中,XSLT呈现引擎26将XML接口规范内的节点与一个或多个模板匹配,该模板指定如何将XML节点转换为HTML文档79的元素。HTML文档79描述用于显示包含实时通信会话的空间视觉化的接口的展示格式。
浏览器接口脚本(例如,JavaScript)可为呈现引擎26的一部分或是单独插件,它使用一个或多个事件处理机来检测用户与呈现接口规范的交互。示例性的交互包括计算机鼠标动作(例如,鼠标指针移动和按钮点击)、键盘动作、以及操纵杆动作。浏览器接口脚本通常向虚拟环境创建器18发送XML文档,该文档报告用户与在访客通信者的终端上展示的空间接口的某些交互。例如,浏览器接口脚本通常报告控制访客通信者在虚拟区域中的状态(例如,位置或在场性)的用户交互以及涉及与其他通信者的交互(例如,发起与另一通信者的对等聊天或邀请另一通信者加入虚拟区域中的访客通信者)的用户交互。在一些实施例中,浏览器接口脚本解释检测到的用户交互以控制访客通信者终端上的本地参数(例如,本地扬声器和本地话筒的音量)。
在一些实施例中,在共享通信会话期间,网络浏览器应用24向虚拟环境创建器18发送引用虚拟区域32的图形表示中的位置的消息。例如,在这些实施例中的一些实施例中,访客通信者能够通过选择虚拟区域中的特定位置(例如,通过点击或双击具有定位于该特定位置上的光标的计算机鼠标)导航至该特定位置。事件处理机检测该选择且浏览器脚本通过发出HTTP消息向虚拟环境创建器报告该选择,该HTTP消息包括例如虚拟区域的视觉化中该选定位置的坐标或唯一标识符(例如,URL)。响应于该HTTP消息,虚拟环境创建器18生成对共享通信会话的图形视觉化的更新并将该更新的相应接口规范发送至虚拟区域32中的每个客户端和访客网络节点。该更新可以例如包括该访客通信者的头像已移至选定位置的虚拟区域的视觉化规范。
在一些实施例中,虚拟区域的空间视觉化被分为非交迭图形块的阵列,每个图形块对应于空间视觉化的相应划分。响应于从网络浏览器应用24接收的更新请求,虚拟环境创建器18仅向网络浏览器应用24发送自对前次更新请求的最近期响应被发送以来已经改变的那些图形块。
在一些实施例中,在共享通信会话期间,网络浏览器应用24向虚拟环境创建器18发送与该共享通信会话相关联的消息。该消息通常引用该共享通信会话的图形视觉化。例如,一些消息引用虚拟区域的图形视觉化中的选定位置;一些消息引用虚拟区域中的对象(例如,通信者头像和道具);以及其他消息引用包括导航和交互控件的工具栏的图形表示中的选定按钮。导航控件使得通信者能指定在虚拟区域中何处建立在场性,而交互控件使得通信者能管理与网络通信环境中的一个或多个其他通信者的交互。
在一些实施例中,访客通信者经由处置来自访客节点16的HTTP/网络请求的服务器节点直接连接至虚拟环境创建器18。在这些实施例中,主办客户端网络节点不被用于将访客通信者与虚拟区域对接。相反,服务器节点排队所有实时数据流(RDS)状态活动、聊天、以及可以有延迟地提供且适于通过可靠信道传送的任何其他事项(这不同于通常因带宽限制而不在可靠信道上提供的语音/视频流)。这样,诸如头像位置、头戴式听筒耳机/话筒状态、头部闪烁提示、眼睛提示和聊天之类的数据可被直接传递,这与通过主办客户端网络节点和访客节点之间的对等连接进行传递不同。在这些实施例的一些实施例中,访客节点浏览器应用被配置为以规律间隔向服务器节点轮询排队的状态/其他信息,且使所有变化传播到虚拟区域呈现引擎中。在其他实施例中,服务器节点被配置为设立与访客节点16的长久HTTP链接,将排队的状态/其他信息格式化为XML或其他数据封装格式,以及将经格式化的数据向下流送至网络浏览器应用24。
2.配置访客通信者以用于空间通信会话中的实时音频通信
a.主办客户端网络节点仲裁的访客通信者的音频集成
图6示出网络通信环境10的实施例88,其中客户端网络节点12被配置为在网络浏览器应用24的域之外与访客通信者建立音频通信信道90而不要求访客通信者运行虚拟区域使能通信应用20、22的实例。
在一些实施例中,在主办客户端网络节点12上运行的虚拟区域使能通信应用的实例20可用于在网络浏览器应用24的域之外与正由访客通信者操作的电话92(例如,移动电话或有线电话)建立音频通信信道。在这些实施例中,通信应用20具有集成网际协议语音(VOIP)组件或与在客户端网络节点12上操作的单独VOIP应用的可编程接口通信。VOIP组件或VOIP应用根据会话控制协议控制呼叫的建立和拆除。VOIP组件或VOIP应用使用音频编解码器将从客户端网络节点12上的声卡接收的传出语音信号编码成能作为数字音频经由音频流在IP网络上传送的IP分组。来自访客通信者电话的传入呼叫在本地PSTN网络上被发送至最近的网关服务器。该网关服务器数字化模拟语音信号,将其压缩为IP分组,并将该IP分组在网络(例如,因特网)上发送至接收端的另一网关。接收网络将传入呼叫分组发送至主办客户端网络节点12上的VOIP组件或VOIP应用。该VOIP组件或VOIP应用使用音频编解码器将传入IP分组解码为可由主办客户端网络节点12上的声卡转换为声音的语音信号。
在其他实施例中,在客户端网络节点12上运行的虚拟区域使能通信应用的实例20可用于与正在访客网络节点16上执行的非虚拟区域使能通信应用94建立音频通信信道。在这些实施例中,虚拟区域使能通信应用20具有集成VOIP组件或与在客户端网络节点12上操作的单独VOIP应用的可编程接口通信。主办客户端网络节点12上的VOIP组件或VOIP应用根据会话控制协议控制呼叫的建立和拆除。在访客网络节点16上操作的非虚拟区域使能通信应用94是VOIP通信应用,该VOIP通信应用可与在主办客户端网络节点12上操作的VOIP组件或VOIP应用传达实时音频数据流(以及可能其他实时数据流,例如,视频和聊天实时数据流)。主办客户端网络节点12和在访客网络节点16上操作的非虚拟区域使能通信应用之间的VOIP通信可基于客户端-服务器模型或对等模型。
在一些实施例中,主办客户端网络节点12将访客通信者与在相应对等连接上通信的一个或多个其他客户端网络节点对接。在其他实施例中,代理/收发机/流倍增器服务节点将访客通信者与客户端网络节点对接。在这些实施例中,代理/收发机/流倍增器服务器节点的使用从计算功率角度和网络带宽角度而言减少了主办客户端网络节点12上的负载。
图7示出在主办客户端网络节点12和访客通信者之间建立实时音频通信信道的方法的实施例。根据该方法,虚拟环境创建器18向主办客户端网络节点12发送从访客通信者接收的完成的登录表格内包含的联络信息(图7,过程94)。该联络信息可为,例如,电话号码(例如,移动、陆线、或VOIP电话号码)或可用于建立与访客通信者的音频通信信道的任何其他类型的呼入标识符或地址(例如,唯一VOIP名称或地址)。主办客户端网络节点12使用虚拟区域使能通信应用20发起与访客通信者的实时音频连接(图7,过程96)。该音频连接可建立在例如虚拟区域使能通信应用20的VOIP组件或在主办客户端网络节点12上操作的单独VOIP应用与访客通信者的电话92或非虚拟区域使能通信应用94之间。已建立音频通信信道后,主办客户端网络节点12和访客通信者在该音频通信信道上交换实时音频数据流(图7,过程98)。
图8示出在主办客户端网络节点12上执行的虚拟区域使能通信应用20将从访客通信者接收的音频通信集成到空间通信会话的方法的实施例。根据该实施例,虚拟区域使能通信应用20建立与正由相应客户端通信者操作的一个或多个其他客户端网络节点的实时通信会话(图8,框100)。在实时通信会话期间,虚拟区域使能通信应用20与空间视觉化相关联地与客户端网络节点交换对等实时数据流,该空间视觉化包括与虚拟区域的图形表示空间相关的每个客户端通信者的相应图形表示(图8,框102)。虚拟区域使能通信应用20从访客通信者接收访客实时数据流(图8,框104)。虚拟区域使能通信应用20向每个其他客户端网络节点发送从接收自访客通信者的访客实时数据流导出的相应实时数据流(图8,框106)。虚拟区域使能通信应用20向访客通信者发送一个或多个实时数据流,该实时数据流是从源自主办客户端网络节点的对等实时数据流和由主办客户端网络节点从其他客户端网络节点接收的对等实时数据流导出的(图8,框108)。
图9示出图8的方法的实施例,其中主办客户端网络节点12经由虚拟区域使能通信应用20与其他客户端网络节点14通信,并经由单独VOIP应用与访客通信者通信。根据该方法,虚拟区域使能通信应用20在主办客户端网络节点12上执行(图9,框110)。虚拟区域使能通信应用20建立主办客户端网络节点12和至少一个其他客户端网络节点14之间的第一实时数据流连接,其中该第一实时数据流连接与对虚拟区域32的引用相关联。与执行虚拟区域使能通信应用20并发地,在主办客户端网络节点12上执行VOIP应用(图9,框112)。该VOIP应用建立主办客户端网络节点12和访客通信者之间的第二实时数据流连接,其中该第二实时数据流连接没有对虚拟区域32的任何引用。在主办客户端网络节点12上,从在第一和第二实时数据流连接上交换的实时数据流产生一个或多个集成实时数据流(图8,框114)。
这一个或多个集成实时数据流中的至少一个通常被呈现在主办客户端网络节点12上。虚拟区域使能通信应用20通常向其他客户端网络节点14传送这一个或多个集成实时数据流中的相应一些。
在一些实施例中,虚拟区域使能通信应用20生成第一实时数据音频流;虚拟区域使能通信应用20从其他客户端网络节点14接收第二实时音频数据流;并且虚拟区域使能通信应用20从访客通信者接收第三实时音频数据流。在这些实施例中,产生集成实时数据流的过程涉及混合第二和第三实时数据流以产生第一集成实时数据流,混合第一和第三实时数据流以产生第二集成实时数据流,以及混合第一和第二实时数据流以产生第三集成实时数据流。虚拟区域使能通信应用20在主办客户端网络节点12上呈现第一集成实时数据流,将第二集成实时数据流从主办客户端网络节点12传送至其他客户端网络节点14,以及将第三集成实时数据流从主办客户端网络节点12发送至访客通信者。在一些实施例中,虚拟区域使能通信应用20将第三集成实时数据流传递给在其他客户端网络节点14上操作的虚拟区域使能通信应用22。在一些实施例中,第一和第二实时数据流分别由分别在客户端网络节点12和14上执行的虚拟区域使能通信应用的第一和第二实例20、22生成,且主办客户端网络节点12上的虚拟区域使能通信应用20将第二集成实时数据流从区域使能通信应用20传递给区域使能通信应用22的第二实例。
在一个示例性实施例中,访客通信者是主办客户端通信者的VOIP联系人,但访客通信者不是虚拟区域使能通信应用20、22的用户。通过与VOIP应用的可编程接口集成,虚拟区域使能通信应用20得到并在主办客户端网络节点12上展示的通信接口中直接显示主办客户端通信者的VOIP联系人。点击VOIP应用的联系人接口中的用户接口控件(例如,“呼叫联系人”)可使用VOIP应用发起对访客通信者的呼叫。通信应用20获取从访客通信者接收的音频流并将其复用到虚拟区域32中的其他客户端通信者的音频流中。这样,访客通信者可参与空间虚拟会话,即使仅具有由VOIP应用提供的音频体验。
在一些实施例中,不需要额外插件可发起单向音频流并将其下载至浏览器应用。在这些实施例中,给定区段中的会话的混合被发送至浏览器应用以便访客通信者可收听该会话。尽管访客通信者不能通过从网络浏览器应用发出实时音频流来参与该会话,访客通信者可经由更易于在网络浏览器应用的上下文中实现的更多异步信道(例如,文本聊天)来参与。这些实施例可在其中访客通信者并非会议的主要焦点的会议(例如,其中存在许多观察员但仅有少数关键参与者的会议,诸如贸易展或演讲专题)中提供特定的实用性。
图10是使操作虚拟区域使能通信应用的通信者与非区域使能通信设备通信的通信基础设施的实施例的框图。图9示出在共享虚拟区域的四个网络节点(即,非区域使能访客通信者设备1、主办客户端网络节点2、客户端网络节点3和客户端网络节点4)之间建立的音频通信信道。访客通信者设备1表示不被配置成运行虚拟区域使能通信应用的客户端终端;相反,访客通信者设备1被配置成操作替换的通信系统(例如,操作非区域使能通信应用(诸如VOIP应用)的网络节点,或另一非区域使能通信设备(诸如电话))。主办客户端网络节点2表示正运行虚拟区域使能通信应用20的主办客户端通信者的终端,该虚拟区域使能通信应用20还包括虚拟化访客通信者的通信系统的回放和音频捕获流的集成组件。客户端网络节点3和4表示正运行虚拟区域使能通信应用相应实例的两个其他客户端终端。图10示出的系统的概况在以下文本框中提供:
Figure BDA00001931927700271
Figure BDA00001931927700281
在操作中,I/O多路复用器/多路分解器将接收自主办客户端网络节点1和访客通信者设备2的音频信号1和2发送至客户端网络节点3和客户端网络节点4两者。I/O多路复用器/多路分解器还将接收自客户端网络节点3和4的音频信号3和4发送至主办客户端网络节点2的P路由组件。P路由组件向主办客户端网络节点2的回放组件发送音频信号1、3和4并将音频信号3和4传递给主办客户端网络节点2的P混合组件。主办客户端网络节点2的P混合组件混合音频信号2、3、4并将经混合的信号传递给主办客户端网络节点2的集成组件。集成组件将经混合信号传递给正在主办客户端网络节点2上运行的替换通信应用(例如,VOIP应用)的音频捕获组件。在一些实施例中,该替换通信应用对应于正由访客通信者设备1使用的相同类型的通信应用(例如,VOIP应用)。替换音频捕获系统(CA)将捕获的经混合信号2+3+4传递给在访客通信者设备1上运行的替换通信应用的回放组件。
在图10示出的系统的一些实现中,P混合也可直接订阅I/O多路复用器/多路分解器以使该系统更对称。P路由变为P混合1,并从I/O接收3、4,以及从C拆分1接收1。因为这些信号作为独立信道发送,因此C拆分1的输出可直接发送至回放组件,但这是不够灵活的(因为P混合可能执行实际的混合而非独立信道的传递,参见以下)。在此情况下,P混合变为P混合2,并从I/O接收3、4,以及从C拆分2接收2。混合器的输出是真实混合,因为替换音频系统是单信道通信系统(即使该信道是立体声的,通常另一端不存在用于组合来自多个源的信号的多轨混合器)。
图10并未示出客户端网络节点3和4彼此之间的交互,仅仅示出与主办客户端网络节点2以及通过延伸而与访客通信者设备1的交互。客户端网络节点3和4之间的交互可以如上所述是对等的或是由服务器仲裁的。
在图10中,在任何时间,两个流用逗号分隔(意指它是多信道路由),该系统也可发送经混合的流以节约内部通信资源(例如,I/O多路复用器/多路分解器的输出)。必须被混合的流用加号来指示(即,由集成组件向替换捕获组件CA发送的虚拟化话筒信号)。
在一些实施例中,通信应用20能基于在客户端网络节点12和访客网络节点16之间建立的音频通信信道的状态来确定访客通信者的通信状态。在实时通信会话期间,通信应用20建立与访客通信者的实时数据流连接,从该实时数据流连接确定访客通信者的当前通信状态,以及在空间视觉化中描绘示出所确定的访客通信者的当前通信状态的视觉线索。在一些实施例中,虚拟环境创建器18接收描述实时通信信道的通信状态的数据,主办客户端网络节点12和访客网络节点16正在网络浏览器应用14的域之外经由该实时通信信道通信。作为响应,虚拟环境创建器18向网络浏览器应用24发送第二网络通信,第二网络通信包括可与共享通信会话的图形视觉化相关联地呈现的视觉线索规范以描绘操作主办客户端网络节点12的通信者的通信状态。
在这些实施例中,通信应用20确定实时数据流连接的连接状态,并基于所确定的实时数据流连接的连接状态将访客通信者分类为已连接状态或未连接状态之一。通信应用20描绘指示访客通信者当前被分类为已连接还是未连接状态的相应视觉线索。
在一些实施例中,通信应用20响应于在实时数据流连接上检测到当前实时数据流而将访客通信者分类为活跃通信状态,以及响应于没有在实时数据流连接上检测到当前实时数据流而将访客通信者分类为非通信状态。通信应用20描绘指示访客通信者当前被分类为活跃通信还是非通信状态的相应视觉线索。
在实时通信会话期间,通信应用20通常从虚拟环境创建器18接收访客通信者的图形表示在虚拟区域中的当前位置的规范。在这些实施例中,单独(未混合)的实时音频数据流通常分别用指派给发起该实时数据流的通信者的全局唯一标识符来标记。由于访客实时数据流和访客通信者的图形表示分别与指派给该访客通信者的相同唯一访客标识符相关联,因此通信应用能基于该唯一访客标识符描绘与访客通信者的图形表示在虚拟区域中的当前位置相关联的视觉线索。
b.由虚拟环境创建器仲裁的访客通信者的音频集成
图11示出网络通信环境10的实施例120,其中虚拟环境创建器18的实施例122被配置为在网络浏览器应用24的域之外与访客通信者建立音频通信信道124而不要求访客通信者运行虚拟区域使能通信应用20、22的实例。虚拟环境创建器122包括运行通信应用(例如,VOIP通信应用)的一个或多个实例128的收发机126,这些实例使收发机向访客通信者设备发送从接收自一个或多个客户端网络节点12、14的音频数据流导出的实时音频数据流130,以及向一个或多个客户端网络节点12、14发送从接收自访客通信者设备的音频数据流导出的实时音频数据流。
在一些实施例中,收发机126从客户端网络节点12、14和访客通信者设备中的每一个接收实时音频流,创建适当的一些收到音频流的相应混合,并将相应混合传送至客户端网络节点12、14和访客通信者设备。
在其他实施例中,收发机126将从访客通信者设备接收的实时音频流124中继至主办客户端网络节点12。主办客户端网络节点12创建访客通信者的实时音频流与其自己本地生成的实时音频流的混合并将该混合传送给虚拟区域对等中的其他客户端网络节点14。主办客户端网络节点12也创建其自己本地生成的实时音频流和接收自虚拟区域中的其他客户端网络节点14的对等实时音频流的混合并将该混合传送至收发机126,收发机126将该混合中继至访客通信者设备。
在一些实施例中,在收发机126上运行的通信应用128可用于在网络浏览器应用24的域之外建立与正由访客通信者操作的电话92(例如,移动电话或有线电话)的音频通信信道。在这些实施例中,通信应用128具有集成网际协议语音(VOIP)组件或与在收发机126上操作的单独VOIP应用的可编程接口通信。该VOIP组件或VOIP应用根据会话控制协议控制与访客通信者的电话92的呼叫的建立和拆除。来自访客通信者的电话92的传出呼叫在本地PSTN网络上被发送至最近的网关服务器。该网关服务器数字化模拟语音信号,将其压缩为IP分组,并将该IP分组在网络(例如,因特网)上发送至接收端的另一网关。收发机126上的VOIP组件或VOIP应用将从其他网关接收的IP分组编码为可由在客户端网络节点上操作的通信应用的实例20、22解释的格式,并将经编码IP分组传送至一个或多个客户端网络节点12、14。收发机126上的VOIP组件或VOIP应用还使用音频编解码器将从一个或多个客户端网络节点接收的传出语音信号编码为能作为数字音频经由音频流在IP网络上传送的IP分组。接收网关将IP分组解压并将经解压IP分组转换为在本地PSTN网络上发送至访客通信者的电话92的模拟信号。
在其他实施例中,收发机126上的通信应用128建立与在访客网络节点16上执行的非虚拟区域使能通信应用94的音频通信信道。在这些实施例中,通信应用128具有集成VOIP组件或与在收发机126上操作的单独VOIP应用的可编程接口通信。收发机126上的VOIP组件或VOIP应用根据会话控制协议控制与非虚拟区域使能通信应用94的呼叫的建立和拆除。在访客网络节点16上操作的非虚拟区域使能通信应用94通常是VOIP通信应用,该VOIP通信应用可与在收发机126上操作的VOIP组件或VOIP应用传达实时音频数据流(以及可能其他实时数据流,例如,视频和聊天实时数据流)。
在一些实施例中,访客节点16包括网络浏览器应用,网络浏览器应用包括允许音频/视频流的双向UDP样式端口话务的其他浏览器通信平台(例如,Java平台、Flash平台、Sliverlight平台、或HTML5平台)的插件。在这些实施例中,浏览器通信平台实现与通信应用20、22中使用的协议栈类似的协议栈以根据原有格式和促进实时通信性能的通信协议与网络基础设施服务环境30通信。
3.网络浏览器窗口内的空间通信会话的访客通信者视觉化
图12示出虚拟区域中用于一群通信者之间的实时聊天交互的空间接口192的示例性实施例,该空间接口192由网络浏览器应用24在访客网络节点16上的网络浏览器窗口210中生成。每一通信者由相应子图形194、196、198、200、202图形地表示,而虚拟区域由矩形空间201(即,“西部会议”空间)的二维俯视图图形地表示。当通信者最初进入该虚拟区域时,它们的子图形被自动置于虚拟区域中的预定位置(或“座位”)。该虚拟区域包括两个查看屏道具204、206和桌子道具208。访客通信者通过用输入设备选择道具(例如,通过用计算机鼠标、触摸板、触摸屏等双击道具)来与这些道具交互。
网络浏览器窗口210包括浏览器工具栏150,其包括一组网络浏览导航工具,包括后退和前进按钮152和154、停止按钮156、主页按钮158、地址栏160和搜索框162。
网络浏览器窗口210还将空间接口192与空间通信工具栏212、聊天日志区域214、文本框216以及发送按钮218集成。访客通信者可在文本框216中输入文本消息并通过选择发送按钮218将该文本消息发送给当前西部会议空间201中的其他通信者。访客网络节点和其他客户端网络节点之间的聊天通信可以是对等的,或它们可由虚拟环境创建器18的同步会议服务器仲裁。空间接口192和聊天日志区域214由分割器217在视觉上分离开来,在一些实施例中,该分割器217可由访客通信者上下滑动以隐藏或展现空间接口192。
聊天日志区域214显示与西部会议空间201相关联的当前事件以及可选地还有先前事件的日志。聊天日志区域214中显示的一组示例性事件包括:访客通信者与西部会议空间201中的其他通信者已经交换的文本消息;西部会议空间201中的通信者的在场状态的改变;西部会议空间201中的通信者的扬声器和话筒设置的改变;以及道具204-208的状态,包括对结合这些道具共享的任何应用和数据文件的引用。在所示实施例中,这些事件由通信者的名字继之以与事件相关联的内容(例如,文本消息)或事件的描述来标示。例如,在图12所示的示例中,状态相关的事件被如下标示:
·$用户名$进入房间。
·$用户名$离开房间。
·$用户名$共享$进程名$在$查看屏名称$上。
·$用户名$清空$查看屏名称$。
其中,“$”与“$”之间的标签标识通信者、共享的应用、或道具。此外,每个事件与标识相关联事件被发起时的日期和时间的相应时戳219相关联。
在与传统即时消息接发平台(例如,AOL即时信使、MSN信使、雅虎信使、谷歌聊天(Google Talk)以及Skype)集成的实施例中,聊天日志区域214通常包括标准“聊天历史”(也称为“即时消息历史”),该标准“聊天历史”包括由两个或更多个联网通信者远程键入的条目的列表,按照这些条目被键入的顺序交错。该聊天历史通常在每个通信者的终端显示器上显示,并连同哪个用户相对于其他通信者的条目在何时作出特定条目的指示。这通过使得通信者能够独立查看这些条目以及作出每个条目的时间提供了聊天的会话历史。
空间视觉化192提供用于组织在聊天日志区域214中显示的事件的展示的上下文。例如,在所示实施例中,每个显示的事件用与发起该显示的事件的通信者的子图形的外观在视觉上相关的相应标签来标示。具体而言,由一特定通信者发起的每一事件用其视觉外观(例如,彩色码)匹配于该通信者的子图形的视觉外观的相应图标230、232、234、236标示。在该示例中,图标230、234的色彩匹配于Dave的子图形200的主体的色彩,图标232的色彩匹配于Camilla的子图形198的主体的色彩,而图标236的色彩匹配于Josh的子图形196的主体的色彩。
空间通信工具栏212包括一组导航和交互控制按钮,包括用于开关访客通信者的扬声器的耳机按钮220、用于开关访客通信者的话筒的话筒按钮222、用于获取人的获取按钮124、用于开启包括空间201的更大虚拟区域的地图视图的地图按钮226、以及用于重建到该虚拟区域的连接的重新连接按钮228。
用户已经移至西部会议空间201后,访客通信者能根据主办客户端网络节点12指定的能力在虚拟区域中四处导航并与虚拟区域中的对象交互。访客通信者通常使用计算机鼠标来导航并与虚拟区域中的通信者和其他对象交互。例如,访客通信者可通过选择(例如,双击)虚拟区域的视觉化中的特定位置来导航至一位置。类似地,访客通信者可通过选择(例如,双击)虚拟区域视觉化中的对象的特定位置来与虚拟区域中的对象(例如,其他通信者和道具)交互。
响应于收到将访客通信者的图形表示从虚拟区域中的当前位置移至虚拟区域中的新当前位置的特定请求,虚拟区域创建器18基于该特定请求确定该访客通信者的图形表示在虚拟区域中的新当前位置。接口规范通常包括虚拟区域的一个或多个区段的相应规范。如上所述,在一些实施例中,每个区段由不同的相应通用资源定位符(URL)定址。在这些实施例中,对虚拟区域中特定区段的选择在包含选定区段的URL的消息中被报告给虚拟环境创建器18。虚拟环境创建器确定访客通信者希望进入由该消息中的URL定址的区段。虚拟环境创建器18基于由该消息所引用的相应URL定址的区段的属性来响应该消息。例如,虚拟环境创建器18可将访客通信者移至选定区段——若访客通信者的能力允许该移动;否则,虚拟环境创建器18可不允许访客通信者移至选定区段。若访客通信者被允许移动,则虚拟环境创建器18更新接口规范以包括已移至新当前位置的访客通信者的图形表示并将经更新的接口规范发送至浏览器应用24。虚拟环境创建器18还向每个客户端网络节点传送访客通信者的图形表示及其与该访客通信者的唯一访客标识符相关联的在虚拟区域中的相应当前位置的相应规范。访客标识符与在访客网络节点和一个或多个客户端网络节点之间建立的实时通信信道相关联。这允许每个客户端网络节点12、14将访客通信者的头像与由通信应用20、22从统一标记的实时通信信道推断出的该通信者的状态相匹配。
访客通信者可来回切换耳机按钮220和话筒按钮22中的一个或两者以便选择性地开启和关闭访客通信者的扬声器和话筒之一或两者。在一些实施例中,工具栏按钮220、222控制访客网络节点16上的本地音频设置,由此发送至和来自本地声卡的音频信号被启用或禁用。这样,访客通信者通过非虚拟区域使能通信应用(例如,图4和6示出的应用94)的音频通信可通过网络浏览器应用中的客户端侧脚本来控制。在其他实施例中,工具栏按钮220、222的状态改变由事件处理机检测,事件处理机触发浏览器脚本向虚拟环境创建器18报告该改变。作为响应,虚拟环境创建器18将音频控制消息传送至在客户端网络节点12、14上操作的虚拟区域使能通信应用20、22的实例。该音频控制消息使虚拟区域使能通信应用20、22改变访客通信者的扬声器和话筒信道的状态以符合相应工具栏按钮220、222的状态。
参照图13,响应于访客通信者对获取按钮224的选择,在单独的框238中显示通信者列表。这些通信者被分为两组:标识当前区域(即,西部会议)中所有通信者的第一组,标记为“西部会议中的人”;以及标识存在于更大区域(即,包含当前区域的兰辛航空)中但不存在于当前区域中的所有通信者的第二组,标记为“兰辛航空”。每个虚拟区域由相应一维空间242、244表示,其包含该空间中当前在场的通信者的图形表示。在一些实施例中,每个虚拟区域242、244中通信者的图形表示的空间位置的排序(例如,从上到下)对应于通信者的按照他们在虚拟区域中建立相应在场性时的时间的时间排序的空间视觉化。在示出的实施例中,每个通信者由用该通信者的相应用户名(即,“Josh,”“Dave,”“Camilla,”“Karou,”“Arkadi,”“Yuka,”“Teca,”“Yoshi,”和“Adam”)标记的相应圆形子图形表示。
相应通信者被配置为在其上通信的各个通信信道的状态由虚拟区域242、244中通信者的空间视觉化中示出的视觉线索来揭示。
例如,虚拟环境创建器18更新通信会话的视觉化以反映虚拟区域中的通信者的当前音频状态。响应于来自一个给定客户端通信者的激活音频阱通信信道的命令,虚拟区域创建器18在接口规范中纳入用给定通信者被配置为音频阱的视觉指示来描绘给定通信者的图形表示的规范。响应于来自一个给定客户端通信者的激活音频源通信信道的命令,虚拟区域创建器18在接口规范中纳入用给定通信者被配置为音频源的视觉指示来描绘虚拟区域中的给定客户端通信者的图形表示的规范。响应于收到改变访客通信者被注册为在其上通信的访客音频通信信道的状态的特定请求,虚拟环境创建器向每个客户端网络节点传送用访客音频通信信道的改变后状态的视觉指示来描绘虚拟区域中的访客通信者的图形表示的相应规范。
在一些实施例中,通信者的本地扬声器信道的开关状态由通信者的子图形上的耳机图形245的存在或不存在来描绘。因此,当由子图形表示的通信者的扬声器开启时,耳机图形245存在(参见子图形Josh、Dave、Camilla、Karou、Arkadi和Teca),而当通信者的扬声器关闭时,耳机图形245不存在(参见子图形Yuka、Yoshi和Adam)。通信者的话筒的开关状态由通信者的子图形上的话筒图形247的存在或不存在来描绘。因此,当话筒开启时,话筒图形247存在(参见子图形Karou和Teca),而当话筒关闭时,话筒图形247不存在(参见子图形Josh、Dave、Camilla、Arkadi、Yuka、Yoshi和Adam)。耳机图形245和话筒图形247提供了关于通信者的声音回放及话筒设备的状态的视觉线索。还可提供示出通信者的音频通信状态的附加视觉线索。例如,在一些实施例中,当通信者讲话时围绕该通信者的子图形示出辐射圆以指示通信者的话筒图形的状态。
通信者的文本聊天信道的活动状态由毗邻于通信者子图形的手型图形249的存在或不存在来描绘(参见子图形Adam)。因此,当通信者正在向另一网络节点传送文本聊天数据时手型图形249存在,而当通信者没有在传送文本聊天数据时手型图形249不存在。在一些实施例中,仅当键盘按键被压下时才传送文本聊天数据,在这种情况下,通信者的文本信道的视觉化表现为手型图形249的闪烁开关。
响应于访客通信者对浏览器框238中可用通信者列表中的通信者之一的选择(参见图13),该平台向被选通信者发送在相应区段中加入该访客通信者的邀请。例如,图14示出在访客通信者已在框238中显示的可用通信者列表中选择了“Arkadi”的情形中由该平台生成的弹出浏览器窗口241。响应于对发送按钮143的选择,该平台向与名字Arkadi相关联的通信者发送在西部会议空间201中加入该访客通信者的邀请(例如,“请在西部会议中加入我-Josh”)。
在一些实施例中,接口规范包括一个或多个道具。每个道具通常表示用于客户端和访客网络节点之间的通信的相应通信信道。每个道具通常可由不同的相应通用资源定位符(URL)定址。响应于收到来自网络浏览器应用24的引用相应一个URL的特定消息,虚拟环境创建器18基于由该特定命令所引用的相应URL所定址的道具的属性来响应该特定消息。
例如,响应于从网络浏览器应用收到对应于选择虚拟区域中的查看屏道具的特定消息,虚拟环境创建器18可在访客网络节点和虚拟区域中存在的每个客户端网络节点之间发起应用共享会话。在一些实施例中,虚拟环境创建器18向网络浏览器应用提供对应于应用共享会话的单独视频流的URL,该视频流通常由收发器或其他中心节点捕获。视频流通常被编码且经由HTTP流送提供给网络浏览器应用。网络浏览器应用可将该视频流嵌入显示虚拟区域的HTML文档并使用例如标准视频显示技术(诸如视频插件、HTML5视频标记或Flash播放器等)呈现该视频流。
在一些实施例中,查看屏道具提供了指示通信者是否正在应用共享信道上共享应用的视觉线索。响应于访客通信者选择查看屏道具,访客通信者的子图形自动移到虚拟区域的图形表示中毗邻于查看屏道具的位置。访客通信者的子图形的位置毗邻于查看屏道具指示该通信者当前正与或将与虚拟区域内的其他通信者共享应用。查看屏道具的图形描绘取决于是否正在发生活跃的应用共享会话而变化。例如,查看屏的绘制色彩可从活跃的应用共享会话期间的明亮变为无应用共享发生时的黑暗。关于应用共享过程的其他细节结合2009年1月15日提交的美国专利申请号12/354,709的图26-28和在2009年4月3日提交的美国专利申请号12/418,270中进行了描述。
响应于从网络浏览器应用收到对应于选择虚拟区域中的桌子道具的特定请求,虚拟环境创建器18可在访客网络节点和虚拟区域中存在的每个客户端网络节点之间发起文件共享会话。在一些实施例中,桌子道具提供了指示通信者是否在数据文件共享信道上正在或已经共享数据文件的视觉线索。例如,响应于访客通信者选择桌子道具,访客通信者的子图形自动移到虚拟区域的图形表示中毗邻于该桌子的位置。访客通信者的子图形的位置毗邻于桌子道具指示该访客通信者当前正与或将与虚拟区域内的其他通信者共享数据文件。在这个过程中,访客通信者将数据文件从访客网络节点16上传到由虚拟环境创建器18维护的贮储库。响应于访客通信者选择待上传的数据文件,虚拟环境创建器18将所上传的文件存储于贮储库中并创建将该数据文件与桌子道具相关联的数据库记录。在数据文件已被访客通信者共享之后,桌子道具的状态从具有清空的桌子表面转变为在桌子表面上具有数据文件的图形表示。虚拟区域中的其他通信者能够通过选择该数据文件的图形表示来查看所上传数据文件的内容,并且依照与虚拟区域相关联的支配规则,任选地或许能够修改或删除该数据文件。关于文件共享过程的其他细节结合在2009年1月15日提交的美国专利申请号12/354,709的图22和23进行了描述。
在一些实施例中,允许访客通信者直接向音频区段/信道中发起VOIP呼叫的呼入号码(例如,电话号码或唯一VOIP ID,诸如Skype ID)可与一区域、一房间、或一区域或房间内的道具相关联。当连接时,访客通信者可通过头像存在于该区域、房间或道具内,或通过匹配连接类型的另一表示(例如,当访客通信者正使用他或她的移动电话呼入时,通过移动电话)来图形地表示。在一些实施例中,许可检查被断言以确定发起呼叫的访客节点是否能访问与呼入号码相关联的区段内的资源。这些实施例使访客通信者直接发起与虚拟区域内的某人的通信或使使用通信应用20、22中的相应一个的通信者访问该区域。这些实施例可提供特定用途,使得能够检索和听觉消耗呼入区段内存储的信息、文件或音频,以及使得能与区段内其他客户端节点通信。
IV.示例性操作环境
通信者通常从相应网络节点访问共享虚拟区域通信环境。这些网络节点中的每一个通常由通用计算机系统或专用通信计算机系统(或“控制台”)来实现。每个网络节点执行在每个网络节点处展示虚拟区域的相应视图并建立与其他网络节点的实时数据流连接的通信进程。
图15示出计算机系统320实现的客户端网络节点的示例性实施例。计算机系统320包括处理单元322、系统存储器324、以及将处理单元322耦合到计算机系统320的各个组件的系统总线326。处理单元322可包括一个或更多个数据处理器,这些数据处理器各自可以是各种市场上可买到的计算机处理器中的任一种的形式。系统存储器324包括通常与定义对软件应用可用的地址的软件应用寻址空间相关联的一个或多个计算机可读介质。系统存储器324可包括存储基本输入/输出系统(BIOS)的只读存储器(ROM)、和随机存取存储器(RAM),该BIOS包含用于计算机系统320的启动例程。系统总线326可以是存储器总线、外围总线或本地总线,并且可与各种总线协议(包括PCI、VESA、Microchannel、ISA和EISA)中的任一种兼容。计算机系统320还包括持久存储存储器328(例如,硬盘驱动器、软盘驱动器、CD ROM驱动器、磁带驱动器、闪存设备、以及数字视频盘),该持久存储存储器328连接到系统总线326并包含为数据、数据结构和计算机可执行指令提供非易失或持久存储的一个或多个计算机可读介质盘。
通信者可使用一个或更多个输入设备330(例如,一个或更多个键盘、计算机鼠标、话筒、相机、操纵杆、诸如Wii输入设备之类的物理运动传感器、以及触摸板)与计算机系统320交互(例如,输入命令或数据)。信息可通过在显示监视器332上展示给通信者的图形用户界面(GUI)来展示,显示监视器332由显示控制器334控制。计算机系统320还可包括其他输入/输出硬件(例如,诸如扬声器和打印机之类的外围输出设备)。计算机系统320通过网络适配器336(也称为“网络接口卡”或NIC)连接到其他网络节点。
多个程序模块可被存储在系统存储器324中,包括应用编程接口338(API)、操作系统(OS)340(例如,可从美国华盛顿州雷蒙德市的微软公司得到的Windows
Figure BDA00001931927700391
操作系统)、通信应用26、驱动程序342(例如,GUI驱动程序)、网络传输协议344、以及数据346(例如,输入数据、输出数据、程序数据、注册表、以及配置设置)。
在一些实施例中,虚拟环境创建器18的一个或更多个服务器网络节点由与客户端网络节点320类型相同的相应通用计算机系统实现,不同之处在于每个服务器网络节点通常包括一个或多个服务器软件应用。
在其他实施例中,虚拟环境创建器18的一个或更多个服务器网络节点由执行边缘服务(例如,路由和交换)的相应网络设备实现。
V.结论
本文中描述的各个实施例提供了用于视觉化实时网络通信的改进型系统和方法。具体而言,这些实施例提供了用于空间通信环境的网络浏览器接口。该特征允许通信者与沉浸性空间通信环境中的其他通信者交互,而不必安装任何专用通信软件且不需要特殊代理或防火墙附加或例外。
其他实施例也落在权利要求的范围之内。

Claims (56)

1.一种方法,包括:
响应于从在虚拟区域(32)中操作的请求通信者接收的来自相应网络节点(12)的请求,生成定址所述虚拟区域(32)的通用资源定位符(URL);以及
响应于在由给定通信者操作的给定网络节点(16)上执行的网络浏览器应用(24)作出的定址至所述URL的请求,在所述虚拟区域(32)中的实时通信会话中将所述给定通信者与所述请求通信者对接,其中所述对接包括
向所述网络浏览器应用(24)传送接口规范,所述接口规范包括所述虚拟区域(32)的图形表示(66)以及与所述虚拟区域(32)的所述图形表示(66)空间相关的在所述虚拟区域(32)内存在的每个通信者的相应图形表示(62、64、70)的规范,以及
结合所述接口规范的相应元素来响应从所述网络浏览器应用(24)接收的消息。
2.如权利要求1所述的方法,其特征在于,所述对接包括向所述给定网络节点发送呈现引擎,所述呈现引擎能由所述网络浏览器应用(24)执行且能用于将所述接口规范转换成所述网络浏览器应用(24)能解释的格式。
3.如权利要求2所述的方法,其特征在于,所述传送包括以扩展标记语言(XML)格式向所述网络浏览器应用(24)传送所述接口规范,且所述呈现引擎能用于将所述接口规范从所述XML格式转换为超文本标记语言(HTML)接口规范并将所述HTML规范呈现在网络浏览器框内。
4.如权利要求1所述的方法,其特征在于,所述接口规范包括所述虚拟区域(32)的多个区段的相应规范,且每个所述区段由不同的相应通用资源定位符(URL)定址。
5.如权利要求4所述的方法,其特征在于,所述对接包括:
响应于来自所述网络浏览器应用(24)的定址至定址所述虚拟区域(32)的一个具体区段的URL的请求,将所述给定通信者与所述虚拟区域(32)的所述具体区段对接。
6.如权利要求4所述的方法,其特征在于,所述对接包括响应来自所述网络浏览器应用(24)的引用一个相应URL的具体消息,所述响应基于所述具体消息所引用的所述相应URL所定址的区段的属性。
7.如权利要求1所述的方法,其特征在于,从所述请求通信者接收的所述请求包括所述虚拟区域(32)的上下文的规范,所述规范应当响应于来自所述网络浏览器应用(24)的定址到所述URL的所述请求而被展示给所述给定通信者。
8.如权利要求7所述的方法,其特征在于,所述虚拟区域(32)包括多个区段且从所述请求通信者接收的所述请求指定应当响应于来自所述网络浏览器应用(24)的定址到所述URL的所述请求而被展示给所述给定通信者的所述区段中的一个具体区段。
9.如权利要求7所述的方法,其特征在于,从所述请求通信者接收的所述请求指定所述虚拟区域(32)中的道具(204,208),所述道具应当响应于来自所述网络浏览器应用(24)的定址到所述URL的请求而被展示给所述给定通信者。
10.如权利要求9所述的方法,其特征在于,从所述请求通信者接收的所述请求指定正结合所述道具(204,208)来共享的具体文档,所述文档应当响应于来自所述网络浏览器应用(24)的定址到所述URL的所述请求而被展示给所述给定通信者。
11.如权利要求1所述的方法,其特征在于,所述接口规范包括用于描绘指示所述通信者的相应当前通信状态的视觉线索的规范,且每个所述通信状态对应于所述网络节点(12,16)中的一个相应网络节点被配置为在其上通信的相应通信信道的状态。
12.如权利要求1所述的方法,其特征在于,所述接口规范包括一个或多个道具(204,208),每个所述道具代表用于所述网络节点(12,16)之间的通信的相应通信信道,每个所述道具能由不同的相应通用资源定位符(URL)定址,且响应于收到来自所述网络浏览器应用(24)的引用一个相应URL的具体消息,所述对接包括基于由所述具体消息所引用的所述相应URL所定址的所述道具的属性来响应所述具体消息。
13.如权利要求1所述的方法,其特征在于,还包括:
响应于从所述网络浏览器应用(24)收到对应于选择所述虚拟区域(32)中的查看屏道具的具体消息,发起所述给定网络节点和至少一个其他网络节点之间的应用共享会话。
14.如权利要求1所述的方法,其特征在于,还包括:
响应于从所述网络浏览器应用(24)收到对应于选择所述虚拟区域(32)中的桌子道具的具体消息,发起所述给定网络节点和所述请求通信者的相应网络节点之间的文件共享会话。
15.如权利要求1所述的方法,其特征在于,所述接口规范包括使所述给定通信者能指定在所述虚拟区域(32)中何处建立在场性的导航控件(126)的展示的规范。
16.如权利要求15所述的方法,其特征在于,所述导航控件(126)的展示的规范包括所述虚拟区域(32)的地图视图的规范。
17.如权利要求1所述的方法,其特征在于,所述接口规范包括使所述给定通信者能管理与至少一个其他通信者的交互的交互控件(220,222,124)的展示的规范。
18.如权利要求17所述的方法,其特征在于,所述交互控件(220,222,124)的展示的规范包括所述给定通信者用来在所述实时通信会话中与所述请求通信者对接的所述给定网络节点(16)的音频设备的状态的视觉指示的规范。
19.如权利1所述的方法,其特征在于,所述接口规范包括描述涉及所述虚拟区域(32)中的通信者的交互的相应事件的事件描述日志的展示的规范。
20.如权利19所述的方法,其特征在于,所述事件描述日志的展示的规范包括所述事件的日志在其中被展示给所述给定通信者的聊天日志区域(214)的规范。
21.一种方法,包括:
与空间视觉化相关联地管理操作正交换对等实时数据流的相应客户端网络节点(12,14)的客户端通信者之间的实时通信会话,所述空间视觉化包括与虚拟区域(32)的图形表示空间相关的每个所述客户端通信者的相应图形表示,其中所述管理包括确定所述客户端通信者的所述图形表示在所述虚拟区域(32)中的相应位置;以及
将访客通信者与所述实时通信会话对接,其中所述访客通信者正操作访客网络节点(16)上的网络浏览器应用(24),所述对接包括向所述访客网络节点(16)传送接口规范,所述接口规范包括所述虚拟区域(32)的图形表示(66)以及所述客户端通信者的图形表示及其在所述虚拟区域(32)中的相应当前位置的规范,且所述对接还包括结合所述接口规范的相应元素来响应从所述网络浏览器应用(24)接收的消息。
22.如权利要求21所述的方法,其特征在于,所述对接包括向所述访客网络节点(16)发送呈现引擎,所述呈现引擎能由所述网络浏览器应用(24)执行且能用于将所述接口规范转换成所述网络浏览器应用(24)能解释的格式。
23.如权利要求22所述的方法,其特征在于,所述传送包括以扩展标记语言(XML)格式向所述网络浏览器应用(24)传送所述接口规范,且所述呈现引擎能用于将所述接口规范从所述XML格式转换为超文本标记语言(HTML)接口规范并将所述HTML规范呈现在网络浏览器框内。
24.如权利要求21所述的方法,其特征在于,所述接口规范包括所述虚拟区域(32)的一个或多个区段的相应规范,每个所述区段由不同的相应通用资源定位符(URL)定址,且所述响应包括响应来自所述网络浏览器应用(24)的引用一个相应URL的具体消息,所述响应基于所述具体消息所引用的所述相应URL所定址的所述区段的属性。
25.如权利要求21所述的方法,其特征在于,所述接口规范包括用于描绘指示所述客户端通信者的相应当前通信状态的视觉线索的规范,且每个所述通信状态对应于所述客户端网络节点(12,14)中的一个相应客户端网络节点被配置为在其上通信的相应通信信道的状态。
26.如权利要求25所述的方法,其特征在于,还包括:
响应于来自所述客户端通信者中的一个给定客户端通信者的激活音频阱通信信道的消息,在所述接口规范中纳入用所述给定通信者被配置为音频阱的视觉指示来描绘所述给定通信者的图形表示的规范。
27.如权利要求25所述的方法,其特征在于,还包括:
响应于来自所述客户端通信者中的一个给定客户端通信者的激活音频源通信信道的消息,在所述接口规范中纳入用所述给定通信者被配置为音频源的视觉指示来描绘所述虚拟区域(32)中的所述给定客户端通信者的图形表示的规范。
28.如权利要求25所述的方法,其特征在于,还包括:
从所述网络浏览器应用(24)接收改变所述访客通信者被注册为在其上通信的访客音频通信信道的状态的具体消息;以及
响应于所述具体消息,向每个所述客户端网络节点(12,14)传送用所述访客音频通信信道的改变后状态的视觉指示来描绘所述虚拟区域(32)中的所述访客通信者的图形表示的相应规范。
29.如权利要求21所述的方法,其特征在于,还包括在所述接口规范中纳入所述访客通信者的图形表示在所述虚拟区域(32)中的相应位置的规范。
30.如权利要求29所述的方法,其特征在于,还包括:
从所述网络浏览器应用(24)接收将所述访客通信者的图形表示从所述虚拟区域(32)中的当前位置移至所述虚拟区域(32)中的新当前位置的具体消息;
基于所述具体消息确定所述访客通信者的图形表示在所述虚拟区域(32)中的所述新当前位置;以及
向所述浏览器应用发送更新,其中所述更新包括对所述接口规范的修改,其反映已移至所述新当前位置的所述访客通信者的图形表示。
31.如权利要求30所述的方法,其特征在于,还包括向每个所述客户端网络节点(12,14)传送所述访客通信者的图形表示及其与所述访客通信者的唯一访客标识符相关联的在所述虚拟区域(32)中的相应当前位置的相应规范,其中所述访客标识符与所述访客网络节点(16)以及一个或多个所述客户端网络节点(12,14)之间建立的实时通信信道相关联。
32.如权利要求21所述的方法,其特征在于,所述接口规范包括一个或多个道具,每个所述道具代表用于所述客户端网络节点和所述访客网络节点(16)之间的通信的相应通信信道,每个所述道具能由不同的相应通用资源定位符(URL)定址,且响应于收到来自所述网络浏览器应用(24)的引用一个相应URL的具体消息,所述响应包括基于由所述具体消息所引用的所述相应URL所定址的所述道具的属性来响应所述具体消息。
33.如权利要求21所述的方法,其特征在于,还包括:
响应于从所述网络浏览器应用(24)收到对应于选择所述虚拟区域(32)中的查看屏道具的具体消息,发起所述访客网络节点(16)和所述虚拟区域(32)中存在的每个所述客户端网络节点(12,14)之间的应用共享会话。
34.如权利要求21所述的方法,其特征在于,还包括:
响应于从所述网络浏览器应用(24)收到对应于选择所述虚拟区域(32)中的桌子道具的具体消息,发起所述访客网络节点(16)和所述虚拟区域(32)中存在的每个所述客户端网络节点(12,14)之间的文件共享会话。
35.如权利要求21所述的方法,其特征在于,还包括为所述访客通信者注册与所述访客通信者(16)以及一个或多个所述客户端网络节点(12,14)之间的实时通信信道相关联的唯一访客标识符,其中所述管理包括向每个所述客户端网络节点(12,14)传送所述访客通信者的图形表示及其与所述访客标识符相关联的在所述虚拟区域(32)中的相应当前位置的相应规范。
36.如权利要求21所述的方法,其特征在于,所述接口规范包括使所述访客通信者能指定在所述虚拟区域(32)中何处建立在场性的导航控件(126)的展示的规范。
37.如权利要求21所述的方法,其特征在于,所述接口规范包括使所述访客通信者能管理与所述网络通信环境中的一个或多个所述客户端通信者的交互的交互控件(220,222,124)的展示的规范。
38.如权利21所述的方法,其特征在于,所述接口规范包括描述涉及所述虚拟区域(32)中的通信者的交互的相应事件的事件描述日志的展示的规范。
39.如权利要求21所述的方法,其特征在于,所述接口规范包括对应于所述空间视觉化的相应划分的图形块的阵列,且还包括响应于从所述网络浏览器应用(24)接收的更新消息,仅向所述网络浏览器应用(24)发送自对前次更新消息的最近期响应被发送以来已经改变的那些图形块。
40.如权利要求21所述的方法,其特征在于,根据超文本传输协议从所述网络浏览器应用(24)接收消息以及向所述网络浏览器应用(24)发送响应。
41.一种装置,包括:
存储计算机可读指令的计算机可读介质(324、328);以及
耦合至所述计算机可读介质(324,328)的处理器(322),其能用于执行所述指令,且至少部分地基于所述指令的执行能用于执行包括以下的操作:
与空间视觉化相关联地管理操作正交换对等实时数据流的相应客户端网络节点(12,14)的客户端通信者之间的实时通信会话,所述空间视觉化包括与虚拟区域(32)的图形表示空间相关的每个所述客户端通信者的相应图形表示,其中所述管理包括确定所述客户端通信者的所述图形表示在所述虚拟区域(32)中的相应位置,以及
将访客通信者与所述实时通信会话对接,其中所述访客通信者正操作访客网络节点(16)上的网络浏览器应用(24),所述对接包括向所述访客网络节点(16)传送接口规范,所述接口规范包括所述虚拟区域(32)的图形表示(66)以及所述客户端通信者的图形表示及其在所述虚拟区域(32)中的相应当前位置的规范,且所述对接还包括结合所述接口规范的相应元素来响应从所述网络浏览器应用(24)接收的消息。
42.一种方法,包括:
向在第一客户端网络节点(16)上操作的网络浏览器应用(24)传送第一网络通信,其中所述第一网络通信包括所述第一客户端网络节点(16)和第二客户端网络节点(12)之间的共享通信会话的图形视觉化的接口规范,且所述图形视觉化包括与虚拟区域(32)的图形表示空间相关的正在所述第一和第二网络节点(12,16)上操作的通信者的相应图形表示;
在所述共享通信会话期间,从所述网络浏览器应用(24)接收引用所述虚拟区域(32)的所述图形表示(66)中的位置的消息;
响应于所述消息,生成对所述共享通信会话的所述图形视觉化的更新;以及
向所述第一和第二网络节点(12,16)中的每一个传送所述更新的相应接口规范。
43.一种装置,包括:
存储计算机可读指令的计算机可读介质(324、328);以及
耦合至所述计算机可读介质(324,328)的处理器(322),其能用于执行所述指令,且至少部分地基于所述指令的执行能用于执行包括以下的操作:
向在第一客户端网络节点上操作的网络浏览器应用(24)传送第一网络通信,其中所述第一网络通信包括所述第一客户端网络节点和第二客户端网络节点之间的共享通信会话的图形视觉化的接口规范,且所述图形视觉化包括与虚拟区域(32)的图形表示空间相关的正在所述第一和第二网络节点上操作的通信者的相应图形表示,
在所述共享通信会话期间,从所述网络浏览器应用(24)接收引用所述虚拟区域(32)的所述图形表示(66)中的位置的消息,
响应于所述消息,生成对所述共享通信会话的所述图形视觉化的更新,以及
向所述第一和第二网络节点中的每一个传送所述更新的相应接口规范。
44.一种方法,包括:
向在第一客户端网络节点(16)上操作的网络浏览器应用(24)传送第一网络通信,其中所述第一网络通信包括所述第一客户端网络节点(16)和第二客户端网络节点(12)之间的共享通信会话的图形视觉化(66)的接口规范;
在所述共享通信会话期间,从所述网络浏览器应用(24)接收与所述共享通信会话相关联的消息;
在所述共享通信会话期间,接收描述所述第一客户端网络节点(16)和所述第二客户端网络节点(12)正在其上在所述网络浏览器应用(24)的域之外通信的实时通信信道的通信状态的数据;以及
在所述共享通信会话期间,向所述网络浏览器应用(24)发送第二网络通信,所述第二网络通信包括能与所述共享通信会话的所述图形视觉化相关联地呈现的视觉线索以描绘操作所述第一客户端网络节点(16)的通信者的通信状态的规范。
45.如权利要求14所述的方法,其特征在于,所述消息引用所述共享通信会话的所述图形视觉化(66)。
46.一种装置,包括:
存储计算机可读指令的计算机可读介质(324、328);以及
耦合至所述计算机可读介质(324,328)的处理器(322),其能用于执行所述指令,且至少部分地基于所述指令的执行能用于执行包括以下的操作:
向在第一客户端网络节点(16)上操作的网络浏览器应用(24)传送第一网络通信,其中所述第一网络通信包括所述第一客户端网络节点(16)和第二客户端网络节点(12)之间的共享通信会话的图形视觉化(66)的接口规范,
在所述共享通信会话期间,从所述网络浏览器应用(24)接收与所述共享通信会话相关联的消息,
在所述共享通信会话期间,接收描述所述第一客户端网络节点(16)和所述第二客户端网络节点(12)正在其上在所述网络浏览器应用(24)的域之外通信的实时通信信道的通信状态的数据,以及
在所述共享通信会话期间,向所述网络浏览器应用(24)发送第二网络通信,所述第二网络通信包括能与所述共享通信会话的所述图形视觉化(66)相关联地呈现的视觉线索以描绘操作所述第一客户端网络节点(16)的通信者的通信状态的规范。
47.一种方法,包括在客户端网络节点上:
在操作所述客户端网络节点(12)的客户端通信者和操作访客网络节点(16)的访客通信者之间建立实时通信会话;
在所述客户端网络节点(12)的显示器上显示所述实时通信会话的空间视觉化,其中所述空间视觉化包括与虚拟区域(32)的图形表示空间相关的所述客户端通信者和所述访客通信者中的每一个的相应图形表示;以及
在所述实时通信会话期间,
建立与所述访客通信者的实时数据流连接,
从所述实时数据流连接确定所述访客通信者的当前通信状态,以及
在所述空间视觉化中描绘示出所确定的所述访客通信者的当前通信状态的视觉线索。
48.如权利要求47所述的方法,其特征在于:
所述确定包括确定所述实时数据流连接的连接状态,并基于所确定的所述实时数据流连接的连接状态将所述访客通信者分类为已连接状态或未连接状态之一;
所述描绘包括描绘指示所述访客通信者当前被分类为已连接还是未连接状态的相应视觉线索。
49.如权利要求47所述的方法,其特征在于:
所述确定包括响应于在所述实时数据流连接上检测到当前实时数据流而将所述访客通信者分类为活跃通信状态,以及响应于没有在所述实时数据流连接上检测到当前实时数据流而将所述访客通信者分类为非通信状态;以及
所述描绘包括描绘指示所述访客通信者当前被分类为活跃通信状态还是非通信状态的相应视觉线索。
50.如权利要求47所述的方法,其特征在于,
还包括在所述实时通信会话期间,从服务器网络节点接收所述访客通信者的图形表示在所述虚拟区域(32)中的当前位置的规范;以及
其中所述访客实时数据流和所述访客通信者的图形表示分别与指派给所述访客通信者的唯一访客标识符相关联,且所述描绘包括基于所述唯一访客标识符与所述访客通信者的图形表示在所述虚拟区域(32)中的当前位置相关联地描绘所述视觉线索。
51.其中含有计算机可读程序代码的至少一种计算机可读介质(324,328),所述计算机可读程序代码适于由客户端网络节点执行以执行包括以下的操作:
在操作所述客户端网络节点(12)的客户端通信者和操作访客网络节点(16)的访客通信者之间建立实时通信会话;
在所述客户端网络节点(12)的显示器上显示所述实时通信会话的空间视觉化,其中所述空间视觉化包括与虚拟区域(32)的图形表示空间相关的所述客户端通信者和所述访客通信者中的每一个的相应图形表示;以及
在所述实时通信会话期间,
建立与所述访客通信者的实时数据流连接,
从所述实时数据流连接确定所述访客通信者的当前通信状态,以及
在所述空间视觉化中描绘示出所确定的所述访客通信者的当前通信状态的视觉线索。
52.一种方法,包括在主办客户端网络节点(12)上:
与一个或多个其他客户端网络节点(14)建立分别在所述主办客户端网络节点(12)和其他客户端网络节点(14)上操作的客户端通信者之间的实时通信会话;
在所述实时通信会话期间,关联于空间视觉化与客户端网络节点(12,14)交换对等实时数据流,所述空间视觉化包括与虚拟区域(32)的图形表示空间相关的每个所述客户端通信者的相应图形表示;
从访客通信者接收访客实时数据流;
向每个所述其他客户端网络节点(14)发送从所述访客实时数据流导出的相应实时数据流;以及
向所述访客通信者传送一个或多个实时数据流,所述一个或多个实时数据流是从源自所述主办客户端网络节点(12)的所述对等实时数据流和由所述主办客户端网络节点(12)从所述其他客户端网络节点(14)接收的所述对等实时数据流导出的。
53.如权利要求52所述的方法,其特征在于,所述发送包括向每个所述其他客户端网络节点(14)发送与所述访客通信者的相应唯一标识符相关联的所述访客实时数据流的相应副本。
54.如权利要求52所述的方法,其特征在于,所述传送包括将源自所述主办客户端网络节点的所述对等实时数据流与由所述主办客户端网络节点(12)从所述其他客户端网络节点(14)接收的所述对等实时数据流混合以产生输出实时数据流,并将所述输出实时数据流传送至所述访客通信者。
55.如权利要求52所述的方法,其特征在于,所述接收包括从由所述访客通信者操作的电话接收所述访客实时数据流,且所述传送包括将从所述对等实时数据流导出的所述一个或多个实时数据流传送至所述电话。
56.其中含有计算机可读程序代码的至少一种计算机可读介质(324,328),所述计算机可读程序代码适于由主办客户端网络节点(12)执行以执行包括以下的操作:
与一个或多个其他客户端网络节点(14)建立分别在所述主办客户端网络节点(12)和其他客户端网络节点(14)上操作的客户端通信者之间的实时通信会话;
在所述实时通信会话期间,关联于空间视觉化(66)与所述客户端网络节点(14)交换对等实时数据流,所述空间视觉化包括与虚拟区域(32)的图形表示空间相关的每个所述客户端通信者的相应图形表示。
从访客通信者接收访客实时数据流;
向每个所述其他客户端网络节点(14)发送从所述访客实时数据流导出的相应实时数据流;以及
向所述访客通信者传送一个或多个实时数据流,所述一个或多个实时数据流是从源自所述主办客户端网络节点(12)的所述对等实时数据流和由所述主办客户端网络节点(12)从所述其他客户端网络节点(14)接收的所述对等实时数据流导出的。
CN2011800071266A 2010-01-26 2011-01-26 用于空间通信环境的网络浏览器接口 Pending CN102725748A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/694,126 2010-01-26
US12/694,126 US9009603B2 (en) 2007-10-24 2010-01-26 Web browser interface for spatial communication environments
PCT/US2011/022632 WO2011094354A2 (en) 2010-01-26 2011-01-26 Web browser interface for spatial communication environments

Publications (1)

Publication Number Publication Date
CN102725748A true CN102725748A (zh) 2012-10-10

Family

ID=44309918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800071266A Pending CN102725748A (zh) 2010-01-26 2011-01-26 用于空间通信环境的网络浏览器接口

Country Status (6)

Country Link
US (3) US9009603B2 (zh)
EP (1) EP2529316A2 (zh)
JP (1) JP2013518351A (zh)
KR (1) KR20120118019A (zh)
CN (1) CN102725748A (zh)
WO (1) WO2011094354A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104883395A (zh) * 2015-04-30 2015-09-02 深圳市华讯方舟科技有限公司 一种web网管系统自动锁屏的方法及装置
CN112738114A (zh) * 2020-12-31 2021-04-30 四川新网银行股份有限公司 一种网络安全策略的配置方法
CN113157784A (zh) * 2020-12-30 2021-07-23 浪潮云信息技术股份公司 一种数据库数据导出工具的插件化实现方法

Families Citing this family (101)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11106424B2 (en) 2003-07-28 2021-08-31 Sonos, Inc. Synchronizing operations among a plurality of independently clocked digital data processing devices
US11650784B2 (en) 2003-07-28 2023-05-16 Sonos, Inc. Adjusting volume levels
US8086752B2 (en) 2006-11-22 2011-12-27 Sonos, Inc. Systems and methods for synchronizing operations among a plurality of independently clocked digital data processing devices that independently source digital data
US8234395B2 (en) 2003-07-28 2012-07-31 Sonos, Inc. System and method for synchronizing operations among a plurality of independently clocked digital data processing devices
US10613817B2 (en) 2003-07-28 2020-04-07 Sonos, Inc. Method and apparatus for displaying a list of tracks scheduled for playback by a synchrony group
US11106425B2 (en) 2003-07-28 2021-08-31 Sonos, Inc. Synchronizing operations among a plurality of independently clocked digital data processing devices
US8290603B1 (en) 2004-06-05 2012-10-16 Sonos, Inc. User interfaces for controlling and manipulating groupings in a multi-zone media system
US11294618B2 (en) 2003-07-28 2022-04-05 Sonos, Inc. Media player system
US9374607B2 (en) * 2012-06-26 2016-06-21 Sonos, Inc. Media playback system with guest access
US9977561B2 (en) 2004-04-01 2018-05-22 Sonos, Inc. Systems, methods, apparatus, and articles of manufacture to provide guest access
US8868698B2 (en) 2004-06-05 2014-10-21 Sonos, Inc. Establishing a secure wireless network with minimum human intervention
US8326951B1 (en) 2004-06-05 2012-12-04 Sonos, Inc. Establishing a secure wireless network with minimum human intervention
US9202509B2 (en) 2006-09-12 2015-12-01 Sonos, Inc. Controlling and grouping in a multi-zone media system
US8788080B1 (en) 2006-09-12 2014-07-22 Sonos, Inc. Multi-channel pairing in a media system
US8483853B1 (en) 2006-09-12 2013-07-09 Sonos, Inc. Controlling and manipulating groupings in a multi-zone media system
US11876707B2 (en) * 2007-10-24 2024-01-16 Sococo, Inc. Routing virtual area based communications
US9401937B1 (en) 2008-11-24 2016-07-26 Shindig, Inc. Systems and methods for facilitating communications amongst multiple users
US8902272B1 (en) 2008-11-24 2014-12-02 Shindig, Inc. Multiparty communications systems and methods that employ composite communications
US9853922B2 (en) * 2012-02-24 2017-12-26 Sococo, Inc. Virtual area communications
US9344745B2 (en) 2009-04-01 2016-05-17 Shindig, Inc. Group portraits composed using video chat systems
US8779265B1 (en) 2009-04-24 2014-07-15 Shindig, Inc. Networks of portable electronic devices that collectively generate sound
US8244754B2 (en) * 2010-02-01 2012-08-14 International Business Machines Corporation System and method for object searching in virtual worlds
US20110231794A1 (en) * 2010-03-19 2011-09-22 Yury Alexandrovich Gubanov Method and System for Retrieval of Instant Messenger History
US20110252083A1 (en) * 2010-04-13 2011-10-13 Rebelvox, Llc Apparatus and method for transmitting media using either network efficient protocol or a loss tolerant transmission protocol
JP2012014676A (ja) * 2010-05-31 2012-01-19 Sony Computer Entertainment Inc 仮想現実空間提供システム、仮想現実空間提供方法およびそのプログラム
US20110314103A1 (en) * 2010-06-18 2011-12-22 Georges Harik Synchronized processes communicating over a wide area network and method
US8453212B2 (en) * 2010-07-27 2013-05-28 Raytheon Company Accessing resources of a secure computing network
US20120124471A1 (en) * 2010-09-23 2012-05-17 Gusky Jeffrey S Virtual tour, display and commerce
FR2968494B1 (fr) * 2010-12-03 2012-12-28 Oberthur Technologies Procede de communication entre un serveur embarque et un serveur distant
US9244912B1 (en) * 2010-12-10 2016-01-26 Wyse Technology L.L.C. Methods and systems for facilitating a remote desktop redrawing session utilizing HTML
US9395885B1 (en) 2010-12-10 2016-07-19 Wyse Technology L.L.C. Methods and systems for a remote desktop session utilizing HTTP header
US9245047B2 (en) 2010-12-10 2016-01-26 Wyse Technology L.L.C. Methods and systems for facilitating a remote desktop session utilizing a remote desktop client common interface
US8949726B2 (en) 2010-12-10 2015-02-03 Wyse Technology L.L.C. Methods and systems for conducting a remote desktop session via HTML that supports a 2D canvas and dynamic drawing
US9430036B1 (en) 2010-12-10 2016-08-30 Wyse Technology L.L.C. Methods and systems for facilitating accessing and controlling a remote desktop of a remote machine in real time by a windows web browser utilizing HTTP
US9535560B1 (en) 2010-12-10 2017-01-03 Wyse Technology L.L.C. Methods and systems for facilitating a remote desktop session for a web browser and a remote desktop server
US8966376B2 (en) 2010-12-10 2015-02-24 Wyse Technology L.L.C. Methods and systems for remote desktop session redrawing via HTTP headers
US11265652B2 (en) 2011-01-25 2022-03-01 Sonos, Inc. Playback device pairing
US11429343B2 (en) 2011-01-25 2022-08-30 Sonos, Inc. Stereo playback configuration and control
JP5857443B2 (ja) * 2011-05-12 2016-02-10 ソニー株式会社 コンテンツ共有システム
US9053750B2 (en) * 2011-06-17 2015-06-09 At&T Intellectual Property I, L.P. Speaker association with a visual representation of spoken content
US8719031B2 (en) * 2011-06-17 2014-05-06 At&T Intellectual Property I, L.P. Dynamic access to external media content based on speaker content
US8825748B2 (en) * 2011-07-06 2014-09-02 Sharp Laboratories Of America, Inc. Sandboxed daemon process invocation through HTTP
US9106599B2 (en) 2011-10-17 2015-08-11 Disintermediation Services, Inc. Two-way real time communication allowing asymmetric participation across multiple electronic platforms
US9529900B2 (en) 2011-12-06 2016-12-27 At&T Intellectual Property I, L.P. Visual interface browser
WO2013119802A1 (en) * 2012-02-11 2013-08-15 Social Communications Company Routing virtual area based communications
US9729115B2 (en) 2012-04-27 2017-08-08 Sonos, Inc. Intelligently increasing the sound level of player
TWI494856B (zh) * 2012-05-21 2015-08-01 Irene Tsai Program call method and mobile device
US8370529B1 (en) * 2012-07-10 2013-02-05 Robert Hansen Trusted zone protection
GB2506102A (en) * 2012-07-25 2014-03-26 Nowhere Digital Ltd Meeting management system
US10164929B2 (en) 2012-09-28 2018-12-25 Avaya Inc. Intelligent notification of requests for real-time online interaction via real-time communications and/or markup protocols, and related methods, systems, and computer-readable media
US9363133B2 (en) 2012-09-28 2016-06-07 Avaya Inc. Distributed application of enterprise policies to Web Real-Time Communications (WebRTC) interactive sessions, and related methods, systems, and computer-readable media
US9008330B2 (en) 2012-09-28 2015-04-14 Sonos, Inc. Crossover frequency adjustments for audio speakers
KR102049281B1 (ko) 2012-10-23 2019-11-27 삼성전자주식회사 불휘발성 메모리 및 컨트롤러를 포함하는 메모리 시스템, 그리고 불휘발성 메모리에 데이터를 프로그램하는 프로그램 방법
US9542665B2 (en) * 2012-10-25 2017-01-10 Interactive Intelligence Group, Inc. Methods for creating, arranging, and leveraging an ad-hoc collection of heterogeneous organization components
US9507480B1 (en) * 2013-01-28 2016-11-29 Amazon Technologies, Inc. Interface optimization application
KR101720940B1 (ko) * 2013-01-28 2017-04-10 네이버 주식회사 메신저 채팅창을 통한 실시간 영상 공유 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
US9294458B2 (en) 2013-03-14 2016-03-22 Avaya Inc. Managing identity provider (IdP) identifiers for web real-time communications (WebRTC) interactive flows, and related methods, systems, and computer-readable media
FR3005822A1 (fr) * 2013-05-17 2014-11-21 France Telecom Procede de communication en temps reel entre navigateurs web
US10205624B2 (en) 2013-06-07 2019-02-12 Avaya Inc. Bandwidth-efficient archiving of real-time interactive flows, and related methods, systems, and computer-readable media
US9525718B2 (en) 2013-06-30 2016-12-20 Avaya Inc. Back-to-back virtual web real-time communications (WebRTC) agents, and related methods, systems, and computer-readable media
KR20150008688A (ko) * 2013-07-15 2015-01-23 삼성전자주식회사 디스플레이장치 및 그 제어방법
US9112840B2 (en) 2013-07-17 2015-08-18 Avaya Inc. Verifying privacy of web real-time communications (WebRTC) media channels via corresponding WebRTC data channels, and related methods, systems, and computer-readable media
US9614890B2 (en) 2013-07-31 2017-04-04 Avaya Inc. Acquiring and correlating web real-time communications (WEBRTC) interactive flow characteristics, and related methods, systems, and computer-readable media
KR101775461B1 (ko) * 2013-08-20 2017-09-06 인텔 코포레이션 협력적 오디오 대화 증명
US9531808B2 (en) 2013-08-22 2016-12-27 Avaya Inc. Providing data resource services within enterprise systems for resource level sharing among multiple applications, and related methods, systems, and computer-readable media
US10225212B2 (en) 2013-09-26 2019-03-05 Avaya Inc. Providing network management based on monitoring quality of service (QOS) characteristics of web real-time communications (WEBRTC) interactive flows, and related methods, systems, and computer-readable media
US9679331B2 (en) * 2013-10-10 2017-06-13 Shindig, Inc. Systems and methods for dynamically controlling visual effects associated with online presentations
US10263952B2 (en) 2013-10-31 2019-04-16 Avaya Inc. Providing origin insight for web applications via session traversal utilities for network address translation (STUN) messages, and related methods, systems, and computer-readable media
US10271010B2 (en) 2013-10-31 2019-04-23 Shindig, Inc. Systems and methods for controlling the display of content
US20150121250A1 (en) * 2013-10-31 2015-04-30 Avaya Inc. PROVIDING INTELLIGENT MANAGEMENT FOR WEB REAL-TIME COMMUNICATIONS (WebRTC) INTERACTIVE FLOWS, AND RELATED METHODS, SYSTEMS, AND COMPUTER-READABLE MEDIA
US9769214B2 (en) 2013-11-05 2017-09-19 Avaya Inc. Providing reliable session initiation protocol (SIP) signaling for web real-time communications (WEBRTC) interactive flows, and related methods, systems, and computer-readable media
US10129243B2 (en) 2013-12-27 2018-11-13 Avaya Inc. Controlling access to traversal using relays around network address translation (TURN) servers using trusted single-use credentials
US9226073B2 (en) 2014-02-06 2015-12-29 Sonos, Inc. Audio output balancing during synchronized playback
US9226087B2 (en) 2014-02-06 2015-12-29 Sonos, Inc. Audio output balancing during synchronized playback
WO2015157317A1 (en) * 2014-04-07 2015-10-15 LI3 Technology Inc. Tneractive tow-way live video communication platform and systems and methods thereof
US10581927B2 (en) 2014-04-17 2020-03-03 Avaya Inc. Providing web real-time communications (WebRTC) media services via WebRTC-enabled media servers, and related methods, systems, and computer-readable media
US9749363B2 (en) 2014-04-17 2017-08-29 Avaya Inc. Application of enterprise policies to web real-time communications (WebRTC) interactive sessions using an enterprise session initiation protocol (SIP) engine, and related methods, systems, and computer-readable media
US9733333B2 (en) 2014-05-08 2017-08-15 Shindig, Inc. Systems and methods for monitoring participant attentiveness within events and group assortments
US9912705B2 (en) 2014-06-24 2018-03-06 Avaya Inc. Enhancing media characteristics during web real-time communications (WebRTC) interactive sessions by using session initiation protocol (SIP) endpoints, and related methods, systems, and computer-readable media
US9626157B2 (en) * 2014-07-03 2017-04-18 Able World International Limited Method of projecting a workspace and system using the same
US9894689B2 (en) * 2014-09-30 2018-02-13 Cisco Technology, Inc. System, method, and logic for identifying devices for a virtual meeting session
US10482660B2 (en) 2015-02-13 2019-11-19 Vixi, Inc. System and method to integrate content in real time into a dynamic real-time 3-dimensional scene
US10248376B2 (en) 2015-06-11 2019-04-02 Sonos, Inc. Multiple groupings in a playback system
US10303422B1 (en) 2016-01-05 2019-05-28 Sonos, Inc. Multiple-device setup
US10359988B2 (en) * 2016-04-06 2019-07-23 Tmrwland Hongkong Limited Shared experience of virtual environments
US10133916B2 (en) 2016-09-07 2018-11-20 Steven M. Gottlieb Image and identity validation in video chat events
KR101973177B1 (ko) * 2016-10-14 2019-04-26 (주)에피 업무 관리 시스템 및 방법
US10712997B2 (en) 2016-10-17 2020-07-14 Sonos, Inc. Room association based on name
JP6250779B1 (ja) 2016-12-26 2017-12-20 株式会社コロプラ 仮想空間を介して通信するためにコンピュータで実行される方法、当該方法をコンピュータに実行させるプログラム、および、情報処理装置
MX2019013630A (es) * 2017-05-15 2020-08-20 Mixhalo Corp Sistemas y metodos para proporcionar audio y datos en tiempo real con referencia reciproca a aplicaciones relacionadas.
US10225360B1 (en) 2018-01-24 2019-03-05 Veeva Systems Inc. System and method for distributing AR content
WO2020081614A1 (en) * 2018-10-14 2020-04-23 Heap Richard Laurence Systems and method for control of telephone calls over cellular networks
US11381413B2 (en) * 2020-01-08 2022-07-05 Disney Enterprises, Inc. Audio-orientated immersive experience of an event
US11012482B1 (en) * 2020-08-28 2021-05-18 Tmrw Foundation Ip S. À R.L. Spatially aware multimedia router system and method
US20220256028A1 (en) * 2021-02-08 2022-08-11 Samsung Electronics Co., Ltd. System and method for simultaneous multi-call support capability on compatible audio devices
GB2606131A (en) * 2021-03-12 2022-11-02 Palringo Ltd Communication platform
CN113038590B (zh) * 2021-05-25 2021-08-10 深圳艾灵网络有限公司 时间同步方法、电子设备及存储介质
US11700266B2 (en) * 2021-06-01 2023-07-11 Mirrortab Corp. Virtual browser application systems and methods
KR102663361B1 (ko) * 2021-12-08 2024-05-09 한성대학교 산학협력단 다차원의 가상 세계 서비스 제공 방법 및 장치
US20240143721A1 (en) * 2022-10-31 2024-05-02 Ally Financial Inc. Techniques for establishing trusted environments within a metaverse
CN117294745B (zh) * 2023-11-24 2024-02-02 中关村科学城城市大脑股份有限公司 网络连接状态信息发送方法、装置、电子设备和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020066071A1 (en) * 1999-02-25 2002-05-30 Sing-Ban Robert Tien Local environment for integrated multiple-tier client-server concurrent program developement
US20030076367A1 (en) * 2001-10-19 2003-04-24 Paul Bencze Rich communication over internet
CN101179470A (zh) * 2007-12-12 2008-05-14 胡祥义 一种基于双协议vpn的实现方法
US20080263460A1 (en) * 2007-04-20 2008-10-23 Utbk, Inc. Methods and Systems to Connect People for Virtual Meeting in Virtual Reality

Family Cites Families (133)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5471318A (en) 1993-04-22 1995-11-28 At&T Corp. Multimedia communications network
US5491743A (en) * 1994-05-24 1996-02-13 International Business Machines Corporation Virtual conference system and terminal apparatus therefor
US5627978A (en) 1994-12-16 1997-05-06 Lucent Technologies Inc. Graphical user interface for multimedia call set-up and call handling in a virtual conference on a desktop computer conferencing system
US5880731A (en) * 1995-12-14 1999-03-09 Microsoft Corporation Use of avatars with automatic gesturing and bounded interaction in on-line chat session
US6167432A (en) 1996-02-29 2000-12-26 Webex Communications, Inc., Method for creating peer-to-peer connections over an interconnected network to facilitate conferencing among users
US5764916A (en) 1996-09-27 1998-06-09 Ichat, Inc. Method and apparatus for real time communication over a computer network
US6862625B1 (en) 1996-09-27 2005-03-01 Avaya Technology Corp. Method and apparatus for real time network communication
US5944791A (en) 1996-10-04 1999-08-31 Contigo Software Llc Collaborative web browser
US7263526B1 (en) 1996-10-30 2007-08-28 Avaya Technology Corp. Method and apparatus for embedding chat functions in a web page
US6785708B1 (en) 1996-10-30 2004-08-31 Avaya Inc. Method and apparatus for synchronizing browse and chat functions on a computer network
US6366285B1 (en) * 1997-11-21 2002-04-02 International Business Machines Corporation Selection by proximity with inner and outer sensitivity ranges
EP0950956A1 (en) * 1998-04-17 1999-10-20 BRITISH TELECOMMUNICATIONS public limited company Computer network
US5999208A (en) 1998-07-15 1999-12-07 Lucent Technologies Inc. System for implementing multiple simultaneous meetings in a virtual reality mixed media meeting room
US6119147A (en) 1998-07-28 2000-09-12 Fuji Xerox Co., Ltd. Method and system for computer-mediated, multi-modal, asynchronous meetings in a virtual space
US6442590B1 (en) * 1999-05-27 2002-08-27 Yodlee.Com, Inc. Method and apparatus for a site-sensitive interactive chat network
KR100644579B1 (ko) 1999-10-26 2006-11-13 삼성전자주식회사 인터넷에서 실시간 음성 및 영상 통신방법 및 그 통신장치
US6772195B1 (en) * 1999-10-29 2004-08-03 Electronic Arts, Inc. Chat clusters for a virtual world application
US6789119B1 (en) 1999-11-24 2004-09-07 Webex Communication, Inc. Emulating a persistent connection using http
JP2001154966A (ja) 1999-11-29 2001-06-08 Sony Corp コンピュータ・ネットワーク上で構築・提供される共有仮想空間上で複数ユーザが参加可能な仮想会話を支援する会話支援システム及び会話支援方法、並びに、プログラム記憶媒体
US20060184886A1 (en) 1999-12-22 2006-08-17 Urbanpixel Inc. Spatial chat in a multiple browser environment
US8527345B2 (en) * 2000-01-06 2013-09-03 Anthony Richard Rothschild System and method for adding an advertisement to a personal communication
CA2299150A1 (en) 2000-02-23 2001-08-23 Hummingbird Communications Ltd A system and method for providing real-time information to a web browser
US7111060B2 (en) 2000-03-14 2006-09-19 Aep Networks, Inc. Apparatus and accompanying methods for providing, through a centralized server site, a secure, cost-effective, web-enabled, integrated virtual office environment remotely accessible through a network-connected web browser
EP1266280B1 (en) * 2000-03-20 2006-08-16 BRITISH TELECOMMUNICATIONS public limited company Data entry
US6784901B1 (en) 2000-05-09 2004-08-31 There Method, system and computer program product for the delivery of a chat message in a 3D multi-user environment
US7191394B1 (en) 2000-06-21 2007-03-13 Microsoft Corporation Authoring arbitrary XML documents using DHTML and XSLT
US20070136445A1 (en) * 2001-08-08 2007-06-14 Digital Networks North America, Inc. Method and system for remote television replay control
US7248677B2 (en) * 2000-08-22 2007-07-24 Symbian Software Ltd. Method of and apparatus for communicating user related information using a wireless information device
US6938079B1 (en) * 2000-09-19 2005-08-30 3Com Corporation System and method for automatically configuring a client device
US7036082B1 (en) * 2000-09-21 2006-04-25 Nortel Networks Limited Controlling communications through a virtual reality environment
US7168051B2 (en) * 2000-10-10 2007-01-23 Addnclick, Inc. System and method to configure and provide a network-enabled three-dimensional computing environment
US8117281B2 (en) * 2006-11-02 2012-02-14 Addnclick, Inc. Using internet content as a means to establish live social networks by linking internet users to each other who are simultaneously engaged in the same and/or similar content
US8516047B2 (en) * 2000-11-06 2013-08-20 Rick Castanho System and method for service specific notification
US20020073197A1 (en) * 2000-12-11 2002-06-13 Ibm Corporation Method and apparatus for customizing performance of a browser for a given network connection
US20020075305A1 (en) 2000-12-18 2002-06-20 Beaton Brian F. Graphical user interface for a virtual team environment
US7925703B2 (en) 2000-12-26 2011-04-12 Numedeon, Inc. Graphical interactive interface for immersive online communities
US7130883B2 (en) 2000-12-29 2006-10-31 Webex Communications, Inc. Distributed network system architecture for collaborative computing
AU2002303082A1 (en) 2001-01-26 2002-09-12 Zaxel Systems, Inc. Real-time virtual viewpoint in simulated reality environment
US20020112002A1 (en) * 2001-02-15 2002-08-15 Abato Michael R. System and process for creating a virtual stage and presenting enhanced content via the virtual stage
CN1647070A (zh) * 2001-06-22 2005-07-27 诺萨·欧莫贵 用于知识检索、管理、交付和表示的系统和方法
US7336779B2 (en) 2002-03-15 2008-02-26 Avaya Technology Corp. Topical dynamic chat
US7167899B2 (en) 2002-03-26 2007-01-23 Matsushita Electric Industrial Co., Ltd. Web-content aware automatic call transfer system and process for mobile users and operators
US7685237B1 (en) 2002-05-31 2010-03-23 Aol Inc. Multiple personalities in chat communications
US7568004B2 (en) * 2002-06-20 2009-07-28 Linda Gottfried Method and system for sharing brand information
US6839417B2 (en) * 2002-09-10 2005-01-04 Myriad Entertainment, Inc. Method and apparatus for improved conference call management
US7386799B1 (en) * 2002-11-21 2008-06-10 Forterra Systems, Inc. Cinematic techniques in avatar-centric communication during a multi-user online simulation
US7474741B2 (en) 2003-01-20 2009-01-06 Avaya Inc. Messaging advise in presence-aware networks
US20040158610A1 (en) * 2003-02-10 2004-08-12 Davis Joel A. Client proxying for instant messaging
US7484176B2 (en) 2003-03-03 2009-01-27 Aol Llc, A Delaware Limited Liability Company Reactive avatars
US20070113181A1 (en) * 2003-03-03 2007-05-17 Blattner Patrick D Using avatars to communicate real-time information
GB2404546B (en) * 2003-07-25 2005-12-14 Purple Interactive Ltd A method of organising and displaying material content on a display to a viewer
US7317716B1 (en) 2003-07-25 2008-01-08 Verizon Laboratories Inc. Methods and systems for presence-based telephony communications
CA2535103A1 (en) 2003-08-07 2005-02-17 Simple Com Tools, Llc Realtime electronic communications system and method
US7813488B2 (en) * 2003-09-29 2010-10-12 Siemens Enterprise Communications, Inc. System and method for providing information regarding an identity's media availability
US7506072B2 (en) 2003-10-14 2009-03-17 Sun Microsystems, Inc. Web browser as web service server in interaction with business process engine
US20050134682A1 (en) * 2003-12-22 2005-06-23 Epiphan Consulting Inc. Network based conference system
US7171511B2 (en) 2004-03-24 2007-01-30 Hitachi, Ltd. WORM proving storage system
US8589787B2 (en) * 2004-04-20 2013-11-19 American Express Travel Related Services Company, Inc. Centralized field rendering system and method
US7707249B2 (en) * 2004-09-03 2010-04-27 Open Text Corporation Systems and methods for collaboration
US7925000B2 (en) 2005-08-29 2011-04-12 Avaya Inc. Managing held telephone calls from a remote telecommunications terminal
US20070074114A1 (en) 2005-09-29 2007-03-29 Conopco, Inc., D/B/A Unilever Automated dialogue interface
US7921153B2 (en) 2005-12-29 2011-04-05 Webex Communications, Inc. Methods and apparatuses for selectively displaying information to an invited participant
US7489772B2 (en) 2005-12-30 2009-02-10 Nokia Corporation Network entity, method and computer program product for effectuating a conference session
US20070233785A1 (en) 2006-03-30 2007-10-04 International Business Machines Corporation Communicating using collaboration spaces
US20070243915A1 (en) * 2006-04-14 2007-10-18 Eran Egozy A Method and Apparatus For Providing A Simulated Band Experience Including Online Interaction and Downloaded Content
US8843560B2 (en) * 2006-04-28 2014-09-23 Yahoo! Inc. Social networking for mobile devices
WO2007124590A1 (en) * 2006-05-03 2007-11-08 Affinity Media Uk Limited Method and system for presenting virtual world environment
WO2008005149A2 (en) * 2006-06-09 2008-01-10 Brilig Llc Information collection in multi-participant online communities
US7639672B2 (en) * 2006-07-18 2009-12-29 David Foote System and method for peer-to-peer internet communication
US8295206B2 (en) 2006-07-20 2012-10-23 Avaya Inc. Rule-based system for determining user availability
US7680098B2 (en) 2006-07-20 2010-03-16 Avaya Inc. Determining group availability on different communication media
US7680480B2 (en) 2006-07-20 2010-03-16 Avaya Inc. Determining user availability based on a past event
US7616624B2 (en) 2006-07-20 2009-11-10 Avaya Inc. Determining user availability based on the expected duration of a new event
WO2008017001A2 (en) 2006-08-02 2008-02-07 Moka5, Inc. Sharing live appliances
US20080034040A1 (en) * 2006-08-04 2008-02-07 Meebo, Inc. Method and system for embedded group communication
US9654589B2 (en) * 2006-08-24 2017-05-16 Bby Solutions, Inc. Configurable personal audiovisual device for use in application-sharing system
US8645463B2 (en) 2006-09-25 2014-02-04 Cisco Technology, Inc. Methods and apparatuses for managing resources within a virtual room
US8554827B2 (en) * 2006-09-29 2013-10-08 Qurio Holdings, Inc. Virtual peer for a content sharing system
US7765259B2 (en) 2006-12-05 2010-07-27 Avaya Inc. System and method for aggregation of user conversations and visualizing personal communications map
US9020963B2 (en) * 2007-01-10 2015-04-28 International Business Machines Corporation Providing relevant assets in collaboration mediums
US20080215975A1 (en) * 2007-03-01 2008-09-04 Phil Harrison Virtual world user opinion & response monitoring
GB2447096B (en) * 2007-03-01 2011-10-12 Sony Comp Entertainment Europe Entertainment device and method
US20080252637A1 (en) 2007-04-14 2008-10-16 Philipp Christian Berndt Virtual reality-based teleconferencing
US8601386B2 (en) 2007-04-20 2013-12-03 Ingenio Llc Methods and systems to facilitate real time communications in virtual reality
US20080263459A1 (en) 2007-04-20 2008-10-23 Utbk, Inc. Methods and Systems to Determine Availability for Real Time Communications via Virtual Reality
US20080263446A1 (en) 2007-04-20 2008-10-23 Utbk, Inc. Methods and Systems to Connect People to Services via Virtual Reality
US20080262910A1 (en) 2007-04-20 2008-10-23 Utbk, Inc. Methods and Systems to Connect People via Virtual Reality for Real Time Communications
US8918717B2 (en) * 2007-05-07 2014-12-23 International Business Machines Corporation Method and sytem for providing collaborative tag sets to assist in the use and navigation of a folksonomy
US7840668B1 (en) 2007-05-24 2010-11-23 Avaya Inc. Method and apparatus for managing communication between participants in a virtual environment
US7772480B2 (en) * 2007-08-10 2010-08-10 Sonicjam, Inc. Interactive music training and entertainment system and multimedia role playing game platform
US20090063995A1 (en) * 2007-08-27 2009-03-05 Samuel Pierce Baron Real Time Online Interaction Platform
US20090093300A1 (en) * 2007-10-05 2009-04-09 Lutnick Howard W Game of chance processing apparatus
US20090089293A1 (en) 2007-09-28 2009-04-02 Bccg Ventures, Llc Selfish data browsing
WO2009043030A2 (en) * 2007-09-28 2009-04-02 Xcerion Aktiebolag Network operating system
US20090089685A1 (en) 2007-09-28 2009-04-02 Mordecai Nicole Y System and Method of Communicating Between A Virtual World and Real World
US7917584B2 (en) * 2007-10-22 2011-03-29 Xcerion Aktiebolag Gesture-based collaboration
US8209384B2 (en) 2007-10-23 2012-06-26 Yahoo! Inc. Persistent group-based instant messaging
US20090288007A1 (en) * 2008-04-05 2009-11-19 Social Communications Company Spatial interfaces for realtime networked communications
US7769806B2 (en) * 2007-10-24 2010-08-03 Social Communications Company Automated real-time data stream switching in a shared virtual area communication environment
US7844724B2 (en) 2007-10-24 2010-11-30 Social Communications Company Automated real-time data stream switching in a shared virtual area communication environment
US9357025B2 (en) * 2007-10-24 2016-05-31 Social Communications Company Virtual area based telephony communications
US8397168B2 (en) * 2008-04-05 2013-03-12 Social Communications Company Interfacing with a spatial virtual communication environment
US20090113314A1 (en) * 2007-10-30 2009-04-30 Dawson Christopher J Location and placement of avatars in virtual worlds
US8145725B2 (en) * 2007-10-31 2012-03-27 International Business Machines Corporation Updating data stores of virtual worlds based on data stores external to the virtual worlds
US20090157813A1 (en) * 2007-12-17 2009-06-18 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for identifying an avatar-linked population cohort
US20090172565A1 (en) * 2007-12-26 2009-07-02 John Clarke Jackson Systems, Devices, and Methods for Sharing Content
US20090170479A1 (en) 2007-12-31 2009-07-02 Sony Ericsson Mobile Communications Ab Virtual rooms for portable communication device and method
US8910043B2 (en) * 2008-01-07 2014-12-09 International Business Machines Corporation Modifying spaces in virtual universes
US20090222742A1 (en) 2008-03-03 2009-09-03 Cisco Technology, Inc. Context sensitive collaboration environment
US8539364B2 (en) * 2008-03-12 2013-09-17 International Business Machines Corporation Attaching external virtual universes to an existing virtual universe
US8605863B1 (en) * 2008-03-18 2013-12-10 Avaya Inc. Method and apparatus for providing state indication on a telephone call
CA2659698C (en) 2008-03-21 2020-06-16 Dressbot Inc. System and method for collaborative shopping, business and entertainment
US8531447B2 (en) 2008-04-03 2013-09-10 Cisco Technology, Inc. Reactive virtual environment
US8312380B2 (en) * 2008-04-04 2012-11-13 Yahoo! Inc. Local map chat
WO2009146130A2 (en) * 2008-04-05 2009-12-03 Social Communications Company Shared virtual area communication environment based apparatus and methods
US20090307189A1 (en) * 2008-06-04 2009-12-10 Cisco Technology, Inc. Asynchronous workflow participation within an immersive collaboration environment
US20090319946A1 (en) * 2008-06-20 2009-12-24 International Business Machines Corporation System and method for selective and dynamic elaboration of secure form content
US20100037153A1 (en) * 2008-08-06 2010-02-11 Rogers Jarrod C Chat and web page integration method and system
US8142283B2 (en) * 2008-08-20 2012-03-27 Cfph, Llc Game of chance processing apparatus
US20100162121A1 (en) 2008-12-22 2010-06-24 Nortel Networks Limited Dynamic customization of a virtual world
US8542232B2 (en) 2008-12-28 2013-09-24 Avaya Inc. Method and apparatus for monitoring user attention with a computer-generated virtual environment
US20100169796A1 (en) 2008-12-28 2010-07-01 Nortel Networks Limited Visual Indication of Audio Context in a Computer-Generated Virtual Environment
US9064023B2 (en) 2008-12-29 2015-06-23 Avaya Inc. Providing web content in the context of a virtual environment
US20100169799A1 (en) 2008-12-30 2010-07-01 Nortel Networks Limited Method and Apparatus for Enabling Presentations to Large Numbers of Users in a Virtual Environment
US20100228560A1 (en) 2009-03-04 2010-09-09 Avaya Inc. Predictive buddy list-reorganization based on call history information
US8499085B2 (en) 2009-03-16 2013-07-30 Avaya, Inc. Advanced availability detection
US8386255B2 (en) 2009-03-17 2013-02-26 Avaya Inc. Providing descriptions of visually presented information to video teleconference participants who are not video-enabled
US20100246570A1 (en) 2009-03-24 2010-09-30 Avaya Inc. Communications session preparation method and apparatus
US8938677B2 (en) 2009-03-30 2015-01-20 Avaya Inc. System and method for mode-neutral communications with a widget-based communications metaphor
US20100262550A1 (en) 2009-04-08 2010-10-14 Avaya Inc. Inter-corporate collaboration overlay solution for professional social networks
US8442189B2 (en) 2009-06-22 2013-05-14 Avaya Inc. Unified communications appliance
US8751587B2 (en) * 2009-11-25 2014-06-10 Red Hat, Inc. Real-time web applications
US9183560B2 (en) 2010-05-28 2015-11-10 Daniel H. Abelow Reality alternate

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020066071A1 (en) * 1999-02-25 2002-05-30 Sing-Ban Robert Tien Local environment for integrated multiple-tier client-server concurrent program developement
US20030076367A1 (en) * 2001-10-19 2003-04-24 Paul Bencze Rich communication over internet
US20080263460A1 (en) * 2007-04-20 2008-10-23 Utbk, Inc. Methods and Systems to Connect People for Virtual Meeting in Virtual Reality
CN101179470A (zh) * 2007-12-12 2008-05-14 胡祥义 一种基于双协议vpn的实现方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104883395A (zh) * 2015-04-30 2015-09-02 深圳市华讯方舟科技有限公司 一种web网管系统自动锁屏的方法及装置
CN113157784A (zh) * 2020-12-30 2021-07-23 浪潮云信息技术股份公司 一种数据库数据导出工具的插件化实现方法
CN113157784B (zh) * 2020-12-30 2023-02-21 浪潮云信息技术股份公司 一种数据库数据导出工具的插件化实现方法
CN112738114A (zh) * 2020-12-31 2021-04-30 四川新网银行股份有限公司 一种网络安全策略的配置方法
CN112738114B (zh) * 2020-12-31 2023-04-07 四川新网银行股份有限公司 一种网络安全策略的配置方法

Also Published As

Publication number Publication date
US9009603B2 (en) 2015-04-14
KR20120118019A (ko) 2012-10-25
US8831196B2 (en) 2014-09-09
EP2529316A2 (en) 2012-12-05
WO2011094354A2 (en) 2011-08-04
WO2011094354A3 (en) 2011-12-29
US9813463B2 (en) 2017-11-07
US20120207290A1 (en) 2012-08-16
US20150215355A1 (en) 2015-07-30
JP2013518351A (ja) 2013-05-20
US20110185286A1 (en) 2011-07-28

Similar Documents

Publication Publication Date Title
CN102725748A (zh) 用于空间通信环境的网络浏览器接口
US11785056B2 (en) Web browser interface for spatial communication environments
US12014021B2 (en) Communicating between a virtual area and a physical space
US11588763B2 (en) Virtual area communications
CN102483819A (zh) 用于实时联网通信的空间界面
KR101565665B1 (ko) 네트워크 통신 환경에서 커뮤니컨트 상호작용을 촉진하는 방법
US9077549B2 (en) Creating virtual areas for realtime communications
CN102356386A (zh) 与空间虚拟通信环境接口
CN102804161A (zh) 应用共享
US20050102358A1 (en) Web page monitoring and collaboration system
US20050182645A1 (en) Interactive community website
CN102084354A (zh) 基于共享虚拟区域通信环境的装置和方法
US20230385768A1 (en) Workspace Video Collaboration
CN108023870B (zh) 用于远程呈现的系统和方法
US20230339816A1 (en) Visual Communications
WO2024037001A1 (zh) 互动数据处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品
Assets et al. DesignWorld: a tool for team collaboration in high band virtual environments
Lee et al. Open Platform for Group-working in ODP environments.

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C05 Deemed withdrawal (patent law before 1993)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20121010