CN102204207B - 在虚拟环境中包含web内容 - Google Patents

在虚拟环境中包含web内容 Download PDF

Info

Publication number
CN102204207B
CN102204207B CN200980109807.6A CN200980109807A CN102204207B CN 102204207 B CN102204207 B CN 102204207B CN 200980109807 A CN200980109807 A CN 200980109807A CN 102204207 B CN102204207 B CN 102204207B
Authority
CN
China
Prior art keywords
virtual environment
url
web content
user
browser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200980109807.6A
Other languages
English (en)
Other versions
CN102204207A (zh
Inventor
阿恩·海恩德曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Avaya Inc
Original Assignee
Avaya Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Avaya Inc filed Critical Avaya Inc
Publication of CN102204207A publication Critical patent/CN102204207A/zh
Application granted granted Critical
Publication of CN102204207B publication Critical patent/CN102204207B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/401Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
    • H04L65/4015Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference where at least one of the additional parallel sessions is real time or time sensitive, e.g. white board sharing, collaboration or spawning of a subconference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/131Protocols for games, networked simulations or virtual reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/42221Conversation recording systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2201/00Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/22Synchronisation circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2203/00Aspects of automatic or semi-automatic exchanges
    • H04M2203/30Aspects of automatic or semi-automatic exchanges related to audio recordings in general
    • H04M2203/301Management of recordings

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Information Transfer Between Computers (AREA)
  • Processing Or Creating Images (AREA)
  • Telephonic Communication Services (AREA)
  • Computer And Data Communications (AREA)

Abstract

虚拟环境服务器记录并广播将与虚拟环境中的三维(3D)表面相关联的统一资源定位符(URL)、浏览器状态信息以及可选的剪切参数。当用户的化身在虚拟环境中遇到3D表面时,客户端获得该URL和浏览器状态信息,并利用标准web浏览器获得web内容。该web内容被存储到离屏缓冲器中。来自离屏缓冲器的内容然后被本地渲染为到虚拟环境的3D表面上的纹理贴图。每当用户中的一个与web内容交互时,新的URL和新的浏览器状态信息被用于以相同的方式获得更新后的web内容。新的URL和新的浏览器状态信息还被从客户端传递到服务器,使得服务器可在每个与其他用户中的每一个相关联的其他客户端中更新URL和新的浏览器状态信息。

Description

在虚拟环境中包含web内容
技术领域
本发明涉及通信会话,更具体地说涉及用于在虚拟环境(VE)中包含web内容的方法和装置。
背景技术
虚拟环境模拟实际的或虚幻的3-D环境,并且允许多个参与者经由位于远端的客户端来彼此交互和与该环境中的构成物交互。虽然虚拟环境的其他用途也正被开发,但是,虚拟环境可被应用的一种情境是与游戏相关的。
在虚拟环境中,实际的或虚幻的宇宙在计算机处理器/存储器中被模拟。多个人可通过计算机网络来参与到虚拟环境中,计算机网络例如是局域网或者诸如因特网之类的广域网。每个玩家选择一个“化身”,该化身通常是人或其他对象的三维表示,用于在虚拟环境中表示人或其他对象。参与者向控制虚拟环境的虚拟环境服务器发送命令以致使其化身在虚拟环境中移动。通过这种方式,参与者能够致使其化身与在虚拟环境中的其他化身和其他对象交互。
虚拟环境通常表现为虚拟现实的三维映射的形式,并且可包括房间、户外区域,以及通常在实体世界中所经历的环境的其他表示物。虚拟环境还可包括多个对象、人、动物、机器人、化身、机器人化身、立体元件,以及允许化身参与到活动中的对象/环境。参与者经由在其计算机上的虚拟环境客户端来在虚拟环境中建立存在,通过该虚拟环境客户端,参与者可以创建化身,然后使化身“生活”在虚拟环境中。
随着化身在虚拟环境中移动,化身所经历的视图(view)根据化身在虚拟环境中所处的位置而变化。这些视图可被显示给参与者,使得控制化身的参与者可以看到化身正在看到的东西。另外,许多虚拟环境使得参与者能够切换到不同的视图,例如,从化身之外的有利地位来看化身位于虚拟环境中的何处。
参与者可使用诸如计算机鼠标和键盘之类的传统输入设备来控制化身。该输入被发送到虚拟环境客户端,该客户端将命令转发到一个或多个虚拟环境服务器,这些虚拟环境服务器正在控制虚拟环境并经由与参与者的计算机相关联的显示器向参与者提供虚拟环境的表示。
取决于虚拟环境的建立方式,化身可能能够观察环境并可选择地与其他化身、虚拟环境中的已建模物体、虚拟环境中的机器人对象,或环境自身(即,化身可被允许在虚拟环境中的湖泊或河流中游泳)交互。在这些情况下,客户端控制输入可被允许以引起已建模对象的变化,例如,移动其他对象、开门等等,这些变化可选择地然后可被虚拟环境中的其他化身经历。
在虚拟环境中由一个化身与另一已建模对象的“交互”意味着虚拟环境服务器响应于接收到针对化身的客户端控制输入,在已建模的环境中模拟交互。在某些情形下,由一个化身与任何其他化身、对象、环境或自动的或机器人化的化身的交互将导致可影响虚拟环境中的其他化身、对象、环境以及自动的或机器人化的化身或者被虚拟环境中的其他化身、对象、环境以及自动的或机器人化的化身所观察或经历的结果。
虚拟环境可针对用户被创建,但是,更平常的是虚拟环境是一直存在的,其中即使用户不与虚拟环境交互时,虚拟环境也继续存在并被虚拟环境服务器所支持。因此,在虚拟环境有多于一个用户的情况下,环境在一用户未登入时可继续演变,使得下次用户进入虚拟环境时,虚拟环境将会变得与上次的样子不同。
虚拟环境通常用于在线游戏,例如用于在线角色扮演游戏,其中,用户扮演一人物角色并控制该人物的大部分动作。除了游戏,虚拟环境还在用于模拟实际生活环境以对用户提供接口,该接口将使能在线教育、培训、购物、商业合作,以及多组用户间和商业与用户间的其他类型的交互。
当化身碰到虚拟环境中的其他化身时,由化身所表示的参与者可选择彼此交流。例如,参与者可通过向彼此打消息来彼此交流,或者音频桥被建立以使参与者能够彼此交谈。
存在这样的时刻,此时在虚拟环境中显示web内容将是有利的。例如,如果虚拟环境被用于零售能力中,则期望在虚拟环境中显示关于特定产品的web内容。遗憾的是,通常在假定纹理(texture)(3D表面的点阵图)并不有规则地变化的情况下设计虚拟环境引擎。因此,虽然web内容可被作为纹理绘制到表面,但是,更新内容和使得用户能够与内容交互是有挑战性的。
在三维虚拟环境被用于商业合作的商业情境中,对于用户,具有虚拟环境的一致视图是重要的。如果人们看到不同的东西,它们是很难合作的。在将要把web内容包含在虚拟环境中的情况下,向所有观看者显示同样的web内容因而是重要的。
一种包括web内容的方法是手动地将web内容转换成静态二维纹理,然后将该纹理分发给计算机生成的三维虚拟环境的多个用户。该解决方案是相当带宽高效的,因为静态纹理可轻易地在每个客户端被缓存。但是,其必须被手动更新并且不提供用户交互。具体地,由于内容是静态的,用户不能与web内容交互,例如,去访问到web站点其他区域的链接。
另一种包括web内容的方法是在服务器处动态地渲染web内容,并且将结果作为2D纹理推送给用户。该解决方案解决了上述手动更新问题,但是,仍不能够使用户与web内容交互。同时,由于web内容是被动态渲染的,带宽要求会比手动转换web内容稍高些。另外,web内容常常使用定制渲染器被在服务器处渲染,该定制渲染器可能不支持用户浏览器的所有特征。因此,可被包括的内容的类型可能受到限制,例如,FLASH视频和其他通常由用户web浏览器中的插件所支持的内容。
包括web内容的第三种方式是将内容直接绘制到3D表面。该解决方案使得每个用户能够例如通过点击web内容上的链接来与内容交互,以使得新内容被提供在3D表面上。遗憾的是,将应用绘制到虚拟环境的3D表面需要极大的带宽。具体地,服务器将需要在表面上渲染web内容,并将新内容推送到在表面附近的每一个用户。这将需要在每当内容变化时被执行,并且对于诸如全动作视频之类的内容,将消耗相当大的带宽。另外,由于内容可被虚拟环境的任一用户控制,服务器将需要实现一种当多于一个用户同时试图控制应用时仲裁谁获得控制的方法。相应地,提供一种使得web内容能够被包括在虚拟环境中的新方法是有优势的。
发明内容
虚拟环境服务器记录并广播将与虚拟环境中的三维(3D)表面相关联的统一资源定位符(URL)以及可选的剪切(clipping)参数。当用户的化身遇到虚拟环境中的3D表面时,客户端获得URL并利用标准web浏览器获得web内容。web内容在离屏缓冲器中被本地渲染。来自离屏缓冲器的内容随即被本地渲染为到虚拟环境的3D表面上的纹理贴图。用户可在3D表面上与web内容交互,例如,通过选择网页上的链接和其他对象。每当用户中的一个例如通过点击web内容中的链接来与web内容相交互时,新的URL被用于将新的web内容渲染到离屏缓冲器,并且随后从缓冲器渲染到3D表面。新的URL以及相关联的浏览器状态(例如,cookies、JavaScript变量、Java、FLASH和其他插件状态)也被从客户端传递给服务器,使得服务器可在与其他用户中的每一个相关联的其他客户端中的每一个中更新URL和浏览器状态。每个用户的web浏览器将获得新URL的web内容,并使用浏览器状态来渲染同样的内容。使cookie同步将允许在共同浏览的会话中使用单个用户的账户/会话。但是,不是所有的网络应用将对已同步的cookie有效,因而可以按需禁用该选项。通过使得每个用户本地获得web内容,并本地渲染web内容,实现共享应用所需的带宽量被极大减少。通过使服务器能够针对每一个客户端来同步URL和web浏览器状态,每个用户将看到同样的web内容。
附图说明
本发明的各方面在所附的权利要求中被具体指出。本发明通过示例在下述附图中被说明,其中,相似的参照号指示类似的元件。出于说明的目的,下述附图公开了本发明的多个实施例,且不意欲限制本发明的范围。出于清晰的目的,不是每个组件都在每个图中被标出。在图中:
图1是示例性系统的一部分的功能框图,根据本发明的实施例,该系统使得能够在计算机生成的三维虚拟环境中共享诸如web浏览器内容的应用输出;
图2是计算机生成的示例性三维虚拟环境的功能框图;
图3和图4示出了诸如web浏览器应用之类的应用显示如何可被绘制到计算机生成的三维虚拟环境的三维表面上的示例;以及
图5是根据本发明的实施例示出一实施例中的客户端、虚拟环境服务器和web服务器间的交互的流程图,其中,web浏览器的web内容将被包括在虚拟环境中。
具体实施方式
下述详尽的描述提供了多个具体细节以提供对本发明的全面理解。但是,本领域技术人员应当理解,本发明可无需这些具体细节而被实施。在其他示例中,为了不模糊化本发明,没有详细描述公知的方法、程序、组件、协议,算法和电路。
图1示出了示例性系统10的一部分,该系统使得能够在计算机生成的三维虚拟环境中共享诸如web浏览器的web内容之类的应用输出。在图1所示的示例中,用户12可通过分组网络16或其他常用通信基础设施来从他们的计算机22访问虚拟环境14。虚拟环境14是由一个或多个虚拟环境服务器18实现的。用户12之间的通信会话可由一个或多个通信服务器20实现。
虚拟环境可被实现为使用一个或多个实例,每个实例可被一个或多个虚拟环境服务器容宿。当存在多个实例时,一个实例中的化身一般没有察觉到其他实例中的化身。惯常地,虚拟环境的每个实例可被称为单独的世界。给定世界中的化身被允许与在同一世界中也具有化身的其他用户经由通信服务器20所容宿的通信会话来通信。
虚拟环境14可以是任意类型的虚拟环境,例如,针对在线游戏创建的虚拟环境、为实现在线商店而创建的虚拟环境、为实现在线培训设施而创建的虚拟环境、用于商业合作的虚拟环境,或用于任何其他目的的虚拟环境。虚拟环境出于很多原因而被创建,并且可被设计为使得能够进行用户交互以达到特定的目的。虚拟环境的示例性用途包括,游戏、商业、零售、培训、社交网络,以及许多其他方面。
一般而言,虚拟环境将具有其自己的独特三维坐标空间。表示用户的化身可在三维坐标空间中移动,并在三维坐标空间中与对象和其他化身交互。虚拟环境服务器维护虚拟环境,并基于用户化身在虚拟环境中的位置,生成每个用户的视觉显示。该视图可取决于化身正朝向的方向和所选择的观看选项,例如,用户是否选择使视图看起来好像用户正通过化身的眼睛观看,或用户是否选择从化身切回全景以查看化身所处位置的三维视图以及在计算机产生的三维虚拟环境中化身正在干什么。
每个用户12具有计算机22,该计算机可被用于访问计算机产生的三维虚拟环境。计算机22将运行虚拟环境客户端24以及对虚拟环境的用户界面26。用户界面26可以是虚拟环境客户端24的一部分或被实现成独立的进程。虽然特定的虚拟环境客户端可被设计为与多个虚拟环境服务器通过接口连接,但是用户希望访问的每个虚拟环境可要求单独的虚拟环境客户端。通信客户端28被提供以使用户能够与其他参与计算机产生的三维虚拟环境的用户通信。通信客户端可以是虚拟环境客户端24的一部分、用户界面26,或者可以是运行在计算机22上的独立进程。
用户可在显示器/音频30上看到计算机产生的三维虚拟环境的一部分的表示,并且经由诸如鼠标、触摸板或键盘之类的用户输入设备32来输入命令。显示器/音频30可被用户在参与到虚拟环境中时用来发送/接收音频信息。例如,显示器/音频30可以是具有扬声器和麦克风的显示屏。用户界面在虚拟环境客户端的控制下生成显示在显示器上的输出,从用户接收输入并且将用户输入传递给虚拟环境客户端。虚拟环境客户端将用户输入传递给虚拟环境服务器,该虚拟环境服务器使用户的化身34或其他在用户控制下的对象在虚拟环境中执行所希望的行动。以这种方式,用户可控制虚拟环境的一部分,例如人物的化身或与化身有联系的其他对象,以针对虚拟环境的其他用户改变虚拟环境。
通常,化身是对人物或其他在虚拟环境中表示用户的生物的三维渲染。用户在创建虚拟环境的简档时选择他们的化身的样子,然后可以例如通过例如使化身行走、奔跑、挥手、交谈或做出类似的动作来控制化身在虚拟环境中的动作。因此,表示虚拟环境14中的化身的框34并不意欲显示化身在虚拟环境中出现的预期方式。相反,化身的实际外貌是不重要的,因为每个用户的化身的实际外貌希望是在一定程度上不同的,并且根据用户的偏好被定制。由于化身在计算机生成的三维虚拟环境中的实际外貌对此处所讨论的概念是不重要的,因此化身在这里一般用简单的几何图形或二维绘图而非诸如人或动物之类的复杂三维图形来表示。
图2示出了计算机生成的示例性三维虚拟环境。在图2所示的示例中,示出了化身34A,其站在标牌42的前面,该标牌附着在标杆上。用户可使用用户界面26来使化身在虚拟环境中行走以接近虚拟环境中的对象。例如,用户可使化身走向图3所示的标牌42,可使化身走向椭圆形窗口40(图4),使化身移动到窗口41、门43,或者使化身移动到虚拟环境中的其他地方。可向用户提供虚拟环境的视图,该视图位于化身后面(如图2所示)以查看化身在虚拟环境中所处的位置。可替换地,可向用户提供表示化身在虚拟环境中之所见的视图,就好像用户正在通过化身的眼睛来看虚拟环境里面(图3和图4)。
出于简化的目的,在图2所示的示例中仅在虚拟环境的图示部分中示出一个化身(化身34A)。虚拟环境可被数百或者数千用户同时使用,这使得虚拟环境对于在用户间共享信息和想法是理想的。另外,根据本发明的实施例,外部内容可被包括在虚拟环境中以使得外部内容也可被用户所共享。这增强了虚拟环境的有用性,因为将被提供给虚拟环境的来自外部源的内容将以如下的方式被共享和操纵,即,该内容附近的所有用户将看到操纵并且在虚拟环境中具有对内容的相似视图。内容可以是诸如网页之类的静态内容,可以是诸如FLASH视频之类的动态内容,或者可以是其他类型的内容。由于内容在本地被接收,故内容可由用户浏览器处的插件来支持,使得内容的类型不被服务器的技术限制所限制。通过还共享浏览器状态信息,虚拟环境的用户可看到web内容的同步视图。
图3示出了示例性网页50,其已被渲染在虚拟环境14中的三维表面52上。该示例中的三维表面52类似于附着在标杆上的标牌。图4示出了另一个示例,其中,三维表面类似于附着于墙的椭圆形布告牌。
虚拟环境服务器可将URL与任何在虚拟环境中所希望的表面相关联。服务器可将URL与表面相关联并且可选地将URL与默认纹理相关联,而不是将纹理绘制到三维表面。虚拟环境服务器还可以包括初始的一组cookie、JavaScript变量、Java、FLASH以及应当与URL相关联的其他插件状态信息。额外的状态信息允许正在查看web内容的虚拟环境的用户可具有关于web内容的已同步视图。
虚拟环境服务器还可将剪切参数关联以向客户端提供关于可用表面的大小以及来自网页的内容当被渲染在虚拟环境中时应当如何被格式化的信息。虚拟环境服务器可指定与表面相关联的其他属性,例如,谁可以看到与表面相关联的内容,哪个化身可与内容交互,化身是否需要诸如虚拟激光指示器之类的特定工具来与内容交互,或者任何其他将被置于内容上的限制。
根据本发明的实施例,当web内容或其他应用生成的内容被客户端所接收时,这些内容将被绘制到计算机生成的三维虚拟环境中的一个或多个三维表面上。化身/用户可查看内容并与内容交互。一个用户的交互将被处理并被所有其他化身所看到。通过这种方式,可在计算机生成的三维虚拟环境中共享应用。由于虚拟环境服务器发送URL和浏览器状态而非web内容,因此,虚拟环境服务器所需的用于包含web内容的带宽量被最小化。
虚拟环境服务器可能希望限制内容,使得一次仅有一个人可以与内容交互。为此,虚拟环境服务器可使得用户能够通过点击内容来选择内容并第二次点击内容来取消选择内容,从而“检验”内容。当客户端选择检验内容时,该客户端负责发布命令以按希望的方式更新内容,直到其放弃对内容的控制为止。可以取决于将在虚拟环境中实现的策略来实现对谁可在虚拟环境中控制内容以及将如何在虚拟环境中共享控制的限制的许多实现方式。
图3示出了化身当直接站在标牌52前面使将看到的视图。在该视图中,三维表面52看起来是平的。图4示出了如果化身从不同的角度看标牌将可看到的同一标牌的视图。从该角度看,该标牌在化身看来是不同的。而是,化身正从一个角度来看标牌,这接近于从一个边缘来看标牌。化身具有关于椭圆形布告牌40的类似的角度。例如,从图2的有利地位来看,椭圆形公告牌看起来更小并且看起来以某一角度延伸至三维环境。但是,当用户转移到图4所示出的角度时,椭圆形公告牌看起来是平的,并直接位于用户前方。这里所使用的术语“3D表面”将指三维虚拟环境中的任意平面,无论该平面是平的二维平面,还是在虚拟环境中以另一三维方式成形的。例如,不是在标牌52上渲染web内容,而是web内容可以被渲染在标杆54的若干面上。
图1包括多个箭头(以1到8标号),这些箭头示出了可被用于使得能够在虚拟环境中共享应用的示例性处理。在图1中所示的示例中,假定虚拟环境将包括可从web服务器19获得的web内容。将假定可经由web服务器19上的URL1获得web内容。
为了使得能够在虚拟环境中获得web内容,虚拟环境服务器将渲染环境并将URL(URL-1)和浏览器状态与虚拟环境的特定区域相关联。例如,如图2所示,URL-1可与虚拟环境中的公告牌40或标牌42相关联。包含URL(URL-1)的虚拟环境参数将被发送给每个用户(箭头1)。
虚拟环境客户端24将为用户渲染虚拟环境。虚拟环境客户端还将确定在虚拟环境中包含哪些URL,以及将URL传递给用户计算机上的web浏览器25(箭头2)。关于此,虚拟环境客户端还将确定是否存在任何与该URL相关联的浏览器状态信息,并且如果存在则将把浏览器状态信息与URL一起传递给web浏览器。
Web浏览器25在收到URL时,将从web服务器19获得与URL相关联的内容。具体地,web浏览器将发送对内容的请求(箭头3)并接收内容(箭头4)。当化身在虚拟环境中遇到表面时,web浏览器可请求URL,或者可替换地可在不同的时间点请求URL。例如,可以提示web浏览器请求与虚拟环境中的化身的特定半径内的URL、特定卷(volume)内的所有URL、一组卷内的所有URL或者其他方式的URL相关联的内容。
当web浏览器接收到内容时,其将内容渲染到缓冲器27中(箭头5)。将内容存储在缓冲器27中使得在需要时内容可用来被包括在虚拟环境中。当用户的化身处于与URL相关联的区域附近时,虚拟环境客户端将从缓冲器27取回内容(箭头6)并且将内容渲染到虚拟环境的用户视图中的适当三维表面上。
关于获得内容或渲染内容,web浏览器将使用与URL一起取回的浏览器状态,使得查看特定URL的所有用户具有诸如已同步cookie之类的同步状态。浏览器状态的示例包括正被显示的页面的URL、与正被显示的网页的域相关联的一组cookie(本质上是名称值对)、JavaScript变量、Java、FLASH,以及其他插件状态。为了在每个客户端计算机上得到完美同步的网页显示,所有这些状态项将需要被同步。本发明并不限于获得完美同步的实施例。而是,具体实现方式将取决于将被交换的状态的复杂度。因此,如果获得完美同步是不现实的,同步的量将以交换复杂状态信息的复杂度作为交换。
使cookie同步将允许单个用户的账户/会话被使用在共同浏览会话中。但是,并不是所有的web应用将对已同步的cookie有效,因而如果希望的话可禁用此选项。
每个客户端将以并行方式执行该处理,因此,每个客户端从web服务器19获得与URL1相关联的自己版本的内容并且使用状态信息来使其网页视图与其他用户的网页视图同步。由于每个客户端直接从web服务器获得内容,因此虚拟环境服务器无需获得内容或将内容传递给每个用户。这减少了虚拟环境服务器的带宽要求,使得虚拟环境服务器更易于将动态内容包括在虚拟环境中。另外,与包括内容相关联的处理功率可被实际减少,因为虚拟环境服务器并不需要使用内容来创建三维表面的纹理,而是仅将URL与表面相关联。
假定与URL-1相关联的内容包括对URL-2的链接,并且用户12中的一个选择使用该链接来查看第二URL。在图1所示的示例中,假定以更详细的细节显示的用户12是选择第二URL的用户。当用户点击链接或者以其他方式选择了第二个URL时,虚拟环境客户端将经由用户界面26接收输入并将新的URL发送到web浏览器(箭头2)。web浏览器将从web服务器获得内容,并将其渲染到缓冲器,在该缓冲器中,其将被取回并渲染到虚拟环境中。获得与URL相关联的内容并将其渲染在三维表面的处理已被如上说明。点击URL还将在web浏览器中更新状态信息。
当用户点击URL以获得新的网页并更新web浏览器状态时,虚拟环境客户端将向虚拟环境服务器发送消息(箭头7),该消息包括新的URL、更新后的浏览器状态以及与URL相关联的虚拟环境坐标(或者其他识别信息)。在接收到新的URL和更新后的状态信息之后,虚拟环境服务器将把新的URL和更新后的状态信息传递给其他客户端中的每一个(箭头8)。当客户端接收到新的URL和更新后的状态信息时,它们将与web服务器交互以获得与新URL相关联的内容。更新后的状态信息将被用于使浏览器与点击该URL的第一个用户同步。因此,显示在3D表面的内容可在用户间被同步。
URL可位于特定的位置,或者可替换地可在虚拟环境的多个区域间被同步。因此,例如,URL可与椭圆形公告牌40和标牌42二者相关联。类似地,URL可与虚拟环境的多个区域的屏幕相关联,使得一个用户可在一个区域操纵web内容并使得内容在虚拟环境的多个其他区域可见。因此,web内容可使得虚拟环境的不同区域的人能够查看类似的内容并因而能够在视觉上彼此通信,即便它们彼此并不邻近。
图5示出了图示出根据本发明的实施例如何可将内容集成到虚拟环境中的流程图。如图3所示,虚拟环境服务器将生成嵌入URL的虚拟环境,并将嵌入URL的虚拟环境传递给客户端中的每一个(100,100’)。每个客户端将联系web服务器(102,102’)以获得web内容(104,104’)的副本。如上所述,虽然在此实施例中客户端都是直接从web服务器获得内容,但是,内容也可被以另一方式被分发,例如通过使web服务器将内容传递给虚拟环境服务器(106)用以分发给客户端(108,108’),或通过使web服务器将内容传递给客户端中的某一个用以分发到其他客户端(112)。如上所述,存在多种在通信网络上分发内容的方式,并且本发明并不限于用来实现该方面的任何特定方式。
如果客户端的某一个与内容交互,其导致新的URL(114)被选择,则新的URL和状态信息将被发送到web服务器以使得新的web内容被下载到客户端(116)。新的URL和状态信息也将被发送到虚拟环境服务器(118)以使得新的URL和状态信息由虚拟环境服务器被与所有其他客户端同步(120)。当其他客户端接收到新的URL和状态信息时,客户端就将新的URL和状态信息传递给web服务器(122)以获得新的web内容(124)。
虽然已经描述了其中将被集成到虚拟环境中的内容是web内容的实施例,但是,本发明并不限于此种方式,因为来自其他应用的输出也可被使用。例如,假定用户中的某一个正运行诸如计算机辅助设计应用之类的由网络上的服务器容宿的应用。该应用的输出可被流传输到用户并被存储在缓冲器27中。当需要时,虚拟环境客户端24可随即使用该内容并将内容渲染在虚拟环境中的三维表面上。因此,通过使客户端缓存应用的屏幕数据,可以在三维虚拟环境中提供任意数量的应用的输出,所述屏幕数据可随后被虚拟环境客户端在本地渲染在计算机生成的三维虚拟环境的一个或多个表面上。
虽然关于执行与使得外部内容能够被包括在计算机生成的三维虚拟环境中相关联的各种任务,特定的软件模块和片段已被描述,但是,本发明并不限于该特定的实施例,因为,多个不同的在计算机系统的组件间分配功能的方式可被实现。因此,具体实现方式将取决于针对其实现方式而选择的具体编程技术和软件体系结构,并且,本发明并不意欲被限制在所示出的一个体系结构中。
上述功能可被实现为一组或多组在计算机可读存储器中存储并且在一个或多个计算机内的一个或多个处理器上执行的程序指令,对于本领域技术人员而言,很明显,此处所描述的所有逻辑可通过使用分立元件、诸如专用集成电路(ASIC)之类的集成电路、与诸如现场可编程门阵列(FPGA)之类的可编程逻辑设备一起使用的可编程逻辑或微处理器、状态机,或其他任意包含其任意组合的设备来实现。可编程逻辑可被暂时或永久地固定在诸如存储器芯片、计算机存储器、记忆棒、磁盘,或其他存储介质之类的有形介质上。所有这些实施例都意欲落入本发明的范围内。
应当理解,在本发明的精神和范围内,可进行对多个示出在附图中并在说明书中所描述的实施例的变更和修改。相应地,意欲使所有包含在上述描述并示出在附图中的内容以说明性而非限制性的方式被解释。本发明仅如在所附权利要求及其等价物中限定的那样受限。

Claims (8)

1.一种计算机实现的在计算机生成的三维虚拟环境中包含web内容的方法,所述方法包括如下步骤:
在所述计算机上运行第一虚拟环境客户端;
当与第一用户相关联的化身临近第一虚拟环境中的第一位置时,由所述第一虚拟环境客户端从虚拟环境服务器接收第一统一资源定位符URL、第一浏览器状态和剪切参数,所述第一URL、所述第一浏览器状态和所述剪切参数定义将被与由所述第一虚拟环境客户端实现的所述第一虚拟环境中第一位置处的三维表面相关联;
将所述第一URL和所述第一浏览器状态从所述第一虚拟环境客户端传递至运行在所述计算机上的第一web浏览器;
由所述第一web浏览器获取与所述第一URL和所述第一浏览器状态相关联的第一web内容;
将所述第一web内容从所述第一web浏览器传递至所述第一虚拟环境客户端;
由所述第一虚拟环境客户端将所述第一web内容渲染在所述计算机生成的三维虚拟环境中所述第一位置处的所述三维表面上,从而允许所述第一用户观看所述虚拟环境中所述第一位置处的所述三维表面上的所述第一web内容;
由所述第一虚拟环境客户端从所述第一用户接收输入,该输入指定将被与所述虚拟环境中所述第一位置处的所述三维表面相关联的第二URL;
将所述第二URL从所述第一虚拟环境客户端传递至所述第一web浏览器;
由所述第一web浏览器获取与所述第二URL相关联的第二web内容和第二浏览器状态;
将所述第二web内容和所述第二浏览器状态从所述第一web浏览器传递至所述第一虚拟环境客户端;
将所述第二URL和所述第二浏览器状态,而不是所述第二web内容,从所述第一虚拟环境客户端传递至所述虚拟环境服务器;
当与所述虚拟环境的其它用户相关联的化身临近所述虚拟环境中的所述第一位置时,由所述虚拟环境服务器将所述第二URL和所述第二浏览器状态转发至所述虚拟环境的所述其它用户的虚拟环境客户端,从而使得所述其它用户能够独立地获取将被显示在所述计算机生成的三维虚拟环境中所述位置处的所述三维表面上的所述第二web内容,并且
由所述虚拟环境服务器关联所述剪切参数,从而向所述虚拟环境客户端提供关于可用表面的大小以及当所述web内容被渲染在所述虚拟环境中时应当如何被格式化的信息。
2.如权利要求1所述的方法,其中,独立于所述第一虚拟环境客户
端地通过所述第一web浏览器来获得所述第一web内容。
3.如权利要求1所述的方法,其中,从独立于所述虚拟环境服务器的web服务器获得所述第一web内容。
4.如权利要求1所述的方法,其中所述第一URL和所述第一浏览器状态由所述第一web浏览器从所述三维表面获得。
5.如权利要求1所述的方法,还包括由所述虚拟环境服务器从第二用户接收第三URL和第三浏览器状态,所述第三URL和所述第三浏览器状态将被与所述虚拟环境中的所述三维表面相关联。
6.如权利要求5所述的方法,还包括如下步骤:
由所述虚拟环境服务器将所述第三URL和所述第三浏览器状态转发至所述第一虚拟环境客户端;
将所述第三URL和所述第三浏览器状态从所述第一虚拟环境客户端传递至所述第一web浏览器;
由所述第一web浏览器获取与所述第三URL和所述第三浏览器相关联的第三web内容;
将所述第三web内容从所述第一web浏览器传递至所述第一虚拟环境客户端;
由所述第一虚拟环境客户端将所述第三web内容渲染到所述计算机生成的三维虚拟环境中所述第一位置处的三维表面上,从而允许所述第一用户观看所述虚拟环境中所述第一位置处的所述三维表面处的所述第三web内容。
7.一种当用户碰到虚拟环境内的web内容位置时使得所述虚拟环境的多个用户能够访问web内容的方法,该方法包括如下步骤:
将第一URL、第一浏览器状态和剪切参数与实现三维虚拟环境内web内容位置的三维表面相关联;
当代表第一用户的第一化身碰到虚拟环境内的web内容位置时,将所述第一URL和第一浏览器状态与描述所述三维表面的参数一起发送到第一用户虚拟环境客户端,从而使得所述第一用户虚拟环境客户端获取与所述第一URL和第一浏览器相关联的第一web内容、并且将所述第一web内容显示在所述三维表面上;
从第二用户虚拟环境客户端接收与代表第二用户的第二化身和所述虚拟环境中的所述三维表面之间的交互相关的第二URL和第二浏览器状态;
将所述第二URL和所述第二浏览器状态传输至所述第一用户虚拟环境客户端,以使得所述第一用户虚拟环境客户端获取与所述第二URL和所述第二浏览器状态相关联的第二web内容、并且将所述第二web内容显示在所述三维表面上,以及
关联所述剪切参数,从而向所述虚拟环境客户端提供关于可用表面的大小以及当所述web内容被渲染在所述虚拟环境中时应当如何被格式化的信息。
8.如权利要求7所述的方法,其中,所述第一URL使得所述三维虚拟环境的用户能够从不附属于支持所述虚拟环境的服务器的web服务器获得与所述第一URL相关联的第一web内容,其中描述所述三维表面的参数使得所述web内容能够被映射到所述虚拟环境中,并且其中所述第一浏览器状态使得所述第一用户和所述第二用户能够在所述虚拟环境中具有对所述web内容的同步视图。
CN200980109807.6A 2008-03-18 2009-03-18 在虚拟环境中包含web内容 Active CN102204207B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US3744708P 2008-03-18 2008-03-18
US61/037,447 2008-03-18
US12/344,473 US9258337B2 (en) 2008-03-18 2008-12-27 Inclusion of web content in a virtual environment
US12/344,473 2008-12-27
PCT/CA2009/000329 WO2009114937A1 (en) 2008-03-18 2009-03-18 Inclusion of web content in a virtual environment

Publications (2)

Publication Number Publication Date
CN102204207A CN102204207A (zh) 2011-09-28
CN102204207B true CN102204207B (zh) 2016-06-22

Family

ID=41089695

Family Applications (2)

Application Number Title Priority Date Filing Date
CN200980109791.9A Expired - Fee Related CN101978707B (zh) 2008-03-18 2009-03-17 计算机生成的三维虚拟环境中的真实音频通信
CN200980109807.6A Active CN102204207B (zh) 2008-03-18 2009-03-18 在虚拟环境中包含web内容

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN200980109791.9A Expired - Fee Related CN101978707B (zh) 2008-03-18 2009-03-17 计算机生成的三维虚拟环境中的真实音频通信

Country Status (5)

Country Link
US (4) US9258337B2 (zh)
EP (3) EP2269389A4 (zh)
JP (2) JP5405557B2 (zh)
CN (2) CN101978707B (zh)
WO (3) WO2009117434A1 (zh)

Families Citing this family (123)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8397168B2 (en) 2008-04-05 2013-03-12 Social Communications Company Interfacing with a spatial virtual communication environment
US20090288007A1 (en) * 2008-04-05 2009-11-19 Social Communications Company Spatial interfaces for realtime networked communications
US9357025B2 (en) 2007-10-24 2016-05-31 Social Communications Company Virtual area based telephony communications
US9009603B2 (en) * 2007-10-24 2015-04-14 Social Communications Company Web browser interface for spatial communication environments
US7769806B2 (en) 2007-10-24 2010-08-03 Social Communications Company Automated real-time data stream switching in a shared virtual area communication environment
US8407605B2 (en) 2009-04-03 2013-03-26 Social Communications Company Application sharing
US20090199275A1 (en) * 2008-02-06 2009-08-06 David Brock Web-browser based three-dimensional media aggregation social networking application
EP2279472A4 (en) 2008-04-05 2013-11-20 Social Communications Co APPARATUS AND METHODS BASED ON A SHARED VIRTUAL SPACE COMMUNICATION ENVIRONMENT
US8028021B2 (en) * 2008-04-23 2011-09-27 International Business Machines Corporation Techniques for providing presentation material in an on-going virtual meeting
WO2010065909A2 (en) * 2008-12-05 2010-06-10 Social Communications Company Managing interactions in a network communications environment
US9529423B2 (en) * 2008-12-10 2016-12-27 International Business Machines Corporation System and method to modify audio components in an online environment
KR101595751B1 (ko) * 2008-12-19 2016-02-22 삼성전자주식회사 화상통화 중 데이터 저장 방법 및 시스템
US8762861B2 (en) * 2008-12-28 2014-06-24 Avaya, Inc. Method and apparatus for interrelating virtual environment and web content
US9288242B2 (en) 2009-01-15 2016-03-15 Social Communications Company Bridging physical and virtual spaces
US9065874B2 (en) * 2009-01-15 2015-06-23 Social Communications Company Persistent network resource and virtual area associations for realtime collaboration
US9853922B2 (en) 2012-02-24 2017-12-26 Sococo, Inc. Virtual area communications
US8284157B2 (en) * 2010-01-15 2012-10-09 Microsoft Corporation Directed performance in motion capture system
US20110225519A1 (en) * 2010-03-10 2011-09-15 Oddmobb, Inc. Social media platform for simulating a live experience
US20110225039A1 (en) * 2010-03-10 2011-09-15 Oddmobb, Inc. Virtual social venue feeding multiple video streams
US20110225516A1 (en) * 2010-03-10 2011-09-15 Oddmobb, Inc. Instantiating browser media into a virtual social venue
US20110225517A1 (en) * 2010-03-10 2011-09-15 Oddmobb, Inc Pointer tools for a virtual social venue
US20110225515A1 (en) * 2010-03-10 2011-09-15 Oddmobb, Inc. Sharing emotional reactions to social media
US20110225518A1 (en) * 2010-03-10 2011-09-15 Oddmobb, Inc. Friends toolbar for a virtual social venue
US20110225498A1 (en) * 2010-03-10 2011-09-15 Oddmobb, Inc. Personalized avatars in a virtual social venue
US8572177B2 (en) 2010-03-10 2013-10-29 Xmobb, Inc. 3D social platform for sharing videos and webpages
WO2011112296A1 (en) * 2010-03-10 2011-09-15 Oddmobb, Inc. Incorporating media content into a 3d platform
US8667402B2 (en) * 2010-03-10 2014-03-04 Onset Vi, L.P. Visualizing communications within a social setting
US8527591B2 (en) 2010-05-20 2013-09-03 Actual Works, Inc. Method and apparatus for the implementation of a real-time, sharable browsing experience on a guest device
US9171087B2 (en) * 2010-05-20 2015-10-27 Samesurf, Inc. Method and apparatus for the implementation of a real-time, sharable browsing experience on a host device
WO2012024205A2 (en) 2010-08-16 2012-02-23 Social Communications Company Promoting communicant interactions in a network communications environment
CN101996077A (zh) * 2010-09-08 2011-03-30 海皮士(北京)网络技术有限公司 一种在三维客户端中嵌入浏览器的方法和系统
EP2614482A4 (en) 2010-09-11 2014-05-14 Social Communications Co RELATIONSHIP-BASED PRESENCE DISPLAY IN VIRTUAL AREA CONTEXTS
US8562441B1 (en) * 2011-05-03 2013-10-22 Zynga Inc. Secure, parallel, and independent script execution
US11025865B1 (en) * 2011-06-17 2021-06-01 Hrl Laboratories, Llc Contextual visual dataspaces
WO2013016165A1 (en) 2011-07-22 2013-01-31 Social Communications Company Communicating between a virtual area and a physical space
US9251504B2 (en) 2011-08-29 2016-02-02 Avaya Inc. Configuring a virtual reality environment in a contact center
US10147123B2 (en) 2011-09-29 2018-12-04 Amazon Technologies, Inc. Electronic marketplace for hosted service images
US9626700B1 (en) 2011-09-29 2017-04-18 Amazon Technologies, Inc. Aggregation of operational data for merchandizing of network accessible services
US8776043B1 (en) 2011-09-29 2014-07-08 Amazon Technologies, Inc. Service image notifications
US9530156B2 (en) 2011-09-29 2016-12-27 Amazon Technologies, Inc. Customizable uniform control user interface for hosted service images
US9093259B1 (en) * 2011-11-16 2015-07-28 Disney Enterprises, Inc. Collaborative musical interaction among avatars
US9392233B2 (en) * 2011-12-08 2016-07-12 International Business Machines Corporation System and method for combined meeting recording
US9503349B2 (en) * 2012-01-26 2016-11-22 Zoom International S.R.O. Complex interaction recording
US9679279B1 (en) 2012-02-27 2017-06-13 Amazon Technologies Inc Managing transfer of hosted service licenses
US9258371B1 (en) 2012-03-23 2016-02-09 Amazon Technologies, Inc. Managing interaction with hosted services
US9397987B1 (en) 2012-03-23 2016-07-19 Amazon Technologies, Inc. Managing interaction with hosted services
US9374448B2 (en) 2012-05-27 2016-06-21 Qualcomm Incorporated Systems and methods for managing concurrent audio messages
US9727534B1 (en) 2012-06-18 2017-08-08 Bromium, Inc. Synchronizing cookie data using a virtualized browser
US9384026B1 (en) * 2012-06-18 2016-07-05 Bromium, Inc. Sharing and injecting cookies into virtual machines for retrieving requested web pages
US10095662B1 (en) 2012-06-18 2018-10-09 Bromium, Inc. Synchronizing resources of a virtualized browser
US9734131B1 (en) 2012-06-18 2017-08-15 Bromium, Inc. Synchronizing history data across a virtualized web browser
GB201216667D0 (en) * 2012-07-10 2012-10-31 Paz Hadar Inside - on-line virtual reality immersion and integration system
US8954853B2 (en) * 2012-09-06 2015-02-10 Robotic Research, Llc Method and system for visualization enhancement for situational awareness
DE102012019527A1 (de) * 2012-10-05 2014-04-10 Deutsche Telekom Ag Verfahren und System zur Verbesserung und Erweiterung der Funktionalität eines Videotelefonats
WO2014071076A1 (en) * 2012-11-01 2014-05-08 Gutman Ronald David Conferencing for participants at different locations
US9886160B2 (en) * 2013-03-15 2018-02-06 Google Llc Managing audio at the tab level for user notification and control
CN104105056A (zh) * 2013-04-12 2014-10-15 上海果壳电子有限公司 通话方法、系统及手持设备
US9553787B1 (en) 2013-04-29 2017-01-24 Amazon Technologies, Inc. Monitoring hosted service usage
US10334101B2 (en) * 2013-05-22 2019-06-25 Nice Ltd. System and method for generating metadata for a recorded session
WO2015050826A1 (en) * 2013-10-01 2015-04-09 Dishno Aaron Three-dimensional (3d) browsing
US20180225885A1 (en) * 2013-10-01 2018-08-09 Aaron Scott Dishno Zone-based three-dimensional (3d) browsing
US20150156228A1 (en) * 2013-11-18 2015-06-04 Ronald Langston Social networking interacting system
JP5882403B2 (ja) * 2014-06-25 2016-03-09 株式会社カプコン 効果音加工プログラム及びゲーム装置
US10388297B2 (en) * 2014-09-10 2019-08-20 Harman International Industries, Incorporated Techniques for generating multiple listening environments via auditory devices
US20160292966A1 (en) * 2015-03-31 2016-10-06 Gary Denham System and method of providing a virtual shopping experience
US10230801B2 (en) * 2015-04-14 2019-03-12 Avaya Inc. Session reconstruction using proactive redirect
CN105007297A (zh) * 2015-05-27 2015-10-28 国家计算机网络与信息安全管理中心 社交网络的交互方法及装置
US10007482B2 (en) * 2015-09-16 2018-06-26 Hashplay Inc. Method and system for voice chat in virtual environment
KR20170055867A (ko) * 2015-11-12 2017-05-22 엘지전자 주식회사 이동단말기 및 그 제어방법
JP6039042B1 (ja) * 2015-11-20 2016-12-07 株式会社スクウェア・エニックス 描画処理プログラム、描画処理装置、描画処理方法、発音処理プログラム、発音処理装置、及び、発音処理方法
US10511807B2 (en) * 2015-12-11 2019-12-17 Sony Corporation Information processing apparatus, information processing method, and program
US10516703B2 (en) * 2016-03-07 2019-12-24 Precision Biometrics, Inc. Monitoring and controlling the status of a communication session
US10375237B1 (en) * 2016-09-12 2019-08-06 Verint Americas Inc. Virtual communications assessment system in a multimedia environment
CN106528038B (zh) * 2016-10-25 2019-09-06 三星电子(中国)研发中心 一种虚拟现实场景下调节音频效果的方法、系统及装置
CN106598245B (zh) * 2016-12-16 2020-06-12 阿里巴巴(中国)有限公司 基于虚拟现实的多用户交互控制方法及装置
CN106886404A (zh) * 2017-01-17 2017-06-23 武汉卓尔云市集团有限公司 一种android的3D渲染装置
WO2018135304A1 (ja) * 2017-01-18 2018-07-26 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
US11096004B2 (en) * 2017-01-23 2021-08-17 Nokia Technologies Oy Spatial audio rendering point extension
US10516961B2 (en) * 2017-03-17 2019-12-24 Nokia Technologies Oy Preferential rendering of multi-user free-viewpoint audio for improved coverage of interest
US10531219B2 (en) 2017-03-20 2020-01-07 Nokia Technologies Oy Smooth rendering of overlapping audio-object interactions
CN107050851B (zh) * 2017-03-27 2020-12-08 熊庆生 一种游戏内容效果的声音加强方法及系统
US11074036B2 (en) 2017-05-05 2021-07-27 Nokia Technologies Oy Metadata-free audio-object interactions
US10154360B2 (en) 2017-05-08 2018-12-11 Microsoft Technology Licensing, Llc Method and system of improving detection of environmental sounds in an immersive environment
CN110020235B (zh) * 2017-08-23 2021-08-03 北京京东尚科信息技术有限公司 Web浏览器三维模型定位方法、装置、介质和电子设备
US11395087B2 (en) 2017-09-29 2022-07-19 Nokia Technologies Oy Level-based audio-object interactions
US10582063B2 (en) * 2017-12-12 2020-03-03 International Business Machines Corporation Teleconference recording management system
CN107995440B (zh) * 2017-12-13 2021-03-09 北京奇虎科技有限公司 一种视频字幕贴图生成方法、装置、计算机可读存储介质及终端设备
US10673913B2 (en) * 2018-03-14 2020-06-02 8eo, Inc. Content management across a multi-party conference system by parsing a first and second user engagement stream and transmitting the parsed first and second user engagement stream to a conference engine and a data engine from a first and second receiver
DK201870364A1 (en) 2018-05-07 2019-12-03 Apple Inc. MULTI-PARTICIPANT LIVE COMMUNICATION USER INTERFACE
EP3659296B1 (en) * 2018-05-07 2022-01-05 Apple Inc. Multi-participant live communication user interface
US11395089B2 (en) * 2018-05-08 2022-07-19 Google Llc Mixing audio based on a pose of a user
US10924566B2 (en) * 2018-05-18 2021-02-16 High Fidelity, Inc. Use of corroboration to generate reputation scores within virtual reality environments
US11232532B2 (en) * 2018-05-30 2022-01-25 Sony Interactive Entertainment LLC Multi-server cloud virtual reality (VR) streaming
EP3576413A1 (en) * 2018-05-31 2019-12-04 InterDigital CE Patent Holdings Encoder and method for encoding a tile-based immersive video
US11227435B2 (en) 2018-08-13 2022-01-18 Magic Leap, Inc. Cross reality system
CN109168068B (zh) * 2018-08-23 2020-06-23 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备及计算机可读介质
US10909762B2 (en) 2018-08-24 2021-02-02 Microsoft Technology Licensing, Llc Gestures for facilitating interaction with pages in a mixed reality environment
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11232635B2 (en) 2018-10-05 2022-01-25 Magic Leap, Inc. Rendering location specific virtual content in any location
US10846898B2 (en) * 2019-03-28 2020-11-24 Nanning Fugui Precision Industrial Co., Ltd. Method and device for setting a multi-user virtual reality chat environment
CN114616534A (zh) 2019-10-15 2022-06-10 奇跃公司 具有无线指纹的交叉现实系统
US11568605B2 (en) 2019-10-15 2023-01-31 Magic Leap, Inc. Cross reality system with localization service
CN114730546A (zh) 2019-11-12 2022-07-08 奇跃公司 具有定位服务和基于位置的共享内容的交叉现实系统
US11562542B2 (en) * 2019-12-09 2023-01-24 Magic Leap, Inc. Cross reality system with simplified programming of virtual content
US11228800B2 (en) * 2019-12-31 2022-01-18 Sling TV L.L.C. Video player synchronization for a streaming video system
CN115398314A (zh) 2020-02-13 2022-11-25 奇跃公司 使用多分辨率帧描述符进行地图处理的交叉现实系统
WO2021163306A1 (en) 2020-02-13 2021-08-19 Magic Leap, Inc. Cross reality system with accurate shared maps
EP4104145A4 (en) 2020-02-13 2024-01-24 Magic Leap Inc CROSS-REALLY SYSTEM PRIORITIZING GEOLOCALIZATION INFORMATION FOR LOCALIZATION
US11521643B2 (en) * 2020-05-08 2022-12-06 Bose Corporation Wearable audio device with user own-voice recording
US11838336B2 (en) * 2020-08-27 2023-12-05 Varty Inc. Virtual events-based social network
US20220070240A1 (en) 2020-08-28 2022-03-03 Tmrw Foundation Ip S. À R.L. Ad hoc virtual communication between approaching user graphical representations
US11792031B2 (en) * 2021-03-31 2023-10-17 Snap Inc. Mixing participant audio from multiple rooms within a virtual conferencing system
US11282278B1 (en) * 2021-04-02 2022-03-22 At&T Intellectual Property I, L.P. Providing adaptive asynchronous interactions in extended reality environments
US11743430B2 (en) * 2021-05-06 2023-08-29 Katmai Tech Inc. Providing awareness of who can hear audio in a virtual conference, and applications thereof
US20220368548A1 (en) 2021-05-15 2022-11-17 Apple Inc. Shared-content session user interfaces
US11907605B2 (en) 2021-05-15 2024-02-20 Apple Inc. Shared-content session user interfaces
US11893214B2 (en) 2021-05-15 2024-02-06 Apple Inc. Real-time communication user interface
US20220368737A1 (en) * 2021-05-17 2022-11-17 Cloudengage, Inc. Systems and methods for hosting a video communications portal on an internal domain
US20230086248A1 (en) * 2021-09-21 2023-03-23 Meta Platforms Technologies, Llc Visual navigation elements for artificial reality environments
US11770600B2 (en) 2021-09-24 2023-09-26 Apple Inc. Wide angle video conference
US20240031530A1 (en) * 2022-07-20 2024-01-25 Katmai Tech Inc. Using zones in a three-dimensional virtual environment for limiting audio and video
US11935195B1 (en) * 2022-12-13 2024-03-19 Astrovirtual, Inc. Web browser derived content including real-time visualizations in a three-dimensional gaming environment
US11947871B1 (en) 2023-04-13 2024-04-02 International Business Machines Corporation Spatially aware virtual meetings

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6175842B1 (en) * 1997-07-03 2001-01-16 At&T Corp. System and method for providing dynamic three-dimensional multi-user virtual spaces in synchrony with hypertext browsing
US6909429B2 (en) * 2001-05-18 2005-06-21 A.G. Imaginations Ltd. System and method for displaying content in a three-dimensional virtual environment
US6954728B1 (en) * 2000-05-15 2005-10-11 Avatizing, Llc System and method for consumer-selected advertising and branding in interactive media

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2892901B2 (ja) 1992-04-27 1999-05-17 インターナショナル・ビジネス・マシーンズ・コーポレイション プレゼンテーションの獲得、管理およびプレイバック用自動化システム及び方法
US5559875A (en) 1995-07-31 1996-09-24 Latitude Communications Method and apparatus for recording and retrieval of audio conferences
JP3139615B2 (ja) * 1996-08-08 2001-03-05 日本電信電話株式会社 3次元仮想空間音通信方法とその装置
US6850609B1 (en) 1997-10-28 2005-02-01 Verizon Services Corp. Methods and apparatus for providing speech recording and speech transcription services
JPH11219278A (ja) * 1998-02-02 1999-08-10 Mitsubishi Electric Corp 3次元仮想世界システム
US6298129B1 (en) 1998-03-11 2001-10-02 Mci Communications Corporation Teleconference recording and playback system and associated method
US6230171B1 (en) * 1998-08-29 2001-05-08 International Business Machines Corporation Markup system for shared HTML documents
JP2000113221A (ja) * 1998-09-30 2000-04-21 Sony Corp 情報処理装置および方法、並びに提供媒体
US6504926B1 (en) * 1998-12-15 2003-01-07 Mediaring.Com Ltd. User control system for internet phone quality
WO2005015880A1 (en) 1998-12-29 2005-02-17 Tpresence, Inc. Computer network architecture for persistent, distributed virtual environments
KR100349597B1 (ko) * 1999-01-12 2002-08-22 삼성전자 주식회사 광도파로 소자 및 그 제조방법
US7349944B2 (en) * 1999-11-18 2008-03-25 Intercall, Inc. System and method for record and playback of collaborative communications session
KR100404285B1 (ko) * 2000-02-09 2003-11-03 (주) 고미드 2차원/3차원 겸용 웹 브라우징 방법 및 이를 저장하고 있는 기록매체
US20010019337A1 (en) * 2000-03-03 2001-09-06 Jong Min Kim System for providing clients with a three dimensional virtual reality
EP1266280B1 (en) 2000-03-20 2006-08-16 BRITISH TELECOMMUNICATIONS public limited company Data entry
JP4479051B2 (ja) * 2000-04-28 2010-06-09 ソニー株式会社 情報処理装置および方法、並びに記録媒体
US20060036756A1 (en) 2000-04-28 2006-02-16 Thomas Driemeyer Scalable, multi-user server and method for rendering images from interactively customizable scene information
US6501739B1 (en) * 2000-05-25 2002-12-31 Remoteability, Inc. Participant-controlled conference calling system
US20020128952A1 (en) * 2000-07-06 2002-09-12 Raymond Melkomian Virtual interactive global exchange
US6792093B2 (en) 2000-12-05 2004-09-14 Zvi Barak System and method for telephone call recording and recorded call retrieval
DE60116341T3 (de) 2000-09-19 2017-04-06 Nice Systems Ltd. Kommunikationsverwaltungsystem für computernetzbasierte telefone
GB0029574D0 (en) 2000-12-02 2001-01-17 Hewlett Packard Co Recordal service for voice communications
JP2002312295A (ja) * 2001-04-09 2002-10-25 Nec Interchannel Ltd 仮想3次元空間会話システム
AU2003201032A1 (en) * 2002-01-07 2003-07-24 Stephen James Crampton Method and apparatus for an avatar user interface system
AUPR989802A0 (en) * 2002-01-09 2002-01-31 Lake Technology Limited Interactive spatialized audiovisual system
JP3829722B2 (ja) 2002-01-23 2006-10-04 ソニー株式会社 情報処理装置および方法、並びにプログラム
GB2389736B (en) * 2002-06-13 2005-12-14 Nice Systems Ltd A method for forwarding and storing session packets according to preset and/or dynamic rules
US6778639B2 (en) 2002-06-26 2004-08-17 International Business Machines Corporation Method, apparatus and computer program for authorizing recording of a message
US7054420B2 (en) 2002-09-11 2006-05-30 Telstrat International, Ltd. Voice over IP telephone recording architecture
US7466334B1 (en) 2002-09-17 2008-12-16 Commfore Corporation Method and system for recording and indexing audio and video conference calls allowing topic-based notification and navigation of recordings
US6993120B2 (en) 2002-10-23 2006-01-31 International Business Machines Corporation System and method for copying and transmitting telephony conversations
US7590230B1 (en) * 2003-05-22 2009-09-15 Cisco Technology, Inc. Automated conference recording for missing conference participants
US7467356B2 (en) * 2003-07-25 2008-12-16 Three-B International Limited Graphical user interface for 3d virtual display browser using virtual display windows
US20050030309A1 (en) * 2003-07-25 2005-02-10 David Gettman Information display
US20050226395A1 (en) * 2004-04-05 2005-10-13 Benco David S Network support for consensual mobile recording
JP2005322125A (ja) * 2004-05-11 2005-11-17 Sony Corp 情報処理システム、情報処理方法、プログラム
GB2414369B (en) * 2004-05-21 2007-08-01 Hewlett Packard Development Co Processing audio data
US7491123B2 (en) * 2004-07-29 2009-02-17 Nintendo Co., Ltd. Video game voice chat with amplitude-based virtual ranging
US8077832B2 (en) * 2004-10-20 2011-12-13 Speechink, Inc. Systems and methods for consent-based recording of voice data
US7227930B1 (en) * 2004-10-20 2007-06-05 Core Mobility, Inc. Systems and methods for criteria-based recording of voice data
US7707262B1 (en) * 2004-12-28 2010-04-27 Aol Llc Negotiating content controls
JP2005149529A (ja) * 2005-01-06 2005-06-09 Fujitsu Ltd 音声対話システム
US7738638B1 (en) * 2005-04-05 2010-06-15 At&T Intellectual Property Ii, L.P. Voice over internet protocol call recording
US7570752B2 (en) * 2005-09-23 2009-08-04 Alcatel Lucent Telephony/conference activity presence state
JP2007156558A (ja) 2005-11-30 2007-06-21 Toshiba Corp 通信装置および通信方法
US20070282695A1 (en) 2006-05-26 2007-12-06 Hagai Toper Facilitating on-line commerce
JP4281925B2 (ja) * 2006-06-19 2009-06-17 株式会社スクウェア・エニックス ネットワークシステム
US20080005347A1 (en) 2006-06-29 2008-01-03 Yahoo! Inc. Messenger system for publishing podcasts
US7548609B2 (en) * 2006-09-07 2009-06-16 Cti Group (Holding), Inc. Process for scalable conversation recording
US8503651B2 (en) * 2006-12-27 2013-08-06 Nokia Corporation Teleconferencing configuration based on proximity information
US20080204449A1 (en) 2007-02-27 2008-08-28 Dawson Christopher J Enablement of virtual environment functions and features through advertisement exposure
GB0703974D0 (en) * 2007-03-01 2007-04-11 Sony Comp Entertainment Europe Entertainment device
US20080252637A1 (en) * 2007-04-14 2008-10-16 Philipp Christian Berndt Virtual reality-based teleconferencing
US8300773B2 (en) * 2007-04-30 2012-10-30 Hewlett-Packard Development Company, L.P. Telephonic recording system and method
WO2009000028A1 (en) 2007-06-22 2008-12-31 Global Coordinate Software Limited Virtual 3d environments

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6175842B1 (en) * 1997-07-03 2001-01-16 At&T Corp. System and method for providing dynamic three-dimensional multi-user virtual spaces in synchrony with hypertext browsing
US6954728B1 (en) * 2000-05-15 2005-10-11 Avatizing, Llc System and method for consumer-selected advertising and branding in interactive media
US6909429B2 (en) * 2001-05-18 2005-06-21 A.G. Imaginations Ltd. System and method for displaying content in a three-dimensional virtual environment

Also Published As

Publication number Publication date
US20090241037A1 (en) 2009-09-24
EP2258103A1 (en) 2010-12-08
WO2009117434A1 (en) 2009-09-24
CN101978707B (zh) 2015-04-22
US20090240818A1 (en) 2009-09-24
US9392037B2 (en) 2016-07-12
JP2011518366A (ja) 2011-06-23
EP2258103B1 (en) 2018-05-02
JP2011517811A (ja) 2011-06-16
JP5396461B2 (ja) 2014-01-22
WO2009114937A1 (en) 2009-09-24
US20090240359A1 (en) 2009-09-24
US8605863B1 (en) 2013-12-10
EP2269389A1 (en) 2011-01-05
EP2255492A1 (en) 2010-12-01
EP2269389A4 (en) 2013-07-24
EP2258103A4 (en) 2013-07-24
CN101978707A (zh) 2011-02-16
WO2009114936A1 (en) 2009-09-24
US9258337B2 (en) 2016-02-09
CN102204207A (zh) 2011-09-28
EP2255492A4 (en) 2013-04-10
EP2255492B1 (en) 2016-06-15
JP5405557B2 (ja) 2014-02-05

Similar Documents

Publication Publication Date Title
CN102204207B (zh) 在虚拟环境中包含web内容
US9064023B2 (en) Providing web content in the context of a virtual environment
US11695901B2 (en) Emotes for non-verbal communication in a videoconferencing system
US6349301B1 (en) Virtual environment bystander updating in client server architecture
US8627212B2 (en) System and method for embedding a view of a virtual space in a banner ad and enabling user interaction with the virtual space within the banner ad
CN109885367B (zh) 互动聊天实现方法、装置、终端和存储介质
US20100169799A1 (en) Method and Apparatus for Enabling Presentations to Large Numbers of Users in a Virtual Environment
US20130019184A1 (en) Methods and systems for virtual experiences
US20100169795A1 (en) Method and Apparatus for Interrelating Virtual Environment and Web Content
US8638332B2 (en) Teleport preview provisioning in virtual environments
US8537165B2 (en) Method and apparatus for automatic coalescence of connected rigid bodies
KR20070043945A (ko) 3차원 가상 현실 공간에서의 집회 및 시위 개최 시스템 및그 방법
KR20220143457A (ko) 온라인 기반 가상 전시관 시스템
TWI799195B (zh) 利用虛擬物件實現第三人稱視角的方法與系統
US11748939B1 (en) Selecting a point to navigate video avatars in a three-dimensional environment
JP7409467B1 (ja) 仮想空間生成装置、仮想空間生成プログラム、および、仮想空間生成方法
KR20230160534A (ko) 메타버스 환경 기반 전시 플랫폼 서비스 제공 방법, 장치 및 시스템
McMenamin Design and development of a collaborative virtual reality environment
WO2022204356A1 (en) Emotes for non-verbal communication in a videoconferencing system
KR20010105621A (ko) 프로그램 독립형 복합기능 아바타 제작 관리 소프트웨어의구현과 운영방법
WO2024059606A1 (en) Avatar background alteration
Gusev et al. Avatar concepts in self healthcare systems
Hossain Design and development of a framework to bridge the gap between real and virtual
Huang et al. Building an interactive and collaborative learning system for virtual reality learning
Jeon et al. Support for Mobile Augmented and Synthesized Worlds

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant