CN102023706B - 用于与虚拟环境中的对象进行交互的系统 - Google Patents

用于与虚拟环境中的对象进行交互的系统 Download PDF

Info

Publication number
CN102023706B
CN102023706B CN201010284295.1A CN201010284295A CN102023706B CN 102023706 B CN102023706 B CN 102023706B CN 201010284295 A CN201010284295 A CN 201010284295A CN 102023706 B CN102023706 B CN 102023706B
Authority
CN
China
Prior art keywords
portable electric
electric appts
user
information
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201010284295.1A
Other languages
English (en)
Other versions
CN102023706A (zh
Inventor
M·罗伯茨
N·B·迪歇诺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Palo Alto Research Center Inc
Original Assignee
Palo Alto Research Center Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Palo Alto Research Center Inc filed Critical Palo Alto Research Center Inc
Publication of CN102023706A publication Critical patent/CN102023706A/zh
Application granted granted Critical
Publication of CN102023706B publication Critical patent/CN102023706B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明涉及用于与虚拟环境中的对象进行交互的系统。描述了一种促进与3维(3d)虚拟环境交互的系统。在该系统中，控制器设备向第一显示器提供与3d虚拟环境相关联的信息。此外，该系统包括至少一个便携式电子设备，其包括第二显示器和检测便携式电子设备的运动的3d运动传感器，所述运动诸如线性运动、旋转运动和/或手势。该便携式电子设备向该控制器设备传送所检测的运动。作为响应，控制器设备向该便携式电子设备提供在该第二显示器上显示的3d虚拟环境以及相关联的与背景有关的信息的子集。

Description

用于与虚拟环境中的对象进行交互的系统
技术领域
本公开涉及一种促进多个用户与3维(3d)虚拟环境的交互的系统和技术。
背景技术
诸如计算机之类的网络化电子设备越来越流行。这些设备促进用户之间增加的通信、交互和协作。
通常使用虚拟环境(其也被称为“虚拟世界”或“虚拟现实”)来促进网络化电子设备的多个用户之间的交互。然而，使用现有系统和软件工具，这些交互会随着这些系统中用户数目的增加而变得更困难。例如，如果多个用户尝试在虚拟环境中同时操控多个对象(诸如虚拟角色(avatar))，则在它们网络化电子设备上的显示器会因它们的行为而变得杂乱，因为用虚拟环境的共用内容来显示与不同用户的行为相关联的交互微件(widget)。类似地，难以使使用虚拟环境的大量用户协作地编辑或修改共用内容，因为用户的行为可以被虚拟环境中的另一个用户的行为遮掩(obscure)。
因此，需要一种促进虚拟环境中多个用户的交互的方法和系统，而没有上文列出的问题。
发明内容
本公开的一个实施例提供一种促进与3维(3d)虚拟环境的交互的系统。该系统包括存储与3d环境相关联的信息的控制器设备。此外，该系统包括耦合到所述控制器设备并且显示3d环境的第一显示器。此外，该系统包括利用该控制器设备传送信息的至少一个便携式电子设备。该便携式电子设备包括检测该便携式电子设备的运动的3d运动传感器，所述运动包括线性运动、旋转运动和/或手势。此外，该便携式电子设备包括第二显示器，其基于所检测的运动显示3d环境以及相关联的与背景有关的(context-dependent)信息的3d渲染(rendered)子集。
应该注意，该便携式电子设备可以包括蜂窝电话。此外，3d运动传感器可以包括加速计。
在一些实施例中，3d环境可以包括虚拟现实。此外，3d环境的子集可以包括至少一部分对象或至少一部分虚拟角色。
此外，所检测的运动可以对应于3d环境中的运动，例如线性运动和/或旋转运动。可替换地或此外，所检测的运动可以选择3d环境中的对象或虚拟角色。例如，可以使用手势选择对象。
在一些实施例中，与背景有关的信息包括与3d环境的子集相关联的菜单。因此，所检测的运动可以对应于浏览(navigate through)菜单。
在一些实施例中，该系统包括多个与用户相关联的便携式电子设备。应该注意，给定便携式电子设备可以基于所检测到的给定便携式电子设备的运动向给定用户显示3d环境以及相关联的与背景有关的信息的给定子集。此外，在第一显示器上显示的3d环境可以包括用户共用的信息。此外，在至少两个便携式电子设备上显示的3d环境的3d渲染子集可以是不同的。
该系统可以促进3d环境中信息的用户的协作编辑和/或3d环境中用户的协作交互。
在一些实施例中，如果在3d环境中出现与经由相关联的便携式电子设备提供的信息的改变相关联的冲突，则控制器设备经由相关联的便携式电子设备向至少两个用户提供反馈。
此外，该第二显示器包括触感式(touch-sensitive)显示器，其基于用户与第二显示器表面的交互来显示3d环境以及相关联的与背景有关的信息的3d渲染子集。
另外，该便携式电子设备可以向中央控制器提供唯一的标识符。作为响应，该控制器设备可以初始地基于该唯一的标识符提供用于在该第二显示器上显示的3d环境以及相关联的与背景有关的信息的3d渲染子集。
另一个实施例提供一种与3d环境进行交互的方法，其可以由控制器设备来执行。在操作期间，该控制器设备访问所存储的与3d环境相关联的信息，并且将与该3d环境相关联的信息提供给第一显示器以用于显示。然后，该控制器设备从便携式电子设备接收对3d环境以及相关联的与背景有关的信息的3d渲染子集的请求。应该注意，该请求可以基于所检测的便携式电子设备的运动，并且所检测的便携式电子设备的运动可以包括：线性运动、旋转运动和/或手势。接着，该控制器设备向便携式电子设备提供3d环境以及相关联的与背景有关的信息的子集以用于显示在便携式电子设备的第二显示器上。
另一个实施例提供一种结合该系统使用的计算机程序产品。该计算机程序产品包括用于上述操作中的至少一些的指令。
附图说明
图1是图示根据本公开的实施例的系统的框图。
图2是图示根据本公开的实施例与3维(3d)环境进行交互的过程的流程图。
图3是根据本公开的实施例显示在图1的显示器和便携式设备上的信息的图。
图4是图示根据本公开的实施例的计算机系统的框图。
图5是图示根据本公开的实施例的数据结构的框图。
应该注意，相同的参考数字在图中自始至终指对应的部分。此外，相同部分的多个实例由用短横线与实例编号分开的共用前缀指出。
具体实施方式
给出下面的描述来使得本领域任何技术人员能够制造并使用本公开，并且在特定应用以及其需求的背景中提供下面的描述。对本领域技术人员来说显而易见的是，对所公开实施例的各种修改将是容易的，并且在不偏离本公开的精神和范围的情况下本文所限定的一般原理可以应用于其它实施例和应用。因此，本公开不意图限制于所示出的实施例，而是其将被给予与本文所公开的原理和特征一致的最宽的范围。
描述了促进与3d虚拟环境的交互的系统、方法和计算机程序产品(例如软件)的实施例。在该系统中，控制器设备将与3d虚拟环境相关联的信息提供给第一显示器。此外，该系统包括至少一个便携式电子设备，其包括第二显示器和检测该便携式电子设备的运动(例如线性运动、旋转运动和/或手势)的3d运动传感器。该便携式电子设备将所检测的运动传送给控制器设备。作为响应，该控制器设备向便携式电子设备提供3d环境以及相关联的与背景有关的信息的3d渲染子集，其被显示在第二显示器上。
该系统允许多个用户同时查看和/或改变与3d虚拟环境相关联的信息。特别地，每个用户可以查看与他们相关的信息以及相关联的与背景有关的信息(例如菜单)的3d渲染子集。同时，在第一显示器上呈现全3d虚拟环境，由此将该信息(即状况感知)的综述(overview)提供给所有用户。此外，用户可以在不引起杂乱或遮掩在第一显示器上显示的信息的情况下操控或改变他们的便携式电子设备上的信息的子集。系统以这种方式来促进3d虚拟环境中信息的用户的协作编辑和/或3d虚拟环境中用户的协作交互。
我们现在讨论促进与3d虚拟环境的交互的系统的实施例。图1给出图示系统100的框图。该系统允许对应便携式电子设备114的一个或多个用户与3d虚拟环境(例如虚拟空间或虚拟现实)中的信息交互，修改和/或控制该3d虚拟环境中的信息。特别地，系统100中的控制器设备110中的3d虚拟环境模块118访问所存储的环境信息120并且基于环境信息120生成3d虚拟环境。然后，3d环境模块118将信号或指令提供给虚拟世界客户端129，其经由通信模块116和网络112耦合到控制器设备110。虚拟世界客户端129可以是基于软件的或基于硬件的，并且与显示器130(例如大的平板屏幕或投影显示器)进行通信。显示器130接着将3d虚拟环境显示给一个或多个用户。
单独地或同时，用户可以使用便携式电子设备114来与同3d虚拟环境相关联的信息(或内容)交互，操控和/或修改该信息(或内容)。例如，每一个便携式电子设备114(例如便携式电子设备114-1)可以包括3d运动传感器(例如加速计)，其检测该便携式电子设备的运动，包括线性运动、旋转运动和/或手势。所检测的便携式电子设备114-1的运动可以对应于3d虚拟环境中的对象或虚拟角色的运动。因此，便携式电子设备114-1的用户可以将该设备用作“魔杖(magic wand)”以操控在显示器130上显示的3d虚拟环境中的对象。
可替换地或附加地，所检测的运动可以选择3d虚拟环境中的对象或虚拟角色(例如可以使用手势来选择对象)以显示在便携式电子设备114-1上。例如，便携式电子设备114-1的用户可以移动该设备以便选择或修改一个或多个对象(并且更一般地，3d虚拟环境中的信息的3d渲染子集)的呈现。软件应用122-1中的运动检测模块126-1可以解释所检测到的便携式电子设备114-1的运动(例如作为本地光标的操控)，并且可以相应地经由通信模块116和网络112将对3d虚拟环境中的信息(例如对象的至少一部分或虚拟角色的至少一部分)以及相关联的与背景有关的信息(例如与对象或虚拟角色的至少一部分相关联的菜单或交互微件)的对应子集的请求提供给控制器设备110。作为响应，控制器设备110可以将所请求的信息和相关联的与背景有关的信息的子集提供给便携式电子设备114-1。然后，软件应用122-1中的3d显示模块124-1可以在显示器128-1上显示信息和相关联的与背景有关的信息的子集。
随后，用户可以通过移动便携式电子设备114-1来操控和/或改变显示在便携式电子设备114-1上的信息和/或相关联的与背景有关的信息的呈现以及/或者修改显示在便携式电子设备114-1上的信息和/或相关联的与背景有关的信息的子集。例如，通过移动便携式电子设备114-1，用户可以能够浏览与信息的子集相关联的菜单，并且可以能够在菜单中选择特定命令。
可替换地或附加地，通过移动便携式电子设备114-1，用户可以能够在显示器128-1上改变对象的取向，和/或可以能够编辑或改变该对象。例如，通过移动便携式电子设备114-1，用户可以在虚拟环境中改变轴线的透视(perspective)或取向。因此，用户可以动态地与虚拟环境中的内容“交互”，以使得用户的行为可以修改内容以及如何显示它。
应该注意，这些呈现和/或内容改变可以不被显示在其它便携式电子设备114中的显示器128或显示器130上，直到用户允许更新全局信息为止或直到出现后续用户会话为止。然而，在一些实施例中，对每一个便携式电子设备114上的信息的子集的改变可以被实时地显示在显示器130上，即没有延迟或不用等待用户批准。在任一种情况下，控制器设备110可以存储或保持虚拟信息120中包括任何用户特定改变的信息，以在相同用户会话和/或后续用户会话中使用。
每个用户可以经由他们对应的便携式电子设备114以这种方式“察看”适合于他们或他们所感兴趣的信息和相关联的与背景有关的信息的3d渲染子集或者与该3d渲染子集交互。(因此，显示在至少两个便携式电子设备114上的信息的子集可以是不同的)。此外，显示器130上的3d虚拟环境中的信息可向所有用户提供关于共用信息的综述(或状况感知)，而不会因为用户对显示在他们对应的便携式电子设备114上的信息的子集所进行的各种改变而变成被弄乱。
因此，系统100中的便携式电子设备114可以提供到3d虚拟环境的接口，以允许用户经由显示器130上的3d虚拟环境中的信息以及显示在显示器128上的信息的子集二者来彼此交互并且与相同3d虚拟环境中的内容交互。
在一些实施例中，便携式电子设备114包括蜂窝电话，例如所谓的“智能”电话。然而，可以使用各种各样的便携式电子设备，其包括平板计算机、个人数字助理和/或笔记本计算机或膝上型计算机。
在一些实施例中，如果在3d虚拟环境中出现与经由相关联的便携式电子设备提供的信息的改变相关联的冲突，则控制器设备110经由与至少两个用户相关联的便携式电子设备向该至少两个用户提供反馈。例如，蜂窝电话的振动模式可以被用来向这些用户中的每一个提供反馈。如果一个用户尝试操控已经由另一个用户“控制”的对象，则该用户的“蜂窝电话可以振动，从而指示已经拒绝尝试或请求。应该注意，这样的触觉反馈还可以用来提供3d虚拟环境中地形的“粗糙度”的指示，例如在用户的虚拟角色在3d虚拟环境中移动的情况下。
此外，在一些实施例中，每个便携式电子设备114向中央控制器设备110提供唯一的标识符。作为响应，控制器设备110可以初始提供3d虚拟环境以及相关联的与背景有关的信息的子集以显示在显示器128上。例如，来自蜂窝电话的信号可以标识蜂窝电话。基于这一标识，系统100可以为用户选择适当的虚拟角色并且可以使用户登入系统100。
尽管前面的讨论已将运动用作操控或控制3d虚拟环境中的信息的方式的说明性实例，但是可以使用其它用户接口技术。例如，显示器128可以包括触感式显示器。用户可以通过触摸显示器128-1的表面以及激活虚拟微件或图标来操控、控制和/或修改显示在便携式电子设备114-1上的3d虚拟环境以及相关联的与背景有关的信息以及显示在显示器130上的3d虚拟环境中的信息的子集。
此外，尽管虚拟环境是3d的，但是在一些实施例中虚拟环境是2维(2d)的。此外，信息或内容可以是2d(例如平面文本)或3d的。例如，如参考图3所描述的那样，信息可以包括复杂的对象，其包括多个相关的组件或相对于彼此具有空间关系的组件。更一般地，在系统100中保持的内容可以包括多种数据，其包括文本、音频、音乐、图像和/或时间图像信息(例如动画序列)。此外，该数据可以与多种格式兼容，所述格式包括：图像格式(例如Joint Photographic ExpertsGroup标准)、视频格式(例如Moving Pictures Expert Group标准)、以及文字处理或信息显示格式(例如来自San Jose，California的Adobe Systems，Inc.的Adobe AcrobatTM)。应该注意，控制器设备110可以本地地和/或远程地将该信息或内容存储在系统100中。
应该注意，软件应用122可以驻留在各自的便携式电子设备114(例如便携式电子设备114-1)上，并且可以在各自的便携式电子设备114(例如便携式电子设备114-1)上执行。例如，软件应用122-1可以是独立的程序或者可以被嵌入在另一个软件应用中。可替换地，软件应用可以是嵌入在网页中的软件应用工具，例如软件应用可以在由网络浏览器提供的虚拟操作环境中执行。(因此，系统100可以实施客户端-服务器架构)。在说明性实施例中，软件应用工具是以Java ScriptTM(Sun Microsystems，Inc.的商标)编写的软件包，例如软件应用工具包括包含JavaScript指令、ECMAScript(欧洲计算机制造商协会公布的规范)、VBScriptTM(Microsoft，Inc.的商标)或任何其它客户端侧脚本语言的程序或过程。换句话说，所嵌入的软件应用工具可以包括这样的程序或过程，该程序或过程包含：Java Script、ECMAScript指令、VBScript指令或适合于由便携式电子设备114上的Web浏览器或另一个客户端应用渲染的另一个编程语言中的指令。
现在我们描述操作系统100的过程。图2给出图示与3d虚拟环境交互的过程200的流程图，所述过程200可由(图1)的控制器设备110执行。在操作期间，控制器设备访问所存储的与3d环境相关联的信息(操作210)并且将与3d环境相关联的信息提供给第一显示器以用于显示(操作212)。然后，控制器设备从便携式电子设备接收对3d环境以及相关联的与背景有关的信息的子集的请求(操作214)。应该注意，该请求基于所检测到的便携式电子设备的运动，并且所检测到的便携式电子设备的运动可以包括：线性运动、旋转运动和/或手势。接着，控制器设备向便携式电子设备提供3d环境以及相关联的与背景有关的信息的子集以用于显示在该便携式电子设备的第二显示器上(操作216)。
在一些实施例中，过程200包括附加或较少的操作。例如，操作210-216可以可选地对相同用户和/或多个用户中的一个或多个其它用户重复(操作218)多次。此外，操作的顺序可以改变和/或两个或更多操作可以被结合到单个操作中。
我们现在描述软件应用122(图1)的用户接口的实施例。图3给出显示在显示器130上的3d虚拟环境中的信息和显示在系统100(图1)的便携式设备114中的显示器128上的信息以及相关联的与背景有关的信息的子集的图。特别地，显示器130显示(具有轴线308的)虚拟环境中的复杂对象310(例如复杂机器)。通过移动他们的便携式电子设备114和/或触摸显示器128的表面，用户可以选择复杂对象310的部分，例如对象312-1和312-2。
此外，用户可以操控、控制和/或修改显示在显示器128上的信息和相关联的与背景有关的信息的子集。例如，便携式电子设备114-2的用户可以移动该设备以便浏览相关联的菜单314-2(即，相关联的与背景有关的信息)。在过程中，用户可以旋转或改变对象312-2在显示器128-2上的呈现。然而，显示在显示器130上的复杂对象310的共用信息可以仍然不变。菜单314-2可以包括关于对象312-2的信息，例如组件、材料成分和/或修订的历史。在一些实施例中，便携式电子设备114-2的用户可以用一只手修理(repair)或作用于对象312-2，同时用另一只手拿着该便携式电子设备114-2。
在示例性实施例中，便携式电子设备114-1显示与3d虚拟环境中的虚拟角色相关联的与背景有关的菜单314-1(或交互微件)。当便携式电子设备114-1的用户控制虚拟角色时，可以显示支配虚拟角色(avatar-puppeting)的微件和菜单。更一般地，当用户控制虚拟世界中对像时，可以显示针于该对象的菜单和/或微件。此外，用户可以在虚拟角色模式(其用于控制虚拟角色)和对象模式(其用于控制虚拟对象)之间来回切换(toggle)便携式电子设备114-1。在虚拟角色模式中，用户可以选择(虚拟角色对应的)表情，或者可以选择移动控制或位置。在对象模式中，系统100(图1)显示3d虚拟环境中的3d光标，其可以用于选择对象。更一般地，在这些操作模式中，便携式电子设备114-1可以用作虚拟光标，或者用作所选择的对象或虚拟角色的代理。
当用户(例如通过移动便携式电子设备114-1)与便携式电子设备114-1上的菜单/微件交互时，经由网络112(图1)例如使用诸如(来自Bel levue，Washington的Bluetooth SIG Inc的)BluetoothTM或网际协议集(TCP-IP)之类的通信协议将命令发送给3d环境模块118(图1)。
应该注意，运动检测模块126(图1)可以在用户使用便携式电子设备114操控3d环境中的对象和/或虚拟角色的同时支持交互的若干模式。在一些实施例中，通过沿着物理空间的一个或多个轴线移动便携式电子设备114-1，在3d虚拟环境中移动对应的光标或虚拟角色。然而，在交互的该模式中，可能存在对移动尺寸的限制。因此，对运动的限制可以被限定以使得用户可以仅操控3d虚拟环境中紧邻的对象。当便携式电子设备114-1处于这些限制之外时，可以在该方向上滚动(scro11)虚拟角色或光标。可替换地，通过倾斜便携式电子设备114-1，光标或虚拟角色可以同样地在3d虚拟环境中移动。此外，随着用户穿过3d虚拟环境，可以在显示器128-1(图1)上显示它们的位置的2d图，并且该图可以随着用户移动而滚动。
在一些实施例中，3d虚拟环境响应于手势命令集，可以通过操控或移动便携式电子设备114-1来发送该手势命令集。例如，运动检测模块126-1(图1)可以将一系列迅速水平挥击转换成当前选择的3d对象的删除。类似地，逆时钟圆周运动(例如旋开盖子)可以被运动检测模块126-1(图1)转换成“取消群组”操作。从而将当前对象分成其组件部分或块。当这些操作被执行时，显示器128-1可以被用来显示与用户有关的信息，从而在显示器130上为其它用户空出空间。
系统100(图1)的另一个应用是协作编辑。如果多个用户尝试同时在显示器130上编辑3d对象，则将存在同时显示的非常多数目的弹出菜单、工具栏等等。结果产生的杂乱和可能的所感兴趣的对象遮挡使得难以使用户一起工作。然而，通过将这些菜单和工具栏移动到每个单个用户的便携式电子设备上，显示器130可以提供3d虚拟环境中所有3d对象以及它们的位置的清楚显示，同时在用户的便携式电子设备114上为用户提供与它们的当前编辑任务有关的信息的子集。
因此，系统100(图1)可促进3d虚拟环境中信息的用户的协作编辑，例如文献、联机百科全书、联机使用手册(例如“交互式”文档)、远程维护、远程训练和/或远程外科手术的编辑。在一些实施例中，协作编辑包括3d对象以及相关联的文本信息。这些3d对象可以包括给定3d对象中组件之间的空间图像信息，以及相关联的文本信息和空间图像信息之间的一个或多个双向链路。
在另一个实施例中，当用户控制虚拟角色时，“社交命令(socialcommand)”被显示在显示器130和/或一个或多个显示器128上。因此，作为对使用键盘上键入的表情(例如“/smile”)(它可以是麻烦的)的代替，用户可以通过使用触摸屏或滚动轮来点击它们或者通过移动便携式电子设备114-1来激活一个或多个社交命令。此外，显示器128-1上的“操纵(puppeteering)”命令可以是对背景敏感的，以使得能够基于当前或推断的用户任务来显示最适合的选项(例如当用户处于社交交互的中间时可以显示表情列表，以及当用户选择一个对象时可以显示工具列表)。因此，系统100(图1)可以促进3d虚拟环境中用户的协作交互。
我们现在进一步描述执行过程200(图2)的计算机系统的实施例(其可以包括在图1的系统100中)。图4给出图示计算机系统400的框图，例如控制器设备110(图1)和/或给定一个便携式电子设备114(图1)。计算机系统400包括：一个或多个运动传感器408、一个或多个处理器410、通信接口412、用户接口414和将这些组件耦合到一起的一个或多个信号线422。应该注意，一个或多个处理单元410可以支持并行操作和/或多线程操作，通信接口412可以具有持久的通信连接，并且一个或多个信号线422可以构成通信总线。此外，用户接口414可以包括显示器416、键盘418和/或指针420，例如鼠标。
计算机系统400中的存储器424可以包括易失性存储器和/或非易失性存储器。更具体地，存储器424可以包括：ROM、RAM、EPROM、EEPROM、闪存、一个或多个智能卡、一个或多个磁盘存储设备、以及/或者一个或多个光存储设备。存储器424可以存储操作系统426，该操作系统426包括用于处理执行与硬件有关的任务的各种基本系统服务的过程(或指令集)。在一些实施例中，操作系统426是实时操作系统。尽管未在图4中示出，但是在一些实施例中，存储器424包括web浏览器。存储器424还可以存储通信模块428中的通信过程(或指令集)。这些通信过程可以用于与包括相对于计算机系统400远程定位的计算机、设备和/或服务器的一个或多个计算机、设备和/或服务器进行通信。
存储器424还可以包括多个程序模块(或指令集)，其包括3d环境模块118(或指令集)和软件应用工具430(或指令集)。此外，软件应用工具430可以包括：3d显示模块432(或指令集)、运动检测模块434(或指令集)和/或触觉监控模块436(或指令集)。应该注意，这些程序模块的一个或多个(或指令集)可以构成计算机程序机制。
如先前所描述的那样，3d环境模块118可以访问环境信息120，并且可以生成在显示器130上显示的3d虚拟环境。此外，便携式电子设备114(图1)上的软件应用工具430的用户可以经由它们的便携式电子设备操控或控制一个或多个文档442或对象/虚拟角色444。特别地，一个或多个运动传感器408(以及相关联的硬件控制器)可以检测给定便携式电子设备的检测运动。然后，运动检测模块434可以解释所检测的运动。可替换地或另外地，触觉监控模块436可以解释用户与显示器416(例如触感式显示器)的交互。这些模块可以使用通信模块428来转发对3d虚拟环境中的信息以及相关联的与背景有关的信息438(例如对象/虚拟角色A 440-1和对象/虚拟角色B 440-2的与背景有关的信息)的子集的请求。
响应于该请求，3d环境模块118可以使用通信模块428来提供包含信息以及相关联的与背景有关的信息438的子集的指令或信号。然后，3d显示模块432可以在显示器416上显示信息以及相关联的与背景有关的信息438的子集。接着，用户可以在查看显示器130上的共用内容的同时操控、控制和/或改变该内容。应该注意，3d环境模块118可以保持环境信息120中的任何修改或改变的记录(给定便携式电子设备中的软件应用工具430使用通信模块428将其转发到3d环境模块118)以用于用户将来使用。
在一些实施例中，初始由给定便携式电子设备使用通信模块428来提供一个或多个标识符446。基于该一个或多个标识符446，3d环境模块118可以使给定便携式电子设备的用户登录系统，并且可以使用通信模块428将初始预先限定的信息以及相关联的与背景有关的信息438的子集提供给给定便携式电子设备。此外，在一些实施例中，3d环境模块118可以使用通信模块428向给定便携式电子设备的用户提供反馈，例如使用户接口414中的组件振动的指令。例如，当在与关于两个用户的各自便携式电子设备的信息的子集相关联的该两个用户的行为之间出现冲突时，可以指示该组件振动。
可以以高级过程化语言、面向对象的编程语言和/或汇编或机器语言来实施存储器424中的各种模块中的指令。该编程语言可以是经过编译或经过解释的，即可配置或配置成由一个或多个处理单元410执行的。
尽管计算机系统400被图示为具有许多离散项，但是图4意图成为可以在计算机系统400中给出的各种特征的功能描述，而不是本文所描述的实施例的结构示意图。实际上，并且如本领域技术人员所认识的那样，计算机系统400的功能可以分布于大量设备或计算机，其中设备或计算机的各个组群执行功能的特定子集。在一些实施例中，计算机系统400的一些或所有功能可以在一个或多个专用集成电路(ASIC)和/或一个或多个数字信号处理器(DSP)中实施。
计算机系统400中的计算机和服务器可以包括能够操控计算机可读数据或在两个或更多计算系统之间通过网络传送这些数据的各种设备中的一个，所述各种设备包括：个人计算机、膝上型计算机、主机计算机、便携式电子设备(例如蜂窝电话或PDA)、(客户端服务器架构中)的客户端计算机和/或服务器。此外，网络112(图1)可以包括：因特网、万维网(WWW)、内联网、LAN、WAN、MAN或网络的组合、或实现计算系统之间的通信的其它技术。
在一些实施例中，系统100(图1)和/或计算机系统400包括较少或附加的组件。此外，两个或更多组件可以被组合成单个组件以及/或者可以改变一个或多个组件的位置。此外，如本领域中公知的那样，系统100(图1)和/或计算机系统400的功能可以较多以硬件且较少以软件、或者较少以硬件且较多以软件来实施。
我们现在讨论可以在计算机系统400中使用的数据结构。图5给出图示数据结构500的框图。该数据结构可以包含与背景有关的信息510。例如，与背景有关的信息510-1可以包括：组件512-1(例如对象或虚拟角色)的标识符、相关联的菜单514-1和命令516-1(例如社交命令)。
在一些实施例中，数据结构500包括较少或附加的组件。此外，两个或多个组件可以结合成单个组件以及/或者可以改变一个或多个组件的位置。
仅为了说明和描述的目的，已给出本公开实施例的前述描述。它们不意图是穷举的或者将本公开限制成所公开的形式。因此，对本领域专业人员来说许多修改和变化将是显而易见的。另外，上述公开不意图限制本公开。本公开的范围由所附权利要求限定。

Claims (4)

1.一种用于与虚拟环境中的对象进行交互的系统，包括：
控制器设备，被配置成存储与3维（3d）环境相关联的信息；
耦合到所述控制器设备的第一显示器，被配置成显示3维环境；以及
至少一个便携式电子设备，被配置成与所述控制器设备传送信息，其中所述便携式电子设备包括：
3维运动传感器，被配置成检测所述便携式电子设备的运动以及基于所检测的所述便携式电子设备的运动创建对所述3维环境和相关联的与背景有关的信息的子集的请求；
通信模块，被配置成基于所述请求从所述控制器设备接收所述3维环境和相关联的与背景有关的信息的所述子集；以及
第二显示器，被配置成基于所检测的运动显示3维环境以及相关联的与背景有关的信息的3维渲染子集；
其中，所述至少一个便携式电子设备中的每个与多个用户中的一个相关联，并且当所述多个用户尝试同时编辑所述第一显示器上的3维对象时，在与该用户相关联的便携式电子设备上，所述用户中的每个被提供有与其当前编辑任务相关的信息的子集。
2.根据权利要求1所述的系统，还包括与用户相关联的多个便携式电子设备，其中给定便携式电子设备基于所检测到的所述给定便携式电子设备的运动向给定用户显示3维环境和相关联的与背景有关的信息的给定子集；以及
其中显示在所述第一显示器上的3维环境包括用户共用的信息。
3.根据权利要求2所述的系统，其中所述系统促进3维环境中用户的协作交互。
4.根据权利要求2所述的系统，其中如果在3维环境中出现与经由相关联的便携式电子设备提供的信息的改变相关联的冲突，则所述控制器设备经由相关联的便携式电子设备向至少两个用户提供反馈。
CN201010284295.1A 2009-09-15 2010-09-14 用于与虚拟环境中的对象进行交互的系统 Expired - Fee Related CN102023706B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/559897 2009-09-15
US12/559,897 US9542010B2 (en) 2009-09-15 2009-09-15 System for interacting with objects in a virtual environment

Publications (2)

Publication Number Publication Date
CN102023706A CN102023706A (zh) 2011-04-20
CN102023706B true CN102023706B (zh) 2015-05-20

Family

ID=43413767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010284295.1A Expired - Fee Related CN102023706B (zh) 2009-09-15 2010-09-14 用于与虚拟环境中的对象进行交互的系统

Country Status (5)

Country Link
US (1) US9542010B2 (zh)
EP (1) EP2296076A1 (zh)
JP (1) JP2011065644A (zh)
KR (2) KR20110030341A (zh)
CN (1) CN102023706B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101434718B1 (ko) * 2011-10-12 2014-09-25 (주)모션블루 Ｎ-스크린 환경에서 이동 단말을 이용한 체감형 서비스 제공 방법, 장치 및 이를 위한 기록매체
US8532675B1 (en) 2012-06-27 2013-09-10 Blackberry Limited Mobile communication device user interface for manipulation of data items in a physical space
CN102800223B (zh) * 2012-07-19 2014-08-20 中国科学院软件研究所 一种协同实物编程方法
US20140118223A1 (en) * 2012-10-26 2014-05-01 Brigham Young University Graphical view selection system, method, and apparatus
CN107077197B (zh) * 2014-12-19 2020-09-01 惠普发展公司，有限责任合伙企业 3d可视化图
US10116536B2 (en) * 2015-11-18 2018-10-30 Adobe Systems Incorporated Identifying multiple devices belonging to a single user
AU2017252557B2 (en) 2016-04-21 2022-01-27 Magic Leap, Inc. Visual aura around field of view
US10289207B1 (en) * 2016-05-03 2019-05-14 Charles Henry Alastair Sainty Methods and systems for hands free control in a virtual world
US10192363B2 (en) 2016-08-28 2019-01-29 Microsoft Technology Licensing, Llc Math operations in mixed or virtual reality
US20180158243A1 (en) * 2016-12-02 2018-06-07 Google Inc. Collaborative manipulation of objects in virtual reality
US10817066B2 (en) * 2016-12-05 2020-10-27 Google Llc Information privacy in virtual reality
CN106873783A (zh) * 2017-03-29 2017-06-20 联想(北京)有限公司 信息处理方法、电子设备及输入装置
CN106933368B (zh) * 2017-03-29 2019-12-24 联想(北京)有限公司 一种信息处理方法以及装置
CN107168530A (zh) * 2017-04-26 2017-09-15 腾讯科技（深圳）有限公司 虚拟场景中的对象处理方法和装置
WO2018196552A1 (zh) 2017-04-25 2018-11-01 腾讯科技（深圳）有限公司 用于虚拟现实场景中的手型显示方法及装置
US10191566B1 (en) * 2017-07-05 2019-01-29 Sony Interactive Entertainment Inc. Interactive input controls in a simulated three-dimensional (3D) environment
CA3101001A1 (en) * 2018-07-19 2020-01-23 Soul Machines Limited Machine interaction
HK1255994A2 (zh) * 2018-07-31 2019-09-06 Shadow Factory Ltd 用於控制計算機模擬環境的系統和方法
US11876630B1 (en) * 2022-07-20 2024-01-16 Katmai Tech Inc. Architecture to control zones

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0558006A2 (en) * 1992-02-27 1993-09-01 Toyota Jidosha Kabushiki Kaisha Teamwork CAD system and process for teamwork designing
EP1783591A1 (en) * 2004-07-15 2007-05-09 Vodafone K.K. Electronic device

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6950534B2 (en) * 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
JP3338673B2 (ja) * 1999-09-07 2002-10-28 株式会社マルチターム ３次元仮想空間共有マルチユーザーシステム
SE523636C2 (sv) 2001-07-22 2004-05-04 Tomer Shalit Ab Portabelt datoriserat handhållet organ och förfarande för hantering av ett på en skärm visat objekt
WO2003050726A1 (en) 2001-12-10 2003-06-19 Mentor Graphics Corporation Parallel electronic design automation: shared simultaneous editing
US7138979B2 (en) * 2004-08-27 2006-11-21 Motorola, Inc. Device orientation based input signal generation
NO20044073D0 (no) 2004-09-27 2004-09-27 Isak Engquist Informasjonsbehandlingssystem og fremgangsmate
WO2007095251A2 (en) * 2006-02-13 2007-08-23 Gemini Technologies Global Ltd. Locating device and system
US20070233759A1 (en) * 2006-03-28 2007-10-04 The Regents Of The University Of California Platform for seamless multi-device interactive digital content
CN101055494B (zh) * 2006-04-13 2011-03-16 上海虚拟谷数码科技有限公司 基于空间索引立方体全景视频的虚拟场景漫游方法及其系统
US20080076559A1 (en) * 2006-04-27 2008-03-27 Darren Richardson Detachable controller for handheld electronic device
US7848388B2 (en) * 2006-08-08 2010-12-07 Sony Ericsson Mobile Communications Ab Minimizing estimation time for rake fingers with help of a speed sensor
US20080215994A1 (en) * 2007-03-01 2008-09-04 Phil Harrison Virtual world avatar control, interactivity and communication interactive messaging
WO2008106197A1 (en) * 2007-03-01 2008-09-04 Sony Computer Entertainment America Inc. Interactive user controlled avatar animations
JP2010533006A (ja) * 2007-03-01 2010-10-21 ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー 仮想世界とコミュニケーションを取るためのシステムおよび方法
GB0703974D0 (en) * 2007-03-01 2007-04-11 Sony Comp Entertainment Europe Entertainment device
KR101008361B1 (ko) 2007-09-06 2011-01-14 (주)마이크로인피니티 조절 장치 및 방법
US7949633B1 (en) * 2008-05-12 2011-05-24 Adobe Systems Incorporated Shared edit access of electronic content
EP2304588A4 (en) * 2008-06-11 2011-12-21 Teliris Inc SYSTEM, METHOD AND DEVICE FOR SURFACE COMPUTING COLLABORATION
US20100037151A1 (en) * 2008-08-08 2010-02-11 Ginger Ackerman Multi-media conferencing system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0558006A2 (en) * 1992-02-27 1993-09-01 Toyota Jidosha Kabushiki Kaisha Teamwork CAD system and process for teamwork designing
EP1783591A1 (en) * 2004-07-15 2007-05-09 Vodafone K.K. Electronic device

Also Published As

Publication number Publication date
JP2011065644A (ja) 2011-03-31
US20110063286A1 (en) 2011-03-17
CN102023706A (zh) 2011-04-20
US9542010B2 (en) 2017-01-10
KR20110030341A (ko) 2011-03-23
KR101817467B1 (ko) 2018-01-11
EP2296076A1 (en) 2011-03-16
KR20170055019A (ko) 2017-05-18

Similar Documents

Publication Publication Date Title
CN102023706B (zh) 用于与虚拟环境中的对象进行交互的系统
CN102362251B (zh) 用于提供对应用程序的增强控制的用户界面
Karam A taxonomy of gestures in human computer interactions
EP3690624B1 (en) Display device and method of controlling the same
CN103425479B (zh) 用于远程设备的用户接口虚拟化
JP5844288B2 (ja) 機能拡張装置、機能拡張方法、機能拡張プログラム、及び集積回路
CN108885521A (zh) 跨环境共享
US20120107790A1 (en) Apparatus and method for authoring experiential learning content
CN110072131A (zh) 音乐用户界面
CN102193732A (zh) 比本地屏幕大的被远程发送桌面的有效导航及与桌面交互
JP2013037675A (ja) 近距離動作のトラッキングのシステムおよび方法
US10180714B1 (en) Two-handed multi-stroke marking menus for multi-touch devices
JP2013037675A5 (zh)
CN103502917A (zh) 用于启用触摸的命令执行的紧凑控件菜单
KR102027879B1 (ko) 미디어 기기의 메뉴 제어 방법 및 장치와 그 방법에 대한 프로그램 소스를 저장한 기록 매체
CN111064999B (zh) 用于处理虚拟现实输入的方法和系统
CN112230909A (zh) 小程序的数据绑定方法、装置、设备及存储介质
JP2018198083A (ja) アニメーションのモーションシーケンスを生成するための方法、システム及びコンピュータ読み取り可能な記録媒体
CN108431735A (zh) 姿态视觉构建器工具
CN108885793A (zh) 电子文档中的墨水
Alshaal et al. Enhancing virtual reality systems with smart wearable devices
JP6131004B2 (ja) オブジェクト表示方法、プログラム、及び装置
CN111488090A (zh) 交互方法、装置、交互系统、电子设备及存储介质
US20140075391A1 (en) Display control device, display control system, storing medium, and display method
CA3103024A1 (en) Multi-process interface controller

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150520

Termination date: 20210914