CN101452339A - 在虚拟宇宙中呈现真实世界对象与交互的方法和系统 - Google Patents

Abstract

这里公开了这样的系统，其可以捕获反映真实世界对象和/或行为的图像数据，并且转换该数据为在虚拟宇宙(VU)中可用的格式。由此，可以获取代表真实世界/实际对象及行为的数据，将其转换为虚拟宇宙兼容的数据，传送给VU服务器，其中，可以将行为和对象与虚拟地区或者化身相关联，并且，可以在VU中向用户显示对象和行为的重建。这允许参与者在VU中定制活动和对象，并且为他们的化身和他们的VU提供唯一的“个性”。还公开了其它的实施例。

Description

在虚拟宇宙中呈现真实世界对象与交互的方法和系统

技术领域

本发明总体上涉及虚拟宇宙(virtual universe，VU)，更具体地，涉及获取与真实世界对象和/或交互(interaction)相关联的数据、并且基于所获取的数据在虚拟宇宙呈现这些真实世界对象和交互。

背景技术

在使用计算机的虚拟环境中的操作是正得以流行的消遣方式。虚拟环境是一种可以由多个可使用网络客户端、通过“在线”界面交互的用户访问的交互仿真环境。采用VU的缺点在于：不容易定制环境和环境中的项目。

通过更好的用户界面，计算机的用户友好性持续得以增进。计算机系统的用户界面自从个人计算机(PC)首次变得广泛可用以来，已经显著地演进。早期的PC使用原始的用户输入设备，其中单个键盘是仅有的人类输入机制。微处理器、可用存储器以及编程功能的巨大进步已经都为基于操作系统和硬件的用户界面的设计的进步、以及用户友好图形的发展作出贡献。

用户界面技术的进步的一个特定区域属于表面计算(surface computing)技术。表面计算允许任何数量的用户通过交互表面与计算机交互。计算机可以在表面上呈现图形用户界面(GUI)，并且，与使用诸如鼠标或者键盘的传统输入设备相反，多个用户可以使用多触摸技术，直接通过它们的手来操纵GUI显示的“对象”。在该方式中，在单个界面中合并用户提供输入和接收输出的装置，这为用户提供了一种直觉的和有效的机制以与计算机交互。正如能够意识到的那样，交互表面合并的软件和硬件技术可以允许一个用户或者多个用户通过使用自然动作、手势或者物理对象而操作数据内容。

随着表面计算在日常环境中变得更加无所不在，相对于诸如键盘和鼠标的传统输入装置，用户如何与表面计算设备交互以有效地执行任务的进步表现出了引人瞩目的提高。这样的系统通常被称作多触摸交互系统。这种系统可以包括识别多个同时触摸点的触摸屏或者触摸写字板(触摸板)，并且典型地具有解释这些同时触摸的软件。这种系统也可以与诸如蓝牙兼容设备、配备了射频识别(RFID)技术的设备以及无线摄像头通信。

存在可以由多触摸交互系统用来检测设备的几种检测技术。基于光和基于红外的近似检测(proximity detection)技术已经发展到能够识别接触或者接近于多触摸表面的对象。此外，诸如条形码读取器的对象识别传感器也已经适于与多触摸界面一起工作。

对于虚拟宇宙，用户可以经由化身(avatar)在虚拟环境中栖息和交互，所述化身可以是人类或者非人类形式的二维或者三维图形表示。换句话说，化身可以是用户选择以便其它人在相同的虚拟环境中观看的图形表示。化身可以呈现各种图形表示，例如人类人物、动物人物、图标、抽象角色等。

虚拟环境具有很多不同的名称。例如，虚拟环境可以被称作“metaverse”、“三维因特网”、“虚拟世界”等等，此处均被表示为虚拟宇宙(VU)。虽然存在很多不同形式的虚拟环境，但是多个虚拟宇宙可具有共有的特征。例如，许多VU具有共享空间，这是众多同时参加活动的化身居住的“宇宙”。VU化身可以往返、栖息并且与其它化身通过3D图形和场景交互。因此，成千上万的居民或者化身可构成VU的人口。通常，VU在物理学或者物理定律、房屋以及场景等方面与真实世界的这些方面相似。

代理(agent)可以是用户的账户，基于该账户，用户可以构造化身、并且，该化身与用户所拥有的资产总量绑定。区域可以是VU之内的虚拟地区，其典型地驻留于单个服务器上。资产、化身、环境以及可视的任何事物均可以具有UUID(唯一通用标识符)，其与其它数据中的几何数据相关联。几何数据可以作为纹理坐标被分发给用户。纹理可以作为图形文件被分发给用户，其位于特定的纹理坐标的边界之内。效果数据可以由用户的客户端根据用户的偏好和用户的设备能力呈现。最后，社会和/或团体特征允许并且鼓励例如团队、协会、俱乐部、派系、室友、邻居等的社会群体的形成。

居民可以是VU的角色或者用户的代表，并且，居民可以通过步行、驾驶、飞行或者甚至心灵感应或者传输而漫游整个虚拟区域，这实际上是在VU中通过空间从一个点到另一个点的或多或少瞬时的移动。VU还可以包括现实生活中并不存在的事物。化身可在与VU交互的同时具有广泛的商业和社会经验。在在线VU中，这种商业和社会经验正变得更加普通并且越来越重要。

存在经由万维网提供虚拟宇宙的很多种不同的服务。例如，“Second Life(第二生命)”、“entropia Universe”、“The Sim Online”，“There”以及“RedLight Center”都提供虚拟宇宙的某种形式，并且，这些服务提供方具有这些名称的商标权。虚拟宇宙也可以提供多玩家在线游戏，如EverQuest、UltimaOnline、Lineage或者World ofWarcraft(魔兽世界)等等，这些提供方也拥有这些名称的商标。以上提及的一个流行的VU是“Second Life”(Second Life是美国或其它国家的Linden Research的商标)。Second Life客户端程序向其用户(被称作居民)提供用以观看、浏览并且修改第二生命世界、并且参与它的虚拟经济的工具。Second Life和其它的在线VU为结构化或者非结构化的虚拟协作、游戏、探险、广告、旅游以及虚拟空间中的真实生活仿真展示了大量的新的出路。

许多VU也具有图形用户界面(GUI)。GUI可以可视化地描绘VU、或者一些形式的“空间”，风格的范围从二维“卡通”影像到更加逼真的3D环境。此外，许多虚拟环境提供直接性、交互性和持续性。直接性允许在用户的化身和环境之间实时发生交互。持续性提供连续的环境而不考虑单独的用户是否登录。

与环境的交互性允许用户在一定限度内改变、开发、构造或者提交定制的内容。如上所述，化身可以占有的对象的类型和化身可以执行的行为的类型是受限的。定制这些对象、行为和动作的能力也是不够完美的。此外，在VU中的可用对象、行为和动作的图形呈现受到限制。

发明内容

上述问题存在于在此公开的系统、布置、方法和介质所针对的大部分内容中，其中，所述系统、布置、方法和介质允许参与者获取反映真实世界对象和行为的像素数据，并且，将这些像素数据转换为在虚拟宇宙中可用的格式。因此，代表真实世界/实际对象及行为的图像数据可被获取，被转换为VU兼容的数据，并且被传送给VU服务器，其中，行为和对象可被关联、或与虚拟地区或者化身相关联。VU服务器可以重建对象和行为，并且可以在VU中显示这些对象和行为。这允许参与者在VU中定制活动和对象，并且，在VU中为其化身提供唯一的“个性(personality)”。

在一些实施例中，对象、行为以及与对象的交互可以由多触摸交互系统识别，并且，这些项目和交互可以被分为诸如归属于墙或地板的对象、化身可以携带的事物、或者化身可以做的事物的类别。这些项目和活动可以被转换为虚拟宇宙引擎兼容的格式，使得项目和交互可以由虚拟服务提供方仿真。随后，参与者可以通过仿真的项目和行动来接收VU。多触摸交互系统可以瞬时识别大量移动，如触摸或者姿态(gesture)，并且可以获取对象和交互的数字图像。

在一些实施例中，公开了这样的方法，其定位参与者，配置多触摸交互系统以接收来自参与者的输入，扫描对象或行为或者这两者，获取代表对象和/或交互的图像数据，并将图像数据转换为VU兼容的数据。该方法也可以包括：将图形数据给传送VU服务器。在一些实施例中，该方法可以包括：向VU兼容的数据分配标识符，使得VU兼容的数据可被关联、或者与化身相关联。

在一些实施例中，参与者的姿态(例如面部表情)可以被仿真为虚拟宇宙中的化身的姿态。在其它实施例中，在对象上获得的数据可以被仿真为与该参与者链接的化身的持有物(possession)。如果系统没有识别出输入、或者将根据输入做什么，则该系统可以询问参与者，并且获取关于对象或交互是什么、以及应在VU中的何处放置对象和/或交互的参与者输入。然后，可以在虚拟宇宙中布置或者仿真对象和/或交互。在一些实施例中，关于对象的数据可以被用于改变或者定制在VU中已经存在或者已经可用的对象或者行为。此外，该系统可以在多触摸交互系统上分配空间，以接受来自标识的参与者的输入。该系统也可以接受用户输入，以对所获取的对象和/或交互分类。

在一些实施例中，公开了将对象和行为从真实世界过渡到VU的系统。该系统可以包括多触摸交互系统，以获取有关由人类参与者提供的对象和行为的数据。对象-交互获取模块可以响应于对象和/或交互而获取数据。识别模块可以从多触摸交互系统获得输入，并且可以识别与对象和/或行为相关联的参与者。在一些实施例中，关联模块可以把对象和/或交互与参与者关联，并且，翻译器模块可以将所获取的数据翻译为VU兼容的格式。

由此，公开了在虚拟宇宙增加对象的方法、和/或在虚拟宇宙定制对象的方法。在一些实施例中，可以识别参与者，并且，系统可以在多触摸交互系统上为参与者输入分配空间。随后，参与者可以在多触摸交互系统的区域上的它们分配的空间上，调用对象和/或交互进入模式。参与者可以作出姿态，作为要在虚拟宇宙中被仿真的行为或交互，并且，多触摸交互系统可以获取代表该行为的数据。所获取的数据可以被转换为可由VU服务器使用的数据格式。随后，VU服务器可以利用“重建”或者仿真的行为或对象而提供VU。

附图说明

在阅读以下的具体描述，并且参考附图的基础上，本发明的各方面将变得清楚，此处，相似的附图标记指示相似的元素：

图1是具有数据转换器的图像数据获取系统的框图；

图2是具有对象和参与者的多触摸交互系统的顶视图；以及

图3是用于获取代表对象和/或交互性的数据、以及用于将该数据转换为可被虚拟宇宙应用使用的数据格式的方法的流程图。

具体实施方式

以下是在附图中描绘的公开内容的实施例的详细描述。实施例是如此详细以清楚地传递公开的内容。然而，提供的细节量的目的并不是限制实施例的预期的变型；相反，目的在于涵盖所有的由所附的权利要求定义的本公开内容的精神和范围之内的变换、等同物以及替换。

这里公开了这样的系统、布局、方法以及介质，其中，可以获得代表对象和/或交互、或其任意组合的图像数据，并且可以将其转换为可在VU中使用的数据。在一些实施例中，这些项目、与项目的交互以及参与者的行为可以由多触摸交互系统识别，并且，这些项目和交互可被分类为有关可利用数据的位置的类别。

可以将所获取的数据转换为虚拟宇宙引擎兼容的格式，使得真实世界对象和/或交互可以由VU服务提供方和VU客户端呈现。此处定义的呈现可为从可识别对象或行为的数据(可能是元数据)产生图形模型的处理。图形模型可以是可存储在数据结构中的对象或行为的描述。数据结构可以包含几何、视点、纹理光以及阴影信息。图像可以被视作数字图像或者光栅图形图像。

呈现也可以包括从视频文件数据计算效果以产生视频输出的处理。元数据可以包括可被用以识别、描述并定位资源的数据，如可被用以产生图形模型的数据。例如，主网关(subiect gateway)提供关于各个网站的信息，典型地，包括作者、标题、URL(网址)以及简介。库目录包含关于库中的书以及其它资源的元数据。随后，参与者可以在VU中浏览、并且与重建或者仿真的项目和行为交互。多触摸交互系统可以同时识别大量移动或者交互(如触摸、姿态)，并且可以获取对象的数字图像。

参考图1，公开了带有数据转换的真实世界数据获取系统100。系统100可以包括带有传送器和接收器的交互表面116、对象-交互获取模块112、标识模块102、关联模块108、定位/放置模块110、图形用户界面/用户界面模块108、以及数据转换模块114。交互表面116可以获取包括画面类型数据和视频数据的图像数据。图像数据可以代表单个画面或者帧，或者，图像数据可以包括可以被连续组合以产生视频的一系列帧。因此，此处使用的图像数据指画面和视频两者。这种数据可以是能够在VU中呈现的像素数据。

多触摸交互系统116可以从对象和/或人类的交互获取图像数据，并且，可以将这些图像数据转换为坐标数据、或者具有VU服务器106可用来在VU中呈现对象和/或交互的格式的数据。交互表面116可以经由网络103传送转换后的数据给VU服务器106，并且VU服务器106可以将所获取的数据并入VU或VU输入流(feed)。VU坐标数据可被发送给VU客户端104以显示给VU用户。VU客户端104可以驻留于个人计算机中，并且，VU客户端104可处理并且显示VU给用户。VU客户端104以及VU服务器106可以位于多触摸交互系统116的远端。

适合于与VU客户端104和VU服务器106一起使用的公知的计算系统、环境和/或配置的例子可以包括但不限于个人计算机、服务器计算机、瘦客户端(thin client)、厚客户端(thick client)、手持或者膝上型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费者电子设备、网络PC、微计算机、主机计算机、包括任何上述系统或者设备的分布式计算环境，等等。

示例性的计算机可以在计算机可执行指令的一般上下文中描述，如由计算机执行的程序模块。通常，程序模块包括例程、程序、对象、组件、逻辑、数据结构等等，其执行特定的任务，或者实现特定的抽象数据类型。示例性的计算机可以在分布式计算环境中实施，其中，任务由通过通信网络链接的远程处理设备执行。在分布式计算环境中，程序模块可以位于包括存储器存储装置的本地和远程计算机存储介质两者中。

在一个实施例中，多触摸交互系统116可以检测具有区别或可识别的轮廓、或可识别的属性的诸如放置在表面116上的设备的对象，并且，可以以数据所属的对象的类来标记该数据。这个检测处理可以对像素数据使用数字信号处理，并执行边缘检测和其它识别方法。这种检测处理也可以包括：拦截从接近该表面的无线传输，并且识别该设备，或者基于传输而分类该设备。在一些实施例中，对象可以具有无线相机(wireless camera)技术、射频识别(RFID)技术、或者蓝牙技术，其中，对象-交互模块112具有收发器，用来帮助从这种无线设备获取对象图像数据。在一些实施例中，表面116可以使用无线电波或者光来获得对象的三维扫描，在一些情况下，这可以提供更精确的识别。

对象-交互获取模块112也可以识别人类的行为，如波、拇指上举信号或者“我们是第一”的手势信号。此外，随着参与者把她的脸放到交互表面116上并向其中观看，对象/行为识别模块112可以识别皱眉、笑脸或者哈欠。在识别对象和/或与对象的交互之后，数据转换模块114可以将代表真实世界项目和行为的数据变换为驻留在VU服务器106上的VU应用可以使用的数据。由此，可以在VU中以某种形式重建在真实世界中监视的项目和行为。

在一些实施例中，VU服务器108将传送几何或者坐标数据给VU客户端104。换句话说，VU服务器108可以将可以被转换并且被作为几何体和纹理呈现的数据发送给VU客户端104。这区别于流像素数据或者视频数据。因此，像素数据或图像数据可以在其被发送给VU服务器106之前，被数据转换模块115转换为坐标数据。

系统100可以允许多用户同时进入对象和/或行为。例如，对象可以是饮料，并且行为可以是喝饮料，或者，对象可以是移动电话，并且行为可以是通过移动电话应答和讲话。此外，在从饮料罐喝下饮料之后，诸如打嗝或者微笑的姿态可以与对象结合。

识别模块可以将参与者与对象、行为和/或姿态相关联。在一些实施例中，被分配标识符的对象和/或交互、以及该标识符可以与数据一起被传送给VU服务器106，使得VU服务器知道在那里放置对象和/或交互。在虚拟世界中“重建”真实世界对象的能力可以允许VU的用户使他们交互的VU个性化。

在VU中的这种新的对象也可以允许使在VU中的化身之间的交互个性化。可以预期，对象或行为的确切的复制是不必要的，这是因为，可以提供相似的对象、行为或者姿态的仿真。例如，对象可以是杯子，并且可以由系统分类为饮料容器。在一些实施例中，系统可以寻找并且检索被标记为饮料容器的图像数据，并且，可以使用来自库的数据，以在用户期望的VU中提供该对象。

参考图2，带有坐在多触摸交互系统200的交互表面周围的参与者210的交互表面系统200的顶视图。系统200可以包括很多属性获取模块，如投影仪202、相机、像素产生器、或者图像获取模块204、红外传感器204、麦克风205、读卡器206、收发器207以及超声/X射线模块208，以命名一些(此处被称为对象/行为获取模块(202-208))。对象/行为获取模块202-208可以连接到表面计算模块225、以及真实世界到虚拟世界数据翻译模块224。参与者210可以提供对象和/或行为，并且，系统200可以捕获代表这些对象和/或行为的数据。

在一些实施例中，交互表面200并不需要知道参与者210的细节，并且，可以只关心对象、实体或者与参与者210相关联的事物，例如，膝上型电脑212、对象213、个人数字助理214、移动电话216、相机217或者此处被称为对象(212-217)的任意对象。在参与者位置与对象/行为之间的接近度可以用来将对象和/或行为链接到参与者210。可以通过扫描对象的轮廓、并且比较所获取的轮廓与轮廓库，而识别该对象。在其它的实施例中，可通过读取项目上的条形码来识别对象。

因此，属性获取模块202-208可以在一些模式中监听传输，或者甚至查询对象212-217，并且，可以经由画面、视频、音频、电子传输等来获取来自或有关对象的数据，并且，可以使用这样的数据来确定对象是什么。多触摸交互系统200可以采用一种可以从微软公司获得的产品“Surface Table(表面表)”的形式。该表具有显示图形图像并且在多个参与者210、以及多个参与者设备之间交换信息的能力。“Surface Table”是微软公司的商标。可以预期，多触摸交互系统不需要是水平台面(horizontal table top)的形式。在这里描述的原理也可适于包括并且应用于多显示表面、或者在除了水平朝向的朝向上具有不同的安装的形状和曲率的显示表面。

在一些实施例中，画面可以放置在表面上，或者，参与者210可以在表面上绘图，并且，随后，参与者210可以经由GUI在该表上指示如何在VU中利用在这样的过程中获取的数据。在另一个例子中，可以由参与者提供手、臂、或面部姿态的特定序列或者唯一序列。在该实施例中，对象-交互模块可以检测参与者的该移动。对象-交互模块可以是例如触摸传感器、移动传感器、超声传感器、X射线传感器、磁共振成像传感器、声音传感器、热或者红外传感器、视频设备以及生物传感器的一个或者组合。

可以处理传感器数据，以确定参与者已经提供、并且获取了什么对象或者行为。这种处理可以包括边缘检测、形状检测或者其它已知的识别技术。对于诸如移动电话的活动对象，数字传输的结构可被用于识别对象，并且，在其它实施例中，可以从对象读取例如条形码的光标识。在另一些实施例中，可以由多触摸交互系统读取项目的形状和例如条形码的识别标签。

在一些实施例中，可以由多触摸交互系统识别接近多触摸的参与者。多触摸交互系统也可以确定标识符参与者的相对位置。基于这个相对位置，多触摸交互系统可以确定参与者的行为，或者可以将对象与参与者相关联。该姿态可以包括：参与者在上述的表面表上以手指绘画或者勾画。

数据进入处理可以是在由多触摸交互系统提供的图形用户界面上的菜单驱动。例如，参与者可以请求真实世界到虚拟世界转换，并且，响应于表面表，可以获取参与者在该表中的相对位置。然后，GUI可以以例如对象输入、姿态输入、行为输入或者对象-行为类型输入的形式提示用户。在其它的例子中，可以设置多触摸交互系统，以接受参与者提供的草图。GUI可以设置系统，以扫描照片，或者扫描三维空间中的对象。在另一配置中，GUI可被用于识别接近于表面的诸如面部表情、臂、手指或者手的移动的姿态，使得该表面可以获得交互/姿态的数字解释。行为可以包括挥手、敲击、竖起拇指符号、以及OK手势信号等。面部表情可以包括笑、皱眉、惊讶、恐惧等。

在一些实施例中，参与者可以通过GUI设置多触摸交互系统，以扫描或者识别项目。表面可以将该项目与参与者相关联，并且，可以将该项目与参与者的化身相关联。因此，如果可应用的话，则多触摸交互系统检测的行为和对象可以与所识别的参与者和参与者的化身相关联。在一些实施例中，表面可以与接近表面的相机(可能是无线相机)通信，并且，参与者可以选择已经从相机下载的照片，并且参与者可以选择出现在该照片中的对象。可以通过在表面上显示图片、然后允许用户在照片中的对象上放置她或者他的手指以选择画面中的对象，而完成该选择。对象识别模块可以使用边缘检测和颜色检测以及其它数字处理技术，而识别项目/对象，或者，至少作出该对象可被关联的项目类型的确定。

可以由RW-VW翻译模块224将表面所获取的数据翻译为与VU服务器输入格式兼容的数据格式。这种格式可包括坐标类型数据。然后，VU服务器可以在由VU客户端在个人计算机上显示给用户的VU中仿真或者合并所获取的行为和/或对象。换句话说，可以在VU中复制所选择的对象、参与者与对象的交互、以及参与者作出的活动或姿态。可以基于参与者可配置的设置，将所获取的对象/活动与VU中的特定虚拟地区或者化身相关联。

表面表可以在任何给定时刻接受很多输入，并且，由此，可以将所获取的对象或行为与参与者关联，并且，在一些实施例中，可以确定哪些对象或者身体部分处于参与者的控制之下。在一个实施例中，放置在表面的接近已被分配给参与者的位置的对象可以被视为“处于参与者的控制之下”。然后，可以在与参与者的化身相关联的虚拟环境中尽可能接近地“复制”这个对象。如果该对象是通常由人携带的对象，则系统可以假设参与者希望由该化身承载她的化身。

在一些实施例中，可以在表面上将VU显示给参与者。表面也可以具有允许用户选择对象、操纵对象并且放置对象到期望位置上的GUI的子窗口。例如，参与者可以选择和/或可以被提供有餐馆设置VU。通过GUI，参与者可以在表上创建虚拟角色/化身，或者通过注入(injecting)对象和/或交互到虚拟宇宙中，而加载他们自己的现有角色。

在一些实施例中，GUI可以提供对象或者对象分类的菜单，并且，参与者可以选择对象，并且指向在VU中的位置，并且对象可以被放置在VU中。参与者也可以指示所增加的对象是否作为化身的持有物随着化身而移动、或者被放置在虚拟宇宙内的墙或者桌子上。

在其它实施例中，参与者可以通过GUI选择对象类型，然后在表面上放置照片或者实际项目，其中，表面可以获取代表对象的数字图像，并且基于该输入，该系统可以将代表该对象的数字图像分为某类别。知道了对象落入什么类别可以由该系统用于在VU中放置该对象。该系统也可以执行额外的图像处理，以使得新的对象看起来好像“属于”VU。图像处理的一个形式可以将该对象缩放为VU的适合大小。在一个实施例中，用户可以选择对象的大小，以被插入VU。可以在对象被插入VU之后提供这个特征，并且，用户可以查看对象是否是期望的大小。

由此，用户可以在多触摸交互系统上放置对象，并且由在多触摸交互系统上显示的GUI提示该用户该对象是什么。基于对象和对象类型的扫描，系统可以自动确定在VU中的何处放置对象，并且，可以在VU中仿真对象。在其它实施例中，由识别模块完成识别该项目是什么。

在一个实施例中，公开的布置可以被用以监视发生在房间中的活动。此外，所述活动可以以VU格式被记录，以便在以后查看。例如，用户可以在坐在作为餐桌而加倍的多触摸交互系统处的同时定购饮料。当服务员在表面上放下饮料时，多触摸交互系统可以记录饮料的放置、处理饮料的图像数据、并且将该数据转换为VU兼容的数据，使得可以在VU中仿真饮料及其放置。在该数据中包含的可以是分配给参与者的化身的唯一通用标识符。在一些实施例中，参与者可以指示她的化身可以持有所定购的饮料、并在化身的手中递交，或者可在桌子上放置该饮料。

在另一个例子中，用户可以在真实生活中，在多触摸交互系统上放置移动电话，并且，电话可以被放置在VU中的参与者的手上。因此，参与者的化身可以自动被配备有电话的“迷你版本”。按照真实世界到虚拟世界的转换，可以在VU中反映/仿真在参与者和电话之间的交互。例如，当电话位于桌子上，并且接收到呼入时，参与者可以接电话，对应的数据可被发送给VU服务器，并且，在VU中，在参与者起身离开桌子接电话的同时，化身可以显示为可能在接电话的忙或者不活动。可以预期，可以在虚拟环境中仿真许多接近于多触摸交互系统的交互，并且，可以由参与者控制这些交互如何发生(在VU中发生什么以及如何发生)。

在另一个例子中，参与者可以在他们的数字音频播放器上播放歌曲，并且，当用户希望播放歌曲给坐在桌子旁的他们的朋友时，用户可以在多触摸交互系统上放置他们的数字音频播放器并且播放歌曲。响应于播放歌曲，在VU中，化身可以收集并监听在真实世界中正在播放或曾播放的同一歌曲。可以基于用户可选择的设置而执行化身的这种集会(meeting)。在该例子中，其它用户可选择的设置/偏好可以包括：当听到音乐时，根据歌曲的速度和节拍，来调用化身去跳舞。

在另一个实施例中，参与者可以通过显示在多触摸交互系统的GUI来配置表面，使得它接受并且存储参与者在多触摸交互系统上所“绘出”的内容。通过与在表面上显示的GUI的交互，参与者可以配置多触摸交互系统，以接受参与者用她的食指绘制的对象的表现(rendition)。在一个例子中，用户可能希望在VU中放置某物。通过GUI，用户可以在表面上绘制花，并且，可以在她希望放置花的位置的表面上敲击她的手指。

在不存在关于正在画什么并且应在何处放置其而与该系统通信的参与者的情况下，当用户画他们喜爱的花的表现时，表面及虚拟宇宙不能、并且不需要知道对象是什么、以及在哪儿放置该对象。当获取了关于“未识别/不可读取”的对象的像素数据时，该系统可以采用许多不同的方法。

在一些实施例中，未识别/不可读取的对象可以被适当地调整大小，并且，呈现为VU中的参与者的化身的持有物。在其它的实施例中，参与者可以通过多触摸交互系统输入有关如何处理/对待未识别/不可读取的对象的命令。例如，参与者或者该系统可以拟定(frame)该花，并且可以在墙上放置该艺术品，以展示其给其它化身。可以预期，公开的该布置允许参与者将定制的项目、对象和/或交互输入到VU中，使得可根据参与者的期望而定制VU、以及与VU的交互。

在一些实施例中，可以转换数据，使得其与基于网络的游戏兼容。例如，人物可以是“Mii”人物，如用在任天堂公司制作的视频游戏产品“Wii”中的人物。Mii通常是由任天堂为Wii、Mii频道创造的化身。在用户创造了Mii之后，Mii可被用作在特定的面向Mii的游戏(如Wii sports和Wii play)中的参与人物。Mii是可被定制的，并且允许用户捕捉相似点或者漫画，或者捕捉他们自己的以及其他人的个性。

公开的布置通过创建把真实世界对象的代表放置在VU中的方式，可以许多方式来增强用户与VU之间的交互。允许用户在VU中定制化身和对象使得参与者能够创建唯一的角色，并且允许用户通过这种被定制和仿真的角色来设计(tailor)角色扮演。公开的布置还允许自动创建角色，并且将其保存在VU中。公开的实施例提供了自动且不费力的可以与化身相关联的资产(例如，金钱、艺术品等)的创建，并且，化身可采用唯一且更类似于人类的个性。可以预期，给予人类他们的唯一存在的真实生活对象现在可以移动到VU，并且，可以利用这些对象来在VU中指示其它行为。

参考图3，图解了用于将真实世界对象/事件转换为虚拟宇宙对象/事件的流程图300。如框302所示，可以配置多触摸交互系统，以接收输入。如框304所示，多触摸交互系统可通过监视对象或者参与者的交互，来接收诸如对象的位移、手或者臂的姿态和/或与姿态的目的相关联的行为或活动，并且，可以创建、定位和/或检索代表该对象和/或交互的数据。该获取可以是多个参与者正在同时提供这种对象和/或交互的自动处理。该系统可以获取数据，使得可以在VU中以一定形式重建每个对象和/或交互。例如，获取的数据可以被用来定位和检索被提供给VU服务的数据。如判定框306所示，该系统可以自动确定它是否识别出对象和/或交互。如果系统不能识别出对象和/或交互，则可以询问参与者该对象和/或行为是什么。

如判定框310所示，该系统可以自动地确定是否可以识别对象和/或交互，使得该系统可以通过自动放置系统，在VU中的合适位置来放置对象。如果不能确定自动放置，则如框312所示，可以询问参与者应当在VU的何处放置对象和/或交互。当确定对象或行为、以及放置时，如框314所示，可以自动将图像数据转换为VU服务提供方可用的数据。这种数据转换可以是从像素数据到坐标数据的转换。如框316所示，转换后的数据可以自动被传送给VU服务器。此后，该处理可以结束。可以预期，可视的事物可以被自动放置在虚拟世界中，而没有使用者的参与或者显著的延迟。由此，可以捕获可视的事物，并且在VU中“实时”(不用忍受处理和通信延迟)地仿真或重建该可视事物。

上述处理的实现可以是经计算机可读介质传递和存储的。计算机可读介质可以是任何可以由计算机访问的介质。通过示例而非限定的方法，计算机可读介质可以包括“计算机存储介质”以及“通信介质”。“计算机存储介质”包括易失性的和非易失性的、以任何方法或技术为信息存储如计算机指令、数据结构。程序模块或其它数据而实现的可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或者其它存储技术、CD-ROM、数字多用盘(DVD)或者其它光存储装置、盒式磁带、磁带、磁盘存储或者其它磁存储设备，或者任何其它可以用于存储期望的信息并且可以由计算机访问的介质。“通信介质”典型具体体现为计算机可读指令、数据结构、程序模块或者其它调制的数据信号中的数据。例如载波或者其它传输机制。通信介质也可以包括任何信息投递介质。

术语“调制的数据信号”表示具有一个或者它自己的特性设置或者在信号编码信息中以这样的方式改变的信号。通过示例而非限定，通信介质可以包括：有线介质，例如有线网络或者直接连接；以及无线介质，例如声音、RF、红外以及其它无线介质。上述的任何结合也包括在计算机可读介质的范围内。

参考硬件和/或软件的特定配置，本领域的技术人员将认识到，实施例可以以其它的等同的硬件和/或软件系统更具优势地实施。此处描述的公开内容的方面可以在计算机可读介质上存储或者分发，包括磁和光可读的和可移除的计算机磁盘、以及电子的分布在网络上或者包括无线网络的其它网络。特定于本公开的方面的数据的数据结构和传输(包括无线传输)也包括在本公开的范围之内。

此处公开的每个处理可以以软件程序实现。此处描述的软件程序可以在任何类型的计算机上操作，例如个人计算机、服务器等等。任何程序可以包含在各种信号承载介质上。示例性的而非限定性的信号承载介质包括：(i)在不可写存储介质上永久存储的信息(例如，在计算机之内的只读存储器设备，如可以由CD-ROM驱动器读取的CD-ROM磁盘)；(ii)存储在可写存储介质上的可变信息(例如，在软盘驱动器之内的软盘、或者硬盘驱动器)；以及(iii)由通信介质传输给计算机的信息，例如，通过计算机或者电话网络，包括无线通信。后面的实施例具体的表现包括从因特网、局域网或者其它网络上下载信息。当承载指代本公开的布置的功能的计算机可读指令时，这种信号承载介质呈现本公开的实施例。

公开的实施例可以采用完全的硬件实施例、完全的软件实施例或者包含软件盒硬件的实施例的形式。在一些实施例中，本发明在软件中实现，其包括但不限于固件、驻留软件、微码等等。此外，本发明可以采用从由或者结合计算机或者任何指令执行系统提供的程序代码以使用的计算机可用的或者计算机可读的介质而访问的计算机程序产品的形式。为了该描述的目的，可用的计算机或者计算机可读介质可以是任何通过或者结合指令执行系统、装置或设备而可以包含、存储、通信、传播或者传输程序以使用的装置。

所述介质可以是电子的、磁的、光的、电磁的、红外的或者半导体系统(或者设备或装置)或者传播介质。计算机可读介质的实例包括半导体或者固态存储器、磁带、可拆卸计算机盘、随机存取存储器(RAM)、只读存储器(ROM)、固体盘和光盘。光盘的现有实例包括致密盘-只读存储器(ROM)、致密盘-读/写(CD-R/W)以及DVD。适合于存储和/或执行程序代码的数据处理系统将包括至少一个直接或者间接的通过系统总线耦接到存储器元件处理器。存储器元件可以包括在程序代码实际执行期间使用的本地存储器、大容量(bulk)存储器、以及为了减少在执行期间必须从构造存储器获取代码的次数而提供的至少一些程序代码的临时存储的高速缓存存储器。

输入/输出或I/O设备(包括但不限于键盘、显示器、定点装置等等)可以完全直接的或者通过介于其间的I/O控制器耦接到系统。网络适配器可以耦接到系统，使得数据处理系统能够通过介于其间的私有或者公共网络耦接到其它数据处理系统或者远端打印机或存储装置。调制解调器、电缆调制解调器、以及以太网卡正是一些当前可用的网络适配器的类型。

应当理解，详细的展示和描述的本发明的形式和附图仅仅是为了作为示例。所期望的是，所附的权利要求应当被解释为包括公开的示例性的实施例的各种变型。

Claims (15)

1、一种方法，包括：

配置传感器，以接收与对象或者交互中的至少一个相关联的输入；

获取与所述对象或者交互中的至少一个相关联的数据；

将参与者与所获取的数据相关联；

将虚拟宇宙与所获取的数据相关联；以及

将所获取的数据自动转换为可用来在虚拟宇宙中呈现所述对象或者交互中的至少一个的代表的数据。

2、如权利要求1所述的方法，其中，配置包括：配置多触摸交互系统。

3、如权利要求1所述的方法，还包括：在虚拟环境中自动呈现转换后的数据。

4、如权利要求1所述的方法，还包括：向所获取的数据分配标识符，以便将虚拟宇宙兼容的数据与化身相关联。

5、如权利要求1所述的方法，其中，所获取的数据是元数据或者像素数据中的一个。

6、如权利要求1所述的方法，还包括：将至少一个对象仿真为该化身的持有物。

7、如权利要求1所述的方法，还包括：获取与虚拟宇宙中的所述至少一个对象的放置有关的输入。

8、如权利要求1所述的方法，还传送虚拟宇宙兼容的数据，并且在虚拟宇宙中仿真至少一个对象或者交互。

9、如权利要求1所述的方法，还包括：接受用户输入，以对所述至少一个对象或者交互分类。

10、如权利要求1所述的方法，其中，接收包括：从光记录设备接收图像数据。

11、一种系统，包括：

对象-交互获取模块，用来获取对象图像数据或交互图像数据中的一个；

识别模块，用来识别与对象图像数据和交互图像数据相关联的参与者；

关联模块，用来将图像数据与参与者相关联；以及

数据转换模块，用来将所述图像数据翻译为虚拟宇宙兼容的格式，使得在虚拟宇宙中呈现的所述对象或交互类似于真实世界中的对象或交互。

12、如权利要求11所述的系统，还包括图形用户界面模块，用来提供用户可选择的输入，并且帮助接收用户输入。

13、如权利要求11所述的系统，其中，该对象-交互获取模块包括多触摸交互系统。

14、如权利要求11所述的系统，其中，该对象-交互获取模块包括收发器。

15、如权利要求11所述的系统，其中，该对象-交互获取模块包括像素产生器。

Images