CN103959344A - 跨越多个设备的增强现实表示 - Google Patents

Abstract

描述了跨越多个设备产生增强现实表示的方法和装置。在一个示例中，操作包括生成虚拟对象、生成包括第一显示器的现实空间以及在第二显示器上呈现在包括第一显示器的现实空间中的虚拟对象。进一步的操作包括在虚拟对象移动通过现实空间时跟踪虚拟对象在现实空间中的位置，使用所跟踪的位置在第二显示器上更新虚拟对象的呈现，并且在所跟踪的虚拟对象的位置与现实空间中的第一显示器的位置重合时在第一显示器上呈现虚拟对象。

Description

跨越多个设备的增强现实表示

背景

增强现实(AR)包括用于显示叠加在真实场所的图像上的虚拟对象的技术。在一个简单示例中，图像是包括餐厅的街道的视图，且通过添加叠加在餐厅的图像上的餐厅名称来增强这种现实。这已经扩大到包括菜单、评论、在里面的朋友和其他信息。该图像可以是图像的视频序列。已经提出或开发允许用户在一个位置处点击拍照电话并在智能手机显示器上看到该位置的智能手机应用。然后，该应用获得关于该位置的数据，例如餐厅名称等等，且然后，用名称、菜单、评论等等增强在智能手机显示器中所显示的现实。

AR技术也已经用来把真实世界视频与三维图形混合。在一个示例中，AR被用来把虚拟人物或动物叠加在真实场景的视频输入上。在一些情况中，照相机观察到真实场景，且然后，在场景中站立的人可以做出手势，照相机观察到该手势，且把该手势用来提供在真实人物和虚拟人物或动物之间的交互。真实人物不能直接看见在真实人物和虚拟人物之间的这种交互，而是通过显示增强现实视图的显示器才能看见。这种视图包括真实场景、真实人物和虚拟人物。

进一步的AR发展具有被增强成或被转换成与其他虚拟对象或人物交互的虚拟对象的场景中的真实对象。因此，例如，真实糖果可以转换成虚拟爆炸物(virtualexplosive)，且电视的真实画面可以虚拟地显示电视频道。这些类型的AR技术提供了娱乐和新颖性。借助于改进，AR技术可以用于游戏玩耍、训练和教学。

附图简述

在附图的各图中作为示例而非限制阐释本发明的各实施例，附图中，类似的标号指代相似的元素。

图1是根据本发明的一个实施例适用于AR表示的具有多个显示器的真实场景的图。

图2是根据本发明的一个实施例具有多个显示器的图1的真实场景的图，显示从显示器浮出的AR角色蝾螈。

图3是根据本发明的一个实施例具有多个显示器的图1的真实场景的图，显示穿越真实场景的AR角色蝾螈。

图4是根据本发明的一个实施例具有多个显示器的图1的真实场景的图，显示进入显示器的AR角色蝾螈。

图5是根据本发明的一个实施例具有多个显示器的真实场景和围绕该场景移动的多个AR角色的图。

图6是根据本发明的一个实施例跨越多个显示器表示AR角色的处理流程图。

图7是根据本发明的另一实施例在包括多个显示器的现实空间中表示AR角色的处理流程图。

图8是根据本发明的一个实施例适用于实现本公开内容的过程的计算机系统的框图。

图9是根据本发明的一个实施例适用于实现本公开内容的过程的图8的计算机系统的备选视图的框图。

详细描述

根据本发明的各实施例，AR角色可以从在非AR视图中显示相同的角色的屏幕浮出。换句话说，在AR屏幕上，该角色被示为从第二屏幕浮出。在同一时刻，只要该角色的任何部分保持在该屏幕上，则第二屏幕也显示从该屏幕浮出的该角色。然后，该角色跨越真实空间而移动。不能在第二屏幕看到这种移动而是仅在AR屏幕上看到这种移动。该角色也可以与另一第三屏幕交互，正如借助于AR和非AR显示器的混合所看到的那样。当该角色从一个屏幕移动到另一屏幕时，包括但不限于该角色的属性的数据也可以从一个屏幕移动到另一屏幕，或者从支持一个屏幕的设备移动到支持另一屏幕的设备。

图1显示使用AR(增强现实)技术增强在多个屏幕之间的交互的示例。在第一屏幕14上，蝾螈10被呈现为站立在长满青苔的岩石12上。第一屏幕是放置在桌子16上的平板计算机的显示器。不涉及AR，这是因为蝾螈完全被包含在显示器内。使用常规的图形渲染技术，可以把蝾螈生成为虚拟环境中的虚拟对象。可以使用二维或三维技术来生成蝾螈。该屏幕允许二维或三维呈现。

图1的真实场景还包括第二设备的第二屏幕18，在这种情况中是便携式笔记本计算机，但可以使用诸如台式计算机屏幕或电视等任何其他类型的显示设备。两个显示器在桌子16上相互隔开，且上面放置有笔的打开的书20位于两个屏幕之间。在两个屏幕之间还存在一连串纽扣糖果(button candy)22。

在图2中，在第三屏幕24所呈现的视图中显示蝾螈。第三屏幕是诸如另一平板计算机、蜂窝式电话或便携式媒体播放器或游戏机等的第三设备的一部分。第三设备显示如图1中所显示的相同的台式计算机和平板计算机。可以使用在第三设备的后侧的照相机提供这一视图，或者从不同的设备生成它并将其发送给第三设备。该视图包括桌子16和两个屏幕14、18以及周围的环境。

只要蝾螈保持在显示器内，第二设备就可以准确地显示第三屏幕24的位置处的人物将看到什么。这种视图可以由设备通过其自己的照相机直接地生成，或者可以由软件呈现，这取决于具体的实施例。在一个示例中，该设备后背的照相机确定各屏幕和桌子的位置，且然后，图形渲染系统使用AR技术生成第一屏幕和第二屏幕的增强版本，其包括用于在第三显示器上显示的增强屏幕显示器。

如图2中所显示，蝾螈10从平板屏幕14浮出到桌子16上，如通过电话24借助于AR所看到的。蝾螈被渲染为第三屏幕中的AR角色。在第三屏幕中，蝾螈已经变成在诸如桌子和纽扣糖果等的真实对象的上下文中所显示的虚拟对象。

在图3中，蝾螈现在在桌子上行走，通过电话显示器被看作是AR角色。它正在沿着一连串纽扣糖果前进，且虚拟地正在吃掉它们。在该图的左侧，蝾螈仍然准确地如图1中那样站立在长满青苔的岩石上。这表示在第三显示器内的AR渲染不影响实际上在第一显示器14中叙述的场景。

在图4中，蝾螈10现在正在啃咬笔记本计算机显示器18的边缘。借助于或不借助于通过AR的呈现，在屏幕表面上的水仿真显示波纹。换句话说，蝾螈正在交互第二屏幕，且在第三AR屏幕上看到了在第二屏幕上的这种交互的效果。通过在第二设备和第三设备之间的通信链路，可以把蝾螈的交互通过该链接发送给第三显示器。然后，可引起第二显示器产生如图4中所显示的水波纹。然后，AR屏幕可以准确地显示第三设备的照相机在第二屏幕上看到什么，或者它可以使用AR技术产生波纹以便呈现在AR显示器上，仿佛它们是在第二屏幕上的那样。结果，在仅可以通过电话看见蝾螈的同时，可以无需AR就看见笔记本上的水仿真的波纹。

图4也显示在该图的左侧可见的真实场景中的纽扣糖果保持在桌子上它们最初被放置的位置。然而，在AR屏幕中，糖果已经被吃掉，且不再可见。另外，蝾螈仍然被呈现在真实场景中的第一屏幕14上，即使在第三AR屏幕中所描绘的AR场景中它已经移到第二屏幕。通过提供到第一屏幕的通信链路，可以使得第一屏幕以与AR视图一致的方式呈现蝾螈。在这种情况中，第一屏幕将呈现没有蝾螈10的长满青苔的岩石12，这是因为蝾螈已经被呈现为AR角色且离开了第一屏幕。

还应注意，作为AR角色，蝾螈不仅与糖果交互，而且也与书、笔记本计算机和笔记本计算机上所显示的水交互。另外，比较图1到图4，第三显示器上所呈现的具体的物品不同，这取决于第三显示器的位置。在图3中，仅在AR显示器中显示所有的笔记本计算机和所有的纽扣糖果。在图4中，显示器

可以以各种不同的方式增强AR角色的简单交互。作为被渲染为AR角色的虚拟对象，可以修改AR角色的行为、外观和特性以便适应任何具体应用。尽管示出了蝾螈，但可以呈现任何人物、动物或对象。借助于与真实对象或其他虚拟对象的交互，也可以改变AR角色。例如，每次该生物遇到糖果或吃掉糖果，它可以进化成更高级的生命形式。在游戏上下文中，每次游戏角色吸收糖果，它可以获得更多的生命、武器或密码(key)。

图5显示以真实空间和第一显示器上所呈现的空间的组合中呈现的AR对象的另一示例。在这一示例中，以较大的计算机台式显示器或电视的形式的三维显示器28呈现包括围绕房间飞行的多个宇宙飞船的场景。处于在电视屏幕28的框内的一些飞船例如第一飞船30可以被呈现在电视的显示器上。取决于电视的三维呈现能力，它也可以在屏幕的平面外呈现其他飞船36，但是从观察者或用户32的角度来看仍然接近屏幕。

如所示出的，用户具有诸如平板计算机等的第二显示器34，借助于该显示器，用户可以观察表现为围绕房间飞行的另外的宇宙飞船36、38、40。当用户移动第二AR显示器时，不同的宇宙飞船进入到视野，允许用户看到所有飞船，但并不必定全部都是在相同时间。如同蝾螈示例一样，第一飞船30从屏幕浮出。在这一示例中，该对象出现在3D电视显示器上，且然后，当它离开屏幕并围绕房间飞行时，可以在平板上以AR方式看到。通过允许两个设备就被表示为第一宇宙飞船的虚拟对象而相互通信，该对象可以出现在电视屏幕上，且被显示为正在浮出。

如同蝾螈一样，仅作为示例提供宇宙飞船。该原理可以容易地应用到相似类型的对象，例如飞机、鸟、鱼、潜艇或任何种类的敌方兵力。出于训练目的，相同的原理可以被应用到航行(flight)、驾驶、飞行(flying)和其他类型的训练。相同的原理也可以被应用到医疗诊断信息，或者出于教育或研究目的显示数学概念和科学概念。在其他实现中，可以提供显示商店和朋友的真实街道场景和多种其他类型的信息。

通过把甚至更多的特征添加到AR角色，可以增强上面的两个示例。这些特征也可以由如下面更详细地描述的游戏软件类型的元素生成。除了可视效果之外，AR角色可以被配置为产生噪声，例如脚步、引擎或说话的声音。这些噪声可以通过三维处理效果来增强，以便呈现角色的听觉位置，以添加到由各显示器提供的空间位置。借助于多个扬声器，立体的和环绕的声音效果可以被用来使得角色发出声音，仿佛它处于具体的位置且仿佛它正在移动的那样。

也可以以这种方式呈现与其他真实对象和虚拟对象交互的角色。因此，例如，当蝾螈实际上吃掉真实的纽扣糖果时，可以产生咀嚼和吞咽的声音，听起来仿佛是这种声音来自蝾螈的嘴巴的空间位置。类似地，当蝾螈触摸笔记本显示器上的水且引起波纹时，可以产生形成波纹的水声，听起来仿佛是这种声音来自笔记本计算机。通过把指令和数据发送给笔记本计算机以便从它自己的扬声器产生相同的声音，可以增强这一点。在宇宙飞船示例中，存在已经被创建为暗示这样的飞船可以产生的声音的多种不同的独立的和交互的声音。

AR角色也可以被实现为使得它把各元素从一个屏幕携带到其他屏幕。蝾螈可以从长满青苔的岩石随身携带某物，且然后把它丢到水中。虚拟人物或车辆可以把多种多样的不同的物品从一个屏幕携带到其他屏幕。这可以用于游戏玩耍，或者用作在两台机器之间的数据传输的有趣动画。在游戏玩耍情景中，一个用户可以使用这样的动画来接收点数、生命、武器或令牌。

可以用附加的用户交互进一步增强上面呈现的两个示例。作为游戏的一部分，玩家可以把AR角色发送给相互的设备。这可以是虚拟社会交互、战斗、建筑物的形式或用于任何其他目的。在这样的示例中，玩家可以选择AR角色，无论是人物、动物、车辆或其他对象，且然后，引导它去往其他玩家的显示器。该对象可以给其他玩家带来某物，或者在途中与其他对象交互。

在另一示例中，用户可以使用手势来滑动或轻拍触摸屏、控制器，或者使用空中手势来把AR角色从该用户的设备发送到特定的目标或更一般的方向。使用以上所描述的交互的和通信的多个屏幕AR，发起的用户可以在用户自己的设备上看到该AR角色，且其他用户或玩家也可以在他们自己的设备上看到该AR角色。这些方法可以用来允许多个玩家同时与相同的AR角色交战(engage with)。例如多个玩家可以在宇宙飞船离开主电视显示器屏幕之后虚拟地射击相同的宇宙飞船。

图6和图7是借助于如图1到图5的示例中所显示的多个显示器生成和使用AR角色的示例处理流程图。在图6中，在框602，用户从具有多个显示器的系统的一个显示器触发AR对象的起动(launch)。每一显示器可以耦合到其自己的处理资源，或者可以与另一显示器的资源共享资源。该系统可以由单个处理系统集中地驱动，或者可以在多个不同的处理系统之间共享任务。

AR对象可以是如上所述的AR角色或者可以被用作AR角色的任何虚拟对象。可以使用从控制器到触摸屏或触摸表面、到语音或手势输入系统的各种不同的命令输入系统中的任一个来起动角色。在宇宙飞船示例中，可以使用游戏控制器或者屏幕手势与平板计算机的移动的组合。

在启动了AR角色之后，在604，系统处理资源确定AR角色的虚拟位置，并跟踪相对于系统中的其他显示器的这一位置。在606，可以把虚拟位置信息发送给其他显示器。这种信息可以由其他显示器用来显示阴影、产生听觉提示，例如主要声音效果、发声或回声，并且提供增强用户的AR体验的其他效果。

在608，通过在604跟踪位置，该系统确定AR对象已经虚拟地触摸了显示器。这可以是所指示的显示器2或该系统中的任何其他显示器。该系统可以通过生成包括显示器的三维空间且然后跟踪AR角色在真实空间内的虚拟行为来这样做。在610，该系统在受影响的显示器上发起AR对象效果的真实显示。在上面的蝾螈示例中，可以在第一显示器上把蝾螈显示为离开显示器，且将其显示为在第二显示器上引起波纹。这些交互可以被呈现在各自的显示器上，且也可以伴随着交互的听觉表示，例如走路或引起波纹的水的声音。显示器的处理资源可以被用来确定具体的效果，或者可以由另一计算资源做出这样的确定。

图7显示使用多个显示器呈现AR角色或其他虚拟对象的备选过程。在702，该系统生成虚拟对象，例如蝾螈或宇宙飞船或可以充当合适的AR角色或交互的AR设备的任何其他虚拟对象。在704，该系统生成包括至少一个真实显示器的现实空间。这一现实空间可以非常简单，或者具有多个真实对象。现实空间也可以包括声源。

在706，在第二显示器中把所生成的虚拟对象呈现在现实空间中。在上面的示例中，这种第二显示器是可移动便携式显示器，通过该显示器可以看到真实空间，然而，备选地，它可以是固定式显示器。虚拟对象可以被呈现在真实空间内的任何期望的位置处。如上所述，用户可以起动虚拟对象或将其扔到现实空间，或者虚拟对象可以从第一显示器或另一显示器浮出。备选地，虚拟对象可以从真实空间的某部分浮出，这取决于实现。

在708，该系统跟踪虚拟对象的位置。也可以跟踪虚拟对象在大小、外观、移动和声音方面的行为。可以在生成虚拟对象的运动的系统内或者在独立的跟踪模块中做出这一点。在710，当虚拟对象在真实空间中移动和行动时，更新虚拟对象在第二显示器上的呈现。

在712，把虚拟对象的位置与诸如第一显示器等的其他真实对象的位置进行比较。可以把各种不同的交互呈现在第二显示器上，这取决于虚拟对象的行为和真实对象的性质。借助于显示器(在这种情况中是第一显示器)，在虚拟对象的位置与第一显示器的位置至少部分地重合时，然后，基于它们的相对位置，可以把虚拟对象的至少一部分呈现在第一显示器上。

例如，如同在上面的水波纹的示例那样，通过呈现在虚拟对象和在第一显示器上显示的物品之间交互，可以增强这些操作。可以把交互的效果显示在第一屏幕和第二屏幕两者上。第二屏幕上所显示的对象也可以被转换成虚拟对象并超出第一显示器的真实空间。作为示例，水波纹可以把水波发送出桌子上的显示器之外，作为在第二显示器中显示的AR波。

可以使用附加的显示器，以便跟踪虚拟对象相对于其他真实显示器的位置。在虚拟对象的位置与任何显示器重合时，然后，可以呈现与该显示器的交互。可以不仅在AR显示器上而且在真实空间中的各显示器上提供这种呈现。这可以增强AR角色交互的真实感。

也可以存在不是显示器的其他真实对象，例如蝾螈示例中的纽扣糖果、书和显示器边框。与这些真实对象的交互可以限于AR显示器，除非该交互大到足以也影响另一显示器。如果，例如，蝾螈把纽扣糖果扔或踢到第三显示器上的水中，那么，当真实对象被扔出去时，可以转换成另一虚拟对象。当它达到带有水的显示器时，该虚拟对象变成所显示的对象，且可以在真实空间中的第三显示器上并且在AR显示器上呈现其进入水中的轨迹和飞溅。

以相同的方式，可以把附加的虚拟对象添加到该场景。在宇宙飞船示例中，存在多个宇宙飞船。类似地，可以存在多个蝾螈或蝾螈与之交互的其他虚拟对象，例如其他蝾螈、食物、猎物或捕食者。可以同时跟踪所有这些对象的位置，以便在AR显示器上且在真实空间中的显示器上验证交互。

可以把各种不同的用户输入和交互添加到以上所描述的操作。这些输入可以被用来表示与一个或多个虚拟对象的交互，并且在虚拟对象和用户输入之间的相应交互可以被呈现在AR显示器和真实空间中的各显示器上。呈现交互的真实空间中的具体的显示器将取决于真实空间中的显示器相比于该交互的位置。交互的效果可以与真实空间中的显示器的位置一致，即使显示器远离也是如此。例如，如果蝾螈扔出或踢出某物，则该虚拟对象可以行进长距离。类似地，爆炸的宇宙飞船可以在大面积上散落火焰或残骸。可以基于特定实现选择具体的用户输入。它们可以包括在虚拟对象处的空中手势、在虚拟对象处的触摸屏手势和语音命令以及其他。

各过程返回，以便用于新的或不同的AR角色的新的起动，或者在现实空间中生成新的虚拟对象。图6和图7的操作可以与其他过程组合，并且在这样的操作的其他实例继续进行的同时可以重复图6和图7的操作。各操作可以由多个处理系统或具有多个显示器的单个系统执行。

图8是能够支持以上所描述的操作的计算环境的框图。各模块和系统可以以包括图9中所显示的各种不同的硬件架构和形状因子实现。

命令执行模块801包括中央处理单元以便缓存和执行命令并且在其他模块和系统当中分配任务，并且通过通信接口给远程系统分配任务。它可以包括指令栈、存储中间结果和最终结果的高速缓存存储器以及存储应用和操作系统的大容量存储器。命令执行模块也可以充当该系统的中央协调和任务分配单元。

屏幕渲染模块821在包括AR显示器的一个或多个多个屏幕上绘制对象以便让用户看到。它可以适于接收来自下面描述的虚拟对象行为模块804的数据，并适于在适当的屏幕或多个屏幕上呈现虚拟对象、真实对象、所显示的对象和任何其他对象以及力。因而，例如，来自虚拟对象行为模块的数据将确定虚拟对象的位置和动态(dynamics)以及关联的移动、动作和声音，且屏幕渲染模块将据此在屏幕上描绘虚拟对象和关联的对象和环境。

屏幕渲染模块还可以适于接收来自下面描述的相邻屏幕视角模块807的数据，或者适于描绘在虚拟对象和其他屏幕之间的重叠。因而，例如，如果虚拟对象正在从第一屏幕移动到第二屏幕时，则相邻屏幕视角模块807可以把数据发送到屏幕渲染模块，以便建议例如如何在第二屏幕上呈现虚拟对象。

对象和手势识别系统822可以适于识别和跟踪用户的手部和臂部手势。这样的模块可以用来识别手、手指、手指手势、手移动和手相对于显示器的位置。例如，对象和手势识别模块可以例如确定用户做出把虚拟对象放下或扔到多个屏幕中的一种或其他上的身体部位手势，或者用户做出移动虚拟对象以便把虚拟对象从一个位置移动到另一位置的身体部位手势。对象和手势识别系统可以耦合到照相机或照相机阵列、话筒或话筒阵列、触摸屏或触摸表面、或指点设备、或这些物品的某种组合，以便检测来自用户的手势和命令。

对象和手势识别系统的触摸屏或触摸表面可以包括触摸屏传感器。来自该传感器的数据可以输入到硬件、软件、固件或它们的组合，以便把用户的手在屏幕或表面上的触摸手势映射到虚拟对象的相应的动态行为。传感器数据可以被用来确定动量和惯量因素以便基于来自用户的手的输入允许虚拟对象的各种动量行为，例如用户的手指相对于屏幕的滑动率。可以在没有触摸表面的益处的情况下由对象和手势识别系统使用一个或多个照相机生成相似的命令。

数据传输和协调模块823与系统中的各种计算和显示器资源一起工作，以便把关于虚拟对象的信息和效果发送给其他设备，以使得这些信息和效果可以被呈现在其他显示器上。这一模块也可以发送音频信息，以使得可以由扬声器呈现听觉效果。数据传输和协调模块可以发送供其他设备用于确定显示的参数，或者它可以发送为显示准备好的完全呈现的图形效果或某种其他形式的数据，这取决于如何分配计算任务。

数据通信模块825包含允许系统中的所有设备通信的有线或无线数据接口。每一设备可以存在多个接口。在一个示例中，AR显示器在WiFi上通信以便发送关于AR角色的详尽参数。它也在蓝牙上通信以便发送用户命令并接收音频以便通过AR显示设备播放。可以使用任何合适的有线或无线设备通信协议。

虚拟对象行为模块804适于从对象速度和方向模块803接收输入，并把这样的输入应用到正在各显示器的任何一个或多个上显示的虚拟对象。因而，例如，对象和手势识别系统将解释用户手势；并且，通过把所捕捉的用户的手的移动映射到所识别的移动，虚拟对象跟踪器模块将把虚拟对象的位置和移动关联到对象和手势识别系统所识别的移动，对象与速度和方向模块将捕捉虚拟对象的移动的动态，并且虚拟对象行为模块将接收来自对象与速度和方向模块的输入以便生成数据，该数据将把虚拟对象的移动引导为对应于来自对象与速度和方向模块的输入。

另一方面，虚拟对象跟踪器模块806可以适于跟踪虚拟对象应当位于显示器的邻近的三维空间的何处。虚拟对象跟踪器模块806可以例如在虚拟对象跨越屏幕和在屏幕之间移动时跟踪虚拟对象，并跟踪接近该虚拟对象的任何真实对象或附加的虚拟对象的位置。这可以用来提供关于虚拟对象的位置是否与一个或多个屏幕重合的最终知识。

AR和其他对象跟踪模块808协调在各种屏幕上或在各屏幕之间时的角色行为。例如，在AR角色已经离开一个屏幕时，该屏幕可以不再显示该角色，直到会话结束或直到其虚拟位置返回到该屏幕。为了完成这一点，在由虚拟对象行为模块804生成AR角色时，生成设备利用来自虚拟对象跟踪器模块的数据来理解视场中该角色相对于其他屏幕的位置。为了实现这一点，可以由相邻屏幕视角模块分析图像数据，以便估计在各设备当中的距离。在那些位置中间的AR角色的尺寸可以被用来估计AR角色是否实际上触摸屏幕。备选地，可以把来自虚拟对象跟踪器模块的数据与相邻屏幕视角模块一起用来判断AR角色的具体位置。

相邻屏幕视角模块807可以包括设备接近度检测模块825或耦合到设备接近度检测模块825，它可以适于判断一个显示器相对于另一显示器的角度和位置。这可以被用来使用其照相机或其他传感器来确定AR显示器的位置和移动，并且观察其他显示器相对于彼此的位置。可以使用加速度计、磁力计、罗盘或照相机来确定该设备保持的角度，同时，红外发射器和照相机可以允许确定屏幕设备相对于邻近设备上的传感器的定向。以这种方式，相邻屏幕视角模块807可以确定邻近屏幕相对于其自己的屏幕坐标的坐标。因而，相邻屏幕视角模块可以确定哪些设备相互接近，且确定跨越各屏幕且在各屏幕之间移动一个或多个虚拟对象的进一步的潜在目标。相邻屏幕视角模块还可以允许把屏幕的位置与表示所有现有对象和虚拟对象的三维空间的模型相关起来。

通过接收来自虚拟对象跟踪器模块806的输入，对象与速度和方向模块803可以适于估计正在移动的虚拟对象的动态，例如其轨迹、速度(是线性的还是带角度的)、动量(是线性的还是带角度的)等等。在虚拟对象与其他对象交互时，通过例如估计加速度、偏转、虚拟捆绑的拉伸度等等，对象与速度和方向模块还可以适于估计任何物理力的动态以及虚拟对象的动态行为。对象与速度和方向模块也可以使用图像运动、大小和角度改变来估计虚拟对象的速度。

动量和惯量模块802可以使用对象在图像平面或三维空间中的图像运动、图像大小和角改变来估计该对象在空间中或在显示器上的速度和方向。

3D图像交互和效果模块805生成包括虚拟对象和真实对象的三维空间，并跟踪与所显示的图像交互的虚拟对象。然后，它允许把三维真实空间中的对象映射到一个或多个屏幕的位置。可以与z轴(朝向和离开屏幕的平面)中的对象对彼此的相对影响一起计算这些对象的影响。例如，在虚拟对象到达屏幕的平面之前，通过用户手势扔出的对象可以受到前景中的3D对象影响。这些对象可以改变抛射物的方向或速度或完全破坏它。可以由3D图像交互和效果模块把该对象呈现在显示器的一个或多个上的前景中。

图9是诸如个人计算机、平板计算机、游戏控制台、智能手机或便携式游戏设备等的计算系统的框图。计算机系统900包括用于传输信息的总线或其他通信装置901，以及用于处理信息的处理装置，例如与总线901耦合的微处理器902。计算机系统可以增加专门用于通过并行管线呈现图形的图形处理器903，以及如上所述用于计算物理交互的物理处理器905。这些处理器可以合并到中央处理器902，或者作为一个或多个分离的处理器而提供。

计算机系统900还包括耦合到总线901的、用于存储由处理器902执行的信息和指令的主存储器904，例如随机存取存储器(RAM)或其他动态数据存储设备。主存储器也可以用于在处理器执行指令期间存储临时变量或其他中间信息。计算机系统也可以包括耦合到总线、用于为处理器存储静态信息和指令的非易失性存储器906，例如只读存储器(ROM)或其他静态数据存储设备。

诸如磁盘、光盘或固态阵列等的大容量存储器907及其相应的驱动器也可以耦合到计算机系统的总线，用于存储信息和指令。计算机系统也可以经由总线耦合到用于向用户显示信息的显示设备或监视器921，例如液晶显示器(LCD)或有机发光二极管(OLED)阵列。例如，除了以上所描述的各种视图和用户交互之外，还可以在显示设备上把安装状态、操作状态和其他信息的图形和文本指示呈现给用户。

通常，诸如带有字母数字键、功能键和其他键的键盘等的用户输入设备可以耦合到总线，用于把信息和命令选择传输给处理器。附加的用户输入设备可以包括诸如鼠标、跟踪球、触控板或光标方向键等的光标控制输入设备，且可以耦合到总线，用于把方向信息和命令选择传输给处理器并控制显示器921上的光标移动。

照相机和话筒阵列923耦合到总线，以便观察手势、记录音频和视频并接收如上所述的可视命令和音频命令。

通信接口925也耦合到总线901。通信接口可以包括调制解调器、网络接口卡或其他公知的接口设备，例如出于提供通信链路以便支持局域网或广域网(LAN或WAN)的目的用于耦合到以太网、令牌环或其他类型的物理有线或无线附件的那些接口设备。以这种方式，计算机系统也可以例如经由包括内联网或因特网的常规网络基础设施耦合到多种多外围设备、其他客户机或控制面板或控制台、或服务器。

对于某些实现，比以上所描述的示例具有更少或更多的配置的系统是更加优选的。因此，取决于众多因素，例如价格约束、性能要求、技术改进或其他环境，示例性系统800和900的配置将因不同实现而改变。

各实施例可以被实现为以下中的任何或组合：使用主板互连的一个或多个微芯片或集成电路、硬连线逻辑、由存储器设备存储且由微处理器执行的软件、固件、专用集成电路(ASIC)和/或现场可编程门阵列(FPGA)。作为示例，术语“逻辑”可以包括软件或硬件和/或软件和硬件的组合。

例如，可以把各实施例提供为可包括其上存储有机器可执行指令的一个或多个机器可读介质的计算机程序产品，这些指令在由诸如计算机、计算机网络或其他电子设备等的一个或多个机器执行时，可以引起一个或多个机器执行根据本发明的各实施例的操作。机器可读介质可以包括但不限于软盘、光盘、CD-ROM(紧致盘只读存储器)和磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁或光卡、闪速存储器或适用于存储机器可执行指令的其他类型的介质/机器可读介质。

此外，可以作为计算机程序产品下载各实施例，其中，可以经由通信链路(例如，调制解调器和/或网络连接)由载波或其他传播介质实现和/或调制的一种或多种数据信号把程序从远程计算机(例如，服务器)传输给请求计算机(例如，客户机)。因此，在此所使用的机器可读介质可以包括这样的载波，但对此不作要求。

对“一种实施例”、“一个实施例”、“示例实施例”、“各种实施例”等等的引用指示这样描述的本发明的(各)实施例可以包括具体的特征、结构或特性，但并非每一实施例必定包括具体的特征、结构或特性。进一步，一些实施例可以具有相对于其他实施例所描述的特征中的一些、全部，或没有任何这些特征。

在下列描述和权利要求中，可以使用术语“耦合”及其派生词。“耦合”用来指示两个或更多个元素协同操作或相互交互，但在它们之间可以具有或不具有中介物理或电气组件。

如权利要求中所使用的，除非另有说明，把序数形容词“第一”、“第二”、“第三”等等用来描述共同的元素，仅仅指示提及类似元素的不同实例，且不预期暗示这样描述的元素必须处于给定的序列，无论是时间、空间、分级或以任何其他方式。

附图和前面的描述给出了各实施例的示例。本领域中的技术人员将明白，所描述的元素中的一种或多个可以很好地组合成单个功能元素。备选地，可以把些元素拆分成多个功能元素。可以把来自一种实施例的元素添加到另一实施例。例如，可以改变在此描述的处理的顺序，且不限于在此描述的方式。此外，不必按所显示的次序实现任何流程图的动作；也不必然需要执行所有动作。而且，不依赖于其他动作的那些动作可以与其他动作并行执行。各实施例的范围决不限于这些特定的示例。无论是否在说明书中明确地给出，诸如材料的结构、尺寸和使用的差异等的众多变更都是可能的。各实施例的范围至少是下列的权利要求所指定的那样宽广。

Claims (20)

1.一种方法，包括：：

生成虚拟对象；

生成包括第一显示器的现实空间；

在第二显示器上呈现包括所述第一显示器的所述现实空间中的所述虚拟对象；

在所述虚拟对象移动通过所述现实空间时，跟踪所述虚拟对象在所述现实空间中的位置；

使用所跟踪的位置在所述第二显示器上更新所述虚拟对象的呈现；以及

在所跟踪的所述虚拟对象的位置与所述现实空间中的所述第一显示器的位置重合时，在所述第一显示器上呈现所述虚拟对象。

2.如权利要求1所述的方法，进一步包括：

在所述第一显示器上呈现所显示的对象；

在所跟踪的位置接近所述第一显示器时，在所述第二显示器上呈现在所显示的对象和所述虚拟对象之间的交互；以及

在所述第一显示器上呈现对所显示的对象的交互的效果。

3.如权利要求2所述的方法，进一步包括把所显示的对象转换成进一步的虚拟对象并且在所述第二显示器上而不是在所述第一显示器上呈现所述进一步的虚拟对象。

4.如权利要求1所述的方法，进一步包括：

在所述现实空间中生成进一步的虚拟对象；以及

在所跟踪的位置接近所述进一步的虚拟对象时，在所述第二显示器上呈现在所述虚拟对象和所述进一步的虚拟对象之间的交互。

5.如权利要求1所述的方法，其特征在于，所述交互包括对所述虚拟对象的效果和对所述进一步的虚拟对象的效果。

6.如权利要求1所述的方法，其特征在于，所述现实空间包括真实对象，所述方法进一步包括在所跟踪的位置接近所述现实空间中的所述真实对象时在所述第二显示器上呈现在所述虚拟对象和所述真实对象之间的交互。

7.如权利要求1所述的方法，其特征在于，在所述第二显示器上呈现所述虚拟对象包括把关于所述虚拟对象的数据传输给所述第二显示器且所述第二显示器把关于所述虚拟对象的数据与关于所述现实空间的所捕捉的数据组合起来。

8.如权利要求1所述的方法，其特征在于，在所述第二显示器上呈现在所述现实空间中的所述虚拟对象包括当所跟踪的位置与所述第一显示器的位置重合时在所述第一显示器上呈现所述虚拟对象。

9.如权利要求1所述的方法，进一步包括在所述现实空间中呈现所述虚拟对象的音频表示，并使用所跟踪的位置修改所述音频表示。

10.如权利要求1所述的方法，进一步包括接收表示与所述虚拟对象的交互的用户输入并在所述第二显示器上呈现在所述虚拟对象和所述用户输入之间的交互。

11.如权利要求10所述的方法，其特征在于，接收用户输入包括接收在所述虚拟对象处的空中手势、在所述虚拟对象处的触摸屏手势、语音命令中的至少一种。

12.如权利要求1所述的方法，其特征在于，所述现实空间是三维空间，其中，所述第一显示器是三维显示器，且其中，在所述第一显示器上呈现所述虚拟对象包括把所述虚拟对象呈现为三维表示。

13.一种装置，包括：

对象速度和方向模块，其生成具有虚拟对象和第一显示器的三维现实空间；

屏幕渲染模块，其在第二显示器上呈现包括所述虚拟对象和所述第一显示器的所显示的区域；

虚拟对象跟踪器模块，其在所述虚拟对象移动通过所述现实空间时跟踪所述虚拟对象在所述现实空间中的位置并使用所跟踪的位置更新在所述第二显示器上的所述虚拟对象的呈现；以及

数据传输协调模块，其在所跟踪的所述虚拟对象的位置与所述现实空间中的所述第一显示器的位置重合时在所述第一显示器上呈现所述虚拟对象。

14.如权利要求13所述的装置，其特征在于，所述对象速度和方向模块生成所述第一显示器的所显示的对象，且所述数据传输协调模块在所述第一显示器上呈现所显示的对象，所述装置进一步包括：

图像交互和效果模块，其在所跟踪的所述虚拟对象的位置接近所述第一显示器时确定在所显示的对象和所述虚拟对象之间交互，以及

其中，所述屏幕渲染模块在所述第二显示器上呈现所确定的交互。

15.如权利要求13所述的装置，其特征在于：

所述对象速度和方向模块在所述现实空间中生成进一步的虚拟对象；

其中，在所跟踪的位置接近所述进一步的虚拟对象时，所述图像交互和效果模块确定在所述虚拟对象和所述进一步的虚拟对象之间的虚拟对象交互；以及

其中，所述屏幕渲染模块在所述第二显示器上呈现所确定的虚拟对象交互。

16.如权利要求13所述的装置，其特征在于，所述现实空间包括真实对象，所述装置进一步包括AR(增强现实)和其他对象跟踪模块，以便在所跟踪的位置接近所述现实空间中的所述真实对象时确定在所述虚拟对象和所述真实对象之间的真实对象交互，且其中，所述屏幕渲染模块在所述第二显示器上呈现所确定的真实对象交互。

17.如权利要求13所述的装置，进一步包括耦合到所述屏幕渲染模块的相邻屏幕视角模块，其判断所述第一显示器相对于所述第二显示器的角度和位置并向所述屏幕渲染模块提供所确定的角度和位置，以便修正在所述第一显示器和第二显示器上的呈现。

18.一种具有指令的机器可读非暂态介质，在由所述机器读取时，所述指令引起所述机器执行包括以下的操作：

生成虚拟对象；

生成包括第一显示器的现实空间；

在第二显示器上呈现在包括所述第一显示器的所述现实空间中的所述虚拟对象；

在所述虚拟对象移动通过所述现实空间时，跟踪所述虚拟对象在所述现实空间中的位置；

使用所跟踪的位置，在所述第二显示器上更新所述虚拟对象的呈现；以及

在所跟踪的所述虚拟对象的位置与所述现实空间中的所述第一显示器的位置重合时，在所述第一显示器上呈现所述虚拟对象。

19.如权利要求18所述的介质，所述操作进一步包括：

在所述第一显示器上呈现所显示的对象；

在所跟踪的位置接近所述第一显示器时，在所述第二显示器上呈现在所显示的对象和所述虚拟对象之间的交互；以及

在所述第一显示器上呈现所述交互对所显示的对象的效果。

20.如权利要求18所述的所述介质，其特征在于，所述现实空间包括第三显示器，所述操作进一步包括：

跟踪所述虚拟对象相对于所述第三显示器的位置；以及

在所跟踪的所述虚拟对象的位置与所述第三显示器在所述现实空间中的位置重合时，在所述第三显示器上呈现所述虚拟对象。