CN107251102A - 基于与增强现实场景的用户交互的增强修改 - Google Patents

Abstract

描述了用于响应于用户交互来修改增强现实的设备、方法和存储介质。在一个实例中，用于修改增强现实的所述设备可以包括处理器、与所述处理器耦合以用于捕捉物理场景的场景捕捉相机、以及由所述处理器操作的增强管理模块。所述增强管理模块可以获取并分析所述物理场景、基于所述分析的结果生成一个或多个虚拟物品以增强对所述物理场景的渲染、追踪与所述经渲染的增强场景的用户交互、并且响应于所述追踪的用户交互来修改或补充所述虚拟物品。可对其他实施例进行描述并要求保护。

Description

基于与增强现实场景的用户交互的增强修改

相关申请

本申请要求于2015年3月24日提交的题为“AUGMENTATION MODIFICATION BASEDON USER INTERACTION WITH AUGMENTED REALITY SCENE(基于与增强现实场景的用户交互的增强修改)”的美国申请号14/667,302的优先权。

技术领域

本公开涉及增强现实领域，并且具体地涉及响应于用户交互而修改增强现实。

背景技术

本文所提供的背景描述是出于一般地呈现本公开的上下文的目的。除非本文另外指出，否则本节中所描述的材料对于本申请的权利要求书而言并非现有技术，并且不通过包括在本节中而被承认是现有技术。

贯穿人的一生，可能涉及居住的物理世界以及可以玩耍、学习、工作等的虚拟世界两者。增强现实和混合现实应用创建了可以模糊虚拟世界与真实世界之间的界限的环境。然而，在当前现有技术下，增强现实可以包括利用虚拟产物对物理场景的增强，所述增强基于用户的自然交互模态(比如面部表情、手势、语音命令等)可能并不响应于与用户的交互。

附图说明

结合附图通过以下详细描述将很容易理解实施例。为了方便本描述，相同的参考标号指代相同的结构元件。在附图的各图中通过示例的方式而非通过限制的方式展示了实施例。

图1是根据本公开的各实施例的展示了一种用于响应于用户交互来修改增强现实的示例设备的框图。

图2展示了根据本公开的各实施例的示例计算环境。

图3展示了根据一些实施例的用于响应于用户交互来修改增强现实的示例过程。

图4展示了根据各实施例的适用于实践本公开的各个方面的示例计算环境。

图5展示了具有被配置用于实践与参照图1至图3所描述的过程相关联的操作中的全部操作或所选操作的指令的示例非瞬态计算机可读存储介质。

具体实施方式

在以下详细描述中，参照形成其一部分的附图，其中相同的标号自始至终指代相同的部件，并且其中通过说明的方式示出了可实践的实施例。应当理解，在不脱离本公开的范围的情况下，可以利用其他实施例并且可以做出结构改变或逻辑改变。因此，以下详细描述不应被认为具有限制意义，并且实施例的范围由所附权利要求书及其等效物来限定。

本文中描述了用于基于与经渲染的增强现实的用户交互来修改增强现实的计算设备、方法和存储介质。在一个实例中，用于修改增强现实的所述设备可以包括处理器、与所述处理器耦合以用于捕捉物理场景的场景捕捉相机、以及由所述处理器操作的增强管理模块。所述增强管理模块可以获取并分析所述物理场景、基于所述分析的结果生成一个或多个虚拟物品以增强对所述物理场景的渲染、追踪与所述经渲染的增强场景的用户交互、并且响应于所述追踪的用户交互来修改或补充所述虚拟物品。

可以采用对理解所要求保护的主题最有帮助的方式将各个操作依次描述为多个分立的动作或操作。然而，描述的顺序不应被解释为暗示这些操作一定是顺序相关的。具体地，可以不按所呈现的顺序来执行这些操作。可以按与所描述的实施例不同的顺序来执行所描述的操作。可以执行各个附加操作和/或可以在附加实施例中省略所描述的操作。

出于本公开的目的，短语“A和/或B”意指(A)、(B)、(A)或(B)、或者(A和B)。出于本公开的目的，短语“A、B和/或C”意指(A)、(B)、(C)、(A和B)、(A和C)、(B和C)，或者(A、B和C)。

本说明可以使用短语“在一个实施例中(in an embodiment)”或“在实施例中(inembodiments)”，所述短语可以各自指代相同或不同的实施例中的一个或多个实施例。此外，如关于本公开的实施例而使用的术语“包括(comprising)”、“包括(including)”、“具有(having)”等是同义的。

如在本文中所使用的，术语“逻辑”和“模块”可以指代以下各项、是以下各项的一部分或者包括以下各项：执行一个或多个软件或固件程序的应用专用集成电路(ASIC)、电子电路、处理器(共享处理器、专用处理器或组处理器)和/或存储器(共享存储器、专用存储器或组存储器)、组合逻辑电路、和/或提供所描述的功能的其他合适部件。

图1是根据各实施例的展示了用于响应于用户交互来修改增强现实的示例设备100的框图。如所展示的，设备100可以包括与彼此通信地耦合的处理器112、存储器114、增强管理模块140、显示器134、模型库138、场景捕捉相机102以及交互捕捉相机104。设备100可以是例如膝上型计算装置、平板计算装置、移动计算装置、或一体式(AIO)计算装置。

场景捕捉相机102可以布置在设备100中或与所述设备耦合，以用于捕捉物理场景的图像/视频。物理场景可以包括一个或多个物理对象的图像。在实施例中，相机102捕捉的图像可以包括颜色信息和深度信息两者。交互捕捉相机104可以布置在设备100中或与所述设备耦合，以用于捕捉与为用户渲染的增强的物理场景的用户交互的图像/视频，如将在图2中更详细地描述的那样。

相机102和104可以外围地附接或集成到设备100中。相机102和104可以经由适用于传输相机102和104所捕捉的数据的有线或物理连接与设备100通信地耦合。如以上所指示的，相机102和104可以被配置用于捕捉深度信息和颜色信息两者。例如，在一些实施例中，相机102和104可以结合深度传感器(比如结合红外相机使用的红外发射器)以及二维(2D)图像捕捉传感器(比如红、绿和蓝(RGB)相机传感器)。通常，相机102和104可以具有2D或三维(3D)图像捕捉能力并且可以实施为3D相机、深度相机或双焦相机和/或以其他方式能够生成深度图像、通道或流。相机102、104可以包括静态相机、视频相机、网络摄像头、红外(IR)相机、或能够捕捉视频和/或图像的其他装置。至少交互捕捉相机104可以包括用户接口(例如，麦克风)以用于应用到为用户渲染的增强现实的语音命令。

设备100可以被配置用于从相机102和104接收物理场景的以及与所述场景的用户交互的捕捉图像并且将所述捕捉图像提供给增强管理模块140。

增强管理模块140可以从场景捕捉相机102获取并分析物理场景并且基于分析的结果生成一个或多个虚拟物品以增强对物理场景的渲染。增强管理模块140还可以基于交互捕捉相机104所提供的图像来追踪与经渲染的增强场景的用户交互，并且响应于追踪的用户交互来修改或补充生成的虚拟物品。下文中更详细地描述了增强管理模块140的操作。

增强管理模块140可以包括一个或多个部件(未示出)，所述一个或多个部件被配置用于合并包括在图像中的颜色信息和深度信息以创建对相机102和104所提供的图像的3D渲染。增强管理模块140可以进一步包括场景增强部件110，所述场景增强部件被配置用于分析场景捕捉相机102所提供的物理场景图像并且基于分析的结果生成一个或多个虚拟物品以增强对物理场景的渲染。在显示器134上对物理场景的渲染可以例如由增强管理模块140或者由设备100的操作系统的对应管理部件来提供。

场景增强部件110可以包括用于识别包含在图像中的预定义物理对象的对象识别和分析模块122。这可以例如通过特征提取以及所提取的特征与预定义物理对象的特征的对比来完成。在实施例中，预定义物理对象可以包含在预定义物理对象数据库中。

在一些实施例中，场景增强部件110可以被配置用于使设备100的用户能够限定新的物理对象。这可以通过经由相机102捕捉物理对象的一个或多个图像来完成。对象识别和分析部件122可以被配置用于从所述一个或多个图像中提取与物理对象相关联的特征并且生成足以标识物理场景的图像中的物理对象的特征数据。这些特征可以存储在物理对象储存库(例如，存储器114)中以用于标识未来的物理场景中的物理对象。

所识别的对象中的一些对象可以包括可与物理场景中所识别对象的增强相关的虚拟物品的标记、标签、或其他指示。对象识别和分析部件122可以被配置用于生成一个或多个虚拟物品并且利用一个或多个虚拟物品增强对所识别的物理对象的3D渲染以用于输出到显示器134上。例如，对象识别和分析模块122可以被配置用于识别与对象相关联的标记中的关键颜色或其他标识符，以响应于颜色或其他标识符的识别而触发生成与对象相关联的一个或多个虚拟物品。例如，如果物理对象包括树，则其可以例如根据与树相关联的并且由对象识别和分析模块122标识的标识符通过添加一个或多个虚拟的鸟、松鼠、坚果、水果等来增强。

在一些实施例中，场景增强部件110可以被配置用于动态地追踪经渲染的场景中的物理对象的位置以确定物理对象的移动并且使生成的虚拟物品根据所述移动来运转。这可以被认为是一种基于上下文的增强，其中，所述上下文可以基于物理对象的移动。

所描述的物理场景增强技术出于说明的目的被提供并且不应被视为对本公开进行限制。将理解的是，可以将不同的现实增强方法应用到场景捕捉相机102所捕捉的物理场景中。

在实施例中，增强管理模块140可以被配置用于基于交互捕捉相机104所捕捉并提供的用户交互的图像(在一些实施例中，结合如在下文中所描述的出于用户交互追踪的目的可以分布在设备100周围的传感器所提供的用户交互信息)实时地或近实时地追踪与显示器134上所渲染的增强物理场景的用户交互。

与增强的经渲染的场景的用户交互可以采取不同形式。例如，用户交互指示可以包括但可以不限于手势、用户面部表情的变化、用户下发的口头命令、用户眼睛注视的变化、用户姿态的变化、用户头部姿势的变化、或其组合。用户交互可以包括与场景增强部件110为显示器134上渲染的增强场景提供的一个或多个虚拟物品的各种类型的交互。

交互捕捉相机104可以被配置用于捕捉与经渲染的增强场景的用户交互并且将捕捉的信息提供给用户交互追踪部件120。在实施例中，交互捕捉相机104可以被放置在设备100中或者在所述设备周围以面对设备100的用户，以便捕捉用户面部表情、手势和/或姿态、姿势、眼睛注视等方面的变化。

在一些实施例中，除了交互捕捉相机104之外或作为所述交互捕捉相机的替代方案，设备100可以包括多个传感器136以用于追踪与经渲染的增强场景的用户交互指示。传感器136可以包括接近度传感器、惯性传感器、光学传感器、光传感器、音频传感器、温度传感器、热敏电阻、运动传感器、振动传感器、麦克风、相机和/或其他类型的传感器。

传感器136可以按照多种不同的方式跨设备100分布。例如，一些传感器(例如，用于捕捉与用户语音命令相关联的音频的麦克风)可以驻留在交互捕捉相机104中，而其他传感器可以嵌在设备100的本体周围。一些传感器(比如运动传感器(例如，加速计、陀螺仪等))可以被放置在场景捕捉相机102所捕捉的物理场景的对象中或在其周围以检测与对象相关联的位置和速度变化等。

传感器136可以包括用于记录例如与用户交互相关联的内容(比如用户交互的图像或语音命令)的记录装置。记录装置可以被实施为任何外部的外围装置或集成装置。

增强管理模块140可以进一步包括用户交互追踪部件120，所述用户交互追踪部件被配置用于基于交互捕捉相机104和/或传感器136所提供的用户交互信息实时地或近实时地追踪与增强的物理场景的用户交互。

用户交互追踪部件120可以包括处理部件150，所述处理部件被配置用于接收、预处理(例如，数字化和时间戳记)交互捕捉相机104和/或传感器136所提供的数据并且提供经过预处理的数据以进行下文中所描述的进一步处理。

用户交互追踪部件120可以包括语音识别部件124，所述用户识别部件被配置用于识别由用户提供的与经渲染的增强场景中的特定虚拟物品相关联的语音命令。在实施例中，语音识别部件124可以包括转换器，所述转换器用于匹配设备100的多个用户的语音，所述多个用户可以有资格提供与虚拟物品相关联的语音命令。

用户交互追踪部件120可以包括面部表情追踪部件115，所述面部表情追踪部件被配置用于追踪用户的面部表情(例如，嘴或眼睛移动)、检测面部表情变化、记录面部表情变化并且解释与经渲染的增强场景中的特定虚拟物品有关的用户面部表情的变化。例如，面部表情追踪部件115可以分析用户面部表情并且响应于面部表情的变化和/或由用户经由语音命令提供的音频叙述使得能够操纵增强场景中的虚拟物品。面部表情追踪部件115还可以被配置用于追踪用户的注视并且提供关于用户对虚拟物品的注视的变化的眼睛追踪信息。

用户交互追踪部件120可以进一步包括手势追踪部件116，所述手势追踪部件用于追踪由用户提供的与经渲染的增强场景中的特定虚拟物品有关的手势。手势可以单独地或结合其他用户交互指示(比如语音命令)充当用于响应于所述指示操纵增强场景中的虚拟物品的指示。

增强管理模块140可以包括增强修改部件130(出于说明的目的被示出为场景增强部件110的一部分)，所述增强修改部件被配置用于响应于追踪的用户交互来修改或补充一个或多个虚拟物品。例如，增强修改部件130可以被配置用于将经渲染的增强场景中的虚拟物品与用户交互追踪部件120所检测到的与经渲染的增强场景中的虚拟物品的所指示的用户交互进行对准。

在另一个示例中，增强修改部件130可以被配置用于响应于用户交互追踪部件120所提供的与虚拟物品的用户交互指示，更改在经渲染的增强场景中的虚拟物品的位置。

在另一个示例中，增强修改部件130可以被配置用于响应于与经渲染的增强场景中的虚拟物品的用户交互指示，更改(例如，改变尺寸、颜色等)经渲染的增强场景中的虚拟物品。

为了方便增强修改，设备100可以包括模型库138，所述模型库被配置成储存库以用于基于检测到的交互指示对虚拟物品进行增强修改。例如，模型库138可以包括规则，所述规则被配置用于基于例如启发式法来确定基于相关联指示或与虚拟物品的用户交互对虚拟物品的修改或补充。例如，模型库138可以按照特定性质和对相关联虚拟物品的相应类型的修改或补充来存储手势、语音命令或面部表情的索引。

应当理解的是，在一些实施例中，所展示的部件中的任何或所有部件(比如相机102、104和/或传感器136)可以与设备100分离开并且远离所述设备，但却与所述设备通信地耦合。通常，设备100的部分或全部功能(比如处理能力和/或存储器容量)可以与增强管理模块140一起使用或共享。此外，增强管理模块140的至少一部分部件(例如，库138)可被设备100访问(例如，与所述设备通信地耦合)，但是可以不必驻留在设备100上。上述部件中的一个或多个部件可以跨设备100分布和/或驻留在云计算设备上以托管这些部件。另外，在一些实施例中，说明性部件中的一个或多个说明性部件可以结合在另一个部件中、或以其他方式形成其一部分。例如，在一些实施例中，存储器114或其一部分可以结合到处理器112中。将理解的是，增强管理模块140可以包括硬件、软件(例如，存储在存储器114中)或其组合。

图2展示了根据本公开的各实施例的示例计算环境200。计算环境200的部件中的至少一些部件可以与图1的设备100的部件相对应。计算环境200可以包括设备100(比如可以包括显示器134和增强管理模块140的膝上型计算装置)。计算环境200可以进一步包括与计算装置100耦合的场景捕捉相机102和交互捕捉相机104。虽然在本文中被描绘成集成到计算装置100中，但是在一些实施例中，相机102和104可以外围地附接至计算装置100。

如所示出的，场景捕捉相机102基本上面对计算装置100前面的物理场景，以使得能够捕捉204(用虚线指示)物理场景206。如所示出的，物理场景包括对象(杯子)208。交互捕捉相机104面对用户210，以使得能够捕捉212(用虚线指示)与显示器134上渲染的增强场景214的用户交互。计算装置100可以被放置在固定位置(例如，在表面202上)，以使能够捕捉具有对象208的物理场景206、与增强场景214进行用户交互、并且进行本文中所描述的场景214增强修改。

在操作中，场景捕捉相机102可以捕捉204具有对象208的物理场景206并且将捕捉的场景提供给增强管理模块140以用于如参照图1所描述的处理和增强。增强管理模块140可以分析捕捉的场景206、标识对象208并且提供所捕捉场景214的增强。例如，增强管理模块140可以生成一个或多个相关的虚拟物品以增强识别的对象208。在图2所展示的示例中，对象208可以用虚拟物品(比如花216和蝴蝶218)来增强，如在图2中所展示的那样。

与场景捕捉相机102的操作基本上同时地，交互捕捉相机104可以捕捉212与显示器134上渲染的增强场景214的用户交互，并且将捕捉的图像提供给增强管理模块140以用于如参照图1所描述的处理和分析。如参照图1所描述的，除了交互捕捉相机104之外，用户交互可以被多个传感器136(未在图2中示出)捕捉。然而，将假设相机104与传感器合作操作以用于捕捉用户交互，并且出于描述的简单性，用户捕捉将关于交互捕捉相机104而被描述。

例如，交互捕捉相机104可以捕捉用户210的图像并且将捕捉的图像提供给增强管理模块140以用于分析。所述分析可以包括标识以及收集关于用户210的个人模态(比如姿态、相对于相机104的位置、头部姿势、面部表情、眼睛注视、手势等)的信息。然后，相机104可以连续地或周期性地实时或近实时地捕捉用户的个人模态并且将捕捉的信息提供给增强管理模块140，以用于追踪并检测与增强的经渲染的场景214的用户交互指示。

如上所述，用户210可以以各种方式与增强的经渲染的场景214进行交互。例如，用户210可以使用手势、语音命令、面部表情、眼睛移动、或者语音命令、手势和面部表情的组合。

例如，用户手势可以与语音命令相关联(例如，经由参照图1所描述的记录装置)。用户210可以指向场景214中的对象并且提供音频命令：对于特定虚拟物品采取特定类型的动作。

在图2所描绘的示例中，用户210可以操纵虚拟物品218(蝴蝶)，比如试图用她的手220抓住蝴蝶或者试图用她的眼睛222的移动来移动蝴蝶。

响应于检测到的用户交互(例如，试图抓住蝴蝶)，增强管理模块140可以修改或补充经渲染的增强的场景214中的虚拟物品216、218。例如，增强管理模块140可以将经渲染的增强场景214中的虚拟物品(例如，蝴蝶218)与指示的用户交互(比如试图抓住蝴蝶218)进行对准。换言之，在经渲染的增强场景214中，增强管理模块140可以使蝴蝶218虚拟地移向(例如“进入”)用户的手220中。

在另一个示例中，增强管理模块140可以响应于用户的手220试图抓住蝴蝶218而更改所述蝴蝶的位置(比如在场景214中虚拟地移动蝴蝶218“远离”用户的手220)。

在另一个示例中，增强管理模块140可以响应于检测到的与虚拟物品的用户交互指示来更改虚拟物品。例如，增强管理模块140可以使花216响应于用户的手220的挥动或其他用户交互指示而虚拟地开放。

在另一个示例中，增强管理模块140可以响应于用户210视点的变化(例如，经由改变的头部姿势)而对准虚拟物品。

对虚拟物品进行了所描述的操纵的增强场景214可以在显示器134上向用户210重新渲染。

图3展示了根据一些实施例的用于响应于用户交互来修改增强现实的示例过程。过程300可以例如由配置有参照图1和图2所描述的增强管理模块140的设备100(例如，计算装置)来执行。

过程300可以始于框302，并且包括获取并分析有关与增强现实的用户交互的物理场景和用户特性的信息。如参照图2所描述的，场景捕捉相机可以捕捉物理场景并且将捕捉的场景提供给增强管理模块以用于处理和增强。增强管理模块可以分析捕捉的场景并且标识场景中的对象，以提供对所捕捉场景的增强。

基本上同时地，交互捕捉相机可以捕捉计算装置的用户的图像并且将捕捉的图像提供给增强管理模块以用于分析。所述分析可以包括标识以及关于用户的个人模态(比如姿态、相对于相机104的位置、头部姿势、面部表情、眼睛注视、手势等)的收集信息。

在框304，过程300可以包括基于对物理场景的分析生成一个或多个虚拟物品以增强对可以显示给用户的物理场景的渲染。更确切地，可以生成一个或多个相关的虚拟物品以增强经渲染的增强场景中的被识别的对象。

在框306处，过程300可以包括增强对具有在框304处生成的虚拟物品的物理场景的渲染。

在框308处，过程300可以包括追踪与经渲染的增强场景的用户交互。例如，交互捕捉相机可以连续地或周期性地实时或近实时地捕捉用户的个人模态并且将捕捉的信息提供给增强管理模块，以用于追踪并检测与增强的经渲染的场景的用户交互指示。

在框310处，过程300可以包括响应于对用户交互的追踪，修改或补充经渲染的增强场景中的一个或多个物品。例如，如果检测到与经渲染的增强场景中的虚拟物品的用户交互指示，则可以通过将经渲染的增强场景中的虚拟物品与经渲染的增强场景中的指示的用户交互进行对准来修改增强场景。在另一个示例中，可以通过响应于检测到的用户交互指示更改在经渲染的增强场景中的虚拟物品的位置来修改增强场景。在另一个示例中，可以通过响应于用户交互指示更改经渲染的增强场景中的虚拟物品来修改增强场景。

在决策框312，过程300可以包括判定与计算装置的用户会话是否已结束。如果会话尚未结束，则过程300可以返回至框308。否则，过程300可以结束。

应当理解的是，参照图3所描述的动作可以不必按所描述的顺序发生。例如，与框308相对应的动作可以同与框310相对应的动作基本上同时发生。

图4展示了根据各实施例的适合用于实践本公开的方面的示例计算装置400。如所示出的，计算装置400可以包括一个或多个处理器或处理器核402、以及系统存储器404。出于本申请(包括权利要求书)的目的，术语“处理器”和“处理器核”可以被认为是同义的，除非上下文另外明确要求。处理器402可以包括任何类型的处理器，比如中央处理单元(CPU)、微处理器等。处理器402可以被实现为具有多核的集成电路，例如，多核微处理器。计算装置400可以包括大容量存储装置406(比如磁盘、硬盘驱动器、易失性存储器(例如，DRAM)、致密盘只读存储器(CD-ROM)、数字多功能盘(DVD)等等)。通常，系统存储器404和/或大容量存储装置406可以是任何类型的临时和/或永久存储装置，包括但不限于易失性和非易失性存储器、光学存储装置、磁存储装置、和/或固态大容量存储装置等等。易失性存储器可以包括但不限于静态随机存取存储器和/或动态随机存取存储器。非易失性存储器可以包括但不限于电可擦除可编程只读存储器、相变存储器、电阻存储器等等。

计算装置400可以进一步包括输入/输出(I/O)装置408(比如显示器134、键盘、光标控件、远程控件、游戏控制器、图像捕捉装置等等)和通信接口(comm.INTF)410(比如网络接口卡、调制解调器、红外接收器、无线电接收器(例如，蓝牙)等等)。如所示出的，I/O装置408可以进一步包括相机102和104以及传感器136。

通信接口410可以包括可被配置用于根据以下各项来操作装置400(或100)的通信芯片(未示出)：全球移动通信系统(GSM)、通用分组无线电业务(GPRS)、通用移动电信系统(UMTS)、高速分组接入(HSPA)、演进型HSPA(E-HSPA)、或LTE网络。通信芯片还可以被配置用于根据以下各项进行操作：GSM演进的增强型数据(EDGE)、GSM EDGE无线电接入网络(GERAN)、通用陆地无线电接入网络(UTRAN)、或演进型UTRAN(E-UTRAN)。通信芯片可以被配置用于根据以下各项进行操作：码分多址(CDMA)、时分多址(TDMA)、数字增强型无绳电信(DECT)、演进数据优化(EV-DO)、其衍生物、以及被指定为3G、4G、5G及其以后的任何其他无线协议。在其他实施例中，通信接口410可以根据其他无线协议进行操作。

上述计算装置400元件可以经由系统总线412耦合至彼此，所述系统总线可以表示一条或多条总线。在多条总线的情况下，它们可以由一个或多个总线桥(未示出)桥接。这些元件中的每个元件可以执行其在本领域中已知的常规功能。具体地，系统存储器404和大容量存储装置406可以用来存储实现与设备100相关联的操作(例如，与提供如参照图1至图3所描述的、通常被示出为计算逻辑422的增强管理模块140相关联的操作)的编程指令的工作副本和永久副本。计算逻辑422可以通过(多个)处理器402所支持的汇编指令或者可编译成这种指令的高级语言来实现。

编程指令的永久副本可以在工厂中或在现场通过例如分布式介质(未示出)(比如压缩盘(CD))或者通过通信接口410(从分布式服务器(未示出))被放置到大容量存储装置406中。

图5展示了具有被配置用于实践与上述过程相关联的操作中的全部操作或所选操作的指令的示例非瞬态计算机可读存储介质502。如所展示的，非瞬态计算机可读存储介质502可以包括多个编程指令504(例如，包括增强管理模块140)。编程指令504可以被配置用于响应于编程指令的执行使得装置(例如，计算装置400)能够执行参照图1至图3所描述的过程的一个或多个操作。在替代实施例中，编程指令504反而可以布置在多个非瞬态计算机可读存储介质502上。在另外的其他实施例中，编程指令504可被编码在瞬态计算机可读信号中。

再次参照图4，元件408、410、412的数量、能力和/或容量可以取决于计算装置400是用作固定的计算装置(比如机顶盒或台式计算机)还是移动的计算装置(比如平板计算装置、膝上型计算机、游戏控制台或智能电话)而发生改变。它们的构成是以其他方式已知的，并且因此将不进行进一步的描述。

处理器402中的至少一个处理器可以与具有被配置用于实践参照图1至图4所描述的实施例的方面的计算逻辑422的存储器封装在一起。例如，计算逻辑422可以被配置成包括或接入内容增强模块140(比如参照图1所描述的部件120)。对于一个实施例，处理器402中的至少一个处理器可以与具有被配置用于实践图3的过程300的方面的计算逻辑422的存储器封装在一起以便形成系统级封装(SiP)或片上系统(SoC)。

在各种实施方式中，计算装置500可以包括膝上型计算机、上网本、笔记本、超级笔记本、智能电话、平板计算机、个人数字助理(PDA)、超级移动PC、移动电话、台式计算机、服务器、打印机、扫描仪、监视器、机顶盒、娱乐控制单元、数码相机、便携式音乐播放器、或数字视频录像机。在进一步实施方式中，计算装置400可以是对数据进行处理的任何其他电子装置。

以下段落描述了各实施例的示例。

示例1是一种用于提供增强现实计算的设备，包括：处理器；场景捕捉相机，所述场景捕捉相机与所述处理器耦合以用于捕捉物理场景；以及增强管理模块，所述增强管理模块由所述处理器操作以用于：获取并分析所述物理场景，基于所述分析的结果生成一个或多个虚拟物品以增强对所述物理场景的渲染，追踪与所述经渲染的增强场景的用户交互，以及响应于所述追踪的用户交互来修改或补充所述一个或多个虚拟物品。

示例2可以包括如示例1所述的主题，进一步包括：交互捕捉相机，所述交互捕捉相机与所述处理器耦合以用于捕捉与所述增强场景的所述用户交互并且用于将关于所述捕捉的交互的信息提供给所述增强管理模块以用于追踪。

示例3可以包括如示例2所述的主题，其中，所述设备选自以下各项中的一项：膝上型计算装置、平板计算装置、移动计算装置、或一体式(AIO)计算装置。

示例4可以包括如示例1所述的主题，其中，所述增强管理模块用于追踪与所述经渲染的增强场景的用户交互包括用于获取与所述经渲染的增强场景中的所述一个或多个虚拟物品中的至少一个虚拟物品的用户交互指示。

示例5可以包括如示例4所述的主题，其中，所述增强管理模块用于修改或补充所述经渲染的增强场景包括用于：将所述经渲染的增强场景中的所述一个或多个虚拟物品中的所述至少一个虚拟物品同与所述经渲染的增强场景中的所述一个或多个虚拟物品中的所述至少一个虚拟物品的所述指示的用户交互进行对准；响应于与所述经渲染的增强场景中的所述一个或多个虚拟物品中的所述至少一个虚拟物品进行所述所述用户交互指示，更改所述经渲染的增强场景中的所述一个或多个虚拟物品中的所述至少一个虚拟物品的位置；或者响应于与所述经渲染的增强场景中的所述一个或多个虚拟物品中的所述至少一个虚拟物品进行所述所述用户交互指示，更改所述经渲染的增强场景中的所述一个或多个虚拟物品中的所述至少一个虚拟物品。

示例6可以包括如示例4所述的主题，其中，所述用户交互指示包括以下各项中的至少所选择的一项：手势、面部表情的变化、口头命令、眼睛注视的变化、姿态的变化、或头部姿势的变化。

示例7可以包括如示例1所述的主题，进一步包括：显示装置，所述显示装置与所述处理器耦合以用于向所述用户显示所述经渲染的增强场景。

示例8可以包括如示例1所述的主题，其中，所述增强管理模块用于利用一个或多个虚拟物品增强对所述物理场景的渲染包括用于至少部分地基于与所述物理场景相关联的一个或多个标记来增强所述渲染。

示例9可以包括如示例1至8中任一项的主题，其中，所述增强管理模块用于与所述用户交互的所述追踪基本上同时地修改或补充所述增强场景。

示例10可以包括如示例2所述的主题，其中，所述相机中的每个相机包括二维(2D)或三维(3D)相机，以用于捕捉分别与所述物理场景或所述用户交互相关联的实时深度数据和颜色数据，其中所述颜色数据包括红、绿和蓝(RGB)数据。

示例11可以包括如示例10所述的主题，其中，所述设备被放置在基本上水平的表面上，以使得能够进行对所述物理场景和所述用户交互的所述捕捉。

示例12是一种用于提供增强现实计算的计算机实施的方法，包括：由计算装置利用一个或多个虚拟物品来增强对物理场景的渲染；由所述计算装置追踪与所述经渲染的增强场景的用户交互；以及由所述计算装置响应于对所述用户交互的所述追踪，修改或补充所述经渲染的增强场景中的所述一个或多个虚拟物品。

示例13可以包括如示例12所述的主题，进一步包括：由所述计算装置获取并分析所述物理场景；以及由所述计算装置基于所述分析所述物理场景生成所述一个或多个虚拟物品以增强对所述物理场景的所述渲染。

示例14可以包括如示例12至13中任一项所述的主题，进一步包括：由所述计算装置对所述增强场景进行渲染以用于显示。

示例15可以包括如示例14所述的主题，其中，追踪与所述经渲染的增强场景的用户交互包括：由所述计算装置获取与所述经渲染的增强场景中的所述一个或多个虚拟物品中的至少一个虚拟物品的用户交互指示，并且其中，修改或补充所述一个或多个物品进一步包括：同获取与所述经渲染的增强场景中的所述一个或多个虚拟物品中的所述至少一个虚拟物品的所述用户交互指示基本上同时地且响应于所述获取，由所述计算装置将所述经渲染的增强场景中的所述一个或多个虚拟物品中的所述至少一个虚拟物品与所述指示的用户交互进行对准。

示例16可以包括如示例15所述的主题，其中，获取用户交互指示包括由所述计算装置检测以下各项中的至少所选择的一项：手势、面部表情的变化、口头命令、眼睛注视的变化、姿态的变化、或头部姿势的变化。

示例17是一种或多种计算机可读介质，具有存储于所述计算机可读介质上的用于提供增强现实计算的指令，所述指令响应于被计算装置执行而为所述计算装置提供增强管理环境，所述增强管理环境用于：利用一个或多个虚拟物品来增强对物理场景的渲染；追踪与所述经渲染的增强场景的用户交互；以及响应于对所述用户交互的所述追踪，修改或补充所述经渲染的增强场景中的所述一个或多个物品。

示例18可以包括如示例17所述的主题，其中，所述计算装置进一步配备有所述增强管理环境，所述增强管理环境用于：获取关于所述物理场景的信息；分析关于所述物理场景的信息；以及基于对所述物理场景的所述分析的结果生成所述一个或多个虚拟物品以增强对所述物理场景的所述渲染。

示例19可以包括如示例17至18中任一项所述的主题，其中，所述计算装置配备有所述增强管理环境，所述增强管理环境用于追踪与所述经渲染的增强场景的用户交互包括所述增强管理环境用于：获取与所述经渲染的增强场景中的所述一个或多个虚拟物品中的至少一个虚拟物品的用户交互指示。

示例20可以包括如示例19所述的主题，其中，所述计算装置配备有所述增强管理环境，所述增强管理环境用于修改或补充所述一个或多个物品包括所述增强管理环境用于同与所述一个或多个虚拟物品中的所述至少一个虚拟物品的所述用户交互指示的所述获取基本上同时地且响应于所述获取，将所述场景中的所述一个或多个虚拟物品中的所述至少一个虚拟物品与所述指示的用户交互进行对准。

示例21是一种用于提供增强现实计算的设备，包括：用于利用一个或多个虚拟物品增强对物理场景的渲染的装置；用于追踪与所述经渲染的增强场景的用户交互的装置；以及用于响应于对所述用户交互的所述追踪来修改或补充所述经渲染的增强场景中的所述一个或多个物品的装置。

示例22可以包括如示例21所述的主题，进一步包括：用于获取关于所述物理场景的信息的装置；用于分析关于所述物理场景的信息的装置；以及用于基于对所述物理场景的所述分析的结果生成所述一个或多个虚拟物品以增强对所述物理场景的所述渲染的装置。

示例23可以包括如示例21至22中任一项所述的主题，其中，用于追踪与所述经渲染的增强场景的用户交互的装置包括用于获取与所述经渲染的增强场景中的所述一个或多个虚拟物品中的至少一个虚拟物品的用户交互指示的装置。

示例24可以包括如示例23所述的主题，其中，用于响应于对所述用户交互的所述追踪来修改或补充所述经渲染的增强场景中的所述一个或多个物品的装置包括：用于同与所述一个或多个虚拟物品中的所述至少一个虚拟物品的所述用户交互指示的所述获取基本上同时地且响应于所述获取，将所述场景中的所述一个或多个虚拟物品中的所述至少一个虚拟物品与所述指示的用户交互进行对准的装置。

用于执行上述技术的计算机可读介质(包括非瞬态计算机可读介质)、方法、设备、系统和装置是本文中所公开的实施例的说明性示例。另外，上述交互中的其他装置可以被配置用于执行各种被公开的技术。

虽然已经出于描述的目的在本文中展示和描述了某些实施例，但是在不脱离本公开的范围的情况下，适合于实现相同目的的各种各样的替代和/或等效实施例或实施方式可以代替所示出和所描述的实施例。本申请旨在覆盖本文中所讨论的实施例的任何修改或变化。因此，显然意图是，本文中所描述的实施例仅由权利要求书来限制。

Claims (20)

1.一种用于提供增强现实计算的设备，包括：

处理器；

场景捕捉相机，所述场景捕捉相机与所述处理器耦合以捕捉物理场景；以及

增强管理模块，所述增强管理模块由所述处理器操作以用于：

获取并分析所述物理场景，

基于所述分析的结果生成一个或多个虚拟物品以增强对所述物理场景的渲染，

追踪用户与所述经渲染的增强场景的交互，以及

响应于所追踪的用户交互来对所述一个或多个虚拟物品进行修改或补充。

2.如权利要求1所述的设备，进一步包括：交互捕捉相机，所述交互捕捉相机与所述处理器耦合以捕捉所述用户与所述增强场景的交互并且向所述增强管理模块提供关于所捕捉的交互的信息以进行追踪。

3.如权利要求2所述的设备，其中，所述设备选自以下各项中的一项：膝上型计算装置、平板计算装置、移动计算装置、或一体式(AIO)计算装置。

4.如权利要求1所述的设备，其中，所述增强管理模块用于追踪用户与所述经渲染的增强场景的交互包括用于获取关于用户与所述经渲染的增强场景中的所述一个或多个虚拟物品中的至少一个虚拟物品的交互的指示。

5.如权利要求4所述的设备，其中，所述增强管理模块用于对所述经渲染的增强场景进行修改或补充包括用于：

将所述经渲染的增强场景中的所述一个或多个虚拟物品中的所述至少一个虚拟物品同所指示的用户与所述经渲染的增强场景中的所述一个或多个虚拟物品中的所述至少一个虚拟物品的交互进行对准；

响应于关于所述用户与所述经渲染的增强场景中的所述一个或多个虚拟物品中的所述至少一个虚拟物品的交互的所述指示，更改所述经渲染的增强场景中的所述一个或多个虚拟物品中的所述至少一个虚拟物品的位置；或者

响应于关于所述用户与所述经渲染的增强场景中的所述一个或多个虚拟物品中的所述至少一个虚拟物品的交互的所述指示，更改所述经渲染的增强场景中的所述一个或多个虚拟物品中的所述至少一个虚拟物品。

6.如权利要求4所述的设备，其中，关于所述用户交互的指示包括以下各项中的至少所选择的一项：手势、面部表情的变化、口头命令、眼睛注视的变化、姿态的变化、或头部姿势的变化。

7.如权利要求1所述的设备，进一步包括：显示装置，所述显示装置与所述处理器耦合以向所述用户显示所述经渲染的增强场景。

8.如权利要求1所述的设备，其中，所述增强管理模块用于利用一个或多个虚拟物品来增强对所述物理场景的渲染包括用于至少部分地基于与所述物理场景相关联的一个或多个标记来增强所述渲染。

9.如权利要求1至8中任一项所述的设备，其中，所述增强管理模块用于与对所述用户交互的所述追踪基本上同时地对所述增强场景进行修改或补充。

10.如权利要求2所述的设备，其中，所述相机中的每个相机包括二维(2D)或三维(3D)相机，用于捕捉分别与所述物理场景或所述用户交互相关联的实时深度数据和颜色数据，其中，所述颜色数据包括红、绿和蓝(RGB)数据。

11.如权利要求10所述的设备，其中，所述设备被放置在基本上水平的表面上，以使得能够进行对所述物理场景和所述用户交互的所述捕捉。

12.一种用于提供增强现实计算的计算机实施的方法，所述方法包括：

由计算装置利用一个或多个虚拟物品增强对物理场景的渲染；

由所述计算装置追踪用户与所述经渲染的增强场景的交互；以及

由所述计算装置响应于对所述用户交互的所述追踪，对所述经渲染的增强场景中的所述一个或多个虚拟物品进行修改或补充。

13.如权利要求12所述的计算机实施的方法，进一步包括：

由所述计算装置获取并分析所述物理场景；以及

由所述计算装置基于所述分析物理场景生成所述一个或多个虚拟物品以增强对所述物理场景的所述渲染。

14.如权利要求12至13中任一项所述的计算机实施的方法，进一步包括：

由所述计算装置对所述增强场景进行渲染以用于显示。

15.如权利要求14所述的计算机实施的方法，其中，追踪用户与所述经渲染的增强场景的交互包括：

由所述计算装置获取关于用户与所述经渲染的增强场景中的所述一个或多个虚拟物品中的至少一个虚拟物品的交互的指示，并且

其中，对所述一个或多个物品进行修改或补充进一步包括：

同获取关于所述用户与所述经渲染的增强场景中的所述一个或多个虚拟物品中的所述至少一个虚拟物品的交互的指示基本上同时地且响应于所述获取，由所述计算装置将所述经渲染的增强场景中的所述一个或多个虚拟物品中的所述至少一个虚拟物品与所指示的用户交互进行对准。

16.如权利要求15所述的计算机实施的方法，其中，获取关于用户交互的指示包括由所述计算装置检测以下各项中的至少所选择的一项：手势、面部表情的变化、口头命令、眼睛注视的变化、姿态的变化、或头部姿势的变化。

17.一种或多种计算机可读介质，具有存储于所述计算机可读介质上的用于提供增强现实计算的指令，所述指令响应于被计算装置执行而为所述计算装置提供增强管理环境，所述增强管理环境用于：

利用一个或多个虚拟物品来增强对物理场景的渲染；

追踪用户与所述经渲染的增强场景的交互；以及

响应于对所述用户交互的所述追踪，对所述经渲染的增强场景中的所述一个或多个物品进行修改或补充。

18.如权利要求17所述的计算机可读介质，其中，所述计算装置进一步配备有所述增强管理环境，所述增强管理环境用于：

获取关于所述物理场景的信息；

分析关于所述物理场景的信息；以及

基于对所述物理场景的所述分析的结果生成所述一个或多个虚拟物品以增强对所述物理场景的所述渲染。

19.如权利要求17至18中任一项所述的计算机可读介质，其中，所述计算装置配备有所述增强管理环境，所述增强管理环境用于追踪用户与所述经渲染的增强场景的交互包括所述增强管理环境用于：

获取关于用户与所述经渲染的增强场景中的所述一个或多个虚拟物品中的至少一个虚拟物品的交互的指示。

20.如权利要求19所述的计算机可读介质，其中，所述计算装置配备有所述增强管理环境，所述增强管理环境用于对所述一个或多个物品进行修改或补充包括所述增强管理环境用于同对关于所述用户与所述一个或多个虚拟物品中的所述至少一个虚拟物品的交互的指示的所述获取基本上同时地且响应于所述获取，将所述场景中的所述一个或多个虚拟物品中的所述至少一个虚拟物品与所指示的用户交互进行对准。