CN112449691B - 通过物理接触细化虚拟网格模型 - Google Patents

Abstract

公开了与通过物理接触来细化虚拟网格模型相关的示例。例如，诸如可穿戴手套之类的手戴式移动设备可以用于在物理环境的虚拟网格模型内创建和/或强调特定点。可以经由移动设备的触摸传感器来获得移动设备的界面与物理对象的物理接触的指示。可以基于从一个或多个定位传感器获得的传感器数据，在与物理对象进行物理接触期间标识移动设备的界面的位置和/或方位。指示位置的位置数据可被存储在可以从中引用位置数据的数据存储设备中。在一个示例中，可以基于位置数据优先进行对包含物理对象的物理环境的虚拟网格模型的细化。

Description

通过物理接触细化虚拟网格模型

背景技术

虚拟模型可以用于描述物理环境的特征，包括物理环境中包含的物理对象。增强现实、虚拟现实以及各种形式的混合现实均可以依赖虚拟模型进行虚拟内容的空间布置。

发明内容

提供本发明内容是为了以简化的形式介绍一些概念，这些概念将在下面的具体实施方式中进一步描述。本发明内容并不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。此外，所要求保护的主题并不限于解决在本公开的任何部分中提到的任何或所有缺点的实现方式。

公开了与通过物理接触细化虚拟网格模型有关的示例。例如，诸如可穿戴手套之类的手戴式移动设备可以用于在物理环境的虚拟网格模型内创建和/或强调特定点。可以经由移动设备的触摸传感器获得移动设备的界面与物理对象的物理接触的指示。可以基于从一个或多个定位传感器获得的传感器数据，来在与物理对象的物理接触期间标识移动设备的界面的位置和/或方位。指示位置的位置数据可以存储在数据存储设备中，可以从数据存储设备查询位置数据。在一示例中，可以基于由位置数据指示的位置，优先进行对包含物理对象的物理环境的虚拟网格模型的细化。

附图说明

图1描述了使用移动设备来定义物理环境内的位置的人类对象的示例，其中，在所述位置处，优先进行虚拟网格模型的细化。

图2是描述示例性计算系统的示意图。

图3是描述示例性方法的流程图。

图4是描述包括手套的示例性移动设备的示意图。

图5是以简化形式描述示例性计算系统的示意图。

具体实施方式

虚拟网格模型的细化和表示物理环境的表面的重构具有消耗大量时间和计算资源的可能性。例如，在没有足够的人为干预的情况下运行的计算系统可能以延迟或忽略对更相关或更重要的特征的成像、细化和重构为代价，在物理环境中对不相关或不太重要的特征进行成像、细化和重构。另外，在没有人为干预的情况下，与亮色和/或平坦的表面相比，由计算系统针对深色和/或高度特征化的表面开发的虚拟网格模型可能较不准确或分辨率不足。

所公开的示例可以通过使用移动设备来解决这些和其他问题，所述移动设备使用户能够通过与物理对象的物理接触来定义物理环境内的位置，而针对所述位置，优先进行虚拟网格模型的细化。与光学成像技术相比，由移动设备提供的物理接触可被另外用于获得物理对象的更准确的测量，包括推断物理对象的硬度的能力。通过增加虚拟网格模型的准确性，依赖于虚拟网格模型的增强现实、虚拟现实和/或混合现实体验可以更紧密地与物理环境联系在一起。

图1描述了使用移动设备120以在物理环境内定义位置130的人类对象110(即，用户)的示例，在所述位置处虚拟网格模型的细化可以被优先进行。在该示例中，移动设备120是包括具有多个手指套的可穿戴手套122的手戴式移动设备或基于手的移动设备。在图1中描述了对应于用户的食指的示例性手指套124，手指套124物理地接触物理环境内与位置130相对应的物理对象132(例如，墙壁)。同样在图1中，用户戴着头戴式显示(HMD)设备140，通过所述头戴式显示(HMD)设备140，可以以与代表物理环境的特征-包括物理对象132-的虚拟网格模型相关地显示虚拟内容。来自移动设备120的一个或多个触摸传感器的触摸数据，与从一个或多个定位传感器获得的位置数据相结合，可被用于检测位置130，在所述位置130处移动设备触摸物理对象132以进一步细化由HMD设备140使用的虚拟网格模型，例如，通过创建与位置130相对应的新的网格节点和/或通过标识在其处网格的细化将被优先进行的区域。

图2是描述示例性计算系统200的示意图。计算系统200包括移动设备210、HMD设备212、作为外部移动设备214的外部计算设备214以及HMD设备212，以及针对外部移动设备214和HMD设备212的一个或多个外部光学传感器216，它们中的每个均可以彼此通过通信网络218进行通信。通信网络218可以通过广域、局域和/或个人区域网络组件来支持移动设备210、HMD设备212、计算设备214、光学传感器216和/或其他设备中的两者或三者之间的有线和/或无线通信。

移动设备210可以是手戴式或基于手的移动设备，例如可穿戴手套。图1的移动设备120是图2的移动设备210的示例，但是移动设备210也可以采用其他合适的形式。移动设备210可以包括一个或多个界面，每个界面均具有一个或多个相关联的触摸传感器。例如，移动设备210可以包括第一界面222和第一触摸传感器224。移动设备的界面，-例如第一界面222-可以指通过其能检测到移动设备与物理对象的物理接触(即，触摸事件)的外表面。取决于移动设备的形式因素，这样的界面可以采用各种形式。在包括具有手指套的手套的移动设备210的情况下，第一界面222和第一触摸传感器224可以被设置成邻近于手套的手指套的一端。例如，第一界面222可以被定位成沿着手套的手掌侧上的第一手指套的外部、对应于食指的末端肢段。但是，也可以使用其他合适的位置。第一触摸传感器224可以位于第一界面222的表面下方，或者可以与第一界面222集成在一起以检测与物理对象物理地接触的第一界面。

移动设备210可以包括额外的界面和相关联的触摸传感器，例如第二界面226和第二触摸传感器228；第三界面230和第三触摸传感器232等。继续以手套为例，第二界面226可以沿着手套的手掌侧上的第二指套的外部、对应于中指的末端肢段定位，并且第三界面230可以沿着手套的手掌侧上的第三手指套的外部、对应于拇指的末端肢段定位。第二和第三触摸传感器228、232可以类似地分别位于第二和第三界面226、230的表面下方，或者可以分别与第二和第三界面226、230集成在一起，以同样地检测这些与物理对象物理地接触的界面。作为示例，触摸传感器224、228和232中的每个触摸传感器均可包括压阻传感器和/或电容触摸传感器。移动设备210可以包括一个或多个未在图2中示出的额外的界面和/或触摸传感器。例如，附加的界面和触摸传感器可以与手套的第四和第五手指套以及手套形状因素的各个手掌位置相关联。将理解的是，除了食指、中指、无名指和小指之外，术语“手指”或“手指套”在本文中还可以用来指手套的拇指或拇指套。

移动设备210可以采用计算设备的形式。例如，移动设备210可以包括一个或多个逻辑设备234以及一个或多个数据存储设备236。移动设备210还可以包括一个或多个定位传感器238，通过其可以标识移动设备的定位，包括移动设备和/或其一部分的位置和/或方位(例如，单个手指套的位置和/或方位)。移动设备210还可以包括无线接口240，其使得移动设备能够经由通信网络218的无线组件相对于诸如HMD设备212、计算设备214、光学传感器216等这样的其它设备接收和/或发送无线通信。可替换地或附加地，移动设备210可以支持有线通信。移动设备210可以包括用于为移动设备的电子组件供电的电源242。移动设备210可以包括一个或多个光学跟踪特征244(例如，光学可跟踪标签或星座)，所述光学跟踪特征244通过经由光学传感器对移动设备的进行成像来促进跟踪所述移动设备的定位。

HMD设备212可以采用计算设备的形式。图1中先前描述的HMD设备140是图2的HMD设备212的示例。HMD设备212可以包括一个或多个逻辑设备250，以及一个或多个数据存储设备252。HMD设备212可以包括一个或多个定位传感器254，通过其可以标识该HMD设备的定位和/或移动设备210的定位，包括这些设备或其部分的位置和/或方位。作为示例，定位传感器254可以包括光学传感器(例如，面向外的相机)，其可以用于成像和跟踪移动设备210的定位。HMD设备212可以包括无线接口256，所述无线接口256使得所述HMD设备能够经由通信网络218的无线部件相对于诸如移动设备210、计算设备214、光学传感器216等这样的其它设备接收和/或发送无线通信。可替代地或附加地，HMD设备212可以支持有线通信。HMD设备212可以包括用于为HMD设备的电子组件供电的电源258。作为示例，HMD设备212可以包括一个或多个显示器260，其可以在混合现实或增强现实的背景下包括近眼透视显示器，或者在虚拟现实的背景下包括近眼完全遮挡显示器。在其他示例中，HMD设备212反而可以采用具有显示器和照相机的手持式计算设备的形式，例如智能手机、平板计算机、膝上型计算机等。

在一示例中，计算设备214可以位于远离移动设备210、HMD设备212和光学传感器216中的一个或多个的位置。例如，计算设备214可以采用通过通信网络218的广域网组件可访问的服务器系统的远程服务器的形式。在另一示例中，计算设备214可以与移动设备210、HMD设备212和光学传感器216中的一个或多个位于同一位置。例如，计算设备214可以采用游戏控制台、个人计算机、或通过通信网络218的局域网或个人区域网络组件可访问的局部联网设备的形式。计算设备214包括一个或多个逻辑设备270和一个或多个数据存储设备272。

光学传感器216可以指的是固定和/或移动光学传感器，并且可以包括例如专用相机或集成到其他电子设备中的相机。例如，光学传感器216可用于对物理环境进行成像并跟踪移动设备210和/或HMD设备212的定位。

图3是描述示例性方法300的流程图，该示例性方法300用于通过移动设备与对象的物理接触来对物理环境的网格呈现的细化进行优先进行。方法300可以由计算系统的一个或多个设备执行，例如先前所描述的图2的计算系统200或其组件。例如，方法300可以由移动设备210单独地执行，由HMD设备212单独地执行，由计算设备214单独地执行，或者由移动设备210、HMD设备212和/或计算设备214中的两个或更多个的组合来执行。将参考图5更详细地描述可以执行方法300的示例性计算系统的其他方面。

在310处，所述方法包括经由手戴式移动设备的触摸传感器，获得所述移动设备的界面与物理对象的物理接触的指示。在示例中，移动设备包括例如先前参考图2的移动设备210所描述的人类对象可穿戴的手套。例如，所述界面和所述触摸传感器可以被布置为与手套的手指套的端部相邻。所述手套可以包括多个手指套，其中，所述多个手指套中的每个手指套均包括相应的界面和相应的触摸传感器，所述相应的界面和所述相应的触摸传感器被布置为与所述手指套的端部相邻。但是，也可以使用其他合适的配置。

所述移动设备可以捕获和在数据存储设备中存储以下中的一个或多个：标识何时发生了物理接触的时间戳、参与物理接触的界面的标识符、和/或至少在物理接触期间通过移动设备的一个或多个定位传感器捕获的传感器数据。在其中所述处理在移动设备的板外(offboard)执行的示例中，移动设备可以经由有线或无线通信链路将界面的物理接触的指示发送到另一设备。例如，移动设备可以向目标设备发送物理接触的指示，作为以下中的一个或多个：标识何时发生了物理接触的时间戳、参与物理接触的移动设备的界面的标识符、和/或至少在物理接触期间通过移动设备的一个或多个定位传感器捕获的传感器数据。目标设备可以经由有线或无线通信链路接收界面的物理接触的指示，以用于从移动设备远程地进行进一步处理。

此外，在其中移动设备的触摸传感器可以测量和界面与物理对象的物理接触相关联的压力或力的量的示例中，这些测量可以与上文描述的时间戳和/或界面标识符一起被存储、传输和/或处理。压力或力的量的这种测量可被用于推断物理对象的硬度，硬度可被用在增强现实、虚拟现实和/或混合现实环境中，以更准确地表示与物理对象相互作用的虚拟对象。例如，物理对象的硬度可以与基于时间的和/或基于定位的力/压力函数相关联，其中在一段时间内和/或在一定距离上由触摸传感器获得的力/压力的测量值表示物理对象的变形。

在312处，所述方法包括在获得与物理对象的物理接触的指示之后，从指示界面的定位的一个或多个定位传感器捕获传感器数据。界面的定位可以包括相对于参考系处于一个、二个或三个自由度的位置和/或界面处于一个、二个或三个自由度的方位。所述参考系可以对应于跟踪移动设备的定位(例如，位置和/或方位)的设备或移动设备的一部分(例如，手套的单个的手指套)。所述参考系可以是跟踪定位的元件的局部参考系或另一元件、设备、或服务的不同的参考系(例如，全球参考系)。坐标变换可被用于将第一参考系内的位置和/或方位转换到第二参考系。作为示例，由移动设备的定位传感器在移动设备的局部参考系内捕获的传感器数据可以被转换到由HMD设备使用的参考系。作为另一示例，由手套的手指套的定位传感器在手指套的局部参考系内所捕获的传感器数据可以被转换到另一局部参考系，例如手套的手掌的参考系。

可以从位于移动设备的板上(on-board)的一个或多个定位传感器和/或从位于移动设备的板外的一个或多个定位传感器捕获传感器数据。在传感器数据的处理在移动设备的板外执行的示例中，所述方法可以进一步包括：通过有线或无线通信链路，经由方位到诸如远程计算设备这样的目标设备的移动设备的有线或无线通信界面，发送传感器数据或界面的定位的指示。作为示例，一个或多个定位传感器可以包括一个或多个惯性传感器、一个或多个磁力计传感器、一个或多个全球定位传感器(例如，GPS传感器或其他无线地理位置传感器)和/或位于移动设备的板上的一个或多个应力传感器，以及位于移动设备的板外的用来对移动设备进行成像的一个或多个光学传感器。作为示例，位于移动设备的板外的光学传感器可被用于对移动设备的光学跟踪特征(例如，视觉标记或标签、视觉标记的星座或其他视觉参考)进行成像。位于移动设备的板上的惯性传感器和/或应变传感器可被用于检测相对于彼此可移动的移动设备的两个或更多个特征的相对定位和/或运动。例如，惯性传感器和/或应变传感器可以与手套的各个手指套相关联，以使得能够相对于彼此和/或相对于手套的手/手掌部分来标识每个手指套的定位。

在314处，基于从一个或多个定位传感器获得的传感器数据，在与所述物理对象的物理接触期间，标识所述移动设备的界面的位置。取决于实现方式，界面的位置可以由移动设备或另一设备来标识。在一些示例中，界面的位置可以通过传感器融合技术来标识，并且可以包括从位于移动设备的板上的和移动设备的板外的多种传感器类型获得的传感器数据。

在316处，所述方法包括将指示在314处被标识的界面的位置的位置数据存储在数据存储设备中。数据存储设备可以驻留在移动设备的板上，或者可以位于移动设备的板外在另一设备或服务处。在示例中，将所述位置数据存储在所述数据存储设备中包括：将所述位置数据存储为虚拟网格模型的选择的网格节点的数据分量。可以通过将标识符与虚拟网格模型相关联来存储位置数据，以将所选择的网格节点指定为虚拟网格模型内的物理接触的位置和/或以将所选择的网格节点与其他网格节点区分开，例如，通过例如包括光学成像的其他技术来标识的网格节点。在移动设备标识界面的位置的示例中，移动设备可以经由有线或无线通信链路将位置数据或界面的位置的指示发送到目标设备。

在至少一些实施方式中，所述方法附加地或可替代地包括，在314处，基于从一个或多个定位传感器获得的传感器数据，在与物理对象进行物理接触期间，标识移动设备的界面的方位。在该实施方式中，所述方法可以附加地或替代地包括，在316处，类似于所选择的网格节点的位置数据，将指示方位的方位数据存储在数据存储设备中。此外，物理对象的压力/力和/或推断的硬度的测量可以与所选择的网格节点的位置和/或方位数据一起存储。在与物理对象的物理接触期间标识界面的方位可被用于例如促进相对于虚拟网格模型的物理对象的表面重构。如先前参考界面的位置和/或位置数据的指示所描述的，方位数据和/或界面的方位的指示可以由移动设备通过有线或无线通信链路发送到目标设备。

在318处，所述方法包括基于所述位置数据指示的位置，优先进行包含所述物理对象的物理环境的虚拟网格模型的细化。在一个示例中，基于所述位置优先进行所述虚拟网格模型的细化可包括：处理通过所述物理环境的光学成像所获得的图像数据，以提取由所述位置数据指示的、与位于所述位置邻区(vicinity of the location)之外的所述物理环境的其他区域相比的所述位置邻区的网格节点的更高的分辨率。在另一示例中，基于所述位置优先进行所述虚拟网格模型的细化可包括：在处理通过所述物理环境的光学成像所获得的其他图像数据以提取位于所述位置邻区之外的网格节点之前，处理通过所述物理环境的光学成像获得的图像数据以提取所述位置数据指示的位置邻区的网格节点。在又一示例中，基于所述位置优先进行所述虚拟网格模型的细化包括：在捕获位于所述位置邻区之外的所述物理环境的其他区域的其他图像数据之前，捕获由所述位置数据指示的位置邻区的图像数据。在以上每个示例中，位置的邻区可以由围绕该位置的预定大小和/或形状定义，或者可以在捕获时定义。例如，由移动设备与物理环境的多个物理接触标识的多个位置可被用于定义相对于其可以优先进行虚拟网格的优化的路径或区域，从而使用户能够标识更复杂的用于细化的区域。可以单独或组合使用以上用于优先进行虚拟网格的细化的示例，以相对于用户通过与物理环境中的物理对象的物理接触标识的一个或多个位置来提高虚拟网格生成和/或物理环境的表面重构的效率。例如，以上示例中的每个的光学成像可以由一个或多个HMD设备或具有照相机的其他电子设备执行。

作为优先进行的虚拟网格模型细化的子过程，在320处，可以向与虚拟网格模型的细化相关联的一个或多个计算设备提供物理接触的位置的指示和/或其位置数据。作为一个例子，在本文公开的服务器系统或其他计算设备上运行的服务可以基于它们各自的位置从HMD设备或其他计算设备接收对虚拟网格模型数据的邻域请求，并且可以基于所述邻域请求向那些请求设备提供用于物理接触的位置数据。在322处，计算设备在接收到位置数据之后，可以基于由位置数据指示的位置来实现关于虚拟网格模型的细化和/或表面重构的优先进行。

在324处，所述方法可以进一步包括在增强现实、虚拟现实和/或混合现实环境内利用虚拟网格模型和/或基于虚拟网格模型的重构表面。作为一个例子，全息图或其他虚拟内容可以由诸如HMD设备这样的计算设备相对于虚拟网格模型和/或它的重构表面在限定的定位被显示。

用户可以重复图3的方法300，以定义在其处可以细化虚拟网格的额外位置，并且可以为其获得表面方位和硬度测量以进一步增强物理环境的表面重构。

图4是描述包括手套410的示例性移动设备400的示意图。图4的移动设备400是先前描述的图2的移动设备210的示例，手套410是先前描述的图1的手套122的示例。手套410可以包括由任何合适的材料或材料的组合形成的主体部分412，包括天然纺织材料、合成纺织材料、混合纺织材料、柔性聚合物材料(例如，橡胶、硅树脂、聚乙烯等)等。例如，纺织材料可以由诸如线或纤维这样的元素的集合来机织、编织、复合等。在该示例中，手套410被配置为以与传统的非电子功能手套相似的感觉进行弯曲和移动，以提供感觉自然且不引人注意的用户输入机制。虽然显示为用于通过所有五个手指的运动提供输入的五指手套，但是在其他示例中，手套输入设备可以包括少于五个手指(例如，在示例中为拇指、食指和中指)的感测能力。

图4描述了手套410的手掌侧，其具有用虚线表示的位于手套的相对侧上的特征。手套410的示例性手指套414包括具有相关联的触摸传感器418的界面416。作为示例，触摸传感器418可包括压阻传感器和/或电容传感器。触摸传感器418可以提供界面416与物理对象的物理接触的指示，并且可以另外提供用户的手通过界面向物理对象施加的压力或力的量的指示。9轴传感器系统420位于手套410的手的背面，并且作为示例，可以包括3轴陀螺仪传感器、3轴加速度计传感器和3轴磁力计传感器。一组光学跟踪特征422位于手套410的后侧，其形成星座，该星座可以被照相机捕获以标识手套或其部分的位置和/或方位。在光学跟踪特征422具有固定的空间关系的情况下，可以使用刚体旋转算法将图像中的星座特征的观察模式拟合到星座模型，以确定手套的位置。在光学跟踪特征422彼此具有可变的空间关系的情况下，计算机训练和/或机器学习可被用于训练分类器，该分类器确定光学跟踪特征在可能的空间关系的整个域上的定位(例如，手套背景下的手指位置)。在一个示例中，光学跟踪特征422包括发光二极管，该发光二极管发射可以由先前训练的计算机程序解读的红外和/或可见光。

手套410可以包括与各个手指套相关联的额外的传感器以感测与手指套414相关联的弯曲，作为定位传感器的其他例子，传感器例如是一个或多个额外的惯性和/或磁力计传感器424以及一个或多个压阻和/或应变传感器426。传感器424和/或426可以提供相对于手掌的用户的手指的定位的指示，包括界面416的位置和/或方位。电子控制模块430可以位于手套410的板上，其可包括其它电子部件，例如先前参考图2的移动设备210描述的那些电子部件。在图4中，为了清楚起见，已经省略了电子控制模块430与手套410的各种传感器和/或电子部件之间的电路。

在一示例中，本文描述的方法和过程可以与具有一个或多个计算设备的计算系统联系在一起。特别地，这样的方法和过程可以被实现为计算机应用程序或服务、应用程序编程接口(API)、库和/或其他计算机程序产品。

图5是以简化的方式描述可以实现上述方法和过程中的一个或多个的计算系统500的示意图。计算系统500可采用一个或多个个人计算机、服务器计算机、平板电脑、家庭娱乐电脑、网络设备、游戏设备、移动设备、HMD设备，和/或其他计算设备的形式。

计算系统500包括一个或多个逻辑设备510以及一个或多个数据存储设备512。计算系统500可以可选地包括一个或多个输入和/或输出设备518、一个或多个通信设备520和/或图5中未示出的其他组件。

逻辑设备510包括被配置来执行指令的一个或多个物理设备。例如，所述逻辑设备可以被配置来执行作为一个或多个应用、服务、程序、例程、库、对象、组件、数据结构或其他逻辑构造的一部分的指令。可以运行这样的指令以执行任务，实现数据类型，变换一个或多个组件的状态，达到技术效果或以其他方式达到期望的结果。

逻辑设备可以包括被配置来执行软件指令的一个或多个处理器。附加地或可替代地，逻辑设备可以包括被配置来执行硬件或固件指令的一个或多个硬件或固件逻辑机。逻辑设备的处理器可以是单核或多核，并在其上执行的指令可以被配置用于连续的、平行的和/或分布式的处理。逻辑设备的各个部件可选择性地分布在可被远程地定位和/或配置成用于协同处理的两个或更多个单独的设备之间。逻辑设备的各方面可由在云计算配置中配置的远程可访问联网计算设备虚拟化和执行。

数据存储设备512包括被配置为保存可由一个或多个逻辑设备510执行以实现本文所述的方法和处理的数据514和/或指令516的一个或多个物理设备。当实施这样的方法和处理时，存储设备512的状态可以被变换─例如以保存不同的数据。

数据存储设备可以包括可移动和/或内置设备。数据存储设备可以包括光学存储器(例如，CD、DVD、HD-DVD、蓝光盘等)，半导体存储器(例如，ROM、EPROM、EEPROM等)，和/或磁存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)等等。数据存储设备可以包括易失性、非易失性、动态、静态、读/写、只读、顺序访问、位置可寻址、文件可寻址和/或内容可寻址的设备。

将会理解的是，数据存储设备512包括一个或多个物理设备。然而，可替代地，本文所描述的指令的各方面可以由物理设备未在有限的持续时间内保持的通信介质(例如，电磁信号，光信号等)传播。

逻辑设备510和存储设备512的各方面可以被集成在一起成为一个或多个硬件逻辑组件。这样的硬件逻辑组件例如可以包括现场可编程门阵列(FPGA)、程序和应用专用集成电路(PASIC/ASIC)、程序和应用专用标准产品(PSSP/ASSP)、片上系统(SOC)和复杂的可编程逻辑器件(CPLD)。

术语“模块”、“程序”和“引擎”可以用来描述实现为执行特定功能的计算系统500的一个方面。在一些实例中，模块、程序或引擎可以经由执行由一个或多个存储设备512保持的指令的一个或多个逻辑设备510来实例化。可理解的是，可以从相同的应用、服务、代码块、对象、库、例程、API、功能等来实例化不同的模块、程序和/或引擎。同样，可以由不同的应用、服务、代码块、对象、例程、API、函数等实例化同一模块、程序或引擎。术语“模块”、“程序”和“引擎”可涵盖单个或一组可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。

可理解的是，“服务”可被用于指代跨多个用户会话可执行的应用程序或程序集。服务可能对一个或多个系统组件、程序和/或其他服务可用。在一些实施方式中，服务可以在一个或多个服务器计算设备上运行。

输入/输出设备518可以包括一个或多个输入设备或与之交互，所述输入设备例如是键盘、鼠标、触摸屏、游戏控制器、传感器等。在一些实施例中，输入设备可以包括选择的自然用户输入(NUI)组件或与之交互。这样的组件可以是集成的或外围的，并且输入动作的转导和/或处理可以板上或板外进行。示例性NUI组件可以包括用于语言和/或语音识别的麦克风；用于机器视觉和/或手势识别的红外、彩色、立体和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速度计和/或陀螺仪；以及用于评估大脑活动的电场感应组件。输出设备的示例包括图形显示、音频扬声器、触觉反馈设备等。

通信设备520可以包括本文公开的各种有线和/或无线通信界面，并且可以被配置来将计算系统500与一个或多个其他计算设备通信地耦合。通信设备520可以包括与一种或多种不同的通信协议兼容的有线和/或无线通信设备。作为示例，这样的通信设备可以被配置用于经由无线电话网络或者有线或无线局域网或广域网进行通信。所述通信设备可以允许计算系统500经由诸如因特网这样的通信网络向其他设备发送和/或从其他设备接收消息。

另一示例提供了一种由计算系统执行的方法，所述方法包括：通过手戴式移动设备的触摸传感器获得所述移动设备的界面与物理对象的物理接触的指示；基于从一个或多个定位传感器获得的传感器数据，在与所述物理对象的物理接触期间，标识所述移动设备的界面的位置；将指示所述位置的位置数据存储在数据存储设备中；以及基于所述位置数据指示的位置，优先进行包含所述物理对象的物理环境的虚拟网格模型的细化。在本公开的这个或任何其他示例中，基于所述位置优先进行所述虚拟网格模型的细化包括：处理通过所述物理环境的光学成像获得的图像数据，以提取由所述位置数据指示的、与位于所述位置邻区之外的所述物理环境的其他区域相比的所述位置附近的网格节点的更高的分辨率。在本公开的这个或任何其他示例中，基于所述位置优先进行所述虚拟网格模型的细化包括：在处理通过所述物理环境的光学成像获得的其他图像数据以提取位于所述位置邻区之外的网格节点之前，处理通过所述物理环境的光学成像获得的图像数据以提取所述位置数据指示的位置附近的网格节点。在本公开的这个或任何其他示例中，基于所述位置优先进行所述虚拟网格模型的细化包括：在捕获位于所述位置邻区之外的物理环境的其他区域的其他图像数据之前，捕获由所述位置数据指示的位置的所述邻区中的图像数据。在本公开的这个或任何其他示例中，将所述位置数据存储在所述数据存储设备中包括：将所述位置数据存储为所述虚拟网格模型的所选择的网格节点的数据分量。在本公开的这个或任何其他示例中，所述方法还包括：将标识符与所述虚拟网格模型相关联，以将所述所选择的网格节点指定为所述虚拟网格模型内的所述物理接触的所述位置。在本公开的这个或任何其他示例中，所述移动设备包括手套。在本公开的这个或任何其他示例中，所述界面和所述触摸传感器被布置为与所述手套的手指套的一端相邻。在本公开的这个或任何其他示例中，所述手套包括多个手指套，其中，所述多个手指套中的每个手指套包括相应的界面和相应的触摸传感器，所述相应的界面和所述相应的触摸传感器被布置为与所述手指套的一端相邻。在本公开的此或任何其他示例中，所述一个或多个定位传感器包括以下一项或多项：位于所述移动设备的板上的惯性传感器、磁力计传感器、GPS传感器和/或应变传感器。在本公开的这个或任何其他示例中，所述一个或多个定位传感器包括位于所述移动设备板外的光学传感器，所述光学传感器对所述移动设备的光学跟踪特征进行成像。在本公开的这个或任何其他示例中，所述方法还包括：基于从所述一个或多个定位传感器获得的所述传感器数据，在与所述物理对象的所述物理接触期间，标识所述移动设备的所述界面的方位；以及将指示所述方位的方位数据存储在所述数据存储设备中。

另一示例提供了一种计算系统，包括一个或多个逻辑设备，其被编程有指令，所述指令由所述一个或多个逻辑设备执行可执行以：经由手戴式移动设备的触摸传感器获得所述移动设备的界面与物理对象的物理接触的指示；基于从一个或多个定位传感器获得的传感器数据，在与所述物理对象的所述物理接触期间，标识所述移动设备的所述界面的位置；将指示所述位置的位置数据存储在所述数据存储设备中；以及基于由所述位置数据指示的所述位置，优先进行包含所述物理对象的物理环境的虚拟网格模型的细化。在本公开的这个或任何其他示例中，所述计算系统还包括所述移动设备。在本公开的这个或任何其他示例中，所述移动设备包括手套。在本公开的这个或任何其他示例中，所述界面和所述触摸传感器被布置为与所述手套的手指套的一端相邻。在本公开的这个或任何其他示例中，所述一个或多个定位传感器中的至少一个定位传感器位于所述手套的板上。在本公开的这个或任何其他示例中，所述至少一个定位传感器包括惯性传感器、磁力计传感器、GPS传感器和/或应变传感器。在本公开的这个或任何其他示例中，所述一个或多个定位传感器中的至少一个定位传感器包括光学传感器。在本公开的这个或任何其他示例中，所述光学传感器被布置在远离所述移动设备的位置；并且所述一个或多个逻辑设备被进一步编程有指令，所述指令由所述一个或多个逻辑设备可执行以通过所述光学传感器对所述移动的光学跟踪特征进行成像，以标识在与所述物理对象的物理接触期间所述移动设备的界面的位置。在本公开的这个或任何其他示例中，所述光学传感器被设置在头戴式显示设备的板上。在本公开的这个或任何其他示例中，所述计算系统进一步包括头戴式显示设备；并且所述物理接触的所述指示被所述移动设备通过所述一个或多个逻辑设备经由所述移动设备与所述头戴式显示设备之间建立的无线通信链路而接收。在本公开的这个或任何其他示例中，所述一个或多个逻辑设备进一步被编程有指令，所述指令由所述一个或多个逻辑设备可执行以基于从所述一个或多个定位传感器获得的传感器数据，在与所述物理对象的所述物理接触期间，标识所述移动设备的所述界面的方位。

另一示例提供了一种移动设备，所述移动设备包括：具有至少一个手指套的可穿戴手套；布置在所述手指套的一端的邻区以标识所述可穿戴手套的物理接触的触摸传感器；用以标识界面在多维空间中的定位的一个或多个定位传感器；无线通信接口；以及一个或多个逻辑设备，所述一个或多个逻辑设备被编程有指令，所述指令由所述一个或多个逻辑设备执行可执行以通过所述触摸传感器获得所述界面与物理对象的物理接触的指示；在获得与所述物理对象的物理接触的指示之后，从所述一个或多个定位传感器捕获指示所述界面的定位的传感器数据；并经由所述无线通信界面向远程计算设备发送所述传感器数据或所述界面的定位的指示。

应当理解的是，本文描述的配置和/或方法本质上是示例性的，并且这些具体实施例或示例不应被视为具有限制意义，因为许多变型是可能的。本文描述的特定例程或方法可以表示任何数目的处理策略中的一个或多个处理策略。因此，所图示和/或所描述的各种动作可以以所图示和/或所描述的顺序、以其他顺序、并行地来执行或被省略。同样，可以改变上述过程的次序。

本公开的主题包括各种过程、系统和配置的所有新颖和非显而易见的组合和子组合、以及本文公开的其他特征、功能、动作和/或性质、以及任何及其所有等同物。

Claims (17)

1.一种由计算系统执行的方法，所述方法包括：

经由手戴式移动设备的触摸传感器，获得所述移动设备的界面与物理对象的物理接触的指示；

基于从一个或多个定位传感器获得的传感器数据，在与所述物理对象的所述物理接触期间，标识所述移动设备的所述界面的位置；

将指示所述位置的位置数据存储在数据存储设备中；以及

基于由所述位置数据指示的所述位置，优先进行包含所述物理对象的物理环境的虚拟网格模型的细化，

其中基于所述位置优先进行所述虚拟网格模型的细化包括：

处理通过所述物理环境的光学成像获得的图像数据，以与位于由所述位置数据指示的所述位置的邻区之外的所述物理环境的其他区域相比，在所述位置的所述邻区中提取网格节点的更高的分辨率；

在处理通过所述物理环境的光学成像获得的其他图像数据以提取位于所述位置的邻区之外的网格节点之前，处理通过所述物理环境的所述光学成像获得的图像数据以提取由所述位置数据指示的所述位置的所述邻区中的网格节点；或者

在捕获位于所述位置的邻区之外的所述物理环境的其他区域的其他图像数据之前，捕获由所述位置数据指示的所述位置的所述邻区中的图像数据。

2.根据权利要求1所述的方法，其中将所述位置数据存储在所述数据存储设备中包括：将所述位置数据存储为所述虚拟网格模型的所选择的网格节点的数据分量。

3.根据权利要求2所述的方法，还包括：

将标识符与所述虚拟网格模型相关联，以将所述所选择的网格节点指定为所述虚拟网格模型内的所述物理接触的所述位置。

4.根据权利要求1所述的方法，其中所述移动设备包括手套。

5.根据权利要求4所述的方法，其中所述界面和所述触摸传感器被布置为与所述手套的手指套的一端相邻。

6.根据权利要求5所述的方法，其中所述手套包括多个手指套，其中所述多个手指套中的每个手指套包括相应的界面和相应的触摸传感器，所述相应的界面和所述相应的触摸传感器被布置为与该手指套的一端相邻。

7.根据权利要求1所述的方法，其中所述一个或多个定位传感器包括以下一项或多项：位于所述移动设备板上的惯性传感器、磁力计传感器、GPS传感器和/或应变传感器。

8.根据权利要求1所述的方法，其中所述一个或多个定位传感器包括位于所述移动设备板外的光学传感器，所述光学传感器对所述移动设备的光学跟踪特征进行成像。

9.根据权利要求1所述的方法，还包括：

基于从所述一个或多个定位传感器获得的所述传感器数据，在与所述物理对象的所述物理接触期间，标识所述移动设备的所述界面的方位；以及

将指示所述方位的方位数据存储在所述数据存储设备中。

10.一种计算系统，包括：

一个或多个逻辑设备，其被编程有指令，所述指令由所述一个或多个逻辑设备可执行，用以：

经由手戴式移动设备的触摸传感器获得所述移动设备的界面与物理对象的物理接触的指示；

基于从一个或多个定位传感器获得的传感器数据，在与所述物理对象的所述物理接触期间，标识所述移动设备的所述界面的位置；

将指示所述位置的位置数据存储在数据存储设备中；以及

基于由所述位置数据指示的所述位置，优先进行包含所述物理对象的物理环境的虚拟网格模型的细化，

其中由所述一个或多个逻辑设备可执行用以基于所述位置优先进行所述虚拟网格模型的细化包括如下指令，所述指令由一个或多个逻辑设备可执行用以：

处理通过所述物理环境的光学成像获得的图像数据，以与位于由所述位置数据指示的所述位置的邻区之外的所述物理环境的其他区域相比，在所述位置的所述邻区中提取网格节点的更高的分辨率；

在处理通过所述物理环境的光学成像获得的其他图像数据以提取位于所述位置的邻区之外的网格节点之前，处理通过所述物理环境的所述光学成像获得的图像数据以提取由所述位置数据指示的所述位置的所述邻区中的网格节点；或者

在捕获位于所述位置的邻区之外的所述物理环境的其他区域的其他图像数据之前，捕获由所述位置数据指示的所述位置的所述邻区中的图像数据。

11.根据权利要求10所述的计算系统，还包括所述移动设备；

其中所述移动设备包括手套；并且

其中所述界面和所述触摸传感器被布置为与所述手套的手指套的一端相邻。

12.根据权利要求11所述的计算系统，其中所述一个或多个定位传感器中的至少一个定位传感器位于所述手套的板上。

13.根据权利要求12所述的计算系统，其中所述至少一个定位传感器包括惯性传感器、磁力计传感器、GPS传感器和/或应变传感器。

14.根据权利要求10所述的计算系统，其中所述一个或多个定位传感器中的至少一个定位传感器包括光学传感器；

其中所述光学传感器位于远离所述移动设备处；并且

所述一个或多个逻辑设备被还编程有指令，所述指令由所述一个或多个逻辑设备可执行以：

经由所述光学传感器对所述移动的光学跟踪特征进行成像，以标识在与所述物理对象的所述物理接触期间所述移动设备的所述界面的所述位置。

15.根据权利要求14所述的计算系统，其中所述光学传感器位于头戴式显示设备的板上；

其中所述计算系统还包括所述头戴式显示设备；并且

其中所述物理接触的所述指示由所述一个或多个逻辑设备通过在所述移动设备与所述头戴式显示设备之间建立的无线通信链路从所述移动设备接收。

16.根据权利要求10所述的计算系统，其中所述一个或多个逻辑设备还被编程有指令，所述指令由所述一个或多个逻辑设备可执行以：

基于从所述一个或多个定位传感器获得的传感器数据，在与所述物理对象的所述物理接触期间，标识所述移动设备的所述界面的方位。

17.一种移动设备，包括：

可穿戴手套，具有至少一个手指套；

触摸传感器，被布置为与所述手指套的一端相邻以标识所述可穿戴手套的物理接触；

一个或多个定位传感器，用以标识界面在多维空间中的定位；

无线通信接口；以及

一个或多个逻辑设备，被编程有指令，所述指令由所述一个或多个逻辑设备可执行以：

经由所述触摸传感器获得所述界面与物理对象的物理接触的指示；

在获得与所述物理对象的所述物理接触的所述指示时，捕获来自所述一个或多个定位传感器的、指示所述界面的定位的传感器数据；以及

经由所述无线通信接口向远程计算设备发送所述传感器数据或所述界面的定位的指示，用于基于所述移动设备的所述界面的位置，优先进行包含所述物理对象的物理环境的虚拟网格模型的细化，其中所述位置基于所述传感器数据而被标识，

其中优先进行所述虚拟网格模型的细化包括：

处理通过所述物理环境的光学成像获得的图像数据，以与位于所述位置的邻区之外的所述物理环境的其他区域相比，在所述位置的所述邻区中提取网格节点的更高的分辨率；

在处理通过所述物理环境的光学成像获得的其他图像数据以提取位于所述位置的邻区之外的网格节点之前，处理通过所述物理环境的所述光学成像获得的图像数据以提取所述位置的所述邻区中的网格节点；或者

在捕获位于所述位置的邻区之外的所述物理环境的其他区域的其他图像数据之前，捕获所述位置的所述邻区中的图像数据。