CN110050295B - 用于增强和虚拟现实系统的减性绘制 - Google Patents

Abstract

代表性实施例允许在虚拟现实或增强现实系统中绘制现实世界对象中的负空间。负空间是存在于现实世界中的空间。正空间是存在于现实世界对象之外的空间。将对现实世界对象的扫描提交给搜索引擎以取回针对正空间对象的负空间模型。可选地，调节负空间模型以考虑负空间的现实世界参数。针对负空间模型标识锚点。移除现实世界对象的正空间部分，并且在现实世界对象之上在适当位置处对负空间模型进行缩放、旋转和绘制。用户可以通过虚拟现实或增强现实系统与现实世界对象和负空间对象进行交互。

Description

用于增强和虚拟现实系统的减性绘制

技术领域

本申请总体上涉及虚拟和增强现实系统。更具体地，本文中公开的实施例公开了绘制负空间以允许用户在现实世界对象内看到。

背景技术

虚拟现实和增强现实为除了用户娱乐之外的其他应用带来了希望。虚拟现实(VR)通常指的是计算机技术，其使用软件来生成能够复制现实环境(或创建虚构设置)的逼真的图像、声音和其他感觉，并且通过使得用户能够使用专门的显示屏或投影仪和其他设备与该空间和其中描绘的任何对象进行交互，来模拟用户在该环境中的物理存在。增强现实(AR)是物理的现实世界环境的实时直接或间接视图，该视图的元素通过计算机生成的感觉输入(诸如声音、视频、图形或GPS数据)来增强(或补充)。

VR或AR环境中的用户通常是呈现的对象，其可以被操纵和/或以其他方式与之交互以修改环境。

在该上下文中，提出了本公开。

附图说明

图1示出了用于在增强现实或虚拟现实系统中绘制负空间的系统的示例架构。

图2示出了绘制系统与搜索服务之间的示例交互图。

图3示出了用于绘制负空间的示例流程图。

图4示出了绘制负空间的一个示例。

图5示出了绘制负空间的另一示例。

图6示出了用于将正空间对象放置到负空间模型中的示例流程图。

图7示出了适合于实现系统等或者适合于执行本文中公开的方法的代表性机器架构。

具体实施方式

以下描述包括例示说明性实施例的说明性系统、方法、用户界面、技术、指令序列和计算机程序产品。在以下描述中，出于解释的目的，阐述了很多具体细节以便提供对本发明主题的各种实施例的理解。然而，对于本领域技术人员很清楚的是，可以在没有这些具体细节的情况下实践本发明主题的实施例。通常，没有详细示出公知的指令实例、协议、结构和技术。

概述

虚拟现实允许用户与现实世界对象的虚拟表示进行交互，而增强现实叠加关于现实世界的视图的附加信息。在所有这些实例中，用户与对象的正空间表示进行交互，并且可以操纵正空间对象，将一个正空间对象附接到另一正空间对象，等等。

正空间对象是由其外表面限定的对象。因此，正空间对象是对象的外观。另一方面，负空间对象是由正空间对象的内表面限定的对象。换言之，负空间对象是正空间对象的外表面下方的正空间对象的内部。在现实世界的对象中，正空间对象和负空间对象往往是嵌套的。因此，引擎是正空间对象。如果移除头部覆盖，它会露出负空间对象，诸如气缸和活塞，后者本身就是正空间对象。

本公开包括允许用户查看现实世界对象中的负空间对象并且与之交互的系统和方法。不同的实施例可以用在增强现实或虚拟现实系统中。在增强现实系统中，利用增强现实系统观看现实世界的三维(3D)对象。对象的图像或其他表示用于标识适合于现实世界对象的负空间模型。例如，可以将现实世界对象的图像提交给搜索服务，并且搜索服务可以标识与现实世界对象相关联的负空间对象和/或正空间对象。负空间对象定义与现实世界对象相关联的负空间的表示。

现实世界对象的传感器、扫描或其他测量可以提供关于现实世界对象的负空间的数据。例如，引擎的X射线图像可以揭示气缸、活塞和/或其他负空间对象的状况。该数据可以用于调节负空间对象以反映内部对象的实际情况。例如，如果扫描揭示出引擎中的气缸具有磨损模式、裂缝或其他损坏，则可以将气缸的负空间模型的一个或多个参数调节为包括磨损模式、裂缝等。附加地或备选地，扫描数据可以用于创建现实世界对象的实际负空间的负空间模型。

负空间模型可以包括多个锚点，这些锚点定义负空间模型如何锚定到现实世界对象的表示。在一些实施例中，这些锚点可以是现实世界对象和负空间模型相交的交叉点。多个锚点定义缩放、旋转、定位和对负空间模型进行的其他调节，以将负空间模型正确地定向在现实世界对象内并且与现实世界对象结合。

取决于现实世界对象与负空间对象之间的关系，可能足够的是，将负空间对象叠加在现实世界对象表示之上以使得负空间对象使现实对象遮挡，以便看起来现实世界对象已经被打开使得可以查看内部。在其他情况下，系统首先移除现实世界对象表示的正空间方面，并且然后叠加负空间对象，以便看起来现实世界对象已经被打开，使得可以查看内部。

一旦负空间模型锚定到现实世界表示，就用负空间模型绘制现实世界对象。然后跟踪用户视点，以便当用户移动时，可以基于变化的视点来重新绘制现实世界表示和负空间模型。

因为现实世界对象实际上没有被打开以揭示内部的负空间，如果用户试图将手放在负空间内，他们将遇到实际的现实世界对象。因此，与负空间对象的交互是使用手势和其他输入机制以利用负空间模型来操纵现实世界表示的虚拟交互。这样的手势可以包括获取附加的正空间对象并且将它们放置在负空间内并且以其他方式操纵负空间。描述

图1示出了用于在增强现实或虚拟现实系统中绘制负空间的系统的示例架构100。用户102通过AR或VR设备104与增强和/或虚拟现实交互。此后，将使用AR示例呈现实施例，并且将分别解释针对VR实施例的差异。AR设备104利用绘制系统106向用户102呈现增强现实视图。在VR的情况下，向用户呈现VR世界，在该VR世界中操纵对象。根据实施例，绘制系统106可以是AR设备104的一部分，或者可以是单独的系统。

绘制系统106呈现现实世界对象122的表示。在AR上下文中，现实世界表示可以仅仅是由用户通过允许叠加附加信息的镜头观看的对象本身。在这种情况下，现实世界表示可以是描述用户如何感知现实世界对象的数据结构。该数据结构可以捕获用户的视点、照明条件、用户看到对象的比例、以及允许系统标识用户正在看什么的其他这样的信息，以便当信息叠加在对象上时，信息适当排列。附加地或备选地，AR设备104和/或绘制系统106可以捕获诸如图像、线框等对象的实际表示。该表示和任何相关联信息允许绘制系统106标识用户通过AR设备104感知的内容。

绘制系统106通常通过网络114连接到搜索服务116。搜索服务116可以用于定位如本文所述的模型。搜索服务通常可以通过标识符(诸如单词、关键短语或其他标识符)来取回信息，或者可以通过相似性来取回图像。例如，

和/>

搜索引擎都允许用户提交图片，并且搜索引擎也会返回类似图片。该技术还可以用于定位与现实世界对象相关联的图像、表示和/或模型。

模型存储在一个或多个数据存储器中，诸如模型存储装置120。模型存储装置120可以是存储本文中使用的3D和/或2D模型的数据库或其他类型的数据存储器。模型可以是二维或三维的，这取决于具体情况。然而，在大多数情况下，模型将是三维的并且在本说明书中主要使用三维模型示例。

在不同实施例中可以以各种方式创建模型。例如，模型可以由个人手工创建，可以借助计算机化工具创建，或者手绘/编码。存在很多工具能够允许用户绘制三维对象并且然后将三维绘制对象转换为用于虚拟现实系统的3D模型。可以使用这些工具创建模型。

还可以使用传感器112通过模型创建过程118创建模型。传感器落入对对象外部成像的那些模型和对对象内部成像的那些模型。前者可以用于创建正空间模型，后者可以用于创建负空间模型。例如，磁共振成像(MRI)、计算机化轴向断层扫描(CT)扫描、超声和/或其他数据可以被转换成3D负空间模型。作为代表性示例，可以使用顺序安装的MRI切片来开始构建负空间模型。然后可以使用分割来选择将用于构建模型的MRI切片的部分。这样的MRI数据可以通过其他传感器数据(诸如超声数据和由其他传感器收集的其他数据)来增强。对于不适合MRI和/或超声扫描的材料，可以使用其他传感器/扫描过程，诸如X射线、热和用于感知对象表面下方发生的事情的其他传感器。

对于正空间模型，可以使用光学和其他这样的扫描和成像传感器。存在允许从来自对象的不同角度的图像来构建3D模型的方法。这些方法可以用于从图像和其他传感器数据创建3D正空间模型。还存在可以扫描对象并且创建3D正空间模型的3D扫描仪。

模型创建过程118从传感器112获取信息，并且创建正和/或负空间模型，如前所述。

在操作中，用户102将使用AR设备104查看对象122。在一些实施例中，使用对象122的图像或其他表示来从模型存储装置120中取回对象122的模型。在一些实施例中，对象的模型可以用于绘制对象122。附加地或备选地，该模型可以用于取回负空间模型，如下所述。绘制系统106将根据需要来绘制对象122，或者将简单地允许通过AR设备104的透镜/屏幕看到对象。

用户将通过手势或其他命令指示用户希望看到对象内部。手势可以指示用户希望移除从而可以看到内部的对象部分。例如，医生可以指示她希望看到用户的胸部区域内部，或者用户可以指示他们希望看到汽车的散热器的上部内部。因此，手势允许绘制系统106标识应当被移除的正空间部分。此外，如下面更详细地讨论的，绘制系统106可以标识和重建应当在绘制系统106移除正空间部分时绘制的负空间。

绘制系统106将信息发送到搜索服务116并且取回要绘制的负空间部分。一旦接收到负空间部分，绘制系统106根据需要移除正空间部分，并且绘制负空间部分。绘制的对象通过AR设备104呈现给用户102。

使用VR系统而不是AR系统的实施例将以大致相同的方式工作，除了VR系统将在VR世界中绘制对象122，而不是允许通过AR系统的屏幕、镜头等显示或观看对象122。这还可能需要取回对象122本身的模型，诸如通过搜索服务116。

图2示出了绘制系统204与搜索服务206之间的示例交互图200。该图更详细地描述了图1中的架构如何工作。在以下描述中，可以在不同实施例中以不同顺序执行操作。另外，一些操作在各种实施例中是可选的，并且因此实施例可以包括少于以各种组合示出的所有操作。

用户202通过VR/AR设备查看对象。在操作210中，绘制系统从用户/AR设备202接收对象表示。该表示描述或示出了绘制系统的对象。例如，表示可以是对象的2D或3D图像，诸如可以由AR/VR系统中的传感器获取的或来自另一源(相机等)的。表示还可以描述AR系统中的对象。例如，在AR系统中，不向用户呈现对象的图像。相反，用户通过AR系统的镜头/屏幕直接观看对象。在这种情况下，表示可以包括描述对象的任何东西，诸如对象的轮廓、在镜头/屏幕上的位置、范围等。

在操作210中接收的对象的表示可以来自VR/AR系统202，或者可以由其他传感器捕获，诸如相机、光学扫描仪、3D打印机、3D扫描仪、CAT扫描、MRI、超声波、X射线等。此外，模型也可以用作表示。可以使用绘图和/或建模程序如前所述创建模型。VR/AR系统202可以与这些源一起工作以产生表示。

操作212标识对象，或者标识可以用于取回绘制对象所需要的信息的关于对象的信息(操作216)。在一些实施例中，这是表示，诸如图像。在其他实施例中，这是标识对象的描述、标识符或其他信息。在一些实施例中，该操作是可选的，因为除表示之外没有标识用于诸如从模型存储器208取回模型的操作。

在一些实施例中，来自操作212的(多个)标识符和/或表示用于从模型存储装置208中取回对象的模型。在这些实施例中，操作214向搜索服务206发送信息并且搜索服务206从模型存储装置208中取回对象的模型(即，如操作228所示)。搜索服务可以采用诸如关键字、描述、图像等标识符，并且使用该标识符从模型存储装置208中取回模型。该功能在很多(如果不是大多数)搜索服务中是已知和实现的，并且本文中不需要重复。

取回的对象模型可以用于例如绘制对象(操作216)和用于下面描述的其他目的。在AR系统中，可能不需要模型来绘制对象，因为如前所述，用户倾向于直接观看对象。在VR系统中，取回的模型可以用于在VR系统的虚拟世界中绘制对象。

先前操作的结果是，用户经由VR/AR设备202查看对象。除了对象之外，系统还可以向用户投射关于对象的附加信息。当用户期望探索对象的负空间时，用户使用手势或其他命令来指示绘制系统204应当绘制对象的某个部分的负空间。该手势/命令由绘制系统接收(操作218)，并且系统取回适当的负空间模型，如操作220所示。

可以使用搜索服务206来定位负空间模型。搜索服务可以将现实世界正空间对象与对应的负空间模型相匹配。例如，操作212的标识符、图像等可以用于取回负空间模型(操作230)。在这种情况下，搜索服务206将使用图像、标识符等来取回负空间模型而不是类似的正空间对象、模型、图像等。附加地或备选地，搜索服务206可以利用正空间模型(即，由操作214/228取回的)来取回适当的负空间模型。搜索服务206可以采用任何这种输入，并且使用已知的搜索方法产生适当的负空间模型。

可以如先前所述从建模软件、传感器数据和/或其组合来创建负空间模型。负空间模型以允许使用正空间对象的图像、标识符、模型等来取回它们的方式来存储在模型存储器208中。

当在操作220中接收到负空间模型时，可以修改负空间模型和/或将负空间模型与传感器数据组合，以使模型与对象的实际负空间相匹配。这可以包括调节负空间模型的一个或多个参数。参数可以包括负空间模型的各种对象/特征的位置、负空间模型的各种对象/特征的大小、负空间模型的各种对象/特征的条件、作为负空间模型的一部分的实际对象/特征等。可以通过可以感测对象的内部负空间的传感器数据和/或扫描数据来标识这些参数。如前所述，超声、MRI、CAT扫描、红外线、X射线等可以用于感测对象的负空间，并且标识所列参数中的一个或多个。

作为参数感测的示例，传感器数据可以标识诸如人体的各种内部器官、空间等的位置、大小、状况等事物。可以使用相同和/或类似的技术来感测非人类对象的内部的位置、状况等。如上所述，可以修改引擎的活塞和活塞气缸以考虑由传感器、扫描仪等感测到的磨损、损坏和其他状况。负空间模型可以包括正空间对象以及空隙/空间。可以通过修改正空间对象的位置、大小、存在、状况等以及构成负空间对象的空隙来调节负空间模型。

一旦绘制系统204取回负空间模型并且(可选地)修改负空间模型以考虑负空间模型的各个方面的实际条件、位置、大小、存在等，以反映对象的负空间的参数，负空间模型与正空间对象组合(操作222)并且被绘制(操作224)。下面更详细地讨论负空间模型和正空间对象的组合。作为总结，负空间模型根据需要旋转、缩放等，并且在适当的位置、定向和比例中锚定到正空间模型。

正空间对象和负空间模型的组合的操作222取决于所使用的VR/AR系统。例如，如果系统是利用在VR世界中绘制的对象的3D模型的VR系统，则操作222将组合负空间模型和正空间对象模型。这可以包括移除否则将隐藏负空间模型的正空间对象模型的部分，并且负空间模型以正确的定向和比例锚定到适当的位置，并且正空间和负空间模型被绘制为单个对象。已知的图形绘制算法可以用于绘制组合的正空间模型和负空间模型。

如果系统是允许通过AR系统的镜头/屏幕直接观看对象的AR系统，则可以采用两种方法中的一种。第一种方法是将现实世界对象替换为正空间模型，并且就像系统是VR系统一样继续进行(如上所述)。在该选项中，模型将被放置以使得其覆盖现实世界对象，并且现实世界对象将隐藏在绘制的组合的负空间模型和正空间模型后面。备选地，负空间对象可以与现实世界对象组合，使得负空间模型被绘制为叠加在实际正空间对象上。这一点在下面结合图3-4更详细地讨论。

一旦利用负空间模型绘制对象(操作224)，系统就跟踪用户视点(POV)(操作226)、房间照明和其他信息以保持对象和负空间模型从适当的视点和以适当的照明绘制，使得负空间模型与对象保持适当的关系。

在VR系统的情况下，整个模型(正空间对象和负空间模型)是虚拟的，因此VR系统可以允许用户直接与正空间模型和负空间模型交互。在AR系统的情况下，存在实际的正空间对象，因此如果用户试图直接操纵负空间，则实际的正空间可能会干扰。例如，如果在没有头部的情况下绘制引擎并且活塞、气缸等的负空间模型被绘制在其位置，如果用户试图触摸负空间中的活塞中的一个活塞，则即使头部在绘制中被移除也仍然存在头部会阻挡用户的手。因此，在AR系统中，与负空间模型的交互通常经由手势等来执行，其实际上并未实际触摸虚拟模型。通过手势、虚拟手、光标、仪器(即，工具、手术器械等)等来适应虚拟触摸和/或其他交互。

当用户与正空间和负空间模型交互时，更新模型的状态以反映与用户的操纵/交互。更新后的模型也可以保存和/或存储在存储装置(模型存储装置208或其他数据存储装置)中。

图3示出了用于绘制负空间的示例流程图300。流程图在操作302开始，并且执行进行到标识对象的操作304。如前所述，这可以包括访问搜索服务可以用来取回相关联的适当的负空间模型的对象的图像或其他描述/标识符。备选地或附加地，操作304可以标识用户希望在内部看到的对象的哪个部分。

单个对象可具有与其相关联的一个或多个负空间模型。例如，如果对象是人体，则可以存在用于身体的各个部分和区域的负空间模型。如果对象是车辆，则车辆内部存在很多部件/子组件，并且每个部件/子组件又可以具有与其相关联的负空间模型。因此，操作304可以标识用户希望在内部看到的正空间对象的哪个部分，即，如用户的手势/命令所指示的。此外，对象的定向可以指示用户希望在内部看到的对象的哪个部分。

一旦绘制系统标识出用户希望在内部看到的对象和/或对象的哪个部分，就如操作306所示标识和/或取回适当的负空间模型。因此，系统可以向搜索服务发送对象的指示符(图像，标识符等)以及定向、所选择的部分等的指示以便于取回适当的负空间模型。如上所述，对象图像、描述、标识符、定向等可以用于取回相关联的(多个)负空间模型，诸如从先前讨论的搜索服务。

操作308移除将在绘制期间干扰负空间模型的绘制的正空间对象的部分。如上所述，在一些情况下，不需要移除正空间对象的任何方面，并且负空间模型可以叠加在正空间对象上。每当绘制负空间模型将适当地遮挡正空间对象的否则将隐藏负空间模型的部分时，可以使用该方法。换言之，正空间对象的部分将不会遮挡绘制的负空间模型。通过将负空间模型放置在锚点(见下文)处并且使用矢量几何来确定正空间对象特征是否会对于用户的POV的观察者而言遮挡负空间模型，可以确定正空间对象的部分是否会遮挡所绘制的负空间模型。

如果正空间对象的部分将使所绘制的负空间模型遮挡，则可以移除将使负空间模型遮挡的对象的部分。在VR系统和AR系统中不同地完成移除正空间对象的部分。在VR系统中，修改对象的正空间模型以移除对象的期望部分。由于正空间模型完全驻留在虚拟世界中，因此对象的物理方面不得被遮挡或者否则被移除。可以通过使用来自用户的POV的矢量几何来调节模型以标识正空间对象模型的哪些部分将遮挡负空间模型。使用本公开中的普通示例，头部、阀盖和其他部件可以从引擎的正空间模型中移除，因此可以无干扰地绘制示出活塞和汽缸的负空间模型。

在AR系统中，通过AR系统的屏幕/镜头直接可见对象。因此，通过以能够遮挡该部分的方式在要移除的对象的部分上绘制某物来执行移除对象的一部分。一种方法是标识对象“另一”侧的内容并且在对象的一部分之上的另一侧绘制场景。例如，如果引擎位于引擎支架上并且要移除阀盖和头部，则绘制系统可以接收否则如果这些部件被移除则用户在环境中可见的内容的视图。然后在对象的部分之上绘制视图，这将导致对象从对象“消失”，因为AR系统将呈现用户在对象的部分不存在时将看到的内容。

可以以若干方式获取对象另一侧的视图。如果环境中有传感器，则传感器可以标识环境的样子，并且然后可以使用数据构建环境模型。附加地或备选地，AR系统可以用于捕获环境的视图，并且基于AR系统看到的内容来构建模型。在又一示例中，AR系统从用户的当前POV看到的内容可以用于推断要移除的该部分后面的内容。图形外推方法通常克隆可见的内容并且将其扩展到该部分“后面”的内容。换言之，复制围绕要移除的部分的区域并且将其绘制在要移除的部分之上。在复制过程期间，可以应用遮挡和/或其他过滤器来随机化所复制的部分的颜色和纹理，使得用户的眼睛不会辨别该复制。

操作310调节负空间模型中的一个或多个参数，以使负空间更能代表对象的实际负空间。如上所述，这可能需要调节负空间模型方面的位置、大小、定向、存在条件等中的一个或多个。因此，如果负空间模型包含不存在于对象的负空间中的东西，则可以移除不存在的东西。可以对位置、大小、定向、条件等进行类似的调节。通过产生如前所述的关于对象的负空间的信息的扫描和传感器数据来标识要调节的参数。在一些实施例中，不执行操作310。

操作312标识负空间模型和对象上的锚点以便知道如何定向和缩放负空间模型以绘制如何将负空间模型与对象对准的锚点。在3D空间中，使用多个锚点来确定如何将模型锚定到对象。三个点定义平面，并且因此通常使用三个或更多个锚点。然而，当负空间模型相对于对象的定向和缩放没有遮挡时，可以使用更少的锚点。

与对象相关联的负空间模型可以包括定义对象与负空间模型之间的关系的一个或多个锚点。这些锚点可以编码到负空间模型中，或者可以存储为与负空间模型相关联的单独元数据。锚点可以在创建模型时创建。如果负空间模型经由扫描和/或传感器数据来创建，则传感器数据说明负空间模型如何与对象相关。在这种情况下，诸如上面描述的模型创建过程可以标识对象和负空间模型中可以放置锚点的特征。制作针对锚点的良好候选的特征包括易于标识的特征(即，在模型、对象、传感器数据等中)、定义自然点的特征(即角落、特征的交集等)、明确/唯一的特征、特征与正空间对象的关系如何(即，对象上的对应锚点易于标识、自然点、明确等)等。当创建负空间模型时，可以使用边缘检测和/或特征检测方法来标识锚点。如上所述，当多个锚点可用时，可以基于诸如标识它们的容易程度、将潜在锚点与其他锚点分离的距离等标准对锚点进行排序。然后可以选择前N个点。如果使用多个标准，则可以将标准组合成组合得分，诸如通过使用加权和。然后可以基于得分对锚点进行排序并且选择前N个锚点。

一旦标识出负空间模型上的锚点和对象上的对应锚点，系统就可以对负空间模型进行缩放、旋转或执行其他变换，使得负空间模型上的锚点并且对象上的对应锚点对准。该过程在操作314中示出。旋转、缩放等是可以利用已知方法来将锚点对准的标准操作。

操作316在适当的位置并且以适当的定向和比例绘制负空间模型。对于VR设备，该绘制使用由VR设备用于绘制对象的方法在虚拟世界中进行。对于AR设备，当通过设备的屏幕/镜头观看时，在对象上绘制负空间模型，使得当用户观看对象时，负空间模型被叠加在对象上。

操作318跟踪用户POV、用户手势、用户命令、用户位置等，并且在用户四处移动时重新绘制负空间模型，改变其POV，操纵对象/负空间模型和/或对象，等等。这些算法是AR/VR设备和绘制系统的一部分，并且除了绘制负空间模型和/或对象以保持锚点的对准之外，不需要进行特殊调节。在AR设备的情况下，绘制还必须确保已经被移除的任何部分(即，通过在它们上绘制背景以从用户视图“擦除”它们)通过重新绘制用户在从对象中移除了对象的部分时将会看到的背景来保持被移除。

当用户移动POV，操纵对象/负空间模型，等等时，操作320可以更新负空间模型和/或对象。

图4示出了绘制负空间的示例。序列400示出了如果绘制系统在逐步过程中绘制对象和/或负空间模型，则对象可能看起来是什么样的。

图4的对象包括顶部部分402和下部部分404。在该示例中，顶部部分402将被移除，因此用户可以看到盒子的“内部”。如前所述，系统绘制/允许直接查看对象。用户指示应当移除顶部部分402以查看负空间内部。绘制系统取回负空间模型414。

如上所述并且如图中所示，顶部部分402从对象移除。锚点406、408、410和412在下部部分404上被标识。如上所述，锚点416、418、420和422也在负空间模型414上被标识。

如图所示，对准相应锚点，并且在下部部分404上绘制负空间模型414。

图5示出了绘制负空间的另一示例。该图表示医疗保健场景，其中心脏病专家正在与患者502一起进行心脏移植。使用AR设备，心脏病专家可以直接通过AR设备的屏幕/镜头看到患者502。

心脏病专家可以通过手势、命令等来指示心脏病专家希望在患者502的胸腔(即，负空间)内观看。绘制系统通过面部识别，通过心脏病专家输入患者姓名，或者通过其他机制知道心脏病专家正在与之一起工作的患者502。如前所述，通过使用扫描/传感器数据创建模型或者通过使用扫描/传感器数据修改更一般的负空间模型以创建患者502唯一的模型，可以使用扫描和其他传感器数据创建患者胸腔内部的模型。因此，存在针对患者502定制的负空间模型。

绘制系统取回适当的负空间模型，将锚点对准并且在适当位置绘制负空间模型504，从而使心脏病专家能够看到患者胸腔内部。因为模型已经针对患者502定制，所以心脏病专家可以看到移植的心脏需要适合的体积。她还可以看到周围的器官、它们的位置、状况、大小等。她可以旋转、缩放和以其他方式探索负空间模型以评估她将在移植中面临的情况。此外，心脏病专家可以从负空间模型中“移除”患者的心脏以标识将要放置移植心脏的体积、周围组织等。

通过AR设备，心脏病专家可以要求系统取回心脏506的正空间模型。通过手势、命令(语音或其他)等，心脏病专家可以将心脏模型506放置到负空间模型504中。当心脏模型506被放置到负空间模型中时，心脏病专家可以在负空间模型中旋转、移动和以其他方式操纵心脏。通过手势、命令等，心脏病专家还可以连接静脉、动脉等以了解心脏的位置以及移植是否会出现任何不可预见的挑战。

如前所述，可以通过搜索服务取回负空间模型504和正空间模型506。

图6示出了用于将正空间对象放置到负空间模型中的示例流程图600。例如，这将在图5中描述的场景中起作用，其中正空间模型(心脏)放置在负空间模型(胸腔)中。操作602到616的工作方式与图3中的对应操作相同，并且本文中不需要重复其功能和方法。

当到达操作618时，与对象相对应的负空间模型已经被标识、取回、缩放、旋转和锚定在对象中的适当位置。操作618确定用户是否想要插入以将正空间模型插入到负空间模型中。如果是，则将“是”分支从操作618中取出到操作622。

操作622标识并且取回适当的正空间模型，诸如通过先前描述的搜索服务。正空间模型可以由用户标识，诸如通过指示应当取回正空间模型的手势、命令等。用户可以类似地指示应当取回哪个正空间模型。附加地或备选地，绘制系统可以通过评估对象和/或负空间模型来标识对应的模型。因此，如果对象是特定类型的引擎并且负空间是曲轴区域，则绘制系统可以请求适合引擎的类型的曲轴的正空间模型。

操作624调节正空间模型的一个或多个参数以考虑存在、状况、大小、形状等，如上文中结合修改负空间模型所讨论的。如前所述，可以基于传感器和/或扫描数据来调节参数。

操作626以类似于先前描述的方式标识正空间模型上的锚点和负空间模型上的对应锚点。操作628缩放、旋转并且以其他方式改变正空间模型的大小、定向等，使得正空间模型上的锚点与负空间模型中的锚点对准。

操作630更新负空间模型以包括正空间模型，并且执行进行到操作620，其中重新绘制负空间模型、对象和正空间模型以包括正空间模型。

示例机器架构和机器可读介质

图7示出了适合于实现系统等或者适合于执行本文中公开的方法的代表性机器架构。图7的机器被示出为独立设备，其适合于实现上述概念。对于上述服务器方面，可以使用在数据中心中操作、作为云架构的一部分操作等的多个这样的机器。在服务器方面，并未使用所有示出的功能和设备。例如，当用户用来与服务器和/或云架构交互的系统、设备等可以具有屏幕、触摸屏输入等时，服务器通常不具有屏幕、触摸屏、相机等，并且通常通过具有适当输入和输出方面的连接系统与用户交互。因此，下面的架构应当被视为包含多种类型的设备和机器，并且在任何特定设备或机器中可以存在或不存在各个方面，这取决于其形状因子和目的(例如，服务器很少具有相机，而可穿戴设备很少包括磁盘)。然而，图7的示例说明适合于允许本领域技术人员确定如何通过适当的硬件和软件组合来实现先前描述的实施例，其中对所使用的特定设备、机器等进行适当的修改。

虽然仅示出了单个机器，但术语“机器”还应当被视为包括个体地或联合地执行一组(或多组)指令以执行本文中讨论的任何一种或多种方法的任何机器集合。

机器700的示例包括至少经由链路708相互通信的一个处理器702(例如，中央处理单元(CPU)、图形处理单元(GPU)、高级处理单元(APU)或其组合)、一个或多个存储器(诸如主存储器704、静态存储器706或其他类型的存储器)。链路708可以是总线或其他类型的连接信道。机器700可以包括其他可选方面，诸如包括任何类型的显示器的图形显示单元710。机器700还可以包括其他可选方面，诸如字母数字输入设备712(例如，键盘、触摸屏等)、用户界面(UI)导航设备714(例如，鼠标、轨迹球、触摸设备等)、存储单元716(例如，磁盘驱动器或其他存储设备)、信号生成设备718(例如，扬声器)、传感器721(例如，全球定位传感器、加速度计、麦克风、相机等)、输出控制器728(例如，用于与一个或多个其他设备连接和/或通信的有线或无线连接，诸如通用串行总线(USB)、近场通信(NFC)、红外(IR)、串行/并行总线等)、以及通过一个或多个网络726连接到和/或与之通信的网络接口设备720(例如，有线和/或无线)。

可执行指令和机器可读介质

各种存储器(即，704、706和/或处理器702的存储器)和/或存储单元716可以存储用于实现本文中描述的任何一种或多种方法或功能或由其使用的一组或多组指令和数据结构(例如，软件)724。在由处理器702执行时，这些指令引起各种操作实现所公开的实施例。

如本文中使用的，术语“机器可读介质”、“计算机可读介质”和“设备可读介质”表示相同的事物，并且可以在本公开中可互换地使用。这些术语包括存储一个或多个指令或数据结构的单个媒体或多个媒体(例如，集中式或分布式数据库和/或相关联的高速缓存和服务器)。该术语还应当被视为包括能够存储、编码或携带用于由机器执行的指令以及引起机器执行本发明的任何一种或多种方法或者能够存储、编码或携带由这些指令使用或与这些指令相关联的数据结构任何有形介质。因此，术语应当被视为包括但不限于固态存储器以及光学和磁性介质。机器可读介质、计算机可读介质和/或设备可读介质的具体示例包括非易失性存储器，包括例如半导体存储器设备，例如可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)和闪存设备；磁盘，诸如内部硬盘和可移动磁盘；磁光盘；以及CD-ROM和DVD-ROM磁盘。术语机器可读介质、计算机可读介质和设备可读介质特别地排除非法定信号本身，其被涵盖在下面讨论的术语“信号介质”中。

信号介质

术语“信号介质”应当被视为包括任何形式的调制数据信号和信号本身。术语“调制数据信号”表示以使得能够在信号中对信息进行编码的方式设置或改变其一个或多个特性的信号。

示例实施例

示例1.一种方法，包括：

接收现实世界对象的表示；

基于所述表示取回针对所述现实世界对象的负空间模型；

标识所述负空间模型上和所述现实世界对象的所述表示上的多个锚点；

消隐所述现实世界对象的所述表示的一部分；

将所述负空间模型上和所述表示上的所述多个锚点对准并且将所述负空间模型叠加到所述表示上；以及

绘制所述负空间模型和所述表示。

示例2.根据示例1所述的方法，还包括：

将所述表示提交给搜索服务；以及

从所述搜索服务接收所述负空间模型。

示例3.根据示例1所述的方法，还包括修改所述负空间模型的参数以使所述参数与所述现实世界对象的现实世界负空间相匹配。

.示例4.根据示例1所述的方法，还包括：

取回正空间模型；

标识所述正空间模型中和所述负空间模型中的第二锚点；以及

在所述负空间模型内绘制所述正空间模型使得所述锚点对准。

示例5.根据示例1所述的方法，还包括扫描所述现实世界对象以制作所述现实世界对象的三维模型。

.示例6.根据示例1所述的方法，还包括：

缩放和旋转所述负空间模型以对准所述锚点。

.示例7.根据示例1所述的方法，还包括：

经由虚拟现实或增强现实系统跟踪用户的视点；以及

基于所述视点重新绘制所述负空间模型和所述表示以保持所述负空间模型与所述表示对准。

示例8.根据示例1、2、3、4、5、6或7所述的方法，其中所述负空间模型通过对所述现实世界对象的扫描而被构造。

示例9.一种计算系统，包括：

处理器和在机器可读介质上可访问的可执行指令，所述可执行指令在被执行时引起所述系统执行包括以下各项的操作：

接收现实世界对象的图像；

基于所述图像取回针对所述现实世界对象的负空间模型；

标识所述负空间模型上和所述现实世界对象的表示上的多个锚点；

消隐所述现实世界对象的所述表示的一部分；

将所述负空间模型上和所述表示上的所述多个锚点对准并且将所述负空间模型叠加到所述表示上；以及

绘制所述负空间模型和所述表示。

.示例10.根据示例9所述的系统，还包括：

将所述图像提交给搜索服务；以及

从所述搜索服务接收所述负空间模型。

示例11.根据示例9或10所述的系统，还包括修改所述负空间模型的参数以使所述参数与所述现实世界对象的现实世界负空间相匹配。

.示例12.根据示例9或10所述的系统，还包括：

取回正空间模型；

标识所述正空间模型中和所述负空间模型中的第二锚点；以及

在所述负空间模型内绘制所述正空间模型使得所述锚点被对准。

示例13.根据示例9或10所述的系统，还包括扫描所述现实世界对象以制作所述现实世界对象的三维模型。

示例14.根据示例9或10所述的系统，还包括：

缩放和旋转所述负空间模型以对准所述锚点。

.示例15.根据示例9或10所述的系统，还包括：

经由虚拟现实或增强现实系统跟踪用户的视点；以及

基于所述视点重新绘制所述负空间模型和所述表示，以保持所述负空间模型与所述表示对准。

示例16.根据示例9或10所述的系统，其中所述负空间模型通过对所述现实世界对象的扫描而被构造。

示例17.一种机器可读介质，具有编码在其上的可执行指令，所述可执行指令在由机器的至少一个处理器执行时引起所述机器执行包括以下各项的操作：

接收现实世界对象的表示；

基于所述表示取回针对所述现实世界对象的负空间模型；

标识所述负空间模型上和所述现实世界对象的表示上的多个锚点；

调节所述负空间模型以包括与所述现实世界对象中的负空间相关联的现实世界方面的所述表示；

消隐所述现实世界对象的所述表示的一部分；

将所述负空间模型上和所述表示上的所述多个锚点对准，并且将所述负空间模型叠加到所述表示上；以及

绘制所述负空间模型和所述表示。

示例18.根据示例17所述的机器可读介质，还包括：

取回正空间模型；

标识所述正空间模型和所述负空间模型中的第二锚点；以及

在所述负空间模型内绘制所述正空间模型使得所述锚点被对准。

示例19.根据示例17所述的机器可读介质，还包括：

将所述图像提交给搜索服务；以及

从所述搜索服务接收所述负空间模型。

示例20.根据示例17、18或19所述的机器可读介质，还包括：

从多个传感器接收与所述现实世界对象有关的传感器数据；

经由虚拟现实或增强现实系统跟踪用户的视点；以及

基于所述视点重新绘制所述负空间模型和所述表示，以保持所述负空间模型与所述表示对准。

.示例21.一种方法，包括：

接收现实世界对象的表示；

基于所述表示取回针对所述现实世界对象的负空间模型；

标识所述负空间模型上和所述现实世界对象的所述表示上的多个锚点；

消隐所述现实世界对象的表示的一部分；

将所述负空间模型上和所述表示上的所述多个锚点对准，并且将所述负空间模型叠加到所述表示上；以及

绘制所述负空间模型和所述表示。

.示例22.根据示例21所述的方法，还包括：

将所述图像提交给搜索服务；以及

从所述搜索服务接收所述负空间模型。

示例23.根据示例21或22所述的方法，还包括修改所述负空间模型的参数以使所述参数与所述现实世界对象的现实世界负空间相匹配。

.示例24.根据示例21、22或23所述的方法，还包括：

取回正空间模型；

标识所述正空间模型中和所述负空间模型中的第二锚点；以及

在所述负空间模型内绘制所述正空间模型使得所述锚点被对准。

.示例25.根据示例24所述的方法，还包括：

向搜索引擎提交指示符以取回所述正空间模型。

示例26.根据示例12、22、23、24或25所述的方法，还包括：扫描所述现实世界对象以制作所述现实世界对象的三维模型。

.示例27.根据示例21、22、23、24、25或26所述的方法，还包括：

缩放和旋转所述负空间模型以对准所述锚点。

示例28.根据示例21、22、23、24、25、26或27所述的方法，还包括：

经由虚拟现实或增强现实系统跟踪用户的视点；以及

基于所述视点重新绘制所述负空间模型和所述表示，以保持所述负空间模型与所述表示对准。

示例29.根据示例21、22、23、24、25、26、27或28所述的方法，其中所述负空间模型通过对所述现实世界对象的扫描而被构造。

.示例30.根据示例21、22、23、24、25、26、27、28或29所述的方法，还包括：

缩放和旋转所述负空间模型以对准所述锚点。

示例31.根据示例21、22、23、24、25、26、27、28、29或30所述的方法，其中所述表示是所述对象的3D模型，并且其中所述方法还包括：

接收所述对象的图像；以及

将所述对象的图像提交给搜索服务以取回所述对象的3D模型。

.示例32.根据示例21、22、23、24、25、26、27、28、29或30所述的方法，其中所述表示包括所述对象的图像。

示例33.根据示例21、22、23、24、25、26、27、28、29、30或32所述的方法，其中所述表示包括与所述对象相关联的标识符或关键字。

示例34.一种装置，包括用于执行根据前述示例中任一项所述的方法的部件。

示例35.一种包括机器可读指令的机器可读存储装置，所述机器可读指令在被执行时用于实现根据前述示例中任一项所述的方法或装置。

结论

鉴于可以应用本发明的原理和前述示例的很多可能的实施例，应当认识到，本文中描述的示例仅仅是说明性的，而不应当被视为限制本发明的范围。因此，如本文所述的本发明预期可以落入所附权利要求及其任何等同物的范围内的所有这样的实施例。

Claims (16)

1.一种方法，包括：

接收现实世界对象的表示；

接收手势，所述手势指示要移除的所述现实世界对象的一部分的选择以暴露所述现实世界对象的内部；

向搜索服务提交有关所述现实世界对象以及所述一部分的信息；

从所述搜索服务接收针对所述现实世界对象的负空间虚拟现实或增强现实模型，所述搜索服务从虚拟现实或增强现实模型的库中取回所述负空间模型；

标识所述现实世界对象的现实世界空间的参数，所述参数指示所述现实世界对象的至少一部分的状况；

基于所述参数，修改所述负空间模型以考虑所述现实世界对象的所述状况；

标识所述负空间模型上和所述现实世界对象的所述表示上的多个锚点；

消隐所述现实世界对象的所述表示的一部分；

将所述负空间模型上和所述表示上的所述多个锚点对准，并且将所述负空间模型叠加到所述表示上；以及

绘制所述负空间模型和所述表示；

取回正空间模型；

在定位所述正空间模型之前，标识所述正空间模型中和所述负空间模型中的第二锚点；以及

在所述负空间模型内绘制所述正空间模型，使得所述第二锚点被对准。

2.根据权利要求1所述的方法，其中所述参数还指示所述现实世界对象内部的方面的位置、大小和存在中的至少一项；以及

修改所述负空间模型以考虑所述现实对象的所述方面的位置、大小和存在中的至少一项。

3.根据权利要求1所述的方法，还包括扫描所述现实世界对象以制作所述现实世界对象的三维模型。

4.根据权利要求1所述的方法，还包括：

缩放和旋转所述负空间模型以对准所述锚点。

5.根据权利要求1所述的方法，还包括：

经由虚拟现实或增强现实系统跟踪用户的视点；以及

基于所述视点重新绘制所述负空间模型和所述表示，以保持所述负空间模型被与所述表示对准。

6.根据权利要求1所述的方法，其中所述负空间模型通过对所述现实世界对象的扫描而被构造。

7.一种计算系统，包括：

处理器和在机器可读介质上可访问的可执行指令，所述可执行指令在被执行时引起所述系统执行包括以下各项的操作：

接收现实世界对象的图像；

从用户接收手势，所述手势指示要移除的所述现实世界对象的一部分的选择以暴露所述现实世界对象的内部；

基于所述图像和所述一部分，从虚拟现实或增强现实模型取回针对所述现实世界对象的负空间虚拟现实或增强现实模型；

在定位所述负空间模型之前，标识所述负空间模型上和所述现实世界对象的表示上的多个锚点；

消隐所述现实世界对象的所述表示的一部分；

将所述负空间模型上和所述表示上的所述多个锚点对准，并且将所述负空间模型叠加到所述表示上；以及

绘制所述负空间模型和所述表示；

取回正空间模型；

在定位所述正空间模型之前，标识所述正空间模型中和所述负空间模型中的第二锚点；以及

在所述负空间模型内绘制所述正空间模型，使得所述第二锚点被对准。

8.根据权利要求7所述的系统，还包括：

将所述图像和从所述一部分获取的信息提交给搜索服务；以及

从所述搜索服务接收所述负空间模型。

9.根据权利要求7所述的系统，还包括：

标识所述现实世界对象的现实世界负空间的参数，所述参数包括位置、大小、存在和状况中的一项或多项；以及

修改所述负空间模型以匹配所述参数，从而调节所述负空间模型。

10.根据权利要求7所述的系统，还包括扫描所述现实世界对象以制作所述现实世界对象的三维模型。

11.根据权利要求7所述的系统，还包括：

缩放和旋转所述负空间模型以对准所述锚点。

12.根据权利要求7所述的系统，还包括：

经由虚拟现实或增强现实系统跟踪用户的视点；以及

基于所述视点重新绘制所述负空间模型和所述表示，以保持所述负空间模型被与所述表示对准。

13.根据权利要求7所述的系统，其中所述负空间模型基于来自所述现实世界对象的扫描的数据而被构造。

14.一种机器可读介质，具有被编码在其上的可执行指令，所述可执行指令在由机器的至少一个处理器执行时，使所述机器执行操作，所述操作包括：

接收现实世界对象的表示；

接收手势，所述手势指示要移除的所述现实世界对象的一部分的选择以便暴露所述现实世界对象的内部；

向搜索服务提交包含有关所述现实世界对象、或所述一部分、或所述现实世界对象和所述一部分两者的信息的查询；

从所述搜索服务接收通用的增强现实负空间模型，所述通用的增强现实负空间模型能够被调整以表示针对所述现实世界对象的暴露的负空间；

标识所述现实世界对象的现实世界负空间的参数，所述参数指示所述现实世界对象的方面的状况；

修改所述通用的负空间模型以匹配所述参数，从而创建经调节的负空间模型，所述经调节的负空间模型表示针对所述现实世界对象的所述暴露的负空间；

在定位所述负空间模型之前，标识所述负空间模型上和所述现实世界对象的表示上的多个锚点；

消隐所述现实世界对象的所述表示的一部分；

将所述经调节的负空间模型上和所述表示上的所述多个锚点对准，并且将所述负空间模型叠加到所述表示上；以及

绘制所述负空间模型和所述表示；

取回正空间模型；

在定位所述正空间模型之前，标识所述正空间模型中和所述负空间模型中的第二锚点；以及

在所述负空间模型内绘制所述正空间模型，使得所述第二锚点被对准。

15.根据权利要求14所述的机器可读介质，还包括：

将所述表示提交给与包括多个通用的负空间模型的模型库连接的所述搜索服务；以及

从所述搜索服务接收所述通用的负空间模型。

16.根据权利要求14所述的机器可读介质，还包括：

从多个传感器接收与所述现实世界对象有关的传感器数据；

经由虚拟现实或增强现实系统跟踪用户的视点；以及

基于所述视点重新绘制所述负空间模型和所述表示，以保持所述负空间模型被与所述表示对准。

Images