CN113366539A - 对虚拟对象针对混合现实的系统定位 - Google Patents

Abstract

一种采用增强现实显示器(53)的增强现实设备(50)，所述增强现实显示器用于相对于在物理世界内的物理对象的视图显示虚拟对象。所述设备(50)还采用虚拟对象定位控制器(60)，所述虚拟对象定位控制器用于基于以下决定性聚合来自主控制所述虚拟对象在所述增强现实显示器(53)内的定位：对(一个或多个)空间定位规则的实施，所述(一个或多个)空间定位规则调整所述虚拟对象在所述增强现实显示器(53)内的所述定位；以及对所述物理世界的感测(例如，对在所述物理世界内的(一个或多个)物理对象的对象检测，对所述增强现实显示器(53)相对于所述物理世界的姿态检测和/或对所述增强现实显示器(53)相对于所述物理世界的操作环境的环境检测)。所述决定性聚合还可以包括对所述增强现实显示器(53)的操作评估和/或虚拟评估。

Description

对虚拟对象针对混合现实的系统定位

技术领域

本公开内容总体上涉及对增强现实的利用，特别是在医学环境中。本公开内容具体涉及在增强现实显示器内的虚拟对象相对于在物理世界中的物理对象的增强现实显示器内的视图的系统定位。

背景技术

增强现实通常是指当物理世界的实况图像流被补充有额外的计算机生成的信息时的情况。具体地，物理世界的实况图像流可以经由眼镜、相机、智能手机、平板电脑等进行可视化/显示，并且物理世界的实况图像流经由显示器被增强给用户，这能够经由眼镜、隐形眼镜、投影或实况图像流设备本身(智能手机、平板电脑等)来完成。在物理世界上叠加虚拟对象的可穿戴增强现实设备或装置的实施方式的示例包括但不限于GOOGLE GLASS^TM、HOLOLENS^TM、MAGIC LEAP^TM、VUSIX^TM和META^TM。

更具体地，混合现实是一种增强现实，它将内容和项目的虚拟世界融合到物理世界的实况图像/图像流中。混合现实的关键要素包括在三维(“3D”)中感测物理世界的环境，使得虚拟对象可以在空间上配准并叠加到物理世界的实况图像流上。这样的增强现实可以在图像引导的治疗和手术领域中提供关键益处，包括但不限于用于改善工作流程和人体工程学的虚拟屏幕，对复杂解剖结构的全息显示以提高对3D几何的理解，以及用于实现更灵活的系统交互的虚拟控件。

然而，虽然混合现实显示器能够利用虚拟对象(例如，计算机屏幕和全息图)来增强物理世界的实况图像流，从而以可以在医学流程中显著改善工作流程和人体工程学的方式交织(一个或多个)物理对象与(一个或多个)虚拟对象，但是关键问题是必须以优化虚拟对象相对于(一个或多个)物理对象的定位并适当确定虚拟对象的优先级的方式让虚拟对象与实况图像流中的(一个或多个)物理对象共存。对于这个问题，有两个方面需要解决。首先，需要基于物理世界的当前状况对虚拟对象相对于在实况图像流内的(一个或多个)物理对象进行定位的决策过程。其次，需要一个反应过程来响应物理世界不断变化的环境。

此外，对于混合现实，空间映射是识别物理世界中的表面并创建这些表面的3D网格的过程。这通常是通过使用SLAM(同步定位和映射)算法，使用经由深度感测相机(例如，Microsoft Kinect)得到的一系列多灰度相机视图来构建和更新未知环境的地图来完成的。环境的空间映射的常见理由是将虚拟对象放置在适当的背景中，对象的遮挡涉及在虚拟对象前面的物理对象阻挡虚拟对象的可视化，以及遵守物理原理(例如，虚拟对象被可视化为坐在桌子上或地板上，而不是悬停在空中)。

介入室变得越来越虚拟，由此通过头戴式增强现实设备进行可视化的虚拟对象最终将主导传统的物理工作空间。如前所述，在混合现实中，在物理世界的背景内对虚拟对象进行可视化，并且为了将这些视觉对象锚定在介入室的实况图像流内，必须依赖空间映射来准确映射虚拟世界。另外，空间映射还必须足够灵活，以使得当(一个或多个)其他物理对象在物理世界内移动时虚拟对象能够跟随这样的(一个或多个)物理对象。

然而，虽然空间映射已被证明能够识别物理世界中的表面，但是介入室中的空间映射仍然存在一些限制或缺点。首先，仪器在介入室内的显著移动会导致针对介入室的实况图像流中的(一个或多个)虚拟对象的锚定点非常少或者缺乏这样的锚定点。其次，介入室中的大多数仪器(尤其是那些将在增强现实设备的视场内的设备)都是出于无菌目的而悬垂的(例如，医学成像仪器)。这使得这样的物理对象对于常常依赖于边缘特征的映射算法来说是次优的。最后，大多数介入流程要求高空间映射准确度(例如，＜2mm)，这很难获得，尤其是考虑到针对介入室的实况图像流中的(一个或多个)虚拟对象的锚定点非常少或者缺乏这样的锚定点以及存在悬垂的仪器的情况。

发明内容

本发明的目的是提供用于对虚拟对象相对于在物理世界内的物理对象的增强现实显示视图的自主定位的控制器。自主定位可以由控制器自动执行并且/或者可以由控制器呈现为推荐，这种推荐是可接受的或可拒绝的。

根据本发明的第一方面，该目标通过增强现实显示器和虚拟对象定位控制器来实现，所述增强现实显示器用于相对于在物理世界内的(一个或多个)物理对象的视图显示虚拟对象，所述虚拟对象定位控制器用于基于以下决定性聚合来自主控制所述虚拟对象在所述增强现实显示器内的定位：对(一个或多个)空间定位规则的实施，所述(一个或多个)空间定位规则调整所述虚拟对象在所述增强现实显示器内的所述定位；以及对所述物理世界的感测(例如，对在所述物理世界内的(一个或多个)物理对象的对象检测，对所述增强现实显示器相对于所述物理世界的姿态检测和/或对所述增强现实显示器相对于所述物理世界的操作环境的环境检测)。换句话说，基于接收的(或输入的)一个或多个信号来控制虚拟对象在增强现实显示器内的定位，所述接收的(或输入的)一个或多个信号指示(i)(一个或多个)空间定位规则，所述(一个或多个)空间定位规则调整虚拟对象在增强现实显示器内的定位；以及(ii)对物理世界的感测(例如，由被(可移除地)耦合到增强现实设备的一个或多个传感器收集的信息，所述(一个或多个)传感器生成指示物理世界的信息)。

由控制器进行的决定性聚合还可以包括：对增强现实显示器的(一个或多个)技术规范的操作评估，以及对一个或多个额外的虚拟对象在增强现实显示器内的定位的虚拟评估。

根据本发明的另一方面，该目的通过编码有用于由一个或多个处理器运行的指令的非瞬态机器可读存储介质来实现。所述非瞬态机器可读存储介质包括用于自主控制虚拟对象在增强现实显示器内的定位的指令，所述增强现实显示器相对于在物理世界内的(一个或多个)物理对象的视图显示虚拟对象。

对虚拟对象在增强现实显示器内的定位的自主控制基于以下决定性聚合：对(一个或多个)空间定位规则的实施，所述(一个或多个)空间定位规则调整所述虚拟对象在所述增强现实显示器内的所述定位；以及对所述物理世界的感测(例如，对在所述物理世界内的(一个或多个)物理对象的对象检测，对所述增强现实显示器相对于所述物理世界的姿态检测和/或对所述增强现实显示器相对于所述物理世界的操作环境的环境检测)。换句话说，基于接收的(或输入的)一个或多个信号来自主控制虚拟对象在增强现实显示器内的定位，所述接收的(或输入的)一个或多个信号指示(i)(一个或多个)空间定位规则，所述(一个或多个)空间定位规则调整虚拟对象在增强现实显示器内的定位；以及(ii)对物理世界的感测(例如，由被(可移除地)耦合到增强现实设备的一个或多个传感器收集的信息，所述(一个或多个)传感器生成指示物理世界的信息)。

决定性聚合还可以包括：对增强现实显示器的(一个或多个)技术规范的操作评估，以及对一个或多个额外的虚拟对象在增强现实显示器内的定位的虚拟评估。

根据本发明的另外的方面，该目标通过增强现实方法来实现，所述增强现实方法涉及增强现实显示器，所述增强现实显示器相对于在物理世界内的物理对象的视图显示虚拟对象。

增强现实方法还涉及虚拟对象定位控制器，所述虚拟对象定位控制器基于以下决定性聚合来自主控制所述虚拟对象在所述增强现实显示器内的定位：对(一个或多个)空间定位规则的实施，所述(一个或多个)空间定位规则调整所述虚拟对象在所述增强现实显示器内的所述定位；以及对所述物理世界的感测(例如，对在所述物理世界内的(一个或多个)物理对象的对象检测，对所述增强现实显示器相对于所述物理世界的姿态检测和/或对所述增强现实显示器相对于所述物理世界的操作环境的环境检测)。换句话说，基于接收的(或输入的)一个或多个信号来控制虚拟对象在增强现实显示器内的定位，所述接收的(或输入的)一个或多个信号指示(i)(一个或多个)空间定位规则，所述(一个或多个)空间定位规则调整虚拟对象在增强现实显示器内的定位；以及(ii)对物理世界的感测(例如，由被(可移除地)耦合到增强现实设备的一个或多个传感器收集的信息，所述(一个或多个)传感器生成指示物理世界的信息)。

由控制器进行的决定性聚合还可以包括：对增强现实显示器的(一个或多个)技术规范的操作评估，以及对一个或多个额外的虚拟对象在增强现实显示器内的定位的虚拟评估。

出于描述和要求保护本公开内容的目的：

(1)本领域的术语(包括但不限于“虚拟对象”、“虚拟屏幕”、“虚拟内容”、“虚拟项目”、“物理对象”、“物理屏幕”、“物理内容”、“物理项目”、“物理世界”、“空间映射”和“对象识别”)将被解读为是本公开内容的领域中已知的并且作为在本公开内容中描述的示例；

(2)术语“增强现实设备”广泛地涵盖如在本公开内容的领域中已知的并且在下文中设想到的实施在物理世界的视图上叠加(一个或多个)虚拟对象的增强现实的所有设备。增强现实设备的示例包括但不限于增强现实头戴式显示器(例如，GOOGLE GLASS^TM、HOLOLENS^TM、MAGIC LEAP^TM、VUSIX^TM和META^TM)；

(3)术语“增强的增强现实设备”广泛地涵盖实施本公开内容的发明原理的涉及如在本公开内容中示例性描述的虚拟对象相对于物理世界内的物理对象的增强现实显示视图的定位的任何和所有增强现实设备；

(4)术语“决定性聚合”广泛地涵盖根据各种信息和数据的输入的结果的系统确定；

(5)术语“控制器”广泛地涵盖如在本公开内容的领域中所理解的并且如在本公开内容中示例性描述的用于控制如在本公开内容中示例性描述的本公开内容的各种发明原理的应用的主电路板或集成电路的所有结构配置。控制器的结构配置可以包括但不限于(一个或多个)处理器、(一个或多个)计算机可用/计算机可读存储介质、操作系统、(一个或多个)应用模块、(一个或多个)外围设备控制器、(一个或多个)插槽以及(一个或多个)端口。控制器可以被容纳在增强的增强现实设备中或者与增强的增强现实设备通信链接；

(6)术语“应用程序模块”广泛地涵盖包含在控制器内或者可由控制器访问的应用程序，该控制器包括用于运行特定应用程序的电子电路(例如，电子部件和/或硬件)和/或可执行程序(例如，在(一个或多个)非瞬态计算机可读介质和/或固件上存储的可执行软件)；并且

(7)术语“信号”、“数据”和“命令”广泛地涵盖如在本公开内容的领域中所理解的并且如在本公开内容中示例性描述的用于传输如在本公开内容中后续描述的支持应用本公开内容的各种发明原理的信息和/或指令的所有形式的可检测物理量或脉冲(例如，电压、电流或磁场强度)。本公开内容的信号/数据/命令通信各种部件可以涉及在本公开内容的领域中已知的任何通信方法，包括但不限于通过任何类型的有线或无线数据链路的信号/数据/命令传输/接收以及对被上传到计算机可用/计算机可读存储介质的信号/数据/命令的读取。

根据下面的结合附图阅读的本公开内容的各种实施例的具体实施方式，本公开内容的前述实施例和其他实施例以及本公开内容的各种结构和优点将变得更加明显。具体实施方式和附图仅是对本公开内容的说明而非限制，本公开内容的范围由权利要求及其等同方案来限定。

附图说明

图1图示了根据本公开内容的发明原理的物理世界的示例性实施例。

图2图示了根据本公开内容的发明原理的增强的增强现实设备的示例性实施例。

图3A-3I图示了根据本公开内容的发明原理的现有技术标记的示例性实施例。

图4A-4D图示了根据本公开内容的发明原理的现有技术传感器的示例性实施例。

图5A-5H图示了根据本公开内容的发明原理的虚拟对象在增强现实显示器内的示例性定位。

图6图示了根据本公开内容的发明原理的授权区域和禁止区域的示例性实施例。

图7图示了根据本公开内容的发明原理的增强的增强现实方法的示例性实施例。

图8图示了根据本公开内容的发明原理的决定性聚合方法的示例性实施例。

图9图示了根据本公开内容的发明原理的虚拟对象定位控制器的示例性实施例。

具体实施方式

通常，本公开内容的增强的增强现实设备和方法通常涉及经由(一只或多只)眼睛、相机、智能手机、平板电脑等得到的在物理世界中的物理对象的实况视图，该实况视图利用被实施为以虚拟内容/到内容的链接(例如，图像、文本、图形、视频、缩略图、协议/配方、程序/脚本等)和/或虚拟项目(例如，2D屏幕、物理对象在虚拟世界中的全息图和虚拟表示)的形式显示虚拟对象的信息而得到增强。

更具体地，物理世界的实况视频馈送便于将虚拟世界映射到物理世界，由此虚拟世界的计算机生成的虚拟对象在位置上叠加在物理世界中的物理对象的实况视图上。本公开内容的增强的增强现实设备和方法提供了对虚拟对象相对于在物理世界内的物理对象的增强现实显示视图的自主定位的控制器。

为了便于理解本公开内容的各种发明，下面对图1的描述教导了通过本公开内容的增强的增强现实设备得到的物理世界的示例性正面视图。虽然将在房间10的背景中描述物理世界，但是本公开内容的领域的普通技术人员将意识到如何将本公开内容的发明原理应用于任何背景中的物理世界。

参考图1，通过本公开内容的增强的增强现实设备得到的物理世界10的正面视图跨越天花板11、地板12、左侧墙壁13、右侧墙壁14和后侧墙壁15。

X个物理对象20在通过本公开内容的增强的增强现实设备得到的物理世界10的正面视图内，X≥1。在实践中，对于本公开内容的增强的增强现实设备和方法，物理对象20是经由物理显示器、公告板等(未示出)得到的以内容/到内容的链接(例如、文本、图形、视频、缩略图等)、任何物理项目(例如，物理设备和物理系统)和/或任何物理实体(例如，人)的形式的信息的任何视图。在物理世界10是临床/手术室的背景下，物理对象20的示例包括但不限于：

1、医生、相关联的工作人员和患者；

2、具有显示的患者解剖结构的图像的物理屏幕；

3、具有显示的工具/器械通过患者解剖结构的跟踪路径的图形的桌边监测器；

4、显示的先前运行医学流程的视频；

5、显示的链接到文本、图形或视频的缩略图；

6、用于执行医学流程的任何医学设备和/或装置(例如，X射线系统、超声系统、患者监测系统、麻醉仪器、病床、造影剂注射系统、桌边控制面板、音响系统、照明系统、机器人、监测器、触摸屏、平板电脑、手机、医学仪器/工具/器械、额外的增强现实设备和运行医学软件(如图像处理、重建、图像融合等)的工作站)；以及

7.本公开内容的额外的增强的增强现实设备。

仍然参考图1，通过本公开内容的增强的增强现实设备得到的Y个标记30可以在物理世界10的正面视图内，Y≥0。在实践中，对于本公开内容的增强的增强现实设备和方法，标记30是在物理世界10内指定的物理对象20，以便于物理世界10的空间映射和/或便于对在物理世界10中的物理对象20的跟踪。标记30的示例包括但不限于以下各项中的一项或多项：

1、如图3A所示的二维(“2D”)QR标记31；

2、如图3B所示的三维(“3D”)QR标记32；

3、如图3C所示的图案标记33；

4、如图3D所示的被附接到医学器械70的光学跟踪标记34a-34c；

5、对象的定义的3D形状；

6、对象上的标签、标志或其他类似特征；以及

7、如图3E所示的LED35a-35i的图案71。

在实践中，(一个或多个)标记30可以以适合用于物理世界10的空间映射和/或对(一个或多个)物理对象的跟踪的任何方式被安装、附着、布置或以其他方式定位在物理世界10内。在物理世界10是临床/手术室的情况下，将标记30放置在临床/手术室内的示例包括但不限于：

1、如图3F所示，在物理世界10的墙壁13-15的周缘附近大致与眼睛齐平的标记带35，由此在物理世界10的几乎任何增强现实视图中都是可见的。额外地或替代地，标记带能够被定位在物理世界的地板或天花板上(未示出)；

2、如图3F所示，涂在天花板11上的标记37a((一个或多个)替代的或额外的标记可以被涂在墙壁13-15上)；

3、如图3F所示，物理附接到天花板11的标记38a((一个或多个)替代的或额外的标记可以被物理附接到墙壁13-15)；

4、如图3G所示，以无菌贴纸72的形式嵌入到无菌盖布72中或直接印刷/嵌入在盖布72中的标记37b；

5、附接到物理对象20(例如，病床、医学仪器(例如，如图3H所示的超声扫描器73、超声探头、机器人、造影剂注射器等)、计算机/显示屏和本公开内容的额外的增强的增强现实设备的夹式标记38b；

6、如图3I所示，结合到X射线探测器74中的LED的图案38a和38b。

仍然参考图1，通过本公开内容的增强的增强现实设备得到的Z个传感器40可以在物理世界10的正面视图内，Z≥0。在实践中，对于本公开内容的增强的增强现实设备和方法，传感器40是在物理世界10内指定的物理对象，以便于感测物理世界10内的物理对象20。传感器40的示例包括但不限于：

1、如图4A所示，可以附着到物理对象20和/或与物理对象20集成在一起的(一个或多个)电磁传感器41，由此可以操作电磁场生成器73以感测物理世界10内的物理对象20的姿态和/或形状；

2、如图4B所示，用于感测可以附着到物理对象20和/或与物理对象20集成在一起的光学标记34(例如，图3D的光学标记34a-34c)的红外相机42，由此可以操作红外相机42以感测物理世界10内的物理对象20；

3、用于可视化物理世界10内的(一个或多个)物理对象20的光学深度感测相机43；以及

4、用于感测物理世界10的环境状况的环境传感器44(例如，温度传感器、湿度传感器、光传感器等)。

在实践中，(一个或多个)传感器40可以以适合用于感测物理世界10内的物理对象20的任何方式被安装、附着、布置或以其他方式定位在物理世界10内。

为了便于进一步理解本公开内容的各种发明，下面对图2的描述教导了本公开内容的示例性增强的增强现实设备。根据该描述，本公开内容的领域的普通技术人员将意识到如何应用本公开内容的发明原理来制造和使用本公开内容的增强的增强现实设备的额外的实施例。

参考图2，本公开内容的增强的增强现实设备50采用如在本公开内容的领域中已知的增强现实控制器51、(一个或多个)增强现实传感器52、增强现实显示器53和交互工具/机构(未示出)(例如，手势识别(包括标志物))、语音命令、头部跟踪、眼睛跟踪和标志物(如鼠标))，以用于相对于包括物理对象的物理世界的实况视图生成和显示(一个或多个)虚拟对象，从而增强物理世界的实况视图。

在实践中，为了物理世界10的空间映射和物理对象/标记跟踪的目的，(一个或多个)增强现实传感器52可以包括RGB或(一个或多个)灰度相机、(一个或多个)深度感测相机、(一个或多个)IR传感器、(一个或多个)加速度计、(一个或多个)陀螺仪和/或(一个或多个)仰视相机。

在实践中，对于本公开内容的增强的增强现实方法，虚拟对象是经由增强现实显示53得到的以虚拟内容/到内容的链接(例如，图像、文本、图形、视频、缩略图、协议/配方、程序/脚本等)和/或虚拟项目(例如，物理对象在虚拟世界中的全息图和虚拟表示)的形式的任何计算机生成的信息显示。例如，在医学流程的背景中，虚拟对象可以包括但不限于：

1、显示的医学成像装置的配置的文本；

2、显示的关于患者解剖结构的规划路径的图形；

3、显示的医学流程的实况视图的先前录制的视频；

4、显示的链接到文本、图形或视频的缩略图；

5、患者解剖结构的部分或全部的全息图；

6、手术机器人的虚拟表示；

7、来自医学成像器(超声、介入X射线等)的实况图像馈送；

8、来自监测仪器(例如，ECG监测器)的实况数据轨迹；

9、任何屏幕显示的实况图像；

10、显示的与第三方的视频(或音频)连接(例如，不同房间的另一个增强现实设备佩戴者，经由办公室中的网络摄像头和仪器远程支持的医学人员)；

11、对象的召回位置，其被可视化为文本、图标或对象在该存储位置的全息图；

12、针对给定流程的可用的或建议的医学设备的可视清单；以及

13、辅助该流程的远程人员的虚拟表示。

仍然参考图2，本公开内容的虚拟对象定位控制器60被链接到增强的增强现实设备50或被容纳在增强的增强现实设备50内以增强虚拟对象在增强现实显示器51内的定位。替代地，虚拟对象定位控制器60可以被并入增强现实控制器51。

在操作中，虚拟对象定位控制器60输入来自(一个或多个)传感器40的信号/数据140，该信号/数据140提供(一个或多个)传感器40对物理世界10的感测的信息。虚拟对象定位控制器60还输入来自增强现实控制器51的信号/数据/命令150，该信号/数据/命令150提供增强的增强现实设备50的操作/显示状态的信息，虚拟对象定位控制器60还输入来自(一个或多个)增强现实传感器52的信号/数据/命令151，该信号/数据/命令151提供(一个或多个)传感器52对物理世界10的感测。继而，如将利用图的描述进一步解释的那样，虚拟对象定位控制器60将信号/数据/命令160传送到增强现实控制器51和/或增强现实显示器53，以用于相对于物理世界10内的物理对象20的增强现实显示视图来自主定位61虚拟对象55。

在实践中，可以在一种或多种定位模式中相对于物理世界10内的物理对象20的增强现实显示视图来定位虚拟对象54。

在一种定位模式中，如图5A所示，虚拟对象54可以根据物理对象20的指定用途或涉及物理对象20的流程来以固定或可变的距离与物理对象20隔开。

第二种定位模式中，如图5B所示，虚拟对象54可以根据物理对象20的指定用途或涉及物理对象20的流程来以固定或可变的距离与额外的虚拟对象55隔开。

在第三种定位模式中，如图5C所示，虚拟对象54可以以适合用于物理对象20的特定用途或涉及物理对象20的流程的方式被布置到物理对象20的任何表面上。

在第四种定位模式中，如图5D所示，额外的虚拟对象55可以以适合用于物理对象20的特定用途或涉及物理对象20的流程的方式被布置到虚拟对象54的任何表面上。

在第五种定位模式中，如图5E所示，虚拟对象54的部分或全部可以被定位在物理对象20的后面，由此物理对象20阻挡虚拟对象54的这样的部分或整个虚拟对象54的可视化。对于这种模式，虚拟对象54可以保持被定位在物理对象20的后面，或者，虚拟对象54可以替代地在增强现实显示器53内移动以进行物理对象20进行的任何遮挡或物理对象20进行的达到不可接受的程度的遮挡。

在第六种定位模式中，如图5F所示，虚拟对象54的部分或全部可以被定位在物理对象20的前面，由此虚拟对象54阻挡物理对象20的这样的部分或整个物理对象20的可视化。对于这种模式，虚拟对象54可以保持被定位在物理对象20的前面，或者虚拟对象54可以替代地在增强现实显示器53内移动以进行虚拟对象54进行的任何遮挡或虚拟对象54进行的达到不可接受的程度的遮挡。

在第七种定位模式中，如图5G所示，虚拟对象54的部分或全部可以被定位在额外的虚拟对象55的后面，由此虚拟对象55阻挡虚拟对象54的这样的部分或整个虚拟对象54的可视化。对于这种模式，虚拟对象54可以保持被定位在虚拟对象55的后面，或者虚拟对象54可以替代地在增强现实显示器53内移动以进行虚拟对象55进行的任何遮挡或虚拟对象55进行的达到不可接受的程度的遮挡。

在第八种定位模式中，如图5H所示，虚拟对象54的部分或全部可以被定位在额外的虚拟对象55的前面，由此虚拟对象54阻挡虚拟对象55的这样的部分或整个虚拟对象55的可视化。对于这种模式，虚拟对象54可以保持被定位在虚拟对象55的前面，或者虚拟对象54或虚拟对象55可以替代地在增强现实显示器53内移动以进行虚拟对象54进行的任何遮挡或虚拟对象54进行的达到不可接受的程度的遮挡。

在第九种定位模式中，如图6所示，虚拟对象54可以仅被定位在物理世界10的任何空间区内或者仅被定位在物理世界10的M个授权区域80内，M≥0。同时地或替代地，虚拟对象54可以不被定位在物理世界10的N个禁止区域81内，N≥0。

对于所有定位模式，虚拟对象54的任何平移/旋转/枢转移动和/或虚拟对象55在增强现实显示器53内的任何平移/旋转/枢转移动可以与物理对象20的任何平移/旋转/枢转移动同步，以尽可能最大程度地维持该定位关系。

此外，对于所有定位模式，虚拟对象54和/或虚拟对象55可以被重新定向和/或调整大小以尽可能最大程度地维持该定位关系。

前述定位模式将在图7的描述中进一步描述。

为了便于进一步理解本公开内容的各种发明，下面对图7的描述教导了本公开内容的增强的增强现实方法的示例性实施例。根据该描述，本领域普通技术人员将意识到如何应用本公开内容的发明原理来制作和使用本公开内容的增强的增强现实方法的额外的实施例。虽然将在如图1所示的物理世界10的背景中描述了图7，但是本公开内容的领域的普通技术人员将意识到如何将本公开内容的增强的增强现实方法的发明原理应用于任何背景中的物理世界。

参考图7，流程图90表示本公开内容的增强的增强现实方法的示例性实施例。

通常，流程图90的阶段S92包含利用(一个或多个)传感器40(图1)和增强现实相机52(图2)进行的物理世界交互。更具体地，阶段S92实施涉及物理世界的无标记空间映射和/或基于标记的空间映射的物理世界配准，以使得虚拟对象定位控制器60能够相对于物理对象20的(一个或多个)表面来定位虚拟对象54。

在实践中，无标记空间映射提供了如由增强现实眼镜52所观察到的在增强的增强现实设备50(图1)周围的环境中的真实世界表面的详细表示。具体地，无标记空间映射提供了一个或多个边界体积，以使得增强的增强现实设备50的佩戴者能够定义物理世界10内的空间区域，由此为(一个或多个)物理对象20的(一个或多个)空间表面提供边界体积或每个边界体积。(一个或多个)边界体积可以是固定的(在相对于物理世界的固定位置)或附接的增强的增强现实设备50。每个空间表面描述在小体积空间中的物理对象20的(一个或多个)表面，该小体积空间被表示为附接到世界锁定坐标系的三角形网格。

在实践中，基于标记的空间映射可以以多种模式运行。

在单标记跟踪模式中，在增强现实显示器53的虚拟世界内的虚拟对象54(例如，全息图)的位置与(一个或多个)增强现实传感器52对在物理世界10内的任何可见的单个标记30(例如，在(一个或多个)增强现实传感器52的视图中可见的如图3A-3G所示的标记31-39中的一个)的跟踪联系在一起。

在嵌套标记跟踪模式中，在增强现实显示器53的虚拟世界内的虚拟对象54(例如，全息图)的位置与(一个或多个)增强现实传感器52对物理世界10内的专门指定的单个标记30(例如，被专门指定为配准标记的如图3A-3G所示的标记31-39中的一个)的跟踪联系在一起。

在多标记跟踪模式中，在物理世界30内的一个以上的标记30的位置被用来确定在增强现实显示器53的虚拟世界内的虚拟对象54(例如，全息图)的位置。例如，多个标记30可以被简单地用于改进虚拟对象54在物理世界10的固定空间中的配准。进一步举例来说，相对于患者移动成像探头(例如，内窥镜)的机器人上的第一标记30和覆盖患者的盖布上的第二标记30可以被用来确定虚拟对象54例如，全息图)在增强现实显示器5的虚拟世界内的位置，由此可以相对于机器人和患者这两者显示术中内窥镜图像的全息图。

在多模态跟踪模式中，增强现实显示器53的定位使用物理世界10中的外部传感器40(例如，对物理世界10中的虚拟对象54的位置进行三角测量的多个相机、RFID跟踪器、智能无线网格等)、该定位被传送到虚拟对象定位控制器60以在附近寻找预定的(一个或多个)特定的物理对象20和/或(一个或多个)特定标记30。虚拟对象定位控制器60可以使用计算密集型算法来以更精细的分辨率进行空间映射。

仍然参考图7，阶段S92还实施物理世界跟踪101，其涉及对增强的增强现实设备50的用户的跟踪、对在物理世界10内的物理对象20的跟踪、对在物理世界10内的标记30的跟踪和/或对物理世界10的环境状况的跟踪。

对于用户跟踪，由(一个或多个)增强现实传感器52跟踪的用户信息包括但不限于头部姿态、手部位置和手势、眼睛跟踪以及用户在物理世界10的空间映射中的位置。可以从外部传感器40(例如，被安装在房间中的用于检测用户的躯干的位置的相机)跟踪关于用户的额外信息。

对于物理对象跟踪，运行对象识别技术以识别(一个或多个)特定的物理对象20，例如，C形臂探测器、桌边控制面板、超声探头、工具和病床。可以通过在空间映射中检测到的形状，根据光学标记跟踪、根据空间映射内的定位(例如经由第二增强的增强现实设备40)或者根据外部跟踪(例如，光学或电磁跟踪系统)来识别(一个或多个)物理对象(20)。物理对象跟踪还可以包括对象检测以专门检测在物理世界中内的人并且还经由面部识别来识别特定的人。物理对象跟踪还可以结合对象的被编码的移动的知识(例如，C形臂或桌子位置、机器人等)。

环境跟踪可以包括通过(一个或多个)传感器40和/或(一个或多个)传感器52对在物理世界10内的环境光和/或背景光和/或背景颜色的感测和/或通过(一个或多个)传感器40和/或(一个或多个)传感器52对环境温度或湿度水平的感测。

仍然参考7，流程图90的阶段S94包括涉及创建(一个或多个)虚拟对象54的虚拟现实启动。

在一个实施例中，虚拟对象是经由在物理世界10内执行的实况或录制的流程来创建的，例如(1)实况内容(例如，图像流、患者监测器、剂量信息、远程呈现聊天窗口)，(2)术前内容(例如，作为全息图的分段CT扫描、患者记录、规划的流程路径)，以及(3)术中内容(例如，一件仪器的用于稍后返回的保存位置、对重要界标的注释、保存的来自AR眼镜的相机图像或用作参考的X射线图像)。

在第二实施例中，(一个或多个)虚拟对象是经由(一个或多个)增强现实应用程序来创建的。

阶段S94的虚拟现实启动还包括对(一个或多个)虚拟对象定位规则(包括但不限于(一个或多个)流程规范、定位规章和定位规定)的描绘。

在实践中，(一个或多个)流程规范包括虚拟对象相对于由AR应用程序或实况/录制的流程指定的物理对象的视图的定位。例如，X射线流程可以基于使用房间的基础空间映射对C形臂的位置的检测来指定xperCT重建全息图在C形臂等中心点处的定位。进一步举例来说，超声流程可以指定将虚拟超声屏幕定位到换能器的五(5)厘米以内的但不与患者、探头或用户的手重叠的空间。超声流程还可以指定虚拟超声屏幕也被倾斜以使其面向用户。

虚拟控件或按钮能够对齐到物理对象。这些按钮会将其自身自动定位到用户最容易看到的位置。

在实践中，定位规章包括如与AR应用程序或实况/录制的流程相关联的规章要求所强制的虚拟对象相对于物理对象的视图的定位。例如，对于荧光透视，只要存在X射线，荧光透视规章就会强制图像应始终被显示在视场中。

额外地或替代地，定位规章包括基于增强现实显示器53的显示器的视场对虚拟对象的定位。所述视场可以考虑增强现实显示器50或增强现实设备50或这两者的参数的数量，例如但不限于最优焦深、虚拟窗口的大小设计、色差或显示器的其他光学特征，例如，佩戴者的眼睛注视模式的知识。

在实践中，定位规定包括如增强的增强现实设备50的用户所规定的虚拟对象相对于物理对象的视图的定位。例如，经由图形用户接口或AR用户接口，用户可以规定(一个或多个)授权区域80和/或(一个或多个)禁止区域81，如图1所示。进一步举例来说，经由图形用户接口，用户可以规定虚拟对象与(一个或多个)物理对象的最小距离和/或提供虚拟内容类型之间的优先级规则。这些规则可以由用户明确定义或者通过学习得到。

仍然参考图7，流程图90的阶段S96包括信息和数据的决定性聚合以相对于增强现实显示器53内的物理对象20的视图定位虚拟对象54的示例性实施例。具体地，阶段S96包括虚拟对象静态定位120，其涉及虚拟对象54相对于增强现实显示器53内的物理对象20的视图的位置，其可以考虑也可以不考虑增强现实显示器53内的额外的虚拟对象的(一个或多个)位置和/或增强现实显示53的操作环境。阶段S96还可以包括虚拟对象动态定位121，其涉及虚拟对象54与物理对象20、另一虚拟对象和/或操作环境变化的移动同步。

在阶段S96的实践中，虚拟对象定位控制器60可以相对于增强现实显示器53内的物理对象20的视图自动定位虚拟对象54。替代地或同时地，在阶段S96的实践中，虚拟对象定位控制器60可以提供对虚拟对象54相对于增强现实显示器53内的物理对象20的视图的定位的推荐，这种推荐可以被接受也可以被拒绝。另外，在阶段S96的实践中，在任何对应的流程结束时，虚拟对象定位控制器60可以基于任何接受的或拒绝的推荐来更新AR显示器53的布局设置。

在一个实施例中，在阶段S96期间运行本公开内容的决定性聚合方法。参考图8，流程图130表示本公开内容的决定性聚合方法。

流程图130的阶段S132包括控制器60实施如在本公开内容中先前描述的(一个或多个)流程规范、(一个或多个)位置规章和/或(一个或多个)位置规定。更具体地，(一个或多个)流程规范将提供要检测的(一个或多个)物理对象的信息，(一个或多个)位置规章将提供任何强制的虚拟对象定位的信息，并且(一个或多个)位置规定可以提供(一个或多个)授权区域和/或(一个或多个)禁止区域以及对象之间的最小距离阈值的信息。

流程图130的阶段S134包含控制器60处理与对物理世界的感测有关的信息和数据

在阶段S134的一个实施例中，对物理世界的感测包括对象检测，该对象检测涉及识别在阶段S132中阐述的特定物理对象，例如，(例如在临床/医学背景中的)C形臂探测器、桌边控制面板、超声探头、工具和病床。在实践中，控制器60可以通过在阶段S92(图7)的空间映射中检测到的形状，根据阶段S92的光学标记跟踪，根据同一空间映射内的自我定位(例如像第二头戴式显示器)或者经由阶段S92的外部跟踪(例如，光学或电磁跟踪系统)来识别物理对象的形状。

另外，在实践中，控制者可以识别(一个或多个)人，更具体地经由面部识别来识别(一个或多个)人的身份。

在阶段S134的第二实施例中，对物理世界的感测包括对增强现实显示器53相对于物理世界10的姿态检测。在实践中，控制器60可以经由AR传感器52跟踪头部姿态、手部位置和手势、眼睛跟踪以及用户在物理世界的网格中的位置。能够从外部传感器(例如，被安装在物理世界10中的用于检测用户的特定身体部位(例如，躯干)的位置的相机)跟踪关于用户的额外信息。

在阶段S134的第三实施例中，对物理世界的感测包括对增强现实显示器53的操作环境的环境检测。在实践中，控制器60可以监测对物理世界内的环境光、背景光或背景颜色的感测，并且可以调节虚拟对象的定位规范以确保在增强现实显示器53内的可见性。

流程图130的阶段S136包括控制器60处理与对流程的增强现实的评估有关的信息和数据。

在阶段S136的一个实施例中，增强现实评估包括对增强现实显示器53的操作评估。在实践中，控制器60可以考虑通过增强现实显示器53获得的物理世界或虚拟世界的视场、增强现实显示器53的焦平面、考虑文本可读性的窗口大小设计，以及通过增强现实显示器(53)得到的物理世界的视场。

在示例性实施例中，检测或评估的背景颜色用于调节虚拟对象的规范定位以确保在增强现实显示器53内的可见性。在这样的示例性实施例的示例性植入中，控制器60包括相机馈送上的边缘检测算法或者与相机馈送上的边缘检测算法耦合，还被配置为通过在增强现实显示器的像素中的每个像素或一些像素上应用预定义阈值来检测背景颜色的均匀性，其中，这样的边缘检测可以输出指示背景的颜色或颜色均匀性的信号。额外地或替代地，控制器60包括能够评估和确定增强现实显示器(53)的图像上的颜色的分布的RGB颜色值确定模块。额外地或替代地，控制器60包括用于查看背景图像的对比度以便找到与所显示的虚拟内容的颜色具有最佳对比度的背景区域的模块。

在阶段S136的第二实施例中，增强现实评估包括对额外的虚拟对象的定位的虚拟评估。在实践中，控制器60可以使一个虚拟对象紧挨着另一个虚拟对象对齐，或者可以使一个虚拟对象远离另一个虚拟内容以免干扰。

流程图130的阶段S138包括将虚拟对象54定位在增强现实显示器53内。在实践中，当最初决定将虚拟对象54放置在增强现实显示器53内的什么位置时，控制器60必须考虑来自阶段S132-S136的所有信息和数据并描绘虚拟对象54相对于(一个或多个)物理对象20的用于由AR设备50的用户进行的功能可视化的位置(例如，如图5A-5H所示的位置)。

一旦虚拟对象被定位在显示器内，控制器60就循环通过阶段S134-S138以基于物理世界的任何变化和/或物理对象的移动来持续控制位置和可见性。更具体地，当虚拟对象与物理对象交互时，可能会出现一些场景。

首先，虚拟对象可能会遮挡正在移动的物理对象。例如，可以移动C形臂，由此使C形臂占据与X射线虚拟屏幕相同的空间，该空间将始终基于规章规则来进行显示。在同一示例中，患者信息虚拟屏幕可以基于用户优先级被隐藏在C形臂后面。

其次，物理对象可能会遮挡虚拟对象。例如，患者被物理地设置在虚拟屏幕中，由此虚拟屏幕会被隐藏，因此经由显示器可以看到患者或者虚拟屏幕仅在患者所在的区域中被遮挡。

第三，虚拟对象被重新调节以适应物理对象。例如，虚拟屏幕与用户的手相邻，并且任何阻挡虚拟屏幕的手移动都会引起虚拟屏幕被自动重新定位，使得虚拟屏幕和手都在显示器设备的视场中可见。进一步举例来说，开启虚拟屏幕后面的灯，由此虚拟屏幕自动变亮以适应光线。

为了便于进一步理解本公开内容的各种发明，下面对图9的描述教导了本公开内容的虚拟对象定位控制器的示例性实施例。根据该描述中，本领域普通技术人员将意识到如何应用本公开内容的发明原理来制作和使用本公开内容的虚拟对象定位控制器的额外的实施例。

仍然参考图9，虚拟对象定位控制器60a包括经由一条或多条系统总线66互连的一个或多个处理器61、存储器62、用户接口63、网络接口64和存储装置65。

每个处理器61可以是如在本公开内容的领域中已知的或在下文中设想的能够运行在存储器62或存储装置中存储的指令或以其他方式处理数据的任何硬件设备。在非限制性示例中，(一个或多个)处理器61可以包括微处理器、现场可编程门阵列(FPGA)、专用集成电路(ASIC)或其他类似设备。

存储器62可以包括如在本公开内容的领域中已知的或在下文中设想的各种存储器，包括但不限于L1、L2或L3高速缓冲存储器或系统存储器。在非限制性示例中，存储器62可以包括静态随机存取存储器(SRAM)、动态RAM(DRAM)、闪速存储器、只读存储器(ROM)或其他类似的存储设备。

用户接口63可以包括如在本公开内容的领域中已知的或在下文中设想的用于实现与诸如管理员之类的用户的通信的一个或多个设备。在非限制性示例中，用户接口可以包括命令行接口或图形用户接口，其可以通过网络接口64呈现给远程终端。

网络接口64可以包括如在本公开内容的领域中已知的或在下文中设想的用于实现与其他硬件设备的通信的一个或多个设备。在非限制性示例中，网络接口64可以包括被配置为根据以太网协议进行通信的网络接口卡(NIC)。另外，网络接口64可以根据TCP/IP协议来实施用于通信的TCP/IP栈。针对网络接口64的各种替代或额外的硬件或配置将是显而易见的。

存储装置65可以包括如在本公开内容的领域中已知的或在下文中设想的一个或多个机器可读存储介质，包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光学存储介质、闪存设备或类似的存储介质。在各种非限制性实施例中，存储装置65可以存储由(一个或多个)处理器61运行的指令或者(一个或多个)处理器61可以操作的数据。例如，存储装置65可以存储用于控制硬件的各种基本操作的基本操作系统。存储装置65还以可执行软件/固件的形式存储用于实施本公开内容先前描述的控制器60a的各种功能的应用模块，包括但不限于如本公开内容先前描述的实施空间映射、空间配准、对象跟踪、对象识别、定位规则、静态定位和动态定位的虚拟对象定位管理器67。

参考图1-9，本公开内容的领域的普通技术人员将意识到本公开内容的许多益处，包括但不限于控制器相对于物理世界中的物理对象的增强现实显示视图自主定位虚拟对象。

另外，如本领域普通技术人员鉴于本文中提供的教导将意识到的，本公开内容/说明书中描述的和/或在附图中描绘的结构、元件、部件等均可以被实施在硬件与软件的各种组合中，并提供可以被组合在单个元件或多个元件中的功能。例如，能够通过使用专用硬件以及能够运行与用于附加功能的适当的软件相关联的软件的硬件来提供在附图中示出/图示/描绘的各个结构、元件、部件等的功能。当由处理器提供时，所述功能能够由单个专用处理器、由单个共享处理器或由多个个体处理器(它们中的一些能够被共享和/或多路复用)来提供。此外，对术语“处理器”或“控制器”的明确使用不应被解释为专指能够运行软件的硬件，并且能够隐含地包括而不限于数字信号处理器(“DSP”)硬件、存储器(例如，用于储存软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)、非易失性储存器等)，以及实质上能够(和/或可配置为)执行和/或控制过程的任意单元和/或机器(包括硬件、软件、固件、它们的组合等)。

此外，本文中记载本发明的原理、各方面和实施例以及其特定示例的所有陈述，旨在涵盖其结构和功能上的等价物。额外地，这样的等价物旨在包括当前已知的等价物以及未来发展的等价物(即，能够执行相同或基本上相似的功能的所发展的任何元件而无论其结构如何)。因此，例如，鉴于本文中提供的教导，本领域普通技术人员应意识到，本文中呈现的任何框图能够表示实施本发明的原理的图示性系统部件和/或电路的概念视图。类似地，鉴于本文中提供的教导，本领域普通技术人员应意识到，任意流程图表、流程图等均能够表示各种过程，所述各种过程基本上能被表示在计算机可读储存媒介中，并由具有处理能力的计算机、处理器或其他设备如此运行，而无论是否明确示出这样的计算机或处理器。

已经描述了本公开内容的各种众多发明的优选和示例性实施例(这些实施例旨在是图示性的而非限制性的)，应当注意，按照本文中提供的教导(包括(一幅或多幅)附图)，本领域技术人员能够做出修改和变型。因此，应当理解，能够在/对本公开内容的优选和示例性实施例中做出在本文中公开的实施例的范围之内的改变。

此外，应预期到，包括和/或实施根据本公开内容的设备/系统的或者例如能够在设备中使用/实施或与设备一起使用/实施的对应的和/或有关的系统也被预期并且被认为在本公开内容的范围内。另外，用于制造和/或使用根据本公开内容的设备和/或系统的对应的和/或有关的方法也被预期并且被认为在本公开内容的范围内。

Claims (20)

1.一种增强现实设备(50)，包括：

增强现实显示器(53)，其能操作用于相对于在物理世界内的至少一个物理对象的视图显示虚拟对象；以及

虚拟对象定位控制器(60)，其被配置为基于以下决定性聚合来自主控制所述虚拟对象在所述增强现实显示器(53)内的定位：

由所述虚拟对象定位控制器(60)对至少一个空间定位规则的实施，所述至少一个空间定位规则调整所述虚拟对象在所述增强现实显示器(53)内的所述定位；以及

对所述物理世界的感测。

2.根据权利要求1所述的增强现实设备(50)，其中，对所述物理世界的所述感测包括由所述虚拟对象定位控制器(60)对在所述物理世界内的所述至少一个物理对象的对象检测。

3.根据权利要求1所述的增强现实设备(50)，其中，对所述物理世界的所述感测包括由所述虚拟对象定位控制器(60)对所述增强现实显示器(53)相对于所述物理世界的姿态检测。

4.根据权利要求1所述的增强现实设备(50)，其中，对所述物理世界的所述感测包括由所述虚拟对象定位控制器(60)对所述增强现实显示器(53)相对于所述物理世界的操作环境的环境检测。

5.根据权利要求1所述的增强现实设备(50)，其中，所述虚拟对象定位控制器(60)还被配置为基于所述决定性聚合来自主控制所述虚拟对象在所述增强现实显示器(53)内的所述定位还包括由所述虚拟对象定位控制器(60)对所述增强现实显示器(53)的至少一个技术规范的操作评估。

6.根据权利要求1所述的增强现实设备(50)，其中，所述虚拟对象定位控制器(60)还被配置为基于所述决定性聚合来自主控制所述虚拟对象在所述增强现实显示器(53)内的所述定位还包括由所述虚拟对象定位控制器(60)对至少一个额外的虚拟对象中的一个或每个在所述增强现实显示器(53)内的定位的虚拟评估。

7.根据权利要求1所述的增强现实设备(50)，其中，所述虚拟对象定位控制器(60)还被配置为基于以下各项中的一项来自主控制所述虚拟对象在所述增强现实显示器(53)内的所述定位：

由所述虚拟对象定位控制器(60)从在所述物理世界内的所述至少一个物理对象的所述视图导出的对所述物理世界的无标记空间映射；以及

由所述虚拟对象定位控制器(60)从在所述物理世界内的至少一个标记的感测导出的对所述物理世界的基于标记的空间映射。

8.根据权利要求7所述的增强现实设备(50)，其中，所述基于标记的空间映射包括单标记跟踪、嵌套标记跟踪、多标记跟踪和多模态跟踪中的至少一种。

9.一种编码有用于由至少一个处理器(81)运行的指令的非瞬态机器可读存储介质，所述非瞬态机器可读存储介质包括用于以下操作的指令：

基于以下决定性聚合来自主控制虚拟对象在增强现实显示器(53)内的定位，所述增强现实显示器相对于在物理世界内的物理对象的视图显示所述虚拟对象：

对至少一个空间定位规则的实施，所述至少一个空间定位规则调整所述虚拟对象在所述增强现实显示器(53)内的所述定位；以及对所述物理世界的感测；以及

对所述物理世界的感测。

10.根据权利要求1所述的非瞬态机器可读存储介质，其中，对所述物理世界的所述感测包括用于运行对在所述物理世界内的至少一个物理对象的对象检测的指令。

11.根据权利要求1所述的非瞬态机器可读存储介质，其中，对所述物理世界的所述感测包括用于运行对所述增强现实显示器(53)相对于所述物理世界的姿态检测的指令。

12.根据权利要求1所述的非瞬态机器可读存储介质，其中，对所述物理世界的所述感测包括用于运行对所述增强现实显示器(53)相对于所述物理世界的操作环境的环境检测的指令。

13.根据权利要求1所述的非瞬态机器可读存储介质，其中，用于基于所述决定性聚合来自主控制所述虚拟对象在所述增强现实显示器(53)内的所述定位的指令还包括用于运行对所述增强现实显示器(53)的至少一个技术规范的操作评估的指令。

14.根据权利要求1所述的非瞬态机器可读存储介质，其中，所述虚拟对象定位控制器(60)还被配置为基于所述决定性聚合来自主控制所述虚拟对象在所述增强现实显示器(53)内的所述定位还包括用于运行对至少一个额外的虚拟对象中的一个或每个在所述增强现实显示器(53)内的定位的虚拟评估的指令。

15.根据权利要求9所述的非瞬态机器可读存储介质，其中，用于自主控制所述虚拟对象在所述增强现实显示器(53)内的所述定位的指令还包括用于以下操作的指令：

根据在所述物理世界内的所述物理对象的视图和对在所述物理世界内的至少一个标记的感测中的至少一项来空间映射所述物理世界。

16.一种增强现实方法，包括：

经由增强现实显示器(53)相对于在物理世界内的物理对象的视图显示虚拟对象；并且

经由虚拟对象定位控制器(60)基于以下决定性聚合来自主控制所述虚拟对象在所述增强现实显示器(53)内的定位：

对至少一个空间定位规则的实施，所述至少一个空间定位规则调整所述虚拟对象在所述增强现实显示器(53)内的所述定位；以及

对所述物理世界的感测。

17.根据权利要求16所述的增强现实方法，其中，对所述物理世界的所述感测包括以下各项中的至少一项：

由所述虚拟对象定位控制器(60)运行对在所述物理世界内的所述至少一个物理对象的对象检测；

由所述虚拟对象定位控制器(60)运行对所述增强现实显示器(53)相对于所述物理世界的姿态检测；

由所述虚拟对象定位控制器(60)运行对所述增强现实显示器(53)相对于所述物理世界的操作环境的环境检测。

18.根据权利要求16所述的增强现实方法，其中，经由所述虚拟对象定位控制器(60)基于所述决定性聚合来自主控制所述虚拟对象在所述增强现实显示器(53)内的所述定位还包括以下各项中的至少一项：

对所述增强现实显示器(53)的至少一个技术规范的操作评估；以及

对至少一个额外的虚拟对象中的一个或每个在所述增强现实显示器(53)内的定位的虚拟评估。

19.根据权利要求16所述的增强现实方法，其中，经由所述虚拟对象定位控制器(60)来自主控制所述虚拟对象在所述增强现实显示器(53)内的所述定位包括：

根据在所述物理世界内的所述物理对象的所述视图和对在所述物理世界内的至少一个标记的感测中的至少一项来空间映射所述物理世界。

20.根据权利要求19所述的增强现实方法，其中，所述基于标记的空间映射包括单标记跟踪、嵌套标记跟踪、多标记跟踪和多模态跟踪中的至少一种。

Images