CN114667538A - 用于在外科手术环境中使用的观看系统 - Google Patents

Abstract

本发明涉及一种用于在外科手术环境中使用的观看系统。各种真实对象检测设备检测真实环境中的真实对象的位置，诸如患者和患者的身体部位、医务人员、机器人、机器人上的切割工具、机器人转移到身体部位中的植入物、外科手术工具和一次性物品。地图生成器生成形成真实环境的数字表示或数字孪生的地图。包括房间设置模块、解剖配准模块、外科手术计划模块和外科手术执行模块的各种引导模块利用数字表示基于数字表示来引导虚拟或真实对象。

Description

用于在外科手术环境中使用的观看系统

相关申请的交叉引用

本申请要求于2019年11月15日提交的美国临时专利申请No.62/936,383的优先权，其内容都通过引用整体并入本文。

技术领域

本发明总体上涉及一种观看系统，并且更具体地涉及一种在外科环境中起作用的观看系统。

背景技术

在诸如医院或诊所的外科环境中执行外科手术需要来自不同人员的不同贡献，包括负责设置外科手术室的人员、负责记录患者的身体部位的放射学数据的放射学人员、外科医生和其他使用放射学数据的可视化来计划外科手术的专家、执行外科手术的外科医生和其他外科医生，以及负责为房间通风和补充一次性物品的人员。

放射学数据的可视化是基于先前收集的放射学数据的静态可视化。通常不存在与可视化交互以计划外科手术的解决方案。在计划阶段完成之后，放射学数据通常不用于执行外科手术。机器人经常用于执行外科手术。这些机器人与远程外科医生等操作者进行长距离数字连接，这些操作者可以操纵这些机器人执行外科手术，包括对人体进行切割并将植入物植入人体。这些远程操作者依靠机器人和人体的可视化来操纵机器人。

如果没有真实环境的数字孪生，很难在设置房间、解剖配准、外科手术计划、以及外科手术执行方面获得任何可重复性或获得高度的准确性。

发明内容

本发明提供了一种观看系统，包括：真实对象检测设备，其被定位以检测真实环境中的真实对象的位置，至少一个处理器，计算机可读介质，其被连接到所述处理器，数据存储器，其位于所述计算机可读介质上；以及指令集，其被存储在所述计算机可读介质上并且可由所述处理器执行。所述指令集可以包括：地图生成器，其被连接到所述真实对象检测设备以接收包括所述真实对象的所述真实环境的数据，并且可执行以创建形成包括所述真实对象的所述真实环境的数字表示的地图，地图存储例程，其可执行以将所述地图存储在所述数据存储器上，以及引导模块，其被连接到所述数据存储器以检索所述地图，并且可执行以基于所述数字表示来引导虚拟对象和真实对象中的至少一个。

本发明还提供了一种观看方法，包括：用真实对象检测设备来检测真实环境中的真实对象的位置，用处理器执行被连接到所述真实对象检测设备的地图生成器，以接收包括所述真实对象的所述真实环境的数据，并创建形成包括所述真实对象的所述真实环境的数字表示的地图，用所述处理器执行地图存储例程，以将所述地图存储在所述数据存储器上，以及用所述处理器执行被连接到所述数据存储器的引导模块，以检索所述地图，并基于所述数字表示来引导虚拟对象和真实对象中的至少一个。

本发明还提供了一种观看系统，包括：真实对象检测设备，其被定位为以检测真实环境中的真实对象的位置，至少一个处理器，计算机可读介质，其被连接到所述处理器，数据存储器，其位于所述计算机可读介质上，以及指令集，其被存储在所述计算机可读介质上并且可由所述处理器执行。所述指令集可以包括：地图生成器，其被连接到所述真实对象检测设备以接收包括所述真实对象的所述真实环境的数据，并且可执行以创建形成包括所述真实对象的所述真实环境的数字表示的地图，地图存储例程，其可执行以将所述地图存储在所述数据存储器上，以及多个引导模块，其被连接到所述数据存储器以检索所述地图，并且可执行以基于所述数字表示来引导虚拟对象和真实对象中的至少一个，其中，所述引导模块包括以下中的至少两个：a.房间设置模块，其可由所述处理器执行以基于所述数字表示来设置房间，并且可以包括：存储期望的房间布局，以及提供相对于所述真实环境以数字方式叠加所述期望的房间布局的输出；b.解剖配准模块，其可由所述处理器执行以基于所述数字表示来执行解剖配准，其可以包括：存储患者的身体部位的位置，其中，所述身体部位的所述位置是基于由所述真实对象检测设备检测到的真实对象的位置；c.外科手术计划模块，其可由所述处理器执行以基于所述数字表示来计划外科手术，其可以包括：存储患者的身体部位的数字表示，将所述患者的所述身体部位的所述数字表示与所述虚拟对象一起显示给用户，接收来自所述用户的输入以相对于所述身体部位的所述数字表示来引导所述虚拟对象，以及响应于来自所述用户的所述输入，在所述用户的视野中相对于所述身体部位的所述数字表示来移动所述虚拟对象；以及d.外科手术执行模块，其可由所述处理器执行以基于所述数字表示来辅助执行外科手术，其可以包括；存储患者的身体部位的数字表示，接收来自所述用户的输入以相对于所述身体部位的所述数字表示来引导所述虚拟对象，以及响应来自所述用户的所述输入，在所述用户的视野中，相对于所述身体部位的所述数字表示移动所述虚拟对象，以及在所述真实环境中，相对于所述患者的所述身体部位移动所述真实对象中的相应的一个真实对象。

本发明还提供了一种观看方法，包括：用真实对象检测设备来检测真实环境中的真实对象的位置，用处理器执行被连接到所述真实对象检测设备的地图生成器，以接收包括所述真实对象的所述真实环境的数据，并创建形成包括所述真实对象的所述真实环境的数字表示的地图，用所述处理器执行地图存储例程，以将所述地图存储在所述数据存储器上，以及用所述处理器执行被连接到所述数据存储器的多个引导模块，以检索所述地图，并且基于所述数字表示来引导虚拟对象和真实对象中的至少一个，其中，所述引导模块包括以下中的至少两个：a.房间设置模块，其可由所述处理器执行以基于所述数字表示来设置房间，其可以包括：存储期望的房间布局，以及提供相对于所述真实环境以数字方式叠加所述期望的房间布局的输出；b.其中，所述引导模块是解剖配准模块，所述解剖配准模块可由所述处理器执行以基于所述数字表示来执行解剖配准，其可以包括：存储患者的身体部位的位置，其中，所述身体部位的所述位置是基于由所述真实对象检测设备检测到的真实对象的位置；c.外科手术计划模块，其可由所述处理器执行以基于所述数字表示来计划外科手术，其可以包括：存储患者的身体部位的数字表示，将所述患者的所述身体部位的所述数字表示与所述虚拟对象一起显示给用户，接收来自所述用户的输入以相对于所述身体部位的所述数字表示来引导所述虚拟对象，以及响应于来自所述用户的所述输入，在所述用户的视野中相对于所述身体部位的所述数字表示来移动所述虚拟对象；以及d.外科手术执行模块，其可由所述处理器执行以基于所述数字表示来辅助执行外科手术，其可以包括；存储患者的身体部位的数字表示，接收来自所述用户的输入以相对于所述身体部位的所述数字表示来引导所述虚拟对象，以及响应来自所述用户的所述输入，在所述用户的视野中，相对于所述身体部位的所述数字表示来移动所述虚拟对象，以及在所述真实环境中，相对于所述患者的所述身体部位移动所述真实对象中的相应的真实对象。

前向波和回波在放射学领域中用于对患者进行成像。例如，X射线机和计算机断层摄影(CT)机器使用X射线波，超声波机器使用超声波，而磁共振成像(MRI)机器使用交变磁场或正向和返回方式的波和无线电波检测患者的内部结构。

在放射学数据的上下文中，本发明还提供了一种观看系统，包括：真实对象检测设备，其被定位以检测真实环境中的真实对象的位置，至少一个处理器，计算机可读介质，其被连接到所述处理器，数据存储器，其位于所述计算机可读介质上，以及指令集，其被存储在所述计算机可读介质上并且可由所述处理器执行。所述指令集可以包括：地图生成器，其被连接到所述真实对象检测设备以接收包括所述真实对象的所述真实环境的数据，并且可执行以创建形成包括所述真实对象的所述真实环境的数字表示的地图，地图存储例程，其可执行以将所述地图存储在所述数据存储器上，头戴式框架，光波导被固定到所述头戴式框架上，原始数据接收单元，其接收回波的原始数据，图像生成单元，其被连接到所述数据存储器以处理所述回波的所述原始数据，从而创建表示图像的图像数据并将所述图像数据存储在所述数据存储器中，图像数据接收单元，其从所述数据存储器接收所述图像数据，至少一个投影仪，其被连接到所述图像数据接收单元以接收所述图像数据，所述投影仪以代表所述图像数据的图案并基于所述地图来生成光，以及至少一个光波导，其被连接到所述投影仪并被固定到所述头戴式框架以将所述光引导到用户的眼睛的视网膜，以使得所述用户看到所述图像数据的渲染。

本发明还提供了一种观看方法，包括：用真实对象检测设备来检测真实环境中的真实对象的位置，用处理器执行被连接到所述真实对象检测设备的地图生成器，以接收包括所述真实对象的所述真实环境的数据，并创建形成包括所述真实对象的所述真实环境的数字表示的地图，用所述处理器执行地图存储例程，以将所述地图存储在所述数据存储器上，将头戴式框架安装到观看者的头部，将回波的原始数据存储在数据存储器中，处理所述回波的所述原始数据以创建图像数据，将所述图像数据存储在所述数据存储器中，从所述数据存储器接收所述图像数据，以代表所述图像数据的图案并基于所述地图来生成光，以及用被固定到所述头戴式框架的光波导将所述光引导到观看者的眼睛的视网膜，以使得所述观看者看到所述图像数据的渲染。

本发明还提供了一种观看系统，包括：真实对象检测设备，其被定位以检测真实环境中的真实对象的位置，至少一个处理器，计算机可读介质，其被连接到所述处理器，数据存储器，其位于所述计算机可读介质上，以及指令集，其被存储在所述计算机可读介质上并且可由所述处理器执行。所述指令集可以包括：地图生成器，其被连接到所述真实对象检测设备以接收包括所述真实对象的所述真实环境的数据，并且可执行以创建形成包括所述真实对象的所述真实环境的数字表示的地图，地图存储例程，其用于存储具有多个锚点的第一地图，所述第一地图的每个锚点具有一组坐标，锚点识别系统，其被连接到所述真实对象检测设备以基于所述真实对象的所述位置来检测第二地图的锚点，所述第二地图的每个锚点具有一组坐标，以及定位模块，其被连接到所述第一地图和所述第二地图，并且可执行以通过将所述第二地图的第一锚点匹配到所述第一地图的第一锚点并将所述第二地图的第二锚点匹配到所述第一地图的第二锚点，将所述第二地图定位到所述第一地图。

本发明还提供了一种观看方法，包括：用真实对象检测设备来检测真实环境中的真实对象的位置，用处理器执行被连接到所述真实对象检测设备的地图生成器，以接收包括所述真实对象的所述真实环境的数据，并且创建形成包括所述真实对象的所述真实环境的数字表示的地图，存储具有多个锚点的第一地图，所述第一地图的每个锚点具有一组坐标，基于所述真实对象的所述位置来检测第二地图的锚点，所述第二地图的每个锚点具有一组坐标，以及通过将所述第二地图的第一锚点匹配到所述第一地图的第一锚点并将所述第二地图的第二锚点匹配到所述第一地图的第二锚点，将所述第二地图定位到所述第一地图。

附图说明

参考附图，通过示例的方式还描述了本发明，在附图中：

图1是根据本发明的实施例的患者观看系统的框图；

图2是形成患者观看系统的一部分的CT扫描仪、数据接收单元、图像生成单元、以及数据存储器的局部透视图和局部框图；

图3是形成患者观看系统的一部分的显示系统、导管和数据存储器的局部透视图和局部框图；

图4是示出形成图3中的显示系统的一部分的导管集成系统的框图，并且还示出了导管；

图5是示出外科医生形式的观看者的透视图，该观看者看到患者的身体以及患者体内的身体部位的渲染，并且还看到导管尖端和尖端的过去路径的渲染；

图6是图5的顶视图；

图7是由观看者看到的视图；

图8是在观看者围绕患者的身体逆时针移动并且已经逆时针移动他们的头部以保持看到患者的身体之后的类似于图6的视图；

图9是如何在视图内修改患者的身体和渲染的类似于图7的视图；

图10以放大的细节示出在图7和图9中向观看者示出的渲染；

图11是示出根据本发明实施例的观看系统、桌子形式的真实世界对象、以及与观看系统交互的第一用户的部分透视图和部分框图；

图12是形成观看系统的一部分的第一观看设备的框图；

图13是示出为了正确渲染本地内容的目的如何将源点坐标框架变换为目的地坐标框架的示意图；

图14是示出基于瞳孔的坐标框架的俯视图；

图15是示出包括所有瞳孔位置的相机坐标框架的俯视图；

图16是服务器、以及观看系统的第一和第二观看设备的视觉数据和算法的框图；

图17是由第一观看设备生成的三维第一本地(local)跟踪地图(地图1)的二维表示；

图18是示出将地图1从第一观看设备上传到服务器的框图；

图19是在第一用户已经终止第一会话并且第二用户已经使用形成观看系统的一部分的第二观看设备发起第二会话之后类似于图11的视图；

图20是示出将规范地图从服务器下载到第二观看设备的框图；

图21是由第二观看设备生成的第二跟踪地图(地图2)的二维表示，并且还示出了为将地图2定位到规范地图而进行的定位尝试；

图22是在进一步开发地图2并且本地内容与地图2的锚点相关联之后类似于图21的视图；

图23是在将地图2成功定位到规范地图之后类似于图22的视图；

图24是在来自规范地图的一个或多个锚点被包括到地图2中以生成规范地图之后类似于图23的视图；

图25是示出地图2在第二观看设备上的进一步扩展的类似于图24的视图；

图26是示出将地图2从第二观看设备上传到服务器的类似于图25的视图；

图27是将地图2与规范地图合并的类似于图26的视图；

图28是示出从服务器向第一和第二观看设备传送新规范地图的类似于图27的视图；

图29是地图2和参考地图2的第二观看设备的头部坐标框架的二维表示；

图30是以二维方式示出可以在六个自由度中发生的头部坐标框架的调整的类似于图29的视图；

图31示出在第二观看设备上的规范地图，其中声音相对于地图2的锚点被定位；

图32和图33是示出根据另一个实施例使用观看系统的透视图和框图，其中第一用户已经终止了第一会话并且第一用户已经使用观看系统发起了第二会话；

图34和图35是示出根据本发明的又一实施例使用观看系统的透视图和框图，其中三个用户在同一会话中同时使用观看系统；

图36是可以由外科手术环境中的各种用户使用的观看系统的透视图；

图37是包括多个头部单元、传感器、引导模块和计算机的更全面的观看系统的框图；

图38是示出房间设置模块的功能的流程图；

图39和图40是房间和用户的透视图，用户的任务是使用观看系统设置房间进行外科手术；

图41是外科手术机器人系统的透视图；

图42是示出房间设置模块的各个方面的框图；

图43和图44示出呈现给用户的用于选择各种引导模块的执行的界面；

图45是示出解剖配准模块的功能的流程图；

图46是示出用户使用探针来记录(register)身体部位的解剖结构上的点的透视图；

图47是示出解剖配准模块的各个方面的框图；

图48是示出外科手术计划模块的功能的流程图；

图49是用户的前视图，具有用户看到的视图的表示；

图50a和图50b示出当用户对植入物的数字表示的图像进行调整时通过用户的头部单元看到的视图的一部分；

图51是用户与远程用户的数字表示交互的视图；

图52是示出外科手术计划模块的各个方面的框图；

图53是示出外科手术执行模块的功能的流程图；

图54是由真实对象检测设备检测到的对象(包括各种人员)的透视图；

图55是示出了呈现给用户的平面的透视图，其中用户为机器人设置切割平面；

图56是当机器人接近用户设置的位置时向用户显示的菜单项；

图57示出了当用户设置植入物的位置时呈现给用户的视图；

图58a、图58b和图58c示出用户如何使用手持控制器部件的手指输入表面来操纵机器人；

图59是示出外科手术执行模块的各个方面的框图；以及

图60是根据本发明的一个实施例的可以在本发明系统中付诸于应用的计算机形式的机器的框图。

具体实施方式

附图中的图1示出根据本发明的实施例的患者观看系统20，其包括CT扫描仪22、数据存储器24、导管26和显示系统28。

数据存储器24被连接到CT扫描仪22。来自CT扫描仪22的原始数据可以被存储在数据存储器24中。数据存储器24还存储基于原始数据的图像数据。

显示系统28被连接到数据存储器24，以能够从数据存储器24取得图像数据。导管26被连接到显示系统28，以使得显示系统28可以从导管26中取得测量和视频数据，以进行进一步处理或显示给观看者。

在使用中，患者位于CT扫描仪22的工作站(station)32处。用CT扫描仪22扫描患者的身体30，以获得CT扫描仪22存储在数据存储器24中的原始数据。然后处理原始数据以获得3D图像数据。

将患者从CT扫描仪22处的工作站32转移到显示系统28处的工作站34。观看者使用显示系统28来观看患者的身体30。显示系统28还从数据存储器24取得图像数据。观看者使用显示系统28以3D渲染患者的身体30的形式来观看图像。观看者将导管26插入身体30。显示系统28从导管26的尖端取得数据，以进行进一步处理或显示给观看者。

图2示出观看系统20的组件，包括CT扫描仪22、数据存储器24、能量源36、数据接收单元38和图像生成单元40。

CT扫描仪22包括基座42、平台44、转子46、x射线发射机48和多个x射线检测器50。

平台44通过允许平台44相对于基座42平移运动的机构(未示出)被固定至基座42。诸如步进电机(未示出)的致动器可操作以引起平台44相对于基座42的平移运动。

转子46具有开口52。x射线发射机48在开口52的一侧上被固定到转子46，并且x射线检测器50在开口52的相对侧上被固定到转子46。转子46围绕平台44被安装到基座42。平台44在其平移运动期间相对于开口52移动。马达(未示出)被连接在基座42与转子46之间，并且可操作以使转子46围绕平台44旋转。

能量源36可以通过开关54被连接到x射线发射机48。x射线检测器50可以连接到数据接收单元38。数据接收单元38可以是驻留在计算机的计算机可读介质上的软件单元。数据存储器24驻留在计算机可读介质上。计算机可读介质可以是单个计算机可读介质，或者可以在一个个人计算机或在网络上彼此连接的多个个人计算机内分开。数据接收单元38直接或通过网络连接到数据存储器24。

图像生成单元40可以是驻留在计算机可读介质上的计算机程序。图像生成单元40直接地或通过网络连接到数据存储器24。

在使用中，CT扫描仪22的操作者将患者的身体30放在平台44上。然后，接通连接在基座42与转子46之间的马达，使得转子46围绕平台44和患者的身体30在方向58上旋转。操作者还接通马达，该马达使平台44相对于基座42在平移方向上移动，使得平台44相对于转子46在方向60上移动。然后，操作者连接能量源36与x射线发射机48之间的开关54，以激活x射线发射机48。然后，x射线发射机生成前向x射线波62。

患者的身体30相对于x射线发射机48定位，使得前向x射线波62穿透身体30到达身体30内的身体部位(未示出)。出于本示例的目的，被扫描的身体部位是患者的肺部。肺部有许多支气管，导管可以行进通过该支气管。导管也可能行进通过血液循环系统的心脏、动脉和静脉等中的中空通道。在此所述的系统也可用于观看内部身体部位，而无需使用导管进行视觉、手术或干预，例如观看腹部内的生长情况，分析膝盖的内部功能等。身体部位降低前向x射线波62的能量。身体部位内的不同材料以不同的量来降低能量。x射线检测器50之一相对于身体30定位，以检测从身体部位返回x射线波64。来自身体部位的返回x射线波64响应于前向x射线波62而被检测到，并且实质上是由于被身体部位减小功率而具有减小的功率的前向x射线波62。还示出了进一步前向x射线波66。进一步x射线波在前向x射线波62与66之间生成，并由x射线检测器50中的相应的x射线检测器检测。以该方式，从身体部位的不同部分接收返回x射线波。

x射线发射机48和x射线检测器50与转子46一起围绕患者的身体30内的身体部位旋转。以该方式，可以从不同角度扫描身体部位以创建解剖结构的二维“切片”。CT扫描能够示出骨骼、器官、软组织。通过在方向60上移动平台44来获取随后的切片。因此，每个切片表示二维数据，并且这些切片一起表示身体部位的三维数据。

数据接收单元38从x射线检测器50接收返回x射线波64的原始数据。原始数据包括x射线发射机48相对于患者的身体30内身体部位的角度、每个x射线检测器50所检测到的能量、每个x射线检测器50的位置、以及平台44的位置之间的时间顺序相关性。数据接收单元38将原始数据存储为由x射线检测器50检测到的返回x射线波的原始数据68。

当收集到足够的身体部位的原始数据68时，操作者断开开关54并停止平台44。然后，操作者停止转子46并将患者从平台44移开。

图像生成单元40从数据存储器24中取得原始数据68。图像生成单元40基于原始数据68生成图像数据。图像数据包括身体部位的三维渲染。然后，图像生成单元40将图像数据作为图像数据70存储在数据存储器24中。数据存储器24可以是单个数据存储器，或者可以在平台之间分布，并且因此，原始数据68和图像数据70可以位于个人计算机内的单个数据存储器中，或位于多个个人计算机内的多个数据存储器内。

图3更详细地示出观看系统20的组件，并且示出数据存储器24(保存图像数据70)、导管26和显示系统28。

导管26包括内腔76和附接到内腔76的端部的尖端78。内腔是形成导管26的大部分长度的细长构件(例如，管状部分的腔)。内腔76包括机构(未示出)，该机构可操作以在至少四个正交方向和正交方向之间的所有方向上移动尖端78。因此，尖端78可利用内腔76中的机构来操纵。内腔具有足够大的中空孔(bore)，以容纳用于将尖端与可以通过内腔76将来自尖端的信号中继到显示系统28所需的任何电缆和/或光纤一起操纵的机构。

导管26还包括固定到尖端78的导管惯性测量单元(IMU)80和导管相机82。导管IMU80可以例如是半导体芯片，该半导体芯片具有形成在其中的多个测量设备。测量设备包括一个或多个陀螺仪以及一个或多个加速度计。来自陀螺仪和加速度计的测量单独或组合地提供指示尖端78运动的数据。可以在六个自由度中跟踪此类运动，例如，在x、y和z方向上的平移以及围绕x、y和z轴的旋转。

导管相机82在尖端78的与内腔76相对的一侧上具有透镜(未示出)。导管相机82被定位成在尖端78前面的区域中(即在与内腔76相对的一侧)捕获实况视频数据形式的图像。在相机尖端的不同侧可能有多个光源和多个相机，但是为便于讨论，我们假设只有单个相机，例如导管远端上的内置相机和光源。

显示系统28包括头戴式框架86、左投影仪88A和右投影仪88B、左波导90A和右波导90B、检测设备92和视觉算法94。左投影仪88A和右投影仪88B、左波导90A和右波导90B以及检测设备92被固定到头戴式框架86。头戴式框架86被成形为安装到观看者的头部。头戴式框架86的组件可例如包括围绕观看者的头部的后部缠绕的带子(未示出)。

左投影仪88A和右投影仪88B连接到电源。每个投影仪88A或88B具有用于将图像数据提供给相应的投影仪88A或88B的相应输入。相应的投影仪88A或88B在通电时生成二维图案中的光并从中发出光。左波导90A和右波导90B被定位成分别接收来自左投影仪88A和右投影仪88B的光。左波导90A和右波导90B是透明波导。

检测设备92包括头部单元IMU 100(或多于一个IMU)和一个或多个头部单元相机102。头部单元IMU 100包括一个或多个陀螺仪和一个或多个加速度计。陀螺仪和加速度计通常形成在半导体芯片中，并且能够检测头部单元IMU 100和头戴式框架86的运动，包括沿三个正交轴的运动以及围绕三个正交轴的旋转。

头部单元相机102从头戴式框架86周围的环境连续捕获图像。可以将图像彼此比较以检测头戴式框架86和观看者的头部的运动。

视觉算法94包括图像数据接收单元106、显示定位算法108、导管集成系统110、显示调节算法112、图像处理系统114和立体分析器116。图像数据接收单元106通过直接连接或通过网络连接到数据存储器24。视觉算法94的组件通过子例程或调用彼此链接。通过此类子例程和调用，图像数据接收单元106经由显示定位算法108链接到立体分析器116。

导管集成系统110可以通过内腔76中的导体连接到导管IMU 80和导管相机82。本领域的普通技术人员将理解，视觉算法94驻留在计算系统上，并且导管集成系统110从导管相机82和导管IMU 80接收信号，并且该信号可以从模拟或数字数据转换为计算机软件数据。导管集成系统110可以通过子例程或调用连接到立体分析器116。

显示调节算法112和图像处理系统114分别连接到头部单元IMU 100和头部单元相机102。此类连接是通过导体，并且如果适用，还可以通过将模拟或数字数据转换为计算机软件数据的转换器(inverter)进行。显示调节算法112可以通过子例程和调用连接到显示定位算法108。图像处理系统114可以通过调用和子例程被连接到显示调节算法112。

在使用中，观看者将头戴式框架86安装到他们的头部。左波导90A和右波导90B然后位于观看者的左眼120A和右眼120B的前面。

图像数据接收单元106从数据存储器24中取得图像数据70，并将图像数据70提供给显示定位算法108。显示定位算法108将图像数据70输入到立体分析器116中。图像数据70是如上所述的身体部位的三维图像数据。立体分析器116分析图像数据70，以基于图像数据70确定左图像数据集和右图像数据集。左图像数据集和右图像数据集是表示彼此略有不同以对观看者提供三维渲染的感知的二维图像的数据集。图像数据70是不随时间推移变化的静态数据集。

立体分析器116将左图像数据集和右图像数据集输入到左投影仪88A和右投影仪88B。然后，左投影仪88A和右投影仪88B创建左光图案122A和右光图案122B。在平面图中示出了显示系统28的组件，并且在正视图中示出左光图案122A和右光图案122B。每个光图案122A和122B包括多个像素。为了说明的目的，示出了来自像素中的两个像素的光线124A和126A离开左投影仪88A并进入左波导90A。光线124A和126A从左波导90A的侧面反射。示出了光线124A和126A通过内部反射在左波导90A内从左向右传播，但是应当理解，光线124A和126A也使用折射和反射系统沿一定方向传播到纸面中。光线124A和126A通过光瞳(pupil)128A离开左光波导90A，并且然后通过左眼的瞳孔130A进入左眼120A。然后，光线124A和126A落在左眼120A的视网膜132A上。以该方式，左光图案122A落在左眼120A的视网膜132A上。给观看者的感觉是，形成在视网膜132A上的像素是观看者感知到的位于左波导90A的与左眼120A相对的一侧上的某个距离处的像素134A和136A。

以类似的方式，立体分析器116将右图像数据集输入到右投影仪88B中。右投影仪88B发送右光图案122B，该右光图案122B由光线124B和126B形式的像素表示。光线124B和126B在右波导90B内反射并通过光瞳128B离开。光线124B和126B然后通过右眼120B的瞳孔130B进入并且落在右眼120B的视网膜132B上。光线124B和126B的像素被感知为右光波导90B后面的像素134B和136B。

在视网膜132A和132B上创建的图案被分别感知为在正视图前面示出的左图像140A和右图像140B。由于立体分析器116的功能，左图像140A和右图像140B彼此略有不同。在观看者的头脑中，左图像140A和右图像140B被视为三维渲染。

如上所述，左波导90A和右波导90B是透明的。来自左波导90A和右波导90B的与眼睛120A和120B相对的一侧上的真实对象的光可以穿过左波导90A和右波导90B投射并落在视网膜132A和132B上。特别地，来自患者的身体30的表面的光落在视网膜132A和132B上，使得观看者可以看到患者的身体30的表面。创建增强现实，其中，由于由观看者组合感知的左图像140A和右图像140B，因此观看者看到的患者的身体30的表面被观看者感知的三维渲染增强。

头部单元IMU 100检测观看者的头部的每一个运动。例如，如果观看者围绕患者的身体30逆时针移动并同时逆时针旋转其头部以继续观看患者的身体30，则此类运动将被头部单元IMU 100中的陀螺仪和加速度计检测到。头部单元IMU 100将来自陀螺仪和加速度计的测量提供给显示调节算法112。显示调节算法112计算放置值，并将该放置值提供给显示定位算法108。显示定位算法108修改图像数据70以补偿观看者的头部的运动。显示定位算法108将修改的图像数据70提供给立体分析器116以显示给观看者。

头部单元相机102随着观看者移动其头部而连续捕获图像。图像处理系统114通过识别图像内的对象的图像来分析图像。图像处理系统114分析对象的运动以确定头戴式框架86的姿势位置。图像处理系统114将姿势位置提供给显示调节算法112。显示调节算法112使用姿势位置来进一步细化显示调节算法112提供给显示定位算法108的放置值。显示定位算法108因此基于头部单元IMU 100中的运动传感器与由头部单元相机102拍摄的图像的组合来修改图像数据70。

在观看者将尖端78插入患者的身体30中之前，导管集成系统110可以检测导管26的尖端78的位置。观看者随后将尖端78插入患者的身体30中。然后，尖端78对于观看者是不可见的。导管IMU 80向导管集成系统110提供指示尖端78的每个运动的信号。导管集成系统110因此可以使用导管IMU 80中的运动传感器来跟踪尖端78的位置。与静态的图像数据70不同，尖端78的位置随时间推移变化。导管集成系统110将尖端78的位置提供给立体分析器116。尖端78的位置可以是动态的，因为其随时间推移变化并且在三维上移动。立体分析器116将尖端78定位在插入左投影仪88A和右投影仪88B中的左图像数据集和右图像数据集中。观看者因此可以看到在左图像140A和右图像140B内的尖端78的位置。尖端78的位置在左图像140A和右图像140B内略有变化，使得观看者以三维感知尖端78的位置。当尖端78穿过患者的身体30时，由左图像140A和右图像140B提供的尖端78的位置的渲染随时间推移改变。尖端78的位置的此类运动随着三维中渲染变化，使得观看者将尖端78的渲染感知为在三维上移动，即向左、向右、向上、向下、向前、向后等。

导管相机82继续捕获视频数据并将视频数据提供给导管集成系统110。导管集成系统110将视频数据提供给立体分析器116。除非或直到检测到指示位置应当改变的用户交互事件，否则立体分析器116将视频数据放置在观看者的视野内的固定位置。视频数据随时间推移而变化，因为导管相机82会捕获不同的图像。

视觉算法94是与数据存储器24一起存储在计算机可读介质上的指令集。指令集可由处理器执行以执行上述方法。存储视觉算法94的计算机可读介质可以位于观看者佩戴的腰包上。

图4更详细地示出观看系统20的组件，特别是导管集成系统110的组件，以及它们与尖端78中的导管IMU 80和导管相机82以及立体分析器116的关系。

导管集成系统110包括导管跟踪系统150、过去路径计算器152、网格生成器154、预期路径计算器156、视频数据接收单元158和导管显示集成器160。导管跟踪系统150被连接到导管IMU 80。导管跟踪系统150基于由导管IMU 80检测的运动来计算尖端78的位置。导管IMU 80包括多个尖端跟踪设备，包括多个陀螺仪和加速计，以在六个自由度中跟踪其运动。导管跟踪系统150将尖端78的当前位置作为位置162存储在数据存储器24中。导管跟踪系统150继续监控导管IMU 80，继续计算尖端78的当前位置，并继续将尖端78的当前位置作为当前位置162存储在数据存储器24中。

导管显示集成器160从数据存储器24接收当前位置162，并将当前位置162提供给立体分析器116。立体分析器116向观看者显示尖端78的当前位置162作为渲染，使得观看者可以看到尖端78的位置作为三维渲染。

过去路径计算器152在每个时间点从数据存储器24中取得每个位置162。过去路径计算器152以三维计算尖端78的过去路径，并且将过去路径作为过去路径164存储在数据存储器24中。导管显示集成器160从数据存储器24接收过去路径164，并将过去路径164提供给立体分析器116。立体分析器116将过去路径164作为三维渲染显示给观看者。

网格生成器154从数据存储器中取得过去路径164，并围绕过去路径164生成三维网格。网格生成器154然后将网格作为网格166存储在数据存储器24中。导管显示集成器160从数据存储器24取得网格166，并将网格166提供给立体分析器116。立体分析器116将网格166显示给观看者。立体分析器116创建网格166的三维渲染，在一些实施例中，网格166覆盖过去路径164。

预期路径计算器156从数据存储器24取得尖端78的每个位置162，并基于从数据存储器24取得的位置162和过去位置来计算尖端78的未来路径。预期路径计算器156然后将未来路径作为未来路径168存储在数据存储器24中。导管显示集成器160从数据存储器24中取得未来路径168，并将未来路径168提供给立体分析器116。立体分析器116向观看者显示未来路径168作为三维渲染。

视频数据接收单元158从导管相机82接收实况视频。视频数据接收单元158将实况视频数据提供给导管显示集成器160。导管显示集成器160将实况视频数据提供给立体分析器116。立体分析器116将实况视频数据显示给观看者。实况视频数据是二维显示，该二维显示在三维空间中以某些预定距离显示给观看者。导管显示集成器还将网格166与来自视频数据接收单元158的视频数据集成在一起，使得将网格166显示在视频数据上。随着视频数据改变，随着导管26在患者的身体30内的位置的改变，网格166也相应地改变。

图5示出由观看者172以外科医生的形式在上文中描述的观看系统20的使用，该外科医生使用导管26作为支气管镜，目的是检查包括患者肺部中段性支气管的身体部位174。

观看者172可以通过左波导90A和右波导90B看到患者的身体30。身体部位174在患者的身体30内侧，因此观看者看不到真实的(即物理的)身体部位174。

观看者172还看到基于如上所述的图像数据70的三维渲染176。在特定实施例中，渲染176位于患者的身体30旁边。渲染176包括在图中以示出观看者172相对于患者的身体30感知渲染176的位置，但是应当理解，从该文档的阅读者的角度来看，渲染176确实在真实世界中不存在。插入180示出观看者172可以看到身体部位174的三维渲染182作为渲染176的一部分。

观看者172将导管26的尖端78插入患者的嘴中。然后，观看者172使尖端78前进到身体部位174中。如上所述，在时间上紧密间隔的情况下，监控尖端78的位置，并且其过去路径被存储为三维。采样时间可取决于使用情况而变化，并且可能会进行优化，诸如仅在内窥镜位于患者身体内部时或在用户激活“开始记录/采样”功能后才捕获数据。插入184示出渲染176包括三维的尖端78的位置的渲染186和三维的尖端78的过去路径的渲染188。渲染182、186和188可以同时显示给观看者172，使得观看者看到渲染182内的渲染186和188。

图6是示出观看者172相对于患者的身体30的位置的顶视图，并且还示出渲染176在观看者172的视野内的位置。基于用户偏好、预编程的默认设置或任何其它合适的手段，可以将渲染176放置在相对于患者的身体30的任何位置。患者的身体30在图6中相对于渲染176的特定相对位置仅出于说明的目的，绝不应认为是限制性的。

图7示出由图6中的观看者172看到的视图192。观看者172可以看到患者的实际身体30和渲染176。视图192还包括基于由图4中的导管相机82捕获的视频数据的实况视频。视图192还示出覆盖视频194的网格196。网格196是图4中网格166的显示。

在图8中，观看者172已围绕患者身体30逆时针移动，并且还逆时针旋转其头部以继续观看患者的身体30。显示调节算法112检测观看者172的头部的运动并相应地调节渲染176的位置，使得渲染176在观看者172的视野内看起来相对于患者的身体30保持静止。

在图9中，患者的身体30已经相对于图7顺时针旋转。渲染176还已经顺时针旋转，使得它相对于患者的身体30保持静止。然而，实况视频194的位置并未从图7中的视图192改变为图9中的视图192。因此，观看者172在相同位置中看到实况视频194和网格196，并且这些部件不会在观看者172的头部运动时移动。因此，观看者172可以从不同侧和角度观看患者的身体30和渲染176，而不会忽略实况视频194和网格196。网格196的目的可以是当在网格产生之后在观看者172第二次将尖端78插入身体部位174的通道中时，或者在随着导管在相反方向上移动通过相同路径而移除导管期间，协助观看者引导导管26的尖端78。一些实施例对于虚拟内容(例如，网格196、实况视频194、渲染176)可以具有不同的观看配置，其中一些或全部虚拟内容相对于真实世界坐标是固定的，或者相对于观看者是固定的。

图10示出显示给观看者的渲染176的部件太小而无法在图7和图9的视图中看到。观看者172看到身体部位174、尖端78和尖端的过去路径的渲染182、186和188。观看者还看到了网格196的三维渲染。出于说明的目的，网格196被示出为与渲染182、186和188分离，但是应当理解网格196可以覆盖身体部位174的渲染182。

上述实施方式使用CT扫描仪22来扫描身体部位174。CT扫描仪具有X射线发射机形式的发射机、X射线检测器形式的接收机，并且发射和接收X射线波形式的波。可以使用使用其他发射机和接收机并发射和检测不同波的其他扫描设备。例如，声纳系统使用声音发射机发射声波并使用声音接收机接收声波。视觉系统可以包括插入到身体部位中的光源，该光源发射光波，并且具有位于身体部位内的相机，该相机捕获从身体部位反射的光波。

然而，CT扫描仪优于其他扫描设备，因为CT扫描仪以三维形式提供身体部位的非常详细的原始数据，并且此类数据可以很容易地用图像生成单元转换以创建三维图像数据。CT数据的另一个优点是它可以包含有关特定物质、材料和材料密度的数据。所描述的实现方式示出了在观看者172的视野192中紧挨着患者的身体30放置的渲染176。还可以将渲染与患者的身体30匹配，以使得身体部位的渲染处于实际身体部位所处的位置，导管的尖端的渲染处于导管的尖端的实际位置。

本发明的一些方面也可以在没有导管的情况下实施。例如，可以扫描患者的身体以确定生长并且让观看者使用显示系统将生长的渲染以三维方式叠加在患者的实际身体上。通过这种方式，观看者可以“看到”患者的实际身体内的“生长”。

附图的图11示出了根据本发明的另一个实施例的观看系统210，包括由第一用户214.1佩戴的第一观看设备212.1、以桌子216形式的真实对象、网络218、和服务器220。

第一观看设备212.1包括头部单元222、腰包224和电缆连接226。第一用户214.1将头部单元222固定至其头部，并且将远离头部单元222的腰包224固定至其腰部。电缆连接226将头部单元222连接到腰包224。头部单元222包括用于在允许第一用户214.1看到诸如桌子216的真实对象的同时向第一用户214.1显示一个或多个虚拟对象的技术。腰包224主要包括第一观看设备212.1的处理和通信能力。在其它实施例中，处理和通信能力可以全部驻留在头部单元222中，因此免除对腰包224的需要，或者可以位于诸如背包的另一设备中。

腰包224经由无线连接被连接到网络218。服务器220连接到网络218并保持代表本地内容的数据。腰包224经由网络218从服务器220下载表示本地内容的数据。腰包224经由电缆连接226向头部单元222提供数据。头部单元222典型包括具有光源(例如激光光源或发光二极管(LED)光源)的显示器，以及引导光的波导。

在使用中，第一用户214.1将头部单元222安装至其头部，并将腰包224安装至其腰部。腰包224通过网络218从服务器220下载图像数据。第一用户214.1可以通过头部单元222的显示器看到桌子216。形成头部单元222的一部分的投影仪从腰包224接收图像数据并基于该图像数据生成光。光行进通过形成头部单元222的显示器的一部分的一个或多个波导。然后，光离开波导并传播到第一用户214.1的眼睛的视网膜上。投影仪以在第一用户214.1的眼睛的视网膜上复制的图案生成光。落在第一用户214.1的眼睛的视网膜上的光具有所选择的景深，使得第一用户214.1感知在波导之后的预选深度处的图像。另外，第一用户214.1的两只眼睛接收稍微不同的图像，使得第一用户214.1的大脑感知到距头部单元222的所选择距离处的一个或多个三维图像。在所示的示例中，第一用户214.1感知本地内容228作为增强以看到桌子216。本地内容228的比例及其相距第一用户214.1的位置和距离由表示本地内容228的数据以及用于向第一用户214.1显示本地内容228的各种坐标框架确定。

本地内容228从附图的角度是不可见的，并且由于第一用户214.1使用第一观看设备212.1而仅对第一用户214.1可见。本地内容228最初作为数据结构驻留在腰包224中的视觉数据和算法内。然后，当头部单元222的投影仪基于数据结构生成光时，数据结构将自身表现为光。尽管本地内容228在第一用户214.1前面的三维空间中不存在，但是本地内容228仍表示在三维空间中的图1中。在整个描述中使用三维空间中的计算机数据的可视化来示出由一个或多个用户感知到有助于渲染的数据结构如何在腰包224中的数据结构内彼此相关。

图12更详细地示出第一观看设备12.1的部件，包括头部单元222，以及形成视觉数据和算法的一部分的各种部件，包括渲染引擎230、各种坐标框架232、各种原点和目的地坐标框架234以及各种原点到目的地坐标框架变换器236。

头部单元222包括头戴式框架240、显示系统242、真实对象检测相机244、运动跟踪相机246和惯性测量单元248。

头戴式框架240具有可固定到图11中的第一用户214.1的头部的形状。显示系统242、真实对象检测相机244、运动跟踪相机246和惯性测量单元248被安装到头戴式框架240，并且因此与头戴式框架240一起移动。

坐标系统232包括本地数据系统252、世界框架系统254、头部框架系统256和相机框架系统258。

本地数据系统252包括数据通道262、本地框架确定例程264和本地框架存储指令266。数据通道262可以是内部软件例程，诸如外部电缆或射频接收机的硬件部件，或者诸如打开的端口的混合部件。数据通道262能够接收表示本地内容的图像数据268。

本地框架确定例程264被连接到数据通道262。本地框架确定例程264确定本地坐标框架270。本地坐标框架可以例如基于相对于浏览器窗口的底部边缘的顶部边缘、字符的头部和脚等。本地框架存储指令266被连接到本地框架确定例程264。本领域技术人员将理解，软件模块和例程通过子例程、调用等彼此“连接”。本地框架存储指令266将本地坐标框架270存储为原点和目的地坐标框架234内的本地坐标框架272。

渲染引擎230被连接到数据通道262。渲染引擎230从数据通道262接收图像数据268。

显示系统242被连接到渲染引擎230。显示系统242包括将图像数据268变换为可见光的部件。可见光形成两个图案，每只眼睛一个。可见光进入图11中的第一用户214.1的眼睛，并且在第一用户214.1的眼睛的视网膜上被检测到。

真实对象检测相机244代表从头戴式框架240的不同侧捕获图像的一个或多个相机。运动跟踪相机246还代表可以在头戴式框架240的侧面上捕获图像的一个或多个相机。可以使用一个相机代替表示真实对象检测相机244和运动跟踪相机246的两个相机。

惯性测量单元248包括用于检测头部单元222的运动的多个设备。惯性测量单元248可以包括重力传感器、一个或多个加速度计以及一个或多个陀螺仪。惯性测量单元248的传感器组合地跟踪头部单元222在至少三个正交方向中以及围绕至少三个正交轴的运动。

世界框架系统254包括世界表面确定例程278、世界框架确定例程280和世界框架存储指令282。世界表面确定例程278连接到真实对象检测相机244。世界表面确定例程278接受由真实对象检测相机244捕获的图像，并且处理图像以识别图像中的表面。深度传感器(未示出)确定到表面的距离。因此，这些表面由包括他们的大小、形状和与真实对象检测相机的距离的三个维度的数据表示。世界框架确定例程280被连接到世界表面确定例程278，并基于由世界表面确定例程278确定的表面的位置来确定世界坐标框架284。世界框架存储指令282被连接到世界框架确定例程280，以从世界框架确定例程280接收世界坐标框架284。世界框架存储指令282将世界坐标框架284存储为原点与目的地坐标框架234内的世界坐标框架286。

头部框架系统256包括头部框架确定例程290和头部框架存储指令292。头部框架确定例程290被连接到运动跟踪相机246和惯性测量单元248。头部框架确定例程290使用来自运动跟踪相机246和惯性测量单元248的数据来计算头部坐标框架294。例如，惯性测量单元248具有确定相对于头部单元222的重力方向的重力传感器。运动跟踪相机246连续地捕获由头部框架确定例程290用来细化头部坐标框架294的图像。当图11中的第一用户214.1移动他们的头部时，头部单元222移动。运动跟踪相机246和惯性测量单元248连续地将数据提供给头部框架确定例程290，使得头部框架确定例程290可以更新头部坐标框架294。

头部框架存储指令292被连接到头部框架确定例程290，以从头部框架确定例程290接收头部坐标框架294。头部框架存储指令292将头部坐标框架294存储为原点和目的地坐标框架234中的头部坐标框架296。头部框架存储指令292在头部框架确定例程290重新计算头部坐标框架294时，将更新的头部坐标框架294重复存储为头部坐标框架296。

相机框架系统258包括相机内在特性298。相机内在特性298是作为其设计和制造特征的头部单元222的尺寸。相机内在特性298用于计算存储在原点和目的地坐标框架234内的相机坐标框架300。

相机坐标框架300包括图11中的第一用户214.1的左眼的所有瞳孔位置。当左眼从左向右或上下移动时，左眼的瞳孔位置位于相机坐标框架300内。另外，右眼的瞳孔位置位于右眼的相机坐标框架300内。

原点到目的地坐标框架变换器236包括本地到世界坐标变换器304、世界到头部坐标变换器306和头部到相机坐标变换器308。本地到世界坐标变换器304接收本地坐标框架272并将本地坐标框架272变换为世界坐标框架286。本地坐标框架272到世界坐标框架286的变换被表示为在世界坐标框架286内的变换为世界坐标框架310的本地坐标框架。

世界到头部坐标变换器306从世界坐标框架286变换为头部坐标框架296。世界到头部坐标变换器306将变换为世界坐标框架310的本地坐标框架变换为头部坐标框架296，并且该变换被表示为在头部坐标框架296内变换为头部坐标框架312的本地坐标框架。

头部到相机坐标变换器308从头部坐标框架296变换为相机坐标框架300。头部到相机坐标变换器308将变换为头部坐标框架312的本地坐标框架变换为在相机坐标框架300内的变换为相机坐标框架314的本地坐标框架。将变换为相机坐标框架314的本地坐标框架输入到渲染引擎230中。渲染引擎230基于变换为相机坐标框架314的本地坐标框架来显示表示本地内容228的图像数据268。

图13是各种原点和目的地坐标框架234的空间表示。在该图中表示了本地坐标框架272、世界坐标框架286、头部坐标框架296和相机坐标框架300。每个相机具有包含一只眼睛的所有瞳孔位置的其自己的相机坐标框架300。附图标记304A和306A分别表示由图12中的本地到世界坐标变换器304、世界到头部坐标变换器306和头部到相机坐标变换器308进行的变换。

通过给予虚拟内容其自己的坐标框架，与直接测量到世界坐标框架相反，可以给予虚拟内容更持久的框架位置。例如，如果虚拟灯被放置在桌子上，则桌子上可能存在多个数据点从而提供用于虚拟灯的基本上不随时间改变的相对定位的放置输入。相反，如果根据某个取向和位置来创建世界地图，并且用户改变位置或取向，从而需要新的世界坐标框架，则虚拟灯可以继续使用相同的本地坐标框架而不是调整到新的世界框架，新的世界框架可能会在灯的外观中引入抖动或位置偏移。

图14描绘了用于从头部坐标框架变换到相机坐标框架的相机渲染协议。单只眼睛的瞳孔从位置A移动到位置B。要显现为静止的虚拟对象将取决于瞳孔的位置投影到两个位置A或B之一的深度平面上(假设相机被配置为使用瞳孔作为其坐标框架)。结果，当眼睛从位置A移动到位置B时，使用变换为头部坐标框架的瞳孔坐标框架将导致静止的虚拟对象的抖动。该情况称为视图相关的显示或投影。

如图15所示，相机渲染(CR)框架被放置并包含所有瞳孔位置，并且无论瞳孔位置A和B如何，对象投影现在都将是一致的。头部坐标框架变换为CR框架，该CR框架被称为视图独立显示或投影。可以将图像重新投影应用于虚拟内容以解决眼睛位置的变化，然而，由于渲染仍处于相同位置，因此可以最小化抖动。

图16更详细地示出了第一观看设备212.1和第二观看设备212.2和服务器220的视觉数据和算法。尽管未示出，但第一观看设备212.1被配置为与第二观看设备212.2相同。

服务器220具有地图存储例程318、规范地图320、地图发送器322、和地图合并算法324，用作中央服务器侧地图生成器。

在使用中，第一观看设备212.1生成本地跟踪地图(以下称为“地图1”)，并且地图存储例程318从第一观看设备212.1接收地图1。然后，地图存储例程318将地图1作为规范地图320存储在服务器220的存储设备上。

第二观看设备212.2包括地图下载系统326、锚点识别系统328、定位模块330、规范地图合并器332、本地内容定位系统334以及地图发布者336。

在使用中，地图发送器322将规范地图320发送到第二观看设备212.2，并且地图下载系统326从服务器220下载并存储规范地图320作为规范地图333。

锚点识别系统328连接到世界表面确定例程278。锚点识别系统328基于由世界表面确定例程278检测到的对象来识别锚点。锚点识别系统328使用锚点生成第二地图(地图2)。如循环338所示，锚点识别系统328继续识别锚点并继续更新地图2。基于由世界表面确定例程278提供的数据，将锚点的位置记录为三维数据。世界表面确定例程278从真实对象检测相机244接收图像并且从深度传感器335接收深度数据，以确定表面的位置以及它们与深度传感器335的相对距离。

定位模块330连接到规范地图333和地图2。定位模块330重复尝试将地图2定位到规范地图333。规范地图合并器332连接到规范地图333和地图2。当定位模块330将地图2定位到规范地图333时，规范地图合并器332将规范地图333合并到地图2的锚点中。然后，采用规范地图中包括的丢失数据来更新地图2。

本地内容定位系统334连接到地图2。本地内容定位系统334例如可以是用户可以在世界坐标框架内的特定位置定位本地内容的系统。然后，本地内容将自身附加到地图2的一个锚点。本地到世界坐标变换器304基于本地内容定位系统334的设置将本地坐标框架变换为世界坐标框架。已经参考图12描述了渲染引擎230、显示系统242和数据通道262的功能。

地图发布者336将地图2上传到服务器220。服务器220的地图存储例程318然后将地图2存储在服务器220的存储介质内。

地图合并算法324将地图2与规范地图320合并。当已经存储了多于两个的地图(例如，三个或四个地图)时，地图合并算法324将所有地图合并到规范地图320中以渲染新规范地图320。然后，地图发送器322将新规范地图320发送到位于由新规范地图320表示的区域中的任何和所有设备212.1和212.2。当设备212.1和212.2将它们相应的地图定位到规范地图320时，规范地图320成为升级的地图。

图17示出第一观看设备212.1上的地图1和本地内容(内容123和内容456)。地图1包括许多锚点(锚点a至锚点d)。从第一观看设备212.1的角度来看，锚点a例如具有(0，0，0)的X、Y和Z坐标，并且锚点b具有X、Y和Z坐标(-1，0，0)。内容123与锚点a相关联。例如，内容123可以是虚拟对象，例如必须与锚点a相关的虚拟植入物，以便所有用户在他们各自的系统已经定位到规范地图之后将在相同位置看到虚拟植入物。在本示例中，内容123具有相对于(1，0，0)的锚点a的X、Y和Z关系。内容456具有相对于锚点b的关系。在本示例中，内容456具有相对于锚点b的(1，0，0)的X、Y和Z关系。地图1还具有原点(原点1)。

在图18中，第一观看设备212.1将地图1上传到服务器220。服务器220现在具有基于地图1的规范地图。第一观看设备212.1具有在该阶段为空的规范地图。为了讨论的目的，服务器220除了地图1之外不包括其它地图。第二观看设备212.2上没有存储地图。

第一观看设备212.1还向服务器220发送其Wi-Fi签名数据。服务器220可以使用Wi-Fi签名数据基于从其它设备收集的情报来确定第一观看设备212.1的大致位置，该其它设备过去已经与已记录的这类其它设备的GPS位置一起连接到服务器220或其它服务器。

第一观看设备212.1现在可以结束第一会话(参见图11)，并且可以与服务器220断开连接。

图19示出第二用户214.2发起第二会话的框图。因为第一用户214.1的第一会话已经结束，所以以虚线示出了第一用户214.1。第二观看设备212.2开始记录对象。服务器220可以使用具有不同粒度的各种系统来确定第二观看设备212.2的第二会话与第一观看设备212.1的第一会话在相同的附近处。例如，第一观看设备212.1和第二观看设备212.2中可以包括Wi-Fi签名数据、全球定位系统(GPS)定位数据、基于Wi-Fi签名数据的GPS数据或指示位置的任何其它数据，以记录他们的位置。可替代地，由第二观看设备212.2识别的锚点可以显示与地图1的锚点的相似性。

如图20所示，第一观看设备212.1和第二观看设备212.2从服务器220下载规范地图320。第二观看设备212.2上的地图1包括锚点a-d和原点1。服务器220可以具有用于各种位置的规范地图，并确定第二观看设备212.2在第一会话期间处于与第一观看设备212.1相同的附近，并向第二观看设备212.2发送该附近的规范地图。

图21示出了第二观看设备212.2开始识别锚点以用于生成地图2。第二观看设备212.2仅识别了单个锚点，即锚点a。用于第二观看设备212.2的锚点a的X、Y和Z坐标是(1,1,1)。因此，对于第二观看设备212.2的地图2，锚点a的X、Y和Z坐标不同于对于第一观看设备212.1的地图1和规范地图所确定的坐标。地图2也有自己的原点(原点2)。第二观看设备212.2立即尝试将地图2定位到规范地图。由于地图2的锚点数量不足以用于定位到规范地图，因此定位尝试失败。

图22示出了在第二观看设备212.2已经识别了地图2的另外的锚点(锚点b、锚点c和锚点e)之后的地图2。第二观看设备212.2再次尝试将地图2定位到规范地图。因为地图2至少有两个锚点(锚点a和锚点b)，该两个锚点与规范地图的两个锚点匹配，所以定位尝试会成功。

此外，第二观看设备212.2将内容123和内容456关联到地图2的锚点a和b。内容123具有相对于锚点a的X、Y和Z坐标(1,0,0)。内容123相对于锚点a的坐标因此对于第二观看设备212.2和对于第一观看设备212.1是相同的。

类似地，内容456相对于地图2中的锚点b的X、Y和Z坐标是(1,0,0)。对于第二观看设备212.2，内容456相对于锚点b的X、Y和Z坐标因此与图17中的第一观看设备212.1相同。

图23示出了地图2到规范地图的成功定位。锚点a、b和c对于地图1和规范地图是共同的。规范地图也有不包含在地图2中锚点d，而地图2有不包含在规范地图中的锚点e。应该注意的是，对于第二观看设备212.2，内容123对于图23所示的第二观看设备212.2与图17所示的第一观看设备212.1，相对于锚点a处于相同位置。内容456对于第二观看设备212.2和第一观看设备212.1，相对于锚b也处于相同位置。第一用户214.1和第二用户214.2因此感知内容123和内容456在现实世界中的相同位置。

如图24所示，第二观看设备212.2扩展地图2以包括地图1中的锚点d。包括锚点d表示地图2扩展的开始。

如图25中所示，第二观看设备212.2继续扩展地图2，例如当用户围绕真实世界走动时，第二观看设备212.2会识别出其它锚点(锚点f、g和h)。还应注意，地图1在图24和图25中没有扩展。

参考图26，第二观看设备212.2将地图2上传到服务器220。服务器220将地图2与规范地图一起存储。

服务器220内的规范地图现在包括锚点i，该锚点i不包括在第一观看设备212.1上的地图1中。当第三观看设备(未示出)将地图上传到服务器220并且该地图包括锚点i时，服务器220上的规范地图可能已扩展为包括锚点i。

在图27中，服务器220将地图2与规范地图合并。服务器220确定锚点a至d对于规范地图和地图2是共同的。服务器220扩展规范地图以包括来自地图2的锚点e至h，形成新的规范地图。第一观看设备212.1和第二观看设备212.2上的规范地图基于地图1，并且已过时。

在图28中，服务器220将新的规范地图发送到第一观看设备212.1和第二观看设备212.2。第一观看设备212.1和第二观看设备212.2如上所述进行，以将其相应的本地地图(分别为地图1和地图2)定位到新的规范地图。

如图29中所示，头部坐标框架296或“头部姿势”与地图2中的锚点相关。地图2的锚点用作世界坐标框架，并且先前已经参考图22讨论了从世界坐标框架到头部坐标框架296的变换。图29中所示的头部坐标框架296仅具有两个正交轴，该两个正交轴相对于地图2的锚点处于特定的坐标位置中，以及相对于地图2处于特定的角度。然而应当理解，头部坐标框架296相对于地图2的锚点位于三维位置，并且在三维空间内具有三个正交轴。

在图30中，头部坐标框架296已相对于地图2的锚点移动。由于第二用户214.2已移动其头部，因此头部坐标框架296已移动。用户可以以六个自由度(6dof)移动其头部。头部坐标框架296因此可以在6dof(即，从其在图29中的原始位置在三维中，以及相对于地图2的锚点围绕三个正交轴)中移动。当图12中的真实对象检测相机244和惯性测量单元248分别检测头部单元222的真实对象和运动时，头部坐标框架296被调节。

图31示出声音可以与一个或多个锚点相关联。用户可以例如佩戴具有立体声的头戴式耳机或耳机。通过耳机的声音位置可以使用传统技术进行模拟。声音的位置可以位于固定位置，使得当用户将其头部向左旋转时，声音的位置向右旋转，使得用户感知到来自真实世界中相同位置的声音。在本示例中，声音的位置由声音123和声音456表示。为了便于讨论，图31在分析方面与图25相似。当第一用户214.1和第二用户214.2在相同或不同时间位于同一房间时，他们感知到声音123和声音456来自真实世界中的相同位置。

图32和图33示出上述技术的另一实现方式。如参考图11所述，第一用户214.1已经发起了第一会话。如图32中所示，第一用户214.1已经终止了第一会话，如虚线所示。在第一会话结束时，第一观看设备212.1将地图1上传到服务器220。第一用户214.1现在已在比第一会话更晚的时间发起了第二会话。由于地图1已经存储在第一观看设备212.1上，因此第一观看设备212.1不会从服务器220下载地图1。如果丢失了地图1，则第一观看设备212.1从服务器220下载地图1。然后，第一观看设备212.1继续构建地图2的锚点，定位到地图1，并进一步开发如上所述的规范地图。然后，如上所述，地图2用于关联本地内容、头部坐标框架、本地声音等。

参考图34和图35，也有可能多于一个的用户在同一会话中与服务器220交互。同一位置的多个用户还有一个额外的好处，那就是它会导致相对于头部坐标框架更准确的锚点。多个系统倾向于检测更多的锚点，更多的锚点会导致更多的交叉检查和更好的地图评分。在本示例中，第一用户214.1和第二用户214.2由第三用户214.3与第三观看设备212.3结合在一起。每个观看设备212.1、212.2和212.3开始生成自己的地图，即分别是地图1，地图2和地图3。当观看设备212.1、212.2和212.3继续开发地图1、2和3时，地图被增量上传到服务器220。服务器220合并地图1、2和3以形成规范地图。然后将规范地图从服务器220发送到观看设备212.1、212.2和212.3中的每个观看设备。

参考图36，示出的观看系统的特征在于头部单元402、手持控制器部件404、以及可以被配置为作为腰包等佩戴在用户上的互连的辅助计算或控制器部件406。这些部件中的每一个可以通过有线或无线通信配置，例如由IEEE 802.11、蓝牙(RTM)和其他连接标准和配置指定的那些通信配置，可操作地耦合410、412、414、416、417、418到彼此并耦合到其他连接的资源408，(如云计算或云存储资源)。例如在美国专利申请序列号14/555,585、14/690,401、14/331,218、15/481,255、62/627,155、62/518,539、16/229,532、16/155,564、15/413,284、16/020,541、62,702,322、62/206,765、15,597,694、16/221,065、15/968,673、62/682,788和62/899,678中的每一个都通过引用以其整体并入本文，描述了这些部件的各个方面，例如两个所描绘的光学元件420的各个实施例，用户可以通过这些光学元件420连同可以由相关联的系统部件产生的视觉部件一起看到他们周围的世界，以获得增强的现实体验。这样的系统还可以包括被配置为提供与用户周围环境有关的信息的各种传感器，包括但不限于各种相机类型传感器(例如单色、彩色/RGB、和/或热成像部件)422、424、426、深度相机传感器428、和/或诸如麦克风的声音传感器430。

图37示出了一个更全面的观看系统432，其包括头部单元402A、头部单元402B、头部单元402C、固定传感器434、可移动传感器436、规范地图438、引导模块440、个人计算机442、和平板计算机444。

头部单元402A、402B和402C中的每一个包括相应的一组头部单元传感器446和相应的头部单元显示器448。头部单元402A和402B可以位于相同的房间中，并且头部单元402C可以位于远离头部单元402A和402B所在房间的不同房间中。头部单元显示器448、个人计算机442和平板计算机444表示不同的显示设备450，用户可以通过这些显示设备450观看如上面参考图34所述的二维或三维图像。如上所述，头部单元传感器446可用于检测头部单元402A、402B或402C中的每一个的头部框架。此外，头部单元402A和402B的头部单元传感器446可用于检测它们所在的房间内的对象。这些传感器对于感知用户正在注视的对象特别有用。例如，如果头部单元402A的用户正在注视患者的身体部位，则头部单元402A的头部单元传感器446也检测患者的身体部位。

固定传感器434是安装在房间内固定位置的传感器。固定传感器434可用于检测房间内的静止对象，或者更常见地检测房间内移动的对象，例如外科手术人员、机器人、机器人上的切割工具、外科植入物、外科手术工具、一次性物品、患者和患者的身体部位。可移动传感器436表示可位于可移动对象(例如在房间内移动的机器人)上的传感器。头部单元402A和402B的头部单元传感器446、可移动传感器436和固定传感器434表示真实对象检测设备452。在454处，真实对象检测设备452用于连续更新上述规范地图438，尤其是参考图35。

引导模块440包括房间设置模块458、解剖配准模块460、外科手术计划模块462、和外科手术执行模块464。规范地图438用作由真实对象检测设备452检测到的真实环境中的真实对象的数字表示(有时也称为“数字孪生”)。引导模块440被连接到保存规范地图438的数据存储器并且可以检索规范地图438。引导模块440中的每一个能够执行以基于数字表示来引导虚拟对象和真实对象中的至少一个。引导模块440还可以向显示设备450提供输出。因为真实对象检测设备452不断地检测真实对象，所以规范地图438被不断更新。引导模块440响应于规范地图438中的变化而不断地修改它们的引导和视觉输出。引导模块440通常驻留在服务器计算机系统的数据存储器上并且由服务器计算机系统的处理器执行。引导模块440的部分或全部也可以由诸如头部单元402A至402C中的任何一个的其他计算机系统执行。

图38示出了图37中的房间设置模块458的功能。在470，服务器计算机系统的处理器存储期望的房间布局。期望的房间布局通常由操作者配置，并且取决于房间的特定比例和房间打算用于的特定外科手术。

在472，处理器提供相对于真实环境以数字方式叠加期望的房间布局的输出。规范地图438用于确定现有的真实环境。操作者相对于规范地图438覆盖(overlay)期望的房间布局。

在474，生成真实对象之一在期望房间布局中的期望放置的图像，并且该图像被叠加在真实环境上。在476，操作者在真实环境内移动真实对象。操作者将真实对象在朝向真实对象的期望放置的图像的方向上移动。

在478，跟踪各个真实对象的移动。跟踪真实对象是因为真实对象检测设备452检测到真实对象并且因为地图生成器(例如图16中的地图合并算法324)随着相应的真实对象移动而更新规范地图438。

在480，系统提供指示相应的真实对象已被移动到与期望放置匹配的位置的输出。例如，输出可以是期望放置的图像的颜色的变化。操作者可以重复步骤474到480以进一步移动真实对象以继续将真实对象与期望的房间布局匹配。然后，该房间可用于对患者进行外科手术。

在患者的外科手术之后，用户可以再次使用该系统来拆除房间。在482，系统提供相对于真实环境以数字方式叠加期望的房间拆除布局的输出。然后操作者可以以相反的顺序移动真实对象。元素484表示系统跟踪在外科手术过程中被处置的物品并提供用于更换的物品的输出。举例来说，如果期望的房间出口(outlet)需要100个棉球并且在外科手术期间使用了30个棉球，则系统提供指示应该更换30个棉球的输出。

图39示出了被要求设置用于外科手术的房间的用户490。佩戴诸如头部单元402A之类的头部单元的用户490被呈现房间设置菜单492的显示。用户490使用他们的手或手持控制器部件404从菜单492中选择项目。

图40示出了用户490和远程用户494。远程用户494的任务是使用个人计算机442中的一个来设计和存储房间布局。固定传感器434已经检测到房间内的许多真实对象，例如桌子496。虚拟对象498的图像被显示给用户490并且表示用于桌子496的期望位置。然后用户490在方向500上移动桌子496。桌子496在方向500上的移动由固定传感器434、头部单元传感器446以及可能还有被安装到桌子496上的可移动传感器436跟踪。图像498最初是一种颜色，例如红色，然后当桌子496位于图像498上方时变成另一种颜色，例如绿色。用户490然后对其他对象重复该过程，直到所有对象都位于它们的期望位置。当外科手术完成时，向用户490呈现拆除图，用户490可以使用该拆除图将所有对象返回到它们的原始位置。

图41示出了外科手术机器人系统504，其是用户490定位的真实对象之一。外科手术机器人系统504包括外科手术器械534、可移动臂532、和可移动基座536。这样的系统可从Stryker(RTM)、Intuitive Surgical(RTM)和Johnson&Johnson(RTM)等供应商处获得，并且一旦“配准”到患者的解剖结构中，可用于各种外科手术，以使得外科手术机器人系统的部分(例如外科手术器械534)与患者的解剖结构之间的详细和精确几何关系是已知的，从而有助于这些在三维空间中相对于彼此的精确协调。换言之，在整形外科手术中，人们希望用骨切割外科手术器械切割患者的一部分骨骼，当然重要的是要准确了解骨骼相对于器械在空间中的位置。在各种实施例中，外科手术操作者佩戴诸如图36所示的系统是有用的，这样他们不仅可以可视化他们周围的外科手术室，而且可以可视化虚拟元素，例如术前图像、术中图像、各种物品的替代视图，并了解各种对象的几何关系，例如通过使用一个或多个空间计算用户所建立和使用的公共坐标系(或“持久坐标框架”或“PCF”)，以及用户的某些解剖结构以及外科器械或系统的某些方面也可以向其配准的公共坐标系。借助配准到PCF的一个或多个用户的视图以及外科手术器械和解剖结构，可以向用户呈现虚拟元素以不仅辅助计划而且辅助执行外科手术程序。

图42示出了房间设置模块458的各个方面，包括数据输入、数据输出、各种参与者等。

图43示出了呈现给头部单元402A、402B或402C之一的用户的交互式界面。患者的身体部位的渲染显示为在视图左侧围绕垂直轴旋转。渲染可以基于如参考图2所述的使用CT扫描仪已经被收集的放射学数据，并且可以利用在执行图37中的外科手术计划模块462后的另外图像或用真实对象检测设备452检测到的任何另外数据或变化进行补充。视图的右侧包括菜单，该菜单具有能够选择以访问各种引导模块440的选项。用户可以选择“机器人设置”选项来访问房间设置模块458，选择“解剖配准”选项来执行解剖配准模块460，选择“外科手术前计划”选项或“外科手术中计划”选项来执行外科手术计划模块462，或选择“外科手术执行”选项来执行外科手术执行模块464。所有这些选项都可供使用单个头部单元的单个用户使用。

在图44中，用户使用手持控制器部件404进行选择。选择棒538出现在用户的视野中。用户可以移动选择棒538来选择选项之一。在本示例中，用户选择“解剖配准”选项。例如，用户可以在手持控制器部件404的拇指界面上轻敲以进行选择。

图45示出了解剖配准模块460的功能。在540，存储患者的身体部位的数字表示。在542，向用户显示多个目标点。目标点被叠加在身体部位上，以将用户引导到身体部位上的多个相应的特定位置。在544，用户将探针尖端定位在身体部位上。在546，图37中的真实对象检测设备452之一检测可检测表面。在548，计算可检测表面的位置和取向。在550，基于可检测表面的位置和取向来计算探针尖端的位置。重复步骤544到550，例如针对五个目标点重复五次。

图46更详细地示出了解剖配准模块460的功能。佩戴第一头部单元402A的用户552正拿着探针554。探针554具有探针尖端556和参考对象558。参考对象558具有可检测表面560。可检测表面560具有能够被图37中的头部单元传感器446检测到的图像。

还示出了患者的身体部位562。系统在身体部位562上呈现并覆盖五个目标点564。用户552由目标点564引导并将探针尖端556定位在目标点564中的每一个上。通过检测可检测表面560，系统可以计算探针尖端556的位置并精确地在身体部位562上配准五个位置。还向用户提供视觉输出566，其向用户指示已经配准了多少目标点。

应当注意，虽然探针尖端556移动并且规范地图438变化以反映探针尖端556的移动，但也有可能身体部位562不是静止的并且规范地图438响应于身体部位562的移动而变化。身体部位562的这种移动将主要由头部单元402A的头部单元传感器446记录，因为它们跨越在用户552正在注视的方向内的视野570并且身体部位562在视野570内。

图47示出了解剖配准模块460的各个方面，包括数据输入、数据输出、各种参与者等。解剖配准模块460的功能已经在实现身体部位的配准的用户的上下文中进行了描述。然而，应当理解，配准可以替代地完全自动执行，即，无需使用各种传感器、计算机视觉和其他机制的用户辅助。

图48示出了外科手术计划模块462的功能。在580，存储患者的身体部位的数字表示。在580存储的数字表示可以与在图45中的540存储的数字表示相同。在582A，多个同时视图被显示在头部单元402A上。这些视图是患者的身体部位的数字表示以及外科植入物(虚拟对象)和植入物的数字表示的测量的不同视图。在584A，用户可以提供由外科手术计划模块462接收的输入以相对于身体部位的数字表示来引导外科植入物。在586A，响应于来自用户的输入，外科植入物在用户的视野中相对于身体部位的数字表示移动。在588A，用户可以通过调整外科植入物的数字表示来调整测量。

头部单元402A的用户可以在任何时间在590处执行到头部单元402C的用户的切换。头部单元402C的用户然后可以执行步骤582B、584B、586B和588B中的任何一个或多个。头部单元402C的用户可以在592执行切换以将控制返回给头部单元402A的用户。

图49示出了佩戴头部单元402A并使用其手持控制器部件404的用户552观看和操纵三个不同视图596A、596B和596C。三个不同的视图596A、596B和596C分别表示膝盖的冠状(coronal)、横向(transverse)和矢状(sagittal)视图。

图50a和图50b示出了用户552通过头部单元402A看到的视图之一。相应的视图包括身体部位的数字表示的渲染视图600和外科植入物的渲染视图602。因为头部单元402A是透视头部单元，所以用户还可以看到身体部位562。外科植入物的进一步渲染视图604被显示在实际身体部位562上。实际身体部位562没有与身体部位的数字表示的附加渲染形成混乱。用户然后可以调整外科植入物，例如通过移动外科植入物的渲染视图602。在本示例中，渲染视图602的移动导致测量从8.0mm变为7.5mm。

图51示出了头部单元402C的用户的渲染视图608。头部单元402C的用户位于远程位置。用户552可以与头部单元402C的用户进行协商。两个用户可以在同一个会话中看到彼此，如上面参考图34所描述的，并且可以从他们所在的适当位置听到彼此，如参考图31所描述的。由渲染视图608表示的用户也可以从用户552接管控制，如参考图48所描述的。

图52示出了外科手术计划模块462的各个方面，包括数据输入、数据输出、各种参与者等。

图53更详细地示出了外科手术执行模块464的功能。在620，如上所述存储患者的身体部位的数字表示。在622，各种真实对象检测设备452检测真实对象。被检测的真实对象包括患者和患者的身体部位、医务人员、一个或多个机器人、机器人上的切割工具、由机器人转移到身体部位的植入物、外科手术工具、和一次性物品。

在624，系统接收来自用户的输入以相对于身体部位的数字表示来引导虚拟对象。在626，虚拟对象在用户的视野中相对于身体部位的数字表示移动。应该注意，身体部位的实际数字表示可能不会被渲染以供用户观看。在628，在真实环境中，真实对象中的相应真实对象相对于患者的身体部位移动。在630，跟踪各个真实对象的所有移动，因为真实对象检测设备452检测各个真实对象并且地图生成器随着各个真实对象移动而更新地图。

图54示出了由真实对象检测设备452跟踪的一些真实对象，包括患者、各种医务人员(麻醉师、主任外科医生、助理外科医生、巡回护士、手术助理护士)。尽管未详细示出，但应当理解，可以跟踪的其他真实对象可以包括患者的身体部位、机器人、机器人的切割工具、外科植入物、一次性物品、手持式外科工具等。

图55示出了用户552如何使用手持控制器部件404来计划和定位机器人的切割刀片的切割平面。向用户552显示切割平面634并且切割平面634随着用户552移动手持控制器部件而移动。

图56显示当切割刀片接近期望位置时向用户552显示的消息。

图57示出了用户552如何使用手持控制器部件404来选择植入物的渲染636的放置。还向用户552提供机械臂642、末端执行器640和植入物636的平面638的可视化。

图58a、图58b和图58c可以使用手持控制器部件404的手指输入表面来移动机器人臂，从而使切割工具或植入物递增地移动或旋转，直到它与身体部位上的期望位置匹配。

图59示出了外科手术执行模块464的各个方面，包括数据输入、数据输出、各种参与者等。

从以上描述中应该明显看出，由图37中的规范地图438所表示的真实环境的数字表示用作引导模块440用来引导虚拟对象和/或真实对象的基础。数字表示有时对用户可见，有时不可见。房间设置模块458不显示规范地图438的数字表示，而是显示对象的目标位置。然而，这些目标位置是基于规范地图438中的数字表示并且用户100％被数字地引导。这种数字引导可以提高房间设置的准确性和可重复性。解剖配准模块460不显示规范地图438的数字表示，而是显示基于数字表示的目标点。当用户随后将探针尖端定位在身体部位上时，可以非常准确地更新规范地图438，这使得外科手术更加准确。外科手术计划模块462确实显示身体部位的数字表示。身体部位的数字表示可以从存在于规范地图438之外的放射学数据中获取。然而，在已经使用解剖配准模块460配准身体部位之后，身体部位的数字表示是基于规范地图438，并且身体部位的可视化是基于规范地图438。身体部位的这种可视化，尤其是在其在规范地图438内的确切位置中，导致更准确的外科手术计划。外科手术执行模块464使用规范地图438的数字表示来引导机器人，而不必向用户显示规范地图438的可视化。因为规范地图438形成了真实环境的数字孪生，机器人可以基于数字表示被准确地引导。

空间计算在医院中有许多应用和用例。以下是空间计算影响最大的代表性用例的示例。其中许多是相互关联的，代表了一个完整平台的元素，该平台可以推动许多临床和运营转型。

通用-培训和操作

专家捕获：任务或其他工作流程中的专家在设备上捕获的动态(on the fly)训练，并根据需要在设备上交付给工作者和临床工作人员。

远程辅助：通过视频、化身或3D渲染引入远程专家以提供远程辅助。这种虚拟访问还可以包括在3D中共享数字内容、将对象放置在专用房间(以供重复使用)和定制视图以替换屏幕和物理信息。这也可用于支持临床工作，例如来自其他机构的专家咨询、医疗设备专家提供支持以实现使用其设备或远程技术支持进行的程序和应用培训。这种相同的功能可用于增强现场服务工程师，将“你能看到我所看到的”返回到操作中心、文档和示意图的叠加、部分和组件的识别等。

医学模拟：当前的医学模拟实现需要大量的物理空间(real estate)和道具。使用基于位置的空间计算进行模拟可以利用更小的物理足迹和最少的道具，从而允许将更小的整体空间用于多个场景。在这个用例中，“空白房间”可以填充由数字内容，可以通过设备提供自适应和反应性模拟场景，并且可以使用板上(onboard)传感器来测量和跟踪学生的表现。模拟和表现可以回放给学生，以供教师进一步理解和评阅。

物理设备设计：使用该设备以3D方式绘制、计划和可视化新建造或改造，这包括外科手术室设计，其中放置设备和装备以实现最佳工作流程和吞吐量。

肿瘤委员会/专家咨询：来自不同地理位置的专家小组可以在虚拟房间中作为化身或3D渲染聚集在一起，并观看各种3D和其他内容。内容可以保留在房间中并在以后再次评阅，包括与患者一起评阅。

医院服务和患者参与

患者咨询：患者可以在外科手术或在医院进行的其他程序之前与他们的专家(在医院)接受远程咨询(在家中、在诊所、在当地医生的办公室)。外科手术前，咨询可以包括使用放射图像对患者状况进行3D可视化、解剖学的演练、以及与外科医生讨论外科手术方法。这可以在连接到主要医院的远程诊所中完成。

知情同意：可以在设备上提供知情同意和患者教育，包括术前3D可视化、程序解释、风险和益处解释。咨询可以被记录并归档以备将来使用，包括患者和家庭教育、法律文件。

数据可视化：空间计算提供了许多机会来获取电子健康记录和其他临床和管理数据，并利用3D空间可视化来更好地整合数据源、理解这些数据的新方法，从而促进新的见解。

外科手术室(“或”)和介入套件整合

增强助手：使用该设备提供虚拟指令和指导以完成所有临床工作流程步骤，通过直观的人机界面改进减少与软件和硬件的物理交互，促进对通常通过人与人交互解决的大多数问题的独立故障排除。这可以使工作流程更加标准化、更加准确，并有助于减少实际出现在房间内的人员总数。相同的基础功能可用于虚拟外科手术清单，包括完整的演练(walkthrough)和文档。

外科手术前计划：传统的2D图像可以移植到3D空间，以增强可视化并与能够从您看到的地方看到您所看到的其他人协作，最终取代整个医院和医生的办公室和诊所中的物理监视器和屏幕。这方面的第一个表现是医学中的数字成像和通信(DICOM)观看器，其可用于从2D外科手术计划工作站获取模型，并将整个体验转移到奇跃设备中，能够将多个人加入到单个会话，观看分割和滚动多个切片，调整图像大小以获得更好的可视化等。图像可以被注释和记录。外科医生可以计划和练习他们的方法并可视化潜在的并发症区域，否则这些区域可能很难或不可能在2D中看到。

配准、计划和执行：放射图像和模型可以配准到物理解剖结构，以增强计划和准备，包括解剖结构、植入物和机器人放置和对准。这还包括解剖识别、地标捕获引导、切口引导和配准点叠加。在外科手术执行期间，该设备可以提供引导、组织干扰检测、组装说明和切割选择推进。

设备控制：将设备与控制或其他输入机制(例如眼睛跟踪、手势、语音命令等)一起使用来控制医疗设备，例如外科手术机器人、外科手术灯、外科手术床和其他工具。

无屏幕显示：在外科手术室、病房或医院的其他区域中提供来自各种医疗设备的馈送的设备显示。这允许外科医生、临床工作者和其他工作人员将多个馈送输入到一个优化的显示中。这减少了监视器的总数，并允许更符合人体工程学地观看数据。设备上的显示可以根据个人用户偏好或更具体的用例进行定制，从而提供最佳的虚拟驾驶舱(cockpit)。

实况视频：来自各种来源的实况视频馈送可以通过设备被可视化，包括存储和实况超声图像、内窥镜图像、显微镜图像。该视频可以叠加在其他临床内容之上。

数字孪生：可以创建单个房间或整个医院的全数字孪生。这将允许跟踪对象、理解和优化工作流，并提供AI驱动的工作人员和工作流程的增强。这将作为更广泛的物联网实施的基础，允许通过设备控制和操作设备。其他用例包括仪器和工具的无标记跟踪以及跟踪标记的可视化描述、设备和装置的更好整体放置以及增强训练、仪器标签和设置、库存管理/资产跟踪。与边缘的AI和其他物联网传感器耦合，这可以提供实时的工作流程优化和校正。

放射治疗

患者定位：扩展当前的患者定位工具以包括在患者解剖结构的顶部的覆盖以及患者位置的持续监控和可视化。

设备定位：使用数字覆盖和持续监控和可视化来准确定位设备和/或桌子。

远程医疗、患者诊断和治疗

生物标志物：设备可用于测量多种生物标志物，包括：眼球移动、瞳孔大小、步态、平衡、眼睛/手/手指协调，以及未来的各种呼吸和心脏测量。

神经内科和眼科：使用一些生物标志物，正在进行临床研究以验证与神经心理状况相关的诊断测试，包括脑震荡、前庭疾病、焦虑、PTSD和其他神经心理状况。

神经肌肉：使用一些生物标志物，正在进行临床研究以验证与许多运动障碍或神经、脑、神经系统或神经退行性疾病(例如帕金森病)相关的诊断测试、监测方案和数字疗法。

远程医疗：利用生物标志物、外部传感器和化身或3D体积通信工具提供虚拟的分布式健康访问。一些示例包括：在远程诊所咨询城市医院专家的患者、在家中接受初级保健就诊、慢性病监测或设备提供的物理治疗支持的患者。这可以扩展到礼宾医疗、医疗旅游或全球专家咨询。还可以在诊所或零售地点设置小型、多用途的“空白”房间，然后可以利用通过设备(与一套外部传感器耦合)提供的数字内容来转换和实现各种数字健康服务的交付。

在每次外科手术完成之后，整个外科手术的数字表示或“数字孪生”的变化的基于时间的记录被存储在数据库或数据存储器中。来自所有过去外科手术的实时数据会成长为实时、动态的数据库和数据系统，其中包括所有先前和未来的外科手术，然后用于在所有情况下为劳动力提供增强。该数据还映射到患者结果以及有关患者和外科手术的其他数据，然后这些结果和其他数据可以帮助确定外科手术过程中什么提供了良好的结果(为什么一个好的外科医生是一个好的外科医生等)。该数据库还为合成训练提供信息，这更像是一种真实的体验，并最终成为外科医生和其他临床工作可以在整个用例中实时利用的持续人工智能(AI)驱动的“引导”。

图60示出计算机系统900的示例性形式的机器的示意图，在该机器内可以执行一组指令以使该机器执行在此讨论的方法中的任何一个或多个方法。在替代实施例中，该机器作为独立设备操作，或者可以连接(例如，联网)到其它机器。此外，虽然仅示出了单个机器，但是术语“机器”也应被理解为包括机器的任何集合，该机器单独地或共同地执行一组(或多组)指令以执行在此讨论的任何一个或多个方法。

示例性计算机系统1900包括经由总线1908彼此通信的处理器1902(例如，中央处理单元(CPU)、图形处理单元(GPU)或二者)、主存储器1904(例如，只读存储器(ROM)、闪存，诸如同步DRAM(SDRAM)或Rambus DRAM(RDRAM)等的动态随机存取存储器(DRAM))和静态存储器1906(例如闪存、静态随机存取存储器(SRAM)等)。

计算机系统1900可以进一步包括磁盘驱动器单元916和网络接口设备1920。

磁盘驱动器单元1916包括机器可读介质1922，在其上存储体现在此所述方法或功能中的任何一个或多个方法或功能的一组或多组指令1924(例如，软件)。在计算机系统1900执行软件期间，软件还可以全部或至少部分地驻留在主存储器1904内和/或处理器1902内，主存储器1904和处理器902也构成机器可读介质。

还可以经由网络接口设备1920在网络1928上发送或接收软件。

计算机系统1900包括用于驱动投影仪以生成激光的激光驱动器芯片1950。激光驱动器芯片1950包括其自己的数据存储1960及其自己的处理器1962。

虽然在示例性实施例中将机器可读介质1922示为单个介质，但是术语“机器可读介质”应理解为包括存储一组或多组指令的单个介质或多个介质(例如，集中式或分布式数据库，和/或相关联的缓存和服务器)。术语“机器可读介质”也应被认为包括能够存储、编码或携带一组指令以供机器执行并且使机器执行本发明的任何一种或多种方法的任何介质。因此，术语“机器可读介质”应被认为包括但不限于固态存储器、光学和磁性介质以及载波信号。

尽管已经描述并在附图中示出了某些示例性实施例，但是应当理解，这些实施例仅是示例性的，而不是对本发明的限制，并且本发明不限于所示出和描述的具体结构和布置，因为本领域普通技术人员可以进行修改。

Claims (145)

1.一种观看系统，包括：

真实对象检测设备，其被定位以检测真实环境中的真实对象的位置；

至少一个处理器；

计算机可读介质，其被连接到所述处理器；

数据存储器，其位于所述计算机可读介质上；

指令集，其被存储在所述计算机可读介质上并且可由所述处理器执行，包括：

地图生成器，其被连接到所述真实对象检测设备以接收包括所述真实对象的所述真实环境的数据，并且可执行以创建形成包括所述真实对象的所述真实环境的数字表示的地图；

地图存储例程，其可执行以将所述地图存储在所述数据存储器上；以及

引导模块，其被连接到所述数据存储器以检索所述地图，并且可执行以基于所述数字表示来引导虚拟对象和真实对象中的至少一个。

2.根据权利要求1所述的观看系统，其中，所述引导模块是房间设置模块，所述房间设置模块可由所述处理器执行以基于所述数字表示来设置房间，包括：

存储期望的房间布局；以及

提供相对于所述真实环境以数字方式叠加所述期望的房间布局的输出。

3.根据权利要求2所述的观看系统，其中，所述房间设置模块基于所述期望的房间布局生成图像，并将所述图像叠加在所述真实环境上。

4.根据权利要求3所述的观看系统，其中，所述房间设置模块生成所述真实对象之一在所述期望的房间布局中的期望放置的图像，并将所述图像叠加在所述真实环境上。

5.根据权利要求4所述的观看系统，其中，所述房间设置模块提供指示相应的真实对象已被移动到与所述期望放置匹配的位置的输出。

6.根据权利要求5所述的观看系统，其中，所述房间设置模块跟踪相应的真实对象的移动，因为随着相应的真实对象移动，所述真实对象检测设备检测相应的真实对象，并且所述地图生成器更新所述地图。

7.根据权利要求6所述的观看系统，其中，所述房间设置模块提供视觉输出，所述视觉输出通过改变所述期望放置的所述图像的颜色来指示相应的真实对象已经被移动到与所述期望放置匹配的位置。

8.根据权利要求2所述的观看系统，其中，所述房间设置模块提供相对于所述真实环境以数字方式叠加期望的房间拆除布局的输出。

9.根据权利要求2所述的观看系统，其中，所述房间设置模块跟踪在外科手术期间已经被处置的物品，并提供所述物品的输出以供更换。

10.根据权利要求2所述的观看系统，还包括：

观看设备，其包括：

头部单元，其包括：

头戴式框架；

数据通道，其用于接收图像的图像数据；以及

光波导，其是位于用户的眼睛与所述真实对象的外表面之间的透明光波导，而来自所述真实对象的外表面的光传输到所述眼睛的视网膜，以使得所述用户看到用包括所述期望的房间布局中的至少一个对象的图像的渲染来增强的所述真实对象的外表面。

11.根据权利要求1所述的观看系统，其中，所述引导模块是解剖配准模块，所述解剖配准模块可由所述处理器执行以基于所述数字表示来执行解剖配准，包括：

存储患者的身体部位的位置，其中，所述身体部位的所述位置是基于由所述真实对象检测设备检测到的真实对象的位置。

12.根据权利要求11所述的观看系统，还包括：

探针，所述探针是被引导的所述真实对象，并且所述探针具有探针尖端和可检测表面，其中，当用户将所述探针尖端定位在所述身体部位上时，所述真实对象检测设备检测所述可检测表面，其中，所述解剖配准模块基于所述可检测表面的位置来计算所述探针尖端的位置。

13.根据权利要求12所述的观看系统，其中，所述解剖配准模块向所述用户显示被叠加在所述身体部位上的目标点，以将所述用户引导到所述身体部位上的特定位置。

14.根据权利要求13所述的观看系统，其中，所述解剖配准模块向所述用户显示多个目标点以将所述用户引导到所述身体部位上的多个相应的特定位置，并且当所述探针尖端位于相应的特定位置时，所述解剖配准模块基于相应的所述可检测表面的位置来计算相应的所述探针尖端的位置。

15.根据权利要求12所述的观看系统，其中，所述解剖配准模块计算所述可检测表面的取向，并使用所述取向来计算所述探针尖端的所述位置。

16.根据权利要求13所述的观看系统，还包括：

观看设备，其包括：

头部单元，其包括：

头戴式框架；

数据通道，其用于接收图像的图像数据；以及

光波导，其是位于用户的眼睛与所述真实对象的外表面之间的透明光波导，而来自所述真实对象的外表面的光传输到所述眼睛的视网膜，以使得所述用户看到用包括所述目标点的渲染的所述图像的渲染来增强的所述真实对象的外表面。

17.根据权利要求1所述的观看系统，其中，所述引导模块是外科手术计划模块，所述外科手术计划模块可由所述处理器执行以基于所述数字表示来计划外科手术，包括：

存储患者的身体部位的数字表示；

将所述患者的所述身体部位的所述数字表示与所述虚拟对象一起显示给用户；

接收来自所述用户的输入以相对于所述身体部位的所述数字表示来引导所述虚拟对象；以及

响应于来自所述用户的所述输入，在所述用户的视野中相对于所述身体部位的所述数字表示来移动所述虚拟对象。

18.根据权利要求17所述的观看系统，其中，同时向所述用户提供所述身体部位的所述数字表示的至少两个视图。

19.根据权利要求17所述的观看系统，其中，所述虚拟对象是移动到所述身体的所述数字表示中的植入物的数字表示。

20.根据权利要求19所述的观看系统，其中，所述外科手术计划模块显示所述植入物的所述数字表示的测量，并且所述测量通过调整所述植入物的所述数字表示而可调整。

21.根据权利要求17所述的观看系统，还包括：

观看设备，其包括：

数据通道，其用于接收图像的图像数据；

显示器，其被连接到所述数据通道，以使得所述用户看到包括所述患者的所述身体部位的所述数字表示以及所述虚拟对象的图像；以及

用户输入设备，所述用户通过所述用户输入设备提供输入以引导所述虚拟对象。

22.根据权利要求21所述的观看系统，其中，所述观看设备是第一观看设备，并且所述用户是第一用户，还包括：

第二观看设备，其包括：

数据通道，其用于接收图像的图像数据；

显示器，其被连接到所述数据通道，以使得第二用户看到包括所述患者的所述身体部位的所述数字表示以及所述虚拟对象的图像；以及

用户输入设备，所述第二用户通过所述用户输入设备提供输入以引导所述虚拟对象。

23.根据权利要求22所述的观看系统，其中，所述外科手术计划模块在所述第一观看设备的所述显示器中显示所述第二用户的渲染。

24.根据权利要求1所述的观看系统，其中，所述引导模块是外科手术执行模块，所述外科手术执行模块可由所述处理器执行以基于所述数字表示来辅助执行外科手术，包括：

存储患者的身体部位的数字表示；

接收来自所述用户的输入以相对于所述身体部位的所述数字表示来引导所述虚拟对象；以及

响应来自所述用户的所述输入：

在所述用户的视野中，相对于所述身体部位的所述数字表示移动所述虚拟对象；以及

在所述真实环境中，相对于所述患者的所述身体部位移动所述真实对象中的相应的真实对象。

25.根据权利要求24所述的观看系统，其中，由所述真实对象检测设备检测到的所述真实对象之一是所述患者的所述身体部位。

26.根据权利要求24所述的观看系统，其中，由所述真实对象检测设备检测到的所述真实对象之一是医务人员。

27.根据权利要求24所述的观看系统，其中，由所述真实对象检测设备检测到的所述真实对象之一是机器人。

28.根据权利要求24所述的观看系统，其中，所述真实对象是被移动到所述患者的所述身体部位中的切割工具。

29.根据权利要求24所述的观看系统，其中，被移动的所述真实对象是被插入所述患者的所述身体部位中的植入物。

30.根据权利要求24所述的观看系统，其中，由所述真实对象检测设备检测到的所述真实对象之一是一次性物品。

31.根据权利要求24所述的观看系统，其中，所述外科手术执行模块跟踪相应的真实对象的移动，因为随着相应的真实对象的移动，所述真实对象检测设备检测相应的真实对象，并且所述地图生成器更新所述地图。

32.根据权利要求1所述的观看系统，还包括：

头戴式框架，所述光波导被固定到所述头戴式框架，

原始数据接收单元，其接收原始数据；

图像生成单元，其被连接到所述数据存储器以处理回波的原始数据，从而创建表示图像的图像数据并将所述图像数据存储在所述数据存储器中；

图像数据接收单元，其从所述数据存储器接收所述图像数据；

至少一个投影仪，其被连接到所述图像数据接收单元以接收所述图像数据，所述投影仪生成代表所述图像数据的图案的光；以及

至少一个光波导，其被连接到所述投影仪并被固定到所述头戴式框架以将所述光引导到用户的眼睛的视网膜，以使得所述用户看到所述图像数据的渲染。

33.根据权利要求1所述的观看系统，还包括：

地图存储例程，其用于存储具有多个锚点的第一地图，所述第一地图的每个锚点具有一组坐标；

锚点识别系统，其被连接到所述真实对象检测设备以基于所述真实对象的所述位置来检测第二地图的锚点，所述第二地图的每个锚点具有一组坐标；以及

定位模块，其被连接到所述第一地图和所述第二地图，并且可执行以通过将所述第二地图的第一锚点匹配到所述第一地图的第一锚点并将所述第二地图的第二锚点匹配到所述第一地图的第二锚点，将所述第二地图定位到所述第一地图。

34.一种观看方法，包括：

用真实对象检测设备来检测真实环境中的真实对象的位置；

用处理器执行被连接到所述真实对象检测设备的地图生成器，以接收包括所述真实对象的所述真实环境的数据，并创建形成包括所述真实对象的所述真实环境的数字表示的地图；

用所述处理器执行地图存储例程，以将所述地图存储在所述数据存储器上；以及

用所述处理器执行被连接到所述数据存储器的引导模块，以检索所述地图，并基于所述数字表示来引导虚拟对象和真实对象中的至少一个。

35.根据权利要求34所述的方法，其中，所述引导模块是房间设置模块，所述房间设置模块可由所述处理器执行以基于所述数字表示来设置房间，包括：

存储期望的房间布局；以及

提供相对于所述真实环境以数字方式叠加所述期望的房间布局的输出。

36.根据权利要求35所述的方法，其中，所述房间设置模块基于所述期望的房间布局生成图像，并将所述图像叠加在所述真实环境上。

37.根据权利要求36所述的方法，其中，所述房间设置模块生成所述真实对象之一在所述期望的房间布局中的期望放置的图像，并将所述图像叠加在所述真实环境上。

38.根据权利要求37所述的方法，其中，所述房间设置模块提供指示相应的真实对象已被移动到与所述期望放置匹配的位置的输出。

39.根据权利要求38所述的方法，其中，所述房间设置模块跟踪相应的真实对象的移动，因为随着相应的真实对象移动，所述真实对象检测设备检测相应的真实对象，并且所述地图生成器更新所述地图。

40.根据权利要求39所述的方法，其中，所述房间设置模块提供视觉输出，所述视觉输出通过改变所述期望放置的所述图像的颜色来指示相应的真实对象已经被移动到与所述期望放置匹配的位置。

41.根据权利要求35所述的方法，其中，所述房间设置模块提供相对于所述真实环境以数字方式叠加期望的房间拆除布局的输出。

42.根据权利要求35所述的方法，其中，所述房间设置模块跟踪在外科手术期间已经被处置的物品，并提供所述物品的输出以供更换。

43.根据权利要求35所述的方法，还包括：

将头戴式框架安装到观看者的头部；

以代表所述图像数据的图案生成光；以及

用被固定到所述头戴式框架的光波导将所述光引导到观看者的眼睛的视网膜，以使得所述观看者看到所述图像数据的渲染作为数字表示，看到用包括所述期望的房间布局中的至少一个对象的图像的渲染而增强的所述真实对象的外表面。

44.根据权利要求34所述的方法，其中，所述引导模块是解剖配准模块，所述解剖配准模块可由所述处理器执行以基于所述数字表示来执行解剖配准，包括：

存储患者的身体部位的位置，其中，所述身体部位的所述位置是基于由所述真实对象检测设备检测到的真实对象的位置。

45.根据权利要求44所述的方法，还包括：

探针，所述探针是被引导的所述真实对象，并且所述探针具有探针尖端和可检测表面，其中，当用户将所述探针尖端定位在所述身体部位上时，所述真实对象检测设备检测所述可检测表面，其中，所述解剖配准模块基于所述可检测表面的位置来计算所述探针尖端的位置。

46.根据权利要求45所述的方法，其中，所述解剖配准模块向所述用户显示被叠加在所述身体部位上的目标点，以将所述用户引导到所述身体部位上的特定位置。

47.根据权利要求46所述的方法，其中，所述解剖配准模块向所述用户显示多个目标点以将所述用户引导到所述身体部位上的多个相应的特定位置，并且当所述探针尖端位于相应的特定位置时，所述解剖配准模块基于相应的所述可检测表面的位置来计算相应的所述探针尖端的位置。

48.根据权利要求45所述的方法，其中，所述解剖配准模块计算所述可检测表面的取向，并使用所述取向来计算所述探针尖端的所述位置。

49.根据权利要求46所述的方法，还包括：

将头戴式框架安装到观看者的头部；

以代表所述图像数据的图案生成光；以及

用被固定到所述头戴式框架的光波导将所述光引导到观看者的眼睛的视网膜，以使得所述观看者看到所述图像数据的渲染作为数字表示，看到用包括所述目标点的渲染的所述图像的渲染而增强的所述真实对象的外表面。

50.根据权利要求34所述的方法，其中，所述引导模块是外科手术计划模块，所述外科手术计划模块可由所述处理器执行以基于所述数字表示来计划外科手术，包括：

存储患者的身体部位的数字表示；

将所述患者的所述身体部位的所述数字表示与所述虚拟对象一起显示给用户；

接收来自所述用户的输入以相对于所述身体部位的所述数字表示来引导所述虚拟对象；以及

响应于来自所述用户的所述输入，在所述用户的视野中相对于所述身体部位的所述数字表示来移动所述虚拟对象。

51.根据权利要求50所述的方法，其中，同时向所述用户提供所述身体部位的所述数字表示的至少两个视图。

52.根据权利要求50所述的方法，其中，所述虚拟对象是移动到所述身体的所述数字表示中的植入物的数字表示。

53.根据权利要求52所述的方法，其中，所述外科手术计划模块显示所述植入物的所述数字表示的测量，并且所述测量通过调整所述植入物的所述数字表示而可调整。

54.根据权利要求50所述的方法，还包括：

在观看设备的数据通道上接收图像的图像数据；

通过被连接到所述数据通道的显示器来显示所述图像数据，以使得所述用户看到包括所述患者的所述身体部位的所述数字表示以及所述虚拟对象的图像；以及

用所述用户通过其提供输入的用户输入设备进行传送，以引导所述虚拟对象。

55.根据权利要求54所述的方法，其中，所述观看设备是第一观看设备，并且所述用户是第一用户，还包括：

在第二观看设备的数据通道上接收图像的图像数据；

通过被连接到所述第二观看设备的所述数据通道的显示器来显示所述图像数据，以使得所述第二用户看到包括所述患者的所述身体部位的所述数字表示以及所述虚拟对象的图像；以及

用所述用户通过其提供所述输入的所述第二观看设备的用户输入设备进行传送，以引导所述虚拟对象。

56.根据权利要求55所述的方法，其中，所述外科手术计划模块在所述第一观看设备的所述显示器中显示所述第二用户的渲染。

57.根据权利要求34所述的方法，其中，所述引导模块是外科手术执行模块，所述外科手术执行模块可由所述处理器执行以基于所述数字表示来辅助执行外科手术，包括：

存储患者的身体部位的数字表示；

接收来自所述用户的输入以相对于所述身体部位的所述数字表示来引导所述虚拟对象；以及

响应来自所述用户的所述输入：

在所述用户的视野中，相对于所述身体部位的所述数字表示移动所述虚拟对象；以及

在所述真实环境中，相对于所述患者的所述身体部位移动所述真实对象中的相应的真实对象。

58.根据权利要求57所述的方法，其中，由所述真实对象检测设备检测到的所述真实对象之一是所述患者的所述身体部位。

59.根据权利要求57所述的方法，其中，由所述真实对象检测设备检测到的所述真实对象之一是医务人员。

60.根据权利要求57所述的方法，其中，由所述真实对象检测设备检测到的所述真实对象之一是机器人。

61.根据权利要求57所述的方法，其中，所述真实对象是被移动到所述患者的所述身体部位中的切割工具。

62.根据权利要求57所述的方法，其中，被移动的所述真实对象是被插入所述患者的所述身体部位中的植入物。

63.根据权利要求57所述的方法，其中，由所述真实对象检测设备检测到的所述真实对象之一是一次性物品。

64.根据权利要求57所述的方法，其中，所述外科手术执行模块跟踪相应的真实对象的移动，因为随着相应的真实对象的移动，所述真实对象检测设备检测相应的真实对象，并且所述地图生成器更新所述地图。

65.根据权利要求34所述的方法，还包括：

将头戴式框架安装到观看者的头部；

将所述原始数据存储在数据存储器中；

处理所述回波的所述原始数据以创建图像数据；

将所述图像数据存储在所述数据存储器中；

从所述数据存储器接收所述图像数据；

以代表所述图像数据的图案生成光；以及

用被固定到所述头戴式框架的光波导将所述光引导到观看者的眼睛的视网膜，以使得所述观看者看到所述图像数据的渲染。

66.根据权利要求32所述的方法，还包括：

存储具有多个锚点的第一地图，所述第一地图的每个锚点具有一组坐标；

基于所述真实对象的所述位置来检测第二地图的锚点，所述第二地图的每个锚点具有一组坐标；以及

通过将所述第二地图的第一锚点匹配到所述第一地图的第一锚点并将所述第二地图的第二锚点匹配到所述第一地图的第二锚点，将所述第二地图定位到所述第一地图。

67.一种观看系统，包括：

真实对象检测设备，其被定位以检测真实环境中的真实对象的位置；

至少一个处理器；

计算机可读介质，其被连接到所述处理器；

数据存储器，其位于所述计算机可读介质上；

指令集，其被存储在所述计算机可读介质上并且可由所述处理器执行，包括：

地图生成器，其被连接到所述真实对象检测设备以接收包括所述真实对象的所述真实环境的数据，并且可执行以创建形成包括所述真实对象的所述真实环境的数字表示的地图；

地图存储例程，其可执行以将所述地图存储在所述数据存储器上；以及

多个引导模块，其被连接到所述数据存储器以检索所述地图，并可执行以基于所述数字表示来引导虚拟对象和真实对象中的至少一个，其中，所述引导模块包括以下中的至少两个：

a.房间设置模块，其可由所述处理器执行以基于所述数字表示来设置房间，包括：

存储期望的房间布局；以及

提供相对于所述真实环境以数字方式叠加所述期望的房间布局的输出；

b.解剖配准模块，其可由所述处理器执行以基于所述数字表示来执行解剖配准，包括：

存储患者的身体部位的位置，其中，所述身体部位的所述位置是基于由所述真实对象检测设备检测到的真实对象的位置；

c.外科手术计划模块，其可由所述处理器执行以基于所述数字表示来计划外科手术，包括：

存储患者的身体部位的数字表示；

将所述患者的所述身体部位的所述数字表示与所述虚拟对象一起显示给用户；

接收来自所述用户的输入以相对于所述身体部位的所述数字表示来引导所述虚拟对象；以及

响应于来自所述用户的所述输入，在所述用户的视野中相对于所述身体部位的所述数字表示来移动所述虚拟对象；以及

d.外科手术执行模块，其可由所述处理器执行以基于所述数字表示来辅助执行外科手术，包括；

存储患者的身体部位的数字表示；

接收来自所述用户的输入以相对于所述身体部位的所述数字表示来引导所述虚拟对象；以及

响应来自所述用户的所述输入：

在所述用户的视野中，相对于所述身体部位的所述数字表示移动所述虚拟对象；以及

在所述真实环境中，相对于所述患者的所述身体部位移动所述真实对象中的相应的真实对象。

68.根据权利要求67所述的观看系统，其中，所述多个引导模块包括所述模块中的至少三个。

69.根据权利要求68所述的观看系统，其中，所述多个引导模块包括所述模块中的至少四个。

70.根据权利要求67所述的观看系统，还包括：

接口，用于接收来自用户的用于执行所述模块中的每一个的选择。

71.一种观看方法，包括：

用真实对象检测设备来检测真实环境中的真实对象的位置；

用处理器执行被连接到所述真实对象检测设备的地图生成器，以接收包括所述真实对象的所述真实环境的数据，并创建形成包括所述真实对象的所述真实环境的数字表示的地图；

用所述处理器执行地图存储例程，以将所述地图存储在所述数据存储器上；以及

用所述处理器执行被连接到所述数据存储器的多个引导模块，以检索所述地图，并且基于所述数字表示来引导虚拟对象和真实对象中的至少一个，其中，所述引导模块包括以下中的至少两个：

a.房间设置模块，其可由所述处理器执行以基于所述数字表示来设置房间，包括：

存储期望的房间布局；以及

提供相对于所述真实环境以数字方式叠加所述期望的房间布局的输出；

b.其中，所述引导模块是解剖配准模块，所述解剖配准模块可由所述处理器执行以基于所述数字表示来执行解剖配准，包括：

存储患者的身体部位的位置，其中，所述身体部位的所述位置是基于由所述真实对象检测设备检测到的真实对象的位置；

c.外科手术计划模块，其可由所述处理器执行以基于所述数字表示来计划外科手术，包括：

存储患者的身体部位的数字表示；

将所述患者的所述身体部位的所述数字表示与所述虚拟对象一起显示给用户；

接收来自所述用户的输入以相对于所述身体部位的所述数字表示来引导所述虚拟对象；以及

响应于来自所述用户的所述输入，在所述用户的视野中相对于所述身体部位的所述数字表示来移动所述虚拟对象；以及

d.外科手术执行模块，其可由所述处理器执行以基于所述数字表示来辅助执行外科手术，包括；

存储患者的身体部位的数字表示；

接收来自所述用户的输入以相对于所述身体部位的所述数字表示来引导所述虚拟对象；以及

响应来自所述用户的所述输入：

在所述用户的视野中，相对于所述身体部位的所述数字表示来移动所述虚拟对象；以及

在所述真实环境中，相对于所述患者的所述身体部位移动所述真实对象中的相应的真实对象。

72.根据权利要求71所述的方法，其中，所述多个引导模块包括所述模块中的至少三个。

73.根据权利要求72所述的方法，其中，所述多个引导模块包括所述模块中的至少四个，

所述方法还包括：

通过接口接收来自用户的用于执行所述模块中的每一个的选择。

74.一种观看系统，包括：

真实对象检测设备，其被定位以检测真实环境中的真实对象的位置；

至少一个处理器；

计算机可读介质，其被连接到所述处理器；

数据存储器，其位于所述计算机可读介质上；

指令集，其被存储在所述计算机可读介质上并且可由所述处理器执行，包括：

地图生成器，其被连接到所述真实对象检测设备以接收包括所述真实对象的所述真实环境的数据，并且可执行以创建形成包括所述真实对象的所述真实环境的数字表示的地图；

地图存储例程，其可执行以将所述地图存储在所述数据存储器上；

头戴式框架，光波导被固定到所述头戴式框架上；

原始数据接收单元，其接收回波的原始数据；

图像生成单元，其被连接到所述数据存储器以处理所述回波的所述原始数据，从而创建表示图像的图像数据并将所述图像数据存储在所述数据存储器中；

图像数据接收单元，其从所述数据存储器接收所述图像数据；

至少一个投影仪，其被连接到所述图像数据接收单元以接收所述图像数据，所述投影仪以代表所述图像数据的图案并基于所述地图来生成光；以及

至少一个光波导，其被连接到所述投影仪并被固定到所述头戴式框架以将所述光引导到用户的眼睛的视网膜，以使得所述用户看到所述图像数据的渲染。

75.根据权利要求74所述的观看系统，还包括：

引导模块，其被连接到所述数据存储器以检索所述地图，并且可执行以基于所述数字表示来引导虚拟对象和真实对象中的至少一个。

76.根据权利要求75所述的观看系统，其中，所述引导模块是房间设置模块，所述房间设置模块可由所述处理器执行以基于所述数字表示来设置房间，包括：

存储期望的房间布局；以及

提供相对于所述真实环境以数字方式叠加所述期望的房间布局的输出。

77.根据权利要求75所述的观看系统，其中，所述引导模块是解剖配准模块，所述解剖配准模块可由所述处理器执行以基于所述数字表示来执行解剖配准，包括：

存储患者的身体部位的位置，其中，所述身体部位的所述位置是基于由所述真实对象检测设备检测到的真实对象的位置。

78.根据权利要求75所述的观看系统，其中，所述引导模块是外科手术计划模块，所述外科手术计划模块可由所述处理器执行以基于所述数字表示来计划外科手术，包括：

存储患者的身体部位的数字表示；

将所述患者的所述身体部位的所述数字表示与所述虚拟对象一起显示给用户；

接收来自所述用户的输入以相对于所述身体部位的所述数字表示来引导所述虚拟对象；以及

响应于来自所述用户的所述输入，在所述用户的视野中相对于所述身体部位的所述数字表示来移动所述虚拟对象。

79.根据权利要求75所述的观看系统，其中，所述引导模块是外科手术执行模块，所述外科手术执行模块可由所述处理器执行以基于所述数字表示来辅助执行外科手术，包括：

存储患者的身体部位的数字表示；

接收来自所述用户的输入以相对于所述身体部位的所述数字表示来引导所述虚拟对象；以及

响应来自所述用户的所述输入：

在所述用户的视野中，相对于所述身体部位的所述数字表示来移动所述虚拟对象；以及

在所述真实环境中，相对于所述患者的所述身体部位移动所述真实对象中的相应的真实对象。

80.根据权利要求74所述的观看系统，还包括：

计算机断层扫描(CT)扫描仪，其包括：

基座；

用于所述患者的平台；以及

转子，其被安装到所述基座以围绕所述患者旋转，其中，发射机是被固定到所述转子并发射x射线波的x射线发射机，接收机是被固定到所述转子以检测所述x射线波的x射线检测器，所述平台相对于所述基座的移动允许所述患者相对于从所述x射线发射机延伸到所述x射线检测器的平面的移动以获得所述原始数据。

81.根据权利要求74所述的观看系统，其中，所述光波导是位于所述眼睛与对象的外表面之间的透明光波导，而来自所述真实对象的外表面的光传输到所述眼睛的视网膜，以使得所述用户看到用所述数字表示的渲染而增强的所述真实对象的外表面。

82.根据权利要求81所述的观看系统，其中，所述投影仪是左投影仪，所述光波导是左光波导，并且所述眼睛是所述用户的左眼，所述观看系统还包括：

右投影仪，其被连接到所述图像数据接收单元以接收所述图像数据，所述右投影仪以代表所述图像数据的图案生成光；以及

右光波导，其被连接到所述右投影仪以将来自所述右投影仪的光引导到所述用户的右眼的视网膜，同时来自身体的外表面的光传输到所述右眼的视网膜，以使得所述用户用所述右眼看到用所述图像的渲染而增强的所述对象的外表面。

83.根据权利要求82所述的观看系统，所述指令集包括：

立体分析器，其被连接到所述数据接收单元以接收所述图像数据，所述立体分析器确定左图像数据集和右图像数据集，所述左投影仪和所述右投影仪分别投影所述左图像数据集和所述右图像数据集，所述左图像数据集和所述右图像数据集彼此不同以对所述用户提供三维渲染的感知。

84.根据权利要求74所述的观看系统，还包括：

头部单元检测设备，其检测所述头戴式框架的移动，

所述指令集包括：

显示调节算法，其被连接到所述头部单元检测设备，并且接收基于由所述头部单元检测设备检测到的移动的测量，并计算放置值；以及

显示定位算法，其基于所述放置值来修改所述身体部位在所述眼睛的视野内的位置。

85.根据权利要求84所述的观看系统，其中，所述头部单元检测设备包括：

头部单元惯性测量单元IMU，其被安装到所述头戴式框架，所述头部单元IMU包括检测所述头戴式框架的移动的运动传感器。

86.根据权利要求84所述的观看系统，其中，所述头部单元检测设备包括：

头部单元相机，其被安装到所述头戴式框架，所述头部单元相机通过拍摄在所述头部单元相机的视野内的对象的图像来检测所述头戴式框架的移动，

所述指令集包括：

图像处理系统，其分析所述图像以检测所述头戴式框架的姿势位置。

87.根据权利要求74所述的观看系统，还包括：

地图存储例程，其用于存储具有多个锚点的第一地图，所述第一地图的每个锚点具有一组坐标；

锚点识别系统，其被连接到所述真实对象检测设备以基于所述真实对象的所述位置来检测第二地图的锚点，所述第二地图的每个锚点具有一组坐标；以及

定位模块，其被连接到所述第一地图和所述第二地图，并且可执行以通过将所述第二地图的第一锚点匹配到所述第一地图的第一锚点并将所述第二地图的第二锚点匹配到所述第一地图的第二锚点来将所述第二地图定位到所述第一地图。

88.一种观看方法，包括：

用真实对象检测设备来检测真实环境中的真实对象的位置；

用处理器执行被连接到所述真实对象检测设备的地图生成器，以接收包括所述真实对象的所述真实环境的数据，并创建形成包括所述真实对象的所述真实环境的数字表示的地图；

用所述处理器执行地图存储例程，以将所述地图存储在所述数据存储器上；

将头戴式框架安装到观看者的头部；

将回波的原始数据存储在数据存储器中；

处理所述回波的所述原始数据以创建图像数据；

将所述图像数据存储在所述数据存储器中；

从所述数据存储器接收所述图像数据；

以代表所述图像数据的图案并基于所述地图来生成光；以及

用被固定到所述头戴式框架的光波导将所述光引导到观看者的眼睛的视网膜，以使得所述观看者看到所述图像数据的渲染。

89.根据权利要求88所述的方法，还包括：

用所述处理器执行被连接到所述数据存储器的引导模块，以检索所述地图，并基于所述数字表示来引导虚拟对象和真实对象中的至少一个。

90.根据权利要求88所述的方法，其中，所述引导模块是房间设置模块，所述房间设置模块可由所述处理器执行以基于所述数字表示来设置房间，包括：

存储期望的房间布局；以及

提供相对于所述真实环境以数字方式叠加所述期望的房间布局的输出。

91.根据权利要求88所述的方法，其中，所述引导模块是解剖配准模块，所述解剖配准模块可由所述处理器执行以基于所述数字表示来执行解剖配准，包括：

存储患者的身体部位的位置，其中，所述身体部位的所述位置是基于由所述真实对象检测设备检测到的真实对象的位置。

92.根据权利要求88所述的方法，其中，所述引导模块是外科手术计划模块，所述外科手术计划模块可由所述处理器执行以基于所述数字表示来计划外科手术，包括：

存储患者的身体部位的数字表示；

将所述患者的所述身体部位的所述数字表示与所述虚拟对象一起显示给用户；

接收来自所述用户的输入以相对于所述身体部位的所述数字表示来引导所述虚拟对象；以及

响应于来自所述用户的所述输入，在所述用户的视野中相对于所述身体部位的所述数字表示来移动所述虚拟对象。

93.根据权利要求88所述的方法，其中，所述引导模块是外科手术执行模块，所述外科手术执行模块可由所述处理器执行以基于所述数字表示来辅助执行外科手术，包括：

存储患者的身体部位的数字表示；

接收来自所述用户的输入以相对于所述身体部位的所述数字表示来引导所述虚拟对象；以及

响应来自所述用户的所述输入：

在所述用户的视野中，相对于所述身体部位的所述数字表示来移动所述虚拟对象；以及

在所述真实环境中，相对于所述患者的所述身体部位移动所述真实对象中的相应的真实对象。

94.根据权利要求88所述的方法，还包括：

操作计算机断层扫描(CT)扫描仪，其包括：

基座；

用于所述患者的平台；以及

转子，其被安装到所述基座以围绕所述患者旋转，其中，发射机是被固定到所述转子并发射x射线波的x射线发射机，接收机是被固定到所述转子以检测所述x射线波的x射线检测器，所述平台相对于所述基座的移动允许所述患者相对于从所述x射线发射机延伸到所述x射线检测器的平面的移动以获得所述原始数据。

95.根据权利要求88所述的方法，其中，所述光波导是位于所述眼睛与对象的外表面之间的透明光波导，而来自所述真实对象的外表面的光传输到所述眼睛的视网膜，以使得所述观看者看到用所述数字表示的渲染而增强的所述真实对象的外表面。

96.根据权利要求95所述的方法，其中，所述眼睛是所述观看者的左眼，所述方法还包括：

将所述光引导到所述观看者的右眼的视网膜，同时来自身体的外表面的光传输到所述右眼的视网膜，以使得所述观看者用所述右眼看到用所述身体部位的渲染而增强的所述身体的外表面。

97.根据权利要求96所述的方法，还包括：

确定左图像数据集和右图像数据集，所述左图像数据集和所述右图像数据集彼此不同以对所述观看者提供三维渲染的感知。

98.根据权利要求88所述的方法，还包括：

检测所述头戴式框架的移动；以及

基于所检测的移动来计算放置值；

基于所述放置值来修改所述身体部位在所述眼睛的视野内的位置。

99.根据权利要求98所述的方法，其中，所述移动是用被安装到所述头戴式框架的头部单元惯性测量单元(IMU)的运动传感器来检测。

100.根据权利要求98所述的方法，其中，所述移动是用被安装到所述头戴式框架的头部单元相机来检测的，所述头部单元相机通过拍摄在所述头部单元相机的视野内的对象的图像来检测所述头戴式框架的移动，所述方法还包括：

分析所述图像以检测所述头戴式框架的姿势位置。

101.根据权利要求88所述的方法，还包括：

存储具有多个锚点的第一地图，所述第一地图的每个锚点具有一组坐标；

基于所述真实对象的所述位置来检测第二地图的锚点，所述第二地图的每个锚点具有一组坐标；以及

通过将所述第二地图的第一锚点匹配到所述第一地图的第一锚点并将所述第二地图的第二锚点匹配到所述第一地图的第二锚点，将所述第二地图定位到所述第一地图。

102.一种观看系统，包括：

真实对象检测设备，其被定位以检测真实环境中的真实对象的位置；

至少一个处理器；

计算机可读介质，其被连接到所述处理器；

数据存储器，其位于所述计算机可读介质上；

指令集，其被存储在所述计算机可读介质上并且可由所述处理器执行，包括：

地图生成器，其被连接到所述真实对象检测设备以接收包括所述真实对象的所述真实环境的数据，并且可执行以创建形成包括所述真实对象的所述真实环境的数字表示的地图；

地图存储例程，其用于存储具有多个锚点的第一地图，所述第一地图的每个锚点具有一组坐标；

锚点识别系统，其被连接到所述真实对象检测设备以基于所述真实对象的所述位置来检测第二地图的锚点，所述第二地图的每个锚点具有一组坐标；以及

定位模块，其被连接到所述第一地图和所述第二地图，并且可执行以通过将所述第二地图的第一锚点匹配到所述第一地图的第一锚点并将所述第二地图的第二锚点匹配到所述第一地图的第二锚点，将所述第二地图定位到所述第一地图。

103.根据权利要求102所述的观看系统，还包括：

引导模块，其被连接到所述数据存储器以检索所述地图，并且可执行以基于所述数字表示来引导虚拟对象和真实对象中的至少一个。

104.根据权利要求103所述的观看系统，其中，所述引导模块是房间设置模块，所述房间设置模块可由所述处理器执行以基于所述数字表示来设置房间，包括：

存储期望的房间布局；以及

提供相对于所述真实环境以数字方式叠加所述期望的房间布局的输出。

105.根据权利要求103所述的观看系统，其中，所述引导模块是解剖配准模块，所述解剖配准模块可由所述处理器执行以基于所述数字表示来执行解剖配准，包括：

存储患者的身体部位的位置，其中，所述身体部位的所述位置是基于由所述真实对象检测设备检测到的真实对象的位置。

106.根据权利要求103所述的观看系统，其中，所述引导模块是外科手术计划模块，所述外科手术计划模块可由所述处理器执行以基于所述数字表示来计划外科手术，包括：

存储患者的身体部位的数字表示；

将所述患者的所述身体部位的所述数字表示与所述虚拟对象一起显示给用户；

接收来自所述用户的输入以相对于所述身体部位的所述数字表示来引导所述虚拟对象；以及

响应于来自所述用户的所述输入，在所述用户的视野中相对于所述身体部位的所述数字表示来移动所述虚拟对象。

107.根据权利要求103所述的观看系统，其中，所述引导模块是外科手术执行模块，所述外科手术执行模块可由所述处理器执行以基于所述数字表示来辅助执行外科手术，包括：

存储患者的身体部位的数字表示；

接收来自所述用户的输入以相对于所述身体部位的所述数字表示来引导所述虚拟对象；以及

响应来自所述用户的所述输入：

在所述用户的视野中，相对于所述身体部位的所述数字表示来移动所述虚拟对象；以及

在所述真实环境中，相对于所述患者的所述身体部位移动所述真实对象中的相应的真实对象。

108.根据权利要求102所述的观看系统，其中，真实对象检测设备是真实对象检测相机。

109.根据权利要求102所述的观看系统，还包括：

规范地图生成器，其被连接到所述第一地图和所述第二地图，并且可执行以通过将所述第一地图的第三锚点合并到所述第二地图中来创建规范地图。

110.根据权利要求102所述的观看系统，还包括：

观看设备，其包括：

头部单元，包括：

头戴式框架，其中，所述真实对象检测设备被安装到所述头戴式框架；

数据通道，其接收本地内容的图像数据；

本地内容定位系统，其被连接到所述数据通道，并且可执行以将所述本地内容与所述规范地图的一个锚点相关；以及

显示系统，其被连接到所述本地内容定位系统以显示所述本地内容。

111.根据权利要求110所述的观看系统，还包括：

本地到世界坐标变换器，其将所述本地内容的本地坐标框架变换为所述第二地图的世界坐标框架。

112.根据权利要求110所述的观看系统，还包括：

第一世界坐标框架确定例程，其用于基于所述第二地图的所述锚点来计算第一世界坐标框架；

第一世界坐标框架存储指令，其用于存储所述世界坐标框架；

头部框架确定例程，其用于计算随着所述头戴式框架的移动而改变的头部坐标框架；

头部框架存储指令，其用于存储第一头部坐标框架；以及

世界到头部坐标变换器，其用于将所述世界坐标框架变换为所述头部坐标框架。

113.根据权利要求112所述的观看系统，其中，当所述头戴式框架移动时，所述头部坐标框架相对于所述世界坐标框架改变。

114.根据权利要求110所述的观看系统，还包括：

至少一个声音元素，其与所述第二地图的至少一个锚点相关。

115.根据权利要求110所述的观看系统，其中，所述第一地图和所述第二地图由所述观看设备创建。

116.根据权利要求102所述的观看系统，还包括：

第一观看设备和第二观看设备，其中，每个观看设备包括：

头部单元，包括：

头戴式框架，其中，所述真实对象检测设备被安装到所述头戴式框架；

数据通道，其接收本地内容的图像数据；

本地内容定位系统，其被连接到所述数据通道，并且可执行以将所述本地内容与所述规范地图的一个锚点相关；以及

显示系统，其被连接到所述本地内容定位系统以显示所述本地内容。

117.根据权利要求116所述的观看系统，其中，所述第一观看设备创建用于所述第一地图的锚点，并且所述第二观看设备创建用于所述第二地图的锚点，并且所述定位模块构成所述第二观看设备的一部分。

118.根据权利要求117所述的观看系统，其中，所述第一地图和所述第二地图分别在第一会话和第二会话中被创建。

119.根据权利要求117所述的观看系统，其中，所述第一地图和所述第二地图在同一会话中被创建。

120.根据权利要求110所述的观看系统，还包括：

服务器；以及

地图下载系统，其构成所述观看设备的一部分，所述地图下载系统通过网络从服务器下载所述第一地图。

121.根据权利要求102所述的观看系统，其中，所述定位模块重复尝试将所述第二地图定位到所述第一地图。

122.根据权利要求102所述的观看系统，还包括：

所述服务器上的锚点投影仪，所述锚点投影仪将所述第二地图的锚点投影到所述第一地图上；

所述服务器上的地图质量分析器，所述地图质量分析器确定表示所述第一地图的质量的度量得分和表示所述第二地图的质量的度量；以及

地图启动器，其基于所述度量得分而指派所述第一地图和所述第二地图中的更高的一个以用于发送到观看设备。

123.根据权利要求102所述的观看系统，还包括：

数据存储器，其包括多个已完成外科手术的数字表示。

124.一种观看方法，包括：

用真实对象检测设备来检测真实环境中的真实对象的位置；

用处理器执行被连接到所述真实对象检测设备的地图生成器，以接收包括所述真实对象的所述真实环境的数据，并且创建形成包括所述真实对象的所述真实环境的数字表示的地图；

存储具有多个锚点的第一地图，所述第一地图的每个锚点具有一组坐标；

基于所述真实对象的所述位置来检测第二地图的锚点，所述第二地图的每个锚点具有一组坐标；以及

通过将所述第二地图的第一锚点匹配到所述第一地图的第一锚点并将所述第二地图的第二锚点匹配到所述第一地图的第二锚点，将所述第二地图定位到所述第一地图。

125.根据权利要求124所述的方法，还包括：

用所述处理器执行被连接到所述数据存储器以检索所述地图，并且基于所述数字表示来引导虚拟对象和真实对象中的至少一个。

126.根据权利要求125所述的方法，其中，所述引导模块是房间设置模块，所述房间设置模块可由所述处理器执行以基于所述数字表示来设置房间，包括：

存储期望的房间布局；以及

提供相对于所述真实环境以数字方式叠加所述期望的房间布局的输出。

127.根据权利要求125所述的方法，其中，所述引导模块是解剖配准模块，所述解剖配准模块可由所述处理器执行以基于所述数字表示来执行解剖配准，包括：

存储患者的身体部位的位置，其中，所述身体部位的所述位置是基于由所述真实对象检测设备检测到的真实对象的位置。

128.根据权利要求125所述的方法，其中，所述引导模块是外科手术计划模块，所述外科手术计划模块可由所述处理器执行以基于所述数字表示来计划外科手术，包括：

存储患者的身体部位的数字表示；

将所述患者的所述身体部位的所述数字表示与所述虚拟对象一起显示给用户；

接收来自所述用户的输入以相对于所述身体部位的所述数字表示来引导所述虚拟对象；以及

响应于来自所述用户的所述输入，在所述用户的视野中相对于所述身体部位的所述数字表示来移动所述虚拟对象。

129.根据权利要求125所述的方法，其中，所述引导模块是外科手术执行模块，所述外科手术执行模块可由所述处理器执行以基于所述数字表示来辅助执行外科手术，包括：

存储患者的身体部位的数字表示；

接收来自所述用户的输入以相对于所述身体部位的所述数字表示来引导所述虚拟对象；以及

响应来自所述用户的所述输入：

在所述用户的视野中，相对于所述身体部位的所述数字表示来移动所述虚拟对象；以及

在所述真实环境中，相对于所述患者的所述身体部位移动所述真实对象中的相应的真实对象。

130.根据权利要求124所述的方法，其中，真实对象检测设备是真实对象检测相机。

131.根据权利要求124所述的方法，还包括：

执行规范地图生成器，所述地图生成器被连接到所述第一地图和所述第二地图，并且可执行以通过将所述第一地图的第三锚点合并到所述第二地图中来创建规范地图。

132.根据权利要求124所述的方法，其中，所述方法至少部分地在观看设备上被执行，所述观看设备包括：

头部单元，包括：

头戴式框架，其中，所述真实对象检测设备被安装到所述头戴式框架；

数据通道，其接收本地内容的图像数据；

本地内容定位系统，其被连接到所述数据通道，并且可执行以将所述本地内容与所述规范地图的一个锚点相关；以及

显示系统，其被连接到所述本地内容定位系统以显示所述本地内容。

133.根据权利要求132所述的方法，还包括：

执行本地到世界坐标变换器，所述本地到世界坐标变换器将所述本地内容的本地坐标框架变换为所述第二地图的世界坐标框架。

134.根据权利要求132所述的方法，还包括：

执行第一世界坐标框架确定例程以基于所述第二地图的所述锚点来计算第一世界坐标框架；

执行第一世界坐标框架存储指令以存储所述世界坐标框架；

执行头部框架确定例程以计算随着所述头戴式框架的移动而改变的头部坐标框架；

执行头部框架存储指令以存储所述第一头部坐标框架；

执行世界到头部坐标变换器以将所述世界坐标框架变换为所述头部坐标框架。

135.根据权利要求134所述的方法，其中，当所述头戴式框架移动时，所述头部坐标框架相对于所述世界坐标框架改变。

136.根据权利要求132所述的方法，还包括：

将至少一个声音元素与所述第二地图的至少一个锚点相关。

137.根据权利要求132所述的方法，其中，所述第一地图和所述第二地图由所述观看设备创建。

138.根据权利要求124所述的方法，其中，所述方法至少部分地在第一观看设备和第二观看设备上被执行，其中，每个观看设备包括：

头部单元，包括：

头戴式框架，其中，所述真实对象检测设备被安装到所述头戴式框架；

数据通道，其接收本地内容的图像数据；

本地内容定位系统，其被连接到所述数据通道，并且可执行以将所述本地内容与所述规范地图的一个锚点相关；以及

显示系统，其被连接到所述本地内容定位系统以显示所述本地内容。

139.根据权利要求138所述的方法，其中，所述第一观看设备创建用于所述第一地图的锚点，并且所述第二观看设备创建用于所述第二地图的锚点，并且所述定位模块构成所述第二观看设备的一部分。

140.根据权利要求139所述的方法，其中，所述第一地图和所述第二地图分别在第一会话和第二会话中被创建。

141.根据权利要求139所述的方法，其中，所述第一地图和所述第二地图在同一会话中被创建。

142.根据权利要求132所述的方法，还包括：

执行地图下载系统，所述地图下载系统构成所述观看设备的一部分，所述地图下载系统通过网络从服务器下载所述第一地图。

143.根据权利要求124所述的方法，其中，所述定位模块重复尝试将所述第二地图定位到所述第一地图。

144.根据权利要求124所述的方法，还包括：

执行服务器上的锚点投影仪，所述锚点投影仪将所述第二地图的锚点投影到所述第一地图上；

执行所述服务器上的地图质量分析器，所述地图质量分析器确定表示所述第一地图的质量的度量得分和表示所述第二地图的质量的度量；以及

执行地图启动器，所述地图启动器基于所述度量得分而指派所述第一地图和所述第二地图中的更高的一个以发送到观看设备。

145.根据权利要求124所述的方法，还包括：

将多个已完成外科手术的数字表示存储在数据存储器中。

Images