CN115515520A - 手术导航系统及其应用 - Google Patents

Abstract

本公开的方面涉及一种多功能平台，其配置为用于手术导航并且对于不同位置中的使用是便携的。系统包括硬件组件和软件组件。硬件组件可以包括便携式或可佩戴式装置，所述装置可以获得多种类型的输入数据，所述数据可以用于远程可视化手术设置。硬件可以包括：带有各种类型的摄像机的头戴式视图器，所述摄像机诸如是用于捕获2D和3D数据的位置摄像机和视觉摄像机；以及用于将2D和3D图像融合或叠加在一起的电路。在其他情况下，硬件可以包括：诸如智能板的移动装置的杆附件，其内置多个摄像机传感器。在一些实施例中，硬件还包括：能够实现手术导航和手术显微镜功能的便携式导航系统。

Description

手术导航系统及其应用

相关申请的交叉引用

本申请要求以下申请的优先权：于2020年2月28日提交的题为“MULTIFUNCTIONALSURGICAL NAVIGATION APPARATUS OR PLATFORM AND APPLICATIONS THEREOF(多功能手术导航设备或平台及其应用)”的美国临时申请62/983,405；于2020年2月28日提交的题为“SURGICAL NAVIGATION SYSTEM SOFTWARE AND APPLICATIONS THEREOF(手术导航系统软件及其应用)”的美国临时申请No.62/983,427；以及于2020年2月28日提交的题为“SURGICAL NAVIGATION SYSTEM AND APPLICATIONS THEREOF(手术导航系统及其应用)”的美国临时申请62/983,432，所有这些临时申请的公开内容通过引用以其全部并入本文。

背景技术

手术导航和手术显微镜机器是两个笨重的装置，它们大多彼此独立，但目前都在许多手术中使用。在神经手术期间，外科医生需要花费时间以在这些装置之间切换。手术导航机器占据手术室空间的平均10-15％，并且手术显微镜占据所述空间的平均15-20％。图1是这些类型的机器的示例，它们在外科手术期间非常有用，但使用起来非常麻烦。

仅在某种意义(这两种装置是带轮子的重型推车)上，它们是便携式的。它们的重量很容易超过200kg，因此，在手术室外，诸如急诊或外科ICU，使用这些装置是不现实的。一旦这些装置进入手术室，它们倾向于终生留在那里。如果它们要在手术室内外移动，由于它们的重量，需要医务人员的协助。

在手术室中，外科医生通常倾向于一次使用一个装置，然后他们必须在手术显微镜或手术导航之间来回移动，这取决于它们在手术期间的功能。这种来回给外科医生带来了不适，并且还增加了手术时间，造成系统的低效率和更高的麻醉率，因为更长的手术时间意味着更长的麻醉时间。

手术医生(诸如外科医生和介入医学专家)有很高的工伤风险，诸如肌肉骨骼疾病(MSD)。这是由于涉及重复动作的长时间工作、静态和笨拙姿势、以及仪器设计方面的挑战，尤其是考虑到在多样化劳动力环境中的快速创新。

工效学家已描述：外科医生的工作环境和工作条件与某些工业工人的工作环境和工作条件相同，甚至有时更为苛刻。

这一观察结果与研究结果一致，研究表明，与普通人群相比，诸如与煤矿工人、制造业工人和物理治疗师等劳动密集型职业相比，高风险医生的工伤流行率估计值更高。

尽管在工业人体工程学方面已取得了巨大进步，以减轻疾病负担，但事实已证明：医学是独特的挑战，这一群体缺乏干预的情况现在变得明显。

外科医生在使用带有导航系统的手术器械时也有局限性，因为传统的系统存在视线问题。如果所述手术器械因任何原因而被挡住，则导航停止。光学跟踪摄像机通常需要具有到手术器械的直接视线。

进行图像引导手术的标准方式不是查看手术部位，而是查看导航屏幕，然后通过查看基于屏幕的2D显示将手术器械移动到目标位置—这需要极其小心的操作性，这只能来自大量的手术经验。

现有导航系统从3个角度(横切面、矢状平面和冠状平面)提供2D图像视图。然后，外科医生将所有这些与患者器官中的3D点相关联。然后，外科医生面临着艰巨的任务，即根据他们的经验将该2D信息映射到3D信息。因此，该过程是不一致的，因为正确的3D可视化当前不可用。

在进行配准时，存在可能会渗入的人工错误。配准过程是首先在软件上选择相关点，然后在患者上选择相关点。由于人为因素，点选择中通常会出现错误。

当前的手术导航和显微镜系统被困于手术室内，因此由于需要手术计划和术前计划讨论而需要花费额外的OR时间来设置。

当前的系统执行单一功能—手术导航、手术显微镜、荧光可视化、拉曼光谱、共聚焦显微镜。没有一种装置可以做到所有这些，以大大提高外科医生(不必在装置之间切换)的效率。

介入套房或外科ICU室无法使用这些导航装置进行一些手术，这些手术可以极大地提高患者疗效和满意度，如脊柱硬膜外注射和肝脏靶向注射。

因此，期望提供一种更能够移动的导航系统，以辅助多种医疗手术背景。还希望允许诸如外科医生的用户能够通过使用改进的导航系统接口更容易地远程执行他们的任务。

发明内容

本公开的方面涉及一种多功能平台，所述多功能平台配置为用于手术导航、手术显微镜、放大镜和/或荧光可视化，其对于不同位置中的使用是便携的。在一些实施中，所述平台的重量低于130磅。该系统包括硬件组件和软件组件。硬件组件可以包括便携式或可佩戴式装置，所述装置可以获得多种类型的输入数据，所述数据可以用于远程可视化手术设置。在一些情况下，硬件包括带有各种类型的摄像机的头戴式视图器，所述摄像机诸如是用于捕获2D和3D数据的位置摄像机和视觉摄像机；以及用于将2D和3D图像融合或叠加在一起的电路。在其他情况下，硬件可以包括移动装置(诸如智能板或笔记本电脑)的杆附件，其内置多个摄像机传感器。在一些实施例中，硬件还包括可以实现手术导航和手术显微镜功能的便携式导航系统。

本公开的软件可以包括模块，所述模块用于处理从一个或多个硬件组件接收的输入数据，并且将数据转换为远程用户可用于执行至少一些外科手术的增强现实(AR)或虚拟现实(VR)体验。

在一些实施例中，提出了一种增强现实装置。AR装置可以包括：壳体；深度摄像机，其耦合到壳体，并配置为用三维组件提供图像数据；视觉摄像机，其耦合到壳体，并配置为提供人类用户无法自然看到的超感官图像数据；以及叠加图显示组件，其被配置为接收至少两组图像数据，并将这至少两组图像数据叠加到用户的视野中的公共参考点上。

在一些实施例中，增强现实装置还包括：头戴式视图器，其配置为支撑壳体。

在增强现实装置的一些实施例中，深度摄像机和视觉摄像机定位在头戴式视图器上，使得用户的视野与深度摄像机和视觉摄像机的视野一致。

在增强现实装置的一些实施例中，当用户佩戴头戴式视图器时，叠加图显示组件定位在用户的视野上方。

在一些实施例中，增强现实装置还包括：杆附件，其配置为附接到移动装置。

在增强现实的一些实施例中，叠加图显示组件使用移动装置的视觉显示器。

在一些实施例中，提供了一种用于手术导航的系统。所述系统可以包括：定位在本地地理位置的第一增强现实(AR)装置；定位在远程地理位置并且与第一AR装置有线或无线耦合的第二增强现实装置；以及耦合到第一AR装置和第二AR装置的软件系统，所述软件系统配置为：处理由第一AR装置生成的实时图像数据；访问先前记录的固定医学图像数据；以及使第二AR装置显示实时图像数据和叠加在实时图像数据上的固定医学图像数据。

在所述系统的一些实施例中，第一AR装置配置为识别视野中的固定参考标记，并将关于固定参考标记的图像数据传输到第二AR装置。

在所述系统的一些实施例中，软件系统配置为：使用关于固定参考标记的图像数据，将固定医学图像数据定向到实时图像数据。

在所述系统的一些实施例中，固定医学图像数据包括2D图像数据和3D图像数据。

在所述系统的一些实施例中，软件系统配置为同时显示叠加在实时图像数据上的关于患者的2D图像数据和3D图像数据两者。

在所述系统的一些实施例中，在实时图像数据上叠加的2D数据和3D数据表示实时图像数据的对象内或内部的物理内容的一个或多个视图。

在一些实施例中，提出了一种增强现实(AR)方法，其用于将对象的数字图像数据融合到对象的实时视图。所述方法可以包括：实时访问对象的视图；访问对象的数字图像数据，所述对象的数字图像数据先前被捕获并被存储为对象的一个或多个静态数字图像；以及执行融合技术，所述融合技术使用增强现实显示屏实时将数字图像数据附加到对象的视图，使得当对象的视图在增强现实显示屏内的位置或取向改变时，数字图像数据实时附加到对象的视图。

在所述方法的一些实施例中，数字图像数据包括对象的3D数字图像数据。

在所述方法的一些实施例中，数字图像数据包括对象的2D数字图像数据。

在一些实施例中，所述方法还包括：访问对象的2D数字图像数据；以及执行3D渲染技术，以将2D数字图像数据转换为对象的3D数字图像数据；并且其中，融合技术包括将对象的3D数字图像数据实时附加到对象的视图。

在所述方法的一些实施例中，融合技术包括：将对象的视图的大小与3D数字图像数据的大小实时匹配，使得3D数字图像数据的大小与对象的大小以正确比例显示。

在所述方法的一些实施例中，融合技术包括：将对象的视图的形状与3D数字图像数据的形状实时匹配，使得3D数字图像的形状与对象的形状以正确比例显示。

在一些实施例中，所述方法还包括：实时访问对象的视图附近的固定参考标记，其中，固定参考标记提供足以提供对象的视图的唯一3维取向和深度的数据，即使对象的视图的位置或取向发生改变。

在所述方法的一些实施例中，执行融合技术包括：使用固定参考标记，以将数字图像数据实时附加到对象的视图。

附图说明

附图不是按比例绘制的。在各个附图中的类似附图标记和名称表示类似元件。为了清楚起见，并非每个组件都可以标记在每个附图中。在附图中：

图1是现有技术机器的示例，其在外科手术期间非常有用，但使用起来非常麻烦。

图2是根据一些实施例的用于辅助手术导航的系统的高级框图，该系统在一些情况下使用AR元素，而在一些情况下便于通过VR远程查看手术部位。

图3是根据一些实施例的示例性手术导航系统的示意图示。

图4示出了根据一些实施例的导航系统如何向远程位置提供功能的示例性框图。

图5是根据一些实施例的使用手术导航系统的示例性手术室的照片图像。

图6是根据各种实施例的示例性手术平台的图示，在该手术平台处，在使用作为手术导航系统的一部分的AR屏幕的同时执行手术。

图7是根据一些实施例的图6的AR屏幕的更近视图的图示。

图8提供了一种示例：屏幕如何可以是透明的或者提供透明的外观，同时还能够显示AR元素。

图9是示出根据各种实施例的一体式多功能设备(诸如手术导航系统设备或平台)的各种模块的示意图。

图10是根据各种实施例的手术导航系统设备或平台的示例的示意图示。

图11是根据各种实施例的具有附加特征的手术导航系统设备或平台的示例的示意图示。

图12是根据各种实施例的具有附加特征的手术导航系统设备或平台的示例的另一个示意图示。

图13是根据各种实施例的外科导航系统设备或平台的示例的示意图示，其中示出了示例用途。

图14示出了根据一些实施例的佩戴头戴式视图器导航系统的专家或非专家的示例性场景。

图15示出了根据一些实施例的导航系统的示例性应用。

图16示出了根据一些实施例的高级别的手术导航系统软件的框图。

图17示出了根据各种实施例的手术导航系统软件的配准模块，其是配准过程的混合方法。

图18示出了根据各种实施例的手术导航系统软件的示例性数据流和工作，以基于场景中的刚体/固定标记传递增强现实导航，以及系统如何能够同时与多个全息装置通信。

图19示出了如何使用组合算法将全息投影叠加到真实场景上的数据流和工作。

图20示出了根据各种实施例的在全息模式下启用的高级可视化功能的一组示例。

图21示出了根据各种实施例的器械(具有标记)如何用于导航的数据流和工作。

图22提供了根据一些实施例的用户使用本公开的导航系统所能够看到的示例性图示。

图23示出了根据一些实施例的叠加在定期观察的头骨上的多组图像数据中的一组的各种程度的不透明度的示例。

图24提供了根据一些实施例的提供多个叠加图的导航系统的另一个示例。

图25示出了具有非对称布置的四个标记的装置，所述标记可以放置在目标患者附近的恒定位置。

图26示出了可以附接到患者或在手术台的固定位置上的器械，其也具有四个点作为固定视觉提示。

具体实施方式

应当理解，以下公开提供了用于实现本公开的不同特征的许多不同实施例或示例。下面描述了组件和布置的具体实施例或示例以简化本公开。当然，这些仅仅是示例，并非旨在限制。例如，元件的尺寸不限于所公开的范围或值，而是可以取决于装置的工艺条件和/或期望特性。此外，在以下的描述中，在第二特征之上或上形成第一特征可以包括其中第一特征和第二特征直接接触形成的实施例，并且还可以包括其中附加特征可以形成为介于第一特征与第二特征之间，使得第一特征和第一特征可以不直接接触的实施例。为了简单和清晰，可以以不同比例任意绘制各种特征。

另外，为了易于描述，文中可能使用与空间相关的术语，诸如“下面”、“下方”、“下”、“上方”、“上”等，以描述附图中示出的一个元件或特征与另一个元件或特征的关系。除了附图中所描绘的取向之外，与空间相关的术语意在包括装置在使用中或操作中的不同取向。该装置可以以其他方式定向(旋转90度或处于其他取向)，并且对本文使用的与空间相关的描述词也可以相应地进行解释。此外，术语“由……制成”可以指“包括”或“由……构成”。

公开了一种用于辅助手术导航的总体硬件和软件系统。所述系统可以被配置为促进远程位置处的手术的AR/VR渲染。该系统中包括一个或多个硬件组件，其中在一些实施例中，其表现为可佩戴装置，诸如头戴式视图器。在其他实施例中，其表现为移动计算机(诸如智能板或笔记本电脑)的杆附件。在一些实施例中，硬件包括能够容易地从一个手术室移动到另一个手术室的便携式手术导航工具。此外，所述系统包括软件，所述软件被配置为：转换或融合由硬件接收的输入数据，并为远程位置处的AR或VR环境提供成像数据。下面将更详细地描述所述系统的各种组件。

系统概述

参见图2，示出了根据一些实施例的用于辅助手术导航的系统的高级框图，该系统在一些情况下使用AR元素，而在一些情况下便于通过VR远程查看手术部位。在本地侧(例如，正在执行操作的位置)，本公开的方面包括：数据捕获硬件，诸如头戴式视图器，其具有收集位置信息的位置摄像机(例如，深度摄像机)以及视觉或IR摄像机。使用收集的位置和视觉信息，叠加图管理器可以本地地处理和渲染图像，并将图像叠加在操作上。在其他情况下，数据捕获硬件可以包括具有多个传感器的移动计算机的附件，诸如位置摄像机和视觉摄像机。在其他情况下，数据捕获硬件可以包括：可部署手术导航系统。

数据捕获硬件和叠加图管理器可以将渲染的图像上传到云。在远程位置处，渲染的AR图像可以被传输到远程VR头戴式视图器。远程VR头戴式视图器可以在三维(3D)虚拟现实空间中渲染所传输的AR图像。远程专家(诸如远程定位的外科医生)可以与VR显示空间交互。远程外科医生可以在VR图像上指示切口的范围和深度。由远程外科医生提供的指示位置输入可以被传输到云并被中继到本地非专家，诸如操作本地数据捕获硬件的医学学生或技术人员。然后本地叠加图管理器可以将VR位置输入添加到渲染的AR图像，使得非专家可以在手术或操作中使用VR位置输入。

虽然本公开的导航系统的一种用途是在医疗手术的背景中，但一般来说，应当理解，这些装置和程序可以用于：专家可能远离本地非专家(或者反之亦然)的任何操作。在一些实施例中，所述操作可以是任何远程操作。例如，所述操作可以是制造操作，其中本地制造商可能需要专家的指示来制造具有特定几何形状的装置。在一些示例中，所述操作可能是拆除或挖掘操作，当地非专业家接收关于在何处和如何放置药包的指示。在一些示例中，所述操作可以是：任何其他专用操作，其可以受益于被传输到AR接收器的准确、精确和实时空间或其他指令。

图3是示例性手术导航系统的示意图示。根据各种实施例，示例性手术导航系统可以包括手术导航系统设备或平台、计算装置、显示单元、实时远程指导精确手术(RTRGPS)和/或云计算网络。

手术导航系统包括：多功能便携式装置，其在一个装置中提供手术导航、放大、荧光可视化和其他功能的全部。

在一些实施例中，手术导航系统的重量可以例如等于或小于130磅，但是可以基于每个单独的情况考虑其他尺寸或重量。产品可以是小推车的形式，如果需要，其可以非常容易地被运输到医院的其他区域。在其他情况下，该产品可以是移动计算机的附件的形式，诸如杆附件。在其他情况下，该产品可以是头戴式视图器的形式，用户可以在外科手术期间佩戴它。

下面是根据各种实施例的用手术导航系统设备或平台能够实现的一些功能。

根据各种实施例，所述装置能够借助于标记或使用面部检测来进行手术导航。

根据各种实施例，所述装置能够用光学变焦透镜将手术目标区域放大高达20倍。

根据各种实施例，所述装置能够进行荧光可视化。

所述装置可以装配有先进的功能，诸如，例如共聚焦显微镜和拉曼光谱。

多功能性允许：外科医生(用户)方便地且无任何复杂位置的物理应力地执行外科手术。

基于增强现实的叠加图允许外科医生看到患者并执行外科手术，从而减少手术时间，提高患者疗效。

根据各种实施例，所述装置可以具有将用于手术视野中的增强现实叠加图的透明显示器。

根据各种实施例，所述装置还可以使用基于人工智能的器官解剖结构分割，并在手术导航中使用该分割以提高手术效率。

图4示出了根据一些实施例的导航系统如何向远程位置提供功能的示例性框图。图4包括各种模块的示例，所述各种模块表示在本公开的硬件和软件的某些版本中可用的不同功能组。下面关于图9描述可用的模块种类的更全面的描述。

这里，根据各种实施例，导航装置连接到云或PACS系统。

根据各种实施例，用户使用诸如拇指驱动器或CD或甚至云或PACS系统的任何通用文件存储系统加载扫描。

根据各种实施例，一旦加载了扫描，用户可以选择开始计划或开始联合配准或导出到其他形式，使得它们可以在其他手术导航系统上继续。

根据各种实施例，用户可以通过选择计划选项并使用所有工具(如点选择、窗口、着色图像处理和AI)来开始计划，以计划用户正在计划进行的程序。

根据各种实施例，用户还可以与他/她的同行或专家共享，以获得批准。

根据各种实施例(见图16和相关描述)，当用户想要第一时间启动AR模块时，用户可以通过联合配准模块以便选择初始点集，并且可以启动AR模块并叠加体积(volume)。

一旦启动AR模块，用户可以在所有(如计划、联合配准或增强)模块之间切换。

根据各种实施例，在AR模式下，用户可以使用所提供的选项，以0.1mm的高精度将该体积配准到患者身上。

根据各种实施例，一旦已完成所有设置，用户可以继续使用系统或连接到任何AR装置(如HoloLens或Magic Leap)，以继续所述程序。

根据各种实施例，该系统还可以连接到RTRGPS系统，使得位置2处的用户可以获得位置1的精确副本。

根据各种实施例，与RTRGPS系统的这种连接可以用于同步应用的任何部分。

如图4所示，RTRGPS软件模块可以从位置场景1获取数据，并通过边缘计算协议(MQTT)传输该数据，例如，以在位置2处重现具有深度感知的位置场景。下面更详细地描述包括RTRGPS功能的本公开的软件组件的进一步描述。

位置1可以具有手术导航系统或至少具有以下模块/组件的任何其他系统：

a.模块1：立体摄像机；

b.模块2：全息投影；

c.刚体/标记；

d.带标记的手术器械。

位置2可以具有手术导航系统或至少具有以下模块/组件的任何其他系统：

a.模块1：立体摄像机；

b.模块2：全息投影；

c.带标记的手术器械。

来自位置1的数据通过边缘计算协议(MQTT)经由RTRGPS软件传输。

数据必须至少包括但不限于：

a.位置1系统取向，由模块1捕获的转换信息。当模块1识别刚体/标记时，由RTRGPS软件检索该信息。

b.位置1视频流，如模块1所见。

c.位置1：当模块2识别刚体/标记时捕获的取向、转换信息。

d.当带标记的手术器械进入位置1场景时，由模块1或模块2捕获的取向、转换信息。

e.位置1场景是用户将要执行任务的区域。

然后，该数据通过边缘计算通信协议(MQTT)经由RTRGPS软件传输到位置2。

在位置2处，RTRGPS软件将该数据加载到模块1和模块2中，以使用模块2全息投影结合真实实时馈送来重现来自位置1的具有全深度感知的场景，为位置2处的用户提供真实深度感知。

任何手术计划软件或手术导航系统软件提供与手术计划相关的所有数据。手术计划包括但不限于患者扫描和轨迹细节。

继续该场景，现在两个位置已同步。同步在5G速度下的延迟为0，并且整个系统在5G速率下的渲染速度可以超过60fps。

在一些情况下，例如，在模拟中，位置1处的用户正在指导位置2处的用户。

在一些情况下，例如，在具有预见性的远程指导情况下，位置2处的用户正在指导位置1处的用户。

在位置1处：带标记的手术器械由用户用于在位置1处执行任务。

每个标记/刚体可以是唯一的标记。即使是带标记的手术器械也必须是唯一的。同一类型的两个标记不能位于同一位置。唯一性可以从四个或多个点的组合中得出，这些点彼此的组合距离是唯一的。

RTRGPS连续地传输数据，和从两个位置接收数据，并同时同步它们。

在一些情况下，手术器械与空间中的点P(p1、p2、p3)相交。

空间是位置1或位置2中的场景。该点坐标由模块1和模块2准确地拾取。同一点实际上在另一个位置处被突出显示，以用于指导。在识别空间中的点坐标时，精度与模块2的精度相同。

在一些情况下，可以有两个以上的位置。通过RTRGPS软件连接的位置的数量没有限制。

位置1标记：对于模块1和模块2，标记或刚体必须始终可见。

在一些情况下，位置1中场景的不变的唯一特征和轮廓也可以用作刚体/标记。

在没有可用的可视化的机器人系统中，带标记的手术导航系统也可以用于使患者体内的机器人手臂的移动可视化。这为机器人系统增加了额外的3D深度可视化。

在位置1处的外科医生或(在手术期间正在指导位置1处的外科医生的)位置2处的外科医生的指导下，受训人员或医学学生的团队可以实时地练习在外科手术期间的手术方法和细微差别。

位置1和位置2不需要用RTRGPS系统预先分割/贴标签/标记。所述系统使用全息深度投影和1个场景中的标记，在两个位置中实现实时深度场景渲染和精确指导。

根据本文所公开的各种实施例，用户可以使用它来协作地进行计划或手术，或者可以用于教导或指导手术。

根据本文公开的各种实施例，只要固定的标记存在于系统的视图中，AR跟踪就是可能的。

根据本文公开的各种实施例，如果要使用任何器械，则可以使用器械标记在跟踪之后跟踪该器械。

图5、图6、图7和图8示出了如何在外科手术背景下使用本公开的手术导航系统的各种示例性场景。图5是示例性手术室的照片图像。导航系统硬件采用小推车的形式，与传统的导航和显微镜机器(见图1)相比，小推车可以更容易地被部署到不同的房间中。图6是根据各种实施例的在其中执行手术的示例性手术平台的图示。这里，本公开的硬件包括：介于外科医生与患者之间的屏幕。屏幕可以允许在患者的视图上添加AR元素。图7是根据一些实施例的AR屏幕的更近视图的图示。图8提供了一种示例：屏幕如何可以是透明的或者提供透明的外观，同时还能够显示AR元素。

现在将提供导航系统的示例性组件的更具体细节。本描述集中于建立本文描述的整个系统的各种硬件示例和软件组件。

总体硬件描述

在一些实施例中，本公开的硬件包括：多功能便携式装置，其在一个装置中提供手术导航、放大、荧光可视化和更多内容的全部。

本文公开的技术和方法涉及一种多功能便携式一体式装置，其可以提供多种功能，包括但不限于，手术导航、手术显微镜、放大镜、荧光可视化、术前计划和/或模拟，例如在图9中所示的。

图9是示出了根据各种实施例的一体式多功能设备(诸如手术导航系统设备或平台)的各种模块的示意图。如图9所示，手术导航系统硬件设备或平台可以包括多达六个模块1-6。在各种实施例中，模块1可以包括：立体摄像机，其被配置为提供导航功能。在各种实施例中，模块2可以包括全息投影系统，诸如但不限于，Microsoft Hololens、Magic Leap等。在各种实施例中，模块3可以包括摄像机、光学透镜和/或LED灯，并且被配置为用作手术显微镜和/或提供放大镜功能，例如，放大以查看小细节。在各种实施例中，模块4可以包括具有红外(IR)滤光器的摄像机，并且被配置为用于荧光可视化。

在各种实施例中，模块5可以被配置为用于共聚焦显微镜或可以被配置为用于共聚焦显微术。在各种实施例中，模块6可以包括拉曼光谱仪或被配置为用于拉曼光谱术。

杆附件硬件

在各种实施例中，如图9所示，手术导航系统设备或平台的模块可以被组合以符合最简水平杆外形尺寸，其可以帮助在单个装置内实现各种高级功能，诸如以上讨论的那些功能。在各种实施例中，手术导航系统设备或平台的各种模块可以由单个笔记本电脑/台式电脑/平板电脑/高性能系统供电。在各种实施例中，手术导航系统设备或平台可以是完全定制的，以包括所有硬件模块。在各种实施例中，取决于用户需求，手术导航系统设备或平台可以仅包括一些硬件模块。以杆附件形式的手术导航系统设备或平台由于其立方体形状而在设计上符合人体工程学并且非常美观，并且可以被锁定/附接到显示器或平板电脑/笔记本电脑来工作。手术导航系统设备或平台的独特设计允许外科医生在手术视野中操作而不受任何限制，允许器械在手术视野内自由移动。

图10是根据各种实施例的手术导航系统设备或平台的示例的示意图示。如图10所示，杆附件可以连接到笔记本电脑或平板电脑的顶部。以该杆附件外形尺寸的手术导航系统设备或平台包括模块1、模块3和模块4。在各种实施例中，手术导航系统设备或平台在任一侧附接到显示器或笔记本电脑或平板电脑，但从人体工程学来看，显示器或笔记本电脑或平板电脑的顶部可以是附接或锁定的更直观的位置。

图11是根据各种实施例的手术导航系统设备或平台的示例的示意图示。如图11所示，在该示例中，以杆附件形式的手术导航系统设备或平台包括模块1，例如，立体摄像机，其附接到(例如但不限于)笔记本电脑、平板电脑或显示装置。

图12是根据各种实施例的手术导航系统设备或平台的示例的示意图示。如图12所示，导航系统可以包括：笔记本电脑，其示出操作的各种视图。如图12所示，杆附件部分可以被附接或锁定到(例如但不限于)笔记本电脑或平板电脑。

图13是根据各种实施例的手术导航系统设备或平台的示例的示意图示。如图13所示，以杆附件形式的手术导航系统设备或平台可以包括显示单元，例如，示出操作的各种视图的透明显示器或不透明显示器。如图13所示，手术导航系统设备或平台可以被附接或锁定到显示单元。

在各种实施例中，手术导航系统设备或平台可以被配置为通过USB或其他通信端口将各种硬件模块连接到计算装置，诸如图10、图11和图12所示的那些计算装置。如上所述，计算装置可以是(例如但不限于)笔记本电脑、平板电脑、台式机或高性能计算机系统。替代地，如图13所示，杆附件也可以被附接到仅显示系统上。在各种实施例中，显示器和手术导航系统设备或平台连接到高性能计算机系统。

头戴式视图器硬件

在一些实施例中，手术导航系统设备或平台可以表现为：可以在手术室中佩戴的头戴式视图器。为了有助于促进远程专家对本地非专家的远程指示，根据一些实施例的头戴式视图器导航系统可以被配置为收集空间的和视觉的或近IR的数据。为了收集数据，可以将一个或多个摄像机附接到头戴式视图器。头戴式视图器可以被配置为在视野中显示AR元素。摄像机可以被定向为在远程非专家面对的方向上收集位置和视觉的或近IR的数据。

图14示出了根据一些实施例的佩戴头戴式视图器导航系统的专家或非专家的示例性场景。头戴式视图器佩戴者能够看到手术台上的患者，同时也能够看到通过头戴式视图器显示的视野中的AR元素。在一些实施例中，由头戴式视图器捕获的图像数据可以基于摄像机传感器的取向反映用户所看到的。这些图像数据可以例如通过云传输到远程位置，并用于向远程位置处的其他用户显示在OR中所看到的内容的VR渲染。

图15示出了根据一些实施例的导航系统的示例性应用。左侧的示例性场景示出了专家在佩戴以头戴式视图器形式的导航系统的同时护理患者。专家可以看到患者，但也可以看到其他元素。右侧示出的是，专家通过头戴式视图器的第一人视图的示例，所述视图还包括AR元素。这里，相对于患者的其他参考点，在患者身上(大脑已经被测量的位置处)叠加患者大脑的近似位置。患者大脑的叠加图可以是3D渲染，使得佩戴头戴式视图器的专家可以围绕患者行走，并且大脑的各种角度将根据头戴式视图器相对于患者的取向而实时改变。下面将进一步描述用于实现该叠加图的示例性实施方式。

在一些实施例中，患者的图像数据和以其他形式(诸如x射线或MRI)的患者的一次或多次扫描可以全部传输到远程位置。远程位置处的用户可以使用根据本公开的导航系统(其形式为头戴式视图器或杆附件)，并以相对于患者的精确放置看到在患者的顶部上的一个或多个扫描的叠加图。这可以允许远程用户(甚至从远程位置)做出关于如何治疗患者的更好决定。

附接到AR头戴式视图器的摄像机可以是任何类型的位置和/或视觉或近IR数据感测摄像机。例如，现有摄像机可以连接到AR头戴式视图器。在一些实施例中，位置摄像机可以是：可以收集位置和深度数据的任何类型的摄像机。例如，位置摄像机可以是LIDAR传感器或任何其他类型的位置摄像机。

在一些实施例中，视觉或近IR摄像机可以是任何类型的视觉摄像机。例如，视觉或近IR摄像机可以是标准视觉摄像机，并且可以在视觉摄像机上放置一个或多个滤光器以收集近IR信息。在一些示例中，摄像机可以被配置为专门收集IR数据。

在一些实施例中，向AR头戴式视图器添加摄像机可能会给AR头戴式视图器增加额外的重量。给AR头戴式视图器增加重量可能降低用户的舒适度。例如，额外的重量可能增加用户的颈部疲劳。此外，额外的重量可能降低AR头戴式视图器在用户头上的稳定性，导致其滑动并降低所收集数据的质量。

在一些实施例中，单个摄像机或每个摄像机的摄像机壳体可以内置在头戴式视图器中，用于收集位置和视觉或近IR数据。头戴式视图器可以包括：在同一壳体中的两个摄像机，它们通过单个镜头收集数据。这可以减轻AR头戴式视图器的重量。减轻AR头戴式视图器的重量可以有助于提高用户的舒适度，并减少AR头戴式视图器在用户头上的滑动。

在各种实施例中，以杆附件或头戴式视图器或其他变体形式的手术导航系统设备或平台可以包括：模块1(或仅模块1，见图9)，其用于极端便携性，例如，用于要由用户在非手术室设置中执行的小干预。该配置为用户(例如，外科医生)提供导航功能。根据各种实施例，手术导航系统设备或平台被配置为仅执行导航功能。

在各种干预的情况下，也可以将模块2(见图9)包括在手术导航系统设备或平台中，以提供全息投影。在各种实施例中，用户或外科医生可以使用增强现实叠加图来实现导航功能。

例如，在用户处于手术室中并且需要大部分的多种功能来有效地执行手术的情况下，手术导航系统设备或平台可以因此被配置为包括所有模块1-6。

虽然所有或一些模块的组件可以使用传统产品、用于微型外形尺寸的制造来实现便携性，但这些组件被组合成直观的外形尺寸，使得这些高级功能能够通过一个装置实现。例如，杆附件可以由单个笔记本电脑/台式机/平板电脑/高性能系统供电。该杆由于其形状符合人体工学并且设计非常美观，并且可以被锁定/附接到AR头戴式显示器上工作。模块在所述实施例中的放置允许外科医生在手术视野中操作而无任何限制，允许器械在手术视野内自由移动。

用于图像收集和渲染的软件

作为手术导航系统的一部分，并且根据一些实施例，公开了计划和处理软件，并提供了将硬件的输入数据(诸如接收的立体摄像机数据)转换为更有用的视觉显示的解决方案，所述视觉显示将多组数据叠加在一起。此外，本文所述的软件可以远程连接到手术室中的本地视图。

在一些实施例中，手术导航系统软件包括计划软件。在进行任何程序之前，都需要计划。该计划由执行程序的外科医生制定或批准。计划软件通常需要患者的3D扫描(例如，磁共振(MR)和计算机断层扫描(CT))和/或2D扫描(例如，X射线和超声波)。

所有MR和CT扫描都可以以医学数字成像和通信(DICOM)格式为例提供，这是一种国际公认的格式。

在一些情况下，该软件可以在本地系统(例如，笔记本电脑、台式机、平板电脑)上或云上可用。

该软件可以连接到存储医学图像的PACS(图片和档案通信系统)。该软件可以查询PACS系统并下载患者3D图像。

现在用户可以选择在装置(例如，笔记本电脑、平板电脑、台式机)上查看3D扫描，所述装置可以是导航系统的一部分。用户可以使用标准图像处理工具来操作DICOM图像，例如，窗口化、缩放、平移、滚动、线条、点选择。

用户可以通过选择目标点和入口点来创建轨迹，并与在程序中协助的团队一起查看轨迹。

此外，在一些实施例中，该软件可以处理在手术室中的患者的实时成像数据，并且可以将3D和/或2D图像与患者的实时图像数据组合，并且可以准确叠加应在患者身体的适当位置背景中示出的3D和2D图像。

该计划可以保存在符合HIPAA的数据库中，所述数据库可以是装置上的本地数据库，或者也可以保存在与符合HIPAA的云上。

该计划可以从本地装置导出到被移除的存储介质，并且可以在其他手术导航计划站处使用，或可以从其他手术导航计划站上的云直接访问。保存在数据库中的计划包含重新加载用户保存的计划所需的所有数据，从而节省了在手术室内重复相同任务的时间。

公开的手术导航系统软件具有一些用于医学图像处理的高级功能，这些功能将帮助用户/外科医生进行准确和快速的计划。

图16示出了根据一些实施例的高级别的手术导航系统软件的框图。图16示出了软件系统中的数据如何在根据本文公开的各种实施例的系统的不同模块之间流动。

参见图16，在一些实施例中，软件执行配准过程，作为其处理算法的一部分。配准可以用于描述一个过程，即将同一患者的两次扫描重叠，以具有相同的坐标系(或融合)，使得两次扫描的特征重叠。采集了多个扫描，因为所使用的采集协议中的每个扫描可能不同，所使用的采集协议例如包括T1 MRI、T2 MRI、DWI MRI、CT PLAIN、CT CONTRAST、FMRI、DTIMRI等。联合配准可以是指协调要在与患者相关的一个、两个或三个或更多个公共参考点处协调的多组数据。结合如何执行手术程序的计划，然后软件可以在患者手术部位的背景中放置多组联合配准的数据。然后软件可以将处理主要指向该区域，使得在外科医生或导航系统硬件的其他用户可用的AR显示器中，用户可以通过AR显示器看到与手术部位相关的各种联合配准数据集。在联合配准过程期间，可以使用刚体标记和/或刚体手术器械标记客观地确定各种数据集的方向，然后在执行实时AR显示时可以继续依赖这些标记。

图17示出了根据各种实施例的手术导航系统软件的配准模块，其是配准过程的混合方法。这里，该软件可以从记录的2D或3D图像中访问固定图像，并将其与移动图像(诸如通过导航系统硬件查看的实时数据)组合。在软件术语中，如果存在要融合的两个患者扫描，一个通常称为固定扫描，而另一个扫描为移动扫描。移动扫描通常是向其应用算法导出的旋转和平移(或统称为转换)使得移动扫描可以与固定扫描融合的扫描。

可以对两个图像执行特征提取，以识别要从中提取的关键特征。可以执行(高保真度和低保真度两者)转换，以将所述图像转换为公共数据集。然后，软件可以对移动图像应用精细转换，以更好地将图像校准为最接近的已知固定图像。可以执行移动图像的重新采样，以找到与固定图像的最佳匹配。可以加载重新采样的图像以与固定图像进行比较，然后与固定图像混合。根据一些实施例，可以根据需要改变混合的图像的不透明度。

例如，用于配准过程的算法可以是手术导航系统所使用的自定义混合算法。例如，在两个步骤过程中，第一步骤是：粗配准方法，其允许两次扫描更接近同一坐标系。但是，在某些情况下，该方法的输出无法提供向前移动的准确结果，因为该步骤可以在一小组特征上运行，并且只有待做的粗略估计，因此所需的时间非常少。

第二步骤是：微调配准方法，即两次扫描的微调尽可能接近，使得它们共享同一坐标系，并叠加特征。该步骤可以采用两次扫描之间必须匹配的一大组特征运行。

典型的配准过程可能需要3-4分钟，然而，根据各种实施例，本文讨论的配准过程在平均计算上减少了多达60％的时间。

重新对准：在一些情况下，扫描是以所述取向获取的，并且用户希望将扫描重新对准另一个优选取向。在3D世界中，取向改变了世界被感知的方式。即使是最高级的用户，当他们从不同的角度看同一个器官/场景时，也会感到困惑。重新对准通过使用平面的概念来进行。3D扫描通过使用用户提供的参考平面来重新对准。可以采用至少三个点来定义平面。

手术导航系统重新对准可以向用户索要两个点。软件可以自动选择第三个点作为所选两个点的中点，z轴上的增量为0.1mm。如果点1由坐标p1、p2、p3表示，并且点2由坐标a1、a2、a3表示，则可以通过执行((p1+a1)/2、(p2+a2)/2、(p3+a3)/2+0.1mm)自动地选择形成平面的第三个点。这种方法可以导致高度精确的平面。

为了有效地生成增强现实叠加图，通常可以使用联合配准，使得将全息图叠加到真实场景上。图18示出了根据各种实施例的手术导航系统软件的示例性数据流和工作，以基于场景中的刚体/固定标记传递增强现实导航，以及系统如何能够同时与多个全息装置通信。

联合配准可以将两组点作为输入，第一组点包括：扫描中选择的点，并且第二组点包括：在增强模块的帮助下选择的现实世界中的点。

在选择点之后，所述系统可以采取两个步骤来叠加3D体积，其高精度接近0.1mm。

根据各种实施例，在第一步骤中，由于点是松散选择的，因此系统可以使用两组点进行粗略估计，并尽可能接近3D体积。

根据各种实施例，在第二步骤中，其可以称为细化步骤，系统从增强模块生成3D点云以及从扫描生成3D点云，并使用该点云细化联合配准，以获得高精度的叠加。

用户可以使用各种选项来控制增强叠加图。这些选项包括，例如，不透明度、剪裁大小、着色、窗口化、细化配准、AR模式。图21示出了根据各种实施例的器械(具有标记)如何用于导航的数据流和工作。

在全息模式下，扫描可以用来创建更详细的3D体积，突出显示扫描的不同部分并以不同的颜色显示。根据各种实施例，这可以帮助一些用户更清楚地看到解剖结构的不同部分。

根据各种实施例，一旦创建了平面并准确叠加3D体积，系统就可以自动加载平面并将其与3D体积叠加。

根据各种实施例，在这样做的同时，固定的3D标记通常保持在视野中，并且系统可以使用叠加图与固定标记的相对取向，使其成为固定标记的子系统。

根据各种实施例，然后，用户可以在固定标记周围移动，同时系统更新全息叠加图相对于固定标记的取向。固定标记的示例在图25和图26中示出，并将在下文重新讨论。

根据各种实施例，当用户选择好的位置来查看和执行程序时，用户可以将器械跟踪标记固定到用户想要使用的器械。例如，这些固定标记可以类似于图25或图26中示出的固定标记。

所述系统可以实时跟踪器械，并相应地更新全息叠加图。见图21。

根据各种实施例，以这种方式，用户可以更清楚地看到用户在患者体内的定位。

如果在任何时间点全息叠加图是错位的，则用户可以触发校正，并且系统迅速修复问题，并将精度恢复到接近0.1mm。

图19示出了如何使用组合算法将全息投影叠加到真实场景上的数据流和工作。例如，根据各种实施例，可以使用CPD(相关点漂移算法)和ICP(迭代最近点算法)。

图20示出了根据各种实施例的在全息模式下启用的高级可视化功能的一组示例。本公开的软件还可以配置为根据这些不同的设置来调整AR环境中的设置。

用户现在可以连接任何数量的其他AR装置，如HoloLens或MagicLeap(见图18)，并使用固定标记作为参考，采用可用的AR叠加图作为重要辅助工具继续执行程序。

图22提供了根据一些实施例的用户使用本公开的导航系统能够看到的示例性图示。这里在桌子上示出的是一个头骨，诸如外科医生的用户可以经常看到。然后，使用导航系统硬件，通过带有杆附件的显示器或通过导航系统头戴式视图器，用户可以使用先前记录的图像数据看到头骨内部可能存在的切片的叠加图像。这里，数据包括可以通过磁共振成像获得的大脑横截面和内部通道。此外，本公开的导航系统能够同时将更多成像数据集叠加在一起。例如，头骨的X射线数据也可以与MR数据叠加。与用户通常在这三个并排的不同视图中看到头部的不同视图不同，本公开的导航系统允许用户通过在它们所在的精确位置处彼此叠加来查看它们是如何平滑相关的。

图23示出了根据一些实施例的叠加在定期观察的头骨上的多组图像数据中的一组的各种程度的不透明度的示例。如图所示，可以根据需要使用本公开的软件增加或减少一组视图的清晰度。

图24提供了根据一些实施例的提供多个叠加图的导航系统的另一个示例。在本示例中，患者位于手术室中并处于高处。患者的头部靠在支架上，如左图所示。患者的其他部分被覆盖。使用本公开的导航系统的外科医生可以使用患者头骨的成像数据叠加在患者头部的实时视图上，如左图所示。此外，如右图所示，外科医生还可以将患者大脑的一部分的成像数据叠加到同一视图上。特定大脑物质的位置精确地位于患者头部内的位置，使得外科医生可以看到患者头骨的位置与患者大脑的期望部分之间的关系。正如以上软件部分所讨论的，这些不同的联合配准数据集可以首先从固定成像技术获得，如从MRI和X射线扫描获得。即使扫描是在2D切片中获得的，也可以主要执行各种3D软件成像技术，以生成2D图像数据的3D渲染。然后，图像数据的3D渲染可以在正确的位置叠加到患者的常规视图上，并且当外科医生在患者周围移动时，外科医生将能够从不同的角度查看所有数据集。

图25和图26提供了根据一些实施例的示例性固定标记，该固定标记提供通用参考点，以使多组图像数据能够叠加到患者上。在图25中，示出了具有非对称布置的四个标记的装置，所述标记可以放置在目标患者附近的恒定位置。软件可以基于参考其他图像数据集中的这四个相同点，寻找这四个点作为视觉提示，以正确定向图像。作为另一个示例，在图26中示出了可以被附接到患者或手术台的固定位置上的器械，其也具有四个点作为固定视觉提示。导航软件参考这些来校准AR图像应放置的位置。

在一些实施例中，本公开的导航软件可以依赖图像数据中和/或用户(例如，外科医生)的实时视图中的独特特征来找到固定的参考点。例如，导航软件可以将患者的眼睛或眼窝识别为相对于患者头骨的参考点。当患者的多个部分被覆盖，并且并不总能保证保持人工放置的参考标记的视图时，这类的提示可能是有用的。类似地，随着软件不断对移动的外科医生进行处理，可以改变患者身上或其附近的参考点的类型。

如图22、图23和图24的示例所示，本公开的导航系统能够实时将数字图像叠加到实时图像上，并且当观看者实时围绕对象移动时，也能将数字图像固定到实时对象的同一位置。这可以被称为融合过程，其中导航系统硬件(诸如头戴式设备或包括杆附件的移动计算机)实时执行融合过程。与图16至图21(特别是图17)中描述的软件算法一致，导航系统可以首先接收与对象相关的数字内容，诸如MR扫描或CT扫描的组合切片的3D渲染。导航系统可以执行3D融合技术，其包括将数字图像的形状与实时看到的实时对象的形状相匹配。作为示例，导航系统可以实时查看患者的头部，而导航系统可以访问患者头骨的x射线数据和患者大脑的MR数据。软件可能需要执行一个或多个转换，以根据当前查看的患者头部大小正确调整数字内容的大小。

在一些情况下，导航系统软件还可以执行一个或多个数字图像的2D融合过程。导航系统软件可以通过执行一个或多个2D图像的旋转来匹配实时对象的角度来实现这一点。然后，导航系统软件可以在实时对象上显示一个或两个3D和2D图像的叠加，并可以跟踪实时对象的观察者的角度和位置，以便在观察者在围绕对象移动时连续保持3D和2D图像的正确取向。如前面讨论的，每个期望融合的对象的唯一参考标记可以用于导航系统，以识别对象相对于其视野的当前角度和位置。这些标记的示例在图25和图26中示出。如前面提及的，本公开的导航系统可以能够将这些数字图像融合到实时对象，当观看者围绕实时对象移动时可以精确取向，精确到0.1mm的放置精度。

在一些实施例中，参考标记还包括在涉及患者医学程序的外科或医疗器械上。这可以允许导航系统结合医疗装置的移动，并使用这里描述的技术，提供医疗装置与实时对象的增强现实交互和叠加图。以这种方式，远程用户可以能够示出：医疗装置可以或应该如何与患者和患者体内的相关部件交互，即使远程用户在身体上远离患者。这些技术也可以用于从远程位置进行练习或准备。因此，或者通过为患者数据的准确副本提供实践，和/或通过提供培训他人的教学工具，本文的公开内容可以提供强大的工具来改进医学程序的准备。

虽然本说明书包含许多具体的实施细节，但这些不应被解释为对任何发明的范围或可能要求包含的内容的限制，而是对特定发明的特定实施的特征的描述。在本说明书中在单独实施方式的上下文中描述的某些特征也可以在单独的实施方式中组合实施。相反，在单独的实施方式的上下文中描述的各个特征也可以在多个单独实施方式中或以任何合适的组合实施。此外，尽管特征可以如上描述的作用在某些组合中并且甚至最初如此要求，但来自要求的组合的一个或多个特征在一些情况下可以从组合中分离，并且要求的组合可以指向子组合或子组合的变体。

类似地，虽然在附图中以特定的顺序描绘了操作，这不应该理解为要求这些操作以所示的特定顺序或按顺序执行，或要求执行所有的所示操作，来实现希望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施方式中各种系统组件的分离不应理解为在所有实施方式中都需要这种分离，并且应该理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者打包成多个软件产品。

对“或”的引用可以被解释为包含在内，使得使用“或”描述的任何术语可以表示单个、多个以及所有描述的术语中的任何一个。标签“第一”、“第二”、“第三”等并不一定是指示排序，并且通常仅用于在相似或类似的项目或元素之间进行区分。

对于本领域技术人员，对本公开中所述的实施方式的各种修改可能显而易见，并且在不偏离本公开的精神或范围的情况下，本文定义的一般原则可以应用于其他实施方式。因此，权利要求并不旨在限于本文所示的实施方式，而是与本公开、本文所公开的原理和新颖特征相一致的最广泛的范围。

除非另有明确说明，本文中使用诸如“处理”、“计算”、“运算”、“确定”、“呈现”、“显示”等词语的讨论可以指机器(例如，计算机)的操作或处理，操作或转换在一个或多个存储器(例如，易失存储器、非易失存储器或其任何合适的组合)、寄存器或接收、存储、传输或显示信息的其他机器组件内表示为物理(例如，电子、磁性或光学)量的数据。此外，除非另有明确说明，否则本文使用术语“一”或“一个”，如专利文件中常见的，可以包括一个或多个实例。最后，除非另有明确说明，否则如本文所使用的，连词“或”是指非排他性的“或”。

本公开是说明性的，而非限制性的。根据本公开，进一步的修改对本领域技术人员是显而易见的，并且旨在落在所附权利要求的范围内。

Claims (20)

1.一种增强现实装置，包括：

壳体；

深度摄像机，所述深度摄像机耦合到所述壳体，并配置为用三维组件提供图像数据；

视觉摄像机，所述视觉摄像机耦合到所述壳体，并配置为提供人类用户无法自然看到的超感官图像数据；以及

叠加图显示组件，所述叠加图显示组件配置为接收至少两组图像数据，并将所述至少两组图像数据叠加到用户的视野中的公共参考点上。

2.如权利要求1所述的增强现实装置，还包括头戴式视图器，所述头戴式视图器配置为支撑所述壳体。

3.如权利要求2所述的增强现实装置，其中，所述深度摄像机和所述视觉摄像机定位在所述头戴式视图器上，使得所述用户的视野与所述深度摄像机和所述视觉摄像机的视野一致。

4.如权利要求2所述的增强现实装置，其中，当所述用户佩戴所述头戴式视图器时，所述叠加图显示组件定位在所述用户的视野上方。

5.如权利要求1所述的增强现实装置，还包括杆附件，所述杆附件配置为附接到移动装置。

6.如权利要求5所述的增强现实装置，所述叠加图显示组件使用所述移动装置的视觉显示器。

7.一种用于手术导航的系统，所述系统包括：

第一增强现实(AR)装置，所述第一增强现实装置定位在本地地理位置；

第二增强现实装置，所述第二增强现实装置定位在远程地理位置，并与所述第一AR装置有线或无线耦合；以及

软件系统，所述软件系统耦合到所述第一AR装置和所述第二AR装置两者，并且配置为：

处理由所述第一AR装置生成的实时图像数据；

访问先前记录的固定医学图像数据；以及

使所述第二AR装置显示所述实时图像数据和叠加在所述实时图像数据上的所述固定医学图像数据。

8.如权利要求7所述的系统，其中，所述第一AR装置配置为识别所述视野中的固定参考标记，并将关于所述固定参考标记的图像数据传输到所述第二AR装置。

9.如权利要求8所述的系统，其中，所述软件系统配置为：使用关于所述固定参考标记的图像数据，将所述固定医学图像数据定向到所述实时图像数据。

10.如权利要求7所述的系统，其中，所述固定医学图像数据包括2D图像数据和3D图像数据。

11.如权利要求7所述的系统，其中，所述软件系统配置为同时显示叠加在所述实时图像数据上的所述2D图像数据和所述3D图像数据两者。

12.如权利要求7所述的系统，其中，在所述实时图像数据上叠加的2D数据和3D数据表示所述实时图像数据的对象内或内部的物理内容的一个或多个视图。

13.一种增强现实(AR)方法，其用于将对象的数字图像数据融合到所述对象的实时视图，所述方法包括：

实时访问所述对象的视图；

访问所述对象的数字图像数据，所述对象的数字图像数据先前被捕获并被存储为所述对象的一个或多个静态数字图像；以及

执行融合技术，所述融合技术使用增强现实显示屏实时将所述数字图像数据附加到所述对象的视图，使得当所述对象的视图在所述增强现实显示屏内的位置或取向改变时，所述数字图像数据保持实时附加到所述对象的视图。

14.如权利要求13所述的方法，其中，所述数字图像数据包括所述对象的3D数字图像数据。

15.如权利要求13所述的方法，其中，所述数字图像数据包括所述对象的2D数字图像数据。

16.如权利要求13所述的方法，还包括：

访问所述对象的2D数字图像数据；以及

执行3D渲染技术，以将所述2D数字图像数据转换为所述对象的3D数字图像数据；并且

其中，所述融合技术包括将所述对象的3D数字图像数据实时附加到所述对象的视图。

17.如权利要求14所述的方法，其中，所述融合技术包括将所述对象的视图的大小与所述3D数字图像数据的大小实时匹配，使得所述3D数字图像数据的大小与所述对象的大小以正确比例显示。

18.如权利要求14所述的方法，其中，所述融合技术包括将所述对象的视图的形状与所述3D数字图像数据的形状实时匹配，使得所述3D数字图像数据的形状与所述对象的形状以正确比例显示。

19.如权利要求13所述的方法，还包括实时访问所述对象的视图附近的固定参考标记，其中，所述固定参考标记提供足够的数据以提供所述对象的视图的唯一三维取向和深度，即使所述对象的视图的位置或取向发送改变。

20.如权利要求19所述的方法，其中，执行所述融合技术包括：使用所述固定参考标记，以将所述数字图像数据实时附加到所述对象的视图。

Images