CN114980832A - 用于规划和执行三维全息介入手术的系统和方法 - Google Patents

Abstract

一种用于诸如患者的经皮治疗或诊断的图像引导介入的方法(100，300)和系统(200，400)可以包括预配准方法(100)和重新配准方法(300)中的至少一个。预配准方法(100)被配置成准许在介入期间对目标组织的规划轨迹进行高效虚拟表示，例如通过增强现实系统(204，404)示出为全息光线(618)。进而，这允许操作者对准物理器械(616)，诸如用于介入的医疗探头。重新配准方法(300)被配置成对由预配准方法(100)生成的虚拟表示中的不准确性进行调整，如在介入期间由患者(201，401)的实时成像确定的不准确性。重新配准方法(300)可以采用交叉轮廓线(606)的使用来定义如通过增强现实系统(204，404)观察到的目标组织，这准许对目标组织进行无阻碍的观察以进行介入。

Description

用于规划和执行三维全息介入手术的系统和方法

相关申请的交叉引用

本申请要求于2019年12月10日提交的美国临时申请序列No.62/945,983的权益。上述申请的全部公开内容通过引用并入本文。

技术领域

本公开涉及全息增强现实应用，并且更具体地，涉及采用全息增强现实的医疗应用。

背景技术

本部分提供与本公开相关的背景信息，该背景信息不一定是现有技术。

全息增强现实技术正在医疗保健应用中得到更广泛的应用，以改善医疗手术、临床结果以及长期患者护理。这些增强现实技术还有助于例如使用特定于内容的信息来增强患者护理环境中的真实环境，以改善患者治疗效果。例如，执业者可以在执行医疗手术时在同一视场中观察附加信息，而执业者不必改变其视角，否则这可能减慢或降低手术的效率。

更具体地，在诸如微创外科(minimally invasive surgical，MIS)手术之类的医疗手术期间的图像引导介入本质上是高度三维(3D)任务。例如，实体瘤的经皮消融在肿瘤进行呼吸运动或通气时需要一个或更多个热探头的准确3D定位。然而，平面或二维(2D)显示监视器通常用于在MIS手术的标准护理中显示图像引导数据。3D全息引导和导航可以在图像引导介入期间使用一个或更多个成像模态提供改进的深度感知和空间理解，但是3D引导和导航全息图的空间配准对于相对于更具侵入性的外科手术将要被采用的这些方法来说必须更加1)准确和2)易于使用(即，操作者工作流程必须是有效和高效的)。

如在West等人的美国专利申请公布No.2018/0303563中所描述的，已知在经皮手术期间使用3D全息图像引导来追踪介入装置。3D全息图像引导可以由头戴式装置通过以下方式来提供：将追踪数据和身体图像数据转换到公共坐标系统并且创建与患者的身体相关的全息显示器，以便在非血管经皮手术期间追踪介入装置。全息显示器还可以包括图形，以在物理介入设备行进通过患者的解剖结构时为物理介入装置提供引导。

持续需要一种全息系统和方法，该全息系统和方法使得能够对3D全息引导和导航进行预配准，从而为操作者带来更少的步骤和更有效的工作流程，由此促进更多的采用该系统和方法。期望地，该系统和方法使得能够利用实时成像对从3D断层摄影数据导出的3D全息图进行手术内重新配准，以便在MIS手术期间提高探头放置的准确性和安全性。

发明内容

与本公开一致，已经出人意料地发现了一种全息系统和方法，该全息系统和方法使得能够对3D全息引导和导航进行预配准，从而为操作者带来更少的步骤和更有效的工作流程，由此促进更多地采用该系统和方法，该系统和方法使得能够利用实时成像对从3D断层摄影数据导出的3D全息图进行手术内重新配准，以便在MIS手术期间提高探头放置的准确性和安全性。

在一个实施例中，涉及预配准的用于患者的图像引导介入的系统和方法包括：在第一图像采集设备处提供诸如Microsoft

的增强现实系统的安装。增强现实系统与具有处理器和存储器的计算机通信，以及计算机可以与增强现实系统集成。最初可以将增强现实系统布置在预定存储位置处。增强现实系统具有增强现实系统坐标系，以及第一图像采集设备具有第一图像采集设备坐标系。第一图像采集设备还具有患者台和成像器，患者台用于接收患者，成像器用于当患者在患者台上时从患者采集第一全息图像数据集。

该安装还包括以下步骤：将第一光学图像目标放置在该成像器上的预定位置处。然后利用增强现实系统从第一光学图像目标采集第一光学图像目标坐标。然后，使用第一光学图像目标坐标，确定第一图像采集设备坐标系到增强现实系统坐标系的预配准转换。将预配准转换存储在计算机的存储器中，由此在安装期间执行第一图像采集设备与增强现实系统的预配准。

在增强现实系统的安装以及将第一图像采集设备与增强现实系统的预配准之后，该方法还包括以下步骤：将预配准转换应用到第一全息图像数据集。这将第一全息图像数据集从第一图像采集设备坐标系转换到增强现实系统坐标系。有利地，预配准的这种实例可以被重复地使用，并且通过消除某些配准程序来改善操作者执行图像引导介入的效率，否则当患者在台上进行图像引导介入时将需要执行某些配准程序。

在另一实施例中，涉及重新配准的用于患者的图像引导介入的系统和方法包括：在第一图像采集设备处提供诸如Microsoft

的增强现实系统的安装。增强现实系统与具有处理器和存储器的计算机通信。最初可以将增强现实系统布置在预定存储位置处。增强现实系统具有增强现实系统坐标系，以及第一图像采集设备具有第一图像采集设备坐标系。在计算机的存储器中存储初始转换，初始转换例如但不限于第一图像采集设备坐标系到增强现实系统坐标系的预配准转换。第一图像采集设备还具有患者台和成像器，患者台用于接收患者，成像器用于当患者在患者台上时从患者采集第一全息图像数据集。

该方法还包括以下步骤：在图像引导介入期间，利用第一图像采集设备和第二图像采集设备中的一个采集患者的实时全息图像数据集。然后将实时全息图像数据集与患者或第一全息图像数据集进行比较。然后，由操作者手动地或根据预定规则自动地调整第一全息图像数据集，以将第一全息图像数据集与来自患者的实时全息图像数据集对准。由此该调整提供重新配准转换。重新配准转换可以存储在计算机的存储器中。

在另外的实施例中，提供了涉及交叉轮廓的用于患者的图像引导介入的系统和方法。交叉轮廓技术可以用作如所描述的重新配准系统和方法的一部分，或者可以根据需要用于与图像引导介入相关的其他环境中。该方法包括以下步骤：在图像引导介入期间，利用第一图像采集设备采集患者的第一全息图像数据集，以及利用第二图像采集设备采集患者的第二全息图像数据集。然后，例如通过将第一全息图像数据集与第二全息图像数据集进行重叠，来将第一全息图像数据集与第二全息图像数据集进行比较。然后确定第一全息图像数据集在第二全息图像数据集上的交叉轮廓。然后可以从增强现实系统的操作者的视野中移除第一全息图像数据集中不是交叉轮廓的部分。由此仅示出经由增强现实系统第一全息图像数据集重叠在第二全息图像数据集上的交叉轮廓。

从本文提供的描述中，进一步的应用领域将变得显而易见。应当理解，所描述和具体示例仅旨在说明的目的，而不旨在限制本公开的范围。

附图说明

本文描述的附图仅用于说明所选实施例的目的，而不是所有可能的实现方式，并且不旨在限制本公开的范围。

图1是示出根据本公开的一个实施例的一种用于执行与患者的图像引导介入相关联的预配准的方法的流程图；

图2是根据本公开的一个实施例的系统的示意图，该系统被适配成用于图1的预配准方法中；

图3是根据本公开的一个实施例的并且被适配成与全息系统和方法一起使用的成像系统的透视图，该成像系统被示出为具有相关联的台的多排探测器计算机断层摄影(MDCT)扫描仪；

图4A是根据本公开的另一实施例的并且被适配成与全息系统和方法一起使用的成像系统的透视图，该成像系统被示出为C形臂血管造影透视单元(C-arm angiographyfluoroscopy unit)(锥形束CT或CBCT)，其中X射线源和探测器安装在与相关联的台相邻的C形臂设备上；

图4B是图4A中所示的成像系统的透视图，但是其中，C形臂血管造影透视单元远离台移动，以及全息光线保持在台处供操作者在轨迹规划中使用而不受C形臂血管造影透视单元的干扰；

图5是示出图3中所示的多排探测器计算机断层摄影(CT)扫描仪与图1和图2中所示的方法和系统一起使用的示意图；

图6是示出图5中所示的成像系统到全息系统的头戴式显示器的坐标系的术中预配准的方法或工作流程的流程图；

图7是示出图4A和图4B中所示的C形臂血管造影透视单元与图1和图2中所示的方法和系统一起使用的示意图；

图8是示出图4A和图4B中所示的成像系统到全息系统的头戴式显示器的坐标系的术中预配准的方法或工作流程的流程图；

图9是示出根据本公开的另一实施例的一种用于执行与患者的图像引导介入相关联的重新配准的方法的流程图；

图10是根据本公开的另一实施例的系统的示意图，该系统被适配成用于图9的重新配准方法中；

图11是示出根据本公开的各种实施例的用于治疗规划(包括3D解剖结构和相关联的器械轨迹)到头戴式显示器的坐标系的重新配准的实时成像的建模相机几何结构的示意图；

图12是示出具有黑色实线轮廓的实时成像关键结构、以及示出为虚线轮廓线的治疗规划的3D关键结构与实时图像视场(在这种情况下是平面的)之间的交叉的重新配准方法的示意图，其中，在重新配准之后，轮廓基本上一致并且规划轨迹准确地对准；

图13是示出根据本公开的另外的实施例的一种用于为与患者的图像引导介入相关联的重新配准生成交叉轮廓的方法的流程图；

图14是描绘根据本公开的另外的实施例的用于生成图13的交叉轮廓的算法的台；

图15是涉及图13的交叉轮廓的用于患者的示例性图像引导介入的示意图，该示例性图像引导介入包括：与患者的三维全息图像相比的患者的实时二维扇区图像(左)，以及将患者的三维全息图像与患者的二维扇区图像重新配准(右)；

图16是从增强现实系统的操作者的角度来看的图15中所示的示例性图像引导介入的俯视图，并且图16进一步示出了利用超声探头并将该超声探头压靠在该患者上对患者的一部分进行的超声扫描，以及与增强现实系统一起使用的偏移的第一光学图像目标；

图17是图16中所示的图像引导介入的俯视图，并且图17进一步示出了来自患者的MDCT扫描的患者的三维全息图像，该三维全息图像示出了用于介入的目标组织；

图18是图17中所示的图像引导介入的俯视图，并且图18进一步示出了与来自MDCT扫描的患者的三维全息图像重叠的来自超声扫描的实时二维扇区图像；

图19是图18中所示的图像引导介入的俯视图，并且图19进一步示出了目标组织在超声平面上的交叉轮廓的产生；以及

图20是图19中所示的图像引导介入的俯视图，并且图20进一步示出了随着超声波探头的移动，实时二维扇区图像上的交叉轮廓的形状的变化。

具体实施方式

以下对技术的描述在一个或更多个发明的主题、制造和用途的本质方面仅仅是示例性的，并不旨在限制在本申请或在如可以提交要求本申请的优先权的此类其他申请、或从其公布的专利中要求的任何具体发明的范围、应用、或用途。关于所公开的方法，除非另外公开，否则所呈现的步骤的顺序本质上是示例性的，因此，步骤的顺序在各种实施例中可以是不同的，包括可以同时执行某些步骤的情况。

I.定义

除非另外定义，否则本文使用的所有技术术语具有与本公开所属领域的普通技术人员通常理解的相同的含义。

如本文使用的，术语“一个”和“一种”表示存在“至少一个”项；如果可能，可以存在多个这样的项。除非另外明确指出，否则本说明书中的所有数字量均应理解为由词语“约”修饰，并且所有几何和空间描述符均应理解为由词语“基本上”修饰，以描述本技术的最广泛范围。当应用于数值时，“约”表示计算或测量允许值的一些轻微的不精确性(大约接近精确值；近似地或合理地接近该值；差不多)。如果由于某种原因，由“约”和/或“基本上”提供的不精确性在本领域中没有被理解为该普通含义，那么如本文使用的“约”和/或“基本上”至少表示可能由测量或使用这种参数的普通方法引起的变化。

尽管开放式术语“包括”作为诸如包含、含有、或具有之类的非限制性术语的同义词，在本文用于描述并要求保护本技术的实施例，但可以可替代地使用诸如“由……组成”或“基本上由……组成”之类的更多限制性术语来描述实施例。因此，对于列举材料、组分、或工艺步骤的任何给定的实施例，本技术还具体地包括由这样的材料、组分、或工艺步骤组成的实施例、或基本上由这样的材料、组分、或工艺步骤组成的实施例，这样的材料、组分、或工艺步骤排除了另外的材料、组分或工艺(用于由……组成)并且排除了影响实施例(基本上由……组成)的显著特性的另外的材料、组分、或工艺，即使在本申请中没有明确列举这样的另外的材料、组分、或工艺。例如，列举元件A、B和C的工艺的列举具体设想由A、B和C组成的实施例和基本上由A、B和C组成的实施例，排除可以在本领域中列举的元件D，即使元件D没有被明确地描述为在本文中被排除。

如本文提及的，除非另外指明，否则范围的公开包括端点并且包括在整个范围内的所有不同的值和进一步划分的范围。因此，例如，“从A至B”或“从约A至约B”的范围包括A和B。具体参数(如数量、重量百分比等)的值和值的范围的公开不排除本文中有用的其他值和值的范围。可以设想，对于给定参数的两个或更多个具体示例值可以定义对于参数可以要求的值的范围的端点。例如，如果参数X在本文中例示为具有值A且还例示为具有值Z，那么设想参数X可具有从约A到约Z的值的范围。类似地，设想公开用于参数的值的两个或更多个范围(无论这样的范围是嵌套的、重叠的或是不同的)包含可能使用所公开的范围的端点要求保护的用于值的范围的所有可能的组合。例如，如果参数X在本文被例示为具有在1–10、或2–9、或3–8范围内的值，还设想参数X可以具有其他值范围，包括1–9、1–8、1–3、1–2、2–10、2–8、2–3、3–10、3–9等。

当提及元件或层在另一元件或层“上”、“接合到”、“连接到”或“耦接到”另一元件或层时，元件或层可以直接在另一元件或层上、接合到、连接到或耦接到另一元件或层，或者可以存在中间元件或层。相反，当元件被提及“直接在”另一元件或层“上”、“直接接合到”、“直接连接到”或“直接耦接到”另一元件或层时，可能不存在中间元件或层。用于描述元件之间的关系的其他词语(例如，“在…之间”与“直接在…之间”、“相邻”与“直接相邻”等)应当以类似的方式解释。如本文所使用的，术语“和/或”包括一个或更多个相关列出项的任何和所有组合。

尽管术语第一、第二、第三等可在本文中用于描述各种元件、部件、区域、层和/或部分，但是这些元件、部件、区域、层和/或部分不应受这些术语限制。这些术语可仅用于将一个元件、部件、区域、层或部分与另一个元件、部件、区域、层或部分区分开。除非上下文清楚地指出，否则当在本文中使用术语如“第一”、“第二”和其他数字术语时并不暗示序列或顺序。因此，在不背离示例性实施例的教导的情况下，下面所讨论的第一元件、第一部件、第一区域、第一层或者第一部分可被称为第二元件、第二部件、第二区域、第二层或者第二部分。

为了便于描述，在本文中可使用诸如“内部”、“外部”、“在…之下”、“在…下方”、“下部”、“在…上方”、“上部”等空间相对术语来描述如图中所示的一个元件或特征与其他元件或特征的关系。空间相对术语可以旨在包括除图中所描绘的方向之外的使用或操作中的装置的不同方向。例如，如果图中的装置被翻转，则被描述为在其他元件或特征“下方”或“之下”的元件将被定向为在其他元件或特征“上方”。因此，示例术语“在…下方”可以包括在…上方和在…下方两个方向。该装置可以以其他方式定向(旋转90度或在其他方向)并且相应地解释本文所使用的空间相对描述符。

如本文所使用的，术语“经皮”是指通过皮肤制成、完成、或实现的某物。

如本文所使用，术语“经皮医疗手术”是指经由皮肤的针穿刺进入内部器官或组织，而不是通过使用(典型地用解剖刀)暴露内部器官或组织的开放方法。

如本文所使用的，术语“非血管”当与“经皮医疗手术”一起使用时是指在受试者身体的不同于经皮进入的脉管系统的任何部分上执行的医疗手术。经皮医疗手术的示例可以包括活组织检查、组织消融、冷冻治疗手术、近程放射治疗手术、血管内手术、引流手术、矫形手术、疼痛管理手术、椎体成形术手术、椎弓根/螺钉放置手术、导丝放置手术、SI关节固定手术、训练手术等。

如本文所使用的，术语“介入装置”是指在非血管经皮医疗手术期间使用的医疗器械。

如本文所使用的，术语“追踪系统”是指用于观察进行运动的一个或更多个对象并在追踪坐标系中提供追踪数据(例如，位置数据、方向数据等)的及时有序序列以供进一步处理的事物。作为示例，追踪系统可以是电磁追踪系统，当介入装置移动通过患者身体时，电磁追踪系统可以观察装备有传感器线圈的介入装置。

如本文所使用的，术语“追踪数据”是指由追踪系统记录的与一个或更多个进行运动的对象的观察有关的信息。

如本文所使用的，术语“追踪坐标系”是指3D笛卡尔坐标系，该3D笛卡尔坐标系使用一个或更多个数字来确定特定追踪系统唯一的点或其他几何元件的位置。例如，追踪坐标系可以从标准3D笛卡尔坐标系进行旋转、缩放等。

如本文所使用的，术语“头戴式装置”或“头戴式耳机”或“HMD”是指被配置为佩戴在头部上、在一只或更多只眼睛的前面具有一个或更多个显示光学器件(包括镜片)的显示设备。这些术语可以甚至更一般地由术语“增强现实系统”指代。在一些实例中，头戴式装置还可以包括非暂时性存储器和处理单元。合适的头戴式装置的示例是Microsoft

如本文所使用的，术语“成像系统”或“图像采集设备”等是指创建患者身体内部的视觉表示的技术。例如，成像系统可以是计算机断层摄影(CT)系统、透视系统、磁共振成像(MRI)系统、超声(US)系统等。

如本文所使用的，术语“坐标系”或“增强现实系统坐标系”是指3D笛卡尔坐标系，该3D笛卡尔坐标系使用一个或更多个数字来确定对于其所属的特定增强现实系统或图像采集设备唯一的点或其他几何元件的位置。例如，头戴式耳机坐标系可以从标准3D笛卡尔坐标系进行旋转、缩放等。

如本文所使用的，术语“图像数据”或“图像数据集”是指由成像系统在3D中记录的与患者身体内部的观察有关的信息。例如，例如，由根据医学中数字成像和通信(DigitalImaging and Communications in Medicine，DICOM)标准或其他相关成像标准格式化的数据表示的“图像数据”或“图像数据集”可以包括经处理的二维或三维图像或模型，诸如断层摄影图像。

如本文所使用的，术语“成像坐标系”或“图像采集设备坐标系”是指3D笛卡尔坐标系，该3D笛卡尔坐标系使用一个或更多个数字来确定对于特定成像系统唯一的点或其他几何元件的位置。例如，成像坐标系可以从标准3D笛卡尔坐标系进行旋转、缩放等。

如本文所使用的，术语“全息图”、“全息的”、“全息投影”或“全息表示”是指投影到头戴式耳机的透镜上的计算机生成图像。一般而言，可以(在增强现实(augmentedreality，AR)中)合成地生成全息图并且全息图与物理现实无关。

如本文所所使用的，术语“物理的”是指真实的事物。物理事物不是全息的(或者不是计算机生成的)。

如本文所使用的，术语“二维”或“2D”是指以两个物理维度表示的事物。

如本文所使用的，术语“三维”或“3D”是指以三个物理维度表示的事物。“4D”(例如，3D加上时间和/或运动维度)的元素将包括在三维或3D的定义中。

如本文所使用的，术语“集成的”可以指链接或协调的两个事物。例如，线圈传感器可以与介入装置集成。

如本文所使用的，术语“自由度”或“DOF”是指多个独立可变的因子。例如，追踪系统可以具有六个自由度(或6DOF)、3D点和3个旋转维度。

如本文所使用的，术语“实时”是指进行处理期间或事件发生期间的实际时间。换言之，实时事件是实时完成的(在毫秒内，使得结果可以立即用作反馈)。例如，可以在事件发生的100毫秒内表示实时事件。

如本文所使用的，术语“受试者”和“患者”可以互换地使用并且都是指任何脊椎动物生物体。

II.预配准

图1-图2示出了涉及如本文进一步描述的预配准的图像引导介入的方法100和系统200。如图2所示，方法100包括提供用于对患者201执行图像引导介入的系统200的步骤102。系统200包括在第一图像采集设备206处的增强现实系统204的安装202。作为一个非限制性示例，图像引导介入可以是经皮医疗手术。

作为非限制性示例，并且如图3和图4中进一步示出的，第一图像采集设备206可以是(图3中示出的)多探测器行计算机断层摄影(multidetector row computerizedtomography，MDCT)成像器和(图4A和图4B中示出的)C形臂血管造影透视成像器中的一个。在本公开的范围内，本领域普通技术人员还可以选择用于第一图像采集设备206的其他合适类型的成像系统。

增强现实系统204与具有处理器209和存储器211的计算机208进行通信。存储器211可以包括引导增强现实系统204描绘与患者201相邻的第一全息图像数据集的非暂时性处理器可执行指令。例如，第一全息图像数据集可以限定三维图像体积。计算机208可以被配置成从第一图像采集设备206接收外科手术介入规划。

在具体实施例中，增强现实系统204可以包括诸如微软

的立体头戴式显示系统，立体头戴式显示系统具有追踪系统(惯性测量单元)、集成CPU和全息处理单元、相机以及全息投影透镜。在本公开的范围内，本领域技术人员也可以选择其他合适类型的增强现实系统204。

最初可以将增强现实系统204布置在相对于第一成像采集设备206的预定存储位置210处。增强现实系统204可以具有增强现实系统坐标系212，以及第一图像采集设备206可以具有第一图像采集设备坐标系214。增强现实系统坐标系212不同于第一图像采集设备坐标系214。

在具体实施例中，可以通过使用具有与成像器、激光器对准的描绘坐标轴的虚线或使用固定患者台位置处的成像结果对准的虚线，来描绘第一图像采集设备坐标系214和增强现实系统坐标系212。

计算机208还被配置为例如根据本公开的预配准转换技术，针对第一全息图像数据集，将第一图像采集设备坐标系214转换为增强现实系统坐标系212。

第一图像采集设备206还具有患者台216和成像器218，患者台216用于接收患者201，成像器218用于当患者201在患者台216上时从患者201采集第一全息图像数据集。

进一步参照图1和图2，方法100还包括安装步骤101。安装步骤101可以包括将第一光学图像目标220放置在成像器218上的预定位置处的步骤104。在具体实施例中，在第一光学图像目标220的预定位置是成像器218的情况下，用于患者201的图像引导介入还可以包括将成像器218与将用于患者201的图像引导介入的介入器械的轨迹对准的步骤。

在步骤106中，然后利用增强现实系统204从第一光学图像目标220采集第一光学图像目标坐标。利用增强现实系统204从第一光学图像目标220采集第一光学图像目标坐标的步骤106可以包括：移动增强现实系统204，使得第一光学图像目标220处于增强现实系统204的视场中。

然后在步骤108中使用第一光学图像目标坐标确定预配准转换，其中，预配准转换是第一图像采集设备坐标系214到增强现实系统坐标系212的转换。作为非限制性示例，预配准转换可能涉及刚体仿射。

在步骤110中，将预配准转换存储在计算机208的存储器211中，由此执行第一图像采集设备206与增强现实系统204的预配准。应当理解，除非在系统不验证预配准的准确性或有效性的情况下，预配准可被重新用于每个后续患者并且不需要被再次执行。

在增强现实系统204的安装步骤101和将第一图像采集设备206与增强现实系统204预配准之后，方法100还包括步骤112：应用预配准转换将第一全息图像数据集从第一图像采集设备坐标系214转换到增强现实系统坐标系212。

具体地，应用预配准转换的步骤112可以在图像引导介入期间发生，这进而可以包括步骤114：当患者201在患者台216上时，将第二图像目标222放置在患者201上。然后，在步骤116中，可以利用增强现实系统204从第二图像目标222采集第二光学图像目标坐标。然后，在步骤118中，采集患者台216上的患者201的一部分的第一全息图像数据集。

然后，在步骤120中，操作者利用所采集的第一全息图像数据集，使用第一图像采集设备206(例如，使用第一图像采集设备206的硬件和软件)创建外科手术介入规划。外科手术介入规划包括在第一全息图像数据集中对目标组织的界定，例如，在从第一全息图像数据集导出的三维全息图像或模型中识别目标组织。应当理解，外科手术介入规划同样设置在第一图像采集设备坐标系214中。

然后，在步骤122中，将外科手术介入规划从第一图像采集设备206传输至增强现实系统204。在步骤122中传输外科手术介入规划后，然后在步骤124中，使用来自安装步骤101的预配准转换来将外科手术介入规划从第一图像采集设备的第一图像采集设备坐标系214转换到增强现实系统坐标系212。随后，在步骤126中，可以使用增强现实系统204生成(例如，在图4A和图4B中示出的)全息光线，以根据外科手术介入规划向操作者示出介入器械的轨迹，以用于图像引导的介入。

应当理解，在某些实施例中，诸如在多探测器行CT扫描仪的情况下，患者台216是可平移的或可移动的。在这种情况下，方法100还可以包括以下步骤中的至少一项：i)利用增强现实系统204，确定患者台216的位置并配准患者台216的位置；ii)将附加图像目标(未示出)放置在患者台216处，以及利用增强现实系统204从附加图像目标采集附加图像目标数据集，以及通过增强现实系统204基于附加图像目标数据集来确定患者台216的位置；以及iii)将患者台216的位置从患者台216上的患者台传感器(在图6中示出为“217”)传输至增强现实系统204。在本公开的范围内，还可以采用其他合适的手段来向增强现实系统204提供关于患者台216的位置的相关信息以用于创建预配准转换。

示例预配准技术：

1.概述：

参考图3和图5-图6以及图4和图7-图8，示出并解释了与上文描述的预配准技术相关联的另外的示例性实施例。为了清晰起见，与图1-图2中所示的结构相比，图3和图5-图6中的类似或相关结构在图3和图5-图6中用相同的附图标记和撇号(')再现。为了清晰起见，与图1-图2中所示的结构相比，图4A-图4B和图7-图8中的类似或相关结构在图4A-图4B和图7-图8中用相同的附图标记和撇号(')再现。

在具体实施例中，如本文进一步描述的，如图3-图8中所示，在系统200'、200”中可以规划微创外科手术介入，其中，第一图像采集设备206'、206”是断层摄影成像系统，诸如多探测器行CT(MDCT，在图3和图5-图6中示出)或C形臂血管造影透视摄影成像器(在图4A-图4B和图7-图8中示出)。系统200'、200'还可以包括头戴式显示器(HMD)形式的增强现实系统204'、204”，诸如包括具有相关联的处理器209'、209”和存储器211'、211”的计算机208'、208”的微软

系统200'、200”还可以包括与第一图像采集设备206'、206”相邻布置的HMD对接站或存储容器的形式的预定存储位置210'、210”、(在MDCT的情况下的)台位置传感器发射器217'或(在C形臂血管造影透视成像器的情况下的)用于台移动的警报模块219”、以及(仅在安装步骤101'、101”期间的)第一光学图像目标220'、220”。在操作中，患者台传感器217'或警报模块219”可以被配置为检测患者台216'、216”的位置并用于将患者台216'、216”的位置传输至增强现实系统204'、204”。

系统200'、200”还可以包括与MDCT或C形臂血管造影透视成像器相关联的计算机224'、224”。计算机224'、224”可以具有计算机显示器226'、226”和光标控制器228'、228”，光标控制器228'、228”配置为允许操作者在手术期间规划外科手术器械的轨迹。为了便于规划，如图5和图7进一步所示，系统200'、200”还可以包括规划介入器械230'、230”，该规划介入器械230'、230”被配置为准许用户创建外科手术介入规划以及将该外科手术介入规划存储在第一图像采集设备206'、206”(诸如MDCT或C形臂血管造影透视成像器)的计算机224'、224”的存储器上。在这种情况下，应当理解，外科手术介入规划可以包括：第一全息图像数据集中的目标组织的界定和表示外科手术器械到目标组织的路径的数字内容。

仅继续参考图5，第一图像采集设备206'或MDCT还可以具有器械位置和方向传输模块232'，该器械位置和方向传输模块232'被配置成将外科手术介入规划从规划介入器械230'传输到增强现实系统204'。

应当理解，本公开的介入规划具有数字(即，虚拟)内容，数字(即，虚拟)内容表示外科手术器械到目标组织或解剖结构的路径，数字(即，虚拟)内容可以由增强现实系统204'、204”在视觉上表示为表面(例如，点云或顶点)。可以例如通过选择目标组织上的3D点并在解剖图像上画出表示避开关键结构的所期望路径的线来指定数字治疗或介入规划。

具体地，规划可以以增强/扩展现实(AR)头戴式耳机(例如，也称为头戴式显示器(HMD))或具有类似能力的合适设备的形式传输至增强现实系统204'、204”。在传输之前，即在安装时，可以执行预配准，使得将规划转换到HMD的坐标。这使得规划轨迹的虚拟表示(例如作为全息光线(HLR))以及目标组织能够作为HMD(世界)坐标中的全息内容增强到真实患者上。进而，这允许操作者对准物理器械，诸如用于治疗和/或诊断的医疗探头。然后，从成像系统采集的实时成像可以用于重新配准，如下文进一步描述的，治疗规划包括从3D数据集和器械轨迹导出的数字结构，用于改进与目标的对准。

2.将3D规划数据预配准到HMD坐标中

在第一次使用增强现实系统204'、204”或第一次使用与系统200'、200”组合的HMD之前，HMD可以根据如分别关于MDCT和C形臂血管造影透视单元的具体示例在图6和图8中进一步示出的方法100'、100”，通过与系统200'、200”集成来预配准。这个步骤在安装步骤101'、101”的时候执行一次，使得介入规划可以从由第一图像采集设备206'、206”的成像自动地转换成HMD坐标，从而导致与患者201'、201”配准并增强到患者201'、201”上。更一般地，预配准方法不限于与术前或术中治疗规划一起使用，而是还可以用于配准全息导航(即具有系统200'、200”的追踪设备系统)。

应当理解，预配准方法使HMD能够将治疗规划数据从成像系统转换到HMD(世界)坐标，而无需操作者在手术期间执行配准步骤。虽然在图3和图5-图6中针对多探测器行CT(MDCT)成像系统描述了预配准方法100'，以及在图4A-图4B和图7-图8中针对C形臂血管造影透视单元描述了预配准方法100”，但是还应理解的是，方法通常适用于任何3D成像系统。

数字治疗或外科手术介入规划可以包括一个或更多个介入器械的位置和轨迹(“规划轨迹”)，该位置和轨迹(“规划轨迹”)包括点、直线路径和弯曲路径、以及将手术部位中的结构表示为从利用成像系统采集的3D数据集中导出的表面的3D坐标。

A.多探测器行CT(MDCT)实施例

对于在图3和图5-图6中示出的多探测器行CT(MDCT)实施例，第一光学图像目标220'放置在成像器218'上(诸如具有到HMD的视线的MDCT的成像系统台架)。第一光学图像目标220'用于为所有未来患者确定从成像器(MDCT)空间3D坐标到全息坐标的3D刚性仿射转换。尽管图3和图5-图6中未描绘，但应当理解，附加图像目标也可以放置在患者201'的皮肤表面附近，使得在检测到HMD时，HLR可以终止于表示经皮进入位置的皮肤表面。

如图5和图6所示，在保持静止的MDCT台架的情况下，可以利用CT台架的坐标系校准HMD，例如，[x，y]原点在孔径等中心点，z轴沿着患者台。在这种情况下，例如，如图6中所示，然后CT控制台上规划的轨迹可以被传输至HMD以在患者坐标中增强HLR。由此提供用于推进如本文描述的介入器械的引导。HMD还可以接收数据以补偿在台架显示器上报告的可移动CT台位置。

在具体实施例中，如图3和图6所示，归于CT重建图像的CT坐标的(x，y)原点可以与台架或成像器218'的等中心点有关。MDCT台架可能不具有倾斜能力，这对于近年来制造的CT是常见的。第一光学图像目标220'(诸如可以从Massachusetts(马萨诸塞州)尼德姆(Needham)的PTC公司商购的

目标或类似的合适的图像目标)可以安装在MDCT台架的精确、可重复的位置中，因此第一光学图像目标220'可以用于确定从MDCT到HMD坐标的转换。这种校准或集成在安装时执行，而不是由终端操作者针对每一种情况执行，然后由HMD存储。有利地，这使得操作者能够使用HMD以及所述预配准转换，而无需图像引导介入时的配准步骤，否则配准步骤将导致低效的工作流程。

为了由操作者使用，可以在MDCT坐标中的重建的MDCT图像上规划虚拟针或其他介入器械以及目标组织的描绘。这些3D坐标(例如，器械的起点[x，y，z]和终点[x，y，z])以及表示为表面的目标结构被转移到增强现实系统204'或HMD。MDCT台位置还可以在此时被发送到HMD。

在将虚拟器械规划在MDCT显示器上之后，然后操作者可以从预定存储位置210'(诸如存储容器)检索HMD，预定存储位置210'与可重复的“原始(home)”位置相关联。然后，HMD将MDCT到HMD的预配准转换应用于虚拟器械和目标结构坐标，以将全息介入器械或针投影在HMD(世界)坐标中，使得全息介入器械或针可以用作介入手术的引导。

B.C形臂血管造影透视单元(锥形束CT或CBCT)实施例：

对于图4A-图4B和图7-图8中所示的C形臂血管造影透视单元实施例，第一光学图像目标220”被放置在成像器218”(诸如具有到HMD的视线的C形臂的平板探测器)上。第一光学图像目标220”用于为所有未来患者确定从C形臂系统的等中心点(例如，源自平板的中心)到的HMD的全息坐标的转换。虽然在图4A-图4B以及图7-图8中未描绘，但应当理解，附加图像目标还可以放置在患者201”的皮肤表面附近，使得在检测到HMD时，HLR可以终止于表示经皮进入位置的皮肤表面。

在具体示例中，第一光学图像目标220”可以是

图像目标或类似的光学目标。第一光学图像目标220”安装在C形臂的平板探测器上的精确、可重复的位置中，用于确定从C形臂系统的等中心点(即，源自平板的中心)到增强现实系统204”或HMD坐标的转换。如参考图3和图5-图6中所示的MDCT实施例，这种校准或集成在安装时执行，而不是由终端操作者执行，且由HMD存储，例如，如图7和图8中所示。这使得操作者能够使用HMD形式的增强现实系统204”和具有用于图像引导介入的预配准的C形臂形式的第一图像采集设备206”，而不需要附加配准步骤，否则附加配准步骤将导致低效的工作流程。

在又一示例中，为了由操作者使用，光学图像目标220”可以被放置在C形臂探测器上的预定或指定位置(例如，执行校准的位置)中，以便追踪光学图像目标220”的姿态。然后，可以在C形臂血管造影透视单元的坐标系214”中的重建锥形束CT图像上规划虚拟针或其他介入器械，如图4A所示并且在图8中的步骤125”中所示。然后这些3D坐标(例如，器械的起点(x，y，z)和终点(x，y，z))可以被发送或转移到C形臂系统。然后，C形臂台架与规划轨迹对准。

应当认识到，尽管探测器的激光可以用于示出轨迹，但是C形臂的存在实际上会干扰介入师或操作者接近患者。因此，HMD还可以使用第一光学图像目标220”来定位C形臂姿态。在将平板探测器校准到HMD坐标中之后，第一光学图像目标220”可以用于定位与C形臂台架的等中心点对准的(在图4A和图4B中的任意位置中示出的)全息光线(HLR)引导234”。更具体地，该系统可以应用存储C形臂到HMD转换的存储器和虚拟器械坐标以在HMD(世界)坐标中投影全息针和/或器械和目标结构，使得HMD可以生成全息光线(HLR)引导234”，如图4A和4B所示。然后，如图4B所示，可以移开C形臂，保留HLR引导234”。有利地，移动C形臂但是保留HLR引导234”的能力为实施该手术提供足够的间隙。

关于图4A和图4B，图像追踪器目标被附接并校准至C形臂平板探测器。在将平板探测器校准到HMD坐标中之后，图像追踪器目标用于定位与(在任意位置中示出的)C形臂台架的等中心点对准的全息光线(紫色线)。然后，操作者可以提供诸如“放置'的语音命令，以在将C形臂移开之后保持HLR静止，以便为介入师或操作者提供足够的空间来定位物理介入器械。

III.重新配准

如本文进一步描述的，图9-图10示出了涉及重新配准的图像引导介入的方法300和系统400。为了清晰起见，图9-图10中用相同的附图标号但以300或400系列示出了来自图1-图2的类似或相关的步骤或结构。

在具体实施例中，涉及重新配准的方法300和系统400可以与涉及如上所述的预配准的方法100和系统200结合使用。然而，应当理解，根据需要，重新配准方法300和系统400也可以独立于本公开的预配准技术来使用。

方法300包括步骤302：提供如图10所示的用于对患者401执行图像引导介入的系统400，系统400包括在第一图像采集设备406处增强现实系统404的安装402。作为非限制性示例，第一图像采集设备406可以是多探测器行计算机断层摄影(MDCT)成像器和C形臂血管造影透视成像器中的一个。在本公开的范围内，本领域普通技术人员还可以选择用于第一图像采集设备406的其他合适类型的成像器。

增强现实系统404与具有处理器409和存储器411的计算机408通信。存储器411可以包括引导增强现实系统404描绘与患者401相邻的第一全息图像数据集的非暂时性处理器可执行指令。计算机408可以被配置成从第一图像采集设备406接收外科手术介入规划。

最初可以将增强现实系统404布置在相对于第一图像采集设备406的预定存储位置410处。增强现实系统404具有增强现实系统坐标系412，以及第一图像采集设备406具有第一图像采集设备坐标系414。增强现实系统坐标系412不同于第一图像采集设备坐标系414。

在某些示例中，计算机408还可以被配置成用于根据如上所述的预配准转换技术，针对第一全息图像数据集，将第一图像采集设备坐标系414转换为增强现实系统坐标系412。

关于本文描述的重新配准技术，计算机408可以具有存储在计算机408的存储器中的第一图像采集设备坐标系414到增强现实系统坐标系412的初始转换。例如，初始转换可以是如上所述的预配准转换；然而，本领域技术人员应当理解，初始转换可以通过其他手段提供，并且不一定是预配准转换。

第一图像采集设备406还具有患者台416和成像器418，患者台416用于接收患者401，成像器418用于当患者401在患者台416上时从患者401采集第一全息图像数据集。

进一步参考图10，系统400还包括第二图像采集设备436，第二图像采集设备436被配置成用于在图像引导介入期间采集患者401的实时全息图像。第二图像采集设备436具有成像器438和第二图像采集设备坐标系440。作为非限制性示例，第二图像采集设备436可以是超声换能器以及成像器438可以是超声换能器的探头。在本公开的范围内，本领域普通技术人员还可以选择用于第二图像采集设备436的其他合适的成像系统。

参考图9，方法300还包括步骤319：在图像引导介入期间，利用第一图像采集设备406和第二图像采集设备436中的一个采集患者401的实时全息图像数据集。例如，实时全息图像数据集可以定义二维平面扇区。然后，可以在步骤330中，(例如，通过由增强现实系统404的操作者执行的简单视觉比较)将实时全息图像数据集与患者401的位置进行比较，或者(例如，通过由系统200的计算机执行的自动或半自动过程)将实时全息图像数据集与第一全息图像数据集进行比较。然后，在步骤332中，第一全息图像数据集可以与来自患者的实时全息图像数据集对准以提供重新配准转换。然后，在步骤334中，可以将重新配准转换存储在增强现实系统404的计算机408的存储器411中。

在某些示例中，在重新配准技术之前的初始转换可以是如上文所述的预配准转换。在这种情况下，初始转换可以通过(在图1中示出的)方法100来确定，该方法100包括：i)步骤104：将第一光学图像目标420放置在第一图像采集设备406的成像器418上的预定位置处，ii)步骤106：利用增强现实系统404从第一光学图像目标420采集第一光学图像目标坐标，以及iii)步骤108：使用第一光学图像目标坐标，将初始转换确定为第一图像采集设备坐标系412到增强现实系统坐标系414的预配准转换。

重新参考图9和图10，可以在利用第二图像采集设备436采集患者401的实时全息图像数据集的步骤319中使用第二图像采集设备436，第二图像采集设备436被配置成在图像引导介入期间采集患者401的实时全息图像数据集。有利地，在第一图像采集设备406是多探测器行计算机断层摄影(MDCT)成像器和C形臂血管造影透视成像器中的一个、以及第二图像采集设备是超声换能器的情况下，用于采集实时全息图像数据集的超声换能器的采用可以有助于最小化对患者401的辐射暴露。

在第二图像采集设备436与第一图像采集设备406(诸如为MDCT或C形臂血管造影透视成像器)相同的情况下，应当理解的是，该系统还可以包括具有算法的模块，该模块用于自动地分割MDCT以便实时地形成表面、平面或扇区。出于此目的，技术人员可以根据需要选择合适的算法以用于自动地分割图像。

示例重新配准技术：

参考图9-图12，示出并解释了与上文描述的重新配准技术相关联的另外的示例性实施例。

1.重新配准以说明目标组织的移动：

如上文所描述的重新配准方法300可以用于针对患者401的运动来补偿初始配准，初始配准为诸如根据方法100的预配准。例如，该运动可以是总体运动或生理运动。在执行手术之前，重新配准方法300使用来自同一个或另一个成像系统的实时成像来更新和改进治疗规划到增强现实系统404或HMD坐标的配准。

虽然实时图像具有有限的视场(FOV)，并且3D断层摄影成像不反映呼吸运动，但是根据本公开的它们的组合可以用于提高初始配准的准确性，并且这种不准确性的校准本文通常被称为“重新配准”。实时成像可以用于更新目标组织(和从静态3D数据集导出的其他结构)和相关联的规划轨迹的转换，以便在实施治疗规划时增加准确性。

包括上文所描述的预配准方法100的空间配准方法将基于术前或术中3D数据集来转换3D空间坐标数据集，3D空间坐标数据集为诸如规划介入轨迹和解剖目标。例如，此类方法可以使用刚体仿射矩阵将3D坐标数据转换(即，旋转和平移)到HMD(或世界)坐标。相比之下，诸如CT、透视、或超声检查技术等实时成像可以反映运动和变形，但可能具有有限的视场(例如，如图11中所示的单个平面或投影)。

重新配准方法300不限于与预配准方法一起使用，或更一般地不限于与介入治疗规划一起使用。重新配准方法300可以用于更新在实时成像与(包括模态间和模态中组合的)静态3D成像数据之间(例如，实时超声检查(两个空间维度和时间)与分割的3D(三个空间维度)多探测器行CT数据之间)的任何初始或初步配准(诸如手动或基准标记方法)。

如图11所示，还可以对与第二图像采集设备436的实时成像系统成像器或换能器相关联的相机几何结构进行建模。例如，该建模可以包括用于CT透视的模态中护理(以及超声检查的模态间情况)的平面或扇区。同样地，对于透视的情况，建模可以包括投影平截头体。此外，对于内窥镜检查的情况，建模可以包括相机平截头体。

2.术中初始配准或预配准：

参考图9和图10，应当理解的是，可以使用上文描述的刚体预配准方法100执行规划轨迹和界定的和/或分割的解剖结构到增强现实系统404或HMD(世界坐标)的初始配准。对于初始配准，或者内在的例如，在CT透视的模态情况下，或者外在的例如，在超声检查的情况下，相机几何结构也被配准至HMD坐标。然后，治疗规划和全息实时图像都被定位在HMD坐标中并且存储在增强现实系统404上。

3.细化关键结构3D数据集到实时成像的初始配准：

对于平面或扇区视场(诸如2D超声检查和MDCT透视)的情况，可以确定分割的目标组织和实时相机视场的交叉点，如本文进一步参考图13-图20所示的示例更具体地描述的。

然而，通常，如图12所示，在重新配准中，可以在增强现实系统404的实时相机图像上示出一个或更多个轮廓。在图12中，以虚线示出交叉点，其中诸如目标组织的关键结构或其他关键结构以实线示出。

根据图9的步骤330以及相关联的图10-图12，可以在交叉轮廓与结构的实时成像之间进行比较，例如，如图12的左侧所示的。在半自动的方法中，比较可以由增强现实系统404的操作者可视化地执行。这可以在通气期间在呼吸保持或呼吸暂停时进行，例如，其中患者401的移动可以被最小化。然后，更新3D数据集中的关键结构的转换，使得轮廓与实时成像的结构对准或一致，例如，如图12的右侧进一步所示的。

对于相机的投影视场(例如，透视或内窥镜检查)的情况，方法300的步骤330下的比较还可以根据操作者的需要：a)在关键结构的共同投影中进行，或b)在视场界定线的交叉处进行，或c)在关键标志的投影线处进行。

然后可以通过根据方法300的步骤332调整关键结构的3D表示(例如，全息)来手动地确定重新配准转换。作为非限制性示例，可以使用解剖全息图上的手柄或手势来执行该调整。转换也可以自动地或半自动地调整。一种自动方法可以包括通过计算机对3D转换(Tx，Ty，Tz)和旋转(Rx，Ry，Rz)进行增量式调整，并且评估配准优值(例如，在每个增量处所成像的边缘轮廓和所成像的交叉轮廓的布尔交叉)。可在每次迭代上选择增量式调整，这导致优值的改善，直到满足优化准则。然后在增强现实系统404上更新交叉点和轮廓。

在执行重新配准之后，治疗规划的实时成像关键结构和3D关键结构的轮廓可以基本上全等，这指示规划轨迹被准确地对准。根据需要，也可采用其他合适的用于手动地、半手动地或自动地调整第一全息图像数据集以与来自患者的实时全息图像数据集对齐以提供重新配准转换的手段。

更一般地，并且如上文所阐述的，重新配准方法300可以用于其他初步配准方法(即，重新配准不限于与预配准一起使用)。例如，治疗规划(例如，探头轨迹和刚性解剖全息图)与HMD显示坐标的初始配准可以基于基准标记方法，而不是如上文所述的预配准方法。

4.交叉轮廓：

如上文所阐述的，应当理解的是，重新配准方法300可以采用交叉轮廓的使用，通过使用初始转换将来自患者的第一全息图像数据集与图像引导介入期间的患者的实时全息图像数据集进行比较而获得该交叉轮廓。然而，应当理解，交叉轮廓技术也可以具有除了仅仅重新配准方法以外的应用。例如，用于为重新配准或其他应用生成如图13-图20所示的交叉轮廓的某些示例在下文进一步描述。

图13示出了涉及使用交叉轮廓进行重新配准的图像引导介入的方法500，如本文进一步描述的。为了清晰起见，图13中以相同标记但500系列示出了图1、图6、图8和图9中的类似或相关步骤。

具体地，用于患者201、401的图像引导介入的方法500可以包括：利用第一图像采集设备206、406采集患者201、401的第一全息图像数据集的步骤518，以及在图像引导介入期间利用第二图像采集设备436采集患者201、401的第二全息图像数据集的步骤519两者。在具体实施例中，第二全息图像数据集可以是实时全息图像，并且在更具体的实施例中，第一全息图像数据集是三维图像以及第二全息图像数据集是二维平面扇区图像，这两者都可以经由增强现实系统204、404示出给操作者。

然后，在步骤530中，将第一全息图像数据集与第二全息图像数据集进行比较。例如，比较可以包括例如，如图12和图14所示的将第一全息图像数据集与第二全息图像数据集重叠。

在步骤531中，可以确定第一全息图像数据集在第二全息图像数据集上的交叉轮廓。例如，交叉轮廓可以由第一全息图像数据集的三维图像与实时全息图像的二维平面扇区的交叉点限定。应当理解，一系列交叉点可以限定交叉轮廓的边界线。在某些示例中，第一图像采集设备206、406是多探测器行计算机断层摄影(MDCT)成像器和C形臂血管造影透视成像器中的一个，以及第二图像采集设备436是超声换能器。

更具体地，确定第一全息图像数据集在第二全息图像数据集上的交叉轮廓的步骤531可以包括：从操作者的视野计算第一全息图像数据集中不是交叉轮廓的部分。在这种情况下，交叉轮廓可以是保留在立体投影中的顶点或网格元素，其中，距离值小于由操作者预设或预定的阈值(λ)。应当理解，阈值(λ)可以限定交叉轮廓相对于二维平面扇区的尺寸。

在图14中所示的算法中还进一步描述了阈值(λ)及阈值(λ)在限定交叉轮廓的尺寸中的使用。阈值(λ)被选择成足够大，以使交叉轮廓与增强现实系统204、404一起被可视地看到，而不大到使得不期望地阻碍操作者对患者和/或目标组织的观察。阈值(λ)还可以是负(-)值或正(+)值或两者，因为根据需要，交叉轮廓的尺寸可以在二维平面扇区的任一侧延伸。应当认识到，在某些示例中，阈值(λ)具有在0.1mm与约2mm之间的值、并且最具体地约1mm的值。然而，在本公开的范围内，本领域普通技术人员可以选择用于阈值(λ)的其他合适的值。

步骤531进一步包括：由计算机208、408从增强现实系统204、404的操作者的视场中移除第一全息图像数据集中不是交叉轮廓的部分的步骤。在该示例中，操作者仅示出第一全息图像数据集的交叉轮廓重叠在第二全息图像数据集上。应当理解，阈值(λ)可以是预定的或可以由操作者调整，以便示出交叉轮廓的期望尺寸。期望尺寸可以是不会不利地阻碍操作者观察患者的尺寸。根据需要，还可以采用其他合适的手段来根据第一全息图像数据集与第二全息图像数据集的比较来确定交叉轮廓。

在步骤531之后，方法500可以包括：将第一全息图像数据集与交叉轮廓对准，由此执行重新配准转换的进一步步骤532，如上文描述的方法300中阐述的。同样地，如也在重新配准方法300中所阐述的，可以存储使用交叉轮廓执行的重新配准转换，以进一步用于图像引导介入。

5.具有交叉轮廓的图像引导介入的示例：

图15-图20进一步示出了由操作者601针对患者201、401并且利用交叉轮廓技术的介入600的示例性实施例。在图15中，介入600被示出为包括与患者201、401的实时二维扇区图像604相比的患者201的三维全息图像602。作为非限制性示例，可以从第一全息图像数据集获得患者201、401的三维全息图像602，转而从第一图像采集设备206、406(诸如多探测器行计算机断层摄影(MDCT)成像器或C形臂血管造影透视成像器)采集该第一全息图像数据集。类似地，可以从第二全息图像数据集获得患者201、401的实时二维扇区图像604，转而从第二图像采集设备436(诸如超声换能器)采集该第二全息图像数据集。

如图15所示，在最初生成交叉轮廓线606的情况下，交叉轮廓线606可以最初从实时图像偏移(在图15中右侧示出)。作为一个非限制性示例，为了对可能由患者移动引起的这种不准确性进行调整，如本文所描述的可以将通过增强现实系统观察到的患者201、401的三维全息图像602的位置进行调整。

在一个示例中，患者201、401的实时二维扇区图像604可以进一步配备有控制器608，其中操作者601可以与控制器608交互以便手动地引起患者201、401的三维全息图像602相对于实时二维扇区图像604的移动。该移动可以由操作者引起，直到患者201、401的三维全息图像602与交叉轮廓线606基本上对准或一致(在图15中左侧示出)。如上文进一步描述的，根据需要，还可以采用半自动或全自动调整来代替手动调整方法。

更具体地，如图16所示，操作者601可以通过将至少一个光学图像目标610放置在患者201、401附近来开始介入600，或者在这种情况下在患者201、401的一部分(诸如患者201、401的乳房612)上进行介入600。操作者601可以进一步佩戴本公开的头戴式装置形式的增强现实系统204、404，并且通过增强现实系统204、404观察患者201、401。

具体地，图16示出了在患者的乳房612的超声扫描期间操作者601的视图，其中，超声探头614被压靠在患者201、401的乳房612上。可在超声探头614上使用另一图像目标(未示出)，另一图像目标可用于确定从追踪超声探头614到患者201、401的三维全息图像602的转换。

增强现实系统204、404还准许物理介入装置616和相关联的全息光线618的视图，以用于介入600。至少一个光学图像目标610在图16中被进一步示出为在从乳房612偏移的位置中，以及例如由于实施如上所述的预配准和/或重新配准方法而准许利用介入600来采用增强现实系统。

对于介入600，如图17中所示，然后操作者601可以利用增强现实系统204、404来选择以观察患者的三维全息图像602。例如，三维全息图像602示出了介入600的目标组织以及周围脉管系统。

进一步支持介入600，以及如图18中所示，然后操作者601可以利用增强现实系统204、404来选择以观察患者的实时二维扇区图像604。在这种情况下，来自超声扫描的实时二维扇区图像604可以与来自CT扫描的患者的三维全息图像602重叠。在这种情况下，三维全息和实时二维扇区图像602、604两者还可以被提供为半透明的，以便准许操作者601也可以观察患者的乳房612以进行介入600。

应当理解，如图19所示，然后操作者601可以使增强现实系统204、404在实时二维扇区图像604(即，通过增强现实系统204、404可视化的全息超声平面)上生成目标组织的交叉轮廓线606。如图20所示，交叉轮廓线606也将随着超声探头614的移动而改变，使得超声探头614抵靠患者的乳房612的强有力的按压可以在通过目标组织的平面处示出交叉轮廓线606，该平面不同于超声探头614抵靠患者的乳房612的较柔和按压的情况下示出的通过目标组织的平面。

有利地，本公开的方法100和相关联的系统200能够对3D全息引导和导航进行预配准，从而为操作者带来更少的步骤和更有效的工作流程。相信方法100和系统200的效率将促进更多的采用方法100和系统200。同样地，相信本公开的方法300和系统400在介入手术期间提高了探头放置的准确性和安全性，方法300和系统400使得能够利用实时成像对从3D断层摄影数据中导出的3D全息图进行术中重新配准，包括通过使用交叉轮廓技术进行重新配准。

提供示例实施例以使得本公开将是彻底的，并且将向本领域技术人员充分传达范围。阐述了诸如具体部件、装置和方法的示例的许多具体细节，以提供对本公开的实施例的透彻理解。对于本领域技术人员将显而易见的是，不需要采用具体细节，示例性实施例可以以许多不同的形式体现，并且不应被解释为限制本公开的范围。在一些示例性实施例中，不详细描述众所周知的过程、众所周知的装置结构和众所周知的技术。可以在本技术的范围内进行具有基本相似的结果的一些实施例、材料、组合物和方法的等效变化、修改和变型。

Claims (26)

1.一种用于患者的图像引导介入的方法，所述方法包括以下步骤：

在第一图像采集设备处提供增强现实系统的安装，所述增强现实系统与具有处理器和存储器的计算机通信，以及所述增强现实系统具有增强现实系统坐标系以及所述第一图像采集设备具有第一图像采集设备坐标系，所述第一图像采集设备还具有患者台和成像器，所述患者台用于接收所述患者，所述成像器用于当所述患者在所述患者台上时从所述患者采集第一全息图像数据集，以及

所述安装还包括以下步骤：

将第一光学图像目标放置在所述成像器上的预定位置处；

利用所述增强现实系统，从所述第一光学图像目标采集第一光学图像目标坐标；

使用所述第一光学图像目标坐标，确定所述第一图像采集设备坐标系到所述增强现实系统坐标系的预配准转换；以及

将所述预配准转换存储在所述计算机的存储器中，由此执行所述第一图像采集设备与所述增强现实系统的预配准；以及

在所述增强现实系统的安装和将所述第一图像采集设备与所述增强现实系统预配准之后，应用所述预配准转换将所述第一全息图像数据集从所述第一图像采集设备坐标系转换到所述增强现实系统坐标系。

2.根据权利要求1所述的方法，其中，利用所述增强现实系统从所述第一光学图像目标采集所述第一光学图像目标坐标的步骤包括：移动所述增强现实系统，使得所述第一光学图像目标在所述增强现实系统的视场中。

3.根据权利要求2所述的方法，其中，应用所述预配准转换的步骤发生在所述图像引导介入期间，所述图像引导介入还包括以下步骤：

当所述患者在所述患者台上时，将第二图像目标放置在所述患者上；

利用所述增强现实系统，从所述第二图像目标采集第二光学图像目标坐标；

采集所述患者台上的患者的一部分的第一全息图像数据集；

使用所述第一图像采集设备创建外科手术介入规划，所述外科手术介入规划包括在所述第一全息图像数据集中对目标组织的界定，所述外科手术介入规划设置在所述第一图像采集设备坐标系中；

将所述外科手术介入规划从所述第一图像采集设备传输到所述增强现实系统；

使用来自所述安装的预配准转换，将所述外科手术介入规划从所述第一图像采集设备的第一图像采集设备坐标系转换到所述增强现实系统坐标系；以及

在所述增强现实系统上生成全息光线，以根据所述外科手术介入规划向操作者示出器械的轨迹。

4.根据权利要求3所述的方法，其中，所述患者台是能够平移的，且所述方法还包括以下中的至少一项：

利用所述增强现实系统，确定并配准所述患者台的位置；

将附加图像目标放置在所述患者台处，利用所述增强现实系统从所述附加图像目标采集附加图像目标数据集，以及通过所述增强现实系统基于所述附加图像目标数据集来确定所述患者台的位置；以及

将所述患者台的位置从所述患者台上的患者台传感器传输至所述增强现实系统。

5.根据权利要求3所述的方法，还包括重新配准以补偿所述预配准转换的不准确性。

6.根据权利要求5所述的方法，其中，所述重新配准包括以下步骤：

在所述图像引导介入期间，利用所述第一图像采集设备和第二图像采集设备中的一个采集所述患者的实时全息图像数据集；

将所述实时全息图像数据集与所述患者或所述第一全息图像数据集进行比较；以及

调整所述第一全息图像数据集以与来自所述患者的所述实时全息图像数据集对准。

7.根据权利要求6所述的方法，其中，所述第一全息图像数据集限定三维图像体积，以及所述实时全息图像数据集限定二维平面扇区。

8.根据权利要求7所述的方法，其中，所述第一全息图像数据集的一部分是由所述第一全息图像数据集的所述三维图像体积与所述实时全息图像数据集的所述二维平面扇区的交叉点限定的交叉轮廓。

9.根据权利要求8所述的方法，其中，所述第一图像采集设备是多探测器行计算机断层摄影(MDCT)成像器和C形臂血管造影透视成像器中的一个，以及所述第二图像采集设备是超声换能器。

10.一种用于患者的图像引导介入的系统，包括：

在第一图像采集设备处安装的增强现实系统，所述增强现实系统与具有处理器和存储器的计算机通信，以及所述增强现实系统具有增强现实系统坐标系以及所述第一图像采集设备具有第一图像采集设备坐标系，所述第一图像采集设备还具有患者台和成像器，所述患者台用于接收所述患者，所述成像器用于当所述患者在所述患者台上时从所述患者采集第一全息图像数据集，

其中，在所述计算机的存储器中存储预配准转换，所述预配准转换通过以下步骤确定：

将第一光学图像目标放置在所述成像器上的预定位置处；

利用所述增强现实系统，从所述第一光学图像目标采集第一光学图像目标坐标；以及

使用所述第一光学图像目标坐标，确定所述第一图像采集设备坐标系到所述增强现实系统坐标系的预配准转换。

11.一种用于患者的图像引导介入的方法，所述方法包括以下步骤：

在第一图像采集设备处提供增强现实系统的安装，所述增强现实系统与具有处理器和存储器的计算机通信，以及所述增强现实系统具有增强现实系统坐标系以及所述第一图像采集设备具有第一图像采集设备坐标系，所述第一图像采集设备坐标系到所述增强现实系统坐标系的初始转换存储在所述计算机的存储器中，所述第一图像采集设备还具有患者台和成像器，所述患者台用于接收患者，所述成像器用于当所述患者在所述患者台上时从所述患者采集第一全息图像数据集，

在所述图像引导介入期间，利用所述第一图像采集设备和第二图像采集设备中的一个采集所述患者的实时全息图像数据集；

将所述实时全息图像数据集与所述患者或所述第一全息图像数据集进行比较；

调整所述第一全息图像数据集以与来自所述患者的所述实时全息图像数据集对准，以提供重新配准转换；以及

将所述重新配准转换存储在所述计算机的存储器中。

12.根据权利要求11所述的方法，其中，所述初始转换是通过以下步骤确定的预配准转换：

将第一光学图像目标放置在所述成像器上的预定位置处；

利用所述增强现实系统，从所述第一光学图像目标采集第一光学图像目标坐标；以及

使用所述第一光学图像目标坐标，确定所述第一图像采集设备坐标系到所述增强现实系统坐标系的预配准转换。

13.根据权利要求11所述的方法，还包括以下步骤：提供所述第二图像采集设备，所述第二图像采集设备被配置成在所述图像引导介入期间采集所述患者的所述实时全息图像数据集；以及利用所述第二图像采集设备采集所述患者的所述实时全息图像数据集。

14.根据权利要求13所述的方法，其中，所述第一全息图像数据集是三维图像，以及所述实时全息图像数据集是二维平面扇区。

15.根据权利要求14所述的方法，其中，所述第一全息图像数据集的一部分是交叉轮廓，所述交叉轮廓由所述第一全息图像数据集的所述三维图像与所述实时全息图像数据集的所述二维平面扇区的交叉点限定。

16.根据权利要求15所述的方法，其中，所述第一图像采集设备是多探测器行计算机断层摄影(MDCT)成像器和C形臂血管造影透视成像器中的一个，以及所述第二图像采集设备是超声换能器。

17.一种用于患者的图像引导介入的系统，包括：

在第一图像采集设备处安装的增强现实系统，所述增强现实系统与具有处理器和存储器的计算机通信，以及所述增强现实系统具有增强现实系统坐标系以及所述第一图像采集设备具有第一图像采集设备坐标系，所述第一图像采集设备坐标系到所述增强现实系统坐标系的初始转换存储在所述计算机的存储器中，所述第一图像采集设备还具有患者台和成像器，所述患者台用于接收所述患者，所述成像器用于当所述患者在所述患者台上时从所述患者采集第一全息图像数据集，

其中，在所述计算机的存储器中存储重新配准转换，所述重新配准转换通过以下步骤确定：

在所述图像引导介入期间，利用所述第一图像采集设备和第二图像采集设备中的一个采集所述患者的实时全息图像数据集；

将所述实时全息图像数据集与所述患者或所述第一全息图像数据集进行比较；以及

调整所述第一全息图像数据集以与来自所述患者的所述实时全息图像数据集对准，以提供所述重新配准转换。

18.一种用于患者的图像引导介入的方法，所述方法包括以下步骤：

利用第一图像采集设备采集所述患者的第一全息图像数据集；

在所述图像引导介入期间，利用第二图像采集设备采集所述患者的第二全息图像数据集；

通过将所述第一全息图像数据集与所述第二全息图像数据集进行重叠，来将所述第一全息图像数据集与所述第二全息图像数据集进行比较；

确定所述第一全息图像数据集在所述第二全息图像数据集上的交叉轮廓；以及

从增强现实系统的操作者的视野中移除所述第一全息图像数据集中不是所述交叉轮廓的部分，从而仅示出所述第一全息图像数据集重叠在所述第二全息图像数据集上的所述交叉轮廓。

19.根据权利要求18所述的方法，其中，所述第二全息图像数据集是实时全息图像。

20.根据权利要求19所述的方法，其中，所述第一全息图像数据集是三维图像，以及所述第二全息图像数据集是二维平面扇区。

21.根据权利要求20所述的方法，其中，所述交叉轮廓由所述第一全息图像数据集的所述三维图像与所述实时全息图像的所述二维平面扇区的交叉点限定。

22.根据权利要求21所述的方法，其中，在所述第二全息图像数据集上确定所述第一全息图像数据集的所述交叉轮廓的步骤包括：从所述操作者的视野确定所述第一全息图像数据集中不是所述交叉轮廓的部分，所述交叉轮廓是在立体投影中保留的顶点或网格元素，其中，距离值小于由所述操作者预设的阈值(λ)，所述阈值限定所述交叉轮廓相对于所述二维平面扇区的尺寸。

23.根据权利要求22所述的方法，还包括以下步骤：由所述操作者调整所述阈值(λ)，以便示出所述交叉轮廓而不会不利地阻碍所述操作者观察所述患者。

24.根据权利要求23所述的方法，其中，所述第一图像采集设备是多探测器行计算机断层摄影(MDCT)成像器和C形臂血管造影透视成像器中的一个，以及所述第二图像采集设备是超声换能器。

25.根据权利要求18所述的方法，还包括以下步骤：

在所述第一图像采集设备处提供增强现实系统的安装，所述增强现实系统与具有处理器和存储器的计算机通信，以及所述增强现实系统具有增强现实系统坐标系以及所述第一图像采集设备具有第一图像采集设备坐标系，所述第一图像采集设备坐标系到所述增强现实系统坐标系的初始转换存储在所述计算机的存储器中，所述第一图像采集设备还具有患者台和成像器，所述患者台用于接收所述患者，所述成像器用于当所述患者在所述患者台上时从所述患者采集所述第一全息图像数据集；以及

提供所述第二图像采集设备，所述第二图像采集设备包括用于从所述患者采集所述第二全息图像数据集的成像器。

26.一种用于患者的图像引导介入的系统，包括：

在第一图像采集设备处安装的增强现实系统，所述增强现实系统与具有处理器和存储器的计算机通信，以及所述增强现实系统具有增强现实系统坐标系以及所述第一图像采集设备具有第一图像采集设备坐标系，所述第一图像采集设备坐标系到所述增强现实系统坐标系的初始转换存储在所述计算机的存储器中，所述第一图像采集设备还具有患者台和成像器，所述患者台用于接收所述患者，所述成像器用于当所述患者在所述患者台上时从所述患者采集第一全息图像数据集；以及

第二图像采集设备，所述第二图像采集设备包括用于从所述患者采集第二全息图像数据集的成像器，

其中，在所述增强现实系统上示出交叉轮廓，所述交叉轮廓通过以下步骤确定：

利用所述第一图像采集设备采集所述患者的所述第一全息图像数据集；

在所述图像引导介入期间，利用所述第二图像采集设备采集所述患者的所述第二全息图像数据集；

通过将所述第一全息图像数据集与所述第二全息图像数据集进行重叠，来将所述第一全息图像数据集与所述第二全息图像数据集进行比较；

确定所述第一全息图像数据集在所述第二全息图像数据集上的交叉轮廓；以及

从所述增强现实系统的操作者的视野中移除所述第一全息图像数据集中不是所述交叉轮廓的部分，从而仅示出所述第一全息图像数据集重叠在所述第二全息图像数据集上的所述交叉轮廓。

Images