CN111491584A - 用于优化介入心脏病学工具的定向接近和治疗递送的增强现实解决方案 - Google Patents

Abstract

一种用于加强外科手术进程的方法，包括：基于患者的器官的术前图像数据来提供患者的患者器官的三维模型；基于对患者的患者器官的三维模型的分析，来标识与相对于患者的辅助目标解剖结构的第二位置的患者的至少一个目标医治解剖结构的第一位置对应的定位数据；基于标识的定位数据来选择穿刺位置；以及由增强现实设备经由增强现实显示系统来显示覆盖真实世界环境的虚拟器官对象，该虚拟器官对象与三维模型对应并且视觉地指示所选择的穿刺位置。

Description

用于优化介入心脏病学工具的定向接近和治疗递送的增强现 实解决方案

技术领域

本发明涉及用于优化介入心脏病学工具的定向接近(approach)和治疗递送的增强现实解决方案的方法和系统。

背景技术

许多心脏手术进程(procedure)通常在心脏的左心房中被执行，而左心房通常不易进入。为了医治左心房，设备可经由患者的股静脉进入患者的循环系统。设备随后可被推进通过股静脉至心脏的右心房。一旦在右心房中，通常在经中隔(transseptal)壁中创建经中隔穿刺，以获得至心脏的左侧以及相关联的脉管系统的入口。

尽管通常执行的是经中隔穿刺，但是可能发生危及生命的并发症，诸如心包填塞、主动脉穿孔和全身性栓塞。这些病发中的许多都是动脉壁的非预期穿刺的结果。例如，心脏的搏动、心肌的滑度、以及隔膜的厚度的不规则性均可促成在操控穿刺设备、导管或其他设备时的困难以及促成在不导致损伤的情况下准确地穿刺隔膜中的困难。

此外，当进行医治手术进程时，隔膜穿刺的位置可显著地影响手术进程复杂性，这些医治手术进程例如冷冻消融、肺静脉阻塞、左心耳(LAA)封闭、经导管二尖瓣植入(TMVI)、经主动脉瓣植入(TAVI)等。由于要尝试将导管球囊同心地定位至一个或多个肺静脉，尤其是右下肺静脉(RIPV)所需的极端操作，导管的机械鲁棒性(robustness)被示出受到了影响，导致引导线腔扭结，并且也可导致内球囊粘合物(bond)的泄漏。此类未能实现最佳穿刺位置的情况可能会对医师有效地操控此类心内医疗设备的能力带来负面影响，并且因此可能会对患者的安全和手术进程的疗效带来负面影响。

为了定位隔膜壁要被穿刺的精确区域，医师可使用一个或多个医疗上已知的成像技术，诸如，例如荧光检查、内窥镜检查、或超声可视化，以用于标识形成隔膜的各种解剖边界。然而，用于在隔膜壁中定位最佳穿刺部位的现有技术具有缺陷。

例如，穿刺针的尖端的定位可由外科医生使用围绕隔膜的各种解剖标记检测到。具体而言，在健康患者中，隔膜相较于卵圆窝而言更厚，这提供了不精确但是潜在重要的生理标志。然而，在患有心房异常(例如心房扩张)的患者中，或由于既往外科手术的结果，诸如卵圆窝之类的传统标志可能变化，这使得定位变得困难并且增加了对患者造成伤害的风险。

血管造影技术已被设计以用于帮助定位穿刺部位。例如，经食道和经胸腔超声心动描记术、血管内超声和心内超声心动描记术均已被采用作为确定最佳经中隔穿刺部位的方式。然而，经胸腔超声可能无法准确地定位卵圆窝的薄壁，并且在维持患者舒适和无菌性二者上呈现出困难，由此经常导致给定手术进程的成本增加。经食管超声心动描记术也在一些情况下呈现出若干劣势，诸如与患者有限的通信(由镇静导致)、食管出血的风险、更长的手术进程时间、额外的成本以及卵圆窝的不准确标识。此外，心内超声心动描记术十分昂贵，并且极大地增加了手术进程的总体时间。同样，荧光检查成像技术需要使用X光，而X光已知对患者有害，并且需要医师穿上沉重的铅防护服，这使得医师在手术进程期间身体活动受到限制，并且随着时间可能导致医师出现工效学并发症。

现有医疗成像技术的另一问题在于它们通常涉及传统监视器(例如，桌面监视器)。即，在手术进程期间，医师需要将视线从手术台向上看，以便于查看监视器上的图像。这样做需要医师将视线从患者身上移开，并且可由于医师不断地改变他/她的视场和关注点而导致手术进程中的不准确性。一些医师可能会选择放弃使用传统监视器，或者不会像他们希望的那样频繁地查看监视器上的信息，以便于避免在手术进程期间不断地将视线从患者身上移开。

增强现实设备将计算生成的信息与用户的物理世界(即，真实世界)的视图混合。即，增强现实设备将计算机显示的信息增强至用户的真实世界环境的视图，以便于使用计算机显示的信息加强用户在物理世界内的态势感知。然而，现有的增强现实设备在使用上十分受限，并且已主要限于个人使用，而不是用于医疗成像和手术进程。

相应地，鉴于上述限制，提供用于通过使用增强现实设备以改进医疗成像、术前计划、以及术中反馈技术来加强心脏手术进程的疗效和安全性的系统、设备和方法将是可期望的。

发明内容

本发明有利地提供了用于加强外科手术进程(surgical procedure)的方法和系统。具体而言，本发明的一个方面包括：基于患者的心脏的图像数据提供该患者的心脏的三维模型。基于对患者的心脏的三维模型的分析，标识与相对于患者的辅助目标解剖结构的第二位置的该患者的至少一个目标医治解剖结构的第一位置对应的定位数据。基于患者的至少一个目标医治解剖结构相对于该患者的辅助目标解剖结构的第二位置的标识的定位数据，选择穿刺位置。具有增强现实显示系统的增强现实设备经由增强现实显示系统显示覆盖真实世界环境的虚拟器官对象，该虚拟器官对象对应于患者的心脏的三维模型并且视觉地指示所选择的穿刺位置。虚拟器官对象和真实世界环境的至少一部分中的每一者是由增强现实设备的用户经由增强现实显示系统同时地可查看的。

在该方面，本发明的实施例包括：真实世界环境和虚拟器官对象是经由增强现实显示系统在用户的单个视场内同时地能查看的。定位数据与医疗设备从辅助目标解剖结构到至少一个目标医治解剖结构的计算机生成的轨迹相关联；并且该医疗设备包括导管和左心耳封闭中的一个。该方法可进一步包括：标识第一候选穿刺位置和第二候选穿刺位置；确定从第一候选穿刺位置到至少一个目标医治解剖结构的第一轨迹以及从第二候选穿刺位置到至少一个目标医治解剖结构的第二轨迹；基于和第一轨迹相关联的至少第一值与和第二轨迹相关联的至少第二值的比较，选择穿刺位置；以及在显示步骤中显示的虚拟器官对象上一同视觉地指示第一轨迹和第二轨迹中与所选择的穿刺位置相关联的的一个轨迹以及所选择的穿刺位置的视觉指示。此外，被比较的第一轨迹的至少第一值和第二轨迹的至少第二值包括：分别与第一轨迹和第二轨迹相关联的角度和距离中的至少一个。第一轨迹和第二轨迹中与所选择的穿刺位置相关联的的一个轨迹的视觉指示包括：遵循第一轨迹和第二轨迹中的所述一个轨迹的路径的线。进一步地，用户是医疗从业者；真实世界环境是用于在患者身上进行操作的外科手术室；并且虚拟器官对象在外科手术进程期间在外科手术室内被显示。图像数据包括患者的心脏的术前图像数据，该术前图像数据与患者的心脏的MRI、X光、超声、荧光检查、心电图、电解剖标测、以及CT扫描中的至少一个相关联。该方法进一步包括：在外科手术期间实时地跟踪患者的心脏的移动；以及将经由增强现实显示系统显示的虚拟器官对象与在外科手术期间心脏的跟踪的移动附接。此外，该方法提供：在外科手术期间实时地跟踪患者的心脏内的医疗设备的心内移动；并且在外科手术期间经由增强现实显示系统显示的虚拟器官对象上显示医疗设备的跟踪的心内移动的视觉指示。医疗设备的跟踪的心内移动的视觉指示与所选择的穿刺位置的视觉指示是经由增强现实显示系统同时地可查看的。患者的心脏的横截面视图被确定，以便于经由增强现实显示系统显示虚拟器官对象。要在患者的心脏上执行的外科手术进程的用户选择被接收到，并且基于外科手术进程的患者选择，确定要经由增强现实显示系统显示的患者的心脏的横截面视图。辅助目标解剖结构是卵圆窝，并且至少一个目标医治解剖结构是肺静脉和左心耳中的一个。由此，选择穿刺位置可进一步包括基于从卵圆窝上的位置到肺静脉和左心耳中的一个的计算机生成的轨迹来选择穿刺位置，并且经由增强现实显示系统显示的所选择的穿刺位置的视觉指示包括计算机生成的轨迹的视觉指示。

在本发明的另一方面中，提供了具有增强现实显示系统的增强现实系统，增强现实显示系统被配置为穿戴在用户的头上并且接近用户的眼睛；并且该增强现实系统具有与增强现实显示系统通信的处理电路系统。处理电路系统被配置为：基于患者的心脏的图像数据来提供该患者的心脏的三维模型；基于对患者的心脏的三维模型的分析，来标识与相对于患者的辅助目标解剖结构的第二位置的该患者的至少一个目标医治解剖结构对应的第一位置的定位数据；基于患者的至少一个目标医治解剖结构相对于患者的辅助医治解剖结构的第二位置的标识的定位数据，选择穿刺位置；并且通过具有增强现实显示系统的增强现实设备经由增强现实显示系统显示覆盖真实世界环境的虚拟器官对象。

根据本发明的又另一方面，用于加强外科手术进程的方法包括：基于患者的器官的图像数据提供该患者的器官的三维模型；以及基于对患者的器官的三维模型的分析，来标识与相对于患者的辅助目标解剖结构的第二位置的患者的至少一个目标医治解剖结构的第一位置对应的定位数据。该方法进一步包括：基于患者的至少一个目标医治解剖结构相对于患者的辅助目标解剖结构的第二位置的标识的定位数据，选择穿刺位置。具有增强现实显示系统的增强现实设备经由增强现实显示系统显示覆盖真实世界环境的虚拟器官对象。虚拟器官对象对应于患者的器官的三维模型，并且视觉地指示所选择的穿刺位置。虚拟器官对象和真实世界环境的至少一部分中的每一者是由增强现实显示系统的用户经由增强现实显示系统同时地可查看的。

被视作本发明的特性的特征在随附权利要求中阐明。根据需要，在本文公开了本发明的详细实施例；然而，要理解的是，所公开的实施例仅为本发明的示例性内容，其可以以各种形式实现。因此，本文公开的特定结构和功能并不被解读为限制性的，而仅作为权利要求的基础，并且作为教导本领域普通技术人员中的一员在几乎任何近似的详细结构中以各种方式采用本发明的代表性基础。进一步地，本文使用的术语和短语并不旨在限制；而是为了提供对本发明的可理解的描述。虽然本说明书以权利要求结尾，而该权利要求限定了本发明被视作新颖的特征，但是所相信的是，通过结合附图考虑以下描述将更好地理解本发明，在附图中相同的附图标记被沿用。附图的图片不是按照比例绘制的。

附图说明

通过在结合附图考虑时参考以下详细说明，将更容易地理解本发明的更完整的理解以及其所伴随的优点和特征，其中：

图1示出了根据本公开的原理的示例性增强现实设备的后透视图；

图2示出了根据本公开的实施例的图1的增强现实设备的部件的框图；

图3示出了根据本公开的用于组织穿刺的示例性系统；

图4示出了示例性医疗设备；

图5示出了根据本公开的实施例的使用图1的增强现实设备、图3的组织穿刺系统以及图4的医疗设备的示例性方法的流程图；

图6示出了根据本公开的实施例的具有被准备以用于由图3的组织穿刺系统穿刺的隔膜壁的心脏；

图7示出了根据本公开的实施例的在左心房内被操控朝着肺静脉的图4的导管；

图8a和图8b分别示出了图7中的肺静脉的不完全阻塞和图7中的肺静脉的完全阻塞；

图9示出了根据本公开的实施例的基于隔膜穿刺位置的图4的导管到肺静脉的示例性轨迹；

图10示出了根据本公开的实施例的基于隔膜穿刺位置的到人类受试者的每一个肺静脉的角度和距离数据；

图11示出了根据本公开的实施例的示例性术前计划室的透视图，其中每一个医师穿戴了图1的增强现实设备并且查看自由浮动的虚拟心脏对象；

图12示出了根据本公开的实施例的医师经由图1的增强现实设备(未示出)在外科手术室中同时查看手术台上的真实世界的患者以及图11的自由浮动的虚拟心脏对象的增强现实视图的示例；

图13示出了根据本公开的实施例的俯视图12的真实世界的患者的医师的增强现实视图的示例，其中图11的虚拟心脏对象在外科手术进程期间附接至真实世界的患者的心脏；

图14示出了根据本公开的实施例的基于被执行的医疗治疗或医治的多个医疗设备的多个示例性隔膜穿刺位置；

图15示出了根据本公开的实施例的需要不同的隔膜穿刺位置和医疗设备轨迹的多个示例左心耳(LAA)位置和取向；并且

图16示出了根据本公开的替代实施例的被配置为恰当地放置LAA封闭设备的示例性最优隔膜穿刺位置和LAA封闭设备轨迹。

具体实施方式

本公开描述了用于通过使用增强现实设备以改进医疗成像、术前计划以及术中反馈技术来加强心脏手术进程的疗效和安全性的系统、设备和方法。此外，参考一个或多个医疗手术进程描述了本公开的实施例；然而，本公开并不旨在限于例如本文描述的特定医疗手术进程中的任一个或多个。即，所设想的是，本公开的实施例可与任何医疗手术进程相关联，无论是否在本文明确地讨论，因为本公开的实施例可能对于众多已知或未来的医疗手术进程而言是有益的。

在详细描述本公开的示例性实施例之前，应当注意到的是，术语“增强现实”和“混合现实”是互换地使用的，并且旨在指示设备、方法和/或系统，在该设备、方法和/或系统中，数据、信息、虚拟图像或对象、图形等、或其他传感器生成或计算机生成的可操作的决策制定信息由源(诸如，显示源，例如，可穿戴设备或全息投影仪等)在可同时由观察者观察的真实世界环境内被提供给观察者。在本文描述的公开的一些实施例中，“混合现实”可进一步指示设备、方法和/或系统，该设备、方法和/或系统中，来自一个或多个信息源的实时数据在真实世界环境内被传送、传输、流式传送、和/或呈现(present/render)给观察者。在本公开的又其他实施例中，“混合现实”和“增强现实”可进一步指示设备、方法和/或系统，在该设备、方法和/或系统中，计算机生成的信息可以以与真实世界环境的至少一部分交互或以其他方式与真实世界环境的至少一部分绑定的方式被呈现给观察者。

现在参见附图，其中相同附图标记指代相同元件，根据本发明的原理的增强现实设备的实施例在图1中示出并且一般被指定为“100”。图3和图4分别示出了与增强现实设备100通信的组织穿刺系统300和医治设备400的实施例。

以下的描述将以增强现实设备100以及穿刺系统300和医治设备400的各种示例性部件的介绍开始，随后描述根据本公开的原理使用和/或实现设备和系统100、300、400的示例性方法。

增强现实设备

在图1中以眼镜102的形式示出了示例性增强现实设备100。眼镜102包括一对透镜104、106和边框108，以及从边框108延伸的头部支撑构件110。

头部支撑构件110被配置为将增强现实设备100支撑在穿戴者/用户的头上。示例性头部支撑构件110以头带的形式示出；然而，替代实施例可以以例如一对侧臂的形式，该一对侧臂被配置为如传统的眼镜一样搁置在用户的耳朵上。头部支撑构件110或设备100的另一部分可被适配为增强现实设备壳体，以用于容纳增强现实设备电部件和/或光部件，诸如，例如处理电路系统、传感器、相机、网络接口等，如下文参考图2的框图将更为详细地描述的。

边框108和头部支撑构件110可由固体刚性或半刚性聚合物、塑料和/或金属结构形成，或可被形成为相似材料的中空结构，以允许在整个眼镜102中的布线和内部电气部件的互连。

透镜104、106可足够透明以允许用户通过透镜104、106观看，如传统上针对非计算眼镜提供的透镜。即，透镜104、106可被视为透视(see-through)透镜104、106。在一些实施例中，透镜104、106可以是处方透镜。在一些实施例中，透镜104、106可以是略微着色的。尽管，图1示出了两个透镜104、106，但是所理解的是，设备100可包括一个透镜或不止两个透镜104、106。

现在主要参见图2，其中简要参考图1，增强现实设备100可包括被容纳在头部支撑构件110内或以其他方式由增强现实设备100支撑或被包括在增强现实设备100内的计算部件和光学部件。计算部件和光学部件可被耦合至边框108和/或可被容纳在头部支撑构件110内。所理解的是，计算部件和光学部件中的任一个或众多计算部件和光学部件可在眼镜102的其他部分上提供，或可被远程地定位，经由通信链路与眼镜102无线地或有线地通信。

图2示出了增强现实设备100的示例性部件的示例框图。示例设备100可包括增强现实显示系统200、心脏增强现实模块202、相机204、传感器206、用户输入界面208、处理器210、存储器212以及网络接口214。

在一个实施例中，增强现实显示系统200可被形成为微显示器，并且当佩戴时可被设置为紧密接近用户的眼睛。微显示器可被设置在透镜104、106与用户的眼睛之间。微显示器可以是透明或半透明显示器，并且可以是矩阵显示器，诸如发光二极管(LED)显示器、液晶显示器(LCD)等。所理解的是，任何合适的显示器可被使用，前提是其允许眼镜用户查看作为虚拟对象的图像(例如，全息图)，该虚拟对象增强了用户通过透镜104、106可查看的物理/真实世界环境的视图。显示驱动器可在处理器210与显示系统200之间提供接口，以用于驱动显示系统200。显示系统200结合显示驱动器(未示出)被配置为显示覆盖在用户通过透镜104、106查看的真实世界的视图之上的虚拟器官对象(例如，1100、902)。

用于使用头戴式增强现实设备或其他非穿戴式增强现实设备显示虚拟对象的各种技术是已知的，并且可与本发明的实施例一同使用。在一个实施例中，显示系统200可与处理器210通信，并且可包括在表面(诸如微显示器)上投影图像的投影仪201。处理器210可处理图像数据(例如，心脏的三维模型)，该图像数据随后被馈送至投影仪201以供投影在微处理器或其他显示表面上。投影仪201可被配置为将图像投影在微显示器的内部显示表面上，由此使得该图像可由用户查看为覆盖用户通过透镜104、106查看的真实世界环境的视图。显示系统200也可充当光投影系统，并且可包括反射涂层，该反射涂层将投影到反射表面上的光直接反射至用户的视网膜。其他类型的增强现实显示系统技术也可与本发明的实施例一同使用。在一个实施例中，本发明的实施例中使用的增强显示设备100是微软全息眼镜(Microsoft Hololens)，其使用波导将全息图覆盖在用户的真实世界视图上。在又其他实施例中，本发明的实施例中使用的增强现实设备100可包括其他已知的增强现实设备，优选的是头戴式增强现实设备。通过增强现实设备100实现虚拟对象的显示元素的部件在本文可被称为“增强现实显示系统”。

在一些实施例中，增强现实显示系统200可被形成为可直接穿戴在穿戴者的眼睛上的智能接触件。在又另一实施例中，增强现实显示系统200可包括非穿戴式元件，诸如非穿戴式投影仪，其使用例如空间计算、镜子、光折射器、相机等以在真实世界环境内显示信息(例如，数字信息、虚拟对象等)。

心脏增强现实模块202可被配置为根据用于在真实世界视图之上覆盖图像的已知的增强现实技术来促进在通过透镜104、106的真实世界的视图之上覆盖虚拟心脏图像。在进一步的实施例中，心脏增强现实模块202可负责执行下文参考图5中描绘的流程图描述的过程步骤中的一些或全部。

心脏增强现实模块202可被实现为驻留在设备100中并且由设备100执行的可执行指令集。在一个实现中，心脏增强现实模块202可以是存储在计算机或机器可读介质上的一个或多个程序。在一个示例性实现中，心脏增强现实模块202被存储在存储器212中。心脏增强现实模块202可以是独立软件应用或形成执行与增强现实设备100有关的额外任务的软件应用的一部分。同样，虽然心脏增强现实模块202根据本发明的实现在软件中被实现，但是此类功能也可经由专用硬件或固件执行，或经由硬件、固件和/或软件的一些组合执行。

相机204包括相机透镜并且可被配置为捕获静止图像以及视频。在一个实施例中，增强现实设备100可包括不止一个相机204。相机透镜可面朝前(即，当增强现实设备100在使用中时远离穿戴者/用户的面部)，以捕获如由穿戴眼镜102的用户感知到的真实世界的至少一部分的静止图像和视频。由相机204捕获的图像可被存储在存储器212中以在显示覆盖在由用户通过透镜104、106感知到的真实世界视图之上的虚拟器官对象(例如，1100、902)中使用。在其他实施例中，增强现实设备100可包括不止一个相机204以用于例如捕获真实世界的广视场。

传感器206可被设置在头部支撑构件110上和/或设置在头部支撑构件110内，并且可被配置为感测或检测真实世界环境的多个方面，诸如，例如，用户的头部的取向。增强现实设备100可包括不止一个传感器206。在一个实施例中，传感器206可以是例如加速度计或接近度传感器，或本领域已知的其他传感器。传感器206可以例如检测用户何时已摘下眼镜102以在非使用时段期间将设备100断电或将设备100置于睡眠模式中。在其他实施例中，增强现实设备100可包括多个传感器206，以跟踪例如用户注视并且感知手部移动和姿势以供由用户输入界面208使用。优选地，增强现实设备100包括众多传感器206，以便于感测用户身处其中的物理世界，并且检测用户他/她本身并且更具体地检测他/她的移动、注视、头部取向等。此类传感器206可允许增强现实设备100将真实世界数据与虚拟图像数据组合，以便于为医师提供更为沉浸式并且更为准确的增强体验并且/或者允许虚拟图像与真实世界的多个方面交互。

用户输入界面208被配置为允许用户向增强现实设备100提供输入，诸如，例如，用户选择、命令等。在一个实施例中，用户输入界面208包括设置在头部支撑构件110上的可手指操作的触摸板，该可手指操作的触摸板可经由本领域众所周知的装置和方法(诸如，电容式感测、电阻式感测等)检测手指的位置、压力和移动中的至少一个。例如，用户可使用他/她的手指轻触触摸板以发起或禁用负责根据本文描述的技术生成并且显示心脏图像作为增强现实图像的软件应用。在另一实施例中，设备100可包括传感器206，该传感器206被配置为根据增强现实设备技术领域中已知的方法和设备感测用户的手势作为用户输入。其他用户输入设备可被集成至增强现实设备100中，诸如针对语音识别命令的麦克风、物理或虚拟键盘、移动传感器、注视跟踪相机、定点(pointing)设备、和/或其他用户输入方法和设备(未示出)。

处理器210可以是例如中央处理单元(CPU)、控制器、微控制器、微处理器(包括“通用”微处理器或专用微处理器)。处理器210执行存储在存储器212和/或非易失性存储中的代码以便于执行增强现实设备100的操作。处理器210可提供处理能力，以用于执行操作系统、运行各种应用并且为本文描述的技术、功能和/或方法中的一个或多个提供处理。如本文所使用的，术语“处理器”和“处理电路系统”旨在宽泛地包含为本文描述的技术、功能和/或方法中的一个或多个提供处理的单个处理器或多个处理器以及其他处理电路系统。增强现实设备100优选地包括一个或多个CPU以及一个或多个图形处理单元(GPU)，以便于处理大量的图像数据。

与增强现实设备100相关联的存储器212可以是例如缓冲器、寄存器、闪存存储器或随机存取存储器(RAM)中的一个或多个。存储器212也可包括非易失性存储。非易失性存储可表示任何合适的存储介质，诸如硬盘驱动或非易失性存储器，诸如闪存存储器等。

网络接口214可包括一个或多个网络接口卡(NIC)，该一个或多个NIC为增强现实设备100提供了与例如个人局域网(PAN)(诸如，蓝牙网络)、局域网(LAN)(诸如，Wi-Fi网络)或广域网(WAN)(诸如，例如互联网或蜂窝移动通信网络)联网的能力。网络接口214可促进在一个或多个有线和/或无线网络连接之上的通信。网络接口214可促进增强现实设备100、组织穿刺系统300、医治设备400以及其他设备和系统(诸如，导航系统和标测系统)之间的通信。例如，术前图像数据(诸如，患者的计算机断层(CT)扫描)可经由网络接口214被无线地传送至增强现实设备100，以用于基于CT扫描生成虚拟器官对象。

组织穿刺系统

现在主要参见图3，描述了用于接合并且穿刺组织(诸如，隔膜)的组织穿刺系统300。系统300可大体上包括用于锚定组织并且执行经中隔穿刺的穿刺设备302以及用于操作、监测并且调节穿刺设备302的操作的控制单元304。

在一个实施例中，穿刺设备302包括柔性细长体306，柔性细长体306具有近侧部分308、远侧部分310以及腔312。细长体306可以是例如适合用于血管内手术进程的柔性导管。细长体306可限定设置其内的一个或多个次级腔，并且腔312和/或次级腔可提供细长体306的近侧部分308与细长体306的远侧部分310之间的机械、电气和/或流体连通。腔312(以及可选地，次级腔)可热绝缘。进一步地，腔312可在穿刺设备302的远侧端中限定远侧孔313。由此，腔312可向周围环境开放，并且腔312的大小可被设计为并且腔312被配置为允许一个或多个设备部件从其中穿过并且远侧地延伸超过细长体306的远侧端。

细长体306的近侧端308可被耦合至手柄314，该手柄314可包括针对电气和流体连接器、引线、结(junction)或管的各种端口，并且可包括各种控制组件，诸如开关或阀，以及安全性检测或关闭部件。例如，手柄314可包括与控制单元304直接配合或通过一个或多个脐带(umbilical)的方式间接地与控制单元304配合的连接器。进一步地，手柄314还可包括诸如杆或旋钮之类的元件，用于操纵或偏转细长体306的至少一部分。

穿刺设备302可进一步包括设置其内的流体流动路径316，如图3中所示。例如，在一个实施例中，穿刺设备302可包括与冷却剂源流体连通的流体流动路径316。冷却剂在流体流动路径316内的循环可使得穿刺设备302能够冷冻粘附至诸如隔膜之类的组织区域，由此将设备锚定至隔膜并且稳定隔膜，以便于促进穿刺。进一步地，如果穿刺设备302被用于冷冻粘附以及穿刺，则穿刺设备302可包括与流体流动路径316流体连通的热传输区318。热传输区318可围绕或至少部分地围绕远侧孔313，由此将穿刺设备302锚定至组织区域，同时仍允许一个或多个设备部件通过远侧孔313的通道。

穿刺设备302可进一步包括可移动地设置在腔312内的穿刺元件320，以在与医治设备400接合的组织中创建开口。穿刺元件320可以是能够穿刺组织的任何足够尖锐的部件，诸如针。在另一示例中，穿刺元件320可以是引导线。穿刺元件320可被插入至细长体306的腔312中，并且可通行穿过远侧孔313并且可远侧地延伸超过细长体306的远侧端。穿刺元件320可在手柄314处或在沿着细长体306的任何点处被可移除地或永久地耦合至穿刺设备302。进一步地，穿刺元件320可以以偏轴的方式被设置在穿刺设备302内，以便于允许次级设备(或引导线)同时通行穿过腔312。穿刺元件320可具有可绕着细长体306移动的远侧端324，并且可包括多个不同的合适执行组织穿刺的几何形状或斜面(诸如点、锥形反斜面或切向后斜面)。

系统10可以可选地进一步包括一个或多个传感器(未示出)，该一个或多个传感器除了监测、记录或以其他方式传达穿刺设备302内或穿刺设备302的远侧部分处的周围环境内的测量或状况之外，还监测整个系统的操作参数，包括，例如控制单元304和/或穿刺设备302中的压力、温度、流速、容积等。一个或多个传感器可与控制单元304通信以用于在穿刺设备302的操作期间发起或触发一个或多个警报或冷却剂递送修改。一个或多个阀、控制器等可与一个或多个传感器通信以提供流体通过穿刺设备302的腔/流体路径的受控的散布或循环。此类阀、控制器等等可位于穿刺设备302的一部分中和/或控制单元304中。在一个实施例中，穿刺设备302包括耦合至细长体远侧部分310以在穿刺手术进程期间促进将穿刺设备302定位成与例如隔膜接触的一个或多个压力传感器。

控制单元304可进一步包括用户接口334，该用户接口334可包括LCD触摸屏、或显示系统300的状态和数据并且接收用户数据和控制输入的其他显示设备。还可包括各种分立的指示器、控制件和显示器，其指示一个或多个控制单元304参数的状态并且允许系统300的手动操作的输入。用户接口334可包括一个或多个视觉显示器和/或一个或多个电气或机械输入部件。控制单元304也可包括一个或多个控制器、处理器和/或软件模块，其包含指令或算法以提供本文描述的特征、序列或进程的自动操作以及执行。在一个实施例中，可在增强现实设备100中提供与控制单元304相关联的用户接口334。相应地，给控制单元304和/或穿刺设备302的控制输入以及来自控制单元304和/或穿刺设备302的反馈可通过增强现实设备100。例如，反馈数据可以是经由设备的显示系统200可显示的，并且可由设备100的用户通过例如语音命令提供用户输入。

如果穿刺设备302被用于冷冻粘附以及穿刺，则控制单元304可被操作用于维持热传输区318的温度足够低以实现到组织区的有效冷冻粘附，同时防止与消融冷冻或坏死性冷冻相关联的不希望的永久性组织损伤。例如，目标温度范围可在大约0℃到大约负30℃(-30℃)之间。

在使用穿刺元件320穿刺组织之后，穿刺设备302可以从患者的身体中被移除，并且使用一个或多个穿刺后医治设备或其他次级设备替换穿刺设备302，诸如，例如导管、扩张器、鞘、阀、假体等或用于成像、标测和/或诊断的其他设备。

医治设备系统

下文是对可在本公开的实施例中使用的示例性穿刺后医治设备400的描述。现在主要参见图4，也参考图8a-图8b中的放大图，示例性医治设备400被示出，并且可包括一个或多个连接，以选择性地将医治设备400耦合至控制单元304以用于监测和/或控制医治设备400的一个或多个特征。

医治设备400可包括用于医治设备400与医治部位(诸如，例如肺静脉或LAA)之间进行能量或其他治疗交互的一个或多个医治区。在一个实施例中，医治设备400是导管。医治区可向接近一个或多个医治区的组织区域递送例如射频能量、电穿孔能量、冷冻治疗等以用于医治、评估、或与组织进行其他交互。例如，医治设备400可包括医治区402，该医治区402具有至少部分地设置在细长体406上的热医治元件，诸如可扩展膜或球囊和/或一个或多个电极或其他热传输部件。在特定示例中，医治区402可包括耦合至医治设备400的细长体406的远侧部分404的第一可扩展/可充气元件或球囊800(见图8a-图8b)。此外，可扩展元件800可具有大量形状中的任一个，并且可进一步包括提供耐穿刺性、射线不透性等的一个或多个材料层。可扩展元件800可以与医治设备400的流体注射腔和流体排出腔连通，该流体注射腔和流体排出腔可与上文参考图3中示出的穿刺设备302中的流体流动路径316描述的腔相似地构造并且相似地操作。即，医治设备400也可被配置为将流体(诸如，冷却剂)运送至可扩展元件800以例如冷冻消融于肺静脉开口相对应的组织。此外，流体注射腔和/或流体排出腔可在可扩展元件800内可滑动地定位并且可在可扩展元件800内移动，以引导冷却剂或流体朝着可扩展元件800的期望部分(诸如，远侧或近侧部分)散布。然而，将理解的是，可使用任何类型、数量或配置的医治区402。

用于提供增强现实解决方案以优化介入心脏病学工具的定向接近和治疗递送的方法

现在参见图5中示出的流程图，也参考图6-图15，描述了根据本公开的原理使用图1和图2的增强现实设备100、图3的组织穿刺系统300、以及图4的医治设备400的示例性方法。

尽管图5示出了执行功能逻辑框的特定顺序，但是执行框的顺序可相对于示出的顺序而改变。同样，连续示出的两个或更多个框可被同时执行或部分同时地执行。出于简单起见，某些框可被省略。并且，一些框仅为示例性实现中的示例性步骤，但不是为了符合本发明而要求的。

该方法可在步骤500处开始，并且立即前进至步骤502，在步骤502中接收到术前图像数据。术前图像数据可以是患者的器官的成像数据。在一个实施例中，器官是患者的心脏。在实施例中，患者的心脏的术前图像数据可包括与例如患者的心脏的磁共振成像(MRI)、X光、超声、荧光检查、心电图、和/或计算机断层(CT)扫描相关联的图像数据。应当注意的是，通常在外科手术进程之前获取此类图像数据，以便于确定是否有必要进行该外科手术进程。用于提供术前图像数据的技术和设备在本技术领域是众所周知的，因此在本文就不再过于详细地描述。

在步骤504中，可基于术前图像数据创建患者的心脏600的三维(3D)模型(见图6)。一些实施例可使用单个术前成像技术(例如，CT扫描)来创建3D模型，并且其他实施例可使用从多个技术(例如，超声和心电图)组合的数据来创建3D模型。在一个实施例中，增强现实设备100，或更具体地一个或多个处理器210，可基于接收到的术前图像数据创建3D模型。在另一实施例中，分开的计算设备可创建3D模型，并且可将3D模型传送至增强现实设备100或以其他方式将3D模型提供至增强现实设备100。在一个实施例中，可由例如可将各种3D建模技术应用在术前图像数据上的软件应用创建3D模型。3D建模技术可包括例如将术前图像数据分段以标识一个或多个感兴趣的区域，随后对该一个或多个感兴趣的区域进行网格细化，并且进行进一步3D细化技术，诸如修复网格、校正误差、平滑表面等。用于将医疗成像数据转换至3D模型中的应用和技术在医疗行业中是已知的，例如，3D打印置换或模型解剖部件。这些和其他已知的用于创建3D模型的应用和技术可在本发明的实施例中使用，以用于创建由增强现实设备100使用的3D模型。

在优选实施例中，3D模型应当是患者的心脏600的3D模型，并且应当包括患者的一个或多个感兴趣的区域(诸如，辅助目标解剖结构以及至少一个目标医治解剖结构)的3D模型。特定的感兴趣的区域可以是心脏600的与要在患者的心脏600上执行的外科手术进程有关的区域。辅助目标医治解剖结构可被视为支持对目标医治解剖结构的医治的患者的解剖特征，但是其本身不是目标医治解剖结构，诸如，用于进入目标医治解剖结构的穿刺位置。目标医治解剖结构可被视为患者的旨在接受医治的一个或多个解剖特征，诸如，例如，对右下肺静脉604、右上肺静脉610、左下肺静脉606和/或左上肺静脉608的阻塞(见图6)。

在一个优选实施例中，辅助目标解剖结构是用于在其中穿刺进入开口的隔膜壁602，并且目标医治解剖结构可以是一个或多个肺静脉604、606、608、610(针对肺阻塞)或LAA(针对LAA封闭)(分别见图6和图16)。更具体地，辅助目标解剖结构可以是卵圆窝612，该卵圆窝612是在心脏600的右心房614中在隔膜壁602处的凹陷，其通常比隔膜壁602的剩余部分更薄，并且因此可呈现了用于进入患者的左心房616的最佳穿刺部位。

在一个实施例中，3D模型包括示出了一个或多个感兴趣的区域的心脏600的横截面视图，诸如在图6和图16中描绘的横截面视图。在一个实施例中，用户可在创建3D模型之前输入(至增强现实设备100中或至与增强现实设备100通信的另一计算系统中)所选择的横截面视图和/或外科手术进程。相应地，3D模型可被创建以包括有关所选择的外科手术进程的所选择的横截面视图。在专用于特定类型的外科手术进程的系统的另一实施例中，所选择的横截面视图可以是默认横截面视图。在进一步实施例中，3D模型可包括心脏的多个横截面视图，外科医生/医师可在术前计划期间以及在手术进程本身期间从该多个横截面视图中进行选择以在增强现实设备100上实时地查看。

在步骤506中，可标识与患者的相对于患者的辅助目标解剖结构的第二位置的至少一个目标医治解剖结构的第一位置对应的定位数据。定位数据可基于与患者的心脏600的3D模型对应的数据的计算机分析，并且可基于要在患者的心脏600上执行的特定外科手术进程。

现在简要参见图6-图8，将针对通过本公开的实施例进行的加强而描述示例性外科手术进程。如上文在背景技术一节中所讨论的，一些心脏手术进程通常在心脏600的左心房616中被执行，而左心房616不易进入。为了在左心房616内医治解剖区域，设备可经由患者的股静脉进入患者的循环系统。设备随后可被推进通过股静脉至心脏600的右心房614。一旦在右心房中，就通常在隔膜壁602中创建穿刺，以获得至心脏的左侧以及相关联的脉管系统的入口，如图7中示出的。更具体地，隔膜壁602处的卵圆窝612通常被穿刺。鉴于此，穿刺的位置可显著地影响当进行医治手术进程(诸如，冷冻消融、肺静脉阻塞、或左心耳(LAA)封闭)时手术进程的复杂性。

例如，心脏心律失常是心脏的正常节律被扰乱的状况。某些类型的心脏心律失常(包括室性心动过速和心房纤颤)可通过消融(例如，射频(RF)消融、冷冻消融、超声消融、激光消融、微波消融等)进行医治。手术进程(诸如，肺静脉隔离(PVI))通常用于医治心房纤颤。该手术进程通常涉及使用冷冻设备(诸如，医治设备400)，该冷冻设备被导航朝向肺静脉(PV)口604、606、608和/或610，如图7中所示。理想地，医治设备400应当完全阻塞PV(即，阻挡血流离开PV进入左心房614)。一旦就位，医治设备400的医治区402(例如，可扩展球囊800)可被激活(例如，流体冷却剂被递送至球囊800)达足够的持续时间，以在PV-LA结处的心肌组织内创造期望的损伤，如图8b中所示。冷冻球囊800的流体冷却剂使得球囊800能够围绕PV 604、606、608和/或610的开口(口和/或窦)创建周向损伤，以中断离开PV 604、606、608和/或610的异常电信号。

该手术进程的成功很大程度上取决于在该手术进程期间创建的一个或多个损伤的质量和冷冻球囊800是否如图8b中所示的已经完全阻塞PV。不完全阻塞(如图8a中所示)允许血液从正被医治的PV 604、606、608和/或610经过冷冻球囊800流入心脏600的左心房616中。温热血液的这一流动可阻止冷冻球囊800达到足够低以在目标组织中创建永久损伤的温度。可逆损伤的创建可能不足以实现电隔离，并且其结果是，心房纤颤可能重新出现。相应地，对于目标组织区域的成功医治而言，需要对PV 604、606、608和/或610的完全阻塞。

在此背景下，申请人已发现，某些隔膜穿刺位置与其他隔膜穿刺位置相比较，医师在接近并且医治目标PV 604、606、608和/或610中可能更为困难。例如，已发现如果隔膜穿刺700接近右下肺静脉(RIPV)604定位，则医师在接近并且医治RIPV 604中可能更为困难。即，与例如距离RIPV更远的穿刺位置相比较，可能需要对医治设备400进行更多操控和操纵以便于跨越RIPV与隔膜穿刺位置700之间更为尖锐的角度。具体而言，申请人已发现，当隔膜穿刺位置700在前方或上方远离RIPV时，实现对肺静脉604、606、608和/或610的更为均匀的阻塞。

现在参考图10，示出了表示与从卵圆窝612处的隔膜穿刺700的位置到每一个肺静脉604、606、608和/或610的角度和距离对应的人类解剖数据的图。上卵圆窝位置612’、中心卵圆窝位置612”以及下卵圆窝位置612”’中的每一个处的候选穿刺位置被标识并且分析以确定最佳穿刺位置和医疗设备轨迹。下文示出了数据表格。

表1示出了从卵圆窝(FO)处的三个不同的穿刺位置(上612’、中心612”、下612”’)到PV中的每一个的3D角度(单位为度)，如下所示：

表2示出了从卵圆窝处的三个不同的穿刺位置(上612’、中心612”、下612”’)到PV中的每一个的距离(单位为毫米)，如下所示：

如可以通过图10中的图像以及表1和表2中分别示出的角度和距离数据看出的，到RS PV和RI PV的最短距离是上卵圆窝位置612’和中心卵圆窝位置612”。针对RS PV和RI PV的更为尖锐的角度1000是在下卵圆窝位置612”’处。相应地，可能优选的是选择上卵圆窝位置612”或中心卵圆窝位置612”’作为所选择的穿刺位置700，以便于降低为了阻塞RIPV 604而进行操控的复杂性。在一个实施例中，计算设备(例如，设备100)可选择具有较大的角度值和/或较短的距离值的穿刺位置以作为所选择的穿刺位置700。在其他实施例中，医师可向计算设备提供用户输入，以便于选择或改变所选择的穿刺位置700。

对于LS 608PV以及LI 606PV，数据显示：角度在卵圆窝位置612’、612”、612”’之间十分相似，其中与LS PV角度相比较,LI PV通常具有更为尖锐的角度。同样，在卵圆窝位置612’、612”、612”’之间，LI 606距离通常通常短于LS 608距离。此类数据对于协助医师为此类心脏手术进程进行术前计划以及在此类手术进程期间进行术中引导而言十分有用。在一个实施例中，所选择的穿刺位置612和/或从所选择的穿刺位置612到目标医治区域(例如，PV)的轨迹900可(经由增强现实设备100)被呈现/显示在虚拟器官对象1100上，以便于向一个或多个医师提供视觉目标引导，如可例如在图9中看到的。这可为医师提供用于隔膜穿刺以及在患者的解剖结构内操控医治设备400的视觉引导。具体而言，除了定位最佳穿刺位置之外，医师还可使用轨迹900的视觉目标引导来将球囊800从穿刺700操控至一个或多个目标PV 604、606、608或610。可在术前计划阶段(如图11中所描绘的)和/或在医疗手术进程期间(如图12和图13中所描绘的)提供此类引导。

尽管上文的表1和表2示出了距离和角度值，但是本发明的额外实施例也可提供额外的信息，包括但不限于：位置、曲率、以及穿刺设备、导管或其他医治设备的可达范围。所设想的是，各种类型的信息可由例如增强现实设备100使用，以用于向用户建议候选穿刺位置和轨迹。

在进一步实施例中，一个或或多个穿刺后医治设备或其他次级设备的轨迹也可经由增强现实设备100显示，如上文参考穿刺设备的轨迹描述的。在实施例中，穿刺设备的轨迹可以与穿刺后医治设备或其他次级设备的轨迹同时被显示，由此使得当选择轨迹中的一个或多个时，可以考虑轨迹中的每一个组合。在一些实施例中，每一个轨迹可以是经由增强现实设备100同时地可查看的，并且/或在由用户可查看时可被单独地选择，由此使得用户可以选择少于全部轨迹的子集来经由增强现实设备100查看。例如，导管、冷冻球囊、鞘等等中的每一个的轨迹可以是同时地经由增强现实设备100一起可显示的，并且也可以是选择性地可查看的，由此使得由用户可以选择轨迹中将不被显示的一个或多个。

在其他实施例中，可经由增强现实设备100显示隔膜的区域中的组织厚度。在又进一步实施例中，可经由增强现实设备100显示一个或多个损伤的深度以帮助用户进行例如损伤评估。在又另一实施例中，可经由增强现实设备100显示与目标医治和/或目标穿刺区域相邻的解剖结构(诸如，例如主动脉或左束支)，由此使得用户可有益地选择轨迹、移动路径、或位置，以绕开此类相邻的解剖结构或在此类相邻的解剖结构周围操纵。作为一个示例，在瓣膜外科手术进程中，可经由增强现实设备100显示缝合线(suture)的位置，由此避免与传导结构接触。

其他示例性心脏手术进程可通过本发明的实施例进行加强/获益。具体而言，若干医疗医治设备要求在特定位置进行隔膜穿刺以优化设备功效。其他此类医治设备是左心耳(LAA)封闭设备1600(用于卒中预防)以及二尖瓣夹(mitral clip)(用于二尖瓣返流)。图14示出了基于特定医疗设备/医治手术进程的示例性理想穿刺位置1400、1402、1404。具体而言，穿刺位置1400对于二尖瓣夹而言可被视为是理想的；穿刺位置1402对于PVI而言可被视为是理想的；并且穿刺位置1404对于LAA封闭设备1600而言可被视为是理想的。

例如，用于LAA封闭设备1600的隔膜穿刺位置1404可被视为对于LAA封闭设备1600的接近角度、大小和搁置而言至关重要。实际上，各种患者体内的LAA 1602的形状、大小和位置是高度可变的，使得提供用于医治LAA 1602的LAA封闭设备1600的医疗公司(例如，LifeTech)可具有多至十七(17)种不同的LAA封闭设备产品。提供图15以用于进一步强调这一点——图15示出了不同患者的心脏内的LAA位置1500’、1500”、1500”’以及取向的多个示例，这些LAA位置和取向可使得显著不同的穿刺位置和医疗设备轨迹是必要的。图16示出了用于最佳地搁置LAA封闭设备1600的理想隔膜穿刺位置1604和轨迹1606的示例。可在虚拟器官对象1100上呈现视觉引导(诸如，彩色线、点、虚线、箭头、形状等)以引导使用根据本公开的实施例的增强现实设备100的医师。

现在再次主要参见图5中的流程图，在步骤508中，可基于定位数据选择穿刺位置700，该定位数据诸如，例如上文参考来自表1和表2的数据所讨论的。可基于患者相对于患者的辅助医治解剖结构(例如，卵圆窝612)的位置的目标医治解剖结构(例如，肺静脉604、LAA 1602)的定位数据来选择穿刺位置700，而可根据患者的心脏的三维模型的分析来确定该定位数据。即，可基于从卵圆窝612上的位置(例如，上位置、下位置或中心位置)到目标医治解剖结构的计算机生成的轨迹，来选择穿刺位置700。

如上文描述的，多个候选穿刺位置可被标识，并且确定从多个候选位置到目标医治解剖结构的轨迹(包括例如距离和角度数据)。可例如基于与候选轨迹(上卵圆窝位置、中心卵圆窝位置以及下卵圆窝位置)相关联的值(例如，角度和/或距离)的比较来选择穿刺位置700，如上文所讨论的。例如，可选择上卵圆窝穿刺位置612’，因为上卵圆窝穿刺位置612’与中心卵圆窝候选位置612”和下卵圆窝候选位置612”’的角度值相比较具有最大的角度值。在一个实施例中，计算设备(诸如，增强现实设备100或与增强现实设备通信的另一计算设备)可基于例如所讨论的规则来自动地选择最优穿刺位置。在替代实施例中，医师可经由向用户输入界面208的用户输入选择或改变最佳穿刺位置。在一些实施例中，各种候选位置和轨迹可被存储在设备100的存储器212上，并且医师可在外科手术进程期间从这些位置和轨迹中实时地选择，以便于例如在虚拟器官对象1100上滚动视觉目标引导。在又进一步实施例中，候选位置和轨迹被存储在数据库(例如，云数据库)中，并且可在手术进程期间由用户经由增强现实设备100选择性地访问和显示，或在其他手术进程期间使用。

在步骤510中，可基于患者的心脏的3D模型创建虚拟器官对象1100。虚拟器官对象1100可基于患者的心脏的3D模型的横截面，该横截面显示针对医疗手术进程的患者的目标医治解剖结构和辅助目标解剖结构。优选地，虚拟器官对象1100应当提供所选择的穿刺位置(和/或候选位置)和/或用于引导医治设备400从所选择的穿刺位置穿行至目标医治解剖结构的轨迹的视觉指示或视觉引导。图9示出了可在虚拟器官对象1100上被提供的视觉引导的示例。

可以以任何图形形式提供视觉引导，诸如，例如彩色线、箭头等。例如，视觉引导可被形成为可跟踪线，或可以视觉上类似于真实世界的对象，诸如医治设备400，以提供更为沉浸式的体验。

虚拟器官对象1100可被视为是共同基于术前图像数据和视觉引导的患者的心脏的3D呈现。在一个实施例中，虚拟器官对象1100可被形成为由增强现实设备100提供的3D全息图像对象，该3D全息图像对象可由用户1102或1104通过透视显示器查看作为增强用户的真实世界视图的全息图像，如图11-图13中所描绘的。图11示出了术前计划室1106，在术前计划室1106中医师可使用虚拟器官对象1100以使用本发明的实施例来讨论并且计划心脏设备的定向接近和治疗递送。图12-图13示出了用户1102或1104在医疗手术进程室1200中的视场的示例。如可以在图11-图13中看到的，本公开的实施例可提供混合现实环境，其中虚拟对象(诸如，例如虚拟器官对象1100)可由增强现实设备100呈现，并且可在一些实施例中与用户1102或1104的视场中的真实对象交互或对用户1102或1104的视场中的真实对象作出响应。在一些实施例中，根据本公开的实施例观察或参与医疗手术进程或医疗手术进程的术前计划的医疗从业者中的一个或多个可以是可经由增强现实设备100查看的真实世界医疗从业者的化身(avatar)。

在步骤512中，虚拟器官对象1100可由增强现实设备100显示，其如由用户1102、1104通过设备100的透镜104、106观看的覆盖真实世界环境1106、1200。即，真实世界环境1106或1200可被视为可由设备100的用户1102或1104经由增强现实显示系统200同时地查看。例如，图12示出了在外科手术室1200中的自由空间中飘浮的虚拟器官对象1100，并且图13示出了被附接至患者的心脏并且覆盖患者的心脏的虚拟器官对象1100。

用于使用增强显示设备100来显示虚拟器官对象1100和/或将虚拟器官对象1100附接至真实世界对象(诸如，患者的解剖结构1300)的各种方法、设备和技术可在本公开的实施例中被使用。例如，在一个实施例中，增强现实显示系统200可以是光学透视头戴式显示器，该光学透视头戴式显示器将光学组合器直接放置在用户的眼睛前方。光学组合器是部分透光的，以允许用户1102(或1104；然而，可出于简单的目的仅使用附图标记1102)通过组合器观看真实世界。组合器也部分地反射，以允许用户1102观看从组合器反射离开的虚拟对象。在另一实施例中，增强现实显示系统200可使用波导来显示覆盖用户的真实世界视场的虚拟器官对象110。可在本公开的实施例中使用用于使用增强现实设备100以将虚拟器官对象1100覆盖用户的真实世界视场的其他已知技术。

在一些实施例中，虚拟器官对象1100可覆盖用户的真实世界视场的一部分(例如，见图13，其中患者的胸由虚拟器官对象1100覆盖)。在其他实施例中，虚拟器官对象1102可以是半透明的，由此使得用户的真实世界视图将被覆盖的一部分仍是由用户1102在虚拟器官对象1100之下可查看的。如本文所使用的，术语“覆盖”旨在宽泛地涵盖该两类实施例，其中真实世界的多个部分被覆盖，以及其中此类部分仍是由用户在半透明虚拟对象之下可查看的。

此外，术语“真实世界环境”以及“真实世界对象”旨在指示物理世界；即，物理环境以及其中的物理对象。真实世界环境的示例是外科手术室1200。当然，当用户1102围绕真实世界环境移动时，通过透镜104、106可查看的内容发生变化。即，当用户1102四处移动时，真实世界对象可移动进入或离开用户1102的视场。

相应地，虚拟器官对象1100可被配置为随着用户1102的移动而移动，由此使得在用户1102围绕他/她的环境移动时虚拟器官对象1100持续地在用户1102的视场内。替代地，在一些实施例中，如在步骤514中，增强现实设备100可被配置为将虚拟器官对象1100附接(在AR技术领域中也称为“配准(register)”)至物理对象，诸如患者的解剖结构1300(例如，心脏或胸)，如图13中看到的。当虚拟器官对象1100被附接/配准至患者的解剖结构1300时，用户1102远离患者的解剖结构1300的移动(例如，医师离开外科手术室1200)导致虚拟器官对象1100移动离开用户1102的视场。即，为了提供与真实世界对象交互的虚拟对象的外观和感觉(look-and-feel)，设备100可被配置为将虚拟对象附接至真实世界对象。这可加强医师与虚拟器官对象1102的沉浸式体验。

在一些实施例中，设备100可被配置为允许用户1102提供在附接模式与非附接模式之间选择的用户输入。在进一步实施例中，设备100可被配置为允许用户1102提供选择真实世界对象以附接虚拟器官对象1100的用户输入。在又其他实施例中，设备100可被配置为提供这些特征作为默认不可选择的特征。有利地，通过允许医师在医疗手术进程期间在他/她的视场内查看视觉引导，医师可不需要依赖现有的抬头监视器，该抬头监视器需要医师不断地将视线从外科手术室1200中的患者1302身上移开。

如本文所使用的，术语“外科医生”和“医师”可被互换地使用，并且旨在指示医疗从业者。进一步地，术语“外科手术室”和“医疗手术进程室”可被互换地使用，并且旨在指示区域或室，在该区域或室中医疗/外科手术进程(例如，PV阻塞、消融、LAA封闭等)被执行或将被执行，视情况而定。

此外，来自穿刺系统300、控制单元304和/或导管医治设备400的传感器数据可由增强现实设备100在医师的视场内显示并且覆盖真实世界环境。在手术进程期间，诸如例如温度读数、压力、电属性等的数据可由设备100实时地显示，以便于帮助医师为医师提供对手术进程的疗效的实时评估，由此使得该医师可以在必要情况下赶紧地(on-the-fly)调整他/她的方法。

可与本发明的实施例一起使用各种用于配准虚拟对象的各种已知技术。例如，在一个实施例中，设置在增强现实设备100上或嵌入至增强现实设备100内的面朝外的视频相机可捕获用户的真实世界环境的视图的视频。视频数据可由处理器210分析以标识用户的视场中的真实世界对象。相应地，虚拟器官对象1100可基于标识的真实世界对象(例如，患者)的位置而被呈现。真实世界对象的移动也可由相机和处理器210跟踪，由此使得虚拟器官对象1100的移动可被标测至真实世界对象的移动。本公开的实施例可使用现有的增强现实设备，诸如，例如微软(Microsoft)的全息眼镜(hololens)。本公开的多个方面可包括软件代码(或其他计算机可执行指令，例如，心脏增强现实模块202)，其被配置为使用设备100来标识真实世界患者、覆盖基于患者的术前图像数据创建的虚拟器官对象1000和/或将虚拟器官对象1100批准至患者的解剖结构1300。

在进一步实施例中，在步骤516中，医治设备400在外科手术期间的移动可被跟踪。可与本公开的实施例一同使用用于跟踪患者的心脏内的医疗设备的移动或标识患者的心脏内的医疗设备的位置的已知技术。此类技术包括，例如，使用射线不透明的对比剂来实现对目标组织的射线成像，使用术中视频图像数据(例如，内窥镜)，使用医治设备400上的其他术中传感器(例如，压力传感器326)等等。来自术中成像技术的数据可被用于跟踪医治设备400在患者的心脏内的移动。在优选的实施例中，医治设备400的实时移动被跟踪。在又进一步实施例中，在外科手术进程期间在虚拟器官对象1100上显示所跟踪的医治设备400的移动(在步骤518中)，以用于为医师提供医疗设备500相对于目标医治解剖结构的位置的实时反馈。与所选择的穿刺位置和轨迹的视觉引导(例如，线、箭头、形状等)相似地，所跟踪的医疗设备500的移动可在虚拟器官对象1100上被显示，不同之处在于所跟踪的移动的图形表示应当被绑定至医治设备400的心内移动。

已在本文描述了用于优化介入心脏病学工具的定向接近和治疗递送的增强现实解决方案的系统、设备和方法。应当理解的是，虽然本公开的实施例是在某些心内医疗手术进程的情景中被描述的，但是在本公开的其他实施例中，本文描述的技术与其他医疗设备和手术进程一起也可以是有用的。

在上文的描述中，应当理解本文中所使用的术语仅出于对特定实施例进行描述的目的，而并不旨在进行限制。如本文所使用的，术语“一(a/an)”被限定为一个或不止一个。如本文所使用的，术语“多个”被限定为两个或不止两个。如本文所使用的，术语“另一”被限定为至少第二个或更多个。如本文所使用的，术语“包括”和/或“具有”被限定为包括(即，开放语义)。如本文中所使用的，术语“耦合的”被定义为连接的，尽管不一定是直接连接的，也不一定是机械连接的。术语“提供”在本文以其宽泛的意义被限定，例如，一次性或一时间段中整体地或分多个部分地实现物理存在/变得物理存在、使得可用和/或向某人或某物供应。进一步地，除非另有说明，诸如“第一”、“第二”、“第三”等的术语仅用于描述性目的，并且不应当被解释为指示或暗示相对重要性。

在对本发明的实施例的描述中，应当注意的是，除非另有明确限定和限制，否则诸如“安装的”、“耦合的”、“连接的”之类的术语应当被宽泛地解释，例如，它可以是固定地连接，或可以是可拆卸地连接，或整体地连接；它可以是机械地连接、或可以是电连接；它可以是直接连接，或可以是经由中间介质间接地连接。如本文所使用的，术语“约”或“大约”适用于所有数字值，无论是否明确地指示。这些术语通常指本领域技术人员将认为是与所述的值等效的数字的范围(即，具有相同的功能或结果)。在许多实例中，这些术语可包括被四舍五入至最接近的显著数字的数字。如本文所使用的，术语“程序”、“软件应用”等被限定为被设计以用于在计算机系统上执行的指令的序列。“程序”、“计算机程序”或“软件应用”可包括子例程、功能、进程、对象方法、对象实现、可执行应用、小程序、小服务程序(servlet)、源代码、对象代码、共享库/动态加载库、和/或设计以用于在计算机系统上执行的指令的其他序列。本领域技术人员可根据特定环境理解上述术语在本发明的实施例中的特定含义。

本领域技术人员应当理解，本发明不限于以上在本文中已具体示出并描述的内容。此外，除非作出与以上相反的提及，应该注意所有附图都不是按比例的。在以上教导的启示下各种修改和变型是可能的，而不会背离本发明的范围和精神，本发明只受所附权利要求书限制。

Claims (14)

1.一种增强现实系统，其特征在于，包括：

增强现实显示系统，所述增强现实显示系统被配置为被穿戴在用户的头部上并且接近所述用户的眼睛；以及

处理电路系统，所述处理电路系统与所述增强现实显示系统通信，所述处理电路系统被配置为：

基于患者的心脏的图像数据提供所述患者的所述心脏的三维模型；

基于对所述患者的所述心脏的所述三维模型的分析，标识与相对于所述患者的辅助目标解剖结构的第二位置的所述患者的至少一个目标医治解剖结构的第一位置对应的定位数据；

基于所述患者的所述至少一个目标医治解剖结构相对于所述患者的辅助目标解剖结构的所述第二位置的标识的定位数据，选择穿刺位置；并且

由具有增强现实显示系统的增强现实设备经由所述增强现实显示系统显示覆盖真实世界环境的虚拟器官对象，所述虚拟器官对象与所述患者的所述心脏的所述三维模型对应并且视觉地指示所选择的穿刺位置，所述虚拟器官对象和所述真实世界环境的至少一部分中的每一者是由所述增强现实显示系统的用户经由所述增强现实显示系统同时地能查看的。

2.根据权利要求1所述的系统，其特征在于：

所述定位数据与医疗设备从所述辅助目标解剖结构到所述至少一个目标医治解剖结构的计算机生成的轨迹相关联；并且

所述医疗设备包括来自由导管和左心耳封闭组成的群组中的至少一个。

3.根据权利要求1-2中任一项所述的系统，其特征在于：

所述图像数据包括所述患者的所述心脏的术前图像数据，所述术前图像数据与来自由所述患者的所述心脏的MRI、X光、超声、荧光检查、心电图、电解剖标测、以及CT扫描组成的群组中的至少一个相关联。

4.根据权利要求1-3中任一项所述的系统，其特征在于，所述处理电路系统被进一步配置为：

在外科手术期间实时地跟踪医疗设备在所述患者的所述心脏内的心内移动；并且

经由所述增强现实显示系统在所述外科手术期间显示的所述虚拟器官对象上显示所述医疗设备的跟踪的心内移动的视觉指示。

5.根据权利要求4所述的系统，其特征在于，所述医疗设备的所述跟踪的心内移动的所述视觉指示与所述所选择的穿刺位置的所述视觉指示是经由所述增强现实显示系统同时地能查看的。

6.根据权利要求1-5中任一项所述的系统，其特征在于：

所述真实世界环境和所述虚拟器官对象是经由所述增强现实显示系统在所述用户的单个视场内同时地能查看的。

7.根据权利要求1-6中任一项所述的系统，其特征在于，选择所述穿刺位置进一步包括：

标识第一候选穿刺位置和第二候选穿刺位置；

确定从所述第一候选位置到所述至少一个目标医治解剖结构的第一轨迹，以及从所述第二候选穿刺位置到所述至少一个目标医治解剖结构的第二轨迹；

基于和所述第一轨迹相关联的至少第一值与和所述第二轨迹相关联的至少第二值的比较，选择所述穿刺位置；以及

在所述显示系统中显示的所述虚拟器官对象上一同视觉地指示所述第一轨迹和所述第二轨迹中与所选择的穿刺位置相关联的的一个轨迹以及所述所选择的穿刺位置的视觉指示。

8.根据权利要求7所述的系统，其特征在于，被比较的所述第一轨迹的所述至少第一值和所述第二轨迹的所述至少第二值包括：分别与所述第一轨迹和所述第二轨迹相关联的角度和距离中的至少一个。

9.根据权利要求7所述的系统，其特征在于，所述第一轨迹和所述第二轨迹中与所述所选择的穿刺位置相关联的的所述一个轨迹的视觉指示包括：遵循所述第一轨迹和所述第二轨迹中的所述一个轨迹的路径的线。

10.根据权利要求1-9中任一项所述的系统，其特征在于，所述用户是医疗从业者；所述真实世界环境是用于在所述患者身上进行操作的外科手术室；并且所述显示是在所述外科手术室内在外科手术进程期间被执行的。

11.根据权利要求1-10中任一项所述的系统，其特征在于，所述处理电路系统被进一步配置为：

确定要在所述显示系统中显示的所述患者的所述心脏的横截面视图；并且

经由所述增强现实显示系统将所述心脏的确定的横截面视图显示作为所述虚拟器官对象。

12.根据权利要求1-11中任一项所述的系统，其特征在于，所述处理电路系统被进一步配置为：

接收要在所述患者的所述心脏上执行的外科手术进程的用户选择；并且

基于要在所述患者的所述心脏上执行的所述外科手术进程的所述用户选择，确定要在所述显示系统中显示的所述患者的所述心脏的横截面视图；并且

经由所述增强现实显示系统将所述心脏的确定的横截面视图显示作为所述虚拟器官对象。

13.根据权利要求1-12中任一项所述的系统，其特征在于，所述辅助目标解剖结构是卵圆窝，并且所述至少一个目标医治解剖结构是来自由肺静脉和左心耳组成的群组中的至少一个。

14.根据权利要求13所述的系统，其特征在于，选择所述穿刺位置进一步包括：

基于从所述卵圆窝上的位置到来自由所述肺静脉和所述左心耳组成的群组中的所述至少一个的计算机生成的轨迹，选择所述穿刺位置；并且

在经由所述增强现实显示系统显示的所述虚拟器官对象上的所述所选择的穿刺位置的所述视觉指示包括：所述计算机生成的轨迹的视觉指示。

Images