CN110177500B - 组织模型动态视觉渲染 - Google Patents

Abstract

本文披露了一种用于在导管插入手术期间在组织表面的3‑D模型上图形地呈现指示标记的方法，所述方法包括：在所述3‑D模型上确定区域；使所述指示标记变形以跨所述区域在多个位置处与由所述3‑D模型限定的形状和谐匹配；并且通过生成由所述变形的指示标记覆盖的所述3‑D模型的图像来将所述3‑D模型渲染成包含所述变形的指示标记的图像。

Description

组织模型动态视觉渲染

相关申请

本申请根据35 USC§119(e)要求于2016年11月16日提交的美国临时专利申请号62/422,708、2016年11月16日提交的美国临时专利申请号62/422,705、以及2016年11月16日提交的美国临时专利申请号62/422,713的优先权权益；这些申请的全部内容通过援引并入本文。

技术领域

在本发明的一些实施例中，本发明涉及用于辅助外科医生进行导管插入手术的系统和方法，更具体地但非排他地涉及利用动态视觉表示的此类系统和/或方法。

美国专利申请公开号2003/074011披露了“一种用于在体内医疗手术期间显示身体的至少一个兴趣点的方法”。所述方法通过以下过程来完成：(a)确立身体的位置；(b)确立用于对身体的至少一部分进行成像的成像仪器的位置；(c)限定与成像仪器的投影平面相关的至少一个投影平面；(d)获取身体的至少一个兴趣点；并且(e)将所述至少一个兴趣点投影在所述至少一个投影平面上；使得在手术过程中，知晓身体和成像仪器的位置，由此甚至在身体和成像仪器的相对位置改变的情况下，至少一个兴趣点也可投影在至少一个投影平面上。”

发明内容

根据本披露的一些实施例，提供了一种用于在使用导管探针的导管插入手术期间在组织表面的3-D模型上图形地呈现指示标记的方法，所述方法包括：在所述3-D模型上确定区域；使所述指示标记变形以获得变形的指示标记，所述变形的指示标记跨所述区域在多个位置处与由所述3-D模型限定的形状和谐匹配；并且通过生成跨过由所述多个位置限定的所述区域被所述变形的指示标记覆盖的所述3-D模型的图像，来将所述3-D模型渲染成包括所述变形的指示标记的图像。

在一些实施例中，所述指示标记指示了从沿着所述导管探针的位置看到的视野，所述位置是由所述导管探针的远端的测得位置和面向方向确定的。

在一些实施例中，所述指示标记的外观指示了所述导管探针相对于所述组织表面的相对位置，所述相对位置是基于所述导管探针的远端相对于所述组织表面的测得位置和面向方向确定的。

在一些实施例中，所述区域的大小指示了所述导管探针与所述组织表面之间的距离。

在一些实施例中，所述指示标记的可见性指示了所述导管探针与所述组织表面之间的距离。

在一些实施例中，所述区域的纵横比指示了所述导管探针与所述组织表面之间的取向。

在一些实施例中，在所述导管插入手术的至少一部分持续时间内迭代地执行所述确定、所述变形、以及所述渲染。

在一些实施例中，所述呈现以每秒10帧或更大的帧速率更新。

在一些实施例中，所述指示标记指示了计划路径。

在一些实施例中，所述指示标记指向选定目标部位的方向。

在一些实施例中，所述方法进一步包括：标识出应呈现所述指示标记，所述标识是基于与在所述导管插入手术期间期望获取的输入预先关联的规则来进行的。

在一些实施例中，所述输入包括导管探针导航过程的被标识开始。

在一些实施例中，所述输入包括消融的被标识开始。

根据本披露的一些实施例，提供了一种用于在导管插入手术期间图形地呈现组织区域的3-D模型的方法，所述方法包括：估计所述导管插入手术对所述组织区域的估计影响；基于所述估计影响来计算有待在所述3-D模型上标记的区域的形状、大小、以及位置；基于所述估计影响来选择至少一种材料外观特性；并且跨所述有待标记的区域使用所分派的材料外观特性来渲染所述3-D模型以呈现所述估计影响。

在一些实施例中，所述估计影响包括以下至少一种：所述组织区域的估计的温度变化、估计的形状变化、以及估计的大小变化。

在一些实施例中，所述计算形状包括计算消融点的面积。

在一些实施例中，所述计算形状包括计算消融点的深度。

在一些实施例中，所述计算形状包括计算多个消融点的路径。

在一些实施例中，选择所述材料外观特性以将所述组织的状态可视化。

在一些实施例中，所述材料外观特性包括以下各项组成的组中的至少一个的变化：反射、吸收、散射、半透明度、纹理、以及其任何组合。

在一些实施例中，所述估计包括呈现所述估计影响随时间的变化。

在一些实施例中，随着时间推移来重新计算所述形状。

在一些实施例中，所述形状和所述材料外观特性指示了损伤制造效果的增大扩散。

根据本披露的一些实施例，提供了一种用于在导管插入手术期间视觉地渲染组织区域的3-D模型以指示导管探针的位置和面向方向的方法，所述方法包括：确定所述导管探针的远端相对于所述组织区域的所述位置和面向方向；并且将所述3-D模型渲染成包括第一指示标记的模拟物，所述第一指示标记被模拟在由所述3-D模型限定的表面部分的位置，其中，所述位置还沿着从所述确定的位置向远侧延伸且在所述导管的所述远端的所述确定的面向方向上的轴线定位。

在一些实施例中，所述方法进一步包括：将所述3-D模型渲染成包括第二指示标记的模拟物，所述第二指示标记被模拟在由所述3-D模型限定的第二表面部分的位置，其中，第二表面部分占据所述3-D模型的最靠近所述导管的所述远端的预限定部分的表面位置。

在一些实施例中，当所述远端的所确定位置指示与由所述3-D模型限定的表面相接触时，所述第一指示标记和所述第二指示标记被一起渲染为单一指示标记。

在一些实施例中，所述指示标记中的至少一个指示标记的形状和位置被确定成与对应的所述3-D模型表面部分和谐匹配。

在一些实施例中，所述3-D模型被渲染为是从包含所述组织区域的器官外的视点看到的。

在一些实施例中，所述3-D模型被渲染为是从包括所述组织区域的器官内的视点看到的。

在一些实施例中，所述组织区域包括体腔。

在一些实施例中，所述3-D模型被渲染为是从与所述导管探针的所述远端偏离的视点看到的。

在一些实施例中，在所述导管插入手术的至少一部分期间，迭代地提供所述确定和所述渲染。

在一些实施例中，所述方法进一步包括：同时呈现所述3-D模型的两个或更多个视图，每个视图来自不同的视点，这些不同的视点包括在包含所述组织区域的器官内的第一视点以及在所述器官外的第二视点。

在一些实施例中，这两个呈现均包含所述第一指示标记。

在一些实施例中，模拟至少一个指示标记作为对所述3-D模型表面的照射。

在一些实施例中，所述照射被模拟为模拟照射束是不均匀的。

在一些实施例中，根据所述导管探针相对于所述组织区域的位置和面向方向来计算所述照射的中心。

在一些实施例中，通过增大所述束的中心处的照射强度来图形地呈现所述照射中心。

在一些实施例中，所述方法进一步包括：模拟从与所述导管探针的远端的位置不同的位置进行照射的第二照射源。

在一些实施例中，所述方法进一步包括：模拟第二照射源，所述第二照射源沿与所述导管探针的远端的面向方向不同的方向进行照射。

在一些实施例中，模拟所述第二照射源作为环境光源。

在一些实施例中，所述渲染包括选择所述组织区域的表面的材料外观，所述材料外观被模拟为受到所述照射的影响。

在一些实施例中，所述渲染包括：将所述组织区域渲染为对所述模拟照射是至少部分地半透明的。

根据本披露的一些实施例，提供了一种用于在导管插入手术期间自动地修改呈现了组织区域的3-D模型的图像的方法，所述方法包括：将多个条件中的每个条件与呈现3-D模型的对应图像相关联；标识所述多个条件中的一个条件的开始；响应于标识所述一个条件的开始来自动地显示与所述一个条件相关联的所述图像。

在一些实施例中，所述条件包括导管探针的远端与组织表面之间的距离小于预设阈值。

在一些实施例中，所述条件包括所述组织表面包含目标部位。

在一些实施例中，所述条件包括改变了导管探针的操作状态。

在一些实施例中，所述条件包括检测到导管探针的远端与所述组织区域的表面的接触。

在一些实施例中，所述图像包括组织深度的截面视图。

在一些实施例中，所述图像包括所述3-D模型的放大。

在一些实施例中，在所述放大期间，跨所述3-D模型的区域来渲染指示标记。

在一些实施例中，所述图像包括所述3-D模型的多个图像，每个图像是从不同的视点看到的。

根据本披露的一些实施例，提供了一种用于渲染在使用导管探针的导管插入手术期间呈现的器官的内部环境的组织表面的模型的方法，所述方法包括：接收指示所述导管探针的远端相对于所述组织表面的位置和面向方向的数据；并且将所述模型渲染成从在所述器官内且与沿着所述导管探针的任何位置不同的观察位置获得的图像。

在一些实施例中，所述渲染进一步包括：产生所述导管探针的所述远端的至少一部分的图形呈现。

在一些实施例中，所述远端被呈现在所述位置处并且面向所述面向方面。

在一些实施例中，所述位置离所述组织表面比离所述导管探针的所述远端更远。

在一些实施例中，所述方法进一步包括：接收来自安装在所述导管探针上的电极的电读数，所述电读数指示所述组织表面的3-D结构已经变成第二结构。

在一些实施例中，所述方法进一步包括：修改所述图像以呈现所述组织表面的所述第二结构。

根据本披露的一些实施例，提供了一种用于在导管插入手术期间图形地呈现指示标记的系统，所述系统包括计算机电路系统，所述计算机电路系统被配置用于：接收身体组织区域的3-D模型；确定所述指示标记相对于所述3-D模型的多个位置；并且呈现所述3-D模型的至少一部分的图像，所述至少一部分由被变形成与所述3-D模型在所确定位置处和谐匹配的所述指示标记部分地覆盖。

在一些实施例中，所述电路系统被配置用于使用图形游戏引擎来使所述指示标记变形。

在一些实施例中，所述系统进一步被配置用于感测指示导管探针的远端的位置和面向方向的数据。

在一些实施例中，所述电路系统被配置用于根据所述导管探针的所述远端的所述位置和面向方向来确定所述多个位置。

在一些实施例中，所述系统包括被配置用于显示所呈现图像的显示器。

在一些实施例中，所述计算机电路系统被配置用于产生所述3-D模型。

在一些实施例中，所述3-D模型是使用从体内探针获得的数据来产生的。

在一些实施例中，所述3-D模型是使用图像数据来产生的。

在一些实施例中，所述计算机电路系统被配置用于呈现具有在所述导管插入手术期间利用所述治疗元件的指示的图像。

除非另外定义，否则在此使用的所有技术术语和/或科学术语具有与本发明所属领域的普通技术人员通常理解的含义相同的含义。虽然可以使用与在此描述的那些类似或等同的方法和材料来实践或试验本发明的实施例，但是下文描述了示例性方法和/或材料。如有冲突，本专利说明书、包括定义将占先。此外，所述材料、方法和实例仅是说明性的、并非旨在进行必要性限制。

本发明的实施例的方法和/或系统的实现方式可以涉及手动地、自动地或以其组合方式执行或完成所选任务。此外，根据本发明的方法和/或系统的实施例的实际仪器和设备，所选的若干任务可以通过硬件、软件、或固件或其组合方式使用操作系统来实现。

例如，根据本发明的实施例的用于执行所选任务的硬件可以被实现为芯片或电路。作为软件，根据本发明的实施例的所选任务可以被实现为由计算机使用任何适合的操作系统来执行的多个软件指令。在本发明的示例性实施例中，根据本文描述的方法和/或系统的示例性实施例的一个或多个任务由数据处理器、比如用于执行多个指令的计算平台来执行。可选地，数据处理器包括用于存储指令和/或数据的易失性存储器，和/或用于存储指令和/或数据的非易失性存储器、例如磁性硬盘和/或可移除介质。可选地，还提供网络连接。还可选地提供显示器和/或用户输入装置、比如键盘或鼠标。

附图说明

在此仅通过举例的方式参考附图来描述本发明的一些实施例。现在详细地具体参考附图，所强调的是，所示的细节是示例性的、并且是出于阐释讨论本发明的实施例的目的。在这方面，结合附图进行的描述使得本领域技术人员清楚可以如何实践本发明的实施例。

在附图中：

图1A至图1E是流程图，展示了根据本发明的一些实施例的用于渲染并修改如本文描述的组织模型的视觉呈现的示例性过程，其中，图1A例示了用于渲染3-D组织模型上的模拟指示标记的过程；图1B例示了基于所估计数据来渲染几何组织模型的过程；图1C例示了通过渲染3-D组织模型为导管提供参考点的过程；图1D例示了用于自动修改用于呈现3-D组织模型的图像的过程；并且图1E例示了用于渲染3-D模型的视点；

图2是流程图，展示了根据本发明的一些实施例的可以受益于使用如本文描述的视觉渲染和显示的示例性医疗过程；

图3A至图3D示出了根据本发明的一些实施例的从两个示例性视点渲染后的3-D模型、以及对照射的模拟，其中，图3A展示了导管的面向静脉的拍摄装置视图；图3B展示了图3A中的导管位置的器官外视图；图3C展示了导管的面向心脏内壁的拍摄装置视图；图3D展示了图3C中的导管位置的器官外视图；

图4A至图4B示出了根据本发明的一些实施例对手电筒特征的模拟，其中，图4A展示了拍摄装置视图，并且图4B展示了器官外视图；

图5A至图5D示出了根据本发明的一些实施例对形状特异性指示标记特征的模拟，其中，图5A展示了在第一表面上的投影；图5B展示了在第二表面上的投影；图5C展示了在第三表面上的投影；图5D展示了在第四表面上的投影；

图5E至图5G展示了指示标记的多种不同的示意性变形和与表面的和谐匹配；

图6A至图6F示出了根据本发明的一些实施例对于标识目标并开始消融的模拟，其中，图6A示出了左心房内视图；图6B示出了左上肺静脉和左下肺静脉；图6C例示了计划消融路径的标识；图6D例示了计划消融子区域等细节的外观；图6E例示了将导管朝向子区域引导；并且图6F例示了在消融过程期间视点的转移；

图7A至图7F例示了根据本发明的一些实施例的对子区域进行消融的视点，其中，图7A例示了接近目标子区域的导管；图7B例示了子区域的表面被导管的接触力推动；图7C例示了组织表面在变热；图7D例示了组织深度在变热；图7E例示了组织变得有瘢痕；并且图7F例示了导管从经治疗的子区域撤回；

图8例示了根据本发明的一些实施例的消融区概览模拟；并且

图9A至图9G例示了神经节的子区域消除，其中，图9A至图9D例示了单一子区域消融模拟，示出了神经节消融作为实例；并且图9E至图9G例示了根据本发明的一些实施例的通过注射消除物质而进行的神经节消除，其中，图9A例示了标识目标；图9B例示了接触目标；图9C例示了组织加热；并且图9D例示了瘢痕形成；并且其中，图9E例示了注射器进入目标中；图9F例示了初始注射阶段；并且图9G例示了后期注射阶段；

图10A至图10B例示了根据本发明的一些实施例的验证过程，其中，图10A例示了验证手术的模拟；并且图10B例示了与实际手术相比的预制计划的概览；

图11示意性地表示根据本披露的一些实施例的包含在显示系统的交互分析器中和/或被交互分析器使用的软件部件和数据结构；

图12示意性地表示根据本披露的一些实施例的用于操作来管理场景元素并将其渲染成运动帧速率图像的图形游戏引擎的部件、输入和输出；并且

图13是根据本披露的一些实施例的显示系统的示意性表示，所述显示系统被配置用于显示导管探针与身体组织区域之间的相互作用和/或其效果；

图14A是根据本披露的一些实施例的示意性地描述心脏消融手术的流程图，其中将指示标记放在3-D模型上，所述模型是从在手术过程本身期间获得的数据形成的；

图14B至图14E示出了根据本披露的一些实施例的右心房和包括上腔静脉和下腔静脉的连接血管的模型的术中迭代重建的阶段；并且

图15展示了根据本披露的一些实施例使用指示标记来显示位于体腔的3-D模型内的探针的尖端的当前位置。

具体实施方式

在本发明的一些实施例中，本发明涉及用于辅助外科医生进行导管插入手术的系统和方法，更具体地但非排他地涉及利用动态视觉表示的此类系统和/或方法。

综述

本发明的一些实施例的方面涉及一种用于辅助医疗手术的用户界面，以可选地基于导管探针相对于被建模组织的位置和/或操作，通过更新用于渲染组织的3-D模型的外观和/或图像来引导外科医生。

在一些实施例中，用户界面被配置用于可选地在导管插入术过程期间显示被变形以匹配组织表面的3-D模型的指示标记。在一些实施例中，所述指示标记标记了从沿着导管探针的位置看到的视野的一部分。可选地，为指示标记分派图形对象。例如，可以将具有限定的视觉外观特性(例如形状、颜色、纹理等)的图形对象分派给用于标记消融部位的标记。在一些实施例中，跨所述3-D模型的区域来渲染所述图形对象，使对象变形而与模型的3-D几何表面和谐匹配。在一些实施例中，和谐匹配包括：使图形对象变形以与3-D模型跨过待标记的所确定区域在多个位置处匹配。

如在此使用的，术语“指示标记”是包含在图像中的任何图形对象，用作测得的和/或计算出和/或估计的数据的视觉指示符。例如，指示标记可以是指示导管探针的测得位置和/或取向的图标。在另一个实例中，指示标记可以是表示基于消融参数计算出的散热的标记。在又一个实例中，指示标记可以是指示消融手术的估计效果(比如，估计的瘢痕)的指示性视觉标志(例如，图标)。

在一些实施例中，图形对象包括图标和/或符号、和/或字符、和/或图片、和/或标志、和/或视觉指示符、和/或标记。可选地，指示标记包括过区域在3-D模型上的界线。在一些实施例中，跨所界定的区域来渲染3-D模型以视觉地表示经修改的外观。替代性地或此外，指示标记与模型的3-D形状和谐匹配，从而产生患者特异性标记。

术语“模拟”及其变化形式(例如，所模拟的、模拟等)在此是指在导管插入术期间模仿患者的组织或器官的操作。模拟组织或器官的行为是基于模型。模型可以包括结构模型(例如，3-D解剖学模型)和功能模型。功能模型可以针对在常规条件下、以及在手术期间可能演变的条件下在3-D解剖学模型中随时间发生的变化提供规则。模拟可以由运动帧速率实时显示来表示，示出了以指示组织或器官在显示之时所经历的变化的方式随时间变化的图形图像。可以记录在导管插入过程期间演变的显示和/或条件，以允许例如在手术结束后离线地重放模拟，例如用于研究如何进行类似的手术以获得类似或更好的结果。

在一些实施例中，被建模组织是患者器官的内部环境、可能是内腔。在一些实施例中，器官是心脏，并且可选地，内腔是心脏的静脉和/或动脉。替代性地或此外，内腔是心房和/或心室。替代性地或此外，所建模组织包括患者器官的外形。在一些实施例中，基于从患者获取的成像数据(例如，通过磁共振成像(MRI)和/或计算机断层摄影(CT)、和/或通过超声(US)和/或通过核医学(NM)获取的成像)来获得3-D模型。替代性地或此外，通过测量组织的热特性和/或介电特性来获取数据。可选地，通过呈现多个数据输入的网格来提供组织的初始3-D模型。在一些实施例中，导管插入手术包括导管探针在患者身体和/或器官内的导航。替代性地或此外，导管插入手术包括消融过程。替代性地或此外，导管插入手术包括消融过程的计划(可选地，预先计划；即，在导管插入术本身之前进行计划)。

在一些实施例中，通过生成跨过由所确定的多个位置限定的所述区域被变形的指示标记覆盖的所述3-D模型的图像，来将所述3-D模型渲染成包括所述变形的指示标记的图像。在一些实施例中，生成被指示标记覆盖的图像包括：在指示标记中与3-D模型的经渲染图像混合。替代性地或此外，生成被指示标记覆盖的图像包括：渲染正好在被建模组织的表面下方的指示标记，如通过将所述表面渲染成至少部分地透明所示。

在一些实施例中，用于渲染3-D模型的视点与指示标记所指示的视点偏离。例如，当指示标记意味着沿着导管探针定位的视点时，用于渲染3-D模型的视点可以与导管探针的位置偏离，就好像“第三人”看到的。可选地，“第三人”的视野可以包含指示标记和导管探针的至少一部分远端(即，患者的包括一个或多个目标部位的区域内的这端)两者。

在一些实施例中，至少部分地基于来自在导管插入手术期间工作的一个或多个测量源的数据输入，来至少部分地确定用于在3-D模型上渲染指示标记的区域。在一些实施例中，被渲染区域是基于图形对象从视点位置到被建模组织表面上的模拟投影。可选地，视点位置被确定为与导管探针的测得的和/或估计的和/或计算出的位置和/或面向方向(例如，沿着探针的远侧部分的纵向轴线的远侧方向)和/或取向偏离。可选地，视点位置被确定为相对于其面向的组织离导管的远端更远。

可选地，相对于被建模组织来确定导管探针的位置和/或面向方向和/或取向。替代性地或此外，使用比如房间和/或手术场所的静止环境来确定导管探针的位置和/或面向方向和/或取向。可选地，确定导管探针的远端的位置和/或面向方向和/或取向。

在一些实施例中，图形对象的外观指示了导管探针与组织表面之间的空间关系。可选地，外观包括大小、和/或纵横比、和/或可见性、和/或颜色、和/或透明度、和/或反射率。在一些实施例中，空间关系用距离和/或相对倾斜角表达。

在一些实施例中，图形对象的外观可以取决于导管探针相对于组织表面的位置和/或取向，使得外科医生可以根据图形对象的外观来推断出位置和/或取向。例如，在一些实施例中，待标记的区域的大小指示了导管探针(可选地其远端)与组织表面之间的测得距离和/或估计距离。

例如，较短的距离可以由较大的区域大小指示，和/或较大的距离可以由较小的区域大小指示。区域大小与距离反相关的潜在优点在于，通常通过物体看似比从较大距离处观察时更大而直观地感知到较短的距离。替代性地或此外，区域的形状指示了探针相对于组织表面的相对取向。可选地，导管探针相对于组织表面的相对取向是由导管的面向方向与其面向的组织表面的平均方向之间的角度限定的。在一些实施例中，图形对象的拉伸程度指示相对方向。例如，未拉伸的图形对象(例如，纵横比约为1)可以指示探针与组织表面之间的垂直性，而拉伸的图形对象可以指示例如当导管沿着内腔延伸时，导管探针基本上平行于壁。

在一些实施例中，图形对象的可见性对应于导管探针的位置和/或面向方向。在一些实施例中，可见性涉及所呈现的图形对象的强度水平和/或对比度和/或清晰度。例如，当图形对象被模拟为投影在组织壁上时，图形对象的可见性的强度水平可以对应于组织壁与导管探针之间的距离，所述距离可选地由组织壁的平均表面与导管探针的远端之间的距离确定。

可选地，在导管插入手术的至少一部分持续时间期间，迭代地提供：确定待标记的区域、跨这个区域使图形对象变形、并且在这个区域中对模型进行渲染。例如，可以根据导管探针与组织表面之间的空间关系的变化，来在手术期间改变图形对象的外观和/或大小。

在另一个实例中，对整个组织中的散热的实时测量可以修改待标记的区域的大小和/或形状，并因此修改图形对象在修改后区域上的变形。替代性地，估计散热而不是测量。在一些实施例中，根据估计的效果，随时间地呈现：确定待标记的区域、跨这个区域使图形对象变形、并且在这个区域中对模型进行渲染。例如，一旦已经执行了消融，就估计组织加热、之后的组织冷却和/或结疤的效果，并且可以从消融的开始和/或完成随时间推移来呈现这种估计效果。

可选地或此外，在手术期间，可以通过标识预设规则来标识出；应呈现指示标记。例如，一些指示标记可以预设为仅在心脏内导航期间出现，因此当导管探针进入心脏时，可以标识出要呈现这样的指示标记，并且当导管探针从心脏退出时，这样的指示标记消失。例如，在一些实施例中，指示标记可以与检测导管探针的导航过程的开始预先关联、并且可以仅在检测到的导航期间呈现给外科医生。

在一些实施例中，标识出要呈现某个指示标记的规则与预期在导管插入手术期间获取的输入(例如指示导管被导航、在接近壁、对组织进行消融等的输入)预先关联。在一些实施例中，在导管插入手术期间动态地获取与指示标记的呈现预先关联的输入，使得例如当导航结束时，仅待在导航期间呈现的标记将消失。在一些实施例中，规则局限于与导管探针的位置和/或面向方向和/或操作状态相关联。

在一些实施例中，与呈现指示标记预先关联的输入包括消融的开始。可选地，检测消融开始可以与呈现图形对象、和/或与移除图形对象的视觉呈现相关联。在一些实施例中，基于目标部位的计划数据，可选地通过视觉地表示计划消融路径和/或消融标记，来标记消融部位。在一些实施例中，当检测到消融开始时，和/或当标识在消融目标部位附近的导航时，跨过3-D模型中的区域来渲染至少一个图形对象。

可选地，多个图形对象表示消融部位。

本发明的若干实施例的方面涉及基于导管插入手术的估计效果来渲染3-D模型的外观。在一些实施例中，估计效果可以包括例如组织加热、冷却和/或肿胀；和/或组织加热、和/或组织冷却、和/或组织肿胀的程度。在一些实施例中，基于估计效果、可选地通过估计所述效果在3-D模型上的形状和/或大小和/或位置，来确定要在3-D模型上标记的区域。

在一些实施例中，仅在待标记的区域中渲染3-D模型的通过估计效果所调整的外观。可选地，渲染3-D模型的外观包括可选地从数据库中选择至少一种材料外观特性(MAP)。在一些实施例中，渲染外观包括渲染由3-D模型限定的3-D表面的图像以进行视觉显示。例如，与使用不符合所建模的形状的图标进行标签化相比，操纵3-D模型的表面外观的潜在优点是以更快速理解的、更直观和/或更容易解释的方式呈现所呈现数据。靠近由操作者用来引导体内探针的显示器、和/或提高由和/或通过探针执行的动作(例如，接触和/或治疗管理)的准确度和/或精确度与在心脏壁上的位置相关联。

还存在减少误差和/或模糊性的可能性，和/或增大体内探针相对于由顺应表面的标记(例如，通过改变3-D模型的一部分的表面的外观而实现的标记)指示的目标的导航准确度的可能性。只要在同一表面上渲染表面标记和表面状态指示(例如，而不是一个漂浮在另一个上方或以其他方式与另一个模糊相关)，就潜在地可能对于调整和/或要进行的调整的需要进行精细区分：例如，更精确地判断和/或选择相邻的现有的、计划的和/或选定的损伤部位之间的重叠程度。

可选地，基于标记的外观，移动或计划中的校正动作调整与所标记的组织表面的相互作用。例如，在接近标记时，体内探针的操作者可以调整导航动作以考虑表面的取向。更具体地说，如果被建模的3-D表面不与观察轴线(例如，从探针的视点)正交，则固定大小标记(例如，指示了沿着探针当前方向延伸的轴线与被建模的3-D表面的交叉点的固定大小标记)可能看起来沿着一条轴线压缩。此外或替代性地，当探针不与表面正交时，类似探照灯的标记(例如，被渲染以模拟从探针的远端并沿着其纵向轴线发射的固定角度光束)从与纵向轴线成角度的视点看，在表面上表现为非圆形。正交接触(例如)对于比如注射和/或消融等一些手术可以是优选的，用于帮助控制结果；并且一旦识别出手术并且在其期间，就可以校正非优选的接近角度。在另一个实例中，顺应表面的标记的形状可以向用户指示：标记跨过具有不规则形状的表面区域，例如组织的脊(否则可能在外观上具有足够低的对比度而使得形状不规则性被隐藏或不清楚)。用户可选地调整手术(例如，移动计划消融位置)以回避具有不规则形状的表面区域。在一些实施例中，在手术本身期间，可选地更新针对手术的目标区域的形状的知识。在手术期间，可以基于测量来更新对其他特性、比如组织状态的知识：例如组织状态为健康、组织状态为水肿、和/或组织状态为能够传播电脉冲。只要对形状本身的表面应用标记，操作者就能够对计划手术进行校正，因为变得清楚的是，指示所述计划的标记与潜在有问题的经修正形状的和/或修正状态的表面区域直接相关。

在一些实施例中，估计效果包括估计的温度变化，例如，消融时的估计加热，和/或消融后的估计冷却。替代性地或此外，估计效果包括估计的形状变化，例如在消融之后可以估计组织将变得肿胀。

替代性地或此外，估计效果包括估计的纹理变化，例如当估计形成瘢痕组织时，可选地产生表面纹理的变化。替代性地或此外，估计效果包括比如在测得的和/或估计的水肿(可以估计为在消融之后发生)之后的估计的大小变化。

可选地，基于估计效果来计算3-D模型的界定区域的形状和/或外观。例如，可以基于馈送到探针中的消融元件的电功率、被消融组织的类型、组织特性等，来计算被估计将由于消融而被加热的区域的边界。

在一些实施例中，基于估计效果、例如通过估计探针接触大小的效果，例如当估计给定消融位置处的消融面积和/或深度时，计算要渲染的区域的范围。在一些实施例中，所渲染区域的范围包括多个消融位置的路径，可选地，其中一些消融位置表示已经被消融的位置，并且其中一些消融位置表示消融的目标。

在一些实施例中，提供了组织模型的变化形状的运动帧速率实时显示，其中3-D模型的材料外观特性基于由导管探针与所建模的实际组织之间的相互作用的持续测量获得的估计而改变。潜在地，通过改变组织的3-D模型的材料外观而视觉地表示估计数据可以提供更逼真的图形呈现。在一些实施例中，选择逼真的图形表示来提供与通过不逼真的呈现可实现的相比更直观易懂的呈现。可选地，场景对象的外观在一个或多个方面是“逼真的”，例如，组织具有模仿其在生活和/或反应行为(例如，响应于伤害、治疗、接触和/或压力)中的外观的材料外观。可选地，场景对象被赋予“自然的”(如在此使用的术语)行为，其结果是它们不是令人信服地逼真，但是看起来和/或表现成与拥有虚拟“物质”一致。

一些实施例涉及将表面和/或体积视觉地渲染为包括虚拟材料。在一些实施例中，虚拟材料是经受模拟光学规则(近似于比如反射、散射、透明度、阴影和照明等过程)的材料。并非在虚拟视觉渲染中使用的每个光学规则都是现实世界规则的副本；计算机渲染领域包括许多技术(以实现逼真的结果和刻意不逼真的结果)，这些技术应用的光学规则没有直接物理等效物。例如，凹凸映射通过操纵反射来模拟表面高度不规则性。

可以静态或动态地渲染区域。在一些实施例中，动态地渲染区域，并且随时间变化的材料外观是基于实时输入数据，即在手术期间收集的数据。例如，在检测到导管消融开始时，提供组织被加热的模拟，并且渲染组织的3-D模型，使得其外观受到在消融过程期间收集的数据的影响。如在此使用的，实时是指对变化的被模拟组织的运动帧速率实时显示。

例如，当导管被标识为接近组织超过了距离阈值时，可以动态地渲染区域，并且将组织模型的外观设定为指示组织的状态，比如水化程度和/或水肿、以及/或纤维化。可选地，通过选择与组织状态的至少一种特性相对应的材料外观来指示所述状态。在一些实施例中，通过基于对组织特性的持续测量来改变组织的几何表面和/或深度的材料外观，而指示组织状态。

在一些实施例中，将专门用于交互式视觉模拟的软件环境(例如，3-D图形游戏引擎，比如

或

图形游戏引擎)用作实现组织模拟的基础。对于通过游戏引擎图形管线进行的视觉渲染，组织的材料外观可选地由一种或多种材料外观特性(优选多个这样的特性)控制。在一些实施例中，根据材料与模拟的光学条件和照明条件的相互作用的方式来渲染材料外观。

在一些实施例中，渲染材料外观特性是完全地或部分地基于预先存储的输入数据。预先存储的输入数据可以涉及导管插入手术的计划、并且可以包括例如计划消融路径。所述路径的特征可以为位置和大小。替代性地或此外，渲染材料外观特性至少部分地基于在手术期间在线接收到的、例如来自在手术期间实时工作的一个或多个测量源的数据输入。在本发明的一些实施例中，数据输入可选地包括与导管手术的性能相关的输入——例如，导管探针位置数据、跟踪导管的操作状态的数据、和/或测量数据(例如从体内探针获得的测量数据)。

可选地，材料外观特性是直接基于测得数据，例如被建模组织的材料外观可以随组织被加热而改变。材料外观特性的变化可以符合组织的实时热测量值。替代性地或此外，材料外观特性是基于根据测得数据推导出的估计数据。例如，一旦进行消融，就估计组织正在被加热，并且加热的范围可以从探针或组织的测得数据推导出。

在一些实施例中，提供材料外观特性以展示组织的逼真表示，如通过实时收集的输入提供的。替代性地或此外，材料外观特性是基于在此被称为“自然的”表示的内容，可选地是基于例如通过基于组织的保水状态而得到的组织外观被夸大拉伸和/或肿胀所获得的测得数据和/或计算数据的夸大。在本文中，“自然的”外观意味着所显示的结果给予操作者在可流体导航环境中存在实质性(占据体积，而不仅仅是壳体限定)和/或反应性材料的印象。材料的反应进而成为操作者在场景模拟的实际环境中进行行动所依赖的信息的重要部分。此外，材料可以被模拟为占据体积本身(例如，作为具有厚度的壁)，而不仅仅是作为在空间中延伸的边界(例如，作为限定了表面、但没有明确限定的厚度的结构)。

在一些实施例中，除了探针-组织相互作用的即时效果之外或作为其替代方案，可选地模拟并显示长期效果。可选地估计长期影响；例如，将估计的损伤损害转换为描述组织水肿逐渐开始的脚本的参数的一种模拟。

本发明的一些实施例的方面涉及在导管插入手术期间自动修改呈现了被建模组织的图像。

可选地，修改图像包括：修改用于渲染被建模组织的视点，例如从包括被建模组织区域的器官内的视点和/或从器官外的视点。替代性地或此外，修改图像包括在模型的单一表示与模型的多个表示之间切换，或反过来的切换。模型的多个表示的实例包括同时呈现多于一个图像，例如呈现不同视点的不同图像。替代性地或此外，修改图像包括放大或缩小渲染的视野。替代性地或此外，修改图像包括在被建模组织的前视图与建模组织的截面视图之间切换，或反过来的切换。在一些实施例中，在导管插入过程期间根据被标识的条件来自动地生成图像。

在一些实施例中，多个条件中的每个条件与呈现3-D模型的图像相关联。可选地，这些条件与导管插入过程(包括例如导管探针相对于所呈现的组织区域的相对位置和/或取向、或例如消融过程的开始)相关。

在一些实施例中，所述条件与导管相对于被建模组织的位置和/或动作相关。可选地，相关联条件包括导管探针的远端与组织表面之间的距离小于预设阈值。在一些实施例中，针对不同的组织设定不同的预设阈值，例如，当导管的远端接近组织表面时，可以放大视图。关于放大的阈值可以基于组织表面上计划部位的存在而不同。例如，如果组织表面包括计划部位(例如，计划消融部位)，则与组织不包括计划部位相比，放大可以以更大距离发生。

在一些实施例中，当接近组织可选地超过预设阈值时，在3-D模型上渲染指示标记。例如，当接近具有计划消融部位的组织时，当检测到导管探针越过预设距离阈值时，可以出现计划消融部位的标记。

一些实施例的方面涉及在导管插入手术期间在3-D模型上渲染的模拟照射，通过更新3-D模型的呈现使得看起来好像光被透射在其上所示。在一些实施例中，照射被模拟为源自确定的位置，和/或在导管探针的远端的确定面向方向的方向上的照射。可选地，投射光的特性、比如强度和/或色散，对应于相对于组织的确定的探针位置和/或取向。

在一些实施例中，从由导管探针上的位置和探针的面向方向所限定的视点来渲染模型。替代性地或此外，从与导管探针不同的视点位置(可选地，包括导管的远端位置)来渲染模型。替代性地或此外，从包括导管探针的器官外的视点位置来渲染模型，可选地仅视觉地呈现被模拟为源自探针的照射。

在一些实施例中，模拟照射被渲染为好像源自位于探针远侧部分附近并且面向建模组织的手电筒。在一些实施例中，提供了从器官外看并且看到了手电筒好像从器官内照射的视点。在这个实施例中，器官组织被渲染成足够透明，以让光透过。

本发明的一些实施例的方面涉及可选地在导管插入手术期间呈现从导管探针上的位置观察到的组织表面的模型。在一些实施例中，所述模型被渲染为从离所述组织表面比离所述导管探针的所述远端更远的视点位置看到的。可选地，通过接收指示导管探针的远端相对于组织表面的位置和面向方向的数据，来确定组织表面与导管探针之间的相对距离和/或面向方向。

在一些实施例中，在图像上渲染导管探针的远端的至少一部分的图形表示，所述图形表示可选地与导管探针的远端距用于渲染3-D模型的视点位置的实际边缘距离相关联。在一些实施例中，所呈现的导管远端被动态地呈现，可选地被渲染为以检测到的位置和/或面向方向定向。在一些实施例中，实时地、即在获取输入(比如，可选地来自安装在导管探针上的电极的电读数)期间提供组织模型的渲染。在一些实施例中，所述输入检测到：组织模型的3-D结构已经变为第二结构。可选地，模型被渲染为呈现组织表面的所述第二结构。

在以下描绘了示例性心脏消融手术的示例性实施例中描述了本发明的一些实施例的方面。然而，应注意的是，在消融和/或心脏实施例的背景下描述的本发明的各个方面和含义可能适用于许多其他医疗手术和/或其他患者解剖学结构，并且本发明的如本文描述的实施例不以任何方式局限于心脏消融的说明性实例。

在详细解释本发明的至少一个实施例之前，应理解的是，本发明不一定限于其在以下描述中阐述的和/或附图中展示的部件和/或方法的构造细节和布置方面的应用。本发明能够具有其他实施例或以各种方式来实践或执行。

示例性消融手术

本发明的一些实施例的方面涉及一种用于辅助医疗手术的用户界面，以可选地基于导管相对于被建模组织的位置和/或操作，通过更新用于渲染组织的3-D模型的外观和/或图像来引导外科医生。在一些实施例中，导管插入手术用于治疗心律失常病症，例如心房颤动(AF)、和/或心房扑动(Afl)、和/或室上性心动过速(SVT)、和/或房性心动过速和/或多灶性房性心动过速(MAT)。替代性地或此外，手术涉及癌症治疗和/或疼痛控制、和/或用于美容目的。

现在参考附图，图2示出了描绘在执行由本发明提供的实施例的同时，用于例如治疗AF的心脏消融手术的示例性高水平轮廓的流程图。

可选地，选择患者、比如患有心律失常病症的患者进行治疗202(比如，消融和/或神经调节)。在一些实施例中，对患者进行成像204以获得器官或其一部分的形状；例如获得心脏组织的3-D形状。如在此使用的，组织包括患者器官的至少一部分。在一些实施例中，通过磁共振成像(MRI)和/或计算机断层扫描(CT)、和/或通过超声(US)和/或通过核医学(NM)来完成成像。替代性地或此外，通过测量组织的热特性和/或介电特性来获取数据。在一些实施例中，附加于或代替来自框204的成像的数据，使用通过感测介电特性获取的数据来获得器官的形状。可选地，通过将例如来自不同成像模式设备的多个数据输入的网格组合来提供初始3-D几何组织模型。可选地，将这样的数据用于患者的诊断过程206。

预先计划和计划调整

在一些实施例中，基于预先获取的数据，外科医生和/或模拟程序预先计划操作手术208。所述操作手术可以包括例如产生损伤。在一些实施例中，将初步的待制造损伤的目标对外科医生视觉地呈现为例如路径(例如，连续路径，和/或描述为待制造损伤的一系列位置的路径)。在视觉表示中，所述路径可以呈现为与患者组织的3-D模型匹配。

例如，在预先计划阶段期间，外科医生可以在所呈现的3-D模型上绘制创建2D结构的路径。在一些实施例中，接着，使所述路径变形以匹配患者特定解剖学结构的3-D模型的区域，由此产生特异于当前患者的计划图形结构。

可选地，预先计划包括规划一行消融点，将沿着这些消融点形成损伤。所述行可以包括多个位置，在这些位置处执行消融以产生子损伤。可选地，将计划消融位置显示为区域标记物。在一些实施例中，计划的损伤区域标记物大小考虑正在使用的消融工具。

在一些实施例中，损伤区域标记物的大小对应于消融工具的接触面积；例如，指示将使用具有特定表面接触面积的探针。可选地，还使用指示标记来展示消融的顺序，并且在一些实施例中，例如当区域标记的颜色强度根据其计划消融顺序下降或升高时，例如通过使用视觉参数的梯度，来视觉地标识消融顺序。

在一些实施例中，消融计划包括消融将在哪里发生的说明，这可选地被定义为线或路径、区和/或体积(在此，提供了关于路径的消融计划作为实例，而不限于使用区或体积说明的实施例)。在手术期间可以向外科医生显示的消融计划的视觉呈现可选地进一步包括消融参数(例如，要递送的总能量、功率和/或正时)的呈现。

在一些实施例中，在手术期间实时地向外科医生提供与患者特定形状匹配的计划手术的图形表示。在一些实施例中，图形表示是动态的。例如，如果实时手术偏离计划手术(例如，由于在遵循计划方面的变化、计划效果与预期的差异、患者和/或手术部位的实际状态与原始计划中的预期状态的差异、和/或实现遵循替代性计划的益处)，图形表示相应地动态地改变。例如，指示标记可以根据实时测量值、例如实时电介质测量值和/或实时热输入而改变。

导航和动态图像修改

在一些实施例中，当导管探针插入患者210中并且可选地用于导航212和/或用于标识目标214时，手术开始。

可选地，用户界面图形地表示与解剖学空间范围内的操纵相关的方面，这些图形被呈现为3-D模型的材料外观。例如，对于消融导管的操纵可以存在机械限制，在一些实施例中，通过遮蔽表面区域和/或修改所述区域的几何表面使其看起来昏暗、和/或暗淡和/或以其他方式使其似乎无法触及，来在几何模型中图形地表示这些限制。

在另一个实例中，机械上可触及的解剖学区域可能不适合制造损伤。这样的解剖学区域可以图形地呈现为不可触及，或以任何其他方式来设计以阻止外科医生对其制造损伤。不被消融的解剖学区域可以包括例如食道区域和/或动脉和/或静脉根和/或自主神经节和/或膈神经的区域。

在一些实施例中，在导航212期间更新至少一个测得的和/或估计的组织特性。可以通过改变所呈现的3-D模型的材料外观特性来进行更新。例如，本发明的若干实施例的方面涉及根据患者的水化状态实时地更新组织模型。在一些实施例中，使用图形模拟来图形表示患者的水化状态。在一些实施例中，使用暴露于光学光环境的模拟来将组织模型图形地呈现为湿外观、可选地与水化测量状态相关。

在一些实施例中，通过呈现的至少一种生物标记来确定用于渲染组织表面的3-D模型的颜色。例如，在一些实例中，红色可以表示血红蛋白蛋白质的水平。替代性地或此外，根据表面特征、例如根据表面组织粗糙度水平的颜色变化来确定颜色。例如，粗糙度可以表示组织的粗糙纹理特征、例如纤维化。

在一些实施例中，以每秒数十次的速率来刷新呈现。相对快速的刷新速率的潜在优点是，甚至当导管与组织相互作用时也示出组织的实时状态。可选地，仅在被建模组织附近检测到导管位置(例如，导管远端距组织表面的距离小于预定阈值)时更新组织特性。

在一些实施例中，一旦插入210探针，就可选地自动提供动态图像修改(在图2中被称为箭头A)。在一些实施例中，基于导管相对于被建模组织的位置和/或取向的检测来提供自动图像修改。可选地，一旦标识出导管朝向和/或远离组织越过预定距离，则修改所呈现的图像。在一些实施例中，图像修改包括：修改用于产生模型的视点位置，例如，将包括被建模组织的器官内的位置修改为器官外的位置。在一些实施例中，修改包括图像之间的切换。替代性地，修改包括添加或删除图像。

在一些实施例中，当检测到导管接近选定的组织目标时，自动地修改视点位置。可以例如通过计划、通过使用户界面偏离平面的操作或以其他方式来进行组织目标的选择。在一些实施例中，当感测到导管相对于限定目标的位置时、可选地结合导管相对于限定目标的取向的评估来确定接近。在一些实施例中，用于修改视点位置的阈值距离还受导管在接近目标时的取向的影响。例如，如果导管的取向背向目标部位的方向，则用于转移视点的阈值距离与导管的取向是面向目标部位的情况相比，是导管与目标部位之间的较小距离。在一些实施例中，经修改图像的插入和/或预览临时地闪现。在一些实施例中，只有在外科医生在检测到的方向上反复确认后，经修改图像才能保持稳定。在一些实施例中，一旦图像稳定，将不再进行预定时间段的修改、比如在1-2sec、2-5sec、或5-10sec的范围内。

在一些实施例中，提供组织深度的截面视图的图像。可选地，动态图像修改包括将兴趣区域自动动态地放大。在一些实施例中，在同一用户界面上同时示出多个图像。可选地，单一图像可以自动地代替多个图像，例如，当检测到探针的操作开始时，提供描绘其操作的单一图像。

可选地，提供了从单一图像到多个图像(或反过来)的自动图像修改。

标识目标

在一些实施例中，可选地通过介电测量来检测导管接近选定(例如，计划选定)目标214。在一些实施例中，通过确定导管探针的远端部分的位置(例如，确定位于导管、例如其远端上的一个或多个电极和/或传感器的位置)，来检测导管在接近目标。替代性地或此外，可以通过基于一个或多个电参数和/或介电参数和/或热参数(例如，场、电流、电压和/或阻抗)来计算导管探针的远端部分的位置，而检测在接近目标。替代性地或此外，可以通过将测得参数与通过模拟获得的相同参数的值关联来检测在接近目标。模拟可以包括：模拟的导管探针在3-D模型内的模拟位置，所述模型与估计的介电参数值和/或估计的热参数值相关联。

可选地，根据通过体内传感器测得的一个或多个实时测得参数(例如，组织的电参数和/或热参数)来迭代地更新模拟。电参数可以包括介电参数，比如心脏的心肌(或其他目标相关组织)的阻抗、和/或血液的传导性；和/或热参数，例如热导率和/或热容量。可以将测得值反馈到模拟中，以用测得参数值来更新估计的电值和/或热值。可以重新产生模拟以生成一组更新的模拟位置，用于校正导管远端的测得物理位置。可选地，迭代地进行所述模拟的测量和更新，以提高经校正的远端位置的准确度。可以执行所述迭代以达到目标准确度，例如精细到足以执行治疗手术的准确度。

在一些实施例中，一旦接近目标，就提供动态图像修改B。可以从图6A至图6F和图9A至图9G中看到示例性动态图像修改。可选地，当检测到导管靠近目标部位时，提供特写视图。在一些实施例中，将计划目标视觉地呈现为与所呈现组织的3-D模型的3-D表面匹配的图形对象、比如路径，如参见图6A至图6F和图9A至图9I。可选地，计划目标仅在放大被建模组织之后出现。在一些实施例中，当更靠近地观察组织时，图形对象的分辨率更高，例如图6C和图6D中所展示的。

在一些实施例中，如果在预定时间段之后没有标识出目标，则导管可能相对于其目标部位迷失213。可选地，此时，自动修改视图以示出目标区域和/或器官的外部视图。

消融

在一些实施例中，当在探针与组织表面之间检测到接触时，和/或当提供216消融开始时，转换视图C、例如转换到被治疗组织的截面视图。在一些实施例中，仅视觉地渲染计划组织区域。替代性地，如图7A至图7F所示，模拟区段设有至少一个相邻的计划区域。

替代性地，如图9A至图9G以及图11所展示的，模拟区域被示为被其紧邻的周围组织环绕。可选地，一旦计划消融手术完成，就自动修改图像以呈现手术的概览，例如图8和图10A至图10B所展示的。

在一些实施例中，在手术217期间实时地自动或手动地改变操作手术计划。可选地，根据由于操作手术期间计划动作与既定动作之间的差异而导致的偏离、例如通过意外或故意将损伤部位移到新的位置，来进行计划的更新。可选地，根据描述了整个操作手术部位的特征、例如先前未知的解剖学细节(比如由于正常的受试者间的解剖学变异性、正常的受试者内的解剖学变化、和/或疾病而可能出现)的新数据来进行更新。可选地，根据所执行的测试来进行计划的更新，所述测试指示了治疗的既定效果(例如，电脉冲活动被阻断)是不完整的、或者不是现有计划所预期的。自动更新可以包括：接受指示例如任何刚提及条件的数据；标识已经发生的计划偏离；并且制定补偿所述偏离的新计划。

验证

在一些实施例中，在完成消融手术之后和/或在显示消融概览之后，进行验证218，以可选地验证对脉冲传播的有效阻断。在一些实施例中，当检测到验证开始时提供动态图像修改D，可选地对图像进行自动修改，所述图像示出了消融过程的概览、可选地图形地呈现实际消融模拟和/或计划消融路径。在图12中例示了验证视图和视觉表示。

在一些实施例中，如果验证失败222，即没有实现对脉冲传播的充分阻断，则可选地提供重复的消融。在一些实施例中，当检测到验证失败时，检测到的导管与失败的消融部位的接近度产生自动视图转换B(至消融视图)。

在一些实施例中，在验证之后，即使验证成功，仍获得224更多的消融目标，并且可选地，所呈现的图像被自动修改为例如导航视图A。如果不需要更多验证，则可选地完成220手术。

示例性模型渲染

现在参考图1A至图1E，示出了根据本发明的一些实施例的用于可选地实时渲染3-D模型的过程的流程图。

在一些实施例中，图1A至图1E的一些过程包括使用组织、可选地组织表面的3-D模型。在一些实施例中，3-D模型包括网格数据，例如通常用于限定3-D结构的计算机化视觉渲染的结构。在一些实施例中，3-D模型指定了位置(通常还以及位置之间的连接，和/或通过公共表面和/或材料体积的范围所连结的位置)，所述位置对应于目标身体组织区域的表面的待视觉地渲染以呈现的位置。可选地，还表示了限定所述表面的内部形状的多个位置的几何形状(例如，在呈现包括使用透明度和/或截面视图的情况下)。所表示的表面可选地是目标身体组织区域的外表面(例如，器官表面；不一定是从身体外看到的表面)和/或内(例如，内腔)表面。在一些实施例中，根据患者的解剖学数据、例如适当分段的3-D图像数据来推导出3-D模型。

在一些实施例中，将由3-D模型呈现的表面的至少一部分被渲染为具有至少一种材料外观特性(MAP)。如在此使用的术语，MAP包括与虚拟环境中用于根据模拟光学定律进行视觉呈现的位置相关联的任何特性，并且所述特性影响表面和/或其包绕的体积如何在3-D渲染空间内可视化。通常但不仅仅对3-D模型的表面位置分派MAP。可选地，对由3-D模型的表面限定的体积分派MAP。还可以以影响材料外观的方式对虚拟环境分派MAP(例如，作为照明参数)。

在一些实施例中，创建视觉渲染将表面和/或体积当成包含了虚拟材料。在一些实施例中，虚拟材料要经受模拟光学规则(近似于比如反射、散射、透明度、阴影和照明的过程)。并非在视觉渲染中使用的每个光学规则都是现实世界规则的副本；计算机渲染领域包括许多技术(以实现逼真的结果和刻意不逼真的结果)，这些技术应用的模拟光学规则没有直接物理等效物。例如，凹凸映射通过操纵反射来模拟表面高度不规则性。环境遮挡是与表面图相关联地定义的可高效计算的照明效果，其中光源被当成近似物。

另外，应理解的是，并非在此作为材料外观特性讨论的所有内容都必然是虚拟材料的特性。例如，在一些实施例中，使用几乎远离其照射的表面放置的源(并且因此未定义为表面虚拟材料的特性)来实现照明的某些效果。然而，只要这些照明的特性影响材料的外观，它们就属于MAP的含义。并且在此，在需要进行区分的情况下，短语“材料的外观特性”用于指示针对比如虚拟材料定义的MAP(而不是作为照明环境的一部分)。

可选地，对由3-D模型限定的表面(可选地，体积)初始地分派基线MAP数据，使得当适当渲染以通过用户界面视觉呈现时，这些表面与它们所代表的组织的模拟版本相似。例如，可选地，比如心脏等肌肉器官被渲染为斑驳的红色-粉红色、可选地具有额外的表面特性(例如散射、粗糙度、镜面反射特性和/或整体反射率)，这些表面特性被定义成对其赋予看起来像湿表面的光泽。高度血管化的结构、比如肝和肾组织可选地用更均匀和更浑浊的色调表示。

可选地，基线MAP数据考虑表征超出其几何形状之外的组织的组织状态数据。在一些实施例中，例如，可选地，使用3-D核成像数据来区分健康与带瘢痕的心肌组织。可选地，通过一种或多种虚拟光学性质与健康组织(例如，外观上更粗糙、更暗淡和/或更灰暗)的差异来在呈现时区分瘢痕组织。

在一些实施例中，将手术效果(无论是测得的、估计的和/或计算的)渲染到基线MAP上、和/或渲染成提供其他视觉纹理特征；例如对MAP进行改变以掌控视觉粗糙度和/或镜面反射(例如，消融的组织变得“暗淡”和/或水肿组织变得“平滑”)。

在一些实施例中，可选地，选择MAP从基线的变化以反映手术如何影响组织的惯例或期望。替代性地或此外，为清楚起见，可选地夸大MAP从基线的变化。例如，在一些实施例中，即使已经充分灌注的组织在发炎时实际上不会变得“更红”，仍然可以选择应用MAP红化(包括例如色移、增亮和/或增加饱和度)以指示发炎状态。类似地，可选地通过分派“更红”或“更蓝”的MAP、对冷却的组织添加冰冷的光泽、对加热的组织添加烟雾、光晕、和/或火焰来指示加热和冷却。在另一个实例中，被注射了比如

(Allergan，Inc.，Irvine CA)等物质的区域的表面可选地表示为具有以下MAP，其对表面赋予“更光滑”的外观(例如，凹凸映射纹理被抑制)，无论光滑性是否与逼真的外观变化相关。

在一些实施例中，使用光源定位来定义MAP，例如以选择性地照射(例如，在激光或手电筒光束的模拟中)组织区域。对于照明的实例，这可选地包括在数据和/或软件方面具有基础定义的MAP(被定位在其显示外观受影响的表面的虚拟材料之外)。

现在参考图1A，示出了例示根据本发明的一些实施例的用于在3-D组织模型上渲染模拟的指示标记的过程的流程图。指示标记可以用作例如参照点和/或一个或多个测量结果的指示符。例如，指示标记可以用作导管探针相对于所呈现组织的位置和/或面向方向的参照点。替代性地或此外，指示标记可以用于指向选定(例如，计划的)目标部位的方向，所述目标部位可以包括旨在接近、测量和/或治疗的目标组织。替代性地或此外，指示标记可以用于标记一个或多个区域。在一些实施例中，可以通过用户输入来计划、计算、选择待标记的区域、和/或估计待标记的区域。

可选地，所述过程包括：将图形对象分派给指示标记，所述图形对象可选地具有与其含义相关的视觉呈现。例如，可以对表示参照点的指示标记分派指向参照点的方向的目标符号和/或箭头。在另一个实例中，可以对表示区域的指示标记分派跨过和/或环绕待标记的区域的分界线。

在一些实施例中，例如，在导管插入手术开始之前，预设图形对象到指示标记的分派。在一些实施例中，分派给指示标记的图形对象的至少一些视觉外观特性是实时设定的，例如，可以基于图形对象所覆盖的组织的颜色来设定所述图形对象的颜色，可以基于指示标记所指向的目标来设定图形对象的形状，等。

在一些实施例中，确定104所述3-D模型上待用所述指示标记来标记的区域。可选地，通过确定3-D模型中的位置以及区域的大小和/或形状，来确定待标记的区域。在一些实施例中，通过在关于真实组织的特定位置中提供的测量值来确定待标记的区域的位置。替代性地或此外，基于提前做出的决定、例如在预先计划的情况下来确定待标记的区域的位置。替代性地或此外，基于物体与组织之间的空间关系(例如，导管探针相对于组织的位置)来确定待标记的区域的位置。

可选地，待标记的区域的大小对应于由指示标记表示的数据。例如，当提及导管探针相对于被建模组织的位置时，较大或较小的区域可以表示探针的较近或较远的位置。

在一些实施例中，待标记的区域的形状对应于实时收集的数据。所述数据可以包括例如基于实时测量的测量值和/或计算值，和/或基于实时测量和/或计算的估计值。例如，待标记的区域的形状可以对应于测得的热量和/或电流在组织上的散布。

在一些实施例中，在步骤106中，使指示标记变形以在所确定的待标记的区域处与3-D模型和谐匹配。如在此使用的，和谐匹配包括：使图形元素变形以与由3-D模型的多个位置限定的形状相适配，以生成由图形元素覆盖的3-D模型(不一定是模型的表面)的图像。在一些实施例中，在多个位置上适配包括：使图形元素变形以遍布由3-D模型的几何表面限定的多个平面。

在一些实施例中，所述过程包括步骤108：将3-D模型渲染为在所确定的待标记的区域处包括变形的指示标记。在一些实施例中，所述指示标记指示了选定目标部位的方向。替代性地，所述指示标记指示了计划路径。替代性地，所述指示标记指示了从沿着所述导管探针的位置看到的视野，所述位置是由所述导管探针的远端的测得位置和面向方向确定的。

在一些实施例中，所述指示标记的外观指示了所述导管探针相对于所述组织表面的相对位置，所述相对位置是通过所述导管探针的远端相对于所述组织表面的测得位置和面向方向确定的。可选地，所述区域的大小指示了所述导管探针与所述组织表面之间的距离。替代性地或此外，所述指示标记的可见性指示了所述导管探针与所述组织表面之间的距离。替代性地或此外，所述区域的纵横比指示了所述导管探针与所述组织表面之间的取向。

在一些实施例中，标识出应呈现指示标记，所述标识可选地是基于与在所述导管插入手术期间期望获取的输入预相关联的规则来进行的。在一些实施例中，输入包括所标识的导航过程的开始，例如当标识出导航工具被启用时。替代性地或此外，输入包括：例如通过检测导管探针的操作、和/或与组织接触、和/或加热，来标识消融的开始。

现在参考图1B，示出了例示根据本发明的一些实施例的用于基于估计数据来渲染几何组织模型的过程的流程图。

在120处，在导管插入手术期间收集输入。可选地，输入是实时测量的、和/或根据这些测量值计算的。在122处，基于输入来估计效果。例如，当所收集的输入是消融探针的操作的开始时，可以估计消融探针的操作的效果。例如，可以估计发生了加热。可选地，将多个输入组合来表征估计效果。例如，当估计消融探针的开始操作的效果时，考虑组织的特性。

在124处，基于估计效果、可选地考虑测得输入，来确定表征3-D模型的待标记的区域的参数。这些参数可以包括例如待标记的区域的形状、大小和/或位置。例如，如果组织是均匀的并且估计探针的效果是均匀的，则可以确定待标记的区域具有对称形状。替代性地，当估计出效果以不均匀的方式进行影响时和/或当检测到不均匀的组织特征(例如瘢痕和/或水肿等)时，待标记的区域可能具有不规则形状。

在一些实施例中，计算形状包括计算消融点的面积。替代性地或此外，计算形状包括计算消融点的深度。替代性地或此外，这包括计算多个消融点的路径。

可选地，随时间呈现估计效果。例如，当开始消融时，估计热量会消散，之后组织将被再次冷却。在一些实施例中，在消融开始时，呈现了随时间而变的一系列事件。在一些实施例中，在手术期间的不同时刻重新计算组织表面的形状，并且相应地修改其呈现。可选地，所述形状和所述材料外观特性指示了损伤制造效果的增大扩散。

在126处，针对待标记的区域来选择至少一种材料外观特性(MAP)。可选地，从包括多个MAP的数据库中选择所述MAP。可选地，数据库中的每个MAP与至少一个估计效果相关联。可选地，数据库包括MAP与效果之间的关联。

在128处，渲染3-D模型，其中使用所选择的至少一种MAP来标记所确定的区域。在一些实施例中，估计效果例如在随时间演变的意义上是动态的，并且因此渲染是动态的。在一些实施例中，待标记的区域的所建模形状随时间变化，和/或所述区域的大小随时间变化，和/或所述区域的位置随时间变化，和/或MAP的选择随时间变化。

现在参考图1C，示出了例示根据本发明的一些实施例的用于提供通过照射模拟来渲染3-D组织模型的参照点的过程的流程图。

在一些实施例中，检测导管探针、并且可选地特别是导管探针的远端，以确定132其相对于组织的位置和/或面向方向。可选地，所述组织区域包括体腔。

在一些实施例中，将组织的3-D模型渲染为模拟好像源自所确定的导管探针的位置并且在所确定的导管探针的面向方向的方向上进行照射的照射136。在一些实施例中，从沿着导管探针定位的视点来渲染3-D模型，使得照射模拟了手电筒。可选地，由于模拟至少一个第二照射源、例如模拟环境光，因此在手电筒的模拟光束之外的被建模组织是可见的。在一些实施例中，所述3-D模型被渲染为是从与所述导管探针的所述远端偏离的视点看到的。

可选地，在136处，被模拟成源自导管探针的照射是可从模型的与照射部位相反(即，与导管探针的位置相反)的一侧看到的，可选地从位于包括导管的器官外的视点看到，例如图3B和3D所示。在一些实施例中，通过将组织渲染成至少部分地透明，可从另一侧看到所述照射。在一些实施例中，提供两个图像，一个从器官内的视点渲染，另一个从器官外的视点渲染，这两者都具有相应的照射。示出从两个不同视点进行的相同照射的潜在优点是，在单一扫视中提供探针的位置参照物和面向方向的参照物两者。

此外，它提供了一种在其近侧环境的背景下从内部观察时以及在整个器官的背景下从外部观察时，对探针在器官内的取向的简单且直观的解释并且由此对外科医生提供138参考点。在一些实施例中，在所述导管插入手术的至少一部分期间，迭代地提供所述确定和所述渲染。

可选地，所述方法包括同时呈现从至少两个视点看到的3-D模型，第一视点在包括组织区域的器官内，并且第二视点在器官外，并且其中，这两个呈现包括的模拟照射好像是源自所确定的导管探针的位置并且在所确定的面向方向的方向上。

在一些实施例中，所述照射被模拟为模拟照射束是不均匀的。替代性地或此外，根据所述导管探针相对于所述组织区域的位置和面向方向来计算所述照射的中心。可选地，通过增大在所述束的中心处的照射强度来图形地呈现所述照射中心。在一些实施例中，提供了源自与导管探针的远端的位置不同的位置的第二照射。可选地，第二照射被模拟为面向与导管探针的远端的面向方向不同的方向。替代性地或此外，第二照射模拟了环境光源。

在一些实施例中，选择组织区域的表面的材料外观，并且可选地，材料外观被模拟成受照射的影响。可选地，将组织模型渲染为对模拟照射至少部分地半透明。

现在参考图1D，示出了例示根据本发明的一些实施例的用于自动修改呈现3-D组织模型的图像的过程的流程图。

在一些实施例中，在手术期间，外科医生使用具有用户界面的至少一个屏幕，所述用户界面被提供来例如通过呈现组织模型、指示标记、数值数据等在整个手术中引导外科医生。在一些实施例中，在导管插入手术期间，可选地响应于在手术期间收集到的输入，来自动地修改呈现被建模组织的图像。在一些实施例中，生成被估计是在手术的被标识条件下对外科医生最有帮助的图像。

在一些实施例中，在140处，多个条件中的每个条件与呈现3-D模型的图像相关联。在一些实施例中，图像由多个参数定义。可选地，这些参数可以包括待标记的区域(包括区域的位置、形状和大小)，和/或针对所述区域选择的MAP。替代性地或此外，这些参数包括将模型呈现给外科医生的视点、放大或缩小、单个图像或多个图像等。

在一些实施例中，在142处，标识出条件，并且在144处，自动地生成与所标识的条件相关联的图像。在一些实施例中，所述多个条件与导管相对于被建模组织的位置和/或操作相关。例如，条件可以包括导管探针的远端与组织表面之间的距离小于预设阈值。替代性地或此外，条件可以包括具有选定(例如，针对手术的动作计划的、或以其他方式指示的)部位的组织表面。替代性地或此外，条件可以包括改变导管探针的操作状态，比如开启或关掉电源。替代性地或此外，条件可以包括：检测到导管探针的远端与建模组织的表面的接触。

在一些实施例中，一旦标识出条件，就会自动地生成其相关联的图像。可选地，通过修改用于渲染模型的视点来生成图像。替代性地或此外，通过放大或缩小模型的视野来生成图像。替代性地或此外，通过改变图像的观察角度(比如呈现被建模组织表面区域的顶表面或呈现被建模组织的深度的截面)来生成图像。替代性地或此外，通过添加或移除图像、例如在单个图像与多个图像之间切换(或反过来)时，来生成图像。替代性地或此外，通过将模型渲染为跨所述模型的区域包括图形对象来生成图像。

现在参照图1E，示出了例示根据本发明的一些实施例的对器官的内部环境的3-D模型的渲染(好像从与沿着导管探针的任何位置不同的位置看到的)的流程图。

在一些实施例中，确定152导管探针的位置和/或面向方向。可选地，所确定的位置和/或面向方向是导管探针的远端的位置和/或面向方向。可选地，在导管插入手术过程中连续地测量导管探针位置和/或面向方向。在一些实施例中，在154处，将3-D组织模型渲染为从与沿着导管探针的任何位置不同的视点位置看到的，可选地使得可以以单一视野来对导管探针和导管探针的远端所靶向的组织进行建模。可选地，所述视野进一步包括跨被建模组织的待标记的区域。在一些实施例中，发现所述位置离导管远端比建模组织表面更远。可选地，渲染是动态的，并且用导管探针位置和/或面向方向的在线测量值来更新。

在一些实施例中，在步骤156中，将导管远端的图形呈现覆盖在所渲染的模型上。可选地，通过将所述图形修改成表示检测到的导管远端的面向方向，来动态地呈现所覆盖的远端。潜在有利的是呈现从更远离导管探针的远端的点看到的组织，并且潜在有利的是通过向外科医生提供具有容易检测到的渲染视点的渲染模型来覆盖其图形。

示例性导航

现在参考图3A至图3D，例示了根据本发明的一些实施例的从相对于导管的各个视点位置看到的组织模型渲染。

在一些实施例中，同时呈现多个观察视角，例如，如图3A和图3C所示的在特定患者器官内看到的；以及如图3B和图3D所示的从外部看到患者器官的至少一部分。

在一些实施例中，使用与导管探针偏离、和/或离被渲染组织表面比离导管探针的远端更远的视点，来呈现3-D模型(定义为“第一人”视图)，如图3A和图3C所示。在一些实施例中，呈现3-D模型还包括：图形地呈现覆盖导管探针的远端的至少一部分。将导管远侧尖端覆盖在3-D模型上的潜在优点在于，与当外科医生具有沿着导管的模型视点、而没有实际看到导管并且必须通过推导用于渲染组织的视点来理解导管的位置和/或方向时相比，减少了外科医生可能的认知负担。

在一些实施例中，提供了多个视点，可选地呈现同一探针位置和/或取向。在一些实施例中，使用自动动态图像修改，可以从器官内看到、和/或可以从器官外看到组织外观变化和组织形状变化，可选地取决于导管的位置和/或取向和/或操作状态。至少在一些情况下，在内部视图中示出并且从外部视图看到的相同图形标记有助于外科医生定位自己。

在一些实施例中，导管300被模拟为像手电筒一样照射组织表面302，例如被模拟为产生好像源自导管远端的光束。可选地，导管被模拟成在其面向的方向上进行照射。在一些实施例中，导管被模拟成投射产生宽的泛光的手电筒，其潜在优点是还可选地可从器官310外的视点位置检测到在相对宽的表面区域上(这可能由于其面积覆盖)的模拟光，如图3B和图3D所示。替代性地，导管被模拟成投射窄光束，所述窄光束潜在地用作指示标记，可选地指示导管的面向方向。

在一些实施例中，根据由组织模型限定的3-D形状，通过模拟漫射照明和/或镜面照明来示出被模拟成从导管方向投射的光。

在一些实施例中，除了手电筒照射之外或者作为其替代方案，图形地呈现了展示导管的位置和取向的指示标记304。可选地，指示标记304与被建模组织的表面形状和谐匹配。

现在参考图4A至图4B，示出了根据本发明的一些实施例的手电筒特征的模拟。本发明的若干实施例的方面涉及模拟从探针所朝向的方向投射的照射。在一些实施例中，所述照射被模拟成投射到3-D模型的表面上。可选地，照射被提供为发散的宽的泛光束。替代性地或此外，照射被提供为相干的窄光束。在一些实施例中，照射是从组织模型的内部投射、并且从组织模型的外部被看到。

图4A和图4B展示了，根据本发明的一些实施例产生的图像可以包括：组织表面的被不同程度照明(例如取决于被照明表面与导管的远端之间的距离)的不同部分。在附图中，组织表面区域424比表面区域422更靠近导管300的远端、并且用较强的光照射。

图4A展示了用于渲染“第三人”视图的模型的视点，可选地覆盖导管远端的表示。如在此使用的，“第三人”视图包括呈现以下3-D模型，其具有：包括导管探针的远端的视野；导管探针300的远端看到的组织区域；以及可选地表示导管探针的远端的视点的指示标记304。例如，图4A例示了在导管探针上方、并且离组织比离导管探针的远端更远的视点。在这个示例性实施例中，提供了导管探针的远端的覆盖图。

图4B例示了图4A所示的同一构型的器官外视图、但是相比器官外被缩小。在一些实施例中，使用MAP来渲染更靠近的组织表面部分、比如424，从而提供好像这个组织表面比组织表面部分422更强烈地并且以更集中的方式反射光的外观。

在一些实施例中，例如，用于渲染组织模型的视点例如从图4A的视图自动转换至图4B的视图，或反过来。可选地，所呈现图像中的修改是基于探针位置、和/或探针取向、和/或探针轨迹和/或探针活动进行的。例如，一旦检测到消融过程，图像就可以被修改为展示消融手术的图形动画，可选地基于实时生理输入获得的图形化可视化。

现在参考图5A至图5D，展示了根据本发明的一些实施例的几何形状特定指示标记304。在一些实施例中，跨3-D组织模型的表面区域来渲染指示标记。可选地，投影是从沿着导管探针限定的、和/或面向导管探针的面向方向的视点进行。替代性地或此外，视点是在选定(例如，通过计划选定和/或通过用户界面的操作做出的指示选定的)目标部位的方向上。图5A至图5D展示了指示标记304在待标记的区域中所提供的3-D建模组织表面上的四种和谐匹配，所述待标记的区域可选地由导管探针相对于被建模组织的相对位置和/或面向方向确定。

渲染和谐匹配的指示标记和/或手电筒照射(这两者根据组织模型的几何3-D表面变形)的潜在优点是标记在被建模组织的表面上移动时的动态性质，从而保留图形对象对其虚拟环境的反应性。这与简单的图标覆盖有区别，图标覆盖不与其渲染的特定组织表面区域相匹配。

现在参考图5E至图5G，展示了根据本发明的一些实施例的匹配到示意性3-D模型500的表面上的示意性的表面形状特异性指示标记504。指示标记作为示意性实例被示为三角形504图形对象。标记504可以包括三角形的边和/或三角形的内部。图5E至图5G展示了标记504如何变形以在多个位置处与3-D模型500相匹配，所述多个位置例如在这些示意性图示中被展示为标记504与构成网格501的线的会合点。在此还例示了，跨所述3-D模型的区域来渲染指示标记504，所述区域用灰线形式的标记504的界线来示出。

图5E展示了三角形形式的标记504，使其变形以匹配球体形式的3-D模型500。在这个实例中，使标记504变形为具有凹形形状、与模型500的3-D几何表面相适配。

图5F展示了三角形形式的标记504，使其变形以与凸形表面形式的3-D模型500相匹配。在这个实例中，使标记504变形为具有凸形形状、与模型500的凸形3-D几何表面相适配。

图5G展示了呈三角形形式的标记504，使其变形以与平面形式的3-D模型500相匹配。在这个实例中，使标记504变形以具有与模型500的3-D平面相适配的透视形状。

示例性目标标识

现在参考图6A至图6F，示出了根据本发明的一些实施例的用于标识目标并开始消融的模拟。图6A展示了导管探针300朝向左肺静脉(由左上肺静脉602和左下肺静脉604展示)定向的视觉表示。还示出了右上肺静脉606和右下肺静脉608。

在一些实施例中，当通过计划的设置和/或指示为标识出目标的用户输入标识来标识目标时，3-D模型的视觉表示可选地被自动地修改。在一些实施例中，通过修改用于渲染模型的视点(例如放大目标部位(如图6B所示)或者例如切换到截面视图(如图6F所示))来提供3-D模型的修改。替代性地或此外，通过呈现指示标记(例如，计划路径和/或标记)(如图6C至图6E所示)来提供对3-D模型的呈现的修改。

示例性消融可视化

在一些实施例中，组织区域(例如，心房的心脏组织)的消融治疗包括形成用作阻断传导的基本上连续的组织损伤。在一些实施例中，要阻挡的目标区域是沿着由多个子损伤620形成的损伤路径610，所述子损伤以基本上连续的方式布置。例如，图6A至图6F和图7A至图7F示出了损伤路径610，所述损伤路径包绕左心房的两个肺静脉602和604(示出了从心房内部的视图)。

在外观上，图6A至图6F包括RF消融探针300及其相对于旨在消融的组织的位置的视觉渲染图像(通过3-D图形引擎)。可选地，渲染是用彩色、和/或以其他方式使用传递组织的重要外观(例如，粗糙度、镜面反射等的特性)的所应用的材料外观特性(为了说明的目的，在此示为黑色和白色)来进行的。

在一些实施例中，一旦检测到导管300朝向目标部位定向，则可选地，通过放大来修改用于渲染模型的视点，如图6B例示，展示了左肺静脉的特写。替代性地，当探针上的传感器(例如，压力传感器和/或接触的介电感测)感测到接触时触发这个视图。所述触发可选地被视觉地实现为从较广角度视图(其中探针不接触)的跳转到探针接触组织的特写。可选地，通过短的桥接动画视觉地示出从不接触到接触的转变(或反过来)。在一些实施例中，连续感测探针位置和/或探针与组织壁的距离允许使用实际位置数据来平稳地实现在接触与非接触之间的感测到的任何转换跳转。

在一些实施例中，放大或缩小是动态的。可选地，放大使得引导标记的分辨率增大。图6C至图6E展示了示例性引导标记610和620，其中每个图展示了目标部位的特写图，并且每个特写图示出了更多细节，例如，首先在图6C中示出了消融路径610，接着在图6D中示出了消融区域标记620。消融区域标记可以对应于计划的消融子损伤。在一些实施例中，单个消融区域标记622被检测为目标，并且可选地维持在建模区域的中心处。

可选地，还呈现了左侧相邻消融标记624和/或右侧相邻消融标记626，由此潜在地维持较大的视图背景。

在一些实施例中，一旦检测到导管300接触消融标记622，就自动切换视图，以可选地展示由标记区域622标记的组织深度的截面视图。在一些实施例中，在这个视图中还示出了标记624和/或626，可选地具有暗淡和/或透明的外观，以进一步使外科医生聚焦在与探针接触的活动标记上。可选地，通过模拟与至少一种组织特性相关的材料外观、例如模拟组织层(如图6F中的标记622所示)，来将接触的标记与其他标记区分开。示出仅在与导管接触的标记区域中组织特性的细节的潜在优点在于，通过集中外科医生的注意力来减少其认知负担，并且还潜在地减少控制器必须将这些组织特性仅渲染至所界定的区域和/或深度的负担。

现在参考图7A至图7F，这些图示意性地展示了根据本披露的一些示例性实施例的对用于阻断组织传导例如以治疗心房颤动的损伤制造的各个阶段的视觉渲染。应注意的是，图7A至图7F示出了组织的截面，这潜在地有利于向外科医生传达关于所实现的损伤参数(例如损伤深度和/或损伤透壁性)的信息。

在图7A中，导管探针300被示为接近消融部位622。

可选地，相邻的消融部位624和626在“非活动”表示中示出(例如，看起来暗淡)、和/或以非信息性框着色表示、和/或是透明的。这样的呈现可以辅助外科医生仅关注目标部位。在一些实施例中，不同的表示可以指示消融部位和非消融部位。

例如，消融部位622可以是沿着从624开始、经过626并且在622结束的路径的最后一个待消融部位。在一些实施例中，图7A是可以在呈现图6D时同时呈现。消融探针300可以包括至少一个电极(用作消融电极)、随后沿着路径610(图6D)移动，以在多个位置处进行消融从而在每个位置处产生链条子损伤620。根据临床相关参数执行损伤制造以产生透壁性心房壁损伤。

图7B展示了导管300在通过表面702与消融部位622接触的可选表示。表面702被示为在被导管300推入组织的某个深度中，到达位于与其相邻的子损伤624和626不同高度处的消融部位622(同样参见图6F)。

在一些实施例中，一旦发生了消融开始，就提供模拟的材料外观变化。例如，图7C通过图形地呈现暖亮色来展示表面702，这可选地源自模拟导管300尖端与组织表面相接合。这种呈现可以是指示消融部位622的实际变暖的数据的结果。可以实时收集数据，所述数据被解释以估计温度升高。基于所估计的温度升高，如所讨论的，可以例如在图1B的背景下选择图7C所示的材料外观特性。随着加热继续，可以收集实时数据，并且可以估计温度进一步升高，从而产生MAP的新选择，例如，如图7D所示。在一些实施例中，当实现透壁性消融时，显示热量渗透到组织706的整个深度，如图7E所示。

在一些实施例中，一旦检测到和/或计算出消融完成，就可以估计组织706结疤和/或冷却，并使用暗淡的冷色来渲染。当导管探针300被拉离时(图7F)，释放表面702上由导管探针施加的压力，从而可选地致使表面返回到其初始高度。

在一些实施例中，对患者组织或器官的3-D解剖学模型的几何表面的视觉渲染包括：基于在执行手术时可以监测到的中间结果来修改外观。例如，可以在正在进行的消融期间(例如，基于介电特性和/或温度的测得结果)估计损伤的特性，并且通过使几何表面的外观根据测得值改变、例如通过随被模拟组织的一部分上的估计温度分布而变来增加损伤区的色温和/或色强度而进行可视化。

替代性地或此外，可以将中间结果外推，于是几何表面可以根据通过外推而估计的条件来改变。例如，在停止导管探针进行的加热之后，可以持续短时间地测量冷却，并且所述模拟可以甚至在没有进行进一步测量之后基于所采取的温度测量的外推来示出冷却仍在继续。类似地，可以基于指示瘢痕形成的早期阶段的测量值的外推来呈现瘢痕形成的最后阶段。

在一些实施例中，模拟包括：可选地基于患者特异性热特征来模拟损伤制造对组织的热影响效应。可选地，热刺激效应包括：根据探针热水平和/或组织的热传播特性来着色。

替代性地或此外，模拟包括模拟组织特性。所模拟的组织特性可以包括例如纹理轮廓，例如结缔组织和/或肌肉组织和/或动脉和/或静脉的存在。替代性地或此外，所模拟的组织特性可以包括组织组成，例如蛋白质轮廓、和/或纤维方向、和/或瘢痕存在、和/或特定蛋白质、例如血红蛋白的浓度。

可选地，使用组织特性来图形地表示由预先获取的数据、手术期间获取的数据所标识的患者特异性组织特性。在一些实施例中，患者特异性组织特性包括：例如纤维化、和/或斑片状纤维化、和/或瘢痕、和/或先前的消融线。

可选地，消融是通过导管消融、例如RF消融、冷冻消融、超声消融、激光消融、电穿孔消融或另一形式的消融来进行的。可选地，待消融组织是心房壁的区域，例如左心房壁的围绕肺静脉的区域，以用于治疗心房颤动。可选地，对其他组织进行消融，例如对心肌消融以去除肥大性梗阻性心肌病中发生的流出阻塞、对神经组织消融以通过神经调节进行治疗、对癌组织消融以用于肿瘤治疗、对另一组织或这些组织之一消融以实现不同治疗目的。

在一些实施例中，损伤表示在其整个产生过程中和紧跟着消融之后传达组织内特性的动画。可选地，基于热力学模拟来图形地呈现3-D温度演变。在一些实施例中，热力学模拟是基于数据输入，例如探针攻角、和/或电极-组织交接接触区域的品质。在一些实施例中，逐渐消融的组织的图形表示可选地遵循预定算法而随时间改变，例如，改变颜色和/或纹理外观。在一些实施例中，图形地呈现组织增厚以指示水肿积聚。

在一些实施例中，所述方法包括基于实时测量来估计损伤制造的结果。可选地，估计结果包括短期影响，比如附近组织的发热、附带影响、和/或可逆阻挡和/或水肿。替代性地或此外，估计结果包括长期影响的预测，例如阻挡的不可逆性。

现在参考图8，展示了根据本发明的一些实施例的消融概览呈现。在一些实施例中，当导管被拉离消融子损伤时，和/或当完成计划消融时，和/或当导管迷失时，视图自动转换以呈现到目前为止完成的消融过程的概览。

图8展示了是左肺静脉602、604、和右肺静脉606、608的内视图。在一些实施例中，消融概览根据自消融发生以来外推的推进状态来模拟实际的消融子损伤。可选地，将估计已完全结疤的组织模拟成呈现高颜色强度，并且可选地，将模拟为处于正在进行过程中的组织以较低的颜色强度呈现，其与消融外推进展相关。

例如，802a和802b表示已经完成消融的消融部位。消融标记804表示消融进行到后期阶段的消融部位。消融标记806表示消融进行到中间阶段的消融。消融标记808表示消融进行到初始阶段的模拟。

示例性神经调节

现在参考图9A至图9G，展示了根据本发明的一些实施例的心脏神经调节模拟。可选地，例如，图9B至图9G示出了组织的截面。截面视图具有允许清楚地看到穿透大小的潜在优点。此外或替代性地，在本发明的一些实施例中，应用透明效果以允许看到目标体积的组织。

例如，在消融开始之前，以增大的透明度来示出通过探针的位置选择的局部组织区域。可选地，当组织的一部分被制造损伤时，它们在模拟显示中表示为更不透明，由此创建直接示出损伤制造进展的消融“岛”。所述方法的潜在优点是，允许从任意3-D视点(包括目标组织区域)表示损伤制造的进展。

图9B至图9D表示当消融导管300接近和/或接触组织区域(如图9A所示)时，所观察到的组织区域的视觉渲染截面视图。在一些实施例中，消融朝向神经节902引导。组织深度中示出的消融标记972-976是类似于图7A至图7F所示的导向标记，其中所渲染的模拟组织深度区域为972，通过应用与热相关的材料外观特性来模拟加热974，并且通过应用与冷却相关的材料外观特性来模拟结疤和/或冷却976。在一些实施例中，用户界面包括数据插入922，以向外科医生呈现与正在进行的手术有关的数据。

图9E至图9G表示组织区域在被注射探针930的针1070穿透时的视觉渲染截面视图，所述探针被定位成使用注射物质1002来调节和/或消融神经节902的活动。在允许对一定体积的组织的治疗效果可视化的方面，这个截面类似于图9A至图9D的示出了RF消融的效果的截面。在一些实施例中，通过一个或多个参数(包括：扩散常数、注射体积、粘度、预计的药物效果等)，来确定注射材料1002的分布、和/或附近组织被注射材料1002引起的位移，所述参数被反映为表示组织区域的3-D模型限定的表面的材料外观的变化。可选地，选择材料外观特性以视觉地跟踪注射材料1002的建模分布，和/或视觉地指示对组织的实际和/或直观“隐喻”效果(例如，使看起来松弛的组织的平滑)。

示例性验证

在一些实施例中，使用测得的组织介电特性来判定消融损伤是否满足一个或多个目标标准。例如，在治疗心房颤动的情况下，可选地确定损伤的组织区域是否具有足够的大小、连续性、和/或组织转化程度(例如通过结疤和/或细胞破坏)，以产生脉冲传导的不可逆阻断。当阻断被破坏或不完整时，对心房颤动等不规则冲动传导疾病的有效阻断治疗可能会失败。在遇到完整损伤的情况下，停止传导。然而，空隙潜在地允许脉冲逸到周围组织中，由此可能导致不规律的心跳。

现在参考图10A至图10B，例示了验证手术的模拟(图10A)、以及预制计划与实际手术相比时的模拟概览(图10B)。

可选地，在消融后进行介电特性测量，以验证与不可逆损伤制造相关的变化已经发生。可选地，这些测量包括消融后测量与消融前测量的比较。在一些实施例中，一旦验证工具1030标识出传导阻断空隙，则可选地通过修改标记620的外观、例如通过改变其颜色1062来在空隙部位处修改验证概览的材料外观。

在一些实施例中，将预先计划的位置目标620序列与消融导管进行消融之处的实际目标802位置(例如，由导管跟踪系统跟踪)进行比较。可选地，所述比较在消融手术期间进行。在一些实施例中，计划消融目标620和实际消融目标802的图形表示通过投射到由表示组织区域的3-D模型限定的患者特异性表面上来呈现。

在一些实施例中，用户界面还提供手术的概要，所述概要具有在计划消融与实际消融1022之间进行比较的数据、和/或描述手术本身的数据1024、和/或计算出的在计划与实际之间的兼容性1026。

示例性系统

本发明的若干实施例的方面涉及一种根据本发明的一些实施例的用于通过更新由3-D模型限定的形状的材料外观来使引导标记与患者组织的3-D模型相匹配的系统。

现在参考图13，示出了用于感测导管-组织关系并通过渲染组织3-D模型来模拟这种关系的系统的框图。下面展示的是潜在的导管-组织关系，这些关系在本发明的一些实施方案中是有用的。

位置数据：在一些实施例中(可选地)，通过使用电磁场导航子系统来感测位置数据，所述电磁场导航子系统包括体表电极5、场发生器/测量器10、位置分析器20、以及导管探针感测电极3。电磁场导航子系统通过跨包含身体组织区域3的身体2区域引入至少一个时变电磁(EM)场4(例如，三个交叉的EM场)来操作，所述组织区域是导管9和导管探针11要被导航到的目标。典型地，时变EM场是以一伏或更低的总电极间电压、在约10kHz与约1MHz之间的频率下感应出的。通过感测电极3A在不同位置处感测到的电压是相应体内位置的特征，以允许位置分析器20将电压测量值转换为位置信息(例如，在使用探针11探测体内区域3之后，和/或初始地基于相对于电极和解剖学数据的特定配置所模拟的EM场31)。

成像数据：此外或替代性地，在一些实施例中，提供了成像模式设备6，所述成像模式设备在使用期间被配置用于监测身体组织区域3的至少一个特征，所述至少一个特征可选地包括探针的和/或受探针的操作影响的组织的位置信息。在一些实施例中，成像模式设备在手术的至少某个阶段期间连续地、实时地(例如，每秒5个、10个、15个、20个、30个、60个或更多个图像)使用。例如，成像模式设备6包括超声或荧光透视。可选地，系统1连续地处理图像变化以便在用户界面55处立即显示。

此外或替代性地，在一些实施例中，成像模式设备6较不频繁地操作(例如，每分钟到每五分钟一次，或以另一间隔)。虽然不是立即更新，但是可选地使用较慢的成像模式设备6来提供周期性“关键帧”，这些关键帧对于同步和/或验证所模拟的和/或所外推的组织区域3和/或导管9的状态的显示是有用的。

介电特性感测：在一些实施例中，提供对组织状态的指示的介电特性测量由介电特性分析器22使用感测电极3A(或其子集)来进行，以感测结合场发生器/测量器10和可选的体表电极5所产生的电场的阻抗行为。在一些实施例中，使用介电特性感测来区分例如组织状态为健康还是纤维化。例如，在国际专利申请号IB2016/052690中描述了关于这点和其他特性的介电特性感测，其全部内容通过援引并入本文。

一般感测：在一些实施例中，将其他传感器信息(由导管探针11上的可选的(多个)其他传感器14感测到的)用作交互数据。例如，力传感器提供关于导管探针11与其环境之间的接触(已经发生，并且可选地以多大程度的力)的信息。此外或替代性地，基于阻抗测量，从感测电极3A结合EM场导航子系统的其他元件来提供接触和/或接触力信息。在一些实施例中，(多个)其他传感器14包括温度传感器、流量传感器、和/或被配置用于提供关于导管探针11的环境的信息的另一传感器。

治疗的相互作用：在一些实施例中，治疗元件8设置在导管探针11上。交互数据可选地包括关于治疗元件和/或控制其效果的部件的操作的信息。

治疗元件8可选地是例如通过射频消融、冷冻消融、微波消融、激光消融、不可逆电穿孔、物质注射消融和/或高强度聚焦超声消融进行消融治疗的探针。在一些实施例中，治疗元件8还用作感测电极3A(例如，在RF消融中，还可以使用治疗递送电极来感测局部介电特性对测得电场阻抗的影响)。可选地，治疗元件8与治疗控制器13一起操作，所述治疗控制器被配置用于对治疗元件8提供比如动力、控制和/或监测的功能。

在一些实施例中，治疗元件8被配置用于使用加热、冷却、电流、声辐射、和/或光辐射来递送另一种治疗(例如，临时激活或失活)。可选地，治疗元件8包括注射器件，所述注射器件用于注射治疗物质、和/或用于诊断的物质、比如成像示踪剂。在一些实施例中，注射的物质包括乙醇、肉毒杆菌毒素、活细胞和/或生长因子。可选地，注射的物质包括放射性标记的物质、免疫物质、和/或不透射线的痕量物质。

同治疗元件8与包括进行手术的目标部位的组织区域3的相互作用相关的交互数据包括：例如操作持续时间、操作时间、递送的功率和/或能量频率、递送的物质的性质和/或浓度、和/或递送的物质的数量。可选地，将操作设置与关于治疗元件位置和/或环境的信息组合，以推导出交互数据。

应理解的是，并非图13描述的每个交互数据源都必需在本发明的每个实施例中实现。优选地，在本发明的实施例中提供了至少一个位置感测模式设备和一种监测的治疗模式设备。

对3-D模型限定的形状分派MAP

在本发明的一些实施例中，基于一个或多个模拟器1110(图11)的输出来分派材料外观特性。

在一些实施例中，将感测数据1101和/或治疗状态数据1102直接或间接地用作一个或多个模拟模块1110(例如，模块1111、1112、1113、和/或1114)的输入，这些模拟模块基于接收到的输入来调整组织的建模外观状态1120、以及组织生理学、形状、和/或力学的模拟的一个或多个方面。模拟器1110还可选地接收解剖学数据31和/或组织状态数据1104作为起始输入。除了调整建模外观状态1120之外，模拟器1110可选地维持其自己内部的或相互共享的模拟状态。

现在参考图11，其中描述了向模拟器1110提供探针交互输入的不同方法。

直接感测输入：在一些实施例中，直接基于感测数据1101来实现基本模拟。例如，将来自温度传感器14的温度读数可选地直接绘制成根据测得温度选择的颜色变化。此外或替代性地，在一些实施例中，执行更相关的模拟：其中，在至少一个方面，物理地和/或生理学地模拟探针与表示组织的虚拟材料的相互作用，以便产生新的建模外观状态。

经生理学解释的感测输入：在一些实施例中，在用一个或多个生理学跟踪器1106解释之后，模拟器对传感数据1101的使用是间接的。在一些实施例中，生理学跟踪器1106是接收感测数据1101并将其转换为对当前生理学状态的评定的模块。例如，在一些实施例中，感测数据1101包括介电测量值，生理学跟踪器1106被配置为将其转换成组织状态的评定，例如国际专利申请号IB2016/052688中描述，所述专利的全部内容通过援引并入本文。此外或替代性地，测量指示组织本身的功能状态的电活动。

生理学跟踪器1106的来自这些输入中的一个或多个输入的输出可选地是就一个或多个状态而言，例如损伤深度、损伤体积、损伤透壁度、组织水肿的特征、功能活动和/或不活动的特征、关于组织炭化的可能性的分类、和/或关于蒸汽爆破的可能性的分类。这些输出可选地被提供给生理学模拟器1114或消融物理学模拟器1112，所述模拟器被配置用于将这样的状态转换成指示根据测量值计算的状态的MAP。可选地，经解释的组织状态还影响例如接触物理学模拟器1111和/或注射模拟器1113所假设的机械特性。潜在优点是将生理学跟踪器1106实施为可以被视为对任何适当的模拟器1110提供计算“服务”的不同模块。然而，应理解的是，生理学跟踪器1106可选地被实施为一个或多个模拟器1110的一部分，以产生建模外观状态1120的变化。在这种情况下，模块配置更类似于直接感测输入，其中外观的模拟与感测数据的生理学解释相整合。

经位置解释的感测输入：在一些实施例中，在被探针位置跟踪器1107解释之后，模拟器对传感数据1101的使用是间接的。在一些实施例中，探针位置跟踪器1107是接收适当的感测数据1101(例如，电磁场跟踪数据、声学跟踪数据、和/或成像数据)并将其转换为对探针、比如导管探针11的位置(例如，定位和/或取向)的确定的模块。

可选地，位置确定包括使用探针上的力传感器、和/或例如如国际专利申请号IB2016/052686中描述的来确定组织接触力和/或品质，所述专利的全部内容通过援引并入本文。此外或替代性地，间歇地和/或连续地使用在线成像数据(例如，超声图像和/或血管造影图像)来确定和/或验证探针位置。

可选地，将探针位置确定用作任何模拟器1110的输入；例如以对其他组织状态/特性的测量来分派特定位置，和/或帮助表征探针与组织相互作用引起的变化(例如组织形状的扭曲、和/或模拟的治疗手术的效果)。潜在优点是将探针位置跟踪器1107实施为可以被视为对任何适当的模拟器1110提供计算“服务”的不同模块。然而，应理解的是，探针位置跟踪器1107可选地被实施为一个或多个模拟器1110的一部分，以产生建模外观状态1120的改变。

治疗状态输入：在一些实施例中，基于治疗状态数据1102来实现模拟。可选地，将治疗状态数据直接应用于建模的外观状态；例如，作为激活治疗模式设备激活的每个位置的标记。此外或替代性地，在一些实施例中，基于治疗状态数据，物理地和/或生理学地模拟组织和/或组织/探针相互作用的至少一个方面，以产生新的建模外观状态。例如，在一些实施例中，生理学模拟器1114接收指示在某个特定位置处发生探针递送的治疗操作的输入(可选地与治疗操作的参数一起)。生理学模拟器1114可选地被配置用于将组织对治疗的瞬时的反应(例如，直接由于消融治疗所递送的能量)和/或随时间变化的反应(例如，由于在消融治疗的分钟内发生的水肿反应)进行建模。在另一个实例中，注射模拟器1113接收指示材料注射正在进行的治疗状态输入。注射模拟器1113可选地被配置用于将组织对注射物质的适当反应(例如，消融和/或失活)进行建模。可选地，反应是即时的、和/或包括缓慢发展的组分，因为材料从注射部位扩散。可选地，还模制了由于对组织添加材料体积而导致的形状变化。

在实时解剖学导航中使用图形游戏引擎

现在参考图12，这个图示示意性地表示根据本披露的一些实施例的用于操作来管理场景元素1220并将其渲染成运动帧速率图像1240的图形游戏引擎1200的部件、输入和输出。

在本发明的一些实施例中，图形游戏引擎1200不仅用于渲染图像，而且还用于更一般地提供“场景”的数据结构和代码框架以及它响应于时间和输入如何改变。

概括地说，图形游戏引擎1200包括暴露一个或多个应用程序编程接口(API)的计算机软件部件的集合，以用于描述、实例化(初始化并维护)、连续更新、渲染和/或显示场景元素1220。针对图形游戏引擎1200的操作提供的场景元素1220可选地包括：例如地形1221、对象1222、相机1223、和/或照明元件1222的描述。可选地，根据几何类型场景数据1225(例如，模型资产、形状和/或网格)和/或外观类型场景数据1226(例如，图像资源、材料、着色、和/或纹理)来表达定义。在一些实施例中，初始地已经以图形游戏引擎1200直接使用的格式生成3-D模型1221和材料外观特性(MAP)数据。

在一些实施例中，通过迭代的一系列计算出的场景调整1210来对场景元素1220提供模拟的动态行为。场景调整1210可选地由用于例如运动物理学1212、碰撞检测1213、和/或脚本1211的各种各样的软件部件来实现。这些是实例；图形游戏引擎1200可选地实现额外的服务、例如“可毁坏性”。可以提供脚本1211来模拟例如被触发事件的自主行为和/或影响。脚本1211可选地以利用图形游戏引擎1200的API的通用计算机语言来编写，和/或以核心图形游戏引擎1200提供的环境特定的脚本语言来编写。图形游戏引擎可选地还接受与插件软件模块(插件，未示出)的集成，这些模块允许在其任何功能方面扩展核心图形游戏引擎1200的功能。出于在此提供的描述的目的，执行与更新场景状态相关的功能的插件也涵盖在术语“脚本”1211内。

出于在此描述的目的，脚本(可选地包括插件)1211和场景元素1220被视为图形游戏引擎1211的一部分作为功能单元。可选地，例如，在特别提及了除了对在此描述的用途的专门适配之外的现成图形游戏引擎的情况下，使用了术语“核心图形游戏引擎”。

对于交互性，图形游戏引擎1200接受用户输入1214(可选地包括但不限于：来自比如鼠标、键盘、触摸屏、游戏控制器、手部运动检测器等装置的输入；以及对于本发明的一些实施例，可选地包括描述了探针位置、治疗激活等的输入)。

典型的图形游戏引擎还包括渲染管线1230，所述渲染管线可以包括一个或多个3-D渲染阶段、效果应用和/或后处理，以产生至少一个帧速率图像流1240。在一些实施例中，渲染管线1230的这些阶段包括实现模拟光学算法的模块，这些模拟光学算法不一定直接基于现实世界的物理定律、通常被选择用于产生渲染结果，所述渲染结果对渲染场景中的元素视觉地赋予材料物质的外观。

表1包括在本发明的一些实施例中如何可选地使用图形游戏引擎特征和概念的一些实例。

表1：图形引擎特征/概念使用的实例

手术-同时映射

现在参见图14A，这个图是根据本披露的一些实施例的示意性地描述心脏消融手术的流程图，其中将指示标记放在3-D模型上，所述模型是从在手术过程中获得的数据形成的。还参考图14B至图14E，这些图示出了根据本披露的一些实施例的右心房1510和包括上腔静脉1520和下腔静脉1524的连接血管的模型1500的术中迭代重建的阶段。在图15中标识了由3-D模型1500表示的额外的血管。还在模型1500内的不同位置处指示了导管探针1504；这是对应于在所映射的右心房1510内移动的实际导管探针的显示渲染，所述显示渲染根据实际导管探针的远端的位置与模型1500对准。对应于导管探针1504的实际导管探针也是用于映射右心房1510的探针。

出于描述的目的，假设提前已知了手术的总体计划(例如，使用消融导管在左心房中进行消融)，并且还假设目标解剖结构的细节(比如，形状)在使用体内探针进行心内映射之前始终是未知的。在一些实施例中，3-D模型完全由当前手术的心内映射数据生成。然而，涵盖来自这些假设的变体的方法也被设想为属于本发明的一些实施例、并且可以由本领域普通技术人员实现、在需要时根据本文的描述而改变。特别地，应理解的是，在一些实施例中，使用成像数据、图谱数据、和/或先前获取的心内映射数据来提供3-D模型的起始点，然后基于所获取的另外的心内映射数据来对其进行详述。在一些实施例中，在手术期间执行另一种类型的心脏映射和/或成像。

出于描述的目的，还假设映射探针是电极探针，消融探针是RF消融探针；并且此外，这两种探针可选地(并且如所描述的)是相同的探针。然而，涵盖来自这些假设的变体的方法也被设想为属于本发明的一些实施例、并且可以由本领域普通技术人员实现、在需要时根据本文的描述而改变。例如，应理解的是，可选地使用一个或多个不同的探针来执行方法，其中所述一个或多个探针一起提供了解剖学映射功能和治疗功能。本发明的实施例还考虑了必要时调整方法以适用于其他器官和手术。

流程图开始，并且在框1402处，在一些实施例中，将体内探针定位在包含旨在进行治疗的组织的身体区域(例如，心腔)中、例如在包含旨在进行消融的组织的左心房内。在一些实施例中，探针是导管探针，并且将可用于基于电场的体内映射的一个或多个电极与进行消融、例如RF消融的电极(可选地还用作映射电极之一)相组合。

在框1404处，在一些实施例中，使探针在心腔内移动，以在这样做的同时记录指示腔室壁的内表面细节的映射数据。在移动期间，根据这个数据来逐渐构建心腔的3-D模型(例如，使用接收数据的适当配置的计算机)，以至少达到适于初始确定一个或多个目标消融区域的细节水平。使用用户界面55的显示器来显示3-D模型，所述模型可选地随着其基于手术的过程中获得的映射数据的发展而更新。

在框1406处，在一些实施例中，生成初始治疗计划(例如，初始消融计划)。所述计划可以包括多个要素，例如关于在此的任何预先计划方法、计划方法和计划调整方法所描述的。例如，所述计划可以包括计划要沿着其执行消融的线、和/或特别计划要执行消融(例如，通过在消融探针与目标组织之间的接触期间递送RF能量)的多个目标部位(例如，沿着所述线)。可选地，计算机基于手术的一般目标和已知解剖结构的细节自动地形成计划。例如，一旦已知与左心房组织电隔离的肺静脉位置，计算机就计算其周围的消融线的走向，可选地还计算沿着消融线要执行消融的特定部位，以及可选地消融参数、如这些部位处的消融功率和持续时间。在一些实施例中，可通过手动干预(例如，使用用户界面55)来调整自动计划。在一些实施例中，用户手动地提供计划的至少一部分(例如，消融线的一般进程)。在一些实施例中，计划包括使用探针的取向(指向选择)和/或其与待治疗组织的接触(触摸选择)来选择一个或多个治疗部位。可选地，需要时自动调整和/或详述手动计划。

在框1408处，在一些实施例中，渲染指示手术的计划和/或状态的多个方面(例如，所取得的进展、当前探针位置和/或方向)的标记。手术状态的实例可以包括：到目前为止所取得的进展、当前探针位置和/或取向等。可选地，在3-D模型的显示表面上、和/或结合由3-D模型表示的一定体积组织来渲染手术的计划和/或状态的多个方面；例如，如关于图1A至图1E中的任何一个或多个描述的、和/或如本文中的附图所示，例如消融线和目标消融部位(例如，如图6A至图6E所示)、正在进行的消融的状态(例如，如图7A至图7F所示)、组织状态指示(例如，水肿的指示)、和/或探针位置和/或取向的指示(例如，如图3A至图5D所示)。

在框1410处，在一些实施例中，记录另外的映射数据，并且心脏腔室3-D模型相应地更新其形状(几何形状)，例如关于框1404描述的。

图14B至图14E示出了3-D模型根据在右心房1510内获得的基于探针的映射数据而更新的中间结果。应注意的是，可以在映射的较早阶段期间用第一形状来标识特征，然后基于另外的信息将其细化成稍后的更精确和/或详细的形状。这展示了为什么在更新收集表示实际执行手术计划的身体区域的3-D模型数据的同时来监测并评估手术计划的准确参考的潜在优点的一个原因。

在框1412处，在一些实施例中，可选地记录指示消融探针或另一治疗装置的操作的数据。

在框1414处，在一些实施例中，根据框1410和/或1412中记录的数据来可选地调整、改进和/或替换在框1406处生成的计划。例如，如所描述的，调整可以实现在此描述的任何计划调整目的，例如，关于图2和/或如综述中描述的。

从框1416开始，在一些实施例中，只要手术继续，和/或探针保持在旨在进行映射和/或治疗的心室内，流程接下来返回到框1408以重新显示当前计划和/或手术状态。否则，流程图结束。

探针位置指示标记

现在参见图15，这个图展示了根据本披露的一些实施例的使用指示标记1501、1502来示出位于体腔的3-D模型1500内的探针1504的尖端1505的当前位置。所模制的体腔包括在上腔静脉1520和下腔静脉1524之间互连的右心房1510区域。还显示了肝静脉1526、肾静脉芽区域1528、以及冠状窦1522。探针1504在3-D模型1500内的位置(包括取向和移动)与探针在对应于3-D模型1500的体腔内的实际移动同步。

示出了两个指示标记1501、1502，每一个指示标记映射到3-D模型1500的表面。标记1501的中心点示出了从探针1504向远侧延伸的纵向轴线(即，沿着探针1504的远侧部分的面向方向向远侧延伸的轴线)与模型1500的表面相交的位置。标记1502的中心点以3-D模型1500的表面点为中心，所述表面点最接近探针1504的尖端1505处的点。

在手术期间，在接收到指示探针1504的新位置(包括取向)的数据时，标记1501、1502被四处移动，每个标记是根据它们各自的放置规则移动。标记1501、1502被置于模型1500的表面上，使得它们符合所描述的表面形状，例如关于图3A至图5D描述的。例如，标记1502由于其占据的表面部分的取向而以节略形式显示。可选地，标记1501、1502是通过颜色、形状、和大小中的一个或多个而区分。例如，标记1501可选地是红色标记，而标记1502可选地是蓝色标记。可选地，标记1501、1502的大小随距探针1504的距离而变化；例如，可选地将大小选择成相对于位于由探针1504的位置限定的某个参考位置处的原点维持固定角度大小(或具有偏离的类似于从扩展源发出的手电筒光束的固定角度大小)。可选地，当标记1501和1502的放置规则产生基本上重合的位置时，和/或当确定探针1504被定位成接触模型1500的表面时，使用组合标记(未示出)，所述组合标记可选地在大小、形状和/或颜色方面区分；例如，绿色。

将指示标记1501、1502中的任何一个或两个指示标记可选地模拟为3-D模型的表面特征(例如，通过改变表面的外观的材料特性，例如吸收、散射、发光、和/或反射率来建模)；和/或模拟为3-D模型的被照射表面部分(例如，“手电筒”型光束和/或好像从成形光源投射的光束的形状；例如类似于从聚焦图像平面或图案扫描点源投射的光的效果)。

在本文的综述中讨论了与如何针对例如指示标记(比如指示标记1501，在探针的相对于指向表面的辨别方向上)执行手术的效果相关的潜在优点。组合地使用标记1501和1502的潜在优点在于，在操纵导管探针期间辅助协调接触与取向以到达例如治疗部位。随着探针接近表面，掌控这两个标记1501、1502的渲染的规则使得这两个标记1501、1502以一定距离靠得更近，探针正交地接近所接近表面更近(在许多但不是所有情况下)。并且，在探针操纵期间，可以同时和/或替代性地讨论“哪个表面最接近”和“指向哪个表面”。例如，当探针朝向远处表面位置定向时，沿着血管或其他附近表面快速推进探针可能是相对安全的，以便更快地获得沿着更大范围的映射点。可以通过在观察指示标记1502的位置的同时移动探针来选择表面，并且可以通过控制指示标记1501的位置以靶向远处表面位置的同时来执行对探针推进的畅通路径的选择。

通用

如在此使用的，术语“约”是指±25％。术语“包括”、“包含”、“包括”、“含有”、“具有”及其同源词是指：“包括但不限于”

术语“由......组成”是指：“包括但限于”。

术语“基本上由......组成”是指组合物、方法或结构可以包括额外的成分、步骤和/或部分，但仅在所述额外的成分、步骤和/或部分并不实质性改变所要求保护的组合物、方法或结构的基本和新颖特征的情况下。

如在此使用的，单数形式“一个/种”和“所述”包括复数指示物，除非上下文另外清楚地指出。

遍及本申请，可以用范围格式来呈现本发明的各个实施例。应理解的是，范围格式的描述仅仅是为了方便和简洁，并且不应被解释为对本发明范围的不可改变的限制。相应地，对范围的描述应被认为具有具体披露的所有可能的子范围以及这个范围内的各个数值。例如，比如“从1到6”的范围的描述应被认为具有具体披露的子范围，比如“从1到3”、“从1到4”、“从1到5”、“从2到4”、“从2到6”、“从3到6”等；以及这个范围内的各个数，例如1、2、3、4、5和6。无论范围的广度如何，这都适用。

每当本文指示了数值范围时，意味着包括所指示范围内的任何提及数(分数或整数)。短语在第一指示数与第二指示数之间的“变化范围/范围内”、以及在第一指示数“到”第二指示数的“变化范围/范围内”在此可互换地使用，并且意指包含第一与第二指示数以及它们之间的所有分数和整数。

如在此使用的，术语“方法”是指用于完成给定任务的方式、手段、技术和程序，包括但不限于化学、药理学、生物学、生物化学和医学领域的从业者从已知的方式、手段、技术和程序已知的或容易开发的方式、手段、技术和程序。

如在此使用的，术语“治疗”包括消除、显著地抑制、减缓或逆转病症的进展；显著地改善病症的临床或美学症状；或显著地防止病症的临床或美学症状的出现。

应了解的是，为清楚起见，在单独的实施例的背景下描述的本发明的某些特征还可以在单一实施例中组合提供。相反，为简洁起见，在单一实施例中的背景下描述的本发明的各种特征也可以单独提供或以任何适合的子组合提供，或者按照本发明的任何其他所描述实施例中的适合方式。在各个实施例的背景下描述的某些特征不被认为是那些实施例的必要特征，除非所述实施例在没有那些元件的情况下不起作用。

虽然已经结合其具体实施例描述了本发明，但显然，许多替代方案、修改和变化对于本领域技术人员将是清楚的。因此，旨在包含如落入所附权利要求的精神和宽范围内的所有此类替代方案、修改、和变化。

本说明书中提及的所有公开文献、专利和专利申请的全部内容均通过援引并入本说明书中，其程度如同每个单独的公开文献、专利或专利申请被具体和单独地指示为通过援引并入本文。此外，本申请中对任何参考文献的引证或指明不应被解释为承认这样的参考文献可作为本发明的现有技术。在使用章节标题的程度上，它们不应被解释为必然限制。

Claims (68)

1.一种用户界面，其用于在使用导管探针的导管插入手术期间在组织表面的3-D模型上图形地呈现指示标记，其中，所述用户界面被配置用于：

渲染所述3-D模型的图像，其中所述3-D模型的一区域被跨所述区域由多个位置限定的变形的指示标记覆盖；

其中所述变形的指示标记是：

由所述指示标记被变形而获得的；以及

跨所述区域在所述多个位置处与由所述3-D模型限定的形状和谐匹配。

2.根据权利要求1所述的用户界面，其还被配置用于生成所述3-D模型的所述图像。

3.根据权利要求1所述的用户界面，其中，所述指示标记指示了从沿着所述导管探针的位置看到的视野，沿着所述导管探针的该位置是由所述导管探针的远端的测得位置和面向方向确定的。

4.根据权利要求2所述的用户界面，其中，所述指示标记指示了从沿着所述导管探针的位置看到的视野，沿着所述导管探针的该位置是由所述导管探针的远端的测得位置和面向方向确定的。

5.根据权利要求1-4中任一项所述的用户界面，其中，所述指示标记的外观指示了所述导管探针相对于所述组织表面的相对位置，所述相对位置是基于所述导管探针的远端相对于所述组织表面的测得位置和面向方向确定的。

6.根据权利要求1-4中任一项所述的用户界面，其中，所述区域的大小指示了所述导管探针与所述组织表面之间的距离。

7.根据权利要求5所述的用户界面，其中，所述区域的大小指示了所述导管探针与所述组织表面之间的距离。

8.根据权利要求1-4和7中任一项所述的用户界面，其中，所述指示标记的可见性指示了所述导管探针与所述组织表面之间的距离。

9.根据权利要求5所述的用户界面，其中，所述指示标记的可见性指示了所述导管探针与所述组织表面之间的距离。

10.根据权利要求6所述的用户界面，其中，所述指示标记的可见性指示了所述导管探针与所述组织表面之间的距离。

11.根据权利要求1-4、7和9-10中任一项所述的用户界面，其中，所述区域的纵横比指示了所述导管探针与所述组织表面之间的取向。

12.根据权利要求5所述的用户界面，其中，所述区域的纵横比指示了所述导管探针与所述组织表面之间的取向。

13.根据权利要求6所述的用户界面，其中，所述区域的纵横比指示了所述导管探针与所述组织表面之间的取向。

14.根据权利要求8所述的用户界面，其中，所述区域的纵横比指示了所述导管探针与所述组织表面之间的取向。

15.根据权利要求1-4、7、9-10和12-14中任一项所述的用户界面，其中，所述3-D模型的所述区域的确定、所述变形的指示标记的获得和所述3-D模型的渲染在所述导管插入手术的至少一部分持续时间内都是被迭代地实现的。

16.根据权利要求5所述的用户界面，其中，所述3-D模型的所述区域的确定、所述变形的指示标记的获得和所述3-D模型的渲染在所述导管插入手术的至少一部分持续时间内都是被迭代地实现的。

17.根据权利要求6所述的用户界面，其中，所述3-D模型的所述区域的确定、所述变形的指示标记的获得和所述3-D模型的渲染在所述导管插入手术的至少一部分持续时间内都是被迭代地实现的。

18.根据权利要求8所述的用户界面，其中，所述3-D模型的所述区域的确定、所述变形的指示标记的获得和所述3-D模型的渲染在所述导管插入手术的至少一部分持续时间内都是被迭代地实现的。

19.根据权利要求11所述的用户界面，其中，所述3-D模型的所述区域的确定、所述变形的指示标记的获得和所述3-D模型的渲染在所述导管插入手术的至少一部分持续时间内都是被迭代地实现的。

20.根据权利要求1-4、7、9-10、12-14和16-19中任一项所述的用户界面，其中，呈现所述指示标记以每秒10帧或更大的帧速率更新。

21.根据权利要求5所述的用户界面，其中，呈现所述指示标记以每秒10帧或更大的帧速率更新。

22.根据权利要求6所述的用户界面，其中，呈现所述指示标记以每秒10帧或更大的帧速率更新。

23.根据权利要求8所述的用户界面，其中，呈现所述指示标记以每秒10帧或更大的帧速率更新。

24.根据权利要求11所述的用户界面，其中，呈现所述指示标记以每秒10帧或更大的帧速率更新。

25.根据权利要求15所述的用户界面，其中，呈现所述指示标记以每秒10帧或更大的帧速率更新。

26.根据权利要求1-4、7、9-10、12-14、16-19和21-25中任一项所述的用户界面，其中，所述指示标记指示了计划路径。

27.根据权利要求5所述的用户界面，其中，所述指示标记指示了计划路径。

28.根据权利要求6所述的用户界面，其中，所述指示标记指示了计划路径。

29.根据权利要求8所述的用户界面，其中，所述指示标记指示了计划路径。

30.根据权利要求11所述的用户界面，其中，所述指示标记指示了计划路径。

31.根据权利要求15所述的用户界面，其中，所述指示标记指示了计划路径。

32.根据权利要求20所述的用户界面，其中，所述指示标记指示了计划路径。

33.根据权利要求1-4、7、9-10、12-14、16-19和21-25中任一项所述的用户界面，其中，所述指示标记指向选定目标部位的方向。

34.根据权利要求5所述的用户界面，其中，所述指示标记指向选定目标部位的方向。

35.根据权利要求6所述的用户界面，其中，所述指示标记指向选定目标部位的方向。

36.根据权利要求8所述的用户界面，其中，所述指示标记指向选定目标部位的方向。

37.根据权利要求11所述的用户界面，其中，所述指示标记指向选定目标部位的方向。

38.根据权利要求15所述的用户界面，其中，所述指示标记指向选定目标部位的方向。

39.根据权利要求20所述的用户界面，其中，所述指示标记指向选定目标部位的方向。

40.根据权利要求1-4、7、9-10、12-14、16-19、21-25、27-32和34-39中任一项所述的用户界面，其中，所述指示标记是基于与在所述导管插入手术期间期望获取的输入预先关联的规则而被标识出要被呈现的。

41.根据权利要求5所述的用户界面，其中，所述指示标记是基于与在所述导管插入手术期间期望获取的输入预先关联的规则而被标识出要被呈现的。

42.根据权利要求6所述的用户界面，其中，所述指示标记是基于与在所述导管插入手术期间期望获取的输入预先关联的规则而被标识出要被呈现的。

43.根据权利要求8所述的用户界面，其中，所述指示标记是基于与在所述导管插入手术期间期望获取的输入预先关联的规则而被标识出要被呈现的。

44.根据权利要求11所述的用户界面，其中，所述指示标记是基于与在所述导管插入手术期间期望获取的输入预先关联的规则而被标识出要被呈现的。

45.根据权利要求15所述的用户界面，其中，所述指示标记是基于与在所述导管插入手术期间期望获取的输入预先关联的规则而被标识出要被呈现的。

46.根据权利要求20所述的用户界面，其中，所述指示标记是基于与在所述导管插入手术期间期望获取的输入预先关联的规则而被标识出要被呈现的。

47.根据权利要求26所述的用户界面，其中，所述指示标记是基于与在所述导管插入手术期间期望获取的输入预先关联的规则而被标识出要被呈现的。

48.根据权利要求33所述的用户界面，其中，所述指示标记是基于与在所述导管插入手术期间期望获取的输入预先关联的规则而被标识出要被呈现的。

49.根据权利要求40所述的用户界面，其中，所述输入包括导管探针导航过程的被标识开始。

50.根据权利要求41-48中任一项所述的用户界面，其中，所述输入包括导管探针导航过程的被标识开始。

51.根据权利要求40所述的用户界面，其中，所述输入包括消融的被标识开始。

52.根据权利要求41-48中任一项所述的用户界面，其中，所述输入包括消融的被标识开始。

53.一种用于在导管插入手术期间图形地呈现指示标记的系统，所述系统包括计算机电路系统，所述计算机电路系统被配置用于：

接收身体组织区域的3-D模型；

确定所述指示标记相对于所述3-D模型的多个位置；并且

呈现所述3-D模型的至少一部分的图像，所述至少一部分由被变形成与所述3-D模型在所确定位置处和谐匹配的所述指示标记部分地覆盖。

54.根据权利要求53所述的系统，其中，所述计算机电路系统被配置用于使用图形游戏引擎来使所述指示标记变形。

55.根据权利要求53所述的系统，进一步被配置用于感测指示导管探针的远端的位置和面向方向的数据。

56.根据权利要求54所述的系统，进一步被配置用于感测指示导管探针的远端的位置和面向方向的数据。

57.根据权利要求55所述的系统，其中，所述计算机电路系统被配置用于根据所述导管探针的所述远端的所述位置和面向方向来确定所述多个位置。

58.根据权利要求56所述的系统，其中，所述计算机电路系统被配置用于根据所述导管探针的所述远端的所述位置和面向方向来确定所述多个位置。

59.根据权利要求53-58中任一项所述的系统，进一步包括被配置用于显示所呈现图像的显示器。

60.根据权利要求53-58中任一项所述的系统，其中，所述计算机电路系统被配置用于产生所述3-D模型。

61.根据权利要求59所述的系统，其中，所述计算机电路系统被配置用于产生所述3-D模型。

62.根据权利要求60所述的系统，其中，所述3-D模型是使用从体内探针获得的数据来产生的。

63.根据权利要求61所述的系统，其中，所述3-D模型是使用从体内探针获得的数据来产生的。

64.根据权利要求60所述的系统，其中，所述3-D模型是使用图像数据来产生的。

65.根据权利要求61所述的系统，其中，所述3-D模型是使用图像数据来产生的。

66.根据权利要求53-58和61-65中任一项所述的系统，包括治疗元件和被配置用于控制所述治疗元件的治疗控制器，并且其中，所述计算机电路系统被配置用于呈现具有在所述导管插入手术期间利用所述治疗元件的指示的所述图像。

67.根据权利要求59所述的系统，包括治疗元件和被配置用于控制所述治疗元件的治疗控制器，并且其中，所述计算机电路系统被配置用于呈现具有在所述导管插入手术期间利用所述治疗元件的指示的所述图像。

68.根据权利要求60所述的系统，包括治疗元件和被配置用于控制所述治疗元件的治疗控制器，并且其中，所述计算机电路系统被配置用于呈现具有在所述导管插入手术期间利用所述治疗元件的指示的所述图像。

Images