CN109414180A - 在图像引导程序期间以多种模式显示指导信息的图形用户界面 - Google Patents

Abstract

一种用于在医疗程序期间使用图形用户界面显示引导信息的方法包括：在图形用户界面的第一模式中，从对应于细长装置的远端的视角显示第一图像数据。第一图像数据包括虚拟路线图。该方法还包括从图形用户界面的第一模式转换到图形用户界面的第二模式。该转换基于触发条件的发生。该方法还包括在图形用户界面的第二模式中从对应于细长装置的远端的视角显示第二图像数据。第二图像数据包括与目标方位相对应的目标指示符以及与目标方位处的医疗程序的预期方位相对应的对齐指示符。

Description

在图像引导程序期间以多种模式显示指导信息的图形用户 界面

相关申请

本专利申请要求于2016年6月30日提交的题为“Graphical User Interface forDisplaying Guidance Information in a Plurality of Modes during an Image-Guided Procedure”的美国临时专利申请62/357,258以及于2017年4月18日提交的题为“Graphical User Interface for Monitoring an Image-Guided Procedure”的美国临时专利申请62/486,879的申请日的优先权和权益，其全部内容通过引用合并于此。本申请还涉及于2016年6月30日提交的题为“Graphical User Interface for DisplayingGuidance Information During an Image-Guided Procedure”的美国临时专利申请62/327,217，其全部内容通过引用合并于此。

技术领域

本公开涉及用于进行图像引导程序的系统和方法，并且更具体地涉及用于在图像引导程序期间以多种模式显示引导信息的系统和方法。

背景技术

微创医疗技术意图减少医疗程序期间损伤的组织量，从而减少患者恢复时间、不适和有害副作用。可以通过患者解剖结构的自然孔口或通过一个或多个手术切口进行这种微创技术。通过这些自然孔口或切口，医师可以插入微创医疗器械(包括手术、诊断、治疗或活检器械)到达目标组织位置。一种这样的微创技术是使用柔性和/或可转向细长装置，诸如能够被插入到解剖通路内并且朝向患者解剖结构内的感兴趣区域被导航的柔性导管。由医疗人员控制这种细长装置涉及几个自由度的管理，至少包括细长装置的插入和缩回以及装置的转向的管理。此外，还可以支持不同的操作模式。

因此，提供一种图形用户界面将是有利的，该图形用户界面支持直观控制和管理柔性和/或可转向细长装置，例如，适用于微创医疗技术的可转向导管。

发明内容

随附于说明书的权利要求最佳地概括了本发明的实施例。

在一些实施例中，一种用于在医疗程序期间使用图形用户界面显示引导信息的方法包括：在图形用户界面的第一模式中，从对应于细长装置的远端的视角显示第一图像数据。第一图像数据包括虚拟路线图。该方法还包括从图形用户界面的第一模式转换到图形用户界面的第二模式。该转换基于触发条件的发生。该方法还包括在图形用户界面的第二模式中从对应于细长装置的远端的视角显示第二图像数据。第二图像数据包括对应于目标方位的目标指示符以及对应于目标方位处的医疗程序的预期方位的对齐指示符。

在一些实施例中，一种用于使用图形用户界面显示引导信息的系统包括细长装置，该细长装置包括柔性主体。该系统还包括一个或多个处理器，这些处理器被配置为在图形用户界面的第一模式中从对应于细长装置的远端的视角显示第一图像数据。第一图像数据包括虚拟路线图。一个或多个处理器还被配置为从图形用户界面的第一模式转换到图形用户界面的第二模式。该转换基于触发条件的发生。一个或多个处理器还被配置为在图形用户界面的第二模式中从对应于细长装置的远端的视角显示第二图像数据。第二图像数据包括对应于目标方位的目标指示符以及对应于目标方位处的医疗程序的预期方位的对齐指示符。

应理解，以上大致描述和以下详细描述二者本质上是示例性和解释性的，并且旨在提供对本公开的理解而非限制本公开的范围。就此而言，根据下面的详细描述，本公开的附加方面、特征和优点对于本领域技术人员将是显而易见的。

附图说明

该专利或申请文件包含至少一个彩色附图。具有彩色附图的本专利或专利申请公开的副本将在请求和支付必要费用后由主管局提供。

图1是根据一些实施例的远程操作医疗系统的简化示意图。

图2A是根据一些实施例的医疗器械系统的简化示意图。

图2B是根据一些实施例的具有延伸的医疗工具的医疗器械的简化示意图。

图3A和图3B是根据一些实施例的包括被安装在插入组装件上的医疗器械的患者坐标空间的侧视图的简化示意图。

图4A是根据一些实施例的穿越模式中的多模态图形用户界面的简化示意图。

图4B是根据一些实施例的对齐模式中的多模态图形用户界面的简化示意图。

图5是根据一些实施例的用于显示虚拟内窥镜图像的窗口的简化示意图。

图6是根据一些实施例的用于显示穿越模式中的虚拟全局图像的窗口的简化示意图。

图7是根据一些实施例的用于显示力指示符信息的窗口的简化示意图。

图8是用于显示致动信息的窗口的简化示意图。

图9是根据一些实施例的用于显示对齐模式中的目标引导信息的窗口的简化示意图。

图10是根据一些实施例的用于显示对齐模式中的虚拟全局图像的窗口的简化示意图。

图11是根据一些实施例在图像引导的外科手术程序期间显示多模态图形用户界面的方法的简化示意图。

图12是穿越模式中的多模态图形用户界面的屏幕截图。

图13是根据一些实施例的对齐模式中的多模态图形用户界面的屏幕截图。

通过参考随后的详细描述，将最好地理解本公开的示例及其优点。应认识到，同样的附图标记被用来识别在一个或多个附图中图示的同样的元件，其中的标识是用于图示本公开的实施例的目的，并不是用于限制本公开。

具体实施方式

在以下描述中，阐述了描述符合本公开的一些实施例的特定细节。阐述了很多特定细节，以便提供对实施例的充分理解。然而，对本领域技术人员显而易见的是，可以在没有这些特定细节中的一些或全部的情况下实践一些实施例。本文中公开的特定实施例旨在是图示性的而不是限制性的。本领域技术人员可以实现尽管此处未具体描述但是在本公开的范围和精神内的其他元件。此外，为了避免不必要的重复，结合一个实施例示出并描述的一个或多个特征可以被并入到其他实施例内，除非另外具体描述或如果一个或多个特征将会使实施例不能工作。

在一些实例中，公知的方法、程序、部件和电路未被详细描述，从而不会不必要地使实施例的多个方面难以理解。

本公开就不同器械和器械部分在三维空间中的状态而言对其进行描述。如本文所用，术语“位置”指代对象或对象的一些部分在三维空间中的方位(例如，沿笛卡尔X、Y和Z坐标的三个平移自由度)。如本文所用，术语“取向”指代对象或对象的一些部分的旋转布置(三个旋转自由度——例如，滚转、俯仰和偏转)。如本文所用，术语“姿态”指代对象或对象的一些部分在至少一个平移自由度上的位置和对象或对象的一些部分在至少一个旋转自由度上的取向(多达六个自由度)。如本文所用，术语“形状”指代沿着对象测量的一组姿态、位置或取向。

图1是根据一些实施例的远程操作医疗系统100的简化示意图。在一些实施例中，远程操作医疗系统100可以适合于在例如手术、诊断、治疗、或活检程序中使用。如图1所示，医疗系统100一般包括用于操作医疗器械104以对患者P执行各种程序的远程操作操纵器组装件102。远程操作操纵器组装件102安装于操作台T或安装在操作台T附近。主控组装件106允许操作者(例如，如图1所示的外科医生、临床医生或医师O)观看介入部位并控制远程操作操纵器组装件102。

主控组装件106可以位于医师控制台处，所述医师控制台通常与手术台T位于相同的房间中，诸如在患者P位于其上的外科手术台的一侧。然而，应当理解，医师O可以与患者P位于不同的房间或完全不同的建筑中。主控组装件106一般包括用于控制远程操作操纵器组装件102的一个或多个控制装置。所述控制装置可以包括任意数量的各种输入装置，如操纵杆、跟踪球、数据手套、触发枪、手动操作控制器、语音识别装置、身体动作或存在传感器和/或类似装置。为了为医师O提供直接控制器械104的强烈感觉，可以为控制装置提供与关联的医疗器械104相同的自由度。以此方式，控制装置为医师O提供控制装置与医疗器械104为一体的远程呈现或感知。

在一些实施例中，控制装置可以比相关医疗器械104具有更多或更少的自由度，并且仍向医师O提供远程呈现。在一些实施例中，控制装置可以可选地是手动输入装置，其以六个自由度运动并且还可以包括用于致动器械的可致动手柄(例如，闭合夹爪、施加电势至电极、递送药物治疗和/或类似作用)。

远程操作操纵器组装件102支撑医疗器械104并且可以包括一个或多个非伺服控制的连杆的运动结构(例如，可手动定位并锁定在适当位置的一个或多个连杆，通常被称为组建(set-up)结构)以及远程操作操纵器。远程操作操纵器组装件102任选地可包括响应于来自控制系统(例如，控制系统112)的命令而驱动医疗器械104上的输入的多个致动器或马达。致动器任选地可包括驱动系统，当该驱动系统耦接到医疗器械104时，该驱动系统可将医疗器械104推进到自然的或外科手术创建的解剖孔口。其他驱动系统可以以多个自由度移动医疗器械104的远端，所述多个自由度可以包括三个线性运动自由度(例如，沿X、Y、Z笛卡尔坐标轴的线性运动)和三个旋转运动自由度(例如，围绕X、Y、Z笛卡尔坐标轴的旋转)。此外，致动器可被用于致动医疗器械104的可铰接末端执行器，以便将组织抓取在活检设备和/或类似设备的钳口(jaw)中。致动器位置传感器(诸如解算器、编码器、电位计和其他机构)可以为医疗系统100提供描述马达轴的旋转和取向的传感器数据。这种位置传感器数据可以被用来确定由致动器操纵的对象的运动。

远程操作医疗系统100可以包括传感器系统108，该传感器系统108具有用于接收关于远程操作操纵器组装件102的器械的信息的一个或多个子系统。这些子系统可以包括：位置/方位传感器系统(例如，电磁(EM)传感器系统)；用于确定沿着可组成医疗器械104的柔性主体的远端和/或一个或多个节段的位置、取向、速度、速率、姿态和/或形状的形状传感器系统；和/或用于从医疗器械104的远端采集图像的可视化系统。

远程操作医疗系统100还包括显示系统110，用于显示由传感器系统108的子系统生成的外科手术部位和医疗器械104的图像或表象。显示系统110和主控组装件106可以被取向，使得医师O能够在远程呈现的感知的情况下控制医疗器械104和主控组装件106。

在一些实施例中，医疗器械104可以具有可视化系统(在下面更详细地进行讨论)，所述可视化系统可以包括观察视镜组装件，所述观察视镜组装件记录外科手术部位的并发或实时图像并且通过医疗系统100的一个或多个显示器(诸如显示系统110的一个或多个显示器)为操作者或医师O提供图像。并发图像可以是例如通过定位在外科手术部位内的内窥镜采集的二维或三维图像。在一些实施例中，可视化系统包括可以被一体地或可移除地耦接到医疗器械104的内窥镜部件。然而，在一些实施例中，被附接到单独操纵器组装件的单独内窥镜可以与医疗器械104一起被用来对外科手术部位进行成像。可视化系统可以被实施为与一个或多个计算机处理器相互作用或由一个或多个计算机处理器(可包括控制系统112的处理器)执行的硬件、固件、软件或其组合。

显示系统110也可以显示通过可视化系统采集的外科手术部位和医疗器械的图像。在一些示例中，远程操作医疗系统100可以配置医疗器械104和主控组装件106的控制件，使得医疗器械的相对位置类似于医师O的眼睛和手的相对位置。以此方式，医师O能够仿佛以基本真实的存在感观察工作空间来操作医疗器械104和手动控制。通过真实呈现，意味着图像的呈现是模拟物理地操纵医疗器械104的医师的视角的真实透视图像。

在一些示例中，显示系统110可以使用来自成像技术(诸如计算机断层扫描(CT)、磁共振成像(MRI)、荧光镜检查、热影像技术、超声、光学相干断层成像术(OCT)、热成像、阻抗成像、激光成像、纳米管X射线成像等)的图像数据呈现术前或术中记录的外科手术部位的图像。术前或术中图像数据可以被呈现为二维、三维或四维(包括例如基于时间或基于速度的信息)图像，和/或被呈现为来自从术前或术中图像数据集产生的模型的图像。

在一些实施例中，通常为了成像引导的外科手术程序的目的，显示系统110可以显示虚拟的导航图像，在该虚拟的导航图像中医疗器械104的实际位置与术前或并发图像/模型配准(即动态参考)。这可以被完成，以从医疗器械104的视角向医师O呈现内部外科手术部位的虚拟图像。在一些示例中，视角可以是从医疗器械104的尖端观看。医疗器械104的尖端的图像和/或其他图形或字母数字指示符可以叠加在虚拟图像上以帮助医师O控制医疗器械104。在一些示例中，医疗器械104可以在虚拟图像中不可见。

在一些实施例中，显示系统110可以显示虚拟的导航图像，在该虚拟的导航图像中医疗器械104的实际方位与术前图像或并发图像配准，以从外部视角向医师O呈现在外科手术部位内的医疗器械104的虚拟图像。医疗器械104的一部分的图像或其他图形或字母数字指示符可以叠加在虚拟图像上以帮助医师O控制医疗器械104。如本文所描述，数据点的视觉表象可以被渲染到显示系统110。例如，可以以视觉表象将测量的数据点、移动的数据点、配准的数据点以及本文描述的其他数据点显示在显示系统110上。可以通过显示系统110上的多个点(point)或圆斑(dot)或作为渲染模型(诸如基于一组数据点所创建的网格或金属线模型)在用户界面上可视地表示数据点。在一些示例中，数据点可以根据它们表示的数据进行颜色编码。在一些实施例中，在每个处理操作已经被实现以改变数据点之后，视觉表象可以在显示系统110中被刷新。

远程操作医疗系统100还可以包括控制系统112。控制系统112包括至少一个存储器和至少一个计算机处理器(未示出)，用于实现医疗器械104、主控组装件106、传感器系统108和显示系统110之间的控制。控制系统112还包括程序化指令(例如，存储这些指令的非临时性机器可读介质)以实施根据本文公开的各方面描述的方法的一些或全部，包括用于向显示系统110提供信息的指令。虽然控制系统112在图1的简化示意图中被示出为单个方框，但该系统可以包括两个或更多个数据处理电路，其中一部分处理可选地在远程操作操纵器组装件102上或邻近远程操作操纵器组装件102执行，另一部分处理在主控组装件106处执行和/或类似情况。控制系统112的处理器可以执行一些指令，包括对应于在本文中公开并且在下面更详细地描述的处理的指令。可以利用任何各种各样的集中式或分布式数据处理体系结构。类似地，程序化指令可以被实施为若干独立的程序或子程序，或者它们可以集成到本文所描述的远程操作系统的若干其他方面中。在一个实施例中，控制系统112支持无线通信协议，诸如蓝牙、IrDA、HomeRF、IEEE802.11、DECT和无线遥测。

在一些实施例中，控制系统112可以从医疗器械104接收力和/或扭矩反馈。响应于该反馈，控制系统112可以向主控组装件106传输信号。在一些示例中，控制系统112可以传输命令远程操作操纵器组装件102的一个或多个致动器移动医疗器械104的命令。医疗器械104可以经由患者P的身体中的开口延伸到患者P的身体内的内部外科手术部位。可以使用任何合适的常规的和/或专门的致动器。在一些示例中，一个或多个致动器可以与远程操作操纵器组装件102分开，或者与远程操作操纵器组装件102集成在一起。在一些实施例中，一个或多个致动器和远程操作操纵器组装件102被提供作为邻近患者P和操作台T定位的远程操作推车的一部分。

控制系统112可以可选地进一步包括虚拟可视化系统，以便当在图像引导的外科手术程序期间控制医疗器械104时为医师O提供导航帮助。使用虚拟可视化系统的虚拟导航可以基于对采集的解剖通路的术前或术中数据集的引用。虚拟可视化系统处理使用成像技术(诸如计算机化断层显像(CT)、磁共振成像(MRI)、荧光镜检查、热影像技术、超声、光学相干断层成像术(OCT)、热成像、阻抗成像、激光成像、纳米管X射线成像等)成像的外科手术部位的图像。可以与手动输入结合使用的软件被用来将记录的图像转换为局部或整体解剖器官或解剖区域的分段二维或三维复合表象。图像数据集与复合表象相关联。复合表象和图像数据集描述通路的各种方位和形状以及它们的连接性。被用来生成复合表象的图像可以在临床程序期间在术前或术中被记录。在一些实施例中，虚拟可视化系统可以使用标准表象(即，不是患者特异性的)或者标准表象与患者特异性数据的混合体。复合表象和由该复合表象生成的任何虚拟图像可以表示可变形解剖区域在一个或多个运动阶段期间(例如，在肺的吸气/呼气循环期间)的静态姿态。

在虚拟导航程序期间，传感器系统108可以被用来计算医疗器械104相对于患者P的解剖结构的近似方位。该方位能够被用来产生患者P的解剖结构的宏观水平(外部)跟踪图像和患者P的解剖结构的虚拟内部图像。该系统可以实施一个或多个电磁(EM)传感器、光纤传感器和/或其他传感器，以配准并显示医疗实施和术前记录的外科手术图像，诸如来自虚拟可视化系统的那些图像是已知的。例如，美国专利申请号13/107,562(2011年5月13日提交)(公开“Medical System Providing Dynamic Registration of a Model of anAnatomic Structure for Image-Guided Surgery”)公开了一种这样的系统，该申请通过引用以其整体并入本文。远程操作医疗系统100可以进一步包括可选的操作和支持系统(未示出)，诸如照明系统、转向(steering)控制系统、冲洗系统和/或抽吸(suction)系统。在一些实施例中，远程操作医疗系统100可以包括一个以上的远程操作操纵器组装件和/或一个以上的主控组装件。除了其他因素，远程操作操纵器组装件的准确数目将取决于外科手术程序和手术室内的空间约束。主控组装件106可以被并置(collocated)，或它们可以被定位在独立的方位中。多个主控组装件允许一个以上的操作者以各种组合形式控制一个或多个远程操作操纵器组装件。

图2A是根据一些实施例的医疗器械系统200的简化示意图。在一些实施例中，医疗器械系统200可以在利用远程操作医疗系统100执行的图像引导的医疗程序中被用作医疗器械104。在一些示例中，医疗器械系统200可以被用于非远程操作探索性程序或用在涉及传统手动操作的医疗器械(诸如内窥镜)的程序中。可选地，医疗器械系统200可以被用来收集(即测量)对应于患者(诸如患者P)的解剖通路内的方位的一组数据点。

医疗器械系统200包括被耦接到驱动单元204的细长装置202。细长装置202包括柔性主体216，该柔性主体216具有近端217和远端218(也称为“尖端部分218”)。在一些实施例中，柔性主体216具有大约3mm的外直径。其他柔性主体外直径可以更大或更小。

医疗器械系统200进一步包括跟踪系统230，所述跟踪系统230用于使用如在下面进一步详细描述的一个或多个传感器和/或成像装置来确定远端218处的柔性主体216和/或沿着柔性主体216的一个或多个节段224的位置、取向、速度、速率、姿态和/或形状。远端218和近端217之间的柔性主体216的整个长度可以被有效地划分为多个节段224。如果医疗器械系统200与远程操作医疗系统100的医疗器械104一致，跟踪系统230。跟踪系统230可以被可选地实现为与一个或多个计算机处理器相互作用或由一个或多个计算机处理器执行的硬件、固件、软件或其组合，所述一个或多个计算机处理器可以包括图1中的控制系统112的处理器。

跟踪系统230可以可选地使用形状传感器222来跟踪远端218和/或一个或多个节段224。形状传感器222可以可选地包括与柔性主体216对齐的光纤(例如，在内部通道(未示出)内提供或外部安装)。在一个实施例中，光纤具有大约200μm的直径。在其他实施例中，该尺寸可以更大或更小。形状传感器222的光纤形成用于确定柔性主体216的形状的光纤弯曲传感器。在一个替代方案中，包括光纤布拉格光栅(FBG)的光纤被用于在一个或多个维度上在结构中提供应变测量。在美国专利申请号11/180,389(2005年7月13日提交)(公开“Fiberoptic position and shape sensing device and method relating thereto”)；美国专利申请号12/047,056(2004年7月16日提交)(公开“Fiber-optic shape and relativeposition sensing”)；以及美国专利号6,389,187(1998年6月17日提交)(公开“OpticalFiber Bend Sensor”)中描述了用于监测三维中的光纤的形状和相对位置的各种系统和方法，这些申请通过引用整体并入本文。在一些实施例中，传感器可以采用其他合适的应变感测技术，诸如瑞利散射、拉曼散射、布里渊散射和荧光散射。在一些实施例中，柔性主体216的形状可以使用其他技术来确定。例如，柔性主体216的远端姿态的历史能够被用来重建柔性主体216在该时段内的形状。在一些实施例中，跟踪系统230可以可选地和/或额外地使用位置传感器系统220来跟踪远端218。位置传感器系统220可以包括EM传感器系统或者可以是EM传感器系统的部件，EM传感器系统包括可以经受外部生成的电磁场的一个或多个传导线圈。然后实现位置传感器系统220的这种EM传感器系统的每个线圈产生感应电信号，所述感应电信号具有取决于线圈相对于外部生成的电磁场的位置和取向的特性。在一些实施例中，位置传感器系统220可以被配置并且被定位为测量六个自由度(例如，三个位置坐标X、Y、Z和指示基点的俯仰、偏航和横滚的三个取向角)或五个自由度(例如，三个位置坐标X、Y、Z和指示基点的俯仰和偏航的两个取向角)。在美国专利号6,380,732(1999年8月11日提交)(公开“Six-Degree of Freedom Tracking System Having a Passive Transponder onthe Object Being Tracked”)中提供了位置传感器系统的进一步描述，该专利通过引用整体并入本文。

在一些实施例中，跟踪系统230可以替代地和/或额外地依赖于针对器械系统的已知点沿着交替运动(诸如呼吸)的周期所存储的历史姿态、位置或取向数据。该存储的数据可以被用来发展关于柔性主体216的形状信息。在一些示例中，一系列位置传感器(未示出)(诸如与位置传感器系统220中的传感器类似的电磁(EM)传感器)可以沿着柔性主体216进行定位，并且然后被用于形状感测。在一些示例中，在某一程序期间获取的来自这些传感器中的一个或多个传感器的数据的历史可以被用来表示细长装置202的形状，特别是如果解剖通路是大致静态的。

柔性主体216包括被定尺寸且成形为接收医疗器械226的通道(channel)221。图2B是根据一些实施例的在医疗器械226被延伸的情况下的柔性主体216的简化示意图。在一些实施例中，医疗器械226可以被用于诸如外科手术、活检、消融、辐照、灌注或抽吸的程序。医疗器械226能够通过柔性主体216的通道221来部署，并且在解剖结构内的目标方位处被使用。医疗器械226可以包括例如图像采集探头(probe)、活检器械、激光烧蚀纤维和/或其他手术、诊断或治疗工具。医疗工具可以包括具有单个工作构件的末端执行器，诸如解剖刀、钝刀片、光纤、电极等。其他末端执行器可以包括例如镊子、抓紧器、剪刀、施夹器等。其他末端执行器可以进一步包括电激活的末端执行器，诸如电外科电极、换能器、传感器等。在各种实施例中，医疗器械226是活检器械，其可以被用来从目标结构方位移除样本组织或细胞的采样。医疗器械226可以与也在柔性主体216内的图像采集探头一起使用。在各种实施例中，医疗器械226可以是图像采集探头，其包括在柔性主体216的远端218处或附近具有用于采集图像(包括视频图像)的立体摄像机或单视场摄像机的远端部分，该图像被可视化系统231处理以便显示和/或提供给跟踪系统230以支持远端218和/或节段224中的一个或多个的跟踪。图像采集探头可以包括耦接到照相机用于传输所采集的图像数据的电缆。在一些示例中，图像采集器械可以是耦接到可视化系统231的光纤束，诸如纤维镜。图像采集器械可以是单光谱的或多光谱的，例如采集在可见光、红外和/或紫外光谱中一个或多个光谱中的图像数据。可替代地，医疗器械226本身可以是图像采集探头。医疗器械226可以从通道221的开口被推进以执行程序，并且然后当该程序完成时被缩回到通道内。医疗器械226可以从柔性主体216的近端217或从沿着柔性主体216的另一可选器械端口(未示出)被移除。

医疗器械226可以额外地容纳在其近端和远端之间延伸以可控地弯曲医疗器械226的远端的电缆、联动装置或其他致动控制装置(未示出)。在美国专利号7,316,681(2005年10月4日提交)(公开“Articulated Surgical Instrument for Performing MinimallyInvasive Surgery with Enhanced Dexterity and Sensitivity”)和美国专利申请号12/286,644(2008年9月30日提交)(公开“Passive Preload and Capstan Drive forSurgical Instruments”)中详细描述了可转向器械，该专利和专利申请通过引用整体并入本文。

柔性主体216也可以容纳在驱动单元204与远端218之间延伸以便如例如通过远端218的虚线描绘219示出的那样可控地弯曲远端218的电缆、联动装置或其他转向控制装置(未示出)。在一些示例中，至少四个电缆被用来提供控制远端218的俯仰的独立的“上下”转向和控制远端281的偏航的“左右”转向。在美国专利申请号13/274,208(2011年10月14日提交)(公开“Catheter with Removable Vision Probe”)中详细地描述了可转向导管，该专利申请通过引用整体并入本文。在医疗器械系统200由远程操作组装件致动的实施例中，驱动单元204可以包括可移除地耦接到远程操作组装件的驱动元件(诸如致动器)并且从该驱动元件接收动力的驱动输入装置。在一些实施例中，医疗器械系统200可以包括夹紧特征件、手动致动器或用于手动控制医疗器械系统200的运动的其他部件。细长装置202可以是可转向的，或可替代地，该系统在没有用于操作者控制远端218的弯曲的集成机构的情况下可以是不可转向的。在一些示例中，一个或多个腔被限定在柔性主体216的壁中，医疗器械能够通过所述一个或多个腔在目标外科手术方位处被部署(deployed)并且被使用。

在一些实施例中，医疗器械系统200可以包括柔性支气管器械，诸如用于在肺的检查、诊断、活检或治疗中使用的支气管镜或支气管导管。医疗器械系统200也适用于在各种解剖系统(包括结肠、肠、肾和肾盏、大脑、心脏、包括脉管系统的循环系统等)中的任一解剖系统中，经由自然的或外科手术建立的连接通道对其他组织进行导航和治疗。

来自跟踪系统230的信息可以被发送给导航系统232，其中它与来自可视化系统231的信息和/或术前获得的模型进行组合以便为医师、临床医生，或外科医生或其他操作者提供实时位置信息。在一些示例中，实时位置信息可以被显示在图1的显示系统110上以用于医疗器械系统200的控制。在一些示例中，图1的控制系统116可以将位置信息用作反馈以便定位医疗器械系统200。2011年5月13日提交的公开“Medical System ProvidingDynamic Registration of a Model of an Anatomic Structure for Image-GuidedSurgery”的美国专利申请号13/107,562中提供了用于利用光纤传感器来配准和显示具有外科手术图像的外科手术器械的各种系统，该专利申请通过引用整体并入本文。

在一些示例中，医疗器械系统200可以在图1的医疗系统100内被远程操作。在一些实施例中，图1的远程操作操纵器组装件102可以由直接操作者控制件来代替。在一些示例中，直接操作者控制件可以包括用于器械的手持操作的各种手柄和操作者界面。

图3A和图3B是根据一些实施例的包括被安装在插入组装件上的医疗器械的患者坐标空间的侧视图的简化示意图。如图3A和图3B所示，外科手术环境300包括患者P被定位在平台302上。从通过镇静、约束和/或其他手段来限制大幅度患者移动的意义上讲，患者P在外科手术环境内可以是静止的。周期性解剖运动(包括患者P的呼吸和心脏运动)可以继续，除非告诉患者屏住他或她的呼吸以暂时中止呼吸运动。因此，在一些实施例中，数据可以在呼吸中的特定相位处进行收集，并且利用该相位来进行标记和识别。在一些实施例中，在其间收集数据的相位可以根据从患者P收集的生理信息来推测。在外科手术环境300内，点收集器械304被耦接到器械托架306。在一些实施例中，点收集器械304可以使用EM传感器、形状传感器和/或其他传感器模态。器械托架306被安装到固定于外科手术环境300内的插入台308。可替代地，插入台308可以是可移动的，但是在外科手术环境300内具有已知的方位(例如，经由跟踪传感器或其他跟踪装置来获知)。器械托架306可以是远程操作操纵器组装件(例如，远程操作操纵器组装件102)的部件，该部件耦接到点收集器械304以控制插入运动(即沿着A轴线的运动)并且可选地控制细长装置310的远端318沿多个方向的运动(包括偏航、俯仰和滚动)。器械托架306或插入台308可以包括控制器械托架306沿着插入台308的运动的致动器(未示出)，诸如伺服马达。

细长装置310被耦接到器械主体312。器械主体312相对于器械托架306被耦接并且被固定。在一些实施例中，光纤形状传感器314被固定在器械主体312上的近侧点316处。在一些实施例中，光纤形状传感器314的近侧点316可以是连同器械主体312一起可移动的，但是近侧点316的方位可以是已知的(例如，经由跟踪传感器或其他跟踪装置来获知)。形状传感器314测量从近侧点316到另一点(诸如细长装置310的远端318)的形状。点收集器械304可以基本上类似于医疗器械系统200。

当器械主体312在插入台308上沿着插入轴线A移动时，位置测量装置320提供关于器械主体312的位置的信息。位置测量装置320可以包括解算器、编码器、电位计和/或确定控制器械托架306的运动并因此控制器械主体312的运动的致动器的旋转和/或取向的其他传感器。在一些实施例中，插入台308是线性的。在一些实施例中，插入台308可以是弧形的，或者具有弧形和线性区段的组合。

图3A示出了处于沿着插入台308的缩回位置的器械主体312和器械托架306。在该缩回位置中，近侧点316在轴线A上的位置L0处。在沿着插入台308的该位置中，近侧点316的方位的A分量可以被设置为零和/或另一参考值，以提供描述器械托架306并且因此近侧点316在插入台308上的位置的基本参考。通过器械主体312和器械托架306的该缩回位置，细长装置310的远端318可以被刚好定位在患者P的进入孔口内部。同样在该位置中，位置测量装置320可以被设置为零和/或另一参考值(例如，I＝0)。在图3B中，器械主体312和器械托架306已经沿着插入台308的线性轨道推进，并且细长装置310的远端318已经被推进到患者P内。在该推进位置中，近侧点316在轴线A上的位置L1处。在一些示例中，来自控制器械托架306沿着插入台308的移动的一个或多个致动器和/或与器械托架306和/或插入台308相关联的一个或多个位置传感器的编码器和/或其他位置数据被用来确定近侧点316相对于位置L0的位置Lx。在一些示例中，位置Lx可以进一步被用作细长装置310的远端318被插入到患者P的解剖结构的通路内的距离或插入深度的指示符。

图4A和图4B是根据一些实施例的可在显示系统110上显示的多模态图形用户界面400的简化示意图。在符合图1-图3的一些实施例中，多模态图形用户界面400可以用于在医疗器械系统(例如远程操作医疗系统100和/或医疗系统200)的操作和/或控制期间辅助操作者(例如医师、临床医生或医师O)。例如，医疗器械系统可以包括细长装置(例如细长装置202)以及插入细长装置的柔性主体中的一个或多个医疗器械(例如医疗器械226)。

多模态图形用户界面400在操作者可观看的一个或多个窗口410-480中显示信息。尽管在图4A和图4B中分别描绘了在单个屏幕上的五个或六个同时可观看的窗口，但应该理解，图形用户界面400可以在任何合适数量的屏幕上显示任何合适数量的窗口。在一些示例中，可以通过打开和关闭窗口、最小化和最大化窗口、在多模态图形用户界面400的前景和背景之间移动窗口、在屏幕之间切换，和/或以其他方式完全或部分地遮挡窗口避免观看，可以改变同时可观看的窗口的数量。类似地，窗口410-480的布置(包括它们的尺寸、形状、取向、排序(在重叠窗口的情况下)和/或类似布置)可以变化和/或可以是用户可配置的。

根据一些实施例，窗口410-480可以显示图像数据、传感器数据、指示符、控制模式和/或其任何组合。在一些示例中，图像数据可以包括术前或术中图像数据。图像数据可以呈现为二维、三维或四维(包括例如基于时间或基于速度的信息)实况图像，和/或呈现为根据术前或术中图像数据集创建的计算模型的图像。在一些示例中，计算模型的图像可以从传感器数据推导出，并且可以包括引入解剖结构内的器械的模型。在一些示例中，计算模型可以根据经验数据(除了或替代图像数据)来创建和/或可以基于器械和/或人体解剖结构的预定几何形状。在一些示例中，指示符可以包括图形指示符和/或字母数字指示符。在一些示例中，控件可以包括按钮、文本输入装置、导航面板、任务栏、图标、警报和/或类似控件。根据一些实施例，多模态图形用户界面400可以包括设置窗口440，该设置窗口440显示可用控制模式、当前控制模式和/或与医疗器械相关联的设置列表。

图4A和图4B分别描绘了处于穿越模式和对齐模式中的多模态图形用户界面400。根据一些实施例，穿越模式可以适用于在细长装置在相当长的距离上被导航穿过患者的身体(例如，使用姿势的调整结合实质的插入量变化来穿过解剖通路朝向目标方位导航)时进行显示。根据一些实施例，目标方位可以对应于目标外科手术方位和/或目标解剖方位，如上面关于图2A和图2B所讨论的。对齐模式可以适用于在调整细长装置的姿势和/或微小的插入量变化期间(例如在收集活检样本和/或在目标方位处执行激光烧蚀时)进行显示。

在一些示例中，当细长装置的远端远离目标方位并且预期细长装置的实质移动(例如，插入、缩回、关节运动和/或类似移动)时使用穿越模式。例如，穿越模式可以用于探索解剖通路和/或当跟踪通向目标方位的预定路线时使用。相反，当细长装置的远端靠近目标方位并且预期对细长装置的姿势进行精细调整时(例如，当手动和/或自动地将细长装置的远端定向在相对于目标方位的最佳角度和/或距离处以便成功地递送针头时)使用对齐模式。例如，当细长装置在目标方位的两厘米或三厘米内时，和/或当细长装置与目标方位之间存在视线时(即，在解剖通路中没有障碍物和/或弯曲部将目标方位与细长装置分开)，可以使用对齐模式。在一些示例中，当来自细长装置的远端的实况相机馈送不可用时(即，当“无视(blind)”传动时)，例如在用于在穿越模式期间辅助导航的内窥镜被从细长装置移除以准备在目标方位进行外科手术程序之后，可以使用对齐模式。

在一些示例中，多模态图形用户界面400可以手动地和/或自动地在穿越模式和对齐模式之间转换。用户启动的转换可以由操作者通过例如点击按钮、手动拨动开关、使用触摸板按压踏板、宣布声音命令和/或来自用户的任何其他合适的切换输入来执行。在一些示例中，可以基于在医疗程序的过程期间发生一个或多个触发事件来执行自动转换。例如，触发条件可以包括从细长装置移除相机探头，该相机探头在穿越模式中提供经由多模态图形用户界面400显示的图像数据。在一些示例中，可以基于如使用跟踪系统(例如包括形状传感器的跟踪系统230)所确定的细长装置的形状变化来检测从细长装置移除相机探头。在一些示例中，可以基于由相机探头提供的(如使用图像处理器所确定的)图像数据的变化来检测从细长装置移除相机探头。在一些示例中，图像数据的变化可以通过真实成像技术(例如计算机断层摄影(CT)、磁共振成像(MRI)、荧光透视、热摄影、超声、光学相干断层扫描(OCT)、热成像、阻抗成像、激光成像或纳米管X射线成像)来提供。图像数据的变化可以包括使用成像技术以相对于目标的不同角度或在程序中的不同时间获取的新图像。触发条件可以包括成像技术与系统的附接或断开。在一些示例中，触发条件可以包括将医疗器械插入细长装置中。类似于从细长装置移除相机探头，可以基于细长装置的形状变化来确定将医疗器械插入细长装置中。在一些示例中，触发条件可以包括检测到细长装置的远端在目标方位的预定距离内，例如二厘米或三厘米。在一些示例中，触发条件可以包括确定细长装置的远端和目标方位之间存在视线(即，解剖通路中没有障碍物和/或弯曲部)。在一些示例中，触发条件可以包括检测到在将细长装置的远端与目标方位分开的解剖通路中没有剩余分支，这意味着没有通过导航到错误分支而引起“丢失”的剩余风险。在一些示例中，触发条件可以包括到达至目标方位的预定路线的末端。在一些示例中，触发条件可以包括检测到操作者已经停止插入细长装置(即，当细长装置已经“停放(parked)”时)。在一些示例中，操作者可以具有通过手动改变自动模式选择来超控(override)自动模式选择的选项。

在一些示例中，可以使用一个或多个触发条件的任何合适组合在穿越模式和对齐模式之间进行自动切换。例如，触发条件可以包括检测到同时满足以下两个条件：(1)细长装置在目标方位的预定距离内，以及(2)操作者已经停止插入细长装置。

在穿越模式中，如图4A所描绘，多模态图形用户界面400可以显示相机视图窗口410、虚拟内窥镜视图窗口420、虚拟前视图窗口430、状态窗口435、设置窗口440、力指示符窗口445以及致动信息窗口450。相机视图窗口410显示由可视化系统(例如医疗器械104的可视化系统)捕获的相机数据。例如，相机数据可以包括由内窥镜和/或立体相机或单视场相机在细长装置的远端处或其附近捕获的实况视频馈送。一个或多个指示符和/或控件可以叠加在图像数据上和/或与图像数据一起显示，以帮助操作者控制细长装置。

虚拟内窥镜视图窗口420显示来自对应于细长装置的远端的视点的虚拟图像数据。在这方面，虚拟内窥镜视图窗口420模拟内窥镜的视场。根据一些实施例，可以由虚拟可视化系统(例如控制系统112的虚拟可视化系统)使用例如术前图像数据集生成虚拟图像数据。根据一些实施例，由虚拟内窥镜视图窗口420显示的虚拟图像数据可以被增强以向操作者显示补充引导信息。下面参考图5更详细地讨论虚拟内窥镜视图窗口420的实施例。

虚拟全局视图窗口430从对应于患者P的缩小视图的视点显示虚拟图像数据。以此方式，虚拟全局视图窗口430模拟观察者(例如医师O)的视场。在一些示例中，可以手动和/或自动选择视图取向。与虚拟内窥镜视图窗口420一样，可以由虚拟可视化系统(例如控制系统112的虚拟可视化系统)生成虚拟图像数据。在一些示例中，虚拟图像数据可以显示细长装置在患者解剖结构中的实时位置。下面参考图6更详细地讨论虚拟全局视图窗口430的实施例。

当同时显示窗口410-430时，在窗口410-430中显示的图像有利地允许操作者(通过相机视图窗口410和/或虚拟内窥镜视图窗口420)同时监视和/或可视化细长装置的远端附近区域以及(通过虚拟全局视图窗口430)同时监视和/或可视化细长装置相对于患者解剖结构的更广泛姿势。

状态窗口435在系统设置期间和/或系统使用期间显示系统状态。在一些示例中，状态可以包括探头的存在、医疗工具的存在、无菌适配器或ISA的接合、错误或FRL状态、细长装置的正确放置，以及当细长装置移位时细长装置的不正确放置。状态窗口还可以提供指令，这些指令包括何时安装或移除细长装置、如何从系统故障中恢复，或其他工作流程指令。基于诸如信息的相对紧急性、类型或预期受众等属性，该信息可以是彩色的或不同尺寸的。

力指示符窗口445显示关于在推进细长装置期间由致动器或马达施加的力的信息。力指示符可以提供关于系统状态的信息。在一些示例中，在延长的时间段内的高的力指示符可以指示系统的组件(例如帷帘、医疗装置等)在插入期间被捕获或卡住。在一些示例中，所显示的力可以是此时的瞬时力。在其他示例中，所显示的力可以指示力的某一近期历史，例如最近30秒-120秒内的力的图表。下面参考图7更详细地讨论力指示符窗口455的实施例。

致动信息窗口450显示关于细长装置的可转向部分的致动的信息。在一些示例中，致动信息可以用于警告操作者在细长装置的转向期间出现的问题和/或潜在问题。致动信息可以另外向操作者提供帮助以校正、避免和/或减轻检测到的问题。下面参考图8更详细地讨论致动信息窗口450的实施例。

在对齐模式中，如图4B所描绘，多模态图形用户界面400可以显示目标引导视图窗口460、虚拟全局视图窗口470和480、相机视图窗口410、设置窗口440、力指示符窗口445以及致动信息窗口450。目标引导视图窗口460从对应于细长装置的远端的视点显示目标方位。在一些示例中，当多模态图形用户界面400从穿越模式切换到对齐模式时，目标引导视图窗口460可以替换虚拟内窥镜视图窗口420。根据一些实施例，目标引导视图窗口460可以显示引导信息，该引导信息被设计为帮助操作者将细长装置从近距离转向到目标方位。下面参考图9更详细地讨论目标引导视图窗口460的实施例。

虚拟全局视图窗口470和480显示类似于虚拟全局视图窗口430的虚拟图像数据。根据一些实施例，虚拟全局视图窗口470和480的视角可以相对于虚拟全局视图窗口430旋转和/或相对于彼此旋转。在一些示例中，可以手动和/或自动选择虚拟全局视图窗口470和480的视角。在一些示例中，视角具有固定的偏移(例如，90度偏移以保持正交性)，使得旋转其中一个视角使另一个视角自动旋转相应的量。在一些示例中，可以自动选择视角中的一个，使得从细长装置延伸的针在平面内出现。在一些示例中，可以自动选择视角中的一个以匹配用于观察该程序的荧光透视成像装置的视图。根据一些实施例，可以相对于虚拟全局视图窗口430简化在虚拟全局视图窗口470和480中显示的虚拟图像数据，以便减少用于生成虚拟图像数据的处理量。下面参考图10更详细地讨论虚拟全局视图窗口470和480的实施例。

在对齐模式中，相机视图窗口410可选地包括在多模态图形用户界面400中。然而，在一些实施例中，当多模态图形用户界面400处于对齐模式时，相机(例如，内窥镜)可能被禁用和/或撤回。因此，多模态图形用户界面400在第二模式中可以不包括相机视图窗口。可替换地或附加地，相机视图窗口410可以显示指示符(例如文本)以向操作者传达来自相机的图像数据不可用。

在一些示例中，当从穿越模式转换到对齐模式时，多模态图形用户界面400可以提供一个或多个附加视觉指示符。在一些示例中，图形用户界面400的屏幕边界可以从穿越模式中的第一颜色、纹理、阴影和/或透明度过渡到对齐模式中的第二颜色、纹理、阴影和/或透明度。例如，屏幕边界可以从穿越模式中的黄色变为对齐模式中的红色。在一些示例中，多模态图形用户界面400可以包括以类似方式改变颜色的图标。

图5示出了根据一些示例的用于显示虚拟内窥镜图像的示例性窗口500。根据符合图1-图4的一些实施例，窗口500可以对应于虚拟内窥镜视图窗口420。如图5所描绘，窗口500从插入患者体内的细长装置的远端的前视视角显示解剖特征510。在一些示例中，解剖特征510可以包括感兴趣的解剖特征，例如解剖通路、血管、器官和/或类似特征。可以使用从术前或术中获取的图像数据集生成的虚拟渲染和/或图像来显示解剖特征510。在一些示例中，解剖特征510可以显示为半透明特征和/或轮廓，使得给定解剖特征内部和/或后面的特征可以同时显示在窗口500中。

在窗口500中显示的虚拟路线图520指示通向目标方位的预定路线。当使细长装置转向穿过患者解剖结构时，虚拟路线图520用作操作者的向导。例如，虚拟路线图520可以指示解剖通路中的哪些分支使细长装置朝向和/或远离目标方位转向。如图5所描绘，虚拟路线图520被显示为沿着预定路线缠绕穿过解剖通路的线。在一些示例中，线的颜色、阴影、纹理和/或透明度可以变化以指示与目标方位的接近度、与预定路线的偏差、在解剖通路中的弯曲部、分支和/或收缩的存在(其可以被预先计算以警告操作者即将发生的复杂机动)、解剖通路的直径和/或其他补充信息。在一些示例中，可以包括各种替代或附加的映射指示符作为虚拟路线图520的一部分。例如，虚拟路线图520可以包括指示转向的方向的一个或多个箭头。在一些示例中，虚拟路线图520可以包括一个或多个字母数字指示符，这些字母数字指示符指示到目标方位的剩余距离、到达目标方位的剩余时间、解剖通路的身份(例如，气管、RMB、B6和/或类似身份)和/或类似物。在一些示例中，虚拟路线图520可以包括刻度标记，诸如距离-目标刻度标记。在一些示例中，沿着偏离预定路线的不正确方向导航细长装置可以使得解剖通路的一个或多个壁被透明地呈现，使得可以穿过障碍物看到虚拟路线图520。在一些示例中，虚拟路线图520可以包括音频指令(例如，“向右转”)和/或触觉反馈(例如，当细长装置偏离预定路线时外科手术控件的振动)。

在窗口500中显示的路障指示符530指示在其中细长装置不应该或不能被转向的不期望的解剖特征或解剖通路和/或方向。如图5所描绘，路障指示符530包括放置在解剖通路上方的图标。在一些示例中，该图标可以包括“不进入”标志、停止标志、警告符号、红灯或黄灯和/或类似物。在一些示例中，路障指示符530可以位于细长装置先前已经被转向到的解剖通路上和/或其附近。在此类实施例的进一步示例中，路障指示符530可以显示与在所述解剖通路中执行的先前测试和/或程序相关联的临床信息(例如，“活检结果为阴性”)。在一些示例中，路障指示符530可以位于将细长装置转向到其中将是危险的和/或不可能的解剖通路上和/或其附近。例如，路障指示符530可以标记太窄而不能与细长装置配合的解剖通路或者解剖通路的弯曲部可能太紧(例如，弯曲半径可能太紧而不能使细长装置穿越)。在一些示例中，可以通过改变要避免的解剖通路的颜色、阴影、纹理和/或透明度来显示路障指示符530。在一些示例中，路障指示符530可以包括音频反馈(例如，“警告”或“停止”)和/或触觉反馈(例如，当细长装置朝向禁止路线转向时外科手术控件的振动)。在一些示例中，当操作者试图在不正确的方向上转向细长装置时，路障指示符530可以出现，并且当操作者校正细长装置的过程时(例如，通过缩回细长装置和/或朝向期望路径回转细长装置)，路障指示符530可以随后消失。

图6示出了根据一些示例的用于显示穿越模式中的虚拟全局图像的示例性窗口600。根据符合图1-图4的一些实施例，窗口600可以对应于虚拟全局视图窗口420。如图6所描绘，窗口600从“全局”视角(例如，照看患者P的医师O的视角)显示解剖特征610和细长装置620。在一些示例中，解剖特征610可以包括感兴趣的解剖特征，例如解剖通路、血管、器官和/或类似特征。可以使用例如从术前或术中获取的医疗成像数据集生成的虚拟渲染和/或图像来显示解剖特征610。在一些示例中，解剖特征610可以显示为半透明特征和/或轮廓，使得可以在窗口600中同时显示给定解剖特征内部和/或后面的特征。

在一些示例中，使用取向指示符615指示窗口600的视角。如图6所描绘，取向指示符615可以包括虚拟小雕像(figurine)，该虚拟小雕像以一定角度定位，该角度表示全局视图相对于患者身体的取向。根据一些实施例，窗口600的视角可以随时间改变，在这种情况下，可以连续更新取向指示符650以反映改变的视角。在一些示例中，取向指示符615可以包括指示参考轴线或方向(例如重力方向)的图标，例如箭头。在一些实施例中，取向指示符615可以包括字母数字指示符，例如文本标签(例如，“前视图”或“侧视图”)和/或坐标标签(例如，表示视角的极坐标)。在一些示例中，取向指示符615可以利用基于x射线标记方案的文本标签(例如，用于前后视图的“AP”和用于后前视图的“PA”)。取向指示符615可以位于窗口600内和/或其附近的任何合适位置。在一些示例中，取向指示符615可以位于窗口600的外部，以便不使虚拟图像模糊。

在一些示例中，视场指示符625被显示在细长装置620的远端。根据符合图4a的一些实施例，视场指示符625提供在相机视图窗口410和/或虚拟内窥镜视图窗口420中看到的视场的表象。以此方式，操作者可以直观地掌握在每个窗口中看到的图像之间的对应关系。在一些示例中，视场指示符625可以被显示为棱镜和/或圆锥形状。在一些示例中，可以将相机视图窗口410和/或虚拟内窥镜视图窗口420的微型版本投射到视场指示符625的平坦面上，以进一步加强各个窗口中的每一个之间的对应关系。在一些示例中，视场指示符625可以表示为从细长装置620的远端发出的射线。

当前目标方位630被显示在窗口600中。与上面在图1-图4中讨论的实施例一致，当前目标方位630可以对应于目标外科手术方位和/或目标解剖方位。在一些示例中，当前目标方位630可以被描绘为圆形、球形、目标(例如，同心圆)、十字准线和/或任何其他合适的形状/设计。在一些示例中，可以使用诸如医疗成像数据的术前体素数据来确定当前目标方位630的形状。例如，当前目标方位630可以逼真地描绘肿瘤的形状。在一些示例中，当前目标方位630的颜色、纹理、阴影和/或透明度可以是可变的。在一些示例中，当前目标方位630可以闪烁和/或以其他方式具有其外观的时变方面以引起操作者的注意。虚拟路线图635可以显示通向当前目标方位630的预定路线。在一些示例中，虚拟路线图635可以具有与先前关于图5所讨论的虚拟路线图520基本相似的属性和/或功能。

在一些示例中，还可以在窗口600中显示一个或多个先前目标方位和/或未来目标方位640。目标方位640通常用于信息目的以帮助定向操作者并为程序的当前阶段提供背景/上下文(context)。在一些示例中，目标方位640可以是可选择的，在这种情况下，所选择的目标方位变为当前目标方位。在一些示例中，目标方位640的尺寸、颜色、纹理、阴影和/或透明度可以与当前目标方位630的属性不同，以使它们可区分。类似地，历史路径645可以指示细长装置620在程序期间先前已经行进的路径和/或路径的一部分。例如，历史路径645可以表示在校准期间、在导航到先前目标方位期间和/或在先前尝试导航到当前目标方位630期间所采取的路径。在一些示例中，可以使用不同的颜色、纹理、阴影和/或透明度来显示历史路径645的各个部分，以指示路径的特定部分的目的和/或时间(例如，校准、到达当前目标方位630的先前尝试，和/或到达不同目标方位的先前尝试)。在一些示例中，历史路径645可以暂时显示并且随后从视图中隐藏。例如，可以暂时显示历史路径645以验证解剖特征610和历史路径645的配准。也就是说，当配准正确时，历史路径645被预期为与解剖特征610对齐，而当配准不正确时，历史路径645被预期为与解剖特征610未对齐。当配准不正确时，操作者可以通过例如缩回细长装置620和/或适当地重新校准来解决该问题。当配准正确时，操作者可以禁用/隐藏历史路径645并继续将细长装置620导航到目标方位630。

图7是根据一些实施例的用于显示力指示符信息的窗口700的简化示意图。根据符合图1-图4的一些实施例，窗口700可以对应于力指示符窗口445。在一些示例中，该信息提供由用于推进细长装置的马达或致动器施加的插入力的表象(representation)。该信息可以以滚动条形图的形式显示，以提供插入力随时间变化的历史，图表上最左侧的竖直条表示最旧的力测量结果，而最右侧的竖直条表示最近的力测量结果。在一些示例中，最旧的力测量结果和最近的力测量结果之间的时间差可以是90秒，但是可以表示任何更大或更小的时间段。竖直条的尺寸可以指示力测量结果的大小。在一些示例中，可以以表示力测量结果的大小的不同颜色、阴影、纹理和/或透明度来显示竖直条。在一些示例中，红色可以用于指示在预设阈值之上的力测量结果，黄色可以用于指示在预设中间阈值范围内的力测量结果，并且绿色可以用于指示在预设阈值之下的力测量结果。

在某些实施例中，可以用各种传感器来获得并且用各种算法来计算力测量结果。例如来自细长装置远端处的力传感器的力，或者由插入马达测量的力。然后可以使用测量的力来计算感兴趣的力，可能减去建模的重力或摩擦力。

图8示出了根据一些实施例的用于显示致动信息的示例性窗口800。根据符合图1-图4的一些实施例，窗口800可以对应于致动信息窗口450。在一些示例中，窗口800用于显示与细长装置的柔性主体的弯曲半径相关联的致动信息，该致动信息是使用沿细长装置的长度设置的形状感测探头(例如光纤弯曲传感器)测量的。根据一些实施例，窗口800可以显示包括致动信息图标810的一个或多个图形指示符。

通常，致动信息图标810提供致动信息，该致动信息帮助操作者检测和/或校正在控制细长装置时遇到的问题，例如细长装置的过度弯曲。例如，当程序期间使用的医疗器械由于过度弯曲状况而不能匹配穿过细长装置时，过度弯曲状况可能是有问题的。在一些示例中，致动信息图标810可以包括字母数字指示符812，字母数字指示符812显示细长装置的最小弯曲半径以警告操作者过度弯曲状况。在一些示例中，字母数字指示符可以显示数值，该数值随着最紧凑的弯曲半径变化而连续更新，但是当最紧凑的弯曲半径等于已经预先确定为允许器械的安全通过的值时切换到阿尔法值(例如，“是”或“通过”)。在一些示例中，该值可以是显示“通过”或“失败”、“是”或“否”的阿尔法值，和/或可以是在细长装置的长度下允许器械通过的足够大的弯曲半径的另一个二进制指示符。

在一些示例中，致动信息图标810可以包括方向指示符814(例如箭头)，其指示操作者应该将细长装置转向到哪个方向以减轻过度弯曲状况。在一些示例中，方向指示符814可以在检测到过度弯曲状况时出现，并且可以在过度弯曲状况减轻时消失。在一些示例中，致动信息图标810、字母数字指示符812和/或方向指示符814的颜色、尺寸、纹理和/或其他属性可以是动态的，以便向操作者传达补充引导信息。例如，不同的颜色可以对应于弯曲半径的不同范围(例如，红色对应于1-10的弯曲半径，绿色对应于超过50的弯曲半径，并且黄色和/或颜色从红色到橙色到黄色到绿色的逐渐移位的阴影对应于11-49的弯曲半径)。该颜色方案可以应用于致动信息图标810和/或其部分，例如方向指示符814和/或数字指示符812。

在图8中描绘的说明性示例中，如字母数字指示符812所描绘，细长装置的最小弯曲半径(即沿细长装置长度的最小弯曲半径)是11mm。数字越小，弯曲半径越紧凑。为了增加最小弯曲半径，如方向指示符814的箭头所描绘，操作者被指示向下和向左导航控制装置，例如操纵杆、轨迹球和/或类似装置。例如，在一个或多个实施例中，致动信息图标810可以描绘操作者用来控制细长装置的弯曲的轨迹球的俯视图。在此类实施例的进一步示例中，方向指示符814可以指示轨迹球应该被滚动的方向以拉直细长装置。

图9示出了根据一些实施例的用于显示对齐模式中的目标引导信息的窗口900。根据符合图1-图4的一些实施例，窗口900可以对应于目标引导窗口460。窗口460从对应于从细长装置的远端向前看的视点显示目标方位910处的目标指示符。根据一些实施例，窗口900可以显示引导信息，该引导信息被设计为帮助操作者将细长装置与目标方位910从近距离对齐。与虚拟内窥镜视图(例如虚拟内窥镜视图窗口420和/或窗口500)不同，窗口900可以不描绘任何解剖特征。窗口900中没有解剖特征具有将操作者的注意力吸引到目标方位910的优点。窗口900中没有解剖特征具有降低渲染窗口900所涉及的计算复杂性的进一步优点，这减少了时滞(log)。在一些示例中，在对齐模式下显示没有任何解剖特征的窗口900是可能的，因为细长装置已经被导航到目标方位910的近距离范围内(例如，在二厘米或三厘米内)。例如，在细长装置的远端与目标方位910之间的患者解剖结构中可能没有其他分支、弯曲部和/或障碍物。然而，在一些实施例中，出于诸如安全性、避免解剖结构(例如，患部)靠近目标方位910和/或其他功能考虑的目的，窗口900可以包括解剖特征的表象、解剖特征的子集和/或解剖特征的简化表象。

在一些示例中，目标方位910可以表示为圆和/或一组同心圆。在一些示例中，可以使用术前医疗成像数据来确定目标方位910的形状。目标方位910的颜色、尺寸、纹理、阴影和/或透明度可以根据细长装置的远端与目标方位910之间的距离而变化。根据一些实施例，在窗口900中显示对齐指示符920，以识别医疗器械相对于目标方位910被对准到何处。例如，对齐指示符920可以包括标记窗口的中心的十字准线和/或窗口900内将执行医疗程序(例如，活检和/或激光消融)的位置，其可以是偏离中心的和/或在多个位置处。十字准线可以对应于细长物的径向中心，其与通过细长物递送的器械(例如探头或活检针)的中心轴线相关。根据一些实施例，对齐指示符920的颜色、纹理、阴影和/或透明度可以基于对齐指示符920与目标方位910之间的对齐的质量而变化。例如，对齐指示符920可以在实现期望的对齐时变为绿色，在接近对齐但未完全对齐时变为黄色，并且在未对齐时变为红色。在一些示例中，响应于细长装置的远端与目标方位910之间的距离而改变的目标方位910的属性可以与响应于对齐而改变的对齐指示符920的属性不同。以此方式，避免了混淆的情况，其中例如目标方位910和对齐指示符920的颜色以不同的方式同时改变。对齐指示符920和目标方位910之间的对齐的质量和/或细长装置的远端与目标方位910之间的距离可以通过基于跟踪系统(例如跟踪系统230)感测的细长装置的位置和/或取向来确定。在一些示例中，窗口900可以附加地或替代地显示细长装置的远端与目标方位910之间的侧视图。该侧视图可以有助于可视化细长装置的远端与目标方位910之间的距离，因为该距离原本与图9中描绘的视角正交。

在一些示例中，可以在窗口900中显示一个或多个指示符930以指示在目标方位910处执行的先前程序的位置。例如，当先前已经从各种进入角度收集到活检组织时，操作者可能在排队进行当前活检时发现可视化不同的先前方法是有用的。可以基于存储的针轨迹信息显示指示符930。在一些示例中，当操作者手动指示正在进行活检时，生成并存储针轨迹信息，此时基于细长装置的当前位置和取向来计算针轨迹。在一些示例中，基于来自细长装置的远端处的形状传感器的信息自动检测活检的开始，该形状传感器在针离开细长装置的远端时产生信号。在一些示例中，针可以被机器人控制和/或可以包括位置传感器，在这种情况下，可以直接捕获和存储针插入的时间和深度。在一些示例中，荧光透视成像可以用于检测针从细长装置延伸的时间和位置。在一些示例中，指示符930可以被编号、加盖时间戳和/或补充关于先前尝试的临床信息。

在一些示例中，可以在窗口900中显示运动范围限制指示符940，以指示细长装置不能或不应该在特定方向上进一步转向。在一些示例中，当压力传感器从给定方向检测到细长装置上的过大压力时，可能出现运动范围限制指示符940，如在将细长装置转向到解剖通路的壁中和/或当接近和/或超过细长装置的可转向部分的运动范围限制时可能发生的那样。在一些示例中，可以基于物理约束(例如转向机构不能进一步弯曲细长装置)和/或实际约束(例如最小弯曲半径，超过该最小弯曲半径医疗器械不能安全地插入穿过细长装置)来确定运动范围限制。以此方式，运动范围限制指示符940针对违反一个或多个内置限制和/或外部限制来警告操作者，所述内置限制和/或外部限制禁止细长装置在一个或多个方向上进一步转向。响应于观察到运动范围限制指示符940，操作者可以沿相反方向转向细长装置，直到运动范围限制指示符940消失和/或以其他方式改变状态以指示已经解决了该状况。根据一些实施例，运动范围限制指示符940可以显示为弧形。该弧形的各种属性(例如，半径、角度、长度、宽度、颜色、纹理、阴影、透明度和/或类似属性)可以变化以指示限制违反的严重性(例如，黄色表明正在接近运动范围限制，红色表明已达到和/或超过限制)。

图10示出了根据一些示例的用于显示对齐模式中的虚拟全局图像的窗口1000。根据符合图1-图4的一些实施例，窗口1000可以对应于虚拟全局视图窗口470-480。像图6中描绘的窗口600那样，窗口1000从全局视角显示解剖特征1010和具有视场指示符1025的细长装置1020。同样地，取向指示符1015和目标方位1030通常分别对应于取向指示符615和目标方位1030。在一些示例中，显示来自细长装置1020的远端的中心线1027，以帮助操作者可视化医疗器械(例如活检针)插入目标方位1030。

在一些示例中，窗口1000可以提供相对于窗口600的解剖特征610的解剖特征1010的简化视图。例如，解剖特征1010并不描绘具有高度细节和/或真实性的解剖特征，而是可以使用基本的二维和/或三维形状(例如矩形、立方体、圆柱体、球体)来描绘解剖通路。与窗口900中没有解剖特征一样，使用基本形状描绘解剖特征1010具有降低渲染窗口1000所涉及的计算复杂性的优点，这可以减少时滞(log)并由此提高进行精细对齐调整的能力。由于细长装置1020在目标方位1030的近程范围内的事实，在对齐模式中可能和/或期望额外的简化，例如没有虚拟路线图(例如，虚拟路线图635)。

在一些示例中，医疗器械可以以对齐模式插入细长装置1020中。因此，可能期望知道待插入的医疗器械是否能够安全地穿过细长装置1020。例如，可能期望知道细长装置1020的任何部分是否过度弯曲和/或以其他方式受损(例如，在化学方面、在热学方面、在机械方面和/或在生物学方面受损)。为了解决该挑战，细长装置1020的颜色方案1040指示细长装置1020在沿其长度的不同位置处的弯曲半径(和/或温度、应变和/或类似参数)。颜色方案1040可以用于通过根据位置改变细长装置1020的颜色、纹理、图案、透明度、阴影和/或另一视觉特性来显示测量的弯曲半径。使用颜色方案1040，可以将不同的颜色和/或阴影分配给弯曲半径值范围(例如，可以将绿色分配给被认为是笔直的范围，并且可以将红色分配给被认为是弯曲的范围，而黄色可以被分配给中间范围)。如图10所描绘，采用这样一种颜色方案，其中细长装置1020的较暗部分对应于较小的弯曲半径。这种颜色方案可以向操作者提醒细长装置1020中过度弯曲的可能部分。例如，当弯曲度超过阈值时，细长装置1020的区域可以变成红色。根据一些实施例，阈值可以对应于一定的弯曲半径，在该弯曲半径下，诸如针的装置不再能够自由地穿过细长装置1020。在一些示例中，阈值可以对应于细长装置1020的最小弯曲半径，例如细长装置1020变得易于形成纽结(kink)的半径。在一些实施例中，可以存在多个阈值，其中每个阈值触发颜色方案1040中的不同变化，例如转变为较暗的红色色调以指示已超过更极端的阈值。虽然颜色之间的转变被描绘为突发的，但是应当理解，在一些示例中颜色方案1040可以在颜色之间逐渐过渡，以便将颜色方案1040的属性(例如色调、亮度和/或类似属性)计算为弯曲半径的函数。在一些示例中，可以沿细长装置1020的整个长度应用颜色方案1040。在一些示例中，颜色方案1040可以限于细长装置1020的远侧部分，因为细长装置1020的近侧部分可能不像远侧部分那样容易受到变得过度弯曲的影响。

通常，窗口500-900中的任何一个可以适当地包括来自任何其他窗口的特征。例如，窗口500可以包括取向指示符，例如窗口600的取向指示符615。在一些示例中，细长装置620可以包括颜色方案，诸如细长装置1020的颜色方案1040。在一些示例中，窗口1000可以包括虚拟路线图，例如窗口600的虚拟路线图635。在一些示例中，窗口1000可以包括在目标方位1030处执行的先前程序的方位的指示符，诸如窗口900的指示符930。在一些示例中，窗口600的详细解剖特征610可以被简化为类似于解剖特征1010，以便提高渲染效率。相反，可以增强窗口1000的简化解剖特征1010以类似于解剖特征610，以便改善窗口1000的美观。

在一些示例中，当细长装置“停放”时(即，当操作者未进行细长装置的插入、缩回和/或关节运动时)，可能期望使用形状传感器测量细长装置的位置和/或形状。例如，当医疗器械(例如针)插入细长装置和/或从细长装置移除时，细长装置可以被移位。为了在多模态图形用户界面400中描绘该移动，细长装置的原始位置(在移位之前)可以被描绘为虚拟全局视图窗口430、470和/或480中的一个或多个中的透明和/或半透明“重影”视图。在一些示例中，可能期望在患者身体移动时警告操作者。例如，可以使用患者衬垫(pad)中的传感器和/或类似物来检测患者移动。当检测到患者移动时，多模态图形用户界面400的一个或多个属性可以改变，例如背景和/或边界颜色变为红色。在一些示例中，图像数据(诸如解剖特征610和/或1010的表象)可以改变颜色、阴影、纹理和/或透明度。在一些示例中，当患者移动超过一个或多个预定阈值时，可以触发这些改变。

图11是示出根据一些实施例的在图像引导的外科手术程序期间显示多模态图形用户界面(例如多模态图形用户界面400)的方法1100的流程图。方法1100被示出为一组操作或过程1110-1140。并非所有示出的过程1110-1140都可以在方法1100的所有实施例中执行。另外，可以在过程1110-1040之前、之后、之间或作为其一部分包括图11中未明确示出的一个或多个过程。在一些实施例中，方法1100的过程1110-1140中的一个或多个可以至少部分地以存储在非暂时性有形计算机可读介质上的可执行代码的形式实现，该可执行代码在由一个或多个处理器(例如，控制系统112的处理器)运行时可以使一个或多个处理器执行过程1110-1140中的一个或多个。

在过程1110处，以穿越模式显示多模态图形用户界面。在符合图1-10的一些实施例中，穿越模式可以包括实况相机视图窗口、虚拟内窥镜视图窗口、虚拟全局视图窗口、设置窗口和/或致动信息窗口。在一些实施例中，在驱动细长装置穿过患者身体时使用穿越模式，其中预期与细长装置的插入、缩回和/或关节运动相关联的实质运动。在一些示例中，相机探头被插入细长装置中并且以穿越模式定位在细长装置的远端处以提供实况图像数据。

在过程1120处，检测到第一触发事件，其指示多模态图形用户界面将从穿越模式转换到对齐模式。第一触发事件可以包括用户启动的触发和/或自动检测的触发条件。手动触发可以包括来自操作者的物理输入，例如，通过点击按钮、拨动开关、使用触摸板和/或任何其他合适的手动输入。在一些示例中，自动检测的触发条件可以包括从细长装置移除相机探头。在一些示例中，可以基于如使用形状传感器(诸如形状传感器222)确定的细长装置的形状变化来检测从细长装置移除相机探头。在一些示例中，可以基于如使用图像处理器确定的由相机探头提供的图像数据的变化来检测从细长装置移除相机探头。在一些示例中，可以通过真实成像技术(例如，计算机断层摄影(CT)、磁共振成像(MRI)、荧光透视、热摄影、超声、光学相干断层扫描(OCT)、热成像、阻抗成像、激光成像或纳米管X射线成像)提供图像数据的变化。图像数据的变化可以包括使用成像技术以相对于目标的不同角度或在程序中的不同时间获取的新图像。触发条件可以包括成像技术与系统的附接或断开。在一些示例中，触发条件可以包括将医疗器械插入细长装置中。类似于从细长装置移除相机探头，可以基于细长装置的形状的变化来确定将医疗器械插入细长装置中。在一些示例中，触发条件可以包括检测到细长装置的远端在目标方位的预定距离(例如，二厘米或三厘米)内。在一些示例中，触发条件可以包括确定细长装置的远端与目标方位之间存在视线(即，解剖通路中没有障碍物和/或弯曲部)。在一些示例中，触发条件可以包括检测到在将细长装置的远端与目标方位分开的解剖通路中没有剩余分支，这意味着没有通过导航到错误分支而产生“丢失”的剩余风险。在一些示例中，触发条件可以包括到达至目标方位的预定路线的末端。在一些示例中，触发条件可以包括检测到操作者已经停止插入细长装置(即，当细长装置已经“停放”时)。在一些示例中，触发条件可以包括改变。在一些示例中，操作者可以通过提供手动触发来选择超控自动触发。在一些示例中，可以使用一个或多个触发条件的任何合适组合在穿越模式和对齐模式之间自动切换。例如，触发条件可以包括检测到同时满足以下两个条件：(1)细长装置在目标方位的预定距离内，以及(2)操作者已经停止插入细长装置。当检测到第一触发事件时，方法1100可以进行到过程1130，以便以对齐模式显示多模态图形用户界面。

在过程1130处，以对齐模式显示多模态图形用户界面。在符合图1-10的一些实施例中，对齐模式可以包括目标引导窗口、一个或多个虚拟全局视图窗口、设置窗口和/或致动信息窗口。在一些实施例中，在优化细长装置相对于目标方位的位置和/或取向以准备执行医疗程序(例如，活检、激光烧蚀、成像和/或类似程序)时使用对齐模式。在一些示例中，在对齐模式中没有将相机探头插入细长装置中，从而细长装置被“无视(blind)”转向。

在过程1140处，检测到第二触发事件，其指示多模态图形用户界面将从对齐模式转换到穿越模式。在一些示例中，第二触发事件可以基本上类似于第一触发事件但是以相反的顺序。例如，不是检测到从细长装置移除相机探头，而是将相机探头重新插入细长装置中可以用作第二触发事件的示例。当检测到第二触发事件时，方法1100可以进行到过程1110，以便以穿越模式显示多模态图形用户界面。

图12是根据一些实施例的穿越模式中的多模态图形用户界面(例如多模态图形用户界面400)的屏幕截图1200。与穿越模式中的多模态图形用户界面400类似，屏幕截图1200描绘了五个同时可观看的框架或窗口1210-1250。窗口1210-1250通常对应于如图4a所描绘的窗口410-450。在一些示例中，用于显示虚拟内窥镜视图的窗口1220包括虚拟路线图1225作为通向目标方位的绿线。在一些示例中，用于显示虚拟全局视图的窗口1230包括距离指示符1231，以指示细长装置的远端与目标方位之间的距离。

图13是根据一些实施例的对齐模式中的多模态图形用户界面(例如多模态图形用户界面400)的屏幕截图1300。与对齐模式中的多模态图形用户界面400类似，屏幕截图1300描绘了六个同时可观看的框架或窗口1310和1340-1380。窗口1310和1340-1380通常对应于如图4b所描绘的窗口410和440-480。

控制单元(诸如控制单元130)的一些示例可以包括包含可执行代码的非暂时性有形机器可读介质，该可执行代码在由一个或多个处理器(例如，处理器140)运行时可以使得一个或多个处理器提供图形用户界面400或执行方法1100的过程。可以提供图形用户界面400或包括方法1100的过程的一些常见形式的机器可读介质是例如软盘、柔性磁盘、硬盘、磁带、任何其他磁性介质、CD-ROM、任何其他光学介质、穿孔卡、纸带、任何其他具有孔图案的物理介质、RAM、PROM、EPROM、FLASH-EPROM、任何其他存储器芯片或卡盘，和/或适于被处理器或计算机读取的任何其他介质。

附加示例

A1.一种用于在医疗程序期间使用图形用户界面显示引导信息的方法，该方法包括：从对应于细长装置的远端的视角显示第一图像数据，其中第一图像数据包括患者解剖结构的解剖特征；将虚拟路线图显示到患者解剖结构内的目标方位，其中虚拟路线图指示到目标方位的预定路线；以及基于细长装置的远端与预定路线之间的偏差，改变虚拟路线图的颜色、阴影、纹理和透明度中的一个或多个。

A2.根据示例A1所述的方法，其中虚拟路线图被显示为叠加在第一图像数据中包括的解剖特征上的线。

A3.根据示例A1或A2所述的方法，其中虚拟路线图基于解剖特征的一个或多个属性改变颜色、阴影、纹理和透明度中的一个或多个，一个或多个属性选自由下列项构成的群组：解剖通路的直径、解剖通路的弯曲、解剖通路的收缩以及解剖通路的分支。

A4.根据示例A1-A3中任一项所述的方法，其中虚拟路线图基于细长装置的远端与目标方位之间的距离改变颜色、阴影、纹理和透明度中的一个或多个。

A5.根据示例A1-A4中任一项所述的方法，其中显示第一图像数据还包括显示路障指示符。

A6.根据示例A5所述的方法，其中解剖特征包括细长装置不应在其中被引导的不期望的解剖特征，并且路障指示符对应于不期望的解剖特征。

A7.根据示例A5或A6所述的方法，其中基于解剖特征的一个或多个属性确定路障指示符，一个或多个属性包括解剖特征的直径或解剖特征的弯曲度。

A8.根据示例A1-A7中任一项所述的方法，其中解剖特征基于细长装置的远端与目标方位之间的距离改变颜色、阴影、纹理和透明度中的一个或多个。

A9.根据示例A1-A8中任一项所述的方法，还包括从对应于细长装置的远端的视角显示第二图像数据，其中：第二图像数据包括对应于目标方位的目标指示符和对应于医疗程序的预期方位的对齐指示符；并且目标指示符基于医疗程序的预期方位与目标方位之间的对齐来改变颜色、阴影、纹理和透明度中的一个或多个。

A10.根据示例A9所述的方法，其中基于术前体素数据对目标指示符进行建模。

A11.根据示例A9或A10所述的方法，其中目标指示符基于细长装置的远端与目标方位之间的距离改变颜色、阴影、纹理和透明度中的一个或多个。

A12.根据示例A9-A11中任一项所述的方法，其中目标指示符基于对齐指示符和目标指示符之间的偏差改变颜色、阴影、纹理和透明度中的一个或多个。

A13.根据示例A9-A12中任一项所述的方法，其中对齐指示符基于对齐指示符和目标指示符之间的偏差改变颜色、阴影、纹理和透明度中的一个或多个。

A14.一种用于在医疗程序期间使用图形用户界面显示引导信息的方法，该方法包括：在图形用户界面的对齐模式中并且在对齐细长装置的远端以在目标方位处执行医疗程序期间，从对应于细长装置的远端的视角显示第一图像数据，其中第一图像数据包括对应于目标方位的目标指示符和对应于医疗程序的预期方位的对齐指示符；将器械输送到目标方位，其中将器械输送到目标方位包括存储多个器械轨迹；以及显示与多个器械轨迹对应的多个历史指示符。

A15.根据示例A14所述的方法，其中器械是针。

A16.根据示例A14或A15所述的方法，还包括：在图形用户界面的穿越模式中并且在细长装置穿过解剖通路期间，从对应于细长装置的远端的视角显示第二图像数据，其中第二图像数据包括细长装置的虚拟路线图和历史路径。

A17.根据示例A16所述的方法，还包括基于手动输入隐藏历史路径。

A18.根据示例A14-A17中任一项所述的方法，还包括基于手动输入隐藏历史指示符。

A19.根据示例A14-A18中任一项所述的方法，其中所述医疗程序是活检和消融中的一个或多个。

A20.根据示例A14-A19中任一项所述的方法，还包括显示力指示符，其中力指示符包括由用于推进细长装置的马达或致动器施加的插入力的表象。

A21.根据示例A20所述的方法，其中力指示符被显示为滚动条形图。

尽管已经示出和描述了说明性实施例，但是在前述公开内容中预期了广泛的修改、改变和替换，并且在一些情况下，可以采用实施例的一些特征而无需相应地使用其他特征。本领域普通技术人员将认识到许多变化、替代和修改。因此，本发明的范围应仅由所附权利要求限制，并且权利要求应当以与本文公开的实施例的范围一致的方式广泛地解释。

Claims (42)

1.一种用于在医疗程序期间使用图形用户界面显示引导信息的方法，所述方法包括：

在所述图形用户界面的第一模式中，从对应于细长装置的远端的视角显示第一图像数据，其中所述第一图像数据包括虚拟路线图；

从所述图形用户界面的所述第一模式转换到所述图形用户界面的第二模式，其中所述转换基于触发条件的发生；以及

在所述图形用户界面的所述第二模式中，从对应于所述细长装置的所述远端的视角显示第二图像数据，其中所述第二图像数据包括对应于目标方位的目标指示符以及对应于所述目标方位处的所述医疗程序的预期方位的对齐指示符。

2.根据权利要求1所述的方法，其中在所述细长装置穿过解剖通路期间显示所述图形用户界面的所述第一模式，并且其中在对齐所述细长装置的远端以在所述目标方位处执行所述医疗程序期间显示所述图形用户界面的所述第二模式。

3.根据权利要求1或2所述的方法，其中所述触发条件包括由执行所述医疗程序的操作者进行的选择。

4.根据权利要求1或2所述的方法，其中所述触发条件包括来自所述细长装置的医疗器械的存在的变化。

5.根据权利要求4所述的方法，其中基于所述细长装置的形状的变化来检测来自所述细长装置的所述医疗器械的存在的变化，并且使用沿着所述细长装置的长度设置的形状传感器来确定所述形状的变化。

6.根据权利要求4所述的方法，其中所述医疗器械包括成像探头。

7.根据权利要求6所述的方法，其中基于由所述成像探头提供的视频数据的变化来检测来自所述细长装置的所述成像探头的存在，并且使用图像处理器来确定所述视频数据的变化。

8.根据权利要求6或7所述的方法，其中从所述细长装置移除所述成像探头以将所述图形用户界面置于所述第二模式中，或者将所述成像探头放置在所述细长装置内以将所述图形用户界面置于所述第一模式中。

9.根据权利要求4所述的方法，其中所述医疗器械包括活检针。

10.根据权利要求9所述的方法，其中从所述细长装置移除所述活检针以将所述图形用户界面置于所述第一模式中，或者将所述活检针放置在所述细长装置内以将所述图形用户界面置于所述第二模式中。

11.根据权利要求1或2所述的方法，还包括确定所述细长装置的所述远端的位置。

12.根据权利要求11所述的方法，其中所述触发条件包括检测到所述细长装置的所述远端在所述目标方位的预定距离内。

13.根据权利要求11所述的方法，其中使用沿着所述细长装置的长度设置的传感器来确定所述细长装置的所述远端的位置。

14.根据权利要求13所述的方法，其中所述传感器包括电磁传感器和光纤形状传感器中的至少一个。

15.一种使用图形用户界面显示引导信息的系统，所述系统包括：

细长装置，其包括柔性主体和远端；以及

一个或多个处理器，其被配置为：

在所述图形用户界面的第一模式中，从对应于所述细长装置的远端的视角显示第一图像数据，其中所述第一图像数据包括虚拟路线图；

从所述图形用户界面的所述第一模式转换到所述图形用户界面的第二模式，其中所述转换基于触发条件的发生；以及

在所述图形用户界面的所述第二模式中，从对应于所述细长装置的所述远端的视角显示第二图像数据，其中所述第二图像数据包括对应于目标方位的目标指示符以及对应于所述目标方位处的医疗程序的预期方位的对齐指示符。

16.根据权利要求15所述的系统，其中在所述细长装置穿过解剖通路期间显示所述图形用户界面的所述第一模式，并且其中在对齐所述细长装置的远端以在所述目标方位处执行所述医疗程序期间显示所述图形用户界面的所述第二模式。

17.根据权利要求15或16所述的系统，其中所述触发条件包括由执行所述医疗程序的操作者进行的选择。

18.根据权利要求15或16所述的系统，其中所述触发条件包括来自所述细长装置的医疗器械的存在的变化。

19.根据权利要求18所述的系统，其中基于所述细长装置的形状的变化来检测来自所述细长装置的所述医疗器械的存在的变化，并且使用沿着所述细长装置的长度设置的形状传感器来确定所述形状的变化。

20.根据权利要求18所述的系统，还包括所述医疗器械，所述医疗器械包括成像探头。

21.根据权利要求20所述的系统，其中基于由所述成像探头提供的视频数据的变化来检测来自所述细长装置的所述成像探头的存在，并且使用图像处理器来确定所述视频数据的变化。

22.根据权利要求20所述的系统，其中从所述细长装置移除所述成像探头以将所述图形用户界面置于所述第二模式中，或者将所述成像探头放置在所述细长装置内以将所述图形用户界面置于所述第一模式中。

23.根据权利要求18所述的系统，还包括所述医疗器械，所述医疗器械包括活检针。

24.根据权利要求23所述的系统，其中从所述细长装置移除所述活检针以将所述图形用户界面置于所述第一模式中，或者将所述活检针放置在所述细长装置内以将所述图形用户界面置于所述第二模式中。

25.根据权利要求15或16所述的系统，其中所述一个或多个处理器还被配置为确定所述细长装置的所述远端的位置。

26.根据权利要求25所述的系统，其中所述触发条件包括检测到所述细长装置的所述远端在所述目标方位的预定距离内。

27.根据权利要求25所述的系统，还包括沿着所述细长装置的长度设置的传感器，其中使用所述传感器来确定所述细长装置的所述远端的位置。

28.根据权利要求27所述的系统，其中所述传感器包括电磁传感器和光纤形状传感器中的至少一个。

29.根据权利要求15或16所述的系统，其中：

所述第一图像数据还包括患者解剖结构的解剖特征；

所述虚拟路线图指示到所述目标方位的预定路线；以及

所述一个或多个处理器还被配置为基于所述细长装置的所述远端与所述预定路线之间的偏差来改变所述虚拟路线图的颜色、阴影、纹理和透明度中的一个或多个。

30.根据权利要求29所述的系统，其中所述虚拟路线图被显示为叠加在包含于所述第一图像数据中的所述解剖特征上的线。

31.根据权利要求29所述的系统，其中所述虚拟路线图基于所述解剖特征的一个或多个属性而改变颜色、阴影、纹理和透明度中的一个或多个，所述一个或多个属性选自由解剖通路的直径、所述解剖通路的弯曲、所述解剖通路的收缩和所述解剖通路的分支构成的群组。

32.根据权利要求29所述的系统，其中所述虚拟路线图基于所述细长装置的所述远端与所述目标方位之间的距离而改变颜色、阴影、纹理和透明度中的一个或多个。

33.根据权利要求29所述的系统，其中显示所述第一图像数据还包括显示路障指示符。

34.根据权利要求33所述的系统，其中所述解剖特征包括所述细长装置不应在其中被引导的不期望的解剖特征，并且所述路障指示符对应于所述不期望的解剖特征。

35.根据权利要求33所述的系统，其中基于所述解剖特征的一个或多个属性来确定所述路障指示符，所述一个或多个属性包括所述解剖特征的直径或所述解剖特征的弯曲。

36.根据权利要求29所述的系统，其中所述解剖特征基于所述细长装置的远端与所述目标方位之间的距离来改变颜色、阴影、纹理和透明度中的一个或多个。

37.根据权利要求29所述的系统，其中所述目标指示符基于所述医疗程序的所述预期方位与所述目标方位之间的对齐来改变颜色、阴影、纹理和透明度中的一个或多个。

38.根据权利要求29所述的系统，其中所述目标指示符基于术前体素数据进行建模。

39.根据权利要求15或16所述的系统，其中所述目标指示符基于所述细长装置的所述远端与所述目标方位之间的距离来改变颜色、阴影、纹理和透明度中的一个或多个。

40.根据权利要求15或16所述的系统，其中所述目标指示符基于所述对齐指示符和所述目标指示符之间的偏差来改变颜色、阴影、纹理和透明度中的一个或多个。

41.根据权利要求15或16所述的系统，其中所述对齐指示符基于所述对齐指示符和所述目标指示符之间的偏差来改变颜色、阴影、纹理和透明度中的一个或多个。

42.一种非暂时性机器可读介质，其包括多个机器可读指令，所述多个机器可读指令在由与引导显示系统相关联的一个或多个处理器执行时适于使所述一个或多个处理器执行包括下列步骤的方法：

在所述图形用户界面的第一模式中，从对应于细长装置的远端的视角显示第一图像数据，其中所述第一图像数据包括虚拟路线图；

从所述图形用户界面的所述第一模式转换到所述图形用户界面的第二模式，其中所述转换基于触发条件的发生；以及

在所述图形用户界面的所述第二模式中，从对应于所述细长装置的所述远端的视角显示第二图像数据，其中所述第二图像数据包括对应于目标方位的目标指示符以及对应于所述目标方位处的所述医疗程序的预期方位的对齐指示符。