CN117355862A - 包含用于连接表示解剖通路的模型结构的指令的系统、方法及介质 - Google Patents

包含用于连接表示解剖通路的模型结构的指令的系统、方法及介质 Download PDF

Info

Publication number
CN117355862A
CN117355862A CN202280036937.7A CN202280036937A CN117355862A CN 117355862 A CN117355862 A CN 117355862A CN 202280036937 A CN202280036937 A CN 202280036937A CN 117355862 A CN117355862 A CN 117355862A
Authority
CN
China
Prior art keywords
model
image
locations
isolation structure
location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280036937.7A
Other languages
English (en)
Inventor
王柏
陈时阳
J·简库
S·李
张惠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Publication of CN117355862A publication Critical patent/CN117355862A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/35Surgical robots for telesurgery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00743Type of operation; Specification of treatment sites
    • A61B2017/00809Lung operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/105Modelling of the patient, e.g. for ligaments or bones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107Visualisation of planned trajectories or target regions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2051Electromagnetic tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2061Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • A61B2034/252User interfaces for surgical systems indicating steps of a surgical procedure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B2034/303Surgical robots specifically adapted for manipulations within body lumens, e.g. within lumen of gut, spine, or blood vessels
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • A61B2090/3614Image-producing devices, e.g. surgical cameras using optical fibre
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/37Master-slave robots
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Robotics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本文公开了用于执行医疗程序的装置、系统、方法以及计算机程序产品。在一些实施例中,用于规划医疗程序的系统被配置成接收患者的解剖区域的三维(3D)模型。3D模型能够包括一组链接结构和与链接结构间隔开的至少一个隔离结构。系统能够输出链接结构和至少一个隔离结构的图形表示,并且能够接收指示图形表示上的一组位置的操作者输入。该一组位置能够表示至少一个隔离结构与链接结构之间的连接部。基于操作者输入,系统能够生成将至少一个隔离结构连接到链接结构的桥接结构。

Description

包含用于连接表示解剖通路的模型结构的指令的系统、方法 及介质
相关申请的交叉引用
本申请要求2021年4月7日提交并且标题为“用于连接模型结构的用户界面和相关联的系统及方法”的美国临时申请No.63/171,996的优先权和利益,其全部内容通过参引被并入本文。
技术领域
本公开涉及用于连接医疗程序(medical procedure)的解剖模型中的结构的系统、方法以及计算机程序产品。
背景技术
微创医疗技术旨在减少医疗程序期间受损的组织的数量,从而减少患者的恢复时间、不适和有害副作用。这种微创技术可以通过患者解剖结构中的自然孔口或通过一个或更多个外科手术切口来执行。通过这些自然孔口或切口,操作者可以插入微创医疗工具以到达目标组织位置。微创医疗工具包括诸如治疗、诊断、活检以及外科手术器械之类的器械。医疗工具可以被插入到解剖通路中,并且被朝向患者解剖结构内的感兴趣区域导引。可以使用解剖通路的图像来辅助导引。需要改进的系统和方法来对解剖通路精确地建模。
发明内容
本文公开了用于规划医疗程序的装置、系统、方法以及计算机程序产品。在一些实施例中,用于规划医疗程序的系统包括处理器和以可操作的方式耦合到处理器的存储器。存储器能够存储指令,指令在由处理器执行时使系统执行包括接收患者的解剖区域的三维(3D)模型的操作。3D模型能够包括一组链接结构和与链接结构间隔开的至少一个隔离结构。操作还能够包括输出链接结构和至少一个隔离结构的图形表示,并且接收指示图形表示上的一组位置的操作者输入。该一组位置能够表示至少一个隔离结构与链接结构之间的连接部。操作能够进一步包括,基于操作者输入,生成将至少一个隔离结构连接到链接结构的桥接结构。
在这些和其他实施例中,非瞬态计算机可读介质能够在其上存储指令,当该指令由计算系统的一个或更多个处理器执行时,使计算系统执行包括输出图形用户界面的操作。图形用户界面能够包括患者的解剖区域的3D模型,3D模型包括一组链接结构和与链接结构间隔开的至少一个隔离结构。图形用户界面还能够包括患者的解剖区域的多个二维(2D)图像。操作还能够包括,经由图形用户界面接收操作者输入,操作者输入指示3D模型或2D图像中的一个或更多个中的一组位置,该一组位置表示至少一个隔离结构与链接结构之间的连接部。操作能够进一步包括基于操作者输入更新3D模型,以包括将至少一个隔离结构连接到链接结构的桥接结构。
在这些和其他一些实施例中,方法能够包括接收3D解剖模型,3D解剖模型包括一组链接结构和与链接结构断开连接的至少一个隔离结构。方法还能够包括输出显示链接结构和至少一个隔离结构的图形用户界面。方法能够进一步包括,经由图形用户界面,接收操作者输入,操作者输入限定至少一个隔离结构与链接结构之间的连接部。方法能够包括,基于操作者输入,生成将至少一个隔离结构连接到链接结构的桥接结构。
附图说明
参考以下附图能够更好地理解本公开的许多方面。附图中的部件未必按比例绘制。而是,重点放在清楚地说明本公开的原理上。附图不应被视为将本公开限于所描绘的特定实施例,而仅用于说明和理解。
图1是示出根据本技术的各种实施例的用于规划医疗程序的方法的流程图。
图2图示了根据本技术的实施例配置的3D模型的代表性示例。
图3A图示了根据本技术的实施例配置的图形用户界面的代表性示例。
图3B图示了根据本技术的实施例的能够在图3A的图形用户界面中显示的一组2D图像。
图3C图示了根据本技术的实施例的能够在图3A的图形用户界面中显示的叠加视图。
图4A至图4C图示了根据本技术的实施例的图形用户界面的代表性示例,该图形用户界面具有用于限定隔离结构与链接结构之间的连接部的各种模式。
图5示出了根据本技术的实施例用于显示桥接结构的图形用户界面的代表性示例。
图6是根据本技术的各种实施例配置的远程操作医疗系统的简化图。
图7A是根据本技术的各种实施例配置的医疗器械系统的简化图。
图7B是根据本技术的各种实施例配置的医疗器械系统的简化图。
具体实施方式
本公开涉及用于规划医疗程序的装置、系统、方法以及计算机程序产品。在一些实施例中,图像引导的医疗程序使用解剖区域的3D模型来帮助操作者可视化患者解剖结构和/或在解剖区域内导引医疗装置。使用图像分割算法和/或其他图像处理技术,能够由解剖区域的图像(例如,计算机断层扫描(CT)图像数据和/或包括2D图像切片的堆叠或系列的其他类型的3D体积图像数据)生成3D模型。然而,在某些情况下,所生成的模型能够包括未连接到模型其余部分的结构或部分(此处称为“隔离结构”)。例如,隔离结构可以由不完整的图像数据、较差的图像质量、先前的外科手术或辐射干预、粘液或其他堵塞和/或分割算法的问题引起。隔离结构的存在可以干扰在解剖区域中规划医疗程序,特别是如果隔离结构靠近程序的目标部位(例如,活检部位)。然而,用于规划医疗程序的常规用户界面可能简单地丢弃或隐藏3D模型中的隔离结构,使得操作者未察觉到隔离结构和/或无法控制隔离结构如何重新结合到模型的其余部分。
本技术能够通过提供下述图形用户界面来解决这些和其他挑战,该图形用户界面允许操作者查看隔离结构并提供指示隔离结构应如何连接到3D模型中的其他结构(本文称为“链接结构”)的输入。在一些实施例中,例如,本文公开的系统被配置成接收解剖区域(例如,肺的气道)的3D模型。3D模型能够包括一组链接结构(例如,经连接的气道)和至少一个隔离结构(例如,气道的断开连接的部分)。系统能够输出链接结构和隔离结构的图形表示,诸如示出了3D模型和/或用来生成3D模型的至少一些2D图像的图形用户界面。操作者能够提供表示隔离结构与链接结构之间的连接部的指示图形表示中的一组位置的输入。基于操作者输入,系统能够生成将隔离结构连接到链接结构的桥接结构,诸如通过使用合适的分割算法从所选位置“生长出”桥接结构。
在一些实施例中,本技术被期望为操作者提供快速且简单的方式来重新连接隔离结构,从而提高建模过程的准确性和灵活性。操作者输入还能够有助于确保隔离结构实际上是患者解剖结构的一部分,而不是成像伪影或非解剖结构(例如,粘液或碎屑)。另外,本技术被期望通过提供显示3D模型和用来产生模型的2D图像两者的图形用户界面来帮助操作者验证所生成的连接部在解剖学上是准确的。
A.用于连接模型结构的过程和用户界面的实施例
图1是示出根据本技术的各种实施例的用于规划医疗程序的方法100的流程图。方法100被图示为一组步骤或过程110至150。方法100的所有步骤或步骤的子集能够通过任何合适的计算系统或装置来实现,诸如医疗器械系统或装置的控制系统(例如,包括机器人或远程操作系统的各种部件或装置)、工作站、便携式计算系统(例如,膝上型计算机)和/或其组合。在一些实施例中,用于实施方法100的计算系统包括可操作地耦合到存储指令的存储器的一个或更多个处理器,指令在被执行时使计算系统执行根据步骤110至150的操作。在以下描述中,通过交叉参考图2至图5的各个方面来说明方法100。
方法100开始于步骤110,在步骤110中,接收患者的解剖区域的3D模型。模型能够表示要在其中执行医疗程序的解剖区域,并且能够描绘该区域内的通路和/或其他解剖结构的位置、形状和连通性。模型还能够描绘解剖区域内的在医疗程序期间将被接近、进行活检、治疗等的一个或更多个目标部位。在一些实施例中,例如,解剖区域是或包括患者肺部的气道,并且目标部位能够是肺部内的活检目标,诸如病变或结节。因此,操作者能够使用模型来规划医疗程序,诸如通过确定用于医疗器械或装置的路径,以导引穿过通路而到达(一个或更多个)目标部位。
3D模型能够通过多种不同的方式生成。在一些实施例中,例如,3D模型由解剖区域的手术前和/或手术中图像数据生成,诸如CT数据、锥形束CT(CBCT)数据、断层合成数据、磁共振成像(MRI)数据、荧光透视数据、热图像数据、超声数据、光学相干断层扫描(OCT)数据、热成像数据、阻抗数据、激光成像数据、纳米管X射线成像数据、和/或表示患者解剖结构的其他合适的数据。图像数据能够对应于2D、3D或四维(例如,基于时间或基于速度的信息)图像。在一些实施例中,例如,图像数据包括来自多个视角的2D图像,这些2D图像能够被组合成伪3D图像。
能够通过分割图像数据中表示解剖特征或结构的图形元素来生成3D模型。在分割过程期间,从图像数据生成的图形单元(例如,像素或立体像素)可以被分割成区段或元素、和/或被标记成指示它们共享某些特性或经计算的特性,诸如颜色、密度、强度和纹理。然后,将与患者的解剖特征相关联的区段或元素转换成经分割的解剖模型,其在模型或图像参考系中生成。为了表示模型,分割过程可以描绘表示解剖区域的立体像素的集合,然后应用诸如行进立方函数(marching cube function)之类的函数来生成包围立体像素的3D表面。该模型可以通过生成网格、体积或立体像素图来制作。附加地或替代性地,模型可以包括中心线模型,其包括延伸穿过建模通路的中心的一组互连线段或点。在其中模型包括中心线模型、中心线模型包括一组互连线段的情况下,这些线段可以转换为云或一组点。通过转换线段,能够手动或自动地选择与互连线段相对应的期望数量的点。
被分割的3D模型能够包括表示解剖区域内的通路的多个链接结构或区段,使得链接结构之间的连接部与实际解剖结构中的通路之间的连接部相互关联。然而,3D模型还可以包括与模型的其余部分断开连接的一个或更多个隔离结构或区段(例如,隔离结构不与链接结构接触和/或重叠)。隔离结构可以表示在实际解剖结构中连接到其他通路、但是在3D模型中被错误地描绘为不连续的部件的解剖通路。这种隔离结构会由于各种原因而出现,诸如图像质量不足、图像数据不完整、解剖结构中的堵塞和/或分割算法的问题(例如,算法未能从图像数据中分割出某些通路)。然而,一些隔离结构可以对应于患者的身体中的非解剖结构(例如,粘液或碎屑),或者可以是解剖结构中实际不存在的成像或模型伪影。
图2图示了根据本技术的实施例配置的3D模型200的代表性示例。在所图示的实施例中,3D模型200描绘了肺的气道,并且包括多个链接结构202,表示肺内的分支通路(例如,主隆突、左主支气管、右主支气管、次级支气管、三级支气管等)。然而,在其他实施例中,3D模型200能够表示可以包括或可以不包括分支通路的其他解剖区域。3D模型200能够包括与链接结构202断开连接的一个或更多个隔离结构(由阴影线指示),诸如在肺的第一(例如,右)侧上的一个或更多个第一隔离结构204a、以及在肺的第二(例如,左)侧上一个或更多个第二隔离结构204b。如以上讨论的,隔离结构204a至204b中的一些或全部能够表示应当被重新连接到链接结构202的通路,以便准确地表示实际患者解剖结构中的连通性。可选地,一些隔离结构204a至204b能够对应于粘液、碎屑或伪影,并且因此不应该被重新连接到链接结构202。在一些实施例中,在没有操作者检查和/或干预的情况下,可能难以准确区分表示实际解剖结构的隔离结构204a至204b与表示非解剖结构和/或伪影的隔离结构204a至204b。
操作者能够使用3D模型200来规划到达目标部位208的路径206(例如,用于医疗装置)。在所示的实施例中,一些第一隔离结构204a位于目标部位208附近,并且因此可能使得难以或无法规划到目标部位208的最佳路径206。为了避免这样的问题,第一隔离结构204a中的一些或全部能够被重新连接到链接结构202,如以下详细描述的。在一些实施例中,因为第二隔离结构204b被定位成相对远离目标部位208,所以第二隔离结构204b可能不需要被重新连接到链接结构202。然而,在其他实施例中,根据本文进一步描述的技术,第二隔离结构204b中的一些或全部也能够被重新连接。
再次参考图1,步骤110能够可选地包括分析3D模型以识别任何隔离结构的存在和/或位置,例如,以自动方式、基于操作者输入或其合适的组合。例如,能够分析3D模型中各种结构的空间关系,以自动检测未被连接到模型的其余部分的任何结构。在一些实施例中,模型中的连续部件的最大集合或体积被自动指定为链接结构,并且未被连接到那些连续部件的任何模型部件被标识为隔离结构。替代性地或组合地,表示解剖结构的特定部分(例如,气管和/或主隆突)的模型部件能够被自动指定为链接结构,并且任何其余的不连续部件被识别为隔离结构。可选地,操作者能够提供识别隔离结构和/或链接结构的输入。
在步骤120处,方法100继续输出链接结构和至少一个隔离结构的图形表示。图形表示能够是或包括3D图形表示,诸如解剖区域的3D模型(例如,步骤110的3D模型)。替代性地或组合地,图形表示能够是或包括2D图形表示,诸如解剖区域的一个或更多个2D图像。2D图像能够包括解剖结构的实际图像(例如,CT图像和/或用来产生步骤110的3D模型的其他图像数据)。在一些实施例中,2D图像是图像数据序列的一部分,其中每个2D图像表示不同的图像切片或部段。可选地,2D图像能够包括解剖结构的虚拟图像(例如,3D模型的模拟2D切片或部段)。2D和/或3D图形表示能够在视觉上,例如基于颜色、透明度、纹理、阴影、标签、标记和/或任何其他合适的视觉指示物或元素来区分隔离结构与链接结构。因此,操作者能够查看图形表示以确定隔离结构的存在和/或位置。
在一些实施例中,图形表示被显示为图形用户界面的一部分,以用于帮助操作者规划医疗程序。图形用户界面能够被显示在合适的输出装置(例如,监视器、触摸屏等)上,并且能够允许操作者经由合适的输入装置(例如,鼠标、键盘、操纵杆、触摸屏等等)提供指令、命令、反馈等。图形用户界面能够包括用于查看患者解剖结构的图像和/或模型以及用于规划到目标部位的路径的功能。图形用户界面还能够允许操作者提供输入,以将隔离结构重新连接到链接结构,如以下进一步描述的。
图3A图示了根据本技术的实施例配置的图形用户界面300(“界面300”)的代表性示例。界面300包括解剖区域的3D模型302和解剖区域的一个或更多个2D图像304(三个被示为2D图像304a至304c)。在图示的实施例中,3D模型302和2D图像304以并排的配置彼此分开地显示。然而,在其他实施例中,3D模型302和2D图像304能够被以不同的方式布置在界面300中。
3D模型302能够与图2的3D模型200相同或大体相似。例如,3D模型302能够包括一组链接结构306和一个或更多个隔离结构308,其能够通过颜色、透明度、阴影等在视觉上彼此区分,如以上描述的。3D模型302还能够包括到解剖区域中的目标部位312的路径310。界面300为操作者提供了用于与3D模型302交互的各种工具。例如,界面300能够允许操作者(例如,经由切换元件314和/或任何其他合适的界面元件)控制隔离结构308是被显示还是被隐藏。界面300还能够允许操作者平移、旋转、放大、缩小和/或以其他方式操纵3D模型302的视图。因此,操作者能够使用3D模型302来可视化各种模型部件之间的3D空间关系,例如,链接结构306、隔离结构308、路径310和/或目标部位312。
2D图像304能够从一个或更多个不同的视图和/或平面(诸如一个或更多个基本视图)示出解剖区域。在所示实施例中,例如,2D图像304包括在轴向平面中的第一图像304a、在冠状面中的第二图像304b以及在矢状面中的第三图像304c。然而,在其他实施例中,界面300能够包括不同数量的2D图像304(例如,一个、两个、四个或更多)和/或2D图像304能够描绘解剖结构的不同视图。界面300能够包括指示解剖方向的视觉元件,从而操作者能够识别所显示的视图(例如,“L”表示左,“R”表示右,“S”表示上位,“I”表示下位,“A”表示前,“P”表示后;表示患者朝向的图标等)。另外,所显示的视图能够替代性地或另外包括相对于基本视图倾斜(例如,旋转)的至少一个视图。在显示倾斜视图的实施例中,界面300能够将表示倾斜视图平面的平面叠加到3D模型302上。界面300能够允许操作者平移、放大、缩小、滚动不同的图像切片或部段,和/或以其他方式操纵2D图像304。
在一些实施例中,2D图像304是患者解剖结构的实际图像,例如,在术前成像程序期间获得的CT图像。2D图像304中的一些或全部能够是用来生成3D模型302的相同图像,如以上在步骤110中所讨论的。当操作者选择3D模型302中的位置时,(例如,如十字光标316所指示的),界面300能够自动更新2D图像304以示出描绘该位置的对应图像切片(例如,分别如图像304a至304c中的十字光标318a至318c所指示的)。相反,当操作者在一个或更多个2D图像304中选择位置时,界面300能够自动更新十字光标316在3D模型302上的位置。因此,界面300能够允许操作者快速且容易地将2D图像304与3D模型302进行比较,以确定被建模的结构如何与实际的解剖结构相互关联。界面300还能够包括其他特征,以帮助操作者可视化3D模型302中的链接结构306和隔离结构328如何对应于2D图像304中所示的解剖结构,如以下参照图3B和图3C详细描述的。
图3B图示了根据本技术的实施例的能够显示在图3A的界面300中的一组2D图像324(例如,第一图像324a、第二图像324b以及第三图像324c)。2D图像324能够大体类似于图3A的2D图像304。如图3B所示,2D图像324包括视觉指示物(例如,图形、标签、标记等),其示出了哪些部分对应于3D模型302(图3A)中的链接结构306(图3A)和隔离结构308(图3A)。在图示的实施例中,例如,一组第一区域326被叠加在2D图像324上以表示链接结构306(图3A),并且一组第二区域328被叠加在2D图像324上以表示隔离结构308(图3A)。第一区域326和第二区域328能够利用颜色、透明度、阴影、纹理等在视觉上彼此区分。因此,通过将2D图像324与3D模型302(图3A)进行比较,操作者可以确定3D模型302中所示的链接结构306和隔离结构308如何对应于解剖区域的特征。可选地,操作者能够使用2D图像324来确定3D模型302中描绘的隔离结构308是表示实际解剖通路(例如,气道),还是非解剖结构或伪影。
图3C图示了根据本技术的实施例的能够在界面300中显示的叠加视图350。叠加视图350能够示出3D模型352和叠加在3D模型352上的2D图像354。3D模型352能够与图3A的3D模型302相同或大体相似,并且能够描绘一组链接结构356和一个或更多个隔离结构358。2D图像354能够与图3A的2D图像304和/或图3B的2D图像324中的任何一个相同或相似。例如,2D图像354能够是示出患者解剖结构的2D切片的CT图像。2D图像354能够在对应于2D图像354的平面的空间平面处相对于3D模型354定位和定向,使得2D图像354中的特征与3D模型352的相应部件对准。可选地,当操作者选择3D模型352中的不同位置时(例如,通过点击、滚动等),叠加视图350能够自动更新显示哪个2D图像354、以及2D图像354相对于3D模型352的位置。因此,操作者能够使用叠加视图350来快速且容易地将2D图像354中描绘的解剖特征与3D模型352中的结构进行比较。在一些实施例中,操作者能够在3D模型302(图3A)的叠加视图350和正常视图之间切换,诸如通过点击界面元件(例如,按钮360)、输入命令等。
再次参考图1,在步骤130处,方法100继续接收指示一组位置的输入,该一组位置表示隔离结构与链接结构之间的连接部。在一些实施例中,操作者使用输入设备(例如,键盘、鼠标、操纵杆、触摸屏等)来选择隔离结构和链接结构的2D和/或3D图形表示上的一个或更多个位置。例如,如先前描述的,操作者能够查看显示解剖区域的3D模型和/或患者解剖结构的2D图像的图形用户界面(例如,图3A至图3C的界面300)。操作者能够提供输入,该输入选择3D模型中的一个或更多个位置(“模型位置”)、2D图像中的一个或更多个位置(“图像位置”)或其合适的组合。所选择的位置能够包括点(例如,2D或3D坐标点)、线段、区域、体积等,其部分或全部地限定了隔离结构与一组链接结构之间的连接部(也称为“桥接”或“延伸”)。
连接部能够基于操作者输入以多种不同的方式进行限定。在一些实施例中,例如,操作者选择在隔离结构中或附近的第一位置(例如,隔离结构的最接近链接结构的梢部或部分)、以及在链接结构中或附近的第二位置(例如,链接结构的最接近隔离结构的梢部或部分)。第一位置和第二位置能够用作为连接部的端部点。连接部的中间点能够由计算系统(例如,用于规划医疗程序的系统或任何其他合适的系统或装置)从端部点自动确定。例如,系统能够自动生成连接端部点的线(例如直线或曲线)。可选地,操作者还能够通过选择第一位置与第二位置之间的一个或更多个中间位置(例如,隔离结构与链接结构之间的间隙中的位置)来限定至少一些中间点。随后,系统能够通过生成将由操作者限定的点连接的多个线段(例如,线性的或弯曲的线段)来确定连接部。这种方式有助于限定更复杂的连接部几何形状(例如,非线性连接部)。
作为另一示例,操作者能够简单地识别将被连接部的结构,并且系统能够自动地确定所识别的结构之间的连接部。例如,操作者能够通过选择隔离结构中或附近的一个或更多个位置来识别隔离结构,并且能够通过选择链接结构中或附近的一个或者多个位置来识别链接结构。系统能够分析隔离结构和链接结构的空间布置和/或几何形状,以确定结构应如何连接。例如,系统能够识别隔离结构和链接结构的彼此最接近的部分,并且能够在所识别的部分之间生成连接部(例如,直线或曲线)。系统能够显示所生成的连接部,所以操作者能够查看,并在适当的情况下批准、拒绝或修改连接部。
可选地,除了以上描述的操作者输入之外,系统还能够在生成隔离结构与链接结构之间的连接部时考虑解剖信息。例如,系统能够分析解剖区域的图像数据(例如,CT图像),以识别隔离结构与链接结构之间的解剖通路的可能位置。随后,系统能够将连接部约束为与所识别的位置重叠或在距所识别的位置的预定距离内。替代性地,系统可以不约束连接部,但是如果连接部未足够靠近或位于所识别的位置外,则可以向操作者发出警报。
图4A至图4C图示了根据本技术的实施例的图形用户界面400(“界面400”)的代表性示例,图形用户界面400具有用于限定隔离结构与链接结构之间的连接部的各种模式。特别地,图4A图示了在3D连接模式期间的界面400,图4B图示了在2D连接模式期间的界面400,并且图4C图示了在混合连接模式期间的界面400。界面400能够与图3A至图3C的界面300相同或大体相似,使得相同的附图标记被用来识别相似或相同的部件(例如,3D模型402与3D模型302)。另外,图4A至图4C中描述的任何特征都能够与图3A至图3C的界面300的任何特征相组合,反之亦然。
首先参考图4A,界面400包括具有一组链接结构406和至少一个隔离结构408的3D模型402、以及一个或更多个2D图像404(示出为三个2D图像404a至404c)。当使用3D连接模式时,操作者能够通过选择3D模型402中的一组模型位置来限定链接结构406与隔离结构408之间的连接部。每个模型位置能够表示为3D模型402的参考系中的一组3D坐标。如图4A所示,例如,操作者能够选择3D模型402中的第一模型位置415a(例如,链接结构406中的位置)。界面400能够在第一模型位置415a处显示第一视觉指示物(例如十字光标416)。操作者然后能够在3D模型402中选择第二模型位置415b(例如,隔离结构408中的位置)。可选地,界面400能够在第二模型位置415b处显示第二视觉指示物(未示出)。如果需要,操作者能够继续选择额外的模型位置,如以上描述的。模型位置415a至415b能够用于确定链接结构406与隔离结构408之间的连接部,如先前所讨论的。界面400能够可选地显示叠加在3D模型402上的第三视觉指示物(例如,线段417)以表示连接部。
在一些实施例中,界面400还在2D图像404上显示一个或更多个视觉指示物,以表示与模型位置415a至415b相对应的图像位置。每个图像位置能够被表示为2D图像404的参考系中的一组3D坐标(例如,X和Y坐标对应于单个2D图像404在平面中的位置,并且Z坐标对应于该2D图像在图像堆栈中的位置)。在2D图像404用来生成3D模型402的实施例中,模型与图像参考系之间的映射是已知的(例如,模型和图片参考系能够是相同的参考系)。因此,能够容易地将模型位置映射到图像位置,并且反之亦然。
在图示的实施例中,例如,界面400包括十字光标418a至418c,十字光标418a至418c在与第一模型位置415a相对应的图像位置处分别叠加在2D图像404a至404c中的每一者上。可选地,当操作者选择额外的模型位置(例如,第二模型位置415b)时,界面400能够确定和/或示出额外的图像位置。如先前描述的,界面400能够自动更新被显示的2D图像404以示出适当的图像切片(例如,具有与最近选择的模型位置相对应的图像位置的图像切片)。因此,操作者能够查看2D图像404,以验证模型位置415a至415b和/或生成的连接部是否准确地表示实际解剖连接部。可选地,界面400能够输出提示或其他通知,提醒操作者在经由3D模型402限定连接部时也查看2D图像404。
接下来参考图4B,当使用2D连接模式时,操作者能够通过选择2D图像404中的一组图像位置来限定链接结构406与隔离结构408之间的连接部。2D连接模式在某些情况下可以提高准确性,因为操作者通过直接选择实际解剖结构的图像中的位置来限定连接部。为了有助于选择过程,界面400能够包括叠加在2D图像404上的经着色区域426、428,以分别示出链接结构406和隔离结构408的位置。操作者能够选择在链接结构406中或附近的第一图像位置,以及在隔离结构408中或附近的第二图像位置。可选地,操作者能够选择链接结构406与隔离结构408之间的一个或更多个附加图像位置。在图像位置中的一些或全部在不同图像切片(例如,不同的冠状、轴向和/或矢状切片)中的实施例中,操作者能够使用界面400以导引(例如,滚动)穿过图像切片,以查看和选择期望的图像位置。界面400能够在2D图像404上显示视觉指示物(例如十字光标418a至418c),以表示所选择的图像位置中的一些或全部。
所选择的图像位置能够用来限定3D模型402中的链接结构406与隔离结构408之间的连接部。例如,所选择的图像位置能够用来确定对应的一组模型位置(例如,端部点和/或中间点)。如以上讨论的,每个图像位置能够表示为2D图像404的参考系中的一组3D坐标,并且图像与模型坐标之间的映射能够是已知的(例如,3D模型402和2D图像404能够是相同的参考系)。因此,图像位置能够被映射到相应的模型位置,并且模型位置能够用来生成连接部(例如,通过用线段桥接端部点和/或中间点),如先前描述的。界面400能够在2D图像408中的一个或更多个(例如,第二图像404b上的线段419)上输出视觉指示物以表示所生成的连接部。可选地,界面400还能够在3D模型402上显示视觉指示物(例如十字光标416),以表示模型位置和/或连接部,如先前参照图4A描述的。
接下来参考图4C,当使用混合连接模式时,操作者能够使用叠加视图450来选择位置,叠加视图450示出了叠加在3D模型452上的2D图像454。如先前参照图3C描述的,叠加视图450能够使操作者更容易地看到链接结构456和隔离结构458的位置如何与2D图像454中描绘的患者解剖结构相互关联。操作者能够在3D模型452中选择一组模型位置,以限定隔离结构458与链接结构456之间的连接部。选择模型位置和生成连接部的过程能够与上面参照图4A描述的过程相同或大体相似。类似地,界面400能够在3D模型452、被覆盖的2D图像454、和/或其他2D图像404上输出各种视觉指示物,以示出(一个或更多个)所选择的模型位置和/或所生成的连接部。在图示的实施例中,例如,界面400包括:3D模型452上的一组十字光标416;以及线段417,十字光标416表示第一模型位置,线段417表示链接结构452与隔离结构458之间的连接部。
再次参考图1,在步骤140处,方法100包括生成将隔离结构连接到链接结构的桥接结构。桥接结构能够是3D形状、体积等,表示隔离结构与链接结构之间的解剖通路。能够基于在步骤130中接收到的操作者输入来生成桥接结构。例如,操作者输入能够限定隔离结构与链接结构之间的连接部,如先前所讨论的,并且该连接部能够用来确定用于生长出桥接结构的一组种子点(例如,沿着连接部的点中的一些或全部能够用作为种子点)。在一些实施例中,种子点与解剖区域的图像数据(例如,用来生成3D模型的2D图像)一起被输入到生长算法(例如,区域或体积生长算法)中。种子点能够限定用于算法的初始区域或体积。该算法能够分析邻近或接近种子点的图形单元(例如,像素或体积像素),以确定它们是否应该被添加到区域或体积中(例如,基于颜色、亮度等的相似性)。能够重复该过程以从种子点迭代地生长桥接结构。可选地,算法能够在生长过程期间对不同的种子点进行不同的加权。例如,由操作者选择的点(例如,在步骤130中选择的位置)与自动生成的点相比能够被更重地加权。作为另一示例,被确定为位于解剖通路外的点(例如,基于图像数据)能够被加权得不那么重或被完全丢弃。然而,在其他实施例中,能够使用用于从种子点生长、分割或以其他方式生成桥接结构的其他算法或技术。
在步骤150处,方法100能够包括输出桥接结构的图形表示。图形表示能够是3D图形表示(例如,解剖区域的3D模型的部件)、2D图形表示(例如,解剖区域的2D图像上的叠加)或其合适的组合。2D和/或3D图形表示能够例如经由颜色、透明度、纹理、阴影、标签、标记和/或任何其他合适的视觉指示物在视觉上将桥接结构与其他结构区分开来。因此,操作者能够查看图形表示以评估生成的桥接结构的位置和/或几何形状,并且,如果合适,提供输入以批准、拒绝或修改桥接结构。图形表示能够被显示为图形用户界面(例如,图3A至图3C的界面300和/或图4A至图4C的界面400)的一部分。
图5示出了根据本技术的实施例用于显示桥接结构的图形用户界面500(“界面500”)的代表性示例。界面500能够与图3A至图3C的界面300和/或图4A至图4C的界面400相同或大体相似,使得相同的附图标记用于标识相似或相同的部件(例如,3D模型502与3D模型302)。此外,图5中描述的任何特征能够与图3A至图3C的界面300和/或图4A至图4C的界面400的任何特征相组合,反之亦然。
界面500包括3D模型502和描绘解剖区域的一组2D图像504。如图5所示,3D模型502包括桥接结构509,桥接结构509将一组链接结构506连接到先前的隔离结构508。桥接结构509能够使用不同的颜色、透明度、阴影等(由图5中的阴影线指示)在视觉上与链接结构506和/或隔离结构508区分开来。界面500还能够包括叠加在2D图像504上的一组经着色区域529,以表示桥接结构509,所以操作者能够将桥接结构509如何与所成像的解剖结构相互关联可视化。区域529还能够在视觉上与表示模型502的其他部分(例如,链接结构506和/或隔离结构508)的附加着色区域526区分开来,例如,使用颜色和/或其他合适的指示物。可选地,界面500以叠加视图(未示出)替代性地或附加地示出桥接结构509,其能够与图3C的叠加视图350和/或图4C的叠加视图450相同或大体相似。
再次参考图1,尽管方法100的各步骤以特定顺序进行了讨论和图示,但是相关领域的普通技术人员将认识到,方法100能够被改变并且仍然保持在本技术的这些和其他实施例内。在其他实施例中,例如,方法100能够以不同的顺序执行,例如,能够在方法100的任何其他步骤之前、期间和/或之后执行方法100的任意步骤。另外,能够省略图1中所图示的方法100的一个或更多个步骤。可选地,能够重复方法100的一个或更多个步骤。例如,在3D模型包括多个隔离结构(例如,两个、三个、四个、五个、十个或多个隔离结构)的实施例中,能够多次执行步骤120至150以将每个隔离结构连接到模型的其余部分。
B.机器人或远程操作医疗系统及相关装置、系统和方法的实施例
图6是根据本技术的各种实施例配置的机器人或远程操作医疗系统600(“医疗系统600”)的示意图。医疗系统600能够与以上关于图1至图5描述的任何程序或方法一起使用。例如,如先前描述的,操作者能够使用医疗系统600来查看解剖区域的3D模型,并重新连接模型中的一个或更多个隔离结构。3D模型能够用于使用医疗系统600来规划和/或执行医疗程序。
在一些实施例中,医疗系统600可以适于在例如外科手术、诊断、治疗或活检程序中使用。尽管本文提供了关于这样的程序的一些实施例,但是对医疗或外科手术器械以及医疗或外科手术方法的任何参考都是非限制性的。本文描述的系统、器械和方法可以用于动物、人体尸体、动物尸体、人体或动物解剖结构的部分、非外科手术诊断,以及用于工业系统和通用机器人或远程操作系统。
如图6所示,医疗系统600总体上包括操纵器组件602,操纵器组件602用于操作医疗器械604对定位在台T上的患者P执行各种程序。操纵器组件602可以是远程操作的组件、非远程操作的组件、或者是远程操作和非远程操作混合的组件,其具有选定的运动自由度,选定的运动自由度可以是机动的和/或远程操作的,并且选定的运动自由度可以是非机动的和/或非远程操作的。
医疗系统600还包括主组件606,主组件606具有用于控制操纵器组件602的一个或更多个控制装置。操纵器组件602支撑医疗器械604,并且可以可选地包括多个致动器或马达,其响应于来自控制系统612的命令而驱动医疗器械604上的输入。致动器可以可选地包括驱动系统,其在耦接到医疗器械604时可以将医疗器械604推进到自然地或以外科手术的方式产生的解剖孔口中。其他驱动系统可以在多个自由度上移动医疗器械604的远侧端部,其可以包括三个线性运动度(例如,沿X、Y和Z笛卡尔轴线的线性运动)和三个旋转运动度(如,绕X、Y、Z笛卡尔轴线旋转)。另外,致动器能够用来致动医疗器械604的可铰接末端执行器,以用于抓持活检装置和/或类似物的夹爪中的组织。诸如解析器、编码器、电位计和其他机构的致动器位置传感器可以向医疗系统600提供描述马达轴的旋转和取向的传感器数据。该位置传感器数据可以用来确定由致动器操纵的物体的运动。
医疗系统600还包括显示系统610,用于显示由传感器系统608的子系统生成的外科手术部位和医疗器械604的图像或表示。例如,显示系统610能够显示根据本文描述的技术生成的3D解剖模型。可选地,显示系统610能够显示与程序相关的辅助信息,诸如与消融相关的信息(例如,温度、阻抗、能量输送功率水平、频率、电流、能量输送持续时间、组织消融的指示物等)。显示系统610和主组件606可以被定向为使得操作者O能够利用远程呈现的感知来控制医疗器械604和主组件608。
在一些实施例中,医疗器械604可以包括成像系统的部件,其可以包括成像镜组件或成像器械,成像镜组件或成像器械记录外科手术部位的并发或者实时图像并且通过医疗系统600的一个或更多个显示器(诸如显示系统610的一个或者多个显示器)将图像提供给操作者O。并发图像可以是例如由定位在外科手术部位内的成像器械捕获的2D或3D图像。在一些实施例中,成像系统包括内窥镜成像器械部件,其可以整体地或可移除地耦接到医疗器械604。然而,在一些实施例中,附接到单独的操纵器组件的单独的内窥镜可以与医疗器械604一起使用以对外科手术部位成像。在一些实施例中,成像系统包括通道(未示出),其可以提供用于如本文描述的器械、装置、导管等的输送。成像系统可以被实施为与一个或更多个计算机处理器交互或以其他方式由一个或更多个计算机处理器执行的硬件、固件、软件或其组合,一个或更多个计算机处理器可以包括控制系统612的处理器。
医疗系统600还可以包括控制系统612。控制系统612包括至少一个存储器和至少一个计算机处理器(未示出),以用于实现医疗器械604、主组件606、传感器系统608与显示系统610之间的控制。控制系统612还包括编程指令(例如,存储指令的非瞬态机器可读介质)以实施根据本文公开的方面描述的一些或全部方法,包括用于向显示系统610提供信息的指令。
控制系统612可以可选地进一步包括虚拟可视化系统,以在图像引导的外科手术程序期间控制医疗器械604时向操作者O提供导引辅助。使用虚拟可视化系统的虚拟导引可以基于对所获取的解剖通路的术前或术中数据集的参考。虚拟可视化系统处理手术部位的图像,手术部位的图像使用诸如CT、MRI、荧光透视、热图像、超声、OCT、热成像、阻抗成像、激光成像、和/或纳米管X射线成像等的成像技术成像。
图7A是根据本技术的各种实施例配置的医疗器械系统700的简化图。医疗器械系统700包括细长柔性装置702,诸如柔性导管,其耦接到驱动单元704。细长柔性装置702包括具有近侧端部717和远侧端部或梢部部分718的柔性主体716。医疗器械系统700还包括跟踪系统730,跟踪系统730用于使用一个或更多个传感器和/或成像装置来确定远侧端部718和/或沿着柔性主体716的一个或更多个区段724的位置、取向、速度、速率、姿态和/或形状,如以下进一步详细描述的。
跟踪系统730可以可选地使用形状传感器722来跟踪远侧端部718和/或一个或更多个区段724。形状传感器722可以可选地包括与柔性主体716对准的光纤(例如,设置在内部通道(未示出)内或安装在外部)。形状传感器722的光纤形成用于确定柔性主体716的形状的光纤弯曲传感器。在一个替代性方案中,包括布拉格光纤光栅(FBG)的光纤用于在一个或更多个维度上提供结构中的应变测量。在于2006年9月26日提交的公开为“光纤位置和形状传感装置及其相关方法(Fiber Optic Position and Shape Sensing Device andMethod Relating Thereto)”的美国专利No.7,781,724;于2008年3月12日提交的公开为“基于瑞利散射的光纤位置和/或形状感测(Fiber Optic Position and/or ShapeSensing Based on Rayleigh Scatter)”的美国专利No.7,772,541;以及于2000年4月21日提交的公开为“光纤弯曲传感器(Optical Fiber Bend Sensor)”的美国专利No.6,389,187描述了用于在三维上监测光纤的形状和相对位置的各种系统和方法,它们全部通过参引被并入本文。在一些实施例中,跟踪系统730可以可选地和/或附加地使用位置传感器系统720来跟踪远侧端部718。位置传感器系统720可以是电磁(EM)传感器系统的部件,其中位置传感器系统720包括可以经受外部产生的电磁场的一个或更多个导电线圈。在一些实施例中,位置传感器系统720可以被配置和定位成测量六个自由度(例如,三个位置坐标X、Y和Z、以及指示基点的俯仰、偏航和滚转的三个定向角)或五个自由度(例如,三个位置坐标X、Y和Z以及指示基点的俯仰和偏航的两个定向角)。在1999年8月9日提交的公开为“在被跟踪物体上具有无源应答器的六自由度跟踪系统(Six-Degree of Freedom Tracking SystemHaving a Passive Transponder on the Object Being Tracked)”的美国专利No.6,380,732中提供了对位置传感器系统的进一步描述,其全部内容通过参引被并入本文。在一些实施例中,光纤传感器可以用来测量温度或力。在一些实施例中,温度传感器、力传感器、阻抗传感器或其他类型的传感器可以被包括在柔性主体内。在各种实施例中,一个或更多个位置传感器(例如,纤维形状传感器、EM传感器和/或类似物等)可以被集成在医疗器械726内,并且用以使用跟踪系统730来跟踪医疗器械726的远侧端部或部分的位置、取向、速度、速率、姿态和/或形状。
柔性主体716包括通道721,通道721被定尺寸和定形状以接收医疗器械726。例如,图7B是具有根据一些实施例延伸的医疗器械726的柔性主体716的简化图。在一些实施例中,医疗器械726可以用于诸如成像、可视化、外科手术、活检、消融、照明、冲洗和/或抽吸的程序。医疗器械726能够通过柔性主体716的通道721部署并且在解剖结构内的目标位置处使用。医疗器械726可以包括,例如,能量输送器械(例如,消融探针)、图像捕获探针、活检器械、激光消融纤维和/或其他外科手术、诊断或治疗工具。医疗器械726可以与柔性主体716内的成像器械(例如图像捕获探针)一起使用。成像器械可以包括耦接到照相机的、用于传输捕获的图像数据的线缆。在一些实施例中,成像器械可以是光纤束,诸如光纤视镜,其耦接到图像处理系统731。成像器械可以是单光谱或多光谱的,例如在可见光谱、红外光谱和/或紫外光谱中的一个或更多个中捕获图像数据。医疗器械726可以从通道721的开口被推进以执行程序,然后在程序完成时缩回到通道721中。医疗器械726可以被从柔性主体716的近侧端部717移除,或者从沿着柔性主体716的另一可选器械端口(未示出)移除。
柔性主体716还可以容纳在驱动单元704与远侧端部718之间延伸的线缆、连杆或其他转向控制器(未示出),以可控制地使远侧端部718弯曲,如例如由远侧端部718的虚线描绘物719示出的。在一些实施例中,至少四根线缆用来提供独立的“上下”转向以控制远侧端部718的俯仰和“左右”转向以控制远侧端部718的偏航。在2011年10月14日提交的公开为“带可拆卸视觉探针的导管(Catheter with Removable Vision Probe)”的美国专利No.9,452,276中详细描述了可转向的细长柔性装置,并通过参引将其全部内容并入本文。在各种实施例中,医疗器械726可以被耦接到驱动单元704或单独的第二驱动单元(未示出)、并且可以使用转向控制器而被可控制地或自动地弯曲。
来自跟踪系统730的信息可以被发送到导引系统732,其中,它与来自图像处理系统731的信息和/或术前获得的模型组合,以向操作者提供实时位置信息。在一些实施例中,实时位置信息可以被显示在图6的显示系统610上,以用于在医疗器械系统700的控制中使用。在一些实施例中,图6的控制系统612可以利用位置信息作为用于定位医疗器械系统700的反馈。在2011年5月13日提交的公开为“用于图像引导手术的解剖结构模型的动态配准的医疗系统(Medical System Providing Dynamic Registration of a Model of anAnatomic Structure for Image-Guided Surgery)”的美国专利No.8,900,131中提供了用于使用光纤传感器来配准和显示具有外科手术图像的外科手术器械的各种系统,其全部内容通过参引被并入本文。
在一些实施例中,医疗器械系统700可以在图6的医疗系统600内被远程操作。在一些实施例中,图6的操纵器组件602可以由直接操作者控制来替换。在一些实施例中,直接操作者控制可以包括用于器械的手持操作的各种手柄和操作者接口。
C.结论
本文描述的系统和方法能够以其上记录有用于由处理器或计算机执行的指令的有形和非瞬态机器可读介质或媒介(诸如硬盘驱动器、硬件存储器、光学介质、半导体介质、磁介质等)的形式提供。指令集能够包括指示计算机或处理器执行特定操作的各种命令,特定操作例如此处描述的各种实施例的方法和过程。指令集能够呈软件程序或应用的形式。编程指令可以被实施为多个单独的程序或子例程,或者它们可以被集成到本文描述的系统的多个其他方面中。计算机存储介质能够包括用于存储诸如计算机可读指令、数据结构、程序模块或其他数据之类的信息的易失性和非易失性介质以及可移动和不可移动介质。计算机存储介质能够包括但不限于随机存取存储器即RAM、只读存储器即ROM、可擦可编程只读存储器即EPROM、电可擦只读存储器即EEPROM、闪存或其他固态存储技术、只读光盘即CD-ROM、数字化视频光盘即DVD或其他光学存储器、磁盘存储器或任何其他硬件介质,其能够用于存储期望的信息并且能够由系统的部件访问。系统的部件能够经由有线或无线通信彼此通信。在一个实施例中,控制系统支持无线通信协议,诸如蓝牙、红外数据通讯即IrDA、家庭射频技术即HomeRF、IEEE 802.11、数位加强式无线通讯系统即DECT以及无线遥测。部件能够彼此分离,或者部件的各种组合能够被一起集成到监视器或处理器中,或者被包含在具有标准计算机硬件(例如,处理器、电路、逻辑电路、存储器等)的工作站中。系统能够包括处理装置,诸如微处理器、微控制器、集成电路、控制单元、存储介质以及其他硬件。
注意,所呈现的过程和显示器可能并不固有地与任何特定的计算机或其他设备相关。各种多用途系统可以与根据本文教导的程序一起使用,或者其可以证明构造更专门的设备以执行所描述的操作是方便的。各种这些系统所需的结构将作为元素出现在权利要求中。此外,本发明的实施例没有参考任何特定的编程语言来描述。应当理解,可以使用多种编程语言来实施如本文描述的本发明的教导。
可以通过本文公开的细长柔性装置或导管输送的医疗工具可以包括例如图像捕获探针、活检器械、激光消融纤维和/或其他外科手术、诊断或治疗工具。医疗工具可以包括具有单个工作构件,诸如手术刀、钝刀片、光纤、电极和/或诸如此类的末端执行器。其他末端执行器可以包括,例如,钳子、抓握器、剪刀、施夹器和/或诸如此类。其他末端执行器可以进一步包括电启用的末端执行器,诸如电外科手术电极、换能器、传感器和/或诸如此类。医疗工具可以包括图像捕获探针,图像捕获探针包括用于捕获图像(包括视频图像)的立体或单视场照相机。医疗工具可以附加地容纳在它们的近侧端部与远侧端部之间延伸的线缆、连杆或其他致动控制器(未示出)以使工具的远侧端部可控地弯曲。在2005年10月4日提交的公开为“用于执行具有增强的灵活性和灵敏度的微创手术的关节式外科手术器械(Articulated Surgical Instrument for Performing Minimally Invasive Surgerywith Enhanced Dexterity and Sensitivity)”的美国专利No.7,316,681和2008年9月30日提交的公开为“用于外科手术器械的被动预加载和绞盘驱动器(Passive Preload andCapstan Drive for Surgical Instruments)”的美国专利No.9,259,274中详细描述了可转向的器械,其全部内容通过参引被并入本文。
本文描述的系统可以适用于在包括肺、结肠、胃、肠、肾和肾盏、膀胱、肝、胆囊、胰腺、脾、尿管、卵巢、子宫、大脑、和包括心脏及脉管系统的循环系统等的各种解剖系统的任意个中经由自然或手术创建的连接通路导引和治疗解剖组织。
尽管以上在患者的肺部内导引和执行医疗程序的上下文中描述了许多实施例,但是除了本文描述的那些之外的其他应用和其他实施例也在本技术的范围内。例如,除非上下文另有规定或明确说明,否则本技术的装置、系统、方法和计算机程序产品能够用于各种图像引导的医疗程序,诸如在中空的患者解剖结构上、在中空的患者解剖结构中或邻近中空的患者解剖结构执行的医疗程序,以及,更具体地,在测量、活检、消融或以其他方式治疗中空的患者解剖结构内和/或近侧的组织的程序中。因此,例如,本公开的系统、装置、方法和计算机程序产品能够用于与其他患者解剖结构,诸如患者的膀胱、尿路、胃肠道系统和/或心脏相关联的一个或更多个医疗程序中。
本公开从器械在三维空间中的状态的角度描述了各种器械和器械的各部分。如本文使用的,术语“位置”是指物体或物体的一部分在三维空间中的位置(例如,沿笛卡尔X、Y和Z坐标的三个平移自由度)。如本文使用的,术语“取向”是指物体或物体一部分的旋转放置(三个旋转自由度,例如滚动、俯仰和偏航)。如本文使用的,术语“姿态”是指物体或物体的一部分在至少一个平移自由度上的位置,以及该物体或物体的该部分在至少一个旋转自由度(至多达总共6个自由度)上的取向。如本文使用的,术语“形状”是指沿着物体测量的一组姿势、位置或取向。
如本文使用的,术语“操作者”应被理解为包括可能正在执行或协助医疗程序的任何类型的人员,并且因此,包括内科医生、外科医生、医生、护士、医疗技术人员、本文公开的技术的其他人员或使用者、以及其任何组合。另外,或替代性地,术语“患者”应被视为包括正在被执行医疗程序的人类和/或非人类(如动物)患者。
虽然在附图中已经描述和示出了本发明的某些示例性实施例,但是应当理解,这样的实施例仅仅是对广泛的本发明的说明而非限制,并且本发明的实施例不限于所示和描述的特定构造和布置,因为本领域的普通技术人员可以容易想到各种其他修改。本技术的实施例的以上详细描述并非旨在穷举或将本技术限制为以上公开的精确形式。尽管以上出于说明目的描述了该技术的具体实施例和示例,但是如相关领域的技术人员将认识到的,在该技术的范围内各种等效的修改是可能的。例如,虽然步骤以给定的顺序呈现,但是替代性实施例能够以不同的顺序执行步骤。此外,本文描述的各种实施例也能够被组合以提供进一步的实施例。
由前述内容将理解的是,为了说明的目的,本文已经描述了本技术的特定实施例,但是没有详细示出或描述公知的结构和功能,以避免不必要地混淆对本技术的实施例的描述。本公开控制通过参引并入本文的任何材料与本公开相冲突的程度。在上下文允许的情况下,单数或复数术语也能够分别包括复数或单数术语。此外,词语“或(or)”除非在提及两个或多个项目的列表的情况下被明确限制为仅指除其他项目之外的单个项目,否则在此类列表中使用的“或”应被解释为包括(a)列表中的任何单个项目,(b)列表中所有项目,或(c)列表中项目的任何组合。如本文使用的,“A和/或B”中的短语“和/或”指单独的A、单独的B以及A和B两者。在上下文允许的情况下,单数或复数术语也能够分别包括复数或单数术语。此外,术语“包括(comprising)”、“包含(including)”、“具有(having)”和“具备(with)”始终用来表示至少包括(一个或更多个)所阐述的特征,因而不排除任何更多数量的相同特征和/或附加类型的其他特征。
此外,如本文使用的,术语“实质上”是指动作、特性、性质、状态、结构、项目或结果的完整或几乎完整的范围或程度。例如,“实质上”封闭的物体意味着该物体被完全封闭或接近完全封闭。在某些情况下,偏离绝对完整性的确切允许程度可能取决于具体情况。然而,总体上讲,接近完成的程度将与绝对和全部完成的总体结果相同。当在负面含义中使用时“实质上”的用法同样适合,指的是动作、特性、性质、状态、结构、项目或结果的完全缺乏或接近完全缺乏。
由前述内容还将理解的是,在不偏离本技术的情况下能够进行各种修改。例如,该技术的各种部件能够被进一步划分为子部件,或者该技术的各个部件和功能能够被组合和/或集成。此外,尽管已经在这些实施例的上下文中描述了与本技术的某些实施例相关联的优点,但是其他实施例也能够展现这样的优点,并且并非所有实施例都必须展现这样的优点才能落入本技术的范围内。因此,本公开和相关联的技术能够涵盖本文未明确示出或描述的其他实施例。

Claims (34)

1.一种用于规划医疗程序的系统,所述系统包括:
处理器;和
存储器,所述存储器以可操作的方式耦合到所述处理器并且存储指令,所述指令在由所述处理器执行时使所述系统执行包括以下各项的操作:
接收患者的解剖区域的三维模型,即3D模型,其中,所述3D模型包括一组链接结构和与所述链接结构间隔开的至少一个隔离结构;
输出所述链接结构和所述至少一个隔离结构的图形表示;
接收指示所述图形表示上的一组位置的操作者输入,所述一组位置表示所述至少一个隔离结构与所述链接结构之间的连接部;以及
基于所述操作者输入,生成将所述至少一个隔离结构连接到所述链接结构的桥接结构。
2.根据权利要求1所述的系统,其中,所述图形表示包括所述3D模型。
3.根据权利要求2所述的系统,其中,所述一组位置包括所述3D模型中的第一模型位置和第二模型位置。
4.根据权利要求3所述的系统,其中,所述第一模型位置在所述至少一个隔离结构内或附近,并且所述第二模型位置在所述链接结构中的至少一个内或附近。
5.根据权利要求3或权利要求4所述的系统,其中,所述操作还包括确定所述第一模型位置与所述第二模型位置之间的一个或更多个中间模型位置。
6.根据权利要求5所述的系统,其中,所述一个或更多个中间模型位置沿着所述第一模型位置与所述第二模型位置之间的线性的连接部或弯曲的连接部。
7.根据权利要求5或权利要求6所述的系统,其中,所述操作还包括将所述第一模型位置、所述第二模型位置和所述一个或更多个中间模型位置输入到分割算法中。
8.根据权利要求1所述的系统,其中,所述图形表示包括所述解剖区域的一个或更多个二维图像,即2D图像。
9.根据权利要求8所述的系统,其中,所述一组位置包括所述一个或更多个2D图像中的第一图像位置和第二图像位置。
10.根据权利要求9所述的系统,其中,所述第一图像位置对应于所述至少一个隔离结构,并且所述第二图像位置对应于所述链接结构中的至少一个。
11.根据权利要求9或权利要求10所述的系统,其中,所述第一图像位置和所述第二图像位置在所述解剖区域的不同2D图像中。
12.根据权利要求9至11中的任一项所述的系统,其中,所述操作还包括将所述第一图像位置和所述第二图像位置映射到所述3D模型中的对应的第一模型位置和第二模型位置。
13.根据权利要求1所述的系统,其中,所述图形表示包括所述解剖区域的所述3D模型和一个或更多个2D图像。
14.根据权利要求13所述的系统,其中,所述图形表示包括被叠加在所述3D模型上的至少一个2D图像。
15.根据权利要求1所述的系统,其中,所述操作还包括接收所述解剖区域的图像数据,并且其中,所述桥接结构至少部分地基于所述图像数据而被生成。
16.根据权利要求15所述的系统,其中,生成所述桥接结构包括使用分割算法分割所述图像数据,并且其中,所述一组位置中的至少一些位置被用作用于所述分割算法的种子点。
17.根据权利要求1至16中的任一项所述的系统,其中,所述解剖区域包括多个分支通路,并且所述链接结构和所述至少一个隔离结构表示所述分支通路的至少一部分。
18.一种非瞬态计算机可读介质,在所述非瞬态计算机可读介质上存储有指令,所述指令在由计算系统的一个或更多个处理器执行时使所述计算系统执行包括以下各项的操作:
输出图形用户界面,所述图形用户界面包括:
患者的解剖区域的三维模型,即3D模型,其中,所述3D模型包括一组链接结构和与所述链接结构间隔开的至少一个隔离结构;
所述患者的所述解剖区域的多个二维图像,即2D图像;
经由所述图形用户界面,接收操作者输入,所述操作者输入指示所述3D模型或所述2D图像中的一个或更多个中的一组位置,所述一组位置表示所述至少一个隔离结构与所述链接结构之间的连接部;以及
基于所述操作者输入,更新所述3D模型,以包括将所述至少一个隔离结构连接到所述链接结构的桥接结构。
19.根据权利要求18所述的非瞬态计算机可读介质,其中,所述图形用户界面将所述至少一个隔离结构与所述链接结构一起显示,并且所述至少一个隔离结构在视觉上与所述链接结构区分开来。
20.根据权利要求19所述的非瞬态计算机可读介质,其中,所述图形用户界面使用着色、阴影、透明度或纹理中的一个或更多个在视觉上将所述至少一个隔离结构与所述链接结构区分开来。
21.根据权利要求18至20中的任一项所述的非瞬态计算机可读介质,其中,所述2D图像示出了所述解剖区域的多个不同视图。
22.根据权利要求18至20中的任一项所述的非瞬态计算机可读介质,其中,所述图形用户界面示出了与所述3D模型分开的至少一个2D图像。
23.根据权利要求18至20中的任一项所述的非瞬态计算机可读介质,其中,所述图形用户界面示出了叠加在所述3D模型上的至少一个2D图像。
24.根据权利要求18至23中的任一项所述的非瞬态计算机可读介质,其中,所述一组位置包括所述3D模型中的一个或更多个模型位置。
25.根据权利要求24所述的非瞬态计算机可读介质,其中,所述一个或更多个模型位置包括在所述至少一个隔离结构内或附近的第一模型位置、以及在所述链接结构中的至少一个内或附近的第二模型位置。
26.根据权利要求24或权利要求25所述的非瞬态计算机可读介质,其中,所述操作还包括:
确定所述2D图像中的与所述一个或更多个模型位置相对应的一个或更多个图像位置,以及
在所述2D图像上显示表示所述一个或更多个图像位置的一个或更多个视觉指示物。
27.根据权利要求18至23中的任一项所述的非瞬态计算机可读介质,其中,所述一组位置包括所述2D图像中的一个或更多个图像位置。
28.根据权利要求27所述的非瞬态计算机可读介质,其中,所述一个或更多个图像位置包括与所述至少一个隔离结构相对应的第一图像位置、以及与所述链接结构中的至少一个相对应的第二图像位置。
29.根据权利要求27或权利要求28所述的非瞬态计算机可读介质,其中,所述操作还包括:
确定所述3D模型中的与所述一个或更多个图像位置相对应的一个或更多个模型位置,以及
在所述3D模型上显示表示所述一个或更多个模型位置的一个或更多个视觉指示物。
30.根据权利要求18至29中的任一项所述的非瞬态计算机可读介质,其中,所述操作还包括至少部分地基于所述一组位置而生成所述桥梁结构。
31.根据权利要求30所述的非瞬态计算机可读介质,其中,生成所述桥接结构包括使用所述一组位置中的至少一些作为分割算法中的种子点。
32.根据权利要求30或权利要求31所述的非瞬态计算机可读介质,其中,所述桥接结构至少部分地基于所述2D图像生成。
33.根据权利要求18至32中的一项所述的非瞬态计算机可读介质,其中,所述解剖区域包括多个分支通路,并且所述链接结构和所述至少一个隔离结构表示所述分支通路的至少一部分。
34.一种方法,所述方法包括:
接收三维解剖模型,即3D解剖模型,所述3D解剖模型包括一组链接结构和与所述链接结构断开连接的至少一个隔离结构;
输出显示所述链接结构和所述至少一个隔离结构的图形用户界面;
经由所述图形用户界面,接收操作者输入,所述操作者输入限定所述至少一个隔离结构与所述链接结构之间的连接部;以及
基于所述操作者输入,生成将所述至少一个隔离结构连接到所述链接结构的桥接结构。
CN202280036937.7A 2021-04-07 2022-04-05 包含用于连接表示解剖通路的模型结构的指令的系统、方法及介质 Pending CN117355862A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163171996P 2021-04-07 2021-04-07
US63/171,996 2021-04-07
PCT/US2022/023490 WO2022216716A1 (en) 2021-04-07 2022-04-05 Systems, methods and medium containing instruction for connecting model structures representing anatomical pathways

Publications (1)

Publication Number Publication Date
CN117355862A true CN117355862A (zh) 2024-01-05

Family

ID=81748256

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280036937.7A Pending CN117355862A (zh) 2021-04-07 2022-04-05 包含用于连接表示解剖通路的模型结构的指令的系统、方法及介质

Country Status (4)

Country Link
US (1) US20240164853A1 (zh)
CN (1) CN117355862A (zh)
DE (1) DE112022002005T8 (zh)
WO (1) WO2022216716A1 (zh)

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5792135A (en) 1996-05-20 1998-08-11 Intuitive Surgical, Inc. Articulated surgical instrument for performing minimally invasive surgery with enhanced dexterity and sensitivity
US6380732B1 (en) 1997-02-13 2002-04-30 Super Dimension Ltd. Six-degree of freedom tracking system having a passive transponder on the object being tracked
GB9713018D0 (en) 1997-06-20 1997-08-27 Secr Defence Optical fibre bend sensor
US7772541B2 (en) 2004-07-16 2010-08-10 Luna Innnovations Incorporated Fiber optic position and/or shape sensing based on rayleigh scatter
US7781724B2 (en) 2004-07-16 2010-08-24 Luna Innovations Incorporated Fiber optic position and shape sensing device and method relating thereto
US9259274B2 (en) 2008-09-30 2016-02-16 Intuitive Surgical Operations, Inc. Passive preload and capstan drive for surgical instruments
US8900131B2 (en) 2011-05-13 2014-12-02 Intuitive Surgical Operations, Inc. Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
US9452276B2 (en) 2011-10-14 2016-09-27 Intuitive Surgical Operations, Inc. Catheter with removable vision probe
EP3551114A4 (en) * 2016-12-08 2020-07-22 Intuitive Surgical Operations Inc. SYSTEMS AND METHODS FOR NAVIGATION IN IMAGE-GUIDED MEDICAL PROCESSES
US11896316B2 (en) * 2018-08-23 2024-02-13 Intuitive Surgical Operations, Inc. Systems and methods for generating anatomic tree structures using backward pathway growth
US20220156923A1 (en) * 2019-03-12 2022-05-19 Intuitive Surgical Operations, Inc. Systems and methods for connecting segmented structures

Also Published As

Publication number Publication date
WO2022216716A1 (en) 2022-10-13
DE112022002005T5 (de) 2024-01-18
DE112022002005T8 (de) 2024-02-22
US20240164853A1 (en) 2024-05-23

Similar Documents

Publication Publication Date Title
US20230088056A1 (en) Systems and methods for navigation in image-guided medical procedures
US20240041531A1 (en) Systems and methods for registering elongate devices to three-dimensional images in image-guided procedures
US11636597B2 (en) Systems and methods for using registered fluoroscopic images in image-guided surgery
US11791032B2 (en) Systems and methods for filtering localization data
US20240180631A1 (en) Systems and methods for generating anatomic tree structures using backward pathway growth
US10373719B2 (en) Systems and methods for pre-operative modeling
CN107660134B (zh) 图像引导手术记录的系统和方法
JP7478143B2 (ja) 解剖学的境界を規定するためのグラフィカルユーザインターフェイス
US20220054202A1 (en) Systems and methods for registration of patient anatomy
US20240164853A1 (en) User interface for connecting model structures and associated systems and methods
CN113710145A (zh) 用于患者解剖体的增强的配准的系统
US20240169480A1 (en) Systems for image resampling and associated methods
US20230099522A1 (en) Elongate device references for image-guided procedures
WO2024145341A1 (en) Systems and methods for generating 3d navigation interfaces for medical procedures
WO2023060198A1 (en) Medical instrument guidance systems, including guidance systems for percutaneous nephrolithotomy procedures, and associated devices and methods
CN115916088A (zh) 用于评估解剖模型的可配准性的系统和相关联方法
WO2019222194A1 (en) Systems and methods for determining an arrangement of explanted tissue and for displaying tissue information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination