CN106714656A - 用于术中分割的系统和方法 - Google Patents

用于术中分割的系统和方法 Download PDF

Info

Publication number
CN106714656A
CN106714656A CN201580049546.9A CN201580049546A CN106714656A CN 106714656 A CN106714656 A CN 106714656A CN 201580049546 A CN201580049546 A CN 201580049546A CN 106714656 A CN106714656 A CN 106714656A
Authority
CN
China
Prior art keywords
model
patient
instrument
anatomical structure
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580049546.9A
Other languages
English (en)
Other versions
CN106714656B (zh
Inventor
T·赵
V·多文戴姆
C·Q·唐豪
T·D·苏珀尔
F·巴巴格力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Priority to CN201910367566.0A priority Critical patent/CN110101355A/zh
Publication of CN106714656A publication Critical patent/CN106714656A/zh
Application granted granted Critical
Publication of CN106714656B publication Critical patent/CN106714656B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/066—Superposing sensor position on an image of the patient, e.g. obtained by ultrasound or x-ray imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/062—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using magnetic field
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Robotics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Endoscopes (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

一种方法包括用医疗仪器导航患者的解剖结构，所述仪器包括感测工具。所述方法还包括将所述仪器的位置与所述患者的解剖结构的模型相互关联。所述方法还包括在导航所述患者的解剖结构时，基于由所述感测工具获得的数据来更新所述模型。

Description

用于术中分割的系统和方法
相关申请
此专利申请要求2014年7月28日提交的名称为“SYSTEMS AND METHODS FORINTRAOPERATIVE SEGMENTATION(用于术中分割的系统和方法)”的美国临时专利申请62/029927的申请日的优先权和权益，所述专利申请通过引用全部并入本文。
技术领域
本公开涉及用于使用称为分割(segmentation)的过程创建患者的解剖结构的模型的系统和方法，并且更具体地涉及用于在用医疗仪器导航患者的解剖结构时分割的系统和方法。
背景技术
微创医疗技术意在减少在医疗过程期间损坏的组织量，从而减少患者恢复时间、不舒适性和有害副作用。此类微创技术可以通过患者解剖结构中的自然腔道或者通过一个或更多个手术切口执行。临床医生可以通过这些自然腔道或切口插入医疗工具，以到达目标组织位置。医疗工具包括诸如治疗仪器、诊断仪器和手术仪器等的仪器。为了到达所述目标组织位置，微创医疗工具可以导航诸如肺部、结肠、肠、肾脏、心脏、循环系统等的解剖系统中的自然通道或手术创建的通道。
图像引导的手术过程通常包括执行患者的目标解剖结构的某种类型的手术前成像。例如，可以获得磁共振成像(MRI)图像和计算机断层扫描(CT)图像。通过手动过程和/或基于计算机软件的过程，所述图像被分割成共享诸如颜色、密度、强度和材质等某些特征或计算属性的节段(例如，像素或三维像素)。此分割过程导致基于所获得的图像形成所述目标解剖结构的模型的二维重新构造或三维重新构造。为了表示所述模型，所述分割过程可以勾画各组表示所述目标解剖结构的三维像素并且然后应用诸如匹配立方函数等函数，以获得密封所述三维像素的3D表面。
分割可以在建模解剖通道中是特别有用的。在所述分割过程之后，所获得的模型可以用于通过所述患者解剖结构的分割通道导航医疗仪器。在一些情况下，所述患者的解剖结构内的各种分支不可以由所述分割过程适当地分割。例如，存在于所述患者解剖结构内的一些通道可以从所述模型省略。或者，所述分割过程可以指示其中事实上没有的各分支的存在。因此，正在使用所述模型用于到具体解剖位置的导航的所述医疗仪器的外科医生或操作员可以由所述模型中的不精确性妨碍。为了避免此类问题，具有精确的分割能力是可取的。
发明内容
本发明的实施例由随附权利要求总结。
在一个实施例中，一种方法包括用医疗仪器导航患者的解剖结构，所述仪器包括感测工具。所述方法还包括将所述仪器的位置与所述患者的解剖结构的模型相互关联。所述方法还包括在导航所述患者的解剖结构时，基于由所述感测工具获得的数据更新所述模型。
在另一实施例中，一种用于术中分割的方法包括，用医疗仪器的感测工具，在通过所述解剖结构导航时获得患者的解剖结构的数据。所述方法还包括比较所述数据与所述患者的解剖结构的模型。所述方法还包括响应于确定所述模型和如由所述数据定义的所述患者的解剖结构之间有差异，更新所述模型。
在一个实施例中，计算系统包括处理器和包括机器可读指令的存储器，所述机器可读指令在由所述处理器执行时使所述系统将分割函数应用于患者的解剖结构的三维图像，以创建模型，在导航所述患者的解剖结构时从医疗仪器接收位置数据，用所述模型登记所述仪器的位置，从所述医疗仪器的感测工具接收与所述患者的解剖结构相关的数据，并且响应于检测所述模型和所述患者的解剖结构之间的差异更新所述模型。
在一个实施例中，一种用于术中分割的方法包括用医疗仪器导航患者的解剖结构，所述仪器包括感测工具。所述方法还包括将所述仪器的位置与通用解剖结构模型相互关联。所述方法还包括在导航所述患者的解剖结构时，更新所述通用解剖结构模型，以基于由所述感测工具获得的数据匹配所述患者的解剖结构。
在一个实施例中，一种用于术中分割的方法包括用医疗仪器导航患者的解剖结构，所述仪器包括感测工具。所述方法还包括在导航所述患者的解剖结构时，使用所述感测工具获得与所述患者的解剖结构相关的数据。所述方法还包括基于所述数据实时地构造所述患者的解剖结构的模型。所述方法还包括将所述仪器的位置与所述模型相互关联。
附图说明
当用附图阅读时，本公开的各方面从下列详细描述最好地理解。根据本行业中的标准惯例，强调的是各种特征不是按比例绘制。事实上，为了便于讨论，所述各种特征的尺寸可任意地增大或减小。另外，本公开可以在所述各种示例中重复参考标号和/或参考字母。此重复是为了简明和清楚的目的，并且其本身不指示所讨论的各种实施例和/或配置之间的关系。
图1是根据本文所述的原理的一个示例示出说明性远程操作医疗系统的图示。
图2是根据本文所述的原理的一个示例示出包括内窥镜可视化系统的说明性医疗仪器系统的图示。
图3A是根据本文所述的原理的一个示例示出模型患者解剖结构的图示。
图3B是根据本文所述的原理的一个示例示出来自于患者的解剖结构的内窥镜仪器的图像的图示。
图4A是根据本文所述的原理的一个示例示出说明性目标解剖结构的图示。
图4B是根据本文所述的原理的一个示例示出所述目标解剖结构的说明性模型解剖结构的图示。
图4C是示出用于解剖分割的说明性方法的流程图。
图5是根据本文所述的原理的一个示例示出对模型的术中变化的图示。
图6a是根据本文所述的原理的一个示例示出基于时间位置信息的用于所述模型的附加通道的检测的图示。
图6b是根据本文所述的原理的一个示例示出基于空间位置信息的用于所述模型的附加通道的检测的图示。
图7是根据本文所述的原理的一个示例示出基于一组获取的表面点的用于所述模型的附加通道的检测的图示。
图8是根据本文所述的原理的一个示例示出用于术中分割的说明性方法的流程图。
具体实施方式
为了促进对本公开的原理的理解，现在将参考附图中所示的实施例，并且专用语言将用于描述所述实施例。然而应当理解，这不意在限制本公开的范围。在本发明的各方面的下列详细描述中，阐述许多具体细节，以便提供对所公开的实施例的充分理解。然而，对本领域的技术人员将显而易见的是，本公开的实施例可以在没有这些具体细节的情况下实践。在其他情况下，未详细描述众所周知的方法、过程、组件和电路，以便不必要地模糊本发明的实施例的各方面。
如将通常发生于与本公开相关的本领域的技术人员，充分地预期对本公开的所述原理的所描述的装置、仪器、方法和任何进一步应用的任何替代和进一步修改。具体地，充分预期的是相对于一个实施例描述的特征、组件和/或步骤可以与相对于本公开的其他实施例描述的特征、组件和/或步骤组合。另外，本文提供的尺寸是用于具体示例，并且预期的是不同大小、尺寸和/或比例可以用于实施本公开的概念。为了避免不必要的描述性重复，能够使用或省略根据一个说明性实施例描述的一个或更多个组件或动作，如从其他说明性实施例可应用。为了简洁的目的，这些组合的许多迭代不会单独地描述。为了简单，在一些情况下相同的参考标号在整个附图中使用，以指代相同或类似的部件。
下列实施例将就其在三维空间中的状态描述各种仪器和仪器的部分。如本文所用，术语“位置”是指物体或物体的一部分在三维空间中的位置(例如，沿笛卡尔X、Y、Z坐标的三个平移自由度)。如本文所用，术语“取向”指示物体或物体的一部分的旋转放置(诸如滚动(roll)、俯仰和偏转三个旋转自由度)。如本文所用，术语“位姿(pose)”是指物体或物体的一部分在至少一个平移自由度中的位置和该物体或该物体的一部分在至少一个旋转自由度(高达六个总自由度)中的取向。如本文所用，术语“形状”是指沿物体测量的一组位姿、位置或取向。
参照附图的图1，用于在例如包括诊断、治疗或外科手术过程的医疗过程中使用的远程操作医疗系统通常由参考标号100指示。如将描述的，本公开的远程操作医疗系统是在外科医生的远程操作控制下。在可替代的实施例中，远程操作医疗系统可以在经编程执行所述过程或子过程的计算机的部分控制下。在其他可替代的实施例中，在经编程执行所述过程或子过程的计算机的完全控制下的完全自动化的医疗系统可以用于执行过程或子过程。
如图1中所示，所述远程操作系统100通常包括用于操作医疗仪器系统104在所述患者P上执行各种过程中的远程操作组件102。所述组件102被安装到或者安装在其上安置患者P的手术台O附近。所述医疗仪器系统104可操作地联接到所述远程操作组件102。操作员输入系统106允许外科医生或其他类型的临床医生S观看所述外科手术部位的图像或者观看表示所述外科手术部位的图像，并控制所述医疗仪器系统104的操作。
在可替代的实施例中，所述远程操作系统可以包括一个以上的操纵器组件。操纵器组件的准确数量将取决于所述外科手术过程和在所述手术室内的所述空间限制等其他因素。
所述操作员输入系统106可以位于外科医生的控制台C处，所述控制台C通常位于与手术台O相同的房间中。然而，应该理解的是所述外科医生S能够位于与所述患者P不同的房间或与所述患者P完全不同的建筑物中。操作员输入系统106通常包括用于控制所述医疗仪器系统104的(一个或更多个)控制装置。所述(一个或更多个)控制装置可以包括任何数量的各种输入装置中的一个或更多个，如手柄、操纵杆、跟踪球、数据手套、扳机(trigger-guns)、手操作控制器、声音识别装置、触摸屏、身体运动或存在传感器等。在一些实施例中，所述(一个或更多个)控制装置将提供有与所述远程操作组件的医疗仪器相同的自由度，以向所述外科医生提供远程呈现，感知到所述(一个或更多个)控制装置与所述仪器成整体使得所述外科医生具有就好像在所述外科手术部位处一样直接控制仪器的强意识。在其他实施例中，所述(一个或更多个)控制装置可以具有比所述相关联医疗仪器更多或更少的自由度，并且仍然向所述外科医生提供远程呈现。在一些实施例中，所述(一个或更多个)控制装置是手动输入装置，其用六个自由度移动并且也可以包括用于致动仪器(例如，用于关闭抓爪、将电势应用于电极、输送药物治疗等)的可致动手柄。
所述远程操作组件102支持所述医疗仪器系统104并且可以包括一个或更多个非伺服控制连结(例如，可以手动地定位并锁定在适当位置中的一个或更多个连结，通常称为安置结构)的动态结构和远程操作操纵器。所述远程操作组件102包括响应来自于所述控制系统(例如，控制系统112)的命令驱动在所述医疗仪器系统104上的输入的多个致动器或马达。所述马达包括驱动系统，所述驱动系统当被联接到所述医疗仪器系统104时可以推进所述医疗仪器到自然或手术创建的解剖腔道。其他机动化的驱动系统可以在多个自由度中移动所述医疗仪器的远端，所述多个自由度可以包括三个线性运动(例如，沿所述X、Y、Z笛卡尔轴线的线性运动)度和三个旋转运动(例如，围绕所述X、Y、Z笛卡尔轴线的旋转)度。此外，所述马达能够用于致动所述仪器的可铰接末端执行器用于在活检装置等的卡爪中抓住组织。
所述远程操作医疗系统100也包括具有用于接收关于所述远程操作组件的仪器的信息的一个或更多个子系统的传感器系统108。此类子系统可以包括位置传感器系统(例如，电磁(EM)传感器系统)；用于确定所述导管尖端和/或沿仪器系统104的柔性体的一个或更多个节段的所述位置、取向、速度、速率、位姿和/或形状的形状传感器系统；和/或用于捕获来自于所述导管系统的所述远端的图像的可视化系统。
所述可视化系统(例如，图2的可视化系统231)可以包括观看范围组件(在下面更详细地描述)，使得所述外科手术部位的同时或实时图像提供给外科医生控制台C。所述同时图像可以是例如由定位在所述外科手术部位内的内窥镜捕获的二维图像或三维图像。在此实施例中，所述可视化系统包括可以整体地或可移除地联接到所述医疗仪器104的内窥镜组件。然而在可替代的实施例中，附接到单独操纵器组件的单独内窥镜可以与所述医疗仪器一起使用，以成像所述外科手术部位。所述可视化系统可以作为与可以包括(以下描述的)控制系统112的处理器的一个或更多个计算机处理器交互或由一个或更多个计算机处理器以其他方式执行的硬件、固件、软件或它们的组合实施。
所述远程操作医疗系统100也包括用于显示由所述传感器系统108的子系统创建的所述外科手术部位和(一个或更多个)医疗仪器系统104的图像或表示的显示系统110。所述显示器110和所述操作员输入系统106可以经取向使得所述操作员能够利用远程呈现的感知控制所述医疗仪器系统104和所述操作员输入系统106。
所述显示系统110也可以显示由所述可视化系统捕获的所述外科手术部位和医疗仪器的图像。所述显示器110和所述控制装置可以经取向使得所述成像装置在所述范围组件和所述医疗仪器中的相对位置类似于所述外科医生的眼睛和手部的相对位置，使得所述操作员能够操纵所述医疗仪器104和所述手部控制，就好像以基本上真实呈现观看所述工作空间。通过真实呈现，这意味着图像的呈现是模拟正在物理地操纵所述仪器104的操作员的观看点的真实的感知图像。
可替代地或另外地，所述显示器110可以呈现在术前使用诸如计算机断层扫描(CT)、磁共振成像(MRI)、荧光透视法、温度记录法、超声波、光学相干断层扫描(OCT)、热成像、阻抗成像、激光成像或纳米管X射线成像的成像技术记录和/或建模的所述手术部位的图像。所呈现的术前图像可以包括二维图像、三维图像或四维图像。所呈现的术前或术中图像可以包括二维图像、三维图像或四维图像(包括例如基于时间的或基于速率的信息)以及相关联的用于复制所述图像的图像数据组。
在一些实施例中，所述显示器110可以显示虚拟导航图像，其中所述医疗仪器104的实际位置用术前图像或同时图像登记(即动态地指代)，以用所述内部外科手术部位的虚拟图像在所述仪器104的尖端的位置处呈现所述外科医生S。所述仪器104或其他图形或字母数字指示器的尖端的图像可以叠加在所述虚拟图像上，以辅助所述外科医生控制所述医疗仪器。可替代地，所述仪器104不可以在所述虚拟图像中是可视的。
在其他实施例中，所述显示器110可以显示虚拟导航图像，其中所述医疗仪器的所述实际位置用术前或同时图像登记，以从外部观看点用医疗仪器在所述外科手术部位内的虚拟图像呈现所述外科医生S。所述医疗仪器或其他图形或字母数字指示器的一部分的图像可以叠加在所述虚拟图像上，以辅助所述外科医生控制所述仪器104。
所述远程操作医疗系统100也包括控制系统112。所述控制系统112包括至少一个存储器和至少一个处理器(未示出)，和通常地用于实现在所述医疗仪器系统104、所述操作员输入系统106、所述传感器系统108和所述显示系统110之间的控制的多个处理器。所述控制系统112也包括编程指令(例如，存储所述指令的计算机可读介质)，以实施根据本文公开的各方面描述的部分或全部方法。当控制系统112作为单个块在图1的简化示意图中示出时，所述系统可以包括两个或更多个数据处理电路，其中所述处理的一部分任选地在所述远程操作组件102上或邻近所述远程操作组件102执行，所述处理的另一部分在所述操作员输入系统106处执行等等。可以采用各种集中式或分布式数据处理构造中的任何一个。类似地，所述编程指令可以作为许多单独程序或子例程实施，或者可以集成到本文所述的远程操作系统的许多其他方面。在一个实施例中，控制系统112支持无线通信协议，如蓝牙(Bluetooth)、IrDA、HomeRF、IEEE802、DECT和无线遥感勘测。
在一些实施例中，控制系统112可以包括从所述医疗仪器系统104接收力和/或扭矩反馈的一个或更多个伺服控制器。响应于所述反馈，所述伺服控制器传输信号至所述操作员输入系统106。所述(一个或更多个)伺服控制器也可以传输指示远程操作组件102的信号，以移动经由所述身体中的开口延伸到所述患者身体内的内部外科手术部位中的所述(一个或更多个)医疗仪器系统104。可以使用任何合适的常规或专用伺服控制器。伺服控制器可以与远程操作组件102分离或者与所述远程操作组件102成整体。在一些实施例中，所述伺服控制器和远程操作组件被提供作为与所述患者身体相邻定位的远程操作臂推车的一部分。
所述控制系统112还可以包括虚拟可视化系统，以提供导航帮助至所述(一个或更多个)医疗仪器系统104。使用所述虚拟可视化系统的虚拟导航是基于对与所述解剖通道的三维结构相关联的所获取的数据集的参考。更具体地，所述虚拟可视化系统处理使用诸如计算机断层扫描(CT)、磁共振成像(MRI)、荧光透视法、温度记录法、超声波、光学相干断层扫描(OCT)、热成像、阻抗成像、激光成像或纳米管X射线成像等成像技术成像的所述外科手术部位的图像。单独的软件或结合手动输入的软件用于将所记录的图像转化成部分或整个解剖器官或解剖区域的分节段二维或三维复合表示。图像数据集与所述复合表示相关联。所述复合表示和所述图像数据集描述所述通道及其连接性的各种位置和形状。用于创建所述复合表示的图像可以术前或术中地在临床过程期间被记录。在可替代的实施例中，虚拟可视化系统可以使用标准表示(即不是患者专用的)或标准表示和患者专用数据的混合。所述复合表示和由所述复合表示创建的任何虚拟图像可以表示可变形解剖区域在一个或更多个运动阶段期间(例如，在肺部的吸入/呼出循环期间)的静态位姿。
在虚拟导航过程期间，所述传感器系统108可以用于计算相对于所述患者解剖结构的所述仪器的适当位置。所述位置能够用于创建所述患者解剖结构的宏观水平跟踪图像和所述患者解剖结构的虚拟内部图像二者。用于使用光纤传感器以与术前记录的外科手术图像一起登记并显示医疗实施的各种系统(如来自于虚拟可视化系统的那些)是已知的。例如，美国专利申请No.13/107,562(2011年5月13日提交)(公开了“Medical SystemProviding Dynamic Registration of a Model of an Anatomical Structure forImage-Guided Surgery(提供用于图像引导的外科手术的解剖结构的模型的动态登记的医疗系统)”)公开了一个此类系统，所述专利申请通过引用全部并入本文。
所述远程操作医疗系统100还可以包括诸如照明系统、转向控制系统、灌洗系统和/或抽吸系统的任选操作和支持系统(未示出)。在可替代的实施例中，所述远程操作系统可以包括一个以上的远程操作组件和/或一个以上的操作员输入系统。操纵器组件的准确数量将取决于所述外科手术过程和在所述手术室内的空间限制等其他因素。所述操作员输入系统可以被并置，或者可以被定位在单独的位置中。多个操作员输入系统允许一个以上的操作员在各种组合中控制一个或更多个操纵器组件。
图2示出医疗仪器系统200，其可以用作远程操作医疗系统100的所述医疗仪器系统104。可替代地，所述医疗仪器系统200可以用于非远程操作探索性过程或涉及诸如内窥镜等传统手动操作的医疗仪器的过程。
所述仪器系统200包括联接到仪器体204的导管系统202。所述导管系统202包括具有近端217和远端或尖端部分218的细长柔性导管体216。在一个实施例中，所述柔性体216具有约3mm外径。其他柔性体外径可以较大或较小。所述导管系统202可以任选地包括用于确定在远端218处的所述导管尖端和/或沿所述主体216的一个或更多个节段224的所述位置、取向、速度、速率、位姿和/或形状的形状传感器222。所述主体216在所述远端218和所述近端217之间的整个长度可以被有效地分成所述节段224。如果所述仪器系统200是远程操作医疗系统100的医疗仪器系统104，所述形状传感器222可以是所述传感器系统108的组件。如果所述仪器系统200经手动地操作或以其他方式用于非远程操作过程，所述形状传感器222可以联接到询问所述形状传感器并处理所接收的形状数据的跟踪系统230。
所述形状传感器222可以包括与所述柔性导管体216对准(例如，设置在内部通道(未示出)内或者安装在外部)的光纤。在一个实施例中，所述光纤具有约200μm的直径。在其他实施例中，所述尺寸可以是更大或更小的。
所述形状传感器系统222的光纤形成光纤弯曲传感器用于确定所述导管系统202的形状。在一种替代中，包括光纤布拉格光栅(FBG)的光纤用于以一个或更多个尺寸提供结构的应变测量。用于以三个尺寸监控光纤的形状和相对位置的各种系统和方法在美国专利申请No.11/180,389(2005年7月13日提交)(公开了“Fiber optic position and shapesensing device and method relating thereto(光纤位置和形状感测装置和与其相关的方法)”)；美国专利申请No.12/047,056(2004年7月16日提交)(公开了“Fiber-optic shapeand relative position sensing(光纤形状和相对位置感测)”)；和美国专利No.6,389,187(1998年6月17日提交)(公开了“Optical Fibre Bend Sensor(光纤弯曲传感器)”)中描述，上述专利通过引用全部并入本文。在可替代的实施例中，传感器可以采用其他合适的应变感测技术，如瑞利散射、喇曼散射、布里渊散射和荧光散射。在其他可替代的实施例中，所述导管的形状可以使用其他技术确定。例如，所述导管的远侧尖端位姿的历史记录能够用于在时间的间隔内重新构造所述装置的形状。作为另一示例，可以存储历史位姿、位置或取向数据用于沿诸如呼吸的交替运动的循环的仪器系统的已知点。此存储的数据可以用于发展关于所述导管的形状信息。可替代地，沿所述导管定位的诸如EM传感器的一系列位置传感器能够用于形状感测。可替代地，在过程期间在所述仪器系统上的来自于诸如EM传感器的位置传感器的数据的历史可以用于表示所述仪器的形状，特别是如果解剖通道通常是静态的。可替代地，具有由外部磁场控制的位置或取向的无线装置可以用于形状感测。所述无线装置的位置的历史可以用于确定用于所导航的通道的形状。
在此实施例中，所述光纤可以包括在单个覆层内的多个芯。每个芯可以是具有充足距离和分离所述芯的覆层的单个模式，使得每个芯中的光不显著地与在其他芯中承载的光交互。在其他实施例中，芯的数量可以改变，或者每个芯可以被包含在单独的光纤中。
在一些实施例中，FBG阵列设置在每个芯内。每个FBG包括所述芯的折射率的一系列调制，以便在所述折射率中产生空间周期性。所述间隔可以经选择使得来自于每个指数变化的部分反射共同地为一窄的波长带添加，并且因此在穿过更宽带的同时反射仅此窄波长带。在所述FBG的制造期间，所述调制由已知的距离间隔，从而引起已知的波长带的反射。然而当应变在所述光纤芯上引起时，所述调制的间隔将改变，这取决于所述芯中的应变量。可替代地，随所述光纤的弯曲而改变的反向散射或其他光学现象能够用于确定每个芯内的应变。
因此，为了测量应变，沿所述光纤向下发送光，并测量所述返回光的特性。例如，FBG产生反射波长，所述反射波长是所述光纤上的应变及其温度的函数。此FBG技术可购自各种来源，如英格兰布拉克内尔的智能光纤有限公司(Smart Fibres Ltd.of Bracknell,England)。FBG技术在用于远程操作外科手术的位置传感器中的使用在美国专利No.7,930,065(2006年7月20日提交)(公开了“Robotic Surgery System Including PositionSensors Using Fiber Bragg Gratings(包括使用光纤布拉格光栅的位置传感器的机器人外科手术系统)”)中描述，所述专利通过引用全部并入本文。所述光纤可以用于监控所述导管系统202的至少一部分的形状。更具体地，穿过所述光纤的光经处理检测所述导管系统202的形状并利用该信息协助外科手术过程。所述传感器系统(例如，传感器系统108)可以包括用于产生并检测用于确定所述导管系统202的形状的光的询问系统。此信息反过来能够用于确定其他相关变量，如医疗仪器系统的各部分的速率和加速。所述感测可以仅限于由所述远程操作系统致动的自由度，或者可以应用于被动(例如，在接头之间的刚性构件的非致动弯曲)和主动(例如，所述仪器的致动运动)自由度二者。
所述医疗仪器系统可以任选地包括位置传感器系统220。所述位置传感器系统220可以是EM传感器系统的组件，其中，所述传感器220包括可以受到外部产生的电磁场的一个或更多个导电线圈。所述EM传感器系统220的每个线圈然后产生具有取决于所述线圈相对于所述外部产生的电磁场的位置和取向的特征的感应电信号。在一个实施例中，所述EM传感器系统可以经配置并定位来测量六个自由度，例如，三个位置坐标X、Y、Z和指示基点的俯仰、偏转和滚动的三个取向角度，或五个自由度，例如，三个位置坐标X、Y、Z和指示基点的俯仰和偏转的两个取向角度。EM传感器系统的进一步描述设置在美国专利No.6,380,732(1999年8月11日提交)(公开了“Six-Degree of Freedom Tracking System Having aPassive Transponder on the Object Being Tracked(具有在被跟踪的所述物体上的被动式转发器的六自由度跟踪系统)”)，所述专利通过引用全部并入本文。
跟踪系统230可以包括用于确定沿所述仪器200的一个或更多个节段224和所述远端218的位置、取向、速度、位姿和/或形状的位置传感器系统220和形状传感器系统222。所述跟踪系统230可以作为与一个或更多个计算机处理器交互或由所述一个或更多个计算机处理器以其他方式执行的硬件、固件、软件或它们的组合实施，该一个或更多个计算机处理器可以包括控制系统116的处理器。
所述柔性导管体216包括尺寸和形状设定成接收辅助仪器226的通道。辅助仪器可以包括例如图像捕获探头、活检仪器、激光烧蚀光纤或其他外科手术、诊断或治疗工具。辅助工具可以包括具有诸如外科手术刀、钝刀片、光纤或电极等单个工作构件的末端执行器。其他末端执行器可以包括例如钳子、抓紧器、剪刀或施夹器(clip applier)。电激活末端执行器的示例包括电外科电极、变换器、传感器等。在各种实施例中，所述辅助工具226可以是包括远端部分的图像捕获探头，所述远端部分在所述柔性导管体216的远端218处或附近具有用于捕获由用于显示的可视化系统231处理的图像(包括视频图像)的立体或单像摄像机。所述图像捕获探头可以包括联接到所述摄像机用于传输所捕获的图像数据的电缆。可替代地，所述图像捕获仪器可以是联接到所述可视化系统的光导光纤束，如光纤镜。所述图像捕获仪器可以是例如以所述可见光谱、红外线光谱或紫外线光谱中的一个或更多个捕获图像数据的单个或更多个光谱。
所述辅助仪器226可以包封在所述仪器的近端和远端之间延伸以可控制地弯曲所述仪器的远端的电缆、连杆或其他致动控件(未示出)。可转向仪器在美国专利No.7,316,681(2005年10月4日提交)(公开了“Articulated Surgical Instrument for PerformingMinimally Invasive Surgery with Enhanced Dexterity and Sensitivity(用于用增强的敏捷度和传感性执行微创外科手术的铰接外科手术仪器)”)和美国专利申请No.12/286,644(2008年9月30日提交)(公开了“Passive Preload and Capstan Drive for SurgicalInstruments(用于外科手术仪器的被动预紧力和绞盘驱动)”)中详细地描述，所述专利通过引用全部并入本文。
所述柔性导管体216也可以包封在所述壳体204和所述远端218之间延伸以可控制地弯曲如例如由所述远端的断裂虚线表示219所示的远端218的电缆、连杆或其他转向控件(未示出)。可转向导管在美国专利申请No.13/274,208(2011年10月14日提交)(公开了“Catheter with Removable Vision Probe(具有可拆卸可视探头的导管)”)中详细地描述，所述专利申请通过引用全部并入本文。在其中所述仪器系统200由远程操作组件致动的实施例中，所述壳体204可以包括可拆卸地联接到所述远程操作组件的机动化驱动元件并从所述机动化驱动元件接收动力的驱动输入端。在其中手动地操作所述仪器系统200的实施例中，所述壳体204可以包括用于手动地控制所述仪器系统的运动的紧握特征部、手动致动器或其他组件。所述导管系统可以是可转向地，或者可替代地，所述系统可以是非可转向的，不具有集成机制用于所述仪器弯曲的操作员控制。另外或者可替代地，通过一个或更多个腔医疗仪器能够在目标外科手术位置处展开并使用，所述一个或更多个腔限定在所述柔性体216的壁中。
在各种实施例中，所述医疗仪器系统200可以包括柔性支气管仪器，如支气管镜或支气管导管，例如在肺部的检查、诊断、活检或治疗中使用。所述系统200也适合于经由包括结肠、肠、肾脏、脑部、心脏、循环系统等的各种解剖系统中的任何一个中的自然的或外科手术创建的连接通道的其他组织的导航和治疗。
来自于所述跟踪系统230的信息可以被发送到导航系统232，在所述导航系统232中所述信息与来自于所述可视化系统231和/或术前获得的模型的信息的结合，以提供所述外科医生或其他操作员在所述显示系统110上的实时位置信息用于在所述仪器200的所述控制中使用。所述控制系统116可以利用所述位置信息作为用于定位所述仪器200的反馈。在公开了“Medical System Providing Dynamic Registration of a Model of anAnatomical Structure for Image-Guided Surgery(提供用于图像引导的外科手术的解剖结构的模型的动态登记的医疗系统)”的2011年5月13日提交的美国专利申请No.13/107,562中提供了用于使用光纤传感器登记并用外科手术图像显示外科手术仪器的各种系统，所述专利申请通过引用全部并入本文。
在图2的实施例中，所述仪器200在所述远程操作医疗系统100内远程操作。在可替代的实施例中，所述远程操作组件102可以由直接操作员控件替换。在所述直接操作的替代中，可以包括各种手柄和操作员接口用于所述仪器的手持式操作。
图3A示出从在所述肺部外部的观看点的包括人肺部152的模型151的复合图像150。所述模型肺部151用诸如导管系统202的柔性仪器的仪器图像154登记。所述肺部152的模型151可以使用分割过程从一组扫描图像(例如，术前CT或MRI图像)产生。所述复合图像150可以经由显示系统110显示。随着所述仪器通过所述肺部152的支气管通道156推进，来自于所述跟踪系统230和/或所述可视化系统231的信息用于用所述模型肺部图像151登记所述仪器图像154。所述肺部152的所述模型151的视图可以改变，以例如示出在吸入或呼出的状态下的所述肺部。所述仪器图像154可以改变，以示出通过所述支气管通道156的所述仪器的推进或后退。
图3B是从所述仪器的观看点示出所述肺部的区域的所述人肺部152的内部图像160。所述图像160可以是在位于所述肺部152的所示部分中时由所述仪器在所述外科手术过程期间采取的同时发生图像。更具体地，所述图像160可以由所述可视化系统231捕获。可替代地，所述图像160可以是基于如由所述跟踪系统230确定的所述仪器120的所述尖端的位置所选择的术前记录图像。
图4A是示出说明性目标解剖结构400，特别是患者肺部的图示。所述解剖结构400表示包括所有真实分支和支气管通道156的所述实际患者肺部。图4B是示出所述目标解剖结构的说明性模型解剖结构410的图示。所述模型410通过分割过程创建，其中所扫描的图像的复合物被分成共享诸如颜色、强度和纹理等某些特征或计算属性的节段(例如，像素或三维像素)。此分割过程导致形成所述模型410的二维或三维重新构造。为了表示所述模型，所述分割过程可以消除表示所述目标解剖结构的各组三维像素且然后应用诸如匹配立方函数等函数，以获得包封所述三维像素的3D表面。在一些示例中，容积表示能够用于直接地显示所述三维容积数据，而不使用分割函数。这也能够潜在地用于显示概率分割结果。例如，掩膜(mask)值能够被分配在0和1之间的数字，从而指示概率结果。
在一个具体的示例中，如图4C中所示，分割方法450包括如从患者CT或MRI扫描获得一组解剖图像的过程452。在过程454处，掩膜模型从所述一组解剖图像的所述三维汇编创建。例如，所述解剖通道可以通过分配第一值(例如，1)至气道和分配第二值(例如，0)至所述周围组织而与周围组织区别开。如果具体的区域不能被决定性地确定为周围组织的通道或区域，概率的值(例如，除1或0以外的某个值)可以分配给所述不明确的区域。在过程456处，可以创建所分割的通道的网格模型。网格模型的创建的进一步细节在美国临时专利申请No.61/935,547(2014年2月4日提交)(公开了“Systems and Methods for Non-rigidDeformation of Tissue for Virtual Navigation of Interventional Tools(用于介入工具的虚拟导航的组织的非刚性变形的系统和方法)”)中详细描述，所述专利申请通过引用全部并入本文。在过程458处，连结树结构可以从如在美国临时专利申请No.61/935,547中进一步详细描述的所述网格模型创建。
理想地，所述模型410内的所述支气管通道157将匹配所述患者解剖结构400的所述实际支气管通道156。但是用于创建所述模型410的常规分割过程不可以创建精确地匹配所述实际解剖结构的模型。例如，所述分割函数可以创建具有不在所述实际解剖结构400中的附加通道404的模型。依赖于此不正确信息，所述临床医生或自动化导航系统可以计划需要所述医疗仪器通过所述非存在的通道导航或者导航至所述非存在的通道来到达目标组织的过程。当所述临床医生到达所建模的通道404的位置并发现事实上无通道存在时，所述临床医生可以必须计划对所述目标组织的另一方法。在一些情况下，所述分割过程可以未能实施存在于所述实际解剖结构内的通道402。依赖于此不正确的信息，所述临床医生或自动化导航系统不能够计划最有效的布线用于医疗仪器导航，以到达目标组织。
所述实际解剖结构400和所述模型解剖结构410之间的差异可以在通过所述通道导航医疗工具(例如，医疗仪器200的导管202)时在外科手术操作期间发现。如将在下面详细地描述，所述实际解剖结构和所述建模解剖结构之间的差异可以由各种成像方法或通过定位或尝试将所述工具安置在通道内检测。例如，在通过所述解剖结构400导航所述工具时，所述工具可以捕获不在所述模型410中的附加通道(例如，通道402)的图像且/或进入不在所述模型410中的附加通道。或者，在导航所述患者的解剖结构时，所述工具可以接近开口至其中所述导管意在穿过的通道(例如，通道404)。所捕获的图像或进入所述通道的不可能性可以指示所建模的通道缺失。根据本文所述的原理，所述模型410能够更新，以校正所述模型410和所述实际解剖结构400之间的差异。
图5是示出模型的术中变化的图示500。图5示出真实解剖结构502和模型解剖结构504。根据本示例，随着所述医疗仪器506导航通道512，对应的仪器图像508覆盖有所述模型504。所述模型504包括与所述真实主要通道512对应的模型主通道513。
随着所述仪器506导航所述通道512，附加分支514可以被发现。在此示例中，所述附加分支514不在将所述仪器506插入所述通道之前产生的所述原始模型504内。所述仪器506可以包括在所述仪器的远端部分处的传感器510(例如，成像系统或位置检测系统)，传感器510通过各种下列描述的方法之一能够确定有不在所述模型504上的附加分支的514。所述虚线表示在所述模型内的对应于所述真实解剖结构502内的所述附加分支514的新分支515。所述分支515是指新分支，因为其不是所述原始模型504的一部分。但是在发现之后，并在所述模型已经更新之后，所述新分支515存在于所述模型内。用于更新所述模型的过程可以包括用如将在下面进一步详细描述的附加信息重新应用所述分割函数。
图6a是示出基于时间集成的位置信息的用于所述模型的附加通道的检测的图示。图6b是示出基于空间集成的位置信息的用于所述模型的附加通道的检测的图示。根据本示例，可以类似于上述仪器200的医疗仪器602导航患者的解剖结构600。所述医疗仪器602包括用于获得用于所述仪器的所述远端部分的所述位置的时间改变值或者用于获得关于所述仪器的所述细长部分的所有部分或一部分的空间信息的传感器系统(例如，传感器系统108)。如果从所述医疗仪器获得的时间或空间数据指示所述仪器在或已经在未被所述模型指示的通道内，所述模型可以使用所获得的数据更新。
时间数据可以从由所述医疗仪器承载的若干不同类型的位置传感器中的一个或更多个获得。用于所述医疗仪器的所述位置(例如，所述医疗仪器的所述远端)的这些时间改变值可以经集成以指示由所述医疗仪器穿过的路径。可以根据本文所述的原理使用的一种类型的位置传感器是EM位置传感器。EM位置传感器利用在所述患者周围产生的电场或磁场。所述EM位置传感器能够通过在具体点处测量所述电场检测在空间上的位置。可替代地，所述位置传感器可以是光纤形状传感器。光纤形状传感器包括沿所述导管的长度设置的光纤。所述光纤包括影响穿过所述光纤的光学信号使得所述光纤的形状能够基于该信号确定的光栅。此外，通过知道所述光纤关于所述患者的解剖结构的固定位置，并且通过知道所述光纤的形状，能够确定所述光纤的所述尖端的所述位置。可以使用的另一种类型的位置传感器是基于荧光检查的位置传感器。此类传感器包括容易地由荧光检查图像检测的一个或更多个标记。可替代地，所述装置的整个形状具有与其周围的充足对比，使得所述形状能够从荧光检查图像提取。因此，所述荧光检查能够不使用标记完成。因此，在仪器定位在所述患者内并在所述患者内移动时，这些标记的所述时间改变位置能够通过采取所述患者的荧光检查图像检测。基于所述标记的位置，能够确定其中所述仪器定位并已经定位的地方。包括基于阻抗的位置传感器、基于无线电频率的位置传感器、基于辐射的位置传感器的其他类型的位置传感器也可以根据本文所述的原理使用。此外，随着时间的所述仪器的位置可以根据来自于所述通道内的捕获图像的位置估计确定。
图6a示出当所述仪器从主要通道604导航并进入不在所述原始模型内的附加通道606时从所述仪器602获得的时间信息608。所述时间信息608指示所述仪器在连续时间间隔处的离散位置。此数据能够指示附加分支的存在。在一些示例中，所述时间信息能够经过滤考虑由所述患者的解剖结构的循环运动引起的所述工具的任何循环运动。例如，患者呼吸可以引起其中所述仪器正在导航通过的所述支气管通道的循环运动。
空间数据可以从由所述医疗仪器承载的若干不同类型的位置传感器中的一个或更多个获得。所述空间数据在一个时间值处提供所述医疗仪器的若干部分的位置。可以根据本文所述的原理使用的一种类型的空间数据是指示定位在解剖通道内的所述细长仪器的形状的光纤形状传感器。另一种类型的空间数据传感器是沿所述装置定位的多个位置传感器(例如，EM传感器)。另一种类型的空间数据传感器可以是在所述医疗仪器上的多个位置或在荧光检查图像中看到的所述装置的形状处承载的一组荧光检查标记。所述一组荧光检查标记的每个图像提供定位在解剖通道内的所述细长仪器的形状的指示。所获得的空间数据可以提供所述附加通道606的存在和形状的指示。在一些示例中，所述位置传感器是范围传感器，其可以包括激光范围发现器(finder)、飞行时间传感器、OCT传感器或深度摄像机。
图6b示出当所述仪器602从所述主要通道604导航并进入不在所述原始模型内的所述附加通道606时从所述仪器602获得的空间信息610。所述空间信息610指示在一个时间值处的所述仪器的所述形状或一组位置数据的所述位置。此数据能够指示附加分支的存在。在一些示例中，所述空间信息能够经过滤以考虑由所述患者的解剖结构的循环运动引起的所述工具的任何循环运动。例如，患者呼吸可以引起其中所述仪器正在导航通过的所述支气管通道的循环运动。
所述时间信息608或空间信息610可以用于以各种方式更新所述模型。例如，所述信息608、610可以用于将三维像素直接地添加到分割掩膜且然后从那些三维像素产生三维表面。在另一示例中，所述信息608、610可以用于将种子(seed)添加到当使用者将手动操作时原始地使用的所述分割算法。所述种子位置指示到所述分割算法，其中到附加通道的开口位于所述解剖结构内。这能够引起所述分割算法更详细地调查来自于所述原始图像的具体区域，或者用不同的区别水平创建更精确的模型。
图7是示出基于一组获取的表面点的用于所述模型的附加通道的检测的图示。根据本示例，可以类似于上述仪器200的医疗仪器702导航患者的解剖结构600。所述医疗仪器702包括可以是传感器(例如，传感器系统108)的测量设备703、机械测量装置和/或能够使用外部成像系统以提供测量的组件。所述测量设备703可以用于获得关于所述传感器周围的环境的二维或三维数据。所述数据可以包括指示在所述传感器远端的通道706的表面组织的数据。如果所检测的通道706未由所述模型指示，则所述模型可以使用所获得的数据更新。
各种成像技术可以用于获取关于在所述医疗仪器的所述远端周围的所述区域的所述实时信息。在一个示例中，所述测量设备703是安装在所述仪器的所述远端附近的飞行时间摄像机。飞行时间摄像机是能够基于光速测量距离的范围成像摄像机系统。具体地，飞行时间摄像机测量在所述摄像机和正在测量的到其的距离的具体表面之间的光信号的所述飞行时间。因此，所述飞行时间摄像机能够确定所述测量设备703和通道的所述内表面之间的距离。
在一个示例中，所述测量设备703可以包括一个或更多个位置传感器和获得照明解剖区域的一临时系列的局部化二维图像的标准单像内窥镜摄像机。这些图像能够与所述位置传感器的监控运动结合。通过所述图像和所述仪器的跟踪运动的使用，可以获得关于所述通道704的三维结构的信息。在一个示例中，所述摄像机的所述位置通过使用来自于运动技术的结构从所述图像本身确定。此类技术涉及从一序列的二维图像估计三维结构。
在一个示例中，所述测量设备703可以包括喷射系统和用于将氟不透明染料喷射到所述解剖结构内的感兴趣区域的流体存储器。然后，可以从其中所述染料由在所述患者外部的荧光检查成像装置喷射的所述区域截取多个二维切片。在一些情况下，基于旋转X-射线的成像装置可以用于截取其中喷射所述染料的所述区域的图像。所述染料提供更好的对比用于所述基于x-射线的成像，并因此提供所述模具流过其中的通道的更明确消除。然后三维结构能够基于所述二维切片或所述旋转图像被识别。
在一个示例中，所述测量设备703包括激光扫描装置和一个或更多个位置传感器。关于所检测的解剖点的来自于所述激光扫描装置的所述数据可以基于所述仪器的所述远端的所述基于时间的位置和取向临时地集成。例如，振幅调制扫描(A-扫描)可以从所述导管延伸的光纤的所述尖端截取。来自于所述A-扫描的所述信息可以使用来自于所述仪器的尖端的位置和取向数据被临时地集成。
在一个示例中，所述测量设备703可以是立体成像系统。立体内窥镜从空间位移的透镜产生两个单独的图像。通过将来自于两个图像的数据相互关联，能够构造三维数据。因此，所述立体成像系统能够确定在所述仪器702的所述远端周围的所述三维表面。在一个示例中，所述测量设备703可以是结构化的光成像系统。例如，具有在位置中的偏移的投影机投影由所述摄像机看到的光图案。此信息用于重新构造所述3D表面。
在一个示例中，所述测量设备703可以是血管内超声(IVUS)系统。IVUS系统能够使用超声信号测量所述超声变换器和周围组织之间的所述距离。安装在所述仪器702的所述尖端上的IVUS探头能够用于扫描通道内的环境，以通过在轴向方向上投影超声信号确定限定所述通道的所述三维表面结构。在一个可替代的示例中，所述IVUS探头可以是向前面对的探头。OCT或光学相干断层成像术是一种使用干涉仪测量所述精确组织结构的技术。其也能够用作范围发现器，以测量所述解剖通道的所述3D表面。
在一个示例中，所述测量设备703可以是基于工具的测量装置。例如，活检针可以延伸，以测量所述探头和各种表面之间的距离。来自于多个测量的数据能够用于构造其中所述仪器正在导航的所述通道的三维表面。
使用上述各种类型的测量设备获得的所述各种类型的数据可以以各种方式使用，以更新所述分割模型。在一个示例中，所获得的数据可以以三维点云的形式。所述三维点云能够用于适合所述感兴趣的解剖结构的三角形网格或其他三维表面表示。在一些示例中，所述三维数据可以用于获得能够添加到分割掩膜的三维像素。这允许所述感兴趣的解剖结构的容积表示。在一些示例中，所获得的数据可以用于产生用于所述分割函数的种子点。
在一些示例中，所获得的数据可以用于以不涉及附加通道的方式更新所述模型。例如，所获得的数据可以指示具体通道实际上比由所述模型中的所述对应通道指示的通道更宽或更窄。对于另一示例，所述通道的空间属性改变例如以考虑到由于变形引起的对所述模型的变化。因此，此类获得的数据可以用于在医疗过程期间实时地对所述模型作出各种变化或者精细调整所述模型。
图8是示出用于术中操作的分割的说明性方法的流程图。根据本示例，所述方法包括术前过程816和术中过程818。对于所述术前过程816，所述方法800包括用于创建患者的解剖结构的扫描图像的过程802。此可以通过各种扫描机制的使用完成。例如，所扫描的图像可以用CT扫描或MRI扫描完成。也预期其他成像系统。
所述方法800还包括用于在所述扫描图像上执行分割函数以创建模型的过程804。各种分割函数可以用于创建所述模型。所述分割函数可以依赖于由使用者选择的一组种子点。具体地，临床医生可以观看所述扫描图像并且手动地选择指示所述患者的解剖结构内的附加分支的开口的种子点。
在一些示例中，所述分割函数可以分配概率值至在所述分割过程期间发现的潜在气道(airway)。具有高于阈值的概率值的所述气道能够变成所述模型的一部分。具有低于所述阈值的概率值的所述气道不可以变成所述模型的一部分。但是，具有在低于所述阈值的某一范围内的概率值的所述气道可以用于调整所述模型，如将在下面进一步详细描述的。
对于术中过程818，所述方法包括用于用医疗仪器导航所述患者的解剖结构的过程806。例如，如果所述操作的最后目标是达到目标点，以执行肺部活体检测，则所述仪器可以沿预计划路径被引导至该目标点。所述过程800还包括用于用所述模型登记所述仪器的所述位置的过程808。因此，随着所述仪器导航通过所述患者的解剖结构，所述仪器的图像以对应的方式相对于所述模型移动。
所述方法800还包括用于确定所述患者的解剖结构和所述模型之间是否有差异的过程810。这可以通过上述方法之一完成。例如，所述仪器可以包括传感器，以获得空间数据和时间数据，或者所述仪器可以获得用于构造所述解剖结构的所述内部的三维表面的测量。使用此类数据，能够确定所述实际解剖结构是否匹配所述模型。在一些情况下，可以分析多个解剖特征。例如，肺部内的气道和动脉可以与所述模型比较，以确定任何差异。此外，在一些情况下，使用者输入可以帮助确定所述实际患者的解剖结构和所述模型之间是否有差异。例如，外科医生能够视觉地确定如从摄像机或CT图像观看的动脉或气道不同于所述模型。所述外科医生可以然后指示所检查的差异的位置。
如果确定所述患者的解剖结构和所述模型之间有差异，则所述方法800包括用于用不同参数重新应用所述分割函数以更新所述模型的过程812。例如，不同的参数可以是与新通道对应的新种子点。此类种子点可以指示通道的存在或不存在的限制。不同参数可以指示各种通道的已知长度和直径。然而，如果确定所述患者的解剖结构和所述模型之间没有实质差异，则所述方法包括用于正常地继续所述操作的步骤814。
在一些示例中，可以是所述模型和所述感测的患者解剖结构之间有差异的情况，因为所述患者的解剖结构可以由于呼吸而移动。因此，可以考虑到所述呼吸循环，以确定所述差异是否与所述患者解剖结构和所述模型之间的实际差异相关，或者所述差异是否仅与由呼吸模式引起的所述气道的运动相关。
在一些示例中，分配给气道的所述概率值可以用于帮助确定所述模型是否应该更改。例如，附加细看可以在低于阈值概率值的具体范围内应用于所述后补气道。因为此类后补气道对应于实际气道是可能的，所以所述传感器数据可以与所述概率数据结合，以确定所述模型中的改变是否应该做出。此外，置信度度量可以应用于不同感测仪器。例如，不同测量设备可以具有不同水平的精确性。因此，来自于不同类型的测量设备的数据可以基于所分配的置信度度量权衡，所述分配的置信度度量是基于那些测量设备的理解的精确性。
在一个示例中，所述术前步骤可以包括创建所述感兴趣的患者的解剖结构的元模型。所述元模型可以是所述感兴趣的解剖结构的通用非患者专用模型。然后，随着所述仪器导航通道来调节所述实际患者的所述元模型，所述感兴趣参数能够实时地调整。所述参数可以包括相对于母分支的长度、直径、相对位置和取向。此类参数可以使用上述各种传感器和技术获得。
在一个示例中，少的或无术前分割可以执行。相反，所述分割能够在所述过程期间实时地完成。具体地，随着所述仪器导航所述通道，其能够获得数据，所述数据然后能够用于执行所述分割函数并在所述过程期间创建所述模型。因此，随着所述仪器导航所述解剖结构，所述模型正连续地发展。在此种情况下，通向所述目标的所述路径也将随着所述模型变化适应地更新。
在一些示例下，取代以基于扫描图像用患者的解剖结构的模型开始，可以使用通用解剖结构模型。在导航肺部的情况下，可以使用表示共同人肺部结构的通用模型。随着所述仪器的所述感测工具检测所述患者的解剖结构和所述通用解剖结构模型之间的差异，所述模型经更新符合所述患者的真实解剖结构。这可以使用上述技术完成。在一些示例中，这可以涉及具有一组计划路径和停放位置。所述计划路径和停放位置能够是基于其中可能发现气道的位置。随着所述导管沿所述计划路径移动到所述计划停放位置，所述模型能够然后基于来自于所述测量设备的数据被更新。
在一些示例中，无术前获得的模型被使用。具体地，随着所述仪器开始导航所述通道，所述模型可以被构造。例如，所述感测工具可以用于获得关于所述患者的解剖结构的数据。此类数据可以包括各种通道的尺寸和形状。所述患者的解剖结构的模型然后能够基于所述数据实时地被构造。所述仪器的所述位置然后能够用所述仪器在所述模型内的图像登记或者与所述仪器在所述模型内的图像相互关联。
在一些示例中，由各种测量系统获得的数据可以在更新所述模型之前任选地连通到所述医疗仪器的所述操作员。如果确定所述模型正在缺失分支或通道，所述仪器的所述操作员可以被告知并且可以选择基于所述新信息调整所述模型，或者可以选择通过更新所述模型或者不更新所述模型使用所述新信息，以调整计划的过程。可替代地，所述数据能够经分析基于存在于所述患者的实际解剖结构内但不存在于该解剖结构的所述模型内的附加分支或通道的存在自动地检测并更新所述术前模型或元模型。具体地，所述新发现的分支的所述位置能够用作用于所述分割函数的种子，并且所述分割函数能够被重新应用。
本公开的系统和方法可以用于所述肺部的连接支气管通道。所述系统和方法也可以适合于在包括结肠、肠、肾脏、脑部、心脏、呼吸系统等的各种解剖系统中的任何中经由自然的或手术创建的连接通道的其他组织的导航和治疗。本公开的方法和实施例也适合于非外科手术应用。
本发明的实施例中的一个或更多个元件可以在软件中实施，以在诸如控制处理系统112等计算机系统的处理器上执行。当在软件中实施时，本发明的实施例的元件实质上是执行所述必要任务的编码节段。所述程序或编码节段能够存储在处理器可读存储介质或装置中，所述处理器可读存储介质或装置可以通过以通过传输介质或连通连杆以载波体现的计算机数据信号的方式下载。所述处理器可读存储装置可以包括能够存储包括光学介质、半导体介质和磁性介质的信息的任何介质。处理器可读存储装置示例包括电子电路、半导体装置、半导体存储装置、只读存储器(ROM)、闪速存储器、可擦可编程只读存储器(EPROM)、软盘、CD-ROM、光盘、硬盘或其他存储装置。所述编码节段可以经由诸如互联网、以太网的计算机网络下载。
注意所呈现的过程和显示不可以固有地与任何具体计算机或其他设备相关。各种通用目的的系统可以根据本文的教导与程序一起使用，或者可以证明是方便的，以构造更专用的设备，以执行所描述的操作。用于各种这些系统的要求结构将作为元件在所述权利要求中出现。此外，本发明的实施例不参照任何具体编程语言描述。将理解的是各种编程语言可以用于实施如本文所述的本发明的教导。
当本发明的某些示例性实施例已经被描述并且在附图中示出时，应当理解的是此类实施例就本发明仅是说明性的且不限制本发明，并且本发明的实施例不限于所示和所述的具体构造和布置，因为各种其他修改可以发生于本领域技术人员。

Claims (28)

1.一种用于术中分割的方法，所述方法包括：
用医疗仪器导航患者的解剖结构，所述仪器包括感测工具；
将所述仪器的位置与所述患者的解剖结构的模型相互关联；以及
在导航所述患者的解剖结构时，基于由所述感测工具获得的数据更新所述模型。
2.根据权利要求1所述的方法，其中所述感测工具包括位置传感器。
3.根据权利要求2所述的方法，其中所述位置传感器包括下列中的至少一个：形状传感器、电磁位置传感器、氟基系统、阻抗传感器、范围传感器和摄像机。
4.根据权利要求1所述的方法，其中所述数据包括下列中的至少一个：空间集成数据和时间集成数据。
5.根据权利要求1所述的方法，其中响应于检测所述模型和所述解剖结构之间的差异，更新所述模型发生。
6.根据权利要求5所述的方法，其中所述方法还包括将所检测的差异通信到所述医疗仪器的操作员。
7.根据权利要求5所述的方法，其中所述差异基于图像分析自动地检测，所述图像分析依据由与所述医疗仪器相关联的成像元件接收的数据。
8.根据权利要求1所述的方法，其中更新所述模型包括添加附加的三维像素或移除与所述模型和所述解剖结构之间的差异相关联的三维像素。
9.根据权利要求1所述的方法，其中更新所述模型包括：
添加附加种子到分割函数，所述种子对应于新发现的通道；以及
用所述附加种子重新应用所述分割函数。
10.根据权利要求1所述的方法，其中更新所述模型包括调整通道的形状。
11.根据权利要求10所述的方法，其中调整所述模型中通道的形状是响应于用所述医疗仪器上的测量工具确定所述患者的解剖结构的直径不同于所述模型中的上述通道的对应直径完成的。
12.根据权利要求1所述的方法，其中更新所述模型包括在所述模型内添加附加通道。
13.根据权利要求1所述的方法，其中更新所述模型包括下列中的至少一个：调整所述模型内通道的位置以及调整所述通道在所述模型内的直径。
14.一种用于术中分割的方法，所述方法包括：
用医疗仪器的感测工具，在导航通过解剖结构时获得患者的所述解剖结构的数据；
将所述数据与所述患者的解剖结构的模型比较；以及
响应于确定所述模型和如由所述数据定义的所述患者的解剖结构之间存在差异，更新所述模型。
15.根据权利要求14所述的方法，其中所述模型通过将分割函数应用于所述患者的解剖结构的图像获得。
16.根据权利要求15所述的方法，其中更新所述模型包括用附加种子重新应用所述分割函数，所述附加种子基于所述模型和所述患者的解剖结构之间的所述差异。
17.根据权利要求15所述的方法，其中所述图像包括计算机断层扫描。
18.根据权利要求15所述的方法，其中所述图像包括磁共振成像扫描，即MRI扫描。
19.根据权利要求14所述的方法，其中所述感测工具包括摄像机，并且所述数据包括由所述摄像机获得的时间系列的二维图像。
20.根据权利要求14所述的方法，其中所述感测工具是获得点云，以创建所述患者的解剖结构的表面表示。
21.根据权利要求14所述的方法，其中确定所述模型和如由所述数据定义的所述患者的解剖结构之间是否有所述差异包括考虑到所述患者的解剖结构的呼吸运动。
22.一种手术系统，所述手术系统包括：
计算系统，所述计算系统包括：
处理器；和
包括机器可读指令的存储器，所述机器可读指令当由所述处理器执行时使所述系统：
将分割函数应用于患者的解剖结构的三维图像，以创建模型；
在导航所述患者的解剖结构时，从医疗仪器接收位置数据；
用所述模型登记所述仪器的位置；
从所述医疗仪器的感测工具接收与所述患者的解剖结构相关的数据；以及
响应于检测所述模型和所述患者的解剖结构之间的差异，更新所述模型。
23.根据权利要求22所述的系统，其中所述差异包括在所述患者的解剖结构内的通道，该通道不存在于所述模型内。
24.根据权利要求23所述的系统，其中为了更新所述模型，所述机器可读指令还使所述系统使用与不存在于所述模型内的所述通道对应的新种子重新应用所述分割函数。
25.根据权利要求22所述的系统，所述系统还包括导管，所述导管包括所述医疗仪器，所述医疗仪器包括所述感测工具。
26.根据权利要求25所述的系统，其中所述感测工具包括下列中的至少一个：飞行时间摄像机、位置传感器、荧光检查喷射系统、激光扫描装置、血管内超声装置和切片工具。
27.一种用于术中分割的方法，所述方法包括：
用医疗仪器导航患者的解剖结构，所述仪器包括感测工具；
将所述仪器的位置与通用解剖结构模型相互关联；以及
在导航所述患者的解剖结构时，基于由所述感测工具获得的数据更新所述通用解剖结构模型，以匹配所述患者的解剖结构。
28.一种用于术中分割的方法，所述方法包括：
用医疗仪器导航患者的解剖结构，所述仪器包括感测工具；
在导航所述患者的解剖结构时，使用所述感测工具来获得与所述患者的解剖结构相关的数据；
基于所述数据，实时地构造所述患者的解剖结构的模型；以及
将所述仪器的位置与所述模型相互关联。
CN201580049546.9A 2014-07-28 2015-07-17 用于术中分割的系统和方法 Active CN106714656B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910367566.0A CN110101355A (zh) 2014-07-28 2015-07-17 用于术中分割的系统和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462029927P 2014-07-28 2014-07-28
US62/029,927 2014-07-28
PCT/US2015/040988 WO2016018646A1 (en) 2014-07-28 2015-07-17 Systems and methods for intraoperative segmentation

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910367566.0A Division CN110101355A (zh) 2014-07-28 2015-07-17 用于术中分割的系统和方法

Publications (2)

Publication Number Publication Date
CN106714656A true CN106714656A (zh) 2017-05-24
CN106714656B CN106714656B (zh) 2019-05-28

Family

ID=55218185

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201580049546.9A Active CN106714656B (zh) 2014-07-28 2015-07-17 用于术中分割的系统和方法
CN201910367566.0A Pending CN110101355A (zh) 2014-07-28 2015-07-17 用于术中分割的系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910367566.0A Pending CN110101355A (zh) 2014-07-28 2015-07-17 用于术中分割的系统和方法

Country Status (6)

Country Link
US (2) US11445934B2 (zh)
EP (2) EP4328856A2 (zh)
JP (2) JP6722652B2 (zh)
KR (2) KR20220065894A (zh)
CN (2) CN106714656B (zh)
WO (1) WO2016018646A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110147586A (zh) * 2019-04-28 2019-08-20 江铃汽车股份有限公司 一种连杆组件linebore分析方法
WO2020062050A1 (zh) * 2018-09-28 2020-04-02 深圳迈瑞生物医疗电子股份有限公司 超声诊断仪及超声检查模式的切换方法
CN111281533A (zh) * 2018-12-06 2020-06-16 柯惠有限合伙公司 计算机生成的气道模型到气道树的可变形配准
CN112602157A (zh) * 2018-06-25 2021-04-02 直观外科手术操作公司 用于仿真医疗程序的混合仿真模型
CN113456225A (zh) * 2021-07-22 2021-10-01 皖南医学院第一附属医院（皖南医学院弋矶山医院） 一种气道管理导航方法及系统

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8218847B2 (en) 2008-06-06 2012-07-10 Superdimension, Ltd. Hybrid registration method
US9633431B2 (en) 2014-07-02 2017-04-25 Covidien Lp Fluoroscopic pose estimation
US9603668B2 (en) 2014-07-02 2017-03-28 Covidien Lp Dynamic 3D lung map view for tool navigation inside the lung
US9986983B2 (en) 2014-10-31 2018-06-05 Covidien Lp Computed tomography enhanced fluoroscopic system, device, and method of utilizing the same
US10716525B2 (en) 2015-08-06 2020-07-21 Covidien Lp System and method for navigating to target and performing procedure on target utilizing fluoroscopic-based local three dimensional volume reconstruction
US10674982B2 (en) 2015-08-06 2020-06-09 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
US10702226B2 (en) 2015-08-06 2020-07-07 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
GB2557559B (en) * 2015-10-06 2021-09-15 Synaptive Medical Inc Method, system and apparatus for image-guided insertion of implant devices
EP4375934A2 (en) 2016-02-12 2024-05-29 Intuitive Surgical Operations, Inc. Systems and methods of pose estimation and calibration of perspective imaging system in image guided surgery
EP4349294A2 (en) * 2016-02-12 2024-04-10 Intuitive Surgical Operations, Inc. System and computer-readable medium storing instructions for registering fluoroscopic images in image-guided surgery
WO2018005861A1 (en) 2016-06-30 2018-01-04 Intuitive Surgical Operations, Inc. Graphical user interface for displaying guidance information during an image-guided procedure
EP4374768A2 (en) 2016-06-30 2024-05-29 Intuitive Surgical Operations, Inc. Graphical user interface for displaying guidance information in a plurality of modes during an image-guided procedure
EP3534818B1 (en) * 2016-11-02 2023-09-20 Intuitive Surgical Operations, Inc. Systems for continuous registration for image-guided surgery
JP7250675B2 (ja) * 2016-11-11 2023-04-03 ボストン サイエンティフィック サイムド，インコーポレイテッド 誘導システム
CN116128937A (zh) * 2017-01-09 2023-05-16 直观外科手术操作公司 用于在图像引导的程序中将细长装置配准到三维图像的系统和方法
CN110167477B (zh) * 2017-02-01 2023-12-29 直观外科手术操作公司 图像引导手术的配准系统和方法
US11793579B2 (en) * 2017-02-22 2023-10-24 Covidien Lp Integration of multiple data sources for localization and navigation
WO2018195216A1 (en) 2017-04-18 2018-10-25 Intuitive Surgical Operations, Inc. Graphical user interface for monitoring an image-guided procedure
US10699448B2 (en) 2017-06-29 2020-06-30 Covidien Lp System and method for identifying, marking and navigating to a target using real time two dimensional fluoroscopic data
EP3694412A4 (en) 2017-10-10 2021-08-18 Covidien LP SYSTEM AND METHOD FOR IDENTIFYING AND MARKING A TARGET IN A THREE-DIMENSIONAL FLUOROSCOPIC RECONSTRUCTION
US11058493B2 (en) * 2017-10-13 2021-07-13 Auris Health, Inc. Robotic system configured for navigation path tracing
US10930064B2 (en) 2018-02-08 2021-02-23 Covidien Lp Imaging reconstruction system and method
US10905498B2 (en) 2018-02-08 2021-02-02 Covidien Lp System and method for catheter detection in fluoroscopic images and updating displayed position of catheter
US10893842B2 (en) 2018-02-08 2021-01-19 Covidien Lp System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
JP7371026B2 (ja) 2018-05-31 2023-10-30 オーリス ヘルス インコーポレイテッド 管状網の経路ベースのナビゲーション
US11071591B2 (en) 2018-07-26 2021-07-27 Covidien Lp Modeling a collapsed lung using CT data
US11705238B2 (en) 2018-07-26 2023-07-18 Covidien Lp Systems and methods for providing assistance during surgery
EP3626176B1 (de) * 2018-09-19 2020-12-30 Siemens Healthcare GmbH Verfahren zum unterstützen eines anwenders, computerprogrammprodukt, datenträger und bildgebendes system
US11944388B2 (en) 2018-09-28 2024-04-02 Covidien Lp Systems and methods for magnetic interference correction
US11045075B2 (en) 2018-12-10 2021-06-29 Covidien Lp System and method for generating a three-dimensional model of a surgical site
US11172184B2 (en) 2018-12-13 2021-11-09 Covidien Lp Systems and methods for imaging a patient
US11801113B2 (en) * 2018-12-13 2023-10-31 Covidien Lp Thoracic imaging, distance measuring, and notification system and method
US11617493B2 (en) 2018-12-13 2023-04-04 Covidien Lp Thoracic imaging, distance measuring, surgical awareness, and notification system and method
EP3677211A1 (en) * 2019-01-03 2020-07-08 Siemens Healthcare GmbH Medical assistance device, system, and method for determining a deformation of a subject, computer program, corresponding computer-readable storage medium
US11357593B2 (en) 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
US11625825B2 (en) 2019-01-30 2023-04-11 Covidien Lp Method for displaying tumor location within endoscopic images
US11925333B2 (en) 2019-02-01 2024-03-12 Covidien Lp System for fluoroscopic tracking of a catheter to update the relative position of a target and the catheter in a 3D model of a luminal network
US11564751B2 (en) 2019-02-01 2023-01-31 Covidien Lp Systems and methods for visualizing navigation of medical devices relative to targets
US11744643B2 (en) 2019-02-04 2023-09-05 Covidien Lp Systems and methods facilitating pre-operative prediction of post-operative tissue function
US11819285B2 (en) 2019-04-05 2023-11-21 Covidien Lp Magnetic interference detection systems and methods
US10820871B1 (en) 2019-08-09 2020-11-03 GE Precision Healthcare LLC Mobile X-ray imaging system including a parallel robotic structure
US11269173B2 (en) 2019-08-19 2022-03-08 Covidien Lp Systems and methods for displaying medical video images and/or medical 3D models
US11864935B2 (en) 2019-09-09 2024-01-09 Covidien Lp Systems and methods for pose estimation of a fluoroscopic imaging device and for three-dimensional imaging of body structures
US11931111B2 (en) 2019-09-09 2024-03-19 Covidien Lp Systems and methods for providing surgical guidance
US11627924B2 (en) 2019-09-24 2023-04-18 Covidien Lp Systems and methods for image-guided navigation of percutaneously-inserted devices
US11847730B2 (en) 2020-01-24 2023-12-19 Covidien Lp Orientation detection in fluoroscopic images
US11380060B2 (en) 2020-01-24 2022-07-05 Covidien Lp System and method for linking a segmentation graph to volumetric data
US11974818B2 (en) * 2020-04-28 2024-05-07 Smith & Nephew, Inc. Surgical tracking methods and fiber optic shape sensing devices thereof
US20210378759A1 (en) * 2020-06-03 2021-12-09 Covidien Lp Surgical tool navigation using sensor fusion
US11950950B2 (en) 2020-07-24 2024-04-09 Covidien Lp Zoom detection and fluoroscope movement detection for target overlay
US11974881B2 (en) * 2020-08-26 2024-05-07 GE Precision Healthcare LLC Method and system for providing an anatomic orientation indicator with a patient-specific model of an anatomical structure of interest extracted from a three-dimensional ultrasound volume
EP4333682A1 (en) * 2021-05-06 2024-03-13 Covidien LP Endoscope navigation system with updating anatomy model
US20220354380A1 (en) * 2021-05-06 2022-11-10 Covidien Lp Endoscope navigation system with updating anatomy model
JPWO2023026528A1 (zh) * 2021-08-26 2023-03-02
WO2023110801A1 (en) * 2021-12-16 2023-06-22 Koninklijke Philips N.V. Guidewire and catheter selection and real-time guidance
US20230240659A1 (en) * 2022-02-03 2023-08-03 Medtronic Navigation, Inc. Systems, methods, and devices for tracking one or more objects

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050182295A1 (en) * 2003-12-12 2005-08-18 University Of Washington Catheterscope 3D guidance and interface system
US20060184016A1 (en) * 2005-01-18 2006-08-17 Glossop Neil D Method and apparatus for guiding an instrument to a target in the lung
US20070015997A1 (en) * 2005-05-23 2007-01-18 Higgins William E Guidance method based on 3D-2D pose estimation and 3D-CT registration with application to live bronchoscopy
US20080118135A1 (en) * 2006-11-10 2008-05-22 Superdimension, Ltd. Adaptive Navigation Technique For Navigating A Catheter Through A Body Channel Or Cavity
US20080171934A1 (en) * 2007-01-12 2008-07-17 Medtronic Vascular, Inc. Vessel Position and Configuration Imaging Apparatus and Methods
JP2010104427A (ja) * 2008-10-28 2010-05-13 Olympus Medical Systems Corp 医療機器
US20100249506A1 (en) * 2009-03-26 2010-09-30 Intuitive Surgical, Inc. Method and system for assisting an operator in endoscopic navigation
CN102196768A (zh) * 2008-10-23 2011-09-21 皇家飞利浦电子股份有限公司 用于介入射频消融或起搏器放置过程中的虚拟解剖结构丰富的实时2d成像的心脏和/或呼吸门控图像采集系统及方法
WO2012024686A2 (en) * 2010-08-20 2012-02-23 Veran Medical Technologies, Inc. Apparatus and method for four dimensional soft tissue navigation
CN102763138A (zh) * 2009-11-18 2012-10-31 皇家飞利浦电子股份有限公司 辐射治疗中的运动校正
JP2013202313A (ja) * 2012-03-29 2013-10-07 Panasonic Corp 手術支援装置および手術支援プログラム
US20130293578A1 (en) * 2012-05-02 2013-11-07 Empire Technology Development LLC. a corporation Four Dimensional Image Registration Using Dynamical Model For Augmented Reality In Medical Applications

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5792135A (en) 1996-05-20 1998-08-11 Intuitive Surgical, Inc. Articulated surgical instrument for performing minimally invasive surgery with enhanced dexterity and sensitivity
US6380732B1 (en) 1997-02-13 2002-04-30 Super Dimension Ltd. Six-degree of freedom tracking system having a passive transponder on the object being tracked
GB9713018D0 (en) 1997-06-20 1997-08-27 Secr Defence Optical fibre bend sensor
JP3850217B2 (ja) * 2000-12-27 2006-11-29 オリンパス株式会社 気管支用内視鏡位置検出装置
CA2555473A1 (en) 2004-02-17 2005-09-01 Traxtal Technologies Inc. Method and apparatus for registration, verification, and referencing of internal organs
US20060013523A1 (en) 2004-07-16 2006-01-19 Luna Innovations Incorporated Fiber optic position and shape sensing device and method relating thereto
US7772541B2 (en) 2004-07-16 2010-08-10 Luna Innnovations Incorporated Fiber optic position and/or shape sensing based on rayleigh scatter
US9289267B2 (en) * 2005-06-14 2016-03-22 Siemens Medical Solutions Usa, Inc. Method and apparatus for minimally invasive surgery using endoscopes
US8108029B2 (en) 2005-08-05 2012-01-31 Koninklijke Philips Electronics Nv Catheter navigation system
US20070066881A1 (en) * 2005-09-13 2007-03-22 Edwards Jerome R Apparatus and method for image guided accuracy verification
US7930065B2 (en) 2005-12-30 2011-04-19 Intuitive Surgical Operations, Inc. Robotic surgery system including position sensors using fiber bragg gratings
WO2008063494A2 (en) * 2006-11-16 2008-05-29 Vanderbilt University Apparatus and methods of compensating for organ deformation, registration of internal structures to images, and applications of same
JP2010510815A (ja) * 2006-11-28 2010-04-08 スーパーディメンション， リミテッド 身体の通路または腔を通してカテーテルをナビゲートする適応的ナビゲーション技術
US9259274B2 (en) 2008-09-30 2016-02-16 Intuitive Surgical Operations, Inc. Passive preload and capstan drive for surgical instruments
JP2012509715A (ja) 2008-11-21 2012-04-26 メイヨ・ファウンデーション・フォー・メディカル・エデュケーション・アンド・リサーチ 大腸内視鏡検査追跡および評価システム
KR101049507B1 (ko) * 2009-02-27 2011-07-15 한국과학기술원 영상유도수술시스템 및 그 제어방법
US20130109957A1 (en) * 2010-01-14 2013-05-02 Koninklijke Philips Electronics N.V. Flexible instrument channel insert for scope with real-time position tracking
CN102971048B (zh) * 2010-06-30 2016-02-10 皇家飞利浦电子股份有限公司 用于引导的自适应近距治疗的系统和方法
EP2627243B1 (en) 2010-12-30 2020-01-22 St. Jude Medical, Atrial Fibrillation Division, Inc. System for diagnosing arrhythmias and directing catheter therapies
US20130324833A1 (en) * 2011-02-24 2013-12-05 Koninklijke Philips N.V. Non-rigid-body morphing of vessel image using intravascular device shape
CN103458764B (zh) * 2011-03-31 2017-05-03 皇家飞利浦有限公司 形状感测辅助的医疗程序
US8900131B2 (en) * 2011-05-13 2014-12-02 Intuitive Surgical Operations, Inc. Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
EP2744566B1 (en) * 2011-08-16 2017-09-27 Koninklijke Philips N.V. System to estimate interfractional and intrafractional organ motion for adaptive external beam radiotherapy
US9452276B2 (en) 2011-10-14 2016-09-27 Intuitive Surgical Operations, Inc. Catheter with removable vision probe
IN2014CN02655A (zh) * 2011-10-20 2015-06-26 Koninkl Philips Nv
US9138165B2 (en) 2012-02-22 2015-09-22 Veran Medical Technologies, Inc. Systems, methods and devices for forming respiratory-gated point cloud for four dimensional soft tissue navigation
WO2013173229A1 (en) * 2012-05-14 2013-11-21 Intuitive Surgical Operations Systems and methods for deformation compensation using shape sensing
EP3679881A1 (en) * 2012-08-14 2020-07-15 Intuitive Surgical Operations, Inc. Systems and methods for registration of multiple vision systems
CN104837525B (zh) * 2012-12-11 2019-04-05 皇家飞利浦有限公司 用于辅助执行近距离放射治疗的辅助装置
US9629595B2 (en) * 2013-03-15 2017-04-25 Hansen Medical, Inc. Systems and methods for localizing, tracking and/or controlling medical instruments
US9592095B2 (en) * 2013-05-16 2017-03-14 Intuitive Surgical Operations, Inc. Systems and methods for robotic medical system integration with external imaging
CN105392528A (zh) * 2013-07-23 2016-03-09 皇家飞利浦有限公司 用于定位身体结构的方法和系统
WO2015011935A1 (ja) 2013-07-26 2015-01-29 三井化学株式会社 半芳香族ポリアミド樹脂組成物およびそれを含む成型品
CN106999246B (zh) * 2014-10-17 2020-12-08 皇家飞利浦有限公司 介入治疗系统和用于对叠加的图像进行绘制的方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050182295A1 (en) * 2003-12-12 2005-08-18 University Of Washington Catheterscope 3D guidance and interface system
US20060184016A1 (en) * 2005-01-18 2006-08-17 Glossop Neil D Method and apparatus for guiding an instrument to a target in the lung
US20070015997A1 (en) * 2005-05-23 2007-01-18 Higgins William E Guidance method based on 3D-2D pose estimation and 3D-CT registration with application to live bronchoscopy
US20080118135A1 (en) * 2006-11-10 2008-05-22 Superdimension, Ltd. Adaptive Navigation Technique For Navigating A Catheter Through A Body Channel Or Cavity
US20080171934A1 (en) * 2007-01-12 2008-07-17 Medtronic Vascular, Inc. Vessel Position and Configuration Imaging Apparatus and Methods
CN102196768A (zh) * 2008-10-23 2011-09-21 皇家飞利浦电子股份有限公司 用于介入射频消融或起搏器放置过程中的虚拟解剖结构丰富的实时2d成像的心脏和/或呼吸门控图像采集系统及方法
JP2010104427A (ja) * 2008-10-28 2010-05-13 Olympus Medical Systems Corp 医療機器
US20100249506A1 (en) * 2009-03-26 2010-09-30 Intuitive Surgical, Inc. Method and system for assisting an operator in endoscopic navigation
CN102763138A (zh) * 2009-11-18 2012-10-31 皇家飞利浦电子股份有限公司 辐射治疗中的运动校正
WO2012024686A2 (en) * 2010-08-20 2012-02-23 Veran Medical Technologies, Inc. Apparatus and method for four dimensional soft tissue navigation
JP2013202313A (ja) * 2012-03-29 2013-10-07 Panasonic Corp 手術支援装置および手術支援プログラム
US20130293578A1 (en) * 2012-05-02 2013-11-07 Empire Technology Development LLC. a corporation Four Dimensional Image Registration Using Dynamical Model For Augmented Reality In Medical Applications

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112602157A (zh) * 2018-06-25 2021-04-02 直观外科手术操作公司 用于仿真医疗程序的混合仿真模型
WO2020062050A1 (zh) * 2018-09-28 2020-04-02 深圳迈瑞生物医疗电子股份有限公司 超声诊断仪及超声检查模式的切换方法
CN112654295A (zh) * 2018-09-28 2021-04-13 深圳迈瑞生物医疗电子股份有限公司 超声诊断仪及超声检查模式的切换方法
CN111281533A (zh) * 2018-12-06 2020-06-16 柯惠有限合伙公司 计算机生成的气道模型到气道树的可变形配准
CN110147586A (zh) * 2019-04-28 2019-08-20 江铃汽车股份有限公司 一种连杆组件linebore分析方法
CN113456225A (zh) * 2021-07-22 2021-10-01 皖南医学院第一附属医院（皖南医学院弋矶山医院） 一种气道管理导航方法及系统
CN113456225B (zh) * 2021-07-22 2022-03-29 皖南医学院第一附属医院（皖南医学院弋矶山医院） 一种气道管理导航方法及系统

Also Published As

Publication number Publication date
CN110101355A (zh) 2019-08-09
US20220378316A1 (en) 2022-12-01
EP3174449A1 (en) 2017-06-07
JP2017523836A (ja) 2017-08-24
JP2020157108A (ja) 2020-10-01
EP3174449B1 (en) 2024-02-28
KR20220065894A (ko) 2022-05-20
EP4328856A2 (en) 2024-02-28
US11445934B2 (en) 2022-09-20
KR20170038012A (ko) 2017-04-05
JP7072603B2 (ja) 2022-05-20
EP3174449A4 (en) 2018-05-30
JP6722652B2 (ja) 2020-07-15
WO2016018646A1 (en) 2016-02-04
CN106714656B (zh) 2019-05-28
US20170209071A1 (en) 2017-07-27

Similar Documents

Publication Publication Date Title
CN106714656B (zh) 用于术中分割的系统和方法
US11423542B2 (en) Systems and methods of registration for image-guided surgery
US20230301725A1 (en) Systems and methods of registration for image-guided procedures
EP3576598B1 (en) System of registration for image-guided procedures
CN106714724B (zh) 用于规划多个介入程序的系统和方法
US10373719B2 (en) Systems and methods for pre-operative modeling
CN108024693B (zh) 在图像引导医疗程序中利用跟踪的系统和方法
US11202680B2 (en) Systems and methods of registration for image-guided surgery
US20200008874A1 (en) Systems and methods for intelligently seeding registration
CN110087576A (zh) 用于在图像引导的程序中将细长装置配准到三维图像的系统和方法
CN107111684A (zh) 用于过滤局部化数据的系统和方法
CN108024838A (zh) 用于在图像引导手术中使用配准荧光透视图像的系统和方法
US11514591B2 (en) Systems and methods related to registration for image guided surgery
US20210267440A1 (en) Systems and methods for detecting an orientation of medical instruments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant