CN106562757A - 用于多个视觉系统的配准的系统和方法 - Google Patents

用于多个视觉系统的配准的系统和方法 Download PDF

Info

Publication number
CN106562757A
CN106562757A CN201610837555.0A CN201610837555A CN106562757A CN 106562757 A CN106562757 A CN 106562757A CN 201610837555 A CN201610837555 A CN 201610837555A CN 106562757 A CN106562757 A CN 106562757A
Authority
CN
China
Prior art keywords
true
virtual organization
virtual
orientation
organization structure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610837555.0A
Other languages
English (en)
Other versions
CN106562757B (zh
Inventor
T·赵
P·乔普拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Publication of CN106562757A publication Critical patent/CN106562757A/zh
Application granted granted Critical
Publication of CN106562757B publication Critical patent/CN106562757B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/009—Flexible endoscopes with bending or curvature detection of the insertion part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; Determining position of diagnostic devices within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/066—Superposing sensor position on an image of the patient, e.g. obtained by ultrasound or x-ray imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; Determining position of diagnostic devices within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/062—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using magnetic field
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30021—Catheter; Guide wire

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Gynecology & Obstetrics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Endoscopes (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

一种方法包括生成解剖结构区域模型并且从位于解剖结构区域内的内窥镜图像捕获探针接收真实图像。该方法还包括识别真实图像中的真实基准区域并且识别解剖结构区域模型中的多个虚拟组织结构。该方法还包括将多个虚拟组织结构中的一个虚拟组织结构与真实基准区域进行匹配，并且根据多个虚拟组织结构中的匹配的一个虚拟组织结构确定内窥镜图像捕获探针的探针姿态。

Description

用于多个视觉系统的配准的系统和方法
本申请是于2013年8月12日提交的名称为“用于多个视觉系统的配准的系统和方法”的中国专利申请201380042174.8(PCT/US2013/054555)的分案申请。
技术领域
本公开涉及用于导航患者解剖结构以进行微创程序的系统和方法，并且更特别地涉及配准用于进行微创程序的多个视觉系统的系统和方法。
背景技术
微创医疗技术旨在减少在介入性程序期间被损伤的组织的量，由此减少患者恢复时间、不适以及有害副作用。这类微创技术可以通过患者解剖结构内的自然孔口或者通过一个或多个外科手术切口来执行。通过这些自然孔口或切口，临床医生可以插入介入性器械(包括外科手术器械、诊断器械、治疗器械或活检器械)以达到目标组织位置。为了达到目标组织位置，微创介入性器械可以导航在解剖结构系统(例如，肺、结肠、肠、肾、心脏、循环系统等)中的自然的或外科手术产生的通道中。多个系统可以被用于辅助临床医生引导介入性器械通过解剖结构通道。这些系统包括向临床医生显示来自介入性器械的视点的解剖结构通道的视图的可视化系统。需要改进的系统和方法以便利用多个可视化系统来增强临床医生对介入性器械的位置和姿态的理解。
发明内容
本发明的实施例由随附的权利要求概括。
在一个实施例中，一种方法包括生成解剖结构区域的模型并且从位于解剖结构区域内的内窥镜图像捕获探针接收真实图像。该方法还包括识别真实图像中的真实基准区域并且识别解剖结构区域的模型中的多个虚拟组织结构。该方法还包括将多个虚拟组织结构中的一个与真实基准区域进行匹配并且根据多个虚拟组织结构中的匹配的一个虚拟组织结构确定内窥镜图像捕获探针的探针姿态。
在另一实施例中，医疗系统包括柔性导管主体、在导管主体内延伸的图像捕获探针以及存储描述解剖结构区域的解剖结构数据的存储器。该系统还包括处理器，该处理器被配置为生成解剖结构区域的模型并且从位于解剖结构区域内的图像捕获探针接收真实图像。该处理器被进一步配置为识别真实图像中的真实基准区域并且识别解剖结构区域的模型中的多个虚拟组织结构。该处理器被进一步配置为将多个虚拟组织结构中的一个与真实基准区域进行匹配并且根据多个虚拟组织结构中的匹配的一个虚拟组织结构确定图像捕获探针的探针姿态。
一种配准解剖结构图像的方法，该方法包括生成解剖结构区域的三维模型并且从位于解剖结构区域内的内窥镜图像捕获探针接收真实图像。该方法进一步包括识别真实图像中的真实基准区域并且从方位传感器接收方位信息，该方位信息识别解剖结构区域中的探针的尖端所处的子区域。该方法进一步包括识别子区域中的多个虚拟组织结构、将子区域中的多个虚拟组织结构中的一个与真实基准区域进行匹配以及根据子区域中的多个虚拟组织结构中的匹配的一个虚拟组织结构确定内窥镜图像捕获探针的探针姿态。
附图说明
当与附图一起阅读时，从以下具体实施方式中更好地理解本公开的各方面。需要强调的是，根据行业标准惯例，各种特征没有按比例绘制。事实上，各种特征的尺寸可以被任意地增加或减少，以便清晰地讨论。此外，本公开可能在各个示例中重复参考编号和/或字母。这种重复是出于简化和清晰的目的，并且本身并不规定所讨论的各个实施例和/或配置之间的关系。
图1是根据本公开的实施例的机器人介入系统。
图2示出利用本公开的各方面的介入性器械系统。
图3a是来自肺部内的可视化器械的采样真实图像。
图3b是从图3a的真实图像中提取的组织结构的表示。
图3c和3d是从图3a的真实图像中提取的组织结构的分层表示。
图3e是描绘肺部的跟踪图像，微创器械被插入肺部内。
图3f是图3e的跟踪图像的子区域的放大视图。
图3g是显示真实图像、虚拟图像、微观跟踪图像以及宏观跟踪图像的示例性显示屏。
图4a-4d是示出配准多个可视化系统的方法的流程图。
具体实施方式
在本发明的各方面的以下具体实施方式中，陈述多个具体细节是为了彻底理解所公开的实施例。然而，对于本领域技术人员显而易见的是，本公开的实施例可以在没有这些具体细节的情况下被实施。在其他情况下，没有详细描述熟知的方法、程序、部件以及电路，以免不必要地掩盖本发明实施例的各方面。并且，为了避免不必要的描述性重复，当适用于其他说明性实施例时，根据一个说明性实施例描述的一个或多个部件或动作可以被使用或省略。
以下的实施例将依据各种器械和器械的各部分在三维空间中的状态来描述它们。如本文使用的，术语“方位”指代对象或对象的一部分在三维空间(例如，沿笛卡尔X、Y、Z坐标系的三个平移自由度)中的位置。如本文使用的，术语“取向”指代对象或对象的一部分的旋转布置(三个旋转自由度，例如滚动、俯仰和偏摆)。如本文使用的，术语“姿态”指代对象或对象的一部分在至少一个平移自由度中的方位以及对象或对象的一部分在至少一个旋转自由度中的取向(高达六个总的自由度)。如本文使用的，术语“形状”指代沿着对象测得的一组姿态、方位或取向。
参考附图中的图1，用在例如外科手术程序、诊断程序、治疗程序或活检程序中的机器人介入性系统总体由参考编号100指示。如图1所示，机器人系统100通常包括介入操纵器组件102，用于操作介入性器械104对患者P执行各种程序。组件102被安装到手术台O或者在手术台O附近。主控组件106允许外科医生S观察外科手术部位并且控制从动操纵器组件102。
主控组件106可以位于外科医生的控制台C，所述控制台通常位于与手术台O相同的房间内。然而应该理解，外科医生S可以位于与患者P不同的房间内或者完全不同的建筑内。主控组件106通常包括可选的支撑件108和控制操纵器组件102的一个或多个控制设备112。控制设备112可以包括任何数量的多种输入设备，例如操纵杆、追踪球、数据手套、触发枪、手操作控制器、声音识别设备、身体动作或存在传感器等。在一些实施例中，一个或多个控制设备112将被提供有与相关联的介入性器械104相同的自由度，以便向外科医生提供临场感(telepresence)，或者一个或多个控制设备112是与器械104一体的感觉，使得外科医生具有直接控制器械104的强烈感觉。在其他实施例中，(多个)控制设备112可以具有比相关联的介入性器械104更多或更少的自由度并且仍然向外科医生提供临场感。在一些实施例中，(多个)控制设备112是手动输入设备，其以六个自由度移动并且还可以包括用于致动器械(例如，用于关闭抓爪、对电极施加电势、输送药物处理等)的可致动手柄。
在替换实施例中，机器人系统可以包括多于一个从动操纵器组件和/或多于一个主控组件。操纵器组件的准确数量将取决于外科手术程序和手术室内的空间限制以及其他因素。主控组件可以是集中的，或者它们可以被定位在分开的位置。多个主控组件允许多于一个操作者以各种组合控制一个或多个从动操纵器组件。
可视化系统110可以包括内窥镜系统，使得外科手术部位的同步(实时)图像被提供给外科医生控制台C。同步图像可以是例如由位于外科手术部位内的内窥镜探针捕获的二维或三维图像。在该实施例中，可视化系统110包括可以被集成地或可移除地耦合到介入性器械104的内窥镜部件。然而，在替换实施例中，可以使用附连到单独的操纵器组件的单独的内窥镜来对外科手术部位进行成像。替换地，单独的内窥镜组件可以由用户直接操作，而无需机器人控制。内窥镜组件可以包括主动转向件(例如，经由遥控转向线)或被动转向件(例如，经由导向线或直接用户导向件)。可视化系统110可以被实施为硬件、固件、软件或其结合，它们与一个或多个计算机处理器交互，或者由一个或多个计算机处理器以其他方式执行，该计算机处理器可以包括控制系统116的(多个)处理器。
显示系统111可以显示由可视化系统110捕获的外科手术部位和介入性器械的图像。显示系统111和(多个)主控设备112可以被取向为使得内窥镜组件中的成像器件和介入性器械的相对方位类似于外科医生的眼睛和(多只)手的相对方位，所以操作者能够如同在基本真实的现场中观察工作空间一样，操纵介入性器械104和(多个)主控设备112。真实现场意味着所显示的组织图像对操作者来说看起来如同操作者身体存在于成像器位置并且从成像器的视角直接观察组织。
替换地或另外地，显示系统111可以使用成像技术来呈现手术前所记录和/或模拟的外科手术部位的图像，成像技术是例如计算机化层析X射线照相术(CT)、核磁共振成像(MRI)、X线透视检查、热敏成像、超声波、光学相干断层成像(OCT)、热成像、阻抗成像、激光成像、纳米管X射线成像等。所呈现的手术前图像可以包括二维、三维或四维(包括，例如基于时间或基于速度的信息)图像。
在一些实施例中，显示系统111可以显示如下虚拟可视化图像，在该图像中，介入性器械的真实位置与手术前图像或同步图像配准(例如，动态参考)，从而向外科医生S呈现外科手术器械的尖端的位置处的内部外科手术部位的虚拟图像。
在其他的实施例中，显示系统111可以显示如下虚拟可视化图像，在该图像中，介入性器械的真实位置与先前的图像(包括手术前记录的图像)或者同步图像配准，从而向外科医生S呈现外科手术部位处的介入性器械的虚拟图像。一部分介入性器械的图像可以被叠加在虚拟图像上，以便辅助外科医生控制介入性器械。
如图1中所示，控制系统116包括至少一个处理器(未示出)，并且通常为多个处理器，用于实现从动外科手术操纵器组件102、主控组件106、可视化系统101以及显示系统111之间的控制。控制系统116还可以包括编程指令(例如，计算机可读介质存储指令)以实施本文所述的某些或所有方法。虽然控制系统116在图1的简化示意图中被示为单个模块，但是该系统可以包括多个数据处理电路(例如，在从动外科手术操纵器组件102上和/或在主控组件106上)，其中至少一部分处理可选地邻近从动外科手术操纵器组件执行，一部分由主控组件执行等。可以采用任何各种集中式或分布式数据处理架构。类似地，编程指令可以被实施为多个单独的程序或子例程，或者它们可以被集成到本文所述的机器人系统的多个其他方面。在一个实施例中，控制系统116支持无线通信协议，例如蓝牙、IrDA、HomeRF、IEEE802.11、DECT以及无线遥测。
在一些实施例中，控制系统116可以包括一个或多个伺服控制器，以便向(多个)控制设备112的一个或多个对应的伺服马达提供来自介入性器械104的力和扭矩反馈。(多个)伺服控制器还可以传输信号，这些信号指示操纵器组件102移动器械，器械经由身体的开口延伸进入患者身体内的外科手术部位中。可以使用任何合适的常规的或专门的伺服控制器。伺服控制器可以与操纵器组件102分开或集成。在一些实施例中，伺服控制器和操纵器组件被提供作为位于患者身体附近的机器人臂车的一部分。
每个操纵器组件102支持介入性器械104并且可以包括一个或多个非伺服受控连杆(例如，可以被手动定位并且锁定在适当位置的一个或多个连杆，通常被称为设置结构)和机器人操纵器的运动学结构。机器人操纵器组件102由多个致动器(例如，马达)驱动。这些马达响应于来自控制系统116的命令而主动移动机器人操纵器。马达进一步耦合到介入性器械，以便将介入性器械推进到自然的或外科手术产生的解剖结构孔口中，并且以多个自由度移动介入性器械的远端，多个自由度可以包括三个线性运动度(例如，沿着X、Y、Z笛卡尔轴线的线性运动)和三个旋转运动度(例如，围绕X、Y、Z笛卡尔轴线的旋转)。此外，马达可以被用于致动器械的可铰接末端执行器，以便将组织抓取在活检设备等的爪中。
图2示出利用本公开的多方面的微创系统200。该系统200可以被合并到诸如系统100的机器人介入性系统中。替换地，该系统200可以被用于非机器人探查程序，或者被用在涉及传统的手动操作的介入性器械(例如，腹腔镜检查器械)的程序中。系统200包括导管系统202(例如，器械104的一部分)，其通过接口单元204耦合到真实可视化系统206和跟踪系统208。导航系统210(例如，控制系统116的一部分)处理来自真实可视化系统206、跟踪系统208以及虚拟可视化系统212的信息，以便在显示系统214(例如，显示系统111的一部分)上显示。系统200可以进一步包括可选的操作和支持系统(未示出)，例如照明系统、转向控制系统、冲洗系统和/或抽吸系统。
导管系统202包括具有近端217和远端218的伸长柔性主体216。在一个实施例中，柔性主体216具有大约3mm的外直径。其他的柔性主体外直径可以更大或更小。柔性主体216容纳图像捕获探针220。图像捕获探针220包括带有立体或单视场摄像机222的尖端部分，该摄像机被设置在柔性主体216的远端218附近，用于捕获图像(包括视频图像)，这些图像被传输到真实可视化系统206并由其处理。图像捕获探针220还包括耦合到摄像机的电缆224，用于将捕获的图像数据传输到真实可视化系统206。替换地，图像捕获器械可以是耦合到成像系统的光纤束(例如，光纤镜)。图像捕获器械可以是单光谱的或多光谱的，例如，捕获可见光谱中的图像数据，或者捕获可见光谱以及红外或紫外光谱中的图像数据。
柔性主体216还容纳电缆、联动装置或者在接口204和尖端远端218之间延伸以便使远端218可控地弯曲或转向(例如，由虚线远端所示的)的其他转向控件。导管系统可以是可转向的，或者替换地可以是不可转向的，没有操作者控制器械弯曲的集成机构。柔性主体216可以进一步容纳控制机构(未示出)，用于操作外科手术末端执行器或可操纵用于医疗功能(例如，用于实现目标组织的预定处理)的另一工作远端零件。例如，某些末端执行器具有单个工作构件，例如解剖刀、刀片、光纤或电极。其他末端执行器可以包括成对或多个工作构件，例如镊子、抓紧器、剪刀或施夹器。电激活的末端执行器的示例包括电外科手术电极、换能器、传感器等。同样地或替换地，柔性主体216可以限定一个或多个管腔，介入性器械可以被部署通过其中并且被用于目标外科手术位置。
导管系统202可选地包括方位传感器系统226(例如，电磁(EM)传感器系统)和形状传感器系统228，用于确定远端218以及沿着柔性主体216的一个或多个区段230的方位、取向、速度、姿态和/或形状。在远端218和近端217之间的柔性主体216的整个长度可以被等效地划分成这些区段230。方位传感器系统226和形状传感器系统228与跟踪系统208接口连接。跟踪系统208可以被实施为硬件、固件、软件或其组合，它们与一个或多个计算机处理器交互，或者由一个或多个计算机处理器以其他方式执行，所述计算机处理器可以包括控制系统116的处理器。另外地或替换地，方位传感器系统可以耦合到探针220。例如，五个自由度的传感器可以在远端尖端附近耦合到探针220，而较大的六个自由度的传感器可以在更近端位置处耦合到导管。
方位传感器系统226可以是EM传感器系统，其包括一个或多个导电线圈，这些导电线圈可能经受外部生成的电磁场。于是，EM传感器系统226的每个线圈产生感应的电信号，其特性取决于线圈相对于外部生成的电磁场的方位和取向。在一个实施例中，EM传感器系统可以被配置并且定位以测量六个自由度(例如，三个方位坐标X、Y、Z以及指示基准点的俯仰、偏摆和滚动的三个取向角)。在1999年8月11日提交的、题为“Six-Degree of FreedomTracking System Having a Passive Transponder on the Object Being Tracked”的美国专利6,380,732中提供了对EM传感器系统的进一步描述，该专利通过引用以其整体合并于此。
形状传感器系统228包括与柔性主体216对准的光纤(例如，被提供在内部通道内(未示出)，或者被安装在外部)。跟踪系统208可以耦合到光纤的近端。在一个实施例中，光纤具有大约200μm的直径。在其他实施例中，该尺寸可以更大或更小。
形状传感器系统228的光纤形成用于确定导管系统202的形状的光纤弯曲传感器。在一个替换例中，包含布拉格光纤光栅(FBG)的光纤被用于提供结构中的一个或多个维度上的应变测量。用于监测光纤在三个维度上的形状和相对方位的各种系统和方法在以下文献中进行了描述：2005年7月13日提交的、题为“Fiber optic position and shapesensing device and method relating thereto”的美国专利申请11/180,389；2004年7月16日提交的、题为“Fiber-optic shape and relative position sensing”的美国临时专利申请60/588,336；以及1998年6月17日提交的、题为“Optical Fibre Bend Sensor”美国专利6,389,187，这些文献通过引用以其整体合并于此。在其它替换例中，采用其他应变感测技术(例如，瑞利散射、拉曼散射、布里渊散射以及荧光散射)的传感器可以是合适的。在其他替换实施例中，可以使用其他技术来确定导管的形状。例如，如果导管的远端尖端姿态的历史被存储的时间间隔小于刷新导航显示或交替运动(例如，吸气和呼气)的周期，则姿态历史可以被用于重新构造设备在时间间隔期间的形状。作为另一示例，可以针对器械的已知点沿交替运动(例如，呼吸)的周期存储历史姿态数据、方位数据或取向数据。这个存储的数据可以被用于开发关于导管的形状信息。替换地，沿着导管设置的一系列方位传感器，例如EM传感器，可以被用于形状感测。替换地，在程序期间来自器械上的方位传感器(例如，EM传感器)的数据的历史可以被用于表示器械的形状，特别是当解剖结构通道是基本静止时。替换地，方位或取向由外部磁场控制的无线器件可以被用于形状感测。其方位的历史可以被用于确定导航通道的形状。
在该实施例中，光纤可以包括在单个包层内的多个纤芯。每个纤芯可以是单模的，其具有足够距离，并且包层将纤芯分开，使得每个纤芯中的光不会与其他纤芯承载的光显著地相互作用。在其他实施例中，纤芯的数量可以变化，或者每个纤芯可以被包含在分开的光纤中。
在一些实施例中，在每个纤芯内提供FBG阵列。每个FBG包括对纤芯的折射率的一系列调制，以便按折射率生成空间周期性。间距可以被选择为使得对于窄波长带，来自每个折射率变化的部分反射相干叠加，并且因此仅仅反射这个窄波长带，同时使更宽的带通过。在FBG的制造期间，调制被隔开已知的距离，由此导致已知波长带的反射。然而，当在纤芯上感应出应变时，调制的间距将改变，这取决于纤芯中的应变量。替换地，可以使用背散射或者随着光纤的弯曲而变化的其他光学现象来确定每个纤芯内的应变。
因此，为了测量应变，光被向下发送到光纤，并且测量返回光的特性。例如，FBG产生反射波长，该反射波长是光纤上的应变及其温度的函数。这种FBG技术在商业上可从各种来源得到，例如英国布拉克内尔的智能光纤有限公司(Smart Fibers Ltd.)。在2006年7月20日提交的、题为“Robotic Surgery System Including Position Sensors Using FiberBragg Gratings”的美国专利7,930,065中描述了将FBG技术用在机器人外科手术的方位传感器中，该专利通过引用以其整体合并于此。
当被应用到多芯光纤时，光纤的弯曲在纤芯上感应出应变，该应变能够通过监测每个纤芯中的波长偏移来测量。通过将两个或更多个纤芯离轴地设置在光纤中，光纤的弯曲在每个纤芯上感应出不同的应变。这些应变是局部的光纤弯曲度的函数。例如，包含FBG的纤芯区域如果位于光纤弯曲的点处，则能够由此被用于确定在这些点处的弯曲量。这些数据与FBG区域的已知间距结合，能够被用于重新构造光纤的形状。这种系统已经被弗吉尼亚州的布莱克斯堡的月神创新股份有限公司(Luna Innovations.Inc.)描述。
如所描述的，光纤被用于监测至少一部分导管系统202的形状。更具体地说，经过光纤的光由跟踪系统208处理，以便检测导管系统202的形状并且利用该信息来辅助外科手术程序。跟踪系统208可以包括用于生成和检测确定导管系统202的形状所使用的光的检测系统。该信息继而能够被用于确定其他的相关变量，例如介入性器械的零件的速度和加速度。通过实时获得这些变量中的一个或多个的准确测量值，控制器能够提高机器人介入性系统的准确度并且补偿驱动部件零件时引入的误差。该感测可以仅限于由机器人系统致动的自由度，或者可以被应用于被动自由度(例如，接头之间的刚性构件的非致动弯曲)和主动(器械的致动移动)自由度两者。
如先前描述的，真实可视化系统206处理从探针220接收的实时的真实图像。真实可视化系统206向临床医生提供关于探针的尖端的当前环境的有价值的信息，而不提供用于将导管导航到具体目标位置的方向性引导。而且，粘液、血液以及其他身体物质变得粘附到探针，从而导致阻碍了接收的真实图像。
虚拟可视化系统212提供额外的导航辅助。使用虚拟可视化系统的虚拟导航是基于参考所采集的数据集，该数据集与解剖结构通道的三维结构相关联。更具体地说，虚拟可视化系统212处理使用成像技术(例如，计算机化层析X射线照相术(CT)、核磁共振成像(MRI)、X线透视检查、热敏成像、超声波、光学相干断层成像术(OCT)、热成像、阻抗成像、激光成像、纳米管X线成像等)记录和/或模拟的外科手术部位的图像。软件被用于将所记录的图像转换成部分或全部解剖结构器官或解剖结构区域的二维或三维模型。该模型描述通道的各个位置和形状以及它们的连接性。用于生成模型的图像可以在手术前或者在临床程序期间被记录。在替换实施例中，虚拟可视化系统可以使用标准模型(即，不是特定患者的)或者标准模型和特定患者数据的混合型。该模型和由模型生成的任何虚拟图像可以表示在运动的一个或多个阶段期间(例如，在肺部的吸气/呼气循环期间)的可变形解剖结构区域的静态姿态。
在虚拟导航程序期间，可以使用传感器系统来计算器械相对于患者解剖结构的近似位置。可以跟踪该位置，以产生患者解剖结构的宏观层次的跟踪图像和患者解剖结构的虚拟内部图像。使用光纤传感器将介入性实施与手术前记录的外科手术图像(例如，来自虚拟可视化系统的那些图像)配准并且显示在一起的各种系统是已知的。例如，2011年5月13日提交的、题为“Medical System Providing Dynamic Registration of a Model of anAnatomical Structure for Image-Guided Surgery”的美国专利申请13/107,562公开了一个这种系统，该专利申请通过引用以其整体合并于此。
然而，通常，单独使用传感器系统来配准探针的尖端和来自虚拟可视化系统的虚拟图像不是完全足够的。例如，传感器系统可能提供不充分的关于探针的尖端的方位和取向的信息。这可能导致虚拟可视化系统不正确地配准虚拟图像和探针的真实姿态，从而潜在地导致将探针不准确地放置在虚拟环境中(例如，将探针显示在气管树的错误分支)、用不准确的视角(例如，虚拟图像中并非与从真实可视化系统接收的实时真实图像对应的滚动角度)描绘虚拟图像、和/或各种其他与配准失配有关的效应。
在本公开的实施例中，来自真实可视化系统206和虚拟可视化系统212的信息(以及可选地，来自跟踪系统208的传感器信息)由导航系统210处理，以生成在方位和取向上均与真实可视化图像准确配准的虚拟可视化图像。为了实现虚拟图像与真实图像的准确配准，识别真实图像和虚拟图像中的共同特征和结构并且将其关联。两个图像的准确配准对于临床医生将导管导航到具体的目标位置可能是有用的，因为该配准传达了关于探针的尖端的真实方位和取向的信息。因此，临床医生不太可能将导管引导到非计划的位置，从而使消耗时间和潜在的有害回溯(backtracking)的需要最小。
图3a示出由例如真实可视化系统206捕获的支气管通道的采样真实图像270。可以使用诸如最大稳定极值区域(MSER)分析或其他二进制大对象提取技术的任何技术，可以从真实图像270中识别如图3b所描绘的组织结构(例如，管腔L1-L6和关联的分叉点)连同结构性方面(例如，管腔的位置、相对方位、尺寸、轮廓以及形状)。尽管将参考解剖结构通道分叉点，但是本公开的实施例不限于两个通道的接合点。应当理解，本公开的系统和方法可适用于具有两个或更多个分支的任何叉形，或者适用于任何其他可识别的组织结构。每个自然组织结构(例如，管腔L1-L6和关联的分叉点或者其他可识别的组织结构)可以被用作基准区域，从而提供自然基准结构以便配准到虚拟图像。
例如，如图3b所示，指示了管腔L1-L6的相对大小和形状，以及由管腔对L1和L2形成的分叉点相对于真实图像270的水平轴线HL的取向(即，角度A1)和相对于由管腔对L3和L4形成的分叉点的取向(即，角度A2)。可以从真实图像270提取不同的其他结构方面。注意到，在不同的实施例中，诸如图3b中所描绘的检测到的组织结构的图形表示可以不被渲染而显示，而在不同的其他实施例中，图形表示可以重叠在真实图像270上。
为了更高效地分析，还可以根据物理布置或层次来表征所识别的包括真实图像270中的(多个)组织结构的基准区域。例如，如图3c中所示，管腔L1-L6可以被组织成真实图像270中所示的解剖结构的树形结构表示。因此，管腔L1和L2从初始分叉点B1分支。接下来，因为在管腔L1内检测到管腔L3和L4，所以图3c示出管腔L3和L4在分叉点B1下游的分叉点B2处分支。同样地，管腔L5和L6在分叉点B1下游的分叉点B3处分支。
注意到，尽管出于示例性目的在图3c中描绘了节点分支线形图示，但是从真实图像270中提取的组织结构的分析表示可以采用任何图形的、数字的、符号的和/或数据库格式。进一步注意到，在一些实施例中，所提取的管腔的历史可以被维持以提供额外的信息，用于确定探针尖端的位置。例如，图3d示出图3c的树形结构补充有从之前的真实图像提取的管腔HL1-HL6和分叉点HB1-HB3，这些之前的真实图像是当患者解剖结构被横贯时由探针/可视化系统捕获的。
结合上面所描述的组织结构识别(同时、之前和/或之后)，从目标解剖结构的模型内定义潜在匹配模型组织结构的搜索空间。例如，图3e示出示例性跟踪图像251，其描绘了初始与微创器械(例如，导管系统202)的图像254配准的患者肺部模型252的二维视图。跟踪图像251可以由虚拟可视化系统(例如，212)生成。该器械202的图像254的初始配准可以基于方位传感器(例如EM传感器)和/或任何其他的方位间接指示(例如，运动学建模、形状感测、RF跟踪和/或路径历史等)。
然而，由于测量精度限制和解剖结构移动(例如，患者呼吸或响应于外科手术器械的组织变形)，所有这些方法将面临不准确性。例如，对于肺部252，使用胸部上的参考基准，由EM传感器提供的方位信息可以准确到大约+/-3mm。当考虑到肺部的运动时，误差可能增加到+/-10mm或者更多。这些误差可能导致器械的图像254变为被配准到肺部252的错误气管。
为了克服这种配准不确定性，可以将从真实图像270提取的组织结构与来自解剖结构的手术前模型的潜在对应组织结构进行比较，以识别模型和捕获的图像之间的最佳匹配。在一些实施例中，可以使用例如来自方位传感器系统226的信息来估计探针的尖端的方位。正如在图3e中所示，肺部模型252内的探针220的尖端的方位被估计为在子区域256内，在图3f中示出了详细的视图。
子区域256可以被定义为肺部模型252内与探针220的尖端在实际肺部解剖结构内的潜在方位对应的任何区域。例如，在一些实施例中，子区域256可以至少表示能够从传感器公差叠加(stackup)、解剖结构运动/变形和/或与探针220的尖端的方位关联的任何其他不确定性源预计的最大方位变化(注意到，这些叠加可以定义子区域256的最小边界，并且在一些实施例中，子区域256的实际边界可能超出那些最小边界)。在不同的其他实施例中，基于历史路径分析(即，跟踪当探针220被推进时所遇到的所有分叉点，以确定按顺序会遇到哪一个或多个分叉点)，子区域256可以表示与探针220的尖端关联的可能的组织结构(例如，分叉点)的范围(universe)。用于定义空间减少的子区域256的这些技术和其他技术可以单个使用，或者组合使用。
潜在地与从真实图像270提取的组织结构(如上所述)对应的模型组织结构于是能够从子区域256内的模型252提取。因此，子区域256的定义可以显著地降低这种模型组织结构提取的计算要求。例如，仅需要提取图3e中所示的那些分叉点280-292，而不是提取肺部模型252的每一个分叉点。接着，可以将这些候选组织结构(例如，分叉点280-292)与真实图像组织结构进行比较(例如，分叉点B1)。
在一些实施例中，通过对来自空间减少的子区域的候选组织结构与真实图像组织结构执行初始的“粗”匹配，以过滤明显不匹配的候选者，以此可以进一步提高计算效率。可以使用从真实图像和模型可容易辨别的结构性方面来执行这个粗匹配。如上所述，在肺部内，这种结构性方面可以包含管腔的位置、相对方位、尺寸、轮廓和/或形状等。
例如，如图3a和3b中所示，分叉点(B2和B3)在分叉点B1的两个管腔(分别为L1和L2)中是可见的。接下来参考图3e中所示的肺部模型子区域256，可以确定，在分叉点B1的每个管腔中可见下游分叉点的这个状况不能满足模型分叉点282，该模型分叉点282仅在其一个分支中展示出下游分叉点。因此，可以从候选组织结构的列表中消除模型分叉点282。出于类似的原因，还可以潜在地从候选组织结构的列表中消除模型分叉点284和292。以类似的方式，经由任何其他类型的基于结构性方面的过滤，可以进一步减小候选组织结构的列表。
接着，可以将满足上述结构性方面匹配标准的每个组织结构与在真实图像中所识别的真实图像结构进行更精确地比较。可以使用任何技术来确定真实图像和剩余候选组织结构之间的最佳匹配(相似性最大化)，例如迭代渲染和图像匹配(综合分析)、特征点云匹配和/或差分表面分析。
例如，使用综合分析，生成每个候选组织结构(例如，模型分叉点280、286、288以及290)的迭代渲染，其中每个渲染与捕获3D解剖结构模型的视图所要求的探针尖端姿态相关联。将这些迭代与从真实图像提取的组织结构(例如，从真实图像270提取的分叉点B1)进行比较，从而生成中间(interim)相似性度量，从这些中间相似性度量能够识别“最优”相似性度量。该最优相似性度量对应于最佳匹配真实图像组织结构的候选模型组织结构的视图。从每个候选模型组织结构的最优相似性度量中，可以选择最大的相似性度量，由此指示与真实图像组织结构对应的候选模型组织结构。于是，与该候选模型组织结构和最优相似性度量关联的探针尖端姿态可以被用于配准解剖结构模型，使得真实图像最佳匹配从虚拟摄像机探针尖端生成的虚拟图像。在替换实施例中，使用三维解剖结构模型的迭代渲染来与真实图像进行比较，而不提取组织结构。
能够计算相似性度量并且找到最优度量的方法有多种。在一个实施例中，最优算法将对每个候选组织结构进行迭代渲染并且计算与真实图像的相似性度量。在另一实施例中，最优算法进行层次图像渲染和相似性计算架构，在其中图像的分辨率被逐步增加，以使在正确的最优值处停止的可能性最大，并且抵抗相似性度量函数空间中的噪声。
配准程序可以被用于将与三维解剖结构模型关联的信息传递到真实图像。这个配准可以用各种方式图形表达。例如，在图3g中，(例如，在显示系统111中的)显示器300提供一组图像。真实视觉图像302与来自虚拟模型的配准的虚拟图像304一起显示。在配准图像中，虚拟图像304的管腔的大小和观察角度(包括滚动角度)与真实图像302对准。微观跟踪图像306被示为具有标记308，该标记308指示与肺部的二维模型配准的探针的尖端。宏观跟踪图像310被示为具有标记312，该标记312指示与肺部的三维模型配准的探针的尖端。真实图像和虚拟(模型)视图的各种其他组合将会是显而易见的。
在一个实施例中，配准的虚拟图像(或从其提取的特征，例如，轮廓、边缘、特征点、解剖结构标签)可以被重叠在真实图像上，其其中透明度随着图像匹配的质量而变化。在另一实施例中，配准的虚拟图像可以被显示为在真实图像上的画中画角落图像。在另一实施例中，在立体视图中，从配准的组织模型提取的导航提示(例如，计划方向上的字形指向、与目标的距离、局部直径、用于缩回的后视图摄像机视图等)被显示在真实视觉图像旁边或者之上。在又一实施例中，配准的真实图像被显示为3D气管树表面网格或体积渲染的显示上的横截面，以表明探针尖端的当前位置和取向。在另一实施例中，响应于自动触发或用户命令，可以打开或关闭真实图像上的重叠。
图4a示出例如上述的解剖结构模型配准方法的流程图。在“探针图像捕获”步骤410中，由成像系统，例如图像捕获探针220以及关联的真实可视化系统206，捕获患者解剖结构的真实图像(例如，图像270)。然后，在“解剖结构特征识别”步骤420中，从真实图像提取有关的组织结构，例如关于图3a和3b所述的。作为步骤420的一部分，可以确定提取的组织结构的结构性方面(例如，管腔的位置、相对方位、尺寸、轮廓以及形状)以及任何其他潜在的识别方面。
例如，图4b示出对“特征识别”步骤420的示例性方法的流程图，该示例性方法适用于分支解剖结构，例如肺部中的气管树或者肾脏中的动脉网。在“提取二进制大对象”步骤421中，可以在真实图像中检测各管腔(例如关于图3a和3b所描述的)，接着在“关联管腔结构”步骤422中确定同级(sibling)管腔(例如，形成分叉点的管腔)。最后，可以在“识别分叉点”步骤423中标记(例如，如图3c和3d中所示)并且表征(例如，如图3b中所示)检测到的分叉点。
返回到图4a，在“模型匹配空间求精”步骤430中，定义解剖结构模型中的潜在的匹配组织结构的初始数量。在一个实施例中，该初始定义可以按照图4c中的流程图所指示地执行。在“感测探针方位”步骤431中，使用仪器(例如，EM传感器、形状传感器和/或其他监测/跟踪元件)来生成成像系统(探针)尖端的方位和/或取向，并且基于感测到的信息，在“定义关注的子区域”步骤432中，将一部分解剖结构模型指定为潜在地包括探针尖端(例如，关于图3e所描述的)。接着，在“识别子区域中的模型分叉点”步骤433中，识别该关注的子区域内的模型组织结构(例如，关于图3f所描述的)。
如上所述，减少能够找到真实图像的模型中的最佳匹配的搜索空间可以显著地减少与该技术关联的计算负荷。返回到图4a，在“模型对应匹配”步骤440中，从初始模型候选匹配空间中滤除不可能的候选者，并且在“最佳匹配选择”步骤450中，选择剩余模型候选者中展示出与真实图像组织结构最匹配的一个。通过经由步骤420、430以及440缩小候选者匹配空间，与常规的暴力方法相比，显著减少了与匹配处理关联的计算负担(并且因此减少了时间)，同时维持或者甚至增加匹配准确度。
图4d示出用于步骤440和450的实施例的流程图，其将适用于分支解剖结构，例如肺部中的气管树或者肾脏中的动脉网。在“选择模型分叉点”步骤441中，选择候选模型组织结构(例如，图3e中所示的分叉点280-292)中的一个，并且在“与真实图像分叉点的特征比较”步骤442中，将该候选模型组织结构的结构性方面(例如，上面关于图3b所描述的)与真实图像组织结构的结构性方面进行比较。接着，在“在匹配阈值内”步骤443中，如果确定没有匹配是可能的，则处理回到步骤441，并且选择不同的候选模型组织结构。
然而，如果基于结构性比较，候选模型组织结构仍然是可行的候选者，则在“渲染迭代”步骤443中执行更精细的比较。出于示例性目的，在流程图中描绘了综合分析方法(如上所述)，在其中，在“渲染迭代”步骤451中迭代地修改候选模型组织结构(每次修改表示不同的虚拟摄像机姿态)，直到在“计算相似性度量”步骤452中最优化渲染相对(vis a vis)真实图像组织结构的相似性度量。
接着，在“额外的模型分叉点？”步骤453中，如果存在任何未检查的候选模型组织结构，则处理回到步骤441。否则，在“选择最高相似性”步骤454中，识别与最大相似性度量关联的候选模型组织结构。注意到，虽然出于示例性目的，针对候选模型组织结构描绘了一系列处理(即，在移到下一个候选模型组织结构之前，对单个候选组织结构执行步骤440和450)，但是在各种其他实施例中，步骤440和450可以被执行为批处理(即，对所有候选模型组织结构执行步骤440，然后对在步骤400中识别的所有适当候选模型组织结构执行步骤450)。
返回到图4a，接着在“真实图像-模型配准”步骤460中，在步骤450中被识别为具有最高相似性分数的候选模型组织结构被用于配准真实图像和解剖结构模型。在一个实施例中，可以根据与步骤450的输出关联的渲染/姿态信息(例如，在步骤454中识别的最高相似性度量渲染)生成所显示的虚拟环境(例如，图3g中所示的虚拟图像304)。在其他的实施例中，步骤460的配准允许探针方位和/或轨迹能够被映射到总体解剖结构的虚拟图像或真实图像上(例如，图3g中所示的微观跟踪图像306和/或宏观跟踪图像310)。
一旦真实图像和虚拟图像被配准并且计算出姿态偏移，则虚拟图像和姿态偏移可以被用于引导导管，而不使用真实图像。例如，当摄像机被移除时或者当真实视觉图像由于身体物质(例如，血液或粘液)变为阻挡时，对于临床医生引导探针和导管通过解剖结构通道来说，使用计算出的姿态估计和虚拟探针位置图像可以是有用的。在图像捕获探针被移除并且被替换为治疗器械(例如，药物输送装置)或者介入性器械(例如，活检装置)的程序期间，导管的姿态估计也可以是有用的。当通过导管进行进一步的程序时，知道导管的姿态和轨迹允许更大的精确度。
尽管在此已经针对遥控或手动操作的介入性系统描述了配准系统和方法，但是这些配准系统和方法将适用于要求准确的器械图像配准的各种医疗和非医疗器械中。
尽管本公开的系统和方法被阐述为用于肺部的连接支气管通道，但是它们也合适于在任何多种解剖结构系统(包括结肠、肠、肾脏、脑、心脏、循环系统等)中经由自然的或外科手术产生的连接通道对其他组织进行导航和处理。本公开的方法和实施例也合适于非介入性应用。
本发明的实施例中的一个或多个元件可以被实施在软件中以在计算机系统(例如，控制系统116)的处理器上执行。当被实施在软件中时，本发明的实施例的元件本质上是执行必要任务的代码段。程序或代码段可以被存储在处理器可读存储介质或器件上，这些程序或代码段可以借助体现在载波中的计算机数据信号经由传输介质或通信链路被下载。处理器可读存储器件可以包括能够存储信息的任何介质，包括光学介质、半导体介质以及磁介质。处理器可读存储器件示例包括电子电路；半导体器件、半导体存储器件、只读存储器(ROM)、闪存、可擦除可编程只读存储器(EPROM)；软盘、CD-ROM、光盘、硬盘或其他存储器件。代码段可以经由计算机网络(例如，因特网、内部网等)下载。
注意到，所呈现的过程和显示可以并非固有地与任何特定计算机或其他装置相关。各种这些系统所要求的结构将表现为权利要求中的元素。此外，本发明的实施例并非参考任何特定的编程语言进行描述。应当理解，各种编程语言可以被用于实施本文所描述的发明的教导。
虽然本发明的某些示例实施例已经被描述并且在附图中示出，但是应理解，这种实施例仅是说明性的，并不限制宽阔的本发明，并且本发明的这些实施例不限于所示并且描述的具体构造和布置，因为本领域技术人员可以想到各种其他修改。

Claims (10)

1.一种方法，其包括：
从位于解剖结构区域内的内窥镜图像捕获探针接收真实图像；
识别所述真实图像中的真实基准区域；
将所述真实基准区域与来自所述解剖结构区域的模型的多个虚拟组织结构中的一个虚拟组织结构进行匹配；以及
相对于所述解剖结构区域的所述模型，定位所述内窥镜图像捕获探针的尖端。
2.根据权利要求1所述的方法，其中定位包括根据所述多个虚拟组织结构中的匹配的一个虚拟组织结构确定所述内窥镜图像捕获探针的所述尖端的方位。
3.根据权利要求2所述的方法，其中定位包括根据所述多个虚拟组织结构中的匹配的一个虚拟组织结构确定所述内窥镜图像捕获探针的所述尖端的取向。
4.根据权利要求2所述的方法，其进一步包括显示来自所述解剖结构区域的所述模型的所述多个虚拟组织结构中的匹配的一个虚拟组织结构。
5.根据权利要求1所述的方法，其进一步包括：
从方位传感器系统接收方位信息，所述方位信息指示所述内窥镜图像捕获探针相对于所述解剖结构区域的方位。
6.根据权利要求5所述的方法，其中匹配所述真实基准区域包括识别所述多个虚拟组织结构中的位于所述模型的子区域内的第一子集，关于所述内窥镜图像捕获探针相对于所述解剖结构区域的所述方位，所述子区域对应于关注的区域。
7.根据权利要求6所述的方法，其中关于所述内窥镜图像捕获探针相对于所述解剖结构区域的所述方位，所述关注的区域由传感器公差叠加和预期的解剖结构动作中的至少一个定义。
8.根据权利要求6所述的方法，其中匹配所述真实基准区域进一步包括：
识别所述真实基准区域的一个或多个结构性方面；以及
识别所述多个虚拟组织结构的第二子集，
其中所述第一子集包括所述第二子集中的每一个，以及
其中所述虚拟组织结构的第二子集中的每一个包括所述真实基准区域的所述一个或多个结构性方面。
9.根据权利要求8所述的方法，其中所述真实基准区域包括一个或多个管腔，并且所述一个或多个结构性方面包括管腔位置、管腔取向、管腔尺寸、管腔轮廓、官腔解剖结构标签以及管腔形状中的至少一个。
10.根据权利要求8所述的方法，其中匹配所述真实基准区域进一步包括：
对于所述多个虚拟组织结构的所述第二子集中的每一个，计算指示与所述真实基准区域的匹配最接近的最优相似性度量；以及
通过识别所述第二子集中展示出指示与所述真实基准区域的匹配最接近的所述最优相似性度量，选择所述多个虚拟组织结构中的所述匹配的一个虚拟组织结构。
CN201610837555.0A 2012-08-14 2013-08-12 用于多个视觉系统的配准的系统和方法 Active CN106562757B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201261682966P 2012-08-14 2012-08-14
US61/682,966 2012-08-14
PCT/US2013/054555 WO2014028394A1 (en) 2012-08-14 2013-08-12 Systems and methods for registration of multiple vision systems
CN201380042174.8A CN104540439B (zh) 2012-08-14 2013-08-12 用于多个视觉系统的配准的系统和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201380042174.8A Division CN104540439B (zh) 2012-08-14 2013-08-12 用于多个视觉系统的配准的系统和方法

Publications (2)

Publication Number Publication Date
CN106562757A true CN106562757A (zh) 2017-04-19
CN106562757B CN106562757B (zh) 2019-05-14

Family

ID=50100526

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201380042174.8A Active CN104540439B (zh) 2012-08-14 2013-08-12 用于多个视觉系统的配准的系统和方法
CN201610837555.0A Active CN106562757B (zh) 2012-08-14 2013-08-12 用于多个视觉系统的配准的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201380042174.8A Active CN104540439B (zh) 2012-08-14 2013-08-12 用于多个视觉系统的配准的系统和方法

Country Status (6)

Country Link
US (4) US10278615B2 (zh)
EP (2) EP3679881A1 (zh)
JP (2) JP6301332B2 (zh)
KR (2) KR102301021B1 (zh)
CN (2) CN104540439B (zh)
WO (1) WO2014028394A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108900815A (zh) * 2018-08-04 2018-11-27 广州高通影像技术有限公司 一种基于ar应用技术的智能内窥镜影像系统
CN109087695A (zh) * 2018-08-06 2018-12-25 广州高通影像技术有限公司 一种基于物联网的智能内窥镜影像的数据传输系统
CN110111374A (zh) * 2019-04-29 2019-08-09 上海电机学院 基于分组阶梯式阈值判断的激光点云匹配方法
TWI762812B (zh) * 2019-08-30 2022-05-01 新視電科技有限公司 內視鏡與內視鏡設備及內視鏡的定位方法
CN115281583A (zh) * 2022-09-26 2022-11-04 南京诺源医疗器械有限公司 一种用于医疗内窥拉曼光谱成像的导航系统

Families Citing this family (106)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8218847B2 (en) 2008-06-06 2012-07-10 Superdimension, Ltd. Hybrid registration method
US10631712B2 (en) * 2011-02-10 2020-04-28 Karl Storz Imaging, Inc. Surgeon's aid for medical display
US11412998B2 (en) 2011-02-10 2022-08-16 Karl Storz Imaging, Inc. Multi-source medical display
US10674968B2 (en) * 2011-02-10 2020-06-09 Karl Storz Imaging, Inc. Adjustable overlay patterns for medical display
JP6195822B2 (ja) * 2011-03-31 2017-09-13 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 医療処置を支援する形状検出
KR102301021B1 (ko) 2012-08-14 2021-09-13 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 다중 비전 시스템의 정합을 위한 시스템 및 방법
JP6219396B2 (ja) 2012-10-12 2017-10-25 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 分岐した解剖学的構造における医療デバイスの位置決定
US9014851B2 (en) 2013-03-15 2015-04-21 Hansen Medical, Inc. Systems and methods for tracking robotically controlled medical instruments
WO2015134277A1 (en) 2014-03-05 2015-09-11 Faxitron Bioptics, Llc System and method for multi-axis imaging of specimens
BR112016025066A2 (pt) * 2014-04-29 2017-08-15 Koninklijke Philips Nv dispositivo, sistema, e método para determinar uma posição específica de uma extremidade distal de um cateter em uma estrutura anatômica, elemento de programa de computador para controlar um dispositivo, e mídia legível por computador
KR20150128049A (ko) * 2014-05-08 2015-11-18 삼성전자주식회사 수술 로봇 및 그 제어방법
JP6323183B2 (ja) * 2014-06-04 2018-05-16 ソニー株式会社 画像処理装置および画像処理方法
EP3164048B1 (en) 2014-07-02 2022-11-16 Covidien LP Real-time automatic registration feedback
JP6707036B2 (ja) 2014-07-02 2020-06-10 コヴィディエン リミテッド パートナーシップ アラインメント
US9770216B2 (en) * 2014-07-02 2017-09-26 Covidien Lp System and method for navigating within the lung
US9603668B2 (en) 2014-07-02 2017-03-28 Covidien Lp Dynamic 3D lung map view for tool navigation inside the lung
US11188285B2 (en) * 2014-07-02 2021-11-30 Covidien Lp Intelligent display
US20160000414A1 (en) * 2014-07-02 2016-01-07 Covidien Lp Methods for marking biopsy location
US9633431B2 (en) 2014-07-02 2017-04-25 Covidien Lp Fluoroscopic pose estimation
WO2016018646A1 (en) * 2014-07-28 2016-02-04 Intuitive Surgical Operations, Inc. Systems and methods for intraoperative segmentation
KR102328269B1 (ko) * 2014-10-23 2021-11-19 삼성전자주식회사 초음파 영상 장치 및 그 제어 방법
US9974525B2 (en) 2014-10-31 2018-05-22 Covidien Lp Computed tomography enhanced fluoroscopic system, device, and method of utilizing the same
JP6022133B2 (ja) * 2014-11-17 2016-11-09 オリンパス株式会社 医療装置
JP6348078B2 (ja) * 2015-03-06 2018-06-27 富士フイルム株式会社 分岐構造判定装置、分岐構造判定装置の作動方法および分岐構造判定プログラム
US10674982B2 (en) 2015-08-06 2020-06-09 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
US10716525B2 (en) 2015-08-06 2020-07-21 Covidien Lp System and method for navigating to target and performing procedure on target utilizing fluoroscopic-based local three dimensional volume reconstruction
US10702226B2 (en) 2015-08-06 2020-07-07 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
WO2017040977A1 (en) 2015-09-04 2017-03-09 Faxitron Bioptics, Llc Multi-axis specimen imaging device with embedded orientation markers
JP6657933B2 (ja) * 2015-12-25 2020-03-04 ソニー株式会社 医療用撮像装置及び手術ナビゲーションシステム
WO2017114828A1 (en) * 2015-12-29 2017-07-06 Koninklijke Philips N.V. Registration of a surgical image acquisition device using contour signatures
CN107025643A (zh) * 2016-01-28 2017-08-08 王行环 一种窥镜下电外科发生器阻抗与图像智能识别系统
WO2018002109A1 (en) * 2016-06-30 2018-01-04 Koninklijke Philips N.V. Medical navigation system employing optical position sensing and method of operation thereof
KR102420386B1 (ko) * 2016-06-30 2022-07-13 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 영상 안내식 시술 중에 복수의 모드에서 안내 정보를 디스플레이하기 위한 그래픽 사용자 인터페이스
US11819284B2 (en) 2016-06-30 2023-11-21 Intuitive Surgical Operations, Inc. Graphical user interface for displaying guidance information during an image-guided procedure
WO2018085287A1 (en) 2016-11-02 2018-05-11 Intuitive Surgical Operations, Inc. Systems and methods of continuous registration for image-guided surgery
KR102116164B1 (ko) 2017-02-03 2020-05-27 재단법인 아산사회복지재단 카테터의 센싱 정보를 이용한 심장의 3차원 매핑 시스템 및 방법
US11793579B2 (en) 2017-02-22 2023-10-24 Covidien Lp Integration of multiple data sources for localization and navigation
JP6745748B2 (ja) * 2017-03-16 2020-08-26 富士フイルム株式会社 内視鏡位置特定装置、その作動方法およびプログラム
WO2018175583A1 (en) * 2017-03-21 2018-09-27 Stryker Corporation Methods and systems to automate surgical interventions
EP3600112A4 (en) * 2017-03-22 2020-10-28 Intuitive Surgical Operations Inc. SYSTEMS AND PROCEDURES FOR INTELLIGENT SEEDING A REGISTRATION
CN110621252B (zh) 2017-04-18 2024-03-15 直观外科手术操作公司 用于监测图像引导程序的图形用户界面
US11026747B2 (en) * 2017-04-25 2021-06-08 Biosense Webster (Israel) Ltd. Endoscopic view of invasive procedures in narrow passages
US11350994B2 (en) * 2017-06-19 2022-06-07 Navlab Holdings Ii, Llc Surgery planning
US10575907B2 (en) * 2017-06-21 2020-03-03 Biosense Webster (Israel) Ltd. Registration with trajectory information with shape sensing
CN110234292A (zh) * 2017-06-23 2019-09-13 直观外科手术操作公司 用于在医疗程序期间导航到目标位置的系统和方法
US11583349B2 (en) 2017-06-28 2023-02-21 Intuitive Surgical Operations, Inc. Systems and methods for projecting an endoscopic image to a three-dimensional volume
US10699448B2 (en) 2017-06-29 2020-06-30 Covidien Lp System and method for identifying, marking and navigating to a target using real time two dimensional fluoroscopic data
CN111031957A (zh) * 2017-08-16 2020-04-17 柯惠有限合伙公司 在外科手术期间对感兴趣点空间定位的方法
US10506991B2 (en) * 2017-08-31 2019-12-17 Biosense Webster (Israel) Ltd. Displaying position and optical axis of an endoscope in an anatomical image
WO2019051019A1 (en) * 2017-09-08 2019-03-14 Covidien Lp FUNCTIONAL IMAGING OF OPERATIVE FIELD WITH AN AUXILIARY CAMERA FOLLOWED
EP3682228A4 (en) 2017-09-11 2021-06-16 Faxitron Bioptics, LLC ADAPTIVE OBJECT MAGNIFICATION IMAGING SYSTEM
CN111163697B (zh) 2017-10-10 2023-10-03 柯惠有限合伙公司 用于在荧光三维重构中识别和标记目标的系统和方法
US10555778B2 (en) * 2017-10-13 2020-02-11 Auris Health, Inc. Image-based branch detection and mapping for navigation
JP7030530B2 (ja) * 2018-01-12 2022-03-07 キヤノン株式会社 連続体ロボットの制御装置及びその制御方法、並びに、プログラム
US11224392B2 (en) 2018-02-01 2022-01-18 Covidien Lp Mapping disease spread
US10930064B2 (en) 2018-02-08 2021-02-23 Covidien Lp Imaging reconstruction system and method
US10905498B2 (en) 2018-02-08 2021-02-02 Covidien Lp System and method for catheter detection in fluoroscopic images and updating displayed position of catheter
US11364004B2 (en) 2018-02-08 2022-06-21 Covidien Lp System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
US11464576B2 (en) 2018-02-09 2022-10-11 Covidien Lp System and method for displaying an alignment CT
WO2019164275A1 (ko) * 2018-02-20 2019-08-29 (주)휴톰 수술도구 및 카메라의 위치 인식 방법 및 장치
KR102014359B1 (ko) * 2018-02-20 2019-08-26 (주)휴톰 수술영상 기반 카메라 위치 제공 방법 및 장치
JP6990292B2 (ja) 2018-02-21 2022-01-12 オリンパス株式会社 医療システムおよび医療システムの作動方法
CN112423652A (zh) * 2018-06-19 2021-02-26 直观外科手术操作公司 与用于图像引导外科手术的配准相关的系统和方法
US11071591B2 (en) 2018-07-26 2021-07-27 Covidien Lp Modeling a collapsed lung using CT data
US11705238B2 (en) 2018-07-26 2023-07-18 Covidien Lp Systems and methods for providing assistance during surgery
US11944388B2 (en) 2018-09-28 2024-04-02 Covidien Lp Systems and methods for magnetic interference correction
CN109766896B (zh) * 2018-11-26 2023-08-29 顺丰科技有限公司 一种相似度度量方法、装置、设备和存储介质
US11877806B2 (en) * 2018-12-06 2024-01-23 Covidien Lp Deformable registration of computer-generated airway models to airway trees
US11045075B2 (en) 2018-12-10 2021-06-29 Covidien Lp System and method for generating a three-dimensional model of a surgical site
US11801113B2 (en) 2018-12-13 2023-10-31 Covidien Lp Thoracic imaging, distance measuring, and notification system and method
US11617493B2 (en) 2018-12-13 2023-04-04 Covidien Lp Thoracic imaging, distance measuring, surgical awareness, and notification system and method
ES2939882T3 (es) * 2018-12-26 2023-04-27 Hologic Inc Obtención de imágenes de tejido en presencia de líquido durante procedimiento de biopsia
US11357593B2 (en) 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
US11625825B2 (en) 2019-01-30 2023-04-11 Covidien Lp Method for displaying tumor location within endoscopic images
US11564751B2 (en) 2019-02-01 2023-01-31 Covidien Lp Systems and methods for visualizing navigation of medical devices relative to targets
US11925333B2 (en) 2019-02-01 2024-03-12 Covidien Lp System for fluoroscopic tracking of a catheter to update the relative position of a target and the catheter in a 3D model of a luminal network
US11744643B2 (en) 2019-02-04 2023-09-05 Covidien Lp Systems and methods facilitating pre-operative prediction of post-operative tissue function
US11819285B2 (en) 2019-04-05 2023-11-21 Covidien Lp Magnetic interference detection systems and methods
KR102177805B1 (ko) * 2019-05-29 2020-11-11 재단법인대구경북과학기술원 수술 항법 시스템
US12089902B2 (en) 2019-07-30 2024-09-17 Coviden Lp Cone beam and 3D fluoroscope lung navigation
US12059281B2 (en) 2019-08-19 2024-08-13 Covidien Lp Systems and methods of fluoro-CT imaging for initial registration
US11269173B2 (en) 2019-08-19 2022-03-08 Covidien Lp Systems and methods for displaying medical video images and/or medical 3D models
US11931111B2 (en) 2019-09-09 2024-03-19 Covidien Lp Systems and methods for providing surgical guidance
US11864935B2 (en) 2019-09-09 2024-01-09 Covidien Lp Systems and methods for pose estimation of a fluoroscopic imaging device and for three-dimensional imaging of body structures
US11627924B2 (en) 2019-09-24 2023-04-18 Covidien Lp Systems and methods for image-guided navigation of percutaneously-inserted devices
CN110946552B (zh) * 2019-10-30 2022-04-08 南京航空航天大学 一种结合光谱和图像的宫颈癌前病变筛查方法
US12102298B2 (en) 2019-12-10 2024-10-01 Covidien Lp Lymphatic system tracking
US11847730B2 (en) * 2020-01-24 2023-12-19 Covidien Lp Orientation detection in fluoroscopic images
US11380060B2 (en) 2020-01-24 2022-07-05 Covidien Lp System and method for linking a segmentation graph to volumetric data
CN111343357A (zh) * 2020-02-21 2020-06-26 广东快车科技股份有限公司 新型3d信息传送系统及传送方法
US12121384B2 (en) 2020-03-31 2024-10-22 Hologic, Inc. Systems and methods for x-ray imaging tissue specimens
US12064191B2 (en) 2020-06-03 2024-08-20 Covidien Lp Surgical tool navigation using sensor fusion
US11950950B2 (en) 2020-07-24 2024-04-09 Covidien Lp Zoom detection and fluoroscope movement detection for target overlay
CN215192193U (zh) * 2020-12-31 2021-12-17 杭州堃博生物科技有限公司 体内导航装置、体内导航系统与医疗处理系统
KR102628325B1 (ko) * 2021-07-29 2024-01-24 (주)휴톰 POI 정의 및 Phase 인식 기반의 실제 수술 영상과 3D 기반의 가상 모의 수술 영상을 정합하는 장치 및 방법
CN113456228B (zh) * 2021-08-05 2023-04-07 广东工业大学 辅助手术的组织辨识方法及系统
CN114452508B (zh) * 2021-10-20 2024-01-23 上海微创微航机器人有限公司 导管运动控制方法、介入手术系统、电子设备和存储介质
EP4205690A1 (en) * 2021-12-30 2023-07-05 Koninklijke Philips N.V. Endobronchial probe tracking
WO2023126216A1 (en) * 2021-12-30 2023-07-06 Koninklijke Philips N.V. Endobronchial probe tracking
CN116416414B (zh) * 2021-12-31 2023-09-22 杭州堃博生物科技有限公司 肺部支气管镜导航方法、电子装置及计算机可读存储介质
CN116433874B (zh) * 2021-12-31 2024-07-30 杭州堃博生物科技有限公司 支气管镜导航方法、装置、设备及存储介质
KR102697147B1 (ko) * 2022-02-21 2024-08-21 주식회사 프로이드 개선된 수술용 내시경현미경의 영상 획득 시스템의 제어 방법
KR102697146B1 (ko) * 2022-02-21 2024-08-21 주식회사 프로이드 개선된 수술용 내시경현미경의 영상 획득 시스템
CN114332080B (zh) * 2022-03-04 2022-05-27 北京字节跳动网络技术有限公司 组织腔体的定位方法、装置、可读介质和电子设备
CN117710279A (zh) * 2022-09-06 2024-03-15 中国科学院自动化研究所 内窥镜定位方法、电子设备和非暂态计算机可读存储介质
CN118845228A (zh) * 2023-04-27 2024-10-29 深圳市精锋医疗科技股份有限公司 导管机器人及其配准方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5495540A (en) * 1993-02-08 1996-02-27 Hughes Aircraft Company Automatic subarea selection for image registration
CN1658789A (zh) * 2002-04-17 2005-08-24 超级测量有限公司 内窥镜结构和用于引导到分枝组织中一目标的技术
US20060149134A1 (en) * 2003-12-12 2006-07-06 University Of Washington Catheterscope 3D guidance and interface system
US20060281971A1 (en) * 2005-06-14 2006-12-14 Siemens Corporate Research Inc Method and apparatus for minimally invasive surgery using endoscopes
US20090252395A1 (en) * 2002-02-15 2009-10-08 The Regents Of The University Of Michigan System and Method of Identifying a Potential Lung Nodule
WO2011086431A1 (en) * 2010-01-13 2011-07-21 Koninklijke Philips Electronics N.V. Image integration based registration and navigation for endoscopic surgery
US20110184238A1 (en) * 2010-01-28 2011-07-28 The Penn State Research Foundation Image-based global registration system and method applicable to bronchoscopy guidance
WO2012035492A1 (en) * 2010-09-15 2012-03-22 Koninklijke Philips Electronics N.V. Robotic control of an endoscope from blood vessel tree images

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6380732B1 (en) 1997-02-13 2002-04-30 Super Dimension Ltd. Six-degree of freedom tracking system having a passive transponder on the object being tracked
GB9713018D0 (en) 1997-06-20 1997-08-27 Secr Defence Optical fibre bend sensor
US7998062B2 (en) * 2004-03-29 2011-08-16 Superdimension, Ltd. Endoscope structures and techniques for navigating to a target in branched structure
US6892090B2 (en) * 2002-08-19 2005-05-10 Surgical Navigation Technologies, Inc. Method and apparatus for virtual endoscopy
US7491198B2 (en) * 2003-04-28 2009-02-17 Bracco Imaging S.P.A. Computer enhanced surgical navigation imaging system (camera probe)
JP4365630B2 (ja) * 2003-07-01 2009-11-18 オリンパス株式会社 手術支援装置
JP4573517B2 (ja) 2003-10-29 2010-11-04 オリンパス株式会社 挿入支援システム
US7772541B2 (en) 2004-07-16 2010-08-10 Luna Innnovations Incorporated Fiber optic position and/or shape sensing based on rayleigh scatter
US20060013523A1 (en) 2004-07-16 2006-01-19 Luna Innovations Incorporated Fiber optic position and shape sensing device and method relating thereto
US8611983B2 (en) * 2005-01-18 2013-12-17 Philips Electronics Ltd Method and apparatus for guiding an instrument to a target in the lung
US9526587B2 (en) 2008-12-31 2016-12-27 Intuitive Surgical Operations, Inc. Fiducial marker design and detection for locating surgical instrument in images
US7889905B2 (en) 2005-05-23 2011-02-15 The Penn State Research Foundation Fast 3D-2D image registration method with application to continuously guided endoscopy
US7756563B2 (en) 2005-05-23 2010-07-13 The Penn State Research Foundation Guidance method based on 3D-2D pose estimation and 3D-CT registration with application to live bronchoscopy
US7646903B2 (en) * 2005-06-22 2010-01-12 Siemens Medical Solutions Usa, Inc. System and method for path based tree matching
JP4327139B2 (ja) 2005-09-05 2009-09-09 ザイオソフト株式会社 画像処理方法および画像処理プログラム
US7930065B2 (en) 2005-12-30 2011-04-19 Intuitive Surgical Operations, Inc. Robotic surgery system including position sensors using fiber bragg gratings
US20070179496A1 (en) * 2006-01-31 2007-08-02 Medtronic, Inc. Flexible catheter for ablation therapy
JP4899068B2 (ja) 2006-05-02 2012-03-21 国立大学法人名古屋大学 医療画像観察支援装置
WO2007129616A1 (ja) 2006-05-02 2007-11-15 National University Corporation Nagoya University 内視鏡挿入支援システム及び内視鏡挿入支援方法
CA2651782C (en) * 2006-05-19 2018-03-06 Mako Surgical Corp. System and method for verifying calibration of a surgical device
US8672836B2 (en) * 2007-01-31 2014-03-18 The Penn State Research Foundation Method and apparatus for continuous guidance of endoscopy
US8821376B2 (en) * 2007-03-12 2014-09-02 David Tolkowsky Devices and methods for performing medical procedures in tree-like luminal structures
JP4922107B2 (ja) * 2007-09-03 2012-04-25 オリンパスメディカルシステムズ株式会社 内視鏡装置
US8270694B2 (en) * 2008-04-23 2012-09-18 Aditya Koolwal Systems, methods and devices for correlating reference locations using image data
JP5188879B2 (ja) * 2008-05-23 2013-04-24 オリンパスメディカルシステムズ株式会社 医療機器
US20110282151A1 (en) * 2008-10-20 2011-11-17 Koninklijke Philips Electronics N.V. Image-based localization method and system
WO2010101660A2 (en) * 2009-03-06 2010-09-10 Bio-Tree Sytems, Inc. Vascular analysis methods and apparatus
EP2230641B1 (de) * 2009-03-18 2016-06-29 Brainlab AG Verfahren zur Ermittlung der Lage einer Struktur in einem Körper
US8538109B2 (en) * 2009-03-18 2013-09-17 Siemens Aktiengesellschaft Method and system for dynamic pulmonary trunk modeling and intervention planning
WO2010133982A2 (en) * 2009-05-18 2010-11-25 Koninklijke Philips Electronics, N.V. Marker-free tracking registration and calibration for em-tracked endoscopic system
CN102740755B (zh) * 2010-02-22 2015-04-22 奥林巴斯医疗株式会社 医疗设备
JP5535725B2 (ja) * 2010-03-31 2014-07-02 富士フイルム株式会社 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム
JP2012024518A (ja) * 2010-07-28 2012-02-09 Fujifilm Corp 内視鏡観察を支援する装置および方法、並びに、プログラム
JP5675227B2 (ja) * 2010-08-31 2015-02-25 富士フイルム株式会社 内視鏡画像処理装置および作動方法、並びに、プログラム
WO2012095755A1 (en) 2011-01-13 2012-07-19 Koninklijke Philips Electronics N.V. Intraoperative camera calibration for endoscopic surgery
US8900131B2 (en) 2011-05-13 2014-12-02 Intuitive Surgical Operations, Inc. Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
KR102301021B1 (ko) 2012-08-14 2021-09-13 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 다중 비전 시스템의 정합을 위한 시스템 및 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5495540A (en) * 1993-02-08 1996-02-27 Hughes Aircraft Company Automatic subarea selection for image registration
US20090252395A1 (en) * 2002-02-15 2009-10-08 The Regents Of The University Of Michigan System and Method of Identifying a Potential Lung Nodule
CN1658789A (zh) * 2002-04-17 2005-08-24 超级测量有限公司 内窥镜结构和用于引导到分枝组织中一目标的技术
US20060149134A1 (en) * 2003-12-12 2006-07-06 University Of Washington Catheterscope 3D guidance and interface system
US20060281971A1 (en) * 2005-06-14 2006-12-14 Siemens Corporate Research Inc Method and apparatus for minimally invasive surgery using endoscopes
WO2011086431A1 (en) * 2010-01-13 2011-07-21 Koninklijke Philips Electronics N.V. Image integration based registration and navigation for endoscopic surgery
US20110184238A1 (en) * 2010-01-28 2011-07-28 The Penn State Research Foundation Image-based global registration system and method applicable to bronchoscopy guidance
WO2012035492A1 (en) * 2010-09-15 2012-03-22 Koninklijke Philips Electronics N.V. Robotic control of an endoscope from blood vessel tree images

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
IVAN BRICAULT: "Registration of Real and CT-Derived Virtual Bronchoscopic Images to Assist", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108900815A (zh) * 2018-08-04 2018-11-27 广州高通影像技术有限公司 一种基于ar应用技术的智能内窥镜影像系统
CN109087695A (zh) * 2018-08-06 2018-12-25 广州高通影像技术有限公司 一种基于物联网的智能内窥镜影像的数据传输系统
CN110111374A (zh) * 2019-04-29 2019-08-09 上海电机学院 基于分组阶梯式阈值判断的激光点云匹配方法
TWI762812B (zh) * 2019-08-30 2022-05-01 新視電科技有限公司 內視鏡與內視鏡設備及內視鏡的定位方法
CN115281583A (zh) * 2022-09-26 2022-11-04 南京诺源医疗器械有限公司 一种用于医疗内窥拉曼光谱成像的导航系统
CN115281583B (zh) * 2022-09-26 2022-12-13 南京诺源医疗器械有限公司 一种用于医疗内窥拉曼光谱成像的导航系统

Also Published As

Publication number Publication date
US20190209043A1 (en) 2019-07-11
EP2884879B1 (en) 2020-01-08
JP6736594B2 (ja) 2020-08-05
EP2884879A4 (en) 2016-04-27
US11219385B2 (en) 2022-01-11
WO2014028394A1 (en) 2014-02-20
EP3679881A1 (en) 2020-07-15
JP2018118068A (ja) 2018-08-02
US10278615B2 (en) 2019-05-07
CN104540439A (zh) 2015-04-22
KR20200143518A (ko) 2020-12-23
KR102301021B1 (ko) 2021-09-13
JP2015530903A (ja) 2015-10-29
US20240252057A1 (en) 2024-08-01
KR102194463B1 (ko) 2020-12-23
US20220079467A1 (en) 2022-03-17
US20140051986A1 (en) 2014-02-20
KR20150043245A (ko) 2015-04-22
CN104540439B (zh) 2016-10-26
CN106562757B (zh) 2019-05-14
EP2884879A1 (en) 2015-06-24
JP6301332B2 (ja) 2018-03-28
US11896364B2 (en) 2024-02-13

Similar Documents

Publication Publication Date Title
CN106562757B (zh) 用于多个视觉系统的配准的系统和方法
US20220378316A1 (en) Systems and methods for intraoperative segmentation
US20240293189A1 (en) Systems and methods of registration for image-guided surgery
US20230301725A1 (en) Systems and methods of registration for image-guided procedures
KR102503033B1 (ko) 화상 안내식 시술을 위한 정치 시스템 및 방법
US10373719B2 (en) Systems and methods for pre-operative modeling
CN108024838A (zh) 用于在图像引导手术中使用配准荧光透视图像的系统和方法
CN110087576A (zh) 用于在图像引导的程序中将细长装置配准到三维图像的系统和方法
CN108024693A (zh) 在图像引导医疗程序中利用跟踪的系统和方法
CN107111684A (zh) 用于过滤局部化数据的系统和方法
CN107660134A (zh) 图像引导手术记录的系统和方法
CN106714724A (zh) 用于规划多个介入程序的系统和方法
CN115916088A (zh) 用于评估解剖模型的可配准性的系统和相关联方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant