CN104540439A - 用于多个视觉系统的配准的系统和方法 - Google Patents

用于多个视觉系统的配准的系统和方法 Download PDF

Info

Publication number
CN104540439A
CN104540439A CN201380042174.8A CN201380042174A CN104540439A CN 104540439 A CN104540439 A CN 104540439A CN 201380042174 A CN201380042174 A CN 201380042174A CN 104540439 A CN104540439 A CN 104540439A
Authority
CN
China
Prior art keywords
virtual organization
organization structure
probe
true
anatomical regions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380042174.8A
Other languages
English (en)
Other versions
CN104540439B (zh
Inventor
T·赵
P·乔普拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Priority to CN201610837555.0A priority Critical patent/CN106562757B/zh
Publication of CN104540439A publication Critical patent/CN104540439A/zh
Application granted granted Critical
Publication of CN104540439B publication Critical patent/CN104540439B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/009—Flexible endoscopes with bending or curvature detection of the insertion part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/066—Superposing sensor position on an image of the patient, e.g. obtained by ultrasound or x-ray imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/062—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using magnetic field
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30021—Catheter; Guide wire

Abstract

一种方法包括生成解剖结构区域模型并且从位于解剖结构区域内的内窥镜图像捕获探针接收真实图像。该方法还包括识别真实图像中的真实基准区域并且识别解剖结构区域模型中的多个虚拟组织结构。该方法还包括将多个虚拟组织结构中的一个虚拟组织结构与真实基准区域进行匹配，并且根据多个虚拟组织结构中的匹配的一个虚拟组织结构确定内窥镜图像捕获探针的探针姿态。

Description

用于多个视觉系统的配准的系统和方法
技术领域
本公开涉及用于导航患者解剖结构以进行微创程序的系统和方法，并且更特别地涉及配准用于进行微创程序的多个视觉系统的系统和方法。
背景技术
微创医疗技术旨在减少在介入性程序期间被损伤的组织的量，由此减少患者恢复时间、不适以及有害副作用。这类微创技术可以通过患者解剖结构内的自然孔口或者通过一个或多个外科手术切口来执行。通过这些自然孔口或切口，临床医生可以插入介入性器械(包括外科手术器械、诊断器械、治疗器械或活检器械)以达到目标组织位置。为了达到目标组织位置，微创介入性器械可以导航在解剖结构系统(例如，肺、结肠、肠、肾、心脏、循环系统等)中的自然的或外科手术产生的通道中。多个系统可以被用于辅助临床医生引导介入性器械通过解剖结构通道。这些系统包括向临床医生显示来自介入性器械的视点的解剖结构通道的视图的可视化系统。需要改进的系统和方法以便利用多个可视化系统来增强临床医生对介入性器械的位置和姿态的理解。
发明内容
本发明的实施例由随附的权利要求概括。
在一个实施例中，一种方法包括生成解剖结构区域的模型并且从位于解剖结构区域内的内窥镜图像捕获探针接收真实图像。该方法还包括识别真实图像中的真实基准区域并且识别解剖结构区域的模型中的多个虚拟组织结构。该方法还包括将多个虚拟组织结构中的一个与真实基准区域进行匹配并且根据多个虚拟组织结构中的匹配的一个虚拟组织结构确定内窥镜图像捕获探针的探针姿态。
在另一实施例中，医疗系统包括柔性导管主体、在导管主体内延伸的图像捕获探针以及存储描述解剖结构区域的解剖结构数据的存储器。该系统还包括处理器，该处理器被配置为生成解剖结构区域的模型并且从位于解剖结构区域内的图像捕获探针接收真实图像。该处理器被进一步配置为识别真实图像中的真实基准区域并且识别解剖结构区域的模型中的多个虚拟组织结构。该处理器被进一步配置为将多个虚拟组织结构中的一个与真实基准区域进行匹配并且根据多个虚拟组织结构中的匹配的一个虚拟组织结构确定图像捕获探针的探针姿态。
一种配准解剖结构图像的方法，该方法包括生成解剖结构区域的三维模型并且从位于解剖结构区域内的内窥镜图像捕获探针接收真实图像。该方法进一步包括识别真实图像中的真实基准区域并且从方位传感器接收方位信息，该方位信息识别解剖结构区域中的探针的尖端所处的子区域。该方法进一步包括识别子区域中的多个虚拟组织结构、将子区域中的多个虚拟组织结构中的一个与真实基准区域进行匹配以及根据子区域中的多个虚拟组织结构中的匹配的一个虚拟组织结构确定内窥镜图像捕获探针的探针姿态。
附图说明
当与附图一起阅读时，从以下具体实施方式中更好地理解本公开的各方面。需要强调的是，根据行业标准惯例，各种特征没有按比例绘制。事实上，各种特征的尺寸可以被任意地增加或减少，以便清晰地讨论。此外，本公开可能在各个示例中重复参考编号和/或字母。这种重复是出于简化和清晰的目的，并且本身并不规定所讨论的各个实施例和/或配置之间的关系。
图1是根据本公开的实施例的机器人介入系统。
图2示出利用本公开的各方面的介入性器械系统。
图3a是来自肺部内的可视化器械的采样真实图像。
图3b是从图3a的真实图像中提取的组织结构的表示。
图3c和3d是从图3a的真实图像中提取的组织结构的分层表示。
图3e是描绘肺部的跟踪图像，微创器械被插入肺部内。
图3f是图3e的跟踪图像的子区域的放大视图。
图3g是显示真实图像、虚拟图像、微观跟踪图像以及宏观跟踪图像的示例性显示屏。
图4a-4d是示出配准多个可视化系统的方法的流程图。
具体实施方式
在本发明的各方面的以下具体实施方式中，陈述多个具体细节是为了彻底理解所公开的实施例。然而，对于本领域技术人员显而易见的是，本公开的实施例可以在没有这些具体细节的情况下被实施。在其他情况下，没有详细描述熟知的方法、程序、部件以及电路，以免不必要地掩盖本发明实施例的各方面。并且，为了避免不必要的描述性重复，当适用于其他说明性实施例时，根据一个说明性实施例描述的一个或多个部件或动作可以被使用或省略。
以下的实施例将依据各种器械和器械的各部分在三维空间中的状态来描述它们。如本文使用的，术语“方位”指代对象或对象的一部分在三维空间(例如，沿笛卡尔X、Y、Z坐标系的三个平移自由度)中的位置。如本文使用的，术语“取向”指代对象或对象的一部分的旋转布置(三个旋转自由度，例如滚动、俯仰和偏摆)。如本文使用的，术语“姿态”指代对象或对象的一部分在至少一个平移自由度中的方位以及对象或对象的一部分在至少一个旋转自由度中的取向(高达六个总的自由度)。如本文使用的，术语“形状”指代沿着对象测得的一组姿态、方位或取向。
参考附图中的图1，用在例如外科手术程序、诊断程序、治疗程序或活检程序中的机器人介入性系统总体由参考编号100指示。如图1所示，机器人系统100通常包括介入操纵器组件102，用于操作介入性器械104对患者P执行各种程序。组件102被安装到手术台O或者在手术台O附近。主控组件106允许外科医生S观察外科手术部位并且控制从动操纵器组件102。
主控组件106可以位于外科医生的控制台C，所述控制台通常位于与手术台O相同的房间内。然而应该理解，外科医生S可以位于与患者P不同的房间内或者完全不同的建筑内。主控组件106通常包括可选的支撑件108和控制操纵器组件102的一个或多个控制设备112。控制设备112可以包括任何数量的多种输入设备，例如操纵杆、追踪球、数据手套、触发枪、手操作控制器、声音识别设备、身体动作或存在传感器等。在一些实施例中，一个或多个控制设备112将被提供有与相关联的介入性器械104相同的自由度，以便向外科医生提供临场感(telepresence)，或者一个或多个控制设备112是与器械104一体的感觉，使得外科医生具有直接控制器械104的强烈感觉。在其他实施例中，(多个)控制设备112可以具有比相关联的介入性器械104更多或更少的自由度并且仍然向外科医生提供临场感。在一些实施例中，(多个)控制设备112是手动输入设备，其以六个自由度移动并且还可以包括用于致动器械(例如，用于关闭抓爪、对电极施加电势、输送药物处理等)的可致动手柄。
在替换实施例中，机器人系统可以包括多于一个从动操纵器组件和/或多于一个主控组件。操纵器组件的准确数量将取决于外科手术程序和手术室内的空间限制以及其他因素。主控组件可以是集中的，或者它们可以被定位在分开的位置。多个主控组件允许多于一个操作者以各种组合控制一个或多个从动操纵器组件。
可视化系统110可以包括内窥镜系统，使得外科手术部位的同步(实时)图像被提供给外科医生控制台C。同步图像可以是例如由位于外科手术部位内的内窥镜探针捕获的二维或三维图像。在该实施例中，可视化系统110包括可以被集成地或可移除地耦合到介入性器械104的内窥镜部件。然而，在替换实施例中，可以使用附连到单独的操纵器组件的单独的内窥镜来对外科手术部位进行成像。替换地，单独的内窥镜组件可以由用户直接操作，而无需机器人控制。内窥镜组件可以包括主动转向件(例如，经由遥控转向线)或被动转向件(例如，经由导向线或直接用户导向件)。可视化系统110可以被实施为硬件、固件、软件或其结合，它们与一个或多个计算机处理器交互，或者由一个或多个计算机处理器以其他方式执行，该计算机处理器可以包括控制系统116的(多个)处理器。
显示系统111可以显示由可视化系统110捕获的外科手术部位和介入性器械的图像。显示系统111和(多个)主控设备112可以被取向为使得内窥镜组件中的成像器件和介入性器械的相对方位类似于外科医生的眼睛和(多只)手的相对方位，所以操作者能够如同在基本真实的现场中观察工作空间一样，操纵介入性器械104和(多个)主控设备112。真实现场意味着所显示的组织图像对操作者来说看起来如同操作者身体存在于成像器位置并且从成像器的视角直接观察组织。
替换地或另外地，显示系统111可以使用成像技术来呈现手术前所记录和/或模拟的外科手术部位的图像，成像技术是例如计算机化层析X射线照相术(CT)、核磁共振成像(MRI)、X线透视检查、热敏成像、超声波、光学相干断层成像(OCT)、热成像、阻抗成像、激光成像、纳米管X射线成像等。所呈现的手术前图像可以包括二维、三维或四维(包括，例如基于时间或基于速度的信息)图像。
在一些实施例中，显示系统111可以显示如下虚拟可视化图像，在该图像中，介入性器械的真实位置与手术前图像或同步图像配准(例如，动态参考)，从而向外科医生S呈现外科手术器械的尖端的位置处的内部外科手术部位的虚拟图像。
在其他的实施例中，显示系统111可以显示如下虚拟可视化图像，在该图像中，介入性器械的真实位置与先前的图像(包括手术前记录的图像)或者同步图像配准，从而向外科医生S呈现外科手术部位处的介入性器械的虚拟图像。一部分介入性器械的图像可以被叠加在虚拟图像上，以便辅助外科医生控制介入性器械。
如图1中所示，控制系统116包括至少一个处理器(未示出)，并且通常为多个处理器，用于实现从动外科手术操纵器组件102、主控组件106、可视化系统101以及显示系统111之间的控制。控制系统116还可以包括编程指令(例如，计算机可读介质存储指令)以实施本文所述的某些或所有方法。虽然控制系统116在图1的简化示意图中被示为单个模块，但是该系统可以包括多个数据处理电路(例如，在从动外科手术操纵器组件102上和/或在主控组件106上)，其中至少一部分处理可选地邻近从动外科手术操纵器组件执行，一部分由主控组件执行等。可以采用任何各种集中式或分布式数据处理架构。类似地，编程指令可以被实施为多个单独的程序或子例程，或者它们可以被集成到本文所述的机器人系统的多个其他方面。在一个实施例中，控制系统116支持无线通信协议，例如蓝牙、IrDA、HomeRF、IEEE 802.11、DECT以及无线遥测。
在一些实施例中，控制系统116可以包括一个或多个伺服控制器，以便向(多个)控制设备112的一个或多个对应的伺服马达提供来自介入性器械104的力和扭矩反馈。(多个)伺服控制器还可以传输信号，这些信号指示操纵器组件102移动器械，器械经由身体的开口延伸进入患者身体内的外科手术部位中。可以使用任何合适的常规的或专门的伺服控制器。伺服控制器可以与操纵器组件102分开或集成。在一些实施例中，伺服控制器和操纵器组件被提供作为位于患者身体附近的机器人臂车的一部分。
每个操纵器组件102支持介入性器械104并且可以包括一个或多个非伺服受控连杆(例如，可以被手动定位并且锁定在适当位置的一个或多个连杆，通常被称为设置结构)和机器人操纵器的运动学结构。机器人操纵器组件102由多个致动器(例如，马达)驱动。这些马达响应于来自控制系统116的命令而主动移动机器人操纵器。马达进一步耦合到介入性器械，以便将介入性器械推进到自然的或外科手术产生的解剖结构孔口中，并且以多个自由度移动介入性器械的远端，多个自由度可以包括三个线性运动度(例如，沿着X、Y、Z笛卡尔轴线的线性运动)和三个旋转运动度(例如，围绕X、Y、Z笛卡尔轴线的旋转)。此外，马达可以被用于致动器械的可铰接末端执行器，以便将组织抓取在活检设备等的爪中。
图2示出利用本公开的多方面的微创系统200。该系统200可以被合并到诸如系统100的机器人介入性系统中。替换地，该系统200可以被用于非机器人探查程序，或者被用在涉及传统的手动操作的介入性器械(例如，腹腔镜检查器械)的程序中。系统200包括导管系统202(例如，器械104的一部分)，其通过接口单元204耦合到真实可视化系统206和跟踪系统208。导航系统210(例如，控制系统116的一部分)处理来自真实可视化系统206、跟踪系统208以及虚拟可视化系统212的信息，以便在显示系统214(例如，显示系统111的一部分)上显示。系统200可以进一步包括可选的操作和支持系统(未示出)，例如照明系统、转向控制系统、冲洗系统和/或抽吸系统。
导管系统202包括具有近端217和远端218的伸长柔性主体216。在一个实施例中，柔性主体216具有大约3mm的外直径。其他的柔性主体外直径可以更大或更小。柔性主体216容纳图像捕获探针220。图像捕获探针220包括带有立体或单视场摄像机222的尖端部分，该摄像机被设置在柔性主体216的远端218附近，用于捕获图像(包括视频图像)，这些图像被传输到真实可视化系统206并由其处理。图像捕获探针220还包括耦合到摄像机的电缆224，用于将捕获的图像数据传输到真实可视化系统206。替换地，图像捕获器械可以是耦合到成像系统的光纤束(例如，光纤镜)。图像捕获器械可以是单光谱的或多光谱的，例如，捕获可见光谱中的图像数据，或者捕获可见光谱以及红外或紫外光谱中的图像数据。
柔性主体216还容纳电缆、联动装置或者在接口204和尖端远端218之间延伸以便使远端218可控地弯曲或转向(例如，由虚线远端所示的)的其他转向控件。导管系统可以是可转向的，或者替换地可以是不可转向的，没有操作者控制器械弯曲的集成机构。柔性主体216可以进一步容纳控制机构(未示出)，用于操作外科手术末端执行器或可操纵用于医疗功能(例如，用于实现目标组织的预定处理)的另一工作远端零件。例如，某些末端执行器具有单个工作构件，例如解剖刀、刀片、光纤或电极。其他末端执行器可以包括成对或多个工作构件，例如镊子、抓紧器、剪刀或施夹器。电激活的末端执行器的示例包括电外科手术电极、换能器、传感器等。同样地或替换地，柔性主体216可以限定一个或多个管腔，介入性器械可以被部署通过其中并且被用于目标外科手术位置。
导管系统202可选地包括方位传感器系统226(例如，电磁(EM)传感器系统)和形状传感器系统228，用于确定远端218以及沿着柔性主体216的一个或多个区段230的方位、取向、速度、姿态和/或形状。在远端218和近端217之间的柔性主体216的整个长度可以被等效地划分成这些区段230。方位传感器系统226和形状传感器系统228与跟踪系统208接口连接。跟踪系统208可以被实施为硬件、固件、软件或其组合，它们与一个或多个计算机处理器交互，或者由一个或多个计算机处理器以其他方式执行，所述计算机处理器可以包括控制系统116的处理器。另外地或替换地，方位传感器系统可以耦合到探针220。例如，五个自由度的传感器可以在远端尖端附近耦合到探针220，而较大的六个自由度的传感器可以在更近端位置处耦合到导管。
方位传感器系统226可以是EM传感器系统，其包括一个或多个导电线圈，这些导电线圈可能经受外部生成的电磁场。于是，EM传感器系统226的每个线圈产生感应的电信号，其特性取决于线圈相对于外部生成的电磁场的方位和取向。在一个实施例中，EM传感器系统可以被配置并且定位以测量六个自由度(例如，三个方位坐标X、Y、Z以及指示基准点的俯仰、偏摆和滚动的三个取向角)。在1999年8月11日提交的、题为“Six-Degree of Freedom Tracking System Having aPassive Transponder on the Object Being Tracked”的美国专利6,380,732中提供了对EM传感器系统的进一步描述，该专利通过引用以其整体合并于此。
形状传感器系统228包括与柔性主体216对准的光纤(例如，被提供在内部通道内(未示出)，或者被安装在外部)。跟踪系统208可以耦合到光纤的近端。在一个实施例中，光纤具有大约200μm的直径。在其他实施例中，该尺寸可以更大或更小。
形状传感器系统228的光纤形成用于确定导管系统202的形状的光纤弯曲传感器。在一个替换例中，包含布拉格光纤光栅(FBG)的光纤被用于提供结构中的一个或多个维度上的应变测量。用于监测光纤在三个维度上的形状和相对方位的各种系统和方法在以下文献中进行了描述：2005年7月13日提交的、题为“Fiber optic position and shapesensing device and method relating thereto”的美国专利申请11/180,389；2004年7月16日提交的、题为“Fiber-optic shape and relative positionsensing”的美国临时专利申请60/588,336；以及1998年6月17日提交的、题为“Optical Fibre Bend Sensor”美国专利6,389,187，这些文献通过引用以其整体合并于此。在其它替换例中，采用其他应变感测技术(例如，瑞利散射、拉曼散射、布里渊散射以及荧光散射)的传感器可以是合适的。在其他替换实施例中，可以使用其他技术来确定导管的形状。例如，如果导管的远端尖端姿态的历史被存储的时间间隔小于刷新导航显示或交替运动(例如，吸气和呼气)的周期，则姿态历史可以被用于重新构造设备在时间间隔期间的形状。作为另一示例，可以针对器械的已知点沿交替运动(例如，呼吸)的周期存储历史姿态数据、方位数据或取向数据。这个存储的数据可以被用于开发关于导管的形状信息。替换地，沿着导管设置的一系列方位传感器，例如EM传感器，可以被用于形状感测。替换地，在程序期间来自器械上的方位传感器(例如，EM传感器)的数据的历史可以被用于表示器械的形状，特别是当解剖结构通道是基本静止时。替换地，方位或取向由外部磁场控制的无线器件可以被用于形状感测。其方位的历史可以被用于确定导航通道的形状。
在该实施例中，光纤可以包括在单个包层内的多个纤芯。每个纤芯可以是单模的，其具有足够距离，并且包层将纤芯分开，使得每个纤芯中的光不会与其他纤芯承载的光显著地相互作用。在其他实施例中，纤芯的数量可以变化，或者每个纤芯可以被包含在分开的光纤中。
在一些实施例中，在每个纤芯内提供FBG阵列。每个FBG包括对纤芯的折射率的一系列调制，以便按折射率生成空间周期性。间距可以被选择为使得对于窄波长带，来自每个折射率变化的部分反射相干叠加，并且因此仅仅反射这个窄波长带，同时使更宽的带通过。在FBG的制造期间，调制被隔开已知的距离，由此导致已知波长带的反射。然而，当在纤芯上感应出应变时，调制的间距将改变，这取决于纤芯中的应变量。替换地，可以使用背散射或者随着光纤的弯曲而变化的其他光学现象来确定每个纤芯内的应变。
因此，为了测量应变，光被向下发送到光纤，并且测量返回光的特性。例如，FBG产生反射波长，该反射波长是光纤上的应变及其温度的函数。这种FBG技术在商业上可从各种来源得到，例如英国布拉克内尔的智能光纤有限公司(Smart Fibers Ltd.)。在2006年7月20日提交的、题为“Robotic Surgery System Including Position Sensors UsingFiber Bragg Gratings”的美国专利7,930,065中描述了将FBG技术用在机器人外科手术的方位传感器中，该专利通过引用以其整体合并于此。
当被应用到多芯光纤时，光纤的弯曲在纤芯上感应出应变，该应变能够通过监测每个纤芯中的波长偏移来测量。通过将两个或更多个纤芯离轴地设置在光纤中，光纤的弯曲在每个纤芯上感应出不同的应变。这些应变是局部的光纤弯曲度的函数。例如，包含FBG的纤芯区域如果位于光纤弯曲的点处，则能够由此被用于确定在这些点处的弯曲量。这些数据与FBG区域的已知间距结合，能够被用于重新构造光纤的形状。这种系统已经被弗吉尼亚州的布莱克斯堡的月神创新股份有限公司(Luna Innovations.Inc.)描述。
如所描述的，光纤被用于监测至少一部分导管系统202的形状。更具体地说，经过光纤的光由跟踪系统208处理，以便检测导管系统202的形状并且利用该信息来辅助外科手术程序。跟踪系统208可以包括用于生成和检测确定导管系统202的形状所使用的光的检测系统。该信息继而能够被用于确定其他的相关变量，例如介入性器械的零件的速度和加速度。通过实时获得这些变量中的一个或多个的准确测量值，控制器能够提高机器人介入性系统的准确度并且补偿驱动部件零件时引入的误差。该感测可以仅限于由机器人系统致动的自由度，或者可以被应用于被动自由度(例如，接头之间的刚性构件的非致动弯曲)和主动(器械的致动移动)自由度两者。
如先前描述的，真实可视化系统206处理从探针220接收的实时的真实图像。真实可视化系统206向临床医生提供关于探针的尖端的当前环境的有价值的信息，而不提供用于将导管导航到具体目标位置的方向性引导。而且，粘液、血液以及其他身体物质变得粘附到探针，从而导致阻碍了接收的真实图像。
虚拟可视化系统212提供额外的导航辅助。使用虚拟可视化系统的虚拟导航是基于参考所采集的数据集，该数据集与解剖结构通道的三维结构相关联。更具体地说，虚拟可视化系统212处理使用成像技术(例如，计算机化层析X射线照相术(CT)、核磁共振成像(MRI)、X线透视检查、热敏成像、超声波、光学相干断层成像术(OCT)、热成像、阻抗成像、激光成像、纳米管X线成像等)记录和/或模拟的外科手术部位的图像。软件被用于将所记录的图像转换成部分或全部解剖结构器官或解剖结构区域的二维或三维模型。该模型描述通道的各个位置和形状以及它们的连接性。用于生成模型的图像可以在手术前或者在临床程序期间被记录。在替换实施例中，虚拟可视化系统可以使用标准模型(即，不是特定患者的)或者标准模型和特定患者数据的混合型。该模型和由模型生成的任何虚拟图像可以表示在运动的一个或多个阶段期间(例如，在肺部的吸气/呼气循环期间)的可变形解剖结构区域的静态姿态。
在虚拟导航程序期间，可以使用传感器系统来计算器械相对于患者解剖结构的近似位置。可以跟踪该位置，以产生患者解剖结构的宏观层次的跟踪图像和患者解剖结构的虚拟内部图像。使用光纤传感器将介入性实施与手术前记录的外科手术图像(例如，来自虚拟可视化系统的那些图像)配准并且显示在一起的各种系统是已知的。例如，2011年5月13日提交的、题为“Medical System Providing DynamicRegistration of a Model of an Anatomical Structure for Image-GuidedSurgery”的美国专利申请13/107,562公开了一个这种系统，该专利申请通过引用以其整体合并于此。
然而，通常，单独使用传感器系统来配准探针的尖端和来自虚拟可视化系统的虚拟图像不是完全足够的。例如，传感器系统可能提供不充分的关于探针的尖端的方位和取向的信息。这可能导致虚拟可视化系统不正确地配准虚拟图像和探针的真实姿态，从而潜在地导致将探针不准确地放置在虚拟环境中(例如，将探针显示在气管树的错误分支)、用不准确的视角(例如，虚拟图像中并非与从真实可视化系统接收的实时真实图像对应的滚动角度)描绘虚拟图像、和/或各种其他与配准失配有关的效应。
在本公开的实施例中，来自真实可视化系统206和虚拟可视化系统212的信息(以及可选地，来自跟踪系统208的传感器信息)由导航系统210处理，以生成在方位和取向上均与真实可视化图像准确配准的虚拟可视化图像。为了实现虚拟图像与真实图像的准确配准，识别真实图像和虚拟图像中的共同特征和结构并且将其关联。两个图像的准确配准对于临床医生将导管导航到具体的目标位置可能是有用的，因为该配准传达了关于探针的尖端的真实方位和取向的信息。因此，临床医生不太可能将导管引导到非计划的位置，从而使消耗时间和潜在的有害回溯(backtracking)的需要最小。
图3a示出由例如真实可视化系统206捕获的支气管通道的采样真实图像270。可以使用诸如最大稳定极值区域(MSER)分析或其他二进制大对象提取技术的任何技术，可以从真实图像270中识别如图3b所描绘的组织结构(例如，管腔L1-L6和关联的分叉点)连同结构性方面(例如，管腔的位置、相对方位、尺寸、轮廓以及形状)。尽管将参考解剖结构通道分叉点，但是本公开的实施例不限于两个通道的接合点。应当理解，本公开的系统和方法可适用于具有两个或更多个分支的任何叉形，或者适用于任何其他可识别的组织结构。每个自然组织结构(例如，管腔L1-L6和关联的分叉点或者其他可识别的组织结构)可以被用作基准区域，从而提供自然基准结构以便配准到虚拟图像。
例如，如图3b所示，指示了管腔L1-L6的相对大小和形状，以及由管腔对L1和L2形成的分叉点相对于真实图像270的水平轴线HL的取向(即，角度A1)和相对于由管腔对L3和L4形成的分叉点的取向(即，角度A2)。可以从真实图像270提取不同的其他结构方面。注意到，在不同的实施例中，诸如图3b中所描绘的检测到的组织结构的图形表示可以不被渲染而显示，而在不同的其他实施例中，图形表示可以重叠在真实图像270上。
为了更高效地分析，还可以根据物理布置或层次来表征所识别的包括真实图像270中的(多个)组织结构的基准区域。例如，如图3c中所示，管腔L1-L6可以被组织成真实图像270中所示的解剖结构的树形结构表示。因此，管腔L1和L2从初始分叉点B1分支。接下来，因为在管腔L1内检测到管腔L3和L4，所以图3c示出管腔L3和L4在分叉点B1下游的分叉点B2处分支。同样地，管腔L5和L6在分叉点B1下游的分叉点B3处分支。
注意到，尽管出于示例性目的在图3c中描绘了节点分支线形图示，但是从真实图像270中提取的组织结构的分析表示可以采用任何图形的、数字的、符号的和/或数据库格式。进一步注意到，在一些实施例中，所提取的管腔的历史可以被维持以提供额外的信息，用于确定探针尖端的位置。例如，图3d示出图3c的树形结构补充有从之前的真实图像提取的管腔HL1-HL6和分叉点HB1-HB3，这些之前的真实图像是当患者解剖结构被横贯时由探针/可视化系统捕获的。
结合上面所描述的组织结构识别(同时、之前和/或之后)，从目标解剖结构的模型内定义潜在匹配模型组织结构的搜索空间。例如，图3e示出示例性跟踪图像251，其描绘了初始与微创器械(例如，导管系统202)的图像254配准的患者肺部模型252的二维视图。跟踪图像251可以由虚拟可视化系统(例如，212)生成。该器械202的图像254的初始配准可以基于方位传感器(例如EM传感器)和/或任何其他的方位间接指示(例如，运动学建模、形状感测、RF跟踪和/或路径历史等)。
然而，由于测量精度限制和解剖结构移动(例如，患者呼吸或响应于外科手术器械的组织变形)，所有这些方法将面临不准确性。例如，对于肺部252，使用胸部上的参考基准，由EM传感器提供的方位信息可以准确到大约+/-3mm。当考虑到肺部的运动时，误差可能增加到+/-10mm或者更多。这些误差可能导致器械的图像254变为被配准到肺部252的错误气管。
为了克服这种配准不确定性，可以将从真实图像270提取的组织结构与来自解剖结构的手术前模型的潜在对应组织结构进行比较，以识别模型和捕获的图像之间的最佳匹配。在一些实施例中，可以使用例如来自方位传感器系统226的信息来估计探针的尖端的方位。正如在图3e中所示，肺部模型252内的探针220的尖端的方位被估计为在子区域256内，在图3f中示出了详细的视图。
子区域256可以被定义为肺部模型252内与探针220的尖端在实际肺部解剖结构内的潜在方位对应的任何区域。例如，在一些实施例中，子区域256可以至少表示能够从传感器公差叠加(stackup)、解剖结构运动/变形和/或与探针220的尖端的方位关联的任何其他不确定性源预计的最大方位变化(注意到，这些叠加可以定义子区域256的最小边界，并且在一些实施例中，子区域256的实际边界可能超出那些最小边界)。在不同的其他实施例中，基于历史路径分析(即，跟踪当探针220被推进时所遇到的所有分叉点，以确定按顺序会遇到哪一个或多个分叉点)，子区域256可以表示与探针220的尖端关联的可能的组织结构(例如，分叉点)的范围(universe)。用于定义空间减少的子区域256的这些技术和其他技术可以单个使用，或者组合使用。
潜在地与从真实图像270提取的组织结构(如上所述)对应的模型组织结构于是能够从子区域256内的模型252提取。因此，子区域256的定义可以显著地降低这种模型组织结构提取的计算要求。例如，仅需要提取图3e中所示的那些分叉点280-292，而不是提取肺部模型252的每一个分叉点。接着，可以将这些候选组织结构(例如，分叉点280-292)与真实图像组织结构进行比较(例如，分叉点B1)。
在一些实施例中，通过对来自空间减少的子区域的候选组织结构与真实图像组织结构执行初始的“粗”匹配，以过滤明显不匹配的候选者，以此可以进一步提高计算效率。可以使用从真实图像和模型可容易辨别的结构性方面来执行这个粗匹配。如上所述，在肺部内，这种结构性方面可以包含管腔的位置、相对方位、尺寸、轮廓和/或形状等。
例如，如图3a和3b中所示，分叉点(B2和B3)在分叉点B1的两个管腔(分别为L1和L2)中是可见的。接下来参考图3e中所示的肺部模型子区域256，可以确定，在分叉点B1的每个管腔中可见下游分叉点的这个状况不能满足模型分叉点282，该模型分叉点282仅在其一个分支中展示出下游分叉点。因此，可以从候选组织结构的列表中消除模型分叉点282。出于类似的原因，还可以潜在地从候选组织结构的列表中消除模型分叉点284和292。以类似的方式，经由任何其他类型的基于结构性方面的过滤，可以进一步减小候选组织结构的列表。
接着，可以将满足上述结构性方面匹配标准的每个组织结构与在真实图像中所识别的真实图像结构进行更精确地比较。可以使用任何技术来确定真实图像和剩余候选组织结构之间的最佳匹配(相似性最大化)，例如迭代渲染和图像匹配(综合分析)、特征点云匹配和/或差分表面分析。
例如，使用综合分析，生成每个候选组织结构(例如，模型分叉点280、286、288以及290)的迭代渲染，其中每个渲染与捕获3D解剖结构模型的视图所要求的探针尖端姿态相关联。将这些迭代与从真实图像提取的组织结构(例如，从真实图像270提取的分叉点B1)进行比较，从而生成中间(interim)相似性度量，从这些中间相似性度量能够识别“最优”相似性度量。该最优相似性度量对应于最佳匹配真实图像组织结构的候选模型组织结构的视图。从每个候选模型组织结构的最优相似性度量中，可以选择最大的相似性度量，由此指示与真实图像组织结构对应的候选模型组织结构。于是，与该候选模型组织结构和最优相似性度量关联的探针尖端姿态可以被用于配准解剖结构模型，使得真实图像最佳匹配从虚拟摄像机探针尖端生成的虚拟图像。在替换实施例中，使用三维解剖结构模型的迭代渲染来与真实图像进行比较，而不提取组织结构。
能够计算相似性度量并且找到最优度量的方法有多种。在一个实施例中，最优算法将对每个候选组织结构进行迭代渲染并且计算与真实图像的相似性度量。在另一实施例中，最优算法进行层次图像渲染和相似性计算架构，在其中图像的分辨率被逐步增加，以使在正确的最优值处停止的可能性最大，并且抵抗相似性度量函数空间中的噪声。
配准程序可以被用于将与三维解剖结构模型关联的信息传递到真实图像。这个配准可以用各种方式图形表达。例如，在图3g中，(例如，在显示系统111中的)显示器300提供一组图像。真实视觉图像302与来自虚拟模型的配准的虚拟图像304一起显示。在配准图像中，虚拟图像304的管腔的大小和观察角度(包括滚动角度)与真实图像302对准。微观跟踪图像306被示为具有标记308，该标记308指示与肺部的二维模型配准的探针的尖端。宏观跟踪图像310被示为具有标记312，该标记312指示与肺部的三维模型配准的探针的尖端。真实图像和虚拟(模型)视图的各种其他组合将会是显而易见的。
在一个实施例中，配准的虚拟图像(或从其提取的特征，例如，轮廓、边缘、特征点、解剖结构标签)可以被重叠在真实图像上，其其中透明度随着图像匹配的质量而变化。在另一实施例中，配准的虚拟图像可以被显示为在真实图像上的画中画角落图像。在另一实施例中，在立体视图中，从配准的组织模型提取的导航提示(例如，计划方向上的字形指向、与目标的距离、局部直径、用于缩回的后视图摄像机视图等)被显示在真实视觉图像旁边或者之上。在又一实施例中，配准的真实图像被显示为3D气管树表面网格或体积渲染的显示上的横截面，以表明探针尖端的当前位置和取向。在另一实施例中，响应于自动触发或用户命令，可以打开或关闭真实图像上的重叠。
图4a示出例如上述的解剖结构模型配准方法的流程图。在“探针图像捕获”步骤410中，由成像系统，例如图像捕获探针220以及关联的真实可视化系统206，捕获患者解剖结构的真实图像(例如，图像270)。然后，在“解剖结构特征识别”步骤420中，从真实图像提取有关的组织结构，例如关于图3a和3b所述的。作为步骤420的一部分，可以确定提取的组织结构的结构性方面(例如，管腔的位置、相对方位、尺寸、轮廓以及形状)以及任何其他潜在的识别方面。
例如，图4b示出对“特征识别”步骤420的示例性方法的流程图，该示例性方法适用于分支解剖结构，例如肺部中的气管树或者肾脏中的动脉网。在“提取二进制大对象”步骤421中，可以在真实图像中检测各管腔(例如关于图3a和3b所描述的)，接着在“关联管腔结构”步骤422中确定同级(sibling)管腔(例如，形成分叉点的管腔)。最后，可以在“识别分叉点”步骤423中标记(例如，如图3c和3d中所示)并且表征(例如，如图3b中所示)检测到的分叉点。
返回到图4a，在“模型匹配空间求精”步骤430中，定义解剖结构模型中的潜在的匹配组织结构的初始数量。在一个实施例中，该初始定义可以按照图4c中的流程图所指示地执行。在“感测探针方位”步骤431中，使用仪器(例如，EM传感器、形状传感器和/或其他监测/跟踪元件)来生成成像系统(探针)尖端的方位和/或取向，并且基于感测到的信息，在“定义关注的子区域”步骤432中，将一部分解剖结构模型指定为潜在地包括探针尖端(例如，关于图3e所描述的)。接着，在“识别子区域中的模型分叉点”步骤433中，识别该关注的子区域内的模型组织结构(例如，关于图3f所描述的)。
如上所述，减少能够找到真实图像的模型中的最佳匹配的搜索空间可以显著地减少与该技术关联的计算负荷。返回到图4a，在“模型对应匹配”步骤440中，从初始模型候选匹配空间中滤除不可能的候选者，并且在“最佳匹配选择”步骤450中，选择剩余模型候选者中展示出与真实图像组织结构最匹配的一个。通过经由步骤420、430以及440缩小候选者匹配空间，与常规的暴力方法相比，显著减少了与匹配处理关联的计算负担(并且因此减少了时间)，同时维持或者甚至增加匹配准确度。
图4d示出用于步骤440和450的实施例的流程图，其将适用于分支解剖结构，例如肺部中的气管树或者肾脏中的动脉网。在“选择模型分叉点”步骤441中，选择候选模型组织结构(例如，图3e中所示的分叉点280-292)中的一个，并且在“与真实图像分叉点的特征比较”步骤442中，将该候选模型组织结构的结构性方面(例如，上面关于图3b所描述的)与真实图像组织结构的结构性方面进行比较。接着，在“在匹配阈值内”步骤443中，如果确定没有匹配是可能的，则处理回到步骤441，并且选择不同的候选模型组织结构。
然而，如果基于结构性比较，候选模型组织结构仍然是可行的候选者，则在“渲染迭代”步骤443中执行更精细的比较。出于示例性目的，在流程图中描绘了综合分析方法(如上所述)，在其中，在“渲染迭代”步骤451中迭代地修改候选模型组织结构(每次修改表示不同的虚拟摄像机姿态)，直到在“计算相似性度量”步骤452中最优化渲染相对(vis a vis)真实图像组织结构的相似性度量。
接着，在“额外的模型分叉点？”步骤453中，如果存在任何未检查的候选模型组织结构，则处理回到步骤441。否则，在“选择最高相似性”步骤454中，识别与最大相似性度量关联的候选模型组织结构。注意到，虽然出于示例性目的，针对候选模型组织结构描绘了一系列处理(即，在移到下一个候选模型组织结构之前，对单个候选组织结构执行步骤440和450)，但是在各种其他实施例中，步骤440和450可以被执行为批处理(即，对所有候选模型组织结构执行步骤440，然后对在步骤400中识别的所有适当候选模型组织结构执行步骤450)。
返回到图4a，接着在“真实图像-模型配准”步骤460中，在步骤450中被识别为具有最高相似性分数的候选模型组织结构被用于配准真实图像和解剖结构模型。在一个实施例中，可以根据与步骤450的输出关联的渲染/姿态信息(例如，在步骤454中识别的最高相似性度量渲染)生成所显示的虚拟环境(例如，图3g中所示的虚拟图像304)。在其他的实施例中，步骤460的配准允许探针方位和/或轨迹能够被映射到总体解剖结构的虚拟图像或真实图像上(例如，图3g中所示的微观跟踪图像306和/或宏观跟踪图像310)。
一旦真实图像和虚拟图像被配准并且计算出姿态偏移，则虚拟图像和姿态偏移可以被用于引导导管，而不使用真实图像。例如，当摄像机被移除时或者当真实视觉图像由于身体物质(例如，血液或粘液)变为阻挡时，对于临床医生引导探针和导管通过解剖结构通道来说，使用计算出的姿态估计和虚拟探针位置图像可以是有用的。在图像捕获探针被移除并且被替换为治疗器械(例如，药物输送装置)或者介入性器械(例如，活检装置)的程序期间，导管的姿态估计也可以是有用的。当通过导管进行进一步的程序时，知道导管的姿态和轨迹允许更大的精确度。
尽管在此已经针对遥控或手动操作的介入性系统描述了配准系统和方法，但是这些配准系统和方法将适用于要求准确的器械图像配准的各种医疗和非医疗器械中。
尽管本公开的系统和方法被阐述为用于肺部的连接支气管通道，但是它们也合适于在任何多种解剖结构系统(包括结肠、肠、肾脏、脑、心脏、循环系统等)中经由自然的或外科手术产生的连接通道对其他组织进行导航和处理。本公开的方法和实施例也合适于非介入性应用。
本发明的实施例中的一个或多个元件可以被实施在软件中以在计算机系统(例如，控制系统116)的处理器上执行。当被实施在软件中时，本发明的实施例的元件本质上是执行必要任务的代码段。程序或代码段可以被存储在处理器可读存储介质或器件上，这些程序或代码段可以借助体现在载波中的计算机数据信号经由传输介质或通信链路被下载。处理器可读存储器件可以包括能够存储信息的任何介质，包括光学介质、半导体介质以及磁介质。处理器可读存储器件示例包括电子电路；半导体器件、半导体存储器件、只读存储器(ROM)、闪存、可擦除可编程只读存储器(EPROM)；软盘、CD-ROM、光盘、硬盘或其他存储器件。代码段可以经由计算机网络(例如，因特网、内部网等)下载。
注意到，所呈现的过程和显示可以并非固有地与任何特定计算机或其他装置相关。各种这些系统所要求的结构将表现为权利要求中的元素。此外，本发明的实施例并非参考任何特定的编程语言进行描述。应当理解，各种编程语言可以被用于实施本文所描述的发明的教导。
虽然本发明的某些示例实施例已经被描述并且在附图中示出，但是应理解，这种实施例仅是说明性的，并不限制宽阔的本发明，并且本发明的这些实施例不限于所示并且描述的具体构造和布置，因为本领域技术人员可以想到各种其他修改。

Claims (27)

1.一种方法，其包括：
从位于解剖结构区域内的内窥镜图像捕获探针接收真实图像；
识别所述真实图像中的真实基准区域；
将所述真实基准区域与来自所述解剖结构区域的模型的多个虚拟组织结构中的一个虚拟组织结构进行匹配；以及
相对于所述解剖结构区域的所述模型，定位所述内窥镜图像捕获探针的尖端。
2.根据权利要求1所述的方法，其中定位包括根据所述多个虚拟组织结构中的匹配的一个虚拟组织结构确定所述内窥镜图像捕获探针的所述尖端的方位。
3.根据权利要求2所述的方法，其中定位包括根据所述多个虚拟组织结构中的匹配的一个虚拟组织结构确定所述内窥镜图像捕获探针的所述尖端的取向。
4.根据权利要求2所述的方法，其进一步包括显示来自所述解剖结构区域的所述模型的所述多个虚拟组织结构中的匹配的一个虚拟组织结构。
5.根据权利要求1所述的方法，其进一步包括：
从方位传感器系统接收方位信息，所述方位信息指示所述内窥镜图像捕获探针相对于所述解剖结构区域的方位。
6.根据权利要求5所述的方法，其中匹配所述真实基准区域包括识别所述多个虚拟组织结构中的位于所述模型的子区域内的第一子集，关于所述内窥镜图像捕获探针相对于所述解剖结构区域的所述方位，所述子区域对应于关注的区域。
7.根据权利要求6所述的方法，其中关于所述内窥镜图像捕获探针相对于所述解剖结构区域的所述方位，所述关注的区域由传感器公差叠加和预期的解剖结构动作中的至少一个定义。
8.根据权利要求6所述的方法，其中匹配所述真实基准区域进一步包括：
识别所述真实基准区域的一个或多个结构性方面；以及
识别所述多个虚拟组织结构的第二子集，
其中所述第一子集包括所述第二子集中的每一个，以及
其中所述虚拟组织结构的第二子集中的每一个包括所述真实基准区域的所述一个或多个结构性方面。
9.根据权利要求8所述的方法，其中所述真实基准区域包括一个或多个管腔，并且所述一个或多个结构性方面包括管腔位置、管腔取向、管腔尺寸、管腔轮廓、官腔解剖结构标签以及管腔形状中的至少一个。
10.根据权利要求8所述的方法，其中匹配所述真实基准区域进一步包括：
对于所述多个虚拟组织结构的所述第二子集中的每一个，计算指示与所述真实基准区域的匹配最接近的最优相似性度量；以及
通过识别所述第二子集中展示出指示与所述真实基准区域的匹配最接近的所述最优相似性度量，选择所述多个虚拟组织结构中的所述匹配的一个虚拟组织结构。
11.根据权利要求10所述的方法，其中计算所述相似性度量包括：
对于所述多个虚拟组织结构的所述第二子集中的每一个，迭代地渲染多个视图；
对于所述第二子集中的每一个的所述多个视图，计算指示与所述真实基准区域的匹配最接近的多个中间相似性度量；以及
对于第二子集的每一个，从所述多个中间相似性度量选择所述最优相似性度量。
12.根据权利要求1所述的方法，其进一步包括基于所述内窥镜图像捕获探针的所述尖端的定位，将所述解剖结构区域的所述模型与所述真实图像配准。
13.根据权利要求1所述的方法，其进一步包括：
从位于所述解剖结构区域内的导管主体中移除所述内窥镜图像捕获探针；以及
通过所述导管主体插入跟踪的介入性器械以进行程序。
14.根据权利要求1所述的方法，其中所述真实基准区域是解剖结构通道叉形。
15.根据权利要求1所述的方法，其中所述解剖结构区域包括肺部。
16.一种医疗系统，其包括：
大小被设计为在解剖结构区域内延伸的图像捕获探针；
处理器，其被配置为：
生成所述解剖结构区域的模型；
从位于所述解剖结构区域内的所述图像捕获探针接收真实图像；
识别所述真实图像中的真实基准区域；
识别所述解剖结构区域的模型中的多个虚拟组织结构；
将所述多个虚拟组织结构中的一个虚拟组织结构与所述真实组织结构匹配；以及
相对于所述解剖结构区域的所述模型，定位所述图像捕获探针的尖端。
17.根据权利要求16所述的医疗系统，其中定位包括根据所述多个虚拟组织结构中的匹配的一个虚拟组织结构确定所述内窥镜图像捕获探针的所述尖端的方位。
18.根据权利要求17所述的医疗系统，其中定位包括根据所述多个虚拟组织结构中的匹配的一个虚拟组织结构确定所述内窥镜图像捕获探针的所述尖端的取向。
19.根据权利要求17所述的医疗系统，其中所述处理器被进一步配置为根据所述解剖结构区域的所述模型生成所述多个虚拟组织结构中的所述匹配的一个虚拟组织结构的显示。
20.根据权利要求16所述的医疗系统，其进一步包括：
方位传感器系统，其中所述处理器被进一步配置为从所述方位传感器系统接收探针方位信息，并且基于所述探针方位信息定义所述模型中的子区域，
其中所述多个虚拟组织结构均位于所述子区域内。
21.根据权利要求20所述的医疗系统，其中所述处理器被进一步配置为：
识别所述真实基准区域的结构性方面；以及
识别所述多个虚拟组织结构中的匹配所述真实基准区域的所述结构性方面的子集。
22.根据权利要求21所述的医疗系统，其中所述处理器被进一步配置为：
对所述多个虚拟组织结构的所述子集中的每一个执行迭代渲染，以匹配所述真实基准图像；以及
基于所述迭代渲染，识别所述多个虚拟组织结构中的所述匹配的一个虚拟组织结构；
基于所述图像捕获探针的所述尖端的定位，将所述解剖结构区域的所述模型配准到所述真实图像。
23.根据权利要求16所述的医疗系统，其中所述处理器被进一步配置为基于所述图像捕获探针的所述尖端的定位，将所述解剖结构区域的所述模型配准到所述真实图像。
24.根据权利要求23所述的医疗系统，其进一步包括显示系统，用于基于所述图像捕获探针的所述尖端的定位来显示对所述多个虚拟组织结构中的所述匹配的一个虚拟组织结构的渲染。
25.根据权利要求16所述的医疗系统，其进一步包括：
大小被设计为接收所述图像捕获探针的柔性导管；以及
转向系统，用于使所述柔性导管的远端区域转向，其中所述柔性导管控制探针姿态。
26.根据权利要求25所述的医疗系统，其进一步包括控制系统，用于当所述图像捕获探针被移除时维持所述柔性导管的导管姿态。
27.根据权利要求25所述的医疗系统，其进一步包括被布置通过所述柔性导管的跟踪工具，其中参考所显示的虚拟可视化图像控制所述跟踪工具。
CN201380042174.8A 2012-08-14 2013-08-12 用于多个视觉系统的配准的系统和方法 Active CN104540439B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610837555.0A CN106562757B (zh) 2012-08-14 2013-08-12 用于多个视觉系统的配准的系统和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261682966P 2012-08-14 2012-08-14
US61/682,966 2012-08-14
PCT/US2013/054555 WO2014028394A1 (en) 2012-08-14 2013-08-12 Systems and methods for registration of multiple vision systems

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201610837555.0A Division CN106562757B (zh) 2012-08-14 2013-08-12 用于多个视觉系统的配准的系统和方法

Publications (2)

Publication Number Publication Date
CN104540439A true CN104540439A (zh) 2015-04-22
CN104540439B CN104540439B (zh) 2016-10-26

Family

ID=50100526

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201610837555.0A Active CN106562757B (zh) 2012-08-14 2013-08-12 用于多个视觉系统的配准的系统和方法
CN201380042174.8A Active CN104540439B (zh) 2012-08-14 2013-08-12 用于多个视觉系统的配准的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201610837555.0A Active CN106562757B (zh) 2012-08-14 2013-08-12 用于多个视觉系统的配准的系统和方法

Country Status (6)

Country Link
US (3) US10278615B2 (zh)
EP (2) EP3679881A1 (zh)
JP (2) JP6301332B2 (zh)
KR (2) KR102301021B1 (zh)
CN (2) CN106562757B (zh)
WO (1) WO2014028394A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104736085A (zh) * 2012-10-12 2015-06-24 直观外科手术操作公司 确定医疗器械在分支解剖结构中的位置
US9710921B2 (en) 2013-03-15 2017-07-18 Hansen Medical, Inc. System and methods for tracking robotically controlled medical instruments
CN107025643A (zh) * 2016-01-28 2017-08-08 王行环 一种窥镜下电外科发生器阻抗与图像智能识别系统
CN108366833A (zh) * 2015-12-25 2018-08-03 索尼公司 手术信息处理设备和方法
CN108836478A (zh) * 2017-04-25 2018-11-20 韦伯斯特生物官能(以色列)有限公司 侵入式手术在狭窄通道中的内窥镜视图
CN109766896A (zh) * 2018-11-26 2019-05-17 顺丰科技有限公司 一种相似度度量方法、装置、设备和存储介质
CN110832544A (zh) * 2017-10-13 2020-02-21 奥瑞斯健康公司 用于导航的基于图像的分支检测和映射
CN110831485A (zh) * 2017-03-21 2020-02-21 斯特赖克公司 使外科手术干预自动化的方法和系统
CN110944595A (zh) * 2017-06-28 2020-03-31 直观外科手术操作公司 用于将内窥镜图像投影到三维体积的系统和方法
CN111343357A (zh) * 2020-02-21 2020-06-26 广东快车科技股份有限公司 新型3d信息传送系统及传送方法
CN113100943A (zh) * 2020-12-31 2021-07-13 杭州堃博生物科技有限公司 生理通道内的导航处理方法、装置、系统、设备与介质
CN114452508A (zh) * 2021-10-20 2022-05-10 上海微创微航机器人有限公司 导管运动控制方法、介入手术系统、电子设备和存储介质
WO2023124978A1 (zh) * 2021-12-31 2023-07-06 杭州堃博生物科技有限公司 支气管镜导航方法、装置、设备及存储介质
WO2024050918A1 (zh) * 2022-09-06 2024-03-14 中国科学院自动化研究所 内窥镜定位方法、电子设备和非暂态计算机可读存储介质

Families Citing this family (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8218847B2 (en) 2008-06-06 2012-07-10 Superdimension, Ltd. Hybrid registration method
US11412998B2 (en) 2011-02-10 2022-08-16 Karl Storz Imaging, Inc. Multi-source medical display
US10674968B2 (en) * 2011-02-10 2020-06-09 Karl Storz Imaging, Inc. Adjustable overlay patterns for medical display
US10631712B2 (en) * 2011-02-10 2020-04-28 Karl Storz Imaging, Inc. Surgeon's aid for medical display
US11064955B2 (en) * 2011-03-31 2021-07-20 Koninklijke Philips N.V. Shape sensing assisted medical procedure
CN106562757B (zh) 2012-08-14 2019-05-14 直观外科手术操作公司 用于多个视觉系统的配准的系统和方法
WO2015165736A1 (en) * 2014-04-29 2015-11-05 Koninklijke Philips N.V. Device for determining a specific position of a catheter
KR20150128049A (ko) * 2014-05-08 2015-11-18 삼성전자주식회사 수술 로봇 및 그 제어방법
JP6323183B2 (ja) * 2014-06-04 2018-05-16 ソニー株式会社 画像処理装置および画像処理方法
US11188285B2 (en) 2014-07-02 2021-11-30 Covidien Lp Intelligent display
US9770216B2 (en) * 2014-07-02 2017-09-26 Covidien Lp System and method for navigating within the lung
US9633431B2 (en) 2014-07-02 2017-04-25 Covidien Lp Fluoroscopic pose estimation
CN106572834B (zh) 2014-07-02 2019-12-03 柯惠有限合伙公司 对准ct
US9603668B2 (en) 2014-07-02 2017-03-28 Covidien Lp Dynamic 3D lung map view for tool navigation inside the lung
JP6534193B2 (ja) * 2014-07-02 2019-06-26 コヴィディエン リミテッド パートナーシップ 実時間自動位置合わせフィードバック
US20160000414A1 (en) 2014-07-02 2016-01-07 Covidien Lp Methods for marking biopsy location
JP6722652B2 (ja) * 2014-07-28 2020-07-15 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 手術中のセグメンテーションについてのシステム及び方法
KR102328269B1 (ko) * 2014-10-23 2021-11-19 삼성전자주식회사 초음파 영상 장치 및 그 제어 방법
US9974525B2 (en) 2014-10-31 2018-05-22 Covidien Lp Computed tomography enhanced fluoroscopic system, device, and method of utilizing the same
WO2016080331A1 (ja) * 2014-11-17 2016-05-26 オリンパス株式会社 医療装置
JP6348078B2 (ja) * 2015-03-06 2018-06-27 富士フイルム株式会社 分岐構造判定装置、分岐構造判定装置の作動方法および分岐構造判定プログラム
US10674982B2 (en) 2015-08-06 2020-06-09 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
US10716525B2 (en) 2015-08-06 2020-07-21 Covidien Lp System and method for navigating to target and performing procedure on target utilizing fluoroscopic-based local three dimensional volume reconstruction
US10702226B2 (en) 2015-08-06 2020-07-07 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
JP2019511931A (ja) * 2015-12-29 2019-05-09 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 輪郭シグネチャを用いた手術画像獲得デバイスの位置合わせ
CN109982656B (zh) * 2016-06-30 2022-04-08 皇家飞利浦有限公司 采用光学位置感测的医学导航系统及其操作方法
CN109414180B (zh) * 2016-06-30 2022-01-07 直观外科手术操作公司 在图像引导程序期间以多种模式显示指导信息的图形用户界面
EP3478210B1 (en) 2016-06-30 2023-08-09 Intuitive Surgical Operations, Inc. Graphical user interface for displaying guidance information during an image-guided procedure
KR20230031371A (ko) 2016-11-02 2023-03-07 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 영상 안내식 수술을 위한 연속 정치 시스템 및 방법
KR102116164B1 (ko) 2017-02-03 2020-05-27 재단법인 아산사회복지재단 카테터의 센싱 정보를 이용한 심장의 3차원 매핑 시스템 및 방법
US11793579B2 (en) 2017-02-22 2023-10-24 Covidien Lp Integration of multiple data sources for localization and navigation
JP6745748B2 (ja) * 2017-03-16 2020-08-26 富士フイルム株式会社 内視鏡位置特定装置、その作動方法およびプログラム
WO2018175737A1 (en) 2017-03-22 2018-09-27 Intuitive Surgical Operations, Inc. Systems and methods for intelligently seeding registration
US11937880B2 (en) 2017-04-18 2024-03-26 Intuitive Surgical Operations, Inc. Graphical user interface for monitoring an image-guided procedure
US11350994B2 (en) * 2017-06-19 2022-06-07 Navlab Holdings Ii, Llc Surgery planning
US10575907B2 (en) * 2017-06-21 2020-03-03 Biosense Webster (Israel) Ltd. Registration with trajectory information with shape sensing
CN110234292A (zh) * 2017-06-23 2019-09-13 直观外科手术操作公司 用于在医疗程序期间导航到目标位置的系统和方法
US10699448B2 (en) 2017-06-29 2020-06-30 Covidien Lp System and method for identifying, marking and navigating to a target using real time two dimensional fluoroscopic data
US20210186460A1 (en) * 2017-08-16 2021-06-24 Covidien Lp Method of spatially locating points of interest during a surgical procedure
US10506991B2 (en) * 2017-08-31 2019-12-17 Biosense Webster (Israel) Ltd. Displaying position and optical axis of an endoscope in an anatomical image
EP3678583A4 (en) * 2017-09-08 2021-02-17 Covidien LP FUNCTIONAL IMAGING OF THE OPERATING FIELD WITH A MONITORED AUXILIARY CAMERA
US11317881B2 (en) 2017-09-11 2022-05-03 Faxitron Bioptics, Llc Imaging system with adaptive object magnification
CN111163697B (zh) 2017-10-10 2023-10-03 柯惠有限合伙公司 用于在荧光三维重构中识别和标记目标的系统和方法
JP7030530B2 (ja) 2018-01-12 2022-03-07 キヤノン株式会社 連続体ロボットの制御装置及びその制御方法、並びに、プログラム
US11224392B2 (en) 2018-02-01 2022-01-18 Covidien Lp Mapping disease spread
US10930064B2 (en) 2018-02-08 2021-02-23 Covidien Lp Imaging reconstruction system and method
US10905498B2 (en) 2018-02-08 2021-02-02 Covidien Lp System and method for catheter detection in fluoroscopic images and updating displayed position of catheter
US11364004B2 (en) 2018-02-08 2022-06-21 Covidien Lp System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
US11464576B2 (en) 2018-02-09 2022-10-11 Covidien Lp System and method for displaying an alignment CT
KR102014359B1 (ko) * 2018-02-20 2019-08-26 (주)휴톰 수술영상 기반 카메라 위치 제공 방법 및 장치
WO2019164275A1 (ko) * 2018-02-20 2019-08-29 (주)휴톰 수술도구 및 카메라의 위치 인식 방법 및 장치
CN111770716B (zh) * 2018-02-21 2023-12-01 奥林巴斯株式会社 医疗系统和医疗系统的控制方法
US20210259783A1 (en) * 2018-06-19 2021-08-26 Intuitive Surgical Operations, Inc. Systems and Methods Related to Registration for Image Guided Surgery
US11071591B2 (en) 2018-07-26 2021-07-27 Covidien Lp Modeling a collapsed lung using CT data
US11705238B2 (en) 2018-07-26 2023-07-18 Covidien Lp Systems and methods for providing assistance during surgery
CN108900815A (zh) * 2018-08-04 2018-11-27 广州高通影像技术有限公司 一种基于ar应用技术的智能内窥镜影像系统
CN109087695A (zh) * 2018-08-06 2018-12-25 广州高通影像技术有限公司 一种基于物联网的智能内窥镜影像的数据传输系统
US11944388B2 (en) 2018-09-28 2024-04-02 Covidien Lp Systems and methods for magnetic interference correction
US11877806B2 (en) * 2018-12-06 2024-01-23 Covidien Lp Deformable registration of computer-generated airway models to airway trees
US11045075B2 (en) 2018-12-10 2021-06-29 Covidien Lp System and method for generating a three-dimensional model of a surgical site
US11617493B2 (en) 2018-12-13 2023-04-04 Covidien Lp Thoracic imaging, distance measuring, surgical awareness, and notification system and method
US11801113B2 (en) 2018-12-13 2023-10-31 Covidien Lp Thoracic imaging, distance measuring, and notification system and method
ES2939882T3 (es) * 2018-12-26 2023-04-27 Hologic Inc Obtención de imágenes de tejido en presencia de líquido durante procedimiento de biopsia
US11357593B2 (en) 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
US11625825B2 (en) 2019-01-30 2023-04-11 Covidien Lp Method for displaying tumor location within endoscopic images
US11925333B2 (en) 2019-02-01 2024-03-12 Covidien Lp System for fluoroscopic tracking of a catheter to update the relative position of a target and the catheter in a 3D model of a luminal network
US11564751B2 (en) 2019-02-01 2023-01-31 Covidien Lp Systems and methods for visualizing navigation of medical devices relative to targets
US11744643B2 (en) 2019-02-04 2023-09-05 Covidien Lp Systems and methods facilitating pre-operative prediction of post-operative tissue function
US11819285B2 (en) 2019-04-05 2023-11-21 Covidien Lp Magnetic interference detection systems and methods
CN110111374B (zh) * 2019-04-29 2020-11-17 上海电机学院 基于分组阶梯式阈值判断的激光点云匹配方法
KR102177805B1 (ko) * 2019-05-29 2020-11-11 재단법인대구경북과학기술원 수술 항법 시스템
US11269173B2 (en) 2019-08-19 2022-03-08 Covidien Lp Systems and methods for displaying medical video images and/or medical 3D models
TWI762812B (zh) * 2019-08-30 2022-05-01 新視電科技有限公司 內視鏡與內視鏡設備及內視鏡的定位方法
US11864935B2 (en) 2019-09-09 2024-01-09 Covidien Lp Systems and methods for pose estimation of a fluoroscopic imaging device and for three-dimensional imaging of body structures
US11931111B2 (en) 2019-09-09 2024-03-19 Covidien Lp Systems and methods for providing surgical guidance
US11627924B2 (en) 2019-09-24 2023-04-18 Covidien Lp Systems and methods for image-guided navigation of percutaneously-inserted devices
CN110946552B (zh) * 2019-10-30 2022-04-08 南京航空航天大学 一种结合光谱和图像的宫颈癌前病变筛查方法
US11380060B2 (en) 2020-01-24 2022-07-05 Covidien Lp System and method for linking a segmentation graph to volumetric data
US11847730B2 (en) * 2020-01-24 2023-12-19 Covidien Lp Orientation detection in fluoroscopic images
US11950950B2 (en) 2020-07-24 2024-04-09 Covidien Lp Zoom detection and fluoroscope movement detection for target overlay
KR102628325B1 (ko) * 2021-07-29 2024-01-24 (주)휴톰 POI 정의 및 Phase 인식 기반의 실제 수술 영상과 3D 기반의 가상 모의 수술 영상을 정합하는 장치 및 방법
CN113456228B (zh) * 2021-08-05 2023-04-07 广东工业大学 辅助手术的组织辨识方法及系统
WO2023126216A1 (en) * 2021-12-30 2023-07-06 Koninklijke Philips N.V. Endobronchial probe tracking
EP4205690A1 (en) * 2021-12-30 2023-07-05 Koninklijke Philips N.V. Endobronchial probe tracking
CN116416414B (zh) * 2021-12-31 2023-09-22 杭州堃博生物科技有限公司 肺部支气管镜导航方法、电子装置及计算机可读存储介质
CN114332080B (zh) * 2022-03-04 2022-05-27 北京字节跳动网络技术有限公司 组织腔体的定位方法、装置、可读介质和电子设备
CN115281583B (zh) * 2022-09-26 2022-12-13 南京诺源医疗器械有限公司 一种用于医疗内窥拉曼光谱成像的导航系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1658789A (zh) * 2002-04-17 2005-08-24 超级测量有限公司 内窥镜结构和用于引导到分枝组织中一目标的技术
US20060281971A1 (en) * 2005-06-14 2006-12-14 Siemens Corporate Research Inc Method and apparatus for minimally invasive surgery using endoscopes
US20090292175A1 (en) * 2008-05-23 2009-11-26 Olympus Medical Systems Corp. Medical device
CN102186404A (zh) * 2008-10-20 2011-09-14 皇家飞利浦电子股份有限公司 基于图像的定位方法和系统
CN102341055A (zh) * 2008-12-31 2012-02-01 直观外科手术操作公司 用于定位图像中手术器械的基准标记设计和探测

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2114986A1 (en) 1993-02-08 1994-08-09 Robert T. Frankot Automatic subarea selection for image registration
US6380732B1 (en) 1997-02-13 2002-04-30 Super Dimension Ltd. Six-degree of freedom tracking system having a passive transponder on the object being tracked
GB9713018D0 (en) 1997-06-20 1997-08-27 Secr Defence Optical fibre bend sensor
WO2003070102A2 (en) 2002-02-15 2003-08-28 The Regents Of The University Of Michigan Lung nodule detection and classification
US7998062B2 (en) * 2004-03-29 2011-08-16 Superdimension, Ltd. Endoscope structures and techniques for navigating to a target in branched structure
US6892090B2 (en) * 2002-08-19 2005-05-10 Surgical Navigation Technologies, Inc. Method and apparatus for virtual endoscopy
WO2005000139A1 (en) * 2003-04-28 2005-01-06 Bracco Imaging Spa Surgical navigation imaging system
JP4365630B2 (ja) * 2003-07-01 2009-11-18 オリンパス株式会社 手術支援装置
JP4573517B2 (ja) 2003-10-29 2010-11-04 オリンパス株式会社 挿入支援システム
US7901348B2 (en) * 2003-12-12 2011-03-08 University Of Washington Catheterscope 3D guidance and interface system
US7772541B2 (en) 2004-07-16 2010-08-10 Luna Innnovations Incorporated Fiber optic position and/or shape sensing based on rayleigh scatter
US20060013523A1 (en) 2004-07-16 2006-01-19 Luna Innovations Incorporated Fiber optic position and shape sensing device and method relating thereto
WO2006078678A2 (en) * 2005-01-18 2006-07-27 Traxtal Inc. Method and apparatus for guiding an instrument to a target in the lung
US7889905B2 (en) 2005-05-23 2011-02-15 The Penn State Research Foundation Fast 3D-2D image registration method with application to continuously guided endoscopy
US7756563B2 (en) 2005-05-23 2010-07-13 The Penn State Research Foundation Guidance method based on 3D-2D pose estimation and 3D-CT registration with application to live bronchoscopy
US7646903B2 (en) * 2005-06-22 2010-01-12 Siemens Medical Solutions Usa, Inc. System and method for path based tree matching
JP4327139B2 (ja) 2005-09-05 2009-09-09 ザイオソフト株式会社 画像処理方法および画像処理プログラム
US7930065B2 (en) 2005-12-30 2011-04-19 Intuitive Surgical Operations, Inc. Robotic surgery system including position sensors using fiber bragg gratings
US20070179496A1 (en) * 2006-01-31 2007-08-02 Medtronic, Inc. Flexible catheter for ablation therapy
WO2007129493A1 (ja) 2006-05-02 2007-11-15 National University Corporation Nagoya University 医療画像観察支援装置
JP4822142B2 (ja) 2006-05-02 2011-11-24 国立大学法人名古屋大学 内視鏡挿入支援システム及び内視鏡挿入支援方法
AU2007254159B2 (en) * 2006-05-19 2013-07-04 Mako Surgical Corp. System and method for verifying calibration of a surgical device
US8672836B2 (en) * 2007-01-31 2014-03-18 The Penn State Research Foundation Method and apparatus for continuous guidance of endoscopy
EP2117436A4 (en) * 2007-03-12 2011-03-02 David Tolkowsky DEVICES AND METHODS FOR PERFORMING MEDICAL OPERATIONS IN ARBORESCENT LUMINUM STRUCTURES
JP4922107B2 (ja) * 2007-09-03 2012-04-25 オリンパスメディカルシステムズ株式会社 内視鏡装置
US8270694B2 (en) * 2008-04-23 2012-09-18 Aditya Koolwal Systems, methods and devices for correlating reference locations using image data
JP5613182B2 (ja) * 2009-03-06 2014-10-22 バイオ−ツリー システムズ， インコーポレイテッド 血管分析方法および装置
EP2230641B1 (de) * 2009-03-18 2016-06-29 Brainlab AG Verfahren zur Ermittlung der Lage einer Struktur in einem Körper
US8538109B2 (en) * 2009-03-18 2013-09-17 Siemens Aktiengesellschaft Method and system for dynamic pulmonary trunk modeling and intervention planning
CN102711650B (zh) 2010-01-13 2015-04-01 皇家飞利浦电子股份有限公司 用于内窥镜手术的基于图像整合的配准和导航
CN102883651B (zh) * 2010-01-28 2016-04-27 宾夕法尼亚州研究基金会 可应用于支气管镜引导的基于图像的全局配准系统和方法
WO2011102012A1 (ja) * 2010-02-22 2011-08-25 オリンパスメディカルシステムズ株式会社 医療機器
JP5535725B2 (ja) * 2010-03-31 2014-07-02 富士フイルム株式会社 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム
JP2012024518A (ja) * 2010-07-28 2012-02-09 Fujifilm Corp 内視鏡観察を支援する装置および方法、並びに、プログラム
JP5675227B2 (ja) 2010-08-31 2015-02-25 富士フイルム株式会社 内視鏡画像処理装置および作動方法、並びに、プログラム
WO2012035492A1 (en) * 2010-09-15 2012-03-22 Koninklijke Philips Electronics N.V. Robotic control of an endoscope from blood vessel tree images
US20130281821A1 (en) 2011-01-13 2013-10-24 Koninklijke Philips Electronics N.V. Intraoperative camera calibration for endoscopic surgery
US8900131B2 (en) 2011-05-13 2014-12-02 Intuitive Surgical Operations, Inc. Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
CN106562757B (zh) 2012-08-14 2019-05-14 直观外科手术操作公司 用于多个视觉系统的配准的系统和方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1658789A (zh) * 2002-04-17 2005-08-24 超级测量有限公司 内窥镜结构和用于引导到分枝组织中一目标的技术
US20060281971A1 (en) * 2005-06-14 2006-12-14 Siemens Corporate Research Inc Method and apparatus for minimally invasive surgery using endoscopes
US20090292175A1 (en) * 2008-05-23 2009-11-26 Olympus Medical Systems Corp. Medical device
JP2009279251A (ja) * 2008-05-23 2009-12-03 Olympus Medical Systems Corp 医療機器
CN102186404A (zh) * 2008-10-20 2011-09-14 皇家飞利浦电子股份有限公司 基于图像的定位方法和系统
CN102341055A (zh) * 2008-12-31 2012-02-01 直观外科手术操作公司 用于定位图像中手术器械的基准标记设计和探测

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104736085A (zh) * 2012-10-12 2015-06-24 直观外科手术操作公司 确定医疗器械在分支解剖结构中的位置
CN104736085B (zh) * 2012-10-12 2018-01-30 直观外科手术操作公司 确定医疗器械在分支解剖结构中的位置
US9710921B2 (en) 2013-03-15 2017-07-18 Hansen Medical, Inc. System and methods for tracking robotically controlled medical instruments
US10130345B2 (en) 2013-03-15 2018-11-20 Auris Health, Inc. System and methods for tracking robotically controlled medical instruments
US11129602B2 (en) 2013-03-15 2021-09-28 Auris Health, Inc. Systems and methods for tracking robotically controlled medical instruments
US10531864B2 (en) 2013-03-15 2020-01-14 Auris Health, Inc. System and methods for tracking robotically controlled medical instruments
CN108366833A (zh) * 2015-12-25 2018-08-03 索尼公司 手术信息处理设备和方法
CN108366833B (zh) * 2015-12-25 2021-10-12 索尼公司 手术信息处理设备和方法
CN107025643A (zh) * 2016-01-28 2017-08-08 王行环 一种窥镜下电外科发生器阻抗与图像智能识别系统
CN110831485A (zh) * 2017-03-21 2020-02-21 斯特赖克公司 使外科手术干预自动化的方法和系统
CN108836478A (zh) * 2017-04-25 2018-11-20 韦伯斯特生物官能(以色列)有限公司 侵入式手术在狭窄通道中的内窥镜视图
CN108836478B (zh) * 2017-04-25 2023-03-24 韦伯斯特生物官能(以色列)有限公司 侵入式手术在狭窄通道中的内窥镜视图
CN110944595B (zh) * 2017-06-28 2023-11-24 直观外科手术操作公司 用于将内窥镜图像数据集映射到三维体积上的系统
CN110944595A (zh) * 2017-06-28 2020-03-31 直观外科手术操作公司 用于将内窥镜图像投影到三维体积的系统和方法
CN110832544A (zh) * 2017-10-13 2020-02-21 奥瑞斯健康公司 用于导航的基于图像的分支检测和映射
US11850008B2 (en) 2017-10-13 2023-12-26 Auris Health, Inc. Image-based branch detection and mapping for navigation
CN109766896A (zh) * 2018-11-26 2019-05-17 顺丰科技有限公司 一种相似度度量方法、装置、设备和存储介质
CN111343357A (zh) * 2020-02-21 2020-06-26 广东快车科技股份有限公司 新型3d信息传送系统及传送方法
CN113100943A (zh) * 2020-12-31 2021-07-13 杭州堃博生物科技有限公司 生理通道内的导航处理方法、装置、系统、设备与介质
CN114452508A (zh) * 2021-10-20 2022-05-10 上海微创微航机器人有限公司 导管运动控制方法、介入手术系统、电子设备和存储介质
CN114452508B (zh) * 2021-10-20 2024-01-23 上海微创微航机器人有限公司 导管运动控制方法、介入手术系统、电子设备和存储介质
WO2023124978A1 (zh) * 2021-12-31 2023-07-06 杭州堃博生物科技有限公司 支气管镜导航方法、装置、设备及存储介质
WO2024050918A1 (zh) * 2022-09-06 2024-03-14 中国科学院自动化研究所 内窥镜定位方法、电子设备和非暂态计算机可读存储介质

Also Published As

Publication number Publication date
JP2018118068A (ja) 2018-08-02
US11219385B2 (en) 2022-01-11
US11896364B2 (en) 2024-02-13
KR102194463B1 (ko) 2020-12-23
KR102301021B1 (ko) 2021-09-13
EP2884879A4 (en) 2016-04-27
CN104540439B (zh) 2016-10-26
US20190209043A1 (en) 2019-07-11
JP6301332B2 (ja) 2018-03-28
US20220079467A1 (en) 2022-03-17
CN106562757B (zh) 2019-05-14
EP2884879B1 (en) 2020-01-08
KR20200143518A (ko) 2020-12-23
CN106562757A (zh) 2017-04-19
KR20150043245A (ko) 2015-04-22
US10278615B2 (en) 2019-05-07
WO2014028394A1 (en) 2014-02-20
EP2884879A1 (en) 2015-06-24
EP3679881A1 (en) 2020-07-15
US20140051986A1 (en) 2014-02-20
JP6736594B2 (ja) 2020-08-05
JP2015530903A (ja) 2015-10-29

Similar Documents

Publication Publication Date Title
US11896364B2 (en) Systems and methods for registration of multiple vision systems
JP7072603B2 (ja) 手術中のセグメンテーションについてのシステム及び方法
US20240090963A1 (en) Systems and methods of continuous registration for image-guided surgery
US20220071715A1 (en) Systems and methods of registration for image-guided surgery
US20220343504A1 (en) Systems and methods of registration for image-guided surgery
KR102503033B1 (ko) 화상 안내식 시술을 위한 정치 시스템 및 방법
US10373719B2 (en) Systems and methods for pre-operative modeling
US20170265952A1 (en) Systems and Methods for Planning Multiple Interventional Procedures
CN108024838A (zh) 用于在图像引导手术中使用配准荧光透视图像的系统和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant