CN116916847A - 用于基于图像的配准的系统及其相关方法 - Google Patents

用于基于图像的配准的系统及其相关方法 Download PDF

Info

Publication number
CN116916847A
CN116916847A CN202180095007.4A CN202180095007A CN116916847A CN 116916847 A CN116916847 A CN 116916847A CN 202180095007 A CN202180095007 A CN 202180095007A CN 116916847 A CN116916847 A CN 116916847A
Authority
CN
China
Prior art keywords
anatomical
model
medical instrument
landmark
registration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180095007.4A
Other languages
English (en)
Inventor
T•D•苏珀尔
K•X•普鲁克特尔
T·K·阿德巴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Publication of CN116916847A publication Critical patent/CN116916847A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00743—Type of operation; Specification of treatment sites
    • A61B2017/00809—Lung operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/303—Surgical robots specifically adapted for manipulations within body lumens, e.g. within lumen of gut, spine, or blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A61B2090/3735—Optical coherence tomography [OCT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A61B2090/3764—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT] with a rotating C-arm having a cone beam emitting source
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Abstract

本文公开了用于执行医疗程序的系统、方法和计算机程序产品。用于在解剖区域中执行医疗程序的系统包括被配置为插入解剖区域内的医疗器械，该医疗器械包括图像捕获装置。该系统可以包括与医疗器械相关联的方位传感器。该系统可以被配置为接收解剖区域的模型，并且获得来自图像捕获装置的图像数据和来自方位传感器的一组坐标点。该系统可以基于图像数据和坐标点来生成模型和解剖区域之间的配准。

Description

用于基于图像的配准的系统及其相关方法
相关申请的交叉引用
本申请要求2021年1月4日提交的美国临时申请63/133,739的权益和优先权，该申请通过引用以其整体并入本文。
本申请通过引用将题为“用于配准的基于图像的种子化和相关系统及方法(Image-Based Seeding for Registration and Associated Systems and Methods)”的PCT申请(案卷号P06373-WO)和题为“用于基于动态图像的定位的系统和相关方法(Systemsfor Dynamic Image-Based Localization and Associated Methods)”的PCT申请(案卷号P06375-WO)整体并入。
技术领域
本公开涉及用于生成用于医疗程序的配准的系统、方法和计算机程序产品。
背景技术
微创医疗技术旨在减少在医疗程序期间受损的组织的量，从而减少患者恢复时间、不适和有害的副作用。这种微创技术可以通过患者解剖结构中的自然孔口或通过一个或多个手术切口来执行。通过这些自然孔口或切口，操作者可以插入微创医疗工具以到达目标组织位置。微创医疗工具包括诸如治疗、诊断、活检和手术器械的器械。医疗工具可以插入解剖通道中，并朝向患者解剖结构内的感兴趣区域导航。可以使用解剖通道的图像来辅助导航。需要改进的系统和方法来精确地执行医疗工具和解剖通道的图像之间的配准。
发明内容
本文公开了用于执行医疗程序，包括生成用于医疗程序的配准的装置、系统、方法和计算机程序产品。在一些实施例中，用于在患者的解剖区域内执行医疗程序的系统包括被配置为插入解剖区域内的医疗器械，该医疗器械包括图像捕获装置。该系统还可以包括与医疗器械相关联的方位传感器。该系统可以进一步包括可操作地耦连到图像捕获装置和方位传感器的处理器，以及可操作地耦连到处理器的存储器。存储器可以存储指令，这些指令在由处理器执行时使系统执行包括以下操作的操作：接收解剖区域的三维(3D)模型；从图像捕获装置获得解剖区域的一部分的图像数据；并且基于图像数据来生成解剖区域的所述一部分的3D表示图。该操作还可以包括获得由方位传感器生成的一组坐标点，该坐标点的至少一部分是在医疗器械位于解剖区域的所述一部分处或附近时生成的。操作可以进一步包括基于3D表示图和一组坐标点来生成3D模型的参考系和医疗器械的参考系之间的配准。
在这些和其他实施例中，非暂时性的计算机可读介质可以存储指令，这些指令当由计算系统的一个或多个处理器执行时，使得计算系统执行包括以下操作的操作：接收解剖区域的3D模型；从解剖区域内的医疗器械携带的图像捕获装置获得解剖区域的一部分的一个或多个图像；并且基于一个或多个图像来生成解剖区域的所述一部分的3D重构。操作还可以包括获得由与医疗器械相关联的方位传感器生成的点云数据，点云数据的至少一部分是在医疗器械位于解剖区域的该一部分处或附近时生成的。操作可以进一步包括基于3D重构和点云数据集来生成3D模型的参考系和医疗器械的参考系之间的配准。
在这些和其他实施例中，一种方法可以包括：接收解剖区域的3D模型；从解剖区域内的医疗器械携带的图像捕获装置获得解剖区域的一部分的图像数据；基于图像数据来生成解剖区域的一部分的3D表示图；获得由与医疗器械相关联的方位传感器生成的一组坐标点，其中坐标点的至少一部分是在医疗器械位于解剖区域的一部分处或附近时生成的；并且基于3D表示图和一组坐标点来生成3D模型的参考系和医疗器械的参考系之间的配准。
在这些和进一步的实施例中，用于规划医疗程序的系统可以包括被配置为插入解剖区域内的医疗器械，该医疗器械包括图像捕获装置。该系统还可以包括与医疗器械相关联的方位传感器。该系统可以进一步包括可操作地耦连到图像捕获装置和方位传感器的处理器；以及可操作地耦连到处理器的存储器。存储器可以存储指令，这些指令在由处理器执行时使系统执行包括以下操作的操作：接收解剖区域的3D模型；从图像捕获装置获得解剖区域内的解剖界标的图像数据；并且基于图像数据来确定解剖界标与3D模型中的对应模型界标之间的关联。该操作还可以包括获得由方位传感器生成的一组坐标点，该坐标点的至少一部分是在医疗器械处于解剖界标处或附近时生成的。操作可以进一步包括至少部分地基于解剖界标和模型界标之间的关联来生成一组坐标点和3D模型之间的配准。
在这些和其他实施例中，非暂时性的计算机可读介质可以存储指令，这些指令当由计算系统的一个或多个处理器执行时，使得计算系统执行包括以下操作的操作：接收解剖区域的3D模型；从解剖区域内的医疗器械携带的图像捕获装置获得解剖区域内解剖界标的图像数据；并且基于图像数据来识别解剖界标与3D模型中的对应模型界标之间的匹配。该操作还可以包括获得由与医疗器械相关联的方位传感器生成的一组坐标点，该坐标点的至少一部分是在医疗器械处于解剖界标处或附近时生成的。操作可以进一步包括至少部分地基于解剖界标和模型界标之间的关联来生成一组坐标点和3D模型之间的配准。
在这些和其他实施例中，一种方法可以包括：接收解剖区域的3D模型；从解剖区域内的医疗器械携带的图像捕获装置获得解剖区域内解剖界标的图像数据；基于图像数据来确定解剖界标与3D模型中的对应模型界标之间的关联；获得由与医疗器械相关联的方位传感器生成的一组坐标点，其中坐标点的至少一部分是在医疗器械处于解剖界标处或附近时生成的；并且至少部分地基于解剖界标和模型界标之间的关联来生成一组坐标点和3D模型之间的配准。
附图说明
参考以下附图可以更好地理解本公开的许多方面。附图中的部件不一定是按比例绘制的。相反，重点放在清楚地说明本公开的原理上。附图不应被视为将本公开限于所描绘的特定实施例，而仅用于解释和理解。
图1是图示出根据本技术的各个实施例的用于生成医疗程序的配准的方法的流程图。
图2图示出了根据本技术的各个实施例的患者肺部气道内的解剖界标的示例。
图3图示出了根据本技术的各个实施例的包括多个成像位置的患者气道的一部分。
图4A-图4D图示出了根据本技术的各个实施例在图3的成像位置处获得的多个图像。
图5是图示出根据本技术的各个实施例的用于生成医疗程序的配准的另一方法的流程图。
图6A图示出了根据本技术的各个实施例的包括多个模型界标的患者气道的模型。
图6B-图6D图示出了根据本技术的各个实施例的可以与图6A的模型界标相关联的多个图像。
图7是根据本技术的各个实施例配置的机器人或远程操作医疗系统的示意图。
图8是根据本技术的各个实施例配置的操纵器组件、医疗器械系统和成像系统的示意图。
图9是根据本技术的各个实施例的在患者的解剖区域内延伸的图8的医疗器械系统的一部分的示意表示图。
图10图示出了形成点云的多个坐标点，该点云表示根据本技术的各个实施例配置的图9的医疗器械系统的一部分的形状。
图11图示出了根据本技术的各个实施例的从图9的医疗器械系统在图9的解剖区域内延伸的部分的视点来看的真实患者解剖体的真实导航图像。
图12图示出了根据本技术的各个实施例当图9的医疗器械系统的该部分在解剖区域内延伸时图9的解剖区域的一部分的术中图像。
图13是根据本技术的各个实施例的显示系统的显示器的示意表示图，该显示器显示了其中图8和图9的医疗器械系统被配准到图9的解剖区域的解剖模型的合成虚拟导航图像、虚拟患者解剖体的虚拟导航图像和解剖区域内的真实患者解剖体的真实导航图像。
具体实施方式
本公开涉及用于在患者的解剖区域中生成医疗程序的配准的装置、系统、方法和计算机程序产品。在一些实施例中，图像引导的医疗程序使用解剖区域的3D模型来帮助操作者在患者内导航医疗装置或器械。3D模型具有被配准到医疗装置参考系(或医疗装置坐标系)的参考系(或者模型坐标系)，使得器械在患者内的方位可以被跟踪并且被映射到模型内的对应方位。精确的配准对于在复杂、密集和/或曲折的解剖区域(诸如肺的气道)内执行的医疗程序可能特别重要。然而，如果3D模型不能精确地配准到解剖体(例如，由于模型数据不足、解剖区域的复杂性等)，则操作者可能难以或不可能将医疗器械导航到解剖区域内的正确位置。此外，对于操作者来说，确定如何用医疗器械勘测解剖区域以收集用于精确配准的足够数据可能是具有挑战性的。
因此，本文公开的系统可以使用图像数据来改进配准过程。在一些实施例中，例如，本文公开的系统被配置为经由引入解剖区域中的图像捕获装置(例如，内窥镜相机)来获得图像数据。该系统可以使用图像数据来生成解剖体的3D重构，例如，使用各种计算机视觉和/或机器学习技术。3D重构可以与其他勘测数据(例如，点云数据)结合使用，以在模型参考系和医疗装置参考系之间生成基于形状的配准。可替代地或组合地，系统可以使用图像数据来识别特定解剖界标(例如，隆突)并将其与3D模型中的对应模型界标相匹配。匹配的解剖界标和模型界标之间的关联可以被输入到配准算法中，以提供用于配准的进一步信息和/或约束。本文描述的基于图像的方法可以提高配准精度和效率，并且还可以通过跟踪医疗器械相对于特定解剖界标的位置来指导操作者收集勘测数据。
A配准过程的实施例
图1是图示出根据本技术的各个实施例的用于生成医疗程序的配准的方法100的流程图。方法100被示出为一组步骤或过程110-150。方法100的所有步骤或步骤的子集可以通过任何合适的计算系统或装置来实现，诸如通过医疗器械系统或装置的控制系统(例如，包括机器人或远程操作系统的各种部件或装置)、工作站、便携式计算系统(例如膝上型计算机)和/或其组合来实现。在一些实施例中，用于实现方法100的计算系统包括可操作地耦连到存储指令的存储器的一个或多个处理器，这些指令在被执行时使得计算系统执行根据步骤110-150的操作。在以下描述中，通过交叉参考图2、图3和图4A-图4D的各个方面来说明方法100。
方法100开始于步骤110，接收患者解剖区域的3D模型。该模型可以具有模型参考系或坐标系。该模型可以表示要在其中执行医疗程序的解剖区域(例如，患者肺部的气道)，并且可以表示该区域内的通道和其他结构的位置、形状和连通性。在一些实施例中，该模型描绘了解剖区域内的一个或多个解剖界标。解剖界标可以是或包括解剖区域的任何部分，其可以例如基于尺寸、形状、颜色和/或其他合适的特征而被容易地识别和/或与解剖区域的其他部分区分。解剖界标的示例包括但不限于：分支点或区域(例如，隆突)、通道(例如，气道)、血管(例如，靠近或邻近组织表面)、突起(例如，脊)、孔口(例如，气道开口或分支)、或具有不同特征的任何其他组织结构，或其组合。
图2图示出了根据本技术的各个实施例的患者肺部气道200内的解剖界标的示例。如在图2中可见，气道200在气管T分支到左主支气管LB和右主支气管RB的点或区域处包括主隆突MC。气道200还包括与气道C中的分支点或区域的位置相对应的多个隆突C。如下文更详细描述的，本文所述的配准过程可以包括对气道200的各个部分进行成像，诸如对主隆突MC和/或一个或多个单独的隆突C进行成像。
再次参考图1，步骤110的3D模型可以以多种不同的方式生成。在一些实施例中，例如，从解剖区域的术前和/或术中图像数据生成3D模型，术前和/或术中图像数据是诸如计算机断层摄影术(CT)数据、磁共振成像(MRI)数据、荧光检查数据、温度记录数据、超声数据、光学相干断层摄影术(OCT)数据、热成像数据、阻抗数据、激光图像数据、纳米管X射线图像数据、和/或表示患者解剖体的其他合适的数据。图像数据可以对应于二维、3D或四维(例如，基于时间或基于速度的信息)图像。在一些实施例中，例如，图像数据包括来自多个视角的二维图像，这些二维图像可以被组合成伪3D图像。
可以通过分割图像数据中表示解剖特征的图形元素来生成3D模型。在分割过程期间，从图像数据生成的像素或体素可以被划分成分段或元素和/或被标记以指示它们共享某些特性或计算出的特性，诸如颜色、密度、强度和纹理。然后，与患者的解剖特征相关联的分段或元素被转换为在模型或图像参考系中生成的分段解剖模型。为了表示模型，分割过程可以描绘表示解剖区域的体素集合，然后应用诸如行进立方体函数的函数来生成包围体素的3D表面。该模型可以通过生成网格、体积或体素映射来制作。附加地或可替代地，该模型可以包括中心线模型，该中心线模型包括延伸穿过模型化通道的中心的一组互连的线段或点。在模型包括具有一组互连线段的中心线模型的情况下，那些线段可以被转换为点云或点集。通过转换线段，可以手动或自动选择对应于互连线段的所需数量的点。
在步骤120处，方法100继续获得解剖区域的一部分的图像数据。该图像数据可以由图像捕获装置(例如，内窥镜相机)获得，该图像捕获装置被配置为从患者内获得图像(例如，静止图像、视频图像帧)。在一些实施例中，例如，图像捕获装置由插入解剖区域内的医疗器械携带。例如，如下面参考图7-图13更详细地讨论的，图像捕获装置可以例如在医疗器械远端部分处或附近被包括在医疗器械的一部分中和/或安装在医疗器械的一部分上。因此，图像捕获装置的姿势可以与医疗器械的对应部分的姿势相同或大体相似。此外，如下面关于图7-图13进一步描述的，医疗器械可以经由细长装置(例如，可转向导管)部署到解剖区域中，使得医疗器械的至少一部分的姿势与细长装置的对应部分的姿势相同或大体相似。因此，本文中关于图像捕获装置的方位、取向、姿势、位置、插入深度等的任何描述也可以指医疗器械和/或细长装置的对应部分的方位、取向、姿势、位置、插入深度等等，反之亦然。类似地，本文中关于图像捕获装置的移动(例如，平移、旋转)的任何描述也可以指医疗器械和/或细长装置的对应部分的移动，反之亦然。
在一些实施例中，步骤120包括一旦图像捕获装置已经被引入解剖区域中并且移动到足够靠近目标解剖结构，诸如解剖界标(例如，隆突)，就捕获图像。确定图像捕获装置是否足够靠近目标的过程可以手动、自动或半自动地执行。例如，当操作者例如基于来自图像捕获装置的图像数据、插入深度数据、方位数据、来自外部成像装置的图像捕获装置和/或医疗器械的图像数据等确定图像捕获装置充分靠近目标解剖结构时，操作者可以手动启动图像捕获。在一些实施例中，操作者查看由图像捕获装置生成的图像以确定图像捕获装置是否处于目标解剖结构处或附近(例如在肺或气管内)和/或目标解剖结构是否在图像捕获装置的视场内。一旦图像捕获装置被适当地定位，操作者就可以通过提供用户输入，诸如按下按钮、键入或说出命令等，来启动成像。
作为另一示例，方法100的步骤120可以包括自动检测图像捕获装置是否足够靠近目标解剖结构以进行成像(例如，在目标解剖结构的10cm、5cm、4cm、3cm、2cm、1.5cm、1cm或0.5cm内)。在这样的实施例中，计算系统(或任何其他合适的系统或设备)可以接收并分析由图像捕获装置生成的图像，以检测图像捕获装置是否在期望的位置和/或目标解剖结构是否在视场内。可以使用任何合适的技术来执行图像分析，合适的技术包括机器学习算法(例如，卷积神经网络(CNN))、圆检测器(例如，霍夫变换)和/或其他计算机视觉技术。例如，分析可以包括基于诸如可见分支的大小、形状、数量(例如，在气管中的一个可见分支与在主隆突附近的两个可见分支)、颜色变化、纹理变化、强度变化和诸如此类的特征来检测图像数据中的解剖界标和/或其他结构(例如，气管、主隆突、其他隆突)。可以附加地或可替代地基于其他类型的数据，诸如插入深度数据、方位数据、来自外部成像装置的图像数据等，来确定接近度。例如，一旦图像捕获装置和/或携带图像捕获装置的医疗器械的插入深度超过预定阈值，则图像捕获装置可以被认为充分靠近目标解剖结构。一旦图像捕获装置接近目标解剖结构，系统就可以自动启动成像。可替代地，系统可以例如经由文本、图形、音频和/或其他类型的输出来提示操作者启动成像。
可选地，在图像捕获装置和医疗器械经由单独的导入器部件(例如，诸如气管内(ET)管的细长管等)引入解剖区域中的实施例中，步骤120可以包括自动检测图像捕获装置是否已经被推进经过导入器部件的远端部分。例如，检测过程可以使用计算机视觉技术(例如，机器学习算法、圆检测器)例如基于可见分支的形状、大小变化(例如，在ET管中时较小，在气管中时较大)、颜色变化、纹理变化等来识别图像捕获装置何时离开ET管的远端。可选地，ET管可以在其远端处或其远端附近包括视觉指示器，诸如标记、图案、颜色等，并且视觉指示器可以用于确定图像捕获装置相对于ET管的端部的位置。用于ET管的视觉指示器的附加示例在美国专利申请公开号2018/0235709(在2016年8月11日提交)(公开了用于图像引导手术的配准系统和方法)中进一步详细描述，该专利申请通过引用整体并入本文。一旦图像捕获装置被部署到离导入器部件足够远的地方，系统就可以自动启动成像，或者提示操作者这样做。
在其他实施例中，步骤120可以涉及在医疗程序开始时(例如，一旦图像捕获装置通电，一旦操作者开始驱动医疗器械，等等)启动成像，而不是等待直到图像捕获装置靠近解剖界标。在这样的实施例中，方法100可以包括在随后的处理步骤中丢弃不相关、错误或以其他方式不适合配准的图像数据(例如，在图像捕获装置进入解剖区域之前和/或当图像捕获装置仍在ET管中时拍摄的图像)。例如，不能与3D模型的任何部分匹配的图像可以被丢弃，因为这样的图像很可能是在图像捕获装置在解剖区域之外时拍摄的。作为另一示例，丢弃的图像可以包括产生与3D模型明显不一致的3D数据的图像(例如，3D数据的中心线与3D模型的中心线显著不同)。类似地，从不包含对算法进行种子化至关重要的界标的图像生成的3D数据同样可以被丢弃。在又一示例中，步骤120可以包括在成像期间跟踪图像捕获装置的位置，并且使用位置数据来丢弃可能在解剖区域之外拍摄的图像。
在成像过程期间，图像捕获装置可以获得目标解剖结构(例如，隆突或其他解剖界标)的多个图像，诸如至少两个、三个、四个、五个或更多个图像。在一些实施例中，图像捕获装置以相对于目标的不同姿势(例如，不同的方位和/或取向)拍摄一些或全部图像，使得得到的图像表示目标的不同视图。例如，可以从相对于目标的至少两个、三个、四个、五个或更多个不同姿势拍摄图像。然而，在其他实施例中，图像捕获装置可以从单个姿势仅拍摄目标的单个图像。
图像的数量以及图像之间的空间偏移量和/或运动量可以被配置为允许目标解剖结构的结构从图像重构，例如，使用计算机视觉和/或基于机器学习的技术，如下面更详细地讨论的。例如，图像之间的平移偏移可以大于或等于，例如，1mm、2mm、3mm、4mm、5mm、6mm、7mm、8mm、9mm、10mm、15mm、20mm、25mm、30mm、35mm、40mm、45mm或50mm。作为另一示例，图像之间的旋转偏移可以大于或等于，例如，1度、5度、10度、15度、20度、30度、40度、45度、50度或60度。图像的数量和/或图像之间的偏移量也可以基于局部解剖体的大小而变化。例如，如果目标解剖结构位于相对较大的解剖通道内，则图像捕获装置可以以更大的空间偏移拍摄更多的图像。相反，如果目标解剖结构位于较小的通道内，则图像捕获装置可以以较小的空间偏移拍摄较少的图像。在一些实施例中，当对具有有限操控空间的狭窄通道中的解剖结构进行成像时，图像捕获装置可以在成像期间简单地移入和移出通道。相反，当对较宽通道中的解剖结构成像时，图像捕获装置也可以相对于该结构在不同方向上转动。
图3图示出了根据本技术的各个实施例的患者气道的一部分300，并且图4A-图4D图示出了该部分300的多个图像400a-400d。首先参考图3，气道包括解剖界标(例如，隆突C)。图像捕获装置(未示出)可以从相对于隆突C的对应多个位置302(在图3中的四个位置被标识为302a-d)获得隆突C的多个图像。例如，图像捕获装置可以从距隆突C的第一距离的位置302a获得图像400a(图4A)，从距隆突C的第二更大距离的位置302b获得图像400b(图4B)。作为另一示例，图像捕获装置可以从靠近隆突C的第一(例如，左侧)侧的位置302c获得图像400c(图4C)，并且从靠近隆突C的第二(例如，右侧)侧的位置302d获得图像400d(图4D)。在附加实施例中，位置302的数量、方位和/或取向可以变化。尽管图3-图4D图示出了隆突C的成像，但在其他实施例中，本文所述的技术可以可替代地或附加地包括获得不同解剖结构(诸如与任何隆突间隔开的气道或其他解剖通道的区段)的图像数据。
再次参考图1，步骤120的图像数据可以以各种方式获得，诸如由操作者手动获得，由计算系统(或其他合适的系统或设备)自动获得，或由其组合获得。在一些实施例中，例如，操作者手动地将图像捕获装置导航到不同的位置，并且获得在每个位置处的一个或多个图像。该系统可以提供指导操作者导航和获得合适的图像的指令。例如，系统可以指示操作者将图像捕获装置移动到相对于目标解剖结构的不同方位和/或取向(例如，“向前驱动X距离”、“沿Y方向驱动”、“旋转Z度”等)。作为另一示例，该系统可以简单地指示操作者收集目标解剖结构的特定数量的图像，而不指定图像捕获装置的特定方位和/或取向。指令可以输出为文本、图形(例如，箭头或其他视觉指示器)、音频或任何其他合适的格式。
可选地，系统可以跟踪图像捕获装置的位置，并且基于操作者如何移动图像捕获装置来更新指令。在一些实施例中，系统检测操作者是否在指定位置获得了足够的图像，并且如果是，则指示操作者将图像捕获装置驱动到下一位置。如果系统检测到图像数据中存在间隙，则该系统可以指示操作者获得附加图像，并且可选地，引导操作者到在其处附加图像应该被拍摄的特定位置。
在一些实施例中，该系统自动地将图像捕获装置移动到相对于目标解剖结构的不同位置。例如，系统可以(例如，基于局部解剖体的大小和/或形状)确定成像位置的序列，或者可以使用预定义的序列(例如，平移和/或旋转的预定义序列)。一旦图像捕获装置位于指定位置，则系统就可以从该位置自动拍摄一个或多个图像，或者可以提示操作者这样做。随后，系统可以自动地将图像捕获装置移动到下一个位置。可以重复该过程，直到已经从序列中的每个位置拍摄了图像为止。
除了获得图像数据之外，步骤120还可以包括在拍摄每个图像时记录图像捕获装置的姿势(即，方位和取向)。姿势数据可以由与图像捕获装置相关联的一个或多个传感器生成，一个或多个传感器诸如由形状传感器、姿势传感器、方位传感器、位置传感器(例如，电磁(EM)传感器)等。在这样的实施例中，传感器可以耦连到图像捕获装置，或者可以由与该图像捕获装置相关联的医疗器械或细长装置携带。姿势数据也可以基于其他信息，诸如插入深度数据、来自外部成像装置的图像、来自操作者的控制输入等来确定。姿势数据可以在下面讨论的后续处理步骤中与图像数据组合使用。
另外，步骤120可以包括使用姿势数据来监测成像过程，并且可选地，基于姿势数据向操作者输出适当的指令。例如，姿势数据可以用于确定是否已经为特定姿势获得了足够的图像，如果是，则可以提示操作者将图像捕获装置移动到不同的姿势。这里，可以通过图像的数量、视场、图像重叠或其他因素来确定足够的图像，以指示对气道解剖体的特定部分的充分观察。作为另一示例，可以分析姿势数据以检测是否还没有从某些姿势拍摄图像，并且如果合适的话，可以指示操作者从这些姿势捕获图像。如上所述，当自动将图像捕获装置移动到不同姿势时，姿势数据也可以用作反馈。
可选地，步骤120可以涉及实现被配置为确保图像包含用于下面详细描述的图像处理步骤的足够特征的成像技术。在一些实施例中，例如，可以用不同波长的光(例如，红外、近红外、可见光等)照射目标解剖结构，以添加和/或增强所得图像中的特征。例如，某些组织结构，诸如血管，在某些波长的光下可能更明显。可替代地或组合地，结构化光技术可以用于通过将已知的几何图案(例如，网格、条纹、条柱等)投影到成像目标上来添加和/或增强解剖体的特征。
步骤120还可以包括(例如，经由图形用户界面和/或其他输出)提供反馈以帮助操作者收集更高质量的图像。例如，反馈可以提醒操作者可能损害图像质量的问题，诸如(例如，由于血液和/或其他体液引起的)图像捕获装置的模糊、起雾和/或阻塞。反馈还可以指示操作者执行一个或多个建议的动作来解决问题，诸如为图像捕获装置除雾、清除图像捕获装置的障碍物、将图像捕获装置移动到不同的位置等。可选地，系统还可以自动执行校正动作，例如，激活除雾和/或清洁机构以清理图像捕获装置。作为另一示例，在成像在狭窄和/或曲折通道(例如，气道)内执行的实施例中，反馈可以周期性地提醒操作者保持图像捕获装置远离通道的壁，以避免阻碍视野。在一些实施例中，该系统被配置为(例如，使用图像分析、传感器来检测摩擦和/或移动阻力等)检测图像捕获装置是否过于靠近通道的壁，并在适当的情况下提示操作者采取纠正措施。此外，该系统可以自动检测和标记质量较差的图像(例如，模糊的图像、有障碍物的图像)，以便在随后的处理步骤中排除这些图像。
在步骤130处，方法100继续从图像数据生成解剖区域的3D表示图。3D表示图可以是解剖区域的一个或多个部分(诸如解剖界标(例如，隆突))的3D形状的重构。3D表示图可以是或包括表面或网格模型、3D点云或用于传送3D形状数据的任何其他格式。可以使用用于从一个或多个2D图像确定3D深度信息的任何合适的技术来生成3D表示图，合适的技术诸如来自运动的结构、来自阴影的形状和/或基于机器学习的技术(例如，单次拍摄深度估计、端到端深度重构等)。例如，可以训练机器学习模型(例如，CNN)以从一个或多个2D图像生成解剖体的3D深度映射。作为另一示例，可以使用稀疏或密集深度重构技术从2D图像估计3D深度数据。此外，图像捕获装置的姿势数据可以用于确定3D表示图的比例信息。
可选地，步骤130可以进一步包括，如果图像数据被确定为不足以生成3D表示图(例如，如果解剖结构的区段没有被充分成像，则在3D重构中存在间隙等)，则向操作者提供反馈。例如，反馈可以指示操作者获得附加图像数据，并且可以使用这种附加图像数据与先前图像数据相结合或使用这种附加图像数据作为先前图像数据的替代以生成3D表示图。因此，步骤120和130可以重复多次，直到3D表示图对于生成精确的配准是令人满意的。
在步骤140处，方法100包括从解剖区域内的方位传感器获得一组坐标点(例如，点云)。在一些实施例中，方位传感器与图像捕获装置和/或携带图像捕获装置的医疗器械相关联(例如，由其携带)。可选地，方位传感器可以与用于将图像捕获装置和/或医疗器械引入解剖区域的细长装置(例如，可转向导管)相关联(例如，由其携带)。方位传感器可以是或包括被配置为生成方位数据的任何传感器，诸如方位传感器、姿势传感器、形状传感器、位置传感器(例如，电磁(EM)传感器)或其组合。
当医疗器械被导航到解剖区域内的各个位置时，各坐标点可以由方位传感器生成。医疗器械可以由操作者手动驱动、由系统自动驱动或其组合驱动。在一些实施例中，在获得步骤130的图像数据的相同位置处或附近(例如，在隆突或其他解剖结构附近)驱动医疗器械，使得当医疗器械在该位置处或附近时生成坐标点的至少一部分。可替代地或组合地，医疗器械可以被驱动到与(一个或多个)成像位置间隔开的位置，使得在医疗器械远离(一个或多个)成像位置时生成坐标点的至少一部分。
在一些实施例中，在步骤120期间执行步骤140，使得并行获得图像数据和坐标点。例如，当图像捕获装置被移动到不同位置以对解剖结构成像时，方位传感器可以获得坐标点数据。然而，在其他实施例中，步骤140可以在步骤120之前或之后执行。
在步骤150处，方法100包括使用3D表示图和一组坐标点在3D模型的参考系和医疗器械的参考系之间生成配准。在一些实施例中，步骤150涉及将在步骤110中获得的患者解剖体的3D模型配准到在步骤130中生成的3D表示图和在步骤140中生成的坐标点。配准可以提供医疗器械(位于患者解剖体内)的参考系与解剖区域的3D模型的参考系之间的对应关系，并且可以被表示为变换矩阵或任何其他合适的格式。配准可以以多种不同的方式生成。在一些实施例中，例如，步骤150包括使用步骤130的3D表示图来生成对步骤110的3D模型的第一配准，以及使用步骤140的坐标点来生成对步骤110的3D模型的第二配准。第一配准可以是基于形状的配准，以将步骤130的3D表示图与步骤110的3D模型对准。可以使用3D对准或配准算法，诸如迭代最近点(ICP)算法、具有缩放算法的ICP、基于表面或网格的ICP算法、相干点漂移算法或基于机器学习的算法(例如，PointNetLK)，来确定所述对准。可选地，配准过程可以包括分析和比较3D表示图和3D模型，以识别相似和/或匹配的表面特征(例如，存在于3D表示图和3D模型两者中的特征)。这些识别的特征之间的对应关系可以为对准算法提供额外的输入(例如，约束)。对准算法的输出可以是解剖界标和模型界标之间的变换参数。
第二配准可以是基于点的配准，以将步骤140的一组坐标点与步骤110的3D模型的坐标点配准。基于点的配准可以包括通过刚性和/或非刚性变换来旋转、平移或以其他方式操纵坐标点，以将它们与3D模型的数据点对准。配准可以例如使用基于点的ICP技术来执行，如美国临时专利申请第62/205,440号和第62/205,433号中所描述的，这两个申请通过引用整体并入本文。
在一些实施例中，步骤150包括分别计算第一和第二配准，然后(例如，使用加权平均)组合来自两个配准的结果以确定最终配准参数。可替代地，一个配准的结果可以用作另一个配准中的输入，并且来自后一配准的结果可以用作最终配准参数。例如，来自第一(例如，基于形状的)配准的结果可以用于对第二(例如基于点的)配准进行种子化，反之亦然。在这样的实施例中，来自预期不太精确的配准的结果可以用作另一配准的初始种子。
作为另一示例，步骤150可以包括使用步骤130的3D表示图和步骤140的坐标点两者作为输入来执行对步骤110的3D模型的单个配准。例如，可以使用接受3D表示图和坐标点作为单独输入的单个配准算法来执行配准。作为另一示例，步骤150可以包括例如，通过将3D表示图转换为点云，通过从坐标点生成表面或网格表示图，通过将3D表示图和坐标点两者转换为中心线表示等，将3D表示图和坐标点组合成单个混合数据集。随后，混合数据集可以被输入到合适的配准算法中以生成对3D模型的单个配准。
一旦执行了配准，操作者就可以使用配准以在解剖区域中执行图像引导的医疗程序。例如，3D模型可以与医疗装置或工具(例如，活检器械、消融器械等)的跟踪位置一起显示，从而操作者可以将医疗装置精确地导航到目标位置(例如，目标病变)。
尽管方法100的步骤以特定顺序进行了讨论和说明，但是相关领域的普通技术人员将认识到，方法100可以被改变并且仍然保持在本技术的这些和其他实施例内。在其他实施例中，例如，方法100可以以不同的顺序执行，例如，方法100的任何步骤可以在方法100的任何其他步骤之前、期间和/或之后执行。例如，步骤140可以在步骤120和/或130之前和/或与其并行执行；并且步骤120-140可以在步骤110之前和/或与步骤110并行执行。另外，可以省略图1中所示的方法100的一个或多个步骤。在一些实施例中，例如，省略了步骤140，使得仅基于3D表示图来生成步骤150的配准。可选地，可以重复方法100的一个或多个步骤(例如，步骤120-150中的一些或全部)。
在一些实施例中，方法100用于从整个解剖区域生成单个全局配准。然而，在其他实施例中，可以多次执行方法100的一些或全部步骤(例如，步骤120-150)，以生成解剖区域的各个子区域(例如，不同的隆突或隆突组)的局部配准。在这样的实施例中，方法100可以包括指示操作者将医疗器械导航到特定子区域，以收集勘测数据(例如，图像数据和/或坐标点数据)并生成本地配准，如上面所描述的。随后，可以指示操作者将医疗器械驱动到下一个子区域以进行勘测和配准。类似于同时定位和映射(SLAM)技术，当操作者导航医疗器械穿过解剖区域时，可以重复该过程以逐步映射和配准解剖体的各个子区域。此外，局部配准可以用于确定是否已经勘测到医疗器械足够远和/或到达正确的解剖界标。局部配准还可以用于识别皮下组织目标(例如，病变、动脉等)的位置，并相应地更新3D模型。而且，在随后的图像引导的医疗程序(例如，活检程序)中，当医疗器械位于特定子区域内时，局部配准可以用于跟踪医疗器械的位置，并且与整个解剖区域的全局配准相比，局部配准可能更精确。可选地，方法100可以包括生成单个全局配准，然后随着医疗器械被驱动到特定子区域，用本地配准来更新和/或替换该全局配准。
图5是图示出根据本技术的各个实施例的用于生成医疗程序的配准的方法500的流程图。方法500可以与图1的方法100相结合或作为图1的方法100的替代方案来执行。方法500与图1的方法100的不同之处在于，方法100使用图像数据来生成解剖体的3D表示图，而方法500使用图像数据将特定解剖界标与3D模型中的对应位置相匹配。方法500被示出为一组步骤或过程510-550。方法500的所有步骤或步骤的子集可以由任何合适的计算系统或装置来实现，诸如包括可操作地耦连到存储指令的存储器的至少一个处理器的计算系统，这些指令在被执行时使得计算系统执行根据步骤510-550的操作。方法500在以下描述中通过交叉参考图6A、图6B、图6C和图6D的各个方面来说明。
方法500开始于步骤510，接收解剖区域的3D模型。该模型可以包括多个解剖界标，如先前关于图1和图2的步骤110所描述的。例如，解剖区域可以包括多个分支通道(例如，图2的气道200)，并且解剖界标可以包括多个分支点或区域(例如，图2的主隆突MC和/或隆突C)。
在步骤520处，方法500继续获得解剖界标的图像数据。可以使用上面关于图1和图3-图4D的步骤120描述的任何技术来获得图像数据。例如，可以使用由部署在解剖区域内的医疗器械携带的图像捕获装置(例如，内窥镜相机)来获得图像数据。在一些实施例中，图像数据包括来自相对于解剖界标的多个位置和/或姿势的多个图像。在其他实施例中，图像数据可以包括从单个位置和姿势拍摄的解剖界标的单个图像。图像数据可以由操作者手动获得，由计算系统或设备自动获得，或由其任意合适的组合获得。
在步骤530处，方法500包括基于图像数据来识别3D模型中的解剖界标和模型界标之间的关联。如上所述，3D模型可以包括多个模型界标，并且图像数据可以用于将解剖界标与对应的模型界标相关联(例如，匹配)。解剖界标可以在图像捕获装置和/或医疗器械的参考系(“器械参考系”)中具有一组坐标，并且模型界标可以在3D模型的参考系中具有一组坐标(“模型参考系”)。因此，所识别的解剖界标和模型界标之间的关联可以用于确定器械参考系和模型参考系之间的映射，该映射可以用于计算到3D模型的配准，如下文参考步骤550所讨论的。在一些实施例中，图像数据被分析以检测解剖界标的一个或多个特征，诸如组织结构(诸如脊、开口、通道等)的形状、大小、颜色、纹理等。可以将检测到的特征与一个或多个模型界标的特征相比较，以识别对应的模型界标(如果有的话)。可替代地或组合地，可以使用机器学习算法来执行匹配，该机器学习算法已经被训练为基于图像数据来识别和/或分类特定的解剖界标。
例如，根据本技术的各个实施例，图6A图示出了患者气道的模型600，图6B-图6D图示出了气道的多个图像610a-c。首先参考图6A，模型600包括多个隆突或分支点，诸如主隆突MC、第一隆突C1和第二隆突C2。模型600中的隆突可以分别与图6B-图6D的图像610a-c中所示的隆突612a-c相匹配。在一些实施例中，图像610a-c被分析以识别隆突612a-c的特征，诸如隆突脊、开口(例如，分叉、三叉)、分支角度、周围气道和/或其他局部组织结构或特征。例如，图像610a(图6B)的隆突612a可以与主隆突MC(图6A)匹配，图像610b(图6C)的隆突612b可以与第一隆突C1(图6A)匹配，并且图像610c(图6D)的隆突612c可以与第二隆突C2(图6A)匹配。尽管图6B-图6D示出了每个隆突的单个图像，但这仅仅是为了说明的目的，并且可以使用每个隆突中的多个图像来执行隆突匹配，如下面详细讨论的。
再次参考图5，步骤530的匹配过程可以以各种方式执行，诸如基于2D或基于3D的方法。例如，基于2D的方法可以包括确定在步骤520中获得的解剖界标的一个或多个图像(在本文中也称为“真实图像”)与从3D模型生成的模型界标的一个或多个图像(在本文中也称为“虚拟视图”或“虚拟图像”)之间的对应关系。每个虚拟视图可以是来自模型中的模拟视点的模型界标的2D图像。真实图像和虚拟视图可以被分析以检测和提取2D图像特征，诸如点、边、角、斑点、脊、强度变化、颜色变化等。特征可以包括稀疏特征、密集特征或其组合。然后来自真实图像和虚拟视图的特征可以被比较，以识别相似的和/或匹配的特征(例如，存在于真实图像和虚拟视图两者中的特征)。如果解剖界标的真实图像与模型界标的虚拟视图高度地相似(例如，共享大量相似的和/或匹配的特征)，则解剖界标可以与模型界标相关联(例如，匹配)。可选地，匹配过程可以使用2D图像对准算法(例如，反向合成LucasKanade算法)，使得如果模型界标的虚拟视图可以成功地与解剖界标的真实图像对准，则解剖界标与模型界标相关联。
作为另一示例，基于3D的方法可以包括例如使用上面关于图1的步骤130描述的任何技术来生成解剖界标的3D表示图。例如，可以使用计算机视觉和/或机器学习技术来生成3D表示图，以用于重构3D深度信息，诸如来自运动的结构、来自阴影的形状、单次拍摄深度估计或端到端深度重构。一旦生成了3D表示图，就可以将3D表示图与解剖体的3D模型进行比较，以识别匹配的模型界标。在一些实施例中，使用3D对准或配准算法(例如，ICP算法、具有缩放算法的ICP、基于表面或网格的ICP算法、相干点漂移算法或基于机器学习的算法)将解剖界标的3D表示图与模型对准。如果3D表示图可以成功地与模型界标对准，则3D表示图中描绘的解剖界标可以与模型界标相关联(例如，匹配)。可替代地或组合地，解剖界标可以基于相似的表面特征与模型界标相匹配。在这样的实施例中，匹配过程可以包括识别和提取3D表示图中的表面特征，然后将所识别的特征与一个或多个模型界标的表面特征进行比较以评估相似度。如果解剖界标与模型界标高度地相似(例如，共享大量相似的和/或匹配的表面特征)，则解剖界标可以与模型界标相匹配。
在一些实施例中，步骤530包括将解剖界标与3D模型中的每个模型界标进行比较，以识别匹配的模型界标。在其他实施例中，步骤530包括例如使用基于位置的过滤来选择模型界标的子集以与解剖界标进行比较。如上所述，解剖界标的图像可以与一个或多个传感器(例如，形状传感器、姿势传感器、方位传感器、位置传感器)生成的姿势数据相关联。例如，姿势数据可以表示当拍摄解剖界标的图像时图像捕获装置的方位和/或取向。姿势数据可以被分析以估计解剖界标的位置(例如，肺的特定侧面、象限、气道生成和/或肺叶；一组三维坐标；等等)。匹配过程可以包括选择位于估计位置处或附近的模型界标，因为这些界标更有可能匹配解剖界标。相反，匹配过程可以排除远离估计位置定位的模型界标，因为这些界标不太可能匹配解剖界标。这种方法可以通过将分析限制到足够靠近解剖界标的估计位置的模型界标来提高匹配过程的效率和速度。
可选地，步骤530可以包括如果图像数据不足以进行匹配处理，则向操作者输出反馈。例如，如果由于不充分和/或不完整的图像数据导致解剖界标不能成功地与任何模型界标匹配，则可以指示操作者获得解剖界标的附加图像，并且该附加图像数据可以与先前图像数据组合使用或作为先前图像数据的替代来重新运行匹配过程。因此，可以迭代地重复步骤520和530，直到解剖界标成功地与对应的模型界标相关联为止。
在一些实施例中，多次执行步骤520和530以识别解剖区域内的多个解剖界标(例如，至少两个、三个、四个、五个、十个、二十个或更多个解剖界标)的关联。要成像的解剖界标的数量和位置可以由操作者手动地、由系统自动地或其组合来确定。例如，系统可以分析3D模型以识别适合于基于图像的配准的一组模型界标，然后指示操作者导航到每个对应的解剖界标并对其成像。该系统可以简单地显示要成像的解剖界标的列表，或者可以提示操作者以预定序列(例如，基于解剖界标的相对位置、目标病变或其他感兴趣部位相对于解剖界标的位置等)对解剖界标成像。
在一些实施例中，方法500包括一旦对每个解剖界标进行了成像，就将该解剖界标与对应的模型界标进行匹配，而不是在匹配之前等待对所有解剖界标进行成像。这种方法允许在整个配准程序中检测和跟踪医疗器械相对于特定解剖界标(例如，特定隆突、通道)的位置。例如，该系统可以显示具有一个或多个视觉指示器(例如，突出显示)的图形用户界面，该视觉指示器识别哪些界标已经被访问或没有被访问，并且可选地，识别医疗器械相对于界标的估计位置。视觉指示器可以在各个界标被成像和/或匹配时被更新，并且可以指示操作者一旦前一界标的成像和/或者匹配完成就导航到下一界标。这种方法可以允许甚至在配准程序完成之前跟踪医疗器械的一般位置。
在步骤540处，方法500包括从解剖区域内的方位传感器获得一组坐标点，例如，如前面关于图1的步骤140所描述的。例如，坐标点可以由与携带图像捕获装置的医疗器械相关联的方位传感器生成。坐标点可以在器械参考系中，诸如与先前关于步骤520和530描述的解剖界标相同或相似的器械参考系。在一些实施例中，当医疗器械在解剖界标的位置处或附近时，生成坐标点的至少一部分。可选地，当医疗器械远离解剖界标时，可以生成坐标点的至少一部分。此外，步骤540可以与步骤520并行执行，从而同时获得图像数据和坐标点。例如，当图像捕获装置正在对解剖界标进行成像时，方位传感器可以生成坐标点数据。然而，在其他实施例中，步骤540可以在步骤520之前或之后执行。
在步骤550处，方法500继续使用所识别的关联和一组坐标点来生成配准。在一些实施例中，步骤550包括使用步骤530的解剖界标和模型界标之间的已知关联作为配准算法的输入，将在步骤510中获得的患者解剖体的3D模型配准到在步骤540中生成的坐标点。如前面关于图1的步骤150所讨论的，配准可以包括通过刚性和/或非刚性变换来旋转、平移或以其他方式操纵坐标点，以使用合适的配准算法(例如，基于点的ICP算法)将它们与3D模型的数据点对准。在一些实施例中，例如，配准包括确定(例如，与步骤520的解剖界标和步骤540的坐标点相关联的)器械参考系和(例如，与步骤510的3D模型和步骤530的模型界标相关联的)模型参考系之间的变换。如前所述，所识别的解剖界标和模型界标之间的关联可以提供器械参考系和模型参考系之间的已知对准或映射。因此，关联可以被输入到配准算法中，以提供附加信息和/或约束。例如，配准参数可以被约束，使得解剖界标在最终配准中与对应的模型界标对准。作为另一示例，该关联可以用于在配准期间对坐标点的某些子集进行加权，例如，在所识别的界标处或附近的坐标点可以比其他坐标点(例如，位于离界标更远的坐标点)更重地进行加权。在又一示例中，如果配准包括非刚性变换(例如，变形)，则在所识别的界标处或附近的坐标点可以保持基本上或完全不变形，而远离所识别的界标和/或在所识别界标之间的坐标点能够适当地变形以符合模型的几何形状。
一旦执行了配准，操作者就可以使用配准以在解剖区域中执行图像引导的医疗程序(例如，将活检器械导航到目标病变)。例如，3D模型可以与所跟踪的医疗器械的位置一起显示，使得操作者可以精确地将医疗器械导航到目标位置。
尽管方法500的步骤以特定顺序进行了讨论和说明，但是相关领域的普通技术人员将认识到，方法500可以被改变并且仍然保持在本技术的这些和其他实施例内。在其他实施例中，例如，方法500可以以不同的顺序执行，例如，可以在方法100的任何其他步骤之前、期间和/或之后执行方法500的步骤中的任何步骤。例如，步骤540可以在步骤520和/或530之前和/或与其并行执行；并且步骤520-540可以在步骤510之前和/或与步骤510并行执行。另外，可以省略图5中所示的方法500的一个或多个步骤。可选地，可以重复方法500的一个或多个步骤。例如，方法500可以被执行多次，以生成解剖区域的不同子区域(例如，不同的个体隆突)的局部配准，如先前关于图1的方法100所讨论的。
在一些实施例中，关于图1的方法100描述的基于形状的配准可以与图5的方法500的解剖匹配技术相结合。因此，图1的方法100的一些或所有步骤可以与图5的方法500的一些或全部步骤组合或并行执行。例如，方法100的步骤110可以与方法500的步骤510组合，方法100的步骤120可以与方法500的步骤520组合，方法100的步骤130可以与方法500的步骤530组合，方法100的步骤140可以与方法500的步骤540组合，和/或方法100的步骤150可以与方法500的步骤550组合。在这样的实施例中，方法100可以部分或全部由用于执行方法500的相同系统或装置来执行，反之亦然。然而，在其他实施例中，方法100和方法500可以是在不同时间和/或由不同系统或装置执行的不同过程。
B.机器人或远程操作医疗系统及相关装置、系统和方法的实施例图7是根据本技术的各个实施例配置的机器人或远程操作医疗系统700(“医疗系统700”)的示意表示图。医疗系统700可以与上面关于图1-图6D描述的任何程序或方法一起使用。例如，如前面所讨论的，医疗系统700可以用于获得用于配准程序的解剖区域的图像数据和/或其他勘测数据。如图所示，医疗系统700包括操纵器组件702、医疗器械系统704、主组件706和控制系统712。操纵器组件702支撑医疗器械系统704，并在主组件706和/或控制系统712的方向上驱动医疗器械系统704，以对位于手术环境701中的手术台707上的患者703执行各种医疗程序。在这方面，主组件706通常包括一个或多个控制装置，一个或多个控制装置可以由操作者705(例如，医师)操作以控制操纵器组件702。附加地或可替代地，控制系统712包括计算机处理器714和至少一个存储器716，以用于实现医疗器械系统704、主组件706和/或医疗系统700的其他部件之间的控制。控制系统712还可以包括用于实现本文所描述的方法中的任何一个或多个方法的编程指令(例如，存储指令的非暂时性计算机可读介质)，包括用于向显示系统710提供信息和/或处理用于将医疗器械系统704与患者703的解剖模型配准的数据的指令(如下面更详细描述的)。操纵器组件702可以是远程操作的组件、非远程操作的组件或远程操作和非远程操作混合的组件。因此，主组件706的所有或一部分和/或控制系统712的所有或一部分可以定位在手术环境701的内部或外部。
为了帮助操作者705在图像引导的医疗程序期间控制操纵器组件702和/或医疗器械系统704，医疗系统700可以进一步包括方位传感器系统708、内窥镜成像系统709、成像系统718和/或虚拟可视化系统715。在一些实施例中，方位传感器系统708包括位置传感器系统(例如，电磁(EM)传感器系统)和/或形状传感器系统，以用于捕获医疗器械系统704的方位传感器数据(例如，方位、取向、速率、速度、姿势、形状等)。在这些和其他实施例中，内窥镜成像系统709包括一个或多个图像捕获装置(未示出)，该图像捕获装置记录内窥镜图像数据，该内窥镜图像数据包括患者解剖体的并行或实时图像(例如，视频、静止图像等)。由内窥镜成像系统709捕获的图像可以是例如由位于患者703体内的图像捕获装置捕获的患者解剖体的二维或三维图像，并且在下文中被称为“真实导航图像”。
在一些实施例中，医疗器械系统704可以包括方位传感器系统708的部件和/或内窥镜成像系统709的部件。例如，方位传感器系统708的部件和/或内窥镜成像系统709的部件可以整体地或可移除地耦连到医疗器械系统704。附加地，或者可替代地，内窥镜成像系统709可以包括附接到单独的操纵器组件(未示出)的单独的内窥镜(未示出)，单独的操纵器组件可以与医疗器械系统704结合使用以对患者解剖体进行成像。方位传感器系统708和/或内窥镜成像系统709可以实现为硬件、固件、软件或其组合，其与一个或多个计算机处理器(诸如控制系统712的一个或多个计算机处理器714)交互或以其他方式由其执行。
医疗系统700的成像系统718可以布置在患者703附近的手术环境701中，以在医疗程序之前、期间和/或之后获得患者703的实时和/或接近实时的图像。在一些实施例中，成像系统718包括用于生成三维图像的移动C臂锥形束CT成像系统。例如，成像系统718可以包括来自西门子公司的DynaCT成像系统，或者另一个合适的成像系统。在这些和其他实施例中，成像系统718可以包括其他成像技术，包括MRI、荧光检查、温度记录、超声、OCT、热成像、阻抗成像、激光成像、纳米管X射线成像和/或诸如此类。
当在图像引导的医疗程序期间控制医疗器械系统704时，控制系统712的虚拟可视化系统715向操作者705提供导航和/或解剖体交互帮助。如下面更详细地描述的，使用虚拟可视化系统715的虚拟导航可以至少部分地基于参考所获取的患者703的解剖通道的术前或术中数据集(例如，至少部分地基于参考由方位传感器系统708、内窥镜成像系统709和/或成像系统718生成的数据)。在一些实施方式中，例如，虚拟可视化系统715处理由成像系统718捕获的患者703的解剖区域的术前和/或术中图像数据，以生成解剖区域的解剖模型(未示出)。虚拟可视化系统715随后将解剖模型配准到由方位传感器系统708生成的方位传感器数据和/或配准到由内窥镜成像系统709生成的内窥镜图像数据，以(i)将解剖区域内的所跟踪的医疗器械系统704的方位、取向、姿势、形状和/或移动映射到解剖模型内的正确位置，和/或(ii)在解剖模型内的对应于医疗器械系统704在患者703内的位置处，从医疗器械系统704的视点确定解剖区域的虚拟患者解剖体的虚拟导航图像。
显示系统710可以显示由方位传感器系统708、由内窥镜成像系统709、由成像系统718和/或由虚拟可视化系统715生成的患者解剖体和/或医疗器械系统704的各种图像或表示图。在一些实施例中，显示系统710和/或主组件706可以被定向，使得操作者705可以通过远程呈现的感知来控制操纵器组件702、医疗器械系统704、主组件706和/或控制系统712。
如上所述，操纵器组件702在主组件706和/或控制系统712的方向上驱动医疗器械系统704。就这方面，操纵器组件702可以包括可以是机动的和/或远程操作的选择运动自由度，以及可以是非机动的和/或非远程操作的选择运动自由度。例如，操纵器组件702可以包括多个致动器或马达(未示出)，这些致动器或马达响应于从控制系统712接收到的命令来驱动医疗器械系统704上的输入。致动器可以包括驱动系统(未示出)，当该驱动系统耦连到医疗器械系统704时，该驱动系统可以将医疗器械系统704推进到自然或外科手术创建的解剖孔口中。其他驱动系统可以在多个自由度上移动医疗器械系统704的远侧部分(未示出)，多个自由度可以包括三个线性运动度(例如，沿着X、Y、Z笛卡尔轴线的线性运动)和三个旋转运动度(例如，围绕X、Y和Z笛卡尔轴线的旋转)。附加地或可替代地，致动器可以用于致动医疗器械系统704的可铰接末端执行器(例如，用于抓握活检装置和/或类似物的夹具中的组织)。
图8是根据本技术的各个实施例配置的图7的操纵器组件702、医疗器械系统704和成像系统718在手术环境701内的示意表示图。如图8所示，手术环境701具有手术参考系(XS，YS，ZS)，其中患者703被定位在手术台707上，并且医疗器械系统704具有手术环境701内的医疗器械参考系(XM，YM，ZM)。在医疗程序期间，患者703可以在手术环境701内静止，在这种意义上，患者的总体移动可以通过镇静、约束和/或其他手段来限制。在这些和其他实施例中，患者703的循环解剖运动(包括呼吸和心脏运动)可以继续，除非要求患者703屏住呼吸以暂时暂停呼吸运动。
操纵器组件702包括安装到插入台828的器械滑架826。在所示实施例中，插入台828是线性的，而在其他实施例中，插入台828是弯曲的或具有弯曲和线性区段的组合。在一些实施例中，插入台828被固定在手术环境701内。可替代地，插入台828可以在手术环境701内移动，但在手术环境701内具有已知位置(例如，经由跟踪传感器(未示出)或其他跟踪装置)。在这些替代方案中，医疗器械参考系(XM，YM，ZM)相对于手术参考系(XS，YS，ZS)是固定的或以其他方式是已知的。
图8的医疗器械系统704包括细长装置831、医疗器械832、器械主体835、方位传感器系统708的至少一部分以及内窥镜成像系统709的至少一部分。在一些实施例中，细长装置831是限定通路或内腔844的柔性导管或其他生物医学装置。通路844的尺寸和形状可以被设计为接收医疗器械832(例如，经由细长装置831的近端836和/或器械端口(未示出))，并且有利于将医疗器械832递送到细长装置831的远侧部分838。细长装置831耦连到器械主体835，器械主体835继而相对于操纵器组件702的器械滑架826耦连和固定。
在操作中，操纵器组件702可以控制细长装置831经由患者703的自然或手术创建的解剖孔道插入患者703内的插入运动(例如，沿着轴线A的近侧和/或远侧运动)以利于细长装置831通过患者703的解剖区域的解剖通道的导航和/或利于将细长装置831的远侧部分838递送到患者703内的目标位置或其附近。例如，器械滑架826和/或插入台828可以包括致动器(未示出)，诸如伺服马达，该伺服马达利于控制器械滑架828沿着插入台828的运动。附加地或可替代地，在一些实施例中，操纵器组件702可以控制细长装置831的远侧部分838在多个方向(包括偏转、俯仰和滚转旋转方向)上的运动(例如，导航到患者解剖体)。为此，细长装置831可以容纳或包括操纵器组件702可以用来可控地使细长装置831的远侧部分838弯曲的缆线、联动装置和/或其他转向控制件(未示出)。例如，细长装置831可以容纳至少四根缆线，操纵器组件702可以使用这些缆线来提供(i)独立的“上下”转向以控制细长装置831的远侧部分838的俯仰，以及(ii)细长装置831的独立的“左右”转向以控制细长装置831的远侧部分838的偏转。
医疗器械系统704的医疗器械832可以用于医疗程序，诸如用于解剖通道的勘测、手术、活检、消融、照明、冲洗和/或抽吸。因此，医疗器械832可以包括图像捕获探针、活检器械、激光消融纤维和/或其他外科、诊断和/或治疗工具。例如，医疗器械832可以包括内窥镜或其他生物医学装置，该内窥镜或者其他生物医学装置具有定位在医疗器械832的远侧部分837处和/或沿着医疗器械832的其他位置处的一个或多个图像捕获装置847。在这些实施例中，当医疗器械832在患者703的解剖区域内时，图像捕获装置847可以捕获解剖通道和/或其他真实患者解剖体的一个或多个真实导航图像或视频(例如，一个或多个真实导航图像帧的序列)。
如上所述，医疗器械832可以经由由细长装置831限定的通路844被部署到患者703内的目标位置中和/或被递送到患者703内的目标位置。在医疗器械832包括在其远侧部分837处具有图像捕获装置847的内窥镜或其他生物医学装置的实施例中，在操纵器组件702将细长装置831的远侧部分838导航到患者703内的目标位置之前、期间和/或之后，图像捕获装置847可以被推进到细长装置831的远侧部分838。在这些实施例中，医疗器械832可以用作勘测器械，以捕获解剖通道和/或其他真实患者解剖体的真实导航图像，和/或帮助操作者(未示出)通过解剖通道将细长装置831的远侧部分838导航到目标位置。
作为另一示例，在操纵器组件702将细长装置831的远侧部分838定位在接近患者703内的目标位置之后，医疗器械832可以被推进超过细长装置831的远侧部分838，以在目标位置处执行医疗程序。继续该示例，在目标位置处的全部或一部分医疗程序完成之后，医疗器械832可以缩回到细长装置831中，并且附加地或可替代地，可以从细长装置831的近端836或从沿着细长装置831的另一器械端口(未示出)移除。
如图8所示，医疗器械系统704的方位传感器系统708包括形状传感器833和方位测量装置839。在这些和其他实施例中，方位传感器系统708可以包括除了形状传感器833和/或方位测量装置839之外或代替形状传感器833和/或方位测量装置839的其他方位传感器(例如，加速度计、旋转编码器等)。
方位传感器系统708的形状传感器833包括光纤，该光纤在细长装置831内延伸并且与该细长装置831对准。在一个实施例中，形状传感器833的光纤具有大约200μm的直径。在其他实施例中，光纤的直径可以更大或更小。形状传感器833的光纤形成用于确定细长装置831的形状、取向和/或姿势的光纤弯曲传感器。在一些实施例中，具有光纤布拉格光栅(FBG)的光纤可以用于在一个或多个维度上提供结构中的应变测量。在美国专利申请公开号2006/0013523(2005年7月13日提交)(公开了光纤位置和形状感测装置及其相关方法)；美国专利号7,781,724(2006年9月26日提交)(公开了光纤位置和形状感测装置及其相关方法)；美国专利号7,772,541(2008年3月12日提交)(公开了基于瑞利散射的光纤位置和/或形状感测)；以及美国专利号6,389,187(1998年6月17日提交)(公开了光纤弯曲传感器)中更详细描述了用于在三维中监测光纤的形状和相对位置的各种系统和方法，上述专利申请通过引用整体并入本文。在这些和其他实施例中，本技术的传感器可以采用其他合适的应变传感技术，诸如瑞利散射、拉曼散射、布里渊散射和荧光散射。在这些和其他实施例中，细长装置831的形状可以使用其他技术来确定。例如，细长装置831的远侧部分838的姿势的历史可以用于在一段时间间隔内重构细长装置831的形状。
在一些实施例中，形状传感器833被固定在医疗器械系统704的器械主体835上的近侧点834处。在操作中，例如，形状传感器833测量医疗器械参考系(XM，YM，ZM)中从近侧点834到沿着光纤的另一点(诸如细长装置831的远侧部分838)的形状。形状传感器833的近侧点834可以与器械主体835一起移动，但是近侧点833的位置可以是已知的(例如，经由跟踪传感器(未示出)或其他跟踪装置)。
方位传感器系统708的方位测量装置839在器械主体835在操纵器组件702的插入台828上沿着插入轴线A移动时提供关于器械主体835的方位的信息。在一些实施例中，方位测量装置839包括解析器、编码器、电位计和/或其他传感器，其他传感器确定致动器(未示出)的旋转和/或取向，致动器控制操纵器组件702的器械滑架826的运动，并因此控制医疗器械系统704的器械主体835的运动。
图9是根据本技术的各个实施例的在患者703的解剖区域950(例如，人肺)内延伸的图8的医疗器械系统704的一部分的示意表示图。特别地，图9图示出了在解剖区域950的分支解剖通道952内延伸的医疗器械系统704的细长装置831。解剖通道952包括气管954和多个支气管956。
如图9所示，细长装置831在解剖区域950内具有方位、取向、姿势和形状，他们的全部或一部分(除了移动之外或者代替移动，诸如速率或速度)可以通过图7和图8的方位传感器系统708(例如，通过形状传感器833和/或方位测量装置839(图8))捕获为方位传感器数据，以勘测解剖区域950的解剖通道952。特别地，方位传感器系统708可以通过收集医疗器械参考系(XM，YM，ZM)中的解剖区域950内的医疗器械系统704的方位传感器数据来勘测解剖通道952。方位传感器数据可以至少部分地被记录为一组二维或三维坐标点。在解剖区域950是人肺的示例中，坐标点可以表示当细长装置831被推进通过气管954和支气管956时细长装置831的远侧部分838和/或细长装置831的其他部分的位置。在这些和其他实施例中，当细长装置831被推进通过解剖区域950时，坐标点的集合可以表示细长装置831的一个或多个形状。在这些和其他实施例中，坐标点可以表示医疗器械系统704的其他部分(例如，医疗器械832(图8))的方位数据。
坐标点可以一起形成点云。例如，根据本技术的各个实施例，图10图示出了在细长装置831位于解剖区域950(图9)内时形成点云1060的多个坐标点1062，该点云表示图9的细长装置831的形状。特别地，当细长装置831处于图9所示的静止位置时，图10的点云1060由方位传感器系统708(图8)记录的坐标点1062的全部或子集的并集生成。
在一些实施例中，点云(例如，点云1060)可以包括在跨越解剖区域950内的细长装置831的多个形状、方位、取向和/或姿势的图像捕获时段期间由方位传感器系统708记录的所有坐标点或坐标点的子集的并集。在这些实施例中，点云可以包括由方位传感器系统708捕获的坐标点，这些坐标点表示在细长装置831在图像捕获时段期间被推进或移动通过患者解剖体时细长装置831的多个形状。附加地或可替代地，在一些实施例中，因为细长装置831在患者703内的配置(包括形状和位置)可能在图像捕获时段期间由于解剖运动而改变，点云可以包括由方位传感器系统708捕获的多个坐标点1062，这些坐标点表示在细长装置831在患者703内被动移动时细长装置831的形状。如下面更详细描述的，由方位传感器系统708捕获的坐标点的点云可以被配准到患者解剖体的不同模型或数据集。
再次参考图8，医疗器械系统704的内窥镜成像系统709包括一个或多个图像捕获装置847，该图像捕获装置被配置为当细长装置831和/或医疗器械832在患者703的解剖区域(例如，图9的解剖区域950)内时捕获真实患者解剖体(例如，图9的解剖通道952)的一个或多个真实导航图像。例如，内窥镜成像系统709可以包括定位在医疗器械832的远侧部分837处的图像捕获装置847。在这些和其他实施例中，内窥镜成像系统709可以包括定位在沿着医疗器械832和/或沿着细长装置831的其他位置处(例如，在细长装置831的远侧部分838处)的一个或多个图像捕获装置(未示出)。
在图9所示的实施例中，医疗器械832(图8)的图像捕获装置847被推进到细长装置831的远侧部分838并且定位在该远侧部分838处。在该实施例中，在细长装置831被导航通过解剖区域950的气管954和支气管956时，图像捕获装置847可以通过捕获解剖通道952的真实导航图像来勘测解剖通道952。
图11是经由图像捕获装置847(图9)捕获的图9的解剖区域950(诸如解剖通道952中的一个)的患者解剖体的真实导航图像1170(例如，静止图像、视频的图像帧等)的示例。如图所示，真实导航图像1170从医疗器械832(图8)的视点示出了解剖区域950内的两个解剖通道952的分支点或隆突1171。在该示例中，由于图像捕获装置847分别定位在医疗器械832和细长装置831(图9)的远侧部分837和838处，真实导航图像1170的视点来自医疗器械832的远侧部分837，使得医疗器械832和细长装置831在真实导航图像1170内不可见。在其他实施例中，图像捕获装置847可以沿着医疗器械832和/或沿着细长装置831定位在另一位置(图8和图9)。在这些实施例中，内窥镜成像系统119(图8)可以从医疗器械832和/或细长装置831的对应视点捕获真实的导航图像。根据医疗器械832和细长装置831相对于彼此的位置，医疗器械832的一部分和/或细长装置831的一部分可以在这些真实导航图像内是可见的。
再次参考图8，由内窥镜成像系统709捕获的真实导航图像可以利于细长装置831的远侧部分838导航通过患者解剖体(例如，通过图9的解剖通道952)和/或将细长装置831的远侧部分838递送到患者703内的目标位置。在这些和其他实施例中，由内窥镜成像系统709捕获的真实导航图像可以利于(i)医疗器械832的远侧部分837导航超过细长装置831的远侧部分838，(ii)将医疗器械832的远侧部分837递送到患者703内的目标位置，和/或(iii)在医疗程序期间对患者解剖体的可视化。在一些实施例中，由内窥镜成像系统709捕获的每个真实导航图像可以与记录在医疗器械参考系(XM，YM，ZM)中的时间戳和/或方位相关联。由内窥镜成像系统709捕获的真实导航图像可以可选地用于改进由方位传感器系统708生成的坐标点的点云(例如，图10的点云1060)与由成像系统718捕获的图像数据之间的配准。
如图8所示，成像系统718被布置在患者703附近，以获得患者703的三维图像(例如，图9的解剖区域950的三维图像)。在一些实施例中，成像系统718包括一种或多种成像技术，包括CT、MRI、荧光检查、温度记录、超声、OCT、热成像，阻抗成像、激光成像、纳米管X射线成像和/或诸如此类。成像系统718被配置为在细长装置831在患者703内延伸之前、期间和/或之后生成患者解剖体的图像数据。因此，成像系统718可以被配置为捕获患者解剖体的术前、术中和/或术后三维图像。在这些和其他实施例中，成像系统718可以提供患者解剖体的实时或接近实时的图像。
图12图示出了在医疗器械系统704的细长装置831在解剖区域950内延伸时，在图像捕获时段期间由成像系统718(图8)捕获的图9的解剖区域950的一部分1255的术中图像数据1280的示例。如图所示，图像数据1280包括表示细长装置831的图形元素1281和表示解剖区域950的解剖通道952的图形元素1282。
图像数据1280的图形元素1281和1282的全部或一部分可以被分割和/或过滤以生成解剖区域950的部分1255内的解剖通道952的虚拟三维模型(具有或不具有医疗器械系统704)。在一些实施例中，图形元素1281和1282可以附加地或可替代地被分割和/或滤波，以至少部分地基于当医疗器械系统704在解剖区域950内时由成像系统128(图8)捕获的图像来生成医疗器械系统704的图像点云(未示出)。在分割过程期间，从图像数据1280生成的像素或体素可以被划分成分段或元素或被标记以指示它们共享某些特性或计算出的特性，诸如颜色、密度、强度和纹理。分段或元素然后可以被转换为解剖模型和/或转换为医疗器械系统704的图像点云。附加地或可替代地，分段或元素可以用于定位(例如，计算)和/或限定沿着解剖通道952延伸的中心线或其他点。所生成的解剖模型和/或图像点云可以是二维或三维的，并且可以在图像参考系(XI，YI，ZI)中生成。
如以上关于图7所讨论的，医疗系统700(图7)的显示系统710(图7)可以至少部分地基于由方位传感器系统708、由内窥镜成像系统709、由成像系统718和/或由虚拟可视化系统715捕获和/或生成的数据显示患者解剖体和/或医疗器械系统704的各种图像或表示图。在各种实施方式中，系统可以利用图像和/或表示图来帮助操作者705(图7)进行图像引导的医疗程序。
图13是根据本技术的各个实施例的由显示系统710(图7)产生的示例显示器1310的示意表示图。如图所示，显示器1310包括真实导航图像1370、复合虚拟导航图像1391(也称为“复合虚拟图像1391”)和虚拟导航图像1392。真实导航图像1370可以与图11的真实导航图像1170基本相同。因此，例如，真实导航图像1370可以由内窥镜成像系统709(图8)捕获并提供给显示系统710(图7)以实时或接近实时地呈现在显示器1310上。在所示的实施例中，真实导航图像1370从远离医疗器械832的远侧部分837(图8)向远侧定向的视点图示出真实的患者解剖体(例如，标记两个解剖通道952的分支点的隆突1371)。
图13的合成虚拟图像1391被显示在图像参考系(XI，YI，ZI)中，并且包括由成像系统718(图8)捕获的图9的解剖区域950的图像数据生成的解剖模型1350。解剖模型1350与由方位传感器系统708(图8)生成的坐标点的点云(例如，图10的点云1060)配准(即，动态参考)，以显示所跟踪的在患者703(图8)内的医疗器械系统704(例如图8的细长装置831的)的方位、形状、姿势、取向和/或移动的解剖模型1350内的表示图1304。在一些实施例中，合成虚拟图像1391由控制系统712(图7)的虚拟可视化系统715(图7)生成。生成合成虚拟图像1391涉及将图像参考系(XI，YI，ZI)与手术参考系(XS，YS，ZS)和/或与医疗器械参考系(XM，YM，ZM)配准。该配准可以通过刚性和/或非刚性变换来旋转、平移或以其他方式操纵由方位传感器系统708捕获的点云的坐标点(例如，图10的点云1060的坐标点1062)，以将坐标点与解剖模型1350对准。图像和手术/器械参考系之间的配准可以例如通过使用基于点的ICP技术来实现，如美国临时专利申请第72/205,440号和第72/205,433号中所描述的，这两个申请通过引用整体并入本文。在其他实施例中，可以使用另一点云配准技术来实现配准。
至少部分地基于配准，虚拟可视化系统715可以附加地或可替代地生成包括从解剖模型1350内的医疗器械系统704(图9)的表示图1304上的虚拟相机的视点对患者解剖体的虚拟描绘的虚拟导航图像(例如，图13的虚拟导航图像1392)。在图13所示的实施例中，虚拟导航图像1392的虚拟相机被定位在表示图1304的远侧部分1337处，使得(i)虚拟导航图像1392的虚拟视点远离表示图1304的远侧部分1337向远侧指向，并且(ii)表示图1304在虚拟导航图像1392内不可见。在其他实施例中，虚拟可视化系统715可以将虚拟相机(a)定位在沿着表示图1304的另一个位置处和/或(b)以不同的取向定位，使得虚拟导航图像1392具有对应的虚拟视点。在一些实施例中，根据虚拟相机的方位和取向以及细长装置831和医疗器械832在患者703内相对于彼此的方位，虚拟可视化系统715可以将细长装置831和/或医疗器械832的至少一部分的虚拟表示图(未示出)渲染到虚拟导航图像1392中。
在一些实施例中，虚拟可视化系统715可以将虚拟相机在与患者703内的图像捕获装置847的方位和取向相对应的方位和取向(图8)处放置在解剖模型1350内。如图13中进一步所示，虚拟导航图像1392图示出了来自在其处图像捕获装置847(图8)捕获真实导航图像1370的基本上相同的位置的虚拟患者解剖体，诸如标记解剖模型1350的两个解剖通道1352的分支点的隆突1301。因此，虚拟导航图像1392提供在图9的解剖区域950内的给定位置处对图像捕获装置847可见的患者解剖体的渲染估计。因为虚拟导航图像1392至少部分地基于由方位传感器系统708生成的点云和由成像系统718捕获的图像数据的配准，虚拟导航图像1392和真实导航图像1370之间的对应关系提供了关于配准精度的见解，并且可以用于改进配准。此外，由内窥镜成像系统709(图8)捕获的真实导航图像(例如，真实导航图像1370)可以(a)提供关于医疗器械系统704(图7)在患者703体内的方位和取向的信息，(b)提供关于由医疗器械系统实际访问的解剖区域的部分的信息，和/或(c)帮助识别紧邻医疗器械系统704的患者解剖体(例如，解剖通道的分支点)，其中的任何一个或多个可以用于提高配准的精度。
如图13中进一步所示，虚拟导航图像1392可以可选地包括导航路径覆盖1399。在一些实施例中，导航路径覆盖1399用于帮助操作者705(图7)将医疗器械系统704(图7)导航通过解剖区域的解剖通道到达患者703内的目标位置。例如，导航路径覆盖1399可以图示出通过解剖区域的“最佳”路径，该“最佳”路径供操作者705遵循以将医疗器械832和/或细长装置831的远侧部分837和/或838分别递送到患者703内的目标位置。在一些实施例中，导航路径覆盖1399可以与对应解剖通道的中心线或沿着对应解剖通道(例如，底部)的另一条线对准。
C.结论
本文所描述的系统和方法可以以有形和非暂时性机器可读介质或媒质(诸如硬盘驱动器、硬件存储器等)的形式提供，该介质上记录有用于由处理器或计算机执行的指令。指令集可以包括指示计算机或处理器执行特定操作的各种命令，诸如这里描述的各个实施例的方法和过程。指令集可以是软件程序或应用的形式。计算机存储介质可以包括易失性和非易失性介质，以及可移动和不可移动介质，以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据的信息。计算机存储介质可以包括但不限于RAM、ROM、EPROM、EEPROM、闪存或其他固态存储技术、CD-ROM、DVD或其他光学存储装置、磁盘存储装置或可以用于存储期望的信息并且可以由系统的部件访问的任何其他硬件介质。系统的部件可以经由有线或无线通信相互通信。部件可以彼此分离，或者部件的各种组合可以一起集成到监视器或处理器中，或者包含在具有标准计算机硬件(例如，处理器、电路、逻辑电路、存储器和类似物)的工作站中。该系统可以包括处理设备，诸如微处理器、微控制器、集成电路、控制单元、存储介质和其他硬件。
尽管以上在患者肺部内导航和执行医疗程序的上下文中描述了许多实施例，但是除了本文所描述的那些之外的其他应用和其他实施例也在本技术的范围内。例如，除非上下文中另有规定或明确，否则本技术的装置、系统、方法和计算机程序产品可以用于各种图像引导的医疗程序，诸如在中空患者解剖体上、内部或附近执行的医疗程序，并且更具体地，在用于勘测、活组织检查、消融，或者以其他方式治疗中空患者解剖体内和/或近侧的组织的程序中。因此，例如，本公开的系统、装置、方法和计算机程序产品可以用于与其他患者解剖体相关联的一个或多个医疗程序，诸如患者的膀胱、尿路、GI系统和/或心脏。
本公开根据各种器械和器械的部分在三维空间中的状态对其进行描述。如本文所用，术语“方位”是指对象或对象的一部分在三维空间中的位置(例如，沿笛卡尔x、y和z坐标的三个平移自由度)。如本文所用，术语“取向”是指对象或对象的一部分的旋转放置(三个旋转自由度-例如，滚转、俯仰和偏转)。如本文所用，术语“姿势”是指对象或对象的一部分在至少一个平移自由度中的方位以及对象或对象的一部分在至少一个旋转自由度中的取向(多达六个自由度)。如本文所用，术语“形状”是指沿对象测量的一组姿势、方位或取向。
如本文所用，术语“操作者”应理解为包括可能正在执行或协助医疗程序的任何类型的人员，因此包括医师、外科医生、医生、护士、医疗技术人员、本文公开的技术的其他人员或用户，以及其任何组合。附加地，或可替代地，术语“患者”应被视为包括正在执行医疗程序的人类和/或非人类(例如动物)患者。
从上文中可以理解，为了说明的目的，本文已经描述了本技术的特定实施例，但是没有详细示出或描述公知的结构和功能，以避免不必要地混淆对本技术的实施例的描述。如果通过引用并入本文的任何材料与本公开相冲突，本公开占上风。在上下文允许的情况下，单数或复数术语也可以分别包括复数或单数术语。此外，除非“或”一词在提及两个或多个项目的列表时被明确限制为仅指除其他项目之外的单个项目，否则在此类列表中使用“或”应被解释为包括(a)列表中的任何单个项目，(b)列表中的所有项目，或(c)列表中项目的任何组合。如本文所用，“A和/或B”中的短语“和/或”指单独的A、单独的B以及A和B两者。在上下文允许的情况下，单数或复数术语也可以分别包括复数或单数术语。此外，术语“包含”、“包括”、“具有”和“带有”始终用于表示至少包括所述的一个或多个特征，从而不排除任何更多数量的相同特征和/或附加类型的其他特征。
此外，如本文所用，术语“基本上”是指动作、特征、性质、状态、结构、项目或结果的完整或几乎完整的程度。例如，“基本上”封闭的对象意味着该对象要么完全封闭，要么几乎完全封闭。在某些情况下，从绝对完整性偏离的确切允许程度可能取决于具体情况。然而，一般来说，完整的接近程度将与获得绝对完成和完全完成的总体结果相同。“基本上”的使用同样适用于负面含义，指的是完全或接近完全缺乏动作、特征、性质、状态、结构、项目或结果。
本技术的实施例的以上详细描述并非旨在穷举或将本技术限制为以上公开的精确形式。尽管以上出于说明目的描述了该技术的具体实施例和示例，但是如相关领域的技术人员将认识到的，在该技术的范围内各种等效的修改是可能的。例如，虽然步骤以给定的顺序呈现，但是替代实施例可以以不同的顺序执行步骤。作为另一示例，该技术的各种部件可以被进一步划分为子部件，和/或该技术的各个部件和/或功能可以被组合和/或集成。此外，尽管已经在这些实施例的上下文中描述了与本技术的某些实施例相关联的优点，但是其他实施例也可以展现这样的优点，并且并非所有实施例都必须展现这样的优势才能落入本技术的范围内。
还应当注意，除了本文公开的那些实施例之外的其他实施例也在本技术的范围内。例如，除了本文所示或描述的配置、部件和/或程序之外，本技术的实施例还可以具有不同的配置、部件和/或程序。此外，本领域的普通技术人员将理解，在不偏离本技术的情况下，这些和其他实施例可以没有本文所示或描述的若干配置、部件和/或程序。因此，本公开和相关技术可以包括本文中未明确示出或描述的其他实施例。

Claims (46)

1.一种用于在患者的解剖区域内执行医疗程序的系统，所述系统包括：
医疗器械，所述医疗器械被配置为插入所述解剖区域内，所述医疗器械包括图像捕获装置；
与所述医疗器械相关联的方位传感器；
处理器，所述处理器可操作地耦连到所述图像捕获装置和所述方位传感器；以及
存储器，所述存储器可操作地耦连到所述处理器并且存储指令，所述指令在由所述处理器执行时使得所述系统执行包括以下操作的操作：
接收所述解剖区域的三维模型即3D模型；
从所述图像捕获装置获得所述解剖区域的一部分的图像数据；
基于所述图像数据来生成所述解剖区域的所述一部分的3D表示图；
获得由所述方位传感器生成的一组坐标点，其中所述坐标点的至少一部分是在所述医疗器械在所述解剖区域的所述一部分处或附近时生成的；并且
基于所述3D表示图和所述一组坐标点，来生成所述3D模型的参考系与所述医疗器械的参考系之间的配准。
2.根据权利要求1所述的系统，其中所述图像数据包括表示所述解剖区域的所述一部分的不同视图的多个图像。
3.根据权利要求1或权利要求2所述的系统，其中所述解剖区域的所述一部分包括解剖界标。
4.根据权利要求3所述的系统，其中所述解剖区域包括多个分支通道，并且所述解剖界标是分支点或包括分支点。
5.根据权利要求3所述的系统，其中所述操作进一步包括：
检测所述医疗器械接近所述解剖界标；并且
利用所述图像捕获装置自动获得所述解剖界标的图像数据。
6.根据权利要求3所述的系统，其中所述操作进一步包括：
检测所述医疗器械接近所述解剖界标；并且
向操作者输出指令以利用所述图像捕获装置获得所述解剖界标的图像数据。
7.根据权利要求1至6中任一项所述的系统，其中所述3D表示图是使用以下算法中的一个或多个算法从所述图像数据生成的：来自阴影的形状算法、来自运动的结构算法、单次拍摄深度估计算法或端到端深度重构算法。
8.根据权利要求1至7中任一项所述的系统，其中所述3D表示图是表面或网格表示图。
9.根据权利要求1至8中任一项所述的系统，其中生成所述配准包括：
生成所述3D表示图与所述3D模型之间的第一配准；
生成所述一组坐标点与所述3D模型之间的第二配准；并且
组合所述第一配准和所述第二配准以生成所述配准。
10.根据权利要求1至8中任一项所述的系统，其中生成所述配准包括将所述3D表示图和所述一组坐标点输入到单个配准算法中。
11.根据权利要求1至8中任一项所述的系统，其中生成所述配准包括：
将所述3D表示图和所述一组坐标点组合成混合数据集；并且
将所述混合数据集输入到配准算法中。
12.一种在其上存储指令的非暂时性计算机可读介质，所述指令在由计算系统的一个或多个处理器执行时使得所述计算系统执行包括以下操作的操作：
接收解剖区域的三维模型即3D模型；
从所述解剖区域内的医疗器械携带的图像捕获装置获得所述解剖区域的一部分的一个或多个图像；
基于所述一个或多个图像来生成所述解剖区域的所述一部分的3D重构；
获得由与所述医疗器械相关联的方位传感器生成的点云数据，其中所述点云数据的至少一部分是在所述医疗器械位于所述解剖区域的所述一部分处或附近时生成的；并且
基于所述3D重构和所述点云数据，生成所述3D模型的参考系和所述医疗器械的参考系之间的配准。
13.根据权利要求12所述的非暂时性计算机可读介质，其中所述一个或多个图像包括从相对于所述解剖区域的所述一部分的不同姿势拍摄的多个图像。
14.根据权利要求13所述的非暂时性计算机可读介质，其中所述操作进一步包括向操作者输出指令以将所述图像捕获装置移动到所述不同姿势。
15.根据权利要求13所述的非暂时性计算机可读介质，其中所述操作进一步包括将所述图像捕获装置自动移动到所述不同姿势。
16.根据权利要求12至15中任一项所述的非暂时性计算机可读介质，其中所述3D重构是使用以下算法中的一个或多个算法从所述一个或多个图像生成的：来自阴影的形状算法、来自运动的结构算法、单次拍摄深度估计算法或端到端深度重构算法。
17.根据权利要求12所述的非暂时性计算机可读介质，其中所述解剖区域的所述一部分是第一部分并且所述配准是第一配准，并且其中所述操作进一步包括：
从所述图像捕获装置获得所述解剖区域的第二部分的一个或多个第二图像；
基于所述一个或多个第二图像，来生成所述3D模型与所述解剖区域的所述第二部分之间的第二配准。
18.根据权利要求17所述的非暂时性计算机可读介质，其中所述操作进一步包括：在生成所述第一配准之后，向操作者输出指令以将所述医疗器械移动到所述解剖区域的所述第二部分。
19.根据权利要求17所述的非暂时性计算机可读介质，其中所述操作进一步包括：
基于所述第二图像来生成所述解剖区域的所述第二部分的3D重构；
从所述方位传感器获得第二点云数据，其中所述第二点云数据中的至少一部分是在所述医疗器械在所述解剖区域的所述第二部分处或附近时生成的；并且
基于所述第二部分的所述3D重构和所述第二点云数据来生成所述第二配准。
20.一种方法，包括：
接收解剖区域的三维模型即3D模型；
从所述解剖区域内的医疗器械携带的图像捕获装置获得所述解剖区域的一部分的图像数据；
基于所述图像数据来生成所述解剖区域的所述一部分的3D表示图；
获得由与所述医疗器械相关联的方位传感器生成的一组坐标点，其中所述坐标点的至少一部分是在所述医疗器械在所述解剖区域的所述一部分处或附近时生成的；并且
基于所述3D表示图和所述一组坐标点，生成所述3D模型的参考系与所述医疗器械的参考系之间的配准。
21.一种用于在患者的解剖区域内执行医疗程序的系统，所述系统包括：
医疗器械，所述医疗器械被配置为插入所述解剖区域内，所述医疗器械包括图像捕获装置；
与所述医疗器械相关联的方位传感器；
处理器，所述处理器可操作地耦连到所述图像捕获装置和所述方位传感器；以及
存储器，所述存储器可操作地耦连到所述处理器并且存储指令，所述指令在由所述处理器执行时使得所述系统执行包括以下操作的操作：
接收所述解剖区域的三维模型即3D模型；
从所述图像捕获装置获得所述解剖区域内的解剖界标的图像数据；
基于所述图像数据来确定所述解剖界标与所述3D模型中的对应模型界标之间的关联；
获得由所述方位传感器生成的一组坐标点，其中所述坐标点的至少一部分是在所述医疗器械在所述解剖界标处或附近时生成的；并且
至少部分地基于所述解剖界标和所述模型界标之间的所述关联，来生成所述一组坐标点和所述3D模型之间的配准。
22.根据权利要求21所述的系统，其中所述图像数据包括表示所述解剖界标的不同视图的多个图像。
23.根据权利要求21或权利要求22所述的系统，其中所述解剖区域包括多个分支通道，并且所述解剖界标是分支点或包括分支点。
24.根据权利要求21至23中任一项所述的系统，其中确定所述关联包括：
从所述图像数据中检测所述解剖界标的一个或多个特征；并且
将所述解剖界标的所述一个或多个特征与所述模型界标的一个或多个特征进行比较。
25.根据权利要求21至23中任一项所述的系统，其中确定所述关联包括：
生成所述模型界标的至少一个二维虚拟视图即2D虚拟视图；并且
将所述图像数据与所述至少一个2D虚拟视图进行比较。
26.根据权利要求21至23中任一项所述的系统，其中确定所述关联包括：
基于所述图像数据来生成所述解剖界标的3D表示图；并且
将所述3D表示图与所述3D模型的包括所述模型界标的一部分进行比较。
27.根据权利要求26所述的系统，其中所述3D表示图是使用以下算法中的一个或多个算法从所述图像数据生成的：来自阴影的形状算法、来自运动的结构算法、单次拍摄深度估计算法或端到端深度重构算法。
28.根据权利要求21至27中任一项所述的系统，其中生成所述配准包括使用所述解剖界标和所述模型界标之间的所述关联作为配准算法中的输入。
29.根据权利要求21至27中任一项所述的系统，其中生成所述配准包括对在所述医疗器械处于所述解剖界标处或附近时生成的所述坐标点进行比其他坐标点更重地加权。
30.根据权利要求21所述的系统，其中所述操作进一步包括：
从所述图像捕获装置获得所述解剖区域内的第二解剖界标的第二图像数据；并且
基于所述第二图像数据，确定所述第二解剖界标和所述3D模型中的对应的第二模型界标之间的第二关联。
31.根据权利要求30所述的系统，其中所述配准至少部分地基于所述第二解剖界标和所述第二模型界标之间的所述第二关联来生成。
32.根据权利要求21至29中任一项所述的系统，其中所述操作进一步包括向操作者输出指令以将所述医疗器械导航到所述解剖界标。
33.根据权利要求32所述的系统，其中所述操作进一步包括显示图形用户界面，所述图形用户界面显示所述医疗器械相对于所述解剖界标的位置。
34.根据权利要求33所述的系统，其中所述图形用户界面包括指示所述医疗器械先前是否已导航到所述解剖界标的视觉表示图。
35.一种在其上存储指令的非暂时性计算机可读介质，所述指令在由计算系统的一个或多个处理器执行时使得所述计算系统执行包括以下操作的操作：
接收解剖区域的三维模型即3D模型；
利用由所述解剖区域内的医疗器械携带的图像捕获装置，获得所述解剖区域内的解剖界标的图像数据；
基于所述图像数据来识别所述解剖界标与所述3D模型中的对应模型界标之间的匹配；
获得由与所述医疗器械相关联的方位传感器生成的一组坐标点，其中所述坐标点的至少一部分是在所述医疗器械在所述解剖界标处或附近时生成的；并且
至少部分地基于所识别的所述解剖界标与所述模型界标之间的匹配来生成所述一组坐标点与所述3D模型之间的配准。
36.根据权利要求35所述的非暂时性计算机可读介质，其中所述操作进一步包括输出图形用户界面，所述图形用户界面包括所述3D模型的图形表示图和至少一个视觉指示器，所述至少一个视觉指示器示出了哪些解剖界标已经被所述医疗器械勘测。
37.根据权利要求36所述的非暂时性计算机可读介质，其中所述操作进一步包括：在识别出所述解剖界标和所述模型界标之间的所述匹配之后，更新所述至少一个视觉指示器以显示所述解剖界标已经被所述医疗器械勘测。
38.根据权利要求35至37中任一项所述的非暂时性计算机可读介质，其中所述图像数据包括从相对于所述解剖界标的不同姿势拍摄的多个图像。
39.根据权利要求38所述的非暂时性计算机可读介质，其中所述操作进一步包括向操作者输出指令以将所述图像捕获装置移动到所述不同姿势。
40.根据权利要求38所述的非暂时性计算机可读介质，其中所述操作进一步包括将所述图像捕获装置自动移动到所述不同姿势。
41.根据权利要求35至40中任一项所述的非暂时性计算机可读介质，其中识别所述匹配包括：
从所述图像数据中检测所述解剖界标的一个或多个特征；并且
将所述解剖界标的所述一个或多个特征与所述模型界标的一个或多个特征进行比较。
42.根据权利要求35至40中任一项所述的非暂时性计算机可读介质，其中识别所述匹配包括：
生成所述模型界标的至少一个二维虚拟视图即2D虚拟视图；并且
将所述图像数据与所述至少一个2D虚拟视图进行比较。
43.根据权利要求35至40中任一项所述的非暂时性计算机可读介质，其中识别所述匹配包括：
基于所述图像数据来生成所述解剖界标的3D表示图；并且
将所述3D表示图与所述3D模型的包括所述模型界标的一部分进行比较。
44.根据权利要求35所述的非暂时性计算机可读介质，其中所述解剖界标是第一解剖界标并且所述配准是第一配准，并且其中所述操作进一步包括：
从所述图像捕获装置获得所述解剖区域内的第二解剖界标的第二图像数据；
基于所述第二图像数据，识别所述第二解剖界标和所述3D模型中的对应的第二模型界标之间的匹配；
从所述方位传感器获得一组第二坐标点，其中所述第二坐标点的至少一部分是在所述医疗器械在所述第二解剖界标处或附近时生成的；并且
至少部分地基于所识别的所述第二解剖界标与所述第二模型界标之间的匹配来生成所述一组第二坐标点与所述3D模型之间的第二配准。
45.根据权利要求44所述的非暂时性计算机可读介质，其中所述操作进一步包括：在生成所述第一配准之后，向操作者输出指令以将所述医疗器械移动到所述解剖区域的所述第二部分。
46.一种方法，包括：
接收解剖区域的三维模型即3D模型；
从所述解剖区域内的医疗器械携带的图像捕获装置获得所述解剖区域内的解剖界标的图像数据；
基于所述图像数据来确定所述解剖界标与所述3D模型中的对应模型界标之间的关联；
获得由与所述医疗器械相关联的方位传感器生成的一组坐标点，其中所述坐标点的至少一部分是在所述医疗器械在所述解剖界标处或附近时生成的；并且
至少部分地基于所述解剖界标和所述模型界标之间的所述关联来生成所述一组坐标点和所述3D模型之间的配准。
CN202180095007.4A 2021-01-04 2021-12-27 用于基于图像的配准的系统及其相关方法 Pending CN116916847A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163133739P 2021-01-04 2021-01-04
US63/133,739 2021-01-04
PCT/US2021/065206 WO2022146919A1 (en) 2021-01-04 2021-12-27 Systems for image-based registration and associated methods

Publications (1)

Publication Number Publication Date
CN116916847A true CN116916847A (zh) 2023-10-20

Family

ID=80050944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180095007.4A Pending CN116916847A (zh) 2021-01-04 2021-12-27 用于基于图像的配准的系统及其相关方法

Country Status (4)

Country Link
US (1) US20240070883A1 (zh)
EP (1) EP4271305A1 (zh)
CN (1) CN116916847A (zh)
WO (1) WO2022146919A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115462903B (zh) * 2022-11-14 2023-04-07 卡本(深圳)医疗器械有限公司 一种基于磁导航的人体内外部传感器协同定位系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9713018D0 (en) 1997-06-20 1997-08-27 Secr Defence Optical fibre bend sensor
US7772541B2 (en) 2004-07-16 2010-08-10 Luna Innnovations Incorporated Fiber optic position and/or shape sensing based on rayleigh scatter
US7781724B2 (en) 2004-07-16 2010-08-24 Luna Innovations Incorporated Fiber optic position and shape sensing device and method relating thereto
US20060013523A1 (en) 2004-07-16 2006-01-19 Luna Innovations Incorporated Fiber optic position and shape sensing device and method relating thereto
US11202680B2 (en) 2015-08-14 2021-12-21 Intuitive Surgical Operations, Inc. Systems and methods of registration for image-guided surgery
US11058493B2 (en) * 2017-10-13 2021-07-13 Auris Health, Inc. Robotic system configured for navigation path tracing
US11172184B2 (en) * 2018-12-13 2021-11-09 Covidien Lp Systems and methods for imaging a patient
US20200297444A1 (en) * 2019-03-21 2020-09-24 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for localization based on machine learning

Also Published As

Publication number Publication date
US20240070883A1 (en) 2024-02-29
WO2022146919A1 (en) 2022-07-07
EP4271305A1 (en) 2023-11-08

Similar Documents

Publication Publication Date Title
US20220346886A1 (en) Systems and methods of pose estimation and calibration of perspective imaging system in image guided surgery
JP7229155B2 (ja) 画像誘導手術のための連続的な位置合せのシステム及び方法
US20240041531A1 (en) Systems and methods for registering elongate devices to three-dimensional images in image-guided procedures
US20230346479A1 (en) Alerting and mitigating divergence of anatomical feature locations from prior images to real-time interrogation
US20230162380A1 (en) Mitigation of registration data oversampling
US20230281841A1 (en) Systems and methods for registering an instrument to an image using point cloud data and endoscopic image data
US20240070883A1 (en) Systems for image-based registration and associated methods
US20230285081A1 (en) Systems for planning and performing biopsy procedures and associated methods
US20240050160A1 (en) Systems for dynamic image-based localization and associated methods
US20240130799A1 (en) Image-based seeding for registration and associated systems and methods
CN117015803A (zh) 用于配准的基于图像的种子化及相关系统和方法
US20230240750A1 (en) Systems for evaluating registerability of anatomic models and associated methods
US20230317252A1 (en) Conversion and transfer of real-time volumetric image data for a medical device
US20230360212A1 (en) Systems and methods for updating a graphical user interface based upon intraoperative imaging
WO2023161848A1 (en) Three-dimensional reconstruction of an instrument and procedure site
WO2022216716A1 (en) Systems, methods and medium containing instruction for connecting model structures representing anatomical pathways

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination