CN109124766A - 利用轨迹信息与形状感测来改进配准 - Google Patents

利用轨迹信息与形状感测来改进配准 Download PDF

Info

Publication number
CN109124766A
CN109124766A CN201810645147.4A CN201810645147A CN109124766A CN 109124766 A CN109124766 A CN 109124766A CN 201810645147 A CN201810645147 A CN 201810645147A CN 109124766 A CN109124766 A CN 109124766A
Authority
CN
China
Prior art keywords
lung
air flue
center line
conduit
bronchoscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810645147.4A
Other languages
English (en)
Inventor
Z.德克
A.佐亚比
Y.B.兹赫姆
N.拉奇
H.沃夫森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Biosense Webster Israel Ltd
Original Assignee
Biosense Webster Israel Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Biosense Webster Israel Ltd filed Critical Biosense Webster Israel Ltd
Publication of CN109124766A publication Critical patent/CN109124766A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/009—Flexible endoscopes with bending or curvature detection of the insertion part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2676—Bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pulmonology (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Human Computer Interaction (AREA)
  • Otolaryngology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Endoscopes (AREA)
  • Processing Or Creating Images (AREA)
  • Media Introduction/Drainage Providing Device (AREA)

Abstract

本发明题目为“使用轨迹信息与形状感测来改进配准”。本文描述了一种用于在内窥镜检规程诸如支气管镜检期间使用轨迹信息和形状感测进行自动界标配准和配准的方法和系统。可基于肺的术前计算机断层摄影(CT)图像来生成肺的气道的分割中心线。可在分割中心线上自动检测与肺的气道中的分叉部对应的界标。可以生成在导航期间穿过肺的气道的导管的位置的位置数据点云。可生成肺的气道的包围盒，并且可检测包围盒中心线。可在包围盒中心线上针对相同的分叉部检测界标。然后，可以作为配准的一部分映射两个界标集。轨迹信息与形状感测可用于提供非刚性或精细配准。

Description

利用轨迹信息与形状感测来改进配准
背景技术
在内窥镜的一般领域中，已经针对采取将柔性导管插入患者体内方式的微创诊断和外科手术开发了多种医疗器械，通过所述导管可插入相机、工具或其他器具并在已选择性地定位在患者体内期望位置的导管的远侧端部进行操作。许多类型的医疗器械以这样的方式操作，包括，例如，支气管镜、内窥镜、肛门镜、乙状结肠镜、鼻喉镜和喉镜。在本文中，诸如内窥镜、导管或活检工具的此类医疗器械的一般术语可与诸如支气管镜的此类器械的具体示例可互换地使用。
内窥镜式医疗器械可与身体目标区域的三维(3D)数字图谱结合使用，以向医生或操作者提供适当地进行诊断和/或治疗规程所需的可视化和信息。支气管镜检是侵入式内窥镜检规程的具体示例，其涉及将内窥镜(例如，支气管镜)插入肺中。医生使用支气管镜检进行诸如喉、气管以及肺的其他气道的人体呼吸系统的纵膈检查和处理。例如，支气管镜检可用于定位气道中的肿瘤、炎症、出血或异物。
发明内容
本文描述了一种在内窥镜检规程诸如支气管镜检期间使用轨迹信息和形状感测的自动界标配准和配准的方法和系统。肺的气道的分割中心线可基于肺的术前计算机断层摄影(CT)图像生成。可在分割中心线上自动检测与肺的气道中的分叉部对应的第一界标集。
可导航导管穿过肺的气道并且可生成包括该导管在导航期间的位置的位置数据点云。可以基于位置数据点云来生成肺的气道的包围盒(bounding volume)，并且可从该气道的包围盒检测包围盒中心线。然后，可在包围盒中心线上检测气道中的第二界标集，该第二界标集与在分割中心线上自动检测到的第一界标集对应。然后，可以作为配准的一部分映射该两个界标集。
导管穿过气道的导航可使用轨迹信息与形状感测，以识别导管与肺的气道中的分叉部的距离，以提供非刚性或精细配准。可基于导管的位置的长度、导管的弯曲角度以及导管的扭转角度生成能量模型。可选择使第一界标集与第二界标集之间的能量值最小化的路径，以实现更准确的配准。
附图说明
图1为示例性柔性支气管镜检系统的系统图；
图2为肺的解剖结构的示例性图示，其示出在支气管镜检期间肺中的可能与导航相关的通路；
图3为作为解剖学界标的自动检测和配准过程的一部分的导管在肺的气道中的路径的示例性规程剖视图；
图4A为肺的主气道的示例性重建的图像，并且图4B为肺的主气道的中心线的对应轮廓化图像；
图5为根据本文公开内容的用于支气管镜检系统的示例性自动界标配准规程的流程图；
图6A为气道体积的分割和从该气道体积自动提取的中心线的图；
图6B是所提取的中心线的图，其示出识别中心线上的分叉点处的界标的自动界标检测的结果；
图7为肺的解剖结构的示例性图像，其示出作为使用轨迹信息和形状感测的改进的精细(非刚性)配准过程的一部分的导管在肺的气道中的路径；
图8为用于支气管镜检系统的使用轨迹信息的示例性配准规程的流程图；
图9为包括长度部分、弯曲部分和扭转部分的能量模型的元素的图示；并且
图10是配准之前的导管路径和配准之后的匹配导管路径的示例。
具体实施方式
本文相对于用于呼吸系统和肺系统的支气管镜检规程描述了公开内容，但是本领域的技术人员应当理解，所述公开内容可应用于可在身体中的任何腔或系统中使用的系统和规程，所述腔或系统包括但不限于呼吸/肺系统、心脏系统、消化系统、神经血管系统和/或循环系统。
经导航的支气管镜检通常涉及由医生将可充当观察器械的导航导管(例如，支气管镜)插入(例如，经由口腔或其他开口或切口)气道中。例如，支气管镜可安装有相机和/或电磁(EM)传感器，以在导管穿过肺通路时捕捉导管位置的视频、图像和/传感器数据。导管也可具有其他功能，包括但不限于以下项：配备有可用于在缺陷组织上执行治疗消融的电极；配备有光学传感器；和/或配备有温度传感器。
可使用柔性或刚性支气管镜检。刚性支气管镜是直管，并且在较大的气道中用以移除大量血液、分泌物、异物或患病组织(病变)，以控制例如出血、或插入支架。柔性支气管镜可被移动到较小的气道(例如，细支气管)中，并且可用于插入呼吸管以例如提供氧气、吸出分泌物、进行活检以及将药物递送到肺中。
图1是根据本文公开内容的示例性柔性支气管镜检系统100的系统图。示例性支气管镜检系统100包括柔性导管102，该柔性导管102具有远侧端部104，在远侧端部104中可设置相机或传感器以及相关的光发射器。
该示例性支气管镜检系统100可包括机器人手柄106以及相关联的控制器108和视频显示器110，使得医生或其他操作者107能够选择性地且精确地将柔性导管102的远侧端部104插入患者105的肺122的空气通道120内的期望位置。例如，图1示出插入柔性导管102以邻近肿瘤124来定位该柔性导管102的远侧端部104的结果。
显示器110可被配置成显示来自远侧端部104的相机或传感器的图像，该图像可与术前计算机断层摄影(CT)图像(和/或磁共振成像(MRI)图像)相结合，以帮助医生107导航穿过气道120，同时使用机器人手柄106插入柔性导管102以到达期望位置。机器人手柄106可至少部分地由控制器108控制，以实现由医生107指导的插入移动。
柔性导管102可包括一根或多根光纤(例如，沿导管102纵向嵌入)，所述光纤可以是远侧端部104的相机、传感器或光发射器的信号传导部件的部分。控制器108可被配置成具有光纤感测以经由一根或多根光纤生成数据，以有助于使用期间柔性导管102的控制和作为显示器110上的显示图形的部分的患者的空气通道120内的导管位置的表示图的显示。由控制器108执行的光纤感测可在支气管镜检规程期间原位提供导管102的路径和曲率的精确计算。
控制器108可包括但不限于包括以下元件(未具体示出)中的任何一个或多个：处理器；存储介质；和/或操作者界面。例如，控制器108可包括一个或多个信号处理电路，该一个或多个信号处理电路可包含在计算机内部。控制器108可以以硬件实现和/或以软件来编程以执行支气管镜检系统100的功能。该软件可以例如通过网络以电子形式下载至控制器108，和/或可以设置在有形介质诸如磁介质或光学介质或者其他非易失性存储器上。例如，可通过将软件模块下载并安装至控制器108(例如，处理器和/或存储介质)来对支气管镜检系统100进行增强。在示例中，控制器108可包括通用计算机。
在基于导航图像的支气管镜检系统诸如图1中所示的支气管镜检系统100中，医生手动地在肺内导航导管(例如，支气管镜、活检工具等)，并因此取决于周围解剖结构的可视化成功地在肺中导航并执行支气管镜检规程。支气管镜和/或活检工具的位置可在患者的肺的视觉显示的三维(3D)图谱中实时跟踪和显示，因而为操作者提供朝向预定目标(例如，肿瘤或病变)的支气管内通路。
为了在支气管镜检规程之前生成肺的3D图谱，可从不同角度获取患者的肺的术前二维(2D)CT图像(可另选或另外使用MRI图像)并且使用数字处理组合，以生成包括气道树的复杂结构的患者的肺的单个3D视图。该过程被称为医学图像分割，并且通常用于医学成像中，以通过从术前图像中分离和提取所关注的解剖结构(在这种情况下，在气道中)而由2D图像生成3D重建。
气道分割由于气道的复杂结构而尤其具有挑战性，并且一些支气管的极小直径(例如，细支气管的直径可小于1毫米(mm))使得在CT(或MRI)图像上难以将它们区分开来。用于气道分割的示例性技术涉及在CT(或MRI)图像上识别三个(或更多个)种子点或界标：例如，在气管和两个主支气管中的每个主支气管内。界标可用于将体积分裂成三个不同的部分，以用作三个分割过程的起点。
图2为肺的解剖结构200的示例性图示，其示出在支气管镜检期间肺中的可能与导航相关的通路。例如，通过气道分割生成的肺的图谱可示出但不限于示出肺的解剖结构200的以下元素：喉202；气管204；初级支气管206；次级支气管208；三级支气管210；和/或细支气管212。其他元素(未示出)可被包括在肺的图谱中，包括但不限于以下：肺动脉、肺静脉和/或右肺和左肺。
一旦生成肺的3D标测图，就可使用图像与患者(image-to-patient)配准来将导管在患者体内的导航路径与肺的3D映射图准确地对准。一般来讲，图像配准是将不同的数据点集变换到一个坐标系中的过程，并且在医学成像中用于整合从不同位置数据点来源获得的数据点，并且可用于2D和3D图像。图像配准的目的是使两个图像的对应点尽可能地接近。用于医学成像的图像配准通常必须考虑身体解剖区域的移动，因此可获取多个图像并转化成解剖区域的单个固定图像。
在支气管镜检或内窥镜检中，一般来讲，图像配准用于使用导管将来自内部的气道(或其他器官)的图像映射到来自CT扫描的图像。可通过执行几何变换来实现配准，以在用于导管导航的坐标系X(例如，目标图像)与在分割中用于CT(或MRI)扫描的坐标系Y(例如，参考图像)之间进行映射。例如，如果坐标系X中的点x对应于坐标系Y中的点y，那么成功的配准将使变换点x'＝T(x)等于或近似等于y，其中T为应用于点x的变换函数。
图像与患者配准的示例是基于中心线的配准，其中在支气管(导管)末端穿过气道导航通路(气管或支气管)时来自该支气管(导管)末端的位置数据与来自术前CT图像的在患者的肺的气管支气管中的内腔(即内部空间)的路径(即中心线)相匹配。配准可包括“刚性”配准，其涉及使用线性变换将CT图像的坐标系和物理世界的坐标系(例如，导管所使用的磁坐标系)之间的点对进行匹配，该线性变换可包括旋转、缩放和/或平移。
在刚性配准中使用的线性变换可能无法模拟图像之间的所有局部几何差异。因此，也可使用弹性或非刚性配准(也称为精细配准)，该配准可涉及使用能够使目标图像翘曲以与参考图像对准的变换。非刚性配准对于在肺的小远侧气道诸如三级支气管和细支气管中获得并匹配准确的位置信息尤其有用。
在一个示例中，作为刚性配准的一部分，可使用将源点云中的点与参考点云中的最近的对应点相匹配的迭代最近点(ICP)算法来将所跟踪的支气管镜的路径(例如，导管位置点云)映射至在分割中识别的肺树的中心线。在这种情况下，ICP算法可利用沿气道中心线的参考的关键点或界标(即，种子点)，该算法可通过初步点集界标配准(point setlandmark registration)过程生成。
目前，用于支气管镜检的分割和配准过程仅是半自动的，而不是全自动的，因为界标选择(即，在气管和支气管内的种子点布置)是由医生或操作者手动完成的，这是耗时、昂贵的且易受人为失误的影响。因此，医生需要一种准确且自动的配准过程，其中通过用导管快速访问气管以及左右主要(初级)支气管，支气管镜检系统可获得在导航坐标系与CT坐标系之间的准确配准，以便在CT图像及其分割结果上进一步导航至远侧支气管(例如，次级支气管和三级支气管以及细支气管)。
本发明所公开的支气管镜检系统使用来自导管的导航信息来自动检测肺内的解剖学界标以提供更好的导航信息。图3为根据本文的公开内容的作为解剖学界标的自动检测和配准过程的一部分的导管302在肺306的气道中的路径的示例性横截面视图300。在示例性图像300中，导航导管302穿过肺306的主气道304。当导管302在主气道中到达“T”接合点或分叉部308时，配准过程自动检测气道的结构并通过将自动检测到的分叉部308标记为界标来更新配准。在下文中更详细地描述了使用解剖学界标的自动检测和配准的所公开的支气管镜检系统。
根据本文的公开内容，作为配准过程的一部分，当医生在主气道区段内操纵导管的同时，所公开的支气管镜检系统可使用位于导管中的多个传感器或光纤收集导管位置。使用在导管导航期间采集到的位置点，所公开的支气管镜检系统可自动重建主气道的轨迹，并且可自动画出轨迹中心线的轮廓。所公开的支气管镜检系统随后可通过识别中心线中的每个分裂部(对应于分叉部)来检测主气道的所有中心线接合点，并将该分裂部的位置限定为界标的候选。图4A示出肺的主气道的示例性重建400A的图像，该图像包括气管404和左右初级支气管406，并且图4B示出肺的主气道的中心线的对应轮廓化图像400B，该图像400B包括气管404和左右初级支气管406，并且示出在中心线中存在分裂部的气道的接合点处自动检测到的近侧分叉部或界标410。
所公开的支气管镜检系统还可将在支气管镜检之前获取的肺的主气道的CT(或MRI)图像分割，并将CT图像的中心线轮廓化，同时自动检测主气道接合点。因此，所公开的支气管镜检系统可分别基于使用导管的导航过程和术前CT扫描而生成肺的主气道的中心线接合点位置的两个集合。所公开的支气管镜检系统然后可在中心线接合点位置的两个集合之间执行点集配准，如下文所述。
例如，所公开的支气管镜检系统可从点集配准结果开始在导航期间构造的轨迹点(即，识别沿中心线的接合点的点集)与气道分割期间构造(即，基于CT扫描)的轨迹点之间进行ICP配准。在一个示例中，所公开的支气管镜检系统可使用线性规划算法诸如单纯形算法来优化通过ICP过程获得的配准结果。
所公开的支气管镜检系统通过自动检测并配准用于图像配准的肺内的界标以提供更好的导航信息来增强当前的配准系统。所公开的系统消除用户对初始配准的需要，并且防止在选择界标(例如，气道中的分叉部或接合点)时的人为失误。
图5为根据本文公开内容的用于支气管镜检系统的示例性自动界标配准规程500的流程图。在自动界标配准规程500中，基于中心线的配准用于使CT图像与支气管镜的通路对准；然而，可类似地使用其他配准技术。
在502处，可基于CT图像(和/或MRI图像)生成穿过肺的通路的分割中心线。可使用任何用于中心线提取的方法来生成分割中心线。例如，可将细化算法应用于来自CT扫描图像的气道的表面模型。
在504处，在分割中心线上自动检测到近侧分叉部(界标)。例如，参考图4B，检测到四个近侧分叉部410。由于肺的解剖结构，优选地在主要接合点处检测到三个或更多个界标，诸如气管与初级支气管之间的接合点，以及初级支气管与次级支气管之间的接合点。来自CT扫描的界标可被检测为中心线中的分级分裂部(如图4B所示)。
在506处，导航导管穿过气道，并且针对该导管在导航期间的位置生成位置数据点云。例如，导管可穿过肺的主通路(例如，气管、初级支气管、次级支气管)，以通过记录该导管在导航期间的位置(例如，通过确定导管的远侧末端相对于位于身体下方的参考装置群集的位置、取向和/或距离)来生成位置数据点云。在508处，可检测气道的表面几何形状以从导管已到达位置的位置数据点云(即，包括所有导管定位的3D导管位置点云)来生成气道的包围盒。例如，解剖结构映射算法(诸如α体积算法)可由位置数据点云生成气道的腔室几何形状。
在510处，可检测到来自气道的包围盒的中心线(例如，使用细化算法)。在512处，可在包围盒中心线上自动检测到近侧分叉部(例如，三个或更多个)，所述近侧分叉部与来自步骤504的分割中心线上的近侧分叉部对应。可通过检测包围盒中心线中的分裂部来检测来自导管位置的界标。
图6A和6B示出具有使用自动界标检测识别的分叉点的示例性气道中心线604的图600A和600B。具体地讲，图6A是以灰色示出的气道体积602的分割以及以黑色的线示出从气道体积602自动提取的中心线604的图600A。中心线604对应于导管的路径(未示出)。在图上标记的节点(例如，节点1、节点2等)是由CT扫描检测到的候选界标，使得检测到的候选界标的任何子集(或全部子集)可被选择为用于界标配准的界标(如下文所述的步骤514)。图6B为所提取的中心线604的图600B，该图示出自动界标检测的结果，所述自动界标检测自动识别在中心线604上的分叉点(例如，分裂部)处由黑色的圆圈表示的界标606。在该示例中，在气管与初级支气管之间以及在初级支气管与次级支气管之间识别出界标606。图6B示出三个检测到的界标606，然而任何数量的界标都可识别。
重新参考图5，在514处，可执行界标配准规程以将边界α体积中心线上的近侧分叉点映射到分割中心线上的近侧分叉点，从而在通过CT扫描生成的肺的图谱与导管在肺中的路径之间提供必要的对应性，以便在支气管镜检期间实现准确的导航。在一个示例中，可使用奇异值分解(SVD)算法映射两个点集。
为了在来自CT图像与来自导管位置的界标之间进行配对，可对不同的解剖特征进行比较。例如，可将来自气管的第一分叉部或分裂部作为主分裂部限定在两个点集中。可在两个点集之间比较主分裂部与次级分裂部之间(例如，初级支气管与次级支气管之间)的距离。也可以比较主分裂部与次级分裂部之间的角度。该方法可重复，例如，从次级分裂部到三级分裂部(例如，二级支气管与三级支气管之间)等等。
关于图像与患者配准的另一个挑战是，当导管的远侧端部进入小的远侧气道诸如三级支气管和细支气管时，精细或非刚性配准的准确度减小，这导致在气道中确定导管的确切位置(定位)时的不准确性。目前，医生在肺内手动导航导管，这可能需要周围解剖结构的详细而准确的可视化，包括在远侧气道中的详细而准确的可视化，例如，如果是肿瘤位置的话。
如上所述，图像配准过程将不同的数据集变换到一个坐标系中。对于支气管镜检，第一数据位置点集是针对导管末端在气道中导航时的位置(例如通过电磁导航系统获取的)，并且第二位置数据点集是针对支气管的图像(例如，基于CT图像)。例如，图像配准可映射肺的某些区域，诸如气管和支气管。本文的公开内容提供了用于非刚性配准的改进的配准过程和系统，该过程和系统利用轨迹信息与形状感测为肺内的导航提供更精确的配准，尤其是在难以获得准确导管位置信息的小的远侧气道中。
所公开的配准系统和过程通过使用导管中的多个传感器或光纤针对形状感测跟踪导管的轨迹来为现有的配准系统提供改进。形状感测涉及在导管中使用基于分布式布拉格反射器(DBR)(例如，光纤布拉格光栅(FBG))的连续光纤(光学)形状传感器来帮助导航和定位导管，该导管可以空间连续的方式感测，从而提供关于导管的整个长度的位置的信息。支气管镜检系统可使用形状感测将气道的实际形状与导管的轨迹进行比较以获得更准确的配准。使用此方法，该系统和方法可补偿气道的移动(例如，由于由呼吸等造成的解剖结构的移动)，以及由于由导管或支气管镜所施加的机械应力造成的现实世界中的气道相对于CT图像中的气道的形状的变形。
图7为根据本文的公开内容的肺的解剖结构700的示例性图像，该图像示出作为使用轨迹信息和形状感测的改进的精细(非刚性)配准过程的一部分的导管702在肺的气道中的路径。当医生在气道诸如气管704内导航导管702，并且导管702接近气道中的T形接合部或分叉部，诸如从气管704到支气管706的T形接合部708时，医生可利用轨迹信息与形状感测来识别导管702与T形接合部708的距离。更具体地讲，当导管702到达接合点708时，可使用轨迹信息和形状感测来更新导管702的路径的配准，以改善肺通路的解剖结构的映射和显示。
所公开的配准系统和过程包括使用多个传感器或光纤跟踪导管的轨迹以及形状感测，以改善肺通路的解剖结构的映射和显示。可以使用导管在导航期间的磁定位的路径，以便细化配准过程的平移和/或旋转。也就是说，已知导管的路径而不是仅已知导管末端的位置，这允许所公开的配准系统通过消除与导管的路径相比不可能的解剖结构来识别准确的位置信息。
图8为根据本文的公开内容的在支气管镜检系统中使用轨迹信息的示例性配准规程800的流程图。在802处，执行界标配准以配准基于导管路径的目标坐标系和基于CT图像的参考坐标系，例如，使用任何上述技术(例如，图5中的自动界标配准规程500)。在一个示例中，可使用ICP算法来改善刚性配准。
在804处，可生成能量模型。该能量模型可通过将由导管点形成的形状的长度、弯曲角度和扭转角度与由术前图像中的匹配点形成的长度、弯曲角度和扭转角度进行比较来限定。首先可单独计算每个点集(即导管点集和来自术前图像的匹配点)的长度、弯曲角度和扭转角度。
图9为根据本文的公开内容的包括长度部分、弯曲部分和扭转部分的能量模型的元素的图示。参照图9和公式1，如果P表示目标坐标系(基于导管位置)或参考坐标系(基于术前CT或MRI图像)中的位置点集，那么从P中的每个点沿该路径到P中的随继点的矢量可由DP表示。长度ΔL可定义为沿该路径在P中的任何两个随继(即，连续)点之间的距离。由α表示的弯曲角度可定义为两个随继DP矢量之间的角度。两个随继DP矢量限定平面，并且以θ表示的扭转角度可定义为两个随继平面之间的角度。
因此，代表导管中路径的长度、弯曲角度和扭转角度的变化的能量E可由公式1限定：
其中KL为弹性拉伸系数；为磁路径与匹配路径之间的长度变化；Ka为弹性弯曲系数；为磁路径与匹配路径的两个连续部分之间的角度变化；Kθ为弹性扭转系数；为磁路径和匹配路径的三个连续部分之间的扭转角度变化；并且Li、Li+1和Li+2为在整个路径长度上用于能量计算的部分的长度。
参考图8，在806处，选择表示目标(导管导航)坐标系与参考(基于CT扫描)坐标系之间的最小能量E(例如，使用公式1)的路径，并且相应地计算配准。
图10是配准之前的导管路径和配准之后的匹配导管路径的示例，使得匹配路径是使改变导管路径的能量值E最小化的路径。
本文所述的实施方案和规程可以在硬件和/或软件中实现。用于执行消融的计算机系统可能够运行引入包括本文所述的规程的附加特征的软件模块。本文所述的规程可以促进先进的心脏可视化和诊断能力以增强临床医生诊断和治疗心脏节律失常的能力。虽然本文所公开的规程是相对于心脏内的消融规程而描述的，但该规程可类似地用于身体的其他部分中的消融。

Claims (20)

1.一种用于在支气管镜检规程期间自动界标配准的方法，所述方法包括：
基于肺的术前图像来生成所述肺的气道的标测图，其中所述标测图能够显示在视觉显示器上；
基于所述肺的所述术前图像来生成所述肺的所述气道的分割中心线；
在所述分割中心线上自动检测第一多个界标，其中所述第一多个界标与所述肺的所述气道中的分叉部对应；
基于导管在穿过所述肺的所述气道的导航期间的位置来生成位置数据点云；
基于所述位置数据点云来生成所述肺的所述气道的包围盒；
从所述肺的所述气道的所述包围盒来检测包围盒中心线；
在所述包围盒中心线上自动检测与所述第一多个界标的所述分叉部对应的第二多个界标；以及
生成所述第一多个界标与所述第二多个界标中的对应点的映射并且使用所述映射来将所述位置数据点云与所述肺的所述气道的所述标测图进行整合。
2.根据权利要求1所述的方法，还包括：
使用所述映射来在所述肺的所述气道的所述标测图上实时地在视觉上显示所述导管在所述肺的所述气道中的导航期间的所述位置。
3.根据权利要求2所述的方法，其中所述肺的所述气道的所述标测图在视觉上显示为二维(2D)或三维(3D)图像。
4.根据权利要求1所述的方法，其中所述多个界标包括三个或更多个界标。
5.根据权利要求1所述的方法，其中所述自动检测所述分割中心线上的所述第一多个界标以及所述自动检测所述包围盒中心线上的所述第二多个界标包括分别识别所述分割中心线和所述包围盒中心线中的分裂部。
6.根据权利要求1所述的方法，其中所述肺的所述气道中的所述分叉部包括：第一T形接合部和第二T形接合部，所述第一T形接合部在所述肺的气管与所述肺的至少一个支气管之间，所述第二T形接合部在所述肺的第一支气管与所述肺的第二支气管之间。
7.根据权利要求1所述的方法，其中生成所述映射使用奇异值分解(SVD)。
8.根据权利要求1所述的方法，其中所述肺的所述术前图像是使用计算机断层摄影(CT)或磁共振成像(MRI)生成的。
9.根据权利要求1所述的方法，其中所述导航所述导管穿过所述肺的所述气道
包括：
使用轨迹信息与形状感测来识别所述导管与所述肺的所述气道中的T形接合部的距离。
10.根据权利要求9所述的方法，其中所述形状感测包括：
通过将由所述导管在导航期间的所述位置形成的形状的长度、弯曲角度和扭转角度与所述术前图像中的匹配点的长度、弯曲角度和扭转角度进行比较来计算能量值；以及
选择使所述能量值最小化的路径。
11.一种被配置成在支气管镜检规程期间执行自动界标配准的支气管镜检系统，所述支气管镜检系统包括：
处理器，所述处理器操作地耦合至导管和视觉显示装置；
所述处理器被配置成基于肺的术前图像来生成所述肺的气道的标测图，其中所述标测图能够显示在视觉显示器上；
所述处理器被配置成基于所述肺的所述术前图像来生成所述肺的所述气道的分割中心线；
所述处理器被配置成自动检测所述分割中心线上的第一多个界标，其中所述第一多个界标与所述肺的所述气道中的分叉部对应；
所述处理器被配置成基于所述导管在穿过所述肺的所述气道的导航期间的位置来生成位置数据点云；
所述处理器被配置成基于所述位置数据点云来生成所述肺的所述气道的包围盒；
所述处理器被配置成从所述肺的所述气道的所述包围盒来检测包围盒中心线；
所述处理器被配置成自动检测所述包围盒中心线上与所述第一多个界标的所述分叉部对应的第二多个界标；以及
所述处理器被配置成生成所述第一多个界标与所述第二多个界标中的对应点的映射，并且使用所述映射来将所述位置数据点云与所述肺的所述气道的所述标测图进行整合。
12.根据权利要求11所述的支气管镜检系统，其中所述视觉显示器被配置成使用所述映射来在所述肺的所述气道的所述标测图上实时地在视觉上显示所述导管在所述肺的所述气道中的导航期间的所述位置。
13.根据权利要求12所述的支气管镜检系统，其中所述视觉显示器将所述肺的所述气道的所述标测图显示为二维(2D)或三维(3D)图像。
14.根据权利要求11所述的支气管镜检系统，其中所述多个界标包括三个或更多个界标。
15.根据权利要求11所述的支气管镜检系统，其中所述处理器被配置成通过分别识别所述分割中心线和所述包围盒中心线中的分裂部来自动检测所述分割中心线上的所述第一多个界标以及自动检测所述包围盒中心线上的所述第二多个界标。
16.根据权利要求11所述的支气管镜检系统，其中所述肺的所述气道中的所述分叉部包括：第一T形接合部和第二T形接合部，所述第一T形接合部在所述肺的气管与所述肺的至少一个支气管之间，所述第二T形接合部在所述肺的第一支气管与所述肺的第二支气管之间。
17.根据权利要求11所述的支气管镜检系统，其中所述处理器被配置成使用奇异值分解(SVD)来生成所述映射。
18.根据权利要求11所述的支气管镜检系统，其中所述肺的所述术前图像是使用计算机断层摄影(CT)或磁共振成像(MRI)生成的。
19.根据权利要求11所述的支气管镜检系统，其中所述导管穿过所述肺的所述气道的所述导航包括所述处理器使用轨迹信息与形状感测来识别所述导管与所述肺的所述气道中的T形接合部的距离。
20.根据权利要求19所述的支气管镜检系统，其中所述处理器通过以下方式执行形状感测：将由所述导管在导航期间的所述位置形成的形状的长度、弯曲角度和扭转角度与所述术前图像中的匹配点的长度、弯曲角度和扭转角度进行比较来计算能量值，以及选择使所述能量值最小化的路径。
CN201810645147.4A 2017-06-21 2018-06-21 利用轨迹信息与形状感测来改进配准 Pending CN109124766A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/629044 2017-06-21
US15/629,044 US10575907B2 (en) 2017-06-21 2017-06-21 Registration with trajectory information with shape sensing

Publications (1)

Publication Number Publication Date
CN109124766A true CN109124766A (zh) 2019-01-04

Family

ID=62715886

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810645147.4A Pending CN109124766A (zh) 2017-06-21 2018-06-21 利用轨迹信息与形状感测来改进配准

Country Status (7)

Country Link
US (2) US10575907B2 (zh)
EP (2) EP3622877A1 (zh)
JP (1) JP7154832B2 (zh)
CN (1) CN109124766A (zh)
AU (1) AU2018203304A1 (zh)
CA (1) CA3008855A1 (zh)
IL (1) IL259155B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112641514A (zh) * 2020-12-17 2021-04-13 罗雄彪 一种微创介入导航系统与方法
CN113100943A (zh) * 2020-12-31 2021-07-13 杭州堃博生物科技有限公司 生理通道内的导航处理方法、装置、系统、设备与介质
CN115120346A (zh) * 2022-08-30 2022-09-30 中国科学院自动化研究所 目标点定位方法、装置、电子设备及支气管镜系统

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101703095B1 (ko) 2010-06-17 2017-02-06 워싱톤 유니버시티 정렬된 섬유를 포함하는 생의학용 패치
CN103458764B (zh) * 2011-03-31 2017-05-03 皇家飞利浦有限公司 形状感测辅助的医疗程序
IN2015DN02299A (zh) 2012-09-21 2015-08-21 Univ Washington
US10248756B2 (en) * 2015-02-18 2019-04-02 Siemens Healthcare Gmbh Anatomically specific movie driven medical image review
FR3037785B1 (fr) * 2015-06-26 2017-08-18 Therenva Procede et systeme d'aide au guidage d'un outil endovasculaire dans des structures vasculaires
US10632228B2 (en) 2016-05-12 2020-04-28 Acera Surgical, Inc. Tissue substitute materials and methods for tissue repair
US10575907B2 (en) * 2017-06-21 2020-03-03 Biosense Webster (Israel) Ltd. Registration with trajectory information with shape sensing
US11944388B2 (en) 2018-09-28 2024-04-02 Covidien Lp Systems and methods for magnetic interference correction
WO2020102545A1 (en) * 2018-11-15 2020-05-22 Centerline Biomedical, Inc. Modeling anatomical structures using an anatomical measurement wire
US11642175B2 (en) * 2018-11-15 2023-05-09 Centerline Biomedical, Inc. Systems and methods for registration using an anatomical measurement wire
US11877806B2 (en) 2018-12-06 2024-01-23 Covidien Lp Deformable registration of computer-generated airway models to airway trees
US10867436B2 (en) * 2019-04-18 2020-12-15 Zebra Medical Vision Ltd. Systems and methods for reconstruction of 3D anatomical images from 2D anatomical images
JP7378427B2 (ja) * 2019-05-03 2023-11-13 コーニンクレッカ フィリップス エヌ ヴェ 心臓画像の位置合わせ
US11931111B2 (en) * 2019-09-09 2024-03-19 Covidien Lp Systems and methods for providing surgical guidance
JP7408362B2 (ja) * 2019-11-29 2024-01-05 キヤノンメディカルシステムズ株式会社 医用情報提供装置、医用情報提供装置の制御方法、及びプログラム
US20210378759A1 (en) * 2020-06-03 2021-12-09 Covidien Lp Surgical tool navigation using sensor fusion
US11544847B1 (en) * 2020-10-16 2023-01-03 Neutrace, Inc. System and method for generating point cloud data for electro-anatomical mapping
CN112308890B (zh) * 2020-10-29 2023-04-21 西北工业大学 一种标准球辅助的工业ct测量坐标系可靠配准方法
US20240041535A1 (en) * 2020-12-10 2024-02-08 Magnisity Ltd. Dynamic deformation tracking for navigational bronchoscopy
CN113112609A (zh) * 2021-03-15 2021-07-13 同济大学 一种面向肺部活检支气管镜的导航方法和系统
CN113413213B (zh) * 2021-07-14 2023-03-14 广州医科大学附属第一医院（广州呼吸中心） Ct结果的处理方法、导航处理方法、装置与检测系统
CN114041741B (zh) * 2022-01-13 2022-04-22 杭州堃博生物科技有限公司 数据处理部、处理装置、手术系统、设备与介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050107679A1 (en) * 2003-07-11 2005-05-19 Bernhard Geiger System and method for endoscopic path planning
US20070055128A1 (en) * 2005-08-24 2007-03-08 Glossop Neil D System, method and devices for navigated flexible endoscopy
US20130223702A1 (en) * 2012-02-22 2013-08-29 Veran Medical Technologies, Inc. Systems, methods and devices for forming respiratory-gated point cloud for four dimensional soft tissue navigation
US20140039306A1 (en) * 2011-03-31 2014-02-06 Koninklijke Philips N.V. Shape sensing assisted medical procedure
WO2016191298A1 (en) * 2015-05-22 2016-12-01 Intuitive Surgical Operations, Inc. Systems and methods of registration for image guided surgery

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3850217B2 (ja) 2000-12-27 2006-11-29 オリンパス株式会社 気管支用内視鏡位置検出装置
WO2006103644A1 (en) 2005-03-31 2006-10-05 Paieon Inc. Method and apparatus for positioning a device in a tubular organ
ES2865048T3 (es) 2002-04-17 2021-10-14 Covidien Lp Estructuras de endoscopio para navegar a un objetivo en una estructura ramificada
US7697972B2 (en) 2002-11-19 2010-04-13 Medtronic Navigation, Inc. Navigation system for cardiac therapies
WO2005058137A2 (en) 2003-12-12 2005-06-30 University Of Washington Catheterscope 3d guidance and interface system
US7720520B2 (en) * 2004-12-01 2010-05-18 Boston Scientific Scimed, Inc. Method and system for registering an image with a navigation reference catheter
EP3804647A1 (en) * 2005-04-21 2021-04-14 Boston Scientific Scimed Inc. Control methods and devices for energy delivery
US7671887B2 (en) 2006-11-20 2010-03-02 General Electric Company System and method of navigating a medical instrument
WO2011001301A1 (en) * 2009-06-29 2011-01-06 Koninklijke Philips Electronics N.V. Method and apparatus for tracking in a medical procedure
WO2011035144A2 (en) 2009-09-17 2011-03-24 Broncus Technologies, Inc. System and method for determining airway diameter using endoscope
US20110295247A1 (en) 2010-05-28 2011-12-01 Hansen Medical, Inc. System and method for automated minimally invasive therapy using radiometry
US20120071753A1 (en) 2010-08-20 2012-03-22 Mark Hunter Apparatus and method for four dimensional soft tissue navigation including endoscopic mapping
JP6290099B2 (ja) 2012-02-03 2018-03-07 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 埋め込み型形状感知機能を有する操縦可能な可撓性針
US10039473B2 (en) * 2012-05-14 2018-08-07 Intuitive Surgical Operations, Inc. Systems and methods for navigation based on ordered sensor records
EP3679881A1 (en) 2012-08-14 2020-07-15 Intuitive Surgical Operations, Inc. Systems and methods for registration of multiple vision systems
EP2888991B1 (en) 2013-04-15 2017-11-01 Olympus Corporation Endoscope system
JP6656148B2 (ja) 2013-10-24 2020-03-04 オーリス ヘルス インコーポレイテッド ロボット支援管腔内手術のためのシステムおよび関連する方法
WO2015075558A2 (en) * 2013-11-25 2015-05-28 Body Vision Medical Ltd. Surgical devices and methods of use thereof
JP6824967B2 (ja) * 2015-09-18 2021-02-03 オーリス ヘルス インコーポレイテッド 管状網のナビゲーション
US10575907B2 (en) * 2017-06-21 2020-03-03 Biosense Webster (Israel) Ltd. Registration with trajectory information with shape sensing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050107679A1 (en) * 2003-07-11 2005-05-19 Bernhard Geiger System and method for endoscopic path planning
US20070055128A1 (en) * 2005-08-24 2007-03-08 Glossop Neil D System, method and devices for navigated flexible endoscopy
US20140039306A1 (en) * 2011-03-31 2014-02-06 Koninklijke Philips N.V. Shape sensing assisted medical procedure
US20130223702A1 (en) * 2012-02-22 2013-08-29 Veran Medical Technologies, Inc. Systems, methods and devices for forming respiratory-gated point cloud for four dimensional soft tissue navigation
WO2016191298A1 (en) * 2015-05-22 2016-12-01 Intuitive Surgical Operations, Inc. Systems and methods of registration for image guided surgery

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112641514A (zh) * 2020-12-17 2021-04-13 罗雄彪 一种微创介入导航系统与方法
CN113100943A (zh) * 2020-12-31 2021-07-13 杭州堃博生物科技有限公司 生理通道内的导航处理方法、装置、系统、设备与介质
CN113116475A (zh) * 2020-12-31 2021-07-16 杭州堃博生物科技有限公司 经导管的导航处理方法、装置、介质、设备与导航系统
CN115120346A (zh) * 2022-08-30 2022-09-30 中国科学院自动化研究所 目标点定位方法、装置、电子设备及支气管镜系统

Also Published As

Publication number Publication date
AU2018203304A1 (en) 2019-01-17
IL259155A (en) 2018-06-28
EP3417759A1 (en) 2018-12-26
EP3417759B1 (en) 2020-03-04
IL259155B (en) 2021-04-29
EP3622877A1 (en) 2020-03-18
JP2019010506A (ja) 2019-01-24
CA3008855A1 (en) 2018-12-21
US10575907B2 (en) 2020-03-03
US20200197106A1 (en) 2020-06-25
US20180368917A1 (en) 2018-12-27
JP7154832B2 (ja) 2022-10-18

Similar Documents

Publication Publication Date Title
CN109124766A (zh) 利用轨迹信息与形状感测来改进配准
US11864850B2 (en) Path-based navigation of tubular networks
US11690527B2 (en) Apparatus and method for four dimensional soft tissue navigation in endoscopic applications
US9554729B2 (en) Catheterscope 3D guidance and interface system
US20230301725A1 (en) Systems and methods of registration for image-guided procedures
US20200364865A1 (en) Systems and methods of registration for image-guided surgery
KR102503033B1 (ko) 화상 안내식 시술을 위한 정치 시스템 및 방법
CN108778113B (zh) 管状网络的导航
US8900131B2 (en) Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
CN112236083A (zh) 用于导航检测生理噪声的管腔网络的机器人系统和方法
US20230143522A1 (en) Surgical assistant system based on image data of the operative field
JP2022517807A (ja) 医療用ナビゲーションのためのシステムおよび方法
US20220071715A1 (en) Systems and methods of registration for image-guided surgery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190104