CN104105439A - 血管树图像内不可见的二分叉的检测 - Google Patents

血管树图像内不可见的二分叉的检测 Download PDF

Info

Publication number
CN104105439A
CN104105439A CN201380008233.XA CN201380008233A CN104105439A CN 104105439 A CN104105439 A CN 104105439A CN 201380008233 A CN201380008233 A CN 201380008233A CN 104105439 A CN104105439 A CN 104105439A
Authority
CN
China
Prior art keywords
vascular tree
bifurcated
art
endoscopic images
tree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380008233.XA
Other languages
English (en)
Other versions
CN104105439B (zh
Inventor
A·波波维奇
H·埃尔哈瓦林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN104105439A publication Critical patent/CN104105439A/zh
Application granted granted Critical
Publication of CN104105439B publication Critical patent/CN104105439B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

一种图像配准系统、内窥镜(12)和内窥镜控制器(22)。在操作中，内窥镜(12)生成解剖学区域内的血管树的术中内窥镜图像(14)，所述血管树的术中内窥镜图像(14)包括术中内窥镜图像(14)内的血管树的可见的多个分枝，所述多个分枝作为对术中内窥镜图像(14)内血管树的不可见的分叉的指示。内窥镜控制器(22)将血管树的术中操作内窥镜图像(14)图像配准到血管树的术前三维图像(44)。所述图像配准包括由血管树的术中内窥镜图像(14)内的血管树的可见分枝所指示的血管树的分叉的图形表示图像匹配到血管树的术前三维图像(44)内的血管树的分叉的图形表示。

Description

血管树图像内不可见的二分叉的检测
技术领域
本申请要求共有专利申请“Robotic Control of An Endoscope From VesselTree Images”的益处。
本发明总体上涉及术前三维(“3D”)血管树图像到(一个或多个)术中内窥镜血管树图像之间的术中配准。本发明特别涉及并入了用于检测由于覆盖器官(例如心脏)表面的脂肪组织而在(一个或多个)内窥镜图像中不是可见的(即不可见)血管树的二分叉的方法的术中配准。
背景技术
冠状动脉旁路移植术(“CABG”)是用于堵塞的冠状动脉的血管再形成的外科程序。在美国每年执行大约500,000起手术。在常规的CABG中，病人的胸骨被打开并且病人的心脏完全暴露给外科医生。尽管暴露了心脏，但是因为一些动脉上的脂肪组织层，这些动脉可能是不可见的。对于这样的动脉，外科医生可以触摸心脏表面并且感觉来自动脉和动脉狭窄二者的血液搏动。然而，该数据是稀疏的并且可能不足以向手术部位传递手术规划。
在微创CABG中，由于外科医生不能触摸心脏表面，因而常规CABG的前述的问题被放大。此外，在微创CABG中使用的手术器械的长度阻碍了来自工具的远端的任何触觉反馈。
用于解决常规CABG的该问题的一种已知技术是利用术前3D冠状动脉树来配准术中部位。具体地，对开放心脏设置中，使用光学跟踪的指示器来对动脉的位置进行数字化，并且使用本领域已知的迭代最近点(“ICP”)算法将位置数据配准到术前树。然而，由于小的进入端口施加的空间约束，与将数字化的动脉与术前数据进行匹配的任何相关方案一样，该技术对于微创CABG是不实用的。并且，该技术要求动脉中的大部分是被外科医生可见或可触摸的，而这在微创CABG中是不可能的。
用于解决微创CABG的该问题的一种已知技术是实施一种配准方法，在所述配准方法中，使用光学跟踪的内窥镜来重建心脏表面，并且将心脏表面匹配到同一表面的术前计算机断层摄影(“CT”)数据。然而，那么与计划基于表面的匹配的任何相关方案一样，如果用来获得表面的内窥镜视野太小，则该技术可能失败。此外，由于心脏表面是相对平滑的且没有具体的表面特征，该技术的算法往往运行于该算法的次优的局部最大值。
用于解决微创CABG的该问题的另一种已知技术是使用之前标注的病例的数据库和基于图形的匹配来对从新的病人提取的冠状树进行标注。然而，只有在完整的树可用的情况下该技术才有效，并且其目的是对树进行标注，而不是对几何形状进行匹配。
微创CABG的另一个问题是获得了针对术前3D图像的全局定位后对内窥镜的取向和引导。配准的目的是促进对吻合部位和器官狭窄的定位。在标准设置中，由助手持有内窥镜，而外科医生持有两个器械。外科医生向助手发布命令并且助手相应地移动内窥镜。因为助手需要凭直觉将典型地以外科医生的参照系发布的外科医生的命令转换到助手的参照系和内窥镜的参照系，所以这种设置妨碍了外科医生的手眼协调。多个坐标系统可以引起多种处理错误、使手术延迟或引起对冠状动脉的错误识别。
设计用来允许外科医生经由被感测的外科医生头部的运动来直接控制内窥镜的外科内窥镜辅助器可以通过从控制循环中移除助手来解决这些问题中的一些，但是在外科医生的参照系与内窥镜的参照系之间的转换的问题仍然存在。
发明内容
本发明提供了图像配准方法，所述图像配准方法用于将如在术前三维(“3D”)图像(例如CT图像、锥形束CT图像、3D X射线图像或MRI图像)中示出的血管树的每个分叉(例如动脉、毛细血管、静脉和其他多分枝解剖结构的每一点)的图形表示与如在术中内窥镜图像中示出的血管树的每个分叉的图形表示进行匹配。所述图像配准方法解决了由于覆盖器官(例如心脏)的表面的脂肪组织而在(一个或多个)内窥镜图像中不是可见(即不可见)的血管树的二分叉的问题。
为了本发明的目的，在本文中术语“分叉”被广泛地定义为沿血管树的分成两个或多个分枝的任意点。
本发明的一种形式是使用内窥镜和内窥镜控制器的配准系统。在操作中，所述内窥镜在解剖学区域内生成血管树(例如动脉树、静脉树或人体的任何其他管状结构)的术中内窥镜图像，并且所述内窥镜控制器将所述血管树的术中有效内窥镜图像图像配准到所述血管树的术前三维图像。所述血管树的所述术中内窥镜图像包括所述术中内窥镜图像内的所述血管树的可见的多个分枝，所述多个分枝指示所述术中内窥镜图像内的所述血管树的不可见分叉。所述图像配准包括如所述血管树的所述术中内窥镜图像内的所述血管树的所述可见分枝所指示的所述血管树的所述分叉的图形表示到所述血管树的所述术前三维图像内的所述血管树的所述分叉的图形表示的图像匹配。
本发明的第二种形式是一种图像配准方法，所述图像配准方法包括生成解剖学区域内的血管树的术前三维图像、生成所述解剖学区域内的所述血管树的术中内窥镜图像、并且进行所述血管树的所述术中内窥镜图像到所述血管树的所述术前三维图像的图像配准。所述血管树的所述术中内窥镜图像包括所述术中内窥镜图像内的所述血管树的可见的多个分枝，所述多个分枝指示所述术中内窥镜图像内的所述血管树不可见的的分叉。所述图像配准包括如所述血管树的所述术中内窥镜图像内的所述血管树的可见分枝所指示的所述血管树的所述分叉的图形表示到所述血管树的所述术前三维图像内的所述血管树的所述分叉的图形表示的图像匹配。
如本文中所使用的术语“术前”被广泛地定义为描述出于采集解剖学区域的三维图像的目的而在所述解剖学区域的内窥成像之前、之中或之后的执行的任何行动，并且如本文中所使用的术语“术中”被广泛地定义为描述在所述解剖学区域的内窥成像之中或与所述解剖学区域的内窥成像相关的任何行动。解剖学区域的内窥成像的范例包括但不限于CABG、支气管镜检查、结肠镜检查、腹腔镜检查和脑部内窥镜检查。
通过结合附图来阅读对本发明的多个实施例的以下具体说明，本发明的前述形式和其他形式以及本发明的各种特征和优势将变得更加显而易见。具体说明和附图只是对本发明进行说明，而非限制本发明，本发明的范围由权利要求书和其等价方案来限定。
附图说明
图1图示了根据本发明的机器人引导系统的示范性实施例。
图2图示了表示根据本发明的机器人引导系统的示范性实施例的流程图。
图3图示了图2中示出的流程图的示范性外科实现方式。
图4图示了表示根据本发明的图形匹配方法的示范性实施例的流程图。
图5和6图示了根据本发明的对血管树的主图的示范性排序。
图7图示了根据本发明的内窥镜图像上的几何表示的示范性覆盖图。
图8图示了根据本发明的、在图7中示出的覆盖图内的示范性机器人路径。
图9图示了表示根据本发明的不可见二分叉检测方法的流程图。
图10图示了根据图9中图示的流程图的多重二分叉血管树的示范性二分叉检测。
图11图示了表示根据本发明的可见/不可见二分叉配准方法的流程图。
图12图示了表示根据本发明的二分叉配准细化方法的流程图。
具体实施方式
如图1所示，机器人引导系统将机器人单元10和控制单元20用于包括具有一个或多个分叉(即分枝)的血管树的内窥成像的任何内窥镜程序。这样的内窥镜程序的范例包括但不限于微创心脏手术(例如冠状动脉旁路移植手术或二尖瓣置换术)。
机器人单元10包括机器人11、刚性附接到机器人11的内窥镜12和附接到内窥镜12的视频捕获设备13。
在本文中机器人11被广泛地定义为在结构上构造有对一个或多个关节进行机动控制以针对特定的内窥镜程序按期望操纵末端执行器的任何机器人设备。在实践中，机器人11可以具有四个(4)自由度，例如具有与刚性段串联连接的关节的串联机器人、具有以并联顺序安装(例如本领域已知的Stewart平台)的关节和刚性段的并联机器人或者串联或并联运动学上的任何混合组合。
在本文中内窥镜12被广泛地定义为在结构上构造有从身体内进行成像的能力的任何设备。用于本发明的内窥镜12的范例包括但不限于柔性的或刚性的任何类型的观测仪器(例如内窥镜、关节内窥镜、气管镜、胆管镜、结肠检查镜、膀胱镜、十二指肠镜、胃窥镜、子宫镜、腹腔镜、喉镜、神经检查镜、耳镜、推入式肠镜、鼻喉镜、乙状结肠镜、鼻窦内窥镜、胸镜等)以及与装备有成像系统(例如成像的套管)的观测仪器类似的任何设备。该成像是局部的，并且可以利用光纤、透镜和小型化(例如基于CCD的)成像系统来以光学方式获得表面图像。
在实践中，内窥镜12被安装到机器人11的末端执行器。机器人11的末端执行器的姿态是在机器人致动器坐标系统内该末端执行器位置和取向。在内窥镜12安装到机器人11的末端执行器后，解剖学区域内内窥镜12的视场的任何给定姿态都与机器人坐标系内机器人11的末端执行器的独特姿态相对应。因此，可以将由内窥镜12生成的血管树的每个独立的内窥镜图像链接到解剖学区域内内窥镜12的对应姿态。
在本文中，视频捕获设备13被广泛地定义为在结构上被配置有有将来自内窥镜12的术中内窥镜视频信号转换为术中内窥镜图像(“IOEI”)14的计算机可读时间序列的能力的任何设备。在实践中，视频捕获设备13可以将任何类型的帧抓取器用于从术中内窥镜视频信号中捕获单独的数字静止帧。
仍然参考图1，控制单元20包括机器人控制器21和内窥镜控制器22。
在本文中，机器人控制器21被广泛地定义为在结构上被配置为向机器人11提供一个或多个机器人致动器命令(“RAC”)26以针对内窥镜程序按期望控制机器人11的末端执行器的姿态。更具体而言，机器人控制器21将来自内窥镜控制器22的内窥镜位置命令(“EPC”)25转换为机器人致动器命令26。例如，内窥镜位置命令25可以指示通向解剖学区域内的内窥镜12的视场的期望的3D位置的内窥路径，而机器人控制器21将命令25转换为包括按需要将内窥镜12移动到期望的3D位置的针对机器人11的每个电动机的致动电流的命令26。
在本文中，内窥镜控制器22被广泛地定义为在结构上被配置为实施根据本发明的和图2中示出的范例的机器人引导方法的任何控制器。为此，内窥镜控制器22可以包含图像处理模块(“IPM”)23，在本文中，图像处理模块23被广泛地定义为在结构上被配置为执行本发明的解剖学对象图像配准的任何模块。具体地，由图2中示出的流程图30的步骤S32和S33示范性地实施的血管树图像配准。内窥镜控制器22还可以包含视觉伺服模块(“VSM”)24，在本文中，视觉伺服模块24被广泛地定义为在结构上被配置为生成内窥镜位置命令25的任何模块，该内窥镜位置命令25指示通向解剖学区域内的内窥镜12的视场的期望的3D位置的内窥路径。具体地，利用如图2中示出的流程图30的步骤S34示范性地实施的血管树图像配准来导出内窥镜位置命令25。
现在将在此提供对流程图30的说明以促进对内窥镜控制器22的进一步的理解。
参考图2，流程图30的步骤S31包括从身体的任何解剖学区域的术前3D图像中提取血管树(例如动脉、毛细血管或静脉的分叉)的几何表示。例如，如图3中所示，3D成像设备(例如CT设备、X射线设备或MRI设备)被操作为生成病人50的胸部区域的术前3D图像42，该术前3D图像42图示了病人50的左冠状动脉51和右冠状动脉52。接着，操作血管树提取器43来从图像42中提取冠状动脉树的几何表示44，可以将图像42存储在数据库45中。在实践中，可以使用由Philips出售的Brilliance iCT扫描器来生成图像42并且从图像42中提取冠状动脉树的3D数据集。
返回参考图2，流程图30的步骤S32包括图像处理模块23将血管树的一个或多个术中内窥镜图像14(图1)的图形表示匹配到血管树的术前3D图像44的图形表示。例如，如图3中所示，内窥镜12生成病人50的胸部区域的术中内窥镜视频，所述术中内窥镜视频由视频捕获设备13捕获，并且将所述术中内窥镜视频转换为术中内窥镜图像14，而内窥镜控制器22的图像处理模块23将冠状动脉树的(一个或多个)术中内窥镜图像14的图形表示匹配到冠状动脉树的术前3D图像44的图形表示。在一个示范性实施例中，图像处理模块23执行如图4中示出的流程图60示范性地表示的本发明的血管树图像匹配方法，在此将在血管树是冠状动脉树的背景下描述该血管树图像匹配方法。
参考图4，血管流程图60的步骤S61包括图像处理模块23根据本领域已知的任何表示方法来利用冠状动脉树的几何表示来生成冠状动脉主图。例如，如步骤S61所示，将冠状动脉树的几何表示70转换为具有表示冠状动脉树几何表示70的每个分叉(例如二分叉和三分叉)的节点并且还具有节点之间的分枝连接的主图71。可以在术前(例如内窥手术之前几天或将内窥镜12引入病人50之前的任何时间)执行步骤S61，或者借助C型臂血管造影术或其他适当的系统来在术中执行步骤S61。
流程图60的步骤S62包括图像处理模块23根据本领域已知的任何图形表示方法利用在术中内窥镜图像14中冠状动脉树可见的一部分来生成冠状动脉树子图。特别地，将内窥镜12引入病人50，而图像处理模块23在术中内窥镜图像14内执行对冠状动脉结构的检测。在实践中，一些动脉结构可以是可见的，而其他动脉结构可能被脂肪组织层隐藏。这样，图像处理模块23可以通过已知的图像处理操作(例如依据(一个或多个)可见冠状动脉结构的独特的红色的阈值检测)来实施对(一个或多个)可见冠状动脉结构的自动检测，或者外科医生可以手动地使用输入设备来在计算机显示器上描画(一个或多个)可见冠状动脉结构。在检测到(一个或多个)动脉结构之后，图像处理模块23以与生成冠状动脉树主图相似的方法来生成冠状动脉树子图。例如，如在步骤S62中所示，将(一个或多个)冠状动脉结构的几何表示72转换为具有表示冠状动脉树几何表示72的每个分叉(例如二分叉或三分叉)的节点并且还具有节点之间的分枝连接的图形73。因为两个树都来自同一个人，所以应当理解利用内窥镜图像导出的图形是利用3D图像导出的主图的子图。
流程图60的步骤S63包括图像处理模块23根据任何已知的图形匹配方法(例如最大公共子图或McGregor公共子图)将子图匹配到主图。例如，如步骤S63所示，将子图73的节点匹配到主图71的节点的子集。
在实践中，可以在术中内窥镜图像14内仅部分地检测子图73，或者子图像73的一些节点/连接可能从术中内窥镜图像14中丢失。为了改进步骤S62的匹配准确度，可以实施对主图71和子图73的额外的排序。
在一个实施例中，在步骤S61的图像扫描期间基于已知的病人50的取向来实施对主图71的垂直节点排序。特别地，可以将主图节点方向性地链接起来以保持如在图5中经由实线箭头示范性地示出的从上到下的次序。对于子图像73，病人50相对于内窥镜12的取向可以是不知道的。然而，已知冠状动脉树的分枝随着它们从上到下延伸而直径减小，那么术中内窥镜图像14中动脉分枝的变化的动脉尺寸可以指示取向。
在另一个实施例中，可以在步骤S61的图像扫描期间基于已知的病人50的取向来实施对主图71的水平节点排序。特别地，可以将主图节点方向性地链接起来以保持如在图6中经由虚线箭头示范性地示出的从左到右的次序。对于子图像73，在很有可能不知道病人50对于内窥镜12的取向的情况下，可以由操作的外科医生或助手经由图形用户界面来设置子图73的水平节点顺序。
尽管使用排序可以减少用来匹配图形的时间并且减少可能的匹配的数量，但是理论上也可以通过匹配算法来获得图形之间的多个匹配。在流程图30的步骤S33期间解决了这样的多个匹配的情况。
再次参考图2，基于对图形的匹配，流程图的步骤S33包括将血管树的术前3D图像44(图1)的几何表示覆盖到血管树的术中内窥镜图像14。这是通过使用与主图特有地相关的几何表示来做到的。因此，可以使用透视变换来将全部的几何图形直接转换到术中内窥镜图像14。可以使用本领域已知的匹配算法(例如单应性匹配)根据术中内窥镜图像14和在术前3D图像44中的节点来检测该透视变换。
例如，图7图示了冠状动脉树的几何表示80，该几何表示80具有利用术中内窥镜图像90匹配到节点91-95的节点。可以使用节点91-95当中的每个节点对之间的距离来为几何表示80确定比例因子，由此来使得几何表示80能够如所示出地覆盖术中内窥镜图像90。
在实践中，如果步骤S32(图2)的图形匹配产生多个结果，那么可以向外科医生显示所有可能的覆盖图，由此外科医生可以经由图形用户界面来选择他/她相信的最可能匹配的匹配结果。考虑到外科医生知道内窥镜12相对于术中内窥镜图像14中的至少一些结构的位置，所述选择可以是相对简单的。
返回参考图2，流程图30的步骤S34包括视觉伺服模块24在血管树的术中内窥镜图像14(图1)上的血管树的术前3D图像44(图1)的几何表示的覆盖图内生成内窥路径。基于该内窥路径，视觉伺服模块24向机器人控制器21生成内窥镜位置指令25，由此将内窥镜12(图1)沿着内窥路径引导到解剖学区域内的期望位置。特别地，一旦找到准确的覆盖图，就可以命令机器人11将内窥镜12引导到外科医生在术前3D图像44上选择的位置。外科医生或助手可以选择血管树的一点，并且机器人11可以将内窥镜12沿任何适当的路径引引导该期望的位置。外科医生和助手可以选择血管树的一个点，并且机器人11可以将内窥镜12沿任何适当的路径引导向该期望位置。例如，如图9所示，机器人11可以将内窥镜12沿最短路径101移动到期望的位置100，或者沿冠状动脉路径102移动到期望的位置100。冠状动脉路径102是优选的实施例，这是因为冠状动脉路径102允许外科医生随着机器人11移动内窥镜12来观察可见的动脉。此外，这可以帮助医生判定匹配是否成功。可以使用本领域已知的方法(例如Dijkstra最短路径算法)来界定冠状动脉路径102。
在实践中，可以使用具有远程运动中心的未校准的视觉伺服来命令机器人11的移动，并且可以延伸内窥镜12的视场以在匹配步骤S32期间实现更大的子图(例如本领域已知的对术中内窥镜图像14的缝合)。
如本文之前所述的，如图2所示的流程图30的步骤32和33表示包括单一的血管树的本发明的血管树图像配准。此外，在冠状动脉树的背景下提供了对步骤S32和S33的之前的说明，以促进对步骤S32和S33的理解。在实践中，本发明的血管树图像配准可以包括在身体的任何解剖学区域内任何类型的两个(2)或更多个血管树。
返回参考图2，步骤S32将内窥镜视野中可见的分叉点用于将血管树(例如动脉树)从术前数据44(图1)匹配到内窥镜视频(图1)。在实践中，如本文之前陈述的，可见分叉的总数可能不足以执行对血管树从术前数据44到内窥镜视频14的准确匹配。此外，考虑到内窥镜典型地是没有被校准的，则血管树的几何信息(例如内窥镜图像14中可见分枝的形状)可能不能够被转换为几何项，并且对内窥镜12的任何校准都可以引起工作流程中的明显中断。
图9-12图示了对于利用血管树的可见分枝来检测内窥镜视频14中可能是不可见的分叉的步骤32的额外实施例，尤其是对于利用动脉的可见段来检测内窥镜视频14中不可见的动脉二分叉的实施例。这些实施例根据如本文之前教导的流程图60(图4)的原理来执行图形生成和节点匹配。
参考图9，流程图110表示一种用于利用血管树的可见分枝来检测在内窥镜视频中可能是不可见的分叉的方法，该方法用作将解剖学区域的术中内窥镜图像配准到该解剖学区域的术前3D图像的基础。为了促进对该方法的理解，在此将在二分叉由于被脂肪组织或心肌(内心肌动脉)覆盖而在内窥镜视野中不可见的背景下描述流程图110，所述情况在需要冠状动脉旁路移植手术的病人中非常常见。
流程图110的步骤S111包括采用内窥镜视野中动脉树的可见分枝段来构造可能包围内窥镜视野中不可见的二分叉的多边形。
特别地，步骤S111包括外科医生或任何辅助人员手动地标记在内窥镜视频中示出的动脉树的可见段。例如，步骤S111示出了动脉树的子树(120，所述子树120具有三(3)个在内窥镜视频中可见的被标记的动脉段121-123，而动脉树剩下的部分，尤其是子树120的两个二分叉，被脂肪覆盖。
步骤S111还包括定义从被标记的可见分枝段延伸的射线，用于描绘包围动脉树的(一个或多个)不可见二分叉的多边形区域。例如，步骤S111示出了从段121延伸的射线121x-121y、从段122延伸的射线122x-122y和从段123延伸的射线123x-123y，用于描绘包围子树120的不可见二分叉的区域。在实践中，在知道了动脉从心脏的顶部向下伸展的情况下，可以预定义每个射线与对应的段之间的角度，这是因为不预期动脉突然改变方向并且开始向上延伸。此外，可以从动脉树的术前3D扫描中提取最大的可能角度。
对于在步骤S111中示范性地示出的段中的任何一个三元组，至多有一个多边形区域(用圆圈标记)，在该多边形区域中来自所有段的所有射线是交迭的。这就是被包围的区域，预料在该被包围的区域中找到子树120的二分叉。如果在射线之间没有交迭，那么有可能被标记的分枝段121-123属于同一动脉分枝并且没有二分叉，或者那些被标记的分枝段121-123属于非常不同的分枝。
利用步骤S111描绘的多边形区域，流程图110的步骤S112包括定义在该多边形区域内的二分叉。在一个实施例中，如步骤S112中示出的，可以将多边形区域的中心124定义为二分叉。在替代的实施例中，可以使描绘的多边形区域在内窥镜图像上可见。接着外科医生可以利用他/她对解剖学或邻近的解剖结构的了解以及/或者利用术前扫描数据来手动地在多边形区域内选择他/她认为是二分叉点最有可能的位置的点。更具体而言，如果能够自动识别所选择的血管中的一条(例如左前下行动脉)，那么观察该血管结构周围的术前图像可以造成对该多边形区域内可能的二分叉的准确猜测。
一旦已经计算或选择出了二分叉点，那么就可以使用新的二分叉点来生成血管结构的图形表示。例如，步骤S112示出了基于由可见分枝段121-123定义的二分叉124的图形表示125。该图形表示125可以作为子图或更大的子图的一部分，用于流程图60(图4)。
在实践中，考虑到在大多数病人中冠状动脉是良好定义的具有标准形状和形态的解剖结构，不合理的图形表示将指示所定义的二分叉点中的错误。例如，如果二分叉点124需要确定的血管段122做出对于动脉树的解剖结构而言非常不可能的极端的弯曲，那么鉴于错误的二分叉点124，图形表示125将被认为是不合理的。在该情况下，可以放弃图形表示125并且可以重新执行流程图110。
为了促进对流程图110的进一步理解，图10图示了对动脉树的子树130的四个(4)可见分枝段131-134的标记。利用段131-134的交迭的x-y射线的所有可能的组合来描绘总共四个(4)候选多边形区域。特别地，段131-132-133的x-y射线形成了第一多边形区域、来自段132-133-134的x-y射线形成了第二多边形区域、来自段132-134的x-y射线形成了第三多边形区域并且段133-134的x-y射线形成了第四多边形区域。在这四个(4)多边形区域中，只有第一多边形区域和第二多边形区域是可用的，这是因为第一和第二多边形区域包括三个(3)段的交迭。二分叉候选项135是多边形区域131-132-133的中心，并且二分叉候选项136是多边形区域132-133-134的中心。由于多边形区域131-132-133是在多边形区域132-133-134内，因而可以假设两个(2)二分叉候选项135和136通过一阶树(虚线)连接。
在实践中，动脉树的内窥镜图像可以具有可见的二分叉和不可见的二分叉。图11图示了表示用于生成根据流程图60(图4)的子图的可见/不可见二分叉配准方法的流程图140。
流程图140的步骤S141包括对内窥镜图像中可见的n个(一个或多个)二分叉B的选择。流程图140的步骤S142包括根据流程图110(图9)的对内窥镜图像中所有可见的分枝段的选择。利用所选择的可见分枝段，流程图140的步骤S143包括对k个(一个或多个)多边形区域P的描绘，并且流程图140的步骤S144包括对k个不可见二分叉候选项C的描绘。
流程图140的步骤S145包括所有n个可见二分叉B与不可见二分叉C的所有k个候选项的比较。如果二分叉对(B、C)中的任何一个属于同一个多边形区域，那么有可能该不可见二分叉预测了该可见二分叉，并且放弃该不可见二分叉。将所有剩下的m个不可见二分叉组合起来以在流程图140的步骤S146期间建立最终的二分叉列表，由此可以利用最终的二分叉列表来为流程图60生成子图。
参考图9，当标记可见分枝段时，直接使用动脉树的形状是不切实际的，这是因为临床内窥镜通常是没有被校准的，并且额外的校准可以引起工作流程中的明显中断。因此，动脉树的形状的缩放比例是未知的。图12图示了表示配准细化方法的流程图150，在经由步骤S32(图2)执行了初始的图像配准并且经由步骤S33(图2)将来自术前3D图像的动脉覆盖在内窥镜图像上之后，该方法利用术前3D图像来检索内窥镜图像中的对象的缩放比例。例如，可以利用术前3D图像来检索内窥镜图像中任何动脉段对象的SI单位长度。
特别地，流程图150的步骤S152包括对对象尤其是动脉的缩放比例的检索，在执行了所述覆盖之后，对象的缩放比例和动脉段的形状的缩放比例是以世界单位的(例如毫米)而不是以像素的。在流程图150的步骤S153期间采用这些形状来执行基于点的配准(例如本领域已知的迭代邻近点(ICP))，接着使用该基于点的配准来细化步骤S32的初始图像配准。
返回参考图1，在实践中，可以如示出地通过集成在内窥镜控制器22内的硬件、软件和/或固件来实现模块23和24。
本领域技术人员根据本文中对图1-12的说明将意识到本发明的多个益处，所述益处包括但不限于，将本发明用于对任何类型的血管执行的任何类型的内窥镜外科手术。
虽然已经参考示范性的方面、特征和实现方式描述了本发明，但是所公开的系统和方法并不限于这些示范性的方面、特征和/或实现方式。然而，根据本文提供的说明，对于本领域技术人员显而易见的是，在不脱离本发明的精神和范围的情况下，容易对所公开的系统和方法做出修改、改变和提高。因此，本发明明确地将这样的修改、改变和提高包括在本发明的范围内。

Claims (20)

1.一种图像配准系统，包括：
内窥镜(12)，其能够操作用于生成解剖学区域内的血管树的术中内窥镜图像(14)，
其中，所述血管树的所述术中内窥镜图像(14)包括所述术中内窥镜图像(14)内的所述血管树的可见的多个分枝，所述多个分枝作为对所述术中内窥镜图像(14)内的所述血管树的不可见的分叉的指示；以及
内窥镜控制器(22)，其能够操作用于将所述解剖学区域内的所述血管树的所述术中操作内窥镜图像(14)图像配准到所述血管树的术前三维图像(44)，
其中，所述图像配准包括由所述血管树的所述术中内窥镜图像(14)内的所述血管树的可见分枝所指示的所述血管树的所述分叉的图形表示与所述血管树的所述术前三维图像(44)内的所述血管树的所述分叉的图形表示的图像匹配。
2.如权利要求1所述的图像配准系统，其中，所述图像匹配包括：
生成从所述血管树的所述术前三维图像(44)的几何表示导出的主图，所述主图包括表示所述血管树的所述术前三维图像(44)内的所述血管树的每个分叉的节点的主集合；
生成从所述血管树的所述术中内窥镜图像(14)的几何表示导出的子图，所述子图包括所述节点的主集合的子集，其中，所述子集的第一节点表示由所述血管树的所述术中内窥镜图像(14)内的所述血管树的所述可见分枝所指示的所述血管树的所述分叉；并且
将所述子图节点匹配到所述主图。
3.如权利要求2所述的图像配准系统，其中，所述子图到所述主图的所述图像匹配包括：
建立所述主图中的所述节点的垂直排序和水平排序中的至少一个。
4.如权利要求1所述的图像配准系统，其中，所述图像配准还包括：
在所述术中内窥镜图像(14)上描绘包围所述术中内窥镜图像(14)内的所述血管树的不可见的所述分叉的多边形区域。
5.如权利要求4所述的图像配准系统，其中，对所述多边形区域的描绘包括：
将所述术中内窥镜图像(14)内的所述血管树的可见的每个分枝标记为分枝段；
从每个分枝段延伸射线；并且
描绘不同的分枝段的交迭射线。
6.如权利要求4所述的图像配准系统，其中，所述图像配准还包括：
将所述多边形区域内定分叉候选项定义作为对所述术中内窥镜图像(14)内的所述血管树的不可见的所述分叉的检测。
7.如权利要求6所述的图像配准系统，其中，对所述多边形区域内的所述分叉候选项的定义包括：
将所述多边形区域的中心识别为所述分叉候选项。
8.如权利要求6所述的图像配准系统，其中，对所述多边形区域内的所述分叉候选项的定义包括：
基于所述解剖学区域的解剖结构来将所述多边形区域内的点识别为所述分叉候选项。
9.如权利要求6所述的图像配准系统，其中，对所述多边形区域内的所述分叉候选项的定义包括：
基于所述血管树的所述术前三维图像(44)来将所述多边形区域内的点识别为所述分叉候选项。
10.如权利要求1所述的图像配准系统，
其中，所述图像配准还包括：
选择所述术中内窥镜图像(14)内的所有可见分叉；并且
其中，所述图像匹配包括：
利用所述可见分叉和不可见分叉来生成所述血管树的所述术中内窥镜图像(14)的几何表示。
11.如权利要求10所述的图像配准系统，其中，所述图像配准还包括：
在所述术中内窥镜图像(14)上描绘包围所述血管树的所述不可见分叉的多边形区域，其中，所述可见分叉在所述多边形区域之外。
12.如权利要求1所述的图像配准系统，所述内窥镜控制器(22)还能够操作用于基于所述血管的所述术前三维图像(44)内的所述血管树的缩放比例来细化所述血管树的所述术中操作内窥镜图像(14)到所述血管树的所述术前三维图像(44)的图像配准。
13.如权利要求1所述的图像配准系统，其中，对所述图像配准的细化包括：
将所述血管的所述术前三维图像(44)内的所述血管树的所述缩放比例利用到所述术中操作内窥镜图像(14)内的所述血管树的可见的每个分枝的形状的缩放比例；并且
利用所述术中操作内窥镜图像(14)内的所述血管树的可见的每个分枝的形状缩放比例来执行所述血管树的所述术中内窥镜图像(14)到所述血管树的所述术前三维图像(44)的基于点的配准。
14.如权利要求1所述的图像配准系统，其中，所述内窥镜控制器(22)还能够操作用于根据所述图像配准来将所述血管树的所述术前三维图像(44)的所述几何表示覆盖到所述血管树的所述术中内窥镜图像(14)上。
15.如权利要求1所述的图像配准系统，其中，所述血管树是动脉树和静脉树中的一个。
16.一种图像配准方法，包括：
生成解剖学区域内的血管树的术前三维图像(44)；
生成所述解剖学区域内的所述血管树的术中内窥镜图像(14)，
其中，所述血管树的所述术中内窥镜图像(14)包括所述术中内窥镜图像(14)内的所述血管树的可见的多个分枝，所述多个分枝作为对所述术中内窥镜图像(14)内的所述血管树的不可见的分叉的指示；并且
将所述血管树的所述术中内窥镜图像(14)图像配准到所述血管树的所述术前三维图像(44)，
其中，所述图像配准包括如所述血管树的所述术中内窥镜图像(14)内的所述血管树的所述可见分枝所指示的所述血管树的所述分叉的图形表示到所述血管树的所述术前三维图像(44)内的所述血管树的所述分叉的图形表示的图像匹配。
17.如权利要求16所述的图像配准方法，其中，所述图像匹配包括：
生成从所述血管树的所述术前三维图像(44)的几何表示导出的主图，所述主图包括节点的主集合，所述节点的主集合表示所述血管树的所述术前三维图像(44)内的所述血管树的每个分叉；并且
生成从所述血管树的所述术中内窥镜图像(14)的几何表示导出的子图，所述子图包括所述节点的主集合的子集，其中，所述子集的第一节点表示作为由所述血管树的所述术中内窥镜图像(14)内的所述血管树的所述可见分枝所指示的所述血管树的所述分叉；并且
将所述子图节点匹配到所述主图。
18.如权利要求17所述的图像配准方法，其中，所述子图到所述主图的所述图像匹配包括：
建立所述主图中的所述节点的垂直排序和水平排序中的至少一个。
19.如权利要求16所述的图像配准方法，其中，所述内窥镜控制器(22)还能够操作用于根据所述图像配准将所述血管树的所述术前三维图像(44)的所述几何表示覆盖到所述血管树的所述术中内窥镜图像(14)上。
20.如权利要求16所述的图像配准方法，其中，所述血管树是动脉树和静脉树中的一个。
CN201380008233.XA 2012-02-06 2013-02-04 血管树图像内不可见的二分叉的检测 Active CN104105439B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261595315P 2012-02-06 2012-02-06
US61/595,315 2012-02-06
PCT/IB2013/050938 WO2013118047A1 (en) 2012-02-06 2013-02-04 Invisible bifurcation detection within vessel tree images

Publications (2)

Publication Number Publication Date
CN104105439A true CN104105439A (zh) 2014-10-15
CN104105439B CN104105439B (zh) 2016-11-30

Family

ID=

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407902A (zh) * 2016-08-31 2017-02-15 西北工业大学 一种基于几何差异的飞机目标识别方法
CN112509410A (zh) * 2020-12-08 2021-03-16 中日友好医院(中日友好临床医学研究所) 一种基于虚拟现实的髋关节镜手术辅助教学系统
CN116433874A (zh) * 2021-12-31 2023-07-14 杭州堃博生物科技有限公司 支气管镜导航方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050027193A1 (en) * 2003-05-21 2005-02-03 Matthias Mitschke Method for automatically merging a 2D fluoroscopic C-arm image with a preoperative 3D image with one-time use of navigation markers
CN1864635A (zh) * 2005-05-19 2006-11-22 西门子公司 相对于3d图像数据组记录2d投影图像的方法和装置
WO2008111070A2 (en) * 2007-03-12 2008-09-18 David Tolkowsky Devices and methods for performing medical procedures in tree-like luminal structures
US20090163800A1 (en) * 2007-12-20 2009-06-25 Siemens Corporate Research, Inc. Tools and methods for visualization and motion compensation during electrophysiology procedures
WO2010133982A2 (en) * 2009-05-18 2010-11-25 Koninklijke Philips Electronics, N.V. Marker-free tracking registration and calibration for em-tracked endoscopic system
CN102186404A (zh) * 2008-10-20 2011-09-14 皇家飞利浦电子股份有限公司 基于图像的定位方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050027193A1 (en) * 2003-05-21 2005-02-03 Matthias Mitschke Method for automatically merging a 2D fluoroscopic C-arm image with a preoperative 3D image with one-time use of navigation markers
CN1864635A (zh) * 2005-05-19 2006-11-22 西门子公司 相对于3d图像数据组记录2d投影图像的方法和装置
WO2008111070A2 (en) * 2007-03-12 2008-09-18 David Tolkowsky Devices and methods for performing medical procedures in tree-like luminal structures
US20090163800A1 (en) * 2007-12-20 2009-06-25 Siemens Corporate Research, Inc. Tools and methods for visualization and motion compensation during electrophysiology procedures
CN102186404A (zh) * 2008-10-20 2011-09-14 皇家飞利浦电子股份有限公司 基于图像的定位方法和系统
WO2010133982A2 (en) * 2009-05-18 2010-11-25 Koninklijke Philips Electronics, N.V. Marker-free tracking registration and calibration for em-tracked endoscopic system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407902A (zh) * 2016-08-31 2017-02-15 西北工业大学 一种基于几何差异的飞机目标识别方法
CN112509410A (zh) * 2020-12-08 2021-03-16 中日友好医院(中日友好临床医学研究所) 一种基于虚拟现实的髋关节镜手术辅助教学系统
CN116433874A (zh) * 2021-12-31 2023-07-14 杭州堃博生物科技有限公司 支气管镜导航方法、装置、设备及存储介质

Also Published As

Publication number Publication date
EP2811889B1 (en) 2018-11-28
JP6122875B2 (ja) 2017-04-26
EP2811889A1 (en) 2014-12-17
BR112014019059A8 (pt) 2017-07-11
US9280823B2 (en) 2016-03-08
US20150010225A1 (en) 2015-01-08
BR112014019059A2 (zh) 2017-06-20
RU2014136346A (ru) 2016-03-27
WO2013118047A1 (en) 2013-08-15
JP2015505502A (ja) 2015-02-23

Similar Documents

Publication Publication Date Title
CN103108602B (zh) 从血管树图像对内窥镜的机器人控制
EP2811889B1 (en) Invisible bifurcation detection within vessel tree images
US11759266B2 (en) Robotic systems for determining a roll of a medical device in luminal networks
CN103957832B (zh) 血管树图像的内窥镜配准
RU2692206C2 (ru) Роботизированное управление эндоскопом на основе анатомических признаков
JP2019511931A (ja) 輪郭シグネチャを用いた手術画像獲得デバイスの位置合わせ
CN104105439B (zh) 血管树图像内不可见的二分叉的检测
WO2024033898A1 (en) User interfaces for navigating anatomical channels in medical procedures
CN118475309A (zh) 三维模型重建

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant