CN105190692A - 用于网格分割和网格配准的方法和系统 - Google Patents

用于网格分割和网格配准的方法和系统 Download PDF

Info

Publication number
CN105190692A
CN105190692A CN201480026352.2A CN201480026352A CN105190692A CN 105190692 A CN105190692 A CN 105190692A CN 201480026352 A CN201480026352 A CN 201480026352A CN 105190692 A CN105190692 A CN 105190692A
Authority
CN
China
Prior art keywords
preoperative
grid
art
dissection
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480026352.2A
Other languages
English (en)
Other versions
CN105190692B (zh
Inventor
A·M·塔赫玛塞比马拉古奥施
J·克吕克尔
L·G·扎戈尔谢夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN105190692A publication Critical patent/CN105190692A/zh
Application granted granted Critical
Publication of CN105190692B publication Critical patent/CN105190692B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

一种用于网格分割和网格配准的方法，涉及：基于解剖网格模板(40)的基础拓扑来从术前解剖图像(50)中提取术前解剖网格(51)；基于根据解剖网格模板(40)的所述基础拓扑导出的所述术前解剖网格(51)的术前拓扑来从术中解剖图像(60)中提取术中解剖网格(61)；并且基于所述术前解剖网格(51)与所述术中解剖网格(61)之间的映射对应性来配准所述术前解剖图像(50)和所述术中解剖图像(60)，所述映射对应性是由根据所述术前解剖网格(51)的所述术前拓扑导出的所述术中解剖网格(61)的术中拓扑来建立的。

Description

用于网格分割和网格配准的方法和系统
技术领域
本发明总体上涉及对术前解剖图像(例如，解剖结构的计算机断层摄影(“CT”)扫描或磁共振(“MR”)成像扫描)的图像分割和对术中解剖图像(例如，解剖结构的超声(“US”)图像帧)的图像分割，以便于术前解剖图像和术中解剖图像的可靠配准。本发明具体地涉及一种用于从术前解剖图像和术中解剖图像提取解剖网格的解剖网格模板，其中，所述解剖网格具有用于配准解剖图像的映射对应性。
背景技术
术前解剖图像与术中解剖图像的融合已经被用于便于图像引导的介入/外科手术/诊断流程。一种公知的情形是高分辨率的术前CT或MR扫描与术中超声图像帧的融合。例如，常规的二维(“2D”)超声系统可以被配备有位置传感器(例如，电磁追踪传感器)以采集器官的追踪的2D扫频(sweep)。使用在图像采集期间获得的追踪信息，2D扫频US帧关于参考坐标系统被对准，以重建器官的三维(“3D”)体积。超声对于器官的术中成像而言是理想的，但对于图像引导而言具有差的图像分辨率。超声成像与其他高分辨率成像模态(例如，CT或MR)的融合因此已经被用于改进用于介入/外科手术/诊断流程的基于超声的引导。在图像融合期间，靶器官在术中超声与术前模态之间被精确地配准。尽管已经提出了用于两种不同模态的融合的许多图像配准技术，但是术中超声与任何术前模态(例如，CT或MR)的融合已经被证明是具有挑战性的，这是由于缺乏术中超声与术前模态之间的函数相关性。
更具体地，用于肝脏的术前3DCT成像扫描与肝脏的术中US图像帧的融合的基于已知的膈面模型的解决方案涉及从术前3DCT成像扫描获得的肝脏的3D形状分割与从2D超声扫频采集或单个3D超声体积采集的肝脏的提取的3D肝脏膈面模型的配准。在术中超声图像中的膈的表面分割使用基于图像的特征来使群体平均网格模型适应于超声图像。这能够出现挑战，并且作为结果，图像配准准确性显著地依赖于超声分割的准确性。
发明内容
作为基于膈面模型的方法的备选，本发明提供了尤其是用于图像引导的介入/外科手术/诊断流程的术前解剖图像和术中解剖图像的网格分割和网格配准。
本发明的一种形式是一种用于网格分割和网格配准的系统。所述系统采用术前工作站(例如，CT工作站或MRI工作站)和术中工作站(例如，超声工作站)。在操作中，所述术前工作站基于所述解剖网格模板的基础拓扑来从术前解剖图像(例如，CT肝脏图像或MR肝脏图像)中提取术前解剖网格。基于根据所述解剖网格模板的所述基础拓扑导出的所提取的术前解剖网格的术前拓扑，所述术中工作站从术中解剖图像(例如，超声肝脏图像)中提取术中解剖网格，并且基于所述术前解剖网格与所述术中解剖网格之间的映射对应性来配准所述术前解剖图像和所述术中解剖图像，所述映射对应性是由根据所述术前解剖网格的所述术前拓扑导出的所述术中解剖网格的术中拓扑建立的。
本发明的第二形式是一种用于网格分割和网格配准的模块化网络。所述系统采用术前网格提取器、术中网格提取器和网格空间变换器。在操作中，所述术前网格提取器基于解剖网格模板的基础拓扑来从术前解剖图像(例如，CT肝脏图像或MR肝脏图像)中提取术前解剖网格。所述术中网格提取器基于根据所述解剖网格模板的所述基础拓扑导出的所述术前解剖网格的术前拓扑来从术中解剖图像(例如，超声肝脏图像)中提取术中解剖网格。所述网格空间变换器基于所述术前解剖网格与所述术中解剖网格之间的映射对应性来配准所述术前解剖图像和所述术中解剖图像，所述映射对应性是由根据所述术前解剖网格的所述术前拓扑导出的所述术中解剖网格的术中拓扑建立的。
本发明的第三形式是一种用于网格分割和网格配准的方法。所述方法涉及：基于解剖网格模板的基础拓扑来从术前解剖图像(例如，CT肝脏图像或MR肝脏图像)中提取术前解剖网格；基于根据所述解剖网格模板的所述基础拓扑导出的所述术前解剖网格的术前拓扑来从术中解剖图像(例如，超声肝脏图像)中提取所述解剖区域的术中解剖网格；并且，基于所述术前解剖网格与所述术中解剖网格之间的映射对应性来配准所述术前解剖图像和所述术中解剖图像，所述映射对应性是由根据所述术前解剖网格的所述术前拓扑导出的所述术中解剖网格的术中拓扑建立的。
附图说明
本发明的上述形式及其他形式以及本发明的各种特征和优点将通过结合附图阅读本发明的各个实施例的以下详细描述变得更为显而易见。详细描述和附图仅仅是对本发明的说明而不是限制，本发明的范围由权利要求书及其等价方案来定义。
图1图示了表示根据本发明的用于网格分割和网格配准的方法的示范性实施例的流程图。
图2图示了图1中所图示的流程图的示范性实施方式。
图3图示了表示根据本发明的用于术前分割模型构造的方法的示范性实施例的流程图。
图4图示了图3中所图示的流程图的示范性实施方式。
图5图示了表示根据本发明的用于术中分割模型构造的方法的示范性实施例的流程图。
图6图示了图5中所图示的流程图的示范性实施方式。
图7图示了根据本发明的用于多模式分割和配准的系统和模块化网络的示范性实施例。
具体实施方式
本发明利用解剖网格模板的基础拓扑来对术前解剖图像和术中解剖图像的网格分割和网格配准进行初始化。
出于本发明的目的，术语“解剖”、“网格”、“模型”、“提取”、“构造”、“分割”、“配准”和“转换”以及有关的术语应当被广义地解读，如本发明的技术领域中已知的。
同样是出于本发明的目的，无论成像系统的成像活动或操作是否发生，如本文所使用的术语“术前”被广义地定义为描述特定成像模态的任何成像活动或结构，所述特定成像模态被指定为支持介入/外科手术/诊断流程的准备或者第二成像模态，并且如本文所使用的术语“术中”被广义地定义为描述特定成像模态的任何成像活动或结构，所述特定成像模态被指定为在介入/外科手术/诊断流程的运行期间的主要成像模态。成像模态的范例包括但不限于，CT、MRI、X射线和超声。
在实践中，本发明适用于任何解剖区域(例如，头部、胸部、骨盆等)和解剖结构(例如，骨骼、器官、循环系统、消化系统等)、任何类型的术前解剖图像和任何类型的术中解剖图像。同样在实践中，所述术前解剖图像和所述术中解剖图像可以是介入/外科手术/诊断流程的相同对象的或不同对象的解剖区域/结构的，并且所述术前解剖图像和所述术中解剖图像可以由相同的成像模态或不同的图像模态(例如，术前CT-术中US、术前CT-术中CT、术前MRI-术中US、术前MRI-术中MRI以及术前US-术中US)来生成。
为了便于对本发明的理解，将在本文中提供本发明的示范性实施例，所述示范性实施例针对对用于术前CT/MR肝脏图像和术中超声肝脏图像的网格分割和网格配准的初始化的肝脏网格模板的基础拓扑的使用。术语“CT/MR”在本文中被用于指代CT成像或MR成像的替代使用。
参考图1，流程图10表示用于本发明的网格分割和网格配准的方法。流程图10的阶段S11涵盖作为从对象的术前解剖图像中提取术前解剖网格的基础的解剖网格模板的基础拓扑。更具体地，解剖网格模板具有包括固定数量的节点和面的已知拓扑，所述固定数量的节点和面被用于与术前解剖图像中所图示的解剖特征结合，以利用与所述解剖网格模板相同的拓扑从术前解剖图像中提取术前解剖网格。
在实践中，在阶段S11期间，(一种或多种)任何技术可以被实施用于基于解剖网格模板的基础拓扑来从术前解剖图像中提取术前解剖网格。在如图2所示的阶段S11的一个实施例中，CT/MR分割模型11半自动地将已知基础拓扑的肝脏网格模板40拟合到CT/MR肝脏图像50的图像特征(例如，表面边界)，以从CT/MR肝脏图像50中提取CT/MR肝脏网格51。
流程图10的阶段S12涵盖作为从与在阶段S11期间相同的对象或与阶段S11的不同的对象的术中解剖图像中提取术中解剖网格的基础的在阶段S11期间提取的术前解剖网格的术前拓扑。更具体地，在阶段S11期间提取的术前解剖网格将具有与解剖网格模板相同的已知拓扑，并且术前解剖网格的已知拓扑被用于与术中解剖图像的解剖特征结合，以利用与解剖网格模板和术前解剖网格相同的拓扑提取术中解剖网格。
在实践中，在阶段S12期间，(一种或多种)任何技术可以被实施用于基于术前解剖网格的术前拓扑，来从术中解剖图像提取术中解剖网格。在如图2所示的阶段S12的一个实施例中，超声分割模型12自适应地将已知拓扑的CT/MR肝脏网格51空间地变换到超声肝脏图像60。自适应空间变换可以具有有限的自由度(例如，刚性的、仿射的或弹性可变形变换)。在空间变换之后，超声分割模型12半自动地将CT/MR肝脏网格51拟合到超声肝脏图像60的图像特征(例如表面边界)，以从超声肝脏图像60提取超声肝脏网格61。
流程图10的阶段S13涵盖对术前解剖图像和术中解剖图像的配准。更具体地，根据解剖网格模板的已知基础拓扑导出的术前解剖网格和术中解剖网格的相同拓扑建立了术前解剖网格与术中解剖网格之间的映射对应性，这便于术前解剖图像到术中解剖图像的空间变换，反之亦然。因此，出于介入/外科手术/诊断流程的图像引导目的，术前解剖图像和术中解剖图像被配准。
在实践中，(一种或多种)任何技术可以被实施用于术前解剖图像和术中解剖图像的配准。在如图2所示的阶段S13的一个实施例中，CT/MR肝脏网格51和超声肝脏网格61具有相同的节点和面，这便于CT/MR肝脏网格51和超声肝脏网格61的一对一的配准13(例如，刚性的、仿射的或弹性可变形变换)。在流程图10终止后，术前解剖图像(例如，图2的CT/MR图像50)和术中解剖图像(例如，图2的超声图像60)的得到的配准可以被用于图像引导的介入/外科手术/诊断流程。
参考图2，流程图10的示范性实施例采用术前分割模型(例如，CT/MR分割模型11)和术中分割模型(例如，US分割模型12)。本文现在将对图3-6进行描述，以描述用于术前分割模型和术中分割模型的构造方法。
参考图3，流程图20表示用于本发明的术前分割模型的构造方法。
流程图20的阶段S21涵盖在j数量的对象的一般群体上的解剖网格模板的构造，其中，j≥2，由此，解剖网格模板具有固定数量的顶点和面的已知基础拓扑。在实践中，(一种或多种)任何技术可以被实施用于对解剖网格模板的构造。在阶段S21的一个实施例中，如图4所示的肝脏网格模板40是根据肝脏的j数量的CT/MR分割的肝脏网格的一般对象群体的平均来构造的。肝脏网格模板40具有固定数量的顶点和面的已知基础拓扑，并被用于如图1所示的流程图10的网格分割的初始化。
流程图20的阶段S22涵盖从在j对象的一般群体上的k数量的术前解剖图像的数据集提取术前训练网格数据集，其中k≥2。在实践中，(一种或多种)任何技术可以被实施用于术前训练网格数据集的提取。在如图4所示的阶段S22的一个实施例中，通过半自动地将肝脏网格模板40拟合22到CT/MR肝脏图像数据集52的图像特征(例如，表面边界)，来提取CT/MR训练网格数据集53。
在实践中，用于解剖网格模板的构造的所分割的解剖网格(在图4中未示出)和用于术前分割模型的构造的术前解剖图像数据集(例如，图4的CT/MR肝脏图像数据集52)可以根据相同的对象中的一个或多个来生成，或根据两个(2)不同的对象集合来生成。
流程图20的阶段S23涵盖根据术前训练网格数据集和术前解剖图像数据集构造术前分割模型。在实践中，(一种或多种)任何技术可以被实施用于术前分割模型的构造。在如图4所示的阶段S23的一个实施例中，根据被图示在CT/MR肝脏图像数据集52内的图像特征并且根据CT/MR训练网格数据集53的已知顶点和面，来构造CT/MR分割模型23。在流程图20终止后，CT/MR分割模型23可以充当如图2所示的CT/MR分割模型11。
参考图5，流程图30表示用于本发明的术中分割模型的构造方法。流程图30的阶段S31涵盖从在j对象的一般群体上的i数量的术前解剖图像的数据集提取术前基线网格数据集，其中，i≥2。在实践中，(一种或多种)任何技术可以被实施用于术前基线网格数据集的提取。在如图6所示的阶段S31的一个实施例中，CT/MR分割模型23(图4)半自动地将肝脏网格模板40拟合到CT/MR肝脏图像数据集54的图像特征(例如，表面边界)，以提取CT/MR基线网格数据集55。
在实践中，用于对术前分割模型的构造的术前解剖图像数据集(例如，图4的CT/MR肝脏图像数据集52)和用于对术中分割模型的构造的术前解剖图像数据集(例如，图6的CT/MR肝脏图像数据集54)可以根据相同的对象中的一个或多个来生成，或者根据两个(2)不同的对象集合来生成。
流程图30的阶段S32涵盖从在j对象的一般群体上的l数量的术中解剖图像的数据集提取术中训练网格数据集，l≥2。在实践中，(一种或多种)任何技术可以被实施用于术中训练网格数据集的提取。在如图4所示的阶段S32的一个实施例中，术前基线网格数据集55通过任何已知的技术(例如，人工配准)被空间变换到超声肝脏图像数据集62，并且超声训练网格数据集63通过半自动地将术前基线网格数据集55拟合32到超声肝脏图像数据集62的图像特征(例如，表面边界)来提取。
在实践中，术前解剖图像数据集(例如，CT/MR肝脏图像数据集54)和术中解剖图像数据集(例如，超声肝脏图像数据集62)可以根据相同的对象中的一个或多个来生成，或者根据两个不同的对象集合来生成。
流程图30的阶段S33涵盖根据术中训练网格数据集构造术中分割模型。在实践中，(一种或多种)任何技术可以被实施用于术中分割模型的构造。在如图6所示的阶段S33的一个实施例中，根据被图示在超声肝脏图像数据集62内的图像特征(例如，表面边界)并且根据超声训练网格数据集63的已知顶点和面，来构造超声分割模型33。在流程图30终止后，超声分割模型33可以充当如图2所示的超声分割模型12。
参考图7，示出了用于实施流程图10(图1)、流程图20(图3)和流程图30(图5)的软件/固件模块91-95的网络。
首先，术前网格提取器91采用(一种或多种)技术来提取术前解剖网格，如由流程图10的阶段S11(图1)所涵盖的，以及利用对CT/MR肝脏网格51的提取(图2)示范性示出的。
第二，术中网格提取器92采用(一种或多种)技术来提取术中解剖网格，如由流程图10的阶段S12(图1)所涵盖的，以及利用对超声肝脏网格61的提取(图2)示范性示出的。
第三，网格空间变换器93采用(一种或多种)技术来将术前解剖网格空间变换到术中解剖网格，如由流程图10的阶段S13(图1)所涵盖的，以及利用CT/R肝脏网格51到超声肝脏网格61的空间变换(图2)示范性示出的。
第四，在对模块91和92的支持中，术前模型构造器94采用(一种或多种)技术来构造术前分割模型，如由流程图20(图3)所涵盖的，以及利用对CT/MR分割模型23的构造(图4)示范性示出的。
最后，在对模块91和92的支持中，术中模型构造器95采用(一种或多种)技术来构造术中分割模型，如由流程图30(图5)所涵盖的，以及利用对超声分割模块33的构造(图6)示范性示出的。
图7还图示了采用术前工作站90a和术中工作站90b的系统。在实践中，术前工作站90a和术中工作站90b可以是物理上独立的工作站或物理上被集成在单个工作站内的逻辑子站。
术前工作站90a在结构上被配置有硬件/电路(例如，(一个或多个)处理器、存储器等)，以运行被编程并安装为在工作站90a内的软件/固件的术前网格提取器91。
术中工作站90b在结构上被配置有硬件/电路(例如，(一个或多个)处理器、存储器等)，以运行被编程并安装为在工作站90b内的软件/固件的术中网格提取器92和网格空间变换器93。
在实践中，术前模型构造器94和术中模型构造器95可以被编程并安装为在术前工作站90a内或在训练工作站(未示出)内的软件/固件，所述训练工作站是物理上独立的工作站或者是在物理上被集成在术前工作站90a内的逻辑子站。
在示范性系统操作中，在图像引导的介入/外科手术/诊断流程的术前相100之前的训练相(未示出)期间，CT/MR分割模型11(图4)和超声分割模型12(图6)分别由模块94和95来构造。在实践中，分割模型11和12的构造针对许多的图像引导的介入/外科手术/诊断流程可以出现一次。
在如图7所示的图像引导的介入/外科手术/诊断流程的术前相100期间，经由CT/MRI扫描器80来扫描对象70的肝脏71，由此，术前网格提取器91基于具有带固定数量的顶点和面的已知基础拓扑的肝脏网格模板40，来从CT/MR肝脏图像50提取CT/MR肝脏网格51。
在如图7所示的图像引导的介入/外科手术/诊断流程的术中相101期间，经由超声探头81来对对象70的肝脏71进行成像，由此，术中网格提取器92基于具有与肝脏网格模板40的基础拓扑相同的带固定数量的顶点和面的已知拓扑的CT/MR肝脏网格51，从超声肝脏图像60提取超声肝脏网格61。超声肝脏网格61具有与肝脏网格模板40的基础拓扑相同的带固定数量的顶点和面的已知拓扑，由此，出于配准CT/MR肝脏图像50与超声肝脏图像60的目的，网格空间变换器93将CT/MR肝脏网格51空间变换到超声肝脏网格61。
参考图1-7，本领域普通技术人员将意识到本发明的许多益处，包括但不限于，网格分割和网格配准，其通过节省流程的术前相中的宝贵时间，并且减小针对对准术前和术中解剖图像的人为因素和主观性，改进了用于图像引导的介入/外科手术/诊断流程的整体工作流程。
尽管已经图示并描述了本发明的各个实施例，但是本领域技术人员应当理解，如本文中所描述的本发明的实施例是说明性的，并且可以做出各种改变和修改，并且可以将本发明的元件替换为等价物，而不脱离本发明的真实范围。此外，可以做出许多修改来调整本发明的教导，而不脱离其中心范围。因此，本发明旨在不限于被公开为预期用于执行本发明的最佳模式的具体实施例，并且本发明包括落入权利要求书的范围内的所有实施例。

Claims (20)

1.一种用于网格分割和网格配准的系统，所述系统包括：
术前工作站(90a)，其能够被配置为基于解剖网格模板(40)的基础拓扑来从术前解剖图像(50)中提取术前解剖网格(51)；以及
术中工作站(90b)，
其中，所述术中工作站(90b)能够被配置为基于根据所述解剖网格模板(40)的所述基础拓扑导出的所述术前解剖网格(51)的术前拓扑来从术中解剖图像(60)中提取术中解剖网格(61)，并且
其中，所述术中工作站(90b)还能够被配置为基于所述术前解剖网格(51)与所述术中解剖网格(61)之间的映射对应性来配准所述术前解剖图像(50)和所述术中解剖图像(60)，所述映射对应性是由根据所述术前解剖网格(51)的所述术前拓扑导出的所述术中解剖网格(61)的术中拓扑来建立的。
2.根据权利要求1所述的系统，其中，所述术前解剖图像(50)和所述术中解剖图像(60)两者都是根据相同的图像模态而生成的。
3.根据权利要求1所述的系统，其中，所述术前解剖图像(50)和所述术中解剖图像(60)是根据不同的图像模态而生成的。
4.根据权利要求1所述的系统，还包括：
训练工作站，其能够被配置为根据基于所述解剖网格模板(40)的所述基础拓扑从术前解剖图像数据集(52)对术前训练网格数据集(53)的提取来构造术前分割模型(11)，
其中，所述术前工作站(90a)包括所述术前分割模型(11)，以基于所述解剖网格模板(40)的所述基础拓扑来从所述术前解剖图像(50)中提取所述术前解剖网格(51)。
5.根据权利要求1所述的系统，还包括：
训练工作站，其能够被配置为根据基于所述术前基线网格数据集(54)的所述术前拓扑从术中解剖图像数据集(62)对术中训练网格数据集(63)的提取来构造术中分割模型(12)，
其中，所述术中工作站(90b)包括所述术中分割模型(12)，以基于所述术前解剖网格(51)的所述术前拓扑来从所述术中解剖图像(60)中提取所述术中解剖网格(61)。
6.根据权利要求5所述的系统，其中，所述训练工作站还能够基于所述解剖网格模板(40)的所述基础拓扑来从术前解剖图像数据集(54)中提取所述术前基线网格数据集(55)。
7.根据权利要求1所述的系统，其中，由所述术中工作站(90b)对所述术前解剖图像(50)和所述术中解剖图像(60)的配准包括所述术前解剖网格(51)到所述术中解剖网格(61)的空间变换。
8.一种用于网格分割和网格配准的模块化网络，所述模块化网络包括：
术前网格提取器(91)，其能够被配置为基于解剖网格模板(40)的基础拓扑来从术前解剖图像(50)中提取术前解剖网格(51)；
术中网格提取器(92)，其能够被配置为基于根据所述解剖网格模板(40)的所述基础拓扑导出的所述术前解剖网格(51)的术前拓扑来从术中解剖图像(60)中提取术中解剖网格(61)；以及
网格空间变换器(93)，其能够被配置为基于所述术前解剖网格(51)与所述术中解剖网格(61)之间的映射对应性来配准所述术前解剖图像(50)和所述术中解剖图像(60)，所述映射对应性是由根据所述术前解剖网格(51)的所述术前拓扑导出的所述术中解剖网格(61)的术中拓扑来建立的。
9.根据权利要求8所述的模块化网络，其中，所述术前解剖图像(50)和所述术中解剖图像(60)两者都是根据相同的图像模态而生成的。
10.根据权利要求8所述的模块化网络，其中，所述术前解剖图像(50)和所述术中解剖图像(60)是根据不同的图像模态而生成的。
11.根据权利要求8所述的模块化网络，还包括：
术前模型构造器(94)，其能够被配置为根据基于所述解剖网格模板(40)的所述基础拓扑从术前解剖图像数据集(52)对术前训练网格数据集(53)的提取来构造术前分割模型(11)，
其中，所述术前网格提取器(91)包括所述术前分割模型(11)，以基于所述解剖网格模板(40)的所述基础拓扑来从所述术前解剖图像(50)中提取所述术前解剖网格(51)。
12.根据权利要求8所述的模块化网络，还包括：
术中模型构造器(95)，其能够被配置为根据基于所述术前基线网格数据集(55)的所述术前拓扑从术中解剖图像数据集(62)对术中训练网格数据集(63)的提取来构造术中分割模型(12)，
其中，所述术中网格提取器(92)包括所述术中分割模型(12)，以基于所述术前解剖网格(51)的所述术前拓扑来从所述术中解剖图像(60)中提取所述术中解剖网格(61)。
13.根据权利要求12所述的模块化网络，其中，所述术中模型构造器(95)还能够基于所述解剖网格模板(40)的所述基础拓扑来从术前解剖图像数据集(54)中提取所述术前基线网格数据集(55)。
14.根据权利要求8所述的模块化网络，
其中，所述术前网格提取器(91)能够被安装在术前工作站(90a)上；并且
其中，所述术中网格提取器(92)和所述网格空间变换器(93)能够被安装在术中工作站(90b)上。
15.根据权利要求8所述的模块化网络，其中，由所述网格空间变换器(93)对所述术前解剖图像(50)和所述术中解剖图像(60)的配准包括所述术前解剖网格(51)到所述术中解剖网格(61)的空间变换。
16.一种用于网格分割和网格配准的方法，所述方法包括：
基于解剖网格模板(40)的基础拓扑来从解剖区域的术前解剖图像(50)中提取术前解剖网格(51)；
基于根据所述解剖网格模板(40)的所述基础拓扑导出的所述术前解剖网格(51)的术前拓扑来从术中解剖图像(60)中提取术中解剖网格(61)；并且
基于所述术前解剖网格(51)与所述术中解剖网格(61)之间的映射对应性来配准所述术前解剖图像(50)和所述术中解剖图像(60)，所述映射对应性是由根据所述术前解剖网格(51)的所述术前拓扑导出的所述术中解剖网格(61)的术中拓扑来建立的。
17.根据权利要求16所述的方法，还包括：
术前分割模型(11)的构造，所述构造包括基于所述解剖网格模板(40)的所述基础拓扑来从术前解剖图像数据集(52)中提取术前训练网格数据集(53)；
其中，所述术前分割模型(11)运行基于所述解剖网格模板(40)的所述基础拓扑，从所述术前解剖图像(50)对所述术前解剖网格(51)的提取。
18.根据权利要求16所述的方法，还包括：
对术中分割模型(12)的构造，所述构造包括基于术前基线网格数据集(55)的所述术前拓扑，从术中解剖图像数据集(62)提取术中训练网格数据集(63)；
其中，所述术中分割模型(12)运行基于所述术前解剖网格(51)的所述术前拓扑，从所述术中解剖图像(60)对所述术中解剖网格(61)的提取。
19.根据权利要求18所述的方法，其中，所述术中模型构造器(95)的所述构造还包括基于所述解剖网格模板(40)的所述基础拓扑来从术前解剖图像数据集(54)中提取所述术前基线网数据集(55)。
20.根据权利要求16所述的方法，其中，所述术前解剖图像(50)和所述术中解剖图像(60)的配准包括所述术前解剖网格(51)到所述术中解剖网格(61)的空间变换。
CN201480026352.2A 2013-05-09 2014-05-08 用于网格分割和网格配准的方法和系统 Active CN105190692B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361821279P 2013-05-09 2013-05-09
US61/821,279 2013-05-09
PCT/IB2014/061288 WO2014181278A1 (en) 2013-05-09 2014-05-08 Method and system for mesh segmentation and mesh registration

Publications (2)

Publication Number Publication Date
CN105190692A true CN105190692A (zh) 2015-12-23
CN105190692B CN105190692B (zh) 2019-04-16

Family

ID=50884435

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480026352.2A Active CN105190692B (zh) 2013-05-09 2014-05-08 用于网格分割和网格配准的方法和系统

Country Status (5)

Country Link
US (1) US9761005B2 (zh)
EP (1) EP2994881A1 (zh)
JP (1) JP6211682B2 (zh)
CN (1) CN105190692B (zh)
WO (1) WO2014181278A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022269A (zh) * 2016-05-23 2016-10-12 中国科学院长春光学精密机械与物理研究所 一种人脸配准方法及装置
CN108521820A (zh) * 2017-06-06 2018-09-11 美的集团股份有限公司 使用深度神经网络的从粗略到精细的手部检测方法
CN110073409A (zh) * 2016-09-29 2019-07-30 皇家飞利浦有限公司 经由遮挡形状重建和鲁棒点匹配的cbct到mr配准

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160038252A1 (en) 2011-02-17 2016-02-11 The Trustees Of Dartmouth College Systems And Methods for Guiding Tissue Resection
WO2016201341A1 (en) * 2015-06-12 2016-12-15 The Trustees Of Dartmouth College Systems and methods for guiding tissue resection
CN105190692B (zh) 2013-05-09 2019-04-16 皇家飞利浦有限公司 用于网格分割和网格配准的方法和系统
WO2016110463A1 (en) * 2015-01-06 2016-07-14 Koninklijke Philips N.V. Ultrasound imaging apparatus and method for segmenting anatomical objects
FR3037785B1 (fr) * 2015-06-26 2017-08-18 Therenva Procede et systeme d'aide au guidage d'un outil endovasculaire dans des structures vasculaires
CN107835661B (zh) * 2015-08-05 2021-03-23 深圳迈瑞生物医疗电子股份有限公司 超声图像处理系统和方法及其装置、超声诊断装置
JP6392190B2 (ja) * 2015-08-31 2018-09-19 富士フイルム株式会社 画像位置合せ装置、画像位置合せ装置の作動方法およびプログラム
US9934570B2 (en) 2015-10-09 2018-04-03 Insightec, Ltd. Systems and methods for registering images obtained using various imaging modalities and verifying image registration
US10402969B2 (en) * 2017-03-10 2019-09-03 General Electric Company Methods and systems for model driven multi-modal medical imaging
CN109063712B (zh) * 2018-06-22 2021-10-15 哈尔滨工业大学 一种基于超声图像的多模型肝脏弥漫性疾病智能诊断方法
US20200051257A1 (en) * 2018-08-08 2020-02-13 Siemens Medical Solutions Usa, Inc. Scan alignment based on patient-based surface in medical diagnostic ultrasound imaging
US11610369B2 (en) * 2018-10-09 2023-03-21 Koninklijke Philips N.V. Automatic EEG sensor registration
US20220054199A1 (en) * 2018-12-19 2022-02-24 INDIAN INSTITUTE OF TECHNOLOGY MADRAS (IIT Madras) Robotic surgery systems and surgical guidance methods thereof

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1862596A (zh) * 2005-04-19 2006-11-15 西门子共同研究公司 针对心脏展开的所融合的pet－ct可视化的系统和方法
US20120155734A1 (en) * 2009-08-07 2012-06-21 Ucl Business Plc Apparatus and method for registering two medical images

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1914683A3 (en) * 2006-06-23 2009-12-02 Julian Mattes Quantification and visualization of the motion and deformation of one or several objects inside a living entity
WO2008063494A2 (en) * 2006-11-16 2008-05-29 Vanderbilt University Apparatus and methods of compensating for organ deformation, registration of internal structures to images, and applications of same
US20090324041A1 (en) * 2008-01-23 2009-12-31 Eigen, Llc Apparatus for real-time 3d biopsy
CN102460514A (zh) * 2009-06-18 2012-05-16 皇家飞利浦电子股份有限公司 成像程序规划
US8942455B2 (en) * 2011-08-30 2015-01-27 Siemens Aktiengesellschaft 2D/3D image registration method
JP6174034B2 (ja) * 2011-10-12 2017-08-02 ザ・ジョンズ・ホプキンス・ユニバーシティ 心臓内モーションを用いる動的イメージングモダリティーからの局所的心機能および同期不全の評価方法
CN105190692B (zh) 2013-05-09 2019-04-16 皇家飞利浦有限公司 用于网格分割和网格配准的方法和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1862596A (zh) * 2005-04-19 2006-11-15 西门子共同研究公司 针对心脏展开的所融合的pet－ct可视化的系统和方法
US20120155734A1 (en) * 2009-08-07 2012-06-21 Ucl Business Plc Apparatus and method for registering two medical images

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A.D. CASTELLANO-SMITH 等: "Constructing Patient Specific Models for Correcting Intraoperative Brain Deformation", 《MEDICAL IMAGE COMPUTING AND COMPUTER-ASSISTED INTERVENTION》 *
PRASHANTH DUMPURI 等: "Model Updated Image Guided Liver Surgery Preliminary Results Using Surface Characterization", 《PROGRESS IN BIOPHYSICS AND MOLECULAR BIOLOGY》 *
SE BASTIEN MARTIN 等: "MR Prior Based Automatic Segmentation of the Prostate in TRUS Images for MR/TRUS Data Fusion", 《IEEE INTERNATIONAL CONFERENCE ON BIOMEDICAL IMAGING》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022269A (zh) * 2016-05-23 2016-10-12 中国科学院长春光学精密机械与物理研究所 一种人脸配准方法及装置
CN106022269B (zh) * 2016-05-23 2019-04-16 中国科学院长春光学精密机械与物理研究所 一种人脸配准方法及装置
CN110073409A (zh) * 2016-09-29 2019-07-30 皇家飞利浦有限公司 经由遮挡形状重建和鲁棒点匹配的cbct到mr配准
CN110073409B (zh) * 2016-09-29 2023-11-14 皇家飞利浦有限公司 经由遮挡形状重建和鲁棒点匹配的cbct到mr配准
CN108521820A (zh) * 2017-06-06 2018-09-11 美的集团股份有限公司 使用深度神经网络的从粗略到精细的手部检测方法

Also Published As

Publication number Publication date
EP2994881A1 (en) 2016-03-16
JP6211682B2 (ja) 2017-10-11
JP2016517759A (ja) 2016-06-20
US9761005B2 (en) 2017-09-12
CN105190692B (zh) 2019-04-16
US20160078633A1 (en) 2016-03-17
WO2014181278A1 (en) 2014-11-13

Similar Documents

Publication Publication Date Title
CN105190692A (zh) 用于网格分割和网格配准的方法和系统
Frangi et al. Automatic construction of multiple-object three-dimensional statistical shape models: Application to cardiac modeling
CN104718563B (zh) 追踪三维物体的方法
KR102251830B1 (ko) 초음파 및 ct 영상의 정합에 관한 시스템 및 작동 방법
CN102473300B (zh) 多模态乳房成像
JP6289142B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記憶媒体
CN103402453B (zh) 用于导航系统的自动初始化和配准的系统和方法
CN103229210B (zh) 图像配准装置
US8805045B2 (en) Interaction method for regions of-interest in time series images
Maksimovic et al. Computed tomography image analyzer: 3D reconstruction and segmentation applying active contour models—‘snakes’
KR101839891B1 (ko) 의료 이미지 프로세싱 방법 및 이미지 프로세싱 시스템
JP2016536035A (ja) 変形可能レジストレーションのためのシステム及びモジュラーネットワーク
CN103886621A (zh) 一种自动提取床板的方法
Morais et al. Cardiac motion and deformation estimation from tagged MRI sequences using a temporal coherent image registration framework
Xing et al. 3D tongue motion from tagged and cine MR images
Lang et al. Towards model-enhanced real-time ultrasound guided cardiac interventions
Bögel et al. Respiratory motion compensation using diaphragm tracking for cone-beam C-arm CT: A simulation and a phantom study
CN103903255A (zh) 一种超声图像分割方法和系统
CN108670301A (zh) 一种基于超声影像的脊柱横突定位方法
Zhang et al. Spatio-temporal registration of real time 3D ultrasound to cardiovascular MR sequences
CN115761134A (zh) 孪生模型的生成方法、系统、核磁共振装置和介质
US20230052401A1 (en) Deformable registration of medical images
CN108670302A (zh) 一种基于2.5维超声宽景成像的脊柱三维结构再现方法
CN107292351A (zh) 一种结节的匹配方法及装置
Dangi et al. Endocardial left ventricle feature tracking and reconstruction from tri-plane trans-esophageal echocardiography data

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant