CN111566699A - 静态流程前规划数据到动态流程内分割数据的配准 - Google Patents

静态流程前规划数据到动态流程内分割数据的配准 Download PDF

Info

Publication number
CN111566699A
CN111566699A CN201880085773.0A CN201880085773A CN111566699A CN 111566699 A CN111566699 A CN 111566699A CN 201880085773 A CN201880085773 A CN 201880085773A CN 111566699 A CN111566699 A CN 111566699A
Authority
CN
China
Prior art keywords
segmentation
dynamic
static
volume data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880085773.0A
Other languages
English (en)
Inventor
M·费斯特格
P·G·叶舒伊斯
C·沙赫尹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN111566699A publication Critical patent/CN111566699A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/33—Heart-related electrical modalities, e.g. electrocardiography [ECG] specially adapted for cooperation with other devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Cardiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

提供了成像系统和方法，其涉及：使用第一成像技术来采集静态体积数据；对所述静态体积数据进行分割以生成静态分割；利用至少一个注释来注释所述静态分割；使用与所述第一成像技术不同的第二成像技术来采集初始动态体积数据；对所述初始动态体积数据进行分割以生成多个动态分割；将所述静态分割与所述多个动态分割中的每个动态分割进行比较，并且使用所述比较来确定最密切地对应于所述静态分割的单个动态分割；将对应的单个动态分割作为参考分割存储在所述存储器中；采集随后的动态体积数据；对所述随后的动态体积数据进行分割以生成至少一个随后的动态分割；确定所述参考分割与所述随后的动态分割之间的差异；使用所确定的差异来更新所述至少一个注释；以及将至少一个更新的注释与所述随后的动态体积数据一起显示。

Description

静态流程前规划数据到动态流程内分割数据的配准
技术领域
本公开涉及流程前静态数据图像与流程内动态数据图像的融合。本公开的系统和方法可应用于诸如图像引导的心脏流程的医学流程。
背景技术
本章节提供了不一定是现有技术的与本公开相关的背景信息。
医学成像在许多临床应用中是有用的。存在不同类型的医学成像。一种类型的医学成像是超声成像。超声成像技术在微创心脏流程(诸如二尖瓣或三尖瓣修复或替换)中是特别有用的。例如，超声成像可以涉及对经食道超声心动图(TEE)探头的使用，该探头用来经由超声心动图对心脏和相关联的结构进行成像以便在介入期间提供动态流程内体积数据以帮助医师。然而，已知的是，与其他成像技术相比，超声成像不允许对解剖结构的最好描绘。
已知的是，其他类型的医学成像技术(例如基于计算机断层摄影(CT)和磁共振成像(MRI)的技术)提供对解剖结构的更好描绘。然而，这些医学成像技术一般不适合于流程内成像。此外，由这些技术提供的解剖信息一般是静态信息。这些成像技术因此通常主要用于流程前规划和诊断。
如果基于CT或MRI的成像技术在介入之前的规划阶段中被使用并且然后超声成像在介入期间被使用，那么医师必须进行从规划阶段采集的静态信息到在介入期间采集的动态信息的脑力配准。这种脑力配准需要来自医师的工作记忆，这需要额外的努力。此外，脑力配准可能是不准确的。此外，脑力配准对于在心脏流程中通常遇到的移动解剖结构来说是特别复杂的。
US2010/0295848A1公开了一种用于将从不同成像技术采集的图像进行组合的系统。
因此，希望获得在介入的过程期间以与现有技术相比改善的方式使医师可获得静态信息和动态信息两者的系统。
发明内容
提供了用于将规划数据配准到流程内数据的系统和方法。根据第一方面，提供了一种图像处理设备。
所述成像系统包括：处理器模块；存储器模块；显示器，以及输入接口，所述输入接口被配置为从患者接收图像数据并且将所述图像数据传输到所述处理器模块。要被接收的所述图像数据可以包括静态体积数据、初始动态体积数据和随后的动态体积数据。所述处理器模块被配置为：对所述静态体积数据进行分割以生成静态分割；对所述初始动态体积数据进行分割以生成多个动态分割；将所述静态分割与所述多个动态分割中的每个动态分割进行比较；使用所述比较来确定最密切地对应于所述静态分割的单个动态分割；并且将对应的单个动态分割作为参考分割存储在所述存储器中。所述处理器模块还被配置为：自动地对所采集的随后的动态体积数据进行分割以生成随后的动态分割；确定所述参考分割与所述随后的动态分割之间的差异；使用所确定的差异来更新与所述静态分割相关联的至少一个注释；并且将所述随后的动态体积数据和所更新的至少一个注释传输到所述显示器以用于一起显示在所述显示器上。
备选地，所述图像处理设备本身未被提供有显示器；替代地，表示随后的动态体积数据的图像和更新的注释的显示信号可以被提供到输出部，并且被传输到外部显示器以供查看。
将与初始体积数据和静态分割相关的图像与上面的配准技术进行组合比其他类型的图像融合技术(诸如标志锚定)更准确。此外，上面的配准技术更不易发生系统性错误，诸如标志偏移。此外，上面的技术允许对与静态分割相关联的注释的动态更新。
在一实施例中，所述处理器模块被配置为将所述随后的动态体积数据传输到所述显示器，使得至少一个更新的注释被显示为被叠加在所述随后的动态体积数据上。
在一实施例中，与静态分割相关联的至少一个注释被存储在存储器中，以被叠加在通过与第一成像技术和第二成像技术不同的第三成像技术获得的图像上面。至少一个注释在通过第三成像技术获得的图像上的叠加可以经由第二成像数据与第三成像数据之间的额外的单独配准来执行。该配准技术可以是如上面概述的相同的配准技术。备选地，配准技术可以是探头检测算法。在一实施例中，第三成像技术是X射线成像技术。在该实施例中，由处理器模块采用的配准技术是根据X射线图像数据跟踪探头在患者空间中的位置的探头检测算法。
将认识到，在第三成像技术被利用并且如上面阐述的额外配准算法用来将至少一个注释与第三成像技术进行组合的情况下，额外配准算法的动态分割充当3D静态规划数据与2D实况动态数据之间的3D动态“桥”。
在一实施例中，所述处理器模块被配置为使用基于点的配准算法来确定最密切地对应于所述静态分割的所述对应的单个动态分割。
在一实施例中，所述处理器模块被配置为自动地生成与所述静态分割相关联的所述至少一个注释。
注释的范例包括网格、总网格的子集、虚拟设备、测量、规划的轨迹、所识别的在动态成像技术的情况下不可见或非清楚可见的解剖目标和关键结构。注释可以以诸如三角形、圆、网格、线等的各种形式被显示。
在一实施例中，所述处理器模块被配置为使用基于模型的生成算法来对所述静态体积数据进行分割以生成所述静态分割。
在一实施例中，所述处理器模块被配置为使用基于模型的生成算法来对所述动态体积数据进行分割以生成所述动态分割。
在一实施例中，所述成像系统还包括ECG监测器，并且所述处理器模块被配置为基于ECG监测器的输出将所采集的动态体积数据与心动周期的时段相关联。在一个实施例中，所述处理器模块被配置为对所述初始动态体积数据进行分割，并且然后将所述动态分割存储在所述存储器中。所述处理器模块还被配置为存储所述ECG监测器的所述输出。所述处理器模块然后被配置为使所存储的动态分割与所存储的所述ECG监测器的输出同步，以便确定其中初始动态体积数据被采集的心动周期的时相。当处理器模块的处理功率不足以生成实时的分割时并且当心脏时相是未知的时，该技术可以被使用。在处理器模块的处理功率足以生成基本上实时的分割的情况下或在心脏时相是已知的情况下，用于稍后与存储的ECG监测器的输出同步的动态分割的存储是不必要的。
在一实施例中，所述处理器模块被配置为：在对所述所采集的随后的动态体积数据进行分割之前，将所述初始动态体积数据传输到所述显示器以用于和与所述静态分割相关联的至少一个注释一起显示在所述显示器上。
在一实施例中，所述处理器模块被配置为以所述参考分割的形式显示所述初始体积数据。
在一实施例中，所述处理器模块被配置为将初始体积数据传输到所述显示器，使得与所述静态分割相关联的所述至少一个注释被显示为被叠加在所述初始体积数据上。
根据又一方面，提供了一种成像系统，包括如本文中描述的图像处理设备的实施例和被配置为采集所述初始动态体积数据和所述随后的动态体积数据的成像器。
在一实施例中，所述成像器包括超声成像器，例如超声探头。
在所述成像器是超声成像器(诸如超声探头)的实施例中，配准算法可以被限制于在成像器探头的3D超声锥体内部的点。将配准算法限制为仅使用在3D超声锥体内部的那些点改善了配准算法准确性。
在一范例中，静态体积数据(例如MR或CT图像数据)可以是能从图像数据库(诸如PACS系统)接收的。备选地或另外，所述成像系统还包括用于采集所述静态体积数据的流程前成像器，诸如CT或MRI成像设备。
在下文中，X射线、超声、CT和MRI成像也被称为“成像模态”。
根据又一方面，提供了一种计算机实施的成像方法，包括以下步骤：使用第一成像模态来采集静态体积数据；对所述静态体积数据进行分割以生成静态分割；利用至少一个注释来注释所述静态分割；使用与所述第一成像技术不同的第二成像技术模态来采集初始动态体积数据；对所述初始动态体积数据进行分割以生成多个动态分割；将所述静态分割与所述多个动态分割中的每个动态分割进行比较，并且使用所述比较来确定最密切地对应于所述静态分割的单个动态分割；将对应的单个动态分割作为参考分割存储在所述存储器中；采集随后的动态体积数据；对所述随后的动态体积数据进行分割以生成至少一个随后的动态分割；确定所述参考分割与所述随后的动态分割之间的差异；使用所确定的差异来更新所述至少一个注释；以及将至少一个更新的注释与所述随后的动态体积数据一起显示。
在一实施例中，这种注释被自动地或半自动地引入。在备选实施例中，医师可以引入这种注释。
在一实施例中，所述随后的动态体积数据以所述随后的动态分割的形式被显示。
在一实施例中，所述方法还包括以下步骤：在采集随后的动态体积数据之前，将所述初始动态体积数据和与所述静态分割相关联的至少一个注释一起显示。
在一实施例中，所述初始体积数据以所述参考分割的形式被显示。
在一实施例中，所述初始动态分割中的至少一些对应于患者的不同心脏时相。
在又一方面中，提供了一种计算机程序产品，包括指令集，所述指令集当在处理单元上被运行时使计算设备执行如本文中描述的方法的实施例的步骤。例如，如本文中描述的图像处理设备可以对应于这种计算设备，由此所述计算机程序由所述图像处理设备的所述处理器模块运行。
本发明的这些方面和其他方面将从下文描述的实施例变得显而易见并且参考下文描述的实施例得到阐明。
附图说明
示范性实施例将在下文中结合以下附图来进行描述，其中，类似的数字表示类似的元件，并且其中：
图1是示出与静态规划图像相关联的信息可以如何被叠加到动态图像上的表示；
图2是根据各种实施例的医学成像系统的概观；
图3是根据各种实施例的静态分割数据与动态分割数据之间的配准的示意性图示；
图4是根据本发明的各种实施例的示出与静态规划图像相关联的信息可以如何被动态地更新并且然后被叠加到动态图像上的表示；
图5是图示根据各种实施例的方法的流程图；
图6是图示可以在图5中示出的方法中执行的额外方法步骤的流程图；
图7是与图1的表示相关联的照片；并且
图8是与图4的表示相关联的照片。
具体实施方式
以下具体实施方式本质上仅仅是示范性的，并且不旨在限制应用和其用途。此外，不存在被前述的技术领域、背景技术、发明内容或以下具体实施方式中提出的任何明确的或暗示的理论约束的意图。如本文中所使用的，术语“模块”是指单独地或采用任何组合的任何硬件、软件、固件、电子控制部件、处理逻辑和/或处理器设备，包括但不限于：专用集成电路(ASIC)、电子电路、处理器(共享、专用或成组)以及运行一个或多个软件或固件程序的存储器、组合逻辑电路和/或提供所描述的功能性的其他合适部件。
本公开的实施例在本文中可以依据功能和/或逻辑块部件和各个处理步骤来描述。应当意识到，这样的块部件可以由被配置为执行指定功能的任何数量的硬件、软件和/或固件部件来实现。例如，本公开的实施例可以采用各种集成电路部件，例如存储器元件、数字信号处理元件、逻辑元件、查找表等，其可以在一个或多个微处理器或其他控制设备的控制下执行各种功能。此外，本领域技术人员将意识到，本公开的实施例可以结合任何数量的系统来实践，并且本文中所描述的系统仅仅是本公开的示范性实施例。
为了简洁起见，本文中可以不详细描述与信号处理、数据传输、信号发送、控制以及该系统(和该系统的单个操作部件)的其他功能方面有关的常规技术。此外，本文中所包含的各种附图中示出的“连接线”旨在表示各种模块之间的范例功能关系。应当注意的是，在本公开的实施例中可以存在许多备选或额外的功能关系或甚至物理连接。
本发明的实施例提供了静态流程前数据和介入期间的动态流程间图像数据两者的配准和图像融合。具体地，本发明的实施例提供了其中静态流程前数据(其可以使用基于CT或MRI的成像技术来采集)被配准到动态流程间图像数据(其可以使用超声成像技术来采集)并且然后以融合的图像的形式一起被呈现给医师的系统。
具体地，本发明人意识到存在静态流程前数据与动态流程内数据之间的配准可以导致这些数据集之间的失配的情形。
尽管以下描述将关于微创心脏介入来进行解释，但是将意识到，本文中公开的系统和方法可适用于其他类型的介入。
心脏具有多个收缩和舒张心脏时相。当心脏前进通过这些不同的心脏时相时，它改变形状。在流程前规划阶段期间，静态流程前规划信息可以被注释为包括规划注释或测量结果。由于规划信息是静态的，所以与该信息相关联的注释对应于一个心脏时相中的心脏的结构。如果规划信息与在不同心脏时相期间采集的动态信息一起被显示，那么将存在由于这些心脏时相之间的心脏的形状的差异而引起的失配。
例如，参考图1，对应于静态规划图像的规划注释被示为被叠加在动态图像数据的顶部上，所述规划注释利用三角形来示出，并且所述动态图像数据利用线来示出。将意识到，其他表示可以用来示出注释，诸如圆、网格、线等。规划注释对应于一心脏时相，该心脏时相是执行流程前成像扫描(诸如CT或MRI扫描)时的心脏时相。如能够在图1的左侧看到的，当注释被配准到具有与在执行流程前CT或MRI扫描时的心脏时相相同的心脏时相的动态图像数据时，规划注释处于正确的位置中。然而，如能够在图1的右侧看到的，当心脏时相在介入期间改变时，动态图像数据将改变，导致动态图像数据(其已经改变)与规划注释(其尚未改变)之间的失配。图7示出了对应于图1中所使用的技术的照片图像。
本发明的实施例防止由于变化的心脏时相而引起的规划注释与实况图像数据之间的这种失配。具体地，本发明的实施例允许对规划注释的动态更新以补偿不同心脏时相之间的心脏的形状的变化。
图2图示了根据本发明的实施例的系统1的范例。图2的系统1包括存储器24，流程前静态数据可以被存储在该存储器24上。流程前静态数据可以经由流程前成像器12来采集。流程前静态数据可以是静态体积数据。静态体积数据可以对应于3D图像，诸如心脏的3D图像。
系统1还包括处理器模块16。尽管仅示出了一个处理器模块16，但是系统1可以包括多个处理模块以提供期望的功能性。处理器模块16被配置为执行对被存储在存储器24上的流程前静态数据的分割。这种分割可以是自动的基于模型的分割，或可以备选地是至少部分地基于医师输入来生成分割的半自动的基于模型的分割。
静态体积数据的基于模型的分割是已知的。一种类型的基于模型的分割涉及对分割模型的使用。分割模型从要被分割的器官的标准模型导出，或从之前的分割复制。分割模型与预期的新分割共享一些位置特征，并且模型分割与预期的新分割的某些特征之间的某些关系可以被保存在分割之间。
在一实施例中，分割模型是由顶点组成的多隔室三角形网格，所述顶点以三角形的方式被连接。分割模型网格包围模型的解剖区域。例如，在分割模型是心脏的模型的情况下，参考分割网格可以包围心脏的心室和心房、左心室周围的心肌、以及肺动脉和静脉。
处理器模块16基于分割模型来自动地分割流程前静态数据。
具体地，静态流程前数据可以由处理器模块16进行分割以生成3D图像。该3D图像可以对应于心脏的3D表示。在3D表示的重建之后，处理器模块16被配置为将3D表示与分割模型自动地配准。换言之，3D图像表示被映射到分割模型的顶点上，使得模型的解剖区域与3D图像表示的解剖区域进行配准。这种配准的结果是静态流程前数据的静态分割。
注释然后被提供给静态分割。这些注释可以由处理器模块16基于分割模型来自动地提供给静态分割，或可以由医师经由输入设备模块22(诸如鼠标或键盘)来提供。注释经由体积数据被配准到静态分割。换言之，注释相对于静态分割的附近顶点的位置被确定，并且被存储在存储器24中。这些注释可以描述各种感兴趣区域。例如，要被手术地处置的区域的位置和尺寸可以利用注释界线来勾画。注释可以被医师用来规划介入流程。注释相对于静态分割的位置可以被显示在显示器20上。输入设备模块22、处理器模块16、显示器20和存储器模块24全部可以被组合在图像处理设备10中。备选地，各种元件可以被单独地定位。
还可以提供成像器14。成像器14用于在在介入期间采集图像数据。成像器14可以是超声成像器，诸如TEE或TTE超声探头。
在介入期间，成像器14用来从患者采集初始动态图像数据。在成像器14是超声成像器的情况下，初始动态图像数据可以对应于从超声心动图采集的实况图像数据。
由成像器14采集的初始动态图像数据可以是以对应于器官的不同时相的实况动态3D图像的一系列帧的形式。在心脏正被成像的情况下，动态图像数据可以包括对应于心动周期的不同时相的3D图像的一系列帧。3D图像帧通常可以单独使用超声探头来采集。然而，成像器14可以结合常规的ECG监测器来使用。在该实施例中，ECG监测器用来检测心脏时相，并且超声图像数据可以与ECG监测器数据同步以确定超声图像数据的具体帧在哪个心脏时相中被采集。额外地或备选地，与动态体积数据相关联的其他元数据可以用来确定超声图像数据的具体帧在哪个心脏时相中被采集。
图像处理设备10具有用于接收静态和动态体积数据的输入接口(未示出)。在介入期间，动态图像数据可以直接从成像器14接收。静态图像数据例如从数据库(诸如PACS系统)接收。备选地，静态图像数据可以直接从流程前成像器12接收。
现在参考图3，现在将描述分割并配准所采集的数据的过程。如图3(1)和(2)中示出的，静态分割Ss以上面描述的方式根据静态图像数据被生成和注释。
如图3(3)中示出的，处理器模块16被配置为自动地分割所采集的动态数据以形成一系列动态分割。这些动态分割可以使用与用来生成静态分割相同的基于模型的分割方法来生成，或可以使用不同的分割技术来生成。如果不同的分割技术被使用，则应当存在所生成的分割之间的可获得的映射。例如，如果不同的基于模型的分割技术用来自动地分割在介入期间采集的3D图像的帧以便生成动态分割，则应当存在在不同的分割技术中所使用的模型之间的可获得的映射，使得动态分割的顶点可以被映射到静态分割的顶点上。
在动态分割已经被生成之后，处理器被配置为执行执行动态分割中的每个动态分割与静态分割之间的配准。配准可以是基于点的配准。在基于点的配准中，动态分割中的每个动态分割被映射到静态分割上。静态分割的顶点与动态分割中的每个动态分割的顶点之间的对应的程度然后被计算。在与静态分割的配准Rr中具有最小误差的动态分割(即，具有与静态分割对应顶点的最高程度的动态分割)被确定为是在与静态分割所基于的数据相同的心脏时相中采集的动态分割。换言之，通过确定哪个动态分割最密切地对应于静态分割，其中流程前图像数据被采集的心脏时相能够被确定。
备选地或额外地，如果关于静态分割和动态分割两者的心脏时相信息可获得，则该心脏时相信息可以被处理器模块用来确定哪个动态分割最密切地对应于静态分割。
在最密切地对应于静态分割的动态分割的确定之后，该动态分割作为参考分割Sr被存储在存储器24中。
在对参考分割Sr的确定和存储之后，初始动态体积数据可以被显示在显示器20上。该初始动态体积数据可以以参考分割的形式或以另一形式被显示。备选地，初始动态体积数据可以不被显示在显示器上。如果它要被显示，则初始动态体积数据可以与静态分割或静态分割的方面一起被显示。具体地，由于配准确定最密切地对应于静态分割的动态分割，所以参考分割和静态分割的方面可以通过将静态分割的顶点与参考分割的顶点匹配来融合，如图3(4)中示出的。参考分割和静态分割的组合的某些方面然后可以被显示在显示器20上。
具体地，被应用于静态分割的注释可以被显示为被叠加在初始动态体积数据的顶部上。由于已经确定参考分割基于在与静态分割所基于的图像数据相同的心脏时相期间采集的图像数据来生成，所以注释的位置不会被心脏时相之间的心脏的形状的差异不利地影响。换言之，由于参考分割和静态分割基于在相同的心脏时相期间采集的数据，所以与静态分割相关联的注释能够被叠加在参考分割或参考分割根据其被生成的初始动态体积数据的顶部上，而无如图1中示出的位置“失配”误差发生。因此，注释和/或测量结果可以被配准到参考分割以便在介入期间引导医师。
在初始动态图像数据的采集和参考分割Sr的确定之后，随后的动态图像数据的帧由成像器14进行采集。这些另外的动态图像数据帧由处理器模块16进行分割以生成另外的动态分割St。
处理器模块16被配置为将所生成的另外的动态分割St中的每个动态分割与参考分割Sr进行比较。具体地，处理器模块16被配置为映射随后的动态分割St与参考分割Sr之间的顶点位置的变化，如图3(5)中示出的。
参考分割Sr与随后的动态分割St之间的顶点位置的变化然后用来确定心脏的形状的变化。该变化可以是由于心脏处于与参考分割被采集时的时相不同的心脏时相中，或可以是由于不同的生理原因。
处理器模块16被配置为使用参考分割Sr与随后的动态分割之间的顶点位置的映射的变化来确定与静态分割相关联的注释和/或测量结果应当如何被正确地变换为对应于随后的动态分割上的相同位置。
例如，如能够在图3(6)中看到的，如果与静态分割相关联的注释靠近静态分割上的一组附近顶点，则该注释也应当靠近参考分割Sr上的对应组附近顶点，并且将被配准到参考分割Sr上的这些相同顶点。如果随后的动态分割包括沿相对于参考分割Sr的对应顶点的具体方向被平移的这些顶点的布置，则处理器模块16将确定与这些顶点相关联的注释也应当基于顶点的平移而被平移。
以此方式，注释位置可以针对每个随后的动态分割基于映射的顶点平移而被动态地更新。更新的注释位置然后在显示器20上被显示为被叠加在随后的动态体积数据上。随后的动态体积数据可以以随后的动态分割的形式被显示。因此，与静态分割相关联的原始注释针对随后的动态分割被动态地更新。注释的这种动态更新减少了由于所成像的器官的顶点的移动而引起的注释与测量位置之间的失配的问题，该移动可以是由于例如心脏移动到不同的心脏时相内。
额外的图像融合技术可以用来将静态分割的方面与动态分割组合。例如，除了使用配准来将注释叠加在动态体积数据上之外，诸如斑点跟踪的标志锚定技术可以用来将这些图像进行组合。尽管配准算法导致比常规标志锚定技术更准确的图像融合，但是该技术易发生注释偏移，可以使用除了配准算法之外的标志锚定技术以便“精调”图像融合。
此外，基于附近顶点的平移的注释的变换可以依赖于相应顶点到注释的距离。例如，变换算法可以将影响评级分配给附近顶点，其中每个具体顶点的影响随着该顶点与注释之间的距离增加而降低。当参考分割与随后的动态分割之间的顶点平移被确定时，注释的位置的变换量依赖于顶点的影响评级。具体地，更高影响顶点的平移在注释的位置的变换的确定中带有比更低影响顶点的平移更大的权重。以此方式，针对随后的动态注释的注释位置的变换的准确性可以被改善。
在图4中能够看到对心脏时相的变化作出反应的注释的动态更新的范例。这里，如在图1中所使用的针对相同静态分割的相同注释被叠加在图4的左侧的动态分割的顶部上。对于图4的右侧的随后的动态分割，心脏处于不同的心脏时相中。然而，由于注释已经基于初始动态分割与随后的动态分割之间的映射的顶点变化而被动态地更新，所以注释正确地对应于随后的动态分割上的注释位置。图8示出了对应于在图4中表示的根据本发明的实施例的技术的照片图像。
现在转向图5和图6，示出了图示根据本发明的实施例的计算机实施的方法的流程图。在步骤200处，使用第一成像技术(诸如MRI或CT成像)来采集静态体积数据。在步骤202处，对静态体积数据进行分割以生成静态分割。在步骤204处，利用至少一个注释来注释静态分割。对静态分割的注释可以是自动的、半自动的或手动的。在步骤206处，使用与第一成像技术不同的第二成像技术来采集初始动态体积数据。第二成像技术可以是超声成像，例如使用TEE探头的超声成像。在步骤208处，对初始动态体积数据进行分割以生成多个动态分割。在步骤210处，将多个动态分割中的每个动态分割与静态分割进行比较，以便确定动态分割中的哪个动态分割最密切地对应于静态分割。该比较可以使用配准算法(例如确定动态分割中的每个动态分割的顶点位置到静态分割的顶点位置的接近度的基于点的配准算法)来执行。在步骤212处，被确定为最密切地对应于静态分割的动态分割作为参考分割Sr被存储在存储器中。在步骤216处，采集随后的动态体积数据。在步骤218处，对随后的动态体积数据进行分割以生成至少一个随后的动态分割。在步骤220处，确定参考分割与随后的动态分割之间的差异。在步骤222处，与静态分割相关联的注释基于所确定的差异来更新。在步骤224处，所更新的注释与随后的动态体积数据一起被显示。随后的动态体积数据可以以随后的动态分割的形式被显示。
尽管在前面的详细描述中已经呈现了至少一个示范性实施例，但是应当意识到，存在许多变型。还应当意识到，所述示范性实施例或多个示范性实施例仅仅是范例，而并不旨在以任何方式限制本公开的范围、适用性或配置。相反，前面的详细描述将为本领域技术人员提供用于实施所述示范性实施例或多个示范性实施例的便利的指导方针。应当理解，可以对元件的功能和布置做出各种改变，而不脱离在随附权利要求及其合法等价要件中阐述的本公开的范围。
在本发明的另一示范性实施例中，提供了一种计算机程序或计算机程序单元，其特征在于适于在适当系统上运行根据前述实施例中的一个所述的方法的方法步骤。
因此，计算机程序单元因此可以被存储在计算机单元上，所述计算机单元也可以是本发明的实施例的部分。该计算单元可以适于执行或诱导对上述方法的步骤的执行。此外，其可以适于操作上面描述的装置的部件。计算单元能够适于自动操作和/或适于执行用户的命令。计算机程序可以被加载到数据处理器的工作存储器中。因此，数据处理器可以被装备为执行本发明的方法。
本发明的该示范性实施例涵盖从一开始就使用本发明的计算机程序和借助于更新将现有程序转变为使用本发明的程序的计算机程序两者。
此外，计算机程序单元可以能够提供所有必要步骤，以履行如上面描述的方法的示范性实施例的流程。
根据本发明的又一示范性实施例，提出了一种计算机可读介质，诸如CD-ROM，其中，所述计算机可读介质具有被存储在其上的计算机程序单元，前述章节描述了所述计算机程序单元。计算机程序可以被存储和/或分布在适当的介质上，诸如与其他硬件一起被提供或作为其他硬件的部分被提供的光学存储介质或固态介质，但是所述计算机程序也可以以其他形式分布，诸如经由互联网或其他有线或无线通信系统分布。
然而，计算机程序也可以被提供在如万维网的网络上并且能够从这样的网络被下载到数据处理器的工作存储器中。根据本发明的又一示范性实施例，提供一种用于令计算机程序单元可用于下载的介质，所述计算机程序单元被布置为执行根据本发明的前面描述的实施例中的一个的方法。
必须注意，参考不同主题描述了本发明的实施例。具体地，参考方法类型的权利要求描述了一些实施例，而参考设备类型的权利要求描述了其他实施例。然而，除非另有说明，本领域技术人员将从以上和以下描述中获悉，除属于一个类型的主题的特征的任何组合之外，涉及不同主题的特征之间的任何组合也被视为由本申请所公开。然而，能够组合所有特征，从而提供比特征的简单加和更多的协同效果。
尽管已经在附图和前述描述中详细说明并描述了本发明，但是这些说明和描述应被视为是说明性或示范性的而非限制性的。本发明不限于所公开的实施例。通过研究附图、说明书和从属权利要求，本领域技术人员在实践所请求保护的本发明时能够理解并实现所公开的实施例的其他变型。
例如，即使上面的公开内容主要集中于心脏手术的领域，但是本公开也应用于其他领域中。例如，本公开将在需要到动态体积数据的分割的良好配准的任何医学流程中是有用。
在权利要求中，“包括”一词不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。单个处理器或其他单元可以实现权利要求中记载的若干项目的功能。尽管在互不相同的从属权利要求中记载了特定措施，但是这并不指示不能有利地使用这些措施的组合。权利要求书中的任何附图标记都不应被解释为对范围的限制。

Claims (15)

1.一种图像处理设备(10)，包括：
处理器模块(16)；
存储器模块(24)；
显示器(20)，以及
输入接口，
其中，所述输入接口被配置为接收图像数据并且将所述图像数据传输到所述处理器模块，所述图像数据包括：
静态体积数据，
初始动态体积数据，以及
随后的动态体积数据，
其中，所述处理器模块被配置为：
对所述静态体积数据进行分割以生成静态分割；
对所述初始动态体积数据进行分割以生成多个动态分割；
将所述静态分割与所述多个动态分割中的每个动态分割进行比较；
使用所述比较来确定最密切地对应于所述静态分割的单个动态分割；
将对应的单个动态分割作为参考分割存储在所述存储器中，自动地对所采集的随后的动态体积数据进行分割以生成随后的动态分割；
确定所述参考分割与所述随后的动态分割之间的差异；
使用所确定的差异来更新与所述静态分割相关联的至少一个注释；并且
将所述随后的动态体积数据和所更新的至少一个注释传输到所述显示器以用于一起显示在所述显示器上。
2.根据权利要求1所述的设备，其中，所述处理器模块被配置为将所述随后的动态体积数据传输到所述显示器，使得所更新的至少一个注释被显示为被叠加在所述随后的动态体积数据上。
3.根据任一前述权利要求所述的设备，其中，所述处理器模块被配置为使用基于点的配准算法来确定最密切地对应于所述静态分割的所述对应的单个动态分割。
4.根据任一前述权利要求所述的设备，其中，所述处理器模块被配置为自动地生成与所述静态分割相关联的所述至少一个注释。
5.根据任一前述权利要求所述的设备，其中，所述处理器模块被配置为：使用基于模型的生成算法来对所述静态体积数据进行分割以生成所述静态分割，并且对所述动态体积数据进行分割以生成所述多个动态分割。
6.根据任一前述权利要求所述的设备，其中，所述处理器模块被配置为：在对所采集的随后的动态体积数据进行分割之前，将所述初始动态体积数据传输到所述显示器以用于和与所述静态分割相关联的至少一个注释一起显示在所述显示器上。
7.根据权利要求6所述的设备，其中，所述处理器模块被配置为以所述参考分割的形式显示所述初始体积数据。
8.一种成像系统，包括：
根据任一前述权利要求所述的图像处理设备，以及
成像器(14)，其被配置为采集所述初始动态体积数据和所述随后的动态体积数据。
9.根据权利要求8所述的系统，其中，所述成像器包括超声成像器。
10.根据权利要求8或9所述的系统，其中，所述静态体积数据是能从数据库接收的MR或CT图像数据。
11.根据权利要求8或9所述的系统，还包括作为被配置为采集所述静态体积数据的流程前成像器(12)的MRI成像器或CT成像器。
12.根据权利要求8至11中的任一项所述的系统，其中，所述成像系统还包括ECG监测器，并且其中，所述处理器模块被配置为在所述ECG监测器的输出的基础上将所采集的动态体积数据与心动周期的时段相关联。
13.一种计算机实施的成像方法，包括以下步骤：
使用第一成像模态来采集(200)静态体积数据；
对所述静态体积数据进行分割(202)以生成静态分割；
利用至少一个注释来注释(204)所述静态分割；
使用与所述第一成像模态不同的第二成像模态来采集(206)初始动态体积数据；
对所述初始动态体积数据进行分割(208)以生成多个动态分割；
将所述静态分割与所述多个动态分割中的每个动态分割进行比较(210)，并且使用所述比较来确定最密切地对应于所述静态分割的单个动态分割；
将对应的单个动态分割作为参考分割存储(212)在所述存储器中；
采集(214)随后的动态体积数据；
对所述随后的动态体积数据进行分割(218)以生成至少一个随后的动态分割；
确定(220)所述参考分割与所述随后的动态分割之间的差异；
使用所确定的差异来更新(222)所述至少一个注释；以及
将至少一个更新的注释与所述随后的动态体积数据一起显示(224)。
14.根据权利要求13所述的计算机实施的方法，还包括以下步骤：在采集随后的动态体积数据之前，将所述初始动态体积数据和与所述静态分割相关联的至少一个注释一起显示。
15.一种计算机程序产品，包括指令集，所述指令集当在图像处理设备的处理器模块(16)上被运行时使所述设备执行根据权利要求13或14所述的方法的步骤。
CN201880085773.0A 2017-12-08 2018-11-29 静态流程前规划数据到动态流程内分割数据的配准 Pending CN111566699A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17206113.7 2017-12-08
EP17206113.7A EP3496038A1 (en) 2017-12-08 2017-12-08 Registration of static pre-procedural planning data to dynamic intra-procedural segmentation data
PCT/EP2018/082914 WO2019110393A1 (en) 2017-12-08 2018-11-29 Registration of static pre-procedural planning data to dynamic intra-procedural segmentation data

Publications (1)

Publication Number Publication Date
CN111566699A true CN111566699A (zh) 2020-08-21

Family

ID=60673126

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880085773.0A Pending CN111566699A (zh) 2017-12-08 2018-11-29 静态流程前规划数据到动态流程内分割数据的配准

Country Status (5)

Country Link
US (1) US11257219B2 (zh)
EP (2) EP3496038A1 (zh)
JP (1) JP6876200B2 (zh)
CN (1) CN111566699A (zh)
WO (1) WO2019110393A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3496038A1 (en) * 2017-12-08 2019-06-12 Koninklijke Philips N.V. Registration of static pre-procedural planning data to dynamic intra-procedural segmentation data
CN111832618B (zh) * 2020-06-08 2024-03-22 江西日月明测控科技股份有限公司 轨道动、静态检查数据的匹配方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080281182A1 (en) * 2007-05-07 2008-11-13 General Electric Company Method and apparatus for improving and/or validating 3D segmentations
CN101959454A (zh) * 2008-03-07 2011-01-26 皇家飞利浦电子股份有限公司 通过磁共振图像的自动分割进行ct替代
US20140074078A1 (en) * 2012-09-12 2014-03-13 Convergent Life Sciences, Inc. Method and apparatus for laser ablation under ultrasound guidance
CN103886581A (zh) * 2012-11-15 2014-06-25 西门子公司 利用生物力学模型仿真配准术前和术中图像的系统和方法
CN104349817A (zh) * 2012-05-29 2015-02-11 皇家飞利浦有限公司 用于辐射治疗中的经改进的门控效率和动态裕度调节的基于弹性成像的方法
CN104732537A (zh) * 2015-03-23 2015-06-24 上海交通大学 计算机辅助肺部手术中基于参考点的动态配准方法
CN104780849A (zh) * 2012-08-27 2015-07-15 休斯顿大学 用于成像制导和机器人辅助的手术的机器人装置和系统软件、硬件和方法
CN104883975A (zh) * 2012-12-28 2015-09-02 皇家飞利浦有限公司 将3d超声和2d x射线影像组合的实时场景建模
CN105025803A (zh) * 2013-02-28 2015-11-04 皇家飞利浦有限公司 从多个三维视图对大对象的分割
CN107111875A (zh) * 2014-12-09 2017-08-29 皇家飞利浦有限公司 用于多模态自动配准的反馈

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7981038B2 (en) * 2005-10-11 2011-07-19 Carnegie Mellon University Sensor guided catheter navigation system
CN101925924B (zh) 2008-01-24 2014-11-19 皇家飞利浦电子股份有限公司 交互式图像分割
WO2011127942A1 (en) * 2010-04-14 2011-10-20 Universitätsklinikum Freiburg Method for correcting susceptibility-induced image artifacts in mri after prospective motion correction
WO2012001551A1 (en) * 2010-06-30 2012-01-05 Koninklijke Philips Electronics N.V. System and method for guided adaptive brachytherapy
US8447389B2 (en) * 2010-08-23 2013-05-21 Pacesetter, Inc. Methods and systems to monitor and identify transient ischemia
US20130211230A1 (en) 2012-02-08 2013-08-15 Convergent Life Sciences, Inc. System and method for using medical image fusion
WO2014031531A1 (en) 2012-08-21 2014-02-27 Convergent Life Sciences, Inc. System and method for image guided medical procedures
US10966688B2 (en) 2014-08-26 2021-04-06 Rational Surgical Solutions, Llc Image registration for CT or MR imagery and ultrasound imagery using mobile device
US11264135B2 (en) * 2017-11-10 2022-03-01 Siemens Medical Solutions Usa, Inc. Machine-aided workflow in ultrasound imaging
EP3496038A1 (en) * 2017-12-08 2019-06-12 Koninklijke Philips N.V. Registration of static pre-procedural planning data to dynamic intra-procedural segmentation data
CA3100458A1 (en) * 2018-05-18 2019-11-21 Koninklijke Philips N.V. Multi-modal image registration

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080281182A1 (en) * 2007-05-07 2008-11-13 General Electric Company Method and apparatus for improving and/or validating 3D segmentations
CN101959454A (zh) * 2008-03-07 2011-01-26 皇家飞利浦电子股份有限公司 通过磁共振图像的自动分割进行ct替代
CN104349817A (zh) * 2012-05-29 2015-02-11 皇家飞利浦有限公司 用于辐射治疗中的经改进的门控效率和动态裕度调节的基于弹性成像的方法
CN104780849A (zh) * 2012-08-27 2015-07-15 休斯顿大学 用于成像制导和机器人辅助的手术的机器人装置和系统软件、硬件和方法
US20140074078A1 (en) * 2012-09-12 2014-03-13 Convergent Life Sciences, Inc. Method and apparatus for laser ablation under ultrasound guidance
CN103886581A (zh) * 2012-11-15 2014-06-25 西门子公司 利用生物力学模型仿真配准术前和术中图像的系统和方法
CN104883975A (zh) * 2012-12-28 2015-09-02 皇家飞利浦有限公司 将3d超声和2d x射线影像组合的实时场景建模
CN105025803A (zh) * 2013-02-28 2015-11-04 皇家飞利浦有限公司 从多个三维视图对大对象的分割
CN107111875A (zh) * 2014-12-09 2017-08-29 皇家飞利浦有限公司 用于多模态自动配准的反馈
CN104732537A (zh) * 2015-03-23 2015-06-24 上海交通大学 计算机辅助肺部手术中基于参考点的动态配准方法

Also Published As

Publication number Publication date
EP3721412A1 (en) 2020-10-14
EP3721412B1 (en) 2021-03-17
US11257219B2 (en) 2022-02-22
JP2021504046A (ja) 2021-02-15
JP6876200B2 (ja) 2021-05-26
US20210174514A1 (en) 2021-06-10
EP3496038A1 (en) 2019-06-12
WO2019110393A1 (en) 2019-06-13

Similar Documents

Publication Publication Date Title
US11816837B2 (en) Vascular characteristic determination with correspondence modeling of a vascular tree
US10332253B2 (en) Methods and devices for registration of image data sets of a target region of a patient
Groher et al. Deformable 2D-3D registration of vascular structures in a one view scenario
US8532352B2 (en) Method and system for intraoperative guidance using physiological image fusion
US10685438B2 (en) Automated measurement based on deep learning
US9741131B2 (en) Anatomy aware articulated registration for image segmentation
US11176671B2 (en) Medical image processing apparatus, and method
EP3550515A1 (en) Cross-modality image synthesis
EP2591459B1 (en) Automatic point-wise validation of respiratory motion estimation
US11382603B2 (en) System and methods for performing biomechanically driven image registration using ultrasound elastography
JP2020199328A (ja) 医用画像処理方法、医用画像処理装置、医用画像処理システム及び医用画像処理プログラム
US11327773B2 (en) Anatomy-aware adaptation of graphical user interface
EP3721412B1 (en) Registration of static pre-procedural planning data to dynamic intra-procedural segmentation data
US20120306862A1 (en) Image processing device, method and program
Ma et al. Echocardiography to magnetic resonance image registration for use in image-guided cardiac catheterization procedures
Morais et al. Dense motion field estimation from myocardial boundary displacements
Zakkaroff et al. Patient-specific coronary blood supply territories for quantitative perfusion analysis
JP7153261B2 (ja) 画像処理装置および画像処理装置の作動方法並びに画像処理プログラム
Lehmann et al. Integrating viability information into a cardiac model for interventional guidance
Li et al. Generation of synthetic 4D cardiac CT images for guidance of minimally invasive beating heart interventions
US20230260141A1 (en) Deep learning for registering anatomical to functional images
Ma et al. Echocardiography to magnetic resonance image registration for use in image-guide electrophysiology procedures
CN117788523A (zh) 医学图像的配准方法、控制方法、系统、设备及介质
JP6068032B2 (ja) 医用画像処理装置
Ben-Zikri Development, Implementation and Pre-clinical Evaluation of Medical Image Computing Tools in Support of Computer-aided Diagnosis: Respiratory, Orthopedic and Cardiac Applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination