CN107111875A - 用于多模态自动配准的反馈 - Google Patents

用于多模态自动配准的反馈 Download PDF

Info

Publication number
CN107111875A
CN107111875A CN201580072747.0A CN201580072747A CN107111875A CN 107111875 A CN107111875 A CN 107111875A CN 201580072747 A CN201580072747 A CN 201580072747A CN 107111875 A CN107111875 A CN 107111875A
Authority
CN
China
Prior art keywords
image
segmentation
registration
dimensional
dimensional segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580072747.0A
Other languages
English (en)
Other versions
CN107111875B (zh
Inventor
J·克吕克尔
A·M·塔赫玛塞比马拉古奥施
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN107111875A publication Critical patent/CN107111875A/zh
Application granted granted Critical
Publication of CN107111875B publication Critical patent/CN107111875B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

一种用于配准反馈的系统，包括分割模块(148)，所述分割模块被配置成分割待配准的第一图像中的相关三维结构并且分割待配准的第二图像中的同一相关结构，以提供所述第一图像和所述第二图像的三维分割。配准模块(152)被配置成通过将配准变换应用至所述三维分割中的一个以将一个三维分割映射至另一个三维分割的坐标空间上来配准所述第一图像和所述第二图像的所述三维分割。显示器(118)被配置成联合地显示所述第一图像和所述第二图像的所述三维分割，所述三维分割中的每一个具有不同的视觉特性以容许辨别联合显示图像中的所述三维分割中的每一个，使得所述联合显示图像中的所述三维分割之间的配准向用户提供配准品质的即时指示。

Description

用于多模态自动配准的反馈
技术领域
本公开内容涉及图像配准，尤其涉及用于配准图像使得能够实现配准品质和精度的即时评估的系统和方法。
背景技术
多个成像模态的自动配准和融合对于各种诊断和介入操作来说是有益的。具体地说，低成本的实时成像如超声(US)与现有的3D成像如计算机断层扫描(CT)或磁共振成像(MRI)的配准是期望的。已引入超声探针的空间跟踪(例如，使用电磁(EM)跟踪)以利于例如US-CT配准。然而，现有CT图像与EM跟踪坐标系统配准的剩余任务需要在患者身上获得具有EM跟踪器或基准标记的新CT扫描，或用户在实时跟踪的US和现有CT中识别公共点、地标或图像平面的耗时的手动配准过程。
用于显示所产生的配准变换的当前方案包括使用配准变换将用于配准的静态图像映射到彼此上(例如，将US图像映射到CT图像上)，和并排地或在单个“融合的”图像中显示映射后的图像。另一种方法包括使操作者在实时超声扫描期间应用配准变换，并同时将另一图像(例如，CT)的对应横截面显示在屏幕上。这些方法具有缺点并且不是有效的。具体地说，操作者不习惯于阅读“融合的”图像或在阅读“融合的”图像上未受训练，并且可能不能辨别融合的图像是否示出“可接受的”配准。融合或并排显示通常仅示出来自US和CT图像的单个2D片段或2个或3个正交片段。这些片段可能不包含将允许操作者评估配准品质的图像信息和地标。如果操作者想要查看另外的片段，则操作者将需要手动地选择不同的片段以供显示。这花费额外的时间。
整个图像(融合的或并排)的3D体积绘制图通常仅绘制图像体积的“外侧”区域。另外，绘制过程将难以手动调整，并且许多相关的地标可能被其它不相关的图像信息模糊。这也花费额外的时间，并且操作者将需要在实时扫描期间找到相关的地标，所述相关的地标将容许操作者评估配准。另外，患者的呼吸运动可能改变扫描期间的配准品质，从而潜在地造成另外的混乱。
可使用用于将点从图像中的一个的坐标系统变换至另一图像的坐标系统上的变换T来提供3D超声与CT结果的自动配准。这能够实现图像在彼此上的映射(或“融合”图像)。自动配准的输出取决于输入，该输入包括两个图像(例如，CT和超声)，以及由操作者提供的可能的附加信息(例如，变换的初始估计)。因为输入的图像内容和操作者输入的品质是高度可变的，所以输出的品质也难以预测，因此需要操作者审核结果并且“接受”结果或“拒绝”结果并重新开始配准过程。
发明内容
根据本原理，一种用于配准反馈的系统，包括分割模块，所述分割模块被配置成分割待配准的第一图像中的相关三维结构并且分割待配准的第二图像中的同一相关结构，以提供所述第一图像和所述第二图像的三维分割。配准模块被配置成通过将配准变换应用至所述三维分割中的一个以将一个三维分割映射至另一个三维分割的坐标空间上来配准所述第一图像和所述第二图像的所述三维分割。显示器被配置成联合地显示所述第一图像和所述第二图像的所述三维分割，所述三维分割中的每一个具有不同的视觉特性以容许辨别联合显示图像中的所述三维分割中的每一个，使得所述联合显示图像中的所述三维分割之间的配准向用户提供配准品质的即时指示。
另一种用于配准反馈的系统包括处理器和存储器，所述存储器联接至所述处理器。所述存储器包括：分割模块，所述分割模块被配置成分割待配准的第一图像中的相关三维结构并且分割待配准的第二图像中的同一相关结构，以提供所述第一图像和所述第二图像的三维分割；以及配准模块，所述配准模块被配置成通过将配准变换应用至所述三维分割中的一个以将一个三维分割映射至另一个三维分割的坐标空间上来配准所述第一图像和所述第二图像的所述三维分割。显示器被配置成联合地显示所述第一图像和所述第二图像的所述三维分割，所述三维分割中的每一个具有不同的视觉特性以容许辨别联合显示图像中的所述三维分割中的每一个，使得所述联合显示图像中的所述三维分割之间的配准向用户提供配准品质的即时指示。用户界面被配置成容许所述用户选择所述联合显示图像的不同视图，以允许探查不同视角中的相对对准。
一种用于配准反馈的方法包括分隔待配准的第一图像中的相关三维结构分割和分割待配准的第二图像中的同一相关结构，以提供所述第一图像和所述第二图像的三维分割；通过将配准变换应用至所述三维分割中的一个以将一个三维分割映射至另一个三维分割的坐标空间上来配准所述第一图像和所述第二图像的所述三维分割；以及联合地显示所述第一图像和所述第二图像的所述三维分割，所述三维分割中的每一个具有不同的视觉特性以容许辨别联合显示图像中的所述三维分割中的每一个，使得所述联合显示图像中的所述三维分割之间的配准向用户提供配准品质的即时指示。
通过结合附图阅读下面关于本发明的例示性实施例的详细描述，本发明的这些和其它目的、特征和优点将变得明显。
附图说明
本公开内容将参照以下附图详细地给出优选实施例的以下描述，在附图中：
图1是示出根据一个实施例的用于视觉上确定图像配准品质的系统的框图/流程图；
图2是示出根据一个实施例的从同一患者的CT图像和超声图像提取并且配准至CT扫描上以示出对准情况的血管分割的绘制图；
图3是示出根据另一个实施例的用于计算配准至CT上的从CT提取的完整器官表面分割与从超声提取的部分器官表面分割之间的配准的表面分割的绘制图；
图4是示出根据另一个实施例的基于从CT提取的分割的患者皮肤和肝脏以及在超声图像获取期间的被跟踪的超声探针的模型的绘制图；
图5是示出根据另一个实施例的来自另一图像顶部上的一个图像的轮廓分割的绘制图；并且
图6是示出根据例示性实施例的用于视觉上确定图像配准品质的方法的框图/流程图。
具体实施方式
根据本发明原理，提供用于显示和可视化配准结果的系统和方法。根据尤其有用的实施例，操作者可迅速地、正确地并且有把握地判定配准是否是可接受的。为了克服现有技术的缺点，本发明原理提供在单个视图中向操作者示出所有有关信息的3D分割信息的显示。
若干方案可根据本发明原理实现在用于自动配准应用的用户界面中。一种方案包括在配准期间对超声(US)图像和计算机断层扫描(CT)图像中的脉管结构的分割，和在3D绘制图中以不同颜色可视化两个脉管树(或其它结构)。另一种方案包括在US图像和CT图像中的关注区域中的器官的表面分割，和再次在3D绘制图中以不同颜色可视化两个分割。在两种情况下，所有分割结构的距离和对准可由操作者在单个图像中鉴别，并且可用来评估配准品质。另一种方案包括用于获取3D US图像的超声探针相对于基于CT扫描的患者皮肤表面的绘制图的位置的3D绘制图。快速察看该单个绘制图将告诉操作者配准的整体旋转和平移是否正确。
应理解的是，本发明将在医学图像方面进行描述；然而，本发明的教导是宽泛的并且适用于任何图像。在一些实施例中，将本发明原理使用于跟踪或分析复杂的生物或机械系统中。尤其是，本发明原理适用于生物系统的内部跟踪操作、如肺、胃肠道、排泄器管、血管等的身体的所有区域内的操作。附图中所绘示的元件可实施于硬件和软件的各种组合中，并且提供可组合于单个元件或多个元件中的功能。
附图中所示的各元件的功能可通过使用专用硬件以及能够与适当软件结合来执行软件的硬件来提供。当通过处理器提供时，所述功能可通过单个专用处理器、通过单个共享处理器，或通过其中一些可共享的多个单独的处理器来提供。此外，对术语“处理器”或“控制器”的明确使用不应当被解释为仅指代能够执行软件的硬件，而是可以隐含地包括但不限于数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)、非易失性存储装置等。
此外，本文中记载本发明原理、方面和实施例的所有表述及其具体示例意在涵盖其结构和功能的等效方案。另外，意图在于这样的等效方案包括当前已知的等效方案以及未来开发的等效方案(即，所开发的执行相同功能的任何元件，无论其结构如何)。因此，例如，本领域技术人员应理解的是，本文中给出的框图表示体现本发明原理的例示性系统部件和/或电路的概念视图。类似地，应理解的是，任何流程图、流程示意图等都表示可以基本上被表示在计算机可读存储介质中并由计算机或处理器执行的各种过程，无论这样的计算机或处理器是否明确示出。
此外，本发明原理的实施例可采取计算机程序产品的形式，所述计算机程序产品可从计算机可用或计算机可读存储介质存取，所述计算机可用或计算机可读存储介质提供用于由电脑或任何指令执行系统使用或与电脑或任何指令执行系统结合使用的程序代码。出于这种描述的目的，计算机可用或计算机可读存储介质可以是可包括、存储、通信、传播或传送程序以用于由指令执行系统、设备或装置使用或与指令执行系统、设备或装置结合使用的任何设备。所述介质可以是电子的、磁性的、光学的、电磁的、红外的、或半导体系统(或设备或装置)或传播介质。计算机可读介质的示例包括半导体或固态存储器、磁带、可移除计算机磁盘、随机存取存储器(RAM)、只读存储器(ROM)、硬磁盘和光盘。光盘的当前示例包括光盘只读存储器(CD-ROM)、读/写光盘(CD-R/W)、Blu-RayTM和DVD。
现在参照附图，其中相同数字表示相同或类似的元件，并且首先参照图1，根据一个实施例例示性地示出用于视觉上确定图像配准品质的系统100。系统100可包括工作站或控制台112，从该工作站或控制台监视和/或管理操作。工作站112优选地包括一个或多个处理器114和用于存储程序和应用的存储器116。
在一个实施例中，存储器116可存储图像处理模块145，该图像处理模块被配置成从不同成像模态142、144接收图像，所述不同成像模态对相同体积131成像或对相同体积131部分地成像(但设想到其它情形)。成像模态可包括如US、CT、磁共振成像(MRI)、荧光透视等的两个或两个以上成像模态的任何组合。体积131的图像134、136存储在存储器116中。体积131包括关注点、相关结构、器官132、部分器官等。应注意的是，虽然图1中绘示了成像模态142和144，但是可呈现出没有成像模态、附加的成像模态或仅一个成像模态，因为系统100可对来自任何源的存储图像进行操作。
图像分割模块148提供图像134、136中的器官分割。图像分割优选地包括配准过程中所涉及的相关结构(例如，脉管或器官表面)的3D分割，即基于图像134、136创建分割。图像134、136中的分割器官或关注点使用配准模块152彼此配准。配准模块152包括能够确定图像134、136之间的变换并且对准图像中的关注点或器官的一个或多个配准程序。通过将配准变换T应用至图像中的一个(例如，图像136)的分割，该图像(136)被映射至另一图像(134)的坐标空间上。
图像绘制模块146以三维方式将配准的图像绘制于彼此的顶部上，以用于显示在显示装置118上。工作站112包括用于观察受试者(患者)或体积131的图像134、136的显示器118，并且可包括不同颜色或纹理的图像134、136，以区分成像模态。显示器118也可容许用户与工作站112以及其部件和功能，或系统100内的任何其它元件交互。通过界面120更利于这种交互，该界面可包括键盘、鼠标、操纵杆、触觉装置或用以容许用户从工作站112反馈和与工作站112交互的任何其它外围设备或控制装置。用于界面120的其它选项可包括触摸屏或免触摸传感器(如的KinectTM)以修改视图视角。免触摸传感器122可用来检测并且解释自由空间中的操作者的手势。其它输入选项可包括用以从操作者接收语音/听觉输入的麦克风124，或使用加速计或可附接至操作者(例如，腕带等)以用于手势检测的其它传感器126。
显示器118提供从自动配准中所涉及的两个图像134、136(例如3D US和CT)获得的3D分割的联合可视化，以利于由操作者进行的配准品质的快速和可靠评估。尤其是，所显示信息的稀疏性(仅分割，与整个图像相反)容许操作者查看所有相关信息(完整的3D视图)，这不是显示下层图像的绘制图时的情况。图像绘制模块146绘制不同视图并且容许操作者使用显示器118和/或界面120从不同视图进行选择。操作者可例如修改分割的视图方向、平移和缩放以允许充分探查分割且配准的结构的相对对准。
在一个实施例中，向操作者提供的反馈也可以是定量的或数值的，例如，分割结构之间的平均距离、中数距离或最大距离，以及分隔结构的数目、长度、表面或体积。绘制图可以是动画的，示出随时间推移的不同视图视角(例如，创建围绕分割结构旋转的绘制图的虚拟“摄影机”)。以此方式，操作者不必提供任何输入来改变视图视角。
根据本发明原理，配准过程中所涉及的相关结构(例如，脉管或器官表面)的3D分割分别基于图像A和B(图像134和136)创建分割SA和SB。将配准变换T应用至来自图像中的一个(A)的分割以将该分割映射至另一图像(B)的坐标空间上(或反之亦然)，例如，创建SA_in_B＝T x SA。3D分割SA_in_B和SB联合地显示于3D绘制图中，其中SA_in_B和SB具有不同颜色或纹理。
分割模块148将来自待配准的两个图像134、136的相关结构分割。分割可在使用配准模块152的配准过程之前或在该配准过程期间获得，并且可由配准算法或方法用来确定两个图像134、136之间的最优配准。可使用本领域已知的用于创建分割的任何方法。分割的结构可以是例如器官和身体结构的表面或部分表面；血管；血管或气道的分叉点；可表示为一维(1D)、2D或3D物体的其它常见地标，如在所有成像模态中可见的植入的外科夹钳(1D的点)、植入的导管(2D的线)等。
用于将器官表面分割的一种方法包括例如图像的阈值化或提供图像强度梯度。这包括仅保持示出一定阈值以上或以下的图像强度或强度梯度的点。也可以使用其它分割技术。
图像134和136中的分割结构随后被表示为稀疏的二进制体积(例如，具有用于作为分割的一部分的体素的“1”值和用于不是分割的一部分的所有其它区域的体素的“0”值的体积)；表示为点云(例如，对应于作为分割的一部分的点的3D点坐标的集合)；或表示为表面网格(例如，具有关于哪些点通过边缘连接以形成表面片块的附加信息的点云——整个网格因此表示分割的表面区域)。分割结构随后通过图像绘制模块144使用3D表面绘制方法进行绘制，所述3D表面绘制方法可包括本领域中已知的技术。以此方式，为操作者提供容许对来自图像134、136的分割之间的对准品质进行即时鉴别的图像。
参照图2，从CT图像提取的血管202和从同一患者的超声图像提取的血管204的绘制图被例示性地配准至CT扫描绘制图206上。操作者可看见整个3D分割结构，并且可迅速地鉴别超声脉管与其CT对应物良好地对准。生成CT扫描绘制图206，以用于使用脉管分割来计算配准的配准方法。在一个实施例中，操作者可“点击并拖动”绘制图206以旋转或以其它方式改变视图视角。以此方式，可更容易在当前视图视角中观察当前被脉管元件前面的其它脉管模糊的那些脉管元件。
参照图3，示出生成的结果绘制图300，该图用于使用表面分割来计算配准的算法。该绘制图示出配准至CT上的从CT提取的完整器官表面分割(较亮区302)和来自超声的部分器官表面分割(较暗区304)。整个较暗表面304至较亮表面302上的配合可由操作者迅速地鉴别。
参照图4，绘制图400示出基于从CT提取的分割而配准的患者的皮肤402和肝脏404。另外，在通过计算US-CT配准变换(T)给出的位置中，绘制在3D超声图像获取期间被跟踪的超声探针的模型406。该绘制图还指示被跟踪的超声探针的模型406的另外位置408、410(如在配准过程中的其它步骤期间捕获的)。超声探针相对于患者表面绘制图(皮肤402)的大体位置使操作者迅速地评估配准结果是否合理。
应注意的是，在成像期间使用的探针位置的绘制图并不是图像自身的一部分。而是，探针的位置信息包括例如使用探针的EM跟踪或其它跟踪获得的附加信息。
参照图5，另一个实施例使用来自绘制在另一图像504(例如，超声图像)的顶部上的一个图像(例如，CT器官分割表面)的分割502。图5的绘制图是在CT图像(502)的坐标系统中，但是替代地可设于超声坐标系统中。可并行地提供用于穿过图像体积的不同横截面的若干这种绘制图。
本发明原理向用户提供具体的视觉反馈，例如，来自两个或两个以上图像的以区别特性(如不同颜色或纹理)显示的分割结构。本发明原理可应用于使用自动图像配准的所有情形中。具体地说，本实施例例如在超声系统上的特征(用于CT-US配准)中获得应用，但是还可以用于涉及多模态配准(例如，前列腺手术等)的其它系统上。
参照图6，根据例示性实施例示出用于配准反馈的方法。在框602中，分割待配准的第一图像中的相关三维结构，并且分割待配准的第二图像中的同一相关结构，以提供第一图像和第二图像的三维分割。可使用强度或梯度阈值化来执行分割，但是可使用任何数目的分割技术。第一图像和第二图像可利用相同或不同的模态获取。分割从图像提取表面点、分叉点或其它相关的1D、2D或3D地标。
图像可包括正成像的器官/受试者的3D表示、在不同成像模态中的同一患者的相同器官(或器官的一部分)的图像、两个不同患者的相同器官(或器官的一部分)的图像、在不同成像模态中同一患者的器官和器官表面的图像、以在不同成像模态中的体积图像为背景的器官图像的轮廓、用于获取图像的探针相对于基于绘制另一图像的扫描的患者皮肤表面的绘制图的位置的三维绘制图。
在框604中，通过将配准变换应用至三维分割中的一个以将一个三维分割映射至另一个三维分割的坐标空间上来配准第一图像和第二图像的三维分割。配准或坐标变换可以许多方式进行计算，例如，通过在分割期间比较图像或通过比较一系列图像中的可比较图像等。
在框606中，联合地显示第一图像和第二图像的三维分割。三维分割中的每一个包括不同的视觉特性，以容许辨别联合显示图像中的三维分割中的每一个，使得联合显示图像中的三维分割之间的配准向用户提供配准品质的即时指示。视觉特性可包括颜色、纹理或容许辨别体素或像素或每一单独图像的任何其它视觉上的区分特征。显示可包括或提供用于获取图像的探针相对于患者皮肤或其它表面的绘制图的位置的绘制图。以此方式，图像、从图像获得的分割或其它操作特定的信息，比如探针位置/绘制图等，可用来评估配准。
在框608中，可选择联合显示图像的不同视图以容许探查不同视角的相对对准。联合图像可被平移、旋转、缩放等，以分析不同视角来确定配准的品质，从而利用三维方面来确定分割图像之间的重叠和距离。在框610中，在一个实施例中，联合显示图像可随时间推移自动地改变至不同视角。这提供了包括用于相同配准的不同视角的无需动手的方案。
在解释所附的权利要求书中，应当理解的是：
a)词语“包括”不排除给定的权利要求中列出的那些之外的其他元件或动作的存在；
b)元件前面的词语“一”或“一个”不排除存在多个这样的元件；
c)权利要求中的任何附图标记均不限制它们的范围；
d)若干“装置”可以由同一项或硬件或软件实施的结构或功能来表示；以及
e)除非明确地指出，否则不旨在要求动作的具体顺序。
“包括”不排除其它元件或步骤。“一”或“一个”(a或an)不排除多个。单个处理器或其它单元可实现权利要求书中记载的若干装置的功能。
已经描述了用于基于导管的导航的虚拟定向的电磁跟踪线圈的优选实施方式，应当指出的是，本领域技术人员根据上述教导能够做出修改和变型。因此，应当理解的是，可以在所公开的内容的具体实施方式中做出变化，所述变化在如所附权利要求书中概述的所公开的实施方式的范围内。因此，已经描述了专利法要求的细节和特性，主张保护和预期由专利证书保护的内容在所附的权利要求中给出。

Claims (20)

1.一种用于配准反馈的系统，所述系统包括：
分割模块(148)，所述分割模块被配置成分割待配准的第一图像中的相关三维结构并且分割待配准的第二图像中的同一相关结构，以提供所述第一图像和所述第二图像的三维分割；
配准模块(152)，所述配准模块被配置成通过将配准变换应用至所述三维分割中的一个以将一个三维分割映射至另一个三维分割的坐标空间上来配准所述第一图像和所述第二图像的所述三维分割；以及
显示器(118)，所述显示器被配置成联合地显示所述第一图像和所述第二图像的所述三维分割，所述三维分割中的每一个具有不同的视觉特性以容许辨别联合显示图像中的所述三维分割中的每一个，使得所述联合显示图像中的所述三维分割之间的配准向用户提供配准品质的即时指示。
2.如权利要求1所述的系统，其中，所述分割模块(148)被配置成分割所述第一图像和所述第二图像中的器官或器官的一部分。
3.如权利要求1所述的系统，其中，所述第一图像(134)和所述第二图像(136)包括来自不同成像模态的图像。
4.如权利要求1所述的系统，其中，所述系统进一步包括用户控制装置(120)，所述用户控制装置被配置成容许所述用户选择所述联合显示图像的不同视图，以允许探查不同视角中的相对对准。
5.如权利要求4所述的系统，其中，所述用户控制装置包括用以测量所述用户的手势的传感器(122、126)。
6.如权利要求4所述的系统，其中，所述用户控制装置包括触摸屏控制装置(118)或听觉控制装置(124)中的一种。
7.如权利要求1所述的系统，其中，所述视觉特性包括颜色或纹理。
8.如权利要求1所述的系统，其中，使用附加信息，所述附加信息包括用于获取图像的探针(406)相对于患者皮肤或其它表面的绘制图的跟踪位置。
9.如权利要求1所述的系统，其中，所述联合显示图像随时间推移自动地改变至不同视角。
10.一种用于配准反馈的系统，所述系统包括：
处理器(114)；
存储器(116)，所述处理器联接至所述处理器，所述存储器包括：
分割模块(148)，所述分隔模块被配置成分割待配准的第一图像中的相关三维结构并且分割待配准的第二图像中的同一相关结构，以提供所述第一图像和所述第二图像的三维分割；以及
配准模块(152)，所述配准模块被配置成通过将配准变换应用至所述三维分割中的一个以将一个三维分割映射至另一个三维分割的坐标空间上来配准所述第一图像和所述第二图像的所述三维分割；
显示器(118)，所述显示器被配置成联合地显示所述第一图像和所述第二图像的所述三维分割，所述三维分割中的每一个具有不同的视觉特性以容许辨别联合显示图像中的所述三维分割中的每一个，使得所述联合显示图像中的所述三维分割之间的配准向用户提供配准品质的即时指示；以及
用户界面(120)，所述用户界面被配置成容许所述用户选择所述联合显示图像的不同视图，以允许探查不同视角中的相对对准。
11.如权利要求10所述的系统，其中，所述分割模块(148)被配置成分割所述第一图像和所述第二图像中的器官或器官的一部分。
12.如权利要求10所述的系统，其中，所述第一图像(134)和所述第二图像(136)包括来自不同成像模态的图像。
13.如权利要求10所述的系统，其中，所述用户界面(120)包括用以测量所述用户的手势的传感器(118、122、124、126)、触摸屏控制装置或听觉控制装置中的一个或多个。
14.如权利要求10所述的系统，其中，所述视觉特性包括颜色或纹理。
15.如权利要求10所述的系统，其中，使用附加信息，所述附加信息包括用于获取图像的探针(406)相对于患者皮肤或其它表面的绘制图的跟踪位置。
16.一种用于配准反馈的方法，所述方法包括：
分割(602)待配准的第一图像中的相关三维结构和待配准的第二图像中的同一相关结构，以提供所述第一图像和所述第二图像的三维分割；
通过将配准变换应用至所述三维分割中的一个以将一个三维分割映射至另一个三维分割的坐标空间上来配准(604)所述第一图像和所述第二图像的所述三维分割；以及
联合地显示(606)所述第一图像和所述第二图像的所述三维分割，所述三维分割中的每一个具有不同的视觉特性以容许辨别联合显示图像中的所述三维分割中的每一个，使得所述联合显示图像中的所述三维分割之间的配准向用户提供配准品质的即时指示。
17.如权利要求16所述的方法，其中，所述方法进一步包括选择(608)所述联合显示图像的不同视图以容许探查不同视角中的相对对准。
18.如权利要求16所述的方法，其中，所述视觉特性包括颜色或纹理。
19.如权利要求16所述的方法，其中，使用附加信息，所述附加信息包括用于获取图像的探针(406)相对于患者皮肤或其它表面的绘制图的跟踪位置。
20.如权利要求16所述的方法，其中，所述方法进一步包括随时间推移将所述联合显示图像自动地改变(610)至不同视角。
CN201580072747.0A 2014-12-09 2015-11-30 用于多模态自动配准的反馈 Active CN107111875B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462089436P 2014-12-09 2014-12-09
US62/089,436 2014-12-09
PCT/IB2015/059193 WO2016092408A1 (en) 2014-12-09 2015-11-30 Feedback for multi-modality auto-registration

Publications (2)

Publication Number Publication Date
CN107111875A true CN107111875A (zh) 2017-08-29
CN107111875B CN107111875B (zh) 2021-10-08

Family

ID=54979875

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580072747.0A Active CN107111875B (zh) 2014-12-09 2015-11-30 用于多模态自动配准的反馈

Country Status (4)

Country Link
US (1) US10977787B2 (zh)
EP (1) EP3230951A1 (zh)
CN (1) CN107111875B (zh)
WO (1) WO2016092408A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111566699A (zh) * 2017-12-08 2020-08-21 皇家飞利浦有限公司 静态流程前规划数据到动态流程内分割数据的配准
CN118037794A (zh) * 2024-04-15 2024-05-14 卡本(深圳)医疗器械有限公司 多模态多体位医学影像的智能配准系统

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102202398B1 (ko) * 2015-12-11 2021-01-13 삼성전자주식회사 영상처리장치 및 그의 영상처리방법
US10402969B2 (en) * 2017-03-10 2019-09-03 General Electric Company Methods and systems for model driven multi-modal medical imaging
GB2566443A (en) * 2017-09-05 2019-03-20 Nokia Technologies Oy Cross-source point cloud registration
CN110909582B (zh) * 2018-09-18 2023-09-22 华为技术有限公司 一种人脸识别的方法及设备
EP3878368A1 (en) * 2020-03-10 2021-09-15 piur imaging GmbH Method and apparatus for generating a combined three-dimensional ultrasound image
EP4128156A1 (en) * 2020-03-23 2023-02-08 Intuitive Surgical Operations, Inc. Systems and methods for registering visual representations of a surgical space
EP4273811A1 (en) * 2022-05-06 2023-11-08 Siemens Healthcare GmbH Technique for optimizing rendering parameters of overlays of medical images
CN116245831B (zh) * 2023-02-13 2024-01-16 天津市鹰泰利安康医疗科技有限责任公司 一种基于双模态成像的肿瘤治疗辅助方法及系统

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040151356A1 (en) * 2003-01-31 2004-08-05 University Of Chicago Method, system, and computer program product for computer-aided detection of nodules with three dimensional shape enhancement filters
CN101053531A (zh) * 2007-05-17 2007-10-17 上海交通大学 基于多模式增敏成像融合的早期肿瘤定位跟踪方法
CN101156174A (zh) * 2005-04-07 2008-04-02 皇家飞利浦电子股份有限公司 用于血流成像的图像处理装置与方法
US20080249414A1 (en) * 2002-06-07 2008-10-09 Fuxing Yang System and method to measure cardiac ejection fraction
CN101681504A (zh) * 2006-11-27 2010-03-24 皇家飞利浦电子股份有限公司 用于将实时超声图像与预先获取的医学图像进行融合的系统和方法
CN101763642A (zh) * 2009-12-31 2010-06-30 华中科技大学 一种用于冠脉造影三维重建的匹配方法
CN102411795A (zh) * 2011-08-16 2012-04-11 中国人民解放军第三军医大学第一附属医院 一种关于冠状动脉的多模图像的联合显示方法
CN102843972A (zh) * 2010-04-15 2012-12-26 皇家飞利浦电子股份有限公司 用于将图像与管状结构融合的基于仪器的图像配准
US20130060146A1 (en) * 2010-04-28 2013-03-07 Ryerson University System and methods for intraoperative guidance feedback
CN103458790A (zh) * 2011-03-17 2013-12-18 皇家飞利浦有限公司 多模态心脏成像
WO2014033584A1 (en) * 2012-08-30 2014-03-06 Koninklijke Philips N.V. Coupled segmentation in 3d conventional ultrasound and contrast-enhanced ultrasound images
CA2894133A1 (en) * 2013-03-15 2014-09-18 Synaptive Medical (Barbados) Inc. Surgical imaging systems
WO2014139024A1 (en) * 2013-03-15 2014-09-18 Synaptive Medical (Barbados) Inc. Planning, navigation and simulation systems and methods for minimally invasive therapy
CN104091347A (zh) * 2014-07-26 2014-10-08 刘宇清 一种基于3d打印技术的颅内肿瘤手术规划模拟方法
WO2014191479A1 (en) * 2013-05-28 2014-12-04 Universität Bern Method and system for 3d acquisition of ultrasound images

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5999840A (en) * 1994-09-01 1999-12-07 Massachusetts Institute Of Technology System and method of registration of three-dimensional data sets
US7356367B2 (en) * 2000-06-06 2008-04-08 The Research Foundation Of State University Of New York Computer aided treatment planning and visualization with image registration and fusion
DE10149795B4 (de) 2001-10-09 2006-04-06 Siemens Ag Semiautomatische Registrierung zur Überlagerung zweier medizinischer Bilddatensätze
WO2007033379A2 (en) * 2005-09-14 2007-03-22 Neoguide Systems, Inc. Methods and apparatus for performing transluminal and other procedures
WO2007115824A2 (en) * 2006-04-12 2007-10-18 Nassir Navab Virtual penetrating mirror device for visualizing virtual objects in angiographic applications
US8280483B2 (en) 2006-06-14 2012-10-02 Koninklijke Philips Electronics N.V. Multi-modality medical image viewing
US8560047B2 (en) * 2006-06-16 2013-10-15 Board Of Regents Of The University Of Nebraska Method and apparatus for computer aided surgery
US8126239B2 (en) * 2006-10-20 2012-02-28 Siemens Aktiengesellschaft Registering 2D and 3D data using 3D ultrasound data
US7991450B2 (en) 2007-07-02 2011-08-02 General Electric Company Methods and systems for volume fusion in diagnostic imaging
US8090168B2 (en) 2007-10-15 2012-01-03 General Electric Company Method and system for visualizing registered images
US8111892B2 (en) 2008-06-04 2012-02-07 Medison Co., Ltd. Registration of CT image onto ultrasound images
US8854424B2 (en) * 2011-06-08 2014-10-07 City University Of Hong Kong Generating an aerial display of three-dimensional images from a single two-dimensional image or a sequence of two-dimensional images
BR112015020425B1 (pt) * 2013-02-28 2022-06-21 Koninklijke Philips N.V. Sistema de imageamento por ultrassom inspecionar um objeto em um volume e método para fornecer uma imagem de ultrassom de um objeto em um volume
US9858681B2 (en) * 2014-10-27 2018-01-02 Digimarc Corporation Signal detection, recognition and tracking with feature vector transforms

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080249414A1 (en) * 2002-06-07 2008-10-09 Fuxing Yang System and method to measure cardiac ejection fraction
US20040151356A1 (en) * 2003-01-31 2004-08-05 University Of Chicago Method, system, and computer program product for computer-aided detection of nodules with three dimensional shape enhancement filters
CN101156174A (zh) * 2005-04-07 2008-04-02 皇家飞利浦电子股份有限公司 用于血流成像的图像处理装置与方法
CN101681504A (zh) * 2006-11-27 2010-03-24 皇家飞利浦电子股份有限公司 用于将实时超声图像与预先获取的医学图像进行融合的系统和方法
CN101053531A (zh) * 2007-05-17 2007-10-17 上海交通大学 基于多模式增敏成像融合的早期肿瘤定位跟踪方法
CN101763642A (zh) * 2009-12-31 2010-06-30 华中科技大学 一种用于冠脉造影三维重建的匹配方法
CN102843972A (zh) * 2010-04-15 2012-12-26 皇家飞利浦电子股份有限公司 用于将图像与管状结构融合的基于仪器的图像配准
US20130060146A1 (en) * 2010-04-28 2013-03-07 Ryerson University System and methods for intraoperative guidance feedback
CN103458790A (zh) * 2011-03-17 2013-12-18 皇家飞利浦有限公司 多模态心脏成像
CN102411795A (zh) * 2011-08-16 2012-04-11 中国人民解放军第三军医大学第一附属医院 一种关于冠状动脉的多模图像的联合显示方法
WO2014033584A1 (en) * 2012-08-30 2014-03-06 Koninklijke Philips N.V. Coupled segmentation in 3d conventional ultrasound and contrast-enhanced ultrasound images
CA2894133A1 (en) * 2013-03-15 2014-09-18 Synaptive Medical (Barbados) Inc. Surgical imaging systems
WO2014139024A1 (en) * 2013-03-15 2014-09-18 Synaptive Medical (Barbados) Inc. Planning, navigation and simulation systems and methods for minimally invasive therapy
WO2014191479A1 (en) * 2013-05-28 2014-12-04 Universität Bern Method and system for 3d acquisition of ultrasound images
CN104091347A (zh) * 2014-07-26 2014-10-08 刘宇清 一种基于3d打印技术的颅内肿瘤手术规划模拟方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KADOURY S 等: "A model-based registration approach of preoperative MRI with 3D ultrasound of the liver for Interventional guidance procedures", 《BIOMEDICAL IMAGING (ISBI), 2012 9TH IEEE INTERNATIONAL SYMPOSIUM ON, IEEE》 *
NARAYANAN R 等: ""MRI/TRUS Fusion for Prostate Biopsy: Early Results and Clinical Feasibility", 《PROCEEDINGS 17TH SCIENTIFIC MEETING, INTERNATIONAL SOCIETY FOR MAGNETIC RESONANCE IN MEDICINE》 *
汤敏: "医学图像处理中关键技术研究及基础应用平台研发", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111566699A (zh) * 2017-12-08 2020-08-21 皇家飞利浦有限公司 静态流程前规划数据到动态流程内分割数据的配准
CN118037794A (zh) * 2024-04-15 2024-05-14 卡本(深圳)医疗器械有限公司 多模态多体位医学影像的智能配准系统

Also Published As

Publication number Publication date
EP3230951A1 (en) 2017-10-18
WO2016092408A1 (en) 2016-06-16
CN107111875B (zh) 2021-10-08
US10977787B2 (en) 2021-04-13
US20180268541A1 (en) 2018-09-20

Similar Documents

Publication Publication Date Title
CN107111875A (zh) 用于多模态自动配准的反馈
US9561016B2 (en) Systems and methods to identify interventional instruments
US10362941B2 (en) Method and apparatus for performing registration of medical images
US10347033B2 (en) Three-dimensional image display apparatus, method, and program
US11013495B2 (en) Method and apparatus for registering medical images
CN103919573B (zh) 病变诊断设备和方法
CN107980148B (zh) 对图像进行融合以考虑运动补偿的系统和方法
JP2018514352A (ja) 後期マーカー配置による融合イメージベース誘導のためのシステムおよび方法
CN105611877A (zh) 引导超声图像采集的方法和系统
JP2013153883A (ja) 画像処理装置、撮影システム及び画像処理方法
US10952705B2 (en) Method and system for creating and utilizing a patient-specific organ model from ultrasound image data
CN107106128B (zh) 用于分割解剖目标的超声成像装置和方法
CN106456084A (zh) 超声成像装置
CN110956076A (zh) 基于容积渲染在三维超声数据中进行结构识别的方法和系统
JP6293619B2 (ja) 画像処理方法および装置並びにプログラム
CA3102807A1 (en) Orientation detection in fluoroscopic images
CN113645896A (zh) 手术计划、手术导航和成像用系统
CN106687048A (zh) 医学成像装置
JP6487999B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6263248B2 (ja) 情報処理装置、情報処理方法、及びプログラム
Karner et al. Single-shot deep volumetric regression for mobile medical augmented reality
CN111292248B (zh) 超声融合成像方法及超声融合导航系统
KR20150026354A (ko) 의료영상들을 정합하는 방법 및 장치
De Paolis Advanced navigation and augmented visualization in minimally invasive surgery
JP2023543010A (ja) ツール追跡のための方法及びシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant