CN104160424B - 用于改进多模态图像融合中的配准准确度的智能标志选择 - Google Patents
用于改进多模态图像融合中的配准准确度的智能标志选择 Download PDFInfo
- Publication number
- CN104160424B CN104160424B CN201380012748.7A CN201380012748A CN104160424B CN 104160424 B CN104160424 B CN 104160424B CN 201380012748 A CN201380012748 A CN 201380012748A CN 104160424 B CN104160424 B CN 104160424B
- Authority
- CN
- China
- Prior art keywords
- image
- mark
- registration
- registering
- registered
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title description 6
- 238000000034 method Methods 0.000 claims abstract description 51
- 239000003550 marker Substances 0.000 claims abstract description 32
- 230000009466 transformation Effects 0.000 claims abstract description 24
- 238000006243 chemical reaction Methods 0.000 claims abstract description 13
- 238000001514 detection method Methods 0.000 claims abstract description 9
- 238000005259 measurement Methods 0.000 description 15
- 230000011218 segmentation Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 210000003484 anatomy Anatomy 0.000 description 5
- 238000009394 selective breeding Methods 0.000 description 5
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002594 fluoroscopy Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000002307 prostate Anatomy 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002224 dissection Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20101—Interactive definition of point of interest, landmark or seed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
Abstract
用于图像配准的系统和方法包括被配置为识别第一图像(110)的内部标志的图像特征检测模块(116)。图像配准和变换模块(118)被配置为使用处理器来计算配准变换，以基于表面标志将第二图像(112)与所述第一图像配准，以得到经配准的图像。标志识别模块(120)被配置为使用所述配准变换将所述内部标志覆盖到所述第二图像上、将覆盖的标志中的每个包围在虚拟对象内以在所述经配准的图像中识别对应的标志对、并且使用具有识别出的标志的所述经配准的图像来将所述第二图像与所述第一图像配准。
Description
技术领域
本公开涉及成像工具，并且更具体而言，涉及用于具有改进的准确度的多模态图像配准的系统和方法。
背景技术
对于多模态图像配准，使用传统的基于亮度的方法通常是不合适的，这是因为不同的图像模态可能呈现不同的对比度和解剖结构。作为替代，一般使用基于特征的方法，其依赖于从分割采集的表面标志和内部标志。基于表面的配准技术中的关键问题是该技术严重取决于分割结果的准确度。在具有低信号噪声比的成像模态(例如超声)中，分割的准确度通常是不可靠的。因此，优选使用表面标志和内部标志两者。能够容易地基于对器官边界的分割来提取表面标志，而可能更难对内部标志进行定位，不管是人工地还是自动地。2009年6月25日发表的WO 2009/077938 A1“Successive Landmark-Based ImageRegistration”公开了分步骤执行的配准，在所述配准中，在每一步骤，修改标志的集合以改进结果，由用户基于对呈现给用户的第一图像与第二图像的比较来确定对标志对的集合的修改。然而，由于图像的特性的不同，难以在不同模态的图像之间确定标志对。尽管在许多情况下对于标志对的人工选择是优选的，但是人工选择是主观的并且是不一致的。
发明内容
根据本发明的原理，提供了用于选择不同模态的图像中的标志对的新颖的解决方案。对标志对的选择包括确定配准变换以基于表面标志来将运动的图像与静态图像配准。使用所述配准变换将在所述静态图像上识别出的内部标志覆盖到经配准的图像上。将每个覆盖的标志包围在球或其他对象内以帮助在经配准的图像中识别对应的标志对。使用所述配准变换的逆变换来将在经配准的图像中识别出的所述标志变换回所述运动的图像。将所述运动的图像与所述静态图像非刚性地配准。有利地，本原理提供了对对应的内部标志对进行定位的指导。本原理中对表面标志和内部标志两者的使用改进了配准准确度。
一种用于图像配准的系统包括被配置为识别第一图像的内部标志的图像特征检测模块。图像配准和变换模块被配置为使用处理器来计算配准变换，以基于表面标志将第二图像与所述第一图像配准，以得到经配准的图像。标志识别模块被配置为：使用所述配准变换将所述内部标志覆盖到所述第二图像上，将覆盖的标志中的每个包围在虚拟对象内以在所述经配准的图像中识别对应的标志对，并且使用具有识别出的标志的所述经配准的图像来将所述第二图像与所述第一图像配准。
一种用于图像配准的方法包括识别第一图像的内部标志。使用处理器来计算配准变换，以基于表面标志将第二图像与所述第一图像配准，以得到经配准的图像。使用所述配准变换来将所述内部标志覆盖到所述经配准的图像上。将覆盖的标志包围在虚拟对象内以在所述经配准的图像中识别对应的标志对。使用具有识别出的标志的所述经配准的图像来将所述第二图像与所述第一图像配准。
一种用于图像配准的方法包括将第二图像与第一图像刚性地配准。使用处理器来识别所述第一图像和所述第二图像的内部特征，以测量所述第一图像和所述第二图像的相似性，以选择刚性配准和非刚性配准中的一个。使用所选择的刚性配准或非刚性配准来将所述第二图像与所述第一图像配准。
附图说明
本公开将参考以下附图详细提出对优选的实施例的以下说明，其中：
图1是示出了根据一个说明性实施例的、用于用来识别一致的标志对的智能标志选择的系统的方框/流程图；
图2图示了根据一个说明性实施例的用于选择表面标志的球选择器系统；
图3示出了根据一个说明性实施例的感兴趣区域选择系统的轮廓；
图4示出了根据一个说明性实施例的、用于用来识别一致的标志对的智能标志选择的方法；
图5是示出了根据一个说明性实施例的、用于用来识别一致的标志对的智能标志选择的方法的方框/流程图；
图6是示出了根据一个说明性实施例的用于针对配准选择感兴趣区域的方法的方框/流程图；并且
图7是示出了根据一个说明性实施例的、用于选择最优配准方法的方法的方框/流程图。
具体实施方式
根据本发明的原理，系统、装置和方法的实施例提供了用来改进多模态图像融合中的配准准确度的智能标志选择。该智能标志选择协助用户选择不同模态的图像之间的一致的标志对以改进配准准确度。在一个实施例中，智能标志选择包括确定配准变换以基于表面标志来将运动的图像与静态图像配准，其中，静态图像和运动的图像是来自不同模态的。使用配准变换来将静态图像上识别出的内部标志覆盖到经配准的图像上。将每个覆盖的标志包围在球或其他对象内以帮助在经配准的图像中识别对应的标志对。使用配准变换的逆变换将经配准的图像中识别出的标志变换回运动的图像。将运动的图像与静态图像非刚性地配准。本原理中对表面标志和内部标志两者的使用改进了准确度。
在另一个实施例中，能够通过将配准限制到特定的感兴趣区域来改进初始配准。可以由用户通过以下来规定感兴趣区域，例如：i)人工地确定感兴趣区域；ii)从患者特异的图集选择感兴趣区域；以及iii)将所有标志用于配准。人工地确定感兴趣区域可以包括：i)人工地选择表面标志或指定感兴趣区域；以及ii)设定具体的阈值以过滤不想要的标志。由于用户可以以特定的组合来使用选项以实现最好的结果，所以这些选项不互相排除。通过将配准限制到图像中特定的感兴趣区域，在局部部位中实现了更好的配准的准确度。
在又一个实施例中，能够通过在刚性配准和非刚性配准之间最优地做出选择来进一步改进初始配准。选择最优的配准方法包括首先刚性地将运动的图像与静态图像配准，并且从图像提取内部特征以评估图像的相似度。内部特征提取可以包括应用度量，例如解剖标志对之间的距离和Dice相似度系数。基于该度量来人工地或自动地选择刚性配准或非刚性配准。自动地选择配准方法包括应用机器学习引擎以基于提取的特征来预测非刚性配准的性能。有利地，最优地选择刚性配准或非刚性配准为用户提供了图像融合的最好的质量。
能够通过使用专用硬件以及能够与合适的软件相关联地执行软件的硬件来提供附图中示出的各个元件的功能。当由处理器来提供功能时，能够由单个专用处理器、由单个共享处理器或由其中一些能够被共享的多个独立处理器来提供功能。而且，对术语“处理器”或“控制器”的明确的使用不应被解释为排他地指代能够执行软件的硬件，并且能够暗含地包括但不限于，数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器、非易失性存储器等。
而且，本文记载原理、方面和本发明的实施例及其具体范例的所有陈述旨在包括其结构等价方案和功能等价方案两者。此外，旨在使这样的等价方案包括目前已知的等价方案以及将来发展出的等价方案(即发展出的执行相同的功能的任何元件，而不论其结构如何)两者。因此，例如，本领域技术人员应当意识到本文提出的方框图表示说明性系统部件的概念性视图和/或实现本发明的原理的电路图。相似地，应当意识到任何流程图表、流程图等表示各个过程，这些过程可以基本在计算机可读存储媒体中表示并且因此由这样的计算机或处理器执行，不论是否明确示出了计算机或处理器。
此外，本发明的原理的实施例可以采取能够从计算机可用或计算机可读存储介质访问的计算机程序产品的形式，所述计算机可用或计算机可读存储介质提供由计算机或任何指令执行系统使用或结合计算机或任何指令执行系统使用的程序代码。出于这种说明的目的，计算机可用或计算机可读存储介质能够是可以包括、存储、传送、传播或输送由指令执行系统、装置或设备使用或结合指令执行系统、装置或设备使用的程序的任何装置。所述介质可以是电子、磁性、光学、电磁、红外线或半导体系统(或装置或设备)或者传播介质。计算机可读介质的范例包括半导体或固态存储器、磁带、可移动计算机磁盘、随机存取存储器(RAM)、只读存储器(ROM)、硬磁盘和光盘。光盘的当前的范例包括只读光盘(CD-ROM)、读/写光盘(CD-R/W)、DVD和蓝光盘TM(BD)。
现在参考附图，其中，相似的附图标记表示相同或相似的元件，并且首先参考图1，说明性地描绘了根据一个实施例的用于智能标志选择的系统100，其中，所述智能标志选择用于协助用户(例如放射医师)从通过不同模态扫描的图像选择一致的标志对以改进配准准确度。系统100可以包括工作站或控制台106，利用工作站或控制台106来监督并且管理配准。工作站106优选地包括一个或多个处理器130以及用于存储程序和应用的存储器108。应当理解，可以将系统100的功能和部件整合到一个或多个工作站或系统中。
存储器108可以存储来自仪器A 102的静态图像110和来自仪器B 104的运动的图像112。仪器A 102和仪器B 104可以包括任何成像设备，例如但不限于，磁共振成像(MRI)系统、荧光检查系统、计算断层摄影(CT)系统、超声系统等。在优选的实施例中，仪器A 102和仪器B 104是来自不同模态的。系统100协助用户从分别来自仪器A 102和仪器B 104的图像110和图像112选择一致的标志对以改进配准准确度。
工作站106可以包括用于观看图像110和图像12的一个或多个显示器126。显示器126还可以允许用户与工作站106及它的部件和功能进行交互。这是由用户接口128来进一步促进的，其中，用户接口128可以包括键盘、鼠标、操纵杆或用来允许用户与工作站106交互的任何其他外围设备或控制器。
计算机实施的程序114被存储在工作站106的存储器108中。程序114包括用来检测并且识别仪器A 102的模态的静态图像110的内部标志的图像特征检测模块116。应当注意到，可以人工地或自动地执行模块116中的内部标志检测。模块116中的人工特征检测可以采用对显示器126和用户接口128的使用来与工作站106交互。模块116中的自动特征检测可以采用尺度不变特征转换(SIFT)方法或快速鲁棒特征(SURF)方法来检测特征。也预期其他方法。
程序114包括用来确定配准变换以基于表面标志来将仪器B 104的模态的运动的图像112与仪器A 102的模态的静态图像110配准的图像配准和变换模块118。在一个特别有用的实施例中，配准可以包括将配准限制到特定的感兴趣区域。通过限制配准区域，对于局部部位改进了配准的准确度。存在用户可以根据本原理来制定感兴趣区域的若干方式。例如用户可以：i)人工地确定配准区域；ii)从预设的图集选择区域并且只将区域里面的标志用于进一步的配准；或者iii)将所有表面标志用于配准，这可以是一个实施例中的默认选项。也预期制定感兴趣区域的其他方法。应当注意到，这些选项不互相排除。用户可以以特定的组合来使用选项以得到最好的结果。
可以通过人工地勾画表面标志或感兴趣区域来实现用于配准的对感兴趣区域的人工选择。在一个实施例中，用户可以使用例如球形的球选择器替代逐个拾取标志来在三维(3D)空间中人工地选择表面标志。应当理解本原理不限于球形的球选择器，而可以是任何形状的选择器。参考一下图2，说明性地描绘了球选择器系统200。用户能够调节球选择器202的半径(例如左击+滚动)并且将选择(例如双左击)或去选择(例如双右击)球选择器202里面所有表面标志204。
在另一个实施例中，用户可以人工地画出感兴趣区域的轮廓以勾画解剖标志。参考一下图3，说明性地描绘了基于感兴趣区域选择系统300的解剖标志。用户人工地画出302感兴趣区域306的轮廓以针对配准选择标志304。这可以包括对显示器126和用户接口128的使用。只将画出轮廓302的感兴趣区域306内的表面标志304用在配准中。
在又一个实施例中，基于自动阈值在感兴趣区域内选择标志。对于运动的图像112中的各个标志，确定到静态图像110中的各个标志的距离，并且对于运动的图像112中的各个标志度确定最短距离。用户接着能够为最短距离指定阈值，并且最短距离大于阈值的所有标志将会被排除。这样的阈值假设了用于配准的两个体积已经被刚性地对准并且不一致的分割主要对应于具有大的最短距离的标志，在例如前列腺经直肠超声(TRUS)融合的情况下是这种情况。阈值处理还可以是基于体积内的窄范围的，使得用户指定该窄范围并且排除该范围外面的标志。
根据另一实施例，能够通过从患者特异的图集选择区域来选择感兴趣区域。生成患者特异的图集可以包括：1)通过求若干人工分割的平均来一起生成模板分割和预设的图集；2)使该模板变形以匹配患者特异的分割；3)将变形的模板图集应用到患者特异的分割上；并且4)分离基于应用的图集的表面标志。预设的图集的选定区域里面的标志将被用于进一步的配准。
返回参考图1，程序114的图像配准和变换模块118将仪器B 104的模态的运动的图像112与仪器A 102的模态的静态图像110配准。基于应用和兴趣器官，配准可以是刚性的或非刚性的。在特别有用的实施例中，图像配准和变换模块118包括用于选择最优配准方法(例如刚性配准或非刚性配准)的决策支持。将运动的图像112与静态图像110刚性地配准，并且提取内部特征以评估两幅图像的相似度。对于多模态图像融合，亮度范围和图像对比都能够是非常不同的。例如，MRI中可见的特定标志在超声对比下可以是也可以不是可见的。这样，使用在单模态配准中使用的传统方法(例如共有信息方法或均方标准差方法)来测量相似度一般是不实际的。作为替代，基于内部解剖结构的特征更合适。
可以自动地或人工地完成基于刚性对准的图像的对内部特征的特征提取。内部特征提取可以使用两个或更多个度量以理解内部特征的内部翘曲。例如可以应用以下度量：1)解剖标志对之间的距离；以及2)Dice相似度系数，其中能够通过2*|A1交集A2|/|A1|+|A2|)来计算Dice相似度系数，其中A1和A2是两个分割体积。也预期其他度量。例如，度量可以考虑内部形态学特征和它们的变形图样。
基于这些度量，能够人工地或自动地选择刚性配准和非刚性配准中的一个。自动确定可以包括用来方便这种决策制定过程的机器学习引擎。机器学习引擎首先经历基于训练数据集对的集合的训练过程，所述训练数据集对的集合具有一组足够多样的度量。例如，可以使用诸如人工神经网络或支持向量机的机器学习方法来训练机器学习引擎在刚性配准和非刚性配准之间做出选择。可以进一步训练机器学习引擎以相同的方式来确定用于做出最好的决定的特征和度量的最优集合。得到的决定将是对基于提取的特征的非刚性配准的性能的预测。在推荐非刚性配准的又一个实施例中，评估全体积配准是否优于部分配准。在部分配准中，只将图像体积的一部分正确地配准，而剩下的可以配准或可以不配准。
返回参考图1，一旦程序114的图像配准和变换模块118将仪器B 104的模态的运动的图像112与仪器A 102的模态的静态图像110配准，则基于利用初始配准来计算的配准变换将图像特征检测模块116中找到的图像110的内部标志覆盖到仪器B 104的经配准的图像上。因为成像模态的特性，可能难以对仪器B 104的模态中的内部标志进行定位。将经配准的图像上每个覆盖的标志包围在虚拟对象内以帮助用户对标志对进行定位。所述虚拟对象可以具有用户定义的尺寸。在优选的实施例中，所述虚拟对象是具有用户定义的半径的球。
现在参考图4，根据一个实施例说明性地描绘了包围在球400内的标志。由具有给定的半径的球402将每个覆盖的标志404包围起来以帮助用户找到仪器B 104的模态中的对应的标志。图1的标志识别模块120可以执行球里面的标志识别，球里面的标志识别可以包括用户的人工识别或使用诸如SIFT或SURF的图像分析算法的自动识别。用户可以指定所述半径并且决定显示所有的感兴趣的点还是只显示一个点。仪器A 102的模态的图像110中存在的解剖结构中的一些可以不存在于仪器B 104的模态的经配准的图像中。这样，用户可以能够去除存在于这样的区域中的标志。
图像配准和变换模块118接着将仪器B 104的模态的经配准的图像中的对应的标志变换回仪器B 104的模态的运动的图像112。这基于初始配准的变换的逆变换。最终，图像配准和变换模块118通过将表面标志和内部标志两者组合起来将仪器B 104的模态的图像112与仪器A 102的模态的图像110非刚性地配准。
如上面所提及，一种模态中的标志在另一种模态中是难以被定位的。用于智能标志选择的系统100协助用户从通过不同模态扫描的图像选择一致的标志对。具体地，系统100采用表面标志和内部标志两者来改进配准准确度。
现在参考图5，根据一个实施例说明性地描绘了用于用来识别一致的标志对的智能标志选择的方法500。在方框502中，从第一仪器和第二仪器分别提供第一(即静态)图像和第二(即运动的)图像。第一仪器和第二仪器可以包括任何成像设备，例如但不限于，MRI系统、荧光检查系统、CT系统、超声系统等。在一个优选的实施例中，第一仪器和第二仪器是不同模态的。用于智能标志选择的方法500协助用户在第一图像与第二图像之间选择一致的标志对以改进配准准确度。在一个实施例中，第一图像具有更好的分辨率和对解剖结构的勾画。因此在方框504中识别第一图像的内部标志。对内部标志的识别可以包括人工识别或自动识别。可以通过诸如SIFT或SURF的特征检测方法来完成对内部标志的自动识别。也预期特征检测的其他方法。在方框506中，确定配准变换以基于表面标志来将第二图像与第一图像配准。
在一个特别有用的实施例中，配准可以包括将配准区域限制到特定的感兴趣区域。在临床应用中，用户可能只对特定的局部图像部位感兴趣。例如基于对术前MRI的诊断，病灶活组织检查可能只集中在前列腺的后部部位。在这种情况下，前部区域中的配准准确度可能是与程序不相关的，而后部区域中的配准准确度更加相关。现在参考图6，说明性地描绘了根据一个实施例的用于为配准选择感兴趣区域的方法600。方法600将配准限制到特定的感兴趣区域，从而在该局部部位中具有更好的配准的准确度。在方框602中，存在用来选择感兴趣区域的一定数量的方法。用于确定感兴趣区域的配准选项可以包括在方框604中人工地选择感兴趣区域、在方框610中从患者特异的图集选择感兴趣区域、以及在方框612中选择图像中的所有表面标志。在一个实施例中，选择图像中的所有表面标志(方框612)是默认选项。也预期制定感兴趣区域的其他方法。例如，用户可以通过指示相关的解剖位置(例如前部或后部)来指定感兴趣区域。应当注意到这些选项不互相排除。用户可以以特定的组合来使用选项以实现期望的结果。
在方框606中，对感兴趣区域的人工选择可以包括勾画。在一个实施例中，使用球形的球选择器来执行勾画以在3D空间中选择表面标志。应当注意到，球选择器不限于球形，而可以是任何形状的。用户可以能够调节球选择器的半径，并且指示选择或去选择球内的所有表面标志。用户还可以具有对球选择器内的表面标志的反选的选项。在另一个实施例中，由用户通过画出感兴趣区域的轮廓来执行勾画。例如，用户可以针对配准人工地画出关键病变和脉管的轮廓。在方框608中，对感兴趣区域的人工选择还可以包括阈值。阈值处理可以包括通过基于用户指定的阈值的值来过滤标志来以配准选择标志。首先确定从运动的图像中的各个标志到静态的图像中的各个标志的最短的距离。在配准期间将排除其最短距离大于用户指定的阈值的标志。应当注意到，阈值处理假设用于配准的两幅图像已经被刚性地对准了，并且不一致的分割主要与具有大的最短距离的标志对应。也预期阈值的其他方法。比如，用户也能够指定窄范围并且排除该范围外面的标志。
在方框610中，用户可以通过从患者特异的图集选择感兴趣区域来针对配准选择感兴趣区域。生成患者特异的图集可以包括：1)通过求若干人工分割的平均来一起生成模板分割和预设的图集；2)使该模板变形以匹配患者特异的分割；3)将变形的模板图集应用到患者特异的分割上；以及4)基于应用的图集分离表面标志。
有利地，方法600提供针对配准选择感兴趣区域，使得在局部部位中实现更好的配准的准确度。
返回参考图5的方框506，基于表面标志来将第二图像与第一图像配准。基于应用和感兴趣器官，配准可以是刚性地或非刚性的。在一个特别有用的实施例中，配准包括用于基于提取的图像特征和它们的变形图案在刚性配准和非刚性配准之间做出决定的方法。现在参考图7，根据一个实施例说明性地描绘了用于选择最优配准方法的方法700。在方框702中，首先将运动的图像与静态图像刚性地配准。应当注意到，在这种方法中假设正确的刚性配准。对于多模态图像融合，强度范围和图像对比度都可以是非常不同的。因此，使用在单模态配准中使用的传统方法(例如共有信息或均方标准差)来测量相似度通常是不实际的。作为替代，基于内部解剖结构的相似度测量更合适。在方框704中，提取内部结构特征以评估两幅图像的相似度。特征提取可以包括计算度量以帮助理解内部特征的内部扭曲。例如根据一个实施例可以应用以下度量：1)解剖标志对之间的距离；以及2)Dice相似度系数。也预期其他度量。比如，可以使用内部形态学特征和它们的变形图案。
方法700使用度量在刚性配准和非刚性配准之间做出选择。在一个实施例中，在方框706中能够使用度量来人工地选择配准方法。在另一个实施例中，在方框708中应用机器学习引擎来自动地选择配准方法。基于具有度量的充分不同的集合的训练数据集对的集合，能够训练诸如人工神经网络或支持向量机的机器学习方法在刚性配准和非刚性配准之间做出选择。还能够训练机器学习引擎决定用于做出最好的决定的特征和度量的最优集合。在方框710中，机器学习引擎可以基于提取的特征来预测刚性配准和非刚性配准的性能。在一个实施例中，如果选择了非刚性配准，则机器学习引擎评估全体积配准是否优于部分配准。
用于选择最优配准方法的方法700通过为每个具体图像数据选择最优配准度量来为用户提供图像融合的最好的质量。
因为成像模态的特性，可能难以对(第二仪器的模态的)第二图像的标志进行定位。由此，返回参考图5的方框508，基于初始配准中计算的配准变换来将第一图像的内部标志覆盖到第二仪器的经配准的图像上(方框506)。方框510中，将经配准的图像上的每个覆盖的内部标志包围在虚拟对象内以指导用户找到对应的标志对。虚拟对象突出覆盖的标志以帮助用户识别对应的标志对。虚拟对象可以具有用户定义的尺寸。在优选的实施例中，虚拟对象是球。用户可以指定球的半径并且决定是否显示所有覆盖的点。第一图像中的特征可以不存在于经配准的图像中。用户可以能够去除存在于这样的区域中的标志。可以人工地或自动地执行对虚拟对象内的内部标志的识别。对标志的自动识别可以包括应用诸如SIFT或SURF的图像分析方法，然而也预期其他方法。
在方框516中，使用具有识别出的标志的经配准的图像来将第二图像与第一图像配准。方框516包括方框512和方框514。方框512中，基于利用初始配准计算的配准变换(506)的逆变换来将经配准的图像中的对应的标志变换回第二(即运动的)图像。在方框514中，通过将表面标志和内部标志两者组合起来将第二(即运动的)图像与第一图像非刚性地配准。已经示出了表面标志和内部标志的组合以改进配准准确度。
在解释权利要求书时，应当理解：
a)词语“包括”不排除给定的权利要求中列出的那些之外的其他元件或动作的存在；
b)元件前面的词语“一”或“一个”不排除存在多个这样的元件；
c)权利要求中的任何附图标记都不限制它们的范围；
d)可以由同样的项目或者硬件或软件实施的结构或功能来表示若干“单元”；并且
e)除非专门指出，否则不特意要求动作的具体顺序。
已经描述了用于用来改进多模态图像融合中的配准准确度的智能标志选择的优选的实施例(所述优选的实施例旨在是说明性的而非限制性的)，应当注意到，本领域技术人员鉴于以上教导能够进行修改和变型。因此应当理解，可以在本文中如权利要求书概括的那样公开的实施例的范围内，对所公开的公开内容的特定实施例中做出变化。因此已经描述了专利法要求的细节和特性，在权利要求书中阐述了由专利证书要求并且期望被保护的内容。
Claims (13)
1.一种用于图像配准的系统，包括：
图像特征检测模块(116)，其被配置为识别第一图像(110)的内部标志；
图像配准和变换模块(118)，其被配置为使用处理器来计算配准变换，以基于表面标志将第二图像(112)与所述第一图像配准，从而得到经配准的图像；以及
标志识别模块(120)，其被配置为使用所述配准变换来将所述内部标志覆盖到所述经配准的图像上，将覆盖的标志包围在虚拟对象内以在所述经配准的图像中识别对应的标志，并且使用具有识别出的标志的所述经配准的图像来将所述第二图像与所述第一图像配准。
2.如权利要求1所述的系统，其中，所述标志识别模块(120)还被配置为通过使用所述配准变换来将所述经配准的图像中的识别出的标志变换到所述第二图像，来使用具有识别出的标志的所述经配准的图像来将所述第二图像与所述第一图像配准。
3.如权利要求2所述的系统，其中，所述标志识别模块(120)还被配置为使用所述配准变换的逆变换。
4.如权利要求2所述的系统，其中，所述标志识别模块(120)还被配置为通过将所述第二图像与所述第一图像非刚性地配准，来使用具有识别出的标志的所述经配准的图像来将所述第二图像与所述第一图像配准。
5.如权利要求1所述的系统，其中，所述标志识别模块(120)还被配置为使用表面标志和内部标志来将所述第二图像与所述第一图像配准。
6.如权利要求1所述的系统，其中，所述虚拟对象包括球。
7.如权利要求5所述的系统，其中，所述虚拟对象具有用户定义的尺寸。
8.如权利要求1所述的系统，其中，所述第一图像和所述第二图像是来自不同模态的。
9.一种用于图像配准的方法，包括：
识别(504)第一图像的内部标志；
使用处理器来计算(506)配准变换，以基于表面标志将第二图像与所述第一图像配准，从而得到经配准的图像；
使用所述配准变换来将所述内部标志覆盖(508)到所述经配准的图像上；
将覆盖的标志包围(510)在虚拟对象内以在所述经配准的图像中识别对应的标志；并且
使用具有识别出的标志的所述经配准的图像来将所述第二图像与所述第一图像配准(516)。
10.如权利要求9所述的方法，其中，使用具有识别出的标志的所述经配准的图像将所述第二图像与所述第一图像配准包括使用所述配准变换来将所述经配准的图像中的识别出的标志变换(512)到所述第二图像。
11.如权利要求10所述的方法，其中，使用具有识别出的标志的所述经配准的图像将所述第二图像与所述第一图像配准包括将所述第二图像与所述第一图像非刚性地配准(514)。
12.如权利要求11所述的方法，其中，将所述第二图像与所述第一图像非刚性地配准(514)包括使用表面标志和内部标志。
13.如权利要求9所述的方法，其中，将覆盖的标志包围(510)在虚拟对象内包括将覆盖的标志包围在球内。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201261608215P | 2012-03-08 | 2012-03-08 | |
| US61/608,215 | 2012-03-08 | ||
| PCT/IB2013/051654 WO2013132402A2 (en) | 2012-03-08 | 2013-03-01 | Intelligent landmark selection to improve registration accuracy in multimodal image fusion |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104160424A CN104160424A (zh) | 2014-11-19 |
| CN104160424B true CN104160424B (zh) | 2017-09-19 |
Family
ID=48182959
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201380012748.7A Active CN104160424B (zh) | 2012-03-08 | 2013-03-01 | 用于改进多模态图像融合中的配准准确度的智能标志选择 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US9478028B2 (zh) |
| EP (1) | EP2823464B1 (zh) |
| JP (1) | JP6059261B2 (zh) |
| CN (1) | CN104160424B (zh) |
| RU (1) | RU2014140480A (zh) |
| WO (1) | WO2013132402A2 (zh) |
Families Citing this family (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007095330A2 (en) | 2006-02-15 | 2007-08-23 | Hologic Inc | Breast biopsy and needle localization using tomosynthesis systems |
| JP5762423B2 (ja) | 2009-10-08 | 2015-08-12 | ホロジック, インコーポレイテッドHologic, Inc. | 乳房針生検システム及び使用方法 |
| WO2012071429A1 (en) | 2010-11-26 | 2012-05-31 | Hologic, Inc. | User interface for medical image review workstation |
| CN103477346A (zh) | 2011-03-08 | 2013-12-25 | 霍洛吉克公司 | 用于筛查、诊断和活检的双能和/或造影增强乳房成像的系统和方法 |
| KR20130015146A (ko) * | 2011-08-02 | 2013-02-13 | 삼성전자주식회사 | 의료 영상 처리 방법 및 장치, 영상 유도를 이용한 로봇 수술 시스템 |
| EP2782505B1 (en) | 2011-11-27 | 2020-04-22 | Hologic, Inc. | System and method for generating a 2d image using mammography and/or tomosynthesis image data |
| EP3315072B1 (en) | 2012-02-13 | 2020-04-29 | Hologic, Inc. | System and method for navigating a tomosynthesis stack using synthesized image data |
| JP6112291B2 (ja) * | 2012-12-11 | 2017-04-12 | パナソニックＩｐマネジメント株式会社 | 診断支援装置および診断支援方法 |
| US9275437B2 (en) * | 2013-03-14 | 2016-03-01 | Algotec Systems Ltd. | Method for efficient digital subtraction angiography |
| US10092358B2 (en) | 2013-03-15 | 2018-10-09 | Hologic, Inc. | Tomosynthesis-guided biopsy apparatus and method |
| US9741131B2 (en) * | 2013-07-17 | 2017-08-22 | Siemens Medical Solutions Usa, Inc. | Anatomy aware articulated registration for image segmentation |
| ES2943561T3 (es) | 2014-02-28 | 2023-06-14 | Hologic Inc | Sistema y método para generar y visualizar bloques de imagen de tomosíntesis |
| WO2015185308A1 (en) * | 2014-06-04 | 2015-12-10 | Koninklijke Philips N.V. | Device and method for registration of two images |
| WO2015193441A1 (en) | 2014-06-18 | 2015-12-23 | Koninklijke Philips N.V. | Ultrasound imaging apparatus |
| EP3161786B1 (en) | 2014-06-25 | 2019-10-30 | Koninklijke Philips N.V. | Imaging device for registration of different imaging modalities |
| JP2016022297A (ja) * | 2014-07-24 | 2016-02-08 | ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー | 超音波診断装置及びその制御プログラム |
| JP6448356B2 (ja) * | 2014-12-22 | 2019-01-09 | キヤノン株式会社 | 画像処理装置、画像処理方法、画像処理システム、及びプログラム |
| US9519949B2 (en) | 2015-03-13 | 2016-12-13 | Koninklijke Philips N.V. | Determining transformation between different coordinate systems |
| CN106683104B (zh) * | 2017-01-06 | 2019-07-05 | 西北工业大学 | 基于集成深度卷积神经网络的前列腺磁共振图像分割方法 |
| JP7277053B2 (ja) | 2017-03-30 | 2023-05-18 | ホロジック， インコーポレイテッド | 階層式マルチレベル特徴画像合成および提示のためのシステムおよび方法 |
| EP3600051A1 (en) | 2017-03-30 | 2020-02-05 | Hologic, Inc. | System and method for synthesizing low-dimensional image data from high-dimensional image data using an object grid enhancement |
| WO2018183550A1 (en) | 2017-03-30 | 2018-10-04 | Hologic, Inc. | System and method for targeted object enhancement to generate synthetic breast tissue images |
| US11010630B2 (en) | 2017-04-27 | 2021-05-18 | Washington University | Systems and methods for detecting landmark pairs in images |
| US10346974B2 (en) | 2017-05-18 | 2019-07-09 | Toshiba Medical Systems Corporation | Apparatus and method for medical image processing |
| US11403483B2 (en) | 2017-06-20 | 2022-08-02 | Hologic, Inc. | Dynamic self-learning medical image method and system |
| US10424045B2 (en) | 2017-06-21 | 2019-09-24 | International Business Machines Corporation | Machine learning model for automatic image registration quality assessment and correction |
| US10417737B2 (en) | 2017-06-21 | 2019-09-17 | International Business Machines Corporation | Machine learning model for automatic image registration quality assessment and correction |
| US10984585B2 (en) * | 2017-12-13 | 2021-04-20 | Covidien Lp | Systems, methods, and computer-readable media for automatic computed tomography to computed tomography registration |
| US10878529B2 (en) * | 2017-12-22 | 2020-12-29 | Canon Medical Systems Corporation | Registration method and apparatus |
| KR102466998B1 (ko) * | 2018-02-09 | 2022-11-14 | 삼성전자주식회사 | 영상 융합 방법 및 장치 |
| CN112055870A (zh) * | 2018-03-02 | 2020-12-08 | 皇家飞利浦有限公司 | 图像配准合格评价 |
| US10726555B2 (en) * | 2018-06-06 | 2020-07-28 | International Business Machines Corporation | Joint registration and segmentation of images using deep learning |
| US11348227B2 (en) * | 2018-09-04 | 2022-05-31 | The Trustees Of The University Of Pennsylvania | Image registration using a fully convolutional network |
| JP6915605B2 (ja) * | 2018-11-29 | 2021-08-04 | オムロン株式会社 | 画像生成装置、ロボット訓練システム、画像生成方法、及び画像生成プログラム |
| US11080849B2 (en) * | 2018-12-21 | 2021-08-03 | General Electric Company | Systems and methods for deep learning based automated spine registration and label propagation |
| CN109754396B (zh) * | 2018-12-29 | 2021-02-19 | 上海联影智能医疗科技有限公司 | 图像的配准方法、装置、计算机设备和存储介质 |
| EP3913574B1 (en) | 2020-05-21 | 2022-12-21 | Tata Consultancy Services Limited | Anatomical landmark detection and identification from digital radiography images containing severe skeletal deformations |
| RU2767281C1 (ru) * | 2021-03-15 | 2022-03-17 | Вячеслав Викторович Катин | Способ интеллектуальной обработки массива неоднородных изображений |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101443816A (zh) * | 2006-05-11 | 2009-05-27 | 皇家飞利浦电子股份有限公司 | 用于图像引导下辐射治疗的图像可变形配准 |
| CN101626727A (zh) * | 2007-03-06 | 2010-01-13 | 皇家飞利浦电子股份有限公司 | 附加有pet/mr流动估计的自动诊断和对准 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7346381B2 (en) * | 2002-11-01 | 2008-03-18 | Ge Medical Systems Global Technology Company Llc | Method and apparatus for medical intervention procedure planning |
| US7117026B2 (en) * | 2002-06-12 | 2006-10-03 | Koninklijke Philips Electronics N.V. | Physiological model based non-rigid image registration |
| US20050031176A1 (en) * | 2003-08-08 | 2005-02-10 | Hertel Sarah R. | Method and apparatus of multi-modality image fusion |
| US7792343B2 (en) * | 2004-11-17 | 2010-09-07 | Koninklijke Philips Electronics N.V. | Elastic image registration functionality |
| WO2007072451A2 (en) * | 2005-12-22 | 2007-06-28 | Philips Intellectual Property & Standards Gmbh | Adaptive point-based elastic image registration |
| US7693349B2 (en) * | 2006-08-15 | 2010-04-06 | General Electric Company | Systems and methods for interactive image registration |
| WO2009077938A1 (en) * | 2007-12-14 | 2009-06-25 | Koninklijke Philips Electronics N.V. | Successive landmark-based image registration |
| EP2225724A1 (en) | 2007-12-18 | 2010-09-08 | Koninklijke Philips Electronics N.V. | System for multimodality fusion of imaging data based on statistical models of anatomy |
| US8165425B2 (en) * | 2008-07-24 | 2012-04-24 | Siemens Medical Solutions Usa, Inc. | Interactive manual deformable registration of images |
-
2013
- 2013-03-01 WO PCT/IB2013/051654 patent/WO2013132402A2/en active Application Filing
- 2013-03-01 US US14/378,823 patent/US9478028B2/en active Active
- 2013-03-01 JP JP2014560481A patent/JP6059261B2/ja active Active
- 2013-03-01 RU RU2014140480A patent/RU2014140480A/ru not_active Application Discontinuation
- 2013-03-01 EP EP13718389.3A patent/EP2823464B1/en active Active
- 2013-03-01 CN CN201380012748.7A patent/CN104160424B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101443816A (zh) * | 2006-05-11 | 2009-05-27 | 皇家飞利浦电子股份有限公司 | 用于图像引导下辐射治疗的图像可变形配准 |
| CN101626727A (zh) * | 2007-03-06 | 2010-01-13 | 皇家飞利浦电子股份有限公司 | 附加有pet/mr流动估计的自动诊断和对准 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP2823464B1 (en) | 2016-10-19 |
| EP2823464A2 (en) | 2015-01-14 |
| US9478028B2 (en) | 2016-10-25 |
| US20150016728A1 (en) | 2015-01-15 |
| CN104160424A (zh) | 2014-11-19 |
| WO2013132402A2 (en) | 2013-09-12 |
| RU2014140480A (ru) | 2016-04-27 |
| JP6059261B2 (ja) | 2017-01-11 |
| WO2013132402A3 (en) | 2014-02-27 |
| JP2015514447A (ja) | 2015-05-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104160424B (zh) | 用于改进多模态图像融合中的配准准确度的智能标志选择 | |
| US7088850B2 (en) | Spatial-temporal lesion detection, segmentation, and diagnostic information extraction system and method | |
| Torres et al. | Kidney segmentation in ultrasound, magnetic resonance and computed tomography images: A systematic review | |
| US7876938B2 (en) | System and method for whole body landmark detection, segmentation and change quantification in digital images | |
| Häme et al. | Semi-automatic liver tumor segmentation with hidden Markov measure field model and non-parametric distribution estimation | |
| CN103402453B (zh) | 用于导航系统的自动初始化和配准的系统和方法 | |
| JP5016603B2 (ja) | 自動及び動的血管検出のための方法並びに装置 | |
| US9521994B2 (en) | System and method for image guided prostate cancer needle biopsy | |
| US8588495B2 (en) | Systems and methods for computer aided diagnosis and decision support in whole-body imaging | |
| US11013495B2 (en) | Method and apparatus for registering medical images | |
| US8526691B2 (en) | System and method for passive medical device navigation under real-time MRI guidance | |
| US20140235998A1 (en) | Method and apparatus for performing registration of medical images | |
| KR20140032810A (ko) | 의료 영상들의 정합 방법 및 장치 | |
| Ison et al. | Fully automated brain extraction and orientation in raw fetal MRI | |
| Li et al. | Joint probabilistic model of shape and intensity for multiple abdominal organ segmentation from volumetric CT images | |
| JP7140630B2 (ja) | 画像処理装置、データ生成装置及びプログラム | |
| WO2007033170A1 (en) | System and method for polyp detection in tagged or non-tagged stool images | |
| Jadhav et al. | 3D virtual pancreatography | |
| CN1823337B (zh) | 用于检测医学图像中的隆起的系统和方法 | |
| Al et al. | Reinforcement learning-based automatic diagnosis of acute appendicitis in abdominal ct | |
| WO2012109641A2 (en) | Systems, methods and computer readable storage mediums storing instructions for 3d registration of medical images | |
| Onofrey et al. | Learning nonrigid deformations for constrained point-based registration for image-guided MR-TRUS prostate intervention | |
| Jucevicius et al. | Automated 2D Segmentation of Prostate in T2-weighted MRI Scans | |
| Bazin et al. | Belief propagation based segmentation of white matter tracts in DTI | |
| WO2023092124A1 (en) | Machine-learning based segmentation of biological objects in medical images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |