CN104169969A - 多模态可变形配准 - Google Patents

多模态可变形配准 Download PDF

Info

Publication number
CN104169969A
CN104169969A CN201380013910.7A CN201380013910A CN104169969A CN 104169969 A CN104169969 A CN 104169969A CN 201380013910 A CN201380013910 A CN 201380013910A CN 104169969 A CN104169969 A CN 104169969A
Authority
CN
China
Prior art keywords
deformation
image
pattern
imaging
different
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380013910.7A
Other languages
English (en)
Other versions
CN104169969B (zh
Inventor
A·M·塔赫玛塞比马拉古奥施
J·克吕克尔
M·谢里菲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN104169969A publication Critical patent/CN104169969A/zh
Application granted granted Critical
Publication of CN104169969B publication Critical patent/CN104169969B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T3/14
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • G06T2207/101363D ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30081Prostate

Abstract

提供一种用于在两个不同模态之间执行多模态可变形的成像配准的方法、系统以及计算机程序产品,对于所述两个不同模态,函数相关性缺失或非常难以识别。所述方法通过计算仅针对在两个模态内的有限数目的可识别的界标的非线性映射来提供在两个图像模态中的每一个点对之间的非线性映射和感兴趣的结构的统计学的变形模型。所述方法包括:根据来自具有多个对象的不同变形状态的相同成像模式的图像来计算身体结构的平均变形和多个变形模式本征向量;执行来自针对相同对象的两个不同成像模态的图像之间的有限数目的唯一可识别的界标点的配准,以计算来自图像的界标的变形场;使用在具有平均变形和变形模式向量的界标处的变形场值来确定针对每个变形模式本征向量的权重;以及,对平均变形场和加权的变形模式向量的线性组合进行求和,以确定针对图像中的所有点的不同成像模式之间的变形场。

Description

多模态可变形配准
技术领域
本发明涉及医学成像的领域,并且更具体地涉及一种用于使用统计学的变形建模和稀疏的变形数据进行自动的多模态可变形配准的方法、系统以及计算机程序产品。
背景技术
图像配准在医学图像处理中是重要的挑战。医学图像配准中的主要目标是计算使相同物体或结构的相同图像或不同图像对齐的几何变换。不同的图像能够具有相同的模态或不同的模态。医学图像配准的常见模态包括但不限于:磁共振成像(MRI)、计算机断层摄影(CT)以及超声(US)。
图像配准问题的重要子集涉及来自不同图像模态的匹配图像,有时被称为多模态图像融合。多模态图像配准特别具有挑战性,这是因为多模态图像的灰度值之间的关系不是总是容易确定的,并且在一些情况下(例如,MRI到US),函数相关性通常缺失或非常难以识别。
多模态图像配准的一个范例是在图像引导过程(诸如前列腺活检或近距治疗)中的MRI图像与US图像的融合。MRI模态提供高分辨率解剖图像;然而,MRI对于术中过程(诸如前列腺活检)是昂贵的。另一方面,US模态对于图像引导过程(诸如前列腺活检)所需的实时成像是理想的,但是具有相当差的图像分辨率。这两种模态的融合将实时成像(US)与高分辨率成像(MRI)的优点进行组合。例如,在靶向前列腺活检过程期间,术前MRI图像与实时US成像的融合对超声图像中的癌变区域的定位是关键性的,所述癌变区域在MRI图像中能够容易地被识别。发展自动的图像配准技术以融合前列腺的术前MRI图像与实时经直肠超声(TRUS)成像将是有益的。
MRI与US图像模态之间的函数相关性的缺乏非常难以利用针对图像配准的基于强度的度量。因此,大多数提出的MRI到US图像融合的方法聚焦于以下两种方式之一的点匹配技术:(1)手动或自动地提取在来自两种模态的图像中都可见的常见界标的集合(诸如尿道的轮廓),并且将其用于基于点的配准;或(2)使用自动或手动技术在两个模态中的每个中分割前列腺的表面,并且将提取的点云供给基于点的配准框架,所述配准框架尝试使两个点集合之间的距离最小化。
例如,在Philips Uronav系统中,实施基于点的刚性配准手段,以使用分割的前列腺表面点数据来配准MRI与TRUS。前列腺被自动分割为在US和MRI两幅图像中的表面轮廓点的集合。刚性配准尝试寻找使两个点集合之间的距离最小化的平移参数和旋转参数的最佳集合。然而,前列腺不是刚性形状,并且前列腺的形状可以通过这些模态中的每个在图像采集期间以不同方式进行变形。通常,当直肠内线圈(ERC)被插入到直肠中以获得增强图像质量时,采集MRI图像。利用被放置为与邻近前列腺的直肠壁直接接触的TRUS探头徒手执行TRUS成像,从而在图像采集期间使前列腺的形状变形。
发明内容
提供了一种用于多模态可变形图像配准的方法、系统以及计算机程序产品。
根据本发明的一个方面,提供一种用于多模态可变形图像配准的方法。方法包括两个阶段。在第一阶段中,训练变形模型,以使用来自具有不同变形状态的相同“高清晰度”成像模态的图像来确定平均变形和多个变形模式向量。在这一背景中,高清晰度指的是清楚描述感兴趣结构的成像模态。在第二阶段中,估计将来自具有一个变形状态的一个成像模态的图像匹配到来自具有不同变形状态的不同成像模态的图像所需的变形。为了估计在两个不同模态中的两个变形状态之间的变形,提取在两个模态中唯一可识别的界标的集合,并且对其进行非线性配准。然后,通过将在所识别的界标处计算的变形值插入变形模型并且求解变形模式的本征系数来实现在每个点处匹配两个模态的变形场。最后,对平均变形场和加权的变形模式向量的线性组合进行求和,以确定在剩余点处的两个成像模式之间的变形场。
根据一个实施例,平均变形和多个变形模式向量通过以下进行计算:对于每个对象,将图像与共同参考框架进行空间对齐;使用相似度度量(诸如基于强度的度量)和非线性变换技术(诸如BSpline)使每个对象的来自相同成像模态和不同变形状态的成像数据扭曲;以及执行主成分分析,以确定平均变形和多个变形模式向量。
根据一个实施例,不是在训练阶段中在(具有不同变形状态的)相同模态的强度图像之间应用可变形配准,而是可以使用大量界标的集合。在这一实施例中,不是执行基于强度的配准,而是在处于两个不同的变形状态的所有界标之间执行基于点的非线性配准,以生成针对感兴趣的身体结构的变形场。然后,根据多个对象的变形场计算平均变形和变形模式本征向量。
根据一个实施例,来自不同成像模态的图像处于来自用于计算平均变形和多个变形模式向量的所有的变形状态的不同变形状态。例如,与TRUS探头相关联的前列腺的变形状态,其不同于与在MRI成像期间使用的直肠内线圈相关联的变形状态和在MRI成像期间不具有直肠内线圈的零变形状态。
根据一个实施例,不同的成像模态是实时成像模态。在一个实施例中,该实时成像模态是使用TRUS探头的超声成像。
根据本发明的另一方面,提供一种用于执行多模态可变形成像配准的系统。所述系统包括:至少一个处理器;至少一个可操作地连接到处理器的存储器;以及,至少一个指令程序,所述指令程序被存储在至少一个存储器上,并且可由至少一个处理器执行。指令程序包括:用于根据来自具有多个对象的不同变形状态的相同的高清晰度成像模式的图像来计算身体结构的平均变形和多个变形模式本征向量的程序指令;用于执行来自高清晰度成像模态与来自相同对象的不同成像模态的界标点的集合之间的非线性配准以计算针对来自图像的界标的变形场的程序指令;用于使用在具有平均变形和变形模式向量的界标处的变形场值来确定针对每个变形模式本征向量的权重的程序指令;以及,用于对平均变形场和经加权的变形模式向量的线性组合进行求和以确定在不同成像模式之间的变形场的程序指令。
根据一个实施例,所述系统还包括使用不同成像模态的实时成像系统。
根据一个实施例,所述实时成像系统是超声成像系统,并且还包括可操作地连接到至少一个处理器以生成成像数据的经直肠超声换能器。
根据一个实施例,所述系统还包括可操作地与至少一个处理器连接以生成高清晰度图像的高清晰度成像系统。
根据一个实施例,所述高清晰度成像系统是可操作地连接到磁共振成像设备的磁共振成像系统。
根据一个实施例,所述系统还包括被放置在对象中以增强高清晰度成像系统的成像的直肠内线圈。
根据一个实施例,平均变形和多个变形模式向量通过以下操作进行计算:对于每个对象,将图像与共同参考框架进行空间对齐;使用相似度度量(诸如基于强度的度量)和非线性变换技术(诸如BSpline)使针对每个对象的来自相同成像模态但是不同变形状态的成像数据扭曲;并且执行主成分分析,以确定平均变形和多个变形模式向量。
根据本发明的另一方面,提供一种用于执行多模态可变形成像配准的计算机程序产品,所述计算机程序产品包括至少一个计算机可读存储设备,所述计算机可读存储设备具有被编码在其上的至少一个计算机可执行指令程序,至少一个计算机可执行指令程序包括:用于根据来自具有多个对象的不同变形状态的相同高清晰度成像模式的图像来计算身体结构的平均变形和多个变形模式本征向量的程序指令;用于执行来自高清晰度成像模态与来自针对相同对象的不同成像模态的图像之间的界标点的配准以计算针对来自图像的界标的变形场的程序指令;用于使用在具有平均变形和变形模式向量的界标处的变形场值来确定针对每个变形模式本征向量的权重的程序指令;以及,用于对平均变形场和经加权的变形模式向量的线性组合进行求和以确定不同成像模式之间的变形场的程序指令。
根据一个实施例,用于计算平均变形和多个变形模式向量的程序指令包括:用于针对每个对象将图像与共同参考框架进行空间对齐的程序指令;使用相似度度量(诸如基于强度的度量)和非线性变换技术(诸如BSpline)使针对每个对象的来自相同成像模态但是不同变形状态的成像数据扭曲的程序指令;以及,用于执行主成分分析以确定平均变形和多个变形模式向量的程序指令。
附图说明
当结合附图阅读时,根据优选实施例的如下详细说明将更加清楚地理解本发明的特征和优点。以下图包含在附图中:
图1是根据本发明的实施例的用于提供针对多模态可变形图像配准的第一图像采集的系统的等距视图;
图2是根据本发明的实施例的用于提供针对多模态可变形图像配准的第二图像采集的系统的等距视图;
图3是根据本发明的实施例的用于提供多模态可变形图像配准的系统的方框图;
图4是根据本发明的实施例的用于训练在多模态可变形成像配准中使用的变形模型的方法的流程图;以及
图5是根据本发明的实施例的用于估计在多模态可变形的成像配准中的变形的方法的流程图。
具体实施方式
本发明提供了一种用于多模态可变形成像配准的方法、系统以及计算机程序产品。在两个阶段中执行多模态可变形配准。在第一阶段中,针对被配准图像的位置的身体结构,生成变形模型。针对多个对象中的每个使用来自具有不同变形状态的相同高清晰度成像模式的图像来生成模型。以平均变形和多个变形模式向量的形式生成变形模型。
在第二阶段中,估计变形场,用于将来自第一阶段的一个变形状态处的高清晰度成像模式的图像变形为来自具有不同变形状态的另一成像模态的图像。通过使用在两个成像模态中的唯一可识别的界标的集合,执行在来自不同模态的图像之间的配准,从而估计要求匹配来自不同模态的单个对象的图像的变形场。针对有限数目的界标的计算的变形值用于确定针对变形模式向量中的每个的权重。为了确定在剩余的点(除了用于前述配准的界标)处的两个不同成像模态之间的变形场,对平均变形场和加权的变形模式向量的线性组合进行求和。
图1示出了根据本发明的实施例的用于提供多模态可变形成像配准的第一阶段的系统。所述系统包括高清晰度成像设备170。在图示的范例中,高清晰度成像设备是用于获得MRI图像的MRI设备。然而,应当理解,也可以使用任何其他高清晰度成像设备(诸如CT或超声机)来实践本发明。
用于执行多模态可变形图像配准的第一阶段的系统也包括处理系统100,诸如通用计算机或其他处理设备。
图3是根据本发明的实施例的用于执行多模态可变形图像配准的系统的方框图。如图3中所示,处理系统100(图1)包括处理器110、存储器130以及输入/输出(I/O)连接器115,所述存储器130例如通过诸如系统总线120可操作地连接到所述处理器,并且所述输入/输出(I/O)连接器115将成像设备170可操作地连接到处理器110。处理器110可以是能够执行程序指令的任何设备,诸如一个或多个微处理器。此外,处理器110可以被实施在通用计算机中。
存储器130可以是适合于存储数据和程序指令的任何易失性或非易失性存储设备,诸如,可移动磁盘、硬盘驱动器、CD、随机存取存储器(RAM)、只读存储器(ROM),等等。此外,存储器130可以包括一个或多个存储设备。
I/O连接器115可以是可操作地将处理器110连接到成像设备170、另一计算机或数据源的任何硬件。I/O连接器可以包括但不限于RS232串行接口、以太网以及USB端口。
处理系统100还包括被存储在存储器130上并且由处理器110执行以接收和处理来自成像设备170的成像数据并且在显示器140上显示图像的成像程序132。成像程序132可以是适于用以获得高清晰度图像的成像设备的类型的任何已知的成像程序,并且可以包括用于各种图像处理功能的模块或单元。
处理系统100还包括建模程序134,所述建模程序134生成用于多模态图像配准的变形模型,这将在本文中详细描述。
图4是根据本发明的实施例的用于训练在多模态可变形成像配准中使用的变形模型的方法的流程图。在下面的描述中,描述了将前列腺的MRI图像配准到相同对象的前列腺的实时超声图像用于图像引导过程(诸如前列腺活检或近距治疗)的实施例。然而,本领域技术人员将会理解,额外的实施例可以用于除了MRI、超声或两者的其他成像模态。而且,额外的实施例可以用于不同的身体结构和不同的过程。
成像程序132获得针对多个对象中的每个的具有不同变形状态的高清晰度图像(步骤410)。在图示的范例中,在第二变形状态处获取具有被插入直肠的直肠内线圈(ERC)180而引起前列腺变形的图像,并且在第一变形状态处,图像不具有ERC。如本领域已知的,ERC用于增强前列腺MRI图像的图像质量。选择对象的数目使得其大于将在变形模型中使用的模式向量的数目。例如,可以使用50的对象数量。
任选地,分割的图像允许一个体素一个体素的识别和配准。
来自第一变形状态(w/o ERC MRI)处的所有对象的图像被空间对齐到模板,诸如来自所有对象的w/o ERC图像的平均值(步骤430)。使用刚性变换、仿射变换或非线性配准或三者的组合能够实现空间对齐。
然后,使用基于强度的度量针对每个对象将第一变形状态(w/o ERC)MRI图像与来自相同对象的第二变形状态(w/ERC)MRI图像进行空间对齐(步骤440)。
在将第一变形状态(w/o ERC)MRI图像与来自相同对象的第二变形状态(w/ERC)MRI图像进行空间对齐之后,第一变形状态(w/o ERC)MRI图像被非线性地扭曲为来自相同对象的第二变形状态(w/ERC)MRI图像(步骤450)。对每个对象重复非线性扭曲。
可以使用具有基于强度的度量的B-Spline配准技术执行非线性扭曲。备选地,可以使用诸如有限元法的另一非线性估计技术来将第二状态图像数据扭曲到相同对象的第一阶段图像数据,以获得针对每个对象的前列腺的变形场。针对变形场的公式如下:
其中,d<i>分别代表从针对样本训练数据i和平均变形场的w/oERC MRI到wERC MRI的非线性配准得到的变形场。
然后,计算平均变形,并且使用主成分分析来从在多模态图像配准的第一(模型)阶段中使用的对象的位移场导出变形模式(步骤460)。
通过对多个对象的变形取平均值计算平均变形
d &OverBar; = 1 n &Sigma; i = 1 n d < i >                         (公式2)
其中,n是数据集合或样本或被成像的患者的数目,并且i=1、2,…,n指的是数据集合的指数。
PCA用于根据如下的样本图像的位移场导出变形模式。如果所计算的位移场(具有x、y、z三个分量)为Di(mx3),通过将来自数据集合的所有数据点的x、y、z分量联系起来将每个变形场重新格式化为一维向量。
协方差矩阵Σ被计算如下:
Σ=DTD                              (公式3)
其中,
变形本征向量的矩阵Ψ(其对角化协方差矩阵)为:
Ψ-1ΣΨ=Λ                             (公式4)
其中,Λ=|λi|nxn是具有Σ的本征值的对角矩阵,作为其对角元素。
位移场矩阵(Dmxn)的本征向量(其中,m是在数据集合中的数据点的数目)为:
Φi=DΨΛ-1/2                         (公式5)
根据平均变形的线性组合加上变形模式的线性组合能够估计任何位移场如下:
其中,k是变形模式的数目,并且k□n。
在备选实施例中,第一阶段或训练阶段包括使用界标的巨大集合代替基于强度的配准来计算变形场。并非在来自(具有不同变形状态的)相同成像模态的强度图像之间应用变形配准,而是可以使用界标的巨大集合。根据不同变形状态处的相同成像模态测量界标。在针对一个变形状态的界标位置与针对其他变形状态的界标位置之间执行配准,以生成变形场。使用例如主成分分析,根据变形场能够计算平均变形和变形模式本征向量。在这一实施例中,针对训练阶段的界标的集合远大于在第二阶段中使用以计算针对变形模式本征向量的权重的界标的集合。
图2示出了根据本发明的实施例的用于提供多模态可变形成像配准的第二阶段的系统。所述系统包括与高清晰度成像设备170是不同成像模态的第二成像设备250。在图示的范例中,第二成像设备是超声成像探头,更具体为用于获取图像引导的介入过程(诸如,前列腺活检)的实时图像的经直肠超声换能器(TRUS)。然而,应当理解,可以使用任何实时成像设备或其他成像设备以实践本发明。
TRUS 250可操作地与成像系统200连接。如图3所示,成像系统200包括处理器210,所述处理器210用于处理来自从TRUS 250接收的成像数据的超声图像并且将其呈现在显示器240上。例如,处理器210诸如通过总线220与存储器230(图3)可操作地连接。输入/输出(I/O)连接器215将成像设备250可操作地连接到处理器210,并且将高清晰度成像系统100可操作地连接到处理器210。
处理器210可以是能够执行程序指令的任何设备,诸如一个或多个微处理器。此外,处理器210可以被实施在通用计算机中。
存储器230可以是适合用于存储数据和程序指令的任何易失性或非易失性存储设备,诸如,可移动磁盘、硬盘驱动器、CD、随机存取存储器(RAM)、只读存储器(ROM),等等。此外,存储器230可以包括一个或多个存储设备。
I/O连接器215可以是将处理器210可操作地连接到成像设备250、其他计算机或数据源的任何硬件。I/O连接器可以包括但不限于RS232串行接口、以太网以及USB端口。
尽管成像系统200和高清晰度成像系统100被示为两个单独的系统,但是实际上它们可以是在单个通用计算机中实施的相同系统。备选地,可以向在存储设备上的成像系统200提供来自高清晰度成像系统100的成像数据或在网络上(诸如内联网或互联网)在系统之间发射来自高清晰度成像系统100的成像数据。
存储器230具有被编码在其上的可由处理器210执行的成像指令程序232,以接收来自成像设备250的成像数据,并且生成身体结构的图像。在图示的实施例中,成像设备250是TRUS,并且所生成的图像是前列腺的实时超声图像。
处理器230也具有被编码在其上的可由处理器210执行的估计指令程序234,以估计在多模态可变形成像配准中的变形。
图5是根据本发明的实施例的用于估计在多模态可变形成像配准中的变形的方法的流程图。这是用于提供多模态可变形成像配准的方法的第二阶段。
可由处理器210执行的估计指令程序234将来自针对相同对象的两个不同模态和两个不同变形状态的图像与共同参考进行空间对齐(步骤510)。第一图像模态可以是高清晰度图像模态中的一个,诸如来自在步骤410中采集并且由高清晰度成像系统100的处理器110发送的多个对象的MRI。备选地,可以由高清晰度成像系统100单独从用于训练模板的图像中采集高清晰度图像。
不同的成像模态可以是根据本发明的一个实施例的使用TRUS探头250的实时超声成像模态。备选地,可以使用有益于配准到高清晰度图像的针对任何其他模态的成像系统。
根据一个实施例,两个不同的成像模态被空间对齐到用于训练变形模型的高清晰度图像的平均值。然而,可以使用任何共同参考,只要两个图像被对齐到相同的参考。
估计指令程序234从来自相同对象的两幅图像中提取界标(步骤520)。在图示的实施例中,来自不同模态的图像是使用TRUS探头250实时获取的超声图像。实时TRUS图像用于过程的介入期间的工具引导,诸如前列腺活检。这一实施例中的其他图像是术前MRI图像。执行估计指令程序234的处理器210可以是用于超声成像系统200的处理器或其可以是在成像系统之内或在两个成像系统之外的单独的处理器。
界标可以是在两幅图像中可见的任何界标,诸如尿道的轮廓或前列腺表面轮廓点。例如,可以使用任何已知的点提取方法(诸如基于强度的度量)提取在每幅图像中的针对界标的点。所提取的点的数目优选足以求解在步骤460中计算的所有的变形模式的本征值(或本征权重或本征系数)。
估计指令程序234在两个不同的成像模态之间对所提取的界标进行配准,以确定针对界标点的变换矩阵(步骤530)。这一变换矩阵将仅仅对于界标是准确的,并且将不补偿到身体结构内部的各种变形模式。
使用用于将界标点与来自在步骤460中计算的变形模型的平均变形和本征向量进行匹配的所计算的变形场,在估计指令程序234中的变形模型求解器计算针对每个变形模式i的本征系数αi或本征值,其中,i=1,2,…,k(步骤540)。变形模型求解器计算本征权重如下:
其中,S对应于界标点的集合的指数。
然后,在估计指令程序234中的变形场估计器通过对平均变形和加权的变形模式进行求和来估计针对被成像的身体结构中的所有点的变形场(步骤550)。变形场估计器利用来自步骤540的本征值对来自步骤460的平均变形和来自步骤460的变形模式的线性组合进行求和如下:
其中,P对应于图像中的所有点。
本发明能够采用完全硬件的实施例的形式或采用包含硬件元件和软件元件两者的实施例的形式。在范例性实施例中,本发明被实施在软件中,所述软件包括但不限于固件、常驻软件、微代码等。
此外,本发明可以采用可从计算机可用介质或计算机可读介质访问的计算机程序产品的形式,所述计算机可用介质或计算机可读介质提供由计算机或任何指令执行系统或设备使用或与其连接的程序代码。为了达到该描述的目的,计算机可用介质或计算机可读介质可以是能够包含或存储由指令执行系统、装置或设备使用或与其连接的任何装置。
可以通过包括具有机器可执行指令程序的机器可读介质的程序产品实现前述方法,当由诸如计算机的机器执行时,所述机器可执行指令程序执行方法的步骤。该程序产品可以被存储在任何种类的已知的机器可读介质上,包括但不限于光盘、软盘、USB存储设备等。
介质能够是电学、磁性、光学、电磁学、红外或半导体系统(或装置或设备)。计算机可读介质的范例包括半导体或固态存储器、磁带、可移动计算机软盘、随机存取存储器(RAM)、只读存储器(ROM)、硬磁盘、光盘。光盘的当前范例包括只读存储光盘(CD-ROM)、读写光盘(CD-R/W)以及DVD。
前面的说明和附图意图是图示性的,而不是限制本发明。本发明的范围意图将等价变型和配置涵盖到权利要求的全部范围。

Claims (18)

1.一种用于提供多模态可变形成像配准的方法,所述方法包括以下步骤:
在针对多个对象的不同变形状态处,生成利用高清晰度成像模态采集的感兴趣结构的变形模型;
根据所述模型计算感兴趣身体结构的平均变形和多个变形模式本征向量;
执行来自所述高清晰度成像模态的图像与针对相同对象的不同成像模态的图像之间的界标点的配准,以计算来自所述图像的所述界标点的变形场变换矩阵;
使用在具有所述平均变形和所述变形模式向量的所述界标处的变形场值来确定针对每个变形模式本征向量的权重;以及
对平均变形场和加权的变形模式向量的线性组合进行求和,以确定在不同成像模式之间的所述变形场。
2.根据权利要求1所述的方法,其中,通过以下过程计算所述平均变形和所述多个变形模式向量:
针对每个对象,将所述图像与共同参考框架进行空间对齐;
使用图像相似度度量和非线性变换技术使针对每个对象的来自所述不同变形状态的成像数据扭曲;以及
执行主成分分析,以确定所述平均变形和所述多个变形模式向量。
3.根据权利要求1所述的方法,其中,通过以下过程计算所述平均变形和所述多个变形模式向量:
针对每个对象,测量针对界标的集合的位置;
在所有所述界标之间执行基于点的非线性配准;以及
生成针对所述界标的变形模型。
4.根据权利要求1所述的方法,其中,来自所述不同模态的所述图像处于来自用于计算所述平均变形和所述多个变形模式向量的所有所述变形状态的不同的变形状态。
5.根据权利要求1所述的方法,其中,所述不同成像模态是实时成像模态。
6.根据权利要求5所述的方法,其中,所述不同成像模态是经直肠超声成像(TRUS)。
7.根据权利要求6所述的方法,其中,所述身体结构是前列腺。
8.一种用于提供多模态可变形成像配准的系统,包括:
至少一个处理器;
至少一个存储器,其能够操作地被连接到所述处理器;以及
至少一个指令程序,其被存储在所述至少一个存储器上并且由所述至少一个处理器执行;
其中,所述指令程序包括:
用于根据来自具有多个对象的不同变形状态的相同的高清晰度成像模式的图像来计算身体结构的平均变形和多个变形模式本征向量的程序指令;
用于执行来自所述高清晰度成像模态的图像与来自针对相同对象的不同成像模态的图像之间的界标点的配准,以计算针对来自所述图像的所述界标的变形场变换矩阵的程序指令;
用于使用在具有所述平均变形和所述变形模式向量的所述界标处的变形场值来确定针对每个变形模式本征向量的权重的程序指令;以及
用于对平均变形场和加权的变形模式向量的线性组合进行求和,以确定针对所述图像中的所有点的所述不同成像模式之间的所述变形场的程序指令。
9.根据权利要求8所述的系统,还包括使用所述不同成像模态的实时成像系统。
10.根据权利要求9所述的系统,其中,所述实时成像系统是超声成像系统,并且还包括能够操作地被连接到所述至少一个处理器以生成成像数据的经直肠超声探头。
11.根据权利要求8所述的系统,还包括高清晰度成像系统,所述高清晰度成像系统与用于生成所述高清晰度图像的所述至少一个处理器能够操作地连接。
12.根据权利要求11所述的系统,其中,所述高清晰度成像系统是能够操作地被连接到磁共振成像设备的磁共振成像系统。
13.根据权利要求12所述的系统,还包括直肠内线圈,所述直肠内线圈被布置在对象中,以增强所述高清晰度成像系统的成像。
14.根据权利要求8所述的系统,其中,通过以下过程计算所述平均变形和所述多个变形模式向量:
针对每个对象,将所述图像与共同参考框架进行空间对齐;
使用图像相似度度量和非线性变换技术使针对每个对象的来自所述不同变形状态的所述成像数据扭曲;以及
执行主成分分析,以确定所述平均变形和所述多个变形模式向量。
15.一种用于提供多模态可变形成像配准的计算机程序产品,包括至少一个计算机可读存储设备,所述计算机可读存储设备具有被编码在其上的至少一个计算机可执行指令程序,所述至少一个计算机可执行指令程序包括:
用于根据来自具有多个对象的不同变形状态的相同的高清晰度成像模式的图像来计算身体结构的平均变形和多个变形模式本征向量的程序指令;
用于执行来自所述高清晰度成像模态的图像与来自针对相同对象的不同成像模态的图像之间的界标点的配准,以计算针对来自所述图像的所述界标的变形场变换矩阵的程序指令;
用于使用在具有所述平均变形和所述变形模式向量的所述界标处的变形场值来确定针对每个变形模式本征向量的权重的程序指令;以及
用于对平均变形场和加权的变形模式向量的线性组合进行求和,以确定所述不同成像模式之间的所述变形场的程序指令。
16.根据权利要求15所述的计算机程序产品,其中,所述用于计算所述平均变形和所述多个变形模式向量的所述程序指令包括:
用于针对每个对象将所述图像空间地对准到共同参考框的程序指令;
用于使用基于强度的度量和非线性变换技术使来自所述不同的变形状态的每个对象的所述成像数据扭曲的程序指令;以及
用于执行主成分分析,以确定所述平均变形和所述多个变形模式向量的程序指令。
17.根据权利要求15所述的计算机程序产品,其中,用于计算所述平均变形和所述多个变形模式向量的所述程序指令包括:
用于测量每个对象的界标的集合的位置的程序指令;
用于执行在所有所述界标之间的基于点的非线性配准的程序指令;以及
用于生成针对所述界标的变形模型的程序指令。
18.一种成像系统,其被配置为将来自高清晰度模态的图像与来自另一模态的图像进行配准,通过组合在具有身体结构的统计学的变形模型的所述模态之间的可识别的界标的有限数目的非线性映射确定所述配准。
CN201380013910.7A 2012-03-15 2013-03-13 多模态可变形配准 Active CN104169969B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261611071P 2012-03-15 2012-03-15
US61/611,071 2012-03-15
US201261679218P 2012-08-03 2012-08-03
US61/679,218 2012-08-03
PCT/IB2013/051991 WO2013136278A1 (en) 2012-03-15 2013-03-13 Multi-modality deformable registration

Publications (2)

Publication Number Publication Date
CN104169969A true CN104169969A (zh) 2014-11-26
CN104169969B CN104169969B (zh) 2017-03-29

Family

ID=48468679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380013910.7A Active CN104169969B (zh) 2012-03-15 2013-03-13 多模态可变形配准

Country Status (6)

Country Link
US (1) US9240032B2 (zh)
EP (1) EP2826019B1 (zh)
JP (1) JP6207534B2 (zh)
CN (1) CN104169969B (zh)
RU (1) RU2014141502A (zh)
WO (1) WO2013136278A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106575441A (zh) * 2014-06-13 2017-04-19 美国西门子医疗解决公司 重构内运动校正
CN107004267A (zh) * 2014-12-15 2017-08-01 皇家飞利浦有限公司 图像配准质量控制
CN109073725A (zh) * 2015-09-09 2018-12-21 皇家飞利浦有限公司 用于规划和执行重复介入流程的系统和方法
CN109313627A (zh) * 2016-03-17 2019-02-05 映佳控制公司 对丢失的输入信息具有鲁棒性的用于处理任务的方法和系统
CN111047629A (zh) * 2019-11-04 2020-04-21 中国科学院深圳先进技术研究院 多模态图像配准的方法、装置、电子设备及存储介质
US11484279B2 (en) 2018-09-24 2022-11-01 Siemens Medical Solutions Usa, Inc. Systems to assess projection data inconsistency

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9401051B2 (en) * 2010-06-23 2016-07-26 Varian Medical Systems International Ag Mechanism for dynamically propagating real-time alterations of medical images
KR102114415B1 (ko) * 2013-01-29 2020-05-22 삼성전자주식회사 의료 영상 정합 방법 및 장치
EP3021747A4 (en) * 2013-07-15 2017-03-22 Tel HaShomer Medical Research Infrastructure and Services Ltd. Mri image fusion methods and uses thereof
CN104515961B (zh) * 2013-09-30 2018-02-13 西门子(深圳)磁共振有限公司 磁共振成像方法和装置
CN105593902A (zh) * 2013-09-30 2016-05-18 皇家飞利浦有限公司 用于自动可变形配准的方法和系统
CN106456084B (zh) 2014-06-18 2021-01-22 皇家飞利浦有限公司 超声成像装置
GB2529139B (en) * 2014-07-08 2017-08-02 Siemens Medical Solutions Usa Inc Methods and systems for feature-based registration of patient medical images
CN106663321B (zh) * 2014-07-15 2021-04-06 皇家飞利浦有限公司 包括利用个性化模板图像的立体定位标准化的成像数据统计测试
GB201416416D0 (en) * 2014-09-17 2014-10-29 Biomediq As Bias correction in images
DE102014219915B3 (de) * 2014-10-01 2015-11-12 Siemens Aktiengesellschaft Verfahren zur Kompensation von durch eine zyklische Bewegung eines Patienten auftretenden Ortszuordnungsfehlern von PET-Daten und Bildaufnahmesystem
JP6682243B2 (ja) * 2015-01-09 2020-04-15 キヤノンメディカルシステムズ株式会社 医用画像診断装置、画像処理装置及び画像処理方法
US10402969B2 (en) * 2017-03-10 2019-09-03 General Electric Company Methods and systems for model driven multi-modal medical imaging
JP7139637B2 (ja) * 2018-03-19 2022-09-21 株式会社リコー 画像処理装置及び投影システム
CN109544447B (zh) * 2018-10-26 2022-10-21 广西师范大学 一种图像拼接方法、装置及存储介质
CN113393498B (zh) * 2021-05-26 2023-07-25 上海联影医疗科技股份有限公司 图像配准方法、装置、计算机设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080260230A1 (en) * 2005-09-16 2008-10-23 The Ohio State University Method and Apparatus for Detecting Intraventricular Dyssynchrony
US20090190815A1 (en) * 2005-10-24 2009-07-30 Nordic Bioscience A/S Cartilage Curvature
US20110142308A1 (en) * 2009-12-10 2011-06-16 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
CN102224525A (zh) * 2008-11-25 2011-10-19 皇家飞利浦电子股份有限公司 提供用于配准的图像
CN102317971A (zh) * 2009-02-11 2012-01-11 皇家飞利浦电子股份有限公司 基于运动模型的组间图像配准

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7103399B2 (en) * 2003-09-08 2006-09-05 Vanderbilt University Apparatus and methods of cortical surface registration and deformation tracking for patient-to-image alignment in relation to image-guided surgery
US8358819B2 (en) * 2005-06-24 2013-01-22 University Of Iowa Research Foundation System and methods for image segmentation in N-dimensional space
US20070167784A1 (en) 2005-12-13 2007-07-19 Raj Shekhar Real-time Elastic Registration to Determine Temporal Evolution of Internal Tissues for Image-Guided Interventions
US8036436B2 (en) * 2006-10-10 2011-10-11 Cedara Software Corp. System and method for segmenting a region in a medical image
US8175350B2 (en) * 2007-01-15 2012-05-08 Eigen, Inc. Method for tissue culture extraction
CA2683805C (en) * 2007-04-13 2014-09-23 The Regents Of The University Of Michigan Systems and methods for tissue imaging
US20090326363A1 (en) 2008-05-02 2009-12-31 Eigen, Llc Fused image modalities guidance
DE102008032006B4 (de) * 2008-07-07 2017-01-05 Siemens Healthcare Gmbh Verfahren zur Steurung der Bildaufnahme bei einer Bildaufnahmeeinrichtung, sowie eine Bildaufnahmeeinrichtung
US9521994B2 (en) * 2009-05-11 2016-12-20 Siemens Healthcare Gmbh System and method for image guided prostate cancer needle biopsy
GB0913930D0 (en) * 2009-08-07 2009-09-16 Ucl Business Plc Apparatus and method for registering two medical images
JP2014056371A (ja) * 2012-09-12 2014-03-27 Fujitsu Semiconductor Ltd 画像処理装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080260230A1 (en) * 2005-09-16 2008-10-23 The Ohio State University Method and Apparatus for Detecting Intraventricular Dyssynchrony
US20090190815A1 (en) * 2005-10-24 2009-07-30 Nordic Bioscience A/S Cartilage Curvature
CN102224525A (zh) * 2008-11-25 2011-10-19 皇家飞利浦电子股份有限公司 提供用于配准的图像
CN102317971A (zh) * 2009-02-11 2012-01-11 皇家飞利浦电子股份有限公司 基于运动模型的组间图像配准
US20110142308A1 (en) * 2009-12-10 2011-06-16 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106575441A (zh) * 2014-06-13 2017-04-19 美国西门子医疗解决公司 重构内运动校正
US10304219B2 (en) 2014-06-13 2019-05-28 Siemens Medical Solutions Usa, Inc. Intra reconstruction motion correction
CN107004267A (zh) * 2014-12-15 2017-08-01 皇家飞利浦有限公司 图像配准质量控制
CN107004267B (zh) * 2014-12-15 2021-02-09 皇家飞利浦有限公司 图像配准质量控制
CN109073725A (zh) * 2015-09-09 2018-12-21 皇家飞利浦有限公司 用于规划和执行重复介入流程的系统和方法
CN109073725B (zh) * 2015-09-09 2021-02-19 皇家飞利浦有限公司 用于规划和执行重复介入流程的系统和方法
CN109313627A (zh) * 2016-03-17 2019-02-05 映佳控制公司 对丢失的输入信息具有鲁棒性的用于处理任务的方法和系统
US11484279B2 (en) 2018-09-24 2022-11-01 Siemens Medical Solutions Usa, Inc. Systems to assess projection data inconsistency
CN111047629A (zh) * 2019-11-04 2020-04-21 中国科学院深圳先进技术研究院 多模态图像配准的方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US20150043794A1 (en) 2015-02-12
CN104169969B (zh) 2017-03-29
JP2015515297A (ja) 2015-05-28
WO2013136278A1 (en) 2013-09-19
EP2826019A1 (en) 2015-01-21
JP6207534B2 (ja) 2017-10-04
RU2014141502A (ru) 2016-05-10
EP2826019B1 (en) 2016-05-18
US9240032B2 (en) 2016-01-19

Similar Documents

Publication Publication Date Title
CN104169969A (zh) 多模态可变形配准
Liu et al. Deformable registration of cortical structures via hybrid volumetric and surface warping
Jog et al. MR image synthesis by contrast learning on neighborhood ensembles
Vincent et al. Fully automatic segmentation of the prostate using active appearance models
Martin et al. Atlas-based prostate segmentation using an hybrid registration
US20160217560A1 (en) Method and system for automatic deformable registration
WO2010034099A1 (en) Ac-pc segmentation system and method
Shahedi et al. Spatially varying accuracy and reproducibility of prostate segmentation in magnetic resonance images using manual and semiautomated methods
US20140161329A1 (en) Method and system for binary and quasi-binary atlas-based auto-contouring of volume sets in medical images
Zheng Cross-modality medical image detection and segmentation by transfer learning of shapel priors
Hopp et al. 2D/3D registration for localization of mammographically depicted lesions in breast MRI
Firjani et al. A new 3D automatic segmentation framework for accurate extraction of prostate from diffusion imaging
Shah et al. Quantification and visualization of mri cartilage of the knee: A simplified approach
Onofrey et al. Learning nonrigid deformations for constrained point-based registration for image-guided MR-TRUS prostate intervention
Marsousi et al. Kidney detection in 3-D ultrasound imagery via shape-to-volume registration based on spatially aligned neural network
Wildeman et al. 2D/3D registration of micro-CT data to multi-view photographs based on a 3D distance map
WO2014106747A1 (en) Methods and apparatus for image processing
Foroughi et al. Elastic registration of 3d ultrasound images
Iglesias et al. Synthetic MRI signal standardization: application to multi-atlas analysis
Foroughi et al. A modified HAMMER algorithm for deformable registration of ultrasound images
Zhang et al. Model-based nonrigid image registration using scale-invariant features
Thieu et al. Segmentation by a local and global fuzzy Gaussian distribution energy minimization of an active contour model
Chang et al. Deformable Registration Algorithm via Non-subsampled Contourlet Transform and Saliency Map
Rosas-Romero et al. Multi-modal 3D image registration based on estimation of non-rigid deformation
Khoualed et al. A new curves-based method for adaptive multimodal registration

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant