CN101198981A - 用于比较第一和第二图像的基于模型的弹性图像配准方法 - Google Patents
用于比较第一和第二图像的基于模型的弹性图像配准方法 Download PDFInfo
- Publication number
- CN101198981A CN101198981A CNA2006800212615A CN200680021261A CN101198981A CN 101198981 A CN101198981 A CN 101198981A CN A2006800212615 A CNA2006800212615 A CN A2006800212615A CN 200680021261 A CN200680021261 A CN 200680021261A CN 101198981 A CN101198981 A CN 101198981A
- Authority
- CN
- China
- Prior art keywords
- image
- restricted structure
- constraint
- point
- priori
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 239000000463 material Substances 0.000 claims abstract description 25
- 238000005457 optimization Methods 0.000 claims abstract description 19
- 230000008520 organization Effects 0.000 claims abstract description 3
- 238000003384 imaging method Methods 0.000 claims description 11
- 230000005489 elastic deformation Effects 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 230000002452 interceptive effect Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000006073 displacement reaction Methods 0.000 abstract description 6
- 238000000638 solvent extraction Methods 0.000 abstract 1
- 210000004072 lung Anatomy 0.000 description 13
- 230000008901 benefit Effects 0.000 description 7
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 239000000700 radioactive tracer Substances 0.000 description 7
- 230000002349 favourable effect Effects 0.000 description 5
- 210000000056 organ Anatomy 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 210000001519 tissue Anatomy 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 210000003484 anatomy Anatomy 0.000 description 4
- 239000012858 resilient material Substances 0.000 description 4
- 239000000243 solution Substances 0.000 description 4
- 238000000844 transformation Methods 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 239000003795 chemical substances by application Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000002224 dissection Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000003127 knee Anatomy 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- IVTMXOXVAHXCHI-YXLMWLKOSA-N (2s)-2-amino-3-(3,4-dihydroxyphenyl)propanoic acid;(2s)-3-(3,4-dihydroxyphenyl)-2-hydrazinyl-2-methylpropanoic acid Chemical compound OC(=O)[C@@H](N)CC1=CC=C(O)C(O)=C1.NN[C@@](C(O)=O)(C)CC1=CC=C(O)C(O)=C1 IVTMXOXVAHXCHI-YXLMWLKOSA-N 0.000 description 1
- 101000608154 Homo sapiens Peroxiredoxin-like 2A Proteins 0.000 description 1
- 102100039896 Peroxiredoxin-like 2A Human genes 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000003637 basic solution Substances 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000013013 elastic material Substances 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013152 interventional procedure Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000011369 optimal treatment Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035040 seed growth Effects 0.000 description 1
- 238000002603 single-photon emission computed tomography Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000000700 time series analysis Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G06T3/153—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Processing Or Creating Images (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明旨在改善基于点的弹性配准范例。典型地，基于点的弹性配准通过寻找两个图像中对应点界标(2，4)并使用点对应关系作为约束来对全局位移场进行插值来实现。该方法的局限是其仅能够确保可以识别点界标(2，4)的结构之间的对应性。用于最优化的高计算费用限制了作为选择的概念。本发明的概念提供了一种方法和系统(1)，其中附加变形场约束由以下所施加：划分(PART(IS，IT))一个或多个在第一(3)和第二(5)图像中相对应的受限结构，以及对所述一个或多个受限结构施加得自先验知识的附加约束(fAdd part)。优选示例为i)交互定义的点界标(25)对，ii)对以线(23)或区域(27)或其形状或边界(29，图3)形式的对应结构的自动识别所产生的界标，iii)对应结构的不同材料属性(组织1，组织2)，iv)建立更一般性对应的生理约束。
Description
本发明涉及一种用于比较第一和第二图像的、基于模型的弹性图像配准方法，该方法尤其用于医学和/或生物医学应用。
本发明也涉及一种用于比较第一和第二图像的、基于模型的弹性图像配准相应系统，该系统尤其用于医学和/或生物医学应用。
本发明还涉及一种图像获取设备、图像工作站以及计算机程序产品和信息载体。
图像配准(image registration)是医学图像分析中的重要过程，旨在从相同解剖结构的不同表示中获取补充信息。图像配准的目标是找到使得源和目标图像中的解剖达到最佳可能空间对应关系的变换。有许多使用固定和仿射(affine)变换的算法存在，这些算法明显较那些使用非线性变换的算法简单，但是它们的应用范围受限。尽管经过多年的积极研究，但是仅有为数不多潜在可行的使用非线性变换的解决方案存在。例如“Medical Image Registration”，J.V.Hajnal，D.L.G.Hill和D.J.Hawkes(等人)CRC Press，2001中所描述的，可以通过自动寻找两个图像中对应点界标并使用点界标对应关系作为约束来对全局位移场进行插值或近似来执行基于点(基于界标)的弹性配准。这种方法的局限在于其仅能够确保能够自动识别界标的结构之间的对应性。仅在使用非常密集的点界标分布的情况下才使得图像之间的相似度最大化，否则配准质量可能是差的。
因此，可变形图像配准中的挑战性问题是应付基础非线形变换的复杂性，其经常导致实际使用所不容许的计算费用。例如，非参数变换的使用可能会导致具有数百万种未知的最优化问题，其中仅有几种有效的解决方案在文献中是已知的。例如，一种描述于“Fast fluid registration of medical images”，Bro-Nielsen，M.，Gramkow，C.in：Proc.Visualization in Biomedical Computing(VBC’96)，Hamburg(1996)267-276中；或者“Fast image registration-avariational approach”，Fischer，B.，Modesitzki，J.in：Proc.of the Int.Conf.onNumerical Analysis and Computational Mathematics(NACoM’03)，Cambridge(2003)69-74中。
参数方法的优点在于能够表示具有适度数量参数的非线形变换。一个示例是如Karl Rohr于2000年11月28日在线公布的PAMM第3卷第1期第36-39页的“Spline-Based Elastic Image Resistration”所描述的、基于规则B-spline网格的可变形配准。然而，其性能很大程度上依赖于网格分辨率，精细的网格导致高维搜索空间，而粗糙网格导致小型结构的不正确配准。
“Deformable Image Registration by Adaptive Gaussian Force”，V.Pekar，E.Gladilin in：Proc.ECCV 2004，Workshops CVAMIA and MMBIA，317-328页，布拉格，捷克共和国，2004年5月，LNCS 3117 Springer中提出了进一步的改进，其中假设在要变形图像中的几个独立控制点处应用高斯型力(Gaussian-shaped force)。这导致了一种最优化机制，其中确定用于最大化图像之间相似度的控制点位置以及最佳力的强度和方向。这种方法还允许通过在最优化过程中明确地包括高斯标准偏差来控制个体控制点的局部影响。后者方法使用基于物理的弹性变形模型来引入具有受限影响区域的控制点的适应性不规则网格。虽然这种策略是一种有前途的方法，但是其仅限于其中将图像认为是无限弹性连续体的同质弹性材料，并且受到用于优化的高计算费用的限制，而且计算效率仍然是有限的。
所需要的是还能够用于非同质材料的、提高计算效率并产生更好结果的理念。
这是本发明的切入点，其目的是提供一种尤其适用于医学和/或生物医学应用的、用于比较第一和第二图像的基于模型的弹性图像配准方法和设备，其中即使在处理非同质材料时也提高了计算效率和结果质量。
关于该方法，所述目的由一种用于比较第一和第二图像的、基于模型的弹性图像配准方法来实现，所述方法包括步骤：
-通过基于适应性弹性配准对所述第一和第二图像之间的相似度量度进行最优化来确定最优弹性变形场，其中变形场约束由以下所施加
-自动提供在所述第一和第二图像中的对应控制点界标；
-在所述控制点界标处应用适应性高斯型力作为变换模数。
根据本发明，施加变形场约束的步骤进一步包括：
-在所述第一和第二图像中划分一个或多个相对应的受限结构；
-向所述一个或多个受限结构提供得自先验知识的附加约束。
关于该设备，所述目的由一种用于比较第一和第二图像的、基于模型的弹性图像配准系统来实现，所述系统包括：
-用于通过基于适应性弹性配准对所述第一和第二图像之间的相似度量度进行最优化、来确定最优弹性变形场的装置，
-用于施加变形场约束的装置，其包括
-用于自动提供所述第一和第二图像中对应的控制点界标的装置；
-用于在所述控制点界标处应用适应性高斯型力作为变换模数的装置；
根据本发明，用于施加变形场约束的装置进一步包括：
-用于划分一个或多个在所述第一和第二图像中相对应的受限结构的装置；
-用于向所述一个或多个受限结构提供得自先验知识的附加约束的装置。
在其基本思想中，本发明旨在通过将适应性高斯力的自动最优化过程与向第一和第二图像中对应的受限结构所应用的先验知识相结合、来改善弹性配准范例，所述受限结构由适当的划分处理来识别。这样的处理可以由用户，特别是医师在使用适当条件和各自系统时手工、半自动(例如交互地)、或自动地进行应用。
本发明已经实现了用于划分的工具能够被有效地实现为对图像中的受限结构进行识别，并随后将得自先验知识的附加约束施加到一个或多个受限结构。如将要在本发明概念的已开发配置中所描述的那样，可以各种形式获得先验知识。此外，所述概念导致计算消耗的有效减少，并因此将基于适应性高斯型力的、基于非线性模型的弹性图像配置概念的优点与使用先验知识的实际方法相结合。
特别地，与一般的量度相比较，本发明的概念可获得多种优势。
首先，改善了配准鲁棒性，这是因为它可以保证某些结构在第一(源)图像和第二(目标)图像中相对应，而相反例如在仅应用基于灰度值的相似度量度时，这是难以实现的。如介绍部分中所概述的那样，基于灰度值的相似度量度在不能清楚识别界标时会产生问题。
第二，用于最优化的自由度参数空间是受限的，而且使用计算效率高的局部最优化方法是可行的。
第三，该发明概念允许以交互速度将离线全局最优化概念与在线局部细化概念相结合。这对于类似外科中的在线情形尤其重要。特别地，全局和局部配准精确度要求可以与临床方面的焦距相适应，并且能够改善配准以安全处理高度异类的形态。例如，其在忽略全局相似度量度优化相对于局部相似度量度优化的优势的特定情形下是有利的。
这还导致这个概念的各种应用，其不仅不受限于医学和/或生物医学应用，而且尤其还能够扩展到类似分子成像的应用。
本发明所开发的配置分别在方法和系统的从属权利要求中进行了进一步限定。因此，所提出概念的上述优点被更进一步改进，尤其是所开发的配置给出了引入先验知识的优选概念。
在优选实施例中，所述划分步骤包括对第一和第二图像的分段。这样的分段处理可以通过各种技术来实现，例如通过阈值处理或种子生长技术来实现。
优选地，对于受限结构的先验知识约束作为几何约束进行应用。优选的几何约束通过以点或线或区域的形式定义受限结构来施加。区域或线或点的形状或边界也向受限结构给予了适当的几何约束。其优点是几何约束容易应用，尤其是如果需要时的手动、半手动或自动应用。
在简化的优选配置中，将附加约束作为在第一和第二图像中交互地定义相应点标界来施加。作为另一种优选配置的补充或与其相结合，附加约束可以作为对第一和第二图像中的对应区域或边界的自动、半自动或交互识别所产生的界标来施加。例如，通过手工选择点界标或通过在要配准的图像中应用自动可变形网格适配(其中网格顶点将提供期望的映射)，可以容易地应用以点、线或区域为形式的界标。优选地，所提及类型的网格由上述分段处理所提供。即使在无法清楚地自动识别结构的情形下(例如，基于灰度值)，也可以有利地应用这种概念。
在所开发的进一步有利配置中，用于受限结构的先验知识约束作为生理约束来应用。
作为其示例性的优选配置，可以将对应结构的不同材料属性应用于图像中的某些几何结构。后者可以由点或线或区域或它们的形状或边界等来描绘轮廓。因而有利地考虑了材料的非同质属性。例如，当与图像中的其它结构相比，可以向图像的第一结构给予不同的弹性材料属性。
作为另一个示例，生理关系对于建立明确超越纯几何推理的约束是有用的。尤其是，当不能清楚识别几何界标时，优选应用后一种约束。例如，可以建立空间相邻关系。作为另一个示例，能够给出基于例如示踪器动力学的时间约束来施加先验知识约束。在数学上，对于清楚定义的结构，这样的机制导致更多的类近似(approximation-like)概念而不是严格的类插值(interpolation-like)概念。
如以上所概括的方法和系统及其所开发的配置可以通过任意优选类型的数字电路来实现，由此可获得与数字电路相关的优点。单个处理器或其它单元将实现权利要求中所引用的若干装置的功能。所述类型的数字电路处理器可以在一个或多个多处理器系统中实现。
特别地，本发明概念还导致每个者包括上述系统的图像获取设备和图像工作站。
此外，本发明导致可存储在能够由计算、成像和/或打印机系统读取的介质上的计算机程序产品，所述计算机程序产品包括软件代码部分，当在所述计算、成像和/或打印机系统上执行所述产品时，所述软件代码部分使得所述计算、成像和/或打印机系统执行如上所述的方法。
本发明还导致包括如上所述的计算机程序产品在内的信息载体。
参考下文中所描述的实施例，本发明的这些和其它方面将得到阐述并由此而变得显而易见。
当然，不可能为了描述本发明的目的而对部件或方法论的全部可想到的配置都进行描述，但是本领域技术人员将意识到，可能对本发明进行许多进一步的组合和改变。
特别地，关于所述方法，所描述的实施例并非是强制的。本领域技术人员可以改变步骤的顺序或者使用线程模型、多处理器系统或多个进程同时执行步骤，而不会背离作为本发明意图的概念。可以利用包括若个独立元件的硬件的方式、以及通过适当编程的计算机的方式来实现本发明。特别地，在列举了几个装置的权利要求中，这些装置中的几个可以通过计算机可读软件或者硬件中的一个或相同项来实现。
虽然本发明对CT获取系统具有特别功效，并将与之相关联进行描述，应当理解的是，本发明还可以利用能够再现容积图像数据的其它形式成像设备进行操作。特别地，这样的成像系统包括用于医学获取类似3D-RA，MR，PET，SPECT等数据的系统。
将参考附图获得对本发明更为完整的理解，其中：
图1描述了根据本发明优选实施例、在医学和/或生物医学应用中用于比较第一和第二图像的基于模型的弹性图像配准系统的示意图；
图2描述了根据本发明优选实施例的肺PET/CT配准的源和目标图像，其中向有关材料属性的附加约束施加了肺的经划分受限结构，并且交互式地定义了点界标，两种约束均得自先验知识；
图3描述了在本发明的进一步优选实施例中，作为使用边界映射作为先验知识的附加约束的进一步解剖示例的、具有对腹腔骨盆的放射治疗应用的CT配准的源和目标图像；
图4描述了根据本发明的进一步优选实施例的膝盖示例的MRI配准的源和目标图像以及各自变形的网格图像，其中作为附加先验知识约束而使用平滑变形场用于较少压缩的材料；
图5描述了根据本发明的进一步优选实施例、用于肺PET/CT配准的如图4所示的那些图像，其中作为先验知识的附加约束而使用非同质变形场用于较多压缩的材料；
图6描述了根据本发明优选实施例的进一步解剖示例的PET/CT配准的源和目标图像，其中使用了附加点界标作为先验知识。
如图1所述，此时本发明的优选实施例针对图像基于物理的配准，即源图像IS(x)由附图标记3所表示，而目标图像IT(x)由附图标记5所表示。在用于比较第一图像3和第二图像5的弹性图像配准中，这些图像被建模为在外力f的应用下变形的物理连续体(弹性固体，液体等)。基于物理的配准问题可以用公式表达为在具有边界Ω(Ω＝ΩυΩ)的空间域Ω中寻找弹性变形：Ω→R3。弹性变形或位移场由附图标记7来指示。作为基础解法，使用了附图标记9所指示类型的、具有适当边界条件的(通常为非线性)偏微分方程(PDE)：L(u)＝f。这里，f：Ω→R3表示作用于基础物理介质上的应用力的向量。其中，u：Ω→R3为位移场，而L是定义材料响应的算子。由附图标记7所给出的弹性变形和位移场之间的联系为(x)＝x+u(x)。通过最优化、尤其是最大化源图像IS(x)和目标图像IT(x)之间的相似度量度M来确定最优弹性变形，这由附图标记11所示。
在优选实施例中，用于比较第一图像3和第二图像5的基于模型的弹性图像配准的相应系统1适于医学和/或生物医学应用。所述系统1包括装置11，其用于通过基于适应性弹性配准来最大化第一图像IS(x)和第二图像IT(x)之间的相似度量度11来确定最优的弹性变形场7。变形约束由装置13施加，该装置13用于自动地提供第一图像3中的控制点界标2以及第二图像5中的对应控制点界标4。此外，系统1提供装置15，其用于在控制点界标2，4处应用适应性高斯型力fG作为变换模数。
对界标2，4的位置、所应用力fG的方向和大小及其影响区域进行最优化以达到图像3和5(即IS(x)和IT(x)之间的相似度量度的最大值。
根据本发明的概念，系统1的优选实施例提供了用于施加附加变形场约束的装置17。装置17进一步包括装置19，用于相对应地在第一图像3和第二图像5中划分一个或多个受限结构；以及装置21，用于向一个或多个受限结构(例如界标2、4所指示的结构)提供得自先验知识的附加约束fAdd part。
如图1所述的本发明优选实施例降低了解法处理的复杂度，并由此限制了最优化的计算费用并提高了所述解法处理的效率。此外，此时发明的实施例还实现了对非同质材料执行配准处理，并仍然保持了低的计算消耗。
这是在医学行业和医学工作站中开发鲁棒的弹性图像配准工具实质关注之处。多种临床应用需要全局的弹性配准，其中不得不对在不同时间、利用不同模态或不同患者所获取的图像进行对齐。重要的示例涉及肿瘤诊断和手术，其中不同模态的图像示出肿瘤的不同方面、干预前后图像的对比、对医学图像的时间序列分析、单个图像与解剖学图像的匹配等。
图2说明了在PET/CT肺部研究的配准中提供先验知识的示例。图2在左侧示出CT图像形式的第一图像3，并且在右侧示出PET转换图形式的第二图像5，它们均具有分段的肺部轮廓23和附加的点界标25，二者均起附加的变形场约束的作用。在CT图像和PET转换图中，能够例如通过使用可变形网格适配以及通过网格顶点之间的映射而识别的对应结构、来自动地对肺部和身体轮廓进行分段。这对于点界标25对也是如此，优选地，可以交互地定义所述点界标25对。此外，还可以自动地定义点界标。然而，此时实施例优选用于其中由于图像3、5中的低对比值或不充足的灰度值参数而无法定义点界标的情况。交互、手工或半自动地定义界标23、25本质上有助于降低参考图1所概括的要解决问题的复杂度。
作为图2实施例中的其它附加变形场约束，对由肺部轮廓23所定义的区域27施加生理约束。在肺部轮廓23内部、即区域27中，将弹性属性分配给组织1，该弹性属性不同于分配给肺部轮廓23外部的组织2的弹性属性。结果，在图像3、5配准时，图像中的不同材料被提供以对应结构的不同材料属性。
还有许多用于施加几何约束形式的变形场约束的其它示例。干涉应用是说明该技术的可能实现方式的良好示例。在干涉期间，在操作前所获取的图像(例如CT、MR或核图像)将必须与在线获取的显微镜、内窥镜或超声图像进行配准来监视或计划干涉过程。这些全异模态以及在这些不同环境和患者位置所获取的图像的配准是困难的，这是因为要对大的非线性变形进行补偿，以及缺乏可以在各个图像数据中自动和毫无疑义识别的足够界标。这里，诸如基准标记之类的交互识别的界标、外科手术指令、与从DICOM首部所提取的信息相结合的解剖结构，对于通过提供附加的明确界标和力场约束而将适应性高斯配准处理指引到可接受结果是必不可少的，其中所述DICOM首部伴随着操作前获取的图像并且提供有关患者位置、获取协议的细节、成像解剖域等的信息。
图3中给出了要配准图像中的器官边界之间的点对点对应关系的进一步示例。在最初图像3和随后图像5中的对应解剖结构表示在呈现出不同灰度值的区域之间。例如，一些边界29被指示为骨和组织之间的边界或器官之间的边界。
边界29可以被自动配准，以将可变形模型(例如三角网格)与感兴趣的解剖结构相适配，其中还可以将某些的网格顶点用作界标。在后者的情形下，还可以自动地对在图3中没有附图标记的界标进行配准。
特别在放射治疗的应用中，还可以优选强调局部最优化而不是全局最优化。在进一步改进的示例中，例如在第一步骤中，本发明所提出的概念可以用来实现最优的全局配准，并且此后在第二步骤中，实现某个身体器官或感兴趣的另一身体特征的最优局部配准。
在图4和图5中给出了作为有关材料属性的生理约束而应用的变形场约束的另一示例。
关于图4中的膝盖和图5中的肺，分别在各自变形场6附近示出了作为源的第一图像3和作为目标的第二图像5。
这里，基础变形可以给出用于分配材料属性的线索。例如，在关节运动的运动学研究中，不会发生明显的局部收缩或扩展，从而例如用于图4 MRI配准中的膝部骨那些的不可压缩弹性物质非常适于这样建模的变形场。相反，可高度压缩的弹性材料对于如图5所示的PET/CT肺部图像的配准是有利的，其中呼吸运动在图像中导致相当大的局部扩展和/或压缩。在其中变形场平滑(例如肺部内部)的情形下，较少压缩材料的弹性是有利的。其中变形场非同质的可较多压缩材料可应用到肺部之外的区域。这种基于类似压缩性等的物理属性、向各个解剖结构分配不同材料属性是进一步开发的实施例，并且相对于向图像整体分配变形弹性是有利的。这里，能够通过在最优化处理中明确包括泊松比率v来获取与弹性材料属性相关的先验知识。可以通过v→0.49来实现平滑变形场(可较少压缩的材料)。可以通过v→0.0来实现不同质的变形场(可较多压缩的材料)。特定配准应用的最优值能够通过测试运行来获得、并接着被固定以降低最优化问题的维度。
图6描述了一种结构，其中由PET图像中的箭头所指示的热点位置被用作点界标来将CT图像与PET图像配准。这是几何和生理关系的示例，其用于建立比直接点对点界标对应关系更多的一般性。因为该应用明确超越了纯几何推理，所以这是将先验知识与在高斯力场基础上的配准应用相结合的最先进应用。它解决了分子成像(MI)的特定问题。一个示例是在类似图6中热点的器官或肿瘤的特定区域中聚集示踪剂，这在PET图像中是可看到的，但在CT中却完全无法看到。在这种情况下，仅仅可以建立近似的特定相邻关系。在数学上，这导致近似机制而不是严格插值。
这对于改进示踪剂本体的特定性尤其重要。由于在MI数据中缺少解剖对比，将分子图像与示出解剖对比的(例如由MR或CT所递送的)图像进行配准将变得困难或甚至不可能。示踪剂越特定，它将示出越不寻常的组织摄取，即在MI图像中将出现较少的、当在CT或MR图像中出现时可以与解剖结构明确匹配的解剖对比。这里，需要有关示踪剂聚集中心(CTA)和解剖实体之间的关系的附加信息。这将比简单的点对点对应更具一般性。它们可以基于将CTA限制到诸如器官边界、特定细胞或组织类型等区域之类的特定解剖域的几何关系。作为选择或除此之外，它们可以基于限制对比范围的时间约束来有关示踪剂动力学和获取协议计时进行匹配。这些关系将必须根据对手头的示踪剂本体的动态及目标行为的药物描述来进行推断。
在这里没有详细描述的其它实施例中，可以单独或组合应用所施加的全部变形场约束和以上给出的示例。
总之，本发明旨在改善基于点的弹性配准范例。典型地，通过在两个图像中寻找对应的点界标2、4，并且使用点对应关系作为对全局位移场进行插值的约束来执行基于点的弹性配准。这种方法的局限在于其仅确保能够识别出点界标2、4之处的结构之间的对应。作为选择的概念由于最优化的高计算费用而受到限制。本发明的概念提供了一种方法和系统1，其中附加变形场约束由以下所施加：在第一和第二图像中划分PART(IS，IT)相对应的一个或多个受限结构，以及向所述一个或多个受限结构提供得自先验知识的附加约束fAdd part。优选示例为i)交互定义的点界标25对，ii)对以线23或区域27或其形状或边界(29，图3)形式的对应结构的自动识别所产生的界标，iii)对应结构(如组织1和组织2)的不同材料属性，iv)建立更一般性对应的生理约束。
虽然已经详细描述了本发明，但是以上描述都是说明性而不是限制性的。要理解的是，可以进行多种其它的修改和变化而不背离本发明的范围。
在以上描述、权利要求和/或附图中所独立和以其任意组合形式所公开的特征是用于以其各种形式实现本发明的其它开发配置的素材。
因此，本发明旨在包含全部这些落入所附权利要求的精神和范围之内的改变，修改和变化。特别地，权利要求中的任意参考符号不应被认为是对本发明范围的限制。单词“包括”并不排除其它的元件或步骤。单词“一个”并不排除多个。
附图标记：
1系统
2点界标
3第一图像
4点界标
5第二图像
6变形场
7变形场
11用于确定最优弹性变形场的装置
13用于自动提供点界标的装置
15用于应用适应性高斯型力的装置
17用于施加变形场约束的装置
19用于划分的装置
23线
25点，点界标
27区域
29边界
组织1材料属性
组织2材料属性
M量度
fG高斯型力
PART(IS，IT)划分步骤
fAdd part附加约束
Claims (18)
1.一种用于比较第一(3)和第二(5)图像的基于模型的弹性图像配准方法，所述方法尤其用于医学和/或生物医学应用，所述方法包括步骤：
-通过基于适应性弹性配准对所述第一(3)和第二(5)图像之间的相似度量度(M)进行最优化来确定最优弹性变形场(6，7)，
其中变形场约束由以下所施加
-自动提供所述第一(3)和第二(5)图像中对应的控制点界标(2，4)
-在所述控制点界标(2，4)处应用适应性高斯型力(fG)作为变换模数；
其特征在于
所述施加变形场约束的步骤还包括：
-划分(PART(IS，IT))一个或多个在所述第一(3)和第二(5)图像中相对应的受限结构；
-向所述一个或多个受限结构提供得自先验知识的附加约束(fAdd part)。
2.如权利要求1所述的方法，其特征在于所述划分步骤(PART(IS，IT))包括对所述第一(3)和第二(5)图像的分段。
3.如权利要求1或2所述的方法，其特征在于用于所述受限结构的先验知识约束作为几何约束以应用，尤其是作为关于以点(25)、线(23)或区域(27)或其形状或边界(29，图3)形式的受限结构的几何约束来应用。
4.如权利要求3所述的方法，其特征在于所述附加约束作为以下来施加：
-在所述第一(3)和第二(5)图像中交互定义的对应点界标(25)。
5.如权利要求3所述的方法，其特征在于所述附加约束作为以下来施加：
-自动、半自动或交互识别在所述第一(3)和第二(5)图像中的对应线(23)、区域(27)或边界(29，图3)而产生的界标。
6.如权利要求1至5之一所述的方法，其特征在于用于所述受限结构的先验知识约束作为生理约束或者空间相邻关系来应用，其中所述生理约束特别是有关所述受限结构的材料属性(组织1，组织2)或时间约束(图6)的生理约束。
7.如权利要求6所述的方法，其特征在于所述附加约束作为以下来施加：所述受限结构的弹性属性或组织类型(组织1，组织2)。
8.如权利要求6或7所述的方法，其特征在于所述附加约束通过以下方式进行选择：
-自动、半自动或交互识别。
9.如权利要求1至8之一所述的方法，其特征在于
-至少向所述受限结构之间的边界(29，图3)中的一些点提供边界条件。
10.一种用于比较第一(3)和第二(5)图像的基于模型的弹性图像配准系统，所述系统尤其用于医学和/或生物医学应用，所述系统包括：
-用于通过基于适应性弹性配准对所述第一(3)和第二(5)图像之间的相似度量度(M)进行最优化来确定最优弹性变形场(6，7)的装置(11)，
-用于施加变形场约束的装置(17)，包括
-用于自动提供所述第一(3)和第二(5)图像中对应的控制点界标(2，4)的装置(13)
-用于在所述控制点界标(2，4)处应用适应性高斯型力(fG)作为变换模数的装置(15)；
其特征在于
所述用于施加变形场约束的装置(17)还包括：
-用于划分一个或者多个在所述第一(3)和第二(5)图像中相对应的受限结构的装置(19)；
-用于向一个或多个受限结构提供得自先验知识的附加约束(fAdd part)的装置(21)。
11.如权利要求10所述的系统(1)，其特征在于划分装置(19)包括用于对所述第一(3)和第二(5)图像进行分段的装置。
12.如权利要求10或11所述的系统(1)，其特征在于用于所述受限结构的先验知识约束为几何约束的形式，尤其是相对于以点(25)、线(23)或区域(27)或其形状或边界(29，图3)的形式的受限结构为几何约束的形式。
13.如权利要求10至12之一所述的系统(1)，其特征在于用于所述受限结构的先验知识约束为生理约束的形式，尤其是相对于所述受限结构的材料属性(组织1，组织2)或时间约束为生理约束的形式。
14.如权利要求10至13之一所述的系统(1)，其特征在于用于所述附加约束的自动、半自动或交互识别的装置。
15.一种图像获取设备，包括如权利要求10至14之一所述的系统(1)。
16.一种图像工作站，包括如权利要求10至14之一所述的系统(1)。
17.一种可存储在能够由计算、成像和/或打印机系统读取的介质上的计算机程序产品，其包括软件代码部分，当在所述计算、成像和/或打印机系统上执行所述产品时，所述软件代码部分使得所述计算、成像和/或打印机系统执行如权利要求1至9中任一项所述的方法。
18.一种信息载体，包括如权利要求17所述的计算机程序产品。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP05105238.9 | 2005-06-15 | ||
| EP05105238 | 2005-06-15 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN101198981A true CN101198981A (zh) | 2008-06-11 |
Family
ID=37395855
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNA2006800212615A Pending CN101198981A (zh) | 2005-06-15 | 2006-06-14 | 用于比较第一和第二图像的基于模型的弹性图像配准方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20080205719A1 (zh) |
| EP (1) | EP1894161A2 (zh) |
| JP (1) | JP2008546441A (zh) |
| CN (1) | CN101198981A (zh) |
| WO (1) | WO2006134565A2 (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102395999A (zh) * | 2009-04-15 | 2012-03-28 | 皇家飞利浦电子股份有限公司 | 医学图像数据的量化 |
| CN103106653A (zh) * | 2011-08-12 | 2013-05-15 | 西门子公司 | 医学图像数据组的配准质量的可视化方法和装置 |
| CN103429163A (zh) * | 2011-01-05 | 2013-12-04 | 皇家飞利浦电子股份有限公司 | 用于确定身体的实际组织层边界的装置和方法 |
| CN103620646A (zh) * | 2011-06-16 | 2014-03-05 | 皇家飞利浦有限公司 | 基于混合点的配准 |
| CN106056586A (zh) * | 2016-05-25 | 2016-10-26 | 湖南拓视觉信息技术有限公司 | 一种亚像素定位方法及装置 |
| CN106691487A (zh) * | 2017-01-05 | 2017-05-24 | 沈阳东软医疗系统有限公司 | 成像方法和成像系统 |
| CN107851303A (zh) * | 2015-07-17 | 2018-03-27 | 皇家飞利浦有限公司 | 组织病理学图像的配准 |
| CN114187338A (zh) * | 2021-12-08 | 2022-03-15 | 卡本(深圳)医疗器械有限公司 | 一种基于估算2d位移场的器官形变配准方法 |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100272330A1 (en) * | 2007-08-03 | 2010-10-28 | Koninklijke Philips Electronics N.V. | Anatomically constrained image registration |
| EP2044884B1 (de) * | 2007-10-02 | 2015-12-09 | Brainlab AG | Bestimmung und Erkennung von Lageänderungen von Körperstrukturteilen |
| EP2249702A4 (en) * | 2008-03-04 | 2012-01-25 | Tomotherapy Inc | METHOD AND SYSTEM FOR ENHANCED IMAGE SEGMENTATION |
| JP5147656B2 (ja) * | 2008-11-20 | 2013-02-20 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム、及び記憶媒体 |
| CN102549623B (zh) * | 2009-06-10 | 2014-11-19 | 皇家飞利浦电子股份有限公司 | 用于将图像数据集可视化的可视化设备 |
| CN102460509B (zh) * | 2009-06-24 | 2015-01-07 | 皇家飞利浦电子股份有限公司 | 基于图像信息建立结构的轮廓 |
| WO2011010231A1 (en) * | 2009-07-20 | 2011-01-27 | Koninklijke Philips Electronics N.V. | Anatomy modeling for tumor region of interest defiinition |
| WO2012035538A1 (en) * | 2010-09-16 | 2012-03-22 | Mor Research Applications Ltd. | Method and system for analyzing images |
| WO2012109641A2 (en) * | 2011-02-11 | 2012-08-16 | Emory University | Systems, methods and computer readable storage mediums storing instructions for 3d registration of medical images |
| WO2014022480A1 (en) * | 2012-07-31 | 2014-02-06 | Henry Ford Health System | Deformable dosimetric phantom |
| SG11201503711YA (en) | 2012-11-23 | 2015-06-29 | Cadens Medical Imaging Inc | Method and system for displaying to a user a transition between a first rendered projection and a second rendered projection |
| US9443633B2 (en) | 2013-02-26 | 2016-09-13 | Accuray Incorporated | Electromagnetically actuated multi-leaf collimator |
| JP6131161B2 (ja) * | 2013-09-27 | 2017-05-17 | 富士フイルム株式会社 | 画像位置合わせ装置、方法、およびプログラム、並びに３次元変形モデル生成方法 |
| CN106030655B (zh) | 2014-01-06 | 2019-07-23 | 皇家飞利浦有限公司 | 脑的磁共振图像中的铰接结构配准 |
| US10635930B2 (en) * | 2017-02-24 | 2020-04-28 | Siemens Healthcare Gmbh | Patient position control for scanning |
| US11010630B2 (en) | 2017-04-27 | 2021-05-18 | Washington University | Systems and methods for detecting landmark pairs in images |
| CN113724307B (zh) * | 2021-09-02 | 2023-04-28 | 深圳大学 | 基于特征自校准网络的图像配准方法、装置及相关组件 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1695289A1 (en) * | 2003-12-08 | 2006-08-30 | Philips Intellectual Property & Standards GmbH | Adaptive point-based elastic image registration |
| WO2006036842A2 (en) * | 2004-09-24 | 2006-04-06 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer program products for hierarchical registration between a blood vessel and tissue surface model for a subject and blood vessel and tissue surface image for the subject |
| JP5676840B2 (ja) * | 2004-11-17 | 2015-02-25 | コーニンクレッカ フィリップス エヌ ヴェ | 改良された弾性画像レジストレーション機能 |
| JP5015804B2 (ja) * | 2005-01-28 | 2012-08-29 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 運動学的ｍｒ検査におけるモーション解析のためのユーザインタフェース |
| EP1941455A1 (en) * | 2005-10-17 | 2008-07-09 | Koninklijke Philips Electronics N.V. | Motion estimation and compensation of image sequences |
| EP1969564A2 (en) * | 2005-12-20 | 2008-09-17 | University of Maryland, Baltimore | Method and apparatus for accelerated elastic registration of multiple scans of internal properties of a body |
-
2006
- 2006-06-14 US US11/917,155 patent/US20080205719A1/en not_active Abandoned
- 2006-06-14 WO PCT/IB2006/051906 patent/WO2006134565A2/en active Application Filing
- 2006-06-14 CN CNA2006800212615A patent/CN101198981A/zh active Pending
- 2006-06-14 EP EP06765744A patent/EP1894161A2/en not_active Withdrawn
- 2006-06-14 JP JP2008516489A patent/JP2008546441A/ja not_active Withdrawn
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102395999A (zh) * | 2009-04-15 | 2012-03-28 | 皇家飞利浦电子股份有限公司 | 医学图像数据的量化 |
| CN103429163A (zh) * | 2011-01-05 | 2013-12-04 | 皇家飞利浦电子股份有限公司 | 用于确定身体的实际组织层边界的装置和方法 |
| CN103429163B (zh) * | 2011-01-05 | 2015-07-08 | 皇家飞利浦电子股份有限公司 | 用于确定身体的实际组织层边界的装置和方法 |
| US9579079B2 (en) | 2011-01-05 | 2017-02-28 | Koninklijke Philips Electronics N.V. | Device and method for determining actual tissue layer boundaries of a body |
| CN103620646A (zh) * | 2011-06-16 | 2014-03-05 | 皇家飞利浦有限公司 | 基于混合点的配准 |
| CN103620646B (zh) * | 2011-06-16 | 2019-06-04 | 皇家飞利浦有限公司 | 用于生成图像配准图的系统、方法及计算机可读介质 |
| CN103106653A (zh) * | 2011-08-12 | 2013-05-15 | 西门子公司 | 医学图像数据组的配准质量的可视化方法和装置 |
| CN107851303A (zh) * | 2015-07-17 | 2018-03-27 | 皇家飞利浦有限公司 | 组织病理学图像的配准 |
| CN107851303B (zh) * | 2015-07-17 | 2023-03-14 | 皇家飞利浦有限公司 | 组织病理学图像的配准方法和装置 |
| CN106056586A (zh) * | 2016-05-25 | 2016-10-26 | 湖南拓视觉信息技术有限公司 | 一种亚像素定位方法及装置 |
| CN106691487A (zh) * | 2017-01-05 | 2017-05-24 | 沈阳东软医疗系统有限公司 | 成像方法和成像系统 |
| CN114187338A (zh) * | 2021-12-08 | 2022-03-15 | 卡本(深圳)医疗器械有限公司 | 一种基于估算2d位移场的器官形变配准方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2006134565A3 (en) | 2007-02-22 |
| EP1894161A2 (en) | 2008-03-05 |
| US20080205719A1 (en) | 2008-08-28 |
| WO2006134565A2 (en) | 2006-12-21 |
| JP2008546441A (ja) | 2008-12-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101198981A (zh) | 用于比较第一和第二图像的基于模型的弹性图像配准方法 | |
| Ferrante et al. | Slice-to-volume medical image registration: A survey | |
| US9892361B2 (en) | Method and system for cross-domain synthesis of medical images using contextual deep network | |
| Lorenzen et al. | Multi-modal image set registration and atlas formation | |
| Rouet et al. | Genetic algorithms for a robust 3-D MR-CT registration | |
| Kroon et al. | MRI modalitiy transformation in demon registration | |
| So et al. | Non-rigid image registration of brain magnetic resonance images using graph-cuts | |
| Rundo et al. | Multimodal medical image registration using particle swarm optimization: A review | |
| Shao et al. | Locally-constrained boundary regression for segmentation of prostate and rectum in the planning CT images | |
| Chong et al. | Synthesis of 3D MRI brain images with shape and texture generative adversarial deep neural networks | |
| Panda et al. | A novel evolutionary rigid body docking algorithm for medical image registration | |
| Figueiredo et al. | Hybrid multiscale affine and elastic image registration approach towards wireless capsule endoscope localization | |
| Shin et al. | Deep generative adversarial networks: applications in musculoskeletal imaging | |
| Grenander et al. | A pattern-theoretic characterization of biological growth | |
| Ambellan et al. | Rigid motion invariant statistical shape modeling based on discrete fundamental forms: Data from the osteoarthritis initiative and the Alzheimer’s disease neuroimaging initiative | |
| Liu et al. | Coordinate translator for learning deformable medical image registration | |
| Pekar et al. | An adaptive irregular grid approach for 3D deformable image registration | |
| Iglesias | A ready-to-use machine learning tool for symmetric multi-modality registration of brain MRI | |
| Zhong et al. | Deep action learning enables robust 3D segmentation of body organs in various CT and MRI images | |
| Sindhu Madhuri | Classification of image registration techniques and algorithms in digital image processing–a research survey | |
| US20080279428A1 (en) | Adaptive Point-Based Elastic Image Registration | |
| Gallea et al. | Three-dimensional fuzzy kernel regression framework for registration of medical volume data | |
| Pennec | Statistical computing on manifolds for computational anatomy | |
| Huang et al. | Surgical tool segmentation with pose-informed morphological polar transform of endoscopic images | |
| Jeong et al. | Statistics on anatomic objects reflecting inter-object relations |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Open date: 20080611 |