CN104412297A - 图像质量驱动的非刚性图像配准 - Google Patents
图像质量驱动的非刚性图像配准 Download PDFInfo
- Publication number
- CN104412297A CN104412297A CN201380034134.9A CN201380034134A CN104412297A CN 104412297 A CN104412297 A CN 104412297A CN 201380034134 A CN201380034134 A CN 201380034134A CN 104412297 A CN104412297 A CN 104412297A
- Authority
- CN
- China
- Prior art keywords
- registration
- image
- picture quality
- quality
- rigid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000005457 optimization Methods 0.000 claims abstract description 14
- 238000003384 imaging method Methods 0.000 claims description 34
- 238000013441 quality evaluation Methods 0.000 claims description 19
- 230000033001 locomotion Effects 0.000 claims description 18
- 230000002452 interceptive effect Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 description 10
- 230000009466 transformation Effects 0.000 description 9
- 238000002591 computed tomography Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000013507 mapping Methods 0.000 description 7
- 230000005855 radiation Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000007689 inspection Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000011524 similarity measure Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013439 planning Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000001959 radiotherapy Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 238000012913 prioritisation Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000002603 single-photon emission computed tomography Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000004800 variational method Methods 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
一种图像配准装置(118)包括:图像质量驱动的图像配准确定器(202),其针对图像集确定图像质量驱动的图像配准,以基于非刚性配准(204)和配准操纵因子进行配准,所述非刚性配准包括对图像相似度项和正则化项的优化;以及配准部件(206),其使用所述图像质量驱动的图像配准来配准所述图像集。一种方法包括:针对图像集确定图像质量驱动的图像配准,以基于非刚性配准和配准操纵因子进行配准,所述非刚性配准包括对图像相似度项和正则化项的优化;并且使用所述保真度驱动的图像配准来配准所述图像集,从而生成经配准的图像集。
Description
技术领域
以下总体上涉及受配准操纵因子操纵的非刚性(弹性)图像配准,所述配准操纵因子基于已知的成像系统图像质量或对经配准的图像中的至少一幅图像的所确定的图像质量中的至少一个,并且以下利用对计算机断层摄影(CT)的特定应用进行描述。然而,以下也适用于其他成像模态。
背景技术
图像配准是将一幅或多幅图像变换到参考图像的坐标系中的过程。两种公知的变换模型包括刚性(或仿射)变换和非刚性(或弹性)变换。刚性变换一般是线性变换,所述刚性变换包括平移变换、旋转变换以及缩放变换。相反,非刚性变换还局部地扭曲图像,以将图像与参考图像对齐。
非刚性图像配准越来越多地被接受为用于建立CT图像之间的对应性的基础技术。该应用的范围宽广,从而覆盖诸如动态造影成像和在后续研究中的改变量化的频繁应用。然而,非刚性配准通常基于图像相似度项,所述图像相似度项非常易于受不完美的图像质量的影响,所述不完美的图像质量是由例如运动、不完美的成像、高对比目标等引起的最显著的图像伪影。
非刚性图像配准一般包括了对包括图像相似度项(共同的信息或平方差之和)和额外的正则化项的目标函数的迭代优化,其中图像相似度项被最大化,同时额外的正则化项保持在某种意义上能实现的解(例如,通常在得到的变形场的预定的平滑度之内)。
遗憾的是,诸如图像伪影的误导性的图像信息能够引起配准结果中的误差,所述误差难以以自动方式检测到。此外,图像相似度项不能用于检测误差,这是因为图像相似度项是在配准期间被优化的。鉴于前述内容,存在对于处理这样的误导性图像信息的未解决的需要。
发明内容
本文描述的各方面解决了上述问题和其他问题。
在一个方面中,一种图像配准装置包括:图像质量驱动的图像配准确定器,其针对图像集确定图像质量驱动的图像配准,以基于非刚性配准和配准操纵因子进行配准,所述非刚性配准包括对图像相似度项和正则化项的优化;以及使用所述图像质量驱动的图像配准来配准所述图像集的配准部件。
在另一方面中,一种方法包括:针对图像集确定图像质量驱动的图像配准,以基于非刚性配准和配准操纵因子进行配准,所述非刚性配准包括对图像相似度项和正则化项的优化;并且使用保真度驱动的图像配准来配准所述图像集,从而生成经配准的图像集。
在另一方面中,一种方法包括:通过使非刚性配准对不完美的图像信息较不敏感,来改善所述非刚性配准的结果,所述使非刚性配准对不完美的图像信息较不敏感的操作是通过采用利用所述非刚性配准的配准操纵因子来进行的,其中,所述非刚性配准包括对图像相似度项和正则化项的优化。
附图说明
本发明可以采取各种部件和部件的布置,以及各种步骤和步骤的安排的形式。附图仅出于图示优选的实施例的目的,并且不应被说明为对本发明的限制。
图1示意性地图示了与变形向量场确定器和被配置为至少配准图像的图像处理部件相连接的成像系统。
图2图示了图像处理部件的范例。
图3图示了用于基于已知的成像系统图像质量来确定配准操纵因子的范例方法。
图4图示了用于基于对经配准的图像的图像质量的确定来确定配准操纵因子的范例方法。
具体实施方式
以下描述了一种图像配准方法,在所述图像配准方法中,图像配准算法根据图像质量被远离图像相似度项进行操纵,所述图像配准算法包括对具有图像相似度项和正则化项的目标函数的优化,所述图像质量是通过已知的成像系统图像质量或对先前配准的所确定的图像质量中的至少一个来确定的。所述配准能够与来自诸如MR、PET、SPECT、US、X射线的成像模态和/或其他成像模态的图像一起使用;然而,出于说明的目的并且为简要起见,以下联系CT成像系统和CT图像进行描述。
图1示意性地图示了诸如CT扫描器的成像系统100。
成像系统100包括一般为固定的机架102和旋转机架104,所述旋转机架104由固定机架102可旋转地支撑,并且关于z轴围绕检查区域106旋转。诸如X射线管的辐射源108由旋转机架104可旋转地支撑,与旋转机架104一起旋转,并且发射穿过检查区域106的辐射。辐射敏感探测器阵列110对向一角度弧,跨检查区域106与辐射源108相对。探测器阵列110探测穿过检查区域106的辐射,并且针对每个探测到的光子生成指示其的投影数据。
成像系统100能够用于采集移动目标的4D图像集。如本文所利用的,4D图像集包括在移动目标在移动目标的运动循环上的3D图像,所述移动目标的运动循环包括完全膨胀相位、完全收缩相位、在完全膨胀相位与完全收缩相位之间的一个或多个相位,以及在完全收缩相位与完全膨胀相位之间的一个或多个相位。重建器114重建投影数据,从而生成指示被定位在成像区域106中的对象或目标的被扫描部分的3D和/或4D图像集。
诸如卧榻的对象支撑物112在扫描之前、期间和/或之后,在检查区域106中支撑目标或对象。通用计算系统或计算机充当操作者控制台116。控制台116包括人类可读的输出设备(例如,监视器)和输入设备(例如,键盘、鼠标等)。驻留在控制台116上的软件允许操作者经由用户接口或以其他方式与扫描器100进行交互和/或操作扫描器100。这样的交互包括选择诸如3D、4D或其他成像采集的扫描协议、启动扫描等。
图像配准装置118至少配准图像,例如,由成像系统100和/或其他成像系统采集的3D和/或4D图像集中的图像。图像配准装置118也可以确定在图像集中的经配准的4D图像之间的变形向量场(DVFS)。一般地,DVF包括(一幅或多幅)基线图像的运动相位到图像集中的其他图像上的映射,从而建立逐个体素的对应性或在移动目标的运动循环上的映射。图像配准装置118输出经配置的图像、DVFS和/或其他信息中的至少一种。
在一个实例中,图像配准装置118采用包括对图像相似度项和正则化项的优化的非刚性配准。如下文更加详细地描述的,图像配准装置118基于在由所述系统生成的图像上已知的成像系统图像质量变化或对经配准的图像所确定的图像质量中的至少一个,在体素或体素区域的基础上,远离图像相似度项(和/或朝向正则化项)操纵非刚性配准。这样操纵配准允许在局部区域的基础上,减小归因于已知的(一种或多种)成像系统图像质量限制和/或误导性图像信息(例如,通过减少对图像相似度项对配准的贡献的加权产生的伪影)的局部配准误差。
图像配准装置118能够经由显示器120视觉地呈现经配准的图像、DVF和/或其他信息中的至少一种。在一个实例中,图像配准装置118在用户交互式图形用户接口(GUI)中呈现这样的数据。这样的显示器可以允许用户输入影响配准和/或DVF确定的信息。例如,交互式显示器可以允许用户提供、选择和/或改变影响图像配准装置118如何操纵非刚性配准和/或什么数据用于确定操纵的具体算法、所述算法的参数、影响操纵和/或是否应当执行后续配准的决策阈值等。
图像配准装置118也能够为用户视觉地呈现通知和/或推荐。例如,在图像配准装置118基于决策阈值确定经配准的图像的图像质量满足阈值时,图像配准装置118能够呈现配准是可接受的通知。然而,在图像配准装置118基于决策阈值确定经配准的图像中的一个或多个的体素和/或体素的区域的图像质量不满足阈值时,图像配准装置118能够呈现指示这样的通知和/或执行对所述图像的另一次配准的推荐,从而针对体素和/或体素的区域远离图像相似度项操纵配准。
应当理解,图像配准装置118能够是诸如计算机的计算系统,所述计算系统包括一个或多个处理器,所述处理器运行被编码、嵌入、存储等在诸如物理存储器和/或其他非瞬态存储器的计算机可读存储介质上的一个或多个计算机可读指令。额外地或备选地,所述计算机可读指令中的至少一个能够由信号、载波和/或其他瞬态介质承载。所述计算系统也可以包括人类可读的输出设备(例如,监视器)和输入设备(例如,键盘、鼠标等)。
图2图示了图像配准装置118的范例。
在该范例中,图像配准装置118包括图像质量(IQ)驱动的图像配准确定器202,所述图像质量(IQ)驱动的图像配准确定器202组合图像配准算法204(其能够被输入和/或存储在存储器中)与配准操纵因子,以生成图像质量(IQ)驱动的图像配准。配准部件206采用IQ驱动的图像配准,以配准输入图像集。范例应用是对4D图像(即,随时间推移采集的3D图像)的配准,例如,以评估用于辐射治疗规划的区域性体积变化,在辐射治疗规划中,重要的是识别运作良好的区域,所述区域然后能够免于辐射。
图像配准算法204包括非刚性配准,所述非刚性配准优化包括图像相似度项和正则化项的目标函数。如联系图1所讨论的,能够由用户经由(经由显示器120呈现的)交互式GUI来选择和/或改变具体算法。图像相似度项能够基于共同的信息、平方差之和、强度相关性等,并且正则化项一般通过(针对惩罚)惩罚映射场的一阶导数和/或二阶导数来确保预定的平滑度。能够例如取决于方法学选择、图像模态、应用等对图像相似度项和正则化项进行加权。优化能够基于诸如梯度下降、共轭梯度和/或其他方法的算法。
这样的算法的范例在Kabus等人的“Fast elastic image registration,In:Proc.of MICCAI Workshop:Medical Image Analysis For The Clinic-A GrandChallenge”(2010年,第81-89页)中得到描述。一般地,Kabus等人描述的算法假设参考(或固定)图像R(x)和模板(或移动)图像T(x)。其得到仿射变换p以及变形向量场(DVF)使得移位的模板图像Tu(x):=T(φ(p;x)+u(x))使相似性测度D和正则化项S两者最小化。这里,映射φ(p;x)描述了体素位置x在由向量p给出的仿射变换下的变换。
在方程1中使用平方差之和示出了合适的相似度项D:
方程1:
其中,WD(x)表示加权因子,所述加权因子可以取决于x。本文也预期基于相关性、熵、图像导数等的其他相似性测度。在方程2中示出基于Navier-Lame方程的合适的正则化项S:
方程2:
其中,WS(x)表示加权因子,所述加权因子可以取决于x,并且参数λ和μ(Navier-Lamé参数)描述模型化的材料属性。它们能够在整个图像上是固定的或可变的。基于u的其他导数的正则化项也是可能的。
配准操纵因子确定器208基于至少一个配准操纵因子210来确定配准操纵因子RSF。合适的配准操纵因子算法210包括但不限于:基于成像系统图像质量的算法和基于经配准的图像的图像质量的算法。下文描述了这些算法的范例。本文也预期其他算法。如联系图1所讨论的,能够由用户经由(经由显示器120呈现的)交互式GUI来选择和/或改变具体算法和/或其参数。
IQ驱动的图像配准确定器202组合方程1和RSF项,以给出方程3:
方程3:
以及方程2和3,从而生成IQ驱动的图像配准,例如方程4的IQ驱动的图像配准:
方程4:
OF=D[u]+S[u]
在方程4中,RSF是函数,例如恒等映射,并且WD中的权重操纵配准。在另一实例中,RSF不是恒等映射,但对WD(线性或非线性地)进行变换。
在一个实例中,配准被公式化为使联合泛函(joint functional)最小化额外的和/或不同的泛函能够被添加到所述联合泛函,例如,以并入约束,例如,界标位置或与DVF有关的属性。基于变分法,联合泛函被重新公式化为如在方程5中所示出的非线性偏微分方程的体系:
方程5:
为了将方程5离散化,能够将有限差分与诺埃曼边界条件结合使用。得到的线性方程的体系包括从正则化项产生的稀疏、对称且高度结构化的矩阵和对应于相似性测度的力向量。方程的体系然后能够被线性化,并且通过优化方案以迭代的方式求解,例如,通过共轭梯度和/或其他方案。
一般地,RSF项允许针对图像的不同体素或体素的区域,对图像相似度项D的贡献进行下(上)加权(down(or up)weighing)。通过举例的方式,在已知体素的具体区域与较低的图像质量相关联时,RSF项能够被设定为小于一,以对图像相似度项D进行下加权,这将朝向正则化项S操纵配准。
在要排除具体体素或体素的区域时,RSF被设定为零(0)。针对另一体素或体素的区域,在要部分地考虑具体体素或体素的区域时,RSF被设定为0.0<RSF<1.0。针对另一体素或体素的区域,在要完全考虑具体体素或体素的区域时,RSF被设定为一(1)。额外地或备选地,RSF项,不同确定的RSF项和/或从RSF项导出的RSF项(例如,RSF’=1-RSF)能够应用于正则化项。本文也预期针对RSF的其他映射。如联系图1所讨论的,能够由用户经由(经由显示器120呈现的)交互式GUI选择和/或改变影响RSF的值的参数。
如以上所简要讨论的,合适的配准操纵因子算法210包括但不限于:基于成像系统图像质量的算法和/或基于对经配准的图像所确定的图像质量的算法。
通过非限制性范例的方式,关于基于成像系统图像质量的算法,配准操纵因子能够基于成像系统的图像质量的先验知识。一般地,在基于成像系统以已知的方式知晓图像的具体区域较不可靠或具有比图像的另一区域更低的图像质量时(即,在给定的图像上存在局部保真度变化),该信息能够被配准操纵因子确定器208使用以确定配准操纵因子。
例如,在成像系统100是锥形束CT扫描器并且图像是锥形束CT图像(其一般在接近旋转轴处具有较高的图像质量,而在远离旋转轴处具有较低的图像质量(例如,噪声更大))时,能够生成配准操纵因子以朝向正则化项操纵配准,使得图像相似度项对噪音较大的图像区域的贡献程度相对于对较高图像质量区域的贡献程度较小。区域之间的操纵过渡能够是阶梯的或平滑的,包括线性函数和非线性函数。类似地,针对MR采集,区域线圈灵敏度和/或磁化率梯度能够用于定义操纵因子。
关于基于对经配准的图像所确定的图像质量的算法,在一个实例中,能够针对生理学激励的配准考虑生理力学。基于生理力学的算法非常适合于配准捕获生理动力学(例如,器官运动)的应用,其中得到的映射中仅特定范围在生理学上是合理的。在该情况中,配准保真度能够用于确定针对后续(例如,第二次、第三次等经过的)配准的操纵因子。
在图像配准装置118被配置为采用基于经配准的图像的图像质量的算法时,图像质量(IQ)确定器212评价经配准的图像,并且确定指示经配准的图像中的一幅或多幅的图像质量的图像质量(IQ)度量。用于确定合适的IQ度量的方法的范例在标题为“MOTION PARAMETERESTIMATION”的专利申请号61/664874(案卷编号2012PF00423)中得到描述,该专利申请通过引用并入本文。
在61/664874中,确定在4D图像集中的经配准的图像的对之间的变形向量场(DVF),其中每个DVF包括针对每个体素的运动向量,所述运动向量指示每个体素如何已经从图像的对中的一幅图像移动到另一幅图像。图像中的每对能够包括,例如,来自4D图像集的基线图像或参考图像和来自4D图像集的图像中的另一幅。基线图像或参考图像能够是针对其他图像中的两幅或更多幅的相同或不同的图像。
在61/664874中,体积曲线是从DVF生成的,并且对应于感兴趣运动(例如,呼吸、心脏、一般肌肉等的运动)的运动模型被拟合到体积曲线。然后基于拟合来生成置信水平,并且如在方程6中所示定义置信水平:
方程6:
其中,E(x)表示针对体素x的体积曲线与模型之间的误差,α表示运动幅度,V模型(·)表示所拟合的模型,V(·)表示DVF的雅可非行列式,并且t表示时间。
IQ确定器212能够采用E(x)和/或其变体作为IQ度量。例如,在模型提供被扫描目标的运动的准确表示并且经配准的图像包括总体上较高的图像质量区域时,E(x)将对于个体体素较小。然而,在经配准的图像中的至少一幅包括较低图像质量的区域时,E(x)将对于较低图像质量区域较大。这样,E(x)能够用于识别较低图像质量的体素或体素的区域。
决策逻辑214将E(x)与预定的决策阈值216进行比较,并且确定是否应当执行后续(例如,第二次、第三次等)配准。在确定了应当执行后续配准(例如,E(x)>决策阈值)时,E(x)被反馈到配准操纵因子确定器208,所述配准操纵因子确定器208然后能够基于E(x)来生成RSF,所述RSF被IQ驱动的图像配准确定器202用于生成保真度驱动的配准,所述保真度驱动的配准被配准部件206用于在其基础上配准图像。如联系图1所指出的,图像配准装置118也可以呈现通知和/或推荐后续配准的推荐。在该实例中,后续配准可以是用户启动的和/或自动的。
决策逻辑214能够视觉地呈现比较的结果(例如,配准、DVFS、IQ度量和/或其他信息)和/或关于是否应当执行后续配准的通知和/或推荐。在该实例中,经由(经由显示器120的)GUI和/或图像配准装置118的输入设备接收的、并且指示用户针对后续配准的期望的输入,或者在被期望时调用后续配准,或者在不期望时忽略或丢弃推荐。另一输入能够设定或改变决策阈值216的值。在另一实施例中,决策逻辑214被配置为基于决策阈值216来自动地调用后续配准,
关于利用E(x)来确定针对后续配准的RSF,对于具有较大E(x)的体素或体素的区域,RSF能够被设定为小于一(1),这将朝向正则化项S操纵配准。对于具有较小E(x)的体素或体素的区域,RSF能够被设定为一(1),使得不操纵配准。对于具有在它们之间的E(x)的体素或体素的区域,RSF能够被设定为在零(0)与一(1)之间的值。通过非限制性范例的方式,配准操纵因子算法210可以指示对于E(x)<0.80,RSF=一(1),对于E(x)>0.95,RSF=零(0),并且对于0.80≤E(x))≤0.95,RSF线性地或非线性地从零(0)到一(1)变化。当然,本文也预期其他映射和/或转换。
图3和图4图示了范例方法。应当理解,对这些方法的动作的排序不是限制性的。这样,本文预期其他排序。另外,可以省略一个或多个动作和/或可以包括一个或多个额外的动作。
首先参考图3,图示了用于基于已知的成像系统图像质量来确定配准操纵因子的范例方法。
在302处,获得了非刚性配准,所述非刚性配准包括具有图像相似度项和正则化项的目标函数。
在304处,获得了基于成像系统图像质量的配准操纵因子算法。
在306处,基于配准操纵因子算法和关于成像系统图像质量的知识来生成配准操纵因子,所述知识包括图像质量在由此生成的图像上的已知的变化性。
在308处,基于所获得的非刚性配准算法和所生成的配准操纵因子来生成图像质量驱动的配准。如本文所讨论的,配准操纵因子基于图像质量的程度来朝向正则化项操纵配准。
在310处,图像质量驱动的配准用于配准输入图像集。
在312处,输出经配准的图像中的至少一幅或针对经配准的图像的DVFS。
接下来在图4中,图示了用于基于经配准的图像的所确定的图像质量来确定配准操纵因子的范例方法。
在402处,获得了非刚性配准,所述非刚性配准包括具有图像相似度项和正则化项的目标函数。
在404处,获得了基于经配准的图像的图像质量的配准操纵因子算法。
在406处,非刚性配准用于配准输入图像集。
在408处,基于经配准的图像来生成图像质量度量。
在410处,基于预定的决策阈值来确定是否满足图像质量度量。
在412处,如果否,则输出经配准的图像和/或它们之间的映射。
在414处,如果是,则图像质量度量用于确定配准操纵因子。
在416处,基于所获得的非刚性配准和配准操纵因子来生成图像质量驱动的图像配准。
在418处,图像质量驱动的图像配准用于经由后续经过的配准来配准输入图像集。
在420处,输出经配准的图像中的至少一幅或针对经配准的图像的DVFS。
在另一实施例中,图3和图4的方法被组合,使得配准基于第一次配准,所述第一次配准基于已知的成像系统图像质量,并且然后再次基于经配准的图像的图像质量(具有或没有已知的成像系统图像质量)。
可以通过被编码或嵌入在计算机可读存储介质上的计算机可读指令的方式来实施以上方法,所述计算机可读指令当被(一个或多个)计算机处理器运行时,令(一个或多个)处理器实施所描述的动作。额外地或备选地,计算机可读指令中的至少一个是由信号、载波或其他瞬态介质承载的。
已经参考优选实施例描述了本发明。他人在阅读和理解以上具体实施方式的情况下可能想到修改或替代。本文旨在将本发明解释为包括所有这种修改和替代,只要它们落入权利要求书及其等价方案的范围之内。
Claims (26)
1.一种图像配准装置(118),包括:
图像质量驱动的图像配准确定器(202),其针对图像集确定图像质量驱动的图像配准,以基于非刚性配准(204)和配准操纵因子进行配准,所述非刚性配准包括对图像相似度项和正则化项的优化;以及
配准部件(206),其使用所述图像质量驱动的图像配准来配准所述图像集。
2.如权利要求1所述的图像配准装置,其中,所述配准是对所述图像集的第一次配准。
3.如权利要求2所述的图像配准装置,还包括:
配准操纵因子确定器(208),其基于已知的成像系统图像质量来确定所述配准操纵因子,所述配准操纵因子在所述图像集中的至少一幅图像上变化,所述图像集是由所述成像系统生成的。
4.如权利要求3所述的图像配准装置,其中,所述配准操纵因子对根据图像的体素或体素区域的所述图像质量的针对所述体素或所述体素区域的所述图像相似度项进行下加权。
5.如权利要求1所述的图像配准装置,其中,所述配准部件在初始配准中使用所述非刚性配准来执行,并且所述配准是基于使用所述非刚性配准的配准的结果而对所述图像集的后续配准。
6.如权利要求5所述的图像配准装置,还包括:
配准操纵因子确定器(208),其基于图像质量度量来确定所述配准操纵因子,所述图像质量度量对应于利用所述非刚性配准而配准的所述图像中的图像的图像质量。
7.如权利要求6所述的图像配准装置,还包括:
图像质量确定器(212),其针对利用所述非刚性配准而配准的所述图像来确定变形向量场;基于所述变形向量场来生成体积曲线;将运动模型拟合到所生成的体积曲线;并且确定在所拟合的模型与所述体积曲线之间的误差,其中,所述图像质量度量是所述误差,并且其中,所述误差对于图像的具有较低图像质量的体素区域较大,并且对于所述图像的具有较高图像质量的体素区域较低。
8.如权利要求7所述的图像配准装置,还包括:
决策逻辑(214),其响应于所述图像质量度量满足预定的决策阈值而调用所述后续配准。
9.如权利要求1所述的图像配准装置,其中,所述配准操纵因子基于已知的成像系统图像质量,所述配准操纵因子在所述图像集中的至少一幅图像上变化,所述图像配准部件使用初始图像质量驱动的图像配准来执行对所述图像集的初始配准,所述初始图像质量驱动的图像配准基于所述已知的成像系统图像质量,并且所述配准是基于使用所述初始图像质量驱动的图像配准的配准的结果而对所述图像集的后续配准。
10.如权利要求9所述的图像配准装置,还包括:
配准操纵因子确定器(208),其基于图像质量度量来确定所述配准操纵因子,所述图像质量度量对应于所述初始图像质量驱动的图像配准的图像质量。
11.如权利要求10所述的图像配准装置,还包括:
图像质量确定器(212),其针对利用所述初始图像质量驱动的图像配准的所述配准确定变形向量场;基于所述变形向量场来生成体积曲线;将运动模型拟合到所生成的体积曲线;并且确定在所拟合的模型与所述体积曲线之间的误差,其中,所述图像质量度量是所述误差,并且其中,所述误差对于图像的具有较低图像外壳的体素区域较大,并且对于所述图像的具有较高图像质量的体素区域较低。
12.如权利要求11所述的图像配准装置,还包括:
决策逻辑(214),其响应于所述图像质量度量满足预定的决策阈值而调用所述后续配准。
13.如权利要求1至12中的任一项所述的图像配准装置,其中,所述配准操纵因子基于经配准的图像中的至少一幅的图像质量的程度来朝向所述正则化项操纵所述图像质量驱动的图像配准,其中,所述图像质量越低,所述配准被朝向所述正则化项操纵得越多,并且所述图像相似度项贡献于所述配准得越少。
14.一种方法,包括:
针对图像集确定图像质量驱动的图像配准,以基于非刚性配准和配准操纵因子进行配准,所述非刚性配准包括对图像相似度项和正则化项的优化;并且
使用所述图像质量驱动的图像配准来配准所述图像集,从而生成经配准的图像集。
15.如权利要求14所述的方法,其中,所述配准是对所述图像集的第一次配准,并且还包括:
基于已知的成像系统图像质量来确定所述配准操纵因子,所述配准操纵因子在所述图像集中的至少一幅图像上变化,所述图像集是由所述成像系统生成的。
16.如权利要求14所述的方法,还包括:
使用所述非刚性配准来初始配准所述图像集,其中,所述配准是基于使用所述非刚性配准的初始配准的结果而对所述图像集的后续配准。
17.如权利要求16所述的方法,还包括:
基于图像质量度量来确定所述配准操纵因子,所述图像质量度量对应于利用所述非刚性配准而配准的图像的图像质量。
18.如权利要求17所述的方法,还包括:
通过确定针对利用所述非刚性配准而配准的所述图像的变形向量场来确定所述图像质量度量;基于所述变形向量场来生成体积曲线;将运动模型拟合到所生成的体积曲线;并且确定在所拟合的模型与所述体积曲线之间的误差,其中,所述图像质量度量是所述误差。
19.如权利要求14所述的方法,其中,所述配准操纵因子基于已知的成像系统图像质量,所述配准操纵因子在所述图像集中的至少一幅图像上变化,并且还包括:
使用初始图像质量驱动的图像配准来执行对所述图像集的初始配准,所述初始图像质量驱动的图像配准基于所述已知的成像系统图像质量,并且其中,所述配准是基于使用所述初始图像质量图像配准的配准的结果而对所述图像集的后续配准。
20.如权利要求19所述的方法,还包括:
基于图像质量度量来确定所述配准操纵因子,所述图像质量度量对应于所述初始图像质量图像配准的图像质量。
21.如权利要求20所述的方法,还包括:
通过确定针对利用所述非刚性配准而配准的所述图像的变形向量场来确定所述图像质量度量;基于所述变形向量场来生成体积曲线;将所述运动模型拟合到所生成的体积曲线;并且确定在所拟合的模型与所述体积曲线之间的误差,其中,所述图像质量度量是所述误差。
22.如权利要求14至21中的任一项所述的方法,其中,所述配准操纵因子基于经配准的图像的图像质量的程度来朝向所述正则化项操纵所述图像质量驱动的图像配准,其中,所述图像质量越低,所述配准被朝向所述正则化项操纵得越多,并且所述图像相似度项贡献于所述配准得越少。
23.如权利要求14至22中的任一项所述的方法,还包括:
经由交互式用户接口,接收确定所述配准操纵因子的输入。
24.如权利要求14至22中的任一项所述的方法,还包括:
经由交互式用户接口,视觉地显示经配准的所述图像集。
25.一种方法,包括:
通过使非刚性配准对不完美的图像信息较不敏感来改善所述非刚性配准的结果,所述使非刚性配准对不完美的图像信息较不敏感的操作是通过采用利用所述非刚性配准的配准操纵因子来进行的,其中,所述非刚性配准包括对图像相似度项和正则化项的优化。
26.如权利要求24所述的方法,其中,在较低图像质量的区域中的配准期间的优化的能量项中,所述配准操纵因子局部地减小图像影响并大增大正则化影响。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201261664913P | 2012-06-27 | 2012-06-27 | |
US61/664,913 | 2012-06-27 | ||
PCT/IB2013/054978 WO2014001959A1 (en) | 2012-06-27 | 2013-06-18 | Image quality driven non-rigid image registration |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104412297A true CN104412297A (zh) | 2015-03-11 |
CN104412297B CN104412297B (zh) | 2019-04-16 |
Family
ID=49035619
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380034134.9A Active CN104412297B (zh) | 2012-06-27 | 2013-06-18 | 图像质量驱动的非刚性图像配准 |
Country Status (7)
Country | Link |
---|---|
US (1) | US10290102B2 (zh) |
EP (1) | EP2867853B1 (zh) |
JP (1) | JP2015527108A (zh) |
CN (1) | CN104412297B (zh) |
BR (1) | BR112014032089A2 (zh) |
RU (1) | RU2015102343A (zh) |
WO (1) | WO2014001959A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108701360A (zh) * | 2015-12-15 | 2018-10-23 | 皇家飞利浦有限公司 | 图像处理系统和方法 |
CN111354025A (zh) * | 2018-12-21 | 2020-06-30 | 通用电气公司 | 用于基于深度学习的自动脊柱配准和标记传播的系统和方法 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014155346A2 (en) * | 2013-03-29 | 2014-10-02 | Koninklijke Philips N.V. | Image registration |
JP6501569B2 (ja) * | 2015-03-18 | 2019-04-17 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
WO2018098213A1 (en) * | 2016-11-23 | 2018-05-31 | Wake Forest University Health Sciences | Medical image analysis using mechanical deformation information |
WO2023049045A1 (en) | 2021-09-21 | 2023-03-30 | Apple Inc. | Input location correction based on device motion |
US11755150B2 (en) * | 2021-09-21 | 2023-09-12 | Apple Inc. | Input location correction based on device motion |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1890689A (zh) * | 2003-12-11 | 2007-01-03 | 皇家飞利浦电子股份有限公司 | 弹性的图像配准 |
WO2008024352A2 (en) * | 2006-08-22 | 2008-02-28 | Siemens Medical Solutions Usa, Inc. | Methods and systems for registration of images |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7426318B2 (en) | 2004-06-30 | 2008-09-16 | Accuray, Inc. | Motion field generation for non-rigid image registration |
US7822291B2 (en) * | 2004-10-28 | 2010-10-26 | Siemens Medical Solutions Usa, Inc. | Non-rigid multi-modal registration using statistical learning methods |
WO2008063494A2 (en) | 2006-11-16 | 2008-05-29 | Vanderbilt University | Apparatus and methods of compensating for organ deformation, registration of internal structures to images, and applications of same |
WO2010086776A1 (en) * | 2009-01-30 | 2010-08-05 | Koninklijke Philips Electronics N.V. | System for providing lung ventilation information |
US8805122B1 (en) * | 2011-02-03 | 2014-08-12 | Icad, Inc. | System, method, and computer-readable medium for interpolating spatially transformed volumetric medical image data |
US9129424B2 (en) * | 2012-04-17 | 2015-09-08 | Siemens Aktiengesellschaft | Phase sensitive T1 mapping in magnetic resonance imaging |
US9033887B2 (en) * | 2012-05-31 | 2015-05-19 | Siemens Corporation | Mitral valve detection for transthoracic echocardiography |
BR112014032101A2 (pt) | 2012-06-27 | 2017-06-27 | Koninklijke Philips Nv | computador configurado para estimar um parâmetro de movimentos para o movimento de um objeto móvel, determinador paramétrico de movimento de um objeto, e método automatizado realizado por computador |
-
2013
- 2013-06-18 JP JP2015519406A patent/JP2015527108A/ja not_active Withdrawn
- 2013-06-18 CN CN201380034134.9A patent/CN104412297B/zh active Active
- 2013-06-18 EP EP13753209.9A patent/EP2867853B1/en active Active
- 2013-06-18 BR BR112014032089A patent/BR112014032089A2/pt not_active IP Right Cessation
- 2013-06-18 WO PCT/IB2013/054978 patent/WO2014001959A1/en active Application Filing
- 2013-06-18 RU RU2015102343A patent/RU2015102343A/ru not_active Application Discontinuation
- 2013-06-18 US US14/405,007 patent/US10290102B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1890689A (zh) * | 2003-12-11 | 2007-01-03 | 皇家飞利浦电子股份有限公司 | 弹性的图像配准 |
WO2008024352A2 (en) * | 2006-08-22 | 2008-02-28 | Siemens Medical Solutions Usa, Inc. | Methods and systems for registration of images |
Non-Patent Citations (7)
Title |
---|
BRUCE LUCAS 等: "An Interative Image Registration Technique with an Application to Stereo Vision", 《PROCEEDINGS OF THE INTERNATIONAL JOINT CONFERENCE ON ARTIFICIALINTELLIGENCE》 * |
ETTINGER G.J.: "Automatic 3D Image Registration for Medical Change Detection Application", 《APPLICATIONS OF COMPUTER VISION IN MEDICAL IMAGE PROCESSING,AAAI SPRING SYMP》 * |
KABUS S 等: "Fast Elastic Image Registration", 《MEDICAL IMAGE ANALYSIS FOR THE CLINIC》 * |
NIRANJAN DAMERA-VENKATA 等: "Image Quality Assessment Based on a Degradation Model", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
RODRIGUEZ-CARRANZA: "A Weighted and Deterministic Entropy Measure for Image Registration Using Mutual Information", 《SPIE PROCEEDINGS》 * |
张成 等: "一种基于新的能量泛函的弹性图像配准方法", 《第十四届全国图象图像学术会议论文集》 * |
林相波: "基于非刚性配准的图像分割研究及其在脑部MRI图像中的应用", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108701360A (zh) * | 2015-12-15 | 2018-10-23 | 皇家飞利浦有限公司 | 图像处理系统和方法 |
CN111354025A (zh) * | 2018-12-21 | 2020-06-30 | 通用电气公司 | 用于基于深度学习的自动脊柱配准和标记传播的系统和方法 |
CN111354025B (zh) * | 2018-12-21 | 2023-12-15 | 通用电气公司 | 用于基于深度学习的自动脊柱配准和标记传播的系统和方法 |
Also Published As
Publication number | Publication date |
---|---|
EP2867853B1 (en) | 2019-12-11 |
US20150161791A1 (en) | 2015-06-11 |
US10290102B2 (en) | 2019-05-14 |
RU2015102343A (ru) | 2016-08-10 |
JP2015527108A (ja) | 2015-09-17 |
WO2014001959A1 (en) | 2014-01-03 |
EP2867853A1 (en) | 2015-05-06 |
CN104412297B (zh) | 2019-04-16 |
BR112014032089A2 (pt) | 2017-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Park et al. | Radiomics and deep learning: hepatic applications | |
CN104412297A (zh) | 图像质量驱动的非刚性图像配准 | |
JP6145178B2 (ja) | 医療画像の位置合わせ | |
Saba et al. | Maximizing quantitative accuracy of lung airway lumen and wall measures obtained from X-ray CT imaging | |
Murphy et al. | Semi-automatic construction of reference standards for evaluation of image registration | |
EP2369551B1 (en) | Imaging system and method | |
CN101765865B (zh) | 核成像中的运动校正 | |
US20170061629A1 (en) | System and method for image calibration | |
Lossau et al. | Motion estimation and correction in cardiac CT angiography images using convolutional neural networks | |
CN104395933B (zh) | 运动参数估计 | |
CN101903908A (zh) | 基于特征的2d/3d图像配准 | |
GB2450073A (en) | Regional reconstructions of spatially distributed functions | |
JP6363197B2 (ja) | 画像データ処理 | |
Karim et al. | A method to standardize quantification of left atrial scar from delayed-enhancement MR images | |
CN101911119A (zh) | 图像配准对齐度量 | |
CN105122298B (zh) | 图像配准 | |
Iglesias et al. | Retrospective head motion estimation in structural brain MRI with 3D CNNs | |
Foroughi et al. | Intra-subject elastic registration of 3D ultrasound images | |
CN102939616A (zh) | 组织分类 | |
Parajuli et al. | Sparsity and biomechanics inspired integration of shape and speckle tracking for cardiac deformation analysis | |
Vigneault et al. | SiSSR: Simultaneous subdivision surface registration for the quantification of cardiac function from computed tomography in canines | |
Mukherjee et al. | In-silico heart model phantom to validate cardiac strain imaging | |
Cheng et al. | Direct parametric image reconstruction of rapid multi-tracer PET | |
Chowdhury et al. | Higher-order singular value decomposition-based lung parcellation for breathing motion management | |
Liao et al. | Coherence restricted StOMP and its application in image fusion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |