CN106991692A - 将第一流的第一图像数据与第二流的第二图像数据进行配准 - Google Patents
将第一流的第一图像数据与第二流的第二图像数据进行配准 Download PDFInfo
- Publication number
- CN106991692A CN106991692A CN201611273102.6A CN201611273102A CN106991692A CN 106991692 A CN106991692 A CN 106991692A CN 201611273102 A CN201611273102 A CN 201611273102A CN 106991692 A CN106991692 A CN 106991692A
- Authority
- CN
- China
- Prior art keywords
- image
- interpolation
- phase
- shape
- organ
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000000056 organ Anatomy 0.000 claims abstract description 150
- 238000000034 method Methods 0.000 claims abstract description 40
- 241001465754 Metazoa Species 0.000 claims abstract description 25
- 230000008859 change Effects 0.000 claims description 23
- 238000007620 mathematical function Methods 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims description 2
- 230000015572 biosynthetic process Effects 0.000 claims 2
- 230000033001 locomotion Effects 0.000 description 91
- 238000003384 imaging method Methods 0.000 description 25
- 239000011159 matrix material Substances 0.000 description 22
- 239000007787 solid Substances 0.000 description 17
- 238000005070 sampling Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 230000009466 transformation Effects 0.000 description 11
- 230000029058 respiratory gaseous exchange Effects 0.000 description 10
- 239000013598 vector Substances 0.000 description 10
- 230000004927 fusion Effects 0.000 description 9
- 230000000737 periodic effect Effects 0.000 description 9
- 230000003068 static effect Effects 0.000 description 7
- 238000002595 magnetic resonance imaging Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000002604 ultrasonography Methods 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000000747 cardiac effect Effects 0.000 description 2
- 239000002872 contrast media Substances 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000001225 therapeutic effect Effects 0.000 description 2
- 238000003325 tomography Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 241000208340 Araliaceae Species 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 240000007711 Peperomia pellucida Species 0.000 description 1
- 235000012364 Peperomia pellucida Nutrition 0.000 description 1
- 235000013290 Sagittaria latifolia Nutrition 0.000 description 1
- 208000001871 Tachycardia Diseases 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 230000036471 bradycardia Effects 0.000 description 1
- 208000006218 bradycardia Diseases 0.000 description 1
- 235000015246 common arrowhead Nutrition 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 230000003137 locomotive effect Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000010412 perfusion Effects 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 239000012217 radiopharmaceutical Substances 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 230000006794 tachycardia Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/38—Registration of image sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明涉及一种用于将第一流中的第一图像数据与第二流中的第二图像数据配准的方法,第一图像数据和第二图像数据包括关于人或动物的图像信息,其中:●第一流和第二流中均包括由至少一个器官在形状和/或位置的周期性变化中的多个离散的阶段处的图像所组成的一系列图像,以使得每个图像分别对应于形状和/或位置的周期性变化中的一个阶段,●利用相位变量来限定形状和/或位置的周期性变化中的阶段,并将相位变量的相位值配属给第一流和第二流中的每个图像,从而替代特定周期中图像被获取的时间地、明确地限定形状和/或位置的周期性变化中的由图像所代表的离散的阶段,●对包括第一流的第一图像和第二流的第二图像的图像对来确定一配准。
Description
技术领域
第一本发明涉及一种将第一扫描流或图像流(例如第一模态(modality))中的第一图像数据与第二扫描流或图像流(例如第二模态)中的第二图像数据配准(register)的方法。第一图像数据和第二图像数据包括关于人或动物的图像信息,所述关于人或动物的图像信息包含关于人或动物的至少一个器官的图像信息。所述器官的形状随时间变化。
背景技术
人体(以及动物体)通常不是刚性的并且在检查和/或干预期间会运动(即改变形状和/或位置)。另外,一些器官会在体内运动,甚至会在身体本身作为一个整体没有运动的情况下运动。对于特定器官,相对于身体表面的器官运动(例如由呼吸、心脏跳动和/或通过血管或器官的血液流动所引起的器官运动)是循环性的,并且有时是周期性的或接近周期性的。
在该说明书中,随着时间执行重复的周期性运动的器官被称为“运动的器官”。由于与执行运动的器官相邻的器官也可能被动地运动,因此术语运动的器官应同样适用于引起运动的器官以及周围的、借助其它器官被动运动的器官。
对于周期性运动的器官,在“运动周期”中,器官形状经历由不同形状组成的周期:器官的形状和位置从初始位置和初始形状开始(即从周期的起始处开始),连续且稳定地经历多个位置和形状并变化至变形最大的形状和/或移位最多的位置,并在变形最大的形状和/或移位最多的位置处运动过程逆转以便在周期结束时返回到初始状态。接着新的周期开始。运动的器官在运动周期期间所经历的相继的生理状况或阶段(每一个生理状况或阶段与在身体内空间中的一特定形状和位置相关联)所组成的范围或集合被称为“相位区间”或“相位值区间”。
呼吸和心跳通常引起周期性的或近乎周期性的器官运动。通过通用术语“周期性”体现了以下两种不同的效果:(a)在称为“时间周期”或简称为“周期”的某个恒定时间跨度(即两个相继的运动重复之间的恒定的持续时间)内的运动周期在时间上周期性地重复;(b)在运动周期内的连续的形状改变过程在形状上周期性重复。在形状上的周期性运动中,运动周期的持续时间可以是或不是恒定的,并且实际上在解剖过程中它可以显著地变化。然而,与某个周期的持续时间独立的是,在所述周期过程中器官的形状改变是重复的,即器官在运动周期过程中经历同样的形状。在这样的运动周期过程中,器官相继经过的各个形状所组成的范围被称为“形状模式(pattern)”或“形状范围”。与之不同的是,在例如谐振的完美周期性运动中,所有运动周期的持续时间是等长的,并且所有周期中的形状模式是相同的。
典型的周期性器官运动在周期内具有两个明确定义的极限位置:从初始位置和初始形状开始(其例如对应于完全呼出或对应于紧接在心脏结束收缩之后的阶段等),器官随时间发展到最大器官变形和/或最大器官位置变化的点(其例如对应于完全吸入或心脏舒张至最大的结束点等)。接着器官运动方向被逆转并且器官形状和/或位置返回至它的初始位置和初始形状。至少在心跳和呼吸的情况中,这样的周期接着被反复地重复。
值得注意的是,在常规条件下(例如,不存在严重病理和/或外部机械、电学、药理学等影响),器官运动的时间周期不是严格恒定的,而可能在生理学范围内显著变化(例如心动过速与心动过缓,慢呼吸与快速呼吸,锻炼,压力,情绪,睡眠等)。因此,在时间上,器官运动通常是准周期性的,而不是精确周期性的。另一方面,形状范围显示出高得多的周期稳定性:在常规条件下,器官在每个运动周期中经历相同的阶段(相同的形状和/或位置)。因此,器官运动可以被看作在时间上是准周期性的,但是在形状和/或位置上是周期性的。
在现有技术的成像程序中,用多个医学成像装置来检查患者:CT(计算机断层扫描)、MRI(磁共振成像)、PET(正电子发射断层扫描)、US(超声)仅仅是一些常见的例子。每个这样的医学成像装置或仪器被设计用于观察器官的某些特征。这样的特征可以与器官本身、例如与组织密度、水浓度、组织对声波的反射性或渗透性等固有地相关联,或者可以是间接的观察结果,例如造影剂、放射性药剂等的浓度的测量结果。通常可以用一个成像装置来执行多个不同的成像协议,例如自然(native)或造影剂CT、单参数或多参数MRI等。换句话说,不仅可以通过不同装置来检查器官,而且可以用同一装置来实施几种不同类型的扫描,例如MRI可以被用来在T1或T2扫描中测量水的密度,还可以用来测量扩散或灌注系数、造影剂浓度等。另外,有时同一仪器可以用于不同的空间采样模式,例如一维(1D)超声、二维(2D)超声和三维(3D)超声。另外,可以在特定时间点执行图像数据(例如照片、屏幕截图、单个图像、单个断层扫描等)的采集或在时间段上执行图像数据(短片、摄影片、4DCT、4DMRI等)的采集。
为了避免混淆,我们将用特定装置观察到的器官的特征称为“模态”。明显地,多个特征可以用同一或不同的仪器或装置来观察。因此,术语“模态”在此与特征相关,而不是与特定的仪器类型相关。
通常来说,图像采集对身体区域、器官或器官的一部分进行瞬时地(在某个时间点的单次拍摄)或重复地(在多个相继的时间点重复拍摄,比如短片或摄影片)采样。我们称“扫描结果”为通过图像采集装置采集的、并与器官在某个单个时间点在2D或3D空间内的特征有关一组值。空间由此通常是离散的(由像素组成的数字图像),但是也可以是连续的(例如在X射线片的情况下)。“扫描结果”的更广义的表述是“图像”,因为“图像”还涵盖了下述情况:图像是通过除了图像采集装置(例如US或MR装置)之外的其它方式生成的,特别是通过对扫描结果和/或图像内插或通过变换扫描结果或图像而生成的。
在单一值与每个空间位置关联的情况下,扫描结果或成像被称为“单模式(monomodal)扫描”。相反,如果多个值分别与每个空间位置关联,那么扫描结果或成像被称为“多模式(multimodal)扫描”。因此,术语扫描结果和图像涵盖了2D图像(例如X射线或超声)和3D体积(例如断层扫描)。当仅提到扫描结果或成像时,一个术语涵盖下述两者,即单模式的扫描结果或图像和多模式的扫描结果或图像。准确地说,术语“某个单个时间点”也可以包括短的时间段,因为扫描结果中的图像元素(像素)可以例如逐个或逐行获取。
在相继的、离散的时间步上获取的扫描结果序列被称为“流”。流也可以包括其它图像,特别是通过对其它图像内插或变换而生成的图像。如此,流具有描述空间位置的一组变量和描述时间点的附加变量。流包括摄影片、4D-CT、4D-MRI等。术语“相继的”包括这样的情况,离散的时间步之间具有至少一种时间间隔,并且在所述时间间隔期间没有采集该特定流的图像数据。图像采集装置在所述时间间隔期间可以执行其它任务,例如采集其它流的图像数据、处理图像数据和/或传输图像数据。然而,也可能的是,相应地获取流的各单个扫描结果或图像的离散的时间步形成连续的一系列时间步,并且这些时间步之间没有时间间隔。
总结来说,但仅作为展示性示例,患者可以例如在数秒、数天、数月或数年的时间跨度上、在不同时间点、于多个场合下、被用于生成多种模态的多个装置扫描。通常,诊断或治疗的医疗过程需要由同一装置或不同的装置并选择性地在不同时间下所采集的这些数据组之间关联。特别地,患者的第一检查与患者的第二检查的对应的结果以这样的方式相关联:在不同的扫描结果或图像内使对应的解剖学位置相关联或重叠。在不失去通用含义的情况下,我们将“配准”称为在两个单独的图像的所有对应的解剖学位置之间创建位置到位置的关联。在多于两个图像的情况下,该过程以两两的方式被重复并且部分结果被联接。目前,已知有多种方法能够在对应的图像之间实现刚性和非刚性配准。明显地,可以在相同成像模态的图像之间实施配准(例如较早的和实际的CT的重叠),或在不同的成像模态的图像之间实施配准(例如MRI和CT的重叠)。这种多模式配准也被称为“融合(fusion)成像”。例如CT扫描结果和超声扫描结果可以被配准以形成组合模态的融合成像扫描结果。在此,我们认为单模式配准是更广义的多模式配准的一种特殊情况,因此我们将单模式配准和多模式配准等同地称为融合成像。
发明内容
本发明尤其涉及使用这种多模式图像数据的医疗过程或应用,例如涉及利用在给定的时间点采集的至少第一检查的图像数据并利用也在仪器、治疗装置和/或检查装置的应用过程中采集的至少第二检查的图像数据来操纵医疗仪器、治疗装置和/或检查装置。例如,在US的情况下,可以在屏幕上所显示的当前的US图像和任何类型的第二模态的相应图像面之间实施配准,其中,所述图像面可以是原始采集的图像或内插图像面。
所述配准可以以刚性或非刚性的方式实施。刚性配准的结果被称为“变换矩阵”(经常把T用为它的符号)并且非刚性配准的结果被称为“变形场”(经常把D用为它的符号)。矩阵对于图像内的每个(2D或3D)空间位置限定了相同的变换,而变形场明确地限定了两个图像中所有空间位置之间一对一的单个关系。为了完整起见,在此需要说明的是,特别在显著相干地位移的情况下,变形场可以计算为一些关键位置处的稀疏场。中间位置的配准信息可以通过内插产生。
器官运动在空间和时间上是连续的,但是成像通常并非如此:在限定的、离散的时间步骤处对器官采样。由此,采样(成像)可以以相同的时间间隔(例如超声短片)与器官运动非同步地进行;或者成像可以由器官的运动阶段触发并由此与器官运动同步地进行,从而在流内产生以变化的时间间隔采集的图像(帧)。另外,在每个个体或图像内,通常离散地、在多个图像位置处对器官采样。总之,流通常在时间和空间两者上均是离散的。
然而,为了信息的深度,期望流内有尽可能多的图像以在运动周期内获得由相继的形状组成的密集的采样序列。在实际中,每个流中的图像的数量与技术(例如扫描仪速度、扫描仪可用时间、成本)、生理(例如患者状况)和/或医疗(例如耐受计量、医学问题)参数有关。为了获取形状的周期性运动,在器官的运动周期内最少需要两个不同的扫描结果。通常地/有利地,在尽可能接近运动周期的极限处执行扫描,例如一个在完全吸入时执行扫描和一个在完全呼出时执行扫描。由此则仅仅知晓采集时间处的器官的精确形状和/或位置。而中间的形状和/或位置只能通过在采集的扫描结果之间内插来估计。
所述配准通常在对应的单个扫描结果或图像之间、即在特定时间点上采集的且至少部分地显示同一器官或解剖学位置的静态数据组之间两两实施。例如,能够在屏幕上看到的某个US帧被存储(例如通过按下冻结键)并且与第二采集的对应的扫描结果配准。这种配准可被称为“静态配准”,这是因为这种配准仅在表示器官运动的静态状况或阶段的图像数据之间实施,而没有考虑器官运动随时间的变化。
这样的静态配准仅在静态器官的情况下、即器官没有随时间改变它们的形状或位置的情况下随时间持续实施。在器官运动的情况下,静态配准会导致时间上的错误:运动的器官会改变它们的形状和/或位置并由此初始静态配准是不正确的且应该被更新。理想地,第二流的序列中的每个图像相应地对应于第一流的序列中的图像。换句话说,在理想情况下,在被检查的器官的每个相位处都可以获得两个扫描流或图像流。这种成对的流(和它们的对应的图像)应该也是两两配准的。然而,在实际上,经常缺少另外的流的对应的扫描结果:第一流和第二流通常是彼此非同步地、并通过以不同的帧速率操作和/或对不同的器官相位采样的采集装置来采集的。即使采集装置可以在一些特定时间点同步,但是在通常情况下,不同流的扫描结果仅在某些离散的时间点上对应于相同的器官阶段。
超出并独立于上述同步问题的是,第一流和/或第二流的采样速率可能不一定足以对器官运动准确地采样。通常,每个器官周期的扫描结果少于足够的扫描量。在极端情况下仅有两个扫描结果接近器官运动周期的极限状况。即使一个流(例如超声)提供了足够的帧速率的扫描以使得器官的运动可以被实时地、例如在屏幕上追踪,但是在所述运动的周期内第二流(例如CT)却只有很少的几个扫描结果。在这些情况下,对器官运动的所有阶段都实施配准是有问题的,这是因为第二流没有包括第一流采样的所有时间点处的扫描结果。因此,配准可以明确地仅在两个流对器官同步采样的时间处实施(前提是这样的同步采集无论如何是存在)。但是即使在这种情况下,也必须对其间的下述时间段进行一定的更新:在所述时间段内没有获得两个流的对应的图像对。
本发明的目的在于提供一种将第一器官流(特别是第一模态的图像数据)与第二器官流(特别是第二模态的图像数据)配准的方法,其中,用于获取扫描结果的总付出是适度的(从而稀疏的采样是可能的),但是仍然可以高精度地执行不同流的图像数据的配准以及融合。另一个目的在于提供一种对应的装置。
本发明的基本思想在于:器官运动的相位代替数据采集的时间或周期性运动过程中的时间被用作用于限定不同流内的器官形状的发展的变量。术语“代替”不排除以下事实:数据采集的时间也被存储。因此不同流的对应的扫描结果或图像可以利用相位变量而非时间变量被识别或标记为两两关联。如果附加地或替代地需要或期望内插,则相位代替时间被用作所述内插的自变量。特别地,该内插变量相对于时间是独立的。
相位是独立于时间的一种变量。每个相位值与器官运动的相位(即阶段)是明确相关的,并且由此与器官的对应形状和/或位置是明确相关的。本文中的术语“明确”意味着对于任何给定的相位值,都可以明确地确定对应的器官形状和/或位置。然而,器官可以在同一运动周期内的两个不同阶段中、即当器官沿第一方向膨胀和/或运动时和当器官沿与第一方向相反的第二方向收缩和/或运动时具有相同的形状和/或位置。因此,在每个运动周期内可以有至少两个不同的相位值与器官的同一形状和/或位置相关。例如当器官运动停止(例如在呼气周期结束时)并当记录扫描的过程和对相位值的配属继续时,在一个运动周期内可以有两个以上不同的相位值与器官的同一形状和/或位置相关。尽管如此,相位变量的配属给扫描结果或图像的每个值明确地对应于器官运动的某个相位。
例如,相位可以被定义成具有从0到1的区间中的值的无量纲变量,其中,相位值0被配属给运动周期的开始时的阶段,且相位值1被配属给结束周期且恰好下一周期要开始之前的阶段。替代地,0可以被配属给运动周期的开始并且1配属给具有改变最大的形状和/或位置的阶段。作为第三示例,0可以配属给周期内的任何特定位置并且1配属给后续的位置,值0至1是周期的某个间隔内的相对坐标。
特别地,有多种方法(直接观察器官或者通过间接地观察身体的另一部分或另一效应)能够识别和准确地确定(特别是测量)器官的相位,即器官在它的运动周期内的实际生理状况。这种能够随时间直接地和/或间接地识别和追踪器官运动的阶段(即相位)的方法在本说明书中被称为“器官追踪器”或简单地称为“追踪器”。追踪器的输出是明确地识别在一时间点的实际器官相位的信号。存在连续地追踪器官相位的模拟追踪器和具有至少一种离散的采样速率的数字追踪器,其中,所述至少一种离散的采样速率被优选认为与器官运动周期的时长相比足够高。优选地,至少一个追踪器被用来确定相位变量的相位值,该相位变量用来限定器官的形状和/或位置的周期性变化中的阶段。特别地,追踪器随时间连续地或离散地配属相位变量的值。例如,ECG(心电图)装置能够在完整的心脏周期上连续地追踪并确定心脏相位。作为第二示例,由呼吸引起的空气吸入和呼出流可以被导引通过至少一个阀并且流过所述阀的空气流和/或通过的空气体积被随时间测量以识别呼吸阶段。张力测量装置(例如以条带的形式或作为带围绕人的躯干)可以测量与呼吸相位或肺内体积对应的值。通常来说,主动或被动的光学方法、电磁跟踪方法等是随着时间识别和跟踪呼吸周期的一些示例。
尽管器官的运动在时间上来看可能显著地变化并由此通常不能被视为是周期性的,但是器官的运动从运动的阶段上来看(例如从相位上看)却是非常精确地周期性的。在相位周期性运动的周期的过程中,可以利用追踪器来识别和追踪器官相位。在一特定阶段,例如完全呼出与完全吸入之间的中途或收缩期结束与最大舒张期结束之间的中途,器官的形状与所有其它周期内的相同相位处的形状非常相似。因此,使用相位变量代替时间变量提高了图像融合的精确性。由此能够产生运动的器官的形状和相位之间的一对一关系。
特别地,提出一种用于将第一流的第一图像数据(例如至少一个扫描结果)与第二流的第二图像数据(例如至少一个扫描结果或内插图像)配准的方法,其中,第一图像数据和第二图像数据包括关于人或动物的图像信息,所述关于人或动物的图像信息包括关于所述人或动物的至少一个器官的图像信息,并且,所述器官的形状和/或位置是变化的,由此实施所述形状和/或位置的周期性变化,并且:
●第一流和第二流中的每一个包括至少一个器官在所述形状和/或位置的周期性变化中的多个不同的离散的阶段处的一系列图像,从而每一个图像分别相应地对应于所述形状和/或位置的周期性变化的离散的阶段中的一个,
●相位变量被用来限定所述形状和/或位置的周期性变化中的阶段,并且所述相位变量的相位值被配属给第一流和第二流中的每一个流中的每一个图像,从而替代获取图像的特定周期中的时间地、明确地限定所述形状和/或位置的周期性变化中的由图像所代表的离散的阶段,
●对包括第一流的第一图像和第二流的第二图像的图像对来确定一配准,即图像值的位置-位置关联,其中,通过从所述第一流选择或内插图像并通过从所述第二流选择或内插配属有相同相位值的图像来选取所述图像对中的所述第一图像和所述第二图像。
另外,提供了一种布置结构,所述布置结构特别是用于实施根据所述实施例之一的方法,所述布置结构适于将第一流的第一图像数据与第二流的第二图像数据配准,所述第一图像数据和第二图像数据包括关于人或动物的图像信息,所述关于人或动物的图像信息包括关于人或动物的至少一个器官的图像信息,其中,所述器官的形状和/或位置是变化的,由此实施所述形状和/或位置的周期性变化,并且所述布置结构包括:
●存储所述第一流和所述第二流的存储器,其中,所述第一流和第二流中的每一个流包括至少一个器官在所述形状和/或位置的周期性变化中的多个不同的离散的阶段处的一系列图像,以使得每一个图像分别对应于所述形状和/或位置的周期性变化中的一个离散的阶段,
●数据处理器,其适于利用相位变量来限定所述形状和/或位置的周期性变化中的阶段,并适于将所述相位变量的相位值配属给所述第一流和第二流的每一个流中的每一个图像,从而替代特定周期中获取图像的时间地、明确地限定所述形状和/或位置的周期性变化中的由图像所代表的离散的阶段,
●配准装置,其适于对包括所述第一流的第一图像和所述第二流的第二图像的图像对确定一配准,即图像值的位置-位置关联,其中,所述配准装置适于通过从所述第一流选择或内插图像并通过从所述第二流选择或内插配属有相同相位值的图像来选取所述图像对中的所述第一图像和所述第二图像。
如上文所提到的,使用相位变量能够使不同流中的、实际上对应于器官运动的同一相位(即对应于周期性变化中的同一离散阶段)并由此彼此准确地对应的图像的融合。
本发明还包括在单一流中内插图像:一种生成人或动物的图像流的内插图像的方法,其中,所述图像包括关于所述人或动物的至少一个器官的图像信息,并且,所述器官的形状和/或位置是变化的从而实施所述形状和/或位置的周期性变化,其中:
●图像流形成至少一个器官在所述形状和/或位置的周期性变化的多个不同的离散的阶段的一系列图像,以使得每一个图像对应于所述形状和/或位置的周期性变化的离散的阶段中的一个,
●相位变量被用来限定所述形状和/或位置的周期性变化中的阶段,并且所述相位变量的相位值被配属给流中的每一个图像,从而替代特定周期中获取图像的时间地、明确地限定所述形状和/或位置的周期性变化中的由图像所代表的离散的阶段,
●利用流的配属有不同相位值的第一图像和第二图像来生成内插图像,其中,通过将相位变量用作内插变量并通过在要生成内插图像的期望的相位值处内插第一图像和第二图像的图像值来生成内插图像。
一种特别是用于实施前述段落的方法的对应的布置结构,所述布置结构适于对人或动物的图像流内插图像,其中,图像包括关于所述人或动物的至少一个器官的图像信息,并且所述器官的形状和/或位置是变化的从而实施所述形状和/或位置的周期形变化,并且所述布置结构包括:
●用于存储流中的图像的存储器,其中,所述图像形成至少一个器官在所述形状和/或位置的周期性变化中的多个不同的离散的阶段处的一系列图像,以使得每一个图像分别对应于所述形状和/或位置的周期性变化中的一个离散阶段,
●数据处理器,其适于利用相位变量来限定所述形状和/或位置的周期性变化中的阶段,并适于将所述相位变量的相位值配属给流中的每一个图像,从而替代特定周期中获取图像的时间地、明确地限定所述形状和/或位置的周期性变化中的由图像所代表的离散的阶段,
●内插装置,其适于利用流的配属有不同相位值的第一图像和第二图像来生成内插图像,通过将相位变量用作内插变量并通过在要生成内插图像的期望的相位值处内插第一图像和第二图像的图像值来生成所述内插图像。
第一流和第二流中的扫描结果可以在同一(例如在患者位于成像装置附近的同一时机下)或不同的(例如在患者的多次访问过程中)时间段内采集。特别地,可以在先获取一个扫描流,并可以在不同流的扫描结果融合之前不久或融合期间获取其它扫描流。
在下文中描述以下内容:通过在利用成像装置(例如超声装置)已实际获取的扫描结果之间内插生成一个给定流中的至少一个图像。替代地,内插可以在一个扫描结果和一个内插图像之间或两个内插图像之间实施。内插可以利用相位值实施。这种内插不限于为不同流中的图像的配准做准备。而是,利用相位值的内插可以针对单一流来实施并不执行进一步的配准步骤。
内插图像可以利用由成像装置产生的图像或扫描结果、即利用同一流内的扫描结果来计算。然而,本发明不限于仅在一个流的图像或扫描结果之间内插。而是,代替地或附加地,可以通过在另外的第二流的图像或扫描结果之间内插来生成至少一个图像。优选地,两个流中的多个图像是通过内插生成的。特别地,可以以这种方式通过对至少一个流(特别是两个流)的离散的扫描结果之间的任何期望的相位变量值处连续内插来生成准连续的图像流。如后面将更详细描述的,这可以作为两个流的图像的相位同步配准的基础。特别地,可以在多个相位值处建立第一流和第二流的两两(每对包括第一流的一个图像和第二流的一个图像)配准。
特别地,可以实施内插以生成如上提到的第一图像(即所述第一流的图像),其中,所述第一流的图像被认为是将图像分别配属给相位变量的相应相位值的数学函数的输出,相位变量由此限定内插的内插自变量,并且所述第一图像作为在相位变量的期望值处内插的图像而被生成。相应地,配准装置可以适于实施该内插。期望的相位值是特别地配属给图像对的第一图像和第二图像两者的相位值。因此,第一图像和第二图像中的至少一个可以是内插图像,并且该方法能够使第一图像和第二图像的精确配准,因为它使用相位变量而非时间变量。
根据一特别的实施例,所述内插以下述方式实施:
●确定第一流的两个已有图像的配准,从而建立所述两个已有图像之间的位置-位置关联的描述(description),
●确定所述两个已有图像中的一个与将在期望的相位值生成的第一图像之间的位置-位置关联的内插描述,其中,所述期望的相位值位于由配属给所述两个已有图像的相位值所限定(尤其是限界)的相位值区间内,
●将位置-位置关联的内插描述施加到所述两个已有图像中的一个以生成第一图像。
特别地,所述两个已有图像可以是流(特别是第一流)中的图像序列中的两个相继的图像。
所述布置结构的配准装置可以适于实施这种内插。更一般而言,配准的描述(例如变换矩阵或变形场,参见上文)可以被内插以生成第一图像。附加地或替代地,第一图像可以通过内插图像值(例如图像的灰度级和/或颜色值)来生成。特别地,内插可以通过在位于两个已有图像的相应位置处的图像值对之间内插图像值来实施,从而生成第一图像。配准装置可以适于实施这种内插。
如上文所提到的,两个流的图像(直接采集的或通过相位同步内插而生成的)可以被用来建立这两个流的配准。理论上,两个流之间的单一配准是足够的并在整个器官运动周期中都有效。然而,实际上在低采样速率和/或实施了不精确的内插方法的情况下单一配准是不足够的。因此,优选地,可以在运动周期内的不同阶段实施多个流间配准。
特别地,可以在多个相位值处建立第一流和第二流的图像之间的两两(每对包括第一流的第一图像和第二流的第二图像)配准。另外,配准结果可以是内插的基础。这意味着建立在被配准的图像对之间的进一步的配准结果并不是两两配准的直接结果。再次,相位变量替代时间变量被用作内插变量。
特别地,根据该方法的一实施例,
●确定至少两个配准、即至少两个图像值位置-位置关联,其中,为包括第一流的第一图像和第二流的第二图像的不同对中的每一对确定一个配准,其中,通过从所述第一流选择一图像和从所述第二流选择配属有相同相位值的图像来选取所述不同对中的每一对的所述第一图像和所述第二图像,以便为所述不同对中的每一对建立所述第一图像与所述第二图像之间的位置-位置关联的描述,
●将相位变量用作内插的自变量来确定新的图像对中的第一图像和第二图像之间的位置-位置关联的内插描述,其中,新对中的第一流和第二图像已经存在一个已有图像(可选地作为内插的结果),并且要生成所述新对中的第一流和第二图像中的另一图像,将相位变量的期望的相位值配属给所述新对中的已有图像,
●通过将位置-位置关联的内插描述施加至该已有图像来生成所述新对中的另一图像。
作为本方法的其它实施例,所述布置结构(并且尤其是配准装置)可以适于实施该实施例。
应该注意的是,特别在采集时间比器官运动重复时间长的情况下,在同一流中可能会有在所述器官运动的不同周期中所采集的不同的扫描结果。因此,第一流和/或第二流可以包括多个具有配属的相同的相位值的图像。在这种情况下,配属有相同的相位值的图像之一,或可替代地,处理配属有相同的相位值的图像得到的图像可以被用于配准和/或内插。
特别地,利用追踪器(参见上文)来观察形状和/或位置的周期性变化中的阶段,并且追踪器的输出值被用于将相位变量的相位值配属给每个流内的每个图像。
附图说明
本发明的示例将通过参考附图予以描述。各附图示意性地示出:
图1示出用于对不同流中的图像数据进行配准的布置结构,
图2示出在器官运动的周期期间扫描结果、以及两个扫描结果的放大图,该放大图示出基于内插变换矩阵的内插,
图3是类似于图2中的下部的图,示出基于变形场的内插,
图4示出两个不同采样流,并在底部示出一些采样的放大图,该放大图用于展示在不同相位值处的内插和配准,
图5示出在器官的非谐振运动的情况下相位变量随时间变化的图表;以及
图6示出在器官的非谐振运动的情况下相位变量随器官偏移位置变化的图表。
具体实施方式
图1示意性地示出执行运动周期的器官Or。在周期过程中,器官的形状和位置连续变化。图示的是器官在运动周期的不同阶段的两个圆周线。
两个不同的成像装置1和2反复地获取器官Or的扫描结果。因此,通过操作成像装置1和2生成两个不同的图像流。除了图示以外,不同的成像装置1和2可以不同时存在,不过也可以同时存在。第一成像装置1产生扫描结果并由此生成形成第一流的第一图像F1。类似地,第二成像装置2产生扫描结果并由此生成形成第二流的第二图像F2。第一图像F1和第二图像F2(特别是分别属于第一流或第二流的、不同成像模态的图像)被传送到装置3,所述装置3可以是计算机。更广义地,装置3适于处理从第一成像装置1和第二成像装置2接收到的流。装置3也可以通过内插生成第一流和/或第二流的另外的图像和/或可以从第一流和/或第二流生成第三模态的图像数据。
装置3包括配准装置,所述配准装置用于把同一流的不同图像配准和/或把来自不同流的图像对配准。装置3可以包括不同装置,例如用于将相位值配属给不同流中的每一个图像的数据处理器和一个或多个用于实施所述配准的配准装置。然而,还可能的是,由同一处理器来实施相位值的配属以及所述配准。任何情况下,装置3与用于存储和取回两个图像流的数据存储器4连接。这些图像中的一些是采集的扫描结果并且这些图像的一些可以是内插图像。另外,可以使用两个流中一个流的已有图像和关于两个流的配准信息来生成这些图像中的一些,从而从一个流的已有图像生成另一流的图像。
另外,装置3可以连接到至少一个屏幕(图1中未示出),所述屏幕用于向用户(例如医生)展示图像中的至少一个。特别地,装置3可以将不同流的配属有相同相位值的对应的图像结合。该结合可以被称为“融合”。特别地,融合的图像可以被显示在屏幕上和/或输出给其它装置。
追踪器5追踪器官运动(也称为阶段或相位)并且对应的追踪器信号被传送给装置3。因此,装置3可以将对应的相位值相应地配属给每个图像。根据操作成像装置的第一实施例,可以首先将时间值(或时间戳)配属给每一个图像F,然后,装置3可以配属从追踪器操作、例如在考虑了对应的跟踪器信号值产生的时间的情况下得到的相位值。然而,根据图1展示之外的其它实施例,可以将流内的每个扫描结果在由成像装置生成对应的扫描结果时配属给追踪器信号或配属给对应的相位值。在该情况下,追踪器直接地或间接地连接到一个或多个成像装置。
在以下说明中,提到了不同的图像F。通常存在属于同一流或不同流的多个不同的图像F。如果图像F中的一个对应于运动周期的开始或对应于器官的运动周期的一部分的开始,那么该图像F被标记为Fs。如果图像F对应于运动周期的结束或对应于运动周期的一部分的结束,那么该图像F被标记为Fe。相应的相位值中由ps表示周期或周期的一部分的开始,并且由pe表示周期或周期的一部分的结束。这意味着相位值ps被配属给开始图像Fs,并且相位值pe被配属给结束图像Fe。
如图2的上部和类似的图4的上部所示,水平线代表运动周期c的持续时间。在运动周期期间,追踪器(在图2和图4中未示出)产生追踪器信号tr。追踪器信号tr对应于器官运动的相位或阶段或者包括用于确定相位的信息。追踪器的示例如前所述。
另外,不同类型的内插将在下文予以说明。每个内插具有内插自变量,根据本发明,内插自变量为相位值。为了简便起见,相位值与追踪器信号一样都由tr表示。然而,处理追踪器信号以获得相位值是可能的。作为处理的示例,跟踪器信号tr可以在时间(例如关注了运动周期的开始)上积分以生成相位值。在下文中,下述内插变量被使用:内插变量I=1-(te-tr)/(te-ts),其中0<=I<=1,te是在周期或周期的一部分的结束时的相位值,而ts是周期或周期的一部分的开始或起始时的相位值。内插变量I也是相位变量,即归一化相位变量。另外,P(x,y)和F(x,y)将用于将位置P()和图像值F()表示为空间变量x,y的空间函数。在立体图像数据的情况下,存在用于第三空间维度的第三空间变量z。图像值F(x,y)可以是例如灰度值或颜色值。
如上文所提到的,可以通过在没有获取扫描结果的相位值处生成图像来针对至少一种模态产生相位连续的图像流。特别地,内插变量I可以被用来在所有期望的相位值处生成内插图像。存在不同的方式来实施内插。特别地,内插可以划分成位置内插和图像值内插(特别是灰度值内插)。位置内插(其可以被可替代地称为“方位内插”)表示在各图像F的空间(通常是二维或三维空间)内的位置被偏移,而它们的灰度值保持不变。这种位置内插基于这样的假设:图像元素(例如像素或体素)与解剖学位置相关联(即与器官的元素或区域相关联)。因此,在相应的位置处的图像元素追随器官运动,从而它们的值(例如灰度)保持恒定。图像值内插、特别是灰度值内插基于这样的事实:在一体积或平面内的固定位置处的图像值由于器官运动而变化。这意味着器官的不同元素和区域在周期性器官运动过程中移动经过所述固定位置。
图2的中间部分示意性地展示了采集的扫描结果的序列,每个扫描结果由“x”表示。每个扫描结果的图2中的水平方向上由对应的x所表示的位置对应于周期c内的阶段并且也对应于追踪器信号tr的对应值。图2中示出的11个扫描结果不足以形成代表器官的周期性运动的准连续图像流。图2所示的扫描结果在本文所述的示例中是一个流中的扫描结果。
在图2的下部详细地展示了图2的下述部位:在图2的中间部分上由虚线椭圆线包围的、所采集的两个扫描结果之间的部位。对于所采集的两个扫描结果中的每一个已经生成了图像并且考虑了开始于相位值ps且结束于相位值pe的运动周期。如以上提到的,图像Fs是在相位值ps处扫描的结果并且图像Fe是在相位值pe处扫描的结果。相位p的轴线由箭头表示。
现在期待通过内插来生成附加的图像。例如,两个附加图像分别由具有虚线周线的一个方形表示。通过内插,可以生成除了这两个附加图像以外的附加图像。
根据一种非常简单的方法,可以通过在从相位值ps到相位值(pe-ps)/2的范围内复制所采集的扫描结果Fs来执行所述内插。以这种方式,可以生成任意数量的期望的附加图像并且可以将上述范围内的相应的相位值分别配属给这些附加图像的每一个。以类似的方式,可以在从(pe-ps)/2到pe的范围内将所采集的扫描结果Fe复制期望的次数并且将相应的相位值分别配属给各复制。然而,只有在从相位值ps到相位值pe的范围较小或者ps和pe之间的范围内的形状变化较小时,这种非常简单的内插才是合适的。在其它情况下,标记为从一个图像到另一个图像的跳跃的可见伪像在跨越该周期的中间时、即在p=(pe-ps)/2处将变得可见。
因此可以利用上文提到的位置内插方法来实施内插的改进形式。如图2的下部所示,图像Fe和Fs的配准被实施并且结果是变换矩阵[T]。这意味着确定出刚性配准。在一些情况下,特别是在从ps到pe的相位范围间隔较大和/或如果器官发生了变形而不是简单地改变其在患者体内的位置的情况下,刚性变换是不合适的并且应该确定变形场而不是变换矩阵。这种情况将在后面参考图3予以说明。
在图2的下部展示的情况中,分别从值Fs和Fe通过矩阵内插生成由具有虚线周线的方线表示的两个图像。在以下方程中,[1]表示在对角线上具有矩阵元素1且在其它地方具有矩阵元素0的单位对角矩阵。特别地,对于相位值区间的第一半和相位值区间的第二半实施矩阵内插的两种不同方式:
Fr(x,y)=Fs(x,y)*([1]+I*[T]),其中I<=0.5
Fr(x,y)=Fe(x,y)*([1]+(1-I)*[T]-1),其中I>0.5
在以上两个方程中,Fr(x,y)、Fs(x,y)和Fe(x,y)分别表示所得到的内插图像Fr、开始图像Fs和结束图像Fe的图像值。符号[T]-1表示变换矩阵[T]的逆矩阵。替代地,这两个方程中的第一个或这两个方程中的第二个均可以用于从ps到pe的整个范围,即用于内插变量I的整个范围。由于上述的内插仅偏移图像值的位置而没有改变灰度,因此这种内插是一种位置内插。
位置内插的另一种形式在图3中示出。图像Fs、Fe的非刚性配准而并非刚性配准被实施,并且获得了由此得到的变形场[D]。从所述变形场[D],可以对于两个被配准的图像中的一个内的每个位置确定一空间矢量V(x,y)。矢量V(x,y)从该图像的这个位置指向两个被配准图像中的另一个中的一位置。通常,通过所述矢量连接的两个位置是不同的位置,否则将不存在由变形场[D]限定的变形。然而,一些位置将不会通过变形场[D]偏移。在这种情况下,相应的矢量从一个图像中的一个位置指向另一个图像中的同一位置。
如图3所示,不同矢量从开始图像Fs中的位置指向由具有虚线周线的矩形所表示的生成的图像,并且不同的矢量从结束图像Fe中的位置指向由具有虚线周线的矩形所表示的另一生成的图像中的位置。与上文限定的用于变换矩阵内插的方程类似地,以下两个方程限定了变形场内插的一示例,即用于相位值区间或内插变量区间的两半:
Fr(x,y)=Fs(x,y)+I*V(x,y),其中I<=0.5
Fr(x,y)=Fe(x,y)+(1-I)*V(x,y),其中I>0.5
如对于变换矩阵内插,可以对于内插变量I的整个范围只使用描述变形场内插的方程中的一个。变形场内插的第二个方程包含因子(1-I),这意味着可以使反向矢量V(x,y)乘以因子(1-I)的相应值从而来计算出所得到的图像Fr的图像值。
对于初始空间位置(在已有图像中)到最终空间位置(在要生成的内插图像中)的变换附加或替代地,包含在开始和结束图像Fs和Fe内的图像值(特别是灰度值)可以在相位值区间内如上所述那样被内插。再次,可以使用所述内插变量I。
经典变形理论假设图像值(例如像素或体素)代表患者的解剖学特征(例如组织类型),因此不会随着器官形状和/或位置的刚性的或可变形的变化而显著改变。该假设可以是真的或不是真的:例如,超声灰度级不仅取决于组织类型,还取决于它对于换能器的定向。在对运动器官的采集的过程中,同一器官部分的定向可能发生改变,从而导致不同灰度值配属给器官内的同一解剖学区域。如果这种灰度级没有被相应地内插,那么在周期内的所述灰度级的变化会导致可见的间隙。因此,在开始相位值ps和结束相位值pe之间内插图像值是更普遍的情况,因为它包括前面提到的作为特殊情况的下述情况:即在运动周期期间在给定解剖学位置处的灰度级保持恒定。在上面提到的内插情况的所有情况下,并沿着下述矢量来如下计算所得到的图像的图像值Fr(x,y),即该矢量将位于开始图像Fs与结束图像Fe中的一对位置所在的位置连接:
Fr(x,y)=(1-I)*Fs(x,y)+I*Fe(x,y),
这种“图像值内插”使得所生成的相继的图像之间更平滑地过渡。
在下文中将描述流间内插的示例。在此,两个流的图像、即第一图像(第一流的图像)和第二图像(第二流的图像)被观察。流中的至少一个流包括通过成像装置采集到的扫描结果(采集的扫描结果)并选择性地包括这些采集的扫描结果之间的多个内插图像,由此这些图像之一通常可以被用作其它流的相同相位值的对应图像。特别地,这些流之一包括相位连续或准连续的流。
图4在它的上部以与图2所示相同的方式示出了器官的运动周期c和对应的跟踪器信号tr的走向。在图4的中间部分有两组图像数据。每个采集的扫描结果由“x”表示。其图像由上部线“x”所表示一个流包括七个图像并且另一流仅包括四个图像。
两个流的中央图像的情况在图4的下部示出并且流间内插的一示例被阐释。
由于两个流观察同一器官并且因为它们的图像借助相位变量彼此相关,因此可以假定:单一配准足以实施不同流的、在运动周期的任何阶段彼此相对应的、即具有相同的相位值的图像之间的配准。然而,如果实施了一个以上流间配准,那么就可以获得两个流之间的更精确的配准结果。在图4的示例中,实施了两个流间配准,但是实际上也可以实施两个以上流间配准,以产生两个流之间的高质量配准。
在通常情况下,我们可以考虑将两个流都视作相位连续流,即我们可以在相位变量p的任何期望的位置处在第一流中产生图像并在第二流中产生的对应的图像。替代地,以上提及的两个图像之一可以是采集的扫描结果,而第二种图像可以是内插图像,这是因为在通常情况下这两个流不会是完全同步的。从如上所述的至少两对对应的扫描结果对,可以实施刚性或非刚性配准,每个配准基于一对图像,一对图像中的一个来自第一流,而另一个来自第二流。
在一种有利的组合中,具有较稀疏图像密度的流(在此被称为“稀疏流”并且例如作为图4的下图像序列被示出)可以例如作为离散流被采用,并且具有较密集的采样密度的第二流(在此被称为“密集流”并且例如作为图4中的上图像序列被示出)可以被视为例如相位连续流。在该组合中,在稀疏流中具有采集的扫描结果的任何器官阶段(相位)处并利用对应的相位变量p,可以在密集流中识别出一采集的扫描结果作为对应的图像或者可以通过在密集流中内插而生成对应的图像。由于密集流具有相对高的图像密度,因此由内插引起的误差较小。
在图4的示例中,稀疏流中采集的扫描结果被表示为S1、S2且密集流中采集的扫描结果被表示为F1、F2、F3、F4,而密集流中的内插图像被表示为FS1、FS2且稀疏流中的内插图像被表示为SF2、SF3。在密集流中的图像的层级上的箭头和在稀疏流的图像的层级上的箭头示出了流间内插。
特别地,图4的底部的放大图中的密集流的四个扫描结果中的开始图像F1和密集流中的相继的图像F2可以用来生成密集流的内插图像FS1,例如以如上所述的方法之一生成。以相同的方法,密集流的图像F3和相继的图像F4可以用来生成密集流的第二内插图像FS2。特别地,可以在稀疏流中的所采集的扫描结果S所在的每个相位值p处生成一内插图像。
在图4所示的示例中,在密集流内、于与稀疏流内的原始图像S1和S2对应的相位值p中的值p1和p2处生成内插图像FS1和FS2。特别地,可以在稀疏流中的相应的扫描结果S1、S2与密集流中的内插图像FS1和FS2之间实施两两配准。这些配准由图4的下部的左手侧和右手侧的两条连续竖直线表示。在图示的示例中,所述配准得到由符号[Ta]、[Tb]表示的变换矩阵。替代地,配准结果可以是变形场[Da]、[Db](图4中未示出)。这种变换矩阵或变形场表明稀疏流的图像必须被变换才能与密集流中的对应(采集的或内插的)图像几何地匹配。明显地,这种用于在不同流之间配准图像的变换只是将一个流的场值(例如灰度级)偏移在另一个流上而不改变它们的值。
在实施流间配准的过程中的进一步的步骤中,通过在稀疏流的采集的扫描结果S1、S2之间、在下述相位值pr(特别地在每个相位值)处内插而生成内插图像SF2、SF3:密集流的采集的扫描结果F2、F3在所述相位值pr处存在于密集流的开始图像F1与结束图像F4的相位值之间。
在流间配准的最后步骤中,在密集流的采集的任何扫描结果(特别在p1和p2之间的每个期望的值p)的相位值处,两个配准结果(在此为配准矩阵[Ta]和[Tb])被内插。在期望的相位值pr处,获得内插的配准结果(在此为变换矩阵[Tc])。使用该内插的配准结果(如图4的示例中的第三和第四竖直虚线所示),所述内插的配准信息被用来使稀疏流中的内插图像SF2、SF3变换在密集流中的扫描结果F2、F3上。
在刚性配准的情况下,为了确定内插的配准[Tc],[dT]=[Tb]-[Ta]可以被计算以作为在周期或周期范围上的配准变化的量度。这种差变换矩阵[dT]不同于图4所示的示例,因为,在以下方程中,[Ta]和[Tb]表示在相位值区间的起点和终点处的配准矩阵。对于任意期望的相位值pr或追踪器信号值tr,内插的配准矩阵[Tc]可以如下计算:
[Tc]=[Ta]+I*[dT]=(1-I)*[Ta]+I*[Tb]
在非刚性配准的情况下,差变形场[dD]=[Db]-[Da]被计算。它表示相位值区间的起点和终点处的图像S1和S2的位移矢量的差场。对于任意期望的相位值pr或追踪器信号值tr,可以如下计算内插的变形场的结果、即得到的值[Dc](x,y):
[Dc](x,y)=[Da](x,y)+I*[dD](x,y)=(1-I)*[Da](x,y)s+I*[Db](x,y)
在下文中将描述相位变量的示例。图5示出两个器官运动周期中的相位变量p与时间t的函数关系。在此示出的示例性的相位进程类似于正弦函数,但是与理想的正弦函数又明显不同。另外,开始于时间t=t0并结束于时间t=t1的第一周期的函数不同于开始于时间t=t1并结束于时间t=t2的第二周期的函数。在第一周期中,相位值从它的最小值p0向它的最大值p1的初始发展与第二周期相比更急剧。另外,周期的周期长度可以不同。由此,使用时间变量t不能精确地确定器官运动的阶段。
不同的是,如图6所示,相位变量是能精确地限定器官运动的相应阶段的一种变量。在图6中,沿着水平轴线示出周期性器官运动的偏移位置y。在该具体示例中,相位p作为器官偏移位置y的函数是具有恒定斜率的精确线性函数。这表示相位值在周期开始处以它的最小值p0(偏移位置y0)开始并且相对于偏移位置y线性(与偏移位置y按比例)地发展直到在相位值p1处达到最大偏移位置y1。在每个周期的第二半中,相位变量p沿着图6所示的曲线沿相反方向变化,并且相同的变化进程应用至每个具有相同的极限偏移位置y0和y1的周期。
然而,通常而言,相位变量不是器官形状和/或位置的线性函数。例如,产生不随着形状和/或位置线性变化的输出信号的常规追踪器可以被使用。在任何情况下,相位变量独立于器官形状和/或位置随时间发展,这是因为每个相位值被明确地配属给一器官形状和/或位置。
Claims (12)
1.一种用于将第一流中的第一图像数据与第二流中的第二图像数据配准的方法,所述第一图像数据和所述第二图像数据包括关于人或动物的图像信息,所述关于人或动物的图像信息包含关于所述人或所述动物的至少一个器官(Or)的图像信息,其中,所述器官(Or)的形状和/或位置是变化的并由此执行形状和/或位置的周期性变化,其中:
●所述第一流和所述第二流中的每一个流均包括由所述至少一个器官(Or)在所述形状和/或位置的周期性变化中的多个不同的离散的阶段处的图像(F)所组成的一系列图像,以使得每个图像(F)分别对应于所述形状和/或位置的周期性变化中的离散的阶段中的一个,
●利用相位变量(p)来限定所述形状和/或位置的周期性变化中的阶段,并将所述相位变量(p)的相位值配属给所述第一流和所述第二流中的每一个流中的每一个图像(F),从而替代特定周期中图像(F)被获取的时间地、明确地限定所述形状和/或位置的周期性变化中的由图像(F)所代表的离散的阶段,
●对包括所述第一流的第一图像和所述第二流的第二图像的图像(F)对来确定一配准、即确定图像值的位置-位置关联,其中,通过从所述第一流选择或内插一图像并通过从所述第二流选择或内插配属有相同的相位值(pr)的一图像来选取所述图像对的所述第一图像和所述第二图像。
2.根据权利要求1所述的方法,其特征在于,实施内插以生成所述第一图像,其中,所述第一流中的图像(F)被认为是将图像(F)分别配属给相位变量(p)的相应的相位值的数学函数的输出,由此所述相位变量(p)限定了用于内插的内插自变量,并且,所述第一图像作为在相位变量(p)的期望的相位值处内插的图像而被生成。
3.根据权利要求2所述的方法,其特征在于,所述内插通过以下方式来执行:
●确定所述第一流中的两个已有图像(F)的配准,从而建立所述两个已有图像(F)之间的位置-位置关联的描述,
●确定所述两个已有图像(F)之一与将在期望的相位值处生成的所述第一图像之间的位置-位置关联的内插描述,其中,所述期望的相位值位于配属给所述两个已有图像(F)的相位值所限定的相位值区间内,
●将位置-位置关联的所述内插描述施加至所述两个已有图像(F)之一以生成所述第一图像。
4.根据权利要求2所述的方法,其特征在于,一内插被实施以确定位于两个已有图像(F)的对应的位置处的图像值对之间的内插图像值,从而生成所述第一图像。
5.根据权利要求1到4中任一项所述的方法,其特征在于,
●确定至少两个配准,即图像值的位置-位置关联,也就是为包括第一流的第一图像和第二流的第二图像的不同的图像对中的每一对确定一个配准,其中,通过从所述第一流选择或内插一图像并通过从所述第二流选择或内插配属有相同相位值的一图像来为所述不同的图像对中的每一对选取第一图像和第二图像,从而为所述不同的图像对中的每一对建立第一图像与第二图像之间的位置-位置关联的描述,
●通过将相位变量(p)用作内插的自变量来确定出新的图像对中的第一图像与第二图像之间的位置-位置关联的内插描述,其中,所述新的图像对中的第一图像和第二图像中有一个图像是作为采集的图像和/或内插的结果的已有图像,并且要生成所述新的图像对中的第一图像和第二图像中的另一个图像,将相位变量(p)的期望的相位值配属给该已有图像,
●通过将位置-位置关联的内插描述施加至所述已有图像来生成所述另一个图像。
6.根据权利要求1到5中任一项的方法,其特征在于,利用追踪器来观察所述形状和/或位置的周期性变化中的阶段,并且利用所述追踪器的输出值来将相位变量(p)的相位值配属给每个图像(F)。
7.一种生成人或动物的图像流中的内插图像的方法,其中,所述图像流中的图像包括关于所述人或所述动物的至少一个器官(Or)的图像信息,并且所述器官(Or)的形状和/或位置是变化的并由此执行形状和/或位置的周期性变化,其中:
●所述图像流形成由所述至少一个器官(Or)在所述形状和/或位置的周期性变化中的多个不同的离散的阶段处的图像(F)所组成的一系列图像,以使得每个图像(F)分别对应于所述形状和/或位置的周期性变化中的离散的阶段中的一个,
●利用相位变量(p)来限定所述形状和/或位置的周期性变化中的阶段,并将所述相位变量(p)的相位值配属给所述图像流中的每一个图像,从而替代特定周期中图像(F)被获取的时间地、明确地限定所述形状和/或位置的周期性变化中的由图像(F)所代表的离散的阶段,
●利用所述图像流中的配属有不同相位值的第一图像和第二图像来生成内插图像,其中,通过将相位变量用作内插变量并通过在要生成内插图像的期望的相位值处内插所述第一图像和所述第二图像的图像值来生成所述内插图像。
8.一种布置结构,所述布置结构尤其用于实施前述权利要求中任一项所述的方法,所述布置结构适于将第一流中的第一图像数据与第二流中的第二图像数据配准,所述第一图像数据和所述第二图像数据包括关于人或动物的图像信息,所述关于人或动物的图像信息包含关于所述人或所述动物的至少一个器官(Or)的图像信息,其中,所述器官(Or)的形状和/或位置是变化的并由此执行所述形状和/或位置的周期性变化,并且所述布置结构包括:
●存储所述第一流和所述第二流的存储器(4),其中,所述第一流和所述第二流中的每一个流均包括由所述至少一个器官(Or)在所述形状和/或位置的周期性变化中的多个不同的离散的阶段处的图像(F)所组成的一系列图像,以使得每个图像(F)分别对应于所述形状和/或位置的周期性变化中的离散的阶段中的一个,
●数据处理器(3),所述数据处理器(3)适于利用相位变量(p)来限定所述形状和/或位置的周期性变化中的阶段,并适于将所述相位变量(p)的相位值配属给所述第一流和所述第二流中的每一个流中的每一个图像(F),从而替代特定周期中图像(F)被获取的时间地、明确地限定所述形状和/或位置的周期性变化中的由图像(F)所代表的离散的阶段,
●配准装置(3),所述配准装置(3)适于对包括所述第一流的第一图像和所述第二流的第二图像的图像对来确定一配准、即确定图像值的位置-位置关联,其中,所述配准装置(3)适于通过从第一流数据选择或内插一图像并通过从所述第二流选择或内插配属有相同的相位值的一图像来选取所述图像对的所述第一图像和所述第二图像。
9.根据权利要求8所述的布置结构,其特征在于,所述配准装置(3)适于执行内插以生成所述第一图像,其中,所述第一流中的图像(F)被认为是将图像分别配属给相位变量(p)的相应的相位值的数学函数的输出,由此相位变量(p)限定了用于内插的内插自变量(I),并且,所述第一图像作为在相位变量(p)的期望的相位值(pr)处内插的图像而被生成。
10.根据权利要求8或9所述的布置结构,其特征在于,所述配准装置(3)适于:
●确定至少两个配准、即图像值的位置-位置关联,也就是为包括第一流的第一图像和第二流的第二图像的不同的图像对中的每一对分别确定一个配准,其中,通过从所述第一流选择或内插一图像并且从第二流选择或内插配属有相同相位值的一图像来为所述不同的图像对中的每一对选取第一图像和第二图像,从而为所述不同的图像对中的每一对建立第一图像与第二图像之间的位置-位置关联的描述,
●通过将相位变量(p)用作内插的自变量来确定出新的图像对中的第一图像与第二图像之间的位置-位置关联的内插描述,其中,所述新的图像对中的第一图像和第二图像中有一个图像是作为采集的图像和/或内插的结果的已有图像,并且要生成所述新的图像对中的第一图像和第二图像中的另一个图像,将相位变量(p)的期望的相位值配属给所述新的图像对中的已有图像,
●通过将位置-位置关联的内插描述施加至该已有图像来生成所述新的图像对中的所述另一个图像。
11.根据权利要求8到10中任一项所述的布置结构,其特征在于,所述布置结构还包括追踪器(5),所述追踪器(5)适于观察所述形状和/或位置的周期性变化中的阶段并适于输出下述值:所述值将作为相位变量(p)的相位值配属给每个图像(F)。
12.一种布置结构,所述布置结构尤其用于实施根据权利要求7所述的方法,所述布置结构适于对人或动物的图像流内插图像,其中,所述图像流中的图像包括关于所述人或所述动物的至少一个器官(Or)的图像信息,所述器官(Or)的形状和/或位置是变化的并由此执行形状和/或位置的周期性变化,并且所述布置结构包括:
●存储所述图像流中图像的存储器(4),其中,所述图像流中图像形成由所述至少一个器官(Or)在所述形状和/或位置的周期性变化中的多个不同的离散的阶段处的图像(F)所组成的一系列图像(F),以使得每个图像分别对应于所述形状和/或位置的周期性变化中的离散的阶段中的一个,
●数据处理器(3),所述数据处理器(3)适于利用相位变量(p)来限定所述形状和/或位置的周期性变化中的阶段,并适于将所述相位变量(p)的相位值配属给所述图像流中的每一个图像(F),从而替代特定周期中图像(F)被获取的时间地、明确地限定所述形状和/或位置的周期性变化中的由图像(F)所代表的离散的阶段,
●内插装置(3),所述内插装置(3)适于利用所述图像流中的配属有不同相位值的第一图像和第二图像来生成内插图像,其中,通过将相位变量用作内插变量并通过在要生成内插图像的期望的相位值处内插所述第一图像和所述第二图像的图像值来生成所述内插图像。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP15202840.3 | 2015-12-28 | ||
EP15202840.3A EP3188120B1 (en) | 2015-12-28 | 2015-12-28 | Registering first image data of a first stream with second image data of a second stream |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106991692A true CN106991692A (zh) | 2017-07-28 |
CN106991692B CN106991692B (zh) | 2020-06-16 |
Family
ID=55221223
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611273102.6A Active CN106991692B (zh) | 2015-12-28 | 2016-12-27 | 将第一流的第一图像数据与第二流的第二图像数据进行配准 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10152799B2 (zh) |
EP (1) | EP3188120B1 (zh) |
CN (1) | CN106991692B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112783111A (zh) * | 2019-11-11 | 2021-05-11 | 西门子股份公司 | 用于技术设施的具有趋势曲线图的控制系统 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180353159A1 (en) * | 2017-06-12 | 2018-12-13 | Xuan Zhong Ni | Calibration of two synchronized motion pictures from magnetocardiography and echocardiography |
DE102018210051A1 (de) * | 2018-06-20 | 2019-12-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Messvorrichtung und Verfahren zur Bestimmung zumindest eines respiratorischen Parameters |
CN109917315B (zh) * | 2019-04-30 | 2021-09-28 | 上海联影医疗科技股份有限公司 | 磁共振成像扫描方法、装置、计算机设备和存储介质 |
JP7379918B2 (ja) * | 2019-08-08 | 2023-11-15 | 株式会社Jvcケンウッド | 記録再生制御装置および記録再生制御方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050213703A1 (en) * | 2004-03-26 | 2005-09-29 | Fuji Photo Film Co., Ltd. | Dynamic radiographic image obtaining method and apparatus |
CN102663761A (zh) * | 2012-04-24 | 2012-09-12 | 长江勘测规划设计研究有限责任公司 | 用于影像地图的线状矢量与遥感影像自动配准方法 |
CN102812493A (zh) * | 2010-03-24 | 2012-12-05 | 皇家飞利浦电子股份有限公司 | 用于产生物理对象的图像的系统和方法 |
WO2015015194A1 (en) * | 2013-07-31 | 2015-02-05 | Mbda Uk Limited | Method and apparatus for tracking an object |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2998932B1 (en) * | 2014-09-16 | 2021-01-27 | Esaote S.p.A. | Method and device for the acquisition of ultrasound images and for the fusion of such images with pre-acquired images |
-
2015
- 2015-12-28 EP EP15202840.3A patent/EP3188120B1/en active Active
-
2016
- 2016-12-23 US US15/389,633 patent/US10152799B2/en active Active
- 2016-12-27 CN CN201611273102.6A patent/CN106991692B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050213703A1 (en) * | 2004-03-26 | 2005-09-29 | Fuji Photo Film Co., Ltd. | Dynamic radiographic image obtaining method and apparatus |
CN102812493A (zh) * | 2010-03-24 | 2012-12-05 | 皇家飞利浦电子股份有限公司 | 用于产生物理对象的图像的系统和方法 |
CN102663761A (zh) * | 2012-04-24 | 2012-09-12 | 长江勘测规划设计研究有限责任公司 | 用于影像地图的线状矢量与遥感影像自动配准方法 |
WO2015015194A1 (en) * | 2013-07-31 | 2015-02-05 | Mbda Uk Limited | Method and apparatus for tracking an object |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112783111A (zh) * | 2019-11-11 | 2021-05-11 | 西门子股份公司 | 用于技术设施的具有趋势曲线图的控制系统 |
Also Published As
Publication number | Publication date |
---|---|
EP3188120A1 (en) | 2017-07-05 |
US20170186181A1 (en) | 2017-06-29 |
EP3188120B1 (en) | 2018-07-25 |
US10152799B2 (en) | 2018-12-11 |
CN106991692B (zh) | 2020-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106991692A (zh) | 将第一流的第一图像数据与第二流的第二图像数据进行配准 | |
US10699410B2 (en) | Automatic change detection in medical images | |
JP6851359B2 (ja) | ボリューム測定位相コントラストmriによる総合的心血管解析 | |
Stone et al. | Structure and variability in human tongue muscle anatomy | |
JP5944645B2 (ja) | 磁気共鳴イメージング装置 | |
Parthasarathy et al. | Measuring tongue motion from tagged cine-MRI using harmonic phase (HARP) processing | |
CN106170246A (zh) | 用于四维(4d)流磁共振成像的设备、方法和产品 | |
JP2009022459A (ja) | 医用画像処理表示装置、およびその処理プログラム | |
Biffi et al. | 3D high-resolution cardiac segmentation reconstruction from 2D views using conditional variational autoencoders | |
JP2012000135A (ja) | マルチモダリティ動画像診断装置 | |
JP5029702B2 (ja) | 画像生成装置、画像生成方法およびプログラム | |
CN106952285B (zh) | 基于先验统计运动模型及自适应配准的肺部运动估计方法 | |
CN102905622A (zh) | 用于经改进的示踪成像处理的系统和方法 | |
Felton et al. | Mechanical basis for lingual deformation during the propulsive phase of swallowing as determined by phase-contrast magnetic resonance imaging | |
CN107316554A (zh) | 一种心脏介入术虚拟训练系统 | |
CN104825133B (zh) | 基于彩色多普勒3d成像的准静态心室‑心脏磁场模型 | |
Dev | Imaging and visualization in medical education | |
Hao et al. | OFx: A method of 4D image construction from free-breathing non-gated MRI slice acquisitions of the thorax via optical flux | |
KR102084138B1 (ko) | 영상 처리 장치 및 방법 | |
US20100030572A1 (en) | Temporal registration of medical data | |
JP5195924B2 (ja) | 画像表示装置およびプログラムおよび画像表示方法 | |
Martin et al. | Realistic dynamic numerical phantom for MRI of the upper vocal tract | |
Geng et al. | Exploring Structural Information for Semantic Segmentation of Ultrasound Images | |
Perperidis | Spatio-temporal registration and modelling of the heart using cardiovascular MR imaging | |
Lerotic et al. | Image constrained finite element modelling for real-time surgical simulation and guidance |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |