CN102332159A - 用于对准图像的方法、装置以及程序 - Google Patents
用于对准图像的方法、装置以及程序 Download PDFInfo
- Publication number
- CN102332159A CN102332159A CN201110158186XA CN201110158186A CN102332159A CN 102332159 A CN102332159 A CN 102332159A CN 201110158186X A CN201110158186X A CN 201110158186XA CN 201110158186 A CN201110158186 A CN 201110158186A CN 102332159 A CN102332159 A CN 102332159A
- Authority
- CN
- China
- Prior art keywords
- image
- band area
- area image
- band
- alignment device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 81
- 210000004872 soft tissue Anatomy 0.000 description 65
- 210000000988 bone and bone Anatomy 0.000 description 27
- 238000006243 chemical reaction Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 23
- 230000000875 corresponding effect Effects 0.000 description 22
- 238000005516 engineering process Methods 0.000 description 17
- 230000033001 locomotion Effects 0.000 description 12
- 238000000354 decomposition reaction Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 10
- 230000002685 pulmonary effect Effects 0.000 description 8
- 230000002792 vascular Effects 0.000 description 8
- 230000002452 interceptive effect Effects 0.000 description 6
- 238000010606 normalization Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 5
- 101150001186 NABP2 gene Proteins 0.000 description 4
- 101150061735 Nabp1 gene Proteins 0.000 description 4
- 101150045406 SPSB2 gene Proteins 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 210000000038 chest Anatomy 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000013011 mating Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及用于对准图像的方法、装置以及程序。带域图像生成部生成多个第一带域图像和多个第二带域图像,所述多个第一带域图像和所述多个第二带域图像表示单个被检体的同一部位的第一图像和第二图像内的不同频带的结构。位置偏移量获取部获取对应频带的所述第一带域图像和所述第二带域图像内的对应位置之间的位置偏移量。
Description
技术领域
本发明涉及用于将多个图像相互对准的图像位置对准方法、图像位置对准装置以及图像位置对准程序。
背景技术
利用如下事实的能量减法处理通常已经为人所知:穿过被检体的射线衰减量根据该射线所穿过的物质而不同。能量减法处理采用通过将具有不同能量的两种射线来照射某一被检体而获取的两个射线图像。能量减法处理可以用来产生软组织图像,该软组织图像例如是从其中除去了骨骼的所获取的胸部区域的图像。这样的软组织图像使得可以对出现在软组织内部的图样进行观察,而不会被骨骼阻碍观察。相反地,可以产生从其中除去了软组织的骨骼图像,以使得可以对出现在骨骼内部的图样进行观察,而不会被软组织阻碍观察。
在能量减法处理中采用的具有不同能量的两种射线所获取的两个射线图像是经由两次成像操作而获取的情况下,用高能量射线和低能量射线以几百毫秒的间隔照射某一被检体。如果该被检体在两次成像操作之间发生移动,将会出现位置偏移,并且在由该减法处理产生的图像(称为减法图像)中出现伪像。还有,在执行获取相减图像的时间减法处理的情况下,也会出现这些伪像,所述相减图像表示按时间序列在不同时刻获取的两个射线图像之间的差异。
已经提出了用于减少这些伪像的多种技术。例如,公布的美国专利申请No.2008/0247626公开了一种用于估计两个射线图像之间的局部移动的技术,其中,在两个射线图像中设定ROI(感兴趣区域)并且采用ROI通过进行匹配来实现位置对准。在这种技术中,在图像中的ROI的尺寸以步进方式减小,从而逐步地实现更小结构的位置对准。特别地,在两个图像内的对应控制点处设定具有特定尺寸的ROI以计算位置偏移量。基于所计算出来的位置偏移量将这两个图像之一变形以进行位置对准。采用对准后的图像来利用更小尺寸的ROI进行位置对准。上述处理重复进行,直至达到ROI的预定最小尺寸。因此,以从低频带结构到高频带结构渐进的方式在图像包括的组织中进行位置对准。
诸如心脏、肺部血管、肋骨和横膈膜的多个结构分别展现人体胸部区域中的不同的三维运动。在将被检体图像投影到检测射线并输出图像信号的射线检测器的方向上,所述多个结构相互交叠。这里,例如,心脏包含大量相对低频的部件,而肺部血管则包含大量相对高频的部件。在采用在已公布的美国专利申请No.2008/0247626中所公开的技术的情况下,从低频带结构到高频带结构实现位置对准。因此,从心脏到肺部血管按步进方式实现位置对准。但是,在已公布的美国专利申请No.2008/0247626所公开的技术中,当进行高频带结构的位置对准时,将低频带结构与高频带结构一起变形。因此,在两个图像包括诸如心脏和肺部血管的展现不同三维运动的结构的情况下,在对肺部血管进行位置对准时,在已经进行了位置对准的心脏中会出现位置偏移。如果以这样的方式在心脏中发生位置偏移,那么通过能量减法处理而获取的减法图像中会存在伪像。
发明内容
考虑到前述情况而开发了本发明。本发明的目的是在多个图像之间实现更加精确的位置对准。
根据本发明的第一图像位置对准装置的特征在于,该第一图像位置对准装置包括:
带域图像生成部,其生成多个第一带域图像和多个第二带域图像,所述多个第一带域图像和所述多个第二带域图像表示单个被检体的同一部位的第一图像和第二图像内的不同频带的结构;以及
位置偏移量获取部,其获取对应频带的所述第一带域图像和所述第二带域图像内的对应位置之间的位置偏移量。
可以采用表示第一带域图像和第二带域图像内的对应位置之间的差异的任何理想信息项作为“位置偏移量”。这样的信息项的具体实施例包括在第一带域图像和第二带域图像内的对应点之间的距离、以及对应点之间的方向向量。注意,可以采用第一带域图像和第二带域图像来计算位置偏移量,也可以采用第一图像和第二图像来计算位置偏移量。
注意,根据本发明的第一图像位置对准装置可以进一步包括:
对准部,其基于所述位置偏移量将所述第一带域图像和所述第二带域图像中的至少一方变形。
在这种情况下,所述第一图像位置对准装置可以进一步包括:
重构部,其从低频带开始按顺序重构变形后的所述第一带域图像和所述第二带域图像中的至少一方,并且获取处于变形状态的所述第一图像和所述第二图像中的至少一方。
另外,在这种情况下,所述第一图像位置对准装置可以进一步包括:
显示部,其在重构处理的中间阶段,从低频带到高频带逐步地显示显示变形后的所述第一带域图像和变形后的所述第二带域图像中的至少一方。
进一步地,根据本发明的图像位置对准装置可以进一步包括:
减法部,其通过采用变形后的所述第一带域图像和变形后的所述第二带域图像中的至少一方执行能量减法处理,来获取多个第一差分带域图像和多个第二差分带域图像中的至少一方,所述多个第一差分带域图像主要包括所述被检体的第一结构,所述多个第二差分带域图像主要包括所述被检体的第二结构。
在这种情况下,所述图像位置对准装置可以进一步地包括:
重构部,其从低频带起按顺序重构所述第一差分带域图像和所述第二差分带域图像中的至少一方,并且获取主要包括被检体的第一结构的第一差分图像和主要包括被检体的第二结构的第二差分图像中的至少一方。
另外,在这种情况下,所述图像位置对准装置可以进一步地包括:
显示部,其在重构处理的中间阶段,从低频带到高频带逐步地显示显示变形后的所述第一差分带域图像和变形后的所述第二差分带域图像中的至少一方。
根据本发明的第二图像位置对准装置特征在于,该第二图像位置对准装置包括:
特征图像生成部,其生成多个第一特征图像和多个第二特征图像,所述多个第一特征图像和所述多个第二特征图像表示单个被检体的同一部位的第一图像和第二图像中都包括的具有不同解剖特征的结构;以及
位置偏移量获取部,其获取所述第一特征图像和所述第二特征图像内的对应位置之间的位置偏移量。
注意,根据本发明的第二图像位置对准装置可以进一步地包括:
对准部,其基于所述位置偏移量将所述第一带域图像和所述第二带域图像中的至少一方变形。
在这种情况下,所述第二图像位置对准装置可以进一步地包括:
重构部,其从低频带开始按顺序重构变形后的所述第一特征图像和所述第二特征图像中的至少一方,并且获取处于变形状态的所述第一图像和所述第二图像中的至少一方。
根据本发明的第一图像位置对准装置和第二图像位置对准装置可以进一步地包括:
初始对准部,其对所述第一图像和所述第二图像执行初始位置对准;并且其中:
所述带域图像生成部或所述特征图像生成部从初始对准后的所述第一图像和所述第二图像生成所述多个第一带域图像和所述多个第二带域图像、或者所述多个第一特征图像和所述多个第二特征图像。
根据本发明的第一图像位置对准方法的特征在于,该方法包括以下步骤:
生成多个第一带域图像和多个第二带域图像,所述多个第一带域图像和所述多个第二带域图像表示单个被检体的同一部位的第一图像和第二图像内的不同频带的结构;以及
获取对应频带的所述第一带域图像和所述第二带域图像内的对应位置之间的位置偏移量。
根据本发明的第二图像位置对准方法的特征在于,该方法包括以下步骤:
生成多个第一特征图像和多个第二特征图像,所述多个第一特征图像和所述多个第二特征图像表示单个被检体的同一部位的第一图像和第二图像中都包括的具有不同解剖特征的结构;以及
获取所述第一特征图像和所述第二特征图像内的对应位置之间的位置偏移量。
注意,可以将根据本发明的第一和第二图像位置对准方法提供为使得计算机来运行所述方法的程序。
根据本发明的第一图像位置对准装置和第一图像位置对准方法生成多个第一带域图像和多个第二带域图像,所述多个第一带域图像和所述多个第二带域图像表示单个被检体的同一部位的第一图像和第二图像内的不同频带的结构;并且获取对应频带的所述第一带域图像和所述第二带域图像内的对应位置之间的位置偏移量。因此,在第一和第二图像包含不同频带的多个结构并且所述多个结构分别呈现不同的三维运动的情况下,每个频带的位置偏移量就是每个频带中的结构的位置偏移量。由此,采用位置偏移量对每个频带的带域图像执行位置对准,从而在位置上对准每个频带的结构。结果,即使在第一和第二射线图像中包括的多个结构的频带不同的情况下,也能够以高准确度进行每个频带的结构的位置对准。
另外,第一图像位置对准装置可以进一步地包括:重构部,其从低频带开始按顺序重构变形后的所述第一带域图像和所述第二带域图像中的至少一方,并且获取处于变形状态的所述第一图像和所述第二图像中的至少一方。在这种情况下,即使在第一和第二射线图像中包括的多个结构的频带不同并且所述多个结构分别呈现不同的三维运动的情况下,也能够获取其中对应频带的结构在位置上精确对准的第一图像和第二图像中的至少一方。
这里,在显示重构后的第一和第二图像的情况下,运算量是很大的。因此,在重构处理开始到显示第一和第二图像需要很长的时间。由于这个原因,在重构处理的中间阶段,可以按步进方式从低频带到高频带显示变形后的所述第一带域图像和变形后的所述第二带域图像中的至少一方。这样,尽管分辨率很低,但还是可以显示位置上对准的第一和第二带域图像,直至显示重构后的第一和第二图像。由此,可以缩短等待显示图像的时间。
另外,通过采用变形后的所述第一带域图像和变形后的所述第二带域图像中的至少一方执行能量减法处理,可以获取主要包括所述被检体的第一结构的多个第一差分带域图像、和主要包括所述被检体的第二结构的多个第二差分带域图像中的至少一方。因此,能够获取其中减少了伪像的第一和第二带域图像中的至少一方。这是因为,即使在第一和第二射线图像中包括的多个结构的频带不同并且所述多个结构分别呈现不同的三维运动的情况下,对应频带中的结构也可以在位置上精确对准。
进一步地,可以从低频带起按顺序重构所述第一差分带域图像和所述第二差分带域图像中的至少一方,并且可以获取主要包括被检体的第一结构的第一差分图像、和主要包括被检体的第二结构的第二差分图像中的至少一方。因此,能够获取其中减少了伪像的第一差分带域图像和第二差分带域图像中的至少一方。这是因为,即使在第一和第二射线图像中包括的多个结构的频带不同并且所述多个结构分别呈现不同的三维运动的情况下,对应频带中的结构也可以在位置上精确对准。
这里,在显示重构后的第一和第二差分图像的情况下,运算量是很大的。因此,从开始重构处理到显示第一和第二差分图像需要很长的时间。由于这个原因,在重构处理的中间阶段,可以按步进方式从低频带到高频带显示变形后的所述第一差分带域图像和变形后的所述第二差分带域图像中的至少一方。这样,尽管分辨率很低,但还是可以显示位置上对准的第一和第二差分带域图像,直至显示重构后的第一和第二差分图像。由此,可以缩短等待显示图像的时间。
根据本发明的第二图像位置对准装置和第二图像位置对准方法生成多个第一特征图像和多个第二特征图像,所述多个第一特征图像和所述多个第二特征图像表示单个被检体的同一部位的第一图像和第二图像中都包括的具有不同解剖特征的结构;并且获取所述第一特征图像和所述第二特征图像内的对应位置之间的位置偏移量。
因此,即使第一和第二图像中包括的具有不同解剖特征的结构分别呈现不同的三维运动,也能够在位置上精确对准对应结构。结果,基于所获取的位置偏移量,可以精确地执行通过将对应结构的第一特征图像和第二特征图像中的至少一方变形而执行的位置对准。
另外,可以从低频带起重构变形后的第一特征图像和第二特征图像中的至少一方,以获取处于变形状态的第一图像和第二图像中的至少一方。因此,能够获取其中对应结构在位置上精确对准的第一图像和第二图像中的至少一方。
附图说明
图1是显示根据本发明第一实施方式的图像位置对准装置的示意性结构的框图;
图2是用于说明分辨率转换的图;
图3是用于说明ROI(感兴趣区域)的设定的图;
图4是显示第一实施方式执行的处理中的步骤的流程图;
图5是显示根据本发明第二实施方式的图像位置对准装置的示意性结构的框图;
图6是显示第二实施方式执行的处理的步骤的流程图;
图7是显示根据本发明第三实施方式的图像位置对准装置的示意性结构的框图;
图8是显示第三实施方式执行的处理中的步骤的流程图;
图9是显示根据本发明第四实施方式的图像位置对准装置的示意性结构的框图;
图10是显示第四实施方式执行的处理中的步骤的流程图;
图11是用于说明图像显示的图;
图12是显示根据本发明第五实施方式的图像位置对准装置的示意性结构的框图。
具体实施方式
以下,参考附图描述本发明的实施方式。图1是显示根据本发明第一实施方式的图像位置对准装置1的示意性结构的框图。注意,图1中的图像位置对准装置1应用于使用射线图像对来进行减法处理的能量减法装置。例如,该能量减法装置安装在采用射线检测器获取射线图像的成像操作台上。通过执行下载到计算机(如个人计算机)上的辅助存储装置的图像对准处理程序,可以实现如图1所示的图像位置对准装置1的结构。这时,图像对准处理程序在通过记录在诸如CD-ROM的数据记录介质上或经由诸如互联网的网络而发布之后,将该图像对准处理程序安装在计算机中。
根据第一实施方式的图像位置对准装置1配备有:图像获取部10;分辨率转换部20;位置偏移量获取部30;位置对准部40;重构部50;和减法处理部60。
图像获取部10获取相互之间要进行位置对准的第一射线图像Sa和第二射线图像Sb。第一射线图像Sa和第二射线图像Sb的例子包括由采用具有不同能量的射线的两次成像操作而获取的高能量图像和低能量图像。这里,例如,在正面胸部成像操作期间,高能量图像是通过在向射线源施加从100KVp到140KVp范围内的管电压期间的成像操作而获取的,低能量图像是通过在向射线源施加从50KVp到80KVp范围内的管电压期间的成像操作而获取的。注意,高能量图像可以原样用来进行图像诊断。作为另一选择,第一射线图像Sa和第二射线图像Sb可以是要在时间减法处理中采用的、在不同时刻获取的单个被检体的同一部位的时间序列中的两个射线图像。
分辨率转换部20将第一射线图像Sa和第二射线图像Sb的分辨率转换为不同频带的多个带域图像。注意,在图1中,分辨率转换部20配备有用于转换第一射线图像Sa的分辨率的第一分辨率转换部20A、和用于转换第二射线图像Sb的分辨率的第二分辨率转换部20B。可选择地,单个分辨率转换部20可以转换第一射线图像Sa和第二射线图像Sb二者的分辨率。在以下的说明中,术语“分辨率转换部20”总称第一分辨率转换部20A和第二分辨率转换部20B。
图2是用于说明分辨率转换的图。这里要注意的是,仅仅给出针对第一射线图像Sa的分辨率转换的描述。但是,针对第二射线图像Sb进行相同的分辨率转换处理。首先,分辨率转换部20采用σ=1的高斯滤波器对射线图像Sa执行滤波处理,以将射线图像Sa减少到其尺寸的1/2并产生减小后的图像Ssa1。接下来,分辨率转换部20通过采用诸如三次样条插值的插值运算,从减小后的图像Ssa1生成与射线图像Sa尺寸相同的放大图像Ssa1′。接着,从射线图像Sa中减去放大图像Ssa1′以生成第一带域图像Ba1。接下来,分辨率转换部20采用σ=1的高斯滤波器对减小后的图像Ssa1执行滤波处理,以将减小后的图像Ssa1减少到其尺寸的1/2并产生减小后的图像Ssa2。接下来,分辨率转换部20从减小后的图像Ssa2生成与放大图像Ssa1′尺寸相同的放大图像Ssa2′,以生成放大图像Ssa2′。接着,从放大图像Ssa1′中减去放大图像Ssa2′以生成第二带域图像Ba2。进一步地,重复上述处理,直至生成所期望频带的带域图像,从而生成多个频带的多个带域图像Baj(j=1至n)。注意,可以采用诸如小波变换的其他分辨率转换技术来生成多个带域图像Baj。作为进一步的选择,可以通过如下的滤波处理生成不同频带的所述多个带域图像:所述滤波处理减少图像中的高频部分,而不改变射线图像的尺寸。
在本实施方式中,针对第一射线图像Sa和第二射线图像Sb生成三个带域图像Ba1至Ba3一级Bb1至Bb3。但是,可以生成更多数量的不同频带的带域图像。
位置偏移量获取部30获取具有对应频带的第一带域图像Ba1至Ba3和第二带域图像Bb1至Bb3的对应像素位置的位置偏移量。例如,在具有对应频带的第一带域图像Ba1至Ba3和第二带域图像Bb1至Bb3中进行模板匹配,并且对于第一和第二带域图像计算对应像素位置之间的位置偏移量C1至C3。这里,描述采用第一带域图像Ba1和第二带域图像Ba2的位置偏移量的计算处理。如图3所示,在第一带域图像Ba1和第二带域图像Bb1内的对应格点处设定ROI(感兴趣区域)。将ROI之一(例如在第一带域图像Ba1内的ROI)采用在第二带域图像Bb1内的对应ROI作为基准而在预定的范围内偏移,以计算这两个ROI之间的相似度。接下来,求出当相似度最大时第二带域图像Bb1内的与第一带域图像Ba1内的格点相对应的点。之后,计算第二带域图像Bb1内的格点和与之对应的点之间的距离,作为位置偏移量C1。注意,通过采用网格位置的位置偏移量的插值运算,来计算针对格点之间的像素位置的位置偏移量。作为一种选择,可以采用将格点连接到对应点的向量作为位置偏移量。
注意,可以采用归一化的互相关值来表示相似度。另外,在图3所示的例子中,ROI的数量设定为4个,但是本发明不局限于这样的结构。进一步地,ROI不仅可以如图3所示地设定在格点上,而且还可以设定在图像中的特征点上,例如第一带域图像Ba1至Ba3和第二带域图像Bb1至Bb3中包括的边缘的交点。
这里,例如,可以采用诸如在日本特开2000-342558号公报中公开的技术来计算归一化的互相关值。在将第一带域图像的ROI内的第i像素的像素值指定为Sa(i)并且将第二带域图像的ROI内的第i像素的像素值指定为Sb(i)的情况下,可以根据下式(1)计算归一化的互相关值。注意,I表示该ROI内的像素的总数,mA和mB分别表示第一和第二带域图像的ROI内的平均像素值,并且σA和σB分别是第一和第二带域图像的ROI内的像素值的标准偏差。
通过按这种方式采用归一化的互相关值,可以在不受平均浓度或灰度差异(这是由第一和第二图像之间的曝光条件的差异而导致的)的影响下计算第一和第二带域图像之间的相似度。这里,在第一和第二带域图像之间存在位置偏移的区域,第一和第二带域图像之间的相关度很低。由此,当对应的第一和第二带域图像的ROI完全匹配时,归一化的互相关值取值为1,而当它们完全相互独立时,取值为0。
注意,在图1中,图像位置对准装置1配备有用于获取带域图像Ba1与Bb1之间的位置偏移量C1的第一位置偏移量获取部30A、用于获取带域图像Ba2与Bb2之间的位置偏移量C2的第二位置偏移量获取部30B、以及用于获取带域图像Ba3与Bb3之间的位置偏移量C3的第三位置偏移量获取部30C。另选的是,可以将单个位置偏移量获取部30构成为获取第一带域图像Ba1至Ba3与第二带域图像Bb1至Bb3之间的位置偏移量C1至C3。在以下的说明中,术语“位置偏移量获取部30”是第一位置偏移量获取部30A至第三位置偏移量获取部30C的统称。
位置偏移量获取部30获取位置偏移量的方法并不限于上面所描述的方法。另选的是,可以采用由H.Fujiyoshi在“Gradient Based Feature Extraction-SIFT and HOG”,Reports of the Academy of Data Processing CVIM 160,第211-224页,2007所公开的方法。这种方法采用尺度不变特征变换(Scale Invariant Feature Transform:SIFT)或者梯度方向直方图(Histograms of Oriented Gradients:HOG)来检测要进行位置对准的图像内的特征点,其中SIFT描述在旋转、尺度变化等等中没有发生变化的特征,HOG是以直方图的形式呈现的在局部区域内亮度梯度的方向。在这种情况下,位置偏移量获取部30采用Fujiyoshi公开的方法来检测第一带域图像Ba1内的特征点,检测第二带域图像Bb1内的与所述特征点对应的点,并计算出所述特征点与其对应点之间的位置偏移量。
作为又一种可选择的方案,可以采用第一射线图像Sa和第二射线图像Sb来获取位置偏移量。在这种情况下,第一射线图像Sa和第二射线图像Sb内的对应像素位置之间的位置偏移量可以用作在第一带域图像Ba1至Ba3与第二带域图像Bb1至Bb3之间的位置偏移量。
优选地,在获取位置偏移量时,首先对于具有最低频带的带域图像计算位置偏移量,接着对于具有次最低频带的带域图像计算位置偏移量。在计算具有次最低频带的带域图像的位置偏移量的情况下,当采用对于更低频带计算出的位置偏移量执行模板匹配时,以这种方式计算位置偏移量使得ROI的搜寻范围变窄。因此,能够更加有效地计算位置偏移量。
位置对准部40例如采用在日本特开2001-218110号公报中所公开的其中对多对图像中的一对进行非线性失真变换(扭曲(warping))的技术,对第一带域图像Ba1至Ba3与第二带域图像Bb1至Bb3执行位置对准。在当前实施方式中,计算第二带域图像内的格点相对于第一带域图像内格点的的偏移量,作为位置偏移量C1至C3。因此,通过使第二带域图像Bb1至Bb3变形,在位置上对准第一带域图像Ba1至Ba3和第二带域图像Bb1至Bb3。
注意,图1中的图像位置对准装置1配备有:用于对带域图像Ba1与Bb1进行位置对准的第一位置对准部40A;用于对带域图像Ba2与Bb2进行位置对准的第二位置对准部40B;以及用于对带域图像Ba3与Bb3进行位置对准的第三位置对准部40C。另选的是,单个位置对准部40可以对第一带域图像Ba1至Ba3与第二带域图像Bb1至Bb3的位置进行对准。在以下的说明中,术语“图像位置对准部40”是第一图像位置对准部40A至第三图像位置对准部40C的统称。
作为扭曲的可替代方式,可以采用伴随有平行移动、旋转、放大和缩小,或者平行移动、旋转、放大和缩小中的一种的仿射变换,以在位置上对准第一和第二带域图像。特别是在射线图像不包括呈现大幅运动的诸如心脏的结构的情况下,与扭曲相比,通过仿射变换或平行移动、旋转、放大和缩小之一而进行的位置对准能够缩短计算所需的时间量。
重构部50重构由位置对准部40进行了变形的第二带域图像Bb1′至Bb3′以产生变形后的第二射线图像Sb′。具体地,执行与图2所示的分辨率转换相反的处理,来重构第二带域图像Bb1′至Bb3′并产生变形后的第二射线图像Sb′。注意,可以通过按相反的顺序执行图2的处理来实现重构。也就是说,将放大后的图像Ssb3′加到带域图像Bb3′以产生缩小的图像Ssb2,接着对缩小后的图像Ssb2进行放大以产生放大后的图像Ssb2”。接下来,将放大后的图像Ssb2″加到带域图像Bb2′以产生缩小的图像Ssb1,接着对减小后的图像Ssb1进行放大以产生放大后的图像Ssb1″。之后,将放大后的图像Ssb1″加到带域图像Bb1′以产生变形后的第二射线图像Sb′。注意,在第二带域图像Bb1至Bb3是通过小波变换而获得的情况下,通过采用逆小波变换来实现重构。
减法处理部60采用第一射线图像Sa和变形后的第二射线图像Sb′执行减法处理,以获取表示被检体的软组织的从其中移除了骨骼的软组织图像SP、以及表示被检体的骨骼的骨骼图像BP。通常,差分的图像Psub表示乘以了第一加权系数Ka的第一射线图像Sa(高能量图像)和乘以了第二加权系数Kb的第二射线图像Sb(低能量图像)中的对应像素之间的差异,并且可以由式(2)表述。注意,在式(2)中,Kc表示预定的偏置值。
Psub=Ka·Sa-Kb·Sb’+Kc (2)
减法处理部60执行公式(2)中的计算以生成作为差分图像Psub的软组织图像SP。以下,减法处理部60从第一射线图像Sa中减去软组织图像SP,以生成骨骼图像BP(BP=Sa-SP)。
接下来,描述由第一实施方式执行的该处理的步骤。图4是显示由第一实施方式执行的处理的步骤的流程图。首先,图像获取部10获取第一射线图像Sa和第二射线图像Sb(获取图像,步骤ST1)。接着,分辨率转换部20将第一射线图像Sa和第二射线图像Sa和Sb的分辨率转换为不同频带的多个带域图像,以对第一射线图像Sa和第二射线图像Sb生成带域图像Ba1至Ba3以及Bb1至Bb3(步骤ST2)。接下来,位置偏移量获取部30获取第一带域图像Ba1至Ba3与第二带域图像Bb1至Bb3之间的位置偏移量C1至C3(步骤ST3)。位置对准部40基于位置偏移量C1至C3使得第二带域图像Bb1至Bb3变形,以执行第二带域图像Bb1至Bb3相对于第一带域图像Ba1至Ba3的位置对准(步骤ST4)。重构部50重构变形后的第二带域图像Bb1′至Bb3′,以生成变形后的第二射线图像Sb′(步骤ST5)。
接着,减法处理部60采用第一射线图像Sa和变形后的第二射线图像Sb′执行减法处理,以获取表示被检体的软组织的从其中移除了骨骼的软组织图像SP、以及表示被检体的骨骼的骨骼图像BP(步骤ST6),并且该处理结束。
按这种方式,第一实施方式针对第一射线图像Sa和第二射线图像Sb中的每一个,生成表示不同频带的结构的多个第一带域图像和多个第二带域图像。接着,针对第一和第二带域图像获取位置偏移量,并基于该位置偏移量将第二带域图像变形,以在位置上对准第一和第二带域图像。接下来,重构变形后的第二带域图像以生成变形后的射线图像Sb′。这里,在第一和第二射线图像中包括不同频带的多个结构并且所述多个结构分别呈现不同的三维运动的情况下,每个频带的位置偏移量就是每个频带中的结构的位置偏移量。由此,采用位置偏移量对每个频带的带域图像进行位置对准,从而在位置上对准每个频带的结构。结果,能够以高精度实现每个频带的结构的位置对准。由此,能量减法处理采用第一射线图像Sa和变形后的第二射线图像Sb′而生成的软组织图像SP和骨骼图像BP没有伪像,图像质量很高。
特别在射线图像是人体胸部区域图像的情况下,心脏是相对低频带的结构,而肺部血管是相对高频带的结构。根据第一实施方式,在各自具有不同频带的带域图像对之间进行位置对准。因此,分别地对心脏和肺部血管进行位置对准。由此,即使第一射线图像Sa和第二射线图像Sb包括的心脏和肺部血管分别呈现不同的运动,也可以通过采用变形后的第二射线图像Sb′来生成软组织图像SP和骨骼图像BP而没有伪像。
接下来,将描述本发明的第二实施方式。图5是显示根据本发明第二实施方式的图像位置对准装置1A的示意性结构的框图。注意,用相同的附图标记来表示第二实施方式中的与第一实施方式中的元件相同的元件,并且除非特别必要,否则省略其详细描述。第二实施方式的图像位置对准装置1A与第一实施方式的图像位置对准装置1的不同之处在于,其配备有:变形成分计算部70,其计算变形后的第二带域图像Bb1′至Bb3′与变形之前的第二带域图像Bb1至Bb3内的对应像素之间的差异,作为变形成分带域图像D1至D3;重构部52,其重构变形成分带域图像D1至D3,以生成变形成分图像Db;以及减法部80,其从第二射线图像Sb中减去变形成分图像Db,以计算变形的第二射线图像Sb′。
注意,在图5中,图像位置对准装置1A配备有:用于计算变形成分带域图像D1的第一变形成分计算部70A;用于计算变形成分带域图像D2的第二变形成分计算部70B;以及用于计算变形成分带域图像D3的第三变形成分计算部70C。另选的是,可以构造单个变形成分计算部70来计算变形成分带域图像D1至D3。在以下的说明中,术语“变形成分计算部70”是第一变形成分计算部70A至第三变形成分计算部70C的统称。
接下来将描述由第二实施方式执行的处理的步骤。图6是显示由第二实施方式执行的处理的步骤的流程图。注意,图6的流程图中的步骤ST11至步骤ST14的处理和图4的流程图中的步骤ST1至步骤ST4的处理相同。因此,省略其详细描述。
在步骤ST14之后,变形成分计算部70计算第二带域图像Bb1至Bb3和变形的第二带域图像Bb1′至Bb3′内的对应像素之间的差异,以生成变形成分带域图像D1至D3(步骤ST15)。接着,重构部52重构变形成分带域图像D1至D3,以生成变形成分图像Db(步骤ST16)。变形成分图像Db是这样的图像,其仅仅表示第二射线图像Sb中包括的相对于第一射线图像Sa发生了变形的部件。
接下来,减法部80从第二射线图像Sb中,减去变形成分图像Db内的与第二射线图像Sb中的像素相对应的像素,以从第二射线图像Sb中去除第二射线图像Sb的相对于第一射线图像Sa发生了变形的成分,并生成变形后的第二射线图像Sb′(步骤ST17)。接下来,减法处理部60采用第一射线图像Sa和变形后的第二射线图像Sb′执行减法处理,以生成表示被检体的软组织的从其中移除了骨骼的软组织图像SP、和表示被检体的骨骼的骨骼图像BP(步骤ST18),并且该处理结束。
这里,第二实施方式产生的变形成分图像Db表示第一射线图像Sa和第二射线图像Sb中包括的不同频带的结构的位置偏移量。由于这个原因,即使在第一和第二射线图像包含不同频带的多个结构并且所述多个结构分别呈现不同的三维运动的情况下,通过从第二射线图像Sb中减去变形成分图像Db,也可以对于每对不同频带的第一带域图像和第二带域图像实质上进行第一射线图像Sa和第二射线图像Sa的位置对准。由此,即使第一和第二射线图像中包括的结构的频带不同,也能够以高精度实现每个频带的结构的位置对准。结果,能量减法处理采用第一射线图像Sa和变形后的第二射线图像Sb′而产生的软组织图像SP和骨骼图像BP没有伪像,图像质量很高。
接下来,将描述本发明的第三实施方式。图7是显示根据本发明第三实施方式的图像位置对准装置1B的示意性结构的框图。注意,用相同的附图标记来表示第三实施方式中的与第一实施方式中的元件相同的元件,并且除非特别必要,否则省略其详细描述。第三实施方式的图像位置对准装置1B与第一实施方式的图像位置对准装置1的不同之处在于,其配备有:带域图像减法处理部90,其采用第一带域图像Ba1至Ba3和变形后的第二带域图像Bb1′至Bb3′执行减法处理;以及重构部54,其重构由减法处理部90生成的骨骼和软组织的带域图像,以生成软组织图像SP和骨骼图像BP。
注意,在图7中,图像位置对准装置1B配备有:用于计算软组织带域图像SP1和骨骼带域图像BP1的第一带域图像减法处理部90A;用于计算软组织带域图像SP2和骨骼带域图像BP2的第二带域图像减法处理部90B;和用于计算软组织带域图像SP3和骨骼带域图像BP3的第三带域图像减法处理部90C。另选的是,可以构造单个带域图像减法处理部90来计算软组织带域图像SP1至SP3和骨骼带域图像BP1至BP3。在以下的说明中,术语“带域图像减法处理部90”是第一带域图像减法处理部90A至第三带域图像减法处理部90C的统称。
接下来,将描述第三实施方式执行的处理的步骤。图8是显示第三实施方式执行的处理步骤的流程图。注意,图8的流程图中的步骤ST21至步骤ST24的处理和图4的流程图中的步骤ST1至步骤ST4的处理相同。因此,省略其详细描述。
在步骤ST24之后,带域图像减法处理部90采用第一带域图像Ba1至Ba3和变形后的第二带域图像Bb1′至Bb3′执行减法处理,以生成软组织带域图像SP1至SP3和骨骼带域图像BP1至BP3(步骤ST25)。接着,重构部54重构软组织带域图像SP1至SP3和骨骼带域图像BP1至BP3,以生成软组织图像SP和骨骼图像BP(步骤ST26),并且该处理结束。
这里,通过采用第一带域图像Ba1至Ba3和变形后的第二带域图像Bb1′至Bb3′执行减法处理而获取的软组织带域图像SP1至SP3和骨骼带域图像BP1至BP3表示软组织图像和骨骼图像的频率成分,已经从其中去除了各个频带的结构之间的位置偏移。由于这个原因,通过与第三实施方式一样从软组织带域图像SP1至SP3重构软组织图像SP并从骨骼带域图像BP1至BP3重构骨骼图像BP,能够无伪像地生成软组织图像SP和骨骼图像BP。
接下来,将描述根据本发明的第四实施方式。图9是显示根据本发明第四实施方式的图像位置对准装置100的示意性结构的框图。如图9所示,第四实施方式的图像位置对准装置100配备有:图像获取部110;结构分解部120;位置偏移量获取部130;位置对准部140;加法合成部150;和减法处理部160。注意,在第四实施方式中,采用第一射线图像Sa和第二射线图像Sb执行时间减法处理。因此,所述两个射线图像Sa和Sb是在不同时刻所获取的按时间序列的图像。
图像获取部110执行的处理与第一至第三实施方式中的图像获取部10执行的处理相同。
结构分解部120将第一射线图像Sa和第二射线图像Sb中的每一个分解为多个结构图像,这些结构图像表示其中包括不同解剖特征的结构。注意,在第四实施方式中,将第一射线图像Sa和第二射线图像Sb分解为表示骨骼的骨骼图像和表示软组织的软组织图像。例如可以通过在已公布的美国专利申请No.2005/0100208中所公开的技术来将射线图像分解为骨骼图像和软组织图像。这项技术采用已经学习了通过从包括骨骼和软组织的射线图像中提取骨骼来生成骨骼图像的神经网络,以从射线图像中生成骨骼图像。结构分解部120采用在已公布的美国专利申请No.2005/0100208中所公开的技术,从第一射线图像Sa生成第一骨骼图像SaB,从第一射线图像Sa中减去第一骨骼图像SaB,以生成第一软组织图像SaS。相似地,从第二射线图像Sb生成第二骨骼图像SbB,并通过从第二射线图像Sb中减去第二骨骼图像SbB而生成第二软组织图像SbS。
注意,在图9中,图像位置对准装置100配备有:分解第一射线图像Sa内的结构的第一结构分解部120A;和分解第二射线图像Sb内的结构的第二结构分解部120B。可选择地,可以构造单个结构分解部120以分解第一和第二射线图像Sa和Sb内的结构。在以下的说明中,术语“结构分解部120”是第一结构分解部120A和第二结构分解部120B的统称。
位置偏移量获取部130获取在第一骨骼图像SaB和第二骨骼图像SbB内的对应位置之间的位置偏移量C11、以及第一软组织图像SaS和第二软组织图像SbS内的对应位置之间的位置偏移量C12。注意,位置偏移量获取部130执行的处理与根据第一至第三实施方式的位置偏移量获取部30所执行的处理相同,因此省略相关的详细描述。
注意,在图9中,图像位置对准装置100配备有:用于获取第一骨骼图像SaB和第二骨骼图像SbB之间的位置偏移量C11的第一位置偏移量获取部130A;和用于获取第一软组织图像SaS和第二软组织图像SbS之间的位置偏移量C12的第二位置偏移量获取部130B。可选择地,可以构造单个位置偏移量获取部130来获取第一骨骼图像SaB和第二骨骼图像SbB之间的位置偏移量、以及第一软组织图像SaS和第二软组织图像SbS之间的位置偏移量。在以下的说明中,术语“位置偏移量获取部130”是第一位置偏移量获取部130A和第二位置偏移量获取部130B的统称。
位置对准部140基于位置偏移量C11和C12将第二骨骼图像SbB和第二软组织图像SbS变形,以在第一骨骼图像SaB与第二骨骼图像SbB之间以及第一软组织图像SaS与第二软组织图像SbS之间进行位置对准,并且,生成变形后的第二骨骼图像SbB′和变形后的软组织图像SbS′。注意,位置对准部140执行的处理和第一至第三实施方式的位置对准部30执行的处理相同,因此省略其详细描述。
注意,在图9中,图像位置对准装置100配备有:用于对第一骨骼图像SaB和第二骨骼图像SbB执行位置对准的第一位置对准部140A;和用于对第一软组织图像SaS和第二软组织图像SbS执行位置对准的第二位置对准部140B。可选择地,可以构造单个位置对准部140来执行第一骨骼图像SaB与第二骨骼图像SbB的位置对准以及第一软组织图像SaS与第二软组织图像SbS的位置对准。在以下的说明中,术语“位置对准部140”是第一位置对准部140A和第二位置对准部140B的统称。
加法合成部150将变形后的第二骨骼图像SbB′和变形后的第二软组织图像SbS′的对应像素相加,以生成变形后的第二射线图像Sb′。
减法处理部160采用第一射线图像Sa和变形后的第二射线图像Sb′执行减法处理以生成差分图像。注意,第四实施方式与第一至第三实施方式有所不同:生成的差分图像是表示第一射线图像Sa和变形后的第二射线图像Sb′之间的简单差异的差分图像ST。
接下来将描述第四实施方式执行的处理的步骤。图10是显示由第四实施方式执行的处理的步骤的流程图。首先,图像获取部100获取第一射线图像Sa和第二射线图像Sb(获取图像,步骤ST31)。接着,结构分解部120将第一射线图像Sa和第二射线图像Sb中的每一个分解为表示具有彼此不同的解剖特征的结构的多个结构图像,以生成第一骨骼图像SaB、第一软组织图像SaS、第二骨骼图像SbB和第二软组织图像SbS(步骤ST32)。接下来,位置偏移量获取部130获取第一骨骼图像SaB和第二骨骼图像SbB之间的位置偏移量C11、以及第一软组织图像SaS和第二软组织图像SbS之间的位置偏移量C12(步骤ST33)。接下来,位置对准部140基于位置偏移量C11和C12将第二骨骼图像SbB和第二软组织图像SbS变形,以将第二骨骼图像SbB相对于第一骨骼图像SaB进行位置对准,将第二软组织图像SbS相对于第一软组织图像SaS进行位置对准,并生成变形后的第二骨骼图像SbB′和变形后的第二软组织图像SbS′(步骤ST34)。
进一步地,加法合成部150对变形后的第二骨骼图像SbB′和变形后的软组织图像SbS′进行相加和合成,以生成变形后的第二射线图像Sb′(步骤ST35)。接着,减法处理部160采用第一射线图像Sa和变形后的第二射线图像Sb′执行减法处理,以生成表示第一射线图像Sa与变形后的第二射线图像Sb′之间的差异的差分图像ST(步骤ST36),并且处理结束。
按这种方式,第四实施方式将第一射线图像Sa和第二射线图像Sb中的每一个分解为表示其中包括不同解剖特征的结构的多个结构图像。接着,对表示对应结构的每个图像对执行位置对准。接下来,重构在位置上对准的图像,以生成变形后的第二射线图像图像Sb′。由于这个原因,即使第一射线图像Sa和第二射线图像Sa和Sb中包括的多个结构分别呈现不同的三维运动,也能够在位置上对准每个结构。由此,能量减法处理采用第一射线图像Sa和变形后的第二射线图像Sb′而生成的差分图像ST没有伪像,图像质量很高。
注意,在以上所描述的第一至第四实施方式中,执行使用第一射线图像Sa和第二射线图像Sb的减法处理来获取骨骼图像BP、软组织图像SP或时间差分的图像ST。但是,不言而喻,本发明可以适用于这样情况下的位置对准:其中,将第一射线图像Sa和第二射线图像Sb相加以获取其中减少了噪声的图像。
另外,在以上描述的第一至第四实施方式中,在第一射线图像Sa和第二射线图像Sb之间执行位置对准操作。本发明也适用于对通过不同方式获得的两个图像执行位置对准。具体来说,在医学图像领域中,采用了除了X射线成像装置之外的使用多种技术的方式,例如X射线CT(计算机断层摄像)装置、US(超声波)诊断装置、MRI(核磁共振成像)装置、PET(正电子发射断层摄像)装置、和SPET(单光子发射断层摄像)装置。因此,可以实现通过这些方式获取的两个图像的位置对准。例如,可以在由X射线CT装置获取的CT图像和由MRI装置获取的MRI图像之间、或者在CT图像和由PET装置获取的PET图像之间,执行位置对准。另外,存在这样的情况,其中在使用X射线CT装置进行成像期间采用显像剂。在由于使用成像剂而出现的变化被成像、由此获取了多个CT图像的情况下,本发明可以适用于所述多个CT图像的位置对准。
注意,对于每个方式,图像像素的像素值都是唯一的值。因此,如果如同上述实施方式那样采用归一化的互相关值,那么不能够精确计算出通过不同方式获取的图像之间的位置偏移量。由于这个原因,可以采用如下的技术来对由不同方式获取的图像执行位置对准:该技术采用诸如归一化的交互信息作为相似度来计算位置偏移量,如K.Watanabe在“Positional Alignment and Overlapping of Multi Modality Images”,Journal of the Japanese Society of Radiological Technology,Vol.59,No.1,PP.60-65,2003中所公开的那样。
例如,可以通过在日本特开2005-521502号公报和2009-195471号公报中公开的技术来计算归一化的交互信息。交互信息是一种度量,其量化信号Y所包含的与信号X相关的数据量。在计算出信号X的熵h(X)、信号Y的熵h(Y)、以及信号X和Y的二维直方图(同时直方图、联合直方图、联合亮度直方图)Hist(X,Y)之后,可以通过下式(3)计算归一化的交互信息量NMI(X,Y)。由信号X的值(像素值)的概率密度函数p(X)计算出信号X的熵h(X)。按相同方式计算信号Y的熵h(Y)。
其中:
h:熵
p:概率密度分布(交互频率直方图)
X,Y:原始信号
xylem:信号值(像素值)
N:抽样数(像素数)
Hist:直方图
在信号X和Y相互完全独立的情况下,h(X,Y)=h(X)+h(Y)。在信号X和Y不独立的情况下,h(X,Y)<h(X)+h(Y)。h(X,Y)可取的最小值为h(X)或h(Y)。因此,归一化的交互信息NMI(X,Y)的可能值范围是从1到2。在本发明中,计算NMI(X,Y)-1作为最终的归一化交互信息,以使得归一化交互信息的可能值范围为从0到1。因此,在信号X和Y相互完全独立的情况下,NMI(X,Y)=0。随着重叠信息量的增加,NMI(X,Y)的值也会增加。当信号X和Y完全相同,也就是说,不同方式的第一图像和第二图像的对应ROI完全匹配时,那么NMI(X,Y)=1。
第一和第二图像之间的位置偏移量越大,按上述方式计算得出的相似度的值越接近于0,而位置偏移量越小,则相似度的值越接近于1。由此,位置偏移量获取部30和130在第一图像和第二图像的每一个中的对应格点处设定预定尺寸的ROI。接着,将ROI之一(例如,第一带域图像Ba1内的ROI)在采用第二带域图像Bb1内的对应ROI作为基准的预定的范围内偏移,以计算这两个ROI之间的相似度。计算所述相似度最大时的ROI之间的偏移量(即,采用第一图像的格点作为基准时第二图像的格点的偏移量),作为位置偏移量。
采用按这种方式计算出的位置偏移量,第一至第四实施方式可以对由不同方式获取的图像执行精确的位置对准。
在第一至第四实施方式,尤其是第三实施方式中,重构部54执行的重构是从低频带骨骼带域图像BP3和软组织带域图像SP3到高频带骨骼带域图像BP1和软组织带域图像SP1按顺序进行的。但是,在重构所有的带域图像以生成骨骼图像BP和软组织图像SP之前,需要大量时间进行计算。结果,在用户输入了显示骨骼图像BP和软组织图像SP的指令的情况下,他或她必须等待较长时间才能显示出骨骼图像BP和软组织图像SP。
由于这个原因,尤其是在第三实施方式中,如图11所示,连接到减法处理部60的诸如液晶显示器的显示部200可以首先显示使用最低频率骨骼带域图像BP3和软组织图像SP3已经重构的骨骼图像BP3′和软组织图像SP3′。接下来,可以显示使用骨骼带域图像BP3、软组织图像SP3、骨骼带域图像BP2和软组织图像SP2已经重构的骨骼图像BP2′和软组织图像SP2′。最后,可以显示使用所有频带的骨骼带域图像BP1至BP3和软组织带域图像SP1至SP3已经重构的骨骼图像BP和软组织图像SP。
采用这种设置,尽管分辨率很低,但还是可以显示骨骼图像和软组织图像,直至显示充分重构的骨骼图像和充分重构的软组织图像。由此,可以缩短等待显示图像的时间。
注意,不仅在第三实施方式中,而且在第一实施方式中当显示变形后的第二射线图像Sb′时、以及在第二实施方式中当显示变形成分图像Db时,都可以按顺序显示在每一重构步骤生成的不同频带的图像。
另外,在第一至第四实施方式中可以采用这样的结构:其中,在第一射线图像Sa和第二射线图像Sb之间执行粗略位置对准,并且使用粗略位置对准后的第一射线图像Sa和第二射线图像Sb执行第一至第四实施方式的位置对准操作。在下文中,描述这种结构作为第五实施方式。图12是显示根据本发明第五实施方式的图像位置对准装置1C的示意性结构的框图。如图12所示,第五实施方式的图像位置对准装置1C与第一实施方式的图像位置对准装置1的不同之处在于,其配备有初始位置对准部210。
初始位置对准部210获取第一射线图像Sa和第二射线图像Sb之间的位置偏移量。接着,初始位置对准部210使用诸如仿射变换、平行移动、旋转、放大或缩小的需要相对较小运算量的方法,将第二射线图像Sb变形,从而在位置上对准第一射线图像Sa和第二射线图像Sb。初始位置对准部210不同于第一实施方式的位置对准部40,后者执行通过分辨率转换而获取的带域图像的位置对准。在第五实施方式中,使用进行了初始位置对准的射线图像Sa和Sb,由分辨率转换部20、位置偏移量获取部30、位置对准部40和重构部50来获取变形后的第二射线图像Sb′。
通过对第一射线图像Sa和第二射线图像Sb执行初始位置对准,有利于由位置偏移量获取部30和位置对准部40执行的位置对准。因此,可以以很高的速度进行位置对准处理。
注意,第五实施方式是第一实施方式的图像位置对准装置配上初始位置对准部210。也可以将初始位置对准部210设置在第二至第四实施方式的图像位置对准装置中。
另外,在第一至第三实施方式中,重构部50、25和54可以按如下方式进行重构:对像素值进行加权,使得位置偏移量较小的像素位置的权重较大。具体来说,当在重构期间将带域图像彼此相加时,可以对像素值进行加权,使得在位置偏移量较小的像素位置权重较大。
进一步来说,在上述实施方式中,本发明的图像位置对准装置安装在成像操作台上。另选地,本发明的图像位置对准装置可以应用于通过网络连接至成像系统的图像处理工作台,或者应用于对传送到图像存储通信系统(PACS:Picture Archiving andCommunication System(图片存档和通信系统))的图像数据执行位置对准的位置对准处理。
Claims (9)
1.一种图像位置对准装置,该图像位置对准装置包括:
带域图像生成部,其生成多个第一带域图像和多个第二带域图像,所述多个第一带域图像和所述多个第二带域图像表示单个被检体的同一部位的第一图像和第二图像内的不同频带的结构;以及
位置偏移量获取部,其获取对应频带的所述第一带域图像和所述第二带域图像内的对应位置之间的位置偏移量。
2.根据权利要求1所述的图像位置对准装置,该图像位置对准装置进一步包括:
对准部,其基于所述位置偏移量将所述第一带域图像和所述第二带域图像中的至少一方变形。
3.根据权利要求2所述的图像位置对准装置,该图像位置对准装置进一步包括:
重构部,其从低频带起按顺序重构变形后的所述第一带域图像和所述第二带域图像中的至少一方,并且获取处于变形状态的所述第一图像和所述第二图像中的至少一方。
4.根据权利要求3所述的图像位置对准装置,该图像位置对准装置进一步包括:
显示部,其在重构处理的中间阶段,从低频带到高频带逐步地显示显示变形后的所述第一带域图像和变形后的所述第二带域图像中的至少一方。
5.根据权利要求2所述的图像位置对准装置,该图像位置对准装置进一步包括:
减法部,其通过采用变形后的所述第一带域图像和变形后的所述第二带域图像中的至少一方执行能量减法处理,来获取主要包括所述被检体的第一结构的多个第一差分带域图像、和主要包括所述被检体的第二结构的多个第二差分带域图像中的至少一方。
6.根据权利要求5所述的图像位置对准装置,该图像位置对准装置进一步包括:
重构部,其从低频带起按顺序重构所述第一差分带域图像和所述第二差分带域图像中的至少一方,并且获取主要包括所述被检体的所述第一结构的第一差分图像、和主要包括所述被检体的所述第二结构的第二差分图像中的至少一方。
7.根据权利要求6所述的图像位置对准装置,该图像位置对准装置进一步包括:
显示部,其在重构处理的中间阶段,从低频带到高频带逐步地显示显示变形后的所述第一差分带域图像和变形后的所述第二差分带域图像中的至少一方。
8.根据权利要求1所述的图像位置对准装置,该图像位置对准装置进一步包括:
初始对准部,其对所述第一图像和所述第二图像执行初始位置对准;并且其中:
所述带域图像生成部从初始对准后的所述第一图像和所述第二图像生成所述多个第一带域图像和所述多个第二带域图像。
9.一种图像位置对准方法,该图像位置对准方法包括以下步骤:
生成多个第一带域图像和多个第二带域图像,所述多个第一带域图像和所述多个第二带域图像表示单个被检体的同一部位的第一图像和第二图像内的不同频带的结构;以及
获取对应频带的所述第一带域图像和所述第二带域图像内的对应位置之间的位置偏移量。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010133538A JP5612371B2 (ja) | 2010-06-11 | 2010-06-11 | 画像位置合わせ装置および方法並びにプログラム |
JP2010-133538 | 2010-06-11 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102332159A true CN102332159A (zh) | 2012-01-25 |
Family
ID=44314934
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110158186XA Pending CN102332159A (zh) | 2010-06-11 | 2011-06-13 | 用于对准图像的方法、装置以及程序 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8842936B2 (zh) |
EP (1) | EP2395476A3 (zh) |
JP (1) | JP5612371B2 (zh) |
CN (1) | CN102332159A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108460753A (zh) * | 2018-01-03 | 2018-08-28 | 沈阳东软医疗系统有限公司 | 双能量ct图像处理方法、装置以及设备 |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8675939B2 (en) * | 2010-07-13 | 2014-03-18 | Stryker Leibinger Gmbh & Co. Kg | Registration of anatomical data sets |
US8644575B2 (en) * | 2011-02-28 | 2014-02-04 | Kabushiki Kaisha Toshiba | Processing of abdominal images |
US8942512B2 (en) * | 2011-12-24 | 2015-01-27 | Ecole De Technologie Superieure | Methods and systems for processing a first image with reference to a second image |
JP5844239B2 (ja) * | 2012-09-28 | 2016-01-13 | 富士フイルム株式会社 | 放射線画像処理装置、放射線画像撮影システム、プログラム及び放射線画像処理方法 |
US20140243579A1 (en) * | 2013-02-27 | 2014-08-28 | Loyola University Chicago | Dual-energy image suppression method |
WO2016013634A1 (ja) * | 2014-07-24 | 2016-01-28 | 国立研究開発法人科学技術振興機構 | 画像位置合わせ装置、画像位置合わせ方法、および、画像位置合わせプログラム |
GB201416416D0 (en) * | 2014-09-17 | 2014-10-29 | Biomediq As | Bias correction in images |
JP6642998B2 (ja) * | 2014-09-17 | 2020-02-12 | キヤノン株式会社 | 像ズレ量算出装置、撮像装置、および像ズレ量算出方法 |
EP3034000A1 (en) * | 2014-12-16 | 2016-06-22 | Agfa Healthcare | Motion correction method in dual energy radiography |
EP3205254B1 (en) * | 2016-02-15 | 2020-11-18 | Leica Instruments (Singapore) Pte. Ltd. | Medical inspection apparatus, such as a microscope or endoscope, using pseudocolors |
JP6929689B2 (ja) * | 2016-04-26 | 2021-09-01 | キヤノンメディカルシステムズ株式会社 | 医用画像処理装置及び医用画像診断装置 |
JP6590773B2 (ja) * | 2016-09-08 | 2019-10-16 | 富士フイルム株式会社 | 画像処理装置、方法およびプログラム |
JP6750424B2 (ja) * | 2016-09-20 | 2020-09-02 | 株式会社島津製作所 | 放射線画像処理装置および放射線画像処理方法 |
WO2018153473A1 (en) * | 2017-02-24 | 2018-08-30 | Brainlab Ag | Deep inspiration breath-hold setup using x-ray imaging |
US11793478B2 (en) | 2017-03-28 | 2023-10-24 | Canon Medical Systems Corporation | Medical image processing apparatus, medical image processing method, and X-ray diagnostic apparatus |
EP3513730A1 (en) * | 2018-01-18 | 2019-07-24 | Koninklijke Philips N.V. | System and method for image decomposition of a projection image |
JP2020025786A (ja) * | 2018-08-14 | 2020-02-20 | 富士フイルム株式会社 | 画像処理装置、方法及びプログラム |
US11182043B2 (en) | 2018-11-27 | 2021-11-23 | Anduril Industries Inc. | Interactive virtual interface |
CN109685839B (zh) * | 2018-12-20 | 2023-04-18 | 广州华多网络科技有限公司 | 图像对齐方法、移动终端以及计算机存储介质 |
JP7387280B2 (ja) * | 2019-04-10 | 2023-11-28 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
CN115104120A (zh) * | 2019-04-11 | 2022-09-23 | 中科创达软件股份有限公司 | 将低动态范围图像合并为单幅图像的方法及装置 |
JP7451098B2 (ja) * | 2019-06-26 | 2024-03-18 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP7220643B2 (ja) | 2019-10-04 | 2023-02-10 | 富士フイルム株式会社 | 画像処理装置、方法およびプログラム |
JP7289769B2 (ja) | 2019-10-09 | 2023-06-12 | 富士フイルム株式会社 | 画像処理装置、方法およびプログラム |
JP7254963B2 (ja) | 2019-11-20 | 2023-04-10 | 富士フイルム株式会社 | 放射線画像処理装置、方法およびプログラム |
JP7301792B2 (ja) | 2020-06-23 | 2023-07-03 | 富士フイルム株式会社 | 放射線画像処理装置、方法およびプログラム |
JP7362561B2 (ja) | 2020-07-30 | 2023-10-17 | 富士フイルム株式会社 | 放射線画像処理装置、方法およびプログラム |
JP7436320B2 (ja) | 2020-07-31 | 2024-02-21 | 富士フイルム株式会社 | 放射線画像処理装置、方法およびプログラム |
JP2022158574A (ja) | 2021-04-02 | 2022-10-17 | 富士フイルム株式会社 | 学習装置、方法およびプログラム、並びに放射線画像処理装置、方法およびプログラム |
JP2023012763A (ja) | 2021-07-14 | 2023-01-26 | 富士フイルム株式会社 | 推定装置、方法およびプログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070196007A1 (en) * | 2005-10-17 | 2007-08-23 | Siemens Corporate Research, Inc. | Device Systems and Methods for Imaging |
US20080112649A1 (en) * | 2006-11-14 | 2008-05-15 | Siemens Corporate Research, Inc. | Method and System for Dual Energy Image Registration |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63278183A (ja) * | 1987-05-11 | 1988-11-15 | Hitachi Medical Corp | 画像演算時の画像歪み補正装置 |
US5359513A (en) * | 1992-11-25 | 1994-10-25 | Arch Development Corporation | Method and system for detection of interval change in temporally sequential chest images |
US6282307B1 (en) * | 1998-02-23 | 2001-08-28 | Arch Development Corporation | Method and system for the automated delineation of lung regions and costophrenic angles in chest radiographs |
JP2000342558A (ja) | 1999-06-04 | 2000-12-12 | Konica Corp | 画像の位置合わせ処理装置及び画像間演算処理装置 |
JP4188532B2 (ja) | 2000-02-01 | 2008-11-26 | 富士フイルム株式会社 | 画像間演算方法および装置並びに画像表示方法および装置 |
JP2002132004A (ja) * | 2000-10-23 | 2002-05-09 | Fuji Xerox Co Ltd | カラー画像形成装置 |
JP2003174590A (ja) * | 2001-12-07 | 2003-06-20 | Canon Inc | 画像処理装置及び画像処理システム並びにそれらの制御方法 |
US6661873B2 (en) * | 2002-01-28 | 2003-12-09 | Ge Medical Systems Global Technology Company, Llc | Motion artifacts reduction algorithm for two-exposure dual-energy radiography |
US7068826B2 (en) * | 2002-01-28 | 2006-06-27 | Ge Medical Systems Global Technology Company, Llc | Automatic selection of the log-subtraction decomposition parameters for dual energy chest radiography |
EP1502237A2 (en) | 2002-04-03 | 2005-02-02 | Segami S.A.R.L. | Image registration process |
JP4280508B2 (ja) * | 2003-01-31 | 2009-06-17 | 株式会社リコー | 位置ずれ補正装置、画像処理装置、プログラム、記憶媒体及び位置ずれ補正方法 |
DE10333543A1 (de) * | 2003-07-23 | 2005-02-24 | Siemens Ag | Verfahren zur gekoppelten Darstellung intraoperativer sowie interaktiv und iteraktiv re-registrierter präoperativer Bilder in der medizinischen Bildgebung |
US7545965B2 (en) | 2003-11-10 | 2009-06-09 | The University Of Chicago | Image modification and detection using massive training artificial neural networks (MTANN) |
US7639896B2 (en) * | 2004-08-09 | 2009-12-29 | Carestream Health, Inc. | Multimodal image registration using compound mutual information |
US20070133736A1 (en) * | 2005-10-17 | 2007-06-14 | Siemens Corporate Research Inc | Devices, systems, and methods for imaging |
US20070206880A1 (en) * | 2005-12-01 | 2007-09-06 | Siemens Corporate Research, Inc. | Coupled Bayesian Framework For Dual Energy Image Registration |
DE102006046742A1 (de) * | 2006-09-29 | 2008-04-03 | Siemens Ag | Röntgenbildaufnahmesystem und Verfahren zum Bearbeiten eines Röntgenbilds |
JP4763586B2 (ja) * | 2006-12-06 | 2011-08-31 | インターナショナル・ビジネス・マシーンズ・コーポレーション | データ処理装置、データ処理方法、およびプログラム |
JP4895204B2 (ja) * | 2007-03-22 | 2012-03-14 | 富士フイルム株式会社 | 画像成分分離装置、方法、およびプログラム、ならびに、正常画像生成装置、方法、およびプログラム |
US8180124B2 (en) | 2007-03-22 | 2012-05-15 | Amar Dhanantwari | Registration method for projections in dual energy |
EP2231015A4 (en) * | 2007-12-07 | 2013-10-23 | Univ Maryland | COMPOSITE IMAGES FOR MEDICAL PROCEDURES |
JP5016518B2 (ja) | 2008-02-21 | 2012-09-05 | 富士フイルム株式会社 | 位置合わせ装置およびそのプログラム |
-
2010
- 2010-06-11 JP JP2010133538A patent/JP5612371B2/ja active Active
-
2011
- 2011-06-10 US US13/158,080 patent/US8842936B2/en active Active
- 2011-06-10 EP EP11169593.8A patent/EP2395476A3/en not_active Withdrawn
- 2011-06-13 CN CN201110158186XA patent/CN102332159A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070196007A1 (en) * | 2005-10-17 | 2007-08-23 | Siemens Corporate Research, Inc. | Device Systems and Methods for Imaging |
US20080112649A1 (en) * | 2006-11-14 | 2008-05-15 | Siemens Corporate Research, Inc. | Method and System for Dual Energy Image Registration |
Non-Patent Citations (2)
Title |
---|
WEN-HAO WANG,YUNG-CHANG CHEN.: "Image registration by control points pairing using the invariant properties of line segments", 《PATTERN RECOGNITION LETTERS》, vol. 18, no. 3, 31 March 1997 (1997-03-31) * |
张石,唐敏,董建威.: "基于小波金字塔和轮廓特征的医学图像配准", 《计算机仿真》, vol. 25, no. 5, 31 May 2008 (2008-05-31) * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108460753A (zh) * | 2018-01-03 | 2018-08-28 | 沈阳东软医疗系统有限公司 | 双能量ct图像处理方法、装置以及设备 |
Also Published As
Publication number | Publication date |
---|---|
EP2395476A3 (en) | 2013-07-17 |
EP2395476A2 (en) | 2011-12-14 |
US8842936B2 (en) | 2014-09-23 |
JP5612371B2 (ja) | 2014-10-22 |
JP2011255060A (ja) | 2011-12-22 |
US20110305405A1 (en) | 2011-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102332159A (zh) | 用于对准图像的方法、装置以及程序 | |
Tadeusiewicz | Modern computational intelligence methods for the interpretation of medical images | |
EP1316919B1 (en) | Method for contrast-enhancement of digital portal images | |
US20100067772A1 (en) | Radiation image processing method, apparatus and program | |
Li et al. | LKAU-Net: 3D large-kernel attention-based u-net for automatic MRI brain tumor segmentation | |
Rajalingam et al. | Review of multimodality medical image fusion using combined transform techniques for clinical application | |
Xue et al. | A 3D attention residual encoder–decoder least-square GAN for low-count PET denoising | |
JP2008167950A (ja) | 放射線画像処理方法および装置ならびにプログラム | |
CN117813055A (zh) | 用于从快速spect扫描和ct图像合成spect图像的多模态和多尺度特征聚合 | |
Diwakar et al. | Multi-modal medical image fusion in NSST domain for internet of medical things | |
CN102637292A (zh) | 一种图像的处理方法和装置 | |
García-Vega et al. | A novel hybrid endoscopic dataset for evaluating machine learning-based photometric image enhancement models | |
Xia et al. | Deep residual neural network based image enhancement algorithm for low dose CT images | |
CN117876261A (zh) | 一种基于深度学习的cbct散射校正成像方法 | |
CN109903355B (zh) | 基于空谱双域张量自相似的能谱ct重建方法 | |
CN116802512A (zh) | 用于训练cnn和用于使用所述cnn处理输入的灌注序列的方法 | |
Tirupal et al. | On the use of UDWT and fuzzy sets for medical image fusion | |
Assili | A Review of Tomographic Reconstruction Techniques for Computed Tomography | |
Kalisz et al. | Autoencoder-based bone removal algorithm from x-ray images of the lung | |
Mammadli et al. | Robustness evaluation of CAD systems for lung nodule segmentation using clinically relevant image perturbations | |
Xia et al. | A novel adaptive PET/CT image fusion algorithm | |
Lu et al. | A ConvMixEst and Multi-attention UNet for Intervertebral Disc Segmentation in Multi-modal MRI | |
Bodin et al. | An information-measurement system for preprocessing of photofluorographic images | |
Munna | A Novel Image Processing Methodology for X-ray Image Compression and Enhancement | |
Kaliyugarasan et al. | Multi-center CNN-based spine segmentation from T2w MRI using small amounts of data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20120125 |