CN103026382B - 多个图像的融合 - Google Patents

Abstract

一种方法包括将至少三个图像融合在一起成为单个融合图像，其中，所述三个图像中的至少一个包括二值模式表示图像。一种系统包括将解剖学图像、功能图像和二值模式表示图像组合成单个图像的图像处理系统（100）。一种用计算机可执行指令编码的计算机可读存储介质，当所述计算机可执行指令由计算机的处理器执行时，令所述处理器将解剖学图像、功能图像和不同的功能图像的二值模式表示组合成单个图像，使得所述解剖学图像和所述功能图像在所述功能图像的所述二值模式表示的二值点之间的间隙中是可见的。

Description

多个图像的融合

以下大体涉及将图像融合，并且结合将三个或更多个（结构的和功能的）不同图像融合成单个融合图像的具体应用加以描述。然而，以下也适用于融合两个图像以及用于可视化单个图像。

己将来自两个不同成像模态的图像共配准（或融合）以形成单个图像。通常，一个模态提供面向功能的信息，另一模态提供面向解剖结构的信息。己通过用半透明灰度表示解剖学信息并且用半透明彩色方案表示功能信息（所述功能信息与解剖学信息叠加或混合）来创建融合图像。显示融合图像相对于仅仅并排显示不同图像具有几个优点，尤其是在感知不同临床信息类型之间的相互关系时。

对于一些应用，捕获到超过一种功能信息。一个范例是这样的成像协议：除了常规解剖学-功能信息之外，其还包括额外的序列，例如灌注研究、双示踪剂施用、双能量CT、功能性MRI等。这些额外的序列为图像提供了关于被成像对象的补充信息。利用这些应用，可以与融合图像或与其他单独的图像并排呈现额外的图像；然而，如以上所讨论地结合融合解剖学和功能图像来融合两个图像，而在单个融合图像中显示所有这样的信息可能提供额外的有用信息。

遗憾的是，常规的图像融合技术不是很适合于以临床有用的方式组合多于两个这样的图像；在多数实际情况中，通过基于可变色调和强度简单地叠加或混合三种不同彩色方案很难实现满意的视觉清晰度。例如，常用双模态系统通过将特定彩色方案的图像与另一灰度图像混合来实现合理的融合图像。不过，尝试增加第二配色方案的图像的额外半透明覆盖（作为第三信息层）导致生成新的不希望有的色调，这在很多情况下困扰了观察者，不能改善临床诊断。

因此，当前，在那些情况下，在超过两种临床信息类型相关时，通常的解决方法仅仅是在同一显示器上并排显示不同的图像。为了便于图像之间的比较，于是提供额外的工具，例如，通过基准网格、鼠标“点击”、将图像“锁定”在一起，拷贝ROI等实现同时的空间指示器。虽然如此，但是在很多情况下，在不同图像上比较不同信息类型比在单个融合图像上更加困难和耗时。

另一种技术是向融合图像增加空间分布式几何结构，例如箭头和曲线。这样的结构被表示为矢量数据，例如流型、磁场、梯度或者诸如等强度图样的轮廓的其他性质。一些这样的技术称为“箭图”、“速度图”、“旋度图”、“轮廓图”和“箭头图”。遗憾的是，这样的技术通常不足以对空间分布的标量数据进行清晰的可视化。还可能叠加图像中不同的信息层，这造成三维空间的错觉，例如，其中不同的层具有不同深度。然而，这样的形式通常难以被观察者觉察到，调节和优化以及显示装置都是复杂的。

本申请的各方面解决了上述问题和其他问题。

根据一个方面，一种方法包括将至少三个图像融合在一起成为单个融合图像，其中，所述三个图像中的至少一个包括二值模式表示图像。

根据另一方面，一种系统包括将解剖学图像、功能图像和二值模式表示图像组合成单个图像的图像处理系统。

根据另一方面，一种用指令编码的计算机可读存储介质，当所述指令由计算机的处理器执行时，令所述处理器：将解剖学图像、功能图像和不同的功能图像的二值模式表示组合成单个图像，使得所述解剖学图像和所述功能图像在功能图像的二值模式表示的二值点之间的间隙（interspace）中是可见的。

本发明可以采取各种部件和部件的布置，以及各种步骤和步骤的安排的形式。附图仅出于图示优选的实施例的目的而不应被解释为限制本发明。

图1示出了与一个或多个信息系统相连接的成像处理系统。

图2示出了图1的成像处理系统的非限制性范例。

图3示出了用于将解剖学图像、功能图像以及不同功能图像的二值模式表示组合成单个融合图像的示范性方法。

图1示出了与一个或多个信息系统102相连接的图像处理系统100。在图示的实施例中，信息系统102包括一个或多个成像装置104，例如PET、CT、SPECT、X射线、MRI、US、磁性颗粒成像（MPI）、光声、光学、红外等成像装置、PET-CT、SPECT-CT、PET-MRI等双模态成像装置和/或其他成像装置，和/或一种或多种间接成像装置106，例如脑磁图描记（MEG）、脑电图描记（EEG）和/或其他间接成像装置。

系统102还包括一个或多个信息库108（例如数据库、服务器、计算机的存储器、PACS系统、RIS系统、HIS系统等），其可以存储与装置104和/或106中的一个或多个相对应的信息和/或其他信息。应该理解，以上装置仅仅是合适的装置的范例，本文也设想其他装置。此外，在另一实施例中，可以省去装置104或106和/或库108中的一个或多个。这样一来，图像处理系统100可以从装置104或106或信息库108之一或者它们的组合获得信息。

图像处理系统100处理来自装置104和/或106和/或仓库108中的一个或多个的信息。如以下更加详细地描述地，在一个实施例中，图像处理系统100被配置为组合这样的信息，例如将至少三种不同数据类型的信息配准并融合为单个图像（例如临床有用的图像和/或诊断图像），所述不同数据类型的信息例如有：至少一个解剖学图像、至少一个功能图像（例如指示代谢、血流、区域化学成分、吸收等的图像）和至少一个功能图像的至少一个二值模式表示。在通过二值模式表示表示超过一个图像时，可以将不同类型的二值图案用于不同图像。各种图像可以来自相同的和/或不同的模态。

可以使用呈现部件110，例如显示器、监视器等，来呈现图像处理系统100的融合输出图像。额外地或替代地，呈现部件110能够呈现单独的解剖学图像、功能图像和/或二值模式表示图像。在一个实施例中，可以通过图形用户界面，例如包括一个或多个图像操纵工具的交互式界面，来呈现这些图像中的一个或多个。

应该意识到，图像处理系统100可以是或者不是处于装置104和/或106和/或库108的本地或远方的计算机、成像系统和/或其他系统的部分。还应意识到，图像处理系统100可以包括一个或多个处理器，其执行嵌入到和/或编码于计算机可读存储介质或物理计算机存储器上的一个或多个计算机可读指令。在一个实施例中，所述一个或多个计算机可读指令，当由一个或多个处理器中的一个或多个执行时，令成像处理系统100如上所述地融合这样的信息。

图2图示了图像处理系统100的范例。在该实施例中，图像处理系统100被配置为将解剖学图像、功能图像以及不同功能图像的二值模式表示融合成单个图像。在其他实施例中，组合图像的其他组合，包括组合超过三个图像和不到三个图像。图像中的一个或多个可以由相同的或不同的模态提供。此外，在其他实施例中，组合超过三个图像。

图示的图像处理系统100包括信息转换器202，所述信息转换器202将两个不同的功能图像中的至少一个转换成二值模式表示图像。信息选择器204选择要转换的功能图像。图示的信息选择器204包括确定两个功能图像的分辨率的分辨率确定器206和将分辨率较低的功能信息路由（route）到信息转换器202的信息路由器208。较低分辨率的图像形态可能很适于由二值模式表示来表示，其中，二值点和它们的间隙能够被观察者察觉，并且局部点密度与原始数据强度或值成比例。

图示的图像处理系统100还包括图像融合器210，该图像融合器210被配置为将解剖学图像、功能图像和二值模式表示图像融合。在一个实例中，以灰度方案对解剖学图像信息格式化，以彩色方案对功能图像信息进行格式化，将二值表示图像与它们组合，使得解剖学和功能图像在二值模式表示的二值点之间的间隙中是可见的。这样可能允许产生融合图像，在所述融合图像中可以在该模式中很好地觉察到二值模式和它们之间的间隙。因此，这可以允许用户在组合的图像上在视觉上识别三种信息类型的每种的主要特征并检查它们的相互关系。

示范性二值模式表示包括，但不限于粗粒度表示，例如粗粒度抖动（dithering）。合适的抖动包括以特定模式并置两种不同可视化外观（例如不透明色和透明）的像素，以生成完全不透明和完全透明两个极端情况之间的中间信息/图像强度的错觉。

在一种方法中，每个像素都有固定的显示尺寸（例如独立于缩放），并且只能是不透明或透明的。通过确保平均起来在区域中期望的像素的部分是不透明的来模拟中间信息/图像强度。区域中印有越多的不透明像素，平均密度就越高，因此对应的图像强度越高。通过根据空间区域的初始强度来分布不透明点/像素，将图像中变化的强度区域转换成不透明和透明图案。这样产生了不同强度的错觉。

另一种合适的抖动可以类似于半色调（例如，如打印机中所使用地），其中以固定的预定间隔在规则网格格式中放置点，点的尺寸是模拟（即连续）值，随着期望的强度外观而改变，并且其中针对更高的强度使用更大的点，针对更低的强度使用更小的点。

可以采用各种算法执行抖动。例如，一种非常通用的方法是Floyd-Steinberg抖动算法。这种算法的长处是其通过误差扩散过程使视觉伪影最小化；误差扩散算法通常产生更接近地表示原始图像的图像。

图3示出了组合三种类型图像的示范性方法。为了简洁清楚，以下描述了组合解剖学图像和两个功能图像的实施例。此外，以下动作的提供次序是出于解释目的而非限制。这样一来，可以按照不同次序执行一个或多个动作。此外，可以省去一个或多个动作和/或可以包括一个或多个要执行的额外动作。

在302，获得代表不同类型感兴趣信息的至少三个图像。可以从装置104和/或106中的一个或多个和/或库108中的一个或多个获得这样的图像。可以处理或者不处理该信息的集合。这种处理的范例包括但不限于，校正、空间配准和/或数据重定比例和/或其他预定要在融合图像之前执行的处理。

在304，将不同的可视化方法指配给三个图像中的每个。这可以自动、半自动或手动地来完成。合适观看方法的范例包括但不限于，灰度、透明彩色方案、抖动和/或其他方法。如本文中所讨论地，被指配抖动的图像可以是具有最低空间分辨率的功能图像。

在306，选择初始可视化设置和/或输入参数。这些可以自动、半自动或手动地选择，并可能确保最佳和/或预定的期望观察结果。通过示例的方式，可以调节若干参数以控制和优化抖动的可视化结果。例如，在一个实例中，将所显示的抖动点的尺寸设置得足够小，以实现高密度动态范围，但不要过小，使得它们仍然可以在彩色背景上被观察为独立点。也可以设置期望点的密度动态范围和用于限制可视化强度的任何密度阈值。

在一个非限制性实例中，所采用的抖动算法在预定义图像值范围上工作，例如从零（0）到一（1）的值。在该实例中，可以对原始图像值重定比例以适合期望的新值范围。此外，可以截去过高或过低的值以定义阈值。

注意，被选择要显示的对应于融合图像区域的阵列/矩阵可能与相关屏幕区域的实际矩阵尺寸具有不同的数学尺寸。在那种情况下，可以数学地对相关的融合图像区域的阵列重定尺寸或重定比例，以实现正确的抖动点尺寸和密度。对于下面的应用这可能是有用的：在该应用中算法将抖动点当作稍后将显示的计算阵列中的一个像素。

例如，根据原始数据值，将任何定义的颜色指配给抖动点。颜色可以显著不同于将在间隙中示出的其他两层的半透明彩色方案的颜色。

在308，基于设置和/或模式将指配给抖动的图像转换成二值模式表示。如本文中所述，一种这样的表示包括粗粒度抖动。在另一实施例中，可以通过类似于其他两个信息层的方式，利用半透明颜色表示抖动点。此外，可以将几种不同的抖动和半色调技术组合在一起，例如用于在高清晰度屏幕上观察。

在310，融合三个图像，包括解剖学图像、未转换的功能图像和二值模式表示图像，以生成融合图像。通过示例的方式，在一个实例中，这包括融合二元模式表示图像与针对解剖学图像的灰度方案和针对未转换的功能图像的彩色方案。

可以同时融合三个图像，或者可以融合图像中的两个（例如解剖学图像和功能图像或图像的另一组合）以产生中间融合图像，然后可以将中间融合图像与另一图像（例如二值模式表示图像或其他图像）融合以产生三个图像的融合图像。

如上所述，将图像融合，使得可以在二值模式表示图像的二值点之间的间隙中察看灰度解剖学图像和彩色功能图像，这样可以允许用户通过融合图像从视觉上识别三种信息类型的每种的主要特征并检查它们的相互关系。

在312，显示融合图像（和/或一个或多个原始图像和/或转换的图像）。可以经由交互式界面显示图像，交互式界面产生交互工具，允许用户改变可视化设置和/或呈现与所显示的图像相关的额外临床信息。例如，一种交互式界面可以允许用户改变缩放、点密度、颜色等和/或获得额外的临床信息。

在这种变化之后，可以再次计算抖动过程，以根据新条件重新优化观看效果。如本文中所述，缩放的变化可能不影响设置为固定尺寸的抖动像素的显示尺寸。此外，缩放的变化可以影响抖动像素的密度动态范围的重新优化。交互式界面还可以允许在显示器上选择点或区域，以得到任何相应的值、曲线图、表格或相关临床信息的其他详细分析。

应该意识到，本文中所述的方法可以用于观看轴向和/或非轴向图像，例如多平面重建（MPR）、倾斜切片、表面可视化、最大强度投影（MIP）和/或其他图像。

可以用计算机可读指令的方式实施上述动作，当所述计算机可读指令由（一个或多个）计算机处理器执行时，令（一个或多个）处理器执行本文中所述的动作。在这种情况下，所述指令存储在计算机可读存储介质中，例如与相关计算机相关联和/或以其他方式可以被相关计算机访问的存储器中。

已经参考优选的实施例描述了本发明。他人在阅读和理解以上详细描述之后可能进行修改和变更。旨在将本发明理解为包括所有这样的修改和变更，只要它们落在所附权利要求或其等价物的范围之内。

Claims (17)

1.一种用于融合多个图像的方法，包括：

将至少三个图像中的第一功能图像转换为二值模式表示图像，

将在所述转换之后的至少三个图像融合在一起成为单个融合图像，其中，所述在所述转换之后的至少三个图像中的至少一个包括所述二值模式表示图像，所述在所述转换之后的至少三个图像中的至少一个包括解剖学图像，并且所述在所述转换之后的至少三个图像中的至少一个包括第二功能图像。

2.如权利要求1所述的方法，其中，所述二值模式表示图像是粗粒度抖动图像。

3.如权利要求1所述的方法，还包括：

识别所述至少三个图像中的多个功能图像中具有最低图像分辨率的功能图像；以及

将所识别的功能图像转换为所述二值模式表示图像。

4.如权利要求1所述的方法，还包括：

使用灰度方案表示所述解剖学图像；以及

使用彩色方案表示所述第二功能图像，其中，灰度解剖学图像和彩色功能图像在所述二值模式表示图像的二值点之间的间隙中是可见的。

5.如权利要求1至4中任一项所述的方法，还包括：

接收指示针对所述融合图像的一个或多个可视化设置和/或参数的输入；以及

基于所接收的一个或多个可视化设置和/或参数呈现所述融合图像。

6.一种用于融合多个图像的系统，包括：

信息转换器(202)，其将多个功能图像的至少一个功能图像转换为二值模式表示图像，

将解剖学图像、不同于被转换为所述二值模式表示图像的所述至少一个功能图像的功能图像、和所述二值模式表示图像组合成单个图像的图像处理系统(100)。

7.如权利要求6所述的系统，其中，所述二值模式表示图像是粗粒度抖动图像。

8.如权利要求6所述的系统，还包括：

信息选择器(204)，其从所述多个功能图像中选择将被转换为所述二值模式表示图像的至少一个功能图像。

9.如权利要求8所述的系统，所述信息选择器包括：

分辨率确定器(206)，其确定所述多个功能图像的分辨率；以及

信息路由器(208)，其将具有较低分辨率的功能图像路由到所述信息转换器。

10.如权利要求6至9中任一项所述的系统，其中，使用灰度方案表示所述解剖学图像，使用彩色方案表示所述功能图像。

11.如权利要求10所述的系统，其中，灰度图像和彩色图像在所述二值模式表示图像的二值点之间的间隙中是可见的。

12.如权利要求6至9中任一项所述的系统，其中，所述二值模式表示图像包括一种或多种颜色。

13.一种用于融合多个图像的装置，包括：

用于将至少三个图像中的第一功能图像转换为二值模式表示图像的模块，

用于将在所述转换之后的至少三个图像融合在一起成为单个融合图像的模块，其中，所述在所述转换之后的至少三个图像中的至少一个包括所述二值模式表示图像，所述在所述转换之后的至少三个图像中的至少一个包括解剖学图像，并且所述在所述转换之后的至少三个图像中的至少一个包括第二功能图像。

14.如权利要求13所述的装置，其中，所述二值模式表示图像是粗粒度抖动图像。

15.如权利要求13所述的装置，还包括：

用于识别所述至少三个图像中的多个功能图像中具有最低图像分辨率的功能图像的模块；以及

用于将所识别的功能图像转换为所述二值模式表示图像的模块。

16.如权利要求13所述的装置，还包括：

用于使用灰度方案表示所述解剖学图像的模块；以及

用于使用彩色方案表示所述第二功能图像的模块，其中，灰度解剖学图像和彩色功能图像在所述二值模式表示图像的二值点之间的间隙中是可见的。

17.如权利要求13至16中任一项所述的装置，还包括：

用于接收指示针对所述融合图像的一个或多个可视化设置和/或参数的输入的模块；以及

用于基于所接收的一个或多个可视化设置和/或参数呈现所述融合图像的模块。