CN101887581B - 图像融合方法及设备 - Google Patents

Abstract

本发明涉及图像处理技术领域，公开了一种图像融合方法及设备，所述方法包括：输入需要融合的源图像；分别对各源图像进行分块处理，生成对应源图像的块状图像矩阵；计算各源图像中各块状图像的融合系数矩阵，通过立方卷积插值方法对所述各块状图像的融合系数矩阵进行插值处理，得到对应源图像的融合系数矩阵；利用所述源图像的融合系数矩阵对源图像进行加权融合，生成融合后的图像。利用本发明，可以使融合后的图像能够充分反映源图像各自的主要信息。

Description

图像融合方法及设备

技术领域

本发明涉及图像处理技术领域，更具体地说，涉及一种图像融合方法及设备。

背景技术

目前，随着医学技术的发展，各种医学成像设备应运而生。由于不同设备的成像原理不同，医学诊断可以获得众多模态的医学图像，如X线、超声、X-CT(X线断层成像)、MRI(磁共振成像)、PET(正电子发射成像)、SPECT(单光子发射断层成像)等。这些不同模态的医学图像可以从各个方面提供不同的医学信息，各有优缺点，且信息之间具有互补性。总体来讲，医学图像分为解剖结构图像如CT、MR(磁共振)、B超等，以及功能图像如SPECT、PET等。解剖结构图像的分辨率较高，能提供脏器的解剖结构形态信息，但无法反映脏器的功能情况；功能图像能提供脏器的代谢功能信息，但功能图像分辨率较低所以无法显示脏器或病灶的解剖细节。

应用图像融合技术，可以将不同模态的医学图像有机地结合，综合各种影像的信息，能够准确、全面地显示组织或器官的结构部位、功能及其变化，使解剖与功能有机地结合起来，进一步提高临床诊断和治疗的可靠性，从而使医学图像能更好地为现代医学服务。

在多传感器图像融合领域，通常采用PCA(Principal ComponentAnalysis)变换进行图像融合，所述PCA变换也叫主成分分析或者K-L变换，是在统计特征基础上的多维正交变换。常用的PCA图像融合方法有以下两种：

1.以一幅图像代替另一幅多波段图像的第一主成分，然后采用PCA逆变换的方法得到融合图像；

2.所有多幅波段图像数据的PCA融合。

现有技术中，多模态医学图像融合采用上述第2种方法对两幅图像进行PCA图像融合。多模态医学图像之间往往存在很高的相关性，经过PCA变换后，多模医学图像中的有用信息可以集中到数目尽可能少的、互不相关的新主成分图像中，利用新主成分图像可以确定加权融合图像中每幅图像所占的比例系数。

现有技术中PCA图像融合过程如图1所示，包括以下步骤：

步骤101，输入两幅待融合图像；

步骤102，生成协方差矩阵；

步骤103，求协方差矩阵的特征值和特征向量；

步骤104，由特征向量得到对应的主成分；

步骤105，由特征值所占比例和对应的主成份生成融合图像。

由于待融合的多模态医学图像具有不均衡性，即对于组织器官的解剖信息和功能信息的显示效果来讲，两幅图像的显示效果不一致，有的区域一幅图像相对于另一幅图像更能反映融合图像的性质，在另一区域上则相反。例如，头部的PET图像和CT图像，头部CT图像的颅骨部份清晰，脑部信息影像比较模糊，而PET图像则相反，脑部信息清晰。

应用传统的PCA图像融合方法，计算两幅图像总体的比例系数，那么在融合图像中的各个位置上，两幅源图像所占的比例系数都一样。融合图像的各个区域的融合效果比较均匀，原始图像变化剧烈的地方相应地会减弱，反映不出PET图像和CT图像各自的主要信息。

发明内容

本发明实施例提供一种图像融合方法及设备，以使融合后的图像能够充分反映源图像各自的主要信息。

为此，本发明实施例提供如下技术方案：

一种图像融合方法，包括：

输入需要融合的源图像；

分别对各源图像进行分块处理，生成对应源图像的块状图像矩阵；

计算各源图像中各块状图像的融合系数矩阵；

通过立方卷积插值方法对所述各块状图像的融合系数矩阵进行插值处理，得到对应源图像的融合系数矩阵；

利用所述对应源图像的融合系数矩阵对源图像进行加权融合，生成融合后的图像。

优选地，所述利用所述源图像的融合系数矩阵对源图像进行加权融合包括：

对源图像进行像素上的加权融合，每个像素点的融合系数由所述源图像的融合系数矩阵中相应位置的系数决定。

优选地，所述需要融合的源图像为：大小及像素均相同的一幅解剖结构图像和一幅功能图像。

优选地，所述对各源图像进行分块处理包括：将各源图像分成相互对应的多个图像块。

优选地，所述计算各源图像中各块状图像的融合系数矩阵包括：利用PCA变换计算各源图像中各块状图像的融合系数矩阵。

一种多模态医学影像融合设备，包括：

图像输入单元，用于输入需要融合的源图像；

分块处理单元，用于分别对各源图像进行分块处理，生成对应源图像的块状图像矩阵；

计算单元，用于计算各源图像中各块状图像的融合系数矩阵；

插值处理单元，用于通过立方卷积插值方法对所述各块状图像的融合系数矩阵进行插值处理，得到对应源图像的融合系数矩阵；

融合单元，用于利用所述对应源图像的融合系数矩阵对源图像进行加权融合，生成融合后的图像。

优选地，所述融合单元，具体用于对源图像进行像素上的加权融合，每个像素点的融合系数由所述源图像的融合系数矩阵中相应位置的系数决定。

优选地，所述需要融合的源图像包括：大小及像素均相同的一幅解剖结构图像和一幅功能图像。

优选地，所述分块处理单元，具体用于将各源图像分成相互对应的多个图像块。

优选地，所述计算单元，具体用于利用PCA变换计算各源图像中各块状图像的融合系数矩阵。

本发明实施例图像融合方法及设备，针对待融合的多模态医学图像具有不均衡性，对传统PCA融合方法进行了改进。通过对源图像进行分块处理，生成对应源图像的块状图像矩阵；计算各源图像中各块状图像的融合系数矩阵，通过立方卷积插值方法对所述各块状图像的融合系数矩阵进行插值处理，得到对应源图像的融合系数矩阵；利用所述源图像的融合系数矩阵对源图像进行加权融合，生成融合后的图像。由于两幅图像的侧重点不同，相应的图像块的融合系数也不相同，从而可以使融合后的图像能够充分反映源图像各自的主要信息。而且，通过立方卷积插值方法对所述融合系数矩阵进行插值处理，减少了由于图像块间融合系数的差别导致的融合图像块与块间明暗变化的现象，突出了源图像在融合图像中的细节。

附图说明

图1是现有技术中PCA图像融合方法的流程图；

图2是本发明实施例图像融合方法的流程图；

图3是本发明实施例图像融合设备的一种结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明实施例的方案，下面结合附图和实施方式对本发明实施例作进一步的详细说明。

本发明实施例图像融合方法及设备，针对待融合的多模态医学图像具有不均衡性，对传统PCA融合方法进行了改进，首先对待融合的源图像进行分块预处理，形成对应的块状的图像矩阵，经预处理后图像矩阵中每块矩阵所含的信息不同。然后确定每幅图像的相应块的融合系数，这样就由图像块矩阵得到一个相应的融合系数矩阵，并通过立方卷积插值方法对所述融合系数矩阵进行插值处理，以减少由于图像块间融合系数的差别导致的融合图像块与块间明暗变化的现象。由于两幅图像的侧重点不同，相应的图像块的融合系数也不相同，这样源图像的主要信息就可以在融合图像中突出显示出来。

如图2所示，是本发明实施例图像融合方法的流程图，包括以下步骤：

步骤201，输入需要融合的源图像。

需要融合的源图像通常可以是解剖结构图像(比如CT图像、MR图像)和功能图像(比如SPECT图像、PET图像)。当然，这两幅图像是同一部位的图像，比如，可以是不同模态的脑部图像，或者是不同模态的胸部图像等。

在进行图像融合时，要求输入的两幅源图像是经过配准后的图像，即两幅图像的分辨率相同，且对于一幅图像与另一幅图像上的对应点达到空间上的一致，即同一点在两张匹配图像上有相同的空间位置。

当然，如果需要融合的源图像大小、像素有差异，可以进行预配准，当然本发明实施例并不限定该配准过程，按照现有技术中的一些算法进行处理即可。

步骤202，分别对各源图像进行分块处理，生成对应源图像的块状图像矩阵。

也就是说，将各源图像分成相互对应的多个图像块，比如需要融合的图像有A和B，则将A和B分别切分为相互对应的5个图像块，分别记为A1、A2、A3、A4、A5，B1、B2、B3、B4、B5。其中，A1与B1相对应，即位置、大小相同；同理，A2与B2相对应，位置、大小相同...，依此类推。

当然，同一源图像中切分出的多个图像块大小可以相同，也可以不同。

步骤203，计算各源图像中各块状图像的融合系数矩阵。

具体地，可以利用现有技术中的PCA变换，计算各源图像中各块状图像的融合系数。所述融合系数是指在某个图像块处源图像占经过PCA变换得到的融合图像的比例系数。

也就是说，源图像中的每个块状图像对应了一个融合系数，这样，对对应源图像的块状图像矩阵中的所有块矩阵做PCA变换，即可得到对应各块状图像的融合系数矩阵。

步骤204，通过立方卷积插值方法对所述各块状图像的融合系数矩阵进行插值处理，得到对应源图像的融合系数矩阵。

步骤205，利用所述对应源图像的融合系数矩阵对源图像进行加权融合，生成融合后的图像。

可见，本发明实施例图像融合方法，针对待融合的多模态医学图像具有不均衡性，对待融合的源图像进行分块预处理，形成对应的块状的图像矩阵，经预处理后图像矩阵中每个块矩阵所含的信息不同。然后计算各源图像中各块状图像的融合系数矩阵，并通过立方卷积插值方法对所述各块状图像的融合系数矩阵进行插值处理，得到对应源图像的融合系数矩阵，利用所述融合系数矩阵对源图像进行加权融合，生成融合后的图像，从而可以使融合后的图像能够充分反映源图像各自的主要信息。而且，通过通过立方卷积插值方法对所述各块状图像的融合系数矩阵进行插值处理，减少了由于图像块间融合系数的差别导致的融合图像块与块间明暗变化的现象，突出了源图像在融合图像中的细节。

下面以两幅配准后的多模态医学图像为例，对本发明实施例图像融合方法做进一步详细说明。

针对两幅大小皆为N×N的图像，N表示图像的分辨率。首先分别对两幅图像进行分块。假设待融合的两幅图像为A、B，以像素为单位，图像块的大小为CS×CS，图像的块数为S×S，则N＝CS×S。

比如，对于大小为512×512的CT图像，对其进行分块，每块图像块的大小为32×32。

对源图像A、B进行融合的过程如下：

1.可以将源图像A、B写成矩阵形式，如下：

$A=\left[\begin{array}{cccc}{x}_{11}& x_{12}& ...& x_{1N}\\ x_{21}& x_{22}& ...& x_{2N}\\ ...& x_{\mathrm{ij}}& ...& \\ x_{N1}& x_{N2}& ...& x_{\mathrm{NN}}\end{array}\right]$ $B=\left[\begin{array}{cccc}{y}_{11}& y_{12}& ...& y_{1N}\\ y_{21}& y_{22}& ...& y_{2N}\\ ...& y_{\mathrm{ij}}& ...& \\ y_{N1}& y_{N2}& ...& y_{\mathrm{NN}}\end{array}\right]$

其中，x_ij、y_ij分别为源图像A、B在点(i，j)的像素值，1≤i，j≤N。

分别对源图像A、B进行分块，可以表示为对A、B矩阵进行分块，将分块后的矩阵用矩阵的矩阵形式表示如下：

$A=\left[\begin{array}{cccc}{C}_{11}& C_{12}& ...& C_{1S}\\ C_{21}& C_{22}& ...& C_{2S}\\ ...& C_{\mathrm{ij}}& ...& \\ C_{S1}& C_{S2}& ...& C_{\mathrm{SS}}\end{array}\right]$ $B=\left[\begin{array}{cccc}{D}_{11}& D_{12}& ...& D_{1S}\\ D_{21}& D_{22}& ...& D_{2S}\\ ...& D_{\mathrm{ij}}& ...& \\ D_{S1}& D_{S2}& ...& D_{\mathrm{SS}}\end{array}\right]$

其中，A是由S×S块大小为的矩阵C_ij组成，B由S×S块大小为CS×CS的矩阵D_ij组成，其中1≤i，j≤S。

2.对矩阵A和B的相应块矩阵C_ij和D_ij进行PCA变换得出融合图像在图像块(i，j)处源图像S×S占融合图像的比例系数。

同理，对矩阵A和B的所有相应块矩阵做PCA变换，得到S×S的融合系数矩阵：

E＝[e_ij]_S×S，

其中，e_ij为C_ij和D_ij通过PCA变换得到的在融合图像的图像块(i，j)处，图像A占融合图像的比例系数，1≤i，j≤S。

3.对上述得到的融合系数矩阵进行插值。

由于源图象A、B的侧重点不同，相应的图像块的融合系数也不相同，这样源图像的主要信息就可以在融合图像中突出显示出来。但如此也就引发出另一个问题，融合图像存在块间明暗的变化。

为此，本发明实施例应用插值算法解决这一问题。通过立方卷积插值方法将融合系数矩阵插值成源图像尺寸大小，利用此系数矩阵对源图像进行基于像素点的加权融合，每个像素点的融合系数由相应位置的系数矩阵决定。这种融合方法既考虑到块与块间的关系，又解决了由于图像块间比例系数的差别导致的融合图像块与块间明暗变化的现象，突出了源图像在融合图像中的细节。

假设矩阵T为A经立方卷积插值而来的融合系数矩阵，则：

T＝[t_ij]_N×N，

其中，tij为源图像A中点(i，j)位置处的像素值占融合图像相应点像素值的融合系数，1≤i，j≤N。

4.通过上述得到的融合系数矩阵对源图像进行加权融合。

矩阵A和B的融合矩阵为：

$F=\left[\begin{array}{cccc}{Z}_{11}& Z_{12}& ...& Z_{1N}\\ Z_{21}& Z_{22}& ...& Z_{2N}\\ ...& Z_{\mathrm{ij}}& ...& \\ Z_{N1}& Z_{N2}& ...& Z_{\mathrm{NN}}\end{array}\right]$

其中，z_ij＝x_ijt_ij+y_ij×(1-t_ij)，x_ij、y_ij分别为矩阵A、B在(i，j)点的像素值，1≤i，j≤N。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如：ROM/RAM、磁碟、光盘等。

相应地，本发明实施例还提供一种图像融合设备，如图3所示，是本发明实施例图像融合设备的一种结构示意图。

在该实施例中，所述设备包括：

图像输入单元301，用于输入需要融合的源图像。

所述需要融合的源图像通常可以是解剖结构图像(比如CT图像、MR图像)和功能图像(比如SPECT图像、PET图像)。当然，这两幅图像是同一部位的图像，比如，可以是不同模态的脑部图像，或者是不同模态的胸部图像等。

需要说明的是，输入的两幅源图像是经过配准后的图像，即两幅图像的分辨率相同，且对于一幅图像与另一幅图像上的对应点达到空间上的一致，即同一点在两张匹配图像上有相同的空间位置。

分块处理单元302，用于分别对各源图像进行分块处理，生成对应源图像的块状图像矩阵。

具体地，可以将各源图像分成相互对应的多个图像块，同一源图像中切分出的多个图像块大小可以相同，也可以不同。

计算单元303，用于计算各源图像中各块状图像的融合系数矩阵。

具体可以利用PCA变换计算各源图像中各块状图像的融合系数，也就是说，源图像中的每个块状图像对应了一个融合系数，这样，对对应源图像的块状图像矩阵中的所有块矩阵做PCA变换，即可得到一个相应的融合系数矩阵。

插值处理单元304，用于通过立方卷积插值方法对所述各块状图像的融合系数矩阵进行插值处理，得到对应源图像的融合系数矩阵。

融合单元305，用于利用所述对应源图像的融合系数矩阵对源图像进行加权融合，生成融合后的图像。

可见，本发明实施例图像融合设备，针对待融合的多模态医学图像具有不均衡性，对待融合的源图像进行分块预处理，形成对应的块状的图像矩阵，经预处理后图像矩阵中每块矩阵所含的信息不同。然后计算各源图像中各块状图像的融合系数矩阵，并通过立方卷积插值方法对所述各块状图像的融合系数矩阵进行插值处理，得到对应源图像的融合系数矩阵，利用所述对应源图像的融合系数矩阵对源图像进行加权融合，生成融合后的图像，从而可以使融合后的图像能够充分反映源图像各自的主要信息。而且，通过插值处理单元的对所述各块状图像的融合系数矩阵进行插值处理，减少了由于图像块间融合系数的差别，使得融合图像可能会存在块间明暗变化的现象。

可见，本发明实施例图像融合设备，不仅考虑到块与块间的关系，而且又减少了由于图像块间融合系数的差别导致的融合图像块与块间明暗变化的现象，突出了源图像在融合图像中的细节。

为了验证融合图像的实际效果，可以通过以下几项参数对其进行定量的客观评价：

(1)信息熵：信息熵越大，图像的融合效果越好。

根据Shannon信息论原理，一幅图像的信息熵为：

$E=-\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}{p}_i{\log }_2{p}_i---\left(1\right)$

其中，p_i为灰度值等于i的像素数与图像总像素数之比，L为图像总的灰度级。图像的熵值是衡量图像信息丰富程度的一个重要指标。根据信息论理论，如果融合图像的熵越大，表示融合图像的信息量越多，融合图像所含的信息越丰富，融合质量越好。

(2)标准差：标准差越大，图像的融合效果越好。

图像的标准差σ定义为：

$\mathrm{\σ}=\sqrt{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}}{(Z(x_i,y_i)-\stackrel{\‾}{Z})}^2/(M\×N)---\left(2\right)$

其中，

是图像均值，即像素的灰度平均值，其定义为：

$\stackrel{\‾}{Z}=\frac{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}Z(x_i,y_i)}{M\×N}---\left(3\right)$

Z(x_i，y_j)表示图像中(x_i，y_j)点的像素的灰度，M和N分别表示图像的行数和列数。

标准差反映了图像灰度相对于灰度平均值的离散情况。在某种程度上，标准差也可用来评价图像反差的大小。若标准差大，则图像灰度级分布分散，图像的反差大，可以看出更多的信息。标准差小，图像反差小，对比度不大，色调单一均匀，看不出太多的信息。

(3)空间频率：空间频率越大，图像的融合效果越好。

空间频率SF定义如下：

$\mathrm{SF}=\sqrt{{\mathrm{RF}}^2+{\mathrm{CF}}^2}---\left(4\right)$

其中，RF表示空间行频率：

$\mathrm{RF}=\sqrt{\frac{1}{M\×N}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=2}{\overset{N}{\mathrm{\Σ}}}{[Z(x_i,y_i)-Z(x_i,y_{j-1})]}^2---\left(5\right)}$

CF表示空间列频率：

$\mathrm{CF}=\sqrt{\frac{1}{M\×N}\underset{i=2}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{[Z(x_i,y_i)-Z(x_{i-1},y_j)]}^2---\left(6\right)}$

Z(x_i，y_j)表示图像中(x_i，y_j)点的像素的灰度，M和N分别表示图像的行数和列数。

信息熵、标准差和空间频率是融合图像本身的效果判断。

(4)互信息：互信息越大，图像的融合效果越好。

互信息是信息论中的一个重要概念，它可作为两个变量之间相关性的量度，或一个变量包含另一个变量信息量的度量。融合图像与源图像的互信息之和越大，表示融合图像从源图像中获取的信息越丰富，融合效果越好。

设源图像为A和B，其图像函数分别为A(x，y)、B(x，y)；融合图像为F，其图像函数为F(x，y)；所有图像的大小都是一样的；设图像的行数和列数分别为M和N，则图像的大小为M×N；L为图像总的灰度级，则融合图像与源图像的互信息之和

为：

${\mathrm{MI}}_F^{\mathrm{AB}}={\mathrm{MI}}_{\mathrm{FA}}+{\mathrm{MI}}_{\mathrm{FB}}---\left(7\right)$

其中，MI_FA和MI_FB分别表示F与A、B的互信息：

${\mathrm{MI}}_{\mathrm{FA}}=\underset{k=0}{\overset{L-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}{p}_{\mathrm{FA}}(k,i){\log }_2\frac{p_{\mathrm{FA}}(k,i)}{p_F\left(k\right)p_A\left(i\right)}---\left(8\right)$

${\mathrm{MI}}_{\mathrm{FB}}=\underset{k=0}{\overset{L-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}{p}_{\mathrm{FB}}(k,j){\log }_2\frac{p_{\mathrm{FB}}(k,j)}{p_F\left(k\right)p_B\left(j\right)}---\left(9\right)$

其中，p_A、p_B和p_F分别是A、B和F的概率密度，即图像的灰度直方图；p_FA(k，i)和p_FB(k，j)分别代表两组图像的联合概率密度，即图像F和A及F和B的归一化联合灰度直方图。

(5)交叉熵：交叉熵越小，图像的融合效果越好。

交叉熵C定义如下：

$C=\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}{p}_i{\log }_2\frac{p_i}{q_i}---\left(10\right)$

其中，p_i和q_i分别为两幅图像像素值为i的像素数与图像总像素数的比值。

交叉熵反映了两幅图像对应像素的差异，交叉熵越小，融合图像与源图像的差异越小，则该融合方法从源图像提取的信息量越多，融合效果越好。

在实际应用中，可以选择平均值

来描述融合结果与源图像的综合差异。C_FA代表源图像A和融合图像F的交叉熵，C_FB代表源图像B和融合图像F的交叉熵，则融合图像与源图像的综合交叉熵

表示为：

${\stackrel{\‾}{C}}_{\mathrm{FAB}}=(C_{\mathrm{FA}}+C_{\mathrm{FB}})/2---\left(11\right)$

(6)联合熵：联合熵越大，图像的融合效果越好。

联合熵也是信息论中的一个重要概念，它可以作为两幅图像之间相关性的量度，也反映了两幅图像之间的联合信息。一般来说，融合图像与源图像联合熵的值越大，则图像所包含的信息越丰富，因此可以用它来评价融合图像信息增加程度。

联合熵UE定义如下：

${\mathrm{UE}}_{\mathrm{FA}}=-\underset{k=0}{\overset{L-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}{p}_{\mathrm{FA}}(k,i)\log 2p_{\mathrm{FA}}(k,i)---\left(12\right)$

其中，p_FA(k，i)代表两组图像的联合概率密度，即图像F和A的归一化联合灰度直方图。

(7)弧度/角度相似度：弧度/角度相似度，图像的融合效果越好。

角度的相似性度量：考虑两个角度β和γ正方向之间的夹角的归一化值：

$\mathrm{\Δ}(\mathrm{\β},\mathrm{\γ})=1-\frac{a\cos \left(\cos (\mathrm{\β}-\mathrm{\γ})\right)}{\mathrm{\π}/2}---\left(13\right)$

对于A⁽ⁱ⁾和F⁽ⁱ⁾，它们的角度相似性可以表示为对应点梯度方向夹角的均值：

${Q_{\mathrm{AF}}}^{\mathrm{\α}\left(i\right)}=\frac{1}{N\×N}{\mathrm{\Σ}}_{(m,n)}\mathrm{\Δ}({{\mathrm{\α}}_A}^{\left(i\right)}(m,n),{{\mathrm{\α}}_F}^{\left(i\right)}(m,n))---\left(14\right)$

这样综合考虑梯度幅度g和方向α，A⁽ⁱ⁾和F⁽ⁱ⁾的梯度相似性描述为：

Q_AF ⁽ⁱ⁾＝Q_AF ^α(i)×Q_AF ^g(i)      (15)

同样，可以得到块B⁽ⁱ⁾和F⁽ⁱ⁾的梯度相似性Q_BF ⁽ⁱ⁾，则幅度角度相似性公式为：

$Q_{\mathrm{AB}/F}=\frac{\left|{\mathrm{\Σ}}_{i=1}^M{\mathrm{\ω}}^{\left(i\right)}{Q_{\mathrm{AF}}}^{\left(i\right)}\right|+\left|{\mathrm{\Σ}}_{i=1}^M(1-{\mathrm{\ω}}^{\left(i\right)}){Q_{\mathrm{BF}}}^{\left(i\right)}\right|}{M}---\left(16\right)$

其中，

${\mathrm{\ω}}^{\left(i\right)}=\left\{\begin{array}{cc}\frac{{\mathrm{\Σ}}_{(m,n)}{g_A}^i(m,n)}{{\mathrm{\Σ}}_{(m,n)}{g_A}^i(m,n)+{\mathrm{\Σ}}_{(m,n)}{g_B}^i(m,n)},& \mathrm{if}{\mathrm{\Σ}}_{(m,n)}{g_A}^i(m,n)+{\mathrm{\Σ}}_{(m,n)}{g_B}^i(m,n)\≠0\\ 0.5,& \mathrm{else}\end{array}\right.---\left(17\right)$

(4)-(7)的评价方法是针对融合图像与原始图像相似性作的评价。

下面表1是对头部PET图像和CT图像分别按照现有技术进行PCA融合和按照本发明实施例的方法进行增强PCA融合得到的图像客观评价指标结果：

指标	信息熵	标准差	空间频率	平均交叉熵	平均互信息	联合熵	弧度/角度
								PCA	3.77	8.12	62.22	1.10	1.51782	4.06	0.326372
增强PCA	4.10	12.28	69.62	1.02	1.3426	4.86	0.400461

表1

下面表2是对胸部PET图像和CT图像分别按照现有技术进行PCA融合和按照本发明实施例的方法进行增强PCA融合得到的图像客观评价指标结果：

指标	信息熵	标准差	空间频率	平均交叉熵	平均互信息	联合熵	弧度/角度
								PCA	2.43	13.21	35.58	0.18	1.02	2.44	0.74
改进PCA	2.49	19.86	43.97	0.13	0.89	2.81	0.83

表2

由以上表1和表2的实验数据可以看出，按照本发明实施例的方法得到的增强PCA融合图像优于现有技术得到的PCA融合图像，包含了更多的源图像信息。

以上公开的仅为本发明的优选实施方式，但本发明并非局限于此，任何本领域的技术人员能思之的没有创造性的变化，以及在不脱离本发明原理前提下所作的若干改进和润饰，都应落在本发明的保护范围内。

Claims (4)

1.一种图像融合方法，其特征在于，包括：

输入需要融合的两幅源图像；

分别对两幅源图像进行分块处理，将两幅源图像分成相互对应的多个图像块，生成对应源图像的块状图像矩阵；

对两幅源图像中相互对应的图像块进行PCA变换得到该相互对应的图像块处的融合系数，对两幅源图像的所有相互对应的图像块分别进行PCA变换得到融合系数矩阵；

通过立方卷积插值方法将所述融合系数矩阵插值成源图像尺寸大小，得到对应源图像的融合系数矩阵；

利用所述对应源图像的融合系数矩阵对源图像进行基于像素点的加权融合，生成融合后的图像。

2.如权利要求1所述的方法，其特征在于，所述需要融合的源图像为：

大小及像素均相同的一幅解剖结构图像和一幅功能图像。

3.一种图像融合设备，其特征在于，包括：

图像输入单元，用于输入需要融合的两幅源图像；

分块处理单元，用于分别对两幅源图像进行分块处理，将两幅源图像分成相互对应的多个图像块，生成对应源图像的块状图像矩阵；

计算单元，用于对两幅源图像中相互对应的图像块进行PCA变换得到该相互对应的图像块处的融合系数，对两幅源图像的所有相互对应的图像块分别进行PCA变换得到融合系数矩阵；

插值处理单元，用于通过立方卷积插值方法将所述融合系数矩阵插值成源图像尺寸大小，得到对应源图像的融合系数矩阵；

融合单元，用于利用所述对应源图像的融合系数矩阵对两幅源图像进行基于像素点的加权融合，生成融合后的图像。

4.如权利要求3所述的设备，其特征在于，所述需要融合的源图像包括：

大小及像素均相同的一幅解剖结构图像和一幅功能图像。

Images