CN103455991B - 一种多聚焦图像融合方法 - Google Patents

Abstract

本发明公开了一种多聚焦图像融合方法。该方法首先对多聚焦图像进行鲁棒主成分分析分解得到与源图像相对应的稀疏成分矩阵；其次，对稀疏成分矩阵加权平均，得到一个临时稀疏成分矩阵并对临时稀疏成分矩阵进行四叉树分解；根据QT分解结果计算源图像稀疏成分矩阵对应矩阵子块的梯度能量，通过比较梯度能量大小构造融合决策矩阵；最后，根据决策矩阵将源图像对应图像子块合并，从而得到融合图像。该方法通过RPCA和QT分解相结合的方法，解决了图像块大小不能自适应划分的问题，可以有效抑制块效应，提高图像融合质量。

Description

一种多聚焦图像融合方法

技术领域

本发明属于图像处理技术领域，具体涉及的是一种多聚焦图像融合方法。

背景技术

多聚焦图像融合就是对经过配准的相同成像条件下获得的关于某一场景中的多幅聚焦图像，采用某种融合算法提取各自的清晰区域，并将这些区域合并生成一幅该场景中所有目标物都清晰的图像。在交通、医疗、安全、物流等领域有广泛应用。可有效提高传感器图像信息的利用率和系统对目标表探测识别的可靠性。

像素级图像融合直接在原始图像像素灰度空间上采用合适的融合算法进行融合处理，主要目的是为后续的图像增强、图像分割和图像分类处理提供支持。像素级图像融合算法与特征级图像融合和决策级图像融合相比，准确性最高，信息损失最小，能够提供更多特征级和决策级图像融合所不具有的细节信息。

随着计算机和成像技术的不断发展，近年来逐渐形成了以下几种较为常用的像素级多聚焦图像融合算法：

（1）基于小波变换（DiscreteWaveletTransform,DWT）的多聚焦图像融合方法。其主要过程是对源图像进行小波分解，然后采用合适的融合规则，将高频和低频系数进行融合，将融合后的小波系数进行小波逆变换得到融合图像。该方法具有良好的时频局部特性，取得了不错的效果，但DWT不能充分利用图像数据本身所具有的几何特征，不能最优或最“稀疏”的表示图像。

（2）基于非下采样的轮廓波变换(NonsubsampledContourletTransform,NSCT)的多聚焦图像融合方法。其主要过程是对源图像进行NSCT分解，然后采用合适的融合规则，将高频和低频系数进行融合，将融合后的小波系数进行NSCT逆变换得到融合图像。该方法可取得不错的融合效果，但运行速度较慢，分解系数需要占用大量的存储空间。

（3）基于主成分分析(PrincipalComponentAnalysis,PCA)的多聚焦图像融合方法。其主要过程是将源图像按照行优先或者列优先转换成列向量，并计算协方差，根据协方差矩阵求取特征向量，确定第一主成分对应的特征向量并据此确定各源图像融合的权重，根据权重进行加权融合。该方法简单，运行速度快，但却容易降低融合图像对比度，影响融合图像质量。

（4）基于空间频率（SpatialFrequency，SF）的多聚焦图像融合方法。其主要过程是将源图像进行块分割，然后计算各块SF，对比源图像对应块的SF，将SF值大的对应图像块合并得到融合图像。该方法简单易于实施，但分块大小难以自适应确定，分块太大，易将焦点外的像素都包含进来，降低融合质量，使融合图像对比度下降，易产生块效应，分块太小对区域清晰程度表征能力受限，易出现块的错误选择，且对噪声敏感。

（5）基于脉冲耦合神经网络（PulseCoupledNeuralNetwork，PCNN）的多聚焦图像融合方法。其主要过程是将单个像素灰度值作为PCNN的外部输入激励，根据PCNN的点火图，计算输入像素对应的点火频率，将具有较大点火频率的像素合并，得到融合图像。该方法可自动实现信息传递和信息耦合，其处理结果可较好保留图形本身的特征。但该方法参数较多，模型复杂，运行比较耗时，另外，人眼视觉对图像边缘的变化比较敏感而对单个像素的亮度并不敏感，单个像素的灰度值作为PCNN神经元的外部输入所产生的融合图像效果并不理想。

上述五种方法是较为常用的多聚焦图像融合方法，但这些方法中，小波变换（DWT）不能充分利用图像数据本身所具有的几何特征，不能最优或最“稀疏”的表示图像，易造成融合图像出现偏移和信息丢失现象。基于非下采样的轮廓波变换（NSCT）方法由于分解过程复杂，运行速度较慢，另外分解系数需要占用大量的存储空间。主成分分析（PCA）方法容易降低融合图像对比度，影响融合图像质量。脉冲耦合神经网络（PCNN）方法参数较多，模型复杂，运行比较耗时。这五种常用都存在着不同的缺点，速度和融合质量间难以调和，限制了这些方法的应用和推广。

发明内容

本发明所要解决的技术问题是多聚焦图像融合领域中由于不能自适应确定图像分块大小而造成的融合图像出现块效应，融合效果不甚理想的问题。为此，本发明提供了一种多聚焦图像融合方法，该方法对配准后的多聚焦图像I_A和I_B进行融合，I_A和I_B均为灰度图像，且 是大小为M×N的空间，M和N均为正整数，该融合方法包括以下步骤：

（1）对I_A进行列向量转换得I'_A，对I_B进行列向量转换得I'_B， 是大小为MN×1的空间；

分别对I'_A和I'_B进行鲁棒主成分分析分解，得到I'A的稀疏成分矩阵E`<sub>A</sub>、I'<sub>B</sub>的稀疏成分矩阵E`_B，

对E`<sub>A</sub>进行向量转换得E<sub>A</sub>，对E`_B进行向量转换得E_B，

（2）利用四叉树分解将临时稀疏成分矩阵E₀分解成K个矩阵子块，E₀＝(E_A+E_B)/2，K为正整数；根据临时稀疏成分矩阵E₀四叉树分解结果，分别对稀疏成分矩阵E_A和E_B进行块划分，块划分后的各矩阵子块同临时稀疏成分矩阵E₀的各矩阵子块大小相同、位置一致，稀疏成分矩阵E_A与E_B的大小相同、位置一致的矩阵子块具有相同序号；

（3）计算稀疏成分矩阵E_A的各矩阵子块的梯度能量，计算稀疏成分矩阵E_B的各矩阵子块的梯度能量；

（4）构建决策矩阵

（式1）中：

H(i,j)为矩阵H第i行、第j列的元素，i＝1,2,3,…,M；j＝1,2,3,…,N；

为稀疏成分矩阵E_A的序号为k的矩阵子块的梯度能量，为稀疏成分矩阵E_B的序号为k的矩阵子块的梯度能量，k＝1,2,3,…,K；

（5）构建融合图像得到融合后的灰度图像：

$F(i,j)=\left\{\begin{array}{cc}{I}_A(i,j)& H(i,j)=1\\ I_B(i,j)& H(i,j)=0\end{array}\right.$ （式2）

（式2）中：

F(i,j)为融合后的灰度图像F像素点(i,j)处的灰度值；

I_A(i,j)为融合前灰度图像I_A的像素点(i,j)处的灰度值；

I_B(i,j)为融合前灰度图像I_B的像素点(i,j)处的灰度值。

对步骤（4）中构建的决策矩阵进行腐蚀膨胀操作处理，并利用处理后的决策矩阵构建融合图像。

与现有技术相比，本发明的有益效果是：

（1）本发明对源图像鲁棒主成分分析（RPCA）分解后稀疏成分矩阵进行四叉树（QT）分解，根据源图像鲁棒主成分分析（RPCA）分解后稀疏成分矩阵元素的一致性特征，自适应确定块的大小，抑制了块效应。

（2）本发明利用源图像RPCA分解后稀疏成分矩阵的局部特征和源图像聚焦区域目标的局部特征相一致的特点，通过稀疏成分矩阵的矩阵子块局部特征的比较来识别源图像中的清晰子块，提高了对源图像清晰子块识别的准确率，有利于清晰区域目标的提取。

（3）本发明中RPCA对噪声具有鲁棒性，可增强融合算法的鲁棒性，降低融合图像中的噪声。

（4）本发明中，图像融合框架灵活，可用于其他类型的图像融合任务。

综上，本发明算法框架灵活，对源图像清晰子块具有较高识别准确率，并有效抑制块效应，对噪声具有鲁棒性，可较为准确的提取清晰区域目标细节，提高融合图像质量。

附图说明

以下结合附图与具体实施方式对本发明作进一步解释说明。

图1是本发明的多聚焦图像融合方法的参考流程示意框图；附图的I_A,I_B代表多聚焦源图像；RPCA代表鲁棒主成分分析；E_A,E_B分别代表源图像I_A,I_B经过鲁棒主成分分析（RPCA）分解后的稀疏成分矩阵；QT代表四叉树；EOG_A,EOG_B分别代表E_A,E_B经过四叉树分解后稀疏成分矩阵分解子块的梯度能量；

图2为实施例待融合的源图像，(a)与(b)为实施例1待融合的源图像rose；(c)与(d)为实施例2待融合的源图像lab；

图3是小波变换（DWT）、基于非下采样的轮廓波变换（NSCT）、主成分分析（PCA）、空间频率（SF）、脉冲耦合神经网络（PCNN）五种图像融合方法对多聚焦图像‘rose’图2(a)与(b)的融合效果图，Proposed代表本发明的方法；

图4是小波变换（DWT）、基于非下采样的轮廓波变换（NSCT）、主成分分析（PCA）、空间频率（SF）、脉冲耦合神经网络（PCNN）五种图像融合方法对对多聚焦图像‘rose’的融合图像与源图像图2(b)之间的差异比较图；

图5是小波变换（DWT）、基于非下采样的轮廓波变换（NSCT）、主成分分析（PCA）、空间频率（SF）、脉冲耦合神经网络（PCNN）五种图像融合方法对对多聚焦图像‘lab’图2(c)与(d)的融合图像；

图6是小波变换（DWT）、基于非下采样的轮廓波变换（NSCT）、主成分分析（PCA）、空间频率（SF）、脉冲耦合神经网络（PCNN）五种图像融合方法对对多聚焦图像‘lab’的融合图像与源图像图2(d)之间的差异比较图。

具体实施方式

为了克服多聚焦图像融合领域中图像块大小不能自适应划分造成的块效应及融合效果不甚理想的问题，本发明提供了一种基于鲁棒主成分分析和四叉树分解的多聚焦图像融合方法，参考图1，该方法的具体操作流程解释如下：

本发明分别用表示两幅多聚焦图像，图像大小均为M×N；利用向量转换操作将图像转换为列向量此处原来为M行N列，经过向量转换后为MN行1列，分别表示向量转换后的对应列向量，然后对列向量进行鲁棒主成分分析（RPCA）分解，将列向量分解为主成分矩阵和稀疏成分矩阵 分别表示RPCA分解后所对应的稀疏成分矩阵，表示RPCA分解后所对应的主成分矩阵，对该稀疏成分矩阵进行向量转换，转换为此时，稀疏成分矩阵同源图像相对应，且大小一致。

本发明的临时稀疏成分矩阵是对经过向量转换后的稀疏成分矩阵进行求平均操作得到的，临时稀疏成分矩阵E₀＝(E_A+E_B)/2，并根据临时稀疏成分矩阵E₀中各元素值的区域相似度，对E₀进行四叉树（QT）分解，将区域相似度一致的元素分解到同个小块中（统称为矩阵子块），最终将临时稀疏成分矩阵分解成多个大小不同的矩阵子块。然后根据临时稀疏成分矩阵E₀四叉树（QT）分解结果，对稀疏成分矩阵进行块划分，块划分后的各矩阵子块同稀疏成分矩阵E₀的各矩阵子块大小和位置一致，且稀疏成分矩阵E_A与E_B的大小相同、位置一致的矩阵子块具有相同序号。

本发明的梯度能量（EnergyofImageGradient,EOG）计算方法如（式3）所示：

$\mathrm{EOG}=\underset{\mathrm{\&alpha;}}{\mathrm{\&Sigma;}}\underset{\mathrm{\&beta;}}{\mathrm{\&Sigma;}}(I_{\mathrm{\&alpha;}}^2+I_{\mathrm{\&beta;}}^2)$ （式3）

其中，I_α＝I(α+1,β)-I(α,β)，I_β＝I(α,β+1)-I(α,β)，(α,β)表示具体矩阵子块中具体元素在该矩阵子块中的位置，元素I(α,β)表示该元素的值。

本发明的决策矩阵

中，“1”代表该源图像I_A与E_A的序号为k的矩阵子块为清晰子块，“0”代表源图像I_B与E_B的序号为k的矩阵子块为清晰子块。

将清晰子块合并可得本发明的融合图像。

由于单独依靠梯度能量作为图像清晰度的评价标准，可能不能提取出所有清晰子块，在决策矩阵中区域间存在着毛刺，截断和狭窄的粘连，需要对决策矩阵进行形态学的腐蚀膨胀操作。

以下是发明人提供的实施例，以对本发明的技术方案作进一步解释说明。

实施例1：

遵循本发明的技术方案，该实施例对图2(a)与(b)所示两幅源图像进行融合处理，处理结果如图3所示。同时利用小波变换（DWT）、基于非下采样的轮廓波变换（NSCT）、主成分分析（PCA）、空间频率（SF）、脉冲耦合神经网络（PCNN）五种图像融合方法对图2(a)与(b)所示两幅源图像进行融合处理，结果如图3所示，对不同融合方法的融合图像进行质量评价，处理计算得表1所示结果。

表1多聚焦图像‘rose’融合图像质量评价.

实施例2：

遵循本发明的技术方案，该实施例对图2(c)与(d)所示两幅源图像进行融合处理，处理结果如图5所示。

同时利用小波变换（DWT）、基于非下采样的轮廓波变换（NSCT）、主成分分析（PCA）、空间频率（SF）、脉冲耦合神经网络（PCNN）五种图像融合方法对图2所示两幅源图像(c)与(d)进行融合处理，结果如图5所示，对图5中不同融合方法的融合图像进行质量评价，处理计算得表2所示结果。

表2多聚焦图像‘lab’融合图像质量评价.

表1和表2中：Method代表方法；融合方法包括五种分别是：小波变换（DWT）、基于非下采样的轮廓波变换（NSCT）、主成分分析（PCA）、空间频率（SF）、脉冲耦合神经网络（PCNN）；RunningTime代表运行时间，单位为秒。MI代表互信息，是基于互信息的融合图像质量客观评价指标。Q^AB/F代表从源图像中转移的边缘信息总量；Q₀代表融合图像的扭曲程度；Q_W代表融合图像从源图像转移显著信息的程度；Q_E代表融合图像从源图像转移视觉信息和边缘信息的程度，Q指标的指标值越大，代表融合图像的质量越好。

从图3和图5可看出，其它方法都存在不同程度的漂移和模糊，本发明的方法对多聚焦图像rose图2(a)与(b)和多聚焦图像lab图2(c)与(d)的融合图像明显优于其他融合方法的融合效果。

从融合图像图3和图2(b)源图像的差异效果图图4，以及融合图像图5和图2(d)源图像的差异效果图图6可看出，本方法对源图像焦点区域目标边缘和纹理的提取能力明显优于其他方法，能够很好的将源图像中焦点区域的目标信息转移到融合图像中去。可以有效捕捉聚焦区域的目标细节信息，并有效抑制块效应。

同时由表1和表2所示结果可知，本发明利用源图像鲁棒主成分分析分解域内稀疏成分矩阵的局部稀疏特征和源图像的对应关系，对稀疏成分矩阵进行四叉树分解，根据稀疏成分矩阵元素的区域一致性，自适应确定分块大小。由于鲁棒主成分分析对噪声具有鲁棒性，可以用低维子空间处理高维数据，而且本发明的方法可自适应确定分块大小，因此提高了融合图像质量。

以上例举仅仅是对本发明的举例说明，并不构成对本发明的保护范围的限制，凡是与本发明相同或相似的设计均属于本发明的保护范围之内。

Claims (1)

1.一种多聚图像融合方法，该方法对配准后的多聚焦图像I_A和I_B进行融合，I_A和I_B均为灰度图像，且I_A,是大小为M×N的空间，M和N均为正整数，该融合方法包括以下步骤：

(1)对I_A进行列向量转换得I'_A，对I_B进行列向量转换得I'_B，I'_A,是大小为MN×1的空间；

分别对I'_A和I'_B进行鲁棒主成分分析分解，得到I'_A的稀疏成分矩阵I'_B的稀疏成分矩阵

对进行向量转换得E_A，对进行向量转换得E_B，E_A,

(2)利用四叉树分解将临时稀疏成分矩阵E₀分解成K个矩阵子块，E₀＝(E_A+E_B)/2，K为正整数；

根据临时稀疏成分矩阵E₀四叉树分解结果，分别对稀疏成分矩阵E_A和E_B进行块划分，块划分后的各矩阵子块同临时稀疏成分矩阵E₀的各矩阵子块大小相同、位置一致，稀疏成分矩阵E_A与E_B的大小相同、位置一致的矩阵子块具有相同序号；

(3)计算稀疏成分矩阵E_A的各矩阵子块的梯度能量，计算稀疏成分矩阵E_B的各矩阵子块的梯度能量；

(4)构建决策矩阵H,

(式1)

(式1)中：

H(i,j)为矩阵H第i行、第j列的元素，i＝1,2,3,…,M；j＝1,2,3,…,N；

为稀疏成分矩阵E_A的序号为k的矩阵子块的梯度能量，为稀疏成分矩阵E_B的序号为k的矩阵子块的梯度能量，k＝1,2,3,…,K；

对步骤(4)中构建的决策矩阵进行腐蚀膨胀操作处理，并利用处理后的决策矩阵构建融合图像；

(5)构建融合图像F,得到融合后的灰度图像：

$F(i,j)=\left\{\begin{array}{cc}{I}_A(i,j)& H(i,j)=1\\ I_B(i,j)& H(i,j)=0\end{array}\right.$ (式2)

(式2)中：

F(i,j)为融合后的灰度图像F像素点(i,j)处的灰度值；

I_A(i,j)为融合前灰度图像I_A的像素点(i,j)处的灰度值；

I_B(i,j)为融合前灰度图像I_B的像素点(i,j)处的灰度值。