CN109785282B - 一种多聚焦图像融合方法 - Google Patents

Abstract

一种多聚焦图像融合方法，涉及图像融合技术。比较各原图像中相应图像块间方差大小确定低频图像与各原图像对应的高频图像；通过低频图像与高频图像获取低频字典与高频字典；利用第一联合稀疏模型将各原图像分为公共部分与新息部分，基于低频字典与高频字典，利用分布式压缩感知模型与正交匹配追踪算法实现对对高频图像的重构；根据重构高频图像与原高频图像获取标签决策图，每一标签对应一原图像；利用图像形态学处理方法，对标签决策图进行改进，以获取最终标签决策图；根据最终标签决策图，选择对应原图像像素，以获取多聚焦融合图像。获得具有良好视觉效果与较高客观评价质量的多聚焦融合图像。

Description

一种多聚焦图像融合方法

技术领域

本发明涉及图像融合技术，尤其是涉及一种多聚焦图像融合方法。

背景技术

现代社会，图像融合是一个至关重要的研究课题，尤其是多聚焦图像融合，广泛应用于计算机视觉、数字摄影、目标识别、航空航天、资源探测等领域。由于光学成像系统中凸透镜景深的限制，成像系统每次成像时只能对一个区域进行对焦，而此区域外存在不同程度的模糊。多聚焦图像融合旨在将多幅不同对焦区域的图像进行融合以获取全聚焦图像。多聚焦图像融合能够在同一幅图像中清晰地显示各个区域，为后续的图像处理程序提供了可靠保证。此外，多聚焦图像融合技术能够减少不必要的信息传输并因此惠及通信系统。

在许多应用场景中，对多聚焦图像融合生成的图像质量有着较高要求。具体而言，高质量的多聚焦图像融合应当尽量保留原图像中的有用信息，减少伪影的产生，并且对于应用环境具有一定的鲁棒性。因此，有效的多聚焦图像融合方法具有重要意义与实用价值。

目前的多聚焦图像融合方法中，主要涉及空间域与变换域方法，变换域方法通常损失像素信息，现有的融合方法不能获得良好的视觉融合效果与较高的客观评价质量，并且对于计算复杂度的要求较高，不能适应现代应用场景的要求。

参考文献：

[1]Haghighat M B A,Aghagolzadeh A,Seyedarabi H.Multi-focus imagefusion for visual sensor networks in DCT domain[J].Computers&ElectricalEngineering,2011,37(5):789-797.

[2]Paul S,Sevcenco I S,Agathoklis P.Multi-Exposure and Multi-FocusImage Fusion in Gradient Domain[J].Journal of Circuits,Systems and Computers,2016:1650123.

[3]Zhan K,Teng J,Li Q,et al.A novel explicit multi-focus image fusionmethod[J].Journal of Information Hiding and Multimedia Signal Processing,2015,6(3):600-612.

[4]Ma J,Zhou Z,Wang B,et al.Multi-focus image fusion based on multi-scale focus measures and generalized random walk[C]//2017 36th ChineseControl Conference(CCC).2017:5464-5468.

[5]Aslantas V,Toprak A N.Multi-focus image fusion based on optimaldefocus estimation[J].Computers&Electrical Engineering,2017:S0045790617302501.

发明内容

针对上述技术问题，本发明的目的在于提供一种多聚焦图像融合方法。

本发明包括以下步骤：

1)比较各原图像中相应图像块间方差大小确定低频图像与各原图像对应的高频图像；

2)通过低频图像与高频图像获取低频字典与高频字典；

3)利用第一联合稀疏模型将各原图像分为公共部分与新息部分，基于低频字典与高频字典，利用分布式压缩感知模型与正交匹配追踪算法实现对对高频图像的重构；

4)根据重构高频图像与原高频图像获取标签决策图，每一标签对应一原图像；

5)利用图像形态学处理方法，对标签决策图进行改进，以获取最终标签决策图；

6)根据最终标签决策图，选择对应原图像像素，以获取多聚焦融合图像。

在步骤1)中，对各原图像，逐像素扫描,在以该像素为中心的q₁×q₁大小的图像块内求方差，方差较小图像块内中心像素作为低频图像像素，获得低频图像后，将原图像减去低频图像以获得各原图像对应的高频图像。

在步骤2)中，对低频图像按q₂×q₂图像块大小划为图像块处理并减去每块相应均值以获取低频字典，各高频图像相加并按q₂×q₂划块处理并减去每块相应均值以获取高频字典。

在步骤3)中，所述将各原图像按块大小q₂×q₂划块并减去每块相应均值，处理后的各原图像相同位置图像块组成观测向量，利用第一联合稀疏模型将原图像分为公共部分与新息部分，基于低频字典与高频字典，利用分布式压缩感知模型与正交匹配追踪算法实现对公共稀疏系数与新息稀疏系数的重构，将各自新息系数乘以高频字典以获取各自重构高频图像。

在步骤4)中，所述根据重构高频图像与原高频图像获取标签决策图，设定块大小q₃×q₃与标签决策图，其决策方法如下：

(1)各重构高频图像块内进行绝对值求和，其块间绝对差值大于门限ε时，按其大值对应原图像取标签；

(2)各原高频图像块内进行绝对值求和，其块间绝对差值大于门限ε时，按其大值对应原图像取标签；

(3)各重构高频图像块间差值与各原高频图像块间差值同时为正或同时为负时，按大值对应原图像取标签；

(4)未确定标签的像素位置按照块内标签多数投票的原则确定标签。

在步骤5)中，所述利用图像形态学处理方法的具体方法可为：先进行开运算再进行闭运算，对标签决策图进行改进，以获取最终标签决策图。

本发明的有益效果如下：

本发明先由各原图像通过简单计算方差获得低频图像与各原图像对应的高频图像，并由此获取低频字典与高频字典，利用第一联合稀疏模型将各原图像分为公共部分与新息部分，根据低频字典与高频字典，结合分布式压缩感知模型，对高频图像进行重构以获得原图像精确特征信息，基于原高频图像与重构高频图像设计有效决策方法获取标签决策图，最后，根据标签决策图，选择原图像像素，获得具有良好视觉效果与较高客观评价质量的多聚焦融合图像。

附图说明

图1为本发明实施例的流程图。

图2为大小640×480的Balloon不同聚焦的图像。

图3为大小520×520的Sydney不同聚焦的图像。

图4为不同方法获得的多聚焦融合图像Balloon。在图4中，从左上至右下依次为方法[1]、[2]、[3]、[4]、[5]、本发明。

图5为不同方法获得的多聚焦融合图像Sydney。在图5中，从左上至右下依次为方法[1]、[2]、[3]、[4]、[5]、本发明。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合实施例和附图，进一步阐述本发明。

如图1所示，本发明实施例包括以下步骤：

步骤一、比较各原图像中相应图像块间方差大小确定低频图像与各原图像对应的高频图像；

步骤二、通过低频图像与高频图像获取低频字典与高频字典；

步骤三、利用第一联合稀疏模型将各原图像分为公共部分与新息部分，基于低频字典与高频字典，利用分布式压缩感知模型与正交匹配追踪算法实现对对高频图像的重构；

步骤四、根据重构高频图像与原高频图像，获取标签决策图，每一标签对应一原图像；

步骤五、利用图像形态学处理方法，对标签决策图进行改进，以获取最终标签决策图；

步骤六、根据标签决策图，选择对应原图像像素，以获取多聚焦融合图像。

本发明提出的技术方案首先对各原图像按q₁×q₁进行划块，在原图像中，对每一图像块计算方差，比较不同原图像相应图像块之间的方差大小，取小方差对应的原图像像素作为低频图像像素，逐像素按此方法遍历可获得低频图像；将各原图像减去低频图像所得即为原图像对应的高频图像。以两幅原图像为例，用I₁与I₂分别表示，低频图像用L表示，则I₁与I₂对应的高频图像H₁与H₂分别为：

H₁＝I₁-L (1)

H₂＝I₂-L (2)

对低频图像按q₂×q₂划块处理并减去每块相应均值以获取低频字典D_L，各高频图像相加并按q₂×q₂划块处理并减去每块相应均值以获取高频字典D_H。将原图像按块大小q₂×q₂划块并减去每块相应均值，再乘以高斯随机测量矩阵组成观测向量Y：

Y＝MX＝M[x₁,x₂]^T (3)

其中，M为高斯随机测量矩阵，X为处理后的各原图像相同位置图像块组成的观测向量，x₁为将I₁中图像块转为向量，x₂为将I₂中图像块转为向量，[x₁,x₂]^T为[x₁,x₂]的转置。

本发明提出的方法利用第一联合稀疏模型将原图像分为公共部分与新息部分，基于低频字典D_L与高频字典D_H利用分布式压缩感知模型实现对原图像的分解：

其中，α_c为公共稀疏系数，α₁为对应于I₁的新息稀疏系数，α₂为对应于I₂的新息稀疏系数，可由正交匹配追踪算法求得。将各自新息系数乘以高频字典以获取各自重构高频图像H′₁与H′₂。

本发明提出决策方法来确定标签决策图，每一标签对应于每一原图像。设定块大小q₃×q₃与标签决策图，其决策方法如下：1)各重构高频图像块内进行绝对值求和，其块间绝对差值大于门限ε时，按其大值对应原图像取标签；2)各原高频图像块内进行绝对值求和，其块间绝对差值大于门限ε时，按其大值对应原图像取标签；3)各重构高频图像块间差值与各原高频图像块间差值同时为正或同时为负时，按大值对应原图像取标签；4)未确定标签的像素位置按照块内标签多数投票的原则确定标签。设标签决策图为M，对于像素位置(x,y)，其标签确定如下：

其中，标签1对应于原图像I₁，标签0对应于原图像I₂，ε为一门限，Ω(x,y)表示以(x,y)为中心的q₃×q₃大小的图像块。对于未确定标签的像素位置，在Ω(x,y)内按照多数投票原则，选择多数标签对应的标签确定此位置(x,y)的标签。

在步骤五中，利用图像形态学处理方法，先进行开运算再进行闭运算，对标签决策图进行改进，以获取最终标签决策图M_F。其可以表示为：

其中，B为结构元素，

表示开运算，·表示闭运算。根据标签决策图M_F，遍历所有像素位置，确定该位置对应的原图像像素。

下面将结合计算机仿真过程，说明本发明的实现效果。

真选取大小为268×204的灰度图Leaf以及大小为577×314的彩色图Seascape。仿真实验中，涉及到的方法参数设定为q₁＝7，q₂＝8，q₃＝9，ε＝q₃×q₃×2，高斯随机测量矩阵大小为100×128，结构元素B为半径为9的圆形结构。表1给出本发明与其他方法融合结果客观评价指标对比，Q_NMI、Q_SSIM以及Q_G反映了多聚焦图像融合结果的客观质量，从表1可以看出，本发明提出的多聚焦图像融合方法在Q_NMI、Q_SSIM以及Q_G上都具有最大值，本发明提出的多聚焦图像融合方法具有更好的效果。

表1

大小640×480的Balloon不同聚焦的图像参见图2，大小520×520的Sydney不同聚焦的图像参见图3，不同方法获得的多聚焦融合图像Balloon参见图4，不同方法获得的多聚焦融合图像Sydney参见图5。

以上给出本发明的基本原理、主要特征和特点。本领域的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进。

Claims (3)

1.一种多聚焦图像融合方法，其特征在于包括以下步骤：

1）比较各原图像中相应图像块间方差大小确定低频图像与各原图像对应的高频图像；对各原图像，逐像素扫描,在以该像素为中心的

大小的图像块内求方差，方差较小图像块内中心像素作为低频图像像素，获得低频图像后，将原图像减去低频图像以获得各原图像对应的高频图像；

2）通过低频图像与高频图像获取低频字典与高频字典；对低频图像按

图像块大小划为图像块处理并减去每块相应均值以获取低频字典，各高频图像相加并按

划块处理并减去每块相应均值以获取高频字典；

3）利用第一联合稀疏模型将各原图像分为公共部分与新息部分，基于低频字典与高频字典，利用分布式压缩感知模型与正交匹配追踪算法实现对高频图像的重构；

4）根据重构高频图像与原高频图像获取标签决策图，每一标签对应一原图像；所述根据重构高频图像与原高频图像获取标签决策图，设定块大小

与标签决策图，其决策方法如下：

（1）各重构高频图像块内进行绝对值求和，其块间绝对差值大于门限

时，按其大值对应原图像取标签；

（2）各原高频图像块内进行绝对值求和，其块间绝对差值大于门限

时，按其大值对应原图像取标签；

（3）各重构高频图像块间差值与各原高频图像块间差值同时为正或同时为负时，按大值对应原图像取标签；

（4）未确定标签的像素位置按照块内标签多数投票的原则确定标签；

5）利用图像形态学处理方法，对标签决策图进行改进，以获取最终标签决策图；

6）根据最终标签决策图，选择对应原图像像素，以获取多聚焦融合图像。

2.如权利要求1所述一种多聚焦图像融合方法，其特征在于在步骤3）中，将各原图像按块大小

划块并减去每块相应均值，处理后的各原图像相同位置图像块组成观测向量，利用第一联合稀疏模型将原图像分为公共部分与新息部分，基于低频字典与高频字典，利用分布式压缩感知模型与正交匹配追踪算法实现对公共稀疏系数与新息稀疏系数的重构，将各自新息系数乘以高频字典以获取各自重构高频图像。

3.如权利要求1所述一种多聚焦图像融合方法，其特征在于在步骤5）中，所述利用图像形态学处理方法的具体方法为：先进行开运算再进行闭运算，对标签决策图进行改进，以获取最终标签决策图。

Images