CN104077761B - 基于自适应稀疏表示的多聚焦图像融合方法 - Google Patents

Abstract

本发明公开了一种基于自适应稀疏表示的多聚焦图像融合方法，根据原始图像中结构特征的不同将子块进行分类，使原始图像分为相同模型、平滑模型和细节模型。然后将相同模型直接放入融合结果图像中，对平滑模型和细节模型分别采用算术平均法和稀疏表示法进行图像块融合。本发明的有优点是能够分割出平滑模型和细节模型，减少稀疏编码的图像块数，从而在确保融合图像主观效果和客观性能指标均优的基础上，缩短了运算时间。

Description

基于自适应稀疏表示的多聚焦图像融合方法

技术领域

本发明属于数字图像处理技术领域，具体是一种基于自适应稀疏表示的多聚焦图像融合方法。

背景技术

多聚焦图像融合作为图像融合的一个重要分支，正日益广泛地应用于机器视觉、目标识别、数码相机等领域。在实际应用中，一些光学镜头往往不能使得同一场景的多个目标都在同一聚焦区域，因此需要将多幅图像中的清晰模型结合起来，生成一幅所有目标都清晰的图像，以满足对图像更深层次应用的需要。多聚焦图像融合正是解决这一问题的有效途径。

多聚焦融合图像拥有大量的冗余信息，能够更加清晰地描述出一幅场景。传统的融合方法包括小波变换、轮廓波变换等，但是在变换与反变换的过程中可能发生图像信息的丢失，从而影响最终的融合效果。目前，稀疏表示作为一种有效的表示模型广泛应用于图像领域。B.Yang等在“B.Yang，and S.Li，“Multifocus image fusion and restorationwith sparse representation，”IEEE Transactions on Instrumentation andMeasurement,2010,59(4):884-892.”提出了一种基于过完备稀疏表示的图像融合算法，融合效果较好，但DCT字典的适应性不强，运算复杂度高；N.Yu等在“N.Yu，T.Qiu，F.Bi，andA.Wang，“Image Features Extraction and Fusion Based on Joint SparseRepresentation，”IEEE Journal of Selected Topics in Signal Processing，2011，5(5)：1074-1082.”采用K-SVD方法对选取的图像库进行训练得到适应性强的过完备字典，并利用稀疏系数中非零元素所对应的基向量作为图像特征，分离相同特征和相异特征分别进行融合，克服了融合图像中相异特征清晰度下降问题。但是稀疏表示图像融合算法需要对每个图像块进行稀疏表示，其复杂度高的问题，依然没有得到较好解决。

发明内容

本发明的目的在于克服上述现有的稀疏表示图像融合技术运算复杂度高的缺点，提出了一种基于自适应稀疏表示的多聚焦图像融合方法，以提高稀疏表示算法融合图像的效率。

为实现上述目的，本发明在自适应稀疏表示的框架下实现多聚焦图像融合，其技术方案是根据图像的结构特征将子块分为相似模型、平滑模型和细节模型。然后对三种模型采取不同的处理，相似模型直接放入融合图像，平滑模型和细节模型分别采用加权平均法和稀疏表示法进行融合，从而减少了稀疏编码的图像块数，以提高融合效率。

本发明一种基于自适应稀疏表示的多聚焦图像融合方法，包括如下步骤：

1、利用成像设备获得焦距不同的待融合自然图像。

2、对源图像预处理

将获取的配准待融合图像归一化，再按照一定大小进行滑动分块处理。

3、图像块分类处理

先将待融合图像子块划分为相似块和异同块，将步骤2获得的所有对应位图像子块进行像素值对比，区分相似块和异同块，相似块属于相似模型；

再将待融合图像的异同块进一步划分，将获得的异同块计算出各块的梯度值，若块的梯度都小于等于阈值μ，属于源图像的平滑模型，反之属于细节模型。

4、训练K-SVD过完备字典

选择一些信息丰富的自然图像，利用K-SVD(Aharon M,Elad M,Bruckstein A.K-SVD:An algorithm for designing overcomplete dictionaries for sparserepresentation[J].IEEE Transaction on Signal Processing,2006,54(11):4311-4322)的方法对这些自然图像进行字典学习，获得过完备字典。

5、利用正交匹配追踪算法(Rosenblum K,Zelnik-Manor L,Eldar Y.DictionaryOptimization for Block-Sparse Representations[J].Signal Processing,IEEETransactions on,2012,60(5):2386-2395)分别求解利用步骤3获得的各源图像细节模型在K-SVD过完备字典下的稀疏系数。

6、将步骤3获得的相似模型直接放入融合结果图的对应位。

7、将步骤3获得的平滑模型利用算术加权平均法进行融合。

8、利用步骤5获得的源图像的细节模型、稀疏系数以及稀疏度和绝对值组合，取大的融合规则获得细节模型的融合稀疏系数。

9、重构细节模型

利用步骤8获得的融合稀疏系数与K-SVD过完备字典相乘，得到列向量化的细节模型融合图像。

10、重构融合图像

将列向量化的三种模型融合图像转化为图像块，叠加到对应位置，再除以每个位置像素值叠加的次数，最终获得融合结果图像。

本发明的有益效果是：

1、本发明将稀疏表示引入多聚焦图像融合领域，克服了传统技术在变换过程中信息丢失的情况，使得本发明拥有更良好的融合效果。

2、本发明根据图像特征对图像块进行分类处理，克服了稀疏表示算法运算复杂度高的问题，本发明的融合效率比传统稀疏表示算法明显提高，使得稀疏表示算法可以更好地应用到实际的图像融合中。

附图说明

图1是本发明基于自适应稀疏表示的多聚焦图像融合方法的流程图。

图2是本发明基于自适应稀疏表示的多聚焦图像融合方法的仿真图；图2(a)和图2(b)是一组待融合图像，2(a)为聚焦在左边的源图像，2(b)为聚焦在右边的源图像；图2(c)～(e)分别为传统的小波变换法、轮廓波变换法和稀疏表示算法；图2(f)为采用本发明对图2(a)和2(b)待融合图像进行融合后获得的多聚焦图像。

具体实施方式

以下结合附图和实施例对本发明作详细说明：本实施例在以本发明技术方案为前提下进行实施的例子，给出了详细的实施方式和过程，但本发明的保护范围不应限于下述的实施例。

实施例

参照图1，本发明一种基于自适应稀疏表示的多聚焦图像融合方法，包括如下步骤：

1、利用成像设备获得焦距不同的待融合自然图像

本发明实施例中待融合的多焦距自然图像大小为256×256，灰度范围是0～255。

2、对源图像预处理

将配准的待融合图像进行归一化，再采用具有位移不变特性的滑动窗口技术对源图像进行分块，步长取1。假设源图像大小为N×M，选取n×n大小对源图像A，B分块各得到(N+n-1)×(M+n-1)个图像子块。

3、图像块分类处理

按照待融合图像的结构特性，对图像子块进行分类。图像f可分为相似模型f_e、平滑模型f_c和细节模型f_d，即

f＝f_e+f_c+f_d (1)

先将步骤2获得的图像子块划分为相似块和异同块。对比各源图像对应位置图像子块的像素值，如果相应子块的每个像素点都相等，该子块属于相似模型；反之为异同块，进行下一步区分。

再将待融合图像的异同块进一步划分。不同子块之间包含边缘和纹理越多的图像块，信息更丰富，体现的细节更清晰，属于细节模型。相反包含信息量较少的子块，属于平滑模型。本发明选择梯度作为图像块进一步分类的判断准则。图像的梯度G(x,y)定义为式(2)所示：

$G(x,y)=\frac{1}{N\×M}\underset{x=1}{\overset{N-1}{\mathrm{\Σ}}}\underset{y=1}{\overset{M}{\mathrm{\Σ}}}\sqrt{\frac{{[f(x+1,y)-f(x,y)]}^2+{[f(x,y+1)-f(x,y)]}^2}{2}}---\left(2\right)$

其中，M,N是分块的大小，f(x,y)是子块中(x,y)处的像素值。梯度值G越大，代表图像块的边缘和纹理信息越丰富，图像块的信息量越大。相反梯度G越小，也就图像块的信息量越少。

根据梯度定义公式计算出每个异同子块的梯度值G，设定阈值μ，若对应位置子块的梯度值都小于等于μ，属于平滑模型；否则子块属于细节模型。

4、训练K-SVD过完备字典

首先选择一组信息丰富的自然图像，再在这些自然图像上以块的方式随机提取大小为6×6大小的样本块，并列向量化，在本发明实施例中，共随机抽取1000个样本块。

假设上述提取的样本表示为X，则对应的过完备字典表示为D可以通过下列目标方程得到：

$\begin{array}{ccc}\underset{D,\mathrm{\α}}{\min }\left\{{\left|\right|X-\mathrm{DA}\left|\right|}_F^2\right\}& s.t.& \∀i,{\left|\right|{\mathrm{\α}}_i\left|\right|}_0\≤T_0---\left(3\right)\end{array}$

5、本发明实施例中K-SVD过完备字典的大小为36×256。相关系数min{}表示最小化，||||_F为矩阵的F范数，A为稀疏系数矩阵，α_i表示A中第i列稀疏系数，T₀为稀疏表示系数中非零分量数目的上限。利用正交匹配追踪算法求解各源图像细节模型在K-SVD过完备字典下的稀疏系数。

所述的正交匹配追踪算法的具体步骤如下：

用大小为6×6的窗口从左至右，从上至下遍历各个待融合的多聚焦图像。并将每个图像块转换为长度为36的列向量，表示为其中N为单幅图像中图像块的数目。

对于利用过完备字典D及OMP算法进行稀疏表示系数的求解，即可获得相应的待融合多聚焦图像稀疏表示系数α_A和α_B：

$\begin{array}{ccc}{\mathrm{\α}}_A=\arg \underset{{\mathrm{\α}}_A}{\min }{\left|\right|{\mathrm{\α}}_A\left|\right|}_0,& s.t.& {\left|\right|x_i^A-D{\mathrm{\α}}_A\left|\right|}_2^2\end{array}\≤\mathrm{\ϵ}---\left(4\right)$

$\begin{array}{ccc}{\mathrm{\α}}_B=\arg \underset{{\mathrm{\α}}_B}{\min }{\left|\right|{\mathrm{\α}}_B\left|\right|}_0,& s.t.& {\left|\right|x_i^B-D{\mathrm{\α}}_B\left|\right|}_2^2\end{array}\≤\mathrm{\ϵ}---\left(5\right)$

6、将步骤3获得的相似模型的每个图像块转换为长度36的列向量，直接放入融合样本的对应位。

7、将步骤3获得的平滑模型先转换为长度36的列向量，再利用算术加权平均法进行融合。平滑模型f_c的加权平均融合可表示为

$f_c={\mathrm{\ω}}_1{f}_c^a+{\mathrm{\ω}}_2{f}_c^b---\left(6\right)$

其中权系数选取ω₁＝ω₂＝0.5。平滑模型的融合图像放入融合样本的对应位。

8、利用步骤5获得的待融合图像的细节模型稀疏系数以及稀疏度和绝对值组合取大的融合规则得到细节模型的融合稀疏系数。当稀疏度一致时，可用l₁范数进行系数选取。利用结合系数稀疏度和l₁范数的融合规则求融合稀疏系数α_F，如式(7)所示

${\mathrm{\&alpha;}}_F=\left\{\begin{array}{cc}{\mathrm{\&alpha;}}_B,& \mathrm{if}{\left|\right|{\mathrm{\&alpha;}}_A\left|\right|}_0<{\left|\right|{\mathrm{\&alpha;}}_B\left|\right|}_0\\ {\mathrm{\&alpha;}}_A,& \mathrm{if}{\left|\right|{\mathrm{\&alpha;}}_A\left|\right|}_0>{\left|\right|{\mathrm{\&alpha;}}_B\left|\right|}_0\\ {\mathrm{\&alpha;}}_B,& \mathrm{if}{\left|\right|{\mathrm{\&alpha;}}_A\left|\right|}_0={\left|\right|{\mathrm{\&alpha;}}_B\left|\right|}_0\mathrm{and}{\left|\right|{\mathrm{\&alpha;}}_A\left|\right|}_1<{\left|\right|{\mathrm{\&alpha;}}_B\left|\right|}_1\\ {\mathrm{\&alpha;}}_A,& \mathrm{otherwise}\end{array}\right.---\left(7\right)$

9、细节模型的稀疏系数α_F与字典D相乘得到列向量化的融合细节模型，再放入融合样本的对应位。细节模型f_d可表示为

f_d＝Dα_F (8)

10、将列向量化的三种融合图像模型转化为6×6图像块，恢复叠加到对应位置，再除以每个像素值叠加的次数，最终获得融合结果图像。

本发明实例中融合后的多聚焦图像大小为256×256。

本发明的效果可以通过以下仿真实验作进一步说明。

实验在MATLAB2012a上实现，运行环境为CPU P42.1G，操作系统Windows7。

参照图2，图2(a)和图2(b)是一组待融合图像，2(a)为聚焦在左边的源图像，2(b)为聚焦在右边的源图像；图2(c)～(e)分别为传统的小波变换法、轮廓波变换法和稀疏表示算法；图2(f)为采用本发明对图2(a)和2(b)待融合图像进行融合后获得的多聚焦图像。

从图中可以看出，2(c)中数字“9”明显模糊，说明小波变换的融合图像会缺失模型信息；轮廓波变换融合图像相对小波变换要清晰，但是2(d)中闹钟的边缘出现了严重的虚影现象，这些虚影是图像在分解中进行下采样引起的；稀疏表示和本发明的融合图像明显优于前两种方法，清晰度都很好，而本发明比稀疏表示融合图像的对比度更好一些。

为了证明本发明的融合效果还进行了客观评价，客观评价包括了相关系数、空间频率、梯度的指标。如下表：

上表中相关系数越大，说明结果图与源图像相关性越大，而空间频率和梯度的指标值越高，说明图像越清晰。由表可见，稀疏表示和本发明的指标都压倒性地超越了小波变换和轮廓波变换，融合的质量有明显的改善。而本发明比较于稀疏表示也都有提高，由此可见本发明的融合效果很理想。

为了证明本发明在效率上的提高，下表还给出了传统稀疏算法和本文算法在同样实验环境下分别对图2中两组图像进行融合的执行时间比较。

在实验中，稀疏算法耗费了1319s，而本发明仅耗费870s，本发明相对传统稀疏方法减少了近三分之一的时间。由此可见，本发明确实大大加快了图像融合的速度。综上所述，在确保融合的主观效果和客观性能参数均优的情况下，该发明大大加快了运算速度，使得稀疏表示图像融合算法可以更好地应用于实际中。

Claims (5)

1.一种基于自适应稀疏表示的多聚焦图像融合方法，其特征在于，包括下列步骤：

(1)利用成像设备获得焦距不同的待融合自然图像；

(2)对源图像预处理

将获取的配准待融合图像归一化，再按照一定大小进行滑动分块处理；

(3)图像块分类处理

将步骤(2)获得的所有对应位图像子块进行像素值对比，区分相似块和异同块，相似块属于相似模型，再计算各异同块的梯度值，若都小于等于阈值μ，属于源图像的平滑模型，反之属于细节模型；

(4)训练K-SVD过完备字典

选择一些信息丰富的自然图像，利用K-SVD的方法对这些自然图像进行字典学习，获得过完备字典；

(5)利用正交匹配追踪算法分别求解利用步骤(3)获得的各源图像细节模型在K-SVD过完备字典下的稀疏系数；

(6)将步骤(3)获得的相似模型直接放入融合结果图的对应位；

(7)将步骤(3)获得的平滑模型利用算术加权平均法进行融合；

(8)利用步骤(5)获得的源图像的细节模型稀疏系数、以及稀疏度和绝对值组合取大的融合规则获得细节模型的融合稀疏系数；

(9)重构细节模型

将步骤(8)获得的稀疏系数与K-SVD过完备字典相乘，得到列向量化的细节模型融合图像；

(10)重构融合图像

将列向量化的三种模型融合图像转化为图像块，叠加到对应位置，再除以每个位置像素值叠加的次数，最终获得融合结果图像；

其中，步骤(3)所述的图像块分类处理的具体步骤如下：

先将待融合图像子块划分为相似块和异同块，对比各源图像对应位置图像子块的像素值，如果相应子块的每个像素点都相等，该子块属于相似模型f_e；反之为异同块，进行下一步区分；

再将待融合图像的异同块进一步划分，选择梯度作为图像块进一步分类的判断准则，图像的梯度G(x,y)定义为式(1)所示：

$G(x,y)=\frac{1}{N\&times;M}\underset{x=1}{\overset{N-1}{\&Sigma;}}\underset{y=1}{\overset{M}{\&Sigma;}}\sqrt{\frac{{\&lsqb;f(x+1,y)-f(x,y)\&rsqb;}^2+{\&lsqb;f(x,y+1)-f(x,y)\&rsqb;}^2}{2}}---\left(1\right)$

其中，M,N是分块的大小，f(x,y)是子块中(x,y)处的像素值，梯度值G越大，代表图像块的信息量越大，相反，图像块的信息量越少；

根据梯度定义公式计算出每个异同子块的梯度值G，设定阈值μ，若对应位置子块的梯度值都小于等于μ，属于平滑模型f_c；否则子块属于细节模型f_d。

2.根据权利要求1所述的基于自适应稀疏表示的多聚焦图像融合方法，其特征在于：步骤(4)所述的训练K-SVD过完备字典的具体步骤如下：

选择一组信息丰富的自然图像，再在这些自然图像上以块的方式随机提取大小为N×N大小的样本块并列向量化，提取的样本表示为X，则对应的过完备字典表示为D可以通过下列目标方程得到：

$\begin{array}{ccc}\underset{D,\mathrm{\&alpha;}}{min}\left\{\right||X-DA|{|}_F^2\}& s.t.& \&ForAll;i,\left|\right|{\mathrm{\&alpha;}}_i|{|}_0\&le;T_0\end{array}---\left(2\right)$

相关系数min{}表示最小化，|| ||_F为矩阵的F范数，A为稀疏系数矩阵，α_i表示A中第i列稀疏系数，T₀为稀疏表示系数中非零分量数目的上限。

3.根据权利要求1所述的基于自适应稀疏表示的多聚焦图像融合方法，其特征在于：步骤(5)所述的利用正交匹配追踪算法求解源图像细节模型在K-SVD过完备字典下的稀疏系数的具体步骤如下：

用大小为的窗口从左至右，从上至下遍历各个待融合的多聚焦图像，并将每个图像块转换为长度为n的列向量，表示为其中n为窗口内的像素个数，N为单幅图像中图像块的数目；

对于利用过完备字典D及OMP算法进行稀疏表示系数的求解，即可获得相应的待融合多聚焦图像稀疏表示系数α_A和α_B：

$\begin{array}{ccc}{\mathrm{\&alpha;}}_A=\arg \underset{{\mathrm{\&alpha;}}_A}{min}\left|\right|{\mathrm{\&alpha;}}_A|{|}_0,& s.t.& \left|\right|x_i^A-{\mathrm{D\&alpha;}}_A|{|}_2^2\&le;\mathrm{\&epsiv;}\end{array}---\left(3\right)$

$\begin{array}{ccc}{\mathrm{\&alpha;}}_B=\arg \underset{{\mathrm{\&alpha;}}_B}{min}\left|\right|{\mathrm{\&alpha;}}_B|{|}_0,& s.t.& \left|\right|x_i^B-{\mathrm{D\&alpha;}}_B|{|}_2^2\&le;\mathrm{\&epsiv;}\end{array}---\left(4\right).$

4.根据权利要求1所述的基于自适应稀疏表示的多聚焦图像融合方法，其特征在于：步骤(7)所述的平滑模型利用算术加权平均法进行融合的具体步骤如下：

平滑模型f_c的加权平均融合可表示为

$f_c={\mathrm{\&omega;}}_1{f}_c^a+{\mathrm{\&omega;}}_2{f}_c^b---\left(5\right)$

其中权系数选取ω₁＝ω₂＝0.5，和分别代表两个源图像的平滑模型，平滑模型的融合图像f_c放入融合图像的对应位。

5.根据权利要求1所述的基于自适应稀疏表示的多聚焦图像融合方法，其特征在于：步骤(8)所述的利用细节模型稀疏系数以及稀疏度和绝对值组合取大的融合规则得到细节模型融合稀疏系数的具体步骤如下：

当稀疏度一致时，可用l₁范数进行系数选取，利用结合系数稀疏度和l₁范数的融合规则求细节模型的融合稀疏系数α_F，如式(6)所示

${\mathrm{\&alpha;}}_F=\left\{\begin{array}{cc}{\mathrm{\&alpha;}}_B,& \begin{array}{cc}if& \left|\right|{\mathrm{\&alpha;}}_A|{|}_0<|\left|{\mathrm{\&alpha;}}_B\right|{|}_0\end{array}\\ {\mathrm{\&alpha;}}_A,& \begin{array}{cc}if& \left|\right|{\mathrm{\&alpha;}}_A|{|}_0>|\left|{\mathrm{\&alpha;}}_B\right|{|}_0\end{array}\\ {\mathrm{\&alpha;}}_B,& \begin{array}{cc}if& \left|\right|{\mathrm{\&alpha;}}_A|{|}_0=|\left|{\mathrm{\&alpha;}}_B\right|{|}_{0}and\left|\right|{\mathrm{\&alpha;}}_A|{|}_1<|\left|{\mathrm{\&alpha;}}_B\right|{|}_1\end{array}\\ {\mathrm{\&alpha;}}_A,& otherwise\end{array}\right.---\left(6\right).$