CN105678723B - 基于稀疏分解和差分图像的多聚焦图像融合方法 - Google Patents

Abstract

一种基于稀疏分解和差分图像的多聚焦图像融合方法，其特征在于，利用RPCA分解原始图像得到其稀疏分量和低秩分量，然后通过引导滤波加强稀疏分量的边缘，再将加强的稀疏分量与低秩分量相加构建包含强边缘的加强图像，再将加强图像与原始图像做差分，计算所得差分图像的空间频率，并利用自适应阈值算法得到差分图像的空间频率图，利用形态学算法去除空间频率图中的伪聚焦区域，得到融合决策图，最后根据融合决策图和融合规则重建融合图像。本发明在评价图像融合算法的三项指标相关系数，即边缘梯度信息和边缘相关因子分别高于其他经典算法45％，6％，15％以上。

Description

基于稀疏分解和差分图像的多聚焦图像融合方法

技术领域

本发明涉及的是一种图像处理领域的技术，具体是一种基于稀疏分解和差分图像的多聚焦图像融合方法。

背景技术

可见光成像系统通过调节光学镜头景深聚焦场景中的目标，无法同时清晰表达复杂场景的全部目标。多聚焦图像融合算法利用原始图像间的互补性，合并多幅原始图像的聚焦区域得到清晰的融合图像，能够更加准确和全面的描述图像中目标或场景，有效提高了原始图像的利用率和可靠性。

图像中的目标通过几何特征表征，以多分辨分析方法为代表的区域特征提取方法虽然能够提取图像的轮廓信息，但容易产生伪Gibbs现象，虚假轮廓等副效应。而多聚焦图像融合算法的核心是精确定位聚焦区域，由于聚焦区域到背景是渐进过渡的，边界不明显，增加了定位聚焦区域的难度。基于多分辨分析的融合方法不能充分提取原始图像间的互补信息，融合图像会表现出对比度下降、目标指示能力减弱、图像模糊等问题。另一方面，由于无法直接提取原始图像的清晰像素，融合图像对原始信息保留较少，融合图像清晰度有不同程度损失。

经过对现有技术的检索发现，中国专利文献号CN102842124A，公开(公告)日2012.12.26，公开了一种基于矩阵低秩分解的多光谱图像和全色图像融合方法，主要解决现有多光谱图像和全色图像融合中高光谱分辨率信息丢失的问题。其实现步骤为：1)对输入已配准的4幅多光谱图像进行插值使其与全色图像具有相同的像素；2)将插值后多光谱图像全部拉成列按照顺序依次堆叠构成大数据矩阵；3)利用矩阵低秩分解算法对大数据矩阵分解得到低秩矩阵和稀疏矩阵；4)利用标准主成分分析融合算法对低秩矩阵和全色图像进行融合得到初步的粗略融合结果；5)将稀疏矩阵加至粗略融合结果得到最终的多光谱融合图像。但该技术对边缘不敏感，轮廓信息提取不完整，无法精确定位聚焦区域，无法有效提取背景区域的细节信息，适用对象为多光谱和全色图像融合。

中国专利文献号CN103440631A，公开(公告)日2013.12.11，公开了一种基于低秩分解的CT序列图像复原方法。其实现步骤是：1)先将CT序列图像转化为灰度图像；2)选择低秩模型对CT序列进行稀疏低秩分解：根据CT图像含噪量的大小，选择对应的低秩模型对其进行稀疏低秩分解；3)求出低秩序列的平均图像，并用二维高斯模糊核对其进行维纳滤波复原；4)用扰动模糊核对稀疏序列中的每一幅图像进行维纳滤波复原；5)将稀疏复原序列中的每一幅图像与复原低秩图像合并，得到复原CT序列图像。但该技术不能识别图像的清晰区域，滤波操作将损失边缘信息，适用对象仅面向受噪声干扰严重的CT序列图像，无法用于多聚焦图像融合。

发明内容

本发明针对现有技术存在的上述不足，提出一种基于稀疏分解和差分图像的多聚焦图像融合方法，通过鲁棒性主成分分析(robust principal component analysis，RPCA)分解原始图像得到其稀疏分量，建立特征和稀疏系数的对应关系来搜索原始图像的显著性信息，再利用引导滤波加强稀疏分量的边缘，通过加强图像与原始图像的差异有效提取原始图像的结构信息，精确提取聚焦区域。

本发明是通过以下技术方案实现的：

本发明涉及一种基于稀疏分解和差分图像的多聚焦图像融合方法，包括以下步骤：

1)利用RPCA分解原始图像得到其稀疏分量和低秩分量；

2)通过引导滤波加强稀疏分量的边缘，再将加强的稀疏分量与低秩分量相加构建包含强边缘的加强图像；

3)将加强图像与原始图像做差分，计算所得差分图像的空间频率，并利用自适应阈值算法得到差分图像的空间频率图，利用形态学算法去除空间频率图中的伪聚焦区域，得到融合决策图；

4)根据融合决策图和融合规则重建融合图像。

技术效果

与现有技术相比，本发明在评价图像融合算法的三项指标相关系数，即边缘梯度信息和边缘相关因子分别高于其他经典算法45％，6％，15％以上。

附图说明

图1为聚焦区域提取示意图；

图2为本发明示意图；

图3为实施例聚焦区域检测结果示意图；

图4为融合结果比较示意图；

图中：a)为聚焦前景，b)为聚焦背景，c)为WS，d)为NSCT，e)为ST，f)为DSP，g)为NMF，h)为ZRP，i)为本方法。

具体实施方式

如图1所示，本实施例包括以下步骤：

第一步：利用RPCA算法分别分解原始图像I_A和I_B，分别得到低秩分量L_A，L_B和稀疏分量S_A，S_B：其中：L_*表示低秩分量，S_*是稀疏分量，λ＞0，||·||_*是核范数，即矩阵奇异值之和，||·||₁表示l₁范数矩阵，即矩阵所有元素绝对值之和。

第二步：根据加强稀疏分量E_*(i)的边缘E_A和E_B与低秩分量L_*相加，得到包含强边缘的加强图像R_A，R_B；

所述的加强稀疏分量的边缘通过以下方式得到：E_*(i)＝α_PS_*(i)+b_P，其中：E_*(i)表示加强的稀疏分量，S_*(i)表示稀疏分量，ω_P是以点P为中心的(2r+1)×(2r+1)窗口(r为自然数)，a_P、b_P表示引导滤波的核函数： μ_P和分别表示窗口ω_P的均值和方差，D_P表示窗口ω_P中像素数，表示窗口ω_P的灰度均值。

所述的包含强边缘的加强图像为

第三步：将加强图像与原始图像做差分得到差分图像D_A和D_B，再计算差分图像的空间频率，利用自适应阈值算法得到其空间频率图SF_A和SF_B，利用形态学算法去除空间频率图像中的伪聚焦区域得到融合决策图M_A和M_B；

所述的差分是指：

所述的差分图像的空间频率为：其中：RF为行频率，CF为列频率，

D表示差分图像、M为图像行数、N为图像列数、i为图像横坐标、j为图像纵坐标。

所述的自适应阈值算法是指：通过滑动窗口实现阈值分割，从而得到空间频率图，具体为：T(i,j)＝m(i,j)+k·s(i,j)，其中：m(i,j)是s(i,j)的均值，s(i,j)是窗口内像素的标准差，SF(i,j)为差分图像的空间频率，即像素(i,j)的灰度值,Q为滑动窗口的大小，该滑动窗口为正方形。

所述的形态学算法是指：通过开闭运算实现空间频率图像中的伪聚焦区域滤除，具体为：其中：h为结构元素，I为分割图像。

第四步：针对融合决策图的聚焦区域和背景区域分别建立融合规则并生成融合图像，其中：聚焦区域根据互补部分和重叠部分分别判断，背景区域则以改进的拉普拉斯能量和函数作为融合规则，具体为：

4.1)互补部分(和)，即聚焦区域不重叠部分，如图3所示，将和中的像素直接放入融合图像相应区域，即

4.2)重叠部分F_AB由分属不同原始图像的聚焦区域和构成，

其中：SF是空间频率函数，RF表示行频率，CF表示列频率；本实施例中滑动窗口的大小为3×3。

4.3)背景区域其中：改进的拉普拉斯能量和函数

ML(i,j)＝|2I(i,j)-I(i+1,j)-I(i,j-1)|+|2I(i,j)-I(i,j-1)-I(i,j+1)|，I(i,j)为像素(i,j)的灰度值，且

4.4)综合上述三个区域选择融合稀疏得到融合图像F(i,j)：

F(i,j)＝F^d(i,j)+F_AB(i,j)+F^b(i,j)。

综上所述，图4是本方法与其它五种融合方法比较效果。图4(c)-(i)分别为利用基于离散小波变换(WS)，非下采样Contourlet(NSCT)，基于Shearlet变换(ST)，基于稀疏表示(DSP)，基于RPCA(RPCA)和本发明方法通过的效果。通过比较可以看到，本发明算法得到的融合图像不仅有效地提取了原始图像的聚焦区域，而且最大限度地保护了背景区域的细节，增强了融合图像的对比度，效果好于其他方法。

表1中通过相关系数(MI)，边缘梯度信息(Q^AB/F)和边缘相关因子(Q_E)衡量不同融合方法获得的融合图像质量，相关系数，边缘梯度信息和边缘相关因子越大，说明融合图像中特征信息越丰富，与原始图像越接近，融合效果越好。由表1中数据可以看到，本发明方法指标和其他方法相比都有明显改善，显示本方法所生成的融合图像具有较大的局部梯度，灰度级分布更加分散，图像纹理较丰富，细节突出。

表1客观评价指标比较

上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (8)

1.一种基于稀疏分解和差分图像的多聚焦图像融合方法，其特征在于，利用RPCA分解原始图像得到其稀疏分量和低秩分量，然后通过引导滤波加强稀疏分量的边缘，再将加强的稀疏分量与低秩分量相加构建包含强边缘的加强图像，再将加强图像与原始图像做差分，计算所得差分图像的空间频率，并利用自适应阈值算法得到差分图像的空间频率图，利用形态学算法去除空间频率图中的伪聚焦区域，得到融合决策图，最后根据融合决策图和融合规则重建融合图像。

2.根据权利要求1所述的多聚焦图像融合方法，其特征是，所述的稀疏分量和低秩分量，具体通过以下方式得到：其中：L_*表示低秩分量，S*是稀疏分量，λ＞0，||·||_*是核范数，即矩阵奇异值之和，||·||₁表示l₁范数矩阵，即矩阵所有元素绝对值之和，I_*为待分解图像。

3.根据权利要求1所述的多聚焦图像融合方法，其特征是，所述的加强稀疏分量的边缘通过以下方式得到：其中：E_*(i)表示加强的稀疏分量，S_*(i)表示稀疏分量，ω_P是以点P为中心的(2r+1)×(2r+1)窗口，r为自然数，a_P、b_P表示引导滤波的核函数：μ_P和分别表示窗口ω_P的均值和方差，D_P表示窗口ω_P中像素数，表示窗口ω_P的灰度均值。

4.根据权利要求1所述的多聚焦图像融合方法，其特征是，所述的差分图像的空间频率为：其中：RF为行频率，CF为列频率，D表示差分图像、M为图像行数、N为图像列数、i为图像横坐标、j为图像纵坐标。

5.根据权利要求1所述的多聚焦图像融合方法，其特征是，所述的自适应阈值算法是指：通过滑动窗口实现阈值分割，从而得到空间频率图，具体为：T(i,j)＝m(i,j)+k·s(i,j)，其中：m(i,j)是s(i,j)的均值，s(i,j)是窗口内像素的标准差， SF(i,j)为差分图像的空间频率，即像素(i,j)的灰度值,Q为滑动窗口的大小，该滑动窗口为正方形。

6.根据权利要求1所述的多聚焦图像融合方法，其特征是，所述的形态学算法是指：通过开闭运算实现空间频率图像中的伪聚焦区域滤除，具体为：其中：h为结构元素，I为分割图像。

7.根据权利要求1所述的多聚焦图像融合方法，其特征是，所述的重建：聚焦区域根据互补部分和重叠部分分别判断，背景区域则以改进的拉普拉斯能量和函数作为融合规则。

8.根据权利要求1或7所述的多聚焦图像融合方法，其特征是，所述的重建，具体包括以下步骤：

4.1)互补部分(和)，即聚焦区域不重叠部分，将和中的像素直接放入融合图像相应区域，即

4.2)重叠部分F_AB由分属不同原始图像的聚焦区域和构成，其中：SF·是空间频率函数，RF表示行频率，CF表示列频率；

4.3)背景区域其中：改进的拉普拉斯能量和函数

ML(i,j)＝|2I(i,j)-I(i+1,j)-I(i,j-1)|+|2I(i,j)-I(i,j-1)-I(i,j+1)|，I(i,j)为像素(i,j)的灰度值，且

4.4)综合上述三个区域选择融合系数得到融合图像F(i,j)：F(i,j)＝F^d(i,j)+F_AB(i,j)+F^b(i,j)。