CN103985104A - 基于高阶奇异值分解和模糊推理的多聚焦图像融合方法 - Google Patents

Abstract

本发明公开了一种基于高阶奇异值分解和模糊推理的多聚焦图像融合方法。（1）对待融合的两幅多聚焦源图像分别进行滑动窗口分块，将分块后相互对应的源图像子块形成子张量；（2）对子张量进行高阶奇异值分解(HOSVD)，采用基于模糊推理的加权平均融合规则对分解系数进行融合，通过提取分解系数的方差，区域能量，匹配度三个特征设计模糊推理规则；（3）对融合后系数进行HOSVD逆变换得到融合后图像子块；（4）将融合后的图像子块组合生成最终融合图像。本发明克服了传统多聚焦图像融合方法容易造成边缘失真的缺陷，很好地解决了图像融合中源图像对融合图像贡献程度的不确定性问题，使融合后图像质量得到明显提高。

Description

基于高阶奇异值分解和模糊推理的多聚焦图像融合方法

技术领域

本发明涉及图像融合及其应用领域，特别是基于奇异值分解和模糊推理的多聚焦图像融合方法。

背景技术

图像融合技术是图像处理领域的研究热点，多聚焦图像融合是图像融合领域的一个重要分支。由于光学成像系统景深的限制，很难将场景内的所有目标全部清晰成像。多聚焦图像融合方法能够将成像设备对某一场景焦距改变所得具有不同焦点图像的清晰部分进行整合，有效提取图像中的互补信息，获得场景中所有对象均清晰的融合图像，这为图像的后续处理奠定了良好的基础。

从目前的研究方法以及多聚焦图像融合分析工具来看主要有两大类方法：一是在空间域完成图像的融合，二是将图像转换变换域内进行融合。系数加权平均是空间域最简单的一种融合方法，方法简单，实时性好。但是融合结果对比度下降，当源图像有较大灰度差异时，融合结果质量欠佳。基于变换域的融合方法将待融合图像执行变换，以变换系数的形式融合图像。变换域的方法利用多分辨率的概念，研究者们提出了基于金字塔，离散小波变换，脊波，轮廓波等变换的融合方法以进行多尺度分解。多分辨率变换域内的系数表示图像的边缘信息，可以检测图像的显著特征，但系数和源图像的像素值没有一一对应的关系，一个系数的改变会影响到几个像素值，在反变换过程中，源图像的信息就会丢失，且由于源图像对融合图像贡献程度的不确定性，多分辨率方法在下采样过程中容易造成融合信息不完全的问题。

基于张量的图像信息处理方法更适合表示高维数据，提取图像的相关信息。高阶奇异值分解是最有效的张量分解技术之一，相比于其他多分辨率变换方法具有优越的性质。高阶奇异值分解具有完全数据驱动的优良特性，不需要设定阈值和参数。高阶奇异值分解的特征系数提供了更丰富的图像纹理信息。

因为高阶奇异值分解的分解系数具有纹理表示能力，所以利用高阶奇异值分解的方法为多聚焦图像融合提供了一种新的途径。

发明内容

本发明的目的在于针对上述现有技术中存在的不足，提出一种基于高阶奇异值分解和模糊推理的多聚焦图像融合方法，从而达到提高多聚焦图像融合效果的目的。

本发明的技术方案包括如下步骤：

1)准备待融合的两幅多聚焦源图像，对两幅多聚焦图像分别进行滑动窗口分块，将分块后I个相互对应的源图像子块形成I个子张量；

2)对子张量进行高阶奇异值分解（HOSVD），得到分解系数；

3)采用基于模糊推理的加权融合规则（WAFR）对分解系数进行融合；

3.1)提取HOSVD分解系数的方差（）、区域能量（）、匹配度（MD_i）三个特征，并将三个特征的值域量化为模糊论域；

3.2)采用Mamdani极小化原理设计模糊融合规则，根据最大隶属度原则对权值进行模糊决策，得到分解系数的加权值，根据加权值得到融合后系数；

4)对步骤3)得到的融合系数进行HOSVD逆变换获得融合图像子块；

5)将步骤4)得到的融合图像子块组合生成最终融合图像。

所述步骤1)，包括如下步骤：

a)将两幅的多聚焦源图像M×N分别记为B(1)和B(2)，利用滑动窗口技术把B(1)和B(2)分别分成I个相互对应的源图像子块，滑动步长大小为r，且其中 $I=\mathrm{fix}\left(\frac{M-\stackrel{\‾}{M}+1}{r}\right)\·\mathrm{fix}\left(\frac{N-\stackrel{\‾}{N}+1}{r}\right),\mathrm{fix}\left(\frac{M-\stackrel{\‾}{M}+1}{r}\right)$ 代表最接近的整数；

b)将I个相互对应的源图像子块形成I个子张量，记为A_i，i＝1,2,...,I。

所述步骤2)具体为：对A_i进行HOSVD分解得到S_i，其公式为A_i＝S_i×₁U_i×₂V_i×₃W_i，其中S_i为核张量，U_i，V_i，W_i分别为A_i的一维，二维，三维展开的左奇异值向量。为了便于得到融合结果，利用代替S_i作为图像块的特征，对于每一个图像块B_i(k)，k＝1,2，用公式表示为 $B_i\left(k\right)=U_i\×{\stackrel{\‾}{S}}_i(:,:,k)\×{V_i}^T.$

所述步骤3.1)包括如下步骤：

a)对于以(x,y)为中心开t×t的邻域窗口，计算每个窗口的和MD_i。为了便于表示，记k=1,2表示第i块中第k个图像子块的系数，其计算公式为：

$\stackrel{\‾}{c_{\mathrm{ik}}}(x,y)=\frac{1}{t\×t}\underset{p}{\mathrm{\Σ}}\underset{q}{\mathrm{\Σ}}{c}_{\mathrm{ik}}(x+p,y+q)$

${\mathrm{Var}}_{c_{\mathrm{ik}}}(x,y)=\frac{1}{t\×t}\underset{p}{\mathrm{\Σ}}\underset{q}{\mathrm{\Σ}}{(c_{\mathrm{ik}}(x+p,y+q)-\stackrel{\‾}{c_{\mathrm{ik}}}(x,y))}^2$

${\mathrm{RE}}_{c_{\mathrm{ik}}}(x,y)=\underset{p}{\mathrm{\Σ}}\underset{q}{\mathrm{\Σ}}\left|c_{\mathrm{ik}}(x+p,y+q)\right|$

${\mathrm{MD}}_i(x,y)=\frac{2\underset{p}{\mathrm{\Σ}}\underset{q}{\mathrm{\Σ}}\stackrel{\‾}{w}(p,q)\·c_{i1}(x+p,y+q)\·c_{i2}(x+p,y+q)}{\underset{p}{\mathrm{\Σ}}\underset{q}{\mathrm{\Σ}}\stackrel{\‾}{w}(p,q)\·({\left|c_{i1}(x+p,y+q)\right|}^2+{\left|c_{i2}(x+p,y+q)\right|}^2)}$

其中， 为窗口系数的平均值，为窗口掩膜 $\stackrel{\‾}{w}=\left[\begin{array}{ccc}0& 1& 0\\ 1& 2& 1\\ 0& 1& 0\end{array}\right];$

计算归一化的特征，由于MD_i(x,y)的取值范围为[0,1]，所以只需计算归一化和计算公式如下：

${\mathrm{NVar}}_{c_{i1}}(x,y)=\frac{{\mathrm{Var}}_{c_{i1}}(x,y)}{{\mathrm{Var}}_{c_{i1}}(x,y)+{\mathrm{Var}}_{c_{i2}}(x,y)}$

${\mathrm{NVar}}_{c_{i2}}(x,y)=1-{\mathrm{NVar}}_{c_{i1}}(x,y)$

${\mathrm{NRE}}_{c_{i1}}(x,y)=\frac{{\mathrm{RE}}_{c_{i1}}(x,y)}{{\mathrm{RE}}_{c_{i1}}(x,y)+{\mathrm{RE}}_{c_{i2}}(x,y)}$

${\mathrm{NRE}}_{c_{i2}}(x,y)=1-{\mathrm{NRE}}_{c_{i1}}(x,y)$

经过归一化之后，和MD_i取值范围为[0,1]；

b)和MD_i的取值范围均为[0,1]，将三者值域以0.1作为量化间隔量化为模糊论域和对建立两个模糊集Vc1和 同样地，对建立两个模糊集和 对建立两个模糊集M_i和M_i={c_i1和c_i2匹配}， 它们的隶属度函数为：

$\left\{\begin{array}{c}{\mathrm{\μ}}_1\left(z\right)=\frac{1}{2}-\frac{1}{2}\cos \left(\mathrm{z\π}\right)\\ {\mathrm{\μ}}_2\left(z\right)=1-{\mathrm{\μ}}_1\left(z\right)\end{array}\right.$

z对应上述模糊论域。

所述步骤3.2)包括如下步骤：

a)采用Mamdani极小化原理设计8种模糊推理规则，即：

①如果c_i1的方差占优，c_i1的区域能量占优，且c_i1和c_i2不匹配，则规则R₁定义为：

R₁：如果 ${\mathrm{\μ}}_{V_{c_{i1}}}\left(u\right)\≥{{\mathrm{\μ}}_V}_{c_{i2}}\left(u\right),{{\mathrm{\μ}}_S}_{c_{i1}}\left(w\right){\≥{\mathrm{\μ}}_S}_{c_{i2}}\left(w\right)$ 且 ${\mathrm{\μ}}_{\stackrel{\‾}{M_i}}\left(v\right)\≥{{\mathrm{\μ}}_M}_i\left(v\right)$

则

②如果c_i2的方差占优，c_i2的区域能量占优，且c_i1和c_i2不匹配，则规则R₂定义为：

R₂：如果 ${\mathrm{\&mu;}}_{V_{c_{i1}}}\left(u\right)<{{\mathrm{\&mu;}}_V}_{c_{i2}}\left(u\right),{{\mathrm{\&mu;}}_S}_{c_{i1}}\left(w\right){{<\mathrm{\&mu;}}_S}_{c_{i2}}\left(w\right)$ 且 ${\mathrm{\&mu;}}_{\stackrel{\&OverBar;}{M_i}}\left(v\right)\&GreaterEqual;{{\mathrm{\&mu;}}_M}_i\left(v\right)$

则

③如果c_i1的方差占优，c_i1的区域能量占优，且c_i1和c_i2匹配，则规则R₃定义为：

R₃：如果 ${\mathrm{\&mu;}}_{V_{c_{i1}}}\left(u\right)\&GreaterEqual;{{\mathrm{\&mu;}}_V}_{c_{i2}}\left(u\right),{{\mathrm{\&mu;}}_S}_{c_{i1}}\left(w\right){\&GreaterEqual;{\mathrm{\&mu;}}_S}_{c_{i2}}\left(w\right)$ 且 ${{\mathrm{\&mu;}}_M}_i\left(v\right)>{{\mathrm{\&mu;}}_{\stackrel{\&OverBar;}{M}}}_i\left(v\right)$

则

④如果c_i2的方差占优，c_i2的区域能量占优，且c_i1和c_i2匹配，则规则R₄定义为：

R₄：如果 ${\mathrm{\&mu;}}_{V_{c_{i1}}}\left(u\right)<{{\mathrm{\&mu;}}_V}_{c_{i2}}\left(u\right),{{\mathrm{\&mu;}}_S}_{c_{i1}}\left(w\right){{<\mathrm{\&mu;}}_S}_{c_{i2}}\left(w\right)$ 且 ${{\mathrm{\&mu;}}_M}_i\left(v\right)>{{\mathrm{\&mu;}}_{\stackrel{\&OverBar;}{M}}}_i\left(v\right)$

则

⑤如果c_i1的方差占优，c_i2的区域能量占优，且c_i1和c_i2不匹配，则规则R₅定义为：

R₅：如果 ${\mathrm{\&mu;}}_{V_{c_{i1}}}\left(u\right)\&GreaterEqual;{{\mathrm{\&mu;}}_V}_{c_{i2}}\left(u\right),{{\mathrm{\&mu;}}_S}_{c_{i1}}\left(w\right){<{\mathrm{\&mu;}}_S}_{c_{i2}}\left(w\right)$ 且 ${\mathrm{\&mu;}}_{\stackrel{\&OverBar;}{M_i}}\left(v\right)\&GreaterEqual;{{\mathrm{\&mu;}}_M}_i\left(v\right)$

则

⑥如果c_i2的方差占优，c_i1的区域能量占优，且c_i1和c_i2不匹配，则规则R₆定义为：

R₆：如果 ${\mathrm{\&mu;}}_{V_{c_{i1}}}\left(u\right)<{{\mathrm{\&mu;}}_V}_{c_{i2}}\left(u\right),{{\mathrm{\&mu;}}_S}_{c_{i1}}\left(w\right){\&GreaterEqual;{\mathrm{\&mu;}}_S}_{c_{i2}}\left(w\right)$ 且 ${\mathrm{\&mu;}}_{\stackrel{\&OverBar;}{M_i}}\left(v\right)\&GreaterEqual;{{\mathrm{\&mu;}}_M}_i\left(v\right)$

则

⑦如果c_i1的方差占优，c_i2的区域能量占优，且c_i1和c_i2匹配，则规则R₇定义为：

R₇：如果 ${\mathrm{\&mu;}}_{V_{c_{i1}}}\left(u\right)\&GreaterEqual;{{\mathrm{\&mu;}}_V}_{c_{i2}}\left(u\right),{{\mathrm{\&mu;}}_S}_{c_{i1}}\left(w\right){<{\mathrm{\&mu;}}_S}_{c_{i2}}\left(w\right)$ 且 ${{\mathrm{\&mu;}}_M}_i\left(v\right)>{{\mathrm{\&mu;}}_{\stackrel{\&OverBar;}{M}}}_i\left(v\right)$

则

⑧如果c_i2的方差占优，c_i1的区域能量占优，且c_i1和c_i2匹配，则规则R₈定义为：

R₈：如果 ${\mathrm{\&mu;}}_{V_{c_{i1}}}\left(u\right)<{{\mathrm{\&mu;}}_V}_{c_{i2}}\left(u\right),{{\mathrm{\&mu;}}_S}_{c_{i1}}\left(w\right){\&GreaterEqual;{\mathrm{\&mu;}}_S}_{c_{i2}}\left(w\right)$ 且 ${{\mathrm{\&mu;}}_M}_i\left(v\right)>{{\mathrm{\&mu;}}_{\stackrel{\&OverBar;}{M}}}_i\left(v\right)$

则

b)根据最大隶属度原则对各自的权值进行模糊决策，即：

图像子块变换系数c_ik的加权值分别为：

$\left\{\begin{array}{c}{{\mathrm{\&omega;}}_c}_{i1}(x,y)=\frac{\underset{u\&Element;U}{\mathrm{\&Sigma;}}{{\mathrm{\&mu;}}_R}_{c_{i1}}\&CenterDot;u}{\underset{u\&Element;U}{\mathrm{\&Sigma;}}{{{\mathrm{\&mu;}}_R}_c}_{i1}}\\ {{\mathrm{\&omega;}}_c}_{i2}(x,y)=1-{{\mathrm{\&omega;}}_c}_{i1}(x,y)\end{array}\right.$

根据得到的加权值，融合系数D_i表示形式为：

$D_i(x,y)={{\mathrm{\&omega;}}_c}_{i1}(x,y)c_{i1}(x,y)+{{\mathrm{\&omega;}}_c}_{i2}(x,y)c_{i2}(x,y).$

所述步骤4)具体为：根据得到的融合系数D_i，融合后的图像子块F_i通过下面的公式得到：

         F_i=U_i×D_i×V_i ^T。

所述步骤5)具体为：按照源图像重叠分块的顺序对融合后图像子块进行拼接重构，生成最终融合图像，并且将该融合图像输出显示。

本发明与现有技术相比，其显著优点：(1)利用HOSVD分解完全数据驱动的优良特性，不需要设定阈值和参数。(2)利用模糊推理能够处理不确定性问题的优势，解决图像融合中源图像对融合图像贡献程度不确定性的问题，更加有效的融合源图像中的信息。本发明方法所生成的融合图像纹理丰富，细节突出，具有良好的适应性和实用性。

附图说明

图1为基于高阶奇异值分解和模糊推理的多聚焦图像融合方法的流程图。

图2为获取模糊推理加权融合权值的流程图。

图3a为实施例1待融合的‘Clock’左聚焦图像。

图3b为实施例1待融合的‘Clock’右聚焦图像。

图3c为本发明对图3a和图3b的融合结果示意图。

图3d为加权平均对图3a和图3b的融合结果示意图。

图3e为传统的小波变换对图3a和图3b的融合结果示意图。

图4a为实施例2待融合的‘Barbara’左聚焦图像。

图4b为实施例2待融合的‘Barbara’右聚焦图像。

图4c为本发明对图4a和图4b的融合结果示意图。

图4d为加权平均对图4a和图4b的融合结果示意图。

图4e为传统的小波变换对图4a和图4b的融合结果示意图。

具体实施方式

本发明的实验平台为MATLAB2009a，计算机主机配置：Intel(R)处理器，CPU主频1.80GHz，内存1.0GB。本发明方法基于本实验平台对二维多聚焦图像数据进行处理，最终得到融合图像。

实施例1

本发明实施例使用bmp格式的256级灰度图进行融合操作，使用的灰度图像大小为256×256，两幅源图像如图3a和图3b所示。

如图1所示，包括如下步骤：

1)准备待融合的两幅多聚焦源图像，对两幅多聚焦图像分别进行滑动窗口分块，将分块后I个相互对应的源图像子块形成I个子张量，执行过程包括如下两步：

1.1)将两幅M×N(本实施例中M＝256，N＝256)多聚焦源图像分别记为B(1)和B(2)，利用滑动窗口技术把B(1)和B(2)分别分成I个相互对应的（本实施例中的源图像子块，滑动步长大小为r（本实施例中r＝4），且 $I=\mathrm{fix}\left(\frac{M-\stackrel{\&OverBar;}{M}+1}{r}\right)\&CenterDot;\mathrm{fix}\left(\frac{N-\stackrel{\&OverBar;}{N}+1}{r}\right),$ 其中代表最接近的整数；

1.2)将I个相互对应的源图像子块形成I个子张量，记为A_i，i＝1,2,...,I。

2)对A_i进行高阶奇异值分解(HOSVD)，得到分解系数S_i，分解公式为A_i＝S_i×₁U_i×₂V_i×₃W_i，其中S_i为核张量，U_i，V_i，W_i分别为A_i的一维，二维，三维展开的左奇异值向量。为了便于得到融合结果，利用代替S_i作为图像块的特征，对于每一个图像块B_i(k)，k＝1,2，用公式表示为 $B_i\left(k\right)=U_i\&times;{\stackrel{\&OverBar;}{S}}_i(:,:,k)\&times;{V_i}^T.$

3)采用基于模糊推理的加权融合规则（WAFR）对分解系数进行融合：

3.1)提取的方差（）、区域能量（）、匹配度（MD_i）三个特征，并将三个特征的值域量化为模糊论域；

a)对于以(x,y)为中心开窗口大小为t×t(本实施例中t＝3)的邻域，计算每个邻域窗口的和MD_i。为了便于表示，记k=1,2表示第i块中第k个图像子块的系数。其计算公式为：

$\stackrel{\&OverBar;}{c_{\mathrm{ik}}}(x,y)=\frac{1}{t\&times;t}\underset{p}{\mathrm{\&Sigma;}}\underset{q}{\mathrm{\&Sigma;}}{c}_{\mathrm{ik}}(x+p,y+q)$

${\mathrm{Var}}_{c_{\mathrm{ik}}}(x,y)=\frac{1}{t\&times;t}\underset{p}{\mathrm{\&Sigma;}}\underset{q}{\mathrm{\&Sigma;}}{(c_{\mathrm{ik}}(x+p,y+q)-\stackrel{\&OverBar;}{c_{\mathrm{ik}}}(x,y))}^2$

${\mathrm{RE}}_{c_{\mathrm{ik}}}(x,y)=\underset{p}{\mathrm{\&Sigma;}}\underset{q}{\mathrm{\&Sigma;}}\left|c_{\mathrm{ik}}(x+p,y+q)\right|$

${\mathrm{MD}}_i(x,y)=\frac{2\underset{p}{\mathrm{\&Sigma;}}\underset{q}{\mathrm{\&Sigma;}}\stackrel{\&OverBar;}{w}(p,q)\&CenterDot;c_{i1}(x+p,y+q)\&CenterDot;c_{i2}(x+p,y+q)}{\underset{p}{\mathrm{\&Sigma;}}\underset{q}{\mathrm{\&Sigma;}}\stackrel{\&OverBar;}{w}(p,q)\&CenterDot;({\left|c_{i1}(x+p,y+q)\right|}^2+{\left|c_{i2}(x+p,y+q)\right|}^2)}$

其中，p＝-1,0,1，q＝-1,0,1，为窗口系数的平均值，为窗口掩膜 $\stackrel{\&OverBar;}{w}=\left[\begin{array}{ccc}0& 1& 0\\ 1& 2& 1\\ 0& 1& 0\end{array}\right];$

计算归一化的特征，由于MD_i(x,y)的取值范围为[0,1]，所以只需计算归一化的和计算公式如下，

${\mathrm{NVar}}_{c_{i1}}(x,y)=\frac{{\mathrm{Var}}_{c_{i1}}(x,y)}{{\mathrm{Var}}_{c_{i1}}(x,y)+{\mathrm{Var}}_{c_{i2}}(x,y)}$

${\mathrm{NVar}}_{c_{i2}}(x,y)=1-{\mathrm{NVar}}_{c_{i1}}(x,y)$

${\mathrm{NRE}}_{c_{i1}}(x,y)=\frac{{\mathrm{RE}}_{c_{i1}}(x,y)}{{\mathrm{RE}}_{c_{i1}}(x,y)+{\mathrm{RE}}_{c_{i2}}(x,y)}$

${\mathrm{NRE}}_{c_{i2}}(x,y)=1-{\mathrm{NRE}}_{c_{i1}}(x,y)$

经过归一化之后，和MD_i取值范围为[0,1]；

b)和MD_i的取值范围均为[0,1]，将三者值域以0.1作为量化间隔量化为模糊论域和对建立两个模糊集Vc1和 同样地，对建立两个模糊集和 对建立两个模糊集M_i和M_i={c_i1和c_i2匹配}， 它们的隶属度函数为

$\left\{\begin{array}{c}{\mathrm{\&mu;}}_1\left(z\right)=\frac{1}{2}-\frac{1}{2}\cos \left(\mathrm{z\&pi;}\right)\\ {\mathrm{\&mu;}}_2\left(z\right)=1-{\mathrm{\&mu;}}_1\left(z\right)\end{array}\right.$

z对应上述模糊论域。

3.2)采用Mamdani极小化原理设计模糊融合规则，根据最大隶属度原则，对权值进行模糊决策，得到分解系数的加权值，根据加权值得到融合后系数；

a)采用Mamdani极小化原理设计8种模糊推理规则，即：

①如果c_i1的方差占优，c_i1的区域能量占优，且c_i1和c_i2不匹配，则规则R₁定义为：

R₁：如果 ${\mathrm{\&mu;}}_{V_{c_{i1}}}\left(u\right)\&GreaterEqual;{{\mathrm{\&mu;}}_V}_{c_{i2}}\left(u\right),{{\mathrm{\&mu;}}_S}_{c_{i1}}\left(w\right){\&GreaterEqual;{\mathrm{\&mu;}}_S}_{c_{i2}}\left(w\right)$ 且 ${\mathrm{\&mu;}}_{\stackrel{\&OverBar;}{M_i}}\left(v\right)\&GreaterEqual;{{\mathrm{\&mu;}}_M}_i\left(v\right)$

则

②如果c_i2的方差占优，c_i2的区域能量占优，且c_i1和c_i2不匹配，则规则R₂定义为：

R₂：如果 ${\mathrm{\&mu;}}_{V_{c_{i1}}}\left(u\right)<{{\mathrm{\&mu;}}_V}_{c_{i2}}\left(u\right),{{\mathrm{\&mu;}}_S}_{c_{i1}}\left(w\right){{<\mathrm{\&mu;}}_S}_{c_{i2}}\left(w\right)$ 且

则

③如果c_i1的方差占优，c_i1的区域能量占优，且c_i1和c_i2匹配，则规则R₃定义为：

R₃：如果 ${\mathrm{\&mu;}}_{V_{c_{i1}}}\left(u\right)<{{\mathrm{\&mu;}}_V}_{c_{i2}}\left(u\right),{{\mathrm{\&mu;}}_S}_{c_{i1}}\left(w\right){\&GreaterEqual;{\mathrm{\&mu;}}_S}_{c_{i2}}\left(w\right)$ 且 ${{\mathrm{\&mu;}}_M}_i\left(v\right)\&GreaterEqual;{{\mathrm{\&mu;}}_{\stackrel{\&OverBar;}{M}}}_i\left(v\right)$

则

④如果c_i2的方差占优，c_i2的区域能量占优，且c_i1和c_i2匹配，则规则R₄定义为：

R₄：如果 ${\mathrm{\&mu;}}_{V_{c_{i1}}}\left(u\right)<{{\mathrm{\&mu;}}_V}_{c_{i2}}\left(u\right),{{\mathrm{\&mu;}}_S}_{c_{i1}}\left(w\right){<{\mathrm{\&mu;}}_S}_{c_{i2}}\left(w\right)$ 且 ${{\mathrm{\&mu;}}_M}_i\left(v\right)>{{\mathrm{\&mu;}}_{\stackrel{\&OverBar;}{M}}}_i\left(v\right)$

则

⑤如果c_i1的方差占优，c_i2的区域能量占优，且c_i1和c_i2不匹配，则规则R₅定义为：

R₅：如果 ${\mathrm{\&mu;}}_{V_{c_{i1}}}\left(u\right)\&GreaterEqual;{{\mathrm{\&mu;}}_V}_{c_{i2}}\left(u\right),{{\mathrm{\&mu;}}_S}_{c_{i1}}\left(w\right){<{\mathrm{\&mu;}}_S}_{c_{i2}}\left(w\right)$ 且 ${\mathrm{\&mu;}}_{\stackrel{\&OverBar;}{M_i}}\left(v\right)\&GreaterEqual;{{\mathrm{\&mu;}}_M}_i\left(v\right)$

则

⑥如果c_i2的方差占优，c_i1的区域能量占优，且c_i1和c_i2不匹配，则规则R₆定义为：

R₆：如果 ${\mathrm{\&mu;}}_{V_{c_{i1}}}\left(u\right)<{{\mathrm{\&mu;}}_V}_{c_{i2}}\left(u\right),{{\mathrm{\&mu;}}_S}_{c_{i1}}\left(w\right){\&GreaterEqual;{\mathrm{\&mu;}}_S}_{c_{i2}}\left(w\right)$ 且 ${\mathrm{\&mu;}}_{\stackrel{\&OverBar;}{M_i}}\left(v\right)\&GreaterEqual;{{\mathrm{\&mu;}}_M}_i\left(v\right)$

则

⑦如果c_i1的方差占优，c_i2的区域能量占优，且c_i1和c_i2匹配，则规则R₇定义为：

R₇：如果 ${\mathrm{\&mu;}}_{V_{c_{i1}}}\left(u\right)\&GreaterEqual;{{\mathrm{\&mu;}}_V}_{c_{i2}}\left(u\right),{{\mathrm{\&mu;}}_S}_{c_{i1}}\left(w\right){<{\mathrm{\&mu;}}_S}_{c_{i2}}\left(w\right)$ 且 ${{\mathrm{\&mu;}}_M}_i\left(v\right)>{{\mathrm{\&mu;}}_{\stackrel{\&OverBar;}{M}}}_i\left(v\right)$

则

⑧如果c_i2的方差占优，c_i1的区域能量占优，且c_i1和c_i2匹配，则规则R₈定义为：

R₈：如果 ${\mathrm{\&mu;}}_{V_{c_{i1}}}\left(u\right)<{{\mathrm{\&mu;}}_V}_{c_{i2}}\left(u\right),{{\mathrm{\&mu;}}_S}_{c_{i1}}\left(w\right){\&GreaterEqual;{\mathrm{\&mu;}}_S}_{c_{i2}}\left(w\right)$ 且 ${{\mathrm{\&mu;}}_M}_i\left(v\right)>{{\mathrm{\&mu;}}_{\stackrel{\&OverBar;}{M}}}_i\left(v\right)$

则

b)根据最大隶属度原则对各自的权值进行模糊决策，即

图像子块变换系数c_ik的加权值分别为

$\left\{\begin{array}{c}{{\mathrm{\&omega;}}_c}_{i1}(x,y)=\frac{\underset{u\&Element;U}{\mathrm{\&Sigma;}}{{\mathrm{\&mu;}}_R}_{c_{i1}}\&CenterDot;u}{\underset{u\&Element;U}{\mathrm{\&Sigma;}}{{{\mathrm{\&mu;}}_R}_c}_{i1}}\\ {{\mathrm{\&omega;}}_c}_{i2}(x,y)=1-{{\mathrm{\&omega;}}_c}_{i1}(x,y)\end{array}\right.$

根据得到的加权值，融合系数D_i表示形式为，

$D_i(x,y)={{\mathrm{\&omega;}}_c}_{i1}(x,y)c_{i1}(x,y)+{{\mathrm{\&omega;}}_c}_{i2}(x,y)c_{i2}(x,y).$

4)对D_i进行HOSVD逆变换得到融合后图像子块F_i。计算公式为：

F_i=U_i×D_i×V_i ^T。

5)对融合后图像子块F_i组合生成最终的融合图像。按照源图像滑动窗口分块的顺序对融合后图像子块进行拼接重构，最终的融合图像通过F_i得到：a)初始化G和R为两个零矩阵；b)把F_i叠加到G的对应块的位置上；c)R用来保存叠加次数；d)G除以R得到最后的融合；图像如图3c所示。

实施例2

用本发明提供的方法能在普通硬件条件下实现多聚焦图像的高质量融合，本实施例使用bmp格式的256级灰度图像进行融合操作。本实施例使用的灰度图像大小为256×256，两幅源图像如图4a和图4b所示。整个实施过程同实施例1，融合结果如图4c所示。

Claims (7)

1.基于高阶奇异值分解和模糊推理的多聚焦图像融合方法，其特征在于，包括如下步骤：

1)准备待融合的两幅多聚焦源图像，对两幅多聚焦图像分别进行滑动窗口分块，将分块后相互对应的源图像子块形成I个子张量；

2)对子张量进行高阶奇异值分解(HOSVD)，得到分解系数；

3)采用基于模糊推理的加权融合规则(WAFR)对分解系数进行融合：

3.1)提取HOSVD分解系数的方差()、区域能量()、匹配度(MD_i)三个特征，并将三个特征的值域量化为模糊论域；

3.2)采用Mamdani极小化原理设计模糊推理规则，利用最大隶属度原则对各自的权值进行模糊决策得到加权值，根据加权值得到融合后系数；

4)对步骤3)得到的融合后系数进行HOSVD逆变换得到融合后图像子块；

5)将步骤4)得到的融合后图像子块组合生成最终的融合图像。

2.根据权利要求1所述的基于高阶奇异值分解和模糊推理的多聚焦图像融合方法，其特征在于，所述步骤1)包括如下步骤：

a)将两幅M×N的多聚焦源图像分别记为B(1)和B(2)，利用滑动窗口技术把B(1)和B(2)分别分成I个相互对应的源图像子块，滑动步长大小为r，且 $I=\mathrm{fix}\left(\frac{M-\stackrel{\&OverBar;}{M}+1}{r}\right)\&CenterDot;\mathrm{fix}\left(\frac{N-\stackrel{\&OverBar;}{N}+1}{r}\right),$ 其中代表最接近的整数；

b)将I个相互对应的源图像子块形成I个子张量，记为A_i，i＝1,2,...,I。

3.根据权利要求1所述的基于高阶奇异值分解和模糊推理的多聚焦图像融合方法，其特征在于，所述步骤2)具体为：对A_i进行HOSVD分解得到S_i，其公式为A_i＝S_i×₁U_i×₂V_i×₃W_i，其中S_i为核张量，U_i，V_i，W_i分别为A_i的一维，二维，三维展开的左奇异值向量。为了便于得到融合结果，利用代替S_i作为图像块的特征，对于每一个图像块B_i(k)，k＝1,2，用公式表示为 $B_i\left(k\right)=U_i\&times;{\stackrel{\&OverBar;}{S}}_i(:,:,k)\&times;{V_i}^T.$

4.根据权利要求1所述的基于高阶奇异值分解和模糊推理的多聚焦图像融合方法，其特征在于，所述步骤3.1)包括如下步骤：

a)对于以(x,y)为中心开t×t的邻域窗口，计算每个窗口的和MD_i，为了便于表示，记k=1,2，表示第i块中第k个图像子块的系数，其计算公式为：

$\stackrel{\&OverBar;}{c_{\mathrm{ik}}}(x,y)=\frac{1}{t\&times;t}\underset{p}{\mathrm{\&Sigma;}}\underset{q}{\mathrm{\&Sigma;}}{c}_{\mathrm{ik}}(x+p,y+q)$

${\mathrm{Var}}_{c_{\mathrm{ik}}}(x,y)=\frac{1}{t\&times;t}\underset{p}{\mathrm{\&Sigma;}}\underset{q}{\mathrm{\&Sigma;}}{(c_{\mathrm{ik}}(x+p,y+q)-\stackrel{\&OverBar;}{c_{\mathrm{ik}}}(x,y))}^2$

${\mathrm{RE}}_{c_{\mathrm{ik}}}(x,y)=\underset{p}{\mathrm{\&Sigma;}}\underset{q}{\mathrm{\&Sigma;}}\left|c_{\mathrm{ik}}(x+p,y+q)\right|$

${\mathrm{MD}}_i(x,y)=\frac{2\underset{p}{\mathrm{\&Sigma;}}\underset{q}{\mathrm{\&Sigma;}}\stackrel{\&OverBar;}{w}(p,q)\&CenterDot;c_{i1}(x+p,y+q)\&CenterDot;c_{i2}(x+p,y+q)}{\underset{p}{\mathrm{\&Sigma;}}\underset{q}{\mathrm{\&Sigma;}}\stackrel{\&OverBar;}{w}(p,q)\&CenterDot;({\left|c_{i1}(x+p,y+q)\right|}^2+{\left|c_{i2}(x+p,y+q)\right|}^2)}$

其中，p＝-1,0,1，q＝-1,0,1，为窗口的平均值，为窗口掩膜且 $\stackrel{\&OverBar;}{w}=\left[\begin{array}{ccc}0& 1& 0\\ 1& 2& 1\\ 0& 1& 0\end{array}\right];$

计算归一化的特征，由于匹配度MD_i(x,y)的取值范围为[0,1]，所以只需计算归一化的和，计算公式如下：

${\mathrm{NVar}}_{c_{i1}}(x,y)=\frac{{\mathrm{Var}}_{c_{i1}}(x,y)}{{\mathrm{Var}}_{c_{i1}}(x,y)+{\mathrm{Var}}_{c_{i2}}(x,y)}$

${\mathrm{NVar}}_{c_{i2}}(x,y)=1-{\mathrm{NVar}}_{c_{i1}}(x,y)$

${\mathrm{NRE}}_{c_{i1}}(x,y)=\frac{{\mathrm{RE}}_{c_{i1}}(x,y)}{{\mathrm{RE}}_{c_{i1}}(x,y)+{\mathrm{RE}}_{c_{i2}}(x,y)}$

${\mathrm{NRE}}_{c_{i2}}(x,y)=1-{\mathrm{NRE}}_{c_{i1}}(x,y)$

经过归一化之后，和MD_i取值范围均[0,1]；

b)和MD_i的取值范围均为[0,1]，将三者值域以0.1作为量化间隔量化为模糊论域和对建立两个模糊集和 同样地，对建立两个模糊集和 对建立两个模糊集M_i和 它们的隶属度函数为

$\left\{\begin{array}{c}{\mathrm{\&mu;}}_1\left(z\right)=\frac{1}{2}-\frac{1}{2}\cos \left(\mathrm{z\&pi;}\right)\\ {\mathrm{\&mu;}}_2\left(z\right)=1-{\mathrm{\&mu;}}_1\left(z\right)\end{array}\right.$

z对应上述模糊论域。

5.根据权利要求1所述的基于高阶奇异值分解和模糊推理的多聚焦图像融合方法，其特征在于，所述步骤3.2)包括如下步骤：

a)采用Mamdani极小化原理设计8种模糊推理规则，即：

①如果c_i1的方差占优，c_i1的区域能量和占优，且c_i1和c_i2不匹配，则规则R₁定义为：

R₁：如果 ${\mathrm{\&mu;}}_{V_{c_{i1}}}\left(u\right)\&GreaterEqual;{{\mathrm{\&mu;}}_V}_{c_{i2}}\left(u\right),{{\mathrm{\&mu;}}_S}_{c_{i1}}\left(w\right){\&GreaterEqual;{\mathrm{\&mu;}}_S}_{c_{i2}}\left(w\right)$ 且 ${\mathrm{\&mu;}}_{\stackrel{\&OverBar;}{M_i}}\left(v\right)\&GreaterEqual;{{\mathrm{\&mu;}}_M}_i\left(v\right)$

则

②如果c_i2的方差占优，c_i2的区域能量占优，且c_i1和c_i2不匹配，则规则R₂定义为：

R₂：如果 ${\mathrm{\&mu;}}_{V_{c_{i1}}}\left(u\right)<{{\mathrm{\&mu;}}_V}_{c_{i2}}\left(u\right),{{\mathrm{\&mu;}}_S}_{c_{i1}}\left(w\right){{<\mathrm{\&mu;}}_S}_{c_{i2}}\left(w\right)$ 且 ${\mathrm{\&mu;}}_{\stackrel{\&OverBar;}{M_i}}\left(v\right)\&GreaterEqual;{{\mathrm{\&mu;}}_M}_i\left(v\right)$

则

③如果c_i1的方差占优，c_i1的区域能量占优，且c_i1和c_i2匹配，则规则R₃定义为：

R₃：如果 ${\mathrm{\&mu;}}_{V_{c_{i1}}}\left(u\right)\&GreaterEqual;{{\mathrm{\&mu;}}_V}_{c_{i2}}\left(u\right),{{\mathrm{\&mu;}}_S}_{c_{i1}}\left(w\right)\&GreaterEqual;{{\mathrm{\&mu;}}_S}_{c_{i2}}\left(w\right)$ 且 ${{\mathrm{\&mu;}}_M}_i\left(v\right)>{{\mathrm{\&mu;}}_{\stackrel{\&OverBar;}{M}}}_i\left(v\right)$

则

④如果c_i2的方差占优，c_i2的区域能量占优，且c_i1和c_i2匹配，则规则R₄定义为：

R₄：如果 ${\mathrm{\&mu;}}_{V_{c_{i1}}}\left(u\right)<{{\mathrm{\&mu;}}_V}_{c_{i2}}\left(u\right),{{\mathrm{\&mu;}}_S}_{c_{i1}}\left(w\right)<{{\mathrm{\&mu;}}_S}_{c_{i2}}\left(w\right)$ 且 ${{\mathrm{\&mu;}}_M}_i\left(v\right)>{{\mathrm{\&mu;}}_{\stackrel{\&OverBar;}{M}}}_i\left(v\right)$

则

⑤如果c_i1的方差占优，c_i2的区域能量占优，且c_i1和c_i2不匹配，则规则R₅定义为：

R₅：如果 ${\mathrm{\&mu;}}_{V_{c_{i1}}}\left(u\right)\&GreaterEqual;{{\mathrm{\&mu;}}_V}_{c_{i2}}\left(u\right),{{\mathrm{\&mu;}}_S}_{c_{i1}}\left(w\right)<{{\mathrm{\&mu;}}_S}_{c_{i2}}\left(w\right)$ 且 ${\mathrm{\&mu;}}_{\stackrel{\&OverBar;}{M_i}}\left(v\right)\&GreaterEqual;{{\mathrm{\&mu;}}_M}_i\left(v\right)$

则

⑥如果c_i2的方差占优，c_i1的区域能量占优，且c_i1和c_i2不匹配，则规则R₆定义为：

R₆：如果 ${\mathrm{\&mu;}}_{V_{c_{i1}}}\left(u\right)<{{\mathrm{\&mu;}}_V}_{c_{i2}}\left(u\right),{{\mathrm{\&mu;}}_S}_{c_{i1}}\left(w\right){\&GreaterEqual;{\mathrm{\&mu;}}_S}_{c_{i2}}\left(w\right)$ 且 ${\mathrm{\&mu;}}_{\stackrel{\&OverBar;}{M_i}}\left(v\right)\&GreaterEqual;{{\mathrm{\&mu;}}_M}_i\left(v\right)$

则

⑦如果c_i1的方差占优，c_i2的区域能量占优，且c_i1和c_i2匹配，则规则R₇定义为：

R₇：如果 ${\mathrm{\&mu;}}_{V_{c_{i1}}}\left(u\right)\&GreaterEqual;{{\mathrm{\&mu;}}_V}_{c_{i2}}\left(u\right),{{\mathrm{\&mu;}}_S}_{c_{i1}}\left(w\right){<{\mathrm{\&mu;}}_S}_{c_{i2}}\left(w\right)$ 且 ${{\mathrm{\&mu;}}_M}_i\left(v\right)>{{\mathrm{\&mu;}}_{\stackrel{\&OverBar;}{M}}}_i\left(v\right)$

则

⑧如果c_i2的方差占优，c_i1的区域能量占优，且c_i1和c_i2匹配，则规则R₈定义为：

R₈：如果 ${\mathrm{\&mu;}}_{V_{c_{i1}}}\left(u\right)<{{\mathrm{\&mu;}}_V}_{c_{i2}}\left(u\right),{{\mathrm{\&mu;}}_S}_{c_{i1}}\left(w\right){\&GreaterEqual;{\mathrm{\&mu;}}_S}_{c_{i2}}\left(w\right)$ 且 ${{\mathrm{\&mu;}}_M}_i\left(v\right)>{{\mathrm{\&mu;}}_{\stackrel{\&OverBar;}{M}}}_i\left(v\right)$

则

b)根据最大隶属度原则对各自的权值进行模糊决策，即：

图像子块变换系数c_ik的加权值分别为

$\left\{\begin{array}{c}{{\mathrm{\&omega;}}_c}_{i1}(x,y)=\frac{\underset{u\&Element;U}{\mathrm{\&Sigma;}}{{\mathrm{\&mu;}}_R}_{c_{i1}}\&CenterDot;u}{\underset{u\&Element;U}{\mathrm{\&Sigma;}}{{{\mathrm{\&mu;}}_R}_c}_{i1}}\\ {{\mathrm{\&omega;}}_c}_{i2}(x,y)=1-{{\mathrm{\&omega;}}_c}_{i1}(x,y)\end{array}\right.$

根据得到的加权值，融合系数D_i表示形式为，

$D_i(x,y)={{\mathrm{\&omega;}}_c}_{i1}(x,y)c_{i1}(x,y)+{{\mathrm{\&omega;}}_c}_{i2}(x,y)c_{i2}(x,y).$

6.根据权利要求1所述的基于高阶奇异值分解和模糊推理的多聚焦图像融合方法，其特征在于，所述步骤4)具体为：根据得到的融合后系数D_i，融合后的图像子块F_i通过下面的公式得到：

                             F_i=U_i×D_i×V_i ^T。

7.根据权利要求1所述的基于高阶奇异值分解和模糊推理的多聚焦图像融合方法，其特征在于，所述步骤5)具体为：按照源图像重叠分块的顺序对融合后图像子块进行拼接重构，生成最终的融合图像，并且将该融合图像输出显示。