CN104021536B - 一种自适应的sar图像和多光谱图像融合方法 - Google Patents

Abstract

本发明涉及一种自适应的SAR图像和多光谱图像方法，首先对源图像进行BEMD分解，不仅克服了基于小波变换的图像融合局部特征相关性不强的问题，并且避免了传统小波方法小波基函数选取困难的问题。根据T检验对得到的本征模函数(BIMF)分量进行高低频选择，然后对低频信息采用区域自适应加权信息准则进行融合，高频分量计算区域匹配度，对匹配度在不同阈值范围内的系数进行融合，阈值的选取采用粒子群算法进行搜索，避免了经验确定区域匹配阈值的不足。最后，融合结果通过对融合分量进行BEMD逆变换得到。因此，将BEMD和粒子群算法相结合，可以大大提高融合后图像的质量，对应用系统的后续处理和图像显示具有重要意义和使用价值。

Description

一种自适应的SAR图像和多光谱图像融合方法

技术领域

本发明属于数据信息融合领域，具体涉及一种自适应的SAR图像和多光谱图像融合方法，可以应用于各种军用或民用的SAR图像和多光谱图像融合系统。

背景技术

由于SAR图像在成像机理和光谱特性方面与多光谱图像存在很大差异，以往融合方法常会出现融合对比度低，重要信息丢失以及光谱扭曲严重等现象,致使SAR图像和多光谱图像的融合难以获得满意的融合效果。基于小波的图像融合无法根据变换后系数之间的相关性特征去设计更为有效的融合规则，从而导致一些区域在融合后仍存在明显的噪声，并不能很好的保留多光谱图像的细节信息。此外，基于小波和类小波的分解依赖于预先定义的滤波器或小波函数，并且基于小波变换的图像融合是对每个像素或小区域的局部特征进行融合，这会导致失去局部特征相关性较强的特征。

作为一种新的多尺度几何分析工具，具有自适应特性的二维经验模态分解(BEMD)算法能够根据信号特征将信号进行多尺度分解，产生自适应的基函数，在图像融合领域表现出许多优越之处。基于BEMD的图像融合算法的研究主要集中在本征模函数(BIMF)分量融合规则上，其中基于区域的融合规则取得了较好的效果，但是一般都是根据经验确定区域匹配阈值。粒子群算法模拟鸟群的捕食行为，从随机解出发，通过迭代寻找最优解，并追随当前搜索到的最优值来寻找全局最优，具有实现容易、精度高、收敛快等优点。据此本发明在BEMD域下提出自适应的区域的融合规则并利用的粒子群算法搜索阈值的SAR与多光谱图像融合算法。该方法不仅通过基于BEMD域分解下的自适应区域融和规则有效克服了基于小波的融合算法得到的融合图像存在边缘失真及光谱扭曲的现象，并且避免了常用区域融和规则方法中相关性阈值选择的盲目性问题。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种自适应的SAR图像和多光谱图像融合方法，能够提高融合后的图像质量，达到理想的实用效果。

技术方案

一种自适应的SAR图像和多光谱图像融合方法，其特征在于步骤如下：

步骤1：对已配准的待融合SAR图像S进行BEMD分解得到BIMF分量对已配准的多光谱图像M进行BEMD分解得到BIMF分量

步骤2：对分量进行T检验得到低频分量和高频分量对分量进行T检验得到低频分量和高频分量

步骤3：按低频分量融合规则和高频分量融合规则分别对和进行融合，得到融合后的低频分量和高频分量

所述低频分量融合规则：

按对图像S和图像M的BIMF分量进行融合，得到融合后的低频分量；其中：和分别代表融合图像和源图像S、M在尺度j下的低频系数；

其中：w_S为图像S的加权系数：

$w_S=\frac{{\mathrm{BIMF}}_{L,j}^{W_S}(x,y)\×\underset{m=-1}{\overset{1}{\Σ}}\underset{n=-1}{\overset{1}{\Σ}}\sqrt{{\left({\mathrm{BIMF}}_{L,j}^{W_S}\right(x+m,y+n)-\stackrel{\‾}{{\mathrm{BIMF}}_{L,j}^{W_S}}(x,y\left)\right)}^2}}{9\×{\mathrm{BIMF}}_{L,j,}^{W_S,\max }(x,y)}$

w_M为图像M的加权系数：

$w_M=\frac{{\mathrm{BIMF}}_{L,j}^{W_M}(x,y)\×\underset{m=-1}{\overset{1}{\Σ}}\underset{n=-1}{\overset{1}{\Σ}}\sqrt{{\left({\mathrm{BIMF}}_{L,j}^{W_M}\right(x+m,y+n)-\stackrel{\‾}{{\mathrm{BIMF}}_{L,j}^{W_M}}(x,y\left)\right)}^2}}{9\×{\mathrm{BIMF}}_{L,j,}^{W_M,\max }(x,y)}$

其中,W表示大小为3×3区域，表示以3行3列像素为中心的区域中灰度最大值,表示以3行3列像素为中心的为区域中心象素点的灰度值，为以3行3列像素为中心的区域内像素点的灰度平均值；

所述高频分量融合规则：

利用匹配度判别图像S高频分量和图像M高频分量的相应高频子带窗口邻域内的匹配程度，其中式中,和分别为源图像S和M在尺度j下的高频分量在区域W内的能量；和分别代表源图像S和M在尺度j下的高频分量，P在式中为加权模板；

当时，按对图像S和图像M的高频分量进行融合处理，得到融合后的高频分量其中θ代表阈值，代表融合图像在尺度j下的高频分量；

若时，确定加权系数分别为：

w_max＝1-w_min；故融和图像的高频信息为

步骤4：对步骤3得到的融合后的BIMF分量和进行BEMD逆变换，得到融合图像。

所述阈值θ采用粒子群算法确定，具体为：设阈值θ在[0.5,1.0]之间，随机生成均匀分布在该范围内的种群{i,i＝θ₁,θ₂,...,θ_N}，初始粒子数选为100，d＝20；选择一个i，根据式选择个体的最大概率P_i，其中：Fitness(i)＝Entropy(F_i)计算个体的信息熵，F_i为根据高频分量融合规则得到的融合分量；如果适应度值优于当前该粒子的个体极值时更新个体极值；如果全部粒子中的个体极值最优的优于当前全局极值，更新全局极值；

根据更新粒子速度，根据更新粒子的位置；式中，是粒子i在第k次迭代中第d维的速度；c₁和c₂是加速系数分别调节向全局最好粒子和个体最好粒子方向飞行的最大步长，取c₁＝c₂＝2.05；rand_1,2是[0,1]之间的随机数；是粒子i在第k次迭代中的第d维的当前位置；pbest_id是粒子i在第d维的个体极值点的位置；gbest_d是整个群体在第d维的全局极值点的位置；对得到的新种群依据得到新种群中个体的最大概率P_j，若P_j>P_i，继续重复以上种群生成过程：根据更新粒子速度，根据更新粒子的位置；若P_j≤P_i，种群生成结束，种群中最大概率的个体即为得到的阈值。

所述加权模板P的取值为

有益效果

本发明提出一种自适应的SAR图像和多光谱图像方法，首先对源图像进行BEMD分解，不仅克服了基于小波变换的图像融合局部特征相关性不强的问题，并且避免了传统小波方法小波基函数选取困难的问题。根据T检验对得到的本征模函数(BIMF)分量进行高低频选择，然后对低频信息采用区域自适应加权信息准则进行融合，高频分量计算区域匹配度，对匹配度在不同阈值范围内的系数进行融合，阈值的选取采用粒子群算法进行搜索，避免了经验确定区域匹配阈值的不足。最后，融合结果通过对融合分量进行BEMD逆变换得到。因此，将BEMD和粒子群算法相结合，可以大大提高融合后图像的质量，对应用系统的后续处理和图像显示具有重要意义和使用价值。

附图说明

图1：本发明方法的基本流程图

图2：SAR图像和多光谱图像融合方法示意图

图3：使用本方法完成SAR图像和多光谱图像融合的例子

(a)SAR图像源

(b)多光谱图像源

(c)基于Curvelet的融合图像

(d)基于NSCT的融合图像

(e)基于IM的融合图像

(f)基于àtrous和HIS的融合图像

(g)基于NSCT和PCNN的融合图像

(h)本发明方法的融合图像

具体实施方式

现结合实施例、附图对本发明作进一步描述：

用于实施的硬件环境是：Intel Xeon E5504处理器，2.00GHz计算机，6GB内存，1526M显卡，运行的软件环境是：matlab2013a和Windows7 64位操作系统。我们用Matlab软件实现了本发明的提出的方法。该实验所用的图像数据采用同一场景潘阳湖水域的RADARSAT-SAR图像和SPOT-XS TM图像。

步骤1：对已配准的待融合SAR图像S进行BEMD分解得到BIMF分量对已配准的多光谱图像M进行BEMD分解得到BIMF分量

步骤2：对分量进行T检验得到低频分量和高频分量对分量进行T检验得到低频分量和高频分量

步骤3：按低频分量融合规则和高频分量融合规则分别对和进行融合，得到融合后的低频分量和高频分量

所述低频分量融合规则：

按对图像S和图像M的BIMF分量进行融合，得到融合后的低频分量；其中：和分别代表融合图像和源图像S、M在尺度j下的低频系数。

w_S为图像S的加权系数

$w_S=\frac{{\mathrm{BIMF}}_{L,j}^{W_S}(x,y)\×\underset{m=-1}{\overset{1}{\Σ}}\underset{n=-1}{\overset{1}{\Σ}}\sqrt{{\left({\mathrm{BIMF}}_{L,j}^{W_S}\right(x+m,y+n)-\stackrel{\‾}{{\mathrm{BIMF}}_{L,j}^{W_S}}(x,y\left)\right)}^2}}{9\×{\mathrm{BIMF}}_{L,j,}^{W_S,\max }(x,y)}$

w_M为图像M的加权系数

$w_M=\frac{{\mathrm{BIMF}}_{L,j}^{W_M}(x,y)\×\underset{m=-1}{\overset{1}{\Σ}}\underset{n=-1}{\overset{1}{\Σ}}\sqrt{{\left({\mathrm{BIMF}}_{L,j}^{W_M}\right(x+m,y+n)-\stackrel{\‾}{{\mathrm{BIMF}}_{L,j}^{W_M}}(x,y\left)\right)}^2}}{9\×{\mathrm{BIMF}}_{L,j,}^{W_M,\max }(x,y)}$

其中,W表示大小为3×3区域，表示以3行3列像素为中心的区域中灰度最大值,表示以3行3列像素为中心的为区域中心象素点的灰度值。为以3行3列像素为中心的区域内像素点的灰度平均值。

所述高频分量融合规则：

利用匹配度判别图像S高频分量和图像M高频分量的相应高频子带窗口邻域内的匹配程度，其中式中,和分别为源图像S和M在尺度j下的高频分量在区域W内的能量。和分别代表源图像S和M在尺度j下的高频分量，P在式中为加权模板，取值为当时表明两个区域的空间特性差异较大，并按对图像S和图像M的高频分量进行融合处理，得到融合后的高频分量其中θ代表阈值，代表融合图像在尺度j下的高频分量；若时，根据区域的局部能量大小确定加权系数分别为：

w_max＝1-w_min；故融和图像的高频信息为

步骤4：对步骤3得到的融合后的BIMF分量和进行BEMD逆变换，得到融合图像。

所述阈值θ采用粒子群算法确定，设相关性阈值θ在[0.5,1.0]之间，随机生成均匀分布在该范围内的种群{i,i＝θ₁,θ₂,...,θ_N}，初始粒子数选为100，d＝20。选择一个i，根据式选择个体的最大概率P_i，即适应度最高的个体。其中Fitness(i)＝Entropy(F_i)计算个体的信息熵，F_i为根据高频分量融合规则得到的融合分量。如果适应度值优于当前该粒子的个体极值即更新个体极值；如果全部粒子中的个体极值最优的优于当前全局极值，即更新全局极值。

根据更新粒子速度，根据更新粒子的位置。式中，是粒子i在第k次迭代中第d维的速度；c₁和c₂是加速系数分别调节向全局最好粒子和个体最好粒子方向飞行的最大步长，取c₁＝c₂＝2.05；rand_1,2是[0,1]之间的随机数；是粒子i在第k次迭代中的第d维的当前位置；pbest_id是粒子i在第d维的个体极值点的位置；gbest_d是整个群体在第d维的全局极值点的位置。对得到的新种群依据得到新种群中个体的最大概率P_j，若P_j>P_i，继续重复以上种群生成过程：根据更新粒子速度，根据更新粒子的位置；若P_j≤P_i，种群生成结束，种群中最大概率的个体即为得到的阈值。

图3为待融合的SAR图像和多光谱图像及融合处理后的图像，本发明所得的融合结果与其他融合方法所得的融合结果进行对比，评价结果如表1所示。信息熵越大说明融合图像所包含的信息越多，融合效果越好；相关系数越接近于1，表示图像的接近度越好；峰值信噪比是图像去噪效果的评价指标，峰值信噪比越大则说明融合图像的噪声抑制的越好；扭曲度和偏差指数反映了融合图像相对于多光谱图像光谱信息的扭曲程度，两个指标越小，说明融合图像较好的保留了多光谱图像的光谱信息。

表1融合结果评价

Claims (3)

1.一种自适应的SAR图像和多光谱图像融合方法，其特征在于步骤如下：

步骤1：对已配准的待融合SAR图像S进行BEMD分解得到BIMF分量对已配准的多光谱图像M进行BEMD分解得到BIMF分量

步骤2：对分量进行T检验得到低频分量和高频分量对分量进行T检验得到低频分量和高频分量

步骤3：按低频分量融合规则和高频分量融合规则分别对和进行融合，得到融合后的低频分量和高频分量

所述低频分量融合规则：

按对图像S和图像M的BIMF分量进行融合，得到融合后的低频分量；其中：和分别代表融合图像和源图像S、M在尺度j下的低频系数；

其中：w_S为图像S的加权系数：

$w_S=\frac{{\mathrm{BIMF}}_{L,j}^{W_S}(x,y)\×\underset{m=-1}{\overset{1}{\Σ}}\underset{n=-1}{\overset{1}{\Σ}}\sqrt{{\left({\mathrm{BIMF}}_{L,j}^{W_S}\right(x+m,y+n)-\stackrel{\‾}{{\mathrm{BIMF}}_{L,j}^{W_S}}(x,y\left)\right)}^2}}{9\×{\mathrm{BIMF}}_{L,j,}^{W_S,max}(x,y)}$

w_M为图像M的加权系数：

$w_M=\frac{{\mathrm{BIMF}}_{L,j}^{W_M}(x,y)\×\underset{m=-1}{\overset{1}{\Σ}}\underset{n=-1}{\overset{1}{\Σ}}\sqrt{{\left({\mathrm{BIMF}}_{L,j}^{W_M}\right(x+m,y+n)-\stackrel{\‾}{{\mathrm{BIMF}}_{L,j}^{W_M}}(x,y\left)\right)}^2}}{9\×{\mathrm{BIMF}}_{L,j,}^{W_M,max}(x,y)}$

其中,W表示大小为3×3区域，表示以3行3列像素为中心的区域中灰度最大值,表示以3行3列像素为中心的为区域中心象素点的灰度值，为以3行3列像素为中心的区域内像素点的灰度平均值；

所述高频分量融合规则：

利用匹配度判别图像S高频分量和图像M高频分量的相应高频子带窗口邻域内的匹配程度，其中式中,和分别为源图像S和M在尺度j下的高频分量在区域W内的能量；和分别代表源图像S和M在尺度j下的高频分量，P在式中为加权模板；

当时，按对图像S和图像M的高频分量进行融合处理，得到融合后的高频分量其中θ代表阈值，代表融合图像在尺度j下的高频分量；

若时，确定加权系数分别为：

w_max＝1-w_min；故融和图像的高频信息为

步骤4：对步骤3得到的融合后的BIMF分量和进行BEMD逆变换，得到融合图像。

2.根据权利要求1所述自适应的SAR图像和多光谱图像融合方法，其特征在于：所述阈值θ采用粒子群算法确定，具体为：设阈值θ在[0.5,1.0]之间，随机生成均匀分布在该范围内的种群{i,i＝θ₁,θ₂,...,θ_N}，初始粒子数选为100，d＝20；选择一个i，根据式选择个体的最大概率P_i，其中：Fitness(i)＝Entropy(F_i)计算个体的信息熵，F_i为根据高频分量融合规则得到的融合分量；如果适应度值优于当前该粒子的个体极值时更新个体极值；如果全部粒子中的个体极值最优的优于当前全局极值，更新全局极值；

根据更新粒子速度，根据更新粒子的位置；式中，是粒子i在第k次迭代中第d维的速度；c₁和c₂是加速系数分别调节向全局最好粒子和个体最好粒子方向飞行的最大步长，取c₁＝c₂＝2.05；rand_1,2是[0,1]之间的随机数；是粒子i在第k次迭代中的第d维的当前位置；pbest_id是粒子i在第d维的个体极值点的位置；gbest_d是整个群体在第d维的全局极值点的位置；对得到的新种群依据得到新种群中个体的最大概率P_j，若P_j＞P_i，继续重复以上种群生成过程：根据更新粒子速度，根据更新粒子的位置；若P_j≤P_i，种群生成结束，种群中最大概率的个体即为得到的阈值。

3.根据权利要求1所述自适应的SAR图像和多光谱图像融合方法，其特征在于：所述加权模板P的取值为