CN101697231B - 一种基于小波变换和多通道pcnn的高光谱图像融合方法 - Google Patents

Abstract

本发明涉及一种基于小波变换和多通道PCNN的高光谱图像融合方法，其特征在于：首先，对待融合的N个波段的高光谱图像进行配准和灰度调整的预处理，并进行小波变换，得到低频子带图像和高频子带图像；然后，利用多通道PCNN模型分别对低频子带图像和高频子带图像进行初步的非线性融合处理，得到相应的点火频率图，对低频子带图像，将点火频率图进行相应系数范围的线性映射，直接将映射结果作为融合结果；对各方向高频子带图像，利用点火频率图进行区域分割，并对不同区域采用不同的融合规则进行融合处理；最后，进行小波重构，得到最终的融合结果图像。通过以上方法，可以实现高光谱多个波段的图像融合，并能够得到更好的融合效果。

Description

一种基于小波变换和多通道PCNN的高光谱图像融合方法

技术领域

本发明涉及一种基于小波变换和多通道PCNN的高光谱图像融合方法，可以应用于各类军用或民用的高光谱遥感信息处理系统。

背景技术

成像光谱技术的发展为人们提供了丰富的多光谱或高光谱遥感数据。尤其是高光谱遥感，能够同时提供有关同一场景的几十甚至上百个波段的图像，在各种民用和军用领域获得了广泛的应用。但它同时也带来了数据量的急剧增大和相邻波段数据间的冗余度高等问题，而图像融合技术是进行高光谱图像降维、改善高光谱图像质量和提高光谱数据的利用率的有效途径之一。

虽然传统的图像融合方法很多，但这些方法多是针对两幅图像展开的；而且，一般来说所要融合的两幅图像间的互补性信息较多。而高光谱图像波段众多、图像间的冗余信息较多，所以直接将传统融合方法应用到高光谱图像中会造成计算效率低、融合效果不理想等问题，必须针对高光谱图像的特点进行新的融合方法的研究。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于小波变换和多通道PCNN的高光谱图像融合方法。

本发明的思想在于：由于多通道PCNN模型可以同时对多幅输入图像进行非线性融合处理，而利用小波变换对图像进行分解，可以获得对图像更好的描述，因此，将小波变换和多通道PCNN模型相结合，可以得到更好的融合效果。

技术方案

一种基于小波变换和多通道PCNN的高光谱图像融合方法，其特征在于步骤如下：

步骤1：预处理：利用基于互信息的图像配准方法对待融合的N个波段的高光谱图像进行图像配准，并利用线性变换方法将待融合的N个波段的高光谱图像的灰度范围映射到一个一致的灰度区间，如[0，1]或[0，255]，得到预处理后的N个波段的高光谱图像；

步骤2：小波变换：利用Mallat算法对预处理后的每一个波段的高光谱图像分别进行小波变换，对预处理后的第d个波段的高光谱图像得到小波变换系数{L^d，H_p，t ^d}；所述的L^d为预处理后的第d个波段的高光谱图像的低频子带图像；所述的H_p，t ^d为预处理后的第d个波段的高光谱图像的尺度t下p方向的高频子带图像；所述的d为图像序号，d＝1，2，…，N；所述的t为小波变换的分解尺度，t≥1；所述的p表示每个分解尺度下的不同方向，p＝1，2，3，p＝1表示水平方向，p＝2表示垂直方向，p＝3表示对角方向；

步骤3：融合处理：利用多通道PCNN模型对低频子带图像L^d和高频子带图像H_p，t ^d分别进行初步的非线性融合处理，得到低频子带图像的点火频率图T^L和高频子带图像的点火频率图

所述的多通道PCNN模型为：

$\left\{\begin{array}{c}{F}_{\mathrm{ij}}^d\left[n\right]=V_F\underset{k=i-1}{\overset{i+1}{\mathrm{\&Sigma;}}}\underset{l=j-1}{\overset{j+1}{\mathrm{\&Sigma;}}}{M}_{\mathrm{ijkl}}{Y}_{\mathrm{kl}}[n-1]+I_{\mathrm{ij}}^d\\ L_{\mathrm{ij}}\left[n\right]=e^{-{\mathrm{\&alpha;}}_L}{L}_{\mathrm{ij}}[n-1]+V_L\underset{k=i-1}{\overset{i+1}{\mathrm{\&Sigma;}}}\underset{l=j-1}{\overset{j+1}{\mathrm{\&Sigma;}}}{W}_{\mathrm{ijkl}}{Y}_{\mathrm{kl}}[n-1]\\ U_{\mathrm{ij}}\left[n\right]=(1+\mathrm{\&beta;}{L}_{\mathrm{ij}}[n\left]\right)\underset{d=1}{\overset{N}{\mathrm{\&Pi;}}}(1+C^d{F}_{\mathrm{ij}}^d[n\left]\right)\\ {\mathrm{\&theta;}}_{\mathrm{ij}}\left[n\right]=e^{{\mathrm{\&alpha;}}_{\mathrm{\&theta;}}}{\mathrm{\&theta;}}_{\mathrm{ij}}[n-1]+V_{\mathrm{\&theta;}}{Y}_{\mathrm{ij}}[n-1]\\ Y_{\mathrm{ij}}\left[n\right]=\left\{\begin{array}{cc}1& U_{\mathrm{ij}}\left[n\right]\&GreaterEqual;{\mathrm{\&theta;}}_{\mathrm{ij}}\left[n\right]\\ 0& U_{\mathrm{ij}}\left[n\right]<{\mathrm{\&theta;}}_{\mathrm{ij}}\left[n\right]\end{array}\right.\\ T_{\mathrm{ij}}\left[n\right]=\left\{\begin{array}{cc}n& Y_{\mathrm{ij}}\left[n\right]=1\\ T_{\mathrm{ij}}[n-1]& Y_{\mathrm{ij}}\left[n\right]=0\end{array}\right.\end{array}\right.$

所述的下标ij表示图像中像素的位置为i行j列，i＝1，2，…，P，j＝1，2，…，Q，P为图像总的行数，Q为图像总的列数；所述的下标kl表示图像中像素的位置为k行l列；所述的上标d表示输入图像的序号，d＝1，2，…，N；所述的n为迭代次数；所述的[n]表示第n次迭代；所述的I^d表示输入的低频子带图像L^d或高频子带图像H_p，t ^d；所述的F^d表示多通道PCNN模型的输入；所述的Y表示多通道PCNN模型的输出；所述的L表示以位于i行j列的像素为中心的周围3×3邻域内像素的耦合连接；所述的U为内部活动信号；所述的θ表示动态阈值；所述的T为点火频率；所述的V_F为F的放大系数，V_F＞0；所述的V_L为L的放大系数，V_L＞0；所述的V_θ为θ的放大系数，V_θ＞0；所述的α_L为L的衰减系数，α_L≥0；所述的α_θ为θ的衰减系数，α_θ≥0；所述的C^d为输入耦合系数，C^d≥0且 $\underset{d=1}{\overset{N}{\mathrm{\&Sigma;}}}{C}^d=1;$ 所述的β为连接耦合系数，β≥0；所述的M为F的大小为3×3的反馈连接权矩阵；所述的W为L的大小为3×3的反馈连接权矩阵；

对低频子带图像，利用线性变换方法将点火频率图T^L的像素范围映射到N个低频子带图像L^d的像素范围的并集区间，直接将映射结果作为融合后的低频子带图像L^F；

对高频子带图像H_p，t ^d，将点火频率图

作为区域分割的依据，先对高频子带图像H_p，t ^d进行区域分割，具体步骤如下：

步骤a：求取点火频率图

的直方图H(l)；

步骤b：利用 $\stackrel{\&OverBar;}{m}=\frac{\underset{l=1}{\overset{L}{\mathrm{\&Sigma;}}}l\&times;H\left(l\right)}{\underset{l=1}{\overset{L}{\mathrm{\&Sigma;}}}H\left(l\right)}$ 计算得到直方图H(l)的矢量重心m，利用 $s=\sqrt{\frac{1}{L}\underset{l=1}{\overset{L}{\mathrm{\&Sigma;}}}{(l\&times;H\left(l\right)-\stackrel{\&OverBar;}{m})}^2}$ 计算得到直方图H(l)的偏差s，并利用T1＝m-s和T2＝m+s计算得到分割阈值T1和T2；

所述的l表示离散灰度级，l＝1，2，…，L；所述的L为图像总的灰度级数，L≥1；

步骤c：利用分割阈值T1和T2将高频子带图像H_p，t ^d分割成三种区域：点火频率图中小于T1的像素对应着高频子带图像H_p，t ^d的均匀区域AreaJ，点火频率图

中大于T2的像素对应着高频子带图像H_p，t ^d的边缘区域AreaB，而点火频率图中介于T1和T2之间的像素对应着高频子带图像H_p，t ^d的纹理区域AreaW；

然后，对高频子带图像H_p，t ^d区域分割后的三种区域采用不同的融合规则进行融合处理，得到融合后的高频子带图像H_p，t ^F，具体为：

a.均匀区域AreaJ：按 $H_{p,t}^F(i,j)=\underset{d=1}{\overset{N}{\mathrm{\&Sigma;}}}{s}^d{H}_{\mathrm{Jp},t}^d(i,j)$ 计算得到高频子带图像H_p，t ^F的融合结果；

所述的i表示像素位于图像的第i行；所述的j表示像素位于图像的第j列；所述的H_p，t ^F(i，j)为位于融合后的高频子带图像H_p，t ^Fi行j列的像素值，

为位于高频子带图像H_p，t ^di行j列且属于均匀区域AreaJ的像素值，d＝1，2，…，N；s^d为按 $s^d=\frac{{\mathrm{\&sigma;}}_d}{\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&sigma;}}_k}$ 计算得到的均匀区域的融合加权系数；所述的σ_d为高频子带图像H_p，t ^d的标准差；

b.纹理区域AreaW：按 $H_{p,t}^F(i,j)=\underset{d=1}{\overset{N}{\mathrm{\&Sigma;}}}{\tilde{s}}^d{H}_{\mathrm{Wp},t}^d(i,j)$ 计算得到高频子带图像H_p，t ^F的融合结果；

所述的为位于高频子带图像H_p，t ^di行j列且属于纹理区域AreaW的像素值；

为按 ${\tilde{s}}^d=\frac{{\widetilde{\mathrm{\&sigma;}}}_d}{\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}{\widetilde{\mathrm{\&sigma;}}}_k}$ 计算得到的纹理区域的融合加权系数；所述的

为高频子带图像H_p，t ^d中以位于i行j列的像素为中心的3×3邻域内像素的标准差；

c.边缘区域AreaB：按

$H_{p,t}^F(i,j)=\arg \underset{H_{\mathrm{Bp},t}^d}{\max }\left\{\right|H_{\mathrm{Bp},t}^d(i,j)|,H_{\mathrm{Bp},t}^d(i,j)\&Element;\{H_{\mathrm{Bp},t}^d(i,j),d=1,\&CenterDot;\&CenterDot;\&CenterDot;,N\left\}\right\}$ 取模极大值对应的高频子带图像H_p，t ^d中的像素值作为高频子带图像H_p，t ^F的融合结果；

所述的

为位于高频子带图像H_p，t ^di行j列且属于边缘区域AreaB的像素值；所述的arg $\underset{x}{\max }\{f\left(x\right),x\&Element;X\}$ 表示使f(x)取得最大值的那个x；

步骤4：小波重构：将融合处理后得到的低频子带图像L^F和高频子带图像H_p，t ^F进行小波重构，得到最终的融合结果图像；

有益效果

本发明提出的基于小波变换和多通道PCNN的高光谱图像融合方法，利用小波变换对图像进行分解，可以获得图像在不同分辨率和不同方向下的低频和高频信息，通过对这些信息的融合处理能够降低融合图像的光谱失真，有助于改善融合效果；而多通道PCNN模型利用神经元间的连接和反馈调节，可以同时对多幅输入图像进行非线性融合处理，能够取得较好的融合效果，也打破了传统方法只能处理两幅图像的束缚，提高了计算效率。因此，将小波变换和多通道PCNN模型相结合，更加适用于高光谱图像融合，并可以得到好的融合效果。

附图说明

图1：本发明方法的基本流程图

图2：本发明方法中多通道PCNN模型的原理图

图3：使用本方法完成OMIS高光谱图像融合的例子

(a)第1个待融合波段图像

(b)第2个待融合波段图像

(c)第3个待融合波段图像

(d)第4个待融合波段图像

(e)第5个待融合波段图像

(f)基于小波变换和区域能量方法的融合图像

(g)基于小波变换和传统PCNN方法的融合图像

(h)基于小波变换和多通道PCNN方法的融合图像

具体实施方式

现结合实施例、附图对本发明作进一步描述：

用于实施的硬件环境是：Pentium-4 3G计算机、1GB内存、128M显卡，运行的软件环境是：Matlab7.0和Windows XP。我们用Matlab软件实现了本发明提出的方法。图像数据采用64个波段的OMIS(实用型模块化成像光谱仪)图像，从中挑选出5个波段的图像进行融合。

本发明具体实施如下：

1、预处理：首先利用基于互信息的图像配准方法对5个波段的高光谱图像进行配准，使所有波段图像完全揭示同一场景，即分别计算每两幅图像间的互信息，搜索并使其互信息达到最大的位置，完成两幅图像间的配准，通过每两幅图像间的配准来完成5幅图像的配准；

设两幅图像的熵分别为H(X)和H(Y)，联合熵为H(X，Y)，则其互信息为：

I(X，Y)＝H(X)+H(Y)-H(X，Y)

然后，进行图像的灰度调整，使所有波段图像的灰度范围均处于灰度区间[0，255]内；

设原始图像的灰度区间为[a₁，a₂]，则灰度调整公式为：

$\tilde{a}=255\&times;\frac{a-a_1}{a_2-a_1}---\left(1\right)$

其中，a和

分别为灰度调整前后像素的灰度值。

2、小波变换：采用Mallat算法对预处理后5个波段的OMIS图像分别进行三层离散小波变换，对预处理后的第d个波段的高光谱图像得到其离散小波变换系数{L^d，H_p，t ^d}，L^d为预处理后的第d个波段的高光谱图像的低频子带图像，H_p，t ^d为预处理后的第d个波段的高光谱图像的尺度t下p方向的高频子带图像，这里，d＝1，2，…，5，t＝1，2，3，p＝1，2，3，p＝1表示水平方向，p＝2表示垂直方向，p＝3表示对角方向。

二进离散小波变换公式为：

$\mathrm{Wf}(s,u)=2^{-j/2}{\&Integral;}_{-\&infin;}^{+\&infin;}f\left(t\right){\mathrm{\&psi;}}^{*}\left(2^{-j}(t-u)\right)\mathrm{dt}$

3、融合处理：对低频子带图像L^d和高频子带图像H_p，t ^d分别利用多通道PCNN模型进行初步的非线性融合处理，得到低频子带图像的点火频率图T^L和高频子带图像的点火频率图

并以此作为融合处理的依据。

多通道PCNN模型为： $\left\{\begin{array}{c}{F}_{\mathrm{ij}}^d\left[n\right]=V_F\underset{k=i-1}{\overset{i+1}{\mathrm{\&Sigma;}}}\underset{l=j-1}{\overset{j+1}{\mathrm{\&Sigma;}}}{M}_{\mathrm{ijkl}}{Y}_{\mathrm{kl}}[n-1]+I_{\mathrm{ij}}^d\\ L_{\mathrm{ij}}\left[n\right]=e^{-{\mathrm{\&alpha;}}_L}{L}_{\mathrm{ij}}[n-1]+V_L\underset{k=i-1}{\overset{i+1}{\mathrm{\&Sigma;}}}\underset{l=j-1}{\overset{j+1}{\mathrm{\&Sigma;}}}{W}_{\mathrm{ijkl}}{Y}_{\mathrm{kl}}[n-1]\\ U_{\mathrm{ij}}\left[n\right]=(1+\mathrm{\&beta;}{L}_{\mathrm{ij}}[n\left]\right)\underset{d=1}{\overset{N}{\mathrm{\&Pi;}}}(1+C^d{F}_{\mathrm{ij}}^d[n\left]\right)\\ {\mathrm{\&theta;}}_{\mathrm{ij}}\left[n\right]=e^{{\mathrm{\&alpha;}}_{\mathrm{\&theta;}}}{\mathrm{\&theta;}}_{\mathrm{ij}}[n-1]+V_{\mathrm{\&theta;}}{Y}_{\mathrm{ij}}[n-1]\\ Y_{\mathrm{ij}}\left[n\right]=\left\{\begin{array}{cc}1& U_{\mathrm{ij}}\left[n\right]\&GreaterEqual;{\mathrm{\&theta;}}_{\mathrm{ij}}\left[n\right]\\ 0& U_{\mathrm{ij}}\left[n\right]<{\mathrm{\&theta;}}_{\mathrm{ij}}\left[n\right]\end{array}\right.\\ T_{\mathrm{ij}}\left[n\right]=\left\{\begin{array}{cc}n& Y_{\mathrm{ij}}\left[n\right]=1\\ T_{\mathrm{ij}}[n-1]& Y_{\mathrm{ij}}\left[n\right]=0\end{array}\right.\end{array}\right.$

对低频子带图像L^d(d＝1，2，…，5)，令多通道PCNN模型的输入 $I_{\mathrm{ij}}^d=L^d(i,j)\left((i,j\right)$ 和下标ij均表示图像中i行j列的像素位置)，设定V_F＝1.0，V_L＝1.0，V_θ＝(1+I_max/80)⁵(I_max为d＝1，2，…，5的所有5幅低频子带图像L^d中像素的最大值)，α_L＝0.1，α_θ＝0.05，β＝0.2，并设定最大迭代次数n_max＝1000，初始n＝1，Y[0]＝0，L[0]＝0，θ[0]＝0，T[0]＝0； $M=W=\left[\begin{array}{ccc}0.1091& 0.1409& 0.1091\\ 0.1409& 0& 0.1409\\ 0.1091& 0.1409& 0.1091\end{array}\right],$ $C^d=\frac{{\mathrm{\&sigma;}}_d}{\underset{k=1}{\overset{5}{\mathrm{\&Sigma;}}}{\mathrm{\&sigma;}}_k}$ (σ_d为低频子带图像L^d的标准差)；然后，按照多通道PCNN模型进行计算和迭代，直到满足n＝＝n_max或者所有像素的点火频率T_ij[n]均大于0，则得到由点火频率T_ij[n]构成的非线性融合处理后的点火频率图T^L，将T^L的像素范围进行如式(1)的线性变换，映射到原来5个低频子带图像L^d(d＝1，2，…，5)的像素范围的并集区间，并将映射后的结果作为低频子带图像的融合结果L^F。

图像标准差的计算公式为：

$\mathrm{\&sigma;}=\sqrt{\frac{1}{P\&times;Q}\underset{i=1}{\overset{P}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{Q}{\mathrm{\&Sigma;}}}{(I_{\mathrm{ij}}-\stackrel{\&OverBar;}{I})}^2}---\left(2\right)$

其中，下标ij表示图像中像素的位置为i行j列，P为图像总的行数，Q为图像总的列数，I为图像的均值， $\stackrel{\&OverBar;}{I}=\frac{\underset{i=1}{\overset{P}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{Q}{\mathrm{\&Sigma;}}}{I}_{\mathrm{ij}}}{P\&times;Q};$

对分解尺度1下1方向(水平方向)的高频子带图像H_1，1 ^d(d＝1，2，…，5)，按下述过程得到其融合后的高频子带图像H_1，1 ^F：

(1)令多通道PCNN模型的输入 $I_{\mathrm{ij}}^d=H_{\mathrm{1,1}}^d(i,j)$ ((i，j)和下标ij均表示图像中i行j列的像素位置)，设定V_F＝1.0，V_L＝1.0，V_θ＝(1+I_max/500)⁵(I_max为d＝1，2，…，5的所有5幅高频子带图像H_1，1 ^d中像素的最大值)，α_L＝0.1，α_θ＝0.01，β＝0.2，并设定最大迭代次数n_max＝1000，初始n＝1，Y[0]＝0，L[0]＝0，θ[0]＝0，T[0]＝0； $M=W=\left[\begin{array}{ccc}0.1091& 0.1409& 0.1091\\ 0.1409& 0& 0.1409\\ 0.1091& 0.1409& 0.1091\end{array}\right],$ $C^d=\frac{{\mathrm{\&sigma;}}_d}{\underset{k=1}{\overset{5}{\mathrm{\&Sigma;}}}{\mathrm{\&sigma;}}_k}$ (σ_d为高频子带图像H_1，1 ^d的标准差，按式(2)计算)；然后，按照多通道PCNN模型进行计算和迭代，直到满足n＝＝n_max或者所有像素的点火频率T_ij[n]均大于0，则得到由点火频率T_ij[n]构成的非线性融合处理后的点火频率图

(2)将

作为区域划分的依据，对高频子带图像H_1，1 ^d(d＝1，2，…，5)进行区域分割，具体过程如下：

(a)求取点火频率图

的直方图H(l)，计算公式为：

$H\left(l\right)=\frac{n_l}{n}$

其中，l表示离散灰度级，n_l为图像中出现l级灰度的像素个数，n为图像中总的像素个数；

(b)计算直方图H(l)的矢量重心m和偏差s，并得到分割阈值T1和T2，其计算公式分别为：

$\stackrel{\&OverBar;}{m}=\frac{\underset{l=1}{\overset{L}{\mathrm{\&Sigma;}}}l\&times;H\left(l\right)}{\underset{l=1}{\overset{L}{\mathrm{\&Sigma;}}}H\left(l\right)}$ $s=\sqrt{\frac{1}{L}\underset{l=1}{\overset{L}{\mathrm{\&Sigma;}}}{(l\&times;H\left(l\right)-\stackrel{\&OverBar;}{m})}^2}$ T1＝m-s    T2＝m+s

其中，L为图像总的灰度级数；

(c)进行区域划分，点火频率图中小于T1的像素对应着高频子带图像H_1，1 ^d(d＝1，2，…，5)的均匀区域AreaJ，点火频率图

中大于T2的像素对应着高频子带图像H_1，1 ^d(d＝1，2，…，5)的边缘区域AreaB，而点火频率图

中介于T1和T2之间的像素点对应着高频子带图像H_1，1 ^d(d＝1，2，…，5)的纹理区域AreaW。

(3)对区域分割后得到的不同区域采用不同的融合规则进行处理，得到最终高频子带图像H_1，1 ^d(d＝1，2，…，5)的融合结果H_1，1 ^F，具体为：

a.均匀区域的融合：按整体方差的归一化加权计算得到融合结果，计算公式为：

$H_{\mathrm{1,1}}^F(i,j)=\underset{d=1}{\overset{N}{\mathrm{\&Sigma;}}}{s}^d{H}_{\mathrm{1,1}}^d(i,j)$ (i，j)∈AreaJ

b.纹理区域的融合：按局部方差的归一化加权计算得到融合结果，计算公式为：

$H_{\mathrm{1,1}}^F(i,j)=\underset{d=1}{\overset{N}{\mathrm{\&Sigma;}}}{\tilde{s}}^d{H}_{\mathrm{1,1}}^d(i,j)$ (i，j)∈AreaW

c.边缘区域的融合：取模极大值对应的像素值为融合结果，计算公式为：

$H_{\mathrm{1,1}}^F(i,j)=\arg \underset{H_{\mathrm{1,1}}^d(i,j)}{\max }\left\{\right|H_{\mathrm{1,1}}^d(i,j)|,H_{\mathrm{1,1}}^d(i,j)\&Element;\{H_{\mathrm{1,1}}^d(i,j),d=1,\&CenterDot;\&CenterDot;\&CenterDot;,N\left\}\right\},(i,j)\&Element;\mathrm{AreaB}$

其中，(i，j)表示图像中像素的位置为i行j列，AreaJ表示均匀区域，AreaW表示纹理区域，AreaB表示边缘区域；H_1，1 ^F(i，j)为高频子带图像H_1，1 ^F像素(i，j)的融合结果，H_1，1 ^d(i，j)为高频子带图像H_1，1 ^d中像素(i，j)的值，d＝1，2，…，N；s^d为均匀区域的融合加权系数，计算公式为 $s^d=\frac{{\mathrm{\&sigma;}}_d}{\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&sigma;}}_k},$ σ_d为高频子带图像H_1，1 ^d的标准差，按式(2)计算；

为纹理区域的融合加权系数，计算公式为 ${\tilde{s}}^d=\frac{{\widetilde{\mathrm{\&sigma;}}}_d}{\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}{\widetilde{\mathrm{\&sigma;}}}_k},$

为高频子带图像H_1，1 ^d中以像素ij为中心的3×3邻域的局部标准差。

求取像素ij为中心的3×3邻域的局部标准差的计算公式为：

$\widetilde{\mathrm{\&sigma;}}=\sqrt{\frac{1}{9}\underset{k=i-1}{\overset{i+1}{\mathrm{\&Sigma;}}}\underset{l=j-1}{\overset{j+1}{\mathrm{\&Sigma;}}}{(I_{\mathrm{kl}}-\stackrel{\&OverBar;}{a})}^2}$

下标kl表示图像中像素的位置为k行l列，a为3×3邻域内像素的均值， $\stackrel{\&OverBar;}{a}=\frac{\underset{k=i-1}{\overset{i+1}{\mathrm{\&Sigma;}}}\underset{l=j-1}{\overset{j+1}{\mathrm{\&Sigma;}}}{I}_{\mathrm{kl}}}{9};$

对其他的分解尺度t(t＝1，2，3)下p方向(p＝1，2，3，p＝1表示水平方向，p＝2表示垂直方向，p＝3表示对角方向)的高频子带图像H_p，t ^d(d＝1，2，…，5)，按上述过程(1)～(3)(即将其中的所有H_1，1 ^d替换为t和p对应取值的H_p，t ^d)计算得到其融合后的高频子带图像H_p，t ^F；

至此，完成所有高频子带图像的融合处理；

4、小波重构：将融合处理后得到的低频子带图像L^F和高频子带图像H_p，t ^F进行小波重构，得到最终的融合结果图像。

图3为待融合的OMIS图像和融合处理后的OMIS图像。将本发明所得的融合结果与其他融合方法所得的融合结果进行对比，评价结果如表1所示。图像标准差的大小表明了图像细节信息的多少，标准差越大，所含细节信息越丰富。图像熵值的大小反映了融合图像中所包含的平均信息量的大小，熵值越大，所含信息量越大。平均相关系数越大，表明融合图像的光谱信息改变的程度越小。

表1融合结果评价

Claims (2)

1.一种基于小波变换和多通道PCNN的高光谱图像融合方法，其特征在于：

步骤1：预处理：利用基于互信息的图像配准方法对待融合的N个波段的高光谱图像进行图像配准，并利用线性变换方法将待融合的N个波段的高光谱图像的灰度范围映射到一个一致的灰度区间，得到预处理后的N个波段的高光谱图像；

步骤2：小波变换：利用Mallat算法对预处理后的每一个波段的高光谱图像分别进行小波变换，对预处理后的第d个波段的高光谱图像得到小波变换系数

所述的L^d为预处理后的第d个波段的高光谱图像的低频子带图像；所述的

为预处理后的第d个波段的高光谱图像的尺度t下p方向的高频子带图像；所述的d为图像序号，d＝1，2，…，N；所述的t为小波变换的分解尺度，t≥1；所述的p表示每个分解尺度下的不同方向，p＝1，2，3，p＝1表示水平方向，p＝2表示垂直方向，p＝3表示对角方向；

步骤3：融合处理：利用多通道PCNN模型对低频子带图像L^d和高频子带图像

分别进行初步的非线性融合处理，得到低频子带图像的点火频率图T^L和高频子带图像的点火频率图

所述的多通道PCNN模型为：

$\left\{\begin{array}{c}{F}_{\mathrm{ij}}^d\left[n\right]=V_F\underset{k=i-1}{\overset{i+1}{\mathrm{\&Sigma;}}}\underset{l=j-1}{\overset{j+1}{\mathrm{\&Sigma;}}}{M}_{\mathrm{ijkl}}{Y}_{\mathrm{kl}}[n-1]+I_{\mathrm{ij}}^d\\ L_{\mathrm{ij}}\left[n\right]=e^{-{\mathrm{\&alpha;}}_L}{L}_{\mathrm{ij}}[n-1]+V_L\underset{k=i-1}{\overset{i+1}{\mathrm{\&Sigma;}}}\underset{l=j-1}{\overset{j+1}{\mathrm{\&Sigma;}}}{W}_{\mathrm{ijkl}}{Y}_{\mathrm{kl}}[n-1]\\ U_{\mathrm{ij}}\left[n\right]=(1+\mathrm{\&beta;}{L}_{\mathrm{ij}}[n\left]\right)\underset{d=1}{\overset{N}{\mathrm{\&Pi;}}}(1+C^d{F}_{\mathrm{ij}}^d[n\left]\right)\\ {\mathrm{\&theta;}}_{\mathrm{ij}}\left[n\right]=e^{{\mathrm{\&alpha;}}_{\mathrm{\&theta;}}}{\mathrm{\&theta;}}_{\mathrm{ij}}[n-1]+V_{\mathrm{\&theta;}}{Y}_{\mathrm{ij}}[n-1]\\ Y_{\mathrm{ij}}\left[n\right]=\left\{\begin{array}{cc}1& U_{\mathrm{ij}}\left[n\right]\&GreaterEqual;{\mathrm{\&theta;}}_{\mathrm{ij}}\left[n\right]\\ 0& U_{\mathrm{ij}}\left[n\right]<{\mathrm{\&theta;}}_{\mathrm{ij}}\left[n\right]\end{array}\right.\\ T_{\mathrm{ij}}\left[n\right]=\left\{\begin{array}{cc}n& Y_{\mathrm{ij}}\left[n\right]=1\\ T_{\mathrm{ij}}[n-1]& Y_{\mathrm{ij}}\left[n\right]=0\end{array}\right.\end{array}\right.$

所述的下标ij表示图像中像素的位置为i行j列，i＝1，2，…，P，j＝1，2，…，Q，P为图像总的行数，Q为图像总的列数；所述的下标kl表示图像中像素的位置为k行l列；所述的上标d表示输入图像的序号，d＝1，2，…，N；所述的n为迭代次数；所述的[n]表示第n次迭代；所述的I^d表示输入的低频子带图像L^d或高频子带图像

所述的F^d表示多通道PCNN模型的输入；所述的Y表示多通道PCNN模型的输出；所述的L表示以位于i行j列的像素为中心的周围3×3邻域内像素的耦合连接；所述的U为内部活动信号；所述的θ表示动态阈值；所述的T为点火频率；所述的V_F为F的放大系数，V_F＞0；所述的V_L为L的放大系数，V_L＞0；所述的V_θ为θ的放大系数，V_θ＞0；所述的α_L为L的衰减系数，α_L≥0；所述的α_θ为θ的衰减系数，α_θ≥0；所述的C^d为输入耦合系数，C^d≥0且

所述的β为连接耦合系数，β≥0；所述的M为F的大小为3×3的反馈连接权矩阵；所述的W为L的大小为3×3的反馈连接权矩阵；

对低频子带图像，利用线性变换方法将点火频率图T^L的像素范围映射到N个低频子带图像L^d的像素范围的并集区间，直接将映射结果作为融合后的低频子带图像L^F；

对高频子带图像

将点火频率图

作为区域分割的依据，先对高频子带图像

进行区域分割，具体步骤如下：

步骤a：求取点火频率图

的直方图H(φ)；

步骤b：利用

计算得到直方图H(φ)的矢量重心

利用

计算得到直方图H(φ)的偏差s，并利用

和

计算得到分割阈值T1和T2；

所述的φ表示离散灰度级，φ＝1，2，…，Φ；所述的Φ为图像总的灰度级数，Φ≥1；

步骤c：利用分割阈值T1和T2将高频子带图像

分割成三种区域：点火频率图

中小于T1的像素对应着高频子带图像的均匀区域AreaJ，点火频率图

中大于T2的像素对应着高频子带图像

的边缘区域AreaB，而点火频率图

中介于T1和T2之间的像素对应着高频子带图像

的纹理区域AreaW；

然后，对高频子带图像

区域分割后的三种区域采用不同的融合规则进行融合处理，得到融合后的高频子带图像

具体为：

a.均匀区域AreaJ：按

计算得到高频子带图像

的融合结果；

所述的i表示像素位于图像的第i行；所述的j表示像素位于图像的第j列；所述的为位于融合后的高频子带图像

i行j列的像素值，

为位于高频子带图像i行j列且属于均匀区域AreaJ的像素值，d＝1，2，…，N；s^d为按计算得到的均匀区域的融合加权系数；所述的σ_d为高频子带图像

的标准差；

b.纹理区域AreaW：按

计算得到高频子带图像

的融合结果；

所述的

为位于高频子带图像

i行j列且属于纹理区域AreaW的像素值；所述的

为按

计算得到的纹理区域的融合加权系数；所述的

为高频子带图像

中以位于i行j列的像素为中心的3×3邻域内像素的标准差；

c.边缘区域AreaB：按

$H_{p,t}^F(i,j)=\arg \underset{H_{B_{p,t}}^d(i,j)}{\max }\left\{\right|H_{B_{p,t}}^d(i,j)|,H_{B_{p,t}}^d(i,j)\&Element;\{H_{B_{p,t}}^d(i,j),d=1,...,N\left\}\right\}$ 取模极大值对应的高频子带图像

中的像素值作为高频子带图像的融合结果；

所述的

为位于高频子带图像

i行j列且属于边缘区域AreaB的像素值；所述的 $\arg \underset{H_{B_{p,t}}^d(i,j)}{\max }\left\{\right|H_{B_{p,t}}^d(i,j)|,H_{B_{p,t}}^d(i,j)\&Element;\{H_{B_{p,t}}^d(i,j),d=1,...,N\left\}\right\}$ 表示使

取得最大值的那个

步骤4：小波重构：将融合处理后得到的低频子带图像L^F和高频子带图像进行小波重构，得到最终的融合结果图像。

2.根据权利要求1所述的一种基于小波变换和多通道PCNN的高光谱图像融合方法，其特征在于：所述的一致的灰度区间为[0，1]或[0，255]。

Images