CN102789639B - 基于非负矩阵分解的高光谱图像和可见光图像融合方法 - Google Patents

Abstract

本发明公开了一种基于非负矩阵分解的将高光谱图像与可见光图像进行融合的方法，包括：利用基于稀疏约束的非负矩阵分解方法对高光谱图像进行解混，得到端元光谱曲线；根据可见光图像的光谱吸收曲线和解混得到的端元光谱曲线，利用有约束的二次规划来求解图像中每个像元的混合系数；将解混得到的端元光谱曲线和每个像元的混合系数进行线性混合，得到高空间分辨率和高光谱图像的融合图像。本发明解决了高光谱图像某些波段光谱与可见光图像不相关的问题。利用基于稀疏约束的非负矩阵分解对高光谱图像进行解混，可得到更为准确的端元光谱。同时利用有约束的二次规划问题，能得到像元的混合系数。本发明得到的融合图像具有高空间分辨率和高光谱分辨率。

Description

基于非负矩阵分解的高光谱图像和可见光图像融合方法

技术领域

本发明涉及遥感图像处理技术领域，尤其涉及一种基于非负矩阵分解的将高光谱图像与可见光图像进行融合的方法，用于航天、航空传感器平台获取的高光谱图像和可见光图像的融合。

背景技术

在遥感图像处理领域，对于光学传感器，图像的空间分辨率和光谱分辨率是一对矛盾的因素。要获得高空间分辨率的图像就只能以单光谱工作，而要获得高光谱就必须降低空间分辨率。高光谱图像在探测地表和大气的物质种类、评价和测量光谱所反映出的物质含量、确定一个光谱混合的空间单元内各组成的面积比、描绘各类地物的空间分布、通过周期的数据监测各类地物的变换等应用领域发挥了越来越大得作用。但是由于光谱分辨率和空间分辨率的矛盾性，高光谱图像的空间分辨率一般都比较低，难以反映目标的空间细节信息。得到高空间分辨率和高光谱分辨率的图像不仅能反映目标的空间细节，而且能表现出目标的连续光谱特性。因此利用图像融合的方法融合高空间分辨率的可见光图像和高光谱分辨率的高光谱图像来得到高空间分辨率高光谱图像具有重要的实用价值。

国内外的研究者针对高光谱图像和可见光图像的融合进行了一定的研究和探讨。其中经典的方法有：颜色空间转换法(HIS)、主成分分析法(PCA)、代数乘法(Brovey)和小波变换法等。但是这些方法一般情况下只适合可见光图像和光谱图像存在一定相关性时才能有效，而高光谱图像中的很多光谱波段与可见光图像不存在相关性，因此，这些算法在处理高光谱图像和可见光谱图像融合时得到的结果很难达到理想的效果。

融合高光谱图像和可见光图像得到高空间分辨率高光谱图像不仅有助于判读人员的判读效率和精度，而且可以充分利用得到的高空间分辨率高光谱图像进行地物精细的地物分类，本发明克服传统的高光谱图像只能进行初略地物分类的特点，同时对高光谱进行了光谱解混，使得融合图像的像元都是纯像元不存在混合像元，这就更有利于进一步进行目标检测、识别等。

发明内容

(一)要解决的技术问题

为了克服现有图像融合方法不适用域高光谱图像与可见光图像融合的不足，本发明的主要目的在于提供一种基于非负矩阵分解的将高光谱图像与可见光图像进行融合的方法。

(二)技术方案

为达到上述目的，本发明提供了一种基于非负矩阵分解的将高光谱图像与可见光图像进行融合的方法，包括：利用基于稀疏约束的非负矩阵分解方法对高光谱图像进行解混，得到端元光谱曲线；根据可见光图像的光谱吸收曲线和解混得到的端元光谱曲线，利用有约束的二次规划来求解图像中每个像元的混合系数；以及将解混得到的端元光谱曲线和每个像元的混合系数进行线性混合，得到高空间分辨率和高光谱图像的融合图像。

上述方案中，所述利用基于稀疏约束的非负矩阵分解方法对高光谱图像讲行解混，采用如下公式实现：

$\underset{W,H}{\min }({|X-W{H}^T|}^2+\mathrm{\λ}{\left|H\right|}_1),$ 满足W_ij≥0，H_kj≥0

式中，X为高光谱图像每个像元所组成的矩阵，其每一列为一个像元，W为端元矩阵，其每一列为一个端元光谱，H为丰度矩阵，T表示矩阵转置符号，W_ij表示矩阵W的第(i，j)个元素，H_kj表示矩阵H的第(k，j)个元素，λ为正则化系数。

上述方案中，所述采用公式

$\underset{W,H}{\min }({|X-W{H}^T|}^2+\mathrm{\λ}{\left|H\right|}_1),$ 满足W_ij≥0，H_kj≥0

对高光谱图像进行解混，具体步骤如下：

步骤S11：随机初始化非负矩阵W和H；

步骤S12：利用乘性更新法更新W和H：

$W_{\mathrm{ij}}=W_{\mathrm{ij}}\frac{{\left(\mathrm{XH}\right)}_{\mathrm{ij}}}{{\left(W{H}^{T}H\right)}_{\mathrm{ij}}}$

$H_{\mathrm{kj}}=H_{\mathrm{kj}}\frac{{\left(X^{T}W\right)}_{\mathrm{kj}}}{{\left(H{W}^{T}W\right)}_{\mathrm{kj}}}$

步骤S13：判断是否收敛，如果没有收敛则重复执行步骤S12，如果收敛则继续执行步骤S14；

步骤S14：得到端元光谱曲线W。

上述方案中，所述根据可见光图像的光谱吸收曲线和解混得到的端元光谱曲线，利用有约束的二次规划来求解图像中每个像元的混合系数，采用如下公式实现：

$\underset{h(i,j)}{\min }{|y(i,j)-\mathrm{AWh}(i,j)|}^2,$ 满足 $h(i,j,k)\≥0,\underset{k}{\mathrm{\Σ}}h(i,j,k)=1$

式中：y(i，j)为可见光图像中点(i，j)的光谱，A表示可见光图像的光谱吸收曲线，h(i，j)表示像元(i，j)的混合系数向量，h(i，j，k)为向量h(i，j)第k维的值，W为端元矩阵。

上述方案中，所述将解混得到的端元光谱曲线和每个像元的混合系数进行线性混合，得到高空间分辨率和高光谱图像的融合图像，采用如下函数实现：

Z(i，j)＝Wh(i，j)

式中：Z(i，j)表示融合图像像元(i，j)的光谱。

(三)有益效果

本发明的有益效果是，本发明通过基于非负矩阵分解的高光谱图像和可见光图像的融合方法，解决了高光谱图像某些波段光谱与可见光图像不相关的问题。利用基于稀疏约束的非负矩阵分解对高光谱图像进行解混，可以得到更为准确的端元光谱。同时利用有约束的二次规划问题，能得到像元的混合系数。本发明得到的融合图像具有高空间分辨率和高光谱分辨率。

附图说明

图1是依照本发明实施例的基于非负矩阵分解的将高光谱图像与可见光图像进行融合的方法流程图。

图2是依照本发明实施例的基于稀疏约束的非负矩阵分解进行高光谱图像解混的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。应指出的是，所描述的实例仅旨在便于对本发明的理解，而对其不起任何限定作用。本发明使用的方法既可以在个人计算机、工控机及服务器上以软件的形式安装并执行，也可将方法做成嵌入式芯片以硬件的形式来体现。

图1给出了依照本发明实施例的基于非负矩阵分解的将高光谱图像与可见光图像进行融合的方法流程图，该方法包括以下步骤：

步骤S1：利用基于稀疏约束的非负矩阵分解方法对高光谱图像进行解混，得到端元光谱曲线；

步骤S2：根据可见光图像的光谱吸收曲线和解混得到的端元光谱曲线，利用有约束的二次规划来求解图像中每个像元的混合系数；

步骤S3：将解混得到的端元光谱曲线和每个像元的混合系数进行线性混合，得到高空间分辨率和高光谱图像的融合图像。

其中，步骤S1中所述利用基于稀疏约束的非负矩阵分解方法对高光谱图像进行解混，采用如下公式实现：

$\underset{W,H}{\min }({|X-W{H}^T|}^2+\mathrm{\λ}{\left|H\right|}_1),$ 满足W_ij≥0，H_kj≥0

式中，X为高光谱图像每个像元所组成的矩阵，其每一列为一个像元，W为端元矩阵，其每一列为一个端元光谱，H为丰度矩阵，T表示矩阵转置符号，W_ij表示矩阵W的第(i，j)个元素，H_kj表示矩阵H的第(k，j)个元素，λ为正则化系数。

图2示出了依照本发明实施例的基于稀疏约束的非负矩阵分解进行高光谱图像解混的流程图。该方法将高光谱图像中的所有像元组合成数据矩阵X，设端元矩阵为W，丰度矩阵为H，目标函数为：

$\underset{W,H}{\min }({|X-W{H}^T|}^2+\mathrm{\λ}{\left|H\right|}_1),$ 满足W_ij≥0，H_kj≥0

利用乘性更新法更新W和H：

$W_{\mathrm{ij}}=W_{\mathrm{ij}}\frac{{\left(\mathrm{XH}\right)}_{\mathrm{ij}}}{{\left(W{H}^{T}H\right)}_{\mathrm{ij}}}$

$H_{\mathrm{kj}}=H_{\mathrm{kj}}\frac{{\left(X^{T}W\right)}_{\mathrm{kj}}}{{\left(H{W}^{T}W\right)}_{\mathrm{kj}}}$

因此，给W和H随机初始化为一个非负矩阵后，再重复迭代上述两个公式，就可以得到W和H的收敛解。

具体来说，采用公式min_W，H(|X-WH^T|²+λ|H|₁)，满足W_ij≥0，H_kj≥0对高光谱图像进行解混，具体步骤如下：

步骤S11：随机初始化非负矩阵W和H；

步骤S12：利用乘性更新法更新W和H：

$W_{\mathrm{ij}}=W_{\mathrm{ij}}\frac{{\left(\mathrm{XH}\right)}_{\mathrm{ij}}}{{\left(W{H}^{T}H\right)}_{\mathrm{ij}}}$

$H_{\mathrm{kj}}=H_{\mathrm{kj}}\frac{{\left(X^{T}W\right)}_{\mathrm{kj}}}{{\left(H{W}^{T}W\right)}_{\mathrm{kj}}}$

步骤S13：判断是否收敛，如果没有收敛则重复执行步骤S12，如果收敛则继续执行步骤S14；

步骤S14：得到端元光谱曲线W。

步骤S2中所述根据可见光图像的光谱吸收曲线和解混得到的端元光谱曲线，利用有约束的二次规划来求解图像中每个像元的混合系数，采用如下公式实现：

$\underset{h(i,j)}{\min }{|y(i,j)-\mathrm{AWh}(i,j)|}^2,$ 满足 $h(i,j,k)\≥0,\underset{k}{\mathrm{\Σ}}h(i,j,k)=1$

式中：y(i，j)为可见光图像中点(i，j)的光谱，A表示可见光图像的光谱吸收曲线，h(i，j)表示像元(i，j)的混合系数向量，h(i，j，k)为向量h(i，j)的第k维的值，W为端元矩阵。

步骤S3中所述将解混得到的端元光谱曲线和每个像元的混合系数进行线性混合，得到高空间分辨率和高光谱图像的融合图像，采用如下函数实现：

Z(i，j)＝Wh(i，j)

式中：Z(i，j)表示融合图像像元(i，j)的光谱。

本发明提供的基于非负矩阵分解的将高光谱图像与可见光图像进行融合的方法，首先输入配准好的高光谱图像和可见光图像，接着利用非负矩阵分解方法对高光谱图像解混，在非负矩阵解混中加入了丰度矩阵的稀疏约束，能使解混更为准确。根据可见光图像的光谱吸收曲线和解混得到的端元光谱，利用有约束的二次规划来求解图像中每个像元的混合系数。最后线性混合端元光谱和混合系数得到高空间分辨率和高光谱图像的融合图像。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于非负矩阵分解的将高光谱图像与可见光图像进行融合的方法，其特征在于，包括：

利用基于稀疏约束的非负矩阵分解方法对高光谱图像进行解混，得到端元光谱曲线；

根据可见光图像的光谱吸收曲线和解混得到的端元光谱曲线，利用有约束的二次规划来求解图像中每个像元的混合系数；以及

将解混得到的端元光谱曲线和每个像元的混合系数进行线性混合，得到高空间分辨率和高光谱图像的融合图像；

其中，所述根据可见光图像的光谱吸收曲线和解混得到的端元光谱曲线，利用有约束的二次规划来求解图像中每个像元的混合系数，采用如下公式实现：

$\underset{h(i,j)}{\min }|y(i,j)-\mathrm{AWh}(i,j){|}^2,$ 满足 $h(i,j,k)\≥0,\underset{k}{\mathrm{\Σ}}h(i,j,k)=1$

式中：y(i，j)为可见光图像中点(i，j)的光谱，A表示可见光图像的光谱吸收曲线，h(i，j)表示像元(i，j)的混合系数向量，h(i，j，k)为向量h(i，j)的第k维的值，W为端元矩阵。

2.根据权利要求1所述的基于非负矩阵分解的将高光谱图像与可见光图像进行融合的方法，其特征在于，所述利用基于稀疏约束的非负矩阵分解方法对高光谱图像进行解混，采用如下公式实现：

$\underset{W,H}{\min }\left(\right|X-{\mathrm{WH}}^T{|}^2+\mathrm{\λ}\left|H{|}_1\right),$ 满足W_ij≥0，H_kj≥0

式中，X为高光谱图像每个像元所组成的矩阵，其每一列为一个像元，W为端元矩阵，其每一列为一个端元光谱，H为丰度矩阵，T表示矩阵转置符号，W_ij表示矩阵W的第(i，j)个元素，H_kj表示矩阵H的第(k，j)个元素，λ为正则化系数。

3.根据权利要求2所述的基于非负矩阵分解的将高光谱图像与可见光图像进行融合的方法，其特征在于，所述采用公式

$\underset{W,H}{\min }\left(\right|X-{\mathrm{WH}}^T{|}^2+\mathrm{\λ}\left|H{|}_1\right),$ 满足W_ij≥0，H_kj≥0

对高光谱图像进行解混，具体步骤如下：

步骤S11：随机初始化非负矩阵W和H；

步骤S12：利用乘性更新法更新W和H：

$W_{\mathrm{ij}}=W_{\mathrm{ij}}\frac{{\left(\mathrm{XH}\right)}_{\mathrm{ij}}}{{\left({\mathrm{WH}}^{T}H\right)}_{\mathrm{ij}}}$

$H_{\mathrm{kj}}=H_{\mathrm{kj}}\frac{{\left(X^{T}W\right)}_{\mathrm{kj}}}{{\left({\mathrm{HW}}^{T}W\right)}_{\mathrm{kj}}}$

步骤S13：判断是否收敛，如果没有收敛则重复执行步骤S12，如果收敛则继续执行步骤S14；

步骤S14：得到端元光谱曲线W。

4.根据权利要求1所述的基于非负矩阵分解的将高光谱图像与可见光图像进行融合的方法，其特征在于，所述将解混得到的端元光谱曲线和每个像元的混合系数进行线性混合，得到高空间分辨率和高光谱图像的融合图像，采用如下函数实现：

Z(i，j)＝Wh(i，j)

式中：Z(i，j)表示融合图像像元(i，j)的光谱。