CN106875370A - 一种全色图像和多光谱图像的融合方法及装置 - Google Patents

Abstract

本发明公开了一种全色图像和多光谱图像的融合方法及装置，该方法包括如下步骤：使多光谱图像与全色图像具有相同的像元尺寸，对处理后的多光谱图像进行变换，形成1个亮度分量和n‑1个角度分量；对全色图像进行灰度拉伸处理；将亮度分量与灰度拉伸后的全色图像融合，获得新的分量；对新的分量和n‑1个角度分量进行反变换，形成融合后的图像；该装置包括处理模块、变换模块、拉伸模块、融合模块及反变换模块。本发明的多光谱图像具有较高的空间分辨率，较好地保留了原始多光谱图像的光谱信息，有效地改善了传统融合方法存在的光谱扭曲问题，而且，通过本发明融合方法得到的融合图像具有整体对比度高、纹理清晰、边缘信息丰富等优点。

Description

一种全色图像和多光谱图像的融合方法及装置

技术领域

本发明涉及卫星获取的遥感影像融合的技术领域，更为具体来说，

本发明为一种全色图像和多光谱图像的融合方法及装置。

背景技术

由于技术的限制，目前卫星只能提供两种图像，一种是高分辨率全色图像(黑白的)，另一种是低分辨多光谱图像(彩色的)。当前各领域科学研究与应用对高质量的融合数据产品需求较大，为获取更高分辨率的彩色图像，需要将全色图像和多光谱图像融合。

但是，传统的融合方法存在融合质量差的问题。比如，有些融合方法会导致遥感图像发生光谱扭曲的现象，影响后期对遥感图像信息的解译和分析；有些融合方法会导致遥感图像细节模糊的问题。

因此，如何有效地提高全色图像和多光谱图像的融合质量，成为了本领域技术人员亟待解决的技术问题和始终研究的重点。

发明内容

为解决现有遥感影像融合方法存在的融合质量差的问题，本发明提供了一种全色图像和多光谱图像的融合方法及装置，对传统融合方法进行了合理的改进，提高了遥感图像的融合质量。

为实现上述的技术目的，本发明公开了一种全色图像和多光谱图像的融合方法，该融合方法包括如下步骤：

步骤1，对多光谱图像进行处理，使处理后的多光谱图像和全色图像具有相同的像元尺寸；

步骤2，对处理后的多光谱图像进行变换，形成1个亮度分量和n-1个角度分量，其中，n为分量总数；

步骤3，对全色图像进行灰度拉伸处理；

步骤4，将亮度分量与灰度拉伸后的全色图像融合，获得新的分量；

步骤5，对新的分量和n-1个角度分量进行反变换，形成融合后的图像。

本发明创新地通过变换的方式得到多光谱图像的亮度分量，将该亮度分量与灰度拉伸后的全色图像融合，得到新的分量，再将新的分量与前述变换得到的角度分量融合，从而得到融合后的图像。本发明通过融合得到的图像具有质量高、对比度高、纹理清晰、边缘信息丰富等优点。

进一步地，步骤4中，分别对亮度分量、灰度拉伸后的全色图像进行曲波变换，分离出亮度分量的高频部分和低频部分、灰度拉伸后的全色图像的高频部分和低频部分，将亮度分量的高频部分与灰度拉伸后的全色图像的高频部分融合、将亮度分量的低频部分与灰度拉伸后的全色图像的低频部分融合，对两个融合结果进行曲波反变换，获得新的分量。

进一步地，步骤4中，亮度分量的高频部分与灰度拉伸后的全色图像的高频部分的融合规则为：

其中，表示两个高频部分的融合结果，分别为PAN^*和I的高频系数，PAN^*为灰度拉伸后的全色图像，I为亮度分量；j为尺度参数，l为方向参数，(k₁,k₂)为被选取的图像局部区域中心。

进一步地，步骤4中，亮度分量的低频部分与灰度拉伸后的全色图像的低频部分的融合规则为：

其中，表示两个低频部分的融合结果，σ^PAN(k₁,k₂)、σ^I(k₁,k₂)为的局部区域标准差，分别为PAN^*和I的低频系数，PAN^*为灰度拉伸后的全色图像，I为亮度分量；(k₁,k₂)为被选取的图像局部区域中心；SR^PAN(k₁,k₂)、SR^I(k₁,k₂)分别为的局部方向信息熵。

进一步地，步骤4中，局部方向信息熵的计算方式为：

其中，SR(k₁,k₂)为局部方向信息熵，m×n为被选取的图像局部区域大小，R表示以(k₁,k₂)为中心选取的局部区域，C(i,j)为R的标准差，(i,j)为局部区域上的点。

进一步地，步骤2中，对处理后的多光谱图像进行超球体色彩空间变换；步骤5中，对新的分量和n-1个角度分量进行超球体色彩空间反变换。

本发明创新地将HCS变换(超球体色彩空间变换)和Curvelet变换(曲波变换)结合，大幅度提高了全色图像和多光谱图像的融合质量，有效改善了传统方法存在的光谱扭曲问题，融合影像在主观和客观上均取得较好的结果。

进一步地，步骤1中，通过立方卷积插值的方式处理多光谱图像。

进一步地，步骤3中，灰度拉伸处理采用的公式为：

其中，PAN^*为灰度拉伸后的全色图像，PAN为原全色图像，μ₁、σ₁分别为PAN²的均值和标准差，μ₀、σ₀分别为I²的均值和标准差，I为亮度分量。

本发明的另一发明目的在于提供一种全色图像和多光谱图像的融合装置，该融合装置包括处理模块、变换模块、拉伸模块、融合模块及反变换模块，处理模块与变换模块连接，变换模块与融合模块连接，融合模块与拉伸模块连接，融合模块、变换模块均与反变换模块连接；

处理模块，对多光谱图像进行处理，使处理后的多光谱图像和全色图像具有相同的像元尺寸；

变换模块，对处理后的多光谱图像进行变换，形成1个亮度分量和n-1个角度分量，其中，n为分量总数；

拉伸模块，对全色图像进行灰度拉伸处理；

融合模块，将亮度分量与灰度拉伸后的全色图像融合，获得新的分量；

反变换模块，对新的分量和n-1个角度分量进行反变换，形成融合后的图像。

本发明创新地通过融合装置得到多光谱图像的亮度分量，将亮度分量与灰度拉伸后的全色图像融合，得到新的分量，再将新的分量与前述变换得到的角度分量融合，从而得到融合后的图像。本发明通过融合得到的图像具有质量高、对比度高、纹理清晰、边缘信息丰富等优点。

进一步地，融合模块包括分离单元，分离单元分别对亮度分量、灰度拉伸后的全色图像进行曲波变换，分离出亮度分量的高频部分和低频部分、灰度拉伸后的全色图像的高频部分和低频部分。

本发明的有益效果为：本发明的多光谱图像具有较高的空间分辨率，较好地保留了原始多光谱图像的光谱信息，有效地改善了传统融合方法存在的光谱扭曲问题，而且通过本发明融合方法得到的融合图像具有整体对比度高、纹理清晰、边缘信息丰富等优点。另外，本发明在均值、标准差、相关系数、信息熵、平均梯度、相对偏差等指标取得了较好的结果。

附图说明

图1为全色图像和多光谱图像的融合方法流程示意图。

图2为全色图像和多光谱图像的融合装置组成示意图。

图3为全色图像和多光谱图像具体的融合过程图。

具体实施方式

下面结合说明书附图对本发明的全色图像和多光谱图像的融合方法及装置进行详细的解释和说明。

如图1、2、3所示，本发明公开了一种全色图像和多光谱图像的融合方法，融合方法包括如下步骤：

步骤1，对多光谱图像进行处理，使处理后的多光谱图像和全色图像具有相同的像元尺寸，为实现后期更好的融合效果；本实施例中，通过立方卷积插值的方式处理多光谱图像。

步骤2，对处理后的多光谱图像进行变换，形成1个亮度分量和n-1个角度分量，其中，n为分量总数；本实施例中，对处理后的多光谱图像进行超球体色彩空间变换。

步骤3，对全色图像进行灰度拉伸处理；具体地，灰度拉伸处理采用的公式为：

其中，PAN^*为灰度拉伸后的全色图像，PAN为原全色图像，μ₁、σ₁分别为PAN²的均值和标准差，μ₀、σ₀分别为I²的均值和标准差，I为亮度分量。

步骤4，将亮度分量与灰度拉伸后的全色图像融合，获得新的分量；本实施例中，分别对亮度分量、灰度拉伸后的全色图像进行曲波变换，曲波变换，即Curvelet变换，是一个新的图像多尺度几何分析工具，具有空间和频率的局域性，可将图像的空间特征(高频部分)和光谱特征(低频部分)进行分离。本发明利用Curvelet变换的优点，解决融合后的图像存在的光谱扭曲问题，更为具体地，本发明通过Wrap算法对遥感影像进行Curvelet变换，本发明通过曲波变换分离出亮度分量的高频部分和低频部分、灰度拉伸后的全色图像的高频部分和低频部分，将亮度分量的高频部分与灰度拉伸后的全色图像的高频部分融合、将亮度分量的低频部分与灰度拉伸后的全色图像的低频部分融合，对两个融合结果进行曲波反变换，获得新的分量。

对于高频系数，不同尺度及方向下的高频系数包含了图像的细节特征，本文采用绝对值取大的融合规则。具体来说，亮度分量的高频部分与灰度拉伸后的全色图像的高频部分的融合规则为：

其中，表示两个高频部分的融合结果，分别为PAN^*和I的高频系数，PAN^*为灰度拉伸后的全色图像，I为亮度分量；j为尺度参数，l为方向参数，(k₁,k₂)为被选取的图像局部区域中心。

对于低频系数，本发明提出了以区域标准差和局部方向信息熵为主要判断依据的低频系数自适应融合规则。具体来说，本实施例中，亮度分量的低频部分与灰度拉伸后的全色图像的低频部分的融合规则为：

其中，表示两个低频部分的融合结果，σ^PAN(k₁,k₂)、σ^I(k₁,k₂)为的局部区域标准差，分别为PAN^*和I的低频系数，PAN^*为灰度拉伸后的全色图像，I为亮度分量；(k₁,k₂)为被选取的图像局部区域中心；SR^PAN(k₁,k₂)、SR^I(k₁,k₂)分别为的局部方向信息熵。

具体来说，局部方向信息熵的计算方式为：

其中，SR(k₁,k₂)为局部方向信息熵，m×n为被选取的图像局部区域大小，R表示以(k₁,k₂)为中心选取的局部区域，C(i,j)为R的标准差，(i,j)为局部区域上的点。

步骤5，对新的分量和n-1个角度分量进行反变换，形成融合后的图像。对应于步骤2，本实施例中，对新的分量和n-1个角度分量进行超球体色彩空间反变换。

如图2、1、3所示，本发明还公开了一种全色图像和多光谱图像的融合装置，对应于本发明提供的融合方法，本发明的融合装置包括处理模块、变换模块、拉伸模块、融合模块及反变换模块，处理模块与变换模块连接，变换模块与融合模块连接，融合模块与拉伸模块连接，融合模块、变换模块均与反变换模块连接；

处理模块，对多光谱图像进行处理，使处理后的多光谱图像和全色图像具有相同的像元尺寸；

变换模块，对处理后的多光谱图像进行变换，形成1个亮度分量和n-1个角度分量，其中，n为分量总数；

拉伸模块，对全色图像进行灰度拉伸处理；

融合模块，将亮度分量与灰度拉伸后的全色图像融合，获得新的分量；

反变换模块，对新的分量和n-1个角度分量进行反变换，形成融合后的图像。

融合模块包括分离单元，分离单元分别对亮度分量、灰度拉伸后的全色图像进行曲波变换，分离出亮度分量的高频部分和低频部分、灰度拉伸后的全色图像的高频部分和低频部分。

如图3所示，本发明全色图像和多光谱图像的融合方法可按照如下的方式实施：

1)对n波段多光谱影像进行立方卷积插值，得到与PAN图像具有相同像元尺寸的MS图像，此处的“PAN图像”指的是高分辨率的全色图像，即处理前的原全色图像，此处的“MS图像”指的是低分辨率的多光谱图像。

2)对立方卷积插值后的MS图像进行HCS变换，形成1个亮度分量I和n-1个角度分量，此处的“HCS变换”指的是超球体色彩空间变换，HCS的全称为hyperspherical colorspace resolution merge。

3)对PAN图像进行灰度拉伸，得到PAN^*。采用的公式为：

其中，μ₁，σ₁分别为PAN²的均值和标准差，μ₀，σ₀分别为I²的均值和标准差。

4)对MS和PAN^*分别进行Curvelet变换得到低频和高频系数。针对变换后的低频和高频系数选用不同的融合规则，得到新的Curvelet变换系数，此处的“Curvelet变换”指的是曲波变换。然后，将得到的Curvelet变换系数进行Curvelet逆变换，从而得到新的I^*分量；

5)将新的I^*分量和步骤2)中的n-1个角度分量进行HCS反变换，形成融合后的图像。

本文以GF-2卫星的1m全色影像和4m多光谱影像作为实验数据。为验证算法的有效性，本发明选择地物丰富、特征多样的影像作为数据源，并且GF-2多光谱影像的4个波段都参与融合，并与其他方法进行比较。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“本实施例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明实质内容上所作的任何修改、等同替换和简单改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种全色图像和多光谱图像的融合方法，其特征在于：所述融合方法包括如下步骤：

步骤1，对多光谱图像进行处理，使处理后的多光谱图像和全色图像具有相同的像元尺寸；

步骤2，对处理后的多光谱图像进行变换，形成1个亮度分量和n-1个角度分量，其中，n为分量总数；

步骤3，对全色图像进行灰度拉伸处理；

步骤4，将所述亮度分量与灰度拉伸后的全色图像融合，获得新的分量；

步骤5，对新的分量和所述n-1个角度分量进行反变换，形成融合后的图像。

2.根据权利要求1所述的全色图像和多光谱图像的融合方法，其特征在于：步骤4中，分别对亮度分量、灰度拉伸后的全色图像进行曲波变换，分离出亮度分量的高频部分和低频部分、灰度拉伸后的全色图像的高频部分和低频部分，将亮度分量的高频部分与灰度拉伸后的全色图像的高频部分融合、将亮度分量的低频部分与灰度拉伸后的全色图像的低频部分融合，对两个融合结果进行曲波反变换，获得新的分量。

3.根据权利要求2所述的全色图像和多光谱图像的融合方法，其特征在于：步骤4中，亮度分量的高频部分与灰度拉伸后的全色图像的高频部分的融合规则为：

$C_{j,l}^F(k_1,k_2)=\left\{\begin{array}{c}{C}_{j,l}^{PAN}(k_1,k_2),\left|C_{j,l}^{PAN}\right(k_1,k_2\left)\right|>\left|C_{j,l}^I\right(k_1,k_2\left)\right|\\ C_{j,l}^I(k_1,k_2),\left|C_{j,l}^{PAN}\right(k_1,k_2\left)\right|\≤\left|C_{j,l}^I\right(k_1,k_2\left)\right|\end{array}\right.,$

其中，表示两个高频部分的融合结果，分别为PAN^*和I的高频系数，PAN^*为灰度拉伸后的全色图像，I为亮度分量；j为尺度参数，l为方向参数，(k₁,k₂)为被选取的图像局部区域中心。

4.根据权利要求2所述的全色图像和多光谱图像的融合方法，其特征在于：步骤4中，亮度分量的低频部分与灰度拉伸后的全色图像的低频部分的融合规则为：

$\left\{\begin{array}{c}{C}_0^F(k_1,k_2)=x_1(k_1,k_2)\×C_0^{PAN}(k_1,k_2)+x_2(k_1,k_2)\×C_0^I(k_1,k_2),{\mathrm{SR}}^{PAN}(k_1,k_2)>{\mathrm{SR}}^I(k_1,k_2)\\ C_0^F(k_1,k_2)=x_2(k_1,k_2)\×C_0^{PAN}(k_1,k_2)+x_1(k_1,k_2)\×C_0^I(k_1,k_2),{\mathrm{SR}}^{PAN}(k_1,k_2)>{\mathrm{SR}}^I(k_1,k_2)\end{array}\right.,$

$x_1(k_1,k_2)=\frac{\max \{{\mathrm{\σ}}^{PAN}(k_1,k_2),{\mathrm{\σ}}^I(k_1,k_2)\}}{\sqrt{{\mathrm{\σ}}^{PAN}{(k_1,k_2)}^2+{\mathrm{\σ}}^I{(k_1,k_2)}^2}},x_2(k_1,k_2)=\frac{\min \{{\mathrm{\σ}}^{PAN}(k_1,k_2),{\mathrm{\σ}}^I(k_1,k_2)\}}{\sqrt{{\mathrm{\σ}}^{PAN}{(k_1,k_2)}^2+{\mathrm{\σ}}^I{(k_1,k_2)}^2}}$

其中，表示两个低频部分的融合结果，σ^PAN(k₁,k₂)、σ^I(k₁,k₂)为的局部区域标准差，分别为PAN^*和I的低频系数，PAN^*为灰度拉伸后的全色图像，I为亮度分量；(k₁,k₂)为被选取的图像局部区域中心；SR^PAN(k₁,k₂)、SR^I(k₁,k₂)分别为的局部方向信息熵。

5.根据权利要求4所述的全色图像和多光谱图像的融合方法，其特征在于：步骤4中，局部方向信息熵的计算方式为：

$SR(k_1,k_2)=\frac{1}{m\×n}\underset{C(i,j)\∈R}{\Σ}\left|C(i,j){|}^2{\log }_2\right|C(i,j){|}^2,$

其中，SR(k₁,k₂)为局部方向信息熵，m×n为被选取的图像局部区域大小，R表示以(k₁,k₂)为中心选取的局部区域，C(i,j)为R的标准差，(i,j)为局部区域上的点。

6.根据权利要求1至5中任一权利要求所述的全色图像和多光谱图像的融合方法，其特征在于：步骤2中，对处理后的多光谱图像进行超球体色彩空间变换；步骤5中，对新的分量和所述n-1个角度分量进行超球体色彩空间反变换。

7.根据权利要求6所述的全色图像和多光谱图像的融合方法，其特征在于：步骤1中，通过立方卷积插值的方式处理多光谱图像。

8.根据权利要求1或7所述的全色图像和多光谱图像的融合方法，其特征在于：步骤3中，灰度拉伸处理采用的公式为：

其中，PAN^*为灰度拉伸后的全色图像，PAN为原全色图像，μ₁、σ₁分别为PAN²的均值和标准差，μ₀、σ₀分别为I²的均值和标准差，I为亮度分量。

9.一种全色图像和多光谱图像的融合装置，其特征在于：所述融合装置包括处理模块、变换模块、拉伸模块、融合模块及反变换模块，所述处理模块与所述变换模块连接，所述变换模块与所述融合模块连接，所述融合模块与所述拉伸模块连接，所述融合模块、变换模块均与所述反变换模块连接；

所述处理模块，对多光谱图像进行处理，使处理后的多光谱图像和全色图像具有相同的像元尺寸；

所述变换模块，对处理后的多光谱图像进行变换，形成1个亮度分量和n-1个角度分量，其中，n为分量总数；

所述拉伸模块，对全色图像进行灰度拉伸处理；

所述融合模块，将所述亮度分量与灰度拉伸后的全色图像融合，获得新的分量；

所述反变换模块，对新的分量和所述n-1个角度分量进行反变换，形成融合后的图像。

10.根据权利要求9所述的全色图像和多光谱图像的融合装置，其特征在于：所述融合模块包括分离单元，所述分离单元分别对亮度分量、灰度拉伸后的全色图像进行曲波变换，分离出亮度分量的高频部分和低频部分、灰度拉伸后的全色图像的高频部分和低频部分。