CN113920431A - 一种适用于高分辨率遥感影像的融合方法 - Google Patents

Abstract

本发明是一种适用于高分辨率遥感影像的融合方法。本发明涉及遥感影像融合领域，具体涉及一种适用于高分辨率遥感影像的融合方法的设计。本发明主要解决高分辨率的全色影像与分辨率略低一些的多光谱影像融合得到高分辨率多光谱影像的问题。本发明利用YOLACT深度学习方法，对高分辨率全色影像中的建筑进行提取，从影像中截取滑动窗口，根据滑动窗口内的建筑物数量与分布，计算得到“建筑权值”，然后以SFIM融合方法为基础，融合运算的参数随着“建筑权值”的变化而自适应调整，从而使建筑区域与非建筑区域的融合效果都实现最优，最终得到视觉效果与清晰度更好、信息量更丰富的高分辨率多光谱影像。

Description

一种适用于高分辨率遥感影像的融合方法

技术领域

本发明涉及遥感影像融合技术领域，是一种适用于高分辨率遥感影像的融合方法。

背景技术

获取遥感影像时往往难以兼顾高分辨率与多光谱两个方面，因此将高分辨率的全色影像与分辨率略低一些的多光谱影像融合得到高分辨率多光谱影像的技术显得至关重要。遥感影像融合技术可以使上述两种影像优势互补，为用户提供信息更丰富、更真实清晰的融合影像，有利于提升图像的特征提取、目标分类识别的精度，增强数据的实用性。

目前遥感影像融合的方法主要分为像素级融合、特征级融合与决策级融合三类。后两类融合方法计算较为复杂，仍处于研究实验阶段，没有在工程化的商业软件中得到广泛应用，因此这里主要介绍第一类融合方法。像素级融合方法中，在商业软件中常见的方法包括亮度-色调-饱和度(Intensity Hue Saturation，IHS)变换、Brovey变换、主成分分析(Principal Components Analysis，PCA)变换、GS(Gram-Schmidt)变换、PanSharp融合、SFIM(Smoothing Filter-based Intensity Modulation)融合方法等。其中IHS变换与Brovey变换只能处理三个波段的多光谱影像，因此这里不作过多介绍。PCA变换首先对多光谱影像进行多维正交线性变换，用高分辨率全色影像替换信息量最多的第一个分量，然后进行逆变换得到高分辨率的多光谱影像，由于第一分量的信息过于集中，融合影像会存在较大的光谱畸变(即颜色失真)；GS变换的原理与PCA变换类似，变换后各个分量包含的信息量相差不大，可以一定程度的改善光谱畸变的问题，但计算量较大，不适用于处理较大尺寸的高分辨率遥感影像。

学者根据DN(Digital Number)值、辐照度与地表反射率的关系，提出Fusion＝MS×Pan/Pan’，其中Fusion表示融合结果，MS表示多光谱影像，Pan表示高分辨率全色影像，Pan’表示低分辨率全色影像。理想的Pan’应具有与MS一致的空间特征，在运算中可以抵消掉MS的空间信息；理想的Pan’应具有与Pan一致的光谱特征，在运算中可以抵消掉Pan的光谱与对比度信息，只保留高分辨率影像的边缘细节信息。PanSharp方法通过多光谱影像的加权拟合来获取Pan’，基于最小二乘法计算各个波段的权重，当影像较大或存在云、海等过亮或过暗的地物时，权重系数会受极端灰度区域的影响，从而加剧PanSharp方法的光谱畸变，导致融合结果颜色失真。SFIM通过对Pan进行邻域滤波来得到Pan’，满足与Pan的光谱特征相似的要求，但Pan’的空间特征与MS相差较大，导致融合结果空间信息融入度低，清晰度不佳。有的学者在SFIM方法的基础上进行改进，通过调整高斯滤波参数，使Pan’与MS所有波段的平均梯度值相等，从而使Pan’的空间特征与MS相近，对融合结果的清晰程度有所改善。

IHS变换、Brovey变换只支持三个波段，而目前大多数多光谱影像都具有至少4个波段(蓝波段、绿波段、红波段与近红外波段)，因此这两种方法使用场景受限；PCA变换方法由于第一分量的信息过于集中，融合影像会存在较大的光谱畸变(即颜色失真)；GS变换可以一定程度的改善光谱畸变的问题，但计算量较大，不适用于处理较大尺寸的高分辨率遥感影像。PanSharp方法受极端灰度区域的影响，易导致融合结果颜色失真；传统的SFIM方法融合结果空间信息融入度低，清晰度不佳；改进的SFIM方法对于MS计算平均梯度，建筑区域的空间特征信息较丰富，平均梯度往往较大，而非建筑区域(如植被、裸土等)空间特征信息较稀疏，平均梯度较小，但该方法对于上述区域均采用同一组融合参数进行处理，导致建筑区域与非建筑区域都难以获得各自的最优效果，融合影像的视觉效果、清晰度与信息量仍不理想。

发明内容

本发明针对现有技术的缺点，首先利用YOLACT深度学习方法，对高分辨率全色影像中的建筑进行提取，对建筑区域与非建筑区域进行区分，以SFIM融合方法为基础进行改进，采用自适应的参数进行融合，从而使两类区域的融合效果都实现最优。

本发明提供了一种适用于高分辨率遥感影像的融合方法，本发明提供了以下技术方案：

一种适用于高分辨率遥感影像的融合方法，包括以下步骤：

步骤1：利用YOLACT深度学习框架，对高分辨率的全色影像Pan进行建筑实例分割；

步骤2：剔除建筑分割结果中的异常值，根据影像分辨率与分割结果的像素面积，得到建筑分割结果的实地面积；

步骤3：从分割结果上取一个圆形的滑动窗口；

步骤4：对多光谱影像MS上采样至与全色影像Pan相同的分辨率；

步骤5：取建筑权值部分作为建筑区域，分别计算多光谱影像MS两个区域的平均梯度；

步骤6：对全色影像Pan进行高斯滤波，确定融合影像Fusion。

优选地，所述步骤1具体为：

利用YOLACT深度学习框架，对高分辨率的全色影像Pan进行建筑实例分割，判定为建筑区域的像素赋值为1，判定为非建筑区域的像素赋值为0，所使用的YOLACT框架已经用人工标注建筑物的遥感影像样本进行训练。

优选地，所述步骤2具体为：根据影像分辨率与分割结果的像素面积，得到建筑分割结果的实地面积，对面积大于140,000平方米或小于40平方米的建筑分割结果进行剔除；白色图斑表示被判定为建筑的像素，圆圈标注的面积过小的建筑分割结果剔除。

优选地，所述步骤3具体为：

从分割结果seg上取一个圆形的滑动窗口P，设P的中心像素坐标为(x,y)，计算中心像素的建筑权值γ(x,y)，通过下式表示：

其中，seg(x,y)表示该像素点的建筑分割结果，当值为1表示该像素被判定为建筑，值为0表示该像素被判定为非建筑；n表示滑动窗口P内提取的建筑个数；d₁,d₂,...,d_n,表示滑动窗口中心点到n个建筑的距离，单位为米；d_th是一个常数，min表示取输入的数值中最小的一个，max表示取输入的数值中最大的一个。

优选地，滑动窗口P的半径取400米，d_th设为50；随着P不断滑动，seg影像上每个像素都计算得到一个建筑权值，保存为影像。

优选地，所述步骤5具体为：

取建筑权值γ(x,y)>0.5部分作为建筑区域，将γ(x,y)≤0.5部分作为非建筑区域，分别计算多光谱影像MS两个区域的平均梯度AG_B和AG_O，单个波段的平均梯度的计算公式如下式所示：：

其中，M、N表示影像的高度、宽度，单位为像素；f为影像的一个波段，f(i,j)表示该波段第i行j列的像素值；

(k＝1,2,...,C)表示各个波段的建筑区域与非建筑区域的平均梯度，其中C表示波段数；AG_B和AG_O的值为各个波段平均梯度的平均值。

优选地，所述步骤6具体为：

步骤6.1：对全色影像Pan进行高斯滤波，通过下式所示：

其中，G表示权值，x、y表示像素坐标，

步骤6.2：依次取σ＝0.5,0.6,0.7,0.8,0.9,1.0，得到5个高斯滤波后的Pan，分别计算其平均梯度，以平均梯度为纵轴，σ为横轴，拟合二次多项式；

步骤6.3：当拟合曲线的值达到AG_B和AG_O，取大于0的最小的解作为σ_B与σ_O值，即当高斯滤波的σ参数取值为σ_B与σ_O时，分别实现建筑区域与非建筑区域的融合效果的最优；

步骤6.4：对Pan进行高斯滤波，σ分别取σ_B和σ_O，得到Pan'_B和Pan'_O；将Pan'_B和Pan'_O根据建筑权值γ(x,y)加权叠加得到Pan'，通过下式表示：

Pan'(x,y)＝γ(x,y)×Pan'_B(x,y)+(1-γ(x,y))×Pan'_O(x,y) (6)

其中，Pan'(x,y)、Pan'_B(x,y)与Pan'_O(x,y)表示取点(x,y)处的像素值；

利用SFIM模型求解得到最终的融合影像Fusion，通过下式表示：

本发明具有以下有益效果：

本发明涉及遥感影像融合领域，具体涉及一种适用于高分辨率遥感影像的融合方法的设计。本发明主要解决高分辨率的全色影像与分辨率略低一些的多光谱影像融合得到高分辨率多光谱影像的问题。本发明利用YOLACT深度学习方法，对高分辨率全色影像中的建筑进行提取，从影像中截取滑动窗口，根据滑动窗口内的建筑物数量与分布，计算得到“建筑权值”，然后以SFIM融合方法为基础，融合运算的参数随着“建筑权值”的变化而自适应调整，从而使建筑区域与非建筑区域的融合效果都实现最优，最终得到视觉效果与清晰度更好、信息量更丰富的高分辨率多光谱影像。

附图说明

图1高分辨率的全色影像；

图2分辨率稍低一些的多光谱影像；

图3建筑分割结果；

图4建筑权值γ；

图5平均梯度AG与σ参数的二次多项式拟合；

图6本发明方法与其他方法融合效果；

图7为一种适用于高分辨率遥感影像的融合方法流程图。

具体实施方式

以下结合具体实施例，对本发明进行了详细说明。

具体实施例一：

根据图1至图7所示，本发明为解决上述技术问题采取的具体优化技术方案是：一种适用于高分辨率遥感影像的融合方法，包括以下步骤：

一种适用于高分辨率遥感影像的融合方法，包括以下步骤：

步骤1：利用YOLACT深度学习框架，对高分辨率的全色影像Pan进行建筑实例分割；

所述步骤1具体为：

利用YOLACT深度学习框架，对高分辨率的全色影像Pan进行建筑实例分割，判定为建筑区域的像素赋值为1，判定为非建筑区域的像素赋值为0，如图1、图2、图3所示。需要注意的是，所使用的YOLACT框架已经用人工标注建筑物的遥感影像样本进行训练。

步骤2：剔除建筑分割结果中的异常值，根据影像分辨率与分割结果的像素面积，得到建筑分割结果的实地面积；

所述步骤2具体为：根据影像分辨率与分割结果的像素面积，得到建筑分割结果的实地面积，对面积大于140,000平方米或小于40平方米的建筑分割结果进行剔除；如图3所示，白色图斑表示被判定为建筑的像素，圆圈标注的面积过小的建筑分割结果剔除。

步骤3：从分割结果上取一个圆形的滑动窗口；

所述步骤3具体为：

从分割结果seg上取一个圆形的滑动窗口P，设P的中心像素坐标为(x,y)，计算中心像素的建筑权值γ(x,y)，通过下式表示：

其中，seg(x,y)表示该像素点的建筑分割结果，当值为1表示该像素被判定为建筑，值为0表示该像素被判定为非建筑；n表示滑动窗口P内提取的建筑个数；d₁,d₂,...,d_n,表示滑动窗口中心点到n个建筑的距离，单位为米；d_th是一个常数，min表示取输入的数值中最小的一个，max表示取输入的数值中最大的一个。

滑动窗口P的半径取400米，d_th设为50；随着P不断滑动，seg影像上每个像素都计算得到一个建筑权值，保存为影像，如图4所示。

步骤4：对多光谱影像MS上采样至与全色影像Pan相同的分辨率；

步骤5：取建筑权值部分作为建筑区域，分别计算多光谱影像MS两个区域的平均梯度；

所述步骤5具体为：

取建筑权值γ(x,y)>0.5部分作为建筑区域，将γ(x，y)≤0.5部分作为非建筑区域，分别计算多光谱影像MS两个区域的平均梯度AG_B和AG_O，单个波段的平均梯度的计算公式如下式所示：：

其中，M、N表示影像的高度、宽度，单位为像素；f为影像的一个波段，f(i，j)表示该波段第i行j列的像素值；

(k＝1,2,...,C)表示各个波段的建筑区域与非建筑区域的平均梯度，其中C表示波段数；AG_B和AG_O的值为各个波段平均梯度的平均值。

步骤6：对全色影像Pan进行高斯滤波，确定融合影像Fusion。

所述步骤6具体为：

步骤6.1：对全色影像Pan进行高斯滤波，通过下式所示：

其中，G表示权值，x、y表示像素坐标，

步骤6.2：依次取σ＝0.5,0.6,0.7,0.8,0.9,1.0，得到5个高斯滤波后的Pan，分别计算其平均梯度，以平均梯度为纵轴，σ为横轴，拟合二次多项式；

步骤6.3：当拟合曲线的值达到AG_B和AG_O，取大于0的最小的解作为σ_B与σ_O值，即当高斯滤波的σ参数取值为σ_B与σ_O时，分别实现建筑区域与非建筑区域的融合效果的最优，如图5所示。

步骤6.4：对Pan进行高斯滤波，σ分别取σ_B和σ_O，得到Pan'_B和Pan'_O；将Pan'_B和Pan'_O根据建筑权值γ(x，y)加权叠加得到Pan'，通过下式表示：

Pan'(x，y)＝γ(x，y)×Pan'_B(x，y)+(1-γ(x，y))×Pan'_O(x，y) (6)

其中，Pan'(x，y)、Pan'_B(x，y)与Pan'_O(x，y)表示取点(x，y)处的像素值；

利用SFIM模型求解得到最终的融合影像Fusion，通过下式表示：

最终的融合影像Fusion与其他商业软件中的融合方法的处理效果如图6所示，定量评价效果如表1所示(波段1～4依次表示蓝、绿、红、近红外波段，最佳的数值用加粗字体标识)，从清晰程度、信息量、与原始影像的相似性等方面看，本发明提出的方法显著优于其他方法。

表1各方法融合结果的定量评价

由于影像内建筑区域与非建筑区域的结构特征、纹理特征、细节信息相差较大，而现有融合方法对于建筑区域与非建筑区域没有进行区分，对两类区域采用同样的参数进行融合处理，而相同的参数难以在两个区域都达到各自的最优效果。

本发明方法克服了现有方法的缺陷，以SFIM融合方法为基础进行改进，创新性地利用YOLACT深度学习方法，对高分辨率全色影像中的建筑进行提取，然后计算“建筑权值”，融合运算的参数随着“建筑权值”的变化而自适应调整，从而使建筑区域与非建筑区域的融合效果都实现最优。实验表明，本发明提出的方法，在清晰程度、信息量、与原始影像的相似性等方面，显著优于其他融合方法。本方法广泛适用于各种米级、亚米级高分辨率遥感影像，为影像产品的自动化生产提供技术支撑，可服务于测绘、土地规划、自然资源调查、军事等领域。

以上所述仅是一种适用于高分辨率遥感影像的融合方法的优选实施方式，一种适用于高分辨率遥感影像的融合方法的保护范围并不仅局限于上述实施例，凡属于该思路下的技术方案均属于本发明的保护范围。应当指出，对于本领域的技术人员来说，在不脱离本发明原理前提下的若干改进和变化，这些改进和变化也应视为本发明的保护范围。

Claims (7)

1.一种适用于高分辨率遥感影像的融合方法，其特征是：包括以下步骤：

步骤1：利用YOLACT深度学习框架，对高分辨率的全色影像Pan进行建筑实例分割；

步骤2：剔除建筑分割结果中的异常值，根据影像分辨率与分割结果的像素面积，得到建筑分割结果的实地面积；

步骤3：从分割结果上取一个圆形的滑动窗口；

步骤4：对多光谱影像MS上采样至与全色影像Pan相同的分辨率；

步骤5：取建筑权值部分作为建筑区域，分别计算多光谱影像MS两个区域的平均梯度；

步骤6：对全色影像Pan进行高斯滤波，确定融合影像Fusion。

2.根据权利要求1所述的一种适用于高分辨率遥感影像的融合方法，其特征是：所述步骤1具体为：

利用YOLACT深度学习框架，对高分辨率的全色影像Pan进行建筑实例分割，判定为建筑区域的像素赋值为1，判定为非建筑区域的像素赋值为0，所使用的YOLACT框架已经用人工标注建筑物的遥感影像样本进行训练。

3.根据权利要求2所述的一种适用于高分辨率遥感影像的融合方法，其特征是：所述步骤2具体为：根据影像分辨率与分割结果的像素面积，得到建筑分割结果的实地面积，对面积大于140,000平方米或小于40平方米的建筑分割结果进行剔除；白色图斑表示被判定为建筑的像素，圆圈标注的面积过小的建筑分割结果剔除。

4.根据权利要求3所述的一种适用于高分辨率遥感影像的融合方法，其特征是：所述步骤3具体为：

从分割结果seg上取一个圆形的滑动窗口P，设P的中心像素坐标为(x,y)，计算中心像素的建筑权值γ(x，y)，通过下式表示：

其中，seg(x，y)表示该像素点的建筑分割结果，当值为1表示该像素被判定为建筑，值为0表示该像素被判定为非建筑；n表示滑动窗口P内提取的建筑个数；d₁,d₂,...,d_n,表示滑动窗口中心点到n个建筑的距离，单位为米；d_th是一个常数，min表示取输入的数值中最小的一个，max表示取输入的数值中最大的一个。

5.根据权利要求4所述的一种适用于高分辨率遥感影像的融合方法，其特征是：滑动窗口P的半径取400米，d_th设为50；随着P不断滑动，seg影像上每个像素都计算得到一个建筑权值，保存为影像。

6.根据权利要求5所述的一种适用于高分辨率遥感影像的融合方法，其特征是：所述步骤5具体为：

取建筑权值γ(x，y)>0.5部分作为建筑区域，将γ(x，y)≤0.5部分作为非建筑区域，分别计算多光谱影像MS两个区域的平均梯度AG_B和AG_O，单个波段的平均梯度的计算公式如下式所示：：

其中，M、N表示影像的高度、宽度，单位为像素；f为影像的一个波段，f(i,j)表示该波段第i行j列的像素值；

表示各个波段的建筑区域与非建筑区域的平均梯度，其中C表示波段数；AG_B和AG_O的值为各个波段平均梯度的平均值。

7.根据权利要求6所述的一种适用于高分辨率遥感影像的融合方法，其特征是：所述步骤6具体为：

步骤6.1：对全色影像Pan进行高斯滤波，通过下式所示：

其中，G表示权值，x、y表示像素坐标，

步骤6.2：依次取σ＝0.5,0.6,0.7,0.8,0.9,1.0，得到5个高斯滤波后的Pan，分别计算其平均梯度，以平均梯度为纵轴，σ为横轴，拟合二次多项式；

步骤6.3：当拟合曲线的值达到AG_B和AG_O，取大于0的最小的解作为σ_B与σ_O值，即当高斯滤波的σ参数取值为σ_B与σ_O时，分别实现建筑区域与非建筑区域的融合效果的最优；

步骤6.4：对Pan进行高斯滤波，σ分别取σ_B和σ_O，得到Pan'_B和Pan'_O；将Pan'_B和Pan'_O根据建筑权值γ(x,y)加权叠加得到Pan'，通过下式表示：

Pan'(x,y)＝γ(x,y)×Pan'_B(x,y)+(1-γ(x,y))×Pan'_O(x,y) (6)

其中，Pan'(x,y)、Pan'_B(x,y)与Pan'_O(x,y)表示取点(x,y)处的像素值；

利用SFIM模型求解得到最终的融合影像Fusion，通过下式表示：

Images