CN111340080A - 一种基于互补卷积特征的高分辨率遥感影像融合方法及系统 - Google Patents

Abstract

本申请公开了一种基于互补卷积特征的高分辨率遥感影像融合方法及系统，在选取的高分辨率遥感影像上进行目标物手工标注；将标注好的全色图像和多光谱图像裁剪为预设尺寸输入到特征提取网络；分别进行特征提取，分别得到全色图像特征图和多光谱图像特征图；叠加全色图像特征图和多光谱图像特征图，送入特征融合网络进行特征融合，得到高分辨率的多光谱图像。在进行高分辨率遥感影像融合时，形成一个基于互补卷积特征融合的完整体系，可以对全色图像和多光谱图像分别进行特征提取，叠加后输入融合网络最终得到融合图像，大大提升了图像质量。并且虑了样本的多样性，图像大小灵活多变，特征提取更为符合图像特点，使得融合后的图像质量更好。

Description

一种基于互补卷积特征的高分辨率遥感影像融合方法及系统

技术领域

本申请涉及遥感图像处理技术领域，具体涉及一种基于互补卷积特征的高分辨率遥感影像融合方法及系统。

背景技术

近年来，高分辨率遥感影像被广泛应用于城市规划、生产生活乃至军事方面。全色图像的分辨率较高，图像更为清晰，但灰度图像缺少色彩信息，多光谱图像有着丰富的颜色信息但是分辨率较低，为了结合两种影像的优势，得到质量更为优越的遥感图像，图像融合至关重要。遥感影像融合作为目标检测、变化检测等实验和应用的一项关键预处理步骤，可以将全色图像的高分辨率和多光谱图像的色彩信息相结合，为后期实验和应用提供更高质量的图像，以提升实验和应用结果的性能。

2019年多媒体工具和应用期刊公开了一篇用于图像融合的算法，名称为：FusionCNN：一种基于深度卷积神经网络的遥感图像融合算法(FusionCNN:a remotesensing image fusion algorithm based on deep convolutional neural networks)，该融合方法的输入是一对源图像，而输出是具有端到端属性的融合图像。在预处理步骤中，使用多光谱图像的低频信息来增强全色图像。此方法使用大量训练数据来学习自适应强鲁棒融合功能，克服了传统的手动制定融合规则的融合方法的缺点，并通过Landsat和Quickbird卫星数据验证了其有效性。

2019年信息融合期刊公开了一篇基于张量的遥感图像融合方法，名称为：通过基于张量的稀疏建模和超拉普拉斯先验融合全色和多光谱遥感影像(The fusion ofpanchromatic and multispectral remote sensing images viatensor-based sparsemodeling and hyper-Laplacian prior)，该方法用于非凸稀疏建模，通常称为全锐化。在这种方法中，通过插值方法对多光谱图像进行采样，并对全色和低分辨率多光谱图像建模基于张量的加权保真度项，以恢复更多的空间细节。此外，总变化正则化还用于描述梯度场上潜在的高分辨率多光谱图像的稀疏性。对于模型求解，此方法设计了一种基于乘数的算法的交替方向方法，以有效地求解所提出的模型。与几种最新的图像融合方法相比，对由不同传感器收集的许多数据集进行的广泛实验证明了融合方法的有效性。

2019年电子影像期刊公开了一篇用于遥感图像融合的算法，名称为：基于显着性检测的互结构联合滤波遥感图像融合算法(Remote sensing image fusion algorithmbased on mutual-structure for joint filtering using saliency detection)，该文提出的多模态图像融合提供了更全面的信息，对于遥感图像融合，解决了可能造成块状伪影等不足。这种基于互结构的遥感图像融合方法，用于联合滤波和显着性检测，使用联合滤波来促进从源图像正确提取高频和低频，并且提高了低频融合的效果，高频子带计算了改进的Laplace的扩展和以实现更好的融合。将该方法与其他五种经典融合方法进行了比较，实验结果表明，该算法有效地保留了图像的结构信息和纹理信息，提高了融合图像的清晰度，在主观和客观评估中具有许多优势。

综上所述，遥感图像融合是各种目标检测、变化检测等实验进行的基础，将全色图像和多光谱图像的优点相结合，得到的高质量的图像能够提升后期实验及应用的准确性和效率，对实际应用有着很大的影响。随着深度学习的应用越来越广泛以及融合方法的不断改进和完善，现如今大多数融合方法开始使用卷积神经网络，以达到更加好的融合效果，提高融合图像质量。图像融合技术日趋成熟，但目前传统的融合方法存在有失真和畸变等现象，需要进一步改进。

发明内容

本申请为了解决上述技术问题，提出了如下技术方案：

第一方面，本申请实施例提供了一种基于互补卷积特征的高分辨率遥感影像融合方法，所述方法包括：在选取的高分辨率遥感影像上进行目标物手工标注；将标注好的全色图像和多光谱图像裁剪为预设尺寸输入到特征提取网络；通过特征提取网络分别对全色图像和多光谱图像进行特征提取，分别得到全色图像特征图和多光谱图像特征图；叠加全色图像特征图和多光谱图像特征图；将叠加后的特征图送入特征融合网络进行特征融合，得到高分辨率的多光谱图像。

采用上述实现方式，在进行高分辨率遥感影像融合时，形成一个基于互补卷积特征的融合的完整体系，可以对全色图像和多光谱图像分别进行特征提取，叠加后输入融合网络最终得到融合图像，大大提升了图像质量。本图像融合流程考虑了样本的多样性，图像大小灵活多变，特征提取更为符合图像特点，使得融合后的图像质量更好。

结合第一方面，在第一方面第一种可能的实现方式中，所述在选取的高分辨率遥感影像上进行目标物的手工标注，包括：选取遮蔽物较少，目标物多样且清晰的高分辨遥感全色图像和多光谱图像；在所述两种高分辨图像上截取适当大小的影像，对所有清晰的目标物进行贴合边缘的手工标注，获得标注好的影像图片。

结合第一方面第一种可能的实现方式，在第一方面第二种可能的实现方式中，所述将标注好的全色图像和多光谱图像裁剪为预设尺寸输入到特征提取网络，包括：按照后期实验需要，将标注完成的全色图像和多光谱图像裁剪为统一的尺寸，作为特征提取网络的输入。

结合第一方面，在第一方面第三种可能的实现方式中，所述通过特征提取网络分别对全色图像和多光谱图像进行特征提取，包括：将全色图像和多光谱图像进行区分；将区分后的单通道的全色图像和多通道的多光谱图像分别输入特征提取网络进行特征提取。

结合第一方面，在第一方面第四种可能的实现方式中，所述叠加全色图像特征图和多光谱图像特征图，包括：将对应的全色图像特征图和多光谱图像特征图，在通道维度上进行叠加，得到叠加后的特征图。

结合第一方面第四种可能的实现方式，在第一方面第五种可能的实现方式中，所述将叠加后的特征图送入特征融合网络进行特征融合，包括：将叠加后的特征图输入到遥感融合网络；使用遥感融合网络的编码-解码式结构对特征图进行图像融合。

第二方面，本申请实施例提供了一种基于互补卷积特征的高分辨率遥感影像融合系统，所述系统包括：标注模块，用于在选取的高分辨率遥感影像上进行目标物手工标注；输入模块，用于将标注好的全色图像和多光谱图像裁剪为预设尺寸输入到特征提取网络；特征提取模块，用于通过特征提取网络分别对全色图像和多光谱图像进行特征提取，分别得到全色图像特征图和多光谱图像特征图；叠加模块，用于叠加全色图像特征图和多光谱图像特征图；特征融合模块，用于将叠加后的特征图送入特征融合网络进行特征融合，得到高分辨率的多光谱图像。

结合第二方面，在第二方面第一种可能的实现方式中，所述标注模块包括：图像选取单元，用于选取遮蔽物较少，目标物多样且清晰的高分辨遥感全色图像和多光谱图像；标注单元，用于在所述两种高分辨图像上截取适当大小的影像，对所有清晰的目标物进行贴合边缘的手工标注，获得标注好的影像图片。

结合第二方面，在第二方面第二种可能的实现方式中，所述特征提取模块包括：图像区分单元，用于将全色图像和多光谱图像进行区分；特征提取单元，用于将区分后的单通道的全色图像和多通道的多光谱图像分别输入特征提取网络进行特征提取。

结合第二方面，在第二方面第三种可能的实现方式中，所述特征融合模块包括：输入单元，用于将叠加后的特征图输入到遥感融合网络；特征融合单元，用于使用遥感融合网络的编码-解码式结构对特征图进行图像融合。

附图说明

图1为本申请实施例提供的一种基于互补卷积特征的高分辨率遥感影像融合方法流程示意图；

图2为本申请实施例提供的特征提取输入影像图；

图3为本申请实施例提供的遥感影像特征提取图；

图4为本申请实施例提供的影像特征图叠加图；

图5为本申请实施例提供的遥感影像特征融合图；

图6为本申请实施例提供了一种基于互补卷积特征的高分辨率遥感影像融合系统示意图。

具体实施方式

下面结合附图与具体实施方式对本方案进行阐述。

图1为本申请实施例提供的一种基于互补卷积特征的高分辨率遥感影像融合方法的流程示意图，参见图1，所述方法包括：

S101，在选取的高分辨率遥感影像上进行目标物手工标注。

本实施例中首先选择质量较好的高分辨率遥感图像，一般为蔽物较少，目标物多样且清晰的高分辨遥感全色图像和多光谱图像。在选取的两种高分辨图像上截取适当大小的影像，截取出的图像尽量包含丰富的目标物信息，对所有清晰的目标物进行贴合边缘的手工标注，获得标注好的影像图片。

S102，将标注好的全色图像和多光谱图像裁剪为预设尺寸输入到特征提取网络。

按照后期实验需要，将手工标注完成的全色图像和多光谱图像裁剪为统一的尺寸，作为特征提取网络的输入。

S103，通过特征提取网络分别对全色图像和多光谱图像进行特征提取，分别得到全色图像特征图和多光谱图像特征图。

区分全色图像和多光谱图像，将它们分别送入特征提取网络。全色图像为单通道的灰度图像，将单通道的全色图像输入特征提取网络进行全色图像的特征提取，将多通道的多光谱图像输入特征提取网络进行多光谱图像的特征提取。

经过基于互补卷积特征的特征提取网络进行特征提取后，分别得到全色图像特征图和多光谱图像特征图。

S104，叠加全色图像特征图和多光谱图像特征图。

将相对应的全色图像特征图和多光谱图像特征图，由于通道维数不同，应先在通道维度上进行叠加，得到叠加后的特征图。

S105，将叠加后的特征图送入特征融合网络进行特征融合，得到高分辨率的多光谱图像。

将叠加后的特征图作为遥感融合网络的输入，遥感影像融合网络参考了U-Net网络结构，使用了编码-解码(Encode-decode)式结构对特征图进行图像融合。

经过图像融合网络后最终得到由全色图像和多光谱图像融合后的高分辨率的多光谱图像，具有丰富的色彩信息和高分辨率，检查无误后进行保存。

本申请一个示意性实施例：

选取图像并进行手工标注：首先从国产高分二号卫星影像中选择质量较好的高分辨率遥感图像，即为蔽物较少，目标物多样且清晰的高分辨遥感全色图像和多光谱图像。若为内陆地区影像，选择云量较少、地理环境多样、目标物丰富(这里以建筑物为例)、目标物较为清晰且树木遮挡较少的图像。若为沿海地区图像，选取遮蔽物较少、沿海内陆皆包含的图像。在选取的两种高分辨图像上截取适当大小的影像，大小约为3000*3000像素到4500*4500像素之间，对截取出的图像中所有清晰的目标物进行贴合边缘的手工标注，获得标注好的全色图像和多光谱图像。手工标注后的两种图像示例如图2所示。

裁剪标注好的图像作为输入：按照后期实验需要(这里以目标检测实验为例)，将手工标注完成的全色图像和多光谱图像裁剪成512*512像素大小的图像，将裁剪好的所有图像作为特征提取网络的输入。

用特征提取网络分别对两种图像进行特征提取，该步骤包括以下过程：分开全色图像和多光谱图像，将它们分别送入特征提取网络。用一个特征提取网络对单通道的全色图像进行图像的特征提取，用另一个特征提取网络对多通道的多光谱图像进行图像的特征提取。基于互补卷积特征的特征提取方式如图3所示。

得到全色图像特征图和多光谱图像特征图：将图像经过基于互补卷积特征的特征提取网络进行特征提取后，分别得到了全色图像特征图和多光谱图像特征图。

叠加全色图像特征图和多光谱图像特征图。由于光谱信息不同，通道维数不同，对于相对应的全色图像特征图和多光谱图像特征图，在通道维度上进行叠加，得到叠加后的特征图：全色-多光谱特征图。全色特征图和多光谱特征图的叠加方法如图4所示

将全色-多光谱特征图送入特征融合网络进行特征融合。将叠加后的全色-多光谱特征图作为遥感融合网络的输入，遥感影像融合网络参考了U-Net神经网络结构，采用了编码-解码(Encode-decode)式结构进行图像特征融合。特征融合流程如图5所示。

经过图像融合网络后最终得到由全色图像和多光谱图像融合后的高分辨率的多光谱图像，具有丰富的色彩信息和高分辨率，检查无误后进行保存。

经过图像融合网络对图像进行特征融合后，最终得到由全色图像和多光谱图像融合后的高分辨率的多光谱图像，此具有丰富的色彩信息和高分辨率，有利于下一步目标检测实验的进行，检查无误后进行保存。

由上述实施例可知，本实施例提供了一种基于互补卷积特征的高分辨率遥感影像融合方法，形成一个对全色图像和多光谱图像进行高质量遥感影像融合的完整体系，可以对两种图像特征进行更好地融合，得到更高质量的图像，作为多数实验和应用的预处理步骤，大大提高了实验效率和结果。本融合流程考虑了样本的多样性、图像特性等，融合过程尽可能减少了图像信息损失，使得融合后图像质量更好。

与上述实施例提供的一种基于互补卷积特征的高分辨率遥感影像融合方法相对应，本申请还提供了一种基于互补卷积特征的高分辨率遥感影像融合系统实施例。

参见图6，基于互补卷积特征的高分辨率遥感影像融合系统20包括：标注模块201、输入模块202、特征提取模块203、叠加模块204、和特征融合模块205。

所述标注模块201，用于在选取的高分辨率遥感影像上进行目标物手工标注。所述输入模块202，用于将标注好的全色图像和多光谱图像裁剪为预设尺寸输入到特征提取网络。所述特征提取模块203，用于通过特征提取网络分别对全色图像和多光谱图像进行特征提取，分别得到全色图像特征图和多光谱图像特征图。所述叠加模块204，用于叠加全色图像特征图和多光谱图像特征图。所述特征融合模块205，用于将叠加后的特征图送入特征融合网络进行特征融合，得到高分辨率的多光谱图像。

进一步地，所述标注模块201包括：图像选取单元和标注单元。

所述图像选取单元，用于选取遮蔽物较少，目标物多样且清晰的高分辨遥感全色图像和多光谱图像。所述标注单元，用于在所述两种高分辨图像上截取适当大小的影像，对所有清晰的目标物进行贴合边缘的手工标注，获得标注好的影像图片。

所述特征提取模块203包括：图像区分单元和特征提取单元。

所述图像区分单元，用于将全色图像和多光谱图像进行区分。所述特征提取单元，用于将区分后的单通道的全色图像和多通道的多光谱图像分别输入特征提取网络进行特征提取。

所述特征融合模块205包括：输入单元和特征融合单元。

所述输入单元，用于将叠加后的特征图输入到遥感融合网络。所述特征融合单元，用于使用遥感融合网络的编码-解码式结构对特征图进行图像融合。

本申请说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于系统实施例而言，由于其中的方法基本相似于方法的实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。

当然，上述说明也并不仅限于上述举例，本申请未经描述的技术特征可以通过或采用现有技术实现，在此不再赘述；以上实施例及附图仅用于说明本申请的技术方案并非是对本申请的限制，如来替代，本申请仅结合并参照优选的实施方式进行了详细说明，本领域的普通技术人员应当理解，本技术领域的普通技术人员在本申请的实质范围内所做出的变化、改型、添加或替换都不脱离本申请的宗旨，也应属于本申请的权利要求保护范围。

Claims (10)

1.一种基于互补卷积特征的高分辨率遥感影像融合方法，其特征在于，所述方法包括：

在选取的高分辨率遥感影像上进行目标物手工标注；

将标注好的全色图像和多光谱图像裁剪为预设尺寸输入到特征提取网络；

通过特征提取网络分别对全色图像和多光谱图像进行特征提取，分别得到全色图像特征图和多光谱图像特征图；

叠加全色图像特征图和多光谱图像特征图；

将叠加后的特征图送入特征融合网络进行特征融合，得到高分辨率的多光谱图像。

2.根据权利要求1所述的方法，其特征在于，所述在选取的高分辨率遥感影像上进行目标物的手工标注，包括：

选取遮蔽物较少，目标物多样且清晰的高分辨遥感全色图像和多光谱图像；

在两种高分辨图像上截取适当大小的影像，对所有清晰的目标物进行贴合边缘的手工标注，获得标注好的影像图片。

3.根据权利要求2所述的方法，其特征在于，所述将标注好的全色图像和多光谱图像裁剪为预设尺寸输入到特征提取网络，包括：

按照后期实验需要，将标注完成的全色图像和多光谱图像裁剪为统一的尺寸，作为特征提取网络的输入。

4.根据权利要求1所述的方法，其特征在于，所述通过特征提取网络分别对全色图像和多光谱图像进行特征提取，包括：

将全色图像和多光谱图像进行区分；

将区分后的单通道的全色图像和多通道的多光谱图像分别输入特征提取网络进行特征提取。

5.根据权利要求1所述的方法，其特征在于，所述叠加全色图像特征图和多光谱图像特征图，包括：将对应的全色图像特征图和多光谱图像特征图，在通道维度上进行叠加，得到叠加后的特征图。

6.根据权利要求5所述的方法，其特征在于，所述将叠加后的特征图送入特征融合网络进行特征融合，包括：

将叠加后的特征图输入到遥感融合网络；

使用遥感融合网络的编码-解码式结构对特征图进行图像融合。

7.一种基于互补卷积特征的高分辨率遥感影像融合系统，其特征在于，所述系统包括：

标注模块，用于在选取的高分辨率遥感影像上进行目标物手工标注；

输入模块，用于将标注好的全色图像和多光谱图像裁剪为预设尺寸输入到特征提取网络；

特征提取模块，用于通过特征提取网络分别对全色图像和多光谱图像进行特征提取，分别得到全色图像特征图和多光谱图像特征图；

叠加模块，用于叠加全色图像特征图和多光谱图像特征图；

特征融合模块，用于将叠加后的特征图送入特征融合网络进行特征融合，得到高分辨率的多光谱图像。

8.根据权利要求7所述的系统，其特征在于，所述标注模块包括：

图像选取单元，用于选取遮蔽物较少，目标物多样且清晰的高分辨遥感全色图像和多光谱图像；

标注单元，用于在两种高分辨图像上截取适当大小的影像，对所有清晰的目标物进行贴合边缘的手工标注，获得标注好的影像图片。

9.根据权利要求7所述的系统，其特征在于，所述特征提取模块包括：

图像区分单元，用于将全色图像和多光谱图像进行区分；

特征提取单元，用于将区分后的单通道的全色图像和多通道的多光谱图像分别输入特征提取网络进行特征提取。

10.根据权利要求7所述的系统，其特征在于，所述特征融合模块包括：

输入单元，用于将叠加后的特征图输入到遥感融合网络；

特征融合单元，用于使用遥感融合网络的编码-解码式结构对特征图进行图像融合。

Images