CN115661680A

CN115661680A - 卫星遥感图像处理方法

Info

Publication number: CN115661680A
Application number: CN202211430832.8A
Authority: CN
Inventors: 边九州; 张泽宇
Original assignee: Beijing Orbit Future Space Technology Co ltd
Current assignee: Beijing Orbit Future Space Technology Co ltd
Priority date: 2022-11-15
Filing date: 2022-11-15
Publication date: 2023-01-31
Anticipated expiration: 2042-11-15
Also published as: CN115661680B

Abstract

本发明提供了一种卫星遥感图像处理方法，包括：对获取的卫星遥感图像进行预处理得到预处理图像，所述预处理包括波段合成、图像融合和图像切分；选取多个深度卷积神经网络提取预处理图像的特征，将提取得到的特征输入集成学习模型得到分类结果，所述集成学习模型基于多个SVM模型进行线性组合得到；对所述分类结果进行平滑处理得到预测结果。通过同时将多种特征提取方法和分类方法进行结合来完成遥感图像处理任务，各种分类器之间优势互补，达到有效提高遥感图像处理的准确性和适应性的目的。

Description

卫星遥感图像处理方法

技术领域

本发明属于卫星遥感技术领域，尤其是涉及一种卫星遥感图像处理方法。

背景技术

随着卫星遥感技术的飞速发展，遥感数据在各个领域得到了日益广泛的应用。同时，对卫星遥感图像信息的自动提取要求也更加迫切。准确高效的卫星遥感图像处理技术是卫星遥感技术在各方面应用更加深入的重要推动力。

当前阶段，对于高分辨率多光谱卫星遥感图像的处理方法,大部分是利用光学的各种指标参数通过阈值法进行语义分割，或通过简单的机器学习模型进行研究。这些方法在面对特定的观察目标或特定的样本数据集时有较好的准确率，但是卫星遥感技术应用的领域多种多样，获得的图像数据集自然不同，因此这些方法对不同数据集在泛化能力方面严重不足，没有很好的自适应性。

发明内容

针对现有技术中存在的问题，本发明提供了一种卫星遥感图像处理方法，至少部分的解决现有技术中存在的自适应性不足的问题。

第一方面，本公开实施例提供了一种卫星遥感图像处理方法，包括：

对获取的卫星遥感图像进行预处理得到预处理图像，所述预处理包括波段合成、图像融合和图像切分；

选取多个深度卷积神经网络提取预处理图像的特征，将提取得到的特征输入集成学习模型得到分类结果，所述集成学习模型基于多个SVM模型进行线性组合得到；

对所述分类结果进行平滑处理得到预测结果。

可选的，卫星遥感图像包括全色光谱图像和多光谱图像，所述波段合成，包括：

从多光谱图像中分离各个波段的值，将各个波段的值进行线性变换得到对应色阶，基于色阶得到各个波段的值对应的灰度图，基于灰度图得到各个波段的值对应的三原色。

可选的，所述图像融合，包括：

构建融合模型；

建立融合模型训练集；

将图像输入基于训练集训练后的融合模型得到融合后的图像。

可选的，所述构建融合模型，包括：

通过卷积运算得到全色光谱图像和多光谱图像坐标邻近处的像素；

通过对坐标邻近处的像素使用卷积核进行卷积运算得到坐标位置上的融合像素；

基于坐标位置上的融合像素将全色光谱图像和多光谱图像中的每个像素考虑邻近设定大小的窗口的像素进行多层卷积运算得到的待融合像素；

将待融合像素进行卷积运算得到融合模型。

可选的，所述卷积运算为：

其中

为卷积网络输入，

为卷积核，

是非线性激活函数：

其中

是

区间的一个固定参数，

为坐标。

可选的，所述建立融合模型训练集，包括：

选择图像的低分辨率图像视为多光谱图像，图像在HLS空间的亮度

作为全色光谱图像，

其中，

、

、

分别为图像R、G 、B通道的灰度值。

可选的，所述将图像输入基于训练集训练后的融合模型得到融合后的图像，包括：

对输入图像进行高通滤波处理，得到输入图像的低频成分，通过二维经验模态分解法对输入图像进行分解得到输入图像的高频成分；

将低频成分和高频成分融合得到合成图像。

可选的，所述图像切分，包括：

将合成图像按照设定尺进行切分，得到切分图像；

对切分图像进行标注，并将标注信息转换为标注图像。

可选的，所述选取多个深度卷积神经网络提取预处理图像的特征，将提取得到的特征输入集成学习模型得到分类结果，包括：

对预处理图像进行数据增强和数据标准化处理，得到标准化图像数据；

对标准化图像数据选择多种深度卷积神经网络进行特征提取，得到多种特征，将多种特征进行融合得到组合特征；

将组合特征输入集成学习模型。

可选的，所述集成学习模型基于多个SVM模型进行线性组合得到，包括构造基于后验概率的多分类器线性组合模型，

基于后验概率的多分类器线性组合模型为：

其中，

为分类器的权值矩阵，

为偏置向量，

为基分类器

对样本

的后验概率；

组合得到的模型为：

其中，A和B为参数，

为SVM输出的决策值。

本发明提供的卫星遥感图像处理方法，通过同时将多种特征提取方法和分类方法进行结合来完成遥感图像处理任务，各种分类器之间优势互补，达到有效提高遥感图像处理的准确性和适应性的目的。

附图说明

通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施例中，相同的参考标号通常代表相同部件。

图1为本公开实施例提供的卫星遥感图像处理方法的流程图；

图2为本公开实施例提供的图像融合的流程图；

图3为本公开实施例提供的卫星遥感图像分类的流程图。

具体实施方式

下面结合附图对本公开实施例进行详细描述。

应当明确，以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。

还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图示中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。

一种卫星遥感图像处理方法，包括：

在分析获得的卫星遥感图像数据之前，需要对数据集进行整理和数据标注。数据标注的首先需要对遥感图像数据进行相应的预处理。预处理阶段主要包括波段合成、图像融合以及图像切分。

卫星遥感图像文件相对于普通的图像，具有更多的通道数量和色阶，屏幕无法直接显示。因此，需要从多光谱图像中分离各个波段的值，对色阶进行线性变换，在屏幕上以灰度图的形式显示各波段的值，同时为表示为彩色图像，需要合成三原色对应的波段。

图像融合是数据标注阶段的重要一步。图像融合是将低空间分辨率的多光谱图像或高光谱数据与高空间分辨率的单波段图像重采样生成一幅高分辨率多光谱图像的遥感图像处理技术，使得处理后的图像既有较高的空间分辨率，又具有多光谱特征。

高分辨率的全色光谱图像只有一个通道，以灰度图的形式呈现，其效果不如彩色图像。遥感图像融合将低光谱分辨率的全色光谱图像(panchromatic images， PAN)和高光谱分辨率的多光谱图像(multispectral images， MS)融合，得到高分辨率的融合图像。

通过基于卷积神经网络算法建立卫星遥感图像融合模型，将MS图像和PAN作为输入，输出为融合卫星遥感图像。

对数据预处理完毕后需要一种方便有效的数据标注工具对数据进行标注。

图像分类是卫星遥感图像处理的一个重要组成部分。卫星遥感图像可能包含大量的对象内容，为更好地从图像中提取信息，对图像中的内容进行分类显得至关重要。

通过对数据进行标注得到训练集和测试集，根据不同的训练器，将输入数据转化为对应的格式，然后分别进行训练。

如果训练样本数量不足，为了适应不同的训练数据集，应对深度学习模型训练时需要大量数据的情况，需要采用数据增强的方法扩充数据量。常用的可实施操作一般有图像切片、旋转、缩放、平移变换等。

在训练模型之前，需要对训练样本数据执行数据增强和数据标准化操作。

所述方法通过对遥感图像进行旋转来对有限的数据进行扩充，提高训练数据的多样性，使模型具有较高的泛化能力。

现阶段很多卷积神经网络采用的训练图像样本的尺寸大小是224×224像素或299×299像素，因此为适应网络模型输入的图像大小，需要将所有卫星遥感图像训练图像和测试图像缩放到合适的尺寸。

由于图像的噪声、灰度变换会对特征提取和图像分类结果产生影响，为消除上述影响因素，将彩色图像I各个通道的灰度值归一化至区间[-1, 1]。

比较小的卷积核和更深的网络能够使网络模型在各种图像数据集上具有较好的泛化能力，VGGNet中的VGG16网络更简单，性能也差距不大，应用最为广泛，因此选择VGG16网络模型作为卫星遥感图像处理的基础模型，利用该网络模型对卫星遥感图像执行特征提取操作。采用13个卷积层和3个全连接层，并将第二个全连接层输出的4096维向量作为图像提取的特征。

为解决深层网络难以训练的问题，选择AlexNet、Inception和DenseNet网络作为特征提取的一部分，同时移除最后一个用于分类的全连接层，将提取图像的向量作为图像的提取特征。

最后，将4种网络模型得到的特征进行融合，得到新的组合特征。

所述图像分类方法根据Adaboost算法，选择具有不同核函数的4种SVM模型作为基学习器，并进行训练，最后对SVM分类器进行线性组合，从而得到最终的卫星遥感图像分类器。

对所述分类结果进行平滑处理得到预测结果。

得到训练好的卫星遥感图像处理分类模型后，将测试集数据作为模型的输入，得到预测结果。但由于误差、硬件等原因，图像预测结果会发生边缘有毛糙和噪声点的情况。因此为达到更准确的预测效果，对预测结果进行合理优化。可以根据卫星遥感图像目标的特点，对预测结果图像实施相应操作，例如图像平滑处理等。

可选的，所述图像融合，包括：

构建融合模型；

建立融合模型训练集；

可选的，所述构建融合模型，包括：

将待融合像素进行卷积运算得到融合模型。

将低频成分和高频成分融合得到合成图像。

可选的，所述图像切分，包括：

将合成图像按照设定尺进行切分，得到切分图像；

对切分图像进行标注，并将标注信息转换为标注图像。

将组合特征输入集成学习模型。

在一个具体的示例中，如图1所示，卫星遥感图像处理方法，包括：

步骤101，数据预处理。

具体的，数据预处理阶段包括波段合成、卫星遥感图像融合、图像切分以及数据标注四个步骤。

参与波段合成的遥感图像分为两部分，一部分是单通道的全色光谱图像，另一部分是具有4个波段的多光谱图像。需要将图像格式转换为自然图像的RGB通道的256色阶。选取多光谱图像中的R、G、B三个通道，并将这三个通道进行合成得到新的彩色图像。

图像融合如图2所示，包括：

步骤201，构建融合模型CNN-Fusion。

具体的，PAN图像和MS图像在坐标

处的像素分别为

和

，融合图像F在对应坐标的像素为

，所述图像融合方法是先通过卷积运算得到PAN图像和MS图像在坐标

邻近处的像素

和

，然后通过对它们使用卷积核进行卷积计算得到在该位置上的融合像素

。卷积运算定义为：

其中

为卷积网络输入，

为卷积核，

是非线性激活函数：

其中

是

区间的一个固定参数，

为坐标。

将原始MS图像和PAN图像中的每个像素考虑邻近大小的窗口的像素进行一层层卷积运算得到的待融合像素，生成的待融合像素对应于原始图像中的像素区域随着卷积层的叠加而增大，其表达式为：

其中，

和

分别为第

层卷积运算得到的待融合像素，

为卷积核。

接下来计算对在邻近区域影响下的原始MS图像和PAN图像进行卷积运算的结果：

其中，

、

和

分别为第

层卷积运算得到的待融合像素，

为卷积核，[]运算表示特征Map通道方向的拼接，

表征的是特征融合，是CNN网络中的一个融合像素。

步骤202，建立融合模型训练集。

从自然图像数据集中建立一个应用于卫星遥感图像的训练集。把任意一张自然图像I作为经过融合算法得到的融合图像，并将其对应的低分辨率图像视为MS图像，图像I在HLS空间的亮度

作为PAN图像：

其中，

、

、

分别为图像R、G 、B通道的灰度值。

步骤203，融合模型CNN-Fusion的输入。

通过自然图像数据集建立卫星遥感图像训练集需要对自然图像进行分解变换。分解方法采用二维经验模态分解(Bidimensional Empirical Mode Decomposition,BEMD)的图像分解方法对自然图像进行分解。

首先对自然图像进行高通滤波处理，去除图像中的高频成分，保留低频成分，图像的低频部分包含了图像的光谱信息。然后通过二维经验模态分解方法得到图像的高频成分，获得图像的轮廓细节信息。

得到的低频部分视为原始MS图像，对应的高频部分视为原始PAN图像，将二者作为融合模型CNN-Fusion的输入。

经过图像融合得到图像尺寸非常大，直接对其处理会对软件和硬件工具带来过大的负荷，同时还会导致图像处理时间过长，执行效率低下。另一方面，没有经过预处理的图像可能包含很多无用冗余的信息。综合上述原因，需要对融合后得到的图像进行切分处理。

将融合后得到的图像按照尺寸为1000×1000规格进行切分，这个尺寸远大于模型输入的图像尺寸，可以保留较为完整的图像信息。

本实施例使用的数据标注工具是由OpenCV开发团队开源计算机视觉标注工具Computer Vision Annotation Tool (CVAT)。将标注信息以json格式导出，然后将标注信息转换成对应的label图像，将label图像和原图像一起作为分类模型的输入。

步骤102，卫星遥感图像分类模型训练。

卫星遥感图像分类模型步骤主要包括数据处理、基于卷积神经网络和迁移学习的图像特征提取、基于集成学习的图形分类。

卫星遥感图像分类的步骤如图3 所示，具体为基于卷积神经网络与集成学习的卫星遥感图像分类，包括：

步骤301，卫星遥感图像数据处理。

具体的，在对数据进行处理的过程中主要涉及的操作有：数据增强和数据标准化。数据增强和数据标准化是建立在数据标注阶段获得的输出结果上。

通过对图像进行水平翻转和垂直翻转，将训练数据的数据量扩充为原来的3倍。

为了符合卷积神经网络的输入图像尺寸，将原始图像缩放至224×224像素。同时为了降低图像的噪声和灰度变换操作对特征提取结果的影响，加快训练收敛速度，将彩色图像中所有通道的灰度值进行归一化至区间[0, 1]。

步骤302，卫星遥感图像特征提取。

结合迁移学习，选择4种深度卷积神经网络用来执行卫星遥感图像的特征提取任务，分别是AlexNet、VGG16、Inception和DenseNet。4种卷积神经网络特征提取输出尺寸大小为2048维、4096维、2048维和2048维。然后将4种特征进行融合处理，从而得到新的组合特征。

步骤303，卫星遥感图像分类模型训练。

通过采用Adaboost算法实现卫星遥感图像的分类，集成学习模型选择4个SVM模型作为基学习器，这四个SVM模型的核函数分别为线性核、多项式核、高斯核和Sigmoid核，对这4个SVM分类器进行训练，然后对这些SVM分类器进行线性组合形成一个强分类器。构造一种基于后验概率的多分类器线性组合模型，可描述为：

其中，

为分类器的权值矩阵，

为偏置向量，

为基分类器

对样本

的后验概率；

具体的，通过集成学习得到分类器实际是利用训练数据拟合出一个Sigmoid模型，该模型可以表示为：

其中，A和B为参数，

为SVM输出的决策值。

最后将在步骤302得到的组合特征作为分类器的输入，经过分类器模型得到卫星遥感图像分类结果。

步骤103，对预测结果进行优化。

通过分类模型得到的预测结果图像的边缘呈现出不平整的情况，因此需要对图像进行平滑操作。结合预测结果的二分类图像特点，本实施例采用了中值滤波执行图像平滑任务。

具体的，依据给定窗口的大小，确定每一步窗口的边界。通过统计当前窗口内灰度值为255的像素个数确定中位数。如果所统计的数量超过该窗口内所有像素总数的一半，则中位数确定为255，反之将中位数确定为0。

本实施例的卫星遥感图像处理方法，主要包括：

针对卫星遥感图像的特点，引入波段合成方法，将遥感图像以灰度图的形式显示出来，并将对应的三原色波段进行合成得到彩色图像；引入图像融合方法，得到高分辨率的彩色图像；借助程序和工具完成数据标注工作。

通过引入卷积神经网络建立卫星遥感图像融合模型。全色光谱图像具有高空间分辨率和低光谱分辨率，而多光谱图像具有低空间分辨率和高光谱分辨率，因此可以将二者的空间信息和高光谱信息相融合，从而获得的融合图像既具有高空间分辨率又具有高光谱分辨率。

通过引入迁移学习和集成学习的思想，将应用于自然图像的分类模型进行部分参数调整后迁移至卫星遥感图像处理中。利用卷积层和池化层构建一个适用于多种数据集的特征提取器。并将不同的卷积神经网络模型和分类模型结合在一起，以集成学习的方式达到对卫星遥感图像的特征提取和分类操作。

通过根据卫星遥感图像的目标内容特征，对预测结果采用合适的处理操作，对结果进行优化，达到更加准确的图像分类效果。

根据本实施例方法，可以对卫星遥感图像形成的不同观测样本进行处理，实现卫星遥感图像高效和高适用性的处理。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

在本公开中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序，本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

另外，如在此使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“A、B或C的至少一个”的列举意味着A或B或C，或AB或AC或BC，或ABC（即A和B和C）。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。

还需要指出的是，在本公开的系统和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。