CN114399686A

CN114399686A - 一种基于弱监督学习的遥感图像地物识别与分类方法和装置

Info

Publication number: CN114399686A
Application number: CN202111421623.2A
Authority: CN
Inventors: 李峥; 赵江华; 王学志
Original assignee: Computer Network Information Center of CAS
Current assignee: Computer Network Information Center of CAS
Priority date: 2021-11-26
Filing date: 2021-11-26
Publication date: 2022-04-26

Abstract

本发明涉及一种基于弱监督学习的遥感图像地物识别与分类方法和装置。该方法包括：读取部分标注的多源遥感图像，构建标注样本数据集和未标注样本数据集；建立标注训练集和标注验证集；建立教师模型和学生模型；对教师模型进行预训练；根据训练完成的教师模型得到未标注数据的预测结果，作为伪标签；读取未标注样本数据集和伪标签，构建伪标注训练集；输入标注训练集、标注验证集和伪标注训练集，进行随机数据增强，对学生模型进行训练；向训练完成的学生模型输入预测数据集，得到地物识别与分类的结果。本发明使用部分标注的多源遥感图像建立机器学习模型，使用所建立的模型对地物类型进行识别，能够显著提高地物要素识别和分类的准确率。

Description

一种基于弱监督学习的遥感图像地物识别与分类方法和装置

技术领域

本发明涉及地理信息、生态环境科学领域和遥感技术领域，具体来说，涉及一种基于弱监督学习的遥感图像地物识别与分类方法和装置。

背景技术

遥感图像的地物识别与分类，主要是利用航空或卫星对地观测得到的图像，通过机器学习模型对图像中每一个像素的所属类别进行识别，进而实现土地类型识别、森林变化监测、道路提取、建筑物检测等，在资源调查、土地管理、城市规划、地形测绘等领域有广泛的应用，对于人类可持续发展具有十分重要的意义。

目前的遥感图像地物识别与分类方法主要基于监督学习方法，通过使用已标注像素类别的遥感图像训练机器学习模型，并利用训练完成的模型对未标注图像中的每个像素进行分类，实现遥感图像地物识别与分类。监督学习方法需要使用大量的标注数据进行模型训练，而利用人工标注的方法对大量遥感图像进行逐个像素标注需要耗费巨大的人力物力，因此在实际应用场景中能够获得的高质量的标注遥感图像相当缺乏，这使得遥感图像地物识别与分类的准确度难以有效提高，限制了这种方法的广泛应用。

发明内容

本发明的目的是提供一种基于弱监督学习的遥感图像地物识别与分类方法。本发明使用部分标注的多源遥感图像建立机器学习模型，使用所建立的模型对地物类型进行识别，显著提高地物要素识别和分类的准确率。

为实现上述目的，本发明所采用的技术方案为：

一种基于弱监督学习的遥感图像地物识别与分类方法，其步骤包括：

1、读取部分标注的多源遥感图像，构建标注样本数据集和未标注样本数据集；

2、从标注样本数据集建立标注训练集和标注验证集；

3、建立教师模型和学生模型；

4、输入标注训练集和标注验证集，对教师模型进行预训练，得到训练完成的教师模型；

5、向训练完成的教师模型输入未标注样本数据集，得到未标注数据的预测结果，作为伪标签；

6、读取未标注样本数据集和伪标签，构建伪标注训练集；

7、输入标注训练集、标注验证集和伪标注训练集，进行随机数据增强，对学生模型进行训练；

8、将学生模型作为新的教师模型，重复步骤5到步骤7；

9、向训练完成的学生模型输入预测数据集，得到地物识别与分类的结果。

进一步地，步骤1所述多源遥感图像包括雷达遥感数据和/或光学遥感数据。优选的，所述多源遥感图像包括至少1000张遥感图像。

进一步地，步骤1所述雷达遥感数据包括合成孔径雷达(SAR)等获取的地面图像。所述图像的存储文件格式包括GeoTIFF、JPG等。每张图像的宽度为W像素，高度为H像素，分辨率为R。每张图像包括一个或多个通道，通道数为C_R。

进一步地，步骤1所述光学遥感数据是CCD等光学传感器获取的地面图像，包括全色、可见光、近红外、短波红外、热红外等一个或多个不同波长的光谱波段。其中，所述可见光又包括红、绿、蓝等一个或多个不同波长的可见光谱波段。所述图像的存储文件格式为GeoTIFF、JPG、HDF、NetCDF等。每张图像的宽度为W像素，高度为H像素，分辨率为R。每张图像包括一个或多个通道，通道数为C_O。每个通道对应一个光谱波段。优选的，所述光学遥感数据至少包括可见光和近红外光谱波段。

进一步地，步骤1所述部分标注的多源遥感图像是多张输入图像的集合，图像文件的存储格式为GeoTIFF、PNG、JPG等。每张图像X包括多个通道，由对应于同一地理区域范围的雷达遥感图像X₁和光学遥感图像X₂的通道堆叠而成，通道数为C_R+C_O。将其中的I₁张输入图像A进行标注得到对应的标注图像A’，其存储文件格式为GeoTIFF、PNG、JPG等，每张标注图像包括一个通道，其中的每个像素值代表该像素所对应地理区域范围的类别标签。将输入图像A及其对应的标注图像A’作为标注样本数据集，剩下的I₂张输入图像B，作为未标注样本数据集。

进一步地，步骤2所述标注样本数据集中共有I₁组图像，随机抽取n_t组图像设置为标注训练集，剩下的I₁-n_t组图像设置为标注验证集，其中1<n_t<I₁。标注训练集和标注验证集中的图像不重复。优选的，标注训练集至少包括I₁*80％组图像，标注验证集至少包括I₁*10％组图像。

进一步地，步骤3所述教师模型和学生模型是机器学习模型，其模型结构可以相同或不同。模型的输入数据是步骤1所述标注样本数据集和未标注样本数据集中的输入图像；输出结果是与输入图像大小相同的图像，其通道数与所预测的类别数相同，其中的每个像素值代表该像素所对应地理区域范围属于各个类别的置信度。

进一步地，步骤3所述教师模型和学生模型对于第i张输入图像x_i的输出结果分别表示为：

其中，函数t代表教师模型，函数s代表学生模型。

进一步地，步骤4包括以下步骤：

(1)从标注训练集中不重复地随机读取m组图像(1≤m≤n_t)，使用教师模型计算得到输出结果，并使用标注图像计算目标函数值；

(2)根据目标函数值，更新模型参数；

(3)重复上述步骤(1)到步骤(2)，每次从标注训练集中不重复地随机读取m组图像，计算输出结果与目标函数值，优化模型参数，直到标注训练集中的全部图像完成一次训练；

(4)读取标注验证集，使用教师模型计算得到预测结果，并使用标注图像计算评估指标；

(5)重复上述步骤(1)到步骤(4)，读取标注训练集，计算输出结果与目标函数值；优化模型参数；读取标注验证集，计算预测结果与评估指标，直到满足终止条件。所述终止条件为以下至少之一：模型评估指标达到期望、迭代次数大于最大迭代次数。

进一步地，步骤4所述目标函数定义为：

其中：m为一个训练批次的样本数，L为训练损失函数，R为正则化项，y_i为第i张输入图像对应的标注图像，

为模型对于第i张输入图像的输出结果。正则化项包括L1正则化、L2正则化等。所述目标函数可以不含正则化项。优选的，所述训练损失函数是交叉熵损失函数，无正则化项。

进一步地，步骤4所述模型评估指标包括以下至少之一：敏感度(Recall)、特异度(Specificity)、精确度(Precision)、准确度(Accuracy)、交并比(IoU)、F1分值、Dice系数、Jaccard系数、错误率等。对于类别c，图像的像素分为正样本和负样本，属于类别c的像素为正样本，不属于类别c的像素为负样本；标注为正样本且预测为正样本的像素数为TP，标注为正样本且预测为负样本的像素数为FN，标注为负样本且预测为正样本的像素数为FP，标注为负样本且预测为负样本的像素数为TN。所述敏感度定义为：TPR＝TP/(TP+FN)；特异度定义为：TNR＝TN/(TN+FP)；精确度定义为：PPV＝TP/(TP+FP)；准确度定义为：ACC＝(TP+TN)/(TP+TN+FP+FN)；F1分值和Dice系数相同，其定义为：F1＝Dice＝2TP/(2TP+FP+FN)；交并比和Jaccard系数相同，其定义为：IoU＝Jaccard＝TP/(TP+FP+FN)；错误率定义为：Err＝C_err/C_total，其中C_err为预测错误的像素总数，C_total为像素总数。优选的，所述模型评估指标为全部类别的平均交并比，所述终止条件为标注验证集的平均交并比达到最大。

进一步地，步骤5所述伪标签是训练完成的教师模型对于未标注样本数据集I₂中每张输入图像B的预测结果B’。预测结果B’可以是输入图像B中每个像素所属的类别标签，也可以是所属类别标签的置信度。优选的，预测结果B’是输入图像B中每个像素所属的类别标签。

进一步地，步骤6所述伪标注训练集是I₂组图像的集合，每组包括2张图像，分别是输入图像B和伪标签B’。

进一步地，步骤7包括以下步骤：

(1)将标注训练集和伪标注训练集合并，作为学生训练集。

(2)从学生训练集中不重复地随机读取m’组图像(1≤m’≤n_t+I₂)，对这些图像进行随机数据增强后，使用学生模型计算得到输出结果，并使用标注图像和伪标签计算目标函数值；

(3)根据目标函数值，更新模型参数；

(4)重复上述步骤(2)到步骤(3)，每次从学生训练集中不重复地随机读取m组图像，计算输出结果与目标函数值，优化模型参数，直到学生训练集中的全部图像完成一次训练。

(5)读取标注验证集，使用学生模型计算得到预测结果，并使用标注图像计算评估指标；

(6)重复上述步骤(2)到步骤(5)，读取学生训练集，计算输出结果与目标函数值；优化模型参数；读取标注验证集，计算预测结果与评估指标，直到满足终止条件。所述终止条件为以下至少之一：模型评估指标达到期望、迭代次数大于所述最大迭代次数。优选的，所述模型评估指标为全部类别的平均交并比，所述终止条件为标注验证集的平均交并比达到最大。

进一步地，步骤7所述随机数据增强包括：图像旋转、剪切、翻转、自动对比度、均衡化、色彩扰动、亮度扰动、图像锐化、模糊化等图像处理方法。

进一步地，步骤8如果学生模型的评估指标优于教师模型，则将学生模型作为新的教师模型，重复步骤5到步骤7，直到满足学生模型的评估指标达到最大。

进一步地，步骤9所述预测数据集包括用于预测的雷达遥感数据和光学遥感数据，其中的每张图像与步骤1所述样本数据集中输入图像的宽度、高度、分辨率、存储文件格式、通道数相同。

进一步地，步骤9所述地物识别与分类的结果是与预测数据集中每张图像一一对应的图像，其宽度、高度、分辨率与输入图像相同，每张图像包括一个通道，图像中的每个像素值代表该像素所对应地理区域范围的类别标签的预测结果。

一种基于弱监督学习的遥感图像地物识别与分类装置，其包括：

样本数据集获取单元，用于读取多源遥感图像，使用雷达遥感数据、光学遥感数据构建样本数据集；

训练和验证数据建立单元，用于根据样本数据集建立训练数据集和验证数据集；

模型设置单元，用于建立教师模型和学生模型；

模型训练单元，用于输入训练数据集和验证数据集，对教师模型和学生模型进行训练，得到训练完成的模型；

地物类型识别单元，用于向训练完成的学生模型输入预测数据集，得到地物类型的识别结果。

一种电子装置，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行上面所述方法中各步骤的指令。

与现有技术相比，本发明的积极效果为：

本发明提供的方法使用遥感图像对地物类型进行智能识别，利用预训练的教师模型在未标注图像上生成伪标注图像，达到标注数据扩增的目的，克服遥感图像地物分类中标注数据缺乏的困难，无需进行大量的人工标注，节省巨大的人力成本和开销。并且，利用伪标注图像和标注图像进行联合训练的学生模型，代替教师模型生成更高质量的伪标注图像，有效地提高模型的识别能力和分类准确度。同时，利用随机数据增强对学生模型进行训练，显著提高模型的泛化性和对噪声的鲁棒性与稳健性，效果好，准确率高。

附图说明

图1为本发明提供的遥感图像地物分类弱监督学习框架示意图。

具体实施方式

下面通过具体实施例并配合附图，对本发明作进一步的说明。

本实施例的一种基于弱监督学习的遥感图像地物识别与分类方法的流程框架如图1所示。下面以利用哨兵1号卫星SAR雷达数据和哨兵2号卫星多光谱数据进行土地类型识别为例进行详细说明。

第一步，读取部分标注的多源遥感图像，建立标注样本数据集和未标注样本数据集。本实施例中的多源遥感图像包括2016～2017年哨兵1号卫星SAR雷达图像数据、哨兵2号卫星多光谱图像数据。其中，哨兵1号卫星SAR雷达图像包括VV和VH共2个通道，哨兵2号卫星多光谱图像包括可见光、近红外、短波红外等13个通道。输入图像包括15个通道，第1～2通道是哨兵1号卫星SAR雷达图像，第3～15通道是哨兵2号卫星多光谱图像。未标注样本数据集包括180662组图像，每组图像包括1张输入图像。标注样本数据集包括6114组图像，每组图像包括2张图像，分别是输入图像和标注图像。标注图像是单通道的土地分类数据图像。每张图像宽度为256像素、高度为256像素，分辨率为10m，图像文件格式为GeoTIFF。

第二步，第一步得到的标注样本数据集包括6114组图像，从中随机抽取10％组图像设置为标注验证集x’，约611组图像数据；剩下的5503组图像设置为标注训练集x。

第三步，建立教师模型和学生模型。模型结构使用UNet编码器-解码器架构。其中，教师模型的编码器使用ResNet-RS-101残差网络结构，学生模型的编码器使用ResNet-RS-152残差网络结构。

第四步，使用标注训练集x和标注验证集x’对教师模型进行训练，得到训练完成的教师模型。训练损失函数是交叉熵损失函数，无正则化项。在本发明的其它实施例中，还可以使用其他形式的损失函数和正则化项。训练过程的具体步骤如下：

(1)从标注训练集x中不重复地随机读取16组图像，计算输出结果与目标函数值；

(2)更新模型参数；

(3)重复上述步骤(1)到步骤(2)，直到完成全部训练数据集的一次训练；

(4)读取标注验证集x’，计算预测结果与准确度；

(5)重复上述步骤(1)到步骤(4)，读取标注训练集，计算输出结果与目标函数值；优化模型参数；读取标注验证集，计算预测结果与平均交并比，直到平均交并比达到最大值或者迭代次数大于1000次。

第五步，使用训练完成的教师模型，输入未标注样本数据集。模型读取输入图像，输出未标注数据的预测结果，即未标注输入图像中每个像素所属的土地类型，作为伪标签。

第六步，读取未标注样本数据集和伪标签，建立伪标注训练集x”，包括180662组图像。每组图像包括2张图像，分别是未标注样本数据集中的输入图像和伪标签。

第七步，使用标注训练集x、标注验证集x’和伪标注训练集x”，对学生模型进行训练，得到训练完成的学生模型。训练损失函数是交叉熵损失函数，无正则化项。模型评估指标为平均交并比。在本发明的其它实施例中，还可以使用其它形式的损失函数、正则化项和评估指标。训练过程的具体步骤如下：

(1)将标注训练集x和伪标注训练集x”合并，作为学生训练集，包括186165组图像。

(2)从学生训练集中不重复地随机读取16组图像，进行随机数据增强，包括：图像旋转、水平剪切、垂直剪切、水平翻转、垂直翻转。计算学生模型的输出结果与目标函数值；

(3)更新模型参数；

(4)重复上述步骤(2)到步骤(3)，直到完成全部训练数据集的一次训练；

(5)读取标注验证集x’，计算预测结果与平均交并比；

(6)重复上述步骤(2)到步骤(5)，读取学生训练集，计算输出结果与目标函数值；优化模型参数；读取标注验证集，计算预测结果与平均交并比，直到平均交并比达到最大值或者迭代次数大于1000次。

第八步，如果学生模型在标注验证集上的平均交并比优于教师模型，则将学生模型作为新的教师模型，重复第五步到第七步，直到满足学生模型在标注验证集上的平均交并比达到最大。

第九步，使用训练完成的学生模型，输入预测数据集，即一组输入图像，其中的每张图像包括15个通道，第1～2通道是哨兵1号卫星SAR雷达图像，第3～15通道是哨兵2号卫星多光谱图像。每张图像宽度为256像素、高度为256像素，分辨率为10m，图像文件格式为GeoTIFF。模型读取输入图像，输出土地类型的识别结果。

根据上述实施例，对模型进行训练，可获得如下进步效果：相比仅在标注数据集上训练的教师模型，在标注数据集和未标注数据集上进行弱监督学习训练的学生模型，在验证数据集上对土地类型的预测平均准确度提高到97.6％、交并比提高到77.4％。

基于同一发明构思，本发明的另一实施例提供一种基于弱监督学习的遥感图像地物识别与分类装置，其包括：

模型设置单元，用于建立教师模型和学生模型；

基于同一发明构思，本发明的另一实施例提供一种电子装置(计算机、服务器、智能手机等)，其包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行本发明方法中各步骤的指令。

基于同一发明构思，本发明的另一实施例提供一种计算机可读存储介质(如ROM/RAM、磁盘、光盘)，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现本发明方法的各个步骤。

在本发明方案的具体步骤中，可以有其它替代方式或变形方式，例如：

1、步骤一除了读取多源遥感图像外，还可以读取数字高程DEM数据。

2、步骤二除了建立训练集和验证集，还可以建立测试集。从所述标注样本数据集中随机抽取n_t组图像设置为训练集，n_v组图像设置为验证集，剩下的图像设置为测试集。所述训练集、验证集和测试集中的图像不重复。

3、步骤三所述教师模型和学生模型，还可以使用支持向量机、随机森林、梯度提升树等类型的机器学习模型，以及其它结构的深度学习语义分割模型。

4、步骤四所述训练损失函数还可以包括所述模型评估指标，即：F1分值、Dice系数、交并比、Jaccard系数等。

5、步骤五还可以使用教师模型对未标注输入图像中每个像素所属土地类型的置信度作为伪标签。

6、步骤七还可以使用图像自动对比度、直方图均衡化、色彩扰动、亮度扰动、锐化、模糊化等其它图像处理方法进行随机数据增强。

7、步骤七和步骤八还可以使用敏感度、特异度、准确度、F1分值、Dice系数、Jaccard系数、错误率等其它评估指标。

8、步骤九还可以向训练完成的模型输入测试集，得到模型的预测结果和测试准确度。

显然，以上所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员所获得的所有其他实施例，都属于本发明保护的范围。

Claims

1.一种基于弱监督学习的遥感图像地物识别与分类方法，其特征在于，包括以下步骤：

1)读取部分标注的多源遥感图像，构建标注样本数据集和未标注样本数据集；

2)从标注样本数据集建立标注训练集和标注验证集；

3)建立教师模型和学生模型；

4)输入标注训练集和标注验证集，对教师模型进行预训练，得到训练完成的教师模型；

5)向训练完成的教师模型输入未标注样本数据集，得到未标注数据的预测结果，作为伪标签；

6)读取未标注样本数据集和伪标签，构建伪标注训练集；

7)输入标注训练集、标注验证集和伪标注训练集，进行随机数据增强，对学生模型进行训练；

8)将学生模型作为新的教师模型，重复步骤5)到步骤7)；

9)向训练完成的学生模型输入预测数据集，得到地物识别与分类的结果。

2.根据权利要求1所述的方法，其特征在于，步骤1)所述多源遥感图像包括雷达遥感数据和/或光学遥感数据；所述雷达遥感数据包括合成孔径雷达获取的地面图像；所述光学遥感数据是光学传感器获取的地面图像，包括全色、可见光、近红外、短波红外、热红外中一个或多个不同波长的光谱波段。

3.根据权利要求1所述的方法，其特征在于，步骤1)所述部分标注的多源遥感图像是多张输入图像的集合，每张图像X包括多个通道，由对应于同一地理区域范围的雷达遥感图像X₁和光学遥感图像X₂的通道堆叠而成；将其中的I₁张输入图像A进行标注得到对应的标注图像A’，每张标注图像包括一个通道，其中的每个像素值代表该像素所对应地理区域范围的类别标签；将输入图像A及其对应的标注图像A’作为标注样本数据集，剩下的I₂张输入图像B，作为未标注样本数据集。

4.根据权利要求3所述的方法，其特征在于，步骤2)所述标注样本数据集中随机抽取n_t组图像设置为标注训练集，剩下的I₁-n_t组图像设置为标注验证集，其中1<n_t<I₁，标注训练集和标注验证集中的图像不重复。

5.根据权利要求1所述的方法，其特征在于，步骤3)所述教师模型和学生模型是机器学习模型，其模型结构相同或不同。

6.根据权利要求1所述的方法，其特征在于，步骤4)包括：

(1)从标注训练集中不重复地随机读取m组图像，使用教师模型计算得到输出结果，并使用标注图像计算目标函数值；

(2)根据目标函数值，更新模型参数；

7.根据权利要求6所述的方法，其特征在于，步骤4)所述目标函数定义为：

为模型对第i张输入图像的输出结果；步骤4)所述评估指标包括以下至少之一：敏感度、特异度、精确度、准确度、交并比、F1分值、Dice系数、Jaccard系数、错误率。

8.根据权利要求1所述的方法，其特征在于，步骤5)所述伪标签是训练完成的教师模型对于未标注样本数据集I₂中每张输入图像B的预测结果B’，预测结果B’是输入图像B中每个像素所属的类别标签，或者是所属类别标签的置信度；步骤6)所述伪标注训练集是I₂组图像的集合，每组包括2张图像，分别是输入图像B和伪标签B’。

9.根据权利要求1所述的方法，其特征在于，步骤7)包括：

(1)将标注训练集和伪标注训练集合并，作为学生训练集。

(2)从学生训练集中不重复地随机读取m’组图像，对这些图像进行随机数据增强后，使用学生模型计算得到输出结果，并使用标注图像和伪标签计算目标函数值；

(3)根据目标函数值，更新模型参数；

(6)重复上述步骤(2)到步骤(5)，读取学生训练集，计算输出结果与目标函数值；优化模型参数；读取标注验证集，计算预测结果与评估指标，直到满足终止条件。

10.根据权利要求1所述的方法，其特征在于，步骤8)中如果学生模型的评估指标优于教师模型，则将学生模型作为新的教师模型，重复步骤5)到步骤7)，直到满足学生模型的评估指标达到最大。

11.根据权利要求1所述的方法，其特征在于，步骤9所述地物识别与分类的结果是与预测数据集中每张图像一一对应的图像，其宽度、高度、分辨率与输入图像相同，每张图像包括一个通道，图像中的每个像素值代表该像素所对应地理区域范围的类别标签的预测结果。

12.一种采用权利要求1～11中任一权利要求所述方法的基于弱监督学习的遥感图像地物识别与分类装置，其特征在于，包括：

模型设置单元，用于建立教师模型和学生模型；

13.一种电子装置，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行权利要求1～11中任一权利要求所述方法的指令。