CN112084871A - 一种基于弱监督学习的高分遥感目标边界提取方法 - Google Patents

Abstract

一种基于弱监督学习的高分遥感目标边界提取方法，首先根据提取任务确定遥感地物目标并制作相应的少量精确样本标签和大量不确切样本标签。然后使用少量精确样本标签训练小样本集边缘模型。再使用小样本集边缘模型去预测大量不确切样本集，得到大量的地物目标边缘强度图，对这批质量参差不一的强度图使用骨架提取算法获得骨架图，再采用边界完整程度算法计算每个地物目标的边界完整情况，并按给定阈值挑选整体边界完整度较高的骨架图作为大量较准确样本集。接着使用大量较准确样本集训练大样本集边缘模型。最后用大样本集边缘模型预测待生产的高分遥感影像，并用骨架提取，获得最终的目标边界提取结果。本发明的模型精度超过少量样本的模型精度。

Description

一种基于弱监督学习的高分遥感目标边界提取方法

技术领域

本发明提出一种基于弱监督学习的高分遥感目标边界提取方法，涉及遥感、神经网络和弱监督学习等技术领域。

技术背景

我国第一颗遥感卫星发射至今已有近50年。随着对航天领域的不断投入与深入研究，中国大型遥感卫星数量超越美俄，位列世界第一，大量的遥感资源缩短了地表观测周期。同时遥感影像空间分辨率不断提高，从影像中能够更清晰更准确地检测空间地物。然而如何从庞大的遥感资源中快速、精确、有效地提取出具有地学意义的对象一直是遥感生产人员重点研究的问题。

传统的遥感影像信息获取通常采用人工勾画图斑的方法，遥感生产人员凭借专业的地理知识和多年的工作经验能够准确的判别图斑类型并精细地进行勾画分类，保证了可应用遥感影像的质量。但是庞大的遥感资源与低下的勾画效率形成鲜明的反差，仅在人工勾画的条件下，绝大多数影像资源得不到利用，而且得到利用的那部分影像也往往具有滞后性。近年来，深度学习的逐渐发展为遥感影像提取带来了全新的解决方案。深度学习方法以模拟人类神经结构为思路，提出深层卷积神经网络，辅以人工标记的真实标签输入，通过不断修正每个神经元而最终达到对特定目标的拟合。目前已有不少深度学习方面的研究在公开数据集上取得了良好成效，然而神经网络模型的弱迁移性和对训练集的依赖性需要大量的精确标注的遥感影像样本作为支撑，若全部由人工绘制，则将是一个庞大的工程。

因此不少深度学习研究人员开始探寻减少样本使用情况而保持提取准确率的方法，这类方法统称为弱监督学习。根据样本的标注情况，可以将弱监督学习分为不完全监督、不确切监督、不准确监督三种。不完全监督即只有小部分样本带有标签，再利用这部分样本提供的有用信息对大部分未标注样本进行操作，从而获得所有样本的价值。不确切监督即样本的标注不够精确，只有粗粒度的标签，不确切的样本可以为分类任务和目标检测任务等提供支持，但是难以应用于提取难度更高的分割任务。不准确监督即样本标签并不总是准确，往往带有错误信息，自动找出正确标签并利用正确标签特征弱化错误标签带来的负面影响是不准确监督学习的重要任务。

发明内容

本发明要解决高分遥感影像利用效率不高，人工标注影像标签时间过长的问题，提出了一种基于弱监督学习的高分遥感目标边界提取方法。

本发明可通过少量精细标注样本和大量粗粒度标注样本拓展训练数据集，丰富数据集的覆盖区域和各目标的特征类型，可以更好地进行表征学习，压制数据集中的噪声。

为实现上述目的，本发明提出的技术方案如下：

一种基于弱监督学习的高分遥感目标边界提取方法，方法包括如下步骤：

步骤1：制作遥感影像目标边界样本：选用高分辨率遥感卫星影像数据，选取多处生产目标所在区域裁剪成统一大小的多景影像，对少量影像描画目标的精细边界并标记类型，获得少量精确样本标签，对大量影像标注地物目标中心点，获得大量不确切样本标签。

步骤2：根据提取目标选择神经网络并使用少量精确样本标签训练小样本集边缘模型至拟合。

步骤3：使用小样本集边缘模型预测步骤1中的大量不确切样本，获得大量不准确样本标签。

步骤4：以步骤1中的不确切样本标签为基准，计算不准确样本标签的边界完整程度，从不准确样本中挑选出边界比较完整的标签构建新的样本库，具有更准确的样本标签。

步骤5：使用更准确样本标签对小样本集边缘模型进行迭代训练至收敛，获得更可靠的大样本集边缘模型。

进一步的，步骤1中，高分辨率遥感卫星影像数据可采用光学卫星遥感数据或者搭载光学相机的航空遥感数据，根据分辨率要求可直接使用多光谱影像或经过辐射定标、正射校正、图像融合的全色影像。

进一步的，步骤1中，人工使用Arcmap等地理生产软件进行选取目标区域中心点、裁剪成固定大小、勾画边界标记类型等操作，最终生成大小一致带有地理坐标的栅格文件和面矢量文件。

进一步的，步骤2中，为满足生产需要，选用更加注重边界细节的边缘检测网络作为主要的神经网络，如RCF，其损失函数为：

其中

是阶段k的激活值，

是来自激活层，|I|是图像的各个像素值，K是阶段数，W表示神经网络学习的权重。

进一步的，步骤3中，不准确样本标签是小样本集边缘模型预测的边缘强度图，数值大小描述了为目标边界的概率大小，因训练样本数量小、影像质量不够高、神经网络固有缺陷等原因，在经过骨架提取算法后，骨架图往往存在着边缘断线、漏提、误提等问题。

进一步的，步骤4中，不确切样本标签是地物目标中心点，确定地物目标位置，是计算边界完整程度的重要依据。根据地物目标中心点并使用边界完整程度算法筛选出较优质的样本标签，降低噪声干扰。边界完整程度算法如下：

步骤4.1:遍历不确切样本标签中的每个地物目标中心点，以点为中心，从0点钟方向开始，360度地顺时针向外辐射，直至触碰到步骤3.2中不准确样本的骨架边缘线，记录每个触碰点。

步骤4.2:对于围绕同一个定位点的触碰点，使用八邻域的形态学方法尽可能拓扑连接，每个定位点将得到关于它的目标边界线。

步骤4.3:计算每一个目标边界线的闭合程度，并根据设定的阈值分两种情况处理边界线。

步骤4.3.1:可修补断线延伸：对于闭合程度大于阈值的边界线，参考步骤3.1中的边缘强度图，选取强度图中数值较大的像素点使边界断线得到延伸，最终闭合并记录到更准确的样本标签中。

步骤4.3.2:不可修补断线删除：对于闭合程度小于阈值的边界线，不记录到更准确的样本标签。

进一步的，步骤5中，使用小样本集边缘模型初始化边缘检测模型的网络权重。训练至拟合的大样本集边缘模型为最终模型，可直接用于生产，具体包括：

步骤5.1:用步骤2.4中的第一代模型取代VGG16预模型来重新初始化RCF网络权重；

步骤5.2:将步骤4.3获得的更准确样本输入到RCF网络中按照步骤2.3的超参数训练，待神经网络收敛，获得最终的大样本集边缘模型；

步骤5.3:使用最终的大样本集边缘模型预测待生产的高分遥感影像数据，可得到较步骤3.1更准确的地物目标边缘强度图；

步骤5.4:使用skeleton算法对边缘强度图进行骨架提取，得到的骨架图；

步骤5.5：对骨架图取最外边界，得到最终的地物目标边界提取结果。

本发明提出一种基于弱监督学习的高分遥感目标边界提取方法，主要针对米级、亚米级分辨率遥感卫星影像的目标边缘提取。首先根据提取任务确定遥感地物目标并制作相应的少量精确样本标签和大量不确切样本标签。然后使用少量精确样本标签训练小样本集边缘模型，该模型由于样本数量限制，应用区域范围小，识别精度不高。再使用小样本集边缘模型去预测大量不确切样本集，得到大量的地物目标边缘强度图，对这批质量参差不一的强度图使用骨架提取算法获得骨架图，再采用边界完整程度算法计算每个地物目标的边界完整情况，并按给定阈值挑选整体边界完整度较高的骨架图作为大量较准确样本集。接着使用大量较准确样本集训练大样本集边缘模型，该模型添加了大量各地区各形态的地物目标，较小样本集边缘模型有着更高识别精度和应用范围。最后对测试样本集预测，并采用骨架提取的后处理方法，获得地物目标边界。本发明通过使用少量人工精确标注样本和大量粗粒度标签样本大幅度扩展训练样本集，其模型精度超过少量样本的模型精度。

由于采用了上述技术方案，本发明具有如下优点与有益效果：

1、本发明采用结合不完全监督、不确切监督和不准确监督这三种弱监督学习的方法，有效地利用了粗粒度标注样本，仅使用较少的人工标注时间和成本即可取得不错的高分遥感目标边界提取效果。

2、本发明利用大量分布范围广泛、目标形态各异的粗粒度人工标注样本，扩大了研究区域和扩展了遥感目标的形态种类，提升了深度学习模型的鲁棒性。

附图说明

图1是本发明方法的流程图。

图2是本发明的少量精细标注样本的示例图。

图3是本发明的大量粗粒度标注样本的示例图。

图4是本发明的计算不准确样本标签边界完整程度的示例图。

图5是本发明的初始影像(左图)、大样本集边缘模型预测骨架图(中间图)和小样本集边缘模型预测骨架图(右图)的对比图。

图6是初始影像(左图)、大样本集边缘模型最终结果图(中间图)和小样本集边缘模型最终结果图(右图)的对比图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是一种基于弱监督学习的高分遥感目标边界提取方法流程图。

参照图1所示，为本发明提供较佳实施例，包括下列步骤：

步骤1：制作遥感影像目标边界样本：获得少量精确的样本标签和大量不确切的样本标签，具体包括：

步骤1.1：获取高分遥感影像：选用高分辨率遥感卫星影像数据，具有米级亚米级空间分辨率、大幅宽成像技术和高辐射质量等特点

步骤1.2：裁剪遥感影像：在大幅影像中选取典型目标和负样本目标共2000个，并根据其位置按照统一像素尺寸进行裁剪，典型目标应具有代表性，负样本数量占小比例。

步骤1.3：准备深度学习训练样本：将裁剪的遥感影像按照1:19的比例分为少量精确样本、大量不确切样本。如图2所示，对精确样本进行细致标注，即精确绘制每个地物目标的边界；如图3所示，对不确切样本进行粗略标注，即在每个地物目标中心处标志一个定位点。

步骤2：根据提取目标选择神经网络并使用少量精确样本标签训练小样本集边缘模型至拟合，具体包括：

步骤2.1：设计深度神经网络：为了能得到比较准确的目标边缘，选择RCF作为边缘检测网络，可以很好地利用丰富的特征层次结构，提取检测精确边缘。其损失函数为：

其中

是阶段k的激活值，

是来自激活层，|I|是图像的各个像素值，K是阶段数，W表示神经网络学习的权重。

步骤2.2:初始化网络权重：使用VGG16预训练模型来初始化RCF网络权重。

步骤2.3:设置训练超参数：配置超参数，模型调优后具体数值：迭代次数8000，batch_size＝4,学习率更新策略，学习率更新步长＝[3200,4800,6400,8000]，初始学习率＝0.001，学习率更新系数＝0.1。

步骤2.4:训练第一代模型：按照步骤2.3设置好的超参数，将步骤1.3中的少量精确样本输入到RCF网络中进行训练，待神经网络收敛，获得第一代边缘检测模型。

步骤3：使用小样本集边缘模型预测步骤1中的大量不确切样本，获得大量不准确样本标签，具体包括：

步骤3.1:将步骤1.3中的不确切样本输入到步骤2.4中的第一代边缘检测模型中，获得关于地物目标的边缘强度图，描述是否为目标边缘的可能性。

步骤3.2:将步骤3.1中的地物目标边缘强度图使用skeleton算法进行骨架提取，获得不准确样本标签，与不确切样本标签不同，不准确样本标签仅为网络模型预测处理后的结果，含有错误信息，而不确切样本标签是人工绘制确定地物目标位置的一个定位点，几乎完全可信。

步骤4：以步骤1中的不确切样本标签为基准，如图4所示，计算不准确样本标签的边界完整程度，从不准确样本中挑选出边界比较完整的标签构建新的样本库，具有更准确的样本标签，具体包括：

步骤4.1:遍历步骤1.3中不确切样本标签中的每个定位点，以点为中心，从0点钟方向开始，360度地顺时针向外辐射，直至触碰到步骤3.2中不准确样本的骨架边缘线，记录每个触碰点。

步骤4.2:对于围绕同一个定位点的触碰点，使用八邻域的形态学方法尽可能拓扑连接，每个定位点将得到关于它的目标边界线。

步骤4.3:计算每一个目标边界线的闭合程度，并根据设定的阈值分两种情况处理边界线。

步骤4.3.1:可修补断线延伸：对于闭合程度大于阈值的边界线，参考步骤3.1中的边缘强度图，选取强度图中数值较大的像素点使边界断线得到延伸，最终闭合并记录到更准确的样本标签中。

步骤4.3.2:不可修补断线删除：对于闭合程度小于阈值的边界线，不记录到更准确的样本标签。

步骤5：使用更准确样本标签对小样本集边缘模型进行迭代训练至收敛，获得更可靠的大样本集边缘模型，具体包括：

步骤5.1:用步骤2.4中的第一代模型取代VGG16预模型来重新初始化RCF网络权重。

步骤5.2:将步骤4.3获得的更准确样本输入到RCF网络中按照步骤2.3的超参数训练，待神经网络收敛，获得最终的大样本集边缘模型。

步骤5.3:使用最终的大样本集边缘模型预测待生产的高分遥感影像数据，可得到较步骤3.1更准确的地物目标边缘强度图。

步骤5.4:使用skeleton算法对边缘强度图进行骨架提取，得到的骨架图如图5所示，其中左图是初始影像，中间图是大样本集边缘模型预测骨架图，右图是小样本集边缘模型预测骨架图。

步骤5.5：对骨架图取最外边界，可得到最终的地物目标边界提取结果，如图6所示，其中左图是初始影像，中间图是大样本集边缘模型最终结果图，右图是小样本集边缘模型最终结果图。

本发明结合不完全监督、不确切监督和不准确监督这三种弱监督学习方式的特点，提出一种基于弱监督学习的高分遥感目标边界提取方法，力求以少量精细标注样本和大量粗粒度标注样本取得超越或接近单一较大量精细标注样本的提取成绩，从而降低人工绘制遥感样本的工作量和提高遥感影像的利用效率。

Claims (7)

1.一种基于弱监督学习的高分遥感目标边界提取方法，包括如下步骤：

步骤1：制作遥感影像目标边界样本：选用高分辨率遥感卫星影像数据，选取多处生产目标所在区域裁剪成统一大小的多景影像，对少量影像描画目标的精细边界并标记类型，获得少量精确样本标签，对大量影像标注地物目标中心点，获得大量不确切样本标签；

步骤2：根据提取目标选择神经网络并使用少量精确样本标签训练小样本集边缘模型至拟合；

步骤3：使用小样本集边缘模型预测步骤1中的大量不确切样本，获得大量不准确样本标签；

步骤4：以步骤1中的不确切样本标签为基准，计算不准确样本标签的边界完整程度，从不准确样本中挑选出边界比较完整的标签构建新的样本库，具有更准确的样本标签；

步骤5：使用更准确样本标签对小样本集边缘模型进行迭代训练至收敛，获得更可靠的大样本集边缘模型。

2.如基于弱监督学习的高分遥感目标边界提取方法，其特征在于：步骤1中，高分辨率遥感卫星影像数据可采用光学卫星遥感数据或者搭载光学相机的航空遥感数据，根据分辨率要求可直接使用多光谱影像或经过辐射定标、正射校正、图像融合的全色影像。

3.如基于弱监督学习的高分遥感目标边界提取方法，其特征在于：步骤1中，人工使用Arcmap等地理生产软件进行选取目标区域中心点、裁剪成固定大小、勾画边界标记类型等操作，最终生成大小一致带有地理坐标的栅格文件和面矢量文件。

4.如基于弱监督学习的高分遥感目标边界提取方法，其特征在于：步骤2中具体包括：

步骤2.1：设计深度神经网络：为了能得到比较准确的目标边缘，选择RCF作为边缘检测网络，可以很好地利用丰富的特征层次结构，提取检测精确边缘。其损失函数为：

其中

是阶段k的激活值，

是来自激活层，|I|是图像的各个像素值，K是阶段数，W表示神经网络学习的权重；

步骤2.2:初始化网络权重：使用VGG16预训练模型来初始化RCF网络权重；

步骤2.3:设置训练超参数：配置超参数，模型调优后具体数值：迭代次数8000，batch_size＝4,学习率更新策略，学习率更新步长＝[3200,4800,6400,8000]，初始学习率＝0.001，学习率更新系数＝0.1；

步骤2.4:训练第一代模型：按照步骤2.3设置好的超参数，将步骤1.3中的少量精确样本输入到RCF网络中进行训练，待神经网络收敛，获得第一代边缘检测模型。

5.如基于弱监督学习的高分遥感目标边界提取方法，其特征在于：步骤3具体包括：

步骤3.1:将步骤1.3中的不确切样本输入到步骤2.4中的第一代边缘检测模型中，获得关于地物目标的边缘强度图，描述是否为目标边缘的可能性；

步骤3.2:将步骤3.1中的地物目标边缘强度图使用skeleton算法进行骨架提取，获得不准确样本标签，与不确切样本标签不同，不准确样本标签仅为网络模型预测处理后的结果，含有错误信息，而不确切样本标签是人工绘制确定地物目标位置的一个定位点，几乎完全可信。

6.如基于弱监督学习的高分遥感目标边界提取方法，其特征在于：步骤4中，不确切样本标签是地物目标中心点，确定地物目标位置，是计算边界完整程度的重要依据；根据地物目标中心点并使用边界完整程度算法筛选出较优质的样本标签，降低噪声干扰；边界完整程度算法如下：

步骤4.1:遍历不确切样本标签中的每个地物目标中心点，以点为中心，从0点钟方向开始，360度地顺时针向外辐射，直至触碰到步骤3.2中不准确样本的骨架边缘线，记录每个触碰点；

步骤4.2:对于围绕同一个定位点的触碰点，使用八邻域的形态学方法尽可能拓扑连接，每个定位点将得到关于它的目标边界线；

步骤4.3:计算每一个目标边界线的闭合程度，并根据设定的阈值分两种情况处理边界线；

步骤4.3.1:可修补断线延伸：对于闭合程度大于阈值的边界线，参考步骤3.1中的边缘强度图，选取强度图中数值较大的像素点使边界断线得到延伸，最终闭合并记录到更准确的样本标签中；

步骤4.3.2:不可修补断线删除：对于闭合程度小于阈值的边界线，不记录到更准确的样本标签。

7.如基于弱监督学习的高分遥感目标边界提取方法，其特征在于：步骤5中，使用小样本集边缘模型初始化边缘检测模型的网络权重，训练至拟合的大样本集边缘模型为最终模型，具体包括：

步骤5.1:用步骤2.4中的第一代模型取代VGG16预模型来重新初始化RCF网络权重；

步骤5.2:将步骤4.3获得的更准确样本输入到RCF网络中按照步骤2.3的超参数训练，待神经网络收敛，获得最终的大样本集边缘模型；

步骤5.3:使用最终的大样本集边缘模型预测待生产的高分遥感影像数据，可得到较步骤3.1更准确的地物目标边缘强度图；

步骤5.4:使用skeleton算法对边缘强度图进行骨架提取，得到的骨架图；

步骤5.5：对骨架图取最外边界，得到最终的地物目标边界提取结果。

Images