CN115170962A - 一种基于无人机与卫片的林地变更检测方法 - Google Patents

Abstract

本发明公开了一种基于无人机与卫片的林地变更检测方法，包括如下步骤：步骤一：取卫片数据集中的一片图像，按卫片图像的经纬度，获取无人机图像数据生成对应的无人机仿卫片图像；步骤二：按无人机图像数据生成的仿卫片图像，对卫片数据进行季节色彩增强处理，使其更贴近无人机仿卫片图像；步骤三:使用改进的Siam‑HRNet深度学习算法，直接得到无人机仿卫片图像与增强处理后的卫片的图像差；步骤四：判断卫片数据集还有没有未处理的卫片数据，如果有，转步骤一；如果没有，结束。本发明通过抽取无人机正射视频生成伪卫片数据，并用此伪卫片数据与卫片数据进行对比，从而生成林地变更数据的方法。

Description

一种基于无人机与卫片的林地变更检测方法

技术领域

本发明涉及森林保护技术领域，特别是涉及一种基于无人机与卫片的林地变更检测方法。

背景技术

我国森林覆盖率、人均森林面积等远低于世界平均水平。我国仍然处于森林资源短缺,生态系统脆弱的境况,而且我国森林乱砍乱伐乱建现象屡见不鲜,森林资源每年都遭受到了严重的破坏与威胁,通过林地年度变更调查及时摸清森林资源现状并进行科学、合理规划及保护显得尤为重要。自2017年起,全国范围内全面实施林地年度变更调查工作。由于起步不久,不同地区、林业局技术手段不一,这也给森林资源的管理和开发造成了一定困难。

遥感卫星影像是当前林地变更调查工作的主要调查手段之一，也是最重要的调查手段之一。工作人员可以通过对同一林地不同时间段的遥感影像进行分析来更好地了解当地林地的变化规律，成为变更执法的核心手段。但是，由于云、雾、雨等天气原因和卫星成本的限制，目前存在遥感影像不清晰、卫星影像更新不及时的问题，特别是免费的林地卫星影像切片很多时候几年不更新一次，难以及时检测出林地变更信息的需要。

无人机视频可以很好的填补这一空白。它可以针对性的进行飞行拍摄，得到最及时的第一手数据，但无人机最新的数据，缺乏卫片数据的历史性，因而，最好将两种方式结合起来，提供一种能解决极大差异的两类图像的比较方法。

相关资料：

LAB色彩空间,

https://baike.baidu.com/item/Lab％E8％89％B2％E5％BD％A9％E7％A9％BA％E9％9

7％B4/6833664。

HRNet，https://arxiv.org/abs/1902.09212。

OCRNet，https://arxiv.org/abs/1909.11065。

发明内容

有鉴于现有技术的至少一个缺陷，本发明的目的是提供一种基于无人机与卫片的林地变更检测方法，通过抽取无人机正射视频生成伪卫片数据，并用此伪卫片数据与卫片数据进行对比，从而生成林地变更数据的方法。

为了达到上述目的，本发明采用如下技术方案：一种基于无人机与卫片的林地变更检测方法，包括如下步骤：

步骤一：取卫片数据集中的一片图像，按卫片图像的经纬度，获取无人机图像数据生成对应的无人机仿卫片图像；

步骤二：按无人机图像数据生成的仿卫片图像，对卫片图像进行季节色彩增强处理，使其更贴近无人机仿卫片图像；

步骤三:使用改进的Siam-HRNet深度学习算法，直接得到无人机仿卫片图像与增强处理后的卫片的图像差；

步骤四：判断卫片数据集还有没有未处理的卫片图像，如果有，转步骤一；如果没有，结束。

步骤一包括：

步骤1.1：取最大层级的卫片数据集中的一片图像，记为IMG1；其卫片图像的分辨率设为K×K，取其对应的左上角和右下角的经纬度，设为<x1,y1,x2,y2>；

步骤1.2：从无人机的飞行日志和对应的视频中找出所有在<x1,y1,x2,y2>的经纬度范围内的图像，并将其进行正射校正和图像拼接，拼接成一张大的正射地理信息图像；

步骤1.3：从步骤1.2生成的正射地理信息图像，按GPS位置<x1,y1,x2,y2>，裁剪出新的无人机图像，并将其缩放至K×K大小；至此，利用无人机视频生成了仿卫片图像，记为IMG2。

步骤二包括：

步骤2.1：将IMG1和IMG2都转换为LAB空间的图像，得到新的图像数据，记为IMG1_1和IMG2_1；

步骤2.2：对步骤2.1重生成的IMG1_1进行零均值和单位方差化，得到归一化的图像IMG1_2；

步骤2.3：然后归一化后的IMG1_2各通道乘以IMG2_1图像的各通道方差，再加上IMG2_1图像的各通道均值，得到图像IMG1_3；

步骤2.4：将新的生成图像IMG1_3由LAB空间转回到RGB色彩空间；重新保存为IMG1_4。

步骤三包括：

改进的Siam-HRNet判别网络提供端到端的图像对比和变化检测的能力；

其网络模型的流程包括：1)前后时期对比影像IMG1_4和IMG2分别输入两个结构相同且权重共享的孪生网络分支进行特征提取；考虑到高分辨率遥感影像变化检测具有更丰富的特征和语义信息提取与利用能力的要求，研究采用整个特征提取过程都保持高分辨率表征的HRNet作为特征提取主干网络；并引入像素注意力机制，将经过主干网得到的特征图进行粗分割后，再整合像素特征表示得到目标区域表示，然后计算像素与目标区域间的关系，最后得到上下文信息增强的像素表示；2)采用FCN作为语义分割头部，得到前后时期影像多分类语义分割的结果；3)将上述得到的前后时期遥感影像语义分割结果做差并取绝对值，再送入同样由FCN构成的差异判别网络进行二值变化检测，获得最终的变化检测结果图。

改进的Siam-HRNet判别网络主要特征在于：

在HRNet的基础引入孪生网络，共离权重进行像素级的数据判别；

在FCN网络中加入注意力机制，用像素语义信息增强像素特征表示，以提高后续语义分割精度。

显著效果:本发明提供了一种基于无人机与卫片的林地变更检测方法，通过抽取无人机正射视频生成伪卫片数据，并用此伪卫片数据与卫片数据进行对比，从而生成林地变更数据的方法。

附图说明

图1为本发明的结构图；

图2为改进Siam-HRNet检测模型结构图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细说明。

如图1-图2所示，本发明公开一种利用无人机和卫星影像瓦片数据(简称卫片)来进行林地变更的对比检测方法。它能利用无人机视频来填补卫片更新不及时的缺陷，可以及时的利用当前无人机巡航视频来比对历史的卫星图像，得到当前清晰的林地变更记录。它包括以下步骤：(1)取得分辨率为K×K的卫片的左上角和右下角的经纬度信息；(2)从无人机的飞行日志和对应的视频中找出所有在卫片范围内的经纬度图像；并根据飞行日志，将取得的无人机图像进行投影校正；(3)将校正后的图像进行图像拼接，拼接成一张完整且包含对应经纬度的图像；(4)从生成后的无人机图像中按卫片经纬度，重新裁剪出正确的卫片对比数据，并将其缩放至卫片图像一致大小；(5)读取无人机的图像色彩数据，按此数据的均值和方差，对卫片数据加入季节滤镜，尽可能的保持对比数据的一致性；(6)将处理后的无人机图像与卫片同时送入基于改进Siam-HRNet网络的深度学习检测器进行检测，输出林地变更图像数据。本发明能够同时利用原始的卫片数据和及时补飞的无人机数据，解决卫片数据更新不及时的难题，从而获取到第一手的林地变更信息。

有鉴于现有技术的多种缺陷，本发明的目的是提供一种通过抽取无人机正射视频生成伪卫片数据，并用此伪卫片数据与卫片数据进行对比，从而生成林地变更数据的方法。它可以使用无人机数据实现昂贵的卫星影像数据才能实现的效果，在无需较大投入的情况下，实现及时林地变更普查的目标。

为了达到上述目的，本发明采用如下技术方案：一种基于无人机与卫片的林地变更检测方法，它包含以下步骤：

步骤一：按卫片图像经纬度，生成对应的无人机图像数据。它包含以下子步骤：

步骤1.1取最大层级的可用卫片数据集中的一片图像，记为IMG1。通常最大的层级不得小于18级，一般为20-22级之间，其卫片图像的分辨率设为K×K(一般为512×512或256×256)，取其对应的左上角和右下角的经纬度，设为<x1,y1,x2,y2>。

步骤1.2从无人机的飞行日志和对应的视频中找出所有在<x1,y1,x2,y2>的经纬度范围内的图像，并将其进行正射校正和图像拼接，拼接成一张大的正射地理信息图像。

步骤1.3从步骤1.2生成的正射地理信息图像，按GPS位置<x1,y1,x2,y2>，裁剪出新的无人机图像，并将其缩放至K×K大小。至此，我们利用无人机视频生成了仿卫片图像，记为IMG2。

步骤二：按无人机生成的仿卫片图像，对卫片数据进行季节色彩增强处理，使其更贴近无人机仿卫片图像。它包含以下步骤：

步骤2.1将IMG1和IMG2都转换为LAB空间的图像，得到新的图像数据，记为IMG1_1和IMG2_1。LAB空间是一个正交空间，在上面做色彩变换不容易引起色彩问题。

步骤2.2对步骤2.1重生成的IMG1_1进行零均值和单位方差化,得到归一化的图像IMG1_2；

步骤2.3然后归一化后的IMG1_2各通道乘以IMG2_1图像的各通道方差，再加上IMG2_1图像的各通道均值，得到图像IMG1_3。

步骤2.4将新的生成图像IMG1_3由LAB空间转回到RGB色彩空间,重新保存为IMG1。

至此，我们完成了卫片图像到无人机图像的色彩迁移。一般说来，无人机图像的色彩会比卫片图像效果更好，提供更优秀的识别能力。同时，由于季节原因(特别是夏、秋、冬三季)，色彩迁移可以引入季节特征。实验表明，卫片图像的数据的色彩迁移能较好的减少对比误差，提高对比精度。

步骤三:使用改进的Siam-HRNet深度学习算法，直接得到无人机与卫片的图像差。

改进Siam-HRNet判别网络提供端到端的图像对比和变化检测的能力，它的网络构造如图2所示。

其网络模型的主要流程包括：1)前后时期对比影像IMG1和IMG2分别输入两个结构相同且权重共享的孪生网络分支进行特征提取。考虑到高分辨率遥感影像变化检测具有更丰富的特征和语义信息提取与利用能力的要求，研究采用整个特征提取过程都保持高分辨率表征的HRNet作为特征提取主干网络。并引入像素注意力机制，将经过主干网得到的特征图进行粗分割后，再整合像素特征表示得到目标区域表示，然后计算像素与目标区域间的关系，最后得到上下文信息增强的像素表示。2)采用FCN作为语义分割头部，得到前后时期影像多分类语义分割的结果。3)将上述得到的前后时期遥感影像语义分割结果做差并取绝对值，再送入同样由FCN构成的差异判别网络进行二值变化检测，获得最终的变化检测结果图。

其改进的Siam-HRNet主要特征在于：

在HRNet的基础引入孪生网络，共离权重进行像素级的数据判别。

在FCN网络中加入注意力机制，用像素语义信息增强像素特征表示，以提高后续语义分割精度。

步骤四：循环处理至整个数据集无需要处理的卫片数据为止。否则转步骤一。

其完整流程图如图1所示。

技术保护点：

一种基于无人机与卫片的林地变更检测方法其特征在于，包括：首先从卫片数据去定位无人机数据，并取出同样区域的无人机数据，并将其变换为卫片图像的大小；接下来，按无人机拍摄的季节数据，对卫片数据进行3D LUT滤镜处理，尽可能的将卫片数据颜色与无人机数据的颜色一致；最后使用改进的Siam-HRNet网络对无人机数据和卫片数据进行林地变更检测。至此，可以得到效果很好林地变更数据。

技术保护范围摘要:

一种基于无人机与卫片的林地变更检测方法,其特征在于，包括：

特征一、同时利用无人机视频与卫星图片进行对比的林地变更检测；

特征二、将无人机数据通过拼接后，变换成仿卫片数据，在卫片数据的尺度上进行像素级的对比。

特征三、为提高可视效果和检测效果，引入无人机的色彩数据，对卫片数据进行了色彩迁移处理，将卫片数据加入无人机对应的季节特征，以更好提高对比检测的效果；

特征四、使用改进的Siam-HRNet网络学习和检测对应的IoU特征，在上述的处理中，可以得到又快又好的对比结果，从而实现端到端的数据输出。

最后，需要注意的是：以上列举的仅是本发明的具体实施例子，当然本领域的技术人员可以对本发明进行改动和变型，倘若这些修改和变型属于本发明权利要求及其等同技术的范围之内，均应认为是本发明的保护范围。

Claims (4)

1.一种基于无人机与卫片的林地变更检测方法，其特征在于，包括如下步骤：

步骤一：取卫片数据集中的一片图像，按卫片图像的经纬度，获取无人机图像数据生成对应的无人机仿卫片图像；

步骤二：按无人机图像数据生成的仿卫片图像，对卫片图像进行季节色彩增强处理，使其更贴近无人机仿卫片图像；

步骤三:使用改进的Siam-HRNet深度学习算法，直接得到无人机仿卫片图像与增强处理后的卫片的图像差；

步骤四：判断卫片数据集还有没有未处理的卫片图像，如果有，转步骤一；如果没有，结束。

2.根据权利要求1所述的基于无人机与卫片的林地变更检测方法，其特征在于：所述步骤一包括：

步骤1.1：取最大层级的卫片数据集中的一片图像，记为IMG1；其卫片图像的分辨率设为K×K，取其对应的左上角和右下角的经纬度，设为<x1,y1,x2,y2>；

步骤1.2：从无人机的飞行日志和对应的视频中找出所有在<x1,y1,x2,y2>的经纬度范围内的图像，并将其进行正射校正和图像拼接，拼接成一张大的正射地理信息图像；

步骤1.3：从步骤1.2生成的正射地理信息图像，按GPS位置<x1,y1,x2,y2>，裁剪出新的无人机图像，并将其缩放至K×K大小；至此，利用无人机视频生成了仿卫片图像，记为IMG2。

3.根据权利要求2所述的基于无人机与卫片的林地变更检测方法，其特征在于：所述步骤二包括：

步骤2.1：将IMG1和IMG2都转换为LAB空间的图像，得到新的图像数据，记为IMG1_1和IMG2_1；

步骤2.2：对步骤2.1重生成的IMG1_1进行零均值和单位方差化，得到归一化的图像IMG1_2；

步骤2.3：然后归一化后的IMG1_2各通道乘以IMG2_1图像的各通道方差，再加上IMG2_1图像的各通道均值，得到图像IMG1_3；

步骤2.4：将新的生成图像IMG1_3由LAB空间转回到RGB色彩空间；重新保存为IMG1_4。

4.根据权利要求3所述的基于无人机与卫片的林地变更检测方法，其特征在于：所述步骤三包括：

改进的Siam-HRNet判别网络提供端到端的图像对比和变化检测的能力；

其网络模型的流程包括：1)前后时期对比影像IMG1_4和IMG2分别输入两个结构相同且权重共享的孪生网络分支进行特征提取；考虑到高分辨率遥感影像变化检测具有更丰富的特征和语义信息提取与利用能力的要求，研究采用整个特征提取过程都保持高分辨率表征的HRNet作为特征提取主干网络；并引入像素注意力机制，将经过主干网得到的特征图进行粗分割后，再整合像素特征表示得到目标区域表示，然后计算像素与目标区域间的关系，最后得到上下文信息增强的像素表示；2)采用FCN作为语义分割头部，得到前后时期影像多分类语义分割的结果；3)将上述得到的前后时期遥感影像语义分割结果做差并取绝对值，再送入同样由FCN构成的差异判别网络进行二值变化检测，获得最终的变化检测结果图。

Images