CN212459378U - 一种基于无人机的地物高光谱仪遥感土地利用样本采集仪 - Google Patents

Abstract

本实用新型涉及一种基于无人机的地物高光谱仪遥感土地利用样本采集仪，包括无人机、高光谱相机、可见光摄像头、微控制器、RTK定位模块、无线网络连接、地面控制站点。本实用新型所描述的基于高光谱遥感的无人机图像分割装备，可提高遥感领域样本采集的效率，充分利用高光谱遥感所获取的充足信息及深度学习强泛化能力，进行土地利用的遥感图片样本可靠的获取。利用无人机系统便携及灵活的作业方式，以较少的成本减少遥感图片人工判读需要投入的人力及物力，大幅提高样本采集的效率，减少人工判读误差。大量样本的获取将为土地利用的图像分割提供充足的样本数据，促进与提高深度学习在遥感土地利用图像分割领域中的应用。

Description

一种基于无人机的地物高光谱仪遥感土地利用样本采集仪

技术领域

本实用新型属于遥感及深度学习交叉的样本采集仪领域，涉及一种基于无人机利用地物高光谱相机采集样本的仪器。无人机系统平台装载微控制器的自动分割深度学习模块，利用高分地物分类精度高的特点，实现了高质量的样本自动采集，可大幅提高土地利用图像分割的样本采集的效率，节省采集经费，而大量采集的高质量样本有助于提高遥感的土地利用分割算法的训练精度及效果，推动人工智能在遥感土地利用图像分割方面的应用。

背景技术

虽然深度学习技术在诸多领域尤其是普通影像及视频的分割取得了重要进展，但在遥感方面的应用比较有限，许多先进的图像分割算法是基于三原色(红、蓝、绿)加深度的普通视频的分类及分割算法；而遥感图像因为不同于普通图片及视频，一般是由多波段(≥3)影像构成，其波谱特征不同于一般的三原色图像，不适用于许多先进的深度学习的图像分类/分割算法，这极大地限制了深度学习技术在遥感特别是土地利用分割领域的应用。而导致这些不足的一个重要的原因就是用于训练图像分割的样本数比较有限，不同地域之间差别也较大，有限的样本无法训练出通用的机器学习模型，极大地限制了训练模型精度的提高。现有的遥感图像基于训练样本获取一般是采取人工判读，虽然人工判读比较可靠，但主要缺点是效率不高，样本获取有限。

人工判断基于真彩色图像，安排专业人员目视解译，并采用将解译结果输入计算机得到标注样本，人工判读的主要缺点是耗时耗力，投入经费多，严重限制了标注样本的获取。而高光谱信息可以提供丰富的波普信息，在样本充足情况下提高了分割的精度及效率。当前虽然有采用半监督的样本采集方法的相关专利(叶齐祥2017)，但国内外尚未有利用高光谱相机结合微处理器计算功能提高样本采集效率的相关仪器及其相关的专利报道，因此本实用新型在这方面是一个突破，充分结合了高光谱相机采集丰富光谱信息(Luozm 2018,Sabale et al.2018)，定位设备与光学摄像头，利用了微处理器加Intel计算棒的强计算功能，将所有的部件组装在无人机飞行平台上，实现了采集图像的自动分割功能，从而实现了采集仪器的自动样本采集。采用训练好的模型提供自动化功能的装置曾经用于称重机(于国龙等，2016)。现有的图像分割的样本采集方法有以下三个主要缺点：人工解译样本，效率低下，且可能会有认为误差；设备传统，缺乏自动计算识别样本的功能，导致了在遥感领域标注样本的缺乏；采用传统的机器模型辅助半解译，精度有限。

实用新型内容

针对背景技术中存在样本限制的问题，提供一种基于无人机平台的采用高光谱地物采集仪的自动样本采集仪，在无人机平台的微控制器端嵌入自动分割的模块，完成地物的自动分割，从而实现了土地利用遥感图像分割样本的自动采集。由于高光谱遥感提供了丰富的空间及地物波普信息，采用高级的深度学习模型可极大提高分类精度(总分类精度≥0.99)，其分类结果接近甚至超过人工判读结果，自动分类结果可以作为一般的(如普通光学遥感)高质量的训练样本，实现高可靠样本采集的自动化，提高样本的质量及数量，可促进人工智能技术在遥感土地利用领域图像分割领域中应用。

本实用新型通过以下技术步骤实现上述目标：

一种基于无人机的地物高光谱仪遥感土地利用样本采集仪，包括：无人机飞行平台、地面控制站点电脑终端与数据库；

所述无人机飞行平台，负责无人机飞行及搭载设备的控制；所述搭载设备包括高光谱照相机、可见光摄像头、空间定位模块、微控制器、加速计算棒和无线传输模块；其中高光谱相机、可见光相机、GPS定位模块无线传输模块均与微控制器连接；

所述地面控制站点电脑终端，遥控无人机平台的飞行路线，接收无人机平台传回的数据至数据库中；

所述高光谱照相机，用于获取拍摄对象的高光谱信息，得到多波段的高光谱影像；

所述可见光摄像头，用于获取RGB三原色的光学信息即真彩色影像，该真彩色影像作为普通光谱信息，用于人工目视解译生成地面真实标注预训练样本；

所述GPS定位模块，用于无人机空间定位，提供高光谱相机所拍摄影像的空间位置；

所述微控制器，与高光谱照相机、可见光摄像头、空间定位模块和无线传输模块通过GPIO、CSI及USB等接口连接，控制这些设备同步；经过线下机器学习预训练后将训练好的高光谱图像分割模块嵌入微处理器的程序存储器，用于高光谱多波段影像的土地利用自动图像分割，使得所述采集仪具备高光谱影像的土地利用自动图像分割功能；

所述无线传输模块，用于将采集的影像及分割结果回传到云端数据库中。

所述微处理器中的高光谱图像分割模块为深度学习的公知的U-Net图像分割模块。

所述无人机还搭载加速计算棒直接连接到微处理器，通过加速计算棒加速微控制器的计算功能。

所述定位模块采用RTK(Real Time Kinematic，即“实时动态测量”)的GPS定位。

所述数据库部署至云端.

所述无线传输模块采用Wifi，实时将数据自动传输到云端的数据库。

本实用新型采用了深度学习的公知的U-Net图像分割模块，在无人机上实现高效的高光谱图像自动分割，实现了样本采集的自动化。

本实用新型的有益效果是：

(1)充分利用高光谱遥感获取的充足的光谱信息结合空间信息进行高精度的图像分割，提出了一种基于嵌入式深度学习的自动获取遥感土地利用分割样本的自动采集仪，可大幅节省手工获取样本的人力及时间成本，获取的样本更可靠，获取的样本建立海量样本库，将有助于提高深度学习的大量先进模型在遥感普通光学波段的深入应用。

(2)该采集仪将高光谱相机及光学摄像头组合在一起，同步获得高光谱及普通光学影像，便于在预训练阶段获得足够的普通光学信息及标注样本的获取，提高了样本能获取的效率；

(3)将Intel的加速计算棒同微处理器连接在一起，大幅提高移动自动计算的速度，也使得在无人机平台上在线分割成为可能；

(4)预训练好的深度学习模型内嵌到微处理器中，实现了在线计算及样本的自动标注，公认深度学习同传统的机器学习方法比较提高了精度；

(5)仪器包括了RTK GPS空间定位组件，提高了样本采集的空间位置的精度；

(6)在无人机平台上装载了无线传输模块，实现了样本的自动采集及传输到服务器的功能，简化了人工干预，提高了样本采集的效率。

附图说明

图1是本基于无人机的地物高光谱仪遥感土地利用样本采集仪结构示意图；

图2是微控制器结构及同各组件的连接示意图；

图3是业界公认的MobileNet设计的紧凑轻便的适用于嵌入移动系统的深度学习图像分割的U-Net网络结构图；

图4是采用本实用新型样本自动采集仪器采集样本、训练模型、嵌入训练模型进行自动分割从而实现高质量样本采集的过程。

图中，1是无人机平台；2微控制器MCU；3高光谱图像分割模块，它为嵌入到MCU中的训练好的硬件优化的神经网络模块；4加速计算棒；5可见光摄像头；6高光谱相机；7无线传输模块；8空间定位模块；9存储在云端的数据库。

具体实施方式

以下依据实用新型的实施例图，对本实用新型的技术方案进行完整及清晰的描述。所述实施例仅是本实用新型一个案例，非全部实施例。基于本实施例，本领域技术人员在没有做创造性劳动前提下所获得的所有其他实施例，都属于本实用新型保护的范围。

如图1所示，本实用新型的一种基于无人机系统的高光谱遥感土地利用图像分割的自动化的样本采集仪包含有多旋翼可长时停留的无人机平台1，无人机平台1上搭载了微控制器2(采用四核微控制器MCU提高计算速度)、加速计算棒4、可见光摄像头5、高光谱照相机6、无线传输模块7、RTK GPS的空间定位模块8。微处理器嵌入了高光谱图像分割模块，它为嵌入到MCU中的训练好的硬件优化的神经网络模块，具体为U-Net图像分割模块算法；高光谱相机6、可见光摄像头5、空间定位模块8及无线传输模块7均与微控制器2连接，微控制器2通过控制单元有序控制各部件，微控制器2装载嵌入式深度学习高光谱图像分割模块3；相应的配套了地面控制站点的电脑终端，用于差分定位飞行位置，通过无线传输模块同无人机相连接，遥控无人机的飞行路线，设备间的协调；而微控制器则通过无线传输模块传输数据到云端数据库9中。

其中无人机平台1装载各设备，根据飞行路径及地面控制设备，进行空中定点位置飞行及定位拍摄；微控制器2包括I/O模块、控制器、存储卡、计算器及加速深度学习的计算棒，通过GPIO、CSI及USB接口同各部件连接。微控制系统通过无线传输接收指令，在预定的位置通过空间定位模块获取位置及时间信息，发布指令光学摄像头及高光谱遥感拍照，获取并记录波段影像信息，结果后续处理(分割)并通过无线传输回传数据。微控制器通过USB接口连接类似加速深度学习的GPU功能的加速计算棒4，计算器则是辅助完成图像分割的任务，MCU采用四核同时支持类似GPU运算可实现学习好的便携式深度学习模型的快速计算，完成图像分割的任务。高光谱相机同光学摄像头通过微控制器确保拍摄影像的同步或最少的时间差，高光谱相机6获取地物的高光谱波段信息，而光学摄像头获取可见光的RGB信息；光学摄像头及高光谱相机镜头放置在无人机平台底部，可最大限度获取地物高光谱信息。

采用A660或Yunux Long Pro作为无人机，该类型无人机设计轻便，操作简便，载重量大，续航时间较长(60分钟以上)，可满足本实用新型的需求；

采用Asia KESTREL的VNIR高光谱相机，该相机光谱波段数较多，微型轻便，适用于无人机；

采用载波差分GPS技术，称为RTK模块，通过同地面站连接提高空间定位精度；

采用无线通信模块，与地面控制站建立高效的无线局域网络，实现数据的快速传输；

如图2所示，单片微控制器MCU，采用树莓派的Raspberry Pi 4Model B，该微处理器性能优越，搭载4核处理器，内存可达4G，便于处理复杂的影像数据计算；配置Intel的Movidius NCS计算棒，起到类似GPU加速计算的功能。该处理器性能配置较优，通过加速计算棒大幅提高嵌入式设备处理图像分割的功能。系统通过装载TensorflowLite及Keras，从而在微控制器上高效地采用训练好模型进行快速推断，进行图像的自动分割，实现样本自动采集。

在图2中，所述微控制器包括了1个四核CPU、内存、存储卡、蓝牙及无线网卡、CSI接口、2个USB 2接口、2个USB 3接口等部件，其中，通过GPIO接口(general-purposeinput/output，通用输入/输出接口)同空间定位模块串口相连；通过CSI(CameraSerialInterface)接口同光学广角摄像头相连；通过USB 3接口同高光谱相机相连；通过一个USB 3接口同加速计算棒相连；通过同USB 2接口转Micro USB适配器同无人机控制系统相连；通过USB 2接口同无线传输模块相连。微控制系统通过无线传输接收指令，在预定的位置通过空间定位模块获取位置及时间信息，发布指令光学摄像头及高光谱遥感拍照，获取并记录波段影像信息，结果后续处理(分割)并通过无线传输回传数据。

如图3所示，本实用新型采用的U-Net图像分割模块算法如下：

(1)基于典型的自解码(“编码→解码”)深度学习图像分割模型，具体化一个适用于移动端的深度学习模型，采用了轻便的Fully Convolutional MobileNet技术，使得训练的模型占用内存空间更少，运行更快，适合用于基于单片控制器进行推理即图像分割。总体上，采用四步：第一步，模型结构设计，分割模型采用业界认可常用的U-Net结构，分成5层编码层总共9层卷积层，即128x128→64x64→32x32→16x16→8x8→16x16→32x32→64x64→128x128，每个卷积层后加入ReLU非线性激活函数及BN正则化优化模型，将跳转链接转换成残差链接，可减少参数个数；第二步，在实施方面，采用全卷积的MobileNet实现了各个卷积层，并完成编码；第三步，采用遥感土地利用样本数据训练第二步实现的轻便高效率的深度神经网络并完成验证；第四步，将训练好的U-Net嵌入到微控制器中，调试实施图像的土地利用自动分割。

(2)先期采用无人机高光谱采集一系列的样本，通过对已有的可见光图片人工判读，对应的高光谱测量结果作为特征值，获得满足一定质量及数量要求的训练样本；

(3)采用步骤(2)采集的样本训练1)设计的土地利用分割模型，优化网络参数，获得满足精度要求(总分类精度≥0.99)的模型；

(4)将训练完成的模型结果经过STM32Cube.AI软件工具转化并优化后加入到嵌入MCU中，实现采集新样本的图像分割，直接自动获取高质量的调查样本。

如图4所示，本实用新型工作如下：

(1)地面控制系统先确定采样的区域及大致的路线，抵达相应区域后，先打开光谱扫描仪，进行白板及天空的光谱采集；

(2)飞行时通过地面站进行系统控制，让设备沿着预定的路线飞行，控制其姿态及高度，至预定目标微控制器发布指令，让同其相连的高光谱相机及光学摄像头进行高光谱及光学摄像，无人机上的GPS定位模块记录位置信息(经纬度)，微控制器保存相应的高光谱及光学影像至存储器，如还未进行模型的预训练或训练的分割模型测试精度达不到要求，则转入步骤(3)，否则转入步骤(5)；

(3)将新采集的仅有光学信息的数据通过无线传输到地面高性能服务器，采集一定数量的样本数据后，根据可见光光学影像对图像进行人工判读分割图像，依据这些样本对公知的便携式深度学习U-Net分割模型进行训练及参数优化，图3展示了U-Net的模型结构，基于自编码结构，包括“编码层”及“解码层”，各组件采用了公开的标准的深度学习方法。训练模型达到相应精度后将预训练模型嵌入MCU模块中，否则转入(1)采集更多的样本，提高模型训练的精度，该步骤是一次性的，训练精度达到要求后不再进行训练；

(4)将已训练好的模型进行代码优化后嵌入到微控制器中，此步骤也是一次性的，嵌入到微控制器后便于下一步的自动分割；

(5)采用微控制器，对新采集的高光谱影像进行样本的自动分割，获得像素级土地利用分类图并存储；

将光谱信息及分割结果通过无线传输模块自动保存进入样本库，扩充样本库。现有的大量的遥感图像样本一般采取人工判读的方式，需要投入大量的人力及物力，且人工判读可能会卷入认为误差。本实用新型充分利用了高光谱遥感提供充足的光谱信息及残差深度学习及U-Net强大的学习能力，能针对拍摄的高影像进行高可靠的自动化的图像分割及样本采集，大大减少了人工采集样本的成本。采集的样本可靠性高，具有通用性，大量的样本训练多种不同的模型(包括普通光学遥感数据)可使得模型更好地挖掘地面土地利用的空间模式，大幅提高模型训练的精度及泛化性。利用无人机平台灵活便携，成本低的特点，可大量扩充相应的样本库，为高级的深度学习模型在遥感土地利用等领域的应用提供了坚实的数据基础。

提供以上实施例仅仅是为了描述本实用新型的目的，而并非要限制本实用新型的范围。本实用新型的范围由所附权利要求限定。不脱离本实用新型的精神和原理而做出的各种等同替换和修改，均应涵盖在本实用新型的范围之内。

Claims (6)

1.一种基于无人机的地物高光谱仪遥感土地利用样本采集仪，其特征在于，包括：无人机飞行平台、地面控制站点电脑终端与数据库；

所述无人机飞行平台，负责无人机飞行及搭载相关设备；所述搭载设备包括高光谱照相机、可见光摄像头、空间定位模块、微控制器、加速计算棒和无线传输模块；其中高光谱相机、可见光摄像头、GPS定位模块及无线传输模块均与微控制器连接；

所述地面控制站点电脑终端，遥控无人机平台的飞行路线，接收无人机平台传回的数据至数据库中；

所述高光谱照相机，用于获取拍摄对象的高光谱信息，得到多波段的高光谱影像；

所述可见光摄像头，用于获取RGB三原色的光学信息即真彩色影像，该真彩色影像作为普通光谱信息，用于人工目视解译生成地面真实标注预训练样本；

所述GPS定位模块，用于无人机的空间定位，提供高光谱相机拍摄影像的空间位置；

所述微控制器，与高光谱照相机、可见光摄像头、空间定位模块和无线传输模块连接，控制这些设备的同步；同时经过线下机器学习预训练后将训练好的高光谱图像分割模块嵌入微处理器的程序存储器，用于得到高光谱多波段影像的土地利用自动图像分割结果，使得所述采集仪具备高光谱多波段影像的土地利用自动图像分割功能；

所述无线传输模块，用于将采集的影像及分割结果回传到云端数据库中。

2.根据权利要求1所述的基于无人机的地物高光谱仪遥感土地利用样本采集仪，其特征在于：所述微处理器中高光谱图像分割模块为深度学习公知的U-Net图像分割模块。

3.根据权利要求1所述的基于无人机的地物高光谱仪遥感土地利用样本采集仪，其特征在于：所述无人机还搭载加速计算棒直接连接到微处理器，通过加速计算棒加速微控制器的计算功能。

4.根据权利要求1所述的基于无人机的地物高光谱仪遥感土地利用样本采集仪，其特征在于：所述定位模块采用实时动态测量的GPS定位。

5.根据权利要求1所述的基于无人机的地物高光谱仪遥感土地利用样本采集仪，其特征在于：所述数据库部署至云端。

6.根据权利要求1所述的基于无人机的地物高光谱仪遥感土地利用样本采集仪，其特征在于：所述无线传输模块采用Wifi，实时将数据自动传输到云端的数据库。

Images