CN112883900B - 遥感影像裸地反演可视图的方法及装置 - Google Patents

Abstract

本发明公开了一种遥感影像裸地反演可视图的方法及装置。该方法包括：对原始遥感数据进行预处理，得到目标地理区域的测试图像和目标地理区域的RGB图像；使用第一分类网络模型对目标地理区域的测试图像进行像素级的语义分割；使用第二分类网络模型对语义分割后的测试图像进行区域轮廓选取；将所选取的区域轮廓对准并叠加到目标地理区域的RGB图像上的对应位置。该装置包括预处理单元、语义分割单元、轮廓选取单元、以及轮廓输出单元。全自动实现裸地反演图的绘制，节省了大量人力，具有泛化性，可制作成接口推广到各个城市。全矢量图绘制，所绘制的图放大缩小不会影响轮廓和编号的清晰度，比Arcgis人工绘制图更清晰。

Description

遥感影像裸地反演可视图的方法及装置

技术领域

本发明涉及遥感影像和深度学习技术结合应用领域，更为具体来说，本发明涉及一种遥感影像裸地反演可视图的方法及装置。

背景技术

遥感是通过卫星上的传感器对地球进行特定电磁波谱段的成像，是以航空摄影技术为基础发展起来的一门技术。通过遥感探测，能够在短时间内，对地球上大范围的地区进行多层次、多视角的观测，是获取环境信息和地球资源的重要手段。

裸地是指表层为土质，基本无植被覆盖的土地或表层为岩石、石砾，其覆盖面积大于或等于70％的土地。裸地包括未利用的裸露地表、城市施工工地以及施工后未及时处理的裸露土地等。由于没有植被覆盖,裸地严重影响区域生态环境，也不利于局部水土保持。城市裸地导致地面扬尘，PM2.5源解析表明，扬尘是大气颗粒物污染的重要来源之一。提取并研究城市裸地空间分布对于城市景观美化、土地可持续利用、大气环境保护等相关管理决策具有重要意义。

在裸地提取相关工作中，遥感影像的信息提取技术显得尤为重要，但是裸地研究专家更看重的是通过相关技术进行裸地反演之后得到的结果图，因为可以从图像上获取到有用的地理知识，从而去解决一些问题。利用深度学习技术获取的裸地分类结果并不能直接展示出来，需要经过一系列的处理或人工或编码进行绘制，从而得到可以看得懂的裸地反演图。

目前，裸地提取的传统方法有目视解译法和面向对象的分类方法。人工对深度学习生成的裸地地区进行判读、矫正，并使用Arcgis等标注软件对生成的裸地进行绘制，人工成本过大，耗时耗力，很难进行推广，不适于普及。

现有技术在进行遥感影像裸地反演结果展示的方法中，主要是人为利用Arcgis软件工具将得到的裸地类别进行人工分类，通过人工经验进行矫正和绘图，该方法的缺点是：1)Arcgis软件只能处理rgb波段图像，针对多波段数据还需交叉使用ENVI等其它软件，且对硬件要求高，容易占满电脑内存，造成电脑卡机，用时很长，效率低下；2)仅处理一张地级市裸地反演可视化图需要4天时间左右，由于在裸地管理方面会经常使用到裸地反演图，若对所有目标城市进行绘制需要提供大量人力劳动。

发明内容

本发明创新地提供了一种遥感影像裸地反演可视图的方法及装置，从原始数据的获取到深度学习模型反演裸地结果再到绘制可视化图像均自动化实现。

为实现上述的技术目的，一方面，本发明公开了一种遥感影像裸地反演可视图的方法。所述遥感影像裸地反演可视图的方法包括：对原始遥感数据进行预处理，得到目标地理区域的测试图像和目标地理区域的RGB图像；使用第一分类网络模型对目标地理区域的测试图像进行像素级的语义分割；使用第二分类网络模型对语义分割后的测试图像进行区域轮廓选取；将所选取的区域轮廓对准并叠加到目标地理区域的RGB图像上的对应位置。

进一步地，对于所述遥感影像裸地反演可视图的方法，对原始遥感数据进行预处理，得到目标地理区域的测试图像，包括：整合从卫星下载的原始遥感数据中的左上角坐标、东西方向的分辨率以及地图的旋转角度信息构造Geotiff格式的遥感影像数据所需要的反射矩阵，选择预设的坐标系作为投影坐标系，选取预设波段的数据生成测试图像。

进一步地，对于所述遥感影像裸地反演可视图的方法，第一分类网络模型和/或第二分类网络模型为卷积神经网络模型。

进一步地，对于所述遥感影像裸地反演可视图的方法，使用第一分类网络模型对目标地理区域的测试图像进行像素级的语义分割，包括：利用训练好的第一分类网络模型对目标地理区域的测试图像的数据进行测试，得到目标地理区域的测试图像中各个像素转换为对应类别标签的图像。

进一步地，对于所述遥感影像裸地反演可视图的方法，使用第二分类网络模型对语义分割后的测试图像进行区域轮廓选取，包括：将图像中各个类别标签进行二值化处理，选取类别标签为裸地类别的像素点作为目标像素点，将目标像素点的数值设定为第一数值，其余像素点值均设置为第二数值；对二值化后的类别标签进行归拢，使相邻且同类别的像素点区域化，根据区域找到内像素值和其它像素值的不同，获取区域边界处点的坐标并形成轮廓。

进一步地，对于所述遥感影像裸地反演可视图的方法，使用第二分类网络模型对语义分割后的测试图像进行区域轮廓选取，还包括：在形成轮廓的点中找到横坐标和纵坐标的最大值和最小值并形成矩形区域，找到矩形区域的中心点的坐标，以该点坐标为中心截取h×w×3的数据块，输入到第二分类网络模型中判断所述数据块对应的区域是否为裸地，如果不是裸地，则删除所述数据块对应的轮廓。

进一步地，对于所述遥感影像裸地反演可视图的方法，第二分类网络模型通过以下过程得到：选取RGB图像进行切片处理；将切片处理后的图片混合并随机打乱；对含有裸地区域的图片进行同步图像旋转、镜像反转、平移变换、以及尺度变换中至少一种操作，从而进行数据增广；在不含有裸地区域的图片中随机选取部分图片，与数据增广后的图片混合，组成新的数据集；得到新的数据集后对第二分类网络模型进行训练。

为实现上述的技术目的，另一方面，本发明公开了一种遥感影像裸地反演可视图的装置。所述遥感影像裸地反演可视图的装置包括：预处理单元，用于对原始遥感数据进行预处理，得到目标地理区域的测试图像和目标地理区域的RGB图像；语义分割单元，用于使用第一分类网络模型对目标地理区域的测试图像进行像素级的语义分割；轮廓选取单元，用于使用第二分类网络模型对语义分割后的测试图像进行区域轮廓选取；轮廓输出单元，用于将所选取的区域轮廓对准并叠加到目标地理区域的RGB图像上的对应位置。

为实现上述的技术目的，又一方面，本发明公开了一种计算设备。所述计算设备包括：一个或多个处理器，以及与所述一个或多个处理器耦合的存储器，所述存储器存储指令，当所述指令被所述一个或多个处理器执行时，使得所述一个或多个处理器执行上述方法。

为实现上述的技术目的，再一方面，本发明公开了一种机器可读存储介质。所述机器可读存储介质存储有可执行指令，所述指令当被执行时使得所述机器执行上述方法。

本发明的有益效果为：

本发明实施例提供的遥感影像裸地反演可视图的方法及装置，从原始数据的获取到深度学习模型反演裸地结果再到绘制可视化图像均自动化实现，过程中完全排除人工干预，可极大解放人力，且整个流程完成时间缩短，极大地提高了效率。全自动实现裸地反演图的绘制，节省了大量人力，具有泛化性，可制作成接口推广到各个城市。全矢量图绘制，所绘制的图放大缩小不会影响轮廓和编号的清晰度，比Arcgis人工绘制图更清晰。

附图说明

图中，

图1为本发明一个实施例提供的遥感影像裸地反演可视图的方法的流程图；

图2为本发明另一个实施例提供的遥感影像裸地反演可视图的装置的结构示意图；

图3为根据本发明实施例的用于遥感影像裸地反演可视图的处理的计算设备的结构框图。

具体实施方式

下面结合说明书附图对本发明提供的遥感影像裸地反演可视图的方法及装置进行详细的解释和说明。

图1为本发明一个实施例提供的遥感影像裸地反演可视图的方法的流程图。

如图1所示，在步骤S110，对原始遥感数据进行预处理，得到目标地理区域的测试图像和目标地理区域的RGB图像。其中，目标地理区域例如为目标城市。

作为一种可选实施方式，整合从卫星下载的原始遥感数据中的左上角坐标、东西方向的分辨率以及地图的旋转角度信息构造Geotiff格式的遥感影像数据所需要的反射矩阵，选择预设的坐标系作为投影坐标系，选取预设波段的数据生成测试图像。

作为一个具体例子，步骤S110可以包括以下步骤：

第一步，将由哨兵二号卫星下载的原始数据进行解压后，遍历搜索文件，找到所需信息所在的文件，比如MTD_MSIL2A.xml文件，从文件中读取所需信息，例如各波段数据存储路径、各波段数据分辨率大小、数据左上角坐标信息以及无数值点表示NoData等遥感影像信息；

第二步，根据所获取的信息，整合获取的左上角坐标、东西方向的分辨率以及地图的旋转角度信息构造Geotiff格式的遥感影像数据所需要的反射矩阵，选择WGS_1984_UTM_zone_49N坐标系作为投影坐标系，选取B1、B2、B3、B4、B5、B6、B7、B8、B8A、B9、B10、B11、以及B12波段数据生成测试图像数据test.tif，选取属于RGB波段的B2、B3和B4三波段数据生成RGB遥感数据rgb.tif；

第三步，根据目标城市shp文件，获取城市边界信息，并获取目标城市边界最大和最小的经度坐标以及最大和最小的纬度坐标，根据最大和最小经纬度坐标形成矩形框架，将test.tif和rgb.tif根据矩形框进行裁剪，并将目标城市边界以外数据进行空值白化处理，得到新的mask_test.tif和mask_rgb.tif。其中，目标城市shp文件可以从网址https://malagis.com/gis-data-china-province.html获得。

在步骤S120，使用第一分类网络模型对目标地理区域的测试图像进行像素级的语义分割。作为一种可选实施方式，第一分类网络模型可以为卷积神经网络(CNN)模型。

作为一种可选实施方式，利用训练好的第一分类网络模型对目标地理区域的测试图像的数据进行测试，得到目标地理区域的测试图像中各个像素转换为对应类别标签的图像。

作为一个具体例子，步骤S120可以包括以下步骤：

第一步，对遥感影像中的事物划分类别，共划分为未覆膜裸地、覆膜裸地等n个类别，遥感影像所有像素均被打上标签。将整幅遥感影像进行切片，以每个像素为中心点，切割成各个大小为m×m×c的像素块，m为像素块的边长，c为像素块的波段数，c大于3，可以选取全部像素块的90％作为训练及验证数据集，10％作为测试集。可以在训练及验证数据集中选取90％作为训练集，剩下10％作为验证集。

第二步，第一分类网络模型可以为卷积神经网络(CNN)结构。可以采用第一分类网络模型进行分类，模型结构可以为3D-2D卷积结构，整个网络由3层3维(3D)卷积层和两层2维(2D)卷积层以及3层全连接层串联而成。其中3D卷积层的卷积核大小可以分别为(3×3×3)，(3×3×5)，(1×1×4)，2D卷积层的卷积核大小可以为(3×3)；3D卷积层与2D卷积层之间通过减小维度进行连接，2D卷积层和全连接层之间通过将输入降维到一维进行连接。其中，第一分类网络模型也可以称为基于像素的裸地分割模型。

第三步，利用训练好的第一分类网络模型对mask_test.tif数据进行测试，得到目标城市对应遥感影像每个像素的类别标签label.tif。

在步骤S130，使用第二分类网络模型对语义分割后的测试图像进行区域轮廓选取。第二分类网络模型也可以为卷积神经网络(CNN)结构，具体可以由4层卷积层和2层全连接层构成，每层卷积层后使用relu激活函数层和最大池化层来减少模型参数。

作为一种可选实施方式，将图像中各个类别标签进行二值化处理，选取类别标签为裸地类别的像素点作为目标像素点，将目标像素点的数值设定为第一数值，其余像素点的数值均设置为第二数值；对二值化后的类别标签进行归拢，使相邻且同类别的像素点区域化，根据区域找到内像素值和其它像素值的不同，获取区域边界处点的坐标并形成轮廓。在形成轮廓的点中找到横坐标的最大值和最小值以及纵坐标的最大值和最小值并形成矩形区域，找到矩形区域的中心点的坐标，以该点坐标为中心截取h×w×3的数据块，输入到第二分类网络模型中判断数据块对应的区域是否为裸地，如果不是裸地，则删除数据块对应的轮廓。

作为一个具体例子，步骤S130可以包括以下步骤：

第一步，对mask_rgb.tif图像进行归一化，使RGB三波段的数值在0～255范围内，然后使用百分比截断法和伽马(gamma)拉伸方法对mask_rgb.tif进行颜色拉伸以调整图像的对比度和亮度。具体地，设定颜色值截断百分比数值a％，使用a％范围内的数据作为极值，然后做线性拉伸，将数据范围的前a％和后a％的像素映射到极值上，提高图像对比度，然后对图像进行gamma拉伸，提高图像亮度。

第二步，将mask_rgb.tif和label.tif进行重采样，提高分辨率。具体地，由于得到的label.tif数据属于单波段数据，可以将图像数据进行二值化处理，挑选标签为裸地的像素点作为目标，目标像素点数值设定为例如255，其余像素点值均设置为例如0。

第三步，对二值化后的标签数据进行归拢，使相邻且同类别的像素点区域化，根据区域找到内像素值和其它像素值的不同，获取区域边界处点的坐标并形成轮廓。删除掉琐碎的无法展示的轮廓：定义轮廓坐标点数阈值b，删除掉形成轮廓的点的个数小于b的轮廓；计算轮廓内像素点的个数，定义轮廓内像素点数阈值c，删除掉轮廓内像素点数小于c的轮廓；在形成轮廓的所有点中找到横坐标和纵坐标的最大值和最小值并形成矩形区域，找到矩形区域的中心点的坐标，以该点坐标为中心截取h×w×3比如64×64×3的数据块，其中，h表示矩形区域的高，w表示矩形区域的宽，3表示R、G和B三个通道的图像。h和w的取值分别根据上述轮廓区域的最大高度和宽度来决定。将h×w×3大小的图像块重采样为n×n×3大小的图片，输入到第二分类网络模型中判断该图片所展示区域是否为裸地，如果不是裸地，删除该轮廓。其中，第二分类网络模型也可以称为裸地区域检测模型。

第二分类网络模型可以通过以下过程得到：选取RGB图像进行切片处理；将切片处理后的图片混合并随机打乱；对含有裸地区域的图片进行同步图像旋转、镜像反转、平移变换、以及尺度变换中至少一种操作，从而进行数据增广；在不含有裸地区域的图片中随机选取部分图片，与数据增广后的图片混合，组成新的数据集；得到新的数据集后对第二分类网络模型进行训练。

作为一个具体例子，第二分类网络模型可以通过以下过程得到：选取RGB遥感影像进行切片处理，对该遥感影像的RGB彩色图像进行网格切片时保证相邻两个切片图像的重叠边距为k个像素，切片图像的大小为n×n，k可以为设定大于1的自然数，将切片处理后的图片混合并随机打乱。对其中含有裸地区域的图片进行同步图像旋转、镜像反转、平移变换、和/或尺度变换等操作进行数据增广。从未含有裸地区域的图片中随机选取部分图片，与数据增广后的图片混合，组成新的数据集。得到新的数据集后，可以选取全部数据集的90％作为训练及验证数据集，10％作为测试集；可以在训练及验证数据集中选取90％作为训练集，剩下10％作为验证集。

训练好的第二分类网络模型可以用于接收大小为n×n比如64*64或32*32的R、G和B三个通道的彩色图像作为输入，输出该图像所属类别编码。类别编码与上述类别标签表示的类别数量和名称可以相同，也可以包括未覆膜裸地、覆膜裸地等n个类别，但是因为输入第二分类网络模型的样本数据与输入第一分类网络模型的数据不一样，所以需要重新给样本打标签。

在该实施例中，第一分类网络模型的训练方法可以与上述第二分类网络模型的训练方法类似。

在步骤S140，将所选取的区域轮廓对准并叠加到目标地理区域的RGB图像上的对应位置。

作为一个具体例子，步骤S140可以包括以下步骤：

第一步，通过步骤S130的处理得到了筛选之后的轮廓，获取每个轮廓的中心点，根据像素点在投影坐标系上面的映射，获取像素点的经度坐标和纬度坐标；

第二步，将轮廓形状叠加到mask_rgb.tif上，并在每个轮廓中心添加编号信息，比如第一个轮廓可以添加编号1，第二个轮廓可以添加编号2。

由此可见，上述实施例提供的遥感影像裸地反演可视图的方法是一种自动化实现遥感影像裸地反演可视图的方法，全部流程可以使用python实现，能够较高效地完成遥感影像裸地区域可视化绘制图。

图2为本发明另一个实施例提供的遥感影像裸地反演可视图的装置的结构示意图。如图2所示，该实施例提供的遥感影像裸地反演可视图的装置200包括预处理单元210、语义分割单元220、轮廓选取单元230、以及轮廓输出单元240。

预处理单元210用于对原始遥感数据进行预处理，得到目标地理区域的测试图像和目标地理区域的RGB图像。预处理单元210的操作可以参照上面图1描述的步骤S110的操作。

语义分割单元220用于使用第一分类网络模型对目标地理区域的测试图像进行像素级的语义分割。语义分割单元220的操作可以参照上面图1描述的步骤S120的操作。

轮廓选取单元230用于使用第二分类网络模型对语义分割后的测试图像进行区域轮廓选取。轮廓选取单元230的操作可以参照上面图1描述的步骤S130的操作。

轮廓输出单元240用于将所选取的区域轮廓对准并叠加到目标地理区域的RGB图像上的对应位置。轮廓输出单元240的操作可以参照上面图1描述的步骤S140的操作。

图3为根据本发明实施例的用于遥感影像裸地反演可视图的处理的计算设备的结构框图。

如图3所示，计算设备300可以包括至少一个处理器310、存储器320、内存330、通信接口340以及内部总线350，并且至少一个处理器310、存储器320、内存330和通信接口340经由总线350连接在一起。该至少一个处理器310执行在计算机可读存储介质(即，存储器320)中存储或编码的至少一个计算机可读指令(即，上述以软件形式实现的元素)。

在一个实施例中，在存储器320中存储有计算机可执行指令，当其执行时使得至少一个处理器310执行：对原始遥感数据进行预处理，得到目标地理区域的测试图像和目标地理区域的RGB图像；使用第一分类网络模型对目标地理区域的测试图像进行像素级的语义分割；使用第二分类网络模型对语义分割后的测试图像进行区域轮廓选取；将所选取的区域轮廓对准并叠加到目标地理区域的RGB图像上的对应位置。

应该理解的是，在存储器320中存储的计算机可执行指令当执行时使得至少一个处理器310进行本发明的各个实施例中以上结合图1-2描述的各种操作和功能。

在本公开中，计算设备300可以包括但不限于：个人计算机、服务器计算机、工作站、桌面型计算机、膝上型计算机、笔记本计算机、移动计算设备、智能电话、平板计算机、蜂窝电话、个人数字助理(PDA)、手持装置、消息收发设备、可佩戴计算设备、消费电子设备等等。

根据一个实施例，提供了一种例如非暂时性机器可读介质的程序产品。非暂时性机器可读介质可以具有指令(即，上述以软件形式实现的元素)，该指令当被机器执行时，使得机器执行本公开的各个实施例中以上结合图1-2描述的各种操作和功能。

具体地，可以提供配有可读存储介质的系统或者装置，在该可读存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机或处理器读出并执行存储在该可读存储介质中的指令。

在这种情况下，从可读介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此机器可读代码和存储机器可读代码的可读存储介质构成了本发明的一部分。

可读存储介质的实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD-RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上或云上下载程序代码。

以上所述仅为本发明的实施例，并非因此限制本发明的权利要求保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明权利要求的保护范围内。

Claims (8)

1.一种遥感影像裸地反演可视图的方法，其特征在于，包括：

对原始遥感数据进行预处理，得到目标地理区域的测试图像和目标地理区域的RGB图像；

利用训练好的第一分类网络模型对目标地理区域的测试图像的数据进行测试，得到目标地理区域的测试图像中各个像素转换为对应类别标签的图像，所述类别标签包括两个以上类别；

将图像中各个类别标签进行二值化处理，选取类别标签为裸地类别的像素点作为目标像素点，将目标像素点的数值设定为第一数值，其余像素点值均设置为第二数值；

对二值化后的类别标签进行归拢，使相邻且同类别的像素点区域化，根据区域找到内像素值和其它像素值的不同，获取区域边界处点的坐标并形成轮廓；

使用第二分类网络模型对所述轮廓进行区域轮廓选取；

将所选取的区域轮廓对准并叠加到目标地理区域的RGB图像上的对应位置。

2.根据权利要求1所述的遥感影像裸地反演可视图的方法，其特征在于，对原始遥感数据进行预处理，得到目标地理区域的测试图像，包括：

整合从卫星下载的原始遥感数据中的左上角坐标、东西方向的分辨率以及地图的旋转角度信息构造Geotiff格式的遥感影像数据所需要的反射矩阵，选择预设的坐标系作为投影坐标系，选取预设波段的数据生成测试图像。

3.根据权利要求1所述的遥感影像裸地反演可视图的方法，其特征在于，第一分类网络模型和/或第二分类网络模型为卷积神经网络模型。

4.根据权利要求1所述的遥感影像裸地反演可视图的方法，其特征在于，使用第二分类网络模型对所述轮廓进行区域轮廓选取，还包括：

在形成轮廓的点中找到横坐标和纵坐标的最大值和最小值并形成矩形区域，找到矩形区域的中心点的坐标，以该点坐标为中心截取h×w×3的数据块，输入到第二分类网络模型中判断所述数据块对应的区域是否为裸地，如果不是裸地，则删除所述数据块对应的轮廓；

其中，h表示矩形区域的高，w表示矩形区域的宽，3表示R、G和B三个通道的图像。

5.根据权利要求1所述的遥感影像裸地反演可视图的方法，其特征在于，第二分类网络模型通过以下过程得到：

选取RGB图像进行切片处理；

将切片处理后的图片混合并随机打乱；

对含有裸地区域的图片进行同步图像旋转、镜像反转、平移变换、以及尺度变换中至少一种操作，从而进行数据增广；

在不含有裸地区域的图片中随机选取部分图片，与数据增广后的图片混合，组成新的数据集；

得到新的数据集后对第二分类网络模型进行训练。

6.一种遥感影像裸地反演可视图的装置，其特征在于，包括：

预处理单元，用于对原始遥感数据进行预处理，得到目标地理区域的测试图像和目标地理区域的RGB图像；

语义分割单元，用于利用训练好的第一分类网络模型对目标地理区域的测试图像的数据进行测试，得到目标地理区域的测试图像中各个像素转换为对应类别标签的图像，所述类别标签包括两个以上类别；

轮廓选取单元，用于将图像中各个类别标签进行二值化处理，选取类别标签为裸地类别的像素点作为目标像素点，将目标像素点的数值设定为第一数值，其余像素点值均设置为第二数值；对二值化后的类别标签进行归拢，使相邻且同类别的像素点区域化，根据区域找到内像素值和其它像素值的不同，获取区域边界处点的坐标并形成轮廓；使用第二分类网络模型对所述轮廓进行区域轮廓选取；

轮廓输出单元，用于将所选取的区域轮廓对准并叠加到目标地理区域的RGB图像上的对应位置。

7.一种计算设备，其特征在于，包括：

一个或多个处理器，以及

与所述一个或多个处理器耦合的存储器，所述存储器存储指令，当所述指令被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1到5中任一项所述的方法。

8.一种机器可读存储介质，其特征在于，所述机器可读存储介质存储有可执行指令，所述指令当被执行时使得所述机器执行如权利要求1到5中任一项所述的方法。

Images