CN111274936B - 多光谱图像地物分类方法、系统、介质及终端 - Google Patents

多光谱图像地物分类方法、系统、介质及终端 Download PDF

Info

Publication number
CN111274936B
CN111274936B CN202010059384.XA CN202010059384A CN111274936B CN 111274936 B CN111274936 B CN 111274936B CN 202010059384 A CN202010059384 A CN 202010059384A CN 111274936 B CN111274936 B CN 111274936B
Authority
CN
China
Prior art keywords
image
multispectral image
network model
multispectral
classification network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010059384.XA
Other languages
English (en)
Other versions
CN111274936A (zh
Inventor
屈辰阳
汪鸣泉
王茂华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Advanced Research Institute of CAS
Original Assignee
Shanghai Advanced Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Advanced Research Institute of CAS filed Critical Shanghai Advanced Research Institute of CAS
Priority to CN202010059384.XA priority Critical patent/CN111274936B/zh
Publication of CN111274936A publication Critical patent/CN111274936A/zh
Application granted granted Critical
Publication of CN111274936B publication Critical patent/CN111274936B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种多光谱图像地物分类方法、系统、介质及终端；所述方法包括以下步骤：对多光谱图像进行预处理，获取样本集；构建地物分类网络模型；基于所述样本集对所述地物分类网络模型进行训练；基于训练好的地物分类网络模型，对待分类的多光谱图像进行地物分类；本发明通过深度可分离卷积减少参数数量，降低地物分类网络模型计算复杂度，解决了现有深度学习方法应用到多光谱图像时产生维度爆炸、计算复杂度过高而导致无法完成分类的问题；提出了一种具有多层编码‑解码结果的地物分类网络模型，以编码器提取多层特征，以解码器配合前端编码的不同层次特征进行恢复，实现了可靠的地物分类。

Description

多光谱图像地物分类方法、系统、介质及终端
技术领域
本发明属于遥感图像处理技术领域，特别是涉及一种多光谱图像地物分类方法、系统、介质及终端。
背景技术
随着遥感技术的发展，遥感卫星的载荷越来越先进，人类获取的遥感图像呈现出多源、高分辨率、多尺度、多光谱的特点；图像的地物分类是遥感图像的重要应用之一，通过高分辨率、多光谱的图像，解译出地表覆盖物与土地利用的情况，是遥感图像分类的主要任务。
传统的遥感地物分类，在监督学习和非监督学习的领域，都主要采用模式识别的算法，以单个像素点的光谱特征进行分类；监督学习的方法有随机森林、支持向量机、最大似然分类等；非监督学习则主要以K-means聚类、ISO DATA方法为主，这些分类方法虽然取得了不错的效果，但是仅仅使用光谱特征，没有使用纹理特征，仍有大量的误分类现象；基于纹理特征的监督学习方法，通常采用RGB谱段，而忽略了多光谱信息，虽然准确度相比光谱特征的方法有所提升，但仍很难令人满意。
采用语义分割方法进行遥感图像地物分类的算法，使用卷积神经网络同时提取光谱和纹理特征，但是这些方法都是面向可见光(RGB)谱段的算法，而遥感图像本身具有多光谱的特征，如直接将多光谱图像用于这些已有算法，会导致计算维度爆炸，无法完成分类。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种多光谱图像地物分类方法、系统、介质及终端，用于解决深度学习方法应用到多光谱图像时产生维度爆炸、计算复杂度过高而导致无法完成地物分类的问题。
为实现上述目的及其他相关目的，本发明提供一种多光谱图像地物分类方法，包括以下步骤：对多光谱图像进行预处理，获取样本集；构建地物分类网络模型；基于所述样本集对所述地物分类网络模型进行训练；基于训练好的地物分类网络模型，对待分类的多光谱图像进行地物分类。
于本发明的一实施例中，对多光谱图像进行预处理，获取样本集包括以下步骤：采集多光谱图像；对所述多光谱图像进行图像融合，生成融合图像；基于所述融合图像，获取标注了所有地物的样本标签图；分别对所述样本标签图和所述多光谱图像进行裁剪，并对裁剪后的图像进行扩容，以获取所述样本集。
于本发明的一实施例中，分别对所述样本标签图和所述多光谱图像进行裁剪，并对裁剪后的图像进行扩容，以获取所述样本集包括以下步骤：将所述样本标签图和所述多光谱图像对齐后，按照同样的坐标点分别对所述样本标签图和所述多光谱图像进行裁剪，并将裁剪所述样本标签图后和裁剪所述多光谱图像后得到的图像分别存入两个文件夹中；两个文件夹中的裁剪后的图像一一对应；对两个文件夹中一一对应的裁剪后的图像同时进行扩容，以获取所述样本集。
于本发明的一实施例中，对裁剪后的图像进行扩容采用旋转、增加随机噪声、扭曲拉伸变换中任一一种或几种方式的组合。
于本发明的一实施例中，所述地物分类网络模型包括编码器和解码器；所述编码器采用13层深度可分离卷积，结合多层金字塔池化模块；所述解码器使用上采样方法恢复图像大小。
于本发明的一实施例中，基于所述样本集对所述地物分类网络模型进行训练包括以下步骤：按照预设比例将所述样本集划分为训练集和验证集；将所述训练集、所述验证集和所述多光谱图像均输入至所述地物分类网络模型中，以对所述地物分类网络模型进行训练；输出验证集准确率和验证集损失；当所述验证集准确率和所述验证集损失稳定时，停止训练，以获取训练好的地物分类网络模型。
于本发明的一实施例中，基于训练好的地物分类网络模型，对待分类的多光谱图像进行地物分类包括以下步骤：将待分类的经过融合的多光谱图像切割成预设张图像，并将所述预设张图像输入至训练好的地物分类网络模型中，以对所述多光谱图像进行分类并获取分类后的预设张预测图集；将所述预设张预测图集进行拼接，获取对所述多光谱图像分类后的完整的预测图。
本发明提供一种多光谱图像地物分类系统，包括：获取模块、构建模块、训练模块和分类模块；所述获取模块用于对多光谱图像进行预处理，获取样本集；所述构建模块用于构建地物分类网络模型；所述训练模块用于基于所述样本集对所述地物分类网络模型进行训练；所述分类模块用于基于训练好的地物分类网络模型，对待分类的多光谱图像进行地物分类。
本发明提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的多光谱图像地物分类方法。
本发明提供一种终端，包括：处理器及存储器；所述存储器用于存储计算机程序；所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行上述的多光谱图像地物分类方法。
如上所述，本发明所述的多光谱图像地物分类方法、系统、介质及终端，具有以下有益效果：
(1)通过深度可分离卷积减少参数数量，降低地物分类网络模型计算复杂度，解决了现有深度学习方法应用到多光谱图像时产生维度爆炸、计算复杂度过高而导致无法完成分类的问题；
(2)对多光谱图像采用图像融合的方法产生具有统一分辨率的完整图像，使用目视解译的方法，对照具有更高分辨率的实景地图，生成带有标签的原始图像，裁剪后采用图像扩容的方法，生成足够用于训练的样本集；
(3)提出了一种具有多层编码-解码结果的地物分类网络模型，以编码器提取多层特征，以解码器配合前端编码的不同层次特征进行恢复；
(4)针对图幅较大的多光谱图像，采用切割后输入地物分类网络模型预测，将预测结果拼接的方式，实现了多光谱图像的地物分类。
附图说明
图1显示为本发明的多光谱图像地物分类方法于一实施例中的流程图。
图2显示为本发明的获取样本集于一实施例中的流程图。
图3显示为本发明的地物分类网络模型于一实施例中的结构示意图。
图4显示为本发明的改进后的VGG16模块于一实施例中的结构示意图。
图5显示为本发明的对地物分类网络模型进行训练于一实施例中的流程图。
图6显示为本发明的多光谱图像地物分类方法于一实施例中的工作原理图。
图7显示为本发明的样本标签图的制作于一实施例中的示意图。
图8显示为本发明的多光谱图像地物分类系统于一实施例中的结构示意图。
图9显示为本发明的终端于一实施例中的结构示意图。
图10显示为本发明的样本扩容于一实施例中的过程图。
图11显示为本发明的地物分类网络模型对多光谱图像进行地物分类后的分类结果于一实施例中的示意图。
元件标号说明
81       获取模块
82       构建模块
83       训练模块
84       分类模块
91       处理器
92       存储器
S1～S4   步骤
S11～S14 步骤
S51～S53 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本发明的多光谱图像地物分类方法、系统、介质及终端，通过深度可分离卷积减少参数数量，降低地物分类网络模型计算复杂度，解决了现有深度学习方法应用到多光谱图像时产生维度爆炸、计算复杂度过高而导致无法完成分类的问题；对多光谱图像采用图像融合的方法产生具有统一分辨率的完整图像，使用目视解译的方法，对照实景地图，生成带有标签的原始图像，裁剪后采用图像扩容的方法，生成足够用于训练的样本集；提出了一种具有多层编码-解码结果的地物分类网络模型，以编码器提取多层特征，以解码器配合前端编码的不同层次特征进行恢复；针对图幅较大的多光谱图像，采用切割后输入地物分类网络模型预测，将预测结果拼接的方式，实现了多光谱图像的地物分类。
如图1所示，于一实施例中，本发明的多光谱图像地物分类方法包括以下步骤：
步骤S1、对多光谱图像进行预处理，获取样本集。
具体地，通过对多光谱图像进行预处理操作，以获取样本集。
如图2所示，于一实施例中，对多光谱图像进行预处理，获取样本集包括以下步骤：
步骤S11、采集多光谱图像。
具体地，通过利用多波段摄影机、多波段扫描仪或多波段电视摄像系统采集包含有地物的图像，也可称之为卫星图像。
步骤S12、对所述多光谱图像进行图像融合，生成融合图像。
具体地，通过对步骤S11获取的多光谱图像进行图像融合处理，产生具有统一分辨率的融合图像。
需要说明的是，对于多光谱图像，其空间分辨率和光谱分辨率一直存在着不可避免的矛盾，在一定的信噪比的情况下，光谱分辨率的提高必然导致牺牲空间分辨率为代价；然而，通过将较低空间分辨率的多光谱图像和较高空间分辨率的图像的全色波段图像的融合，可以产生多光谱和高空间分辨率的图像。
本发明一实施例中采用Gram-Schmidt(GS)算法对多光谱图像进行图像融合处理；GS算法即Gram-Schmidt正交化算法，是数值线性代数中的基本算法之一；基于GS算法的图像融合既能使融合的图像保真度较好，计算又较为简单。
步骤S13、基于所述融合图像，获取标注了所有地物的样本标签图。
具体地，经步骤S12获取融合图像后，对照实景图像进行目视解译，制作样本标签图。
需要说明的是，实景图像可通过百度地图的高精度实际航拍操作来获取；该样本标签图与多光谱图像具有相同的图幅大小和区域位置。
需要说明的是，将地物分为植被、水域、道路、建筑、裸土、滩涂六个类别，每个类别标记为一个灰度值，生成单通道的.png格式的样本标签图。
步骤S14、分别对所述样本标签图和所述多光谱图像进行裁剪，并对裁剪后的图像进行扩容，以获取所述样本集。
具体地，通过对步骤S13获取的样本标签图及步骤S11采集的多光谱图像进行裁剪操作，并对裁剪后的图像进行扩容，生成包含有足够数量图像的样本集。
需要说明的是，步骤S1中所述的预处理包括步骤S12中对多光谱图像的融合处理及步骤S14中对多光谱图像的裁剪处理。
于本发明一实施例中，分别对所述样本标签图和所述多光谱图像进行裁剪，并对裁剪后的图像进行扩容，以获取所述样本集包括以下步骤：
首先，将所述样本标签图和所述多光谱图像对齐后，按照同样的坐标点分别对所述样本标签图和所述多光谱图像进行裁剪，并将裁剪所述样本标签图后和裁剪所述多光谱图像后得到的图像分别存入两个文件夹中。
需要说明的是，两个文件夹中的裁剪后的图像一一对应。
然后，对两个文件夹中一一对应的裁剪后的图像同时进行扩容，以获取所述样本集。
于本发明一实施例中，对裁剪后的图像进行扩容采用旋转、增加随机噪声、扭曲拉伸变换中任一一种或几种方式的组合。
具体地，对两个文件夹中一一对应的裁剪后的图像同时进行旋转、增加随机噪声、扭曲拉伸变换中任一一种或几种方式的扩容操作，以增加文件夹中图像的个数，产生包含有足够数量图像的样本集。
步骤S2、构建地物分类网络模型。
具体地，构建一个可基于多光谱图像实现地物分类的地物分类网络模型。
如图3所示，于一实施例中，所述地物分类网络模型包括编码器和解码器。
所述编码器采用13层深度可分离卷积，结合多层金字塔池化模块；所述解码器使用上采样(Upsample)方法恢复图像大小。
具体地，为了适应多光谱图像的输入，使用改进后的VGG16模块，后端结合多层金字塔池化模块提取多尺度特征。
需要说明的是，上采样的过程类似于一个卷积的过程，只不过在卷积之前将输入特征值插到一个更大的特征图然后进行卷积；上采样是为了将特征图采样到指定分辨率大小，比如一张(416，416，3)的图片经过一系列卷积池化操作后，得到一个特征图，维度(13，13，3)，为了把这个特征图和原图进行比较，需要将这个特征图变成(416，416，3)大小，这个就称为上采样。
需要说明的是，在该地物分类网络模型中，采用上采样方法可实现扩大图像的功能，从而恢复图像大小。
如图4所示，改进后的VGG16模块具体为使用VGG16模块中的前13层，去掉最后3层全连接层，并将VGG16模块中的卷积层替换为深度可分离卷积，减少参数规模。
需要说明的是，使用深度可分离卷积代替VGG16模块中的池化层；深度可分离卷积对于不同的输入通道，分别在单通道上进行卷积，再将每个通道的卷积结果叠加起来，在深度方向进行点卷积。
需要说明的是，多层金字塔池化(Atrous Spatial Pyramid Pooling，ASPP)对给定的输入以不同采样率的卷积并行采样，相当于以多个比例捕捉图像的上下文。
需要说明的是，该地物分类网络模型的工作原理为：在编码器中先使用经过改进的VGG16模块提炼特征，在VGG16模块的第6层抽出一层低级语义特征(图3中橘色部分)，经过1×1卷积后，留作解码器部分恢复时使用；在VGG16模块后接上ASPP模块，然后经过1×1卷积将提取的特征变为单层矩阵，在解码器部分，经过第一次4倍上采样后，与先前提出的低级语义特征相结合，进行3×3卷积后再次4倍上采样，恢复至原图大小，得出预测结果。
步骤S3、基于所述样本集对所述地物分类网络模型进行训练。
具体地，基于步骤S1获取的样本集对步骤S2中构建的地物分类网络模型进行训练。
如图5所示，于一实施例中，基于所述样本集对所述地物分类网络模型进行训练包括以下步骤：
步骤S51、按照预设比例将所述样本集划分为训练集和验证集。
具体地，按照预设比例将步骤S1获取的样本集划分为训练集和验证集；例如，随机抽取样本集的80％作为训练集，剩下的20％作为验证集。
步骤S52、将所述训练集、所述验证集和所述多光谱图像均输入至所述地物分类网络模型中，以对所述地物分类网络模型进行训练。
需要说明的是，训练集用于训练地物分类网络模型的参数，验证集用于验证准确率。
需要说明的是，在对地物分类网络模型进行训练时，将步骤S14中两个文件夹中一一对应的裁剪后的图像作为一组数据，输入地物分类网络模型中。
需要说明的是，设定初始学习率，采用交叉熵损失函数降低损失。
步骤S53、输出验证集准确率和验证集损失；当所述验证集准确率和所述验证集损失稳定时，停止训练，以获取训练好的地物分类网络模型。
具体地，在每次训练后输出验证集准确率和验证集损失，当验证集准确率和验证集损失不稳定时，地物分类网络模型调整网络参数，直至验证集准确率和验证集损失稳定时，停止训练，获取训练好的地物分类网络模型。
优选地，可将验证集准确率和验证集损失以可视化曲线显示；将训练好的地物分类网络模型保存为hdf5格式的文件。
步骤S4、基于训练好的地物分类网络模型，对待分类的多光谱图像进行地物分类。
具体地，经步骤S3获取训练好的地物分类网络模型后，将待分类的多光谱图像输入训练好的地物分类网络模型中，以通过训练好的地物分类网络模型对其进行地物分类。
于本发明一实施例中，基于训练好的地物分类网络模型，对待分类的多光谱图像进行地物分类包括以下步骤：
首先，将待分类的经过融合的多光谱图像切割成预设张图像，并将所述预设张图像输入至训练好的地物分类网络模型中，以对所述多光谱图像进行分类并获取分类后的预设张预测图集。
需要说明的是，对于尺寸比较大的待分类的多光谱图像，在对其进行地物分类时，可先对其进行切割操作，得到预设张相同尺寸的切割后的图像，然后将这些图像输入至训练好的地物分类网络模型中，使得训练好的地物分类网络模型分别对这些切割后的图像实现地物分类。
需要说明的是，为了弥补切割后的图像边缘不连贯的问题，在对待分类的多光谱图像进行切割时，可通过以小于切割后图像的实际尺寸的步长切割待分类的多光谱图像。
然后，将所述预设张预测图集进行拼接，获取对所述多光谱图像分类后的完整的预测图。
具体地，对上述通过训练好的地物分类网络模型对切割后的图像实现地物分类后得到的预设张预测图集进行拼接操作，获取对该多光谱图像分类后的完整的预测图。
如图6所示，该多光谱图像地物分类方法的工作原理为：首先，对多光谱图像(对应图6中的多光谱遥感图像)进行图像融合操作，产生具有统一分辨率的多光谱图像；然后对照实景图像(对应图6中的实景地图)进行目视解译，并通过扩容操作，获取样本集；将样本集输入地物分类网络模型(对应图6中的网络模型)中，训练地物分类网络模型；判断地物分类网络模型输出的验证集准确率和验证集损失是否稳定(对应图6中的准确率和损失曲线是否稳定)；若不稳定，地物分类网络模型调整网络参数，并继续向地物分类网络模型中输入样本集，重新训练，直至验证集准确率和验证集损失稳定；若稳定，则停止训练，获取训练好的地物分类网络模型，并基于训练好的地物分类网络模型对待分类的多光谱图像进行地物分类(对应图6中的对原图分类)，产生分类结果。
下面通过具体实施例来进一步说明本发明的多光谱图像地物分类方法。
如图7所示，对12谱段的哨兵2号采集的多光谱卫星图像进行图像融合，使用GS算法将所有谱段都融合至10米；融合后的多光谱卫星图像，对照实景地物图像进行目视解译，参考哨兵2号多光谱卫星图像和百度地图的高精度航拍实际地物图像，标注样本，制作样本标签图。
如图10所示，将生成的样本标签图(标注图像)与多光谱图像(卫星图像)对齐后，按同样的坐标点裁剪为513×513像素的两组小图分别存入两个文件夹中，一组记为原图，一组记为标签，每一张原图与其标签的文件名称相同；通过图像扩容，对原图和标签同时采用旋转90°、180°、360°，增加随机噪声，扭曲拉伸变换的方法，将两组图片同时扩容至40000张，生成样本集。
构建适用于多光谱图像的深度学习的地物分类网络模型，采用编码-解码的方法；将样本集输入地物分类网络模型中，以0.01的初始化学习率，采用交叉熵损失函数降低损失，训练调整地物分类网络模型的网络参数；训练时，将具有相同文件名的原图与标签作为一组数据，输入网络中；每一轮迭代输入12组数据进行训练；当迭代轮次每增加5次，准确率提升低于0.1％时，认定准确率稳定，结束训练，把网络模型保存为hd5格式的文件。
如图11所示，将待分类的多光谱图像((a)卫星图像)切割为数张513×513像素大小的图集，输入进地物分类网络模型进行预测，得到预测图集；为了弥补边缘不连贯的问题，以横纵450像素的步长切割图像，分类后将预测图集进行拼接，得到一张完整的预测图((b)地物分类结果)。
需要说明的是，本发明所述的多光谱图像地物分类方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
如图8所示，于一实施例中，本发明的多光谱图像地物分类系统包括获取模块81、构建模块82、训练模块83和分类模块84。
所述获取模块81用于对多光谱图像进行预处理，获取样本集。
所述构建模块82用于构建地物分类网络模型。
所述训练模块83用于基于所述样本集对所述地物分类网络模型进行训练。
所述分类模块84用于基于训练好的地物分类网络模型，对待分类的多光谱图像进行地物分类。
需要说明的是，获取模块81、构建模块82、训练模块83和分类模块84的结构及原理与上述多光谱图像地物分类方法中的步骤一一对应，故在此不再赘述。
需要说明的是，应理解以上系统的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，x模块可以为单独设立的处理元件，也可以集成在上述系统的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述系统的存储器中，由上述系统的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个数字信号处理器(Digital Singnal Processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
需要说明的是，本发明的多光谱图像地物分类系统可以实现本发明的多光谱图像地物分类方法，但本发明的多光谱图像地物分类方法的实现装置包括但不限于本实施例列举的多光谱图像地物分类系统的结构，凡是根据本发明的原理所做的现有技术的结构变形和替换，都包括在本发明的保护范围内。
本发明的存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述的多光谱图像地物分类方法。所述存储介质包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。
如图9所示，本发明的终端，包括处理器91及存储器92。
所述存储器92用于存储计算机程序。优选地，所述存储器92包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。
所述处理器91与所述存储器92相连，用于执行所述存储器92存储的计算机程序，以使所述终端执行上述的多光谱图像地物分类方法。
优选地，所述处理器91可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
综上所述，本发明的多光谱图像地物分类方法、系统、介质及终端，通过深度可分离卷积减少参数数量，降低地物分类网络模型计算复杂度，解决了现有深度学习方法应用到多光谱图像时产生维度爆炸、计算复杂度过高而导致无法完成分类的问题；对多光谱图像采用图像融合的方法产生具有统一分辨率的完整图像，使用目视解译的方法，对照实景地图，生成带有标签的原始图像，裁剪后采用图像扩容的方法，生成足够用于训练的样本集；提出了一种具有多层编码-解码结果的地物分类网络模型，以编码器提取多层特征，以解码器配合前端编码的不同层次特征进行恢复；针对图幅较大的多光谱图像，采用切割后输入地物分类网络模型预测，将预测结果拼接的方式，实现了多光谱图像的地物分类。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (7)

1.一种多光谱图像地物分类方法，其特征在于，包括以下步骤：
对多光谱图像进行预处理，获取样本集；对多光谱图像进行预处理，获取样本集包括以下步骤：
采集多光谱图像；
对所述多光谱图像进行图像融合，生成融合图像；
基于所述融合图像，获取标注了所有地物的样本标签图；
分别对所述样本标签图和所述多光谱图像进行裁剪，并对裁剪后的图像进行扩容，以获取所述样本集；分别对所述样本标签图和所述多光谱图像进行裁剪，并对裁剪后的图像进行扩容，以获取所述样本集包括以下步骤：
将所述样本标签图和所述多光谱图像对齐后，按照同样的坐标点分别对所述样本标签图和所述多光谱图像进行裁剪，并将裁剪所述样本标签图后和裁剪所述多光谱图像后得到的图像分别存入两个文件夹中；两个文件夹中的裁剪后的图像一一对应；
对两个文件夹中一一对应的裁剪后的图像同时进行扩容，以获取所述样本集；
对裁剪后的图像进行扩容采用旋转、增加随机噪声、扭曲拉伸变换中任一一种或几种方式的组合；
构建地物分类网络模型；
基于所述样本集对所述地物分类网络模型进行训练；
基于训练好的地物分类网络模型，对待分类的多光谱图像进行地物分类。
2.根据权利要求1所述的多光谱图像地物分类方法，其特征在于，所述地物分类网络模型包括编码器和解码器；
所述编码器采用13层深度可分离卷积，结合多层金字塔池化模块；所述解码器使用上采样方法恢复图像大小。
3.根据权利要求1所述的多光谱图像地物分类方法，其特征在于，基于所述样本集对所述地物分类网络模型进行训练包括以下步骤：
按照预设比例将所述样本集划分为训练集和验证集；
将所述训练集、所述验证集和所述多光谱图像均输入至所述地物分类网络模型中，以对所述地物分类网络模型进行训练；
输出验证集准确率和验证集损失；当所述验证集准确率和所述验证集损失稳定时，停止训练，以获取训练好的地物分类网络模型。
4.根据权利要求1所述的多光谱图像地物分类方法，其特征在于，基于训练好的地物分类网络模型，对待分类的多光谱图像进行地物分类包括以下步骤：
将待分类的经过融合的多光谱图像切割成预设张图像，并将所述预设张图像输入至训练好的地物分类网络模型中，以对所述多光谱图像进行分类并获取分类后的预设张预测图集；
将所述预设张预测图集进行拼接，获取对所述多光谱图像分类后的完整的预测图。
5.一种多光谱图像地物分类系统，其特征在于，包括：获取模块、构建模块、训练模块和分类模块；
所述获取模块用于对多光谱图像进行预处理，获取样本集；对多光谱图像进行预处理，获取样本集包括以下步骤：
采集多光谱图像；
对所述多光谱图像进行图像融合，生成融合图像；
基于所述融合图像，获取标注了所有地物的样本标签图；
分别对所述样本标签图和所述多光谱图像进行裁剪，并对裁剪后的图像进行扩容，以获取所述样本集；分别对所述样本标签图和所述多光谱图像进行裁剪，并对裁剪后的图像进行扩容，以获取所述样本集包括以下步骤：
将所述样本标签图和所述多光谱图像对齐后，按照同样的坐标点分别对所述样本标签图和所述多光谱图像进行裁剪，并将裁剪所述样本标签图后和裁剪所述多光谱图像后得到的图像分别存入两个文件夹中；两个文件夹中的裁剪后的图像一一对应；
对两个文件夹中一一对应的裁剪后的图像同时进行扩容，以获取所述样本集；
对裁剪后的图像进行扩容采用旋转、增加随机噪声、扭曲拉伸变换中任一一种或几种方式的组合；
所述构建模块用于构建地物分类网络模型；
所述训练模块用于基于所述样本集对所述地物分类网络模型进行训练；
所述分类模块用于基于训练好的地物分类网络模型，对待分类的多光谱图像进行地物分类。
6.一种存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至5中任一项所述的多光谱图像地物分类方法。
7.一种终端，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行权利要求1至5中任一项所述的多光谱图像地物分类方法。
CN202010059384.XA 2020-01-19 2020-01-19 多光谱图像地物分类方法、系统、介质及终端 Active CN111274936B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010059384.XA CN111274936B (zh) 2020-01-19 2020-01-19 多光谱图像地物分类方法、系统、介质及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010059384.XA CN111274936B (zh) 2020-01-19 2020-01-19 多光谱图像地物分类方法、系统、介质及终端

Publications (2)

Publication Number Publication Date
CN111274936A CN111274936A (zh) 2020-06-12
CN111274936B true CN111274936B (zh) 2023-04-18

Family

ID=70998854

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010059384.XA Active CN111274936B (zh) 2020-01-19 2020-01-19 多光谱图像地物分类方法、系统、介质及终端

Country Status (1)

Country Link
CN (1) CN111274936B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914686B (zh) * 2020-07-15 2022-10-18 云南电网有限责任公司带电作业分公司 基于周域关联和模式识别的sar遥感图像水域提取方法、装置及系统
CN113342912B (zh) * 2021-05-24 2022-03-18 北京百度网讯科技有限公司 地理位置区域的编码方法、建立编码模型的方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110334724A (zh) * 2019-04-16 2019-10-15 武汉理工大学 基于lstm的遥感对象自然语言描述及多尺度矫正方法
WO2019232830A1 (zh) * 2018-06-06 2019-12-12 平安科技（深圳）有限公司 机场异物检测方法、装置、计算机设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019232830A1 (zh) * 2018-06-06 2019-12-12 平安科技（深圳）有限公司 机场异物检测方法、装置、计算机设备及存储介质
CN110334724A (zh) * 2019-04-16 2019-10-15 武汉理工大学 基于lstm的遥感对象自然语言描述及多尺度矫正方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
姚建华 ; 吴加敏 ; 杨勇 ; 施祖贤 ; .全卷积神经网络下的多光谱遥感影像分割.中国图象图形学报.2020,(01),全文. *
孙晓敏 ; 郑利娟 ; 吴军 ; 陈前 ; 徐崇斌 ; 马杨 ; 陈震 ; .基于U-net的"高分五号"卫星高光谱图像土地类型分类.航天返回与遥感.2019,(06),全文. *

Also Published As

Publication number Publication date
CN111274936A (zh) 2020-06-12

Similar Documents

Publication Publication Date Title
CN105740894A (zh) 一种高光谱遥感图像的语义标注方法
CN111160273A (zh) 一种高光谱图像空谱联合分类方法及装置
CN113901900A (zh) 一种同源或异源遥感图像用无监督变化检测方法及系统
CN116797787B (zh) 基于跨模态融合与图神经网络的遥感影像语义分割方法
CN113239736B (zh) 一种基于多源遥感数据的土地覆盖分类标注图获取方法
CN111914909B (zh) 基于空谱联合三方向卷积网络的高光谱变化检测方法
CN114022408A (zh) 基于多尺度卷积神经网络的遥感图像云检测方法
CN111274936B (zh) 多光谱图像地物分类方法、系统、介质及终端
CN114037640A (zh) 图像生成方法及装置
Ahmad et al. 3D capsule networks for object classification from 3D model data
CN116645598A (zh) 一种基于通道注意力特征融合的遥感图像语义分割方法
Hu et al. Classification of very high-resolution remote sensing imagery using a fully convolutional network with global and local context information enhancements
CN115272438A (zh) 一种面向三维场景重建的高精度单目深度估计系统及方法
CN113554655B (zh) 基于多特征增强的光学遥感图像分割方法及装置
CN112989919B (zh) 一种从影像中提取目标对象的方法及系统
CN112800851B (zh) 基于全卷积神经元网络的水体轮廓自动提取方法及系统
CN116977747B (zh) 基于多路多尺度特征孪生网络的小样本高光谱分类方法
CN113361407A (zh) 基于PCANet的空谱特征联合高光谱海冰图像分类方法
CN117746130A (zh) 一种基于遥感影像点状语义标签的弱监督深度学习分类方法
CN117351360A (zh) 一种基于注意力机制改进的遥感图像道路提取方法
CN115761552B (zh) 面向无人机机载平台的目标检测方法、设备及介质
CN117237623A (zh) 一种无人机遥感图像语义分割方法及系统
CN113095185B (zh) 人脸表情识别方法、装置、设备及存储介质
CN113628111B (zh) 基于梯度信息约束的高光谱图像超分辨方法
Häufel et al. Evaluation of CNNs for land cover classification in high-resolution airborne images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant