CN110458201B - 一种遥感影像面向对象分类方法及分类装置 - Google Patents
一种遥感影像面向对象分类方法及分类装置 Download PDFInfo
- Publication number
- CN110458201B CN110458201B CN201910647296.9A CN201910647296A CN110458201B CN 110458201 B CN110458201 B CN 110458201B CN 201910647296 A CN201910647296 A CN 201910647296A CN 110458201 B CN110458201 B CN 110458201B
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- bilstm
- vgg16
- object block
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
Abstract
本发明提供一种遥感影像面向对象分类方法及分类装置，能够提高遥感影像分类准确度。所述方法包括：获取遥感影像数据；通过面向对象多尺度分割算法，对获取的遥感影像数据进行分割，得到影像对象块；将深度卷积神经网络与循环神经网络相结合，并添加跳跃连接，构建VGG16‑BiLSTM‑Skip模型，其中，VGG16表示16层的深度卷积神经网络，BiLSTM表示双向长短时记忆循环神经网络，Skip表示跳跃连接；利用影像对象块对构建的VGG16‑BiLSTM‑Skip模型进行训练，得到影像对象块的分类器，所述分类器，用于对遥感影像进行分类。本发明涉及图像处理领域。
Description
技术领域
本发明涉及图像处理领域，特别是指一种遥感影像面向对象分类方法及分类装置。
背景技术
近年来，遥感技术飞速发展，高分辨率遥感卫星的投入使用，极大提高了人类获取遥感数据质量与效率，对遥感数据的处理技术提出了更高的要求。提到的遥感数据，一般就是遥感影像，对遥感数据处理，是为了更好地分析和解释这些遥感影像。在图像处理领域中，对图像分类是分析和解释图像的基础。图像分类结果的好坏直接影响了后续的分析和处理工作。遥感影像分类是遥感影像信息提取的重要手段，也是目前遥感技术中的热点研究内容之一。但是，现有技术中，无法准确地将地物分开，导致遥感影像分类准确率低。
发明内容
本发明要解决的技术问题是提供一种遥感影像面向对象分类方法及分类装置，以解决现有技术所存在的无法准确地将地物分开，导致遥感影像分类准确率低的问题。
为解决上述技术问题，本发明实施例提供一种遥感影像面向对象分类方法，包括：
获取遥感影像数据；
通过面向对象多尺度分割算法，对获取的遥感影像数据进行分割，得到影像对象块；
将深度卷积神经网络与循环神经网络相结合，并添加跳跃连接，构建VGG16-BiLSTM-Skip模型，其中，VGG16表示16层的深度卷积神经网络，BiLSTM表示双向长短时记忆循环神经网络，Skip表示跳跃连接；
利用影像对象块对构建的VGG16-BiLSTM-Skip模型进行训练，得到影像对象块的分类器，所述分类器，用于对遥感影像进行分类。
进一步地，所述通过面向对象多尺度分割算法，对获取的遥感影像数据进行分割，得到影像对象块包括：
通过基于区域增长的多尺度分割算法，对获取的遥感影像数据进行分割，得到影像对象块。
进一步地，构建的VGG16-BiLSTM-Skip模型是引入跳跃连接的基于1个VGG16和2个BiLSTM的级联网络模型。
进一步地，在利用影像对象块对构建的VGG16-BiLSTM-Skip模型进行训练，得到影像对象块的分类器之前，所述方法还包括：
对分割得到的影像对象块进行预处理操作，其中，所述预处理操作包括：通道调整、波段整合、尺度调整、归一化、数据扩充、解决类别不均衡问题以及数据集划分，所述数据集划分为将影像对象块划分为训练集、验证集和测试集。
进一步地，所述利用影像对象块对构建的VGG16-BiLSTM-Skip模型进行训练，得到影像对象块的分类器包括：
将训练集中的影像对象块作为输入，通过VGG16一系列的卷积、池化操作对特征图谱进行提取，将VGG16提取的多层的特征图谱进行融合，将融合后的特征图谱作为BiLSTM的输入；
BiLSTM对融合后的特征图谱的上下左右的特征进行特征组合，获取遥感对象块空间上下文信息；
将BiLSTM输出的遥感对象块空间上下文信息转化为特征向量，对所述特征向量进行处理，输出遥感对象块属于每一类的概率值。
本发明实施例还提供一种遥感影像面向对象分类装置，包括：
获取模块，用于获取遥感影像数据；
分割模块，用于通过面向对象多尺度分割算法，对获取的遥感影像数据进行分割，得到影像对象块；
构建模块，用于将深度卷积神经网络与循环神经网络相结合，并添加跳跃连接，构建VGG16-BiLSTM-Skip模型，其中，VGG16表示16层的深度卷积神经网络，BiLSTM表示双向长短时记忆循环神经网络，Skip表示跳跃连接；
训练模块，用于利用影像对象块对构建的VGG16-BiLSTM-Skip模型进行训练，得到影像对象块的分类器，所述分类器，用于对遥感影像进行分类。
进一步地，所述分割模块，用于通过基于区域增长的多尺度分割算法，对获取的遥感影像数据进行分割，得到影像对象块。
进一步地，构建的VGG16-BiLSTM-Skip模型是引入跳跃连接的基于1个VGG16和2个BiLSTM的级联网络模型。
进一步地，所述装置还包括：
预处理模块，用于对分割得到的影像对象块进行预处理操作，其中，所述预处理操作包括：通道调整、波段整合、尺度调整、归一化、数据扩充、解决类别不均衡问题以及数据集划分，所述数据集划分为将影像对象块划分为训练集、验证集和测试集。
进一步地，所述训练模块包括：
融合单元，用于将训练集中的影像对象块作为输入，通过VGG16一系列的卷积、池化操作对特征图谱进行提取，将VGG16提取的多层的特征图谱进行融合，将融合后的特征图谱作为BiLSTM的输入；
组合单元，用于BiLSTM对融合后的特征图谱的上下左右的特征进行特征组合，获取遥感对象块空间上下文信息；
分类单元，用于将BiLSTM输出的遥感对象块空间上下文信息转化为特征向量，对所述特征向量进行处理，输出遥感对象块属于每一类的概率值。
本发明的上述技术方案的有益效果如下：
上述方案中，获取遥感影像数据；通过面向对象多尺度分割算法，对获取的遥感影像数据进行分割，得到影像对象块；将深度卷积神经网络与循环神经网络相结合，并添加跳跃连接，构建VGG16-BiLSTM-Skip模型；利用影像对象块对构建的VGG16-BiLSTM-Skip模型进行训练，得到影像对象块的分类器，所述分类器，用于对遥感影像进行分类。这样，通过面向对象多尺度分割算法对获取的遥感影像数据进行分割，能够解决地物分不开的问题，通过VGG16-BiLSTM-Skip模型可以自动地对遥感影像进行特征提取，大大减少了专业领域知识与特征工程的工作量，通过跳跃连接能够避免梯度消失，从而提高遥感影像分类准确度。
附图说明
图1为本发明实施例提供的遥感影像面向对象分类方法的流程示意图；
图2为本发明实施例提供的VGG16-BiLSTM模型的结构示意图；
图3为本发明实施例提供的VGG16-BiLSTM-Skip模型的结构示意图；
图4为本发明实施例提供的VGG16在测试集上的混淆矩阵示意图；
图5为本发明实施例提供的VGG16-BiLSTM模型在测试集上的混淆矩阵示意图；
图6为本发明实施例提供的VGG16-BiLSTM-Skip模型在测试集上的混淆矩阵示意图；
图7为本发明实施例提供的遥感影像面向对象分类装置的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明针对现有的无法准确地将地物分开，导致遥感影像分类准确率低的问题，提供一种遥感影像面向对象分类方法及分类装置。
实施例一
如图1所示，本发明实施例提供的遥感影像面向对象分类方法，包括：
S101，获取遥感影像数据；
S102，通过面向对象多尺度分割算法，对获取的遥感影像数据进行分割，得到影像对象块；
S103，将深度卷积神经网络与循环神经网络相结合，并添加跳跃连接，构建VGG16-BiLSTM-Skip模型，其中，VGG16表示16层的深度卷积神经网络，BiLSTM表示双向长短时记忆循环神经网络，Skip表示跳跃连接；
S104，利用影像对象块对构建的VGG16-BiLSTM-Skip模型进行训练，得到影像对象块的分类器，所述分类器，用于对遥感影像进行分类。
本发明实施例所述的遥感影像面向对象分类方法，获取遥感影像数据；通过面向对象多尺度分割算法，对获取的遥感影像数据进行分割，得到影像对象块；将深度卷积神经网络与循环神经网络相结合，并添加跳跃连接，构建VGG16-BiLSTM-Skip模型；利用影像对象块对构建的VGG16-BiLSTM-Skip模型进行训练，得到影像对象块的分类器，所述分类器，用于对遥感影像进行分类。这样，通过面向对象多尺度分割算法对获取的遥感影像数据进行分割，能够解决地物分不开的问题，通过VGG16-BiLSTM-Skip模型可以自动地对遥感影像进行特征提取，大大减少了专业领域知识与特征工程的工作量，通过跳跃连接能够避免梯度消失，从而提高遥感影像分类准确度。
在前述遥感影像面向对象分类方法的具体实施方式中，进一步地，所述通过面向对象多尺度分割算法，对获取的遥感影像数据进行分割，得到影像对象块包括：
通过基于区域增长的多尺度分割算法，对获取的遥感影像数据进行分割，得到影像对象块。
本实施中，面向对象(OBIA)遥感影像分割技术其基本思想是：先通过特定的影像分割算法(例如，多尺度分割)将原始遥感影像划分为若干个子区域(即：影像对象块)，其中每个子区域是互不重叠的，这样分割以后使得相同区域内的像元具有同质性，不同区域之间的像元是异质的；然后将分割得到的影像对象块作为基本的分析单位进行后续的特征选择、特征工程以及分类识别等操作。
影像分割作为遥感影像面向对象分类技术的核心操作之一，本实施例中，为了高效准确的进行影像对象块的分割，提高遥感影像分类的准确性，使用基于区域增长的多尺度分割算法，对获取的遥感影像数据进行分割，得到影像对象块，具体可以包括以下步骤：
首先以像元为最小的分割单位，将遥感影像分割成比较小的对象块，然后将比较小的对象块进行合并，生成相对较大的对象块，直到对象块的尺寸达到预先设定的尺度阈值，其中，较小、较大对应的尺寸取值可以根据实际情况进行确定。
在影像分割过程中，不管是以像元为单位进行影像分割还是将较小的影像对象块合并成较大的影像对象块，都是遵循异质性最小的原则。
本实施例中，在训练VGG16-BiLSTM-Skip模型时，还需要标注影像对象块的类别(Lable_Y)。
在前述遥感影像面向对象分类方法的具体实施方式中，进一步地，构建的VGG16-BiLSTM-Skip模型是引入跳跃连接的基于1个VGG16和2个BiLSTM的级联网络模型。
本实施例中，将自然语言中的建模思想引入到遥感影像分类识别中，构建引入跳跃连接的基于1个VGG16与2个BiLSTM的级联网络模型。
本实施例中，构建VGG16-BiLSTM-Skip模型，可以包括以下步骤：
构建VGG16-BiLSTM模型；
在构建的VGG16-BiLSTM模型上，引入跳跃连接，得到VGG16-BiLSTM-Skip模型。
本实施例中，VGG16用来自动高效的提取特征图谱(Feature Map)，具体的：将训练集中的影像对象块作为输入(input_X)，通过VGG16一系列的卷积、池化、非线性转化等操作对特征图谱进行提取，避免了大量的人工提取并筛选特征的工作，而且经过VGG16提取到的特征图谱往往比传统机器学习方法进行大量特征工程得到的特征要好。
本实施例中，为了不丢失图像的中层特征，防止遥感影像存在“语义鸿沟”，VGG16-BiLSTM模型并没有直接将卷积层(cov)、池化层(pool)提取到的特征图谱(Feature Map)直接展成一维向量(Flatten)连到最后的全连接层(FC)进行分类，而是选择最后卷积之后的Feature Map作为BiLSTM的输入。使用两个BiLSTM用来对最后卷积输出的特征图谱进行四个方向上的扫描，从而获取遥感对象块空间上下文的信息。
本实施例中，将VGG16与BiLSTM进行级联的时候，首先将VGG16最后一个卷积层输出的Feature Map通过1×1卷积操作做个降维，接下来用两个BiLSTM对Feature Map的上下左右的特征进行特征组合，获取感对象块空间上下文的信息，其中，经过BiLSTM之后得到的特征图谱与最后的卷积层具有相同的维度；最后将经过BiLSTM之后的特征图谱转化为图谱向量，并利用全连接层处理每个特征向量，再经过Softmax及损失函数(center loss)进行训练，从而将遥感对象块属于每一类的概率值作为VGG16-BiLSTM模型的最终输出(Prediction)，VGG16-BiLSTM模型结构如图2所示。
本实施例中，由于在VGG16-BiLSTM模型的训练过程中，隐藏层(包括：卷积层、池化层)反向传播的梯度是倾向于变小的，这就导致深度卷积神经网络中前面的隐藏层训练速度要低于后面的隐藏层，这就是深度卷积神经网络训练中的梯度消失问题，为此，引入跳跃连接针对这个问题对VGG16-BiLSTM模型进行优化。
本实施例中，跳跃连接指的是某一层网络的输出不是像传统的神经网络那样只是传到下一层，而是有可能还会直接传入与该层网络相隔几层网络之后的某一层。这样，在神经网络层数较深的情况下高层网络能有机会获得更多低层网络传来的信息，可以有效解决深层神经网络中的梯度消失问题，同时也能加快模型训练的过程。跳跃连接通过将多层的特征进行融合(reScale->Concat)可以更好的利用低层与高层提取的不同特征。因此，本申请中将pool4、pool5及接入BiLSTM之前的最后一个卷积层(last conv layer，即：conv7)的输出进行融合，如图3所示。由于来自不同层的特征图谱的大小可能会有很大差异，如pool4、pool5、last conv layer的特征图谱的尺度分别为(None，16，16，512)、(None，8，8，512)、(None，8，8，128)，出于参数量的考量，本发明主要对block4_pool的输出进行了2×2的降采样从而得到与剩下两层特征图谱一致的尺度，接着将处理后的三层特征图谱进行通道维度的融合并统一作为BiLSTM的输入，最终分类结果要优于引入跳跃级联之前的。
在前述遥感影像面向对象分类方法的具体实施方式中，进一步地，在利用影像对象块对构建的VGG16-BiLSTM-Skip模型进行训练，得到影像对象块的分类器之前，所述方法还包括：
对分割得到的影像对象块进行预处理操作，其中，所述预处理操作包括：通道调整、波段整合、尺度调整、归一化、数据扩充、解决类别不均衡问题以及数据集划分，所述数据集划分为将影像对象块划分为训练集、验证集和测试集。
本实施例中，遥感影像分类是基于深度卷积神经网络的，其输入往往是大小一致的标准影像块，因此需要对分割后的影像对象块做一系列的预处理操作，主要包括通道调整、波段整合、尺度调整、归一化、数据扩充、解决类别不均衡问题以及数据集划分等操作。
在前述遥感影像面向对象分类方法的具体实施方式中，进一步地，所述利用影像对象块对构建的VGG16-BiLSTM-Skip模型进行训练，得到影像对象块的分类器包括：
将训练集中的影像对象块作为输入，通过VGG16一系列的卷积、池化操作对特征图谱进行提取，将VGG16提取的多层的特征图谱进行融合，将融合后的特征图谱作为BiLSTM的输入；
BiLSTM对融合后的特征图谱的上下左右的特征进行特征组合，获取遥感对象块空间上下文信息；
将BiLSTM输出的遥感对象块空间上下文信息转化为特征向量，对所述特征向量进行处理，输出遥感对象块属于每一类的概率值。
最后，通过实验验证本实施例所述的遥感影像面向对象分类方法的有效性，其中，实验数据包括包含10类地物，分别为林地、园地、草地、耕地、构筑物、人工堆掘地、房屋建筑、道路、荒漠与裸露地表以及水域等。
实验评测方法采用精度和混淆矩阵评测方法。精度是一个用于评估分类模型的度量指标。一般来说，精度是指的模型预测正确的样本数所占样本总数的比例。表1分别列出了使用VGG16、VGG16-BiLSTM、VGG16-BiLSTM-Skip等不同模型时对训练集、验证集、测试集准确率以及训练时间的影响，对比每个模型在测试集上的Top1准确度分别提升了0.095、0.123。分类报告如表2、表3、表4分别描述了每类地物的精准度、召回率、F1得分以及整体的得分。实验表明耕地、园地、林地、草地上的精准度都提高了。
混淆矩阵是机器学习中分类问题的常用评价指标，它衡量的是一个分类器分类的准确程度。如图4、图5、图6，通过可视化各个模型在测试集上的混淆矩阵，可以观察出每个模型在每类地物上预测的精准率与召回率。加入BiLSTM以后模型在耕地，园地、林地、草地等地物上的预测准确率有所提升。说明模型可以在相似地物间可以更好的捕捉局部空间差异特征。在加入BiLSTM基础上加入跳跃连接以后的模型，在草地，人工挖掘地上的精准度提升较大，分别又提升了0.09，0.40。
表2网络模型准确率及训练时间的对比
表3 VGG16在测试集上的分类报告
| 类别 | Precision | recall | F1 | support |
| 01_耕地 | 0.81 | 0.89 | 0.85 | 54 |
| 02_园地 | 0.75 | 0.20 | 0.32 | 15 |
| 03_林地 | 0.53 | 0.36 | 0.43 | 45 |
| 04_草地 | 0.44 | 0.45 | 0.45 | 55 |
| 05_房屋建筑 | 0.72 | 0.90 | 0.80 | 105 |
| 06_道路 | 0.67 | 0.50 | 0.57 | 8 |
| 07_构筑物 | 0.37 | 0.38 | 0.37 | 40 |
| 08_人工挖掘地 | 0.00 | 0.00 | 0.00 | 5 |
| 09_荒漠 | 0.00 | 0.00 | 0.00 | 2 |
| 10_水域 | 0.82 | 0.90 | 0.86 | 20 |
| Avg/Total | 0.62 | 0.64 | 0.62 | 349 |
表4 VGG16-BiLSTM在测试集上的分类报告
| 类别 | Precision | recall | F1 | support |
| 01_耕地 | 0.92 | 0.87 | 0.90 | 54 |
| 02_园地 | 0.86 | 0.40 | 0.55 | 15 |
| 03_林地 | 0.62 | 0.56 | 0.59 | 45 |
| 04_草地 | 0.67 | 0.71 | 0.69 | 55 |
| 05_房屋建筑 | 0.71 | 0.92 | 0.80 | 105 |
| 06_道路 | 0.62 | 0.62 | 0.62 | 8 |
| 07_构筑物 | 0.55 | 0.40 | 0.46 | 40 |
| 08_人工挖掘地 | 0.00 | 0.00 | 0.00 | 5 |
| 09_荒漠 | 0.00 | 0.00 | 0.00 | 2 |
| 10_水域 | 0.88 | 0.70 | 0.78 | 20 |
| Avg/total | 0.71 | 0.71 | 0.70 | 349 |
表5 VGG16-BiLSTM-Skip在测试集上的分类报告
| 类别 | Precision | recall | F1 | support |
| 01_耕地 | 0.92 | 0.87 | 0.90 | 54 |
| 02_园地 | 0.86 | 0.40 | 0.55 | 15 |
| 03_林地 | 0.68 | 0.56 | 0.61 | 45 |
| 04_草地 | 0.70 | 0.80 | 0.75 | 55 |
| 05_房屋建筑 | 0.72 | 0.92 | 0.81 | 105 |
| 06_道路 | 0.62 | 0.62 | 0.62 | 8 |
| 07_构筑物 | 0.62 | 0.40 | 0.48 | 40 |
| 08_人工挖掘地 | 0.40 | 0.40 | 0.40 | 5 |
| 09_荒漠 | 0.00 | 0.00 | 0.00 | 2 |
| 10_水域 | 0.89 | 0.80 | 0.84 | 20 |
| Avg/Total | 0.74 | 0.74 | 0.73 | 349 |
实施例二
本发明还提供一种遥感影像面向对象分类装置的具体实施方式，由于本发明提供的遥感影像面向对象分类装置与前述遥感影像面向对象分类方法的具体实施方式相对应，该遥感影像面向对象分类装置可以通过执行上述方法具体实施方式中的流程步骤来实现本发明的目的，因此上述遥感影像面向对象分类方法具体实施方式中的解释说明，也适用于本发明提供的遥感影像面向对象分类装置的具体实施方式，在本发明以下的具体实施方式中将不再赘述。
如图7所示，本发明实施例还提供一种遥感影像面向对象分类装置，包括：
获取模块11，用于获取遥感影像数据；
分割模块12，用于通过面向对象多尺度分割算法，对获取的遥感影像数据进行分割，得到影像对象块；
构建模块13，用于将深度卷积神经网络与循环神经网络相结合，并添加跳跃连接，构建VGG16-BiLSTM-Skip模型，其中，VGG16表示16层的深度卷积神经网络，BiLSTM表示双向长短时记忆循环神经网络，Skip表示跳跃连接；
训练模块14，用于利用影像对象块对构建的VGG16-BiLSTM-Skip模型进行训练，得到影像对象块的分类器，所述分类器，用于对遥感影像进行分类。
本发明实施例所述的遥感影像面向对象分类装置，获取遥感影像数据；通过面向对象多尺度分割算法，对获取的遥感影像数据进行分割，得到影像对象块；将深度卷积神经网络与循环神经网络相结合，并添加跳跃连接，构建VGG16-BiLSTM-Skip模型；利用影像对象块对构建的VGG16-BiLSTM-Skip模型进行训练，得到影像对象块的分类器，所述分类器，用于对遥感影像进行分类。这样，通过面向对象多尺度分割算法对获取的遥感影像数据进行分割，能够解决地物分不开的问题，通过VGG16-BiLSTM-Skip模型可以自动地对遥感影像进行特征提取，大大减少了专业领域知识与特征工程的工作量，通过跳跃连接能够避免梯度消失，从而提高遥感影像分类准确度。
在前述遥感影像面向对象分类装置的具体实施方式中，进一步地，所述分割模块，用于通过基于区域增长的多尺度分割算法，对获取的遥感影像数据进行分割，得到影像对象块。
在前述遥感影像面向对象分类装置的具体实施方式中，进一步地，构建的VGG16-BiLSTM-Skip模型是引入跳跃连接的基于1个VGG16和2个BiLSTM的级联网络模型。
在前述遥感影像面向对象分类装置的具体实施方式中，进一步地，所述装置还包括：
预处理模块，用于对分割得到的影像对象块进行预处理操作，其中，所述预处理操作包括：通道调整、波段整合、尺度调整、归一化、数据扩充、解决类别不均衡问题以及数据集划分，所述数据集划分为将影像对象块划分为训练集、验证集和测试集。
在前述遥感影像面向对象分类装置的具体实施方式中，进一步地，所述训练模块包括：
融合单元，用于将训练集中的影像对象块作为输入，通过VGG16一系列的卷积、池化操作对特征图谱进行提取，将VGG16提取的多层的特征图谱进行融合，将融合后的特征图谱作为BiLSTM的输入；
组合单元，用于BiLSTM对融合后的特征图谱的上下左右的特征进行特征组合，获取遥感对象块空间上下文信息；
分类单元，用于将BiLSTM输出的遥感对象块空间上下文信息转化为特征向量，对所述特征向量进行处理，输出遥感对象块属于每一类的概率值。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (2)
1.一种遥感影像面向对象分类方法，其特征在于，包括：
获取遥感影像数据；
通过面向对象多尺度分割算法，对获取的遥感影像数据进行分割，得到影像对象块；
将深度卷积神经网络与循环神经网络相结合，并添加跳跃连接，构建VGG16-BiLSTM-Skip模型，其中，VGG16表示16层的深度卷积神经网络，BiLSTM表示双向长短时记忆循环神经网络，Skip表示跳跃连接；
利用影像对象块对构建的VGG16-BiLSTM-Skip模型进行训练，得到影像对象块的分类器，所述分类器，用于对遥感影像进行分类；
其中，所述通过面向对象多尺度分割算法，对获取的遥感影像数据进行分割，得到影像对象块包括：
通过基于区域增长的多尺度分割算法，对获取的遥感影像数据进行分割，得到影像对象块；
其中，构建的VGG16-BiLSTM-Skip模型是引入跳跃连接的基于1个VGG16和2个BiLSTM的级联网络模型；
其中，在利用影像对象块对构建的VGG16-BiLSTM-Skip模型进行训练，得到影像对象块的分类器之前，所述方法还包括：
对分割得到的影像对象块进行预处理操作，其中，所述预处理操作包括：通道调整、波段整合、尺度调整、归一化、数据扩充、解决类别不均衡问题以及数据集划分，所述数据集划分为将影像对象块划分为训练集、验证集和测试集；
其中，所述利用影像对象块对构建的VGG16-BiLSTM-Skip模型进行训练，得到影像对象块的分类器包括：
将训练集中的影像对象块作为输入，通过VGG16一系列的卷积、池化操作对特征图谱进行提取，将VGG16提取的多层的特征图谱进行融合，将融合后的特征图谱作为BiLSTM的输入；
BiLSTM对融合后的特征图谱的上下左右的特征进行特征组合，获取遥感对象块空间上下文信息；
将BiLSTM输出的遥感对象块空间上下文信息转化为特征向量，对所述特征向量进行处理，输出遥感对象块属于每一类的概率值。
2.一种遥感影像面向对象分类装置，其特征在于，包括：
获取模块，用于获取遥感影像数据；
分割模块，用于通过面向对象多尺度分割算法，对获取的遥感影像数据进行分割，得到影像对象块；
构建模块，用于将深度卷积神经网络与循环神经网络相结合，并添加跳跃连接，构建VGG16-BiLSTM-Skip模型，其中，VGG16表示16层的深度卷积神经网络，BiLSTM表示双向长短时记忆循环神经网络，Skip表示跳跃连接；
训练模块，用于利用影像对象块对构建的VGG16-BiLSTM-Skip模型进行训练，得到影像对象块的分类器，所述分类器，用于对遥感影像进行分类；
其中，所述分割模块，用于通过基于区域增长的多尺度分割算法，对获取的遥感影像数据进行分割，得到影像对象块；
其中，构建的VGG16-BiLSTM-Skip模型是引入跳跃连接的基于1个VGG16和2个BiLSTM的级联网络模型；
其中，所述装置还包括：
预处理模块，用于对分割得到的影像对象块进行预处理操作，其中，所述预处理操作包括：通道调整、波段整合、尺度调整、归一化、数据扩充、解决类别不均衡问题以及数据集划分，所述数据集划分为将影像对象块划分为训练集、验证集和测试集；
其中，所述训练模块包括：
融合单元，用于将训练集中的影像对象块作为输入，通过VGG16一系列的卷积、池化操作对特征图谱进行提取，将VGG16提取的多层的特征图谱进行融合，将融合后的特征图谱作为BiLSTM的输入；
组合单元，用于BiLSTM对融合后的特征图谱的上下左右的特征进行特征组合，获取遥感对象块空间上下文信息；
分类单元，用于将BiLSTM输出的遥感对象块空间上下文信息转化为特征向量，对所述特征向量进行处理，输出遥感对象块属于每一类的概率值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910647296.9A CN110458201B (zh) | 2019-07-17 | 2019-07-17 | 一种遥感影像面向对象分类方法及分类装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910647296.9A CN110458201B (zh) | 2019-07-17 | 2019-07-17 | 一种遥感影像面向对象分类方法及分类装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110458201A CN110458201A (zh) | 2019-11-15 |
| CN110458201B true CN110458201B (zh) | 2021-08-24 |
Family
ID=68482933
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910647296.9A Active CN110458201B (zh) | 2019-07-17 | 2019-07-17 | 一种遥感影像面向对象分类方法及分类装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110458201B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111079807B (zh) * | 2019-12-05 | 2023-07-07 | 二十一世纪空间技术应用股份有限公司 | 一种地物分类方法及装置 |
| CN111369142B (zh) * | 2020-03-04 | 2023-04-18 | 中国电子科技集团公司第五十四研究所 | 一种自主遥感卫星任务生成方法 |
| CN111914686B (zh) * | 2020-07-15 | 2022-10-18 | 云南电网有限责任公司带电作业分公司 | 基于周域关联和模式识别的sar遥感图像水域提取方法、装置及系统 |
| CN112329852B (zh) * | 2020-11-05 | 2022-04-05 | 西安锐思数智科技股份有限公司 | 地表覆盖影像的分类方法、装置和电子设备 |
| CN112818033A (zh) * | 2021-01-28 | 2021-05-18 | 河北工业大学 | 基于神经网络的袋式除尘器破袋智能检测方法 |
| CN113344145B (zh) * | 2021-08-02 | 2021-11-19 | 智道网联科技(北京)有限公司 | 字符识别方法、装置、电子设备和存储介质 |
| CN116863352B (zh) * | 2023-09-05 | 2024-01-02 | 江西啄木蜂科技有限公司 | 一种超大幅面遥感影像异常区域检测方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108009493A (zh) * | 2017-11-30 | 2018-05-08 | 电子科技大学 | 基于动作增强的人脸防欺骗识别方法 |
| CN108460089A (zh) * | 2018-01-23 | 2018-08-28 | 哈尔滨理工大学 | 基于Attention神经网络的多元特征融合中文文本分类方法 |
| CN108805087A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态情绪识别系统的时序语义融合关联判断子系统 |
| CN108830308A (zh) * | 2018-05-31 | 2018-11-16 | 西安电子科技大学 | 一种基于信号的传统特征与深度特征融合的调制识别方法 |
| CN109344391A (zh) * | 2018-08-23 | 2019-02-15 | 昆明理工大学 | 基于神经网络的多特征融合中文新闻文本摘要生成方法 |
| CN109670548A (zh) * | 2018-12-20 | 2019-04-23 | 电子科技大学 | 基于改进lstm-cnn的多尺寸输入har算法 |
| CN109816012A (zh) * | 2019-01-22 | 2019-05-28 | 南京邮电大学 | 一种融合上下文信息的多尺度目标检测方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107844794B (zh) * | 2016-09-21 | 2022-02-22 | 北京旷视科技有限公司 | 图像识别方法和装置 |
| CN108009469B (zh) * | 2017-10-24 | 2020-11-24 | 中国科学院电子学研究所苏州研究院 | 一种基于结构递归神经网络的海上油气平台检测方法 |
| CN108596206A (zh) * | 2018-03-21 | 2018-09-28 | 杭州电子科技大学 | 基于多尺度多方向空间相关性建模的纹理图像分类方法 |
| CN109002771B (zh) * | 2018-06-26 | 2022-04-08 | 中国科学院遥感与数字地球研究所 | 一种基于递归神经网络的遥感图像分类方法 |
| CN109800821A (zh) * | 2019-01-31 | 2019-05-24 | 北京市商汤科技开发有限公司 | 训练神经网络的方法、图像处理方法、装置、设备和介质 |
-
2019
- 2019-07-17 CN CN201910647296.9A patent/CN110458201B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108009493A (zh) * | 2017-11-30 | 2018-05-08 | 电子科技大学 | 基于动作增强的人脸防欺骗识别方法 |
| CN108460089A (zh) * | 2018-01-23 | 2018-08-28 | 哈尔滨理工大学 | 基于Attention神经网络的多元特征融合中文文本分类方法 |
| CN108830308A (zh) * | 2018-05-31 | 2018-11-16 | 西安电子科技大学 | 一种基于信号的传统特征与深度特征融合的调制识别方法 |
| CN108805087A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态情绪识别系统的时序语义融合关联判断子系统 |
| CN109344391A (zh) * | 2018-08-23 | 2019-02-15 | 昆明理工大学 | 基于神经网络的多特征融合中文新闻文本摘要生成方法 |
| CN109670548A (zh) * | 2018-12-20 | 2019-04-23 | 电子科技大学 | 基于改进lstm-cnn的多尺寸输入har算法 |
| CN109816012A (zh) * | 2019-01-22 | 2019-05-28 | 南京邮电大学 | 一种融合上下文信息的多尺度目标检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于CNN和BiLSTM网络特征融合的文本情感分析;李洋 等;《计算机应用》;20180719;第38卷(第11期);第3075-3080页 * |
| 面向对象的高分辨率遥感影像分类技术研究;周杨;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160131(第01期);第I140-367页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110458201A (zh) | 2019-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110458201B (zh) | 一种遥感影像面向对象分类方法及分类装置 | |
| CN111986099B (zh) | 基于融合残差修正的卷积神经网络的耕地监测方法及系统 | |
| CN110321963B (zh) | 基于融合多尺度多维空谱特征的高光谱图像分类方法 | |
| CN104881865B (zh) | 基于无人机图像分析的森林病虫害监测预警方法及其系统 | |
| CN111126287B (zh) | 一种遥感影像密集目标深度学习检测方法 | |
| CN103258324B (zh) | 基于可控核回归和超像素分割的遥感图像变化检测方法 | |
| CN107239759A (zh) | 一种基于深度特征的高空间分辨率遥感图像迁移学习方法 | |
| US20220215656A1 (en) | Method, apparatus, device for image processing, and storage medium | |
| CN110176005B (zh) | 基于归一化指数和多尺度模型的遥感图像分割方法 | |
| Feng et al. | Embranchment cnn based local climate zone classification using sar and multispectral remote sensing data | |
| Wu et al. | Extended agriculture-vision: An extension of a large aerial image dataset for agricultural pattern analysis | |
| CN113963261A (zh) | 基于多尺度融合的全卷积神经网络耕地提取方法及系统 | |
| CN114898212A (zh) | 一种高分辨率遥感图像多地物变化信息提取方法 | |
| CN116524189A (zh) | 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法 | |
| CN114943902A (zh) | 基于多尺度特征感知网络的城市植被无人机遥感分类方法 | |
| CN113033386B (zh) | 一种基于高分辨率遥感影像的输电线路通道隐患识别方法及系统 | |
| Cheng et al. | Multi-scale Feature Fusion and Transformer Network for urban green space segmentation from high-resolution remote sensing images | |
| CN116543165B (zh) | 一种基于双通道复合深度网络的遥感图像果树分割方法 | |
| Holail et al. | AFDE-Net: Building Change Detection Using Attention-Based Feature Differential Enhancement for Satellite Imagery | |
| Chiu et al. | Semantic segmentation of lotus leaves in UAV aerial images via U-Net and deepLab-based networks | |
| De Teyou | Convlstm for spatio-temporal feature extraction in time-series images | |
| CN114550016B (zh) | 一种基于上下文信息感知的无人机定位方法及系统 | |
| İsa | Performance Evaluation of Jaccard-Dice Coefficient on Building Segmentation from High Resolution Satellite Images | |
| CN105373802A (zh) | 基于区间Type-2模糊支持向量机的场景图像分类方法 | |
| Yu et al. | Precise segmentation of remote sensing cage images based on SegNet and voting mechanism |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230516 Address after: 100083 No. 30, Haidian District, Beijing, Xueyuan Road Patentee after: University OF SCIENCE AND TECHNOLOGY BEIJING Patentee after: Ningxia Hui Autonomous Region Remote Sensing Investigation Institute (Ningxia Data and Application Center of High Resolution Earth Observation System) Address before: 100083 No. 30, Haidian District, Beijing, Xueyuan Road Patentee before: University OF SCIENCE AND TECHNOLOGY BEIJING |