CN111368776A - 一种基于深度集成学习的高分辨率遥感图像分类方法 - Google Patents

一种基于深度集成学习的高分辨率遥感图像分类方法 Download PDF

Info

Publication number
CN111368776A
CN111368776A CN202010173481.1A CN202010173481A CN111368776A CN 111368776 A CN111368776 A CN 111368776A CN 202010173481 A CN202010173481 A CN 202010173481A CN 111368776 A CN111368776 A CN 111368776A
Authority
CN
China
Prior art keywords
classification
remote sensing
layer
network
training set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010173481.1A
Other languages
English (en)
Other versions
CN111368776B (zh
Inventor
席江波
聂聪冲
孙悦鸣
姜万冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changan University
Original Assignee
Changan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changan University filed Critical Changan University
Priority to CN202010173481.1A priority Critical patent/CN111368776B/zh
Publication of CN111368776A publication Critical patent/CN111368776A/zh
Application granted granted Critical
Publication of CN111368776B publication Critical patent/CN111368776B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了一种基于深度集成学习的高分辨率遥感图像分类方法，其思路为：首先使用像元亮度值作为分类特征进行全连接网络分类实验；其次使用面向对象分割，再以重心为中心提取卷积块进行卷积神经网络分类；再将原始图像全部裁剪为图像块，使用U‑Net完全卷积网络进行one vs all多元分类；最后，在前三个深度网络基分类器的分类结果上训练一个全连接网络进行概率组合，实现了较好的分类性能。本发明通过使用深度集成学习方法，能够有效结合光谱和空间等信息改善分类准确率，且综合基分类器的优势，在高分辨率遥感图像分类的单个类别和总体分类精度上都能得到比单一分类器更好的分类精度。

Description

一种基于深度集成学习的高分辨率遥感图像分类方法
技术领域
本发明属于遥感图像分析技术领域，特别涉及一种基于深度集成学习的高分辨率遥感图像分类方法。
背景技术
遥感图像分类经历了从目视解译到计算机自动分类的过程，传统计算机分类主要包括基于像元的监督分类和非监督分类，分类所依据的特征主要是光谱特征，依据像元亮度值的差异进行分类；随着遥感图像空间分辨率的提高，同种地物之间的像元亮度值差异较大，传统的基于像元亮度值分类的方法难以满足高分辨率遥感图像所需的分类精度。
自从2012年Alex Krizhevsky设计的卷积神经网络一举摘下ILSVRC视觉竞赛的桂冠，掀起了深度学习的热潮，其应用范围越来越广，并且随着网络深度的加深，准确率也越来越高。将卷积神经网络应用于高空间分辨率遥感图像分类，应用卷积层和池化层进行特征的自动提取，依据训练损失不断修正权值，从而提取出适合于特定场景的有效特征，进而进行分类器分类。与传统计算机分类相比，其更加注重前期的特征提取，而不是一味的进行分类器参数优化来提高分类精度。
但是，针对高分辨率遥感图像，单一的分类器总是存在一定问题，无法将其光谱信息和空间信息相结合，分类精度有待进一步改善。
发明内容
针对传统高分辨率遥感图像分类方法的不足，本发明提供了一种基于深度集成学习的高分辨率遥感图像分类方法。该方法采用基于全连接网络的像元亮度值分类、基于卷积神经网络的面向对象分类以及基于完全卷积网络的遥感图像分类三种方法的深度集成学习，有效结合高分辨率遥感图像的光谱和空间信息，改善其分类准确率；改善了高分辨率遥感图像分类的单个类别和总体分类的分类精度，实现了较好的分类性能。
为达到上述技术目的，本发明采用如下技术方案予以实现。
一种基于深度集成学习的高分辨率遥感图像分类方法，包括以下步骤：
步骤1，获取训练集和测试集；并分别构建基于像元亮度值分类的全连接网络模型、基于面向对象分类的卷积神经网络模型和基于遥感图像分类的完全卷积网络模型；
其中，所述训练集和测试集中的样本分别为高分辨率遥感图像及其DSM数据，DSM为数字表面模型；
步骤2，采用训练集分别对基于像元亮度值分类的全连接网络模型、基于面向对象分类的卷积神经网络模型和基于遥感图像分类的完全卷积网络模型进行训练，对应得到相应的基分类器；采用测试集分别对三个基分类器进行测试，对应输出相应类别概率值；
步骤3，在步骤2得到的三个基分类器的输出端设置全连接网络，以三个基分类器输出的类别概率值作为输入特征数据，以标签图为目标类别，对全连接网络进行训练，得到深度集成学习网络；
步骤4，采用深度集成学习网络对测试集中样本进行分类，输出对应预测类别标签。
本发明与现有技术相比具有以下优点：
(1)本发明可以针对特定的应用，构建不同的基分类器，并在基分类器上取得良好的准确率，进而通过合适的组合策略对基分类器进行集成，得到比单一分类器更好的分类精度。
(2)本发明采用基于全连接网络的像元亮度值分类、基于卷积神经网络的面向对象分类以及基于完全卷积网络的遥感图像分类三种方法的深度集成学习，有效结合高分辨率遥感图像的光谱和空间信息，改善其分类准确率；改善了高分辨率遥感图像分类的单个类别和总体分类的分类精度，实现了较好的分类性能。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细说明。
图1是本发明实施例的深度集成学习网络结构示意图；
图2是本发明实施例的基于像元亮度值分类的全连接网络模型示意图；
图3是本发明实施例的基于面向对象分类的卷积神经网络模型示意图；
图4是本发明实施例的基于遥感图像分类的完全卷积网络模型示意图；
图5是本发明实施例的分割块及重心示意图；
图6是本发明实施例只采用基于像元亮度值分类的全连接网络进行分类的结果示意图，其中，(a)为标签图，(b)为对应预测分类结果图，(c)为中值滤波后的分类结果图；
图7是本发明实施例只采用基于面向对象分类的卷积神经网络进行分类的结果示意图，其中，(a)为标签图，(b)为对应预测分类结果图；
图8是本发明实施例只采用基于遥感图像分类的完全卷积网络进行分类的结果示意图；其中，(a)为标签图，(b)为对应预测分类结果图；
图9是本发明实施例采用深度集成学习网络进行深度集成学习的遥感图像分类的结果示意图，其中，(a)为标签图，(b)为对应预测分类结果图；
具体实施方式
参照图1，一种基于深度集成学习的高分辨率遥感图像分类方法，包括以下步骤：
步骤1，获取训练集和测试集；并分别构建基于像元亮度值分类的全连接网络模型、基于面向对象分类的卷积神经网络模型和基于遥感图像分类的完全卷积网络模型；
具体地，将获取的高分辨率遥感图像及其对应的DSM数据作为样本，分别形成训练集和测试集，一般训练集的样本数不少于测试集的样本数。
所述基于像元亮度值分类的全连接网络模型由N个全连接层组成，其中，前N-1层分别采用ReLU函数作为激活函数，最后一层采用Softmax函数作为激活函数；在最后一层全连接层之前使用Dropout层进行正则化，防止过拟合。本发明实施例中搭建了7层全连接神经网络，网络结构如图2所示。
所述基于面向对象分类的卷积神经网络模型包含多个卷积层、最大池化层、全连接层及输出层，每个卷积层之后为一个最大池化层，最后一个池化层之后连接多个全连接层，最后一个全连接层之后为输出层；其中，每个卷积层和全连接层的激活函数为ReLU函数，输出层的激活函数为Softmax函数；在最后一个全连接层之前使用Dropout层进行正则化。
本发明实施例中搭建一个包含四层卷积层和池化层以及三个全连接层的卷积网络，四个卷积层的滤波模板数目分别为128，96，64，64，滤波模板大小为5*5，使用he normal进行初始化，激活函数都为ReLU函数，每个卷积层后接一个最大池化层，池化层的滤波模板大小为3*3，步长为1，第一个和第二个全连接层神经元数目都是128，第二个全连接层后使用Dropout层进行正则化，后接包含6个神经元的输出层，输出层采用Softmax函数作为激活函数。网络结构如附图3所示。
所述基于遥感图像分类的完全卷积网络模型由多个二元分类器组成，每个二元分类器包含卷积层、Dropout正则化层、池化层，及与之对称的卷积层、融合层和上采样层。
本发明使用U-Net网络进行训练，将15张影像及其DSM和标签图都裁剪为512*512大小的图像，进而进行数据扩充，应用如附图4所示架构分别训练5组二元分类器，进而使用one vs all方法得到多元分类的结果。
步骤2，采用训练集分别对基于像元亮度值分类的全连接网络模型、基于面向对象分类的卷积神经网络模型和基于遥感图像分类的完全卷积网络模型进行训练，对应得到相应的基分类器；采用测试集分别对三个基分类器进行测试，对应输出相应类别概率值；
2.1，对训练集进行预处理，得到预处理后的训练集；
其中，预处理为不平衡样本处理、数据扩充和归一化；
具体地，不平衡样本处理为：在遥感图像分类过程中，若训练数据集中各个类别的样本数量极不均衡是影响分类结果的一个重要因素。在实际处理中，可以从数据和算法两方面来减弱或消除不平衡样本的影响。在数据层面，对小类别进行数据重采样，即在小类别原有样本的基础上，对该类下的所有样本每个属性特征的取值空间中随机选取一个组成新的样本，以此来增加小类别的样本数据。或者对大类别进行数据下采样，即随机舍弃一部分样本来使得类别数目保持均衡，但这种方法会影响模型的泛化能力。在算法层面，首先对各类别样本数目进行统计，进而设置相应的权重系数，对各类别尝试不同的采样比例，以此来减少小类别样本错分的惩罚代价。
数据扩充为：将训练集中的原始图像进行水平翻转(镜像)或随机旋转；其中，通过水平翻转可以使得原有的数据量扩充一倍；随机旋转为指定一个角度，使原始图像在给定的角度内，随机生成所需扩充倍数的角度数量，进行旋转。
归一化：对于QB(QuickBird)遥感卫星数据的近红外、红色、绿色三个波段的彩色影像，由于其灰度值都在0-255之间，因此其归一化是将灰度值从0-255简单缩放到0-1之间；对于航空影像，包含近红外、红色、绿色三个波段的彩色影像和一个波段的DSM，近红外、红色、绿色三波段归一化方法如上；对于DSM数据，首先统计所有数值，找出最小值和数值区间，再将每个像素值减去该最小值后，除以数值区间的数值个数；最后将所有像素值归一化至0-1之间。例如：通过对其数值进行统计，发现数值都位于200-300之间，因此先将所有像素值减去最小值200，再除以数值区间100，从而再将所有像素值归化到0-1之间。
2.2，采用预处理后的训练集对基于像元亮度值分类的全连接网络模型进行训练，其具体过程为：
以预处理后的训练集中每个样本中的每个像素为输入单位，由每个像素的近红外、红色、绿色和DSM四个波段归一化后的亮度值组成一个输入特征向量；使用随机梯度下降法更新优化网络参数，直至预处理后的训练集内所有样本输入完成，即得到全连接网络对应的基分类器。
采用测试集对全连接网络对应的基分类器进行测试，具体为：以测试集中的每个原始图像为测试样本，由一个测试样本的每个像素的近红外、红色、绿色和DSM四个波段的像元亮度值组成输入特征向量，对应输出相应类别概率值；
在本实施例中以像素为分类单元的方法由于类内异质性，结果会出现很多孤立像元，使得分类结果较为破碎，因此使用中值滤波来对分类结果进行平滑，平滑窗口大小为9×9。
示例性地，训练数据为15张影像中前10张影像的特征列向量，测试数据是后5张影像的特征列向量。
模型训练和测试：在训练阶段，Batch_size设置为256，epoch为50，使用随机梯度下降法进行梯度下降，学习率为10-4，学习率衰减设置为10-6，最终在10张影像上进行训练，在另一张影像上进行测试。结果如附图6和表1所示；
本发明的网络分类精度评价主要是将分类结果与参考标签图进行比较，以定量衡量分类结果的准确性。常用的评价指标主要有总体精度、准确率以及F1分数等；本发明以F1分数和准确率为指标进行分类精度评价。
F1分数是精确率和召回率的调和均值，其定义为：
Figure BDA0002410002150000071
其中，Precision表示精确率，
Figure BDA0002410002150000072
Recall表示召回率，
Figure BDA0002410002150000073
TP是真阳性，即预测是阳性，标签也是阳性；FP是假阳性，即预测是阳性，标签是阴性；FN是假阴性，即预测为阴性，标签是阳性。
ACC表示准确率(accuracy)，其定义为：
Figure BDA0002410002150000081
其中，TP是真阳性，即预测是阳性，标签也是阳性；FP是假阳性，即预测是阳性，标签是阴性；TN是真阴性，即预测为阴性，标签也是阴性；FN是假阴性，即预测为阴性，标签是阳性。
表1基于像元亮度的全连接网络的分类结果
Figure BDA0002410002150000082
由图6和表1可以看出，全连接网络模型对建筑物的轮廓大都可以准确识别，但是对于建筑物屋顶的烟囱或天窗由于类内差异较大，会被错分成汽车类别；由于汽车类别经过扩充之后其数量与建筑物、不透水面等大类别基本平衡，且由于汽车颜色的多样性，很多不透水面被错分为汽车(对应表1中汽车的精度低)；低植被和树这两类混淆比较严重，由于两者光谱特征相似，需要DSM的辅助来对彼此进行区分，但是由于大范围内地表高度的差异，总体范围内并不总是树的DSM值大于低植被；建筑物、不透水面、汽车三类与低植被和树两类基本无混淆。
2.2，采用预处理后的训练集对基于面向对象分类的卷积神经网络模型进行训练，其具体过程为：
2.2.1，对预处理后的训练集中样本的标签图进行多尺度分割，对应得到多个标签图分割块；其中，每个分割块内的灰度值相同；本发明实施例采用eCognition软件对标签图进行多尺度分割，将分割结果导出为tif栅格图，分割尺度参数为20，形状指数为0.4，紧致度为0.5。
2.2.2，提取每个标签图分割块的重心；其中，重心的横坐标为分割块内部所有像素横坐标之和，再除以该分割块内的像素个数，结果向下取整；重心的纵坐标为分割块内部所有像素纵坐标之和，再除以该分割块内像素个数，结果向下取整。不同尺寸分割块的重心提取结果如图5所示，图中各阴影部分为分割块，黑色方格为提取的重心。从图中可以看出，不同尺寸分割块的重心坐标不同。
2.2.3，以每个标签图分割块的重心为中心，取一个大小为a×b的图像块，得到多个a×b×k的图像块，即提取出多个卷积块；
其中，k为卷积层的通道数。
2.2.4，将每个图像块作为输入数据训练卷积神经网络，使用RMSProp(均方根传递)优化法进行梯度下降，优化卷积神经网络参数。
采用测试集对卷积神经网络对应的基分类器进行测试，具体为：将测试集中的原始测试图像进行多尺度分割，得到多个测试图分割块；对其进行重心提取和卷积块提取，得到网络测试的输入数据；将网络测试的输入数据输入训练后的基分类器，输出对应类别概率值。
示例性地，本发明实施例中，在10张影像的分割块上进行训练，在另一张影像上进行测试。其卷积块的尺寸为32×32×4；训练阶段：Batch_size设置为12，epoch为100，使用RMSProp优化器方法进行梯度下降，学习率为10-3，学习率衰减设置为10-5。测试结果如附图7和表2所示；
表2基于面向对象分类的卷积神经网络的分类结果
Figure BDA0002410002150000091
Figure BDA0002410002150000101
从图7和表2可以看出，基于面向对象分类的卷积神经网络中，建筑物屋顶的天窗与汽车类别的混淆大幅缩减，这是由于其分类特征中应用了空间信息，但是如图像中间偏左下部分的建筑物，由于屋顶天窗的面积较大，其仍旧被错分为汽车类；并且在此方法中，由于对汽车类别的扩充数量与大类别相比仍较少，建筑物被错分为汽车的情况也大幅减少，同时被分出来的汽车也随之减少；低植被和树的混淆情况在此方法中也未得到改善；但是相比于滑动窗口取块的方法来说，此方法通过面向对象分割的方法，减少了类别边界的混淆情况，同时减少了计算冗余量。
2.3，采用预处理后的训练集对基于遥感图像分类的完全卷积网络模型进行训练，其具体过程为：
步骤2.3.1，将预处理后的训练集中的图像按一定尺寸进行裁剪，得到图像块；例如将训练图像全部裁剪为512×512的图像块，可以依据不同的显存容量设计不同的分割块大小。
步骤2.3.2，根据预处理后的训练集中样本对应的标签图的类别，设置相应数量的二元分类模型，一个标签图类别对应一个二元分类器；将每个标签图转换为对应的二元标签图；针对每个二元标签图训练对应的二元分类器，得到对应的网络参数分别对应5个类别，去训练5个U-Net网络，得到针对不同类别的分类参数。
其中，所述二元标签图中只包含一个目标类别，其余类别为背景；所述二元分类器为U-Net网络；
采用测试集对完全卷积网络对应的基分类器进行测试，具体为：将测试集中的原始测试图像进行剪裁，得到多个图像块，即完全卷积网络对应的基分类器的输入数据；将输入数据输入训练后的完全卷积网络对应的基分类器，输出对应类别概率值。
示例性地，原始标签图共有5个类别：不透水面，建筑物，低植被，树木，汽车(考虑到噪声类别几乎没有，所以不针对其设计网络)，将原始标签图转换为5张分别只包含一个类别，而其他类别成为背景的二元标签图，分别对应5个类别，去训练5个U-Net网络，得到针对不同类别的分类参数。网络设计如图3所示；在原始网络架构的基础上，往下采样路径中添加如正则化层，以提高模型泛化能力。测试结果如附图8和表3所示。
表3是基于遥感图像分类的完全卷积网络的分类结果
Figure BDA0002410002150000111
从图8和表3可以看出，基于完全卷积网络的分类方法中，除汽车类别外，其余各类别的分类准确度均有所提高，这是由于在分类过程中，采用二元分类的方式，针对各个类别分别构造一种分类器，因而也更加具有针对性；但是对于汽车类别，由于未考虑进行数据扩充，二元分类过程中，反样本的数目比正样本的数目大很多，因而分类结果中，汽车类别几乎无分类正确的像元。
步骤3，在步骤2得到的三个基分类器的输出端设置全连接网络，以三个基分类器输出的类别概率值作为输入特征数据，以标签图为目标类别，对全连接网络进行训练，得到深度集成学习网络；
具体如图1所示，在三个基分类器的输出端搭建一个全连接网络，将三种基分类器输出的对每个像素判别的类别概率作为训练特征，进而在测试图像上以预测概率和标签图训练一个全连接网络。
步骤4，采用深度集成学习网络对测试集中样本进行分类，输出对应预测类别标签。
采用步骤3训练得到的深度集成学习网络，对测试集中的测试图像进行测试，得到预测类别标签。这样就综合各个方法的优势，得到最终的分类结果。本发明集成后的预测结果如附图9和表4所示。
表4是基于深度集成学习网络的遥感图像分类结果
Figure BDA0002410002150000121
从图9中和表4中可以看出，对于低植被和高植被来说，由于之前的基类分类器提取效果都较好，集成之后分类精度没有较大的提高。但可以明显发现，本发明方法集成了基于像素和面向对象两种方法对车辆的分类优势，以及完全卷积网络对建筑物的分类优势，在各个小类别的分类精度上无明显短板，且在总体分类精度上有了一定的提高。基本消除了在基于像素和面向对象两种方法中出现的建筑物屋顶天窗和车辆的混淆问题，同时改善了部分建筑物与不透水面的混淆问题。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围；这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种基于深度集成学习的高分辨率遥感图像分类方法，其特征在于，包括以下步骤：
步骤1，获取训练集和测试集；并分别构建基于像元亮度值分类的全连接网络模型、基于面向对象分类的卷积神经网络模型和基于遥感图像分类的完全卷积网络模型；
其中，所述训练集和测试集中的样本分别为高分辨率遥感图像及其DSM数据，DSM为数字表面模型；
步骤2，采用训练集分别对基于像元亮度值分类的全连接网络模型、基于面向对象分类的卷积神经网络模型和基于遥感图像分类的完全卷积网络模型进行训练，对应得到相应的基分类器；采用测试集分别对三个基分类器进行测试，对应输出相应类别概率值；
步骤3，在步骤2得到的三个基分类器的输出端设置全连接网络，以三个基分类器输出的类别概率值作为输入特征数据，以标签图为目标类别，对全连接网络进行训练，得到深度集成学习网络；
步骤4，采用深度集成学习网络对测试集中样本进行分类，输出对应预测类别标签。
2.如权利要求1所述的基于深度集成学习的高分辨率遥感图像分类方法，其特征在于，所述基于像元亮度值分类的全连接网络模型由N个全连接层组成的，其中，前N-1层分别采用ReLU函数作为激活函数，最后一层采用Softmax函数作为激活函数；在最后一层全连接层之前使用Dropout层进行正则化，防止过拟合。
3.如权利要求1所述的基于深度集成学习的高分辨率遥感图像分类方法，其特征在于，所述基于面向对象分类的卷积神经网络模型包含多个卷积层、最大池化层、全连接层及输出层，每个卷积层之后为一个最大池化层，最后一个池化层之后连接多个全连接层，最后一个全连接层之后为输出层；其中，每个卷积层和全连接层的激活函数分别为ReLU函数，输出层的激活函数为Softmax函数；在最后一个全连接层之前使用Dropout层进行正则化。
4.如权利要求1所述的基于深度集成学习的高分辨率遥感图像分类方法，其特征在于，所述基于遥感图像分类的完全卷积网络模型由多个二元分类器组成，每个二元分类器包含卷积层、Dropout正则化层、池化层，及与之对称的卷积层、融合层和上采样层。
5.如权利要求1所述的基于深度集成学习的高分辨率遥感图像分类方法，其特征在于，步骤2包含以下子步骤：
2.1，对训练集进行预处理，得到预处理后的训练集；
其中，所述预处理为不平衡样本处理、数据扩充和归一化；
2.2，采用预处理后的训练集对基于像元亮度值分类的全连接网络模型进行训练，得到全连接网络对应的基分类器；采用测试集对全连接网络对应的基分类器进行测试，输出相应的类别概率；
2.3，采用预处理后的训练集对基于面向对象分类的卷积神经网络模型进行训练，得到卷积神经网络对应的基分类器；采用测试集对卷积神经网络对应的基分类器进行测试，输出相应的类别概率值；
2.4，采用预处理后的训练集对基于遥感图像分类的完全卷积网络模型进行训练，得到完全卷积网络对应的基分类器；采用测试集对完全卷积网络对应的基分类器进行测试，输出相应的类别概率值。
6.如权利要求5所述的基于深度集成学习的高分辨率遥感图像分类方法，其特征在于，所述不平衡样本处理具体为：对小类别样本进行数据重采样、对大类别数据进行下采样或者对不同类别采用不同的采样比例；
所述数据扩充为：将训练集中的原始图像进行水平翻转或随机旋转；
所述归一化为：对于遥感卫星数据的近红外、红色、绿色三个波段的彩色影像，将灰度值从0-255缩放到0-1之间；
对于航空影像，包含近红外、红色、绿色三个波段的彩色影像和一个波段的DSM数据，其中，近红外、红色、绿色三波段的彩色影像将灰度值从0-255缩放到0-1之间；对于DSM数据，首先统计所有数值，找出最小值和数值区间，再将每个像素值减去该最小值后，除以数值区间的数值个数；最后将所有像素值归一化至0-1之间。
7.如权利要求5所述的基于深度集成学习的高分辨率遥感图像分类方法，其特征在于，所述采用预处理后的训练集对基于像元亮度值分类的全连接网络模型进行训练，其具体过程为；
以预处理后的训练集中每个样本中的每个像素为输入单位，由每个像素的近红外、红色、绿色和DSM四个波段归一化后的亮度值组成一个输入特征向量；使用随机梯度下降法更新优化网络参数，直至预处理后的训练集内所有样本输入完成，即得到全连接网络对应的基分类器。
8.如权利要求5所述的基于深度集成学习的高分辨率遥感图像分类方法，其特征在于，所述采用预处理后的训练集对基于面向对象分类的卷积神经网络模型进行训练，其具体过程为：
2.2.1，对预处理后的训练集中样本的标签图进行多尺度分割，对应得到多个标签图分割块；其中，每个分割块内的像素的灰度值相同；
2.2.2，提取每个标签图分割块的重心；其中，重心的横坐标为分割块内部所有像素横坐标之和，再除以该分割块内的像素个数，所得结果向下取整；重心的纵坐标为分割块内部所有像素纵坐标之和，再除以该分割块内像素个数，所得结果向下取整；
2.2.3，以每个标签图分割块的重心为中心，取一个大小为a×b的图像块，得到多个a×b×k的图像块，即提取出多个卷积块；
其中，k为卷积层的通道数；
2.2.4，将每个图像块作为输入数据训练卷积神经网络，使用均方根传递优化法进行梯度下降，优化卷积神经网络参数。
9.如权利要求5所述的基于深度集成学习的高分辨率遥感图像分类方法，其特征在于，所述采用预处理后的训练集对基于遥感图像分类的完全卷积网络模型进行训练，其具体过程为：
步骤2.3.1，将预处理后的训练集中的图像按预设尺寸进行裁剪，得到图像块；
步骤2.3.2，根据预处理后的训练集中样本对应的标签图的类别，设置相应数量的二元分类模型，一个标签图类别对应一个二元分类器；将每个标签图转换为对应的二元标签图；
其中，所述二元标签图中只包含一个目标类别，其余类别为背景；所述二元分类器为U-Net网络。
CN202010173481.1A 2020-03-13 2020-03-13 一种基于深度集成学习的高分辨率遥感图像分类方法 Active CN111368776B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010173481.1A CN111368776B (zh) 2020-03-13 2020-03-13 一种基于深度集成学习的高分辨率遥感图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010173481.1A CN111368776B (zh) 2020-03-13 2020-03-13 一种基于深度集成学习的高分辨率遥感图像分类方法

Publications (2)

Publication Number Publication Date
CN111368776A true CN111368776A (zh) 2020-07-03
CN111368776B CN111368776B (zh) 2024-03-22

Family

ID=71211853

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010173481.1A Active CN111368776B (zh) 2020-03-13 2020-03-13 一种基于深度集成学习的高分辨率遥感图像分类方法

Country Status (1)

Country Link
CN (1) CN111368776B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113449666A (zh) * 2021-07-07 2021-09-28 中南大学 基于数据融合与特征选择的遥感影像多尺度目标检测方法
CN113537509A (zh) * 2021-06-28 2021-10-22 南方科技大学 协作式的模型训练方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764316A (zh) * 2018-05-18 2018-11-06 河海大学 基于深度卷积神经网络和多核学习的遥感图像场景分类方法
CN108830296A (zh) * 2018-05-18 2018-11-16 河海大学 一种改进的基于深度学习的高分遥感影像分类方法
WO2018214195A1 (zh) * 2017-05-25 2018-11-29 中国矿业大学 一种基于卷积神经网络的遥感图像桥梁检测方法
US20200026953A1 (en) * 2018-07-23 2020-01-23 Wuhan University Method and system of extraction of impervious surface of remote sensing image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018214195A1 (zh) * 2017-05-25 2018-11-29 中国矿业大学 一种基于卷积神经网络的遥感图像桥梁检测方法
CN108764316A (zh) * 2018-05-18 2018-11-06 河海大学 基于深度卷积神经网络和多核学习的遥感图像场景分类方法
CN108830296A (zh) * 2018-05-18 2018-11-16 河海大学 一种改进的基于深度学习的高分遥感影像分类方法
US20200026953A1 (en) * 2018-07-23 2020-01-23 Wuhan University Method and system of extraction of impervious surface of remote sensing image

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
周敏;史振威;丁火平;: "遥感图像飞机目标分类的卷积神经网络方法", 中国图象图形学报, no. 05 *
王鑫;李可;宁晨;黄凤辰;: "基于深度卷积神经网络和多核学习的遥感图像分类方法", 电子与信息学报, no. 05 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537509A (zh) * 2021-06-28 2021-10-22 南方科技大学 协作式的模型训练方法及装置
CN113449666A (zh) * 2021-07-07 2021-09-28 中南大学 基于数据融合与特征选择的遥感影像多尺度目标检测方法

Also Published As

Publication number Publication date
CN111368776B (zh) 2024-03-22

Similar Documents

Publication Publication Date Title
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN108573276B (zh) 一种基于高分辨率遥感影像的变化检测方法
CN110363215B (zh) 基于生成式对抗网络的sar图像转化为光学图像的方法
CN109684922B (zh) 一种基于卷积神经网络的多模型对成品菜的识别方法
CN107358260B (zh) 一种基于表面波cnn的多光谱图像分类方法
CN110084108A (zh) 基于gan神经网络的行人重识别系统及方法
CN107392130A (zh) 基于阈值自适应和卷积神经网络的多光谱图像分类方法
CN112131946B (zh) 光学遥感影像植被和水体信息自动提取方法
CN113421269A (zh) 一种基于双分支深度卷积神经网络的实时语义分割方法
CN110728197B (zh) 基于深度学习的单木级树种识别方法
CN109801305B (zh) 基于深度胶囊网络的sar图像变化检测方法
CN111898621A (zh) 一种轮廓形状识别方法
CN109034233A (zh) 一种结合OpenStreetMap的高分辨率遥感影像多分类器联合分类方法
CN111368776B (zh) 一种基于深度集成学习的高分辨率遥感图像分类方法
CN113033315A (zh) 一种稀土开采高分影像识别与定位方法
CN112733736A (zh) 基于增强过采样的类别不平衡高光谱图像分类方法
CN110516648B (zh) 基于无人机遥感和模式识别的苎麻株数识别方法
CN112115795A (zh) 一种基于Triple GAN的高光谱图像分类方法
CN110287798B (zh) 基于特征模块化和上下文融合的矢量网络行人检测方法
CN112818920B (zh) 一种双时相高光谱图像空谱联合变化检测方法
CN111666813A (zh) 一种基于非局部信息的三维卷积神经网络的皮下汗腺提取方法
CN114037922B (zh) 一种基于层级上下文网络的航拍图像分割方法
Li et al. Incremental learning of infrared vehicle detection method based on SSD
CN112883852B (zh) 一种高光谱图像分类系统和方法
CN111402223B (zh) 一种利用变电站视频图像的变电站缺陷问题检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant