CN111612066A - 基于深度融合的卷积神经网络的遥感图像分类方法 - Google Patents
基于深度融合的卷积神经网络的遥感图像分类方法 Download PDFInfo
- Publication number
- CN111612066A CN111612066A CN202010433824.3A CN202010433824A CN111612066A CN 111612066 A CN111612066 A CN 111612066A CN 202010433824 A CN202010433824 A CN 202010433824A CN 111612066 A CN111612066 A CN 111612066A
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- sensing image
- neural network
- convolutional neural
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 58
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 46
- 238000000605 extraction Methods 0.000 claims abstract description 18
- 238000012360 testing method Methods 0.000 claims abstract description 15
- 238000012795 verification Methods 0.000 claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 238000013434 data augmentation Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 23
- 238000005070 sampling Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 5
- 230000003190 augmentative effect Effects 0.000 claims description 4
- 210000002569 neuron Anatomy 0.000 claims description 3
- 230000007547 defect Effects 0.000 abstract description 3
- 239000010410 layer Substances 0.000 description 83
- 239000000523 sample Substances 0.000 description 20
- 230000006870 function Effects 0.000 description 16
- 238000013135 deep learning Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 239000002356 single layer Substances 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000013074 reference sample Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度融合的卷积神经网络的遥感图像分类方法，包括将原始遥感图像构建成数据集，对原始遥感图像进行预处理，将预处理后的图像划分为训练集、测试集和验证集，并对训练集进行数据增广；构建深度融合卷积神经网络；训练得到最优网络模型；利用最优网络模型对实测遥感图像分类。本发明给出了一种新的分类方法，构建了新的深度融合的卷积神经网络，将改进的encoder‑decoder模型和VGG16模型相结合，该模型融合了遥感图像的深层特征与中层特征，从而有效克服现有技术对遥感图像特征提取单一或冗余导致分类精度低的缺陷，本发明通过建立新型网络模型获得目标的高级特征表达能力，从而改善遥感图像的分类正确率。
Description
技术领域
本发明涉及一种图像分类方法，尤其涉及一种基于深度融合的卷积神经网络的遥感图像分类方法。
背景技术
近年来，随着遥感成像技术的迅速发展，大量的遥感图像使我们能更详尽的探索地表。其中，遥感图像场景分类是将多地物遥感影像提取出的子区域进行分类，它为城市规划、土地资源管理等基础性工作提供了指导。
与传统的图像分类过程相似，遥感图像分类步骤包括图像预处理、特征提取、分类器分类这几个过程。遥感影像分类技术中最关键的步骤为目标特征的提取。传统的基于像素的特征提取技术主要依靠人工设计特征完成，而人工设计的特征容易受到人的主观影响，且由于遥感图像的结构表现为高度非线性，使得传统的特征提取方法难以表达遥感图像的高层语义信息，这对人工设计特征提取的地物分类方法产生了瓶颈。而在自然图像处理领域中，深度学习凭借其优秀的图像语义表达能力取得了突破性进展，并取得了不俗的结果，尤其对于发现高维数据中的复杂结构擅长。深度学习具有组织和表达多层信息的能力，能够在复杂的数据关系中找到有用信息，并且不同网络层次能够映射图像不同层级的抽象概念。深度学习的优势表现在，更加复杂且更强大的深度学习模型能深刻理解并提取海量数据里所承载的复杂而丰富的信息。因此，通过将深度学习方法与遥感影像的应用相结合，研究遥感影像的目标分类是遥感影像处理技术的一个创新。
随着深度学习的不断发展，各种深度学习网络陆续被提出并得到了广泛应用，这也为高分辨率遥感图像分类提供了重要的理论基础。其中，卷积神经网络(ConvolutionalNeural Network，CNN)是由包含一系列学习算法和可学习参数的处理层构成，具有从低级特征逐层提取高级特征的能力。卷积神经网络通过建立多层神经网络的训练机制来完成学习过程，特征的提取自动完成，对于环境复杂、背景知识不清楚的问题处理能力较好。
利用CNN提取遥感图像的特征已研究多年，然而对于不同特征的提取仍然有待挖掘研究，特别是将对分类结果起重要作用的中层特征和深层特征的提取相融合。单一层特征提取常采用的方法为对迁移的预训练卷积神经网络模型直接进行遥感图像分类而不经过模型和参数调整，这类方法利用网络最后一层全连接层的输出特征作为分类输入进行遥感图像分类，取得了比大多数传统分类方法更高的分类正确率。然而，这种方法仅停留于利用单一层特征进行分类。对于多层特征的提取，有研究者通过特征编码的方式提取最后一层卷积层特征和全连接层特征进行分类。为了提取更多特征，更有学者利用预训练CNN进行联合特征表达。另有文献利用预训练CNN对多层特征联合后进行遥感图像分类。但是上述提及的特征表征均提取自单一网络，相较于多网络，单一网络提取特征能力有限；另一方面，不同特征提取自同一网络的不同层将导致特征冗余。此外，鲜有方法将对遥感场景分类研究具有重要作用的中层特征与深层特征相融合。
发明内容
本发明的目的就在于提供一种解决上述问题，克服现有技术对遥感图像特征提取单一或冗余导致分类精度低的缺陷，通过建立新型网络模型获得目标的高级特征表达能力，从而改善遥感图像分类正确率的基于深度融合的卷积神经网络的遥感图像分类方法。
为了实现上述目的，本发明采用的技术方案是这样的：一种基于深度融合的卷积神经网络的遥感图像分类方法，包括以下步骤：
(1)将原始遥感图像构建成数据集，对原始遥感图像进行预处理，将预处理后的图像划分为训练集、测试集和验证集，对训练集中不同类别的图像加上类别标签，再对训练数据进行数据增广，得到训练数据；
(2)构建深度融合卷积神经网络；
所述深度融合卷积神经网络包括encoder-decoder模型、VGG16模型、融合部分、扁平层和全连接层，所述encoder-decoder模型包括编码部分和解码部分；
VGG16模型用于提取图像的深层特征；
所述编码部分包括多层卷积层和一层最大池化层，用于提取遥感图像的中层特征；
所述融合部分用于通过相加或并联的融合方式，将深层特征和中层特征融合后送入解码部分中；
所述解码部分包括多层卷积层和在多层卷积层中间隔设置的数层上采样层，用于对融合后特征进行深层提取，得到特征映射矩阵；
特征映射矩阵经扁平层送入全连接层，所述全连接层中采用softmax函数，用于输出与不同类别对应的概率；
(3)训练最优网络模型；
预设深度融合卷积神经网络模型中各层权重参数，定义交叉熵损失函数，将训练集中的训练数据分批送入深度融合卷积神经网络进行训练，并利用测试集中图像对深度融合卷积神经网络进行测试，直至各层对应的参数权重收敛，得到最优网络模型；
(4)获取实测遥感图像，送入深度融合卷积神经网络模型中，得到多个类别及该类别对应的概率。
作为优选：所述步骤(1)中预处理为，对原始遥感图像的每一像素值除以255进行归一化处理，所述数据增广为：对训练集内的图像执行水平镜像、旋转和缩放操作。
作为优选：所述上采样层中，上采样采用最邻近元法，用于增大图像尺寸。
作为优选：步骤(3)中，所述交叉熵损失函数J(W,b)为：
其中，pi为softmax函数对全连接层中第i类样本归一化的概率输出，K为类别数量，i为第i类样本，j为第j类样本，e为指数函数底数，xi为全连接层对第i类样本的输出值，xj为全连接层对第j类样本的输出值，y为样本标签向量，其元素与输出层神经元数目相等，yi为样本标签向量中的第i类分量，若一个样本的正确类别为第i类，则yi＝1，否则等于0。
本发明具有以下特点：
1、关于构建深度融合卷积神经网络：
本发明对深度融合卷积神经网络进行了改进，其中，深度融合卷积神经网络将改进的encoder-decoder模型和VGG16模型结合在了一起，利用VGG16模型提取图像的深层特征；encoder部分提取遥感图像的中层特征；再将深层特征和中层特征融合后送入decoder部分中。由于不同的融合方式产生的特征维度不同，将采用两种特征融合方式研究所构建网络对特征维度大小的敏感度，即相加和并联这两种融合方式。相加的融合方式每一通道内的信息量增加，特征通道数不变；并联的融合方式特征通道数增加，每一通道内的信息量不变。
2、关于设计encoder-decoder模型的编码部分：
另外，由于本发明是对遥感图像进行数据处理，单幅遥感图像具有数据量大、信噪比低的缺点，在编码部分中会存在下采样操作，目的是将进行卷积操作后的输出特征图尺寸变小，从而提高计算效率，但若连续多次下采样导致数据信息丢失严重，可提取的有用特征更少，所以不易在编码部分中进行多次下采样操作。所以本发明在编码部分仅采用一次下采样操作。本文所述的下采样操作，就是通过最大池化层来操作的。
3、关于设计encoder-decoder模型的解码部分：
在解码器中，常规操作是采用与下采样对应的上采样操作，但本发明发现，(1)若仅采用单层上采样，由于多次卷积导致特征图尺寸损失大而不能进行深层网络的设计，不利于于提高特征表达能力，(2)如果连续使用上采样,连续多次插值将导致卷积后的特征图存在较大误差，所以本发明采用多次上采样间隔设置在卷积层中的方式来进行特征图的尺寸扩大；(3)本发明上采样采用的是基于线性插值的最近邻方法，是无参数的学习方式，所以更加灵活，无需进行参数设定。所以基于上述原因，本发明采用多次间隔上采样的方法。
4、关于模型的训练：
将所述训练集中的训练数据依次输入所构建的深度融合卷积神经网络中，将提取的特征映射矩阵输入全连接层中的分类器进行分类训练，同时利用测试集中的测试数据对网络分类性能进行测试，若测试数据的分类精度连续N周期不再上升，则说明网络的参数权重收敛，保存此时的最优网络模型和参数权重，否则跳转继续执行训练数据训练网络权重直至网络收敛。N值根据实际情况自己设定，可以是10、20等。
5、关于验证：
我们可以将验证集中的验证数据依次输入保存的最优网络模型中，将其输出的特征映射矩阵输入到全连接层中的分类器中进行分类验证，得到验证遥感图像的分类结果，也就是该模型对验证数据的分类正确率，进一步确定网络的分类性能。
与现有技术相比，本发明的优点在于：
(1)本发明给出了一种基于深度融合的卷积神经网络的遥感图像分类方法，用于对遥感图像进行分类，在该分类方法中，构建了新的深度融合的卷积神经网络，该卷积神经网络将encoder-decoder模型和VGG16模型相结合，利用VGG16模型提取图像的深层特征；encoder部分提取遥感图像的中层特征；再将深层特征和中层特征融合后送入decoder部分中。
(2)同时对encoder-decoder模型进行了改进，在编码部分，根据遥感图像的实际情况，选用一层最大池化层进行下采样，而在解码部分，采用多层间隔设置的上采样层，来进行上采样。且上采样采用的是基于线性插值的最近邻方法，是无参数的学习方式，所以更加灵活，无需进行参数设定。基于这种结构，能使网络层次更深，有利于提高特征表达能力。
(3)采用不同的融合方式验证模型的鲁棒性，两种融合方式的分类正确率均在90％以上，说明该特征提取方式对特征维度敏感度较小，保证模型具有一定的鲁棒性。
(4)针对带标签的遥感数据少的问题，在训练数据中采用数据增广的方式，有效平衡了小样本与分类正确率之间的矛盾。
(5)在训练过程中对VGG16模型采用微调的迁移学习方式能有效避免融合模型发生过拟合。
(6)本发明能有效克服现有技术对遥感图像特征提取单一或冗余导致分类精度低的缺陷，通过建立新型网络模型获得目标的高级特征表达能力，从而改善遥感图像的分类精度。
附图说明
图1为本发明流程图；
图2为本发明中深度融合卷积神经网络模型结构示意图。
具体实施方式
下面将结合附图对本发明作进一步说明。
实施例1：参见图1到图2，一种基于深度融合的卷积神经网络的遥感图像分类方法，包括以下步骤：
(1)将原始遥感图像构建成数据集，对原始遥感图像进行预处理，将预处理后的图像划分为训练集、测试集和验证集，对训练集中不同类别的图像加上类别标签，再对训练数据进行数据增广，得到训练数据；
(2)构建深度融合卷积神经网络；
所述深度融合卷积神经网络包括encoder-decoder模型、VGG16模型、融合部分、扁平层和全连接层，所述encoder-decoder模型包括编码部分和解码部分；
VGG16模型用于提取图像的深层特征；
所述编码部分包括多层卷积层和一层最大池化层，用于提取遥感图像的中层特征；
所述融合部分用于通过相加或并联的融合方式，将深层特征和中层特征融合后送入解码部分中；
所述解码部分包括多层卷积层和在多层卷积层中间隔设置的数层上采样层，用于对融合后特征进行深层提取，得到特征映射矩阵；
特征映射矩阵经扁平层送入全连接层，所述全连接层中采用softmax函数，用于输出与不同类别对应的概率；
(3)训练最优网络模型；
预设深度融合卷积神经网络模型中各层权重参数，定义交叉熵损失函数，将训练集中的训练数据分批送入深度融合卷积神经网络进行训练，并利用测试集中图像对深度融合卷积神经网络进行测试，直至各层对应的参数权重收敛，得到最优网络模型；
(4)获取实测遥感图像，送入深度融合卷积神经网络模型中，得到多个类别及该类别对应的概率。
在训练最优网络模型时，判断参数权重收敛时，我们可通过调用一Accuracy函数，用于计算分类正确率。在训练模型时，softmax函数的输出概率通过损失函数进行反向传播，更新权重参数值，并n次迭代为一周期计算分类正确率。
另外，图2中所示分类结果，即为步骤(4)中的多个类别及该类别对应的概率。
实施例2：参见图1到图2，本实施例在实施例1的基础上进行进一步改进和限定。具体为：
所述步骤(1)中预处理为，对原始遥感图像的每一像素值除以255进行归一化处理，所述数据增广为：对训练集内的图像执行水平镜像、旋转和缩放操作。
所述上采样层中，上采样采用最邻近元法，用于增大图像尺寸。
步骤(3)中，所述交叉熵损失函数J(W,b)为：
其中，pi为softmax函数对全连接层中第i类样本归一化的概率输出，K为类别数量，i为第i类样本，j为第j类样本，e为指数函数底数，xi为全连接层对第i类样本的输出值，xj为全连接层对第j类样本的输出值，y为样本标签向量，其元素与输出层神经元数目相等，yi为样本标签向量中的第i类分量，若一个样本的正确类别为第i类，则yi＝1，否则等于0。
实施例3：参见图1到2，本实施例在实施例2的基础上进行进一步改进和限定。
所述步骤(1)中预处理为，对原始遥感图像的每一像素值除以255进行归一化处理，这种预处理方式提供了一种更有效的数据存储和处理方式，同时提高训练模型的收敛速度。
所述数据增广为：对训练集内的图像执行水平镜像、旋转和缩放操作。数据增广的具体方法包括：(1)水平镜像，将训练数据集在几何角度方面进行水平翻转；(2)旋转，图像旋转技术可在网络训练中学习旋转不变特征，目标可能存在不同姿态，旋转可解决训练样本中目标姿态较少的问题。在本技术中，旋转度设为10；(3)缩放，图像缩小或放大有助于学习不同分辨率条件下的目标特征；在本技术中，缩放比例设为0.2。
所述步骤(2)构建深度融合卷积神经网络中，我们在构建encoder-decoder模型时，采用如下表1给出的一种encoder-decoder模型细节。
表1：一种encoder-decoder模型细节表
所述步骤(3)训练最优网络模型时，我们设定了交叉熵损失函数，本发明神经网络训练过程中采用梯度下降法对网络参数权重进行迭代更新，包括对网络层中的卷积核参数W和偏置b的更新。卷积前后层l和(l+1)层在训练数据前向传播过程中的关系可表述为
z(l+1)＝W(l+1)a(l)+b(l+1) (1)
a(l+1)＝f(z(l+1)) (2)
其中，z(l+1)代表卷积层(l+1)的中间结果，a(l)为卷积层l的非线性激活值，W(l+1)和b(l+1)为卷积层(l+1)的权重矩阵和偏置矩阵，f(·)为卷积层的非线性激活函数。
现假设卷积神经网络的损失函数为J(W,b)∈R，网络的残差可表示为
其中，
通过式(3)可依次推导出每一层的残差表示。根据链式法则，可得出
和
的表达式如下：
其中，
由泰勒展开式可得梯度下降的迭代公式如式(6)所示
因此，由梯度下降的迭代公式可导出权重参数W和b的迭代更新式如式(7)和(8)所示，η表示网络学习率，本发明中设置为0.001。
在训练过程中，根据权重参数W和b的迭代更新对网络的分类性能进行优化直至网络收敛，此时保存最优模型与其权重参数。
在利用验证集中验证数据进行验证时，验证数据依次输入保存的最优的深度融合卷积神经网络中，将其输出的特征映射输入全连接层中的分类器中进行分类验证，得到验证遥感图像的分类正确率，进一步确定网络的分类性能。
最后，我对最优网络模型的分类性能进行评价，我们采用误差矩阵，即(1)混淆矩阵，Confusion Matrix；2、Kappa系数；3、总体分类精度，Overall Accuracy；三种评价方式。下面具体描述混淆矩阵的验证方法。
混淆矩阵中每个元素代表应该被分为某一类别的目标被分成某一类别的目标数目，它表示的是分类结果与真实检验结果的比较矩阵。矩阵中的列代表真实类别数据，行代表由实验数据分类得到的预测实验结果。混淆矩阵的结构可表示为表2。
表2分类混淆矩阵表示
表2中，Sij表示被分为i类而实际属于j类的样本数。由混淆矩阵可以计算其他指标，如Kappa系数，总体分类精度，用户精度，制图精度，漏分误差，错分误差。
Kappa系数法考虑了矩阵中的所有元素，把所有的真实参考样本总数与混淆矩阵的对角线(Sii)之和相乘，再减去某一类的真实样本数据和该类中被分类的样本之积，再除以所有真实参考样本总数的平方减去某一类的所有真实参考样本与该类中被分类的样本之积的所有类别之和，其计算公式见式(9)：
式中，S为用于精度评价的样本总数，Si+为第i行的样本总数，即某一类的真实样本数，S+i为第i列的样本总数，即某一类中被分类的样本总数。Kappa系数的计算结果在-1-1之间，通常落在0-1之间。可分为5组表示预测值和真实值的一致性。0-0.2表示预测值和真实值一致性极低，0.21-0.4表示预测值和真实值的一致性一般，0.41-0.6表示预测值和真实值的一致性中等，0.61-0.8表示预测值和真实值的一致性高度一致，0.81-1代表预测值和真实值几乎完全一致。
总体分类精度OA即为被正确分类的样本总数之和与样本总数S之比，混淆矩阵对角线上的样本数即为被正确分类的样本数。
有研究者利用单一模型VGG16网络在与本发明同等数据集条件下的分类正确率为89.28％，而本发明多次验证的分类正确率均能达到90％以上，单次分类正确率能达到93％以上，由此说明本发明的实施对分类正确率有一定提升。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于深度融合的卷积神经网络的遥感图像分类方法，其特征在于：包括以下步骤：
(1)将原始遥感图像构建成数据集，对原始遥感图像进行预处理，将预处理后的图像划分为训练集、测试集和验证集，对训练集中不同类别的图像加上类别标签，再对训练数据进行数据增广，得到训练数据；
(2)构建深度融合卷积神经网络；
所述深度融合卷积神经网络包括encoder-decoder模型、VGG16模型、融合部分、扁平层和全连接层，所述encoder-decoder模型包括编码部分和解码部分；
VGG16模型用于提取图像的深层特征；
所述编码部分包括多层卷积层和一层最大池化层，用于提取遥感图像的中层特征；
所述融合部分用于通过相加或并联的融合方式，将深层特征和中层特征融合后送入解码部分中；
所述解码部分包括多层卷积层和在多层卷积层中间隔设置的数层上采样层，用于对融合后特征进行深层提取，得到特征映射矩阵；
特征映射矩阵经扁平层送入全连接层，所述全连接层中采用softmax函数，用于输出与不同类别对应的概率；
(3)训练最优网络模型；
预设深度融合卷积神经网络模型中各层权重参数，定义交叉熵损失函数，将训练集中的训练数据分批送入深度融合卷积神经网络进行训练，并利用测试集中图像对深度融合卷积神经网络进行测试，直至各层对应的参数权重收敛，得到最优网络模型；
(4)获取实测遥感图像，送入深度融合卷积神经网络模型中，得到多个类别及该类别对应的概率。
2.根据权利要求1所述的基于深度融合的卷积神经网络的遥感图像分类方法，其特征在于：所述步骤(1)中预处理为，对原始遥感图像的每一像素值除以255进行归一化处理，所述数据增广为：对训练集内的图像执行水平镜像、旋转和缩放操作。
3.根据权利要求1所述的基于深度融合的卷积神经网络的遥感图像分类方法，其特征在于：所述上采样层中，上采样采用最邻近元法，用于增大图像尺寸。
4.根据权利要求1所述的基于深度融合的卷积神经网络的遥感图像分类方法，其特征在于：步骤(3)中，所述交叉熵损失函数J(W,b)为：
其中，pi为softmax函数对全连接层中第i类样本归一化的概率输出，K为类别数量，i为第i类样本，j为第j类样本，e为指数函数底数，xi为全连接层对第i类样本的输出值，j为全连接层对第j类样本的输出值，y为样本标签向量，其元素与输出层神经元数目相等，yi为样本标签向量中的第i类分量，若一个样本的正确类别为第i类，则yi＝1，否则等于0。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010433824.3A CN111612066B (zh) | 2020-05-21 | 2020-05-21 | 基于深度融合的卷积神经网络的遥感图像分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010433824.3A CN111612066B (zh) | 2020-05-21 | 2020-05-21 | 基于深度融合的卷积神经网络的遥感图像分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111612066A true CN111612066A (zh) | 2020-09-01 |
| CN111612066B CN111612066B (zh) | 2022-03-08 |
Family
ID=72196171
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010433824.3A Expired - Fee Related CN111612066B (zh) | 2020-05-21 | 2020-05-21 | 基于深度融合的卷积神经网络的遥感图像分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111612066B (zh) |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112102394A (zh) * | 2020-09-17 | 2020-12-18 | 中国科学院海洋研究所 | 基于深度学习的遥感图像舰船尺寸一体化提取方法 |
| CN112308781A (zh) * | 2020-11-23 | 2021-02-02 | 中国科学院深圳先进技术研究院 | 一种基于深度学习的单幅图像三维超分辨率重构方法 |
| CN112632315A (zh) * | 2020-12-30 | 2021-04-09 | 珠海大横琴科技发展有限公司 | 一种遥感图像检索的方法和装置 |
| CN112712087A (zh) * | 2020-12-29 | 2021-04-27 | 哈尔滨工业大学 | 一种基于深度卷积神经网络的遥感影像地物语义分割方法 |
| CN112784919A (zh) * | 2021-02-03 | 2021-05-11 | 华南理工大学 | 一种面向智能制造多模态数据的分类方法 |
| CN112819096A (zh) * | 2021-02-26 | 2021-05-18 | 西北大学 | 一种基于复合卷积神经网络的化石图像分类模型的构建方法 |
| CN112884007A (zh) * | 2021-01-22 | 2021-06-01 | 重庆交通大学 | 一种像素级统计描述学习的sar图像分类方法 |
| CN113255581A (zh) * | 2021-06-21 | 2021-08-13 | 湖南大学 | 弱监督深度学习水体提取方法、装置、计算机设备和介质 |
| CN113313021A (zh) * | 2021-05-27 | 2021-08-27 | 云南电网有限责任公司电力科学研究院 | 一种基于低质量影像识别的深度学习模型构建方法 |
| CN113313152A (zh) * | 2021-05-19 | 2021-08-27 | 北京大学 | 基于优化诱导的平衡神经网络模型的图像分类方法 |
| CN113408398A (zh) * | 2021-06-16 | 2021-09-17 | 西安电子科技大学 | 基于通道注意力及概率上采样的遥感图像云检测方法 |
| CN113509186A (zh) * | 2021-06-30 | 2021-10-19 | 重庆理工大学 | 基于深度卷积神经网络的ecg分类系统与方法 |
| CN113743515A (zh) * | 2021-09-08 | 2021-12-03 | 感知天下(北京)信息科技有限公司 | 基于自监督自学习特征点的遥感影像特征匹配方法 |
| CN113792666A (zh) * | 2021-09-16 | 2021-12-14 | 哈尔滨工业大学（深圳） | 一种基于扫描电镜图像的混凝土分类方法及系统 |
| CN113807385A (zh) * | 2021-07-09 | 2021-12-17 | 西北工业大学 | 一种基于度量学习的多模型分组融合的遥感图像分类方法 |
| CN113920421A (zh) * | 2021-07-03 | 2022-01-11 | 桂林理工大学 | 一种快速分类的全卷积神经网络模型 |
| CN114202671A (zh) * | 2021-11-17 | 2022-03-18 | 桂林理工大学 | 一种图像预测优化处理方法及装置 |
| CN114387523A (zh) * | 2022-03-23 | 2022-04-22 | 成都理工大学 | 基于dcnn边界引导的遥感图像建筑物提取方法 |
| CN114998748A (zh) * | 2022-07-28 | 2022-09-02 | 北京卫星信息工程研究所 | 遥感图像目标精细识别方法、电子设备及存储介质 |
| CN115294392A (zh) * | 2022-08-09 | 2022-11-04 | 安徽理工大学 | 基于生成网络模型的可见光遥感图像云去除方法及系统 |
| CN116011515A (zh) * | 2022-12-26 | 2023-04-25 | 人民网股份有限公司 | 几何神经网络模型构建方法、装置、设备及存储介质 |
| CN116109944A (zh) * | 2023-04-12 | 2023-05-12 | 南京信息工程大学 | 一种基于深度学习网络架构的卫星图像云目标提取方法 |
| CN117576573A (zh) * | 2024-01-16 | 2024-02-20 | 广州航海学院 | 基于改进vgg16模型的建筑氛围评价方法、系统、设备及介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180260793A1 (en) * | 2016-04-06 | 2018-09-13 | American International Group, Inc. | Automatic assessment of damage and repair costs in vehicles |
| CN108564109A (zh) * | 2018-03-21 | 2018-09-21 | 天津大学 | 一种基于深度学习的遥感图像目标检测方法 |
| CN108830296A (zh) * | 2018-05-18 | 2018-11-16 | 河海大学 | 一种改进的基于深度学习的高分遥感影像分类方法 |
| US20190005670A1 (en) * | 2017-06-28 | 2019-01-03 | Magic Leap, Inc. | Method and system for performing simultaneous localization and mapping using convolutional image transformation |
| CN109360171A (zh) * | 2018-10-26 | 2019-02-19 | 北京理工大学 | 一种基于神经网络的视频图像实时去模糊方法 |
| US20190311202A1 (en) * | 2018-04-10 | 2019-10-10 | Adobe Inc. | Video object segmentation by reference-guided mask propagation |
| CN110555446A (zh) * | 2019-08-19 | 2019-12-10 | 北京工业大学 | 基于多尺度深度特征融合和迁移学习的遥感影像场景分类方法 |
| CN111179229A (zh) * | 2019-12-17 | 2020-05-19 | 中信重工机械股份有限公司 | 一种基于深度学习的工业ct缺陷检测方法 |
-
2020
- 2020-05-21 CN CN202010433824.3A patent/CN111612066B/zh not_active Expired - Fee Related
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180260793A1 (en) * | 2016-04-06 | 2018-09-13 | American International Group, Inc. | Automatic assessment of damage and repair costs in vehicles |
| US20190005670A1 (en) * | 2017-06-28 | 2019-01-03 | Magic Leap, Inc. | Method and system for performing simultaneous localization and mapping using convolutional image transformation |
| CN108564109A (zh) * | 2018-03-21 | 2018-09-21 | 天津大学 | 一种基于深度学习的遥感图像目标检测方法 |
| US20190311202A1 (en) * | 2018-04-10 | 2019-10-10 | Adobe Inc. | Video object segmentation by reference-guided mask propagation |
| CN108830296A (zh) * | 2018-05-18 | 2018-11-16 | 河海大学 | 一种改进的基于深度学习的高分遥感影像分类方法 |
| CN109360171A (zh) * | 2018-10-26 | 2019-02-19 | 北京理工大学 | 一种基于神经网络的视频图像实时去模糊方法 |
| CN110555446A (zh) * | 2019-08-19 | 2019-12-10 | 北京工业大学 | 基于多尺度深度特征融合和迁移学习的遥感影像场景分类方法 |
| CN111179229A (zh) * | 2019-12-17 | 2020-05-19 | 中信重工机械股份有限公司 | 一种基于深度学习的工业ct缺陷检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| JIANLONG CHANG 等: "Vision-Based Occlusion Handling and Vehicle Classification for Traffic Surveillance Systems", 《 IEEE INTELLIGENT TRANSPORTATION SYSTEMS MAGAZINE 》 * |
Cited By (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112102394A (zh) * | 2020-09-17 | 2020-12-18 | 中国科学院海洋研究所 | 基于深度学习的遥感图像舰船尺寸一体化提取方法 |
| CN112308781A (zh) * | 2020-11-23 | 2021-02-02 | 中国科学院深圳先进技术研究院 | 一种基于深度学习的单幅图像三维超分辨率重构方法 |
| CN112712087A (zh) * | 2020-12-29 | 2021-04-27 | 哈尔滨工业大学 | 一种基于深度卷积神经网络的遥感影像地物语义分割方法 |
| CN112632315B (zh) * | 2020-12-30 | 2022-03-29 | 珠海大横琴科技发展有限公司 | 一种遥感图像检索的方法和装置 |
| CN112632315A (zh) * | 2020-12-30 | 2021-04-09 | 珠海大横琴科技发展有限公司 | 一种遥感图像检索的方法和装置 |
| CN112884007A (zh) * | 2021-01-22 | 2021-06-01 | 重庆交通大学 | 一种像素级统计描述学习的sar图像分类方法 |
| CN112784919B (zh) * | 2021-02-03 | 2023-09-05 | 华南理工大学 | 一种面向智能制造多模态数据的分类方法 |
| CN112784919A (zh) * | 2021-02-03 | 2021-05-11 | 华南理工大学 | 一种面向智能制造多模态数据的分类方法 |
| CN112819096A (zh) * | 2021-02-26 | 2021-05-18 | 西北大学 | 一种基于复合卷积神经网络的化石图像分类模型的构建方法 |
| CN112819096B (zh) * | 2021-02-26 | 2024-01-19 | 西北大学 | 一种基于复合卷积神经网络的化石图像分类模型的构建方法 |
| CN113313152A (zh) * | 2021-05-19 | 2021-08-27 | 北京大学 | 基于优化诱导的平衡神经网络模型的图像分类方法 |
| CN113313152B (zh) * | 2021-05-19 | 2023-09-22 | 北京大学 | 基于优化诱导的平衡神经网络模型的图像分类方法 |
| CN113313021A (zh) * | 2021-05-27 | 2021-08-27 | 云南电网有限责任公司电力科学研究院 | 一种基于低质量影像识别的深度学习模型构建方法 |
| CN113408398B (zh) * | 2021-06-16 | 2023-04-07 | 西安电子科技大学 | 基于通道注意力及概率上采样的遥感图像云检测方法 |
| CN113408398A (zh) * | 2021-06-16 | 2021-09-17 | 西安电子科技大学 | 基于通道注意力及概率上采样的遥感图像云检测方法 |
| CN113255581A (zh) * | 2021-06-21 | 2021-08-13 | 湖南大学 | 弱监督深度学习水体提取方法、装置、计算机设备和介质 |
| CN113255581B (zh) * | 2021-06-21 | 2021-09-28 | 湖南大学 | 弱监督深度学习水体提取方法、装置、计算机设备和介质 |
| CN113509186B (zh) * | 2021-06-30 | 2022-10-25 | 重庆理工大学 | 基于深度卷积神经网络的ecg分类系统与方法 |
| CN113509186A (zh) * | 2021-06-30 | 2021-10-19 | 重庆理工大学 | 基于深度卷积神经网络的ecg分类系统与方法 |
| CN113920421A (zh) * | 2021-07-03 | 2022-01-11 | 桂林理工大学 | 一种快速分类的全卷积神经网络模型 |
| CN113807385A (zh) * | 2021-07-09 | 2021-12-17 | 西北工业大学 | 一种基于度量学习的多模型分组融合的遥感图像分类方法 |
| CN113743515A (zh) * | 2021-09-08 | 2021-12-03 | 感知天下(北京)信息科技有限公司 | 基于自监督自学习特征点的遥感影像特征匹配方法 |
| CN113792666A (zh) * | 2021-09-16 | 2021-12-14 | 哈尔滨工业大学（深圳） | 一种基于扫描电镜图像的混凝土分类方法及系统 |
| CN114202671A (zh) * | 2021-11-17 | 2022-03-18 | 桂林理工大学 | 一种图像预测优化处理方法及装置 |
| CN114387523A (zh) * | 2022-03-23 | 2022-04-22 | 成都理工大学 | 基于dcnn边界引导的遥感图像建筑物提取方法 |
| CN114998748A (zh) * | 2022-07-28 | 2022-09-02 | 北京卫星信息工程研究所 | 遥感图像目标精细识别方法、电子设备及存储介质 |
| CN114998748B (zh) * | 2022-07-28 | 2023-02-03 | 北京卫星信息工程研究所 | 遥感图像目标精细识别方法、电子设备及存储介质 |
| CN115294392A (zh) * | 2022-08-09 | 2022-11-04 | 安徽理工大学 | 基于生成网络模型的可见光遥感图像云去除方法及系统 |
| CN116011515A (zh) * | 2022-12-26 | 2023-04-25 | 人民网股份有限公司 | 几何神经网络模型构建方法、装置、设备及存储介质 |
| CN116011515B (zh) * | 2022-12-26 | 2024-01-26 | 人民网股份有限公司 | 几何神经网络模型构建方法、装置、设备及存储介质 |
| CN116109944A (zh) * | 2023-04-12 | 2023-05-12 | 南京信息工程大学 | 一种基于深度学习网络架构的卫星图像云目标提取方法 |
| CN117576573A (zh) * | 2024-01-16 | 2024-02-20 | 广州航海学院 | 基于改进vgg16模型的建筑氛围评价方法、系统、设备及介质 |
| CN117576573B (zh) * | 2024-01-16 | 2024-05-17 | 广州航海学院 | 基于改进vgg16模型的建筑氛围评价方法、系统、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111612066B (zh) | 2022-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111612066B (zh) | 基于深度融合的卷积神经网络的遥感图像分类方法 | |
| CN111461258B (zh) | 耦合卷积神经网络和图卷积网络的遥感影像场景分类方法 | |
| CN110555446B (zh) | 基于多尺度深度特征融合和迁移学习的遥感影像场景分类方法 | |
| CN113190699B (zh) | 一种基于类别级语义哈希的遥感图像检索方法及装置 | |
| CN109446970B (zh) | 一种基于深度学习的变电站巡检机器人道路场景识别方法 | |
| CN106909924B (zh) | 一种基于深度显著性的遥感影像快速检索方法 | |
| CN107506740B (zh) | 一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法 | |
| CN105138973B (zh) | 人脸认证的方法和装置 | |
| CN109389151B (zh) | 一种基于半监督嵌入表示模型的知识图谱处理方法和装置 | |
| CN108549844A (zh) | 一种基于多层分形网络和关节亲属模式的多人姿态估计方法 | |
| CN111753189A (zh) | 一种少样本跨模态哈希检索共同表征学习方法 | |
| CN114398491A (zh) | 一种基于知识图谱的语义分割图像实体关系推理方法 | |
| CN113435253B (zh) | 一种多源影像联合城区地表覆盖分类方法 | |
| CN109743642B (zh) | 基于分层循环神经网络的视频摘要生成方法 | |
| CN103714148B (zh) | 基于稀疏编码分类的sar图像检索方法 | |
| CN116049459B (zh) | 跨模态互检索的方法、装置、服务器及存储介质 | |
| CN110929080A (zh) | 基于注意力和生成对抗网络的光学遥感图像检索方法 | |
| CN116310339A (zh) | 基于矩阵分解增强全局特征的遥感图像分割方法 | |
| CN113240683A (zh) | 基于注意力机制的轻量化语义分割模型构建方法 | |
| CN116844041A (zh) | 一种基于双向卷积时间自注意力机制的耕地提取方法 | |
| CN113283409A (zh) | 基于EfficientDet和Transformer的航空图像中的飞机检测方法 | |
| CN115131313A (zh) | 基于Transformer的高光谱图像变化检测方法及装置 | |
| CN115830179A (zh) | 一种类别无关的遥感地物矢量拓扑结构提取方法 | |
| CN115457332A (zh) | 基于图卷积神经网络和类激活映射的图像多标签分类方法 | |
| CN113935458A (zh) | 基于卷积自编码深度学习的空气污染多站点联合预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220308 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |