CN111652038A - 基于卷积神经网络的遥感的海冰图像分类方法 - Google Patents

基于卷积神经网络的遥感的海冰图像分类方法 Download PDF

Info

Publication number
CN111652038A
CN111652038A CN202010283629.7A CN202010283629A CN111652038A CN 111652038 A CN111652038 A CN 111652038A CN 202010283629 A CN202010283629 A CN 202010283629A CN 111652038 A CN111652038 A CN 111652038A
Authority
CN
China
Prior art keywords
layer
training
neural network
convolutional neural
remote sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010283629.7A
Other languages
English (en)
Other versions
CN111652038B (zh
Inventor
韩彦岭
魏聪
曹守启
洪中华
杨树瑚
周汝雁
张云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Ocean University
Original Assignee
Shanghai Ocean University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Ocean University filed Critical Shanghai Ocean University
Priority to CN202010283629.7A priority Critical patent/CN111652038B/zh
Publication of CN111652038A publication Critical patent/CN111652038A/zh
Application granted granted Critical
Publication of CN111652038B publication Critical patent/CN111652038B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于卷积神经网络的遥感海冰图像分类方法，解决了传统方法不能充分挖掘高光谱遥感海冰图像空谱特征以及不能结合分类目标有效区分不同光谱特征贡献度的弊端，其技术方案要点是包括有以下步骤：通过原始遥感图像获得原始数据；从原始数据中手工标记部分样本作为样本库；将输入数据根据设定策略随机选择训练样；将其余样本作为测试样本；通过训练样本对预建的三维卷积神经网络模型进行训练和特征提取，并通过挤压激励网络对提取的特征进行权重调整，并最终选择支持向量机分类器完成分类；通过训练测试后的三维卷积神经网络模型对高光谱遥感图像进行检测分类，本发明能够有效地克服现有困难，提高遥感海冰图像的分类精度。

Description

基于卷积神经网络的遥感的海冰图像分类方法
技术领域
本发明涉及海冰检测领域，特别涉及一种基于卷积神经网络的遥感的海冰 图像分类方法。
背景技术
海冰是高维度地区最突出的海洋灾害之一。它的冻结融化和漂流会对沿海 地区、海洋上的生产作业产生重大影响。因此，为了快速准确地评估海冰冰情， 及时预报海冰灾害，确保人身财产安全，海冰检测研究具有重要的意义，海冰 分类是海冰检测的重要内容。
遥感技术是海冰检测的有效手段，可以及时、大范围地获取海冰数据， 现已被广泛应用于海冰检测中。近年来，常用的遥感数据包括孔径雷达、具有 中高等空间分辨率的多光谱卫星图像以及高光谱图像。特别对于多光谱和高光 谱遥感海冰数据，具有覆盖范围广、分辨率高、波谱信息丰富、数据来源多、 数据成本低等优点，适合作为海冰检测的数据源。但是，遥感图像包含数十到 数百个波段并且光谱之间存在很强的关联性。为了得到准确的海冰分类结果， 有必要区分不同光谱带之间的差异以及它们对于海冰分类的贡献。同时，由于 环境条件的特殊性，海冰的标注样本较少，这也限制了海冰分类精度的提高。 因此，这些问题给遥感海冰图像分类带来了巨大的挑战。
传统的遥感图像分类方法包括最大似然法，最小距离法，K-means聚类法 等，但这些基于谱特征统计的方法分类准确率较低。因此，研究人员应用机器 学习算法(例如神经网络(NN)，支持向量机(SVM)等)对遥感图像进行分类。 研究表明，基于机器学习算法的遥感图像分类方法比传统的统计方法能取得更 好的分类效果。特别地，支持向量机(SVM)方法在解决小样本，高维度和非 线性分类问题方面具有良好的性能，并且已被广泛使用。但是，支持向量机 (SVM)和神经网络(NN)都属于浅层学习算法。由于多/高光谱海冰图像中包含丰富的空间信息和具有高度相关性的光谱信息，因此难以通过浅层学习方 法有效地提取遥感图像的深层特征并实现更高的分类精度。
与浅层学习方法相比，深度学习方法具有更好的表达能力，可以自动地提 取深层隐藏特征，从而避免了复杂的手动特征提取过程。卷积神经网络(CNN) 是一种专门设计的深度学习结构，广泛应用于考虑像素间空间相关性的图像识 别和图像分类中。因此基于卷积神经网络(CNN)的遥感图像分类引起了研究者 特别的研究兴趣；刘等人(2017)使用孪生卷积网络(Siamese)对遥感图像 公共数据集进行分类，并取得了较好的分类效果；陈等人(2014)提出了利用 局部高光谱立方体作为输入的三维卷积神经网络(3D-CNN)模型来捕获空间和 光谱信息；胡(2015)和李等人(2017)开发了一种基于本地补丁的卷积神经 网络(CNN)空间特征提取体系结构。然而这些方法大多通过空间维度提升网络 性能，没有考虑光谱间的复杂相关性。Momenta等人(2017)提出一个挤压 激励网络(SENet)结构，其核心思想是网络通过损失函数(loss)学习特征权 重，增加有效特征的权重，抑制无效或效果较小的特征以达到更好的效果，实 验表明挤压激励模块(SE-Block)结构可以嵌入到其他网路结构中，并取得了 很好的效果。
传统海冰检测大多采用阈值分割、聚类方法和支持向量机(SVM)分类等 浅层学习方法，难以提取遥感图像中的深层特征，而经典的卷积神经网络中一 维卷积和二维卷积都会损失部分遥感图像信息且没有对提取的特征进行区分， 为了进一步提高分类性能，本文提出一种基于改进的卷积神经网络的海冰遥感 图像分类方法，该方法根据遥感海冰图像的三维结构，设计使用三维卷积神经 网络(3D-CNN)同时提取海冰的光谱和空间信息特征，由于卷积神经网络(CNN) 中提取的低层特征描述了不同类别海冰的纹理等细节信息，可弥补卷积神经网 络(CNN)高层提取的抽象语义特征导致的细节信息丢失问题，因此在第一层卷积层和第二层卷积层后分别添加挤压激励模块(SE-Block)对卷积层提取的 中低层特征进行加权处理，即通过增加有效特征的权重，抑制或减少无效特征 的权重从而强化对分类效果具有重要作用的特征，进一步改进海冰分类精度。 最后，使用对解决高维、非线性问题及小样本问题更有优势的支持向量机(SVM) 分类器代替原有的Softmax分类器，获得更高的遥感海冰图像分类性能。实验 结果表明，相对于机器学习算法和其他改进的卷积神经网络学习方法，挤压激 励-卷积神经网络-支持向量机(SE-CNN-SVM)方法具有更好的分类效果。
发明内容
本发明所要解决的技术问题是：提供一种基于卷积神经网络的遥感海冰图 像分类方法，能够有效的克服现有困难，改进遥感海冰图像的分类精度。
为解决上述技术问题，本发明所采用的技术方案为：一种基于卷积神经网 络的遥感的海冰图像分类方法，包括以下步骤：
步骤一、通过原始遥感图像获得原始数据；将原始数据进行预处理，预处 理过程具体包括有：将选择的样本库数据根据网络输入要求处理为K×K×B的 数据块，其中K为像素块的空间维大小且取3-19中的任意奇数，B为遥感图像 的波段数；
步骤二、原始数据通过人工标记选择一部分样本作为样本库；
步骤三、将输入数据根据设定策略在样本库中随机选择训练样本，并将其 余数据作为测试样本；
步骤四、通过训练样本对预建的三维卷积神经网络3D-CNN模型进行训练 和特征提取，然后通过插入三维卷积神经网络3D-CNN的挤压激励模块 SE-Block对提取的特征进行权重调整，并通过测试样本对训练完成后的挤压激 励-卷积神经网络SE-CNN模型进行测试；
步骤五、将样本库经过挤压激励-卷积神经网络SE-CNN保存的样本特征输 入支持向量机SVM进行二次训练后分类，并对比标注好的标签样本计算得到分 类精度；
步骤六、通过训练测试后的挤压激励-卷积神经网络-支持向量机 (SE-CNN-SVM)网络模型对高光谱遥感图像进行检测分类。
作为一种优选的方案，所述的挤压激励-卷积神经网络SE-CNN模型为8层 网络结构，分别为输入层，第一层卷积层CONV1，第一挤压激励模块SE-Block， 第二层卷积层CONV2，第二挤压激励模块SE-Block，第三层卷积层CONV3，全 连接层(FC)和输出层；
所述步骤四的具体操作包括：
步骤(1)每次从训练样本中随机输入设定数量的训练样本到预先建立好 的CNN网络的第一卷积层中进行训练；
步骤(2)第一挤压激励模块将第一层卷积层训练得到的特征进行全局平 均池化，即挤压Squeeze操作；然后将挤压Squeeze后的特征通过输入第一挤 压激励模块内的第一全连阶层进行降维，然后经过ReLU激活函数，再经过第 一挤压激励模块内的第二全连阶层进行升维，然后再通过Sigmoid进行权重激 活，即激励Excitation操作；将激励Excitation的输出的权重看作是经过特 征选择后的每个特征通道的重要性，然后通过乘法逐通道加权到先前的特征 上，完成在通道维度上的对原始特征的重标定；
步骤(3)将经过第一挤压激励模块SE-Block调整权重后的特征输入第二 层卷积层中进行训练；
步骤(4)第二挤压激励模块将第二层卷积层训练得到的特征进行全局平 均池化，即挤压Squeeze操作；然后将挤压Squeeze后的特征通过输入第二挤 压激励模块内的第一全连阶层进行降维，然后经过ReLU激活函数，再经过第 二挤压激励模块内的第二全连阶层进行升维，然后再通过Sigmoid进行权重激 活，即激励Excitation操作；将激励Excitation的输出的权重看作是经过特 征选择后的每个特征通道的重要性，然后通过乘法逐通道加权到先前的特征 上，完成在通道维度上的对原始特征的重标定；
步骤(5)将步骤(4)中经过第二挤压激励模块SE-Block调整权重后的 特征输入第三层卷积层，将该特征经训练拉伸为一维向量；
步骤(6)将转换后的一维向量输入到全连接层，将卷积过程中提取的局 部特征映射融合，经Softmax交叉熵函数计算损失率后，通过反向传播计算每 个参数的梯度，利用Adam算法动态地更新网络参数；
步骤(7)将测试样本输入训练好的网络中，得到预测标签；
步骤(8)依次针对各批次样本进行训练，重复步骤(1)-(6)，直到网 络收敛，完成网络训练过程；并保存训练样本和测试样本经过网络训练得到的 特征。
作为一种优选的方案，所述步骤(2)中将第一层卷积层得到的特征进行 全局平均池化，即挤压Squeeze操作；其公式为
Figure BDA0002447659370000051
所述步骤(4)中将第二层卷积层得到 的特征进行全局平均池化，即挤压Squeeze操作；其公式为
Figure BDA0002447659370000061
作为一种优选的方案，所述步骤(2)及步骤(4)中通过Sigmoid进行权 重激活，即激励Excitation操作；其公式都为 Zc＝Fex(z，W)＝σ(g(z，W))＝σ(W2δ(W1z))，其中σ表示Sigmoid函数，δ表 示修正线性单元ReLU函数。
作为一种优选的方案，所述步骤(2)及步骤(4)中将激励Excitation 的输出的权重看作是经过特征选择后的每个特征通道的重要性，然后通过乘法 逐通道加权到先前的特征上，完成在通道维度上的对原始特征的重标定，其公 式都为
Figure BDA0002447659370000062
其中，
Figure BDA0002447659370000063
和Fscale(uc，sc)表 示标量sc和特征图uc∈RH×W之间的对应通道乘积。
作为一种优选的方案，所述步骤五中将样本库经过挤压激励-卷积神经网 络SE-CNN保存的样本特征输入支持向量机SVM进行二次训练后分类，其具体 过程包括：将保留的经过权重调整后的训练样本特征和测试样本特征进行归一 化；选择径向基函数RBF并使用网格寻优法对参数c，g进行寻优；使用寻优 后的结果使用支持向量机SVM分类器进行二次训练后分类。
本发明的有益效果是：
(1)深度学习方法通过自主学习提取图像特征，在遥感图像分类中取得 了较好的分类效果。但是不同的深度学习方法因网络结构不同，因此最终的分 类效果也不相同。本文建议的方法，使用三维卷积神经网络(3D-CNN)的结构 充分提取遥感海冰的深度空谱特征，利用卷积神经网络中低层提取的纹理等细 节信息可以弥补高层抽象特征导致的信息丢失问题，在三维卷积神经网络(3D-CNN)前两层卷积层之后均结合挤压激励模块(SE-Block)，增加中低层 有效特征的权重，减小无效或效果小的特征，从而强化对分类效果具有重要作 用的特征，从而使模型达到更好的效果。
(2)本文提出的挤压激励-卷积神经网络-支持向量机(SE-CNN-SVM)方 法一方面利用三维卷积神经网络(3D-CNN)充分提取遥感海冰图像中的深度空 谱特征，同时结合挤压激励模块(SE-Block)增加中低层有效特征的权重使网 络模型取得更好的效果；最后利用支持向量机(SVM)分类器进一步提高遥感 海冰图像这种小样本、非线性的目标图像的分类效果，实现利用较少的标签样 本获得较高的海冰分类精度，为遥感海冰图像分类提供了一种新的方法。
附图说明
图1为本方法与其他方法的总体框架类比图；
图2为挤压激励-卷积神经网络-支持向量机(SE-CNN-SVM)方法的结构图；
图3a-3f为格陵兰岛数据各类分类方法的分类结果示意图；
图4a-4f为辽东湾数据各类分类方法的分类结果示意图；
具体实施方式
下面结合附图，详细描述本发明的具体实施方案。
如图1-2所示，一种基于卷积神经网络的遥感的海冰图像分类方法，包括 以下步骤：
步骤一、通过原始遥感图像获得原始数据；将原始数据进行预处理，预处 理过程具体包括有：将选择的样本库数据根据网络输入要求处理为K×K×B的 数据块，其中K为像素块的空间维大小且取3-19中的任意奇数，B为遥感图像 的波段数；
步骤二、原始数据通过人工标记选择一部分样本作为样本库；
步骤三、将输入数据根据设定策略在样本库中随机选择训练样本，并将其 余数据作为测试样本；
步骤四、通过训练样本对预建的三维卷积神经网络3D-CNN模型进行训练 和特征提取，然后通过插入三维卷积神经网络3D-CNN的挤压激励模块 SE-Block对提取的特征进行权重调整，并通过测试样本对训练完成后的挤压激 励-卷积神经网络SE-CNN模型进行测试：
所述的挤压激励-卷积神经网络SE-CNN模型为8层网络结构，分别为输入 层，第一层卷积层CONV1，第一挤压激励模块SE-Block，第二层卷积层CONV2， 第二挤压激励模块SE-Block，第三层卷积层CONV3，全连接层(FC)和输出层；
本步骤四的具体操作包括：
步骤(1)每次从训练样本中随机输入设定数量的训练样本到预先建立好 的CNN网络的第一卷积层中进行训练；
步骤(2)假设第一层包含n个大小为C×C×D的卷积核，每个K×K×B 大小的样本经过第一层的卷积运算后，则会输出n个(K-C+1)×(K-C+1)× (B-D+1)大小的特征图；
第一挤压激励模块将第一层卷积层训练得到的特征进行全局平均池化，即 挤压Squeeze操作；其公式为
Figure BDA0002447659370000081
得到n 个1×1×1的特征图；然后将挤压Squeeze后的n个特征图通过输入第一挤压 激励模块内的第一全连阶层进行降维，然后经过修正线性单元ReLU激活函数， 其中挤压激励模块(SE-Block)的第一个全连接层的神经元个数为2/n，则第 一个全连接层之后得到2/n个1×1×1；再经过第一挤压激励模块内的第二全 连阶层进行升维，然后再通过Sigmoid进行权重激活，即激励Excitation操 作；其公式为Zc＝Fex(z，W)＝σ(g(z，W))＝σ(W2δ(W1z))，其中σ表示 Sigmoid函数，δ表示修正线性单元ReLU函数。其中挤压激励模块(SE-Block) 的第二个全连阶层的神经元个数为n，则第二个全连阶层之后，得到n个1×1 ×1的特征图；
将激励Excitation的输出的权重看作是经过特征选择后的每个特征通道 的重要性，然后通过乘法逐通道加权到先前的特征上，完成在通道维度上的对 原始特征的重标定；即将第一层卷积之后的输出的特征n×(K-C+1)×(K-C+1) ×(B-D+1)与挤压激励模块(SE-Block)进行特征调整之后的特征n×1×1×1 相乘，最终得到将第一层卷积后进行权重调整过的特征。其公式为
Figure BDA0002447659370000091
其中，
Figure BDA0002447659370000092
和Fscale(uc，sc)表示标量 sc和特征图uc∈RH×W之间的对应通道乘积。
步骤(3)将经过第一挤压激励模块SE-Block调整权重后的特征输入第二 层卷积层中进行训练；
步骤(4)第二挤压激励模块将第二层卷积层训练得到的特征进行全局平 均池化，即挤压Squeeze操作；其公式为
Figure BDA0002447659370000093
然后将挤压Squeeze后的特征通过输 入第二挤压激励模块内的第一全连阶层进行降维，然后经过ReLU激活函数， 再经过第二挤压激励模块内的第二全连阶层进行升维，然后再通过Sigmoid进行权重激活，即激励Excitation操作；其公式都为 Zc＝Fex(Z，W)＝σ(g(Z，W))＝σ(W2δ(W1z))，其中σ表示Sigmoid函数，δ表 示修正线性单元ReLU函数。将激励Excitation的输出的权重看作是经过特征 选择后的每个特征通道的重要性，然后通过乘法逐通道加权到先前的特征上， 完成在通道维度上的对原始特征的重标定；其公式为
Figure BDA0002447659370000101
其中，
Figure BDA0002447659370000102
阳Fscale(uc，sc)表示标量 sc和特征图uc∈RH×W之间的对应通道乘积。
步骤(5)将步骤(4)中经过第二挤压激励模块SE-Block调整权重后的 特征输入第三层卷积层，将该特征经训练拉伸为一维向量；
步骤(6)将转换后的一维向量输入到全连接层，将卷积过程中提取的局 部特征映射融合，经Softmax交叉熵函数计算损失率后，通过反向传播计算每 个参数的梯度，利用Adam算法动态地更新网络参数；
步骤(7)将测试样本输入训练好的网络中，得到预测标签；
步骤(8)依次针对各批次样本进行训练，重复步骤(1)-(6)，直到网 络收敛，完成网络训练过程；并保存训练样本和测试样本经过网络训练得到的 特征。
步骤五、将样本库经过挤压激励-卷积神经网络SE-CNN保存的样本特征输 入支持向量机SVM进行二次训练后分类，具体过程为：将保留的经过权重调整 后的训练样本特征和测试样本特征进行归一化；选择径向基函数RBF并使用网 格寻优法对参数c，g进行寻优；使用寻优后的结果使用支持向量机SVM分类 器进行二次训练后分类。并对比标注好的标签样本计算得到分类精度；
步骤六、通过训练测试后的挤压激励-卷积神经网络-支持向量机 (SE-CNN-SVM)网络模型对高光谱遥感图像进行检测分类。
如图1所示，相比与基于光谱特征的一维卷积神经网络(1D-CNN)模型和 基于空间特征的二维卷积神经网络(2D-CNN)模型，三维卷积神经网络(3D-CNN) 模型可以同时提取光谱特征和空间特征，充分利用了遥感数据中隐藏的海冰特 征信息。而且高光谱数据通常以三维数据立方体表示，契合了卷积神经网络(CNN)中的三维卷积滤波器提取特征的输入方式，因此三维卷积神经网络 (3D-CNN)模型是一种适用于高光谱遥感海冰图像的分类模型。
由于不同类型海冰的光谱特征对于海冰分类的贡献度不同，利用挤压激励 模块(SE-Block)对卷积得到的特征进行权重调整。基于挤压激励-卷积神经 网络-支持向量机(SE-CNN-SVM)的遥感海冰图像方法通过三维卷积神经网络 (3D-CNN)充分提取海冰的光谱和空间特征，并结合挤压激励模块(SE-Block) 区分不同光谱对海冰分类的贡献，即增加有效特征的权重，抑制或减少无效特 征的权重来进一步提升样本质量。最后，使用支持向量机(SVM)分类器进行 分类，实现遥感海冰图像高分类性能。
为了降低模型的时间复杂度，我们采用较小的输入网络的尺寸并设计了简 洁的网络结构，同时添加了dropout层来减少网络参数，同时能有效地防止网 络过拟合。
为表述清楚，现举二实例：
1)数据描述
第一个实验数据为2014年4月12日格陵兰岛附近巴芬湾海域的Hyperion EO-1高光谱影像，实验数据经过系统几何校正、投影配准以及地形校正，图像 级别为L1Gst级，波段光谱范围356～2578nm，总共包含242个波段，空间分 辨率是30m，光谱分辨率达到纳米级。在242波段的图像数据中，有一部分波 段受到了噪声和水汽的干扰，实验中把这些波段提前去除，最终剩余176个波 段。根据光谱特征，海冰数据被划分为厚冰、薄冰、海水三个类别。通过人工 选取一定数量的标签样本，共计3190标签样本。
表1.巴芬湾数据中每个类别不同个数的训练样本数量(像素个数)
Figure BDA0002447659370000121
第二个实验数据为2016年1月24日渤海鲅鱼圈区附近海域Landsat-8图 像，它的空间分辨率为15m，图像大小为596×373。根据光谱曲线分为白冰、 灰冰和灰白冰三种海冰类型。图3(a)是选取的实验区域图像，图3(b)是 从图像中选取的训练数据区域分布图。图3(c)是标签样本的类别图例，蓝色 代表白冰，青绿色代表灰冰，黄色代表灰白冰。实验中的海冰类型和相关样本 数量如表2所示。
表2.辽东湾数据中每个类别不同个数的训练样本数量(像素个数)
Figure BDA0002447659370000122
2)网络结构设置
在这两个实验中，我们设计了包含8层网络结构，分别为输入层，第一层 卷积层(CONV1)，挤压激励模块(SE-Block)，第二层卷积层(CONV2)，挤压激 励模块(SE-Block)，第三层卷积层(CONV3)，全连接层(FC)和输出层。该模型 的学习率设为0.0005，批量数为20。每层卷积层中使用ReLU激活函数，卷积 核的滑动步长均为[1,1,1]，三层卷积层中卷积核核的数量分别为4、8、16。第 一层卷积层后的挤压激励模块(SE-Block)中，全局平均池大小[1,1,1]；第 一个全连接层神经元个数为2，即降维系数r为2，使用ReLU激活函数；第二 个全连接层神经元个数为4，使用Sigmoid激活函数；第二层全连接层后的挤 压激励模块(SE-Block)中，第一个完全连接层(FC)的神经元数为4，即降 维系数r为2；使用ReLU激活函数；第二个全连接层神经元个数为8，使用 Sigmoid激活函数；最终的全连接层使用ReLU激活功能，且丢弃率为0.5。表 3显示了这两套数据集的网络结构。
表3.两套数据集的网络结构
Figure BDA0002447659370000131
3)实例结果
表4为巴芬湾数据中本专利的方法与其他分类方法分类结果对比，每种算 法均在随机选择样本下进行5次，实验结果形式为平均值(保留两位有效数字)。 从表4可以看出，相比其他算法，本专利所提出的算法获得了最好的分类结果。 这表明深度学习方法可以深入探索多/高光谱海冰空间光谱特征之间的内在联 系，更好地提取不同类型海冰的典型特征，并在小样本条件下实现更高的分类 性能。当每个类别随机选择5个，10个和15个样本为训练样本时，分类准确 率可分别达到94.55％，95.95％，96.31％。从表4中可以看出，支持向量机 (SVM)分类精度通常较低，这表明深度学习算法通常比浅层学习算法获得更 好的分类结果。孪生卷积网络(Siamese)方法的精度最低，因为孪生卷积网 络(Siamese)方法具有双卷积网络结构，更适用于较多分类的图像分类。与 卷积神经网络(CNN)方法相比，卷积神经网络-支持向量机(CNN-SVM)可以获 得比卷积神经网络(CNN)自带的Softmax分类器更好的分类结果。本文提出 的方法考虑了样本量少和光谱之间相关性复杂的问题，使用三维卷积神经网络 (3D-CNN)提取不同类型的海冰特征，并结合挤压激励模块(SE-Block)优化各个光谱特征的权重，进一步区分了光谱特征对海冰分类的贡献，最后将支持 向量机(SVM)分类模型用于海冰分类，提高了海冰类别之间的可分离性，并 获得了更好的分类性能。例如，当随机选择20个样本作为训练样本时，分类 准确率为96.31％，比孪生卷积网络(Siamese)方法，支持向量机(SVM)，卷 积神经网络(CNN)方法和卷积神经网络-支持向量机(CNN-SVM)方法分别高 14.19％，4.26％，2.28％，1.39％。
图3a-3f为对应的分类结果图像，其中图3a为合成图像，图3b至图3f 分别为支持向量机(SVM)、孪生卷积神经网络(Siamese)、三维卷积神经网络 (3D-CNN)、卷积神经网络-支持向量机(CNN-SVM)、及本专利采用方法的分类结 果图。从分类结果图上看，本专利所提出方法的分类结果可有效地消除噪声点， 令分类结果图更加平滑，对不同类别边缘区域的区分更加精准。
表4.格林兰岛数据集的分类结果(％)
Figure BDA0002447659370000151
表5为辽东湾数据中本专利的方法与其他分类方法分类结果对比，每种算 法均在随机选择样本下进行5次，实验结果形式为平均值(保留两位有效数字)。 从表5可以看出，相比其他算法，本专利所提出的算法获得了最好的分类结果。 从表5可以看出，该方法在小样本情况下具有较高的分类性能。当为每类随 机选择5个、10个和15个样本作为训练样本时，分类精度分别达到96.45％， 96.99％和97.16％。当每个班级随机选择15个训练样本时，挤压激励-卷积 神经网络-支持向量机(SE-CNN-SVM)方法比孪生卷积网络(Siamese)方法高 12.49％；比支持向量机(SVM)方法高6.22％，比卷积神经网络(CNN)方法 高3.10％；比卷积神经网络-支持向量机(CNN-SVM)方法高1.88％。
图4a-4f为对应的分类结果图像，其中图4a为合成图像，图4b至图4f 分别为支持向量机(SVM)、孪生卷积神经网络(Siamese)、三维卷积神经网络 (3D-CNN)、卷积神经网络-支持向量机(CNN-SVM)、及本专利采用方法的分类结 果图。
表5.辽东湾数据集的分类结果(％)
Figure BDA0002447659370000161
上述的实施例仅例示性说明本发明创造的原理及其功效，以及部分运用的 实施例，而非用于限制本发明；应当指出，对于本领域的普通技术人员来说， 在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于 本发明的保护范围。

Claims (6)

1.一种基于卷积神经网络的遥感的海冰图像分类方法，其特征是，包括以下步骤：
步骤一、通过原始遥感图像获得原始数据；将原始数据进行预处理，预处理过程具体包括有：将选择的样本库数据根据网络输入要求处理为K×K×B的数据块，其中K为像素块的空间维大小且取3-19中的任意奇数，B为遥感图像的波段数；
步骤二、原始数据通过人工标记选择一部分样本作为样本库；
步骤三、将输入数据根据设定策略在样本库中随机选择训练样本，并将其余数据作为测试样本；
步骤四、通过训练样本对预建的三维卷积神经网络3D-CNN模型进行训练和特征提取，然后通过插入三维卷积神经网络3D-CNN的挤压激励模块SE-Block对提取的特征进行权重调整，并通过测试样本对训练完成后的挤压激励-卷积神经网络SE-CNN模型进行测试；
步骤五、将样本库经过挤压激励-卷积神经网络SE-CNN保存的样本特征输入支持向量机SVM进行二次训练后分类，并对比标注好的标签样本计算得到分类精度；
步骤六、通过训练测试后的挤压激励-卷积神经网络-支持向量机(SE-CNN-SVM)网络模型对高光谱遥感图像进行检测分类。
2.根据权利要求1所述的基于卷积神经网络的遥感的海冰图像分类方法，其特征是，所述的挤压激励-卷积神经网络SE-CNN模型为8层网络结构，分别为输入层，第一层卷积层CONV1，第一挤压激励模块SE-Block，第二层卷积层CONV2，第二挤压激励模块SE-Block，第三层卷积层CONV3，全连接层(FC)和输出层；
所述步骤四的具体操作包括：
步骤(1)每次从训练样本中随机输入设定数量的训练样本到预先建立好的CNN网络的第一卷积层中进行训练；
步骤(2)第一挤压激励模块将第一层卷积层训练得到的特征进行全局平均池化，即挤压Squeeze操作；然后将挤压Squeeze后的特征通过输入第一挤压激励模块内的第一全连阶层进行降维，然后经过ReLU激活函数，再经过第一挤压激励模块内的第二全连阶层进行升维，然后再通过Sigmoid进行权重激活，即激励Excitation操作；将激励Excitation的输出的权重看作是经过特征选择后的每个特征通道的重要性，然后通过乘法逐通道加权到先前的特征上，完成在通道维度上的对原始特征的重标定；
步骤(3)将经过第一挤压激励模块SE-Block调整权重后的特征输入第二层卷积层中进行训练；
步骤(4)第二挤压激励模块将第二层卷积层训练得到的特征进行全局平均池化，即挤压Squeeze操作；然后将挤压Squeeze后的特征通过输入第二挤压激励模块内的第一全连阶层进行降维，然后经过ReLU激活函数，再经过第二挤压激励模块内的第二全连阶层进行升维，然后再通过Sigmoid进行权重激活，即激励Excitation操作；将激励Excitation的输出的权重看作是经过特征选择后的每个特征通道的重要性，然后通过乘法逐通道加权到先前的特征上，完成在通道维度上的对原始特征的重标定；
步骤(5)将步骤(4)中经过第二挤压激励模块SE-Block调整权重后的特征输入第三层卷积层，将该特征经训练拉伸为一维向量；
步骤(6)将转换后的一维向量输入到全连接层，将卷积过程中提取的局部特征映射融合，经Softmax交叉熵函数计算损失率后，通过反向传播计算每个参数的梯度，利用Adam算法动态地更新网络参数；
步骤(7)将测试样本输入训练好的网络中，得到预测标签；
步骤(8)依次针对各批次样本进行训练，重复步骤(1)-(6)，直到网络收敛，完成网络训练过程；并保存训练样本和测试样本经过网络训练得到的特征。
3.根据权利要求2所述的基于卷积神经网络的遥感的海冰图像分类方法，其特征是，
所述步骤(2)中将第一层卷积层得到的特征进行全局平均池化，即挤压Squeeze操作；其公式为
Figure FDA0002447659360000031
所述步骤(4)中将第二层卷积层得到的特征进行全局平均池化，即挤压Squeeze操作；其公式为
Figure FDA0002447659360000032
4.根据权利要求2所述的基于卷积神经网络的遥感的海冰图像分类方法，其特征是，
所述步骤(2)及步骤(4)中通过Sigmoid进行权重激活，即激励Excitation操作；其公式都为zc＝Fex(z，W)＝σ(g(z，W))＝σ(W2δ(W1z))，其中σ表示Sigmoid函数，δ表示修正线性单元ReLU函数。
5.根据权利要求2所述的基于卷积神经网络的遥感的海冰图像分类方法，其特征是，
所述步骤(2)及步骤(4)中将激励Excitation的输出的权重看作是经过特征选择后的每个特征通道的重要性，然后通过乘法逐通道加权到先前的特征上，完成在通道维度上的对原始特征的重标定，其公式都为
Figure FDA0002447659360000041
其中，
Figure FDA0002447659360000042
和Fscale(uc，sc)表示标量sc和特征图uc∈RH×W之间的对应通道乘积。
6.根据权利要求1所述的基于卷积神经网络的遥感的海冰图像分类方法，其特征是，所述步骤五中将样本库经过挤压激励-卷积神经网络SE-CNN保存的样本特征输入支持向量机SVM进行二次训练后分类，其具体过程包括：将保留的经过权重调整后的训练样本特征和测试样本特征进行归一化；选择径向基函数RBF并使用网格寻优法对参数c,g进行寻优；使用寻优后的结果使用支持向量机SVM分类器进行二次训练后分类。
CN202010283629.7A 2020-04-13 2020-04-13 基于卷积神经网络的遥感的海冰图像分类方法 Active CN111652038B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010283629.7A CN111652038B (zh) 2020-04-13 2020-04-13 基于卷积神经网络的遥感的海冰图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010283629.7A CN111652038B (zh) 2020-04-13 2020-04-13 基于卷积神经网络的遥感的海冰图像分类方法

Publications (2)

Publication Number Publication Date
CN111652038A true CN111652038A (zh) 2020-09-11
CN111652038B CN111652038B (zh) 2023-03-03

Family

ID=72344045

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010283629.7A Active CN111652038B (zh) 2020-04-13 2020-04-13 基于卷积神经网络的遥感的海冰图像分类方法

Country Status (1)

Country Link
CN (1) CN111652038B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102324A (zh) * 2020-09-17 2020-12-18 中国科学院海洋研究所 一种基于深度U-Net模型的遥感图像海冰识别方法
CN112215291A (zh) * 2020-10-19 2021-01-12 中国计量大学 级联神经网络下医学图像特征提取和分类方法
CN112396089A (zh) * 2020-10-20 2021-02-23 中国地质大学（武汉） 基于lfgc网络和压缩激励模块的图像匹配方法
CN112560894A (zh) * 2020-11-16 2021-03-26 武汉光谷信息技术股份有限公司 一种改进型3d卷积网络高光谱遥感影像分类方法及装置
CN112651927A (zh) * 2020-12-03 2021-04-13 北京信息科技大学 一种基于卷积神经网络与支持向量机的拉曼光谱智能识别方法
CN112700489A (zh) * 2020-12-30 2021-04-23 武汉大学 基于深度学习的船基视频图像海冰厚度测量方法及系统
CN112729562A (zh) * 2021-01-26 2021-04-30 河南工业大学 基于改进u型卷积神经网络的海冰分布探测方法
CN112862672A (zh) * 2021-02-10 2021-05-28 厦门美图之家科技有限公司 刘海生成方法、装置、计算机设备和存储介质
CN112906645A (zh) * 2021-03-15 2021-06-04 山东科技大学 一种sar数据和多光谱数据融合的海冰目标提取方法
CN112990088A (zh) * 2021-04-08 2021-06-18 昆明理工大学 一种基于cnn模型嵌入的遥感图像小样本分类方法
CN113327621A (zh) * 2021-06-09 2021-08-31 携程旅游信息技术（上海）有限公司 模型训练方法、用户识别方法、系统、设备及介质
CN114758256A (zh) * 2022-04-18 2022-07-15 云南这里信息技术有限公司 烟田杂草识别方法、装置、设备及存储介质
CN115546735A (zh) * 2022-11-28 2022-12-30 四川川锅环保工程有限公司 一种冷却塔结冰检测识别系统、方法和存储介质
CN116595208A (zh) * 2023-07-17 2023-08-15 云南大学 高光谱图像的分类方法、装置及电子设备
CN116682027A (zh) * 2023-08-01 2023-09-01 中国科学院空天信息创新研究院 基于MobileNet的SAR海冰图像分类方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105957086A (zh) * 2016-05-09 2016-09-21 西北工业大学 一种基于优化神经网络模型的遥感图像变化检测方法
CN109344891A (zh) * 2018-09-21 2019-02-15 北京航空航天大学 一种基于深度神经网络的高光谱遥感数据分类方法
CN109815859A (zh) * 2019-01-10 2019-05-28 中交信息技术国家工程实验室有限公司 一种低等级道路自动提取及变化分析方法
US20190273948A1 (en) * 2019-01-08 2019-09-05 Intel Corporation Method and system of neural network loop filtering for video coding
CN110309811A (zh) * 2019-07-10 2019-10-08 哈尔滨理工大学 一种基于胶囊网络的高光谱图像分类方法
CN110321963A (zh) * 2019-07-09 2019-10-11 西安电子科技大学 基于融合多尺度多维空谱特征的高光谱图像分类方法
CN110363071A (zh) * 2019-05-31 2019-10-22 上海海洋大学 一种协同主动学习和直推式支持向量机的海冰检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105957086A (zh) * 2016-05-09 2016-09-21 西北工业大学 一种基于优化神经网络模型的遥感图像变化检测方法
CN109344891A (zh) * 2018-09-21 2019-02-15 北京航空航天大学 一种基于深度神经网络的高光谱遥感数据分类方法
US20190273948A1 (en) * 2019-01-08 2019-09-05 Intel Corporation Method and system of neural network loop filtering for video coding
CN109815859A (zh) * 2019-01-10 2019-05-28 中交信息技术国家工程实验室有限公司 一种低等级道路自动提取及变化分析方法
CN110363071A (zh) * 2019-05-31 2019-10-22 上海海洋大学 一种协同主动学习和直推式支持向量机的海冰检测方法
CN110321963A (zh) * 2019-07-09 2019-10-11 西安电子科技大学 基于融合多尺度多维空谱特征的高光谱图像分类方法
CN110309811A (zh) * 2019-07-10 2019-10-08 哈尔滨理工大学 一种基于胶囊网络的高光谱图像分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIAN LI: "Deep_Feature_Fusion_via_Two-Stream_Convolutional_Neural_Network_for_Hyperspectral_Image_Classification", 《IEEE》 *
韩彦岭: "主动学习与半监督技术相结合的海冰图像分类", 《遥感信息》 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102324B (zh) * 2020-09-17 2021-06-18 中国科学院海洋研究所 一种基于深度U-Net模型的遥感图像海冰识别方法
CN112102324A (zh) * 2020-09-17 2020-12-18 中国科学院海洋研究所 一种基于深度U-Net模型的遥感图像海冰识别方法
CN112215291A (zh) * 2020-10-19 2021-01-12 中国计量大学 级联神经网络下医学图像特征提取和分类方法
CN112396089A (zh) * 2020-10-20 2021-02-23 中国地质大学（武汉） 基于lfgc网络和压缩激励模块的图像匹配方法
CN112396089B (zh) * 2020-10-20 2023-04-07 中国地质大学（武汉） 基于lfgc网络和压缩激励模块的图像匹配方法
CN112560894A (zh) * 2020-11-16 2021-03-26 武汉光谷信息技术股份有限公司 一种改进型3d卷积网络高光谱遥感影像分类方法及装置
CN112651927A (zh) * 2020-12-03 2021-04-13 北京信息科技大学 一种基于卷积神经网络与支持向量机的拉曼光谱智能识别方法
CN112700489A (zh) * 2020-12-30 2021-04-23 武汉大学 基于深度学习的船基视频图像海冰厚度测量方法及系统
CN112729562A (zh) * 2021-01-26 2021-04-30 河南工业大学 基于改进u型卷积神经网络的海冰分布探测方法
CN112729562B (zh) * 2021-01-26 2022-08-26 河南工业大学 基于改进u型卷积神经网络的海冰分布探测方法
CN112862672A (zh) * 2021-02-10 2021-05-28 厦门美图之家科技有限公司 刘海生成方法、装置、计算机设备和存储介质
CN112862672B (zh) * 2021-02-10 2024-04-16 厦门美图之家科技有限公司 刘海生成方法、装置、计算机设备和存储介质
CN112906645A (zh) * 2021-03-15 2021-06-04 山东科技大学 一种sar数据和多光谱数据融合的海冰目标提取方法
CN112990088A (zh) * 2021-04-08 2021-06-18 昆明理工大学 一种基于cnn模型嵌入的遥感图像小样本分类方法
CN113327621A (zh) * 2021-06-09 2021-08-31 携程旅游信息技术（上海）有限公司 模型训练方法、用户识别方法、系统、设备及介质
CN114758256A (zh) * 2022-04-18 2022-07-15 云南这里信息技术有限公司 烟田杂草识别方法、装置、设备及存储介质
CN115546735A (zh) * 2022-11-28 2022-12-30 四川川锅环保工程有限公司 一种冷却塔结冰检测识别系统、方法和存储介质
CN115546735B (zh) * 2022-11-28 2023-03-10 四川川锅环保工程有限公司 一种冷却塔结冰检测识别系统、方法和存储介质
CN116595208A (zh) * 2023-07-17 2023-08-15 云南大学 高光谱图像的分类方法、装置及电子设备
CN116595208B (zh) * 2023-07-17 2023-10-13 云南大学 高光谱图像的分类方法、装置及电子设备
CN116682027A (zh) * 2023-08-01 2023-09-01 中国科学院空天信息创新研究院 基于MobileNet的SAR海冰图像分类方法及装置
CN116682027B (zh) * 2023-08-01 2023-11-03 中国科学院空天信息创新研究院 基于MobileNet的SAR海冰图像分类方法及装置

Also Published As

Publication number Publication date
CN111652038B (zh) 2023-03-03

Similar Documents

Publication Publication Date Title
CN111652038B (zh) 基于卷积神经网络的遥感的海冰图像分类方法
CN111860612B (zh) 无监督高光谱图像隐低秩投影学习特征提取方法
CN111368896B (zh) 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法
CN111914907B (zh) 一种基于深度学习空谱联合网络的高光谱图像分类方法
Huang et al. Hyperspectral remote sensing image change detection based on tensor and deep learning
CN107590515B (zh) 基于熵率超像素分割的自编码器的高光谱图像分类方法
CN109684922B (zh) 一种基于卷积神经网络的多模型对成品菜的识别方法
CN110728192A (zh) 一种基于新型特征金字塔深度网络的高分遥感图像分类方法
CN110533077B (zh) 用于高光谱图像分类的形状自适应卷积深度神经网络方法
Liu et al. Remote sensing image change detection based on information transmission and attention mechanism
CN109858557B (zh) 一种新的高光谱图像数据半监督分类方法
CN111639587B (zh) 基于多尺度谱空卷积神经网络的高光谱图像分类方法
CN105046276A (zh) 基于低秩表示的高光谱图像波段选择方法
CN110110596A (zh) 高光谱图像特征提取、分类模型构建及分类方法
CN112115795B (zh) 一种基于Triple GAN的高光谱图像分类方法
CN114842264A (zh) 一种基于多尺度空谱特征联合学习的高光谱图像分类方法
CN114299398B (zh) 一种基于自监督对比学习的小样本遥感图像分类方法
CN111639697B (zh) 基于非重复采样与原型网络的高光谱图像分类方法
CN113837314A (zh) 一种基于混合卷积神经网络的高光谱图像分类方法
CN111563577B (zh) 基于Unet的跳跃层分频和多尺度鉴别的本征图像分解方法
CN115222994A (zh) 一种基于混合光谱网络和多头自注意力机制的高光谱图像分类方法
CN111680579A (zh) 一种自适应权重多视角度量学习的遥感图像分类方法
Roy et al. Classification of massive noisy image using auto-encoders and convolutional neural network
CN112818920B (zh) 一种双时相高光谱图像空谱联合变化检测方法
Zhu et al. Rggid: A robust and green gan-fake image detector

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant