CN114092794A - 一种海冰图像分类方法、系统、介质、设备及处理终端 - Google Patents

一种海冰图像分类方法、系统、介质、设备及处理终端 Download PDF

Info

Publication number
CN114092794A
CN114092794A CN202111388962.5A CN202111388962A CN114092794A CN 114092794 A CN114092794 A CN 114092794A CN 202111388962 A CN202111388962 A CN 202111388962A CN 114092794 A CN114092794 A CN 114092794A
Authority
CN
China
Prior art keywords
data
classification
fusion
feature
inputting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111388962.5A
Other languages
English (en)
Inventor
韩彦岭
沈航
王静
张云
周汝雁
洪中华
杨树瑚
潘海燕
马振玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Ocean University
Original Assignee
Shanghai Ocean University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Ocean University filed Critical Shanghai Ocean University
Priority to CN202111388962.5A priority Critical patent/CN114092794A/zh
Publication of CN114092794A publication Critical patent/CN114092794A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于海冰检测技术领域，公开了一种海冰图像分类方法、系统、介质、设备及处理终端，所述海冰图像分类方法包括：对原始图像进行预处理以去除原始图像中的冗余信息和噪声；根据加拿大冰况图在处理过后的图像中提取标签样本；利用卷积神经网络分别提取多源图像的特征信息；将提取到的特征信息进行拼接融合；将融合特征输入SE模块中进行特征级的权重标定；将融合特征输入全连接层进行深度融合并得到分类结果；通过总体分类精度和Kappa系数评估分类结果。本发明通过特征融合实现SAR数据和MSI数据特性的互补，充分挖掘和深度融合异源数据的多层次特征，通过引入SE模块增强模型对特征的识别能力，有效提高模型的特征表达能力。

Description

一种海冰图像分类方法、系统、介质、设备及处理终端
技术领域
本发明属于海冰检测技术领域，尤其涉及一种海冰图像分类方法、系统、介质、设备及处理终端。
背景技术
目前，世界上大约有5％～8％的海洋面积被海冰所覆盖，海冰是高纬度地区突出的海洋灾害。一方面海冰会对全球气候、热量平衡和水量平衡产生重要影响，另一方面海冰会对船舶航行、海底采矿以及极地海洋考察等形成重要障碍。因此，海冰检测具有重要研究意义。海冰图像分类作为海冰检测的重要组成部分，准确高效地提取海冰的类型，对评估海冰状况以及预报海冰灾害等都具有重要意义。
随着遥感技术的发展，可用于海冰分类任务的遥感数据也逐渐变得多元化。目前广泛用于海冰分类的遥感数据包括合成孔径雷达(Synthetic Aperture Radar，SAR)图像，具有高空间分辨率和高光谱分辨率的光学遥感图像等。SAR是一种主动式的对地观测系统，可以实现全天时的对地观测，且SAR在工作过程中不受天气和云雾的影响。利用SAR图像中丰富的纹理信息进行海冰分类已在许多研究中取得较好的效果，但是SAR图像通常只包含单个波段，仅根据SAR数据很难区分出详细的海冰类型。光学图像通常包含几十到上百个同一场景的光谱数据通道，即在光学图像中不仅包含地物的空间信息还包含了丰富的光谱信息，实现了空间-光谱特征的有机融合。因此利用光学数据进行海冰分类可以获得较高的分类精度。但是使用光学数据进行海冰分类时很难分辨出具有相似光谱特征的不同海冰类型，且光学遥感数据极易受到恶劣天气和云雾遮挡的影响。综合上述分析，目前海冰分类研究大多基于单源遥感数据，而单一的遥感数据很难提供全面的、准确的海冰特征，从而很难提高海冰的分类精度。因此，充分融合SAR数据的纹理特征和光学数据的空间-光谱特征，能进一步提高解译精度和可信度，改善分类效果，弥补单源数据的局限性。
数据融合根据不同层次可以分为像素级融合、特征级融合和决策级融合。SAR影像和光学影像为异构数据，且都包含丰富的特征信息，因此更适合进行特征级融合。基于特征级的遥感数据融合分类任务一般可以分为特征提取、特征融合和分类三个关键步骤，而特征提取是整个任务中至关重要的环节，提取到的特征信息是否充分、准确直接关系到最终分类的准确性。一些基于传统特征提取方法的遥感数据融合分类方法已在相关文献中进行研究，且取得了不错的效果，但传统特征提取方法普遍存在一些问题，如传统的特征提取方法大多基于手工特征，高度依赖于先验知识，且大多数传统方法为浅层学习模型，难以充分利用到原始图像的特征表示。近年来，深度学习得到迅猛发展，因其强大的特征表示功能被广泛应用于计算机视觉，自然语言处理等领域。卷积神经网络(CNN)是深度学习的代表算法之一，具有出色的图像处理能力，已被广泛应用于遥感图像融合的特征提取任务当中。
通过上述分析，现有技术存在的问题及缺陷为：
(1)目前海冰分类研究大多基于单源遥感数据，而单一的遥感数据很难提供全面的、准确的海冰特征，从而很难提高海冰的分类精度。
(2)传统特征提取方法大多基于手工特征，高度依赖于先验知识，且大多数传统方法为浅层学习模型，难以充分利用到原始图像的特征表示。
解决以上问题及缺陷的难度为：第一，针对单源遥感数据进行海冰分类时所存在的缺陷，理论上利用成像方式不同的异构数据为海冰分类提供多角度的特征可以解决此问题，但目前获取同时间下覆盖区域相同的多源遥感数据仍然存在困难，实现多源海冰遥感数据的配准及同时利用也存在一定的挑战。第二，如何构建高效的模型实现多源遥感数据的充分融合，为海冰分类提供全面、准确的特征信息以获取更加准确的海冰分类结果。
解决以上问题及缺陷的意义为：利用高效的卷积神经网络模型实现多源遥感数据特征信息的融合可以获得更高的海冰分类精度，尤其为云雾天气影响时的海冰检测提供更加高效准确的技术手段。同时，深度学习及多源遥感数据融合方法也可以为其他研究领域中的相关任务提供新的思路。
发明内容
针对现有技术存在的问题，本发明提供了一种海冰图像分类方法、系统、介质、设备及处理终端，尤其涉及一种基于DenseNet和多源遥感数据融合的海冰图像分类方法、系统、介质、设备及处理终端，旨在解决单源数据在海冰分类任务中无法提供充分的特征信息以及云雾等因素对图像质量造成影响从而影响海冰分类精度的问题。
本发明是这样实现的，一种海冰图像分类方法，所述海冰图像分类方法，包括：
对原始图像进行预处理以去除原始图像中的冗余信息和噪声；根据加拿大冰况图在处理过后的图像中提取标签样本；利用卷积神经网络分别提取多源图像的特征信息；将提取到的特征信息进行拼接融合；将融合特征输入SE模块中进行特征级的权重标定；将融合特征输入全连接层进行深度融合并得到分类结果；通过总体分类精度和Kappa系数评估分类结果。
进一步，所述海冰图像分类方法包括以下步骤：
步骤一，在欧空局官方网站ESA上获取相同时间覆盖区域相同的SAR数据和MSI数据；
步骤二，利用SNAP软件和ENVI软件对获取到的原始SAR数据和MSI数据进行预处理；
步骤三，根据加拿大冰中心提供的冰况图选取标签数据，将选定的标签数据按照一定比例划分为训练集和测试集；
步骤四，将SAR数据和MSI数据中对应的训练样本分别输入2D-TC-DenseNet和3D-TC-DenseNet进行特征提取；
步骤五，将提取到的特征信息进行拼接融合得到融合特征，并将融合特征输入到SE模型中进行特征通道级的权重标定；
步骤六，将融合特征展开成特征向量并输入到全连接层中进行特征的深度融合并得到分类结果；
步骤七，使用总体分类精度OA、平均分类精度AA和Kappa系数对分类结果进行评估。
进一步，步骤二中，所述利用SNAP软件和ENVI软件对获取到的原始SAR数据和MSI数据进行预处理，包括：
(1)使用SNAP软件对SAR数据依次进行轨道校正、热噪声去除、辐射定标、相干斑滤波、地形校正和重采样；
(2)使用SNAP软件对MSI数据依次进行大气校正、辐射定标、主成分分析和重采样；
(3)使用ENVI软件对SAR数据和MSI数据进行配准及裁剪操作。
进一步，步骤四中，所述TC-DenseNet即为双卷积层密集连接网络，是在DenseNet基础上提出的改进模型，即在网络中密集块的每层中添加一次卷积操作，用于增强网络的特征提取能力和非线性特性。
进一步，步骤四中，所述将SAR数据和MSI数据中对应的训练样本分别输入2D-TC-DenseNet和3D-TC-DenseNet进行特征提取，包括：
(1)在SAR数据中以标签样本点为中心取其周围P×P范围的数据块作为输入数据输入到2D-TC-DenseNet提取特征信息；
(2)在MSI数据以相同位置的标签样本点为中心取P×P×B大小的数据块作为输入数据输入到3D-TC-DenseNet中进行特征提取，B为MSI数据的波段书；
(3)将提取到的SAR数据的特征图和MSI数据的特征图以拼接的方式形成融合特征。
进一步，步骤五中，所述将融合特征输入到SE模型中进行特征通道级的权重标定，包括：
(1)对融合特征进行Squeeze操作，得到通道级的全局特征；
(2)对Squeeze操作得到的全局特征进行Excitation操作，得到与原始特征图对应的权重向量；
(3)利用Excitation操作得到的权重向量与原始特征图相乘得到最终结果。
本发明的另一目的在于提供一种应用所述的海冰图像分类方法的海冰图像分类系统，所述海冰图像分类系统包括：
数据获取模块，用于在欧空局官方网站ESA上获取相同时间覆盖区域相同的SAR数据和MSI数据；
数据预处理模块，用于利用SNAP软件和ENVI软件对获取到的原始SAR数据和MSI数据进行预处理；
标签数据划分模块，用于根据加拿大冰中心提供的冰况图选取标签数据，将选定的标签数据按照一定比例划分为训练集和测试集；
特征提取模块，用于将SAR数据和MSI数据中对应的训练样本分别输入2D-TC-DenseNet和3D-TC-DenseNet进行特征提取；
权重标定模块，用于将提取到的特征信息进行拼接融合得到融合特征，并将融合特征输入到SE模型中进行特征通道级的权重标定；
特征深度融合模块，用于将融合特征展开成特征向量并输入到全连接层中进行特征的深度融合并得到分类结果；
分类结果评估模块，用于使用总体分类精度OA、平均分类精度AA和Kappa系数对分类结果进行评估。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
对原始图像进行预处理以去除原始图像中的冗余信息和噪声；根据加拿大冰况图在处理过后的图像中提取标签样本；利用卷积神经网络分别提取多源图像的特征信息；将提取到的特征信息进行拼接融合；将融合特征输入SE模块中进行特征级的权重标定；将融合特征输入全连接层进行深度融合并得到分类结果；通过总体分类精度和Kappa系数评估分类结果。
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
对原始图像进行预处理以去除原始图像中的冗余信息和噪声；根据加拿大冰况图在处理过后的图像中提取标签样本；利用卷积神经网络分别提取多源图像的特征信息；将提取到的特征信息进行拼接融合；将融合特征输入SE模块中进行特征级的权重标定；将融合特征输入全连接层进行深度融合并得到分类结果；通过总体分类精度和Kappa系数评估分类结果。
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的海冰图像分类系统。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的海冰图像分类方法，充分融合了多源遥感数据中的海冰特征信息，解决了单源数据海冰分类方法对海冰分类精度提高的限制，同时所提出方法提高了光学图像中含云区域的海冰类别的识别精度。
本发明提供的基于DenseNet和多源遥感数据融合融合的海冰分类方法，可以实现多源遥感数据的有机融合，且可以有效提高云下区域的海冰分类精度；DenseNet通过建立网络中各层与损失函数的直接连接，有效的解决了卷积神经网络模型中的梯度消失问题，同时加强了浅层特征在网络中的传递和重用；SE模块可以有效筛选出融合中的冗余或非重要特征，为最后的海冰分类提供充分、准确的特征信息，从而提高海冰分类的准确率。
本发明充分融合了SAR数据和MSI数据的特征信息。遥感海冰分类中由于单源数据的局限性使得海冰分类精度难以获得进一步提升，本发明提出了一种用于SAR影像和光学影像进行异源数据融合的遥感海冰图像分类方法，通过特征融合实现了SAR数据和MSI数据特性的互补，解决了单独采用SAR影像进行海冰分类时特征表示不足的问题，以及单独采用光学数据进行海冰分类时由于云雾干扰导致的分类精度偏低问题。本发明提出了基于改进的DenseNet的双分支结构用于多源数据的特征提取，充分挖掘和深度融合异源数据的多层次特征，通过引入SE模块增强模型对特征的识别能力，有效提高了模型的特征表达能力，提升了海冰分类精度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的海冰图像分类方法流程图。
图2是本发明实施例提供的海冰图像分类方法原理图。
图3是本发明实施例提供的海冰图像分类系统结构框图；
图中：1、数据获取模块；2、数据预处理模块；3、标签数据划分模块；4、特征提取模块；5、权重标定模块；6、特征深度融合模块；7、分类结果评估模块。
图4是本发明实施例提供的输入数据的尺寸对分类精度的影响示意图。
图5是本发明实施例提供的卷积核尺寸对分类精度的影响示意图。
图6是本发明实施例提供的网络中卷积层包含的卷积核个数对分类精度的影响示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种海冰图像分类方法、系统、介质、设备及处理终端，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的海冰图像分类方法包括以下步骤：
S101，在欧空局官方网站ESA上获取相同时间覆盖区域相同的SAR数据和MSI数据；
S102，利用SNAP软件和ENVI软件对获取到的原始SAR数据和MSI数据进行预处理；
S103，根据加拿大冰中心提供的冰况图选取标签数据，将选定的标签数据按照一定比例划分为训练集和测试集；
S104，将SAR数据和MSI数据中对应的训练样本分别输入2D-TC-DenseNet和3D-TC-DenseNet进行特征提取；
S105，将提取到的特征信息进行拼接融合得到融合特征，并将融合特征输入到SE模型中进行特征通道级的权重标定；
S106，将融合特征展开成特征向量并输入到全连接层中进行特征的深度融合并得到分类结果；
S107，使用总体分类精度OA、平均分类精度AA和Kappa系数对分类结果进行评估。
本发明实施例提供的海冰图像分类方法原理图如图2所示。
如图3所示，本发明实施例提供的海冰图像分类系统包括：
数据获取模块1，用于在欧空局官方网站ESA上获取相同时间覆盖区域相同的SAR数据和MSI数据；
数据预处理模块2，用于利用SNAP软件和ENVI软件对获取到的原始SAR数据和MSI数据进行预处理；
标签数据划分模块3，用于根据加拿大冰中心提供的冰况图选取标签数据，将选定的标签数据按照一定比例划分为训练集和测试集；
特征提取模块4，用于将SAR数据和MSI数据中对应的训练样本分别输入2D-TC-DenseNet和3D-TC-DenseNet进行特征提取；
权重标定模块5，用于将提取到的特征信息进行拼接融合得到融合特征，并将融合特征输入到SE模型中进行特征通道级的权重标定；
特征深度融合模块6，用于将融合特征展开成特征向量并输入到全连接层中进行特征的深度融合并得到分类结果；
分类结果评估模块7，用于使用总体分类精度OA、平均分类精度AA和Kappa系数对分类结果进行评估。
下面结合具体实施例对本发明的技术方案作进一步描述。
如图2所示，本发明实施例提供的基于DenseNet和多源遥感图像融合的海冰图像分类方法，包括以下步骤：
在数据预处理阶段，首先通过欧空局官方网站(ESA)获取相同时间覆盖区域相同的Synthetic Aperture Radar(SAR)数据和Multispectral Image(MSI)数据，再使用SNAP软件对SAR数据依次进行轨道校正、热噪声去除、辐射定标、相干斑滤波、地形校正、重采样；对MSI数据依次进行大气校正、辐射定标、主成分分析、重采样；最后利用ENVI软件对SAR数据和MSI数据进行配准和裁剪。
在选取标签数据阶段，首先从加拿大冰中心官方网站获取与数据时间相同的冰况图和冰绘制线，再根据下载的冰况图和冰绘制线利用ENVI软件选取并制作标签样本，在SAR数据中以选取的标签样本点为中心取其周围P×P范围的像素块作为最终的输入数据，在MSI数据中以选取的标签样本点为中心取其周围P×P×B(其中B表示MSI数据的波段数)范围的数据块作为最终的输入数据。最后根据一定比例将选取的标签样本划分为训练样本和测试样本。
在特征提取阶段，根据SAR数据和MSI数据的数据性质，将SAR数据和MSI数据的标签样本数据分别输入2D-TC-DenseNet和3D-DenseNet(TC-DenseNet，即双卷积层密集连接网络，为本发明在DenseNet基础上提出的改进模型，即在网络中密集块的每层中添加一次卷积操作，增强网络的特征提取能力和非线性特性)提取其特征信息，其中2D-TC-DenseNet和3D-DenseNet均由两个密集卷积块及一个转换层组成。
在数据融合与分类阶段，首先将特征提取阶段得到的SAR数据和MSI数据的特征表示通过拼接的方式得到融合特征，再将融合特征输入到SE模块中进行特征的权重标定，其具体步骤为：对融合特征进行Squeeze操作，得到通道级的全局特征；对Squeeze操作得到的全局特征进行Excitation操作，得到与原始特征图对应的权重向量；最后，利用Excitation操作得到的权重向量与原始特征图相乘得到最终结果。再将SE模块得到的融合特征输入2D-TC-DenseNet块中进行全局特征提取，保证特征的准确性和全面性，最后将得到的融合特征展开成一维的特征向量输入全连接层中进行特征的深度融合并得到分类结果。
在结果评价阶段，通过总体分类精度(OA)和Kappa系数对分类结果的准确率进行评估。
本发明充分融合了SAR数据和MSI数据的特征信息。遥感海冰分类中由于单源数据的局限性使得海冰分类精度难以获得进一步提升，本发明提出了一种用于SAR影像和光学影像进行异源数据融合的遥感海冰图像分类方法，通过特征融合实现了SAR数据和MSI数据特性的互补，解决了单独采用SAR影像进行海冰分类时特征表示不足的问题，以及单独采用光学数据进行海冰分类时由于云雾干扰导致的分类精度偏低问题。本发明提出了基于改进的DenseNet的双分支结构用于多源数据的特征提取，充分挖掘和深度融合异源数据的多层次特征，通过引入SE模块增强模型对特征的识别能力，有效提高了模型的特征表达能力，提升了海冰分类精度。
为详细表述本发明，下面举一个实例：
1)数据描述
本实例中所使用数据集的所属区域位于加拿大东北部的哈德逊湾，两套数据集均包含一幅SAR影像和一幅MSI影像，在同时间同区域内分别采集于哨兵1号卫星(Sentinel-1)和哨兵2号卫星(Sentinel-2)。实验数据通过欧空局官方网站(ESA)下载，其中SAR数据为Sentinel-1的GRD产品，MSI数据为Sentinel-2的L1C产品。第一套数据(data-1)采集于2020年2月6号，第二套数据(data-2)采集于2021年5月24号。为了验证本发明所提出方法在有云雾遮挡时的海冰检测能力，所选用的两套数据集中的MSI影像均有部分区域含有云层覆盖。表1和表2分别展示Data-1和Data-2中各个类别的训练样本数和测试样本数。
表1 Data-1中各个类别的训练样本数和测试样本数
类别 训练 测试
无冰 342 3082
一年薄冰 334 3009
灰白冰 265 2390
一年中厚冰 100 906
总数 1041 9387
表2 Data-2中各个类别的训练样本数和测试样本数
类别 训练 测试
海水 396 3565
灰冰 371 3341
灰白冰 259 2332
一年厚冰 403 3636
总数 1429 12874
2)实验设置
深度学习网络模型的分类性能与其网络结构的设计密切相关。本发明设计了2D-TC-DenseNet和3D-TC-DenseNet分别用于SAR数据和MSI数据的特征提取，在通过双分支网络提取数据特征之后将特征进行融合并将融合特征输入SE模块中进行融合特征的重标定，将重标定后的融合特征输入到2D-TC-DenseNet进行进一步的特征提取，最后将提取到的特征输入分类层进行分类。实验中网络模型的细节如表3所示，其中CONV2D_3×3表示卷积核大小为3×3的二维卷积，24表示输出特征图的维数，TC-Dense-layer2D_5×5表示卷积核大小为5×5的二维双卷积密集块，其详细结构如表4所示。
表3实验中网络模型的细节
Figure BDA0003368020630000121
表4网络模型的详细结构
TC-Dense-layer2D TC-Dense-layer3D
CONV2D_1×1 CONV3D_1×1×1
Batch Normalization Batch Normalization
ReLU ReLU
CONV2D_5×5 CONV3D_5×5×5
Batch Normalization Batch Normalization
ReLU ReLU
CONV2D_5×5 CONV3D_5×5×5
Batch Normalization Batch Normalization
ReLU ReLU
输入图像的尺寸是影响卷积神经网络分类性能的重要因素。本实例在其他参数都相同的情况下比较了不同输入图像尺寸对网络分类精度的影响。实验结果如图4所示，在输入图像尺寸由17×17增长到25×25的过程中在两套数据集上的总体分类精度都呈上升趋势，但是当输入图像尺寸继续增加到27×27时分类精度开始下降，说明随着输入图像尺寸的增大，即围绕样本点所选择的邻域块增大时，邻域块中可能存在与中心样本点类别不同的样本点，从而影响最终分类的准确性。因此，本实例的后续实验中将以尺寸为25×25的邻域块作为分类模型的输入。
卷积操作是卷积神经网络提取输入图像特征的主要方式，选取适当的卷积核尺寸对卷积神经网络模型分类精度的提升至关重要。本实例在其他参数一致的情况下对比了卷积核尺寸为3×3、5×5和7×7时模型的分类精度。分类结果如图5所示，从实验结果可以得出，当卷积核尺寸由3×3增加到5×5时，data-1数据集的总体分类精度由97.48％增长到了98.49％，data-2数据集的总体分类精度由98.13％增长到了98.58％，但是当卷积核尺寸继续增加到7×7时，两套数据集的分类精度都呈下降趋势，说明模型的分类精度并不会随着卷积核尺寸的增大而持续增加，当卷积核的尺寸增大到一定程度后，参数量的激增会影响模型的分类性能。因此，本实例的后续实验将采用尺寸为5×5的卷积核进行。
增长率是本发明所提出模型中控制每次特征提取得到的特征图数量的重要参数，选取适当的增长率不仅可以提升模型的分类精度还可以使得模型的参数量和计算量得到优化。本发明在其他参数相同的情况下对比了模型在不同增长率下的分类效果，分类结果如图6所示，当增长率取12时分类精度最高。因此，在本实例的后续实验中将增长率设置为12。
3)实例结果
为了验证本发明提出的融合分类框架的有效性，在实验中将本发明的融合框架的分类结果与基于单源数据的分类方法进行了海冰分类精度对比。表5和表6分别展示了不同模型在Data-1和Data-2数据集上的实验结果，其中2D-DN-SAR表示基于二维DenseNet模型使用SAR数据单独进行训练和测试，2D-TCDN-SAR表示基于本发明提出的二维TC-DenseNet模型使用SAR数据单独进行训练和测试。表5展示了在Data-1数据集中的实验结果，分析表中得到的实验结果，我们可以得到几点结论。第一，在基于单源数据的实验中，使用MSI数据得到的总体分类精度均高于使用SAR数据的分类精度，其中2D-DN-MSI的总体分类精度相比于2D-DN-SAR提高了1.93％，2D-TCDN-MSI的总体分类精度相比于2D-TCDN-SAR提高了2.26％，这说明相比于SAR数据中的单一的空间纹理信息，MSI中包含的光谱-空间信息在海冰分类任务中具有更强的分辨力。另一方面，在仅使用MSI数据的实验中，会出现某些海冰类别的分类精度明显偏低的情况，如表5中的Grey-white和Thin First-year类，对照SAR的影像数据，在这两种冰型分布的区域存在云层覆盖，这说明由于云层遮挡会严重影响MSI数据的分类精度。由于SAR数据不会受到云层和天气等因素的干扰，因此在含云层覆盖的情况下基于SAR数据的分类方法仍能获得相对稳定的分类结果，进而我们可以利用SAR数据的特点来弥补MSI数据的不足，解决MSI数据云下类别分类效果差的问题。第二，在使用MSI数据进行分类实验时，三维卷积神经网络的分类效果明显优于二维卷积神经网络，如表5所示，3D-DN-MSI的总体分类精度相比于2D-DN-MSI提高了3.15％，3D-TCDN-MSI的总体分类精度相比于2D-TCDN-MSI提高了2.37％，这是因为二维卷积神经网络在运算过程中主要提取了MSI数据的空间特征，没有充分利用MSI数据丰富的光谱信息，而三维卷积神经网络可以在图像的空间维度和光谱维度同时进行特征提取，更加充分地利用和挖掘海冰图像特征。第三，在其他条件相同的情况下，TC-DenseNet可以获得比DenseNet更高的分类精度，相比于3D-DN-MSI，3D-TCDN-MSI将其总体分类精度从92.61％提升到了93.63％，这表明了TC-DenseNet的有效性，在密集连接块的每层函数中添加一次卷积操作可以在参数量相当且不影响密集网络整体结构的情况下增强网络的非线性特性、提取更加丰富的纹理和光谱特征，从而提升网络的分类效果。第四，从表5所示的实验结果可以看出，本发明提出的融合分类方法相较于3D-DN-MSI的分类精度提升了5.88个百分点，相较于3D-TCDN-MSI的分类精度提升了4.86个百分点，这说明将SAR数据提取到的特征与MSI数据提取到的特征进行融合可以实现两种数据特性的互补，从而提升分类精度。此外，在单独使用MSI数据进行分类实验时，由于云层的干扰，Grey-white和Thin first-year两个类别的分类精度相对偏低，相比于基于单源MSI数据的实验结果，本发明提出的方法在Grey-white和Thin first-year两个类别的分类中获得最好的分类结果，其中Grey-white的分类精度由88.65％提高到98.66％，Thin first-year的分类精度由91.35％提高到99.10％，这说明本发明所提方法在有云雾干扰时进行海冰检测的有效性。
表6展示了不同方法在Data-2中的分类结果，其中，单独MSI数据的分类精度高于单独SAR数据的分类精度，三维模型的分类精度高于二维模型的分类精度，所提出的TC-DenseNet模型的分类精度高于DenseNet模型的分类精度，所提出融合分类模型比单源数据模型获得的最高精度提高了3.8个百分点；同样，在使用MSI数据进行实验时，Grey-white和Grey类只能获得较低的分类精度，在本发明提出的融合分类模型中对这两种类别都实现了明显的精度提升，说明了本发明模型在有云雾影响时可以获得较好的海冰分类效果，与Data-1实验获得的分类结果一致。
表5不同方法在Data-1中的分类结果
Figure BDA0003368020630000151
表6不同方法在Data-2中的分类结果
Figure BDA0003368020630000152
为了验证本发明所提出的融合海冰分类模型的性能，本发明还将所提出模型的分类结果与现有的先进融合模型的分类结果进行了对比，对比的方法包括了Two-branchCNN、Deep Fusion model、Coupled CNN，表7和表8分别展示了在Data-1和Data-2数据集上对比实验的细节。在实验中本发明所提出的方法获得了最高的分类精度，其在Data-1和Data-2中的总体分类精度分别为98.49％和98.58％，kappa系数分别为97.42和97.63。从表中可以看出，本发明所提出方法的融合模型相较于Coupled CNN在两套数据集上的分类精度分别提高了1.1个百分点和1.52个百分点，相较于Deep Fusion在两套数据集上的分类精度分别提高了2.3个百分点和2.56个百分点，相较于Two-branch CNN在两套数据集上的分类精度分别提升了3.63个百分点和3.98个百分点。虽然本发明所提出方法与其他的几种方法有相似的双分支结构，但是本发明所提出的方法不仅充分融合了SAR和MSI两种异质数据的特性，还通过DenseNet中的密集连接方式增强了特征在网络中的传递和重用，更好地应用了浅层特征，并通过SE模块和后续的密集块进一步对融合特征进行优化加权和特征提取，从而获得比其他模型更高的分类精度。实验结果证明了本发明所提出方法的有效性。
表7在Data-1数据集上对比实验的细节
Figure BDA0003368020630000161
表8在Data-2数据集上对比实验的细节
Figure BDA0003368020630000162
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘Solid StateDisk(SSD))等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种海冰图像分类方法，其特征在于，所述海冰图像分类方法，包括：
对原始图像进行预处理以去除原始图像中的冗余信息和噪声；根据加拿大冰况图在处理过后的图像中提取标签样本；利用卷积神经网络分别提取多源图像的特征信息；将提取到的特征信息进行拼接融合；将融合特征输入SE模块中进行特征级的权重标定；将融合特征输入全连接层进行深度融合并得到分类结果；通过总体分类精度和Kappa系数评估分类结果。
2.如权利要求1所述的海冰图像分类方法，其特征在于，所述海冰图像分类方法包括以下步骤：
步骤一，在欧空局官方网站ESA上获取相同时间覆盖区域相同的SAR数据和MSI数据；
步骤二，利用SNAP软件和ENVI软件对获取到的原始SAR数据和MSI数据进行预处理；
步骤三，根据加拿大冰中心提供的冰况图选取标签数据，将选定的标签数据按照一定比例划分为训练集和测试集；
步骤四，将SAR数据和MSI数据中对应的训练样本分别输入2D-TC-DenseNet和3D-TC-DenseNet进行特征提取；
步骤五，将提取到的特征信息进行拼接融合得到融合特征，并将融合特征输入到SE模型中进行特征通道级的权重标定；
步骤六，将融合特征展开成特征向量并输入到全连接层中进行特征的深度融合并得到分类结果；
步骤七，使用总体分类精度OA、平均分类精度AA和Kappa系数对分类结果进行评估。
3.如权利要求2所述的海冰图像分类方法，其特征在于，步骤二中，所述利用SNAP软件和ENVI软件对获取到的原始SAR数据和MSI数据进行预处理，包括：
(1)使用SNAP软件对SAR数据依次进行轨道校正、热噪声去除、辐射定标、相干斑滤波、地形校正和重采样；
(2)使用SNAP软件对MSI数据依次进行大气校正、辐射定标、主成分分析和重采样；
(3)使用ENVI软件对SAR数据和MSI数据进行配准及裁剪操作。
4.如权利要求2所述的海冰图像分类方法，其特征在于，步骤四中，所述TC-DenseNet即为双卷积层密集连接网络，是在DenseNet基础上提出的改进模型，即在网络中密集块的每层中添加一次卷积操作，用于增强网络的特征提取能力和非线性特性。
5.如权利要求2所述的海冰图像分类方法，其特征在于，步骤四中，所述将SAR数据和MSI数据中对应的训练样本分别输入2D-TC-DenseNet和3D-TC-DenseNet进行特征提取，包括：
(1)在SAR数据中以标签样本点为中心取其周围P×P范围的数据块作为输入数据输入到2D-TC-DenseNet提取特征信息；
(2)在MSI数据以相同位置的标签样本点为中心取P×P×B大小的数据块作为输入数据输入到3D-TC-DenseNet中进行特征提取，B为MSI数据的波段书；
(3)将提取到的SAR数据的特征图和MSI数据的特征图以拼接的方式形成融合特征。
6.如权利要求2所述的海冰图像分类方法，其特征在于，步骤五中，所述将融合特征输入到SE模型中进行特征通道级的权重标定，包括：
(1)对融合特征进行Squeeze操作，得到通道级的全局特征；
(2)对Squeeze操作得到的全局特征进行Excitation操作，得到与原始特征图对应的权重向量；
(3)利用Excitation操作得到的权重向量与原始特征图相乘得到最终结果。
7.一种应用如权利要求1～6任意一项所述的海冰图像分类方法的海冰图像分类系统，其特征在于，所述海冰图像分类系统包括：
数据获取模块，用于在欧空局官方网站ESA上获取相同时间覆盖区域相同的SAR数据和MSI数据；
数据预处理模块，用于利用SNAP软件和ENVI软件对获取到的原始SAR数据和MSI数据进行预处理；
标签数据划分模块，用于根据加拿大冰中心提供的冰况图选取标签数据，将选定的标签数据按照一定比例划分为训练集和测试集；
特征提取模块，用于将SAR数据和MSI数据中对应的训练样本分别输入2D-TC-DenseNet和3D-TC-DenseNet进行特征提取；
权重标定模块，用于将提取到的特征信息进行拼接融合得到融合特征，并将融合特征输入到SE模型中进行特征通道级的权重标定；
特征深度融合模块，用于将融合特征展开成特征向量并输入到全连接层中进行特征的深度融合并得到分类结果；
分类结果评估模块，用于使用总体分类精度OA、平均分类精度AA和Kappa系数对分类结果进行评估。
8.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
对原始图像进行预处理以去除原始图像中的冗余信息和噪声；根据加拿大冰况图在处理过后的图像中提取标签样本；利用卷积神经网络分别提取多源图像的特征信息；将提取到的特征信息进行拼接融合；将融合特征输入SE模块中进行特征级的权重标定；将融合特征输入全连接层进行深度融合并得到分类结果；通过总体分类精度和Kappa系数评估分类结果。
9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
对原始图像进行预处理以去除原始图像中的冗余信息和噪声；根据加拿大冰况图在处理过后的图像中提取标签样本；利用卷积神经网络分别提取多源图像的特征信息；将提取到的特征信息进行拼接融合；将融合特征输入SE模块中进行特征级的权重标定；将融合特征输入全连接层进行深度融合并得到分类结果；通过总体分类精度和Kappa系数评估分类结果。
10.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现如权利要求7所述的海冰图像分类系统。
CN202111388962.5A 2021-11-22 2021-11-22 一种海冰图像分类方法、系统、介质、设备及处理终端 Pending CN114092794A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111388962.5A CN114092794A (zh) 2021-11-22 2021-11-22 一种海冰图像分类方法、系统、介质、设备及处理终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111388962.5A CN114092794A (zh) 2021-11-22 2021-11-22 一种海冰图像分类方法、系统、介质、设备及处理终端

Publications (1)

Publication Number Publication Date
CN114092794A true CN114092794A (zh) 2022-02-25

Family

ID=80302974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111388962.5A Pending CN114092794A (zh) 2021-11-22 2021-11-22 一种海冰图像分类方法、系统、介质、设备及处理终端

Country Status (1)

Country Link
CN (1) CN114092794A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115965825A (zh) * 2023-03-17 2023-04-14 南京信息工程大学 一种基于轻量级网络的多光谱卫星图像舰船冰山分类方法
CN116363438A (zh) * 2023-04-14 2023-06-30 浙江大学 一种基于多模态的儿童脑炎分类系统
CN116597319A (zh) * 2023-04-19 2023-08-15 北京师范大学 一种海冰日数据综合处理方法、装置及计算设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115965825A (zh) * 2023-03-17 2023-04-14 南京信息工程大学 一种基于轻量级网络的多光谱卫星图像舰船冰山分类方法
CN115965825B (zh) * 2023-03-17 2023-06-20 南京信息工程大学 一种基于轻量级网络的多光谱卫星图像舰船冰山分类方法
CN116363438A (zh) * 2023-04-14 2023-06-30 浙江大学 一种基于多模态的儿童脑炎分类系统
CN116363438B (zh) * 2023-04-14 2023-09-15 浙江大学 一种基于多模态的儿童脑炎分类系统
CN116597319A (zh) * 2023-04-19 2023-08-15 北京师范大学 一种海冰日数据综合处理方法、装置及计算设备
CN116597319B (zh) * 2023-04-19 2024-02-02 北京师范大学 一种海冰日数据综合处理方法、装置及计算设备

Similar Documents

Publication Publication Date Title
CN114092794A (zh) 一种海冰图像分类方法、系统、介质、设备及处理终端
CN109840553B (zh) 耕地作物类型的提取方法及系统、存储介质、电子设备
CN111008664B (zh) 一种基于空谱联合特征的高光谱海冰检测方法
CN110516728B (zh) 基于去噪卷积神经网络的极化sar地物分类方法
CN110991430A (zh) 基于遥感图像的地物识别及覆盖率计算方法及系统
CN114066755A (zh) 一种基于全波段特征融合的遥感影像薄云去除方法及系统
CN115880487A (zh) 基于深度学习方法的林木激光点云枝叶分离方法
Ghasemi et al. Urban classification using preserved information of high dimensional textural features of Sentinel-1 images in Tabriz, Iran
CN113838064A (zh) 一种基于分支gan使用多时相遥感数据的云去除方法
CN117115666B (zh) 基于多源数据的高原湖泊提取方法、装置、设备及介质
CN112989940B (zh) 基于高分三号卫星sar影像的筏式养殖区提取方法
CN113409325B (zh) 基于精细分割的大幅面sar影像舰船目标检测识别方法
Kusetogullari et al. Unsupervised change detection in landsat images with atmospheric artifacts: a fuzzy multiobjective approach
CN113343819B (zh) 一种高效的无人机载sar图像目标分割方法
CN113240340B (zh) 基于模糊分类的大豆种植区分析方法、装置、设备和介质
CN114463642A (zh) 一种基于深度学习的耕地地块提取方法
CN114708514B (zh) 一种基于深度学习的森林砍伐变化的检测方法及装置
CN111626373A (zh) 多尺度加宽残差网络、小目标识别检测网络及其优化方法
Khandelwal et al. Cloudnet: A deep learning approach for mitigating occlusions in landsat-8 imagery using data coalescence
CN116385818B (zh) 云检测模型的训练方法、装置及设备
Aendikov et al. Integration of GIS and machine learning analytics into Streamlit application
Karwowska et al. MCWESRGAN: improving enhanced super-resolution generative adversarial network for satellite images
Biswas Deep Learning-based Multimodal Fusion of Sentinel-1 and Sentinel-2 Data for Mapping Deforested Areas in the Amazon Rainforest
CN117876872A (zh) 玉米单产的多视角智能观测方法、装置和设备
Dhande et al. Design of a high-efficiency temporal engine for real-time satellite image classification using augmented incremental transfer learning for crop analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination