CN109117883B

CN109117883B - 基于长短时记忆网络的sar影像海冰分类方法及系统

Info

Publication number: CN109117883B
Application number: CN201810918499.2A
Authority: CN
Inventors: 宋巍; 黄冬梅; 李明慧; 王振华; 王建; 郑小罗
Original assignee: Shanghai Ocean University
Current assignee: Shanghai Ocean University
Priority date: 2018-08-13
Filing date: 2018-08-13
Publication date: 2022-01-11
Anticipated expiration: 2038-08-13
Also published as: CN109117883A

Abstract

本发明属于海冰监测技术领域，公开了一种基于长短时记忆网络的SAR影像海冰分类方法及系统，以多幅连续观测的海冰SAR影像数据直接作为长短时记忆网络训练输入提取特征，并在网络训练中将海冰的密集度数据作为一维特征一起参与分类网络的训练，得到兼顾空间和时间维度的海冰分类网络；考虑未知海冰密集度数据的情况下，先训练基于长短时记忆网络的海冰密集度预测模型，然后将预测的密集度数据和SAR影像图像数据集合输入训练好的海冰分类网络进行分类。本发明在SAR影像海冰的分类中考虑到时间演变过程中海冰类别变化的时间维度特征，对于相近海冰类别的识别率具有很大的提升。

Description

基于长短时记忆网络的SAR影像海冰分类方法及系统

技术领域

本发明属于海冰监测技术领域，尤其涉及一种基于长短时记忆网络的SAR影像海冰分类方法及系统。

背景技术

目前，业内常用的现有技术是这样的：

根据世界气象组织的海冰分类标准，海冰按照发展状态可以分为新冰，灰冰，灰白冰，一年冰，老冰，多年冰。合成孔径雷达(SAR)具有全天时，全天候，多视角，穿透性强的特点，是海冰监测的主要工具。也是基于图像特征的海冰分类的图像数据来源。

目前基于SAR影像海冰分类方法可以分为两类：1，基于特征的海冰分类，如提取SAR影像海冰的极化特征，灰度共生矩阵特征；2，基于图像分割的海冰分类，如EM算法，K-均值，马尔科夫随机场模型等。这些方法都是根据某一时刻海冰在SAR影像上的呈现特征进行分类识别。然而海冰类型在时间上具有不稳定性，根据海冰类型的定义，不同的海冰类别随着时间的变化互相演替，而且顺序几乎不可逆转，具有时间维度的特征。在单时间维度SAR影像海冰分类中，相近的海冰类别很容易被错分，如果能将海冰的时间维度特征融入分类中，根据前面海冰的SAR影像信息将会减小样本被错分到前一阶段海冰类别的几率。

递归神经网络(RNN)是目前常用的一种神经网络结构，可以将时间的先后顺序加入到神经网络中，对过去时间的输入对当前时间输出的影响进行建模。在对时序信息建模的过程中，为了防止时间步长过大引起的梯度爆炸问题，在RNN的结构基础上引入了长短时记忆网络。LSTM网络的常见应用是在自然语言处理，场景描述，时间序列预测等，在图像分类上的应用并不常见。Junhwa Chi等人在2017年的论文中将LSTM预测北极海冰密集度，但是网络的训练数据是基于被动微波传感器数据，而本发明的LSTM数据是基于SAR影像的海冰分类研究。被动遥感通常不能形成影像；主动遥感SAR则一般形成遥感数字图像，所以两者具有很大不同。

考虑到海冰类型随时间变化过程中，图像中不同海冰类型的密集度也在对应变化，所以基于图像块的SAR海冰分类中海冰密集度是海冰类型的一个重要影响因素。

综上所述，现有技术存在的问题是：

现有技术中，海冰分类主要是以有监督方法为主，然而有监督海冰分类依赖大量的标记样本，然而大面积标记样本不易获取，而且成本巨大。现有方法多是依赖小面积、短时间的监测，训练样本标签或者相机实测或者专家标记，这样则给海冰分类方法的性能评价带来不一致性。

现有的SAR影像海冰分类使用传统的机器学习方法，如神经网络、SVM方法等，然而这些方法是基于提前设计特征工程的方法，依赖于专家知识。不同的数据源或者不同的海冰条件将会直接导致分类方法失效。

根据世界气象组织关于海冰分类的定义，不同海冰类别随着时间变化而呈现规律演变，如一个区域内新冰、灰冰、灰白冰、薄一年半、中厚一年冰、厚一年冰、老冰等是随着时间而变化。然而目前的海冰分类方法只是考虑了不同海冰类型在数字图像表现的空间、纹理特征，忽略了时间维度的特征。

解决上述技术问题的难度和意义：

基于有监督方法的海冰分类是现在的主流方法，然而SAR影像海冰分类的标签很难获取，这也是目前研究的一个客观事实。

本发明根据加拿大海冰服务中心(CIS)专家标注的冰蛋图海冰类别信息，构建了以图像块粒度的海冰分类数据集，为以后海冰分类研究者提供了一个海冰标签的思路。使用这种方法会使对比标准一致，能够更好的看出不同方法性能的优劣性；本发明使用深度学习模型，依赖大量样本的自我学习，自动提取特征，训练的模型在不同的SAR影像和多变的海冰条件下也能够取得很好的分类效果，具有普适性；本发明使用LSTM网络既考虑到不同海冰类别的图像维度特征，也能兼顾学习到不同海冰类别之间时间维度的特征，并将海冰密集度作为一维特征输入网络，对比其它方法可以很好的提高现有海冰分类准确率，为船舶航行，科考研究，全球气候监测等提供重要参考。

发明内容

针对现有技术存在的问题，本发明提供了一种基于长短时记忆网络(LSTM)的SAR影像海冰分类方法及系统。

本发明提出的基于LSTM的SAR影像海冰分类方法，训练样本中包含SAR影像分类样本的密集度数据。考虑到海冰的密集度数据和海冰类别一样是不可知的，本发明同时基于LSTM网络进行海冰密集度预测。

本发明是这样实现的，一种基于长短时记忆网络LSTM的合成孔径雷达SAR影像海冰分类方法，包括：

以SAR数据直接作为网络训练对象，并在网络训练中将海冰的密集度数据作为一维特征一起参与分类网络的训练；

在未知海冰密集度数据的情况下，采用基于长短时记忆网络先得到分类SAR影像的海冰密集度数据，然后将密集度数据和SAR影像图像数据集合输入训练好的海冰分类网络。

进一步，所述基于长短时记忆网络的SAR影像海冰分类方法具体包括：

第一阶段，数据集构建：

搜集同一区域按一定时间间隔观测的SAR影像集；然后将此时间序列的SAR影像裁剪成m×m(例如32×32)像素大小的训练样本，将训练样本做归一化处理，便于训练网络收敛；接下来，根据海冰分析专家提供的真值，制作对应的海冰类型和海冰密集度标签；最后，将数据集按分7：3成训练集和测试集。

第二阶段，海冰密集度预测LSTM网络和海冰分类LSTM网络的训练：

根据设计好的LSTM网络，首先把训练样本SAR数据和对应的密集度标签数据输入到第一个LSTM网络，训练得到能预测海冰密集度的LSTM网络；

然后把训练样本SAR数据和已知的或由第一个LSTM网络预测得到的海冰密集度数据串联合并，作为第二个LSTM网络的训练数据，对应的海冰类别作为网络训练标签数据，训练网络得到能够进行海冰分类的LSTM网络；

以32×32像素分辨率的SAR样本数据为例，预测海冰密集度LSTM的一个样本有1024个原始特征，海冰分类LSTM的一个训练样本有原始特征1025个；

最后，将测试集样本依次分别输入训练好的两个LSTM网络，得到每个海冰样本的分类结果，与原标签进行比较，计算网络的测试误差。根据误差大小判断是否需要进一步训练网络，直到误差达到要求。

第三阶段，海冰分类应用：

当获得一幅海冰SAR影像时，以网络所需样本大小为窗口对影像进行滑动分块处理，并进行归一化处理；然后逐个将这些影像块输入前面训练好的两个LSTM网络，得到该块的海冰分类标签；最后，采用世界气象组织WMO颜色编码，将根据模型预测得到的不同海冰分类标签用不同的颜色标记，还原到SAR影像上，制作成较详细的具有地理分布信息的海冰解译图，以此提供给相关海上作业人员作为参考。

进一步，LSTM网络的的RNN神经元个数为2048，LSTM设置为1层，学习率0.00001，选择Adam优化器；

使用LSTM对SAR影像海冰密集度进行预测中，两个LSTM网络的超参数设置相同；在网络输出时候，分类的LSTM网络经过一个softmax分类器；训练的损失函数不同，海冰密集度网络预测使用平方差函数

海冰分类网络由于标签数据采用one-hot编码方式，选择使用交叉熵损失函数

其中y是期望输出，a为神经元输出，n为样本个数。

本发明另一目的在于提供一种计算机程序，所述计算机程序运行所述基于长短时记忆网络LSTM的合成孔径雷达SAR影像海冰分类方法。

本发明另一目的在于提供一种实现所述基于长短时记忆网络LSTM的合成孔径雷达SAR影像海冰分类方法的信息处理终端。

本发明另一目的在于提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行所述的基于长短时记忆网络LSTM的合成孔径雷达SAR影像海冰分类方法。

本发明另一目的在于提供一种基于长短时记忆网络LSTM的合成孔径雷达SAR影像海冰分类系统，包括:

数据集构建模块，用于搜集同一区域按一定时间间隔观测的SAR影像集；然后将此时间序列的SAR影像裁剪成m×m像素大小的训练样本，将训练样本做归一化处理，便于训练网络收敛；

海冰密集度预测LSTM网络和海冰分类LSTM网络训练模块，用于根据设计好的LSTM网络，首先把训练样本SAR数据和对应的密集度标签数据输入到第一个LSTM网络，训练得到能预测海冰密集度的LSTM网络；然后把训练样本SAR数据和已知的或由第一个LSTM网络预测得到的海冰密集度数据串联合并，作为第二个LSTM网络的训练数据，对应的海冰类别作为网络训练标签数据，训练网络得到能够进行海冰分类的LSTM网络；最后，将测试集样本依次分别输入训练好的两个LSTM网络，得到每个海冰样本的分类结果，与原标签进行比较，计算网络的测试误差。根据误差大小判断是否需要进一步训练网络，直到误差达到要求；

海冰分类应用模块，用于对获取的SAR影像，以网络所需样本大小为窗口对影像进行滑动分块处理；然后逐个将这些影像块进行归一化，输入前面训练好的两个LSTM网络，得到该块的海冰分类标签；最后，采用世界气象组织WMO颜色编码，将根据模型预测得到的不同海冰分类标签用不同的颜色标记，还原到SAR影像上，制作成较详细的具有地理分布信息的海冰解译图。

本发明另一目的在于提供一种终端，所述终端至少搭载所述基于长短时记忆网络LSTM的合成孔径雷达SAR影像海冰分类系统。

综上所述，本发明的优点及积极效果为：

本发明提出一种基于长短时记忆网络的SAR影像海冰分类方法。在SAR影像海冰的分类中考虑到时间演变过程中海冰类别变化的时间维度特征，对于海冰分类整体准确率和相近海冰类别的识别率具有很大的提升。

本发明在海冰分类中，以SAR数据直接作为网络训练对象，并在网络训练中将海冰的密集度数据作为一维特征一起参与分类网络的训练。针对实际海冰分类应用中，海冰密集度数据和海冰类别一样是未知的，而海冰密集度数据又是基于时间维度海冰分类的一个重要影响因素，本发明基于长短时记忆网络的SAR影响海冰分类的技术路线中，包含了基于长短时记忆网络的SAR影像海冰密集度数据预测。由此，在未知海冰密集度数据的情况下，可以用这个网络先得到分类SAR影像的海冰密集度数据，然后将密集度数据和SAR影像图像数据集合输入训练好的海冰分类网络，提高海冰分类的准确率。

本发明实现以下技术效果：通过基于长短时记忆网络的海冰分类模型，可以减少相近海冰类别错分比例，提高海冰分类准确率。同时本发明同时包含了基于LSTM网络的SAR影像海冰密集度预测，所以最终能够得到同时包含海冰密集度信息和海冰类别信息的海冰解译图。在以北极哈德逊湾2017年5月到2018年5月的实验数据为例，将本发明方法和CNN以及传统的支持向量机(SVM)和多层感知机(MLP)方法对比,本发明提出的方法不仅总提准确率有大的优势，而且大大减小了相近海冰类型的错分率，该发明比较适合海冰的长期监测需求。

附图说明

图1是本发明实施例提供的基于长短时记忆网络LSTM的合成孔径雷达SAR影像海冰分类方法流程图。

图2是本发明实施例提供的一个LSTM的记忆单元结构图。

图3是本发明实施例提供的LSTM网络的框架示例图。

图4是本发明实施例提供的利用LSTM网络进行海冰分类的基本技术路线图。

图5是本发明实施例提供的基于长短时记忆网络LSTM的合成孔径雷达SAR影像海冰分类系统示意图。

图中：1、数据集构建模块；2、训练预测海冰密集度的LSTM网络和海冰分类的LSTM网络模块；3、海冰分类测试模块。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

现有技术中，没有利用基于长短时记忆网络的SAR影像海冰分类方法，训练样本中包含SAR影像分类样本的密集度数据，没有考虑海冰的密集度数据和海冰类别一样是不可知的因素，导致不能进行海冰密集度预测。

本发明提出一种基于长短时记忆网络LSTM的合成孔径雷达SAR影像海冰分类方法。在SAR影像海冰的分类中考虑到时间演变过程中海冰类别变化的时间维度特征，对于相近海冰类别的识别率具有很大的提升。

本发明针对SAR影像的海冰长短时记忆网络(以下记为：LSTM)的构建中，提出基于长短时记忆网络的SAR影像海冰分类方法

在海冰分类中，以SAR数据直接作为网络训练对象，并在网络训练中将海冰的密集度数据作为一维特征一起参与分类网络的训练。针对实际海冰分类应用中，海冰密集度数据和海冰类别一样是未知的，然而海冰密集度数据又是基于时间维度海冰分类的一个重要影响因素，本发明基于长短时记忆网络的SAR影响海冰分类的技术路线中，包含了基于长短时记忆网络的SAR影像海冰密集度数据预测。由此，在未知海冰密集度数据的情况下，可以用这个网络先得到分类SAR影像的海冰密集度数据，然后将密集度数据和SAR影像图像数据集合输入训练好的海冰分类网络，提高海冰分类的准确率。

本发明实施例提供的基于长短时记忆网络LSTM的合成孔径雷达SAR影像海冰分类方法，包括：

如图1，本发明实施例提供的基于长短时记忆网络LSTM的合成孔径雷达SAR影像海冰分类方法包括：

S101:第一阶段，数据集构建：搜集同一区域按一定时间间隔观测的SAR影像集；然后将此时间序列的SAR影像裁剪成m×m像素大小的训练样本，将训练样本做归一化处理，便于网络收敛；

S102:第二阶段，训练海冰密集度预测LSTM网络和海冰分类LSTM网络：

根据设计好的LSTM网络，首先把训练样本SAR数据和对应的密集度标签数据输入到第一个LSTM网络，训练得到能预测海冰密集度的LSTM网络；然后把训练样本SAR数据和对应的海冰密集度数据串联合并，作为第二个LSTM网络的训练数据，对应的海冰类别为网络训练标签数据，训练网络得到最终海冰分类的LSTM网络；最后，将测试集样本依次分别输入训练好的两个LSTM网络，得到每个海冰样本的分类结果，与原标签进行比较，计算网络的测试误差。根据误差大小判断是否需要进一步训练网络，直到误差达到要求；

S103:第三阶段，海冰分类应用：对获取的SAR影像，以网络所需样本大小为窗口对影像进行滑动分块处理；然后逐个将这些影像块进行归一化，输入前面训练好的两个LSTM网络，得到该块的海冰分类标签；最后，采用世界气象组织WMO颜色编码，将根据模型预测得到的不同海冰分类标签用不同的颜色标记，还原到SAR影像上，制作成较详细的具有地理分布信息的海冰解译图。

步骤S103中，在第三个阶段中，首先将要测试的数据如同第一阶段，将SAR影像裁剪成网络分类样本尺寸，进行归一化处理；然后，将分类样本输入第一个LSTM网络得到海冰密集度数据；接着样本数据和预测得到的海冰密集度数据串联合并，输入第二个海冰分类的LSTM网络，得到海冰的分类结果。

下面结合具体分析对本发明作进一步描述。

本发明将对LSTM网络的主要构件和整体框架进行详细说明。

一、LSTM的记忆单元

LSTM的核心是细胞状态，与传统的RNN相比，其独特的门控机制控制信息的选择性(即与前面时刻状态的联系)，一个LSTM的记忆单元结构如附图2，包含三个门控单元，即遗忘门，输入门和输出门。

遗忘门用来控制从以前的状态丢弃什么信息；输入门用来决定细胞状态将存放什么新的信息；输出门，用来决定输出的值。关于LSTM的三个门控单元公式描述如下(1)。其中，W，b表示对应门控的权重和偏置，σ表示sigmod函数，f_t：遗忘门控制信号，i_t：输入门控制信号，

新的细胞信息，C_t：当前细胞信息，o_t：输出门控制信号，h_t：当前单元输出值。

f_t＝σ(W_f·[h_t-1，x_t]+b_f)

i_t＝σ(W_i·[h_t-1，x_t]+b_i)

o_t＝σ(W_o[h_t-1，x_t]+b_o)

h_t＝o_t*tanh(C_t)

二LSTM的框架

LSTM网络的框架示例如图3所示。本发明LSTM的RNN神经元个数为2048，LSTM设置为1层，学习率0.00001，选择Adam优化器。

利用LSTM网络进行海冰分类的基本框架如图4所示。基于LSTM的SAR影像海冰分类中，首先将SAR影像裁剪成固定尺寸的小样本，而由于SAR影像一个像素代表的实际海冰范围从几十到几百公里不等，而且海冰类型随时间变化，不存在一个时间序列中可以找到一个合适的样本尺寸，使其只包含一种冰型的情况，所以本发明规定以样本中海冰密集度大的类型为此样本标签，在这种情况下，海冰密集度数据对海冰分类性能的影响至关重要。所以海冰密集度数据将和SAR影像样本数据一起输入分类的LSTM网络参与到对海冰类别的判别。考虑到存在海冰密集度数据和海冰类别一样是未知的时候，本发明中同时包含了使用LSTM对SAR影像海冰密集度进行预测。两个LSTM网络的超参数设置相同，但是在网络输出时候，分类的LSTM网络经过了一个softmax分类器。而且训练的损失函数不同，海冰密集度网络预测使用平方差函数(公式2)；而海冰分类网络由于标签数据采用one-hot编码方式，所以选择使用交叉熵损失函数(公式3)。分别定义如下。其中y是期望输出，a为神经元输出，n为样本个数。

下面结合具体分析对本发明作进一步描述。

本发明实施例提供的基于长短时记忆网络的SAR影像海冰分类方法分为三个阶段。

第一阶段，数据集构建。

搜集同一区域相同时间间隔的SAR影像(如：以7天为间隔，下载加拿大哈德逊湾西部从2017年1月到2018年1月的SAR影像)，因为海冰基于实测的像素级标签往往不可得，本发明可以借助于加拿大海冰服务中心(Canadian Ice Service,CIS)发布的海冰分析员手动绘制的每周冰蛋图信息作为参考。冰蛋图上包含哈德逊湾海冰的类型和区域密集度信息。然后将此时间序列的SAR影像裁剪成训练样本的尺寸大小(如32×32像素为一个样本)，制作对应的海冰类型和海冰密集度标签，因为SAR影像几乎都是uint16编码机制，所以将训练样本都除以65535用于数据归一化，使网络能够快速收敛。

第二阶段，训练预测海冰密集度的LSTM网络和海冰分类的LSTM网络。

根据设计好的LSTM网络超参数(包括，时间步长，RNN神经元个数，学习率)，首先把训练样本SAR数据和对应的密集度数据输入到第一个LSTM网络，此时，密集度数据为网络的标签数据。训练得到能预测海冰密集度的LSTM网络。然后把训练样本SAR数据和对应的海冰密集度数据串联合并，作为第二个LSTM网络的训练数据，对应的海冰类别为网络训练标签数据，训练网络得到最终海冰分类的LSTM网络。以32×32分辨率的SAR样本数据为例，预测海冰密集度的LSTM的一个样本是1024(即：32×32)个原始特征，而海冰分类的LSTM一个训练样本的原始特征是1025个(即：1024+1)。

第三阶段，海冰分类应用：

在海冰分类实际应用中，本发明只有时间序列的SAR影像数据，海冰密集度数据是不知道的，而基于时间维度的海冰类型特征中海冰密集度数据对正确的海冰分类至关重要，所以本发明基于长短时记忆网络的SAR影像海冰分类技术路线中训练了两个LSTM网络，一个先用于海冰密集度预测，另外一个是将SAR图像数据和预测得到的密集度数据一起作为训练数据的海冰分类网络，用于最终海冰分类识别，基于此本发明可以得到即包含海冰密集度又有海冰类别的详细的海冰解译图。

在第三个阶段中，首先将要分类的SAR影像如第一阶段一样，将SAR影像以滑动窗口的方式裁剪成网络分类样本尺寸，进行归一化处理；然后，将影像块输入第一个LSTM网络得到海冰密集度数据；接着影像块和预测得到的海冰密集度数据串联合并，输入第二个海冰分类的LSTM网络，得到海冰的分类结果。

如图5，本发明实施例提供的基于长短时记忆网络LSTM的合成孔径雷达SAR影像海冰分类系统，包括：

数据集构建模块1，用于搜集同一区域按一定时间间隔观测的SAR影像集；然后将此时间序列的SAR影像裁剪成m×m像素大小的训练样本，将训练样本做归一化处理，便于网络收敛；

海冰密集度预测LSTM网络和海冰分类LSTM网络训练模块2，用于根据设计好的LSTM网络，首先把训练样本SAR数据和对应的密集度标签数据输入到第一个LSTM网络，训练得到能预测海冰密集度的LSTM网络；然后把训练样本SAR数据和对应的海冰密集度数据串联合并，作为第二个LSTM网络的训练数据，对应的海冰类别为网络训练标签数据，训练网络得到最终海冰分类的LSTM网络；最后，将测试集样本依次分别输入训练好的两个LSTM网络，得到每个海冰样本的分类结果，与原标签进行比较，计算网络的测试误差。根据误差大小判断是否需要进一步训练网络，直到误差达到要求；

海冰分类应用模块3，对获取的SAR影像，以网络所需样本大小为窗口对影像进行滑动分块处理；然后逐个将这些影像块进行归一化，输入前面训练好的两个LSTM网络，得到该块的海冰分类标签；最后，采用世界气象组织WMO颜色编码，将根据模型预测得到的不同海冰分类标签用不同的颜色标记，还原到SAR影像上，制作成较详细的具有地理分布信息的海冰解译图。

下面结合具体实施例/实验分析对本发明作进一步描述。

选取北极哈德逊湾在2017年5月到2018年5月的SAR影像数据，以6天为一个时间间隔，32*32样本尺寸为例，使用了常见的支持向量机(MLP)和多层感知机(MLP)分类方法，以及深度学习经典的卷积神经网络(CNN)和本发明提取的方法作为对比，分类整体准确率如下表格，从表格1数据本发明可以发现，本发明在多类相近的海冰分类中取得了较高的准确率。

表1与传统方法相比的实验结果

方法	本发明	CNN	MLP	SVM
					总体准确率	86.98％	64.70％	47.99％	48.79

其中，在该时期一共有7种海冰类型(包含开阔的水)，即水(OW)、灰冰(GI)、灰白冰(GWI)、薄一年冰(ThinFI)、中等一年半(MFI)、厚一年冰(ThickFI)，与CNN网路相比，本发明提出的包含海冰密集度信息的LSTM海冰分类网络不仅整体准确率有很大提高，相近类别的海冰误分率也大大降低，如表2，表3所示的实验结果。

表2 CNN分类结果的混淆矩阵

CNN

OW

NI

GI

GWI

ThinFI

MFI

ThickFI

OW

91.67％

3.03％

0

3.03％

1.52％

0.76％

0

NI

2.80％

66.43％

6.99％

8.39％

2.80％

6.29％

GI

0

3.97％

68.21％

7.95％

8.61％

3.97％

7.28％

GWI

1.47％

2.21％

6.62％

38.24％

19.12％

30.15％

2.21％

ThinFI

0.65％

1.94％

0.65％

16.13％

47.74％

30.32％

2.58％

MFI

0.87％

1.74％

0

6.09％

8.70％

82.61％

0

ThickFI

0.60％

11.90％

4.17％

7.14％

10.12％

2.38％

63.69％

表3本发明提出的LSTM网络分类结果的混淆矩阵

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于长短时记忆网络LSTM的合成孔径雷达SAR影像海冰分类方法，其特征在于，所述基于长短时记忆网络LSTM的合成孔径雷达SAR影像海冰分类方法包括：

以SAR影像时间序列数据作为网络训练对象，并在网络训练中将海冰的密集度数据作为一维特征一起参与分类网络的训练；

在未知海冰密集度数据的情况下，采用基于LSTM先得到分类SAR影像的海冰密集度数据，然后将密集度数据和SAR影像图像数据集合输入训练好的海冰分类网络；

所述基于长短时记忆网络LSTM的合成孔径雷达SAR影像海冰分类方法具体包括：

第一阶段，数据集构建：

搜集同一区域按一定时间间隔观测的SAR影像集；然后将此时间序列的SAR影像裁剪成32×32像素大小的训练样本，将训练样本做归一化处理，便于训练网络收敛；接下来，根据加拿大海冰服务中心发布的海冰分析员手动绘制的每周冰蛋图信息，制作对应的海冰类型和海冰密集度标签；最后，将数据集按分7：3成训练集和测试集；

首先把训练样本SAR数据和对应的密集度标签数据输入到第一个LSTM网络，训练得到能预测海冰密集度的LSTM网络；

然后把训练样本SAR数据和已知的或由第一个LSTM网络预测得到的海冰密集度数据串联合并，作为第二个LSTM网络的训练数据，对应的海冰类型作为网络训练标签数据，训练网络得到能够进行海冰分类的LSTM网络；

预测海冰密集度LSTM的一个样本有1024个原始特征，海冰分类LSTM的一个训练样本有原始特征1025个；

最后，将测试集样本依次分别输入训练好的两个LSTM网络，得到每个海冰样本的分类结果，与原标签进行比较，计算网络的测试误差；根据误差大小判断是否需要进一步训练网络，直到误差达到要求；

第三阶段，海冰分类应用：

2.如权利要求1所述的基于长短时记忆网络LSTM的合成孔径雷达SAR影像海冰分类方法，其特征在于，在第三个阶段中，首先将要测试的数据将SAR影像裁剪成网络分类样本尺寸，进行归一化处理；然后，将分类样本输入第一个LSTM网络得到海冰密集度数据；接着样本数据和预测得到的海冰密集度数据串联合并，输入第二个海冰分类的LSTM网络，得到海冰的分类结果。

3.如权利要求1所述的基于长短时记忆网络LSTM的合成孔径雷达SAR影像海冰分类方法，其特征在于，所述第一个LSTM网络和第二个LSTM网络的RNN神经元个数为2048，LSTM设置为1层，学习率0.00001，选择Adam优化器；两个LSTM网络的超参数设置相同；在网络输出时，第二个海冰分类LSTM网络经过一个softmax分类器；两个LSTM网络训练的损失函数不同，第一个海冰密集度预测LSTM网络预测使用平方差函数

第二个海冰分类LSTM网络由于标签数据采用one-hot编码方式，选择使用交叉熵损失函数

其中y是期望输出，a为神经元输出，n为样本个数。

4.一种实现权利要求1～3任意一项所述基于长短时记忆网络LSTM的合成孔径雷达SAR影像海冰分类方法的信息处理终端。

5.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1～3任意一项所述的基于长短时记忆网络LSTM的合成孔径雷达SAR影像海冰分类方法。

6.一种实现权利要求1所述基于长短时记忆网络LSTM的合成孔径雷达SAR影像海冰分类方法的基于长短时记忆网络LSTM的合成孔径雷达SAR影像海冰分类系统，其特征在于，所述基于长短时记忆网络LSTM的合成孔径雷达SAR影像海冰分类系统包括:

数据集构建模块，用于搜集同一区域按一定时间间隔观测的SAR影像集；然后将此时间序列的SAR影像裁剪成m×m像素大小的训练样本，将训练样本做归一化处理，便于训练网络收敛；根据加拿大海冰服务中心发布的海冰分析员手动绘制的每周冰蛋图信息，制作对应的海冰类型和海冰密集度标签；最后，将数据集按分7：3成训练集和测试集；

海冰密集度预测LSTM网络和海冰分类LSTM网络训练模块，用于根据设计好的LSTM网络，首先把训练样本SAR数据和对应的密集度标签数据输入到第一个LSTM网络，训练得到能预测海冰密集度的LSTM网络；然后把训练样本SAR数据和已知的或由第一个LSTM网络预测得到的海冰密集度数据串联合并，作为第二个LSTM网络的训练数据，对应的海冰类别作为网络训练标签数据，训练网络得到能够进行海冰分类的LSTM网络；最后，将测试集样本依次分别输入训练好的两个LSTM网络，得到每个海冰样本的分类结果，与原标签进行比较，计算网络的测试误差；根据误差大小判断是否需要进一步训练网络，直到误差达到要求；

7.一种终端，其特征在于，所述终端至少搭载权利要求6所述基于长短时记忆网络LSTM的合成孔径雷达SAR影像海冰分类系统。