CN109190491B - 残差卷积神经网络sar影像海冰分类方法 - Google Patents

Abstract

本发明提供一种残差卷积神经网络SAR影像海冰分类方法，包括步骤：获取SAR影像数据；处理SAR影像数据获得训练数据集和测试数据集；设计残差卷积神经网络模型并利用训练数据集训练残差神经网络模型，获得基本的海冰分类模型；将训练数据集同时输入多个已训练好的海冰分类模型，利用集成学习思想组合单个模型的分类结果得到最终海冰分类的优化模型，并通过改变模型的个数，确定集成策略中最佳的模型数量；利用优化残差卷积神经网络模型对待分类SAR影像数据分类。本发明的一种残差卷积神经网络SAR影像海冰分类方法，可快速得到详细的具有海冰分布信息的海冰解译图，给海上作业人员提供参考。

Description

残差卷积神经网络SAR影像海冰分类方法

技术领域

本发明涉及海冰监测研究领域，尤其涉及一种残差卷积神经网络SAR影像海冰分类方法。

背景技术

海冰不仅是气候变化的指示剂，能够对气候系统中的其它成分产生重要的反馈作用，而且是海上操作活动如船舶航行、石油探测的一个威胁。政府和学者们都对极地海冰的变化进行了密切的关注。目前海冰监测的研究包含海冰的范围，厚度，冰龄和海冰运动，其中海冰厚度和冰龄都可以归结为海冰分类，是海冰研究的重要分支。

由于海冰的存在的特殊环境，获取海冰实测的数据成本巨大，这也给很多的研究者开展长期的海冰研究和算法对比标准造成了一些困难。美国冰雪中心(National Snowand Ice Data Center，NSDIC)，挪威气象机构(Norwegian Meteorological Institute，NMI)，加拿大海冰服务署(Canadian Ice Service，CIS)等机构的海冰产品是海上活动人员的重要参考。其中，加拿大海冰服务署的冰蛋图是海冰分析员根据高分辨率辐射计、专用微波成像仪、合成孔径雷达(SAR)、船舶和直升机观测等多数据源手动绘制，被许多海冰分类文献用于算法对比标准。SAR由于全天时、全天候多视角、高穿透性等特点是海冰监测的重要工具。SAR的图像是地面目标对雷达波束的反射，主要是由地面目标的后向散射形成的图像信息，不同的海冰类型在SAR图像上表现出不同的灰度值和纹理特征。目前，SAR影像的海冰分类主要有两个方向：1)基于特征提取的海冰分类(如SAR影像极化特征，纹理特征)。2)基于图像分割的海冰分类(如：最大期望值算法，K-均值算法，马尔科夫随机场模型)。

操作上，CIS发布的冰蛋图受限于制作成本，具有海冰分析员的主观误差以及不能提供基于像素级别的海冰分布产品图；基于图像分割的海冰分类方法会受到噪声影响，不能很好的兼顾图像空间关系；而基于特征提取的海冰分类需要一定的专业背景知识。

根据CIS的文献，每年大约有4000的Radasat-1图像产生，而欧洲的哨兵任务更将导致SAR影像数据的维度激增。自动的、易操作的海冰图像分类算法的需求更加急迫。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示，被认为是计算机视觉的一个强大工具。

SAR的图像是地面目标对雷达波束的反射，主要是由地面目标的后向散射形成的图像信息，不同的海冰类型在SAR图像上表现出不同的灰度值和纹理特征。海冰分类可以根据形态或者厚度划分，不同海冰类型的厚度差可能只有10厘米，这将导致SAR影像上不同海冰类型的呈现具有弱辨识性。颜色、形状和位置特征是数字图像(包含SAR影像)分类任务的重要区域依据，然而，SAR影像海冰不具备形状和位置特征，一种海冰类型在SAR影像上可能会以任何形状出现在任何位置。SAR影像海冰分类的这些特点和我们常见的深度学习图像分类任务有很大的不同。

现有海冰监测方法有目测法、器测法和遥测法，由于海冰所处的极端环境，给目测法和器测法海冰监测带来了一定的风险和成本。合成孔径雷达(SAR)由于全天时，全天候，多视角，穿透性强等特点，可实施性强、低成本的优势成为现在海冰监测的主要工具。现有的针对SAR影像海冰分类方法在操作上，CIS发布的冰蛋图受限于制作成本，具有海冰分析员的主观误差以及不能提供基于像素级别的海冰分布产品图；基于图像分割的海冰分类方法会受到噪声影响，不能很好的兼顾图像空间关系；而通过SAR影像成像机制散射特征的海冰分类需要一定的专业背景知识。

发明内容

针对上述现有技术中的不足，本发明提供一种残差卷积神经网络SAR影像海冰分类方法，可以快速得到更详细的具有海冰分布信息的海冰解译图，给海上作业人员提供参考。

为了实现上述目的，本发明提供一种残差卷积神经网络SAR影像海冰分类方法，包括步骤：

S1：自一SAR影像源获取SAR影像数据；

S2：处理所述SAR影像数据，获得多个样本数据，将所述样本数据分为一训练数据集和一测试数据集；

S3：建立一残差卷积神经网络模型，并利用所述训练数据集训练所述残差神经网络模型，获得一海冰分类模型；

S4：将所述训练数据集输入所述海冰分类模型多次，获得多个分类模型；

S5：将所述测试数据集依次输入各所述分类模型，将各所述海冰分类模型经过softmax分离器输出概率使用集成学习平均分策略优化分类结果；获得所述测试数据集的多个分类概率输出；

S6：改变所述分类模型的个数并根据不同所述海冰分类模型下优化性能，确定合适的分类模型个数，获得最终的一优化残差卷积神经网络模型；并利用所述优化残差卷积神经网络模型对一待分类SAR影像数据分类。

优选地，所述S2步骤进一步包括步骤：

S21：将所述SAR影像数据根据预得的海冰类型解译图，分割成不同海冰类型的区域图；

S22：将所述区域图剪裁为多个样本图，并对所述样本图进行灰度值归一化处理获得训练所需的所述样本数据。

优选地，所述残差卷积神经网络模型包括：多个卷积单元和至少一残差块，所述卷积单元的表达式为：

z(x，y)＝f(x，y)*g(x，y)＝m∑f(x-m，y-n)*g(m，n) (1)；

其中z(x，y)表示卷积输出；f(x，y)表示所述样本数据；x、y分别为所述样本数据的像素点位置的x轴坐标值和y轴坐标值；g(x，y)表示卷积核；m、n分别表示卷积核大小尺寸；

所述残差块的表达式为：

其中，X表示与当前所述残差块邻接的上一所述卷积单元的所述卷积输出；W₁、W₂和W_i表示当前残差块中的参数；σ表示ReLU激活函数；F表示残差映射函数；W_s表示线性变换函数，用于确保相邻两个残差块的维度一致；Y表示残差块输出。

优选地，当所述残差块的输出维度不匹配时，改变所述残差块满足公式：

Y＝F(x，{W_i})+W_sX (3)；

其中，W_s表示线性变换函数。

优选地，所述残差卷积神经网络模型还包括一损失函数：

其中，cross_loss表示交叉熵损失函数；n表示样本数据总数；y表示海冰类别标签；a表示神经元的输出；λ表示正则2的惩罚参数；ω表示连接权重；i表示第几个连接权重。

优选地，所述S3步骤进一步包括步骤：

S31：根据实际需要建立所述残差卷积神经网络模型，并设置所述残差卷积神经网络模型的超参数：所述超参数包括网络层数、所述卷积核尺寸、所述卷积核个数、所述残差块个数和学习率；

S32：将所述训练数据集输入所述残差卷积神经网络模型；

S33：根据所述残差卷积神经网络模型的输出的模型准确率调整所述残差卷积神经网络模型的超参数；

S34：重复步骤S32～S33直至所述模型准确率大于等于一预设值，获得一海冰分类模型。

优选地，所述S6步骤进一步包括步骤：

S61：将所述训练数据多次输入所述海冰分类模型进行训练，获得多个参数不同但分类性能相同的训练后海冰分类模型；

S62：将待分类样本输入多个所述训练后海冰分类模型，获得所述待分类样本的多个所述分类概率输出，将所述同一训练样本得到的不同模型分类概率采用集成平均分策略求得平均概率，平均分类概率输出中数值最大的一个所对应的海冰种类作为所述待分类样本的分类结果并设置一分类标签；所述集成平均分策略满足公式：

其中，j＝1，2，...N表示所述分类模型的类别；M表示所述分类模型的个数；S_ij表示所述测试数据集对应第i个第j类别的分类模型的分类概率；

S63：将各所述待分类样本按照在所述待分类SAR影像数据中的位置关系还原拼合，不同所述分类标签的所述待分类样本采用不同的颜色标记，得到所述待分类SAR影像数据所对应区域的SAR影像海冰解译图。

本发明由于采用了以上技术方案，使其具有以下有益效果：

通过构建残差卷积神经网络模型能够基于图像的像素值进行特征自动提取，无需人为提前设计特征，且无需考虑海冰物理特性及SAR卫星成像原理等专业领域知识。提出的优化残差卷积神经网络模型结合集成学习的策略可以纠正存在混合冰型样本的分类准确度。是一种针对SAR影像海冰端到端的分类方法，通过结合集成学习策略的残差卷积神经网络的海冰分类模型，可以快速的分出SAR影像区域的海冰类别，海冰分类边界处的海冰分类更加准确；得到的海冰解译图比现有人工手动标注方法具有更多海冰分布的细节信息以及较少的主观误差，端到端的操作更具有实时性、业务化水平更高。

附图说明

图1为本发明实施例的残差卷积神经网络SAR影像海冰分类方法的流程图；

图2为本发明实施例的残差卷积神经网络SAR影像海冰分类方法的残差卷积神经网络模型的结构示意图；

图3为本发明实施例的残差卷积神经网络SAR影像海冰分类方法的原理图。

具体实施方式

下面根据附图1，给出本发明的较佳实施例，并予以详细描述，使能更好地理解本发明的功能、特点。

请参阅图1，本发明实施例的一种残差卷积神经网络SAR影像海冰分类方法，包括步骤：

S1：自一SAR影像源获取SAR影像数据；

S2：处理SAR影像数据，获得多个样本数据，将样本数据分为一训练数据集和一测试数据集；

其中，S2步骤进一步包括步骤：

S21：将SAR影像数据根据预先得到的海冰类型解译图，分割成不同海冰类型的区域图；

S22：将区域图剪裁为多个样本图，并对样本图进行灰度值归一化处理获得训练所需的样本数据。

S3：建立一残差卷积神经网络模型，并利用训练数据集训练残差神经网络模型，获得一海冰分类模型；

其中，残差卷积神经网络模型包括：多个卷积单元和至少一残差块。

残差卷积神经网络模型以卷积神经网络为基础，所以网络的主要组成为卷积层和残差块，卷积层由若干卷积单元构成，每个卷积单元的参数通过反向传播算法优化得到，卷积运算的目的是提取输入的不同特征。

以2维图像为例，CNN算法的卷积过程，卷积单元的表达式可表示为：

z(x，y)＝f(x，y)*g(x，y)＝m∑f(x-m，y-n)*g(m，n) (1)；

其中z(x，y)表示卷积输出；f(x，y)表示二维图像的样本数据；x、y分别为样本数据的像素点位置的x轴坐标值和y轴坐标值；g(x，y)表示卷积核；m、n分别表示卷积核大小尺寸；

卷积过程卷积核的设计非常重要，卷积核大小(size)、数目(number)和步长(stride)都会对模型带来很大影响。由于SAR影像海冰的没有固定的形状位置特征，过大的样本尺寸会导致多种海冰类型的混合，不利于模型分类，因此本实施例的SAR影像分类样本尺寸相比普通的图像尺寸都小。卷积核的大小不易过大。卷积核的个数代表从上一层通过卷积滤波得到的特征图个数。卷积核越多则提取的特征图越多，网络学习能力和分类效果越好，但是卷积核太多也会增大网络复杂度，加大计算的复杂度。本实施例中根据输入样本尺寸的大小采用的卷积核是5×1，1×5，3×3的这三种，卷积核个数设置为16和32。

深度神经网络当网络变深时候由于梯度的问题变得很难训练，而残差学习通过一个快捷路径引入了残差块和一个恒等映射缓解了这个问题。X表示与当前残差块邻接的上一卷积单元的卷积输出；经过几层卷积层之后，假设H(x)是当前网络输出，经过残差网络后，当前网络输出H(x)＝F(x)+x，此时网络的优化目标由原来的上一网络输出F(x)变为了H(x)-x。如果优化目标函数是逼近一个恒等映射，而不是0映射，那么学习找到对恒等映射的扰动会比重新学习一个映射函数要容易。

本实施例中，定义残差块的表达式为：

其中，X表示与当前残差块邻接的上一卷积单元的卷积输出；W₁、W₂和W_i表示当前残差块中的参数；σ表示ReLU激活函数；F表示残差映射函数；W_s表示线性变换函数，用于确保相邻两个残差块的维度一致；Y表示残差块输出。

一个残差网络可能会包含多个残差块，残差定义H(x)＝F(x)+X要求输入X的维度必须和输出F(x)的维度相同，如果不同，通常有两种处理方法使它们相匹配。1)使用0-padding增加X的维度；2)使用1×1的卷积核来增加X的维度。

当残差块的输出维度不匹配时，改变残差块满足公式：

Y＝F(x，{W_i})+W_sX；

其中，W_s表示线性变换函数。

本实施例中，残差神经网络可加入正则2表达式防止过拟合，损失函数定义为：

其中，cross_loss表示交叉熵损失函数；n表示样本数据总数；y表示海冰类别标签；a表示神经元的输出；λ表示正则2的惩罚参数；ω表示连接权重；i表示第几个连接权重。

本实施例中，S3步骤进一步包括步骤：

S31：根据实际需要建立残差卷积神经网络模型，并设置残差卷积神经网络模型的超参数：网络层数、卷积核尺寸、卷积核个数、残差块个数和学习率；

S32：将训练数据集输入残差卷积神经网络模型；

S33：根据残差卷积神经网络模型的输出的模型准确率调整残差卷积神经网络模型的超参数；

S34：重复步骤S32～S33直至模型准确率大于等于一预设值，获得一海冰分类模型。

S4：将训练数据集输入海冰分类模型多次，获得多个分类模型，每一分类模型对应有一海冰种类；

S5：将测试数据集依次输入各分类模型，将各海冰分类模型经过softmax分类器输出概率使用集成学习平均分策略优化分类结果；获得测试数据集的多个分类概率输出；

S6：改变分类模型的个数并根据不同海冰分类模型下优化性能，确定合适的分类模型个数，获得最终的一优化残差卷积神经网络模型；并利用优化残差卷积神经网络模型对一待分类SAR影像数据分类。

S6步骤进一步包括步骤：

S61：将训练数据多次输入海冰分类模型进行训练，获得多个参数不同但分类性能相同的训练后海冰分类模型；

S62：将待分类样本输入多个所述训练后海冰分类模型，获得所述待分类样本的多个所述分类概率输出，将所述同一训练样本得到的不同模型分类概率采用集成平均分策略求得平均概率，平均分类概率输出中数值最大的一个所对应的海冰种类作为所述待分类样本的分类结果并设置一分类标签；所述集成平均分策略满足公式：

其中，j＝1，2，...N表示分类模型的类别；M表示分类模型的的个数；S_ij表示测试数据集对应第i个第j类别的分类模型的分类概率。

S63：将各待分类样本按照在待分类SAR影像数据中的位置关系还原拼合，不同分类标签的待分类样本采用不同的颜色标记，得到待分类SAR影像数据所对应区域的SAR影像海冰解译图。

本发明实施例的一种残差卷积神经网络SAR影像海冰分类方法，关键在于针对SAR影像海冰残差卷积神经网络的构建以及对混合样本分类精度进行纠正优化引入的集成学习策略。残差卷积神经网络是以卷积神经网络为基础，引入了残差学习模块，解决了当卷积神经网络过深时候的梯度消失问题，而且残差学习使得网络更容易收敛。

SAR影像海冰分类和普通的图像分类样本不同，将SAR影像分割成小的图像块作为训练样本的分类会存在这样的问题，不同海冰类别边界地方的样本裁剪过程会使一个样本包含多种海冰类型。另外，残差卷积神经网络的学习中，网络参数是随机初始化的，这样会存在这样的现象：网络的分类性能不变，而对同一个样本输入多个已训练好的网络时候，会有分类结果不一致的情况。而在分类不一致样本中处于海冰边界的样本占据很大比例。针对这种情况，本发明提出使用集成学习的多模型平均结合策略优化这种海冰边界样本的分类结果。具体是将训练数据输入残差卷积神经网络多次，得到多个训练好的分类模型。然后将测试样本分别输入这些模型，输出模型经过softmax分类器分类后的对应海冰类别的分类概率，然后将这些概率平均计算，最高的即为最终海冰分类结果。

本发明的优化策略只需要将训练好的网络重复多训练几次，将输出结果进行简单的统计计算，并没有增加网络复杂度，但对于混合冰型的样本具有很好的纠正作用。

请参阅图2和图3，例如：以4类海冰分类为例，残差卷积神经网络模型(SI-Resnet)共14层，输入样本后，首先是两个分别为1×5和5×1卷积核的基本卷积单元，卷积核个数为16，步长为1；然后是5个两层卷积大小的残差块结构，卷积核大小是3×3。从第三个残差块开始，卷积核的个数变为32个，步长不变。残差块结构后是一个最大池化层，最后是两个全连接层。经过第一个全连接层后，输入为512的一维向量，然后经过dropout函数防止过拟合，第二个全连接层输出为4，经过sofmax分类器，即为分类样本的个数。为了防止网络过拟合，在每一个残差块都使用了regular2策略，惩罚因子为0.01。

整个残差卷积神经网络模型采用Adam优化器，学习率为0.001。

本实施例主要分为两个阶段：

第一阶段为残差卷积神经网络的训练过程。包含数据集准备，模型超参数设计，训练调参。具体为：

第一步，把已有的海冰SAR影像，根据专家标记过海冰类型的解译图(Ice Chart)，分割成不同海冰类型的区域图，然后把这些区域图切割成多个不同大小的样本尺寸，作为残差卷积神经网络的输入训练原始样本。

第二步，把上一步得到的原始训练样本进行数据归一化处理，和海冰类别标签制作。

第三步，初步设计残差卷积神经网络结构，如网络层数，卷积核大小，卷积核个数，残差块个数，学习率等。

第四步，把不同尺寸的样本数据分别分成训练集和测试集送入残差卷积神经网络进行模型训练。根据模型准确率调整调节超参数，重复进行直到分类准确率达到可以接受的数值。记录分类准确率最高的样本尺寸和网络参数设计值，由此针对SAR影像的海冰分类模型残差卷积神经网络建立和训练完成。第一阶段结束。

第二阶段是集成学习的多模型平均结合策略优化阶段。具体为：

第五步，不改变任何超参数，多次将训练数据输入前一阶段得到的残差卷积神经网络模型，以便得到不同的分类模型。

第六步，将测试数据代入第五步得到的多个分类模型，将各模型softmax分类器对每一个海冰类别的分类概率输出。

第七步，不同模型个数下，统计利用平均结合策略后模型的分类准确率，记录分类准确率开始不再上升达到平稳时候的分类模型个数。由此得到最佳的用于平均结合分类策略的模型个数。至此，确定了所有的超参数设计。

第八步，将需要进行海冰分类的SAR影像，直接裁剪成网络的分类样本尺寸，输入网络并得到分类的标签。将分类标签还原到原始SAR影像尺寸，使用不同颜色标记就得到了更加详细海冰分布信息的海冰解译图。

以上结合附图实施例对本发明进行了详细说明，本领域中普通技术人员可根据上述说明对本发明做出种种变化例。因而，实施例中的某些细节不应构成对本发明的限定，本发明将以所附权利要求书界定的范围作为本发明的保护范围。

Claims (4)

1.一种残差卷积神经网络SAR影像海冰分类方法，包括步骤：

S1：自一SAR影像源获取SAR影像数据；

S2：处理所述SAR影像数据，获得多个样本数据，将所述样本数据分为一训练数据集和一测试数据集；

S3：建立一残差卷积神经网络模型，并利用所述训练数据集训练所述残差神经网络模型，获得一海冰分类模型；

S4：将所述训练数据集输入所述海冰分类模型多次，获得多个分类模型；

S5：将所述测试数据集依次输入各所述分类模型，将各所述海冰分类模型经过softmax分类器输出概率，使用集成学习平均分策略优化分类结果；获得所述测试数据集的多个分类概率输出；

S6：改变所述分类模型的个数并根据不同所述海冰分类模型下优化性能，确定合适的分类模型个数，获得最终的一优化残差卷积神经网络模型；并利用所述优化残差卷积神经网络模型对一待分类SAR影像数据分类；

所述残差卷积神经网络模型包括：多个卷积单元和至少一残差块，所述卷积单元的表达式为：

z(x,y)＝f(x,y)*g(x,y)＝m∑f(x-m,y-n)*g(m,n) (1)；

其中z(x,y)表示卷积输出；f(x,y)表示所述样本数据；x、y分别为所述样本数据的像素点位置的x轴坐标值和y轴坐标值；g(x,y)表示卷积核；m、n分别表示卷积核大小尺寸；

所述残差块的表达式为：

其中，X表示与当前所述残差块邻接的上一所述卷积单元的所述卷积输出；W₁、W₂和W_i表示当前残差块中的参数；σ表示ReLU激活函数；F表示残差映射函数；W_s表示线性变换函数，用于确保相邻两个残差块的维度一致；Y表示残差块输出。

2.根据权利要求1所述的残差卷积神经网络SAR影像海冰分类方法，其特征在于，所述S2步骤进一步包括步骤：

S21：将所述SAR影像数据根据预得的海冰类型解译图，分割成不同海冰类型的区域图；

S22：将所述区域图剪裁为多个样本图，并对所述样本图进行灰度值归一化处理获得训练所需的所述样本数据。

3.根据权利要求2所述的残差卷积神经网络SAR影像海冰分类方法，其特征在于，所述残差卷积神经网络模型还包括一损失函数：

其中，cross_loss表示交叉熵损失函数；n表示样本数据总数；y表示海冰类别标签；a表示神经元的输出；λ表示正则2的惩罚参数；ω表示连接权重；i表示第几个连接权重。

4.根据权利要求2所述的残差卷积神经网络SAR影像海冰分类方法，其特征在于，所述S3步骤进一步包括步骤：

S31：根据实际需要建立所述残差卷积神经网络模型，并设置所述残差卷积神经网络模型的超参数，所述超参数包括网络层数、所述卷积核尺寸、所述卷积核个数、所述残差块个数和学习率；

S32：将所述训练数据集输入所述残差卷积神经网络模型；

S33：根据所述残差卷积神经网络模型的输出的模型准确率调整所述残差卷积神经网络模型的超参数；

S34：重复步骤S32～S33直至所述模型准确率大于等于一预设值，获得一海冰分类模型。

Images