CN109359661B

CN109359661B - 一种基于卷积神经网络的Sentinel-1雷达图像分类方法

Info

Publication number: CN109359661B
Application number: CN201810758126.3A
Authority: CN
Inventors: 宋岚
Original assignee: East China Jiaotong University
Current assignee: East China Jiaotong University
Priority date: 2018-07-11
Filing date: 2018-07-11
Publication date: 2021-09-07
Anticipated expiration: 2038-07-11
Also published as: CN109359661A

Abstract

本发明公开了一种基于卷积神经网络的Sentinel‑1雷达图像分类方法，包括包括以下步骤：步骤A、图像输入之后，对图像进行预处理，其中，图像预处理包括ROI剪裁、归一化处理、CFAR算法处理和RGB图形分析；步骤B、对预处理的图像进行训练，选取一组函数f1、f2...fn，对数据进行训练，选取最佳函数f；步骤C、对步骤B选取的最佳函数f进行测试，从而对采集的图像进行分类。本发明提出适用于数据集的图像预处理方法，利用CFAR方法对图像进行特征提取，并进行了孤立点移除及孔洞填充；构建了采用多通道输入模式的4层的卷积神经网络模型；用卷积神经网络CNN训练数据集时，通过正则化及数据增强去避免过拟合，得到了测试精度91％的良好分类效果。

Description

一种基于卷积神经网络的Sentinel-1雷达图像分类方法

技术领域

本发明涉及一种雷达图像分类方法，具体为一种基于卷积神经网络的Sentinel-1雷达图像分类方法，属于雷达图像分类应用技术领域。

背景技术

在一种基于自动截尾的自适应快速CFAR算法在高分辨率SAR图像目标检测中的应用中提出一种自适应的CFAR检测算法，构建了相应的聚类统计模型，实现了SAR雷达图像目标的快速提取。在基于TelasAR-X影像的冰山自动探测和冰凌分类导航中将TerraSAR-X在HH极化图像上进行海冰与冰山的监测，对文本特征进行提取后，将其作为神经网络的输入，然后使用迭代的CFAR算法对图像进行检测，找到冰山及海冰区域，增强了图像的解译效果。在基于对象的SAR图像冰山探测算法在Amundsen海域的应用文献提出了一种区别冰山和零散的海冰的方法，该方法基于雷达图像的光谱亮度进行分类，在气候恶劣(如冰冻及强风)的情况下，能得到较好的分类效果，为保证船舶航线的安全，冰山与船只的监测一直是科学研究的热点之一，著名的泰坦尼克号就是因为撞上冰山而船毁人亡的，随着科技发展进步，现在我们可以通过卫星图像对冰山和船只加以区别，从而避免这一悲剧的发生。

目前国内外许多研究聚焦在TerraSAR-X波段上对冰山的分类，而对sentinel-1C波段的雷达图像分类研究较少，而且传统的雷达图像经常出现孔洞和孤立点，容易影响图像处理的精度和效果，因此，针对上述问题提出一种基于卷积神经网络的Sentinel-1雷达图像分类方法。

发明内容

本发明的目的就在于为了解决上述问题而提供一种基于卷积神经网络的Sentinel-1雷达图像分类方法。

本发明通过以下技术方案来实现上述目的，一种基于卷积神经网络的Sentinel-1雷达图像分类方法，包括以下步骤：

步骤A、图像输入之后，对图像进行预处理，其中，图像预处理包括ROI剪裁、归一化处理、CFAR算法处理和RGB图形分析；

步骤B、对预处理的图像进行训练，选取一组函数f1、f2...fn，对数据进行训练，选取最佳函数f；

步骤C、对步骤B选取的最佳函数f进行测试，从而对采集的图像进行分类。

优选的，所述步骤A中的ROI剪裁时，将雷达采集到的卫星图像通过剪裁的方式剪为75*75大小的ROI图像，卫星图像经裁剪后，生成1604幅HH及HV波段的ROI图像数据集。

优选的，所述步骤A中的CFAR算法，确定三个窗口的大小及位置,分别是:the boxCFAR window,the cell under test及guard window，the box CFAR window为进行统计计算的范围，设置the box CFAR window与ROI后的图像一样大小，大小为75*75；cell undertest设置在图像的中心位置，一个75*75的中心点，按像素坐标从0开始编号应为(75-1)/2，中心点的坐标为(37，37)，guard window根据目标的大致大小，设定为21*21像素；

阈值的确定使用累计分布函数，通过公式来确定阈值；

threshold＝Φ^-1(1-P_fa) (1)

其中，P_fa代表虚警率，Φ^-1表示累计分布函数的反函数，最后依据阈值构建掩膜；对于掩膜过滤后的目标图像中孔洞及少数孤立点进行孔洞填充及移除孤立点；孔洞填充主要使用膨胀算法进行，为避免待处理图像的(0，0)位置像素是孔洞的情况，将原图像向外延展1个像素，膨胀算法填充完毕后，去掉延展部分，取反加上初始图像即为孔洞填充后的图像；孤立点的剔除根据图像中灰度分布密度来进行，设定一个密度阈值，低于这个阈值的孤立点进行剔除，如公式(2)所示：

优选的，所述步骤A中的归一化处理：归一化用来减少目标中一些强的后向散射信号，而强的后向散射信号通常具有较高的灰度值，将影响训练过程稳定性，将像素值被归一化为0-1的范围；构建CNN模型：CNN模型采用多输入的方式，将预处理后的HH极化图像，HV极化图像特征输入进CNN模型；CNN模型由输入层，卷积层，取样层，全连接层及输出层构成；卷积层是一个权值矩阵，它由多个特征面组成，每个特征面由多个神经元组成，每一个神经元通过卷积核与上一层特征面的局部区域相连；卷积层通过卷积操作提取输入的不同特征，第一层卷积提取低级特征；取样层在语义上把相似的特征合并起来，通过池化操作使得特征对噪声和变形具有鲁棒性；各层所提取的特征以增强的方式从不同的角度表现原始图像，并且随着层数的增加，提取的特征也越来越抽象。

优选的，卷积层和取样层交替设置，即一个卷积层连接一个取样层，取样层后再连接一个卷积层；全连接层中每个神经元与其前一层进行全连接，将前期所提取的各种局部特征综合起来，最后通过输出层得到每个类别的后验概率；

优选的，所述步骤B训练中：使用数据增强、正则化二种方法，dropout是正则化方法的一种，指在CNN训练过程中，对于神经网络单元，通过在反向传播误差更新权值时随机选择一部分权值不更新，通过这样的方法防止过拟合；在数据增强上所做的工作是对原始ROI图像拉伸变形，通过增加输入图像的数量来对抗过拟合，提高模型的泛化能力。

优选的，训练过程中预先估计学习率，然后在训练过程中依据算法进行调整。

本发明的有益效果是：本发明提出适用于数据集的图像预处理方法，利用CFAR方法对图像进行特征提取，并进行了孤立点移除及孔洞填充；构建了采用多通道输入模式的4层的卷积神经网络模型；用卷积神经网络CNN训练数据集时，通过正则化及数据增强去避免过拟合，得到了测试精度91％的良好分类效果，有良好的经济效益和社会效益，适合推广使用。

附图说明

图1为本发明流程示意图；

图2为本发明的CFAR处理后的目标提取及背景提取ROI图；

图3为本发明的孔洞填充及孤立点移除后的目标图像图；

图4为本发明的目标ROI图像的归一化图；

图5为本发明的CNN模型结构图；

图6为本发明的训练过程精度与损失度的曲线a图；

图7为本发明的训练过程精度与损失度的曲线b图；

图8为本发明的CNN5模型预测结果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1所示，一种基于卷积神经网络的Sentinel-1雷达图像分类方法，包括以下步骤：

实施例：

由于CNN网络的输入是固定大小的二维图像，因此，需要将雷达采集到的卫星图像通过剪裁的方式剪为75*75大小的ROI图像；卫星图像经裁剪后，生成了1604幅HH及HV波段的ROI图像数据集。

CFAR算法：进行CFAR算法时，要确定3个窗口的大小及位置,分别是:the box CFARwindow,the cell under test(CUT)及guard window，the box CFAR window表示进行统计计算的范围，由于样本图像并不大，因此the box CFAR window设置与ROI后的图像一样大小，即75*75。cell under test(CUT)设置在图像的中心位置，一个75*75的中心点，按像素坐标从0开始编号应为(75-1)/2，中心点的坐标就应为(37，37)。而guard window根据目标的大致大小，设定为21*21像素。

阈值的确定使用累计分布函数(cumulative distribution function，CDF)，通过公式来确定阈值。

threshold＝Φ^-1(1-P_fa) (1)

这里P_fa代表虚警率，Φ^-1表示累计分布函数的反函数，最后依据阈值构建掩膜。

CFAR后的实验结果如图：如图2所示，从左向右依次为原始ROI图像；CFAR方法提取的掩膜；掩膜后的背景图；掩膜后的目标图像。

对于掩膜过滤后的目标图像中孔洞及少数孤立点，这些信息将影响图像分类的结果，因此，本技术将进行孔洞填充及移除孤立点的操作。

孔洞填充主要使用膨胀算法进行，为避免待处理图像的(0，0)位置像素是孔洞的情况，将原图像向外延展1个像素，膨胀算法填充完毕后，去掉延展部分，取反加上初始图像即为孔洞填充后的图像。

而孤立点的剔除则根据图像中灰度分布密度来进行.设定一个密度阈值，低于这个阈值的孤立点进行剔除，如公式(2)所示：

实验结果如图3所示：从左向右依次为经CFAR提取的目标图像；孔洞填充后的目标图像；孤立点移除后的目标图像。

归一化用来减少目标中一些强的后向散射信号，而强的后向散射信号通常具有较高的灰度值，将影响训练过程稳定性。像素值被归一化为0-1的范围。实验结果如图4所示：归一化前的目标ROI图像，归一化后的目标ROI图像，归一化前的目标ROI图像的三维显示，归一化后的目标ROI图像的三维显示。

构建CNN模型：针对本技术所使用的数据集特点，CNN模型采用多输入的方式，将预处理后的HH极化图像，HV极化图像等特征输入进CNN模型。本技术构建的CNN模型如图5所示；CNN模型由输入层，卷积层，取样层，全连接层及输出层构成。卷积层也称滤波器，是一个权值矩阵。它由多个特征面组成，每个特征面由多个神经元组成，每一个神经元通过卷积核与上一层特征面的局部区域相连。卷积层通过卷积操作提取输入的不同特征，第一层卷积提取低级特征，如边缘，线条，更高层的卷积层提取更高级的特征。取样层在语义上把相似的特征合并起来，通过池化操作使得特征对噪声和变形具有鲁棒性。各层所提取的特征以增强的方式从不同的角度表现原始图像，并且随着层数的增加，提取的特征也越来越抽象。卷积层和取样层交替设置，即一个卷积层连接一个取样层，取样层后再连接一个卷积层，以此类推。全连接层中每个神经元与其前一层进行全连接，将前期所提取的各种局部特征综合起来，最后通过输出层得到每个类别的后验概率。

训练：过拟合是训练过程中常常要考虑的一个问题，在发明中，过拟合的主要表现是训练精度已经可以达到99.9％，但是测试精度仅70％左右，两者相差30％-20％，导致训练无法继续进行。对抗过拟合有许多办法，本技术中使用了数据增强，正则化二种方法。dropout是正则化方法的一种，指在CNN训练过程中，对于神经网络单元，通过在反向传播误差更新权值时随机选择一部分权值不更新，通过这样的方法防止过拟合。数据增强使用在数据集不大的情况下，仅靠原始的数据量，参数众多的CNN会陷入过拟合中，使用了增强后可以大大减轻过拟合，提升泛化能力。本技术在数据增强上所做的工作是对原始ROI图像拉伸变形，通过增加输入图像的数量来对抗过拟合，提高模型的泛化能力。训练过程中学习率设定得太大，将使得梯度下降算法在接近最小值时可能越过最低点，而如果设置太小，将导致训练算法变慢。实验过程中预先估计学习率，然后在训练过程中依据算法进行调整。

从图6和图7可以看到，曲线图中比较陡峭的部分是epoch在0-10次的时候，loss下降的幅度及accuracy上升的幅度比较大，随着epoch轮循到20次的时候，相应的曲线上升或下降逐渐变缓，梯度变得越来越小，学习的速度下降，50-65次时，出现了些许波动等不稳定现象，但整体来说曲线较平滑，这说明本技术中学习率设定是适合的。

本发明提出的CNN5模型在数据集上的训练精度达到99％，验证精度达到91％，取得了较好效果。表1是在发明中用到的几个模型，其中CNN3是VGG16模型上，载入卷积层的权重，在全连接层重新训练19epoch的结果，效果不太理想，训练集与验证集的精度相差20个百分点，因此，提前终止训练。其余几个模型的epoch是由训练集的精度决定，当达到一定训练集精度，为避免过拟合，停止训练。分类精度的证明了本发明的有效性。

表1训练和测试精度比较结果

图8显示了CNN5目标预测的结果，纵坐标轴表示待分类的种类(冰山或船)，纵坐标轴表示相应各类机器预测的概率，其中概率大的为预测的结果。从左到右是数据库中的2幅图像，CNN5都以92％以上的概率准确预测了结果。图8为CNN5模型预测结果，a为CNN模型预测结果为船，b为CNN模型预测结果为冰山。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims

1.一种基于卷积神经网络的Sentinel-1雷达图像分类方法，其特征在于：包括以下步骤：

所述步骤A中的CFAR算法，确定三个窗口的大小及位置,分别是：the box CFARwindow,the cell under test及guard window，the box CFAR window为进行统计计算的范围，设置the box CFAR window与ROI后的图像一样大小，大小为75*75；cell under test设置在图像的中心位置，一个75*75的中心点，按像素坐标从0开始编号应为(75-1)/2，中心点的坐标为(37，37)，guard window根据目标的大致大小，设定为21*21像素；

阈值的确定使用累计分布函数，通过公式来确定阈值；

threshold＝Φ^-1(1-P_fa) (1)

其中，P_fa代表虚警率，Φ^-1表示累计分布函数的反函数，最后依据阈值构建掩膜；对于掩膜过滤后的目标图像中孔洞及少数孤立点进行孔洞填充及移除孤立点；孔洞填充使用膨胀算法进行，为避免待处理图像的(0，0)位置像素是孔洞的情况，将原图像向外延展1个像素，膨胀算法填充完毕后，去掉延展部分，取反加上初始图像即为孔洞填充后的图像；孤立点的剔除根据图像中灰度分布密度来进行，设定一个密度阈值，低于这个阈值的孤立点进行剔除，如公式(2)所示：

步骤B、对预处理的图像进行训练，选取一组函数f₁、f₂...f_n，对数据进行训练，选取最佳函数f；

2.根据权利要求1所述的一种基于卷积神经网络的Sentinel-1雷达图像分类方法，其特征在于：所述步骤A中的ROI剪裁时，将雷达采集到的卫星图像通过剪裁的方式剪为75*75大小的ROI图像，卫星图像经裁剪后，生成1604幅HH及HV波段的ROI图像数据集。

3.根据权利要求1所述的一种基于卷积神经网络的Sentinel-1雷达图像分类方法，其特征在于：所述步骤A中的归一化处理：归一化用来减少目标中一些强的后向散射信号，而强的后向散射信号通常具有较高的灰度值，将影响训练过程稳定性，将像素值被归一化为0-1的范围；构建CNN模型：CNN模型采用多输入的方式，将预处理后的HH极化图像，HV极化图像特征输入进CNN模型；CNN模型由输入层，卷积层，取样层，全连接层及输出层构成；卷积层是一个权值矩阵，它由多个特征面组成，每个特征面由多个神经元组成，每一个神经元通过卷积核与上一层特征面的局部区域相连；卷积层通过卷积操作提取输入的不同特征，第一层卷积提取低级特征；取样层在语义上把相似的特征合并起来，通过池化操作使得特征对噪声和变形具有鲁棒性；各层所提取的特征以增强的方式从不同的角度表现原始图像，并且随着层数的增加，提取的特征也越来越抽象。

4.根据权利要求3所述的一种基于卷积神经网络的Sentinel-1雷达图像分类方法，其特征在于：卷积层和取样层交替设置，即一个卷积层连接一个取样层，取样层后再连接一个卷积层；全连接层中每个神经元与其前一层进行全连接，将前期所提取的各种局部特征综合起来，最后通过输出层得到每个类别的后验概率。

5.根据权利要求1所述的一种基于卷积神经网络的Sentinel-1雷达图像分类方法，其特征在于：所述步骤B训练中：使用数据增强、正则化二种方法，dropout是正则化方法的一种，指在CNN训练过程中，对于神经网络单元，通过在反向传播误差更新权值时随机选择一部分权值不更新，通过这样的方法防止过拟合；在数据增强上所做的工作是对原始ROI图像拉伸变形，通过增加输入图像的数量来对抗过拟合，提高模型的泛化能力。

6.根据权利要求5所述的一种基于卷积神经网络的Sentinel-1雷达图像分类方法，其特征在于：训练过程中预先估计学习率，然后在训练过程中依据算法进行调整。