CN110610207A

CN110610207A - 一种基于迁移学习的小样本sar图像舰船分类方法

Info

Publication number: CN110610207A
Application number: CN201910854427.0A
Authority: CN
Inventors: 余翔; 王子璘; 王诗言
Original assignee: Chongqing University of Post and Telecommunications
Current assignee: Chongqing University of Post and Telecommunications
Priority date: 2019-09-10
Filing date: 2019-09-10
Publication date: 2019-12-24
Anticipated expiration: 2039-09-10
Also published as: CN110610207B

Abstract

本发明涉及一种基于迁移学习的小样本SAR图像舰船分类方法，属于计算机视觉技术领域。该方法包括：1)对SAR图像舰船切片进行预处理从而使舰船切片满足迁移学习对输入图片的要求，对舰船切片采取图像增强，并通过DCGAN网络合成相似的舰船切片图像，从而满足CNN分类网络对于数据数量的要求；2)将图片通过去噪自编码器提取图像特征，降低DCGAN网络生成图像时加入的噪声，降低不同海况背景对分类结果的影响；3)采用ResNet网络进行迁移学习，并采用fine‑tune方法进一步提升分类准确性。本发明保证了小样本SAR图像舰船分类能够达到一定准确性。

Description

一种基于迁移学习的小样本SAR图像舰船分类方法

技术领域

本发明属于计算机视觉技术领域，涉及一种基于迁移学习的小样本SAR图像舰船分类方法。

背景技术

星载SAR(Synthetic Aperture Radar)是利用合成孔径原理的主动式微波传感器，通过星载SAR可以实现对舰船的监视、检测、分类等功能。随着星载SAR的发展，SAR图像有了更丰富的细节，通过肉眼观察或者采用传统特征检测进行舰船检测、分类的效果达不到需求。

基于分类需求，最常用的分类方式是采用深度学习模型进行SAR图像分类，但是此种分类方法需要大量带真值标注的样本。如：专利申请“基于跨领域迁移学习的图像地物分类方法”(申请公布号：CN105224949A)公开了采用SVM向量机作为分类器的分类方法，根据SVM的输出表示图像类别得分，最终知道该图像是哪种类别，但是该方法仅适合样本数量充足的情况。专利申请“一种基于DCGAN的极化SAR图像分类方法”(申请公布号：CN107292336)公开了采用DCGAN网络生成舰船图像，但最后采用辨别器D作为分类网络提取特征，在样本量少的前提下，特征提取效果不佳。文献“基于迁移学习小样本训练的SAR 目标识别”中，采用迁移学习识别SAR目标，虽然采用了残差模块的类ResNet网络，但卷积网络需要大量数据，文中分类效果仍受限于样本数量。

由于SAR图像获取困难，从SAR图像上分割获得的带真值标注舰船切片则更加稀少。因此，亟需一种能够基于小样本的SAR图像舰船分类方法。

发明内容

有鉴于此，本发明的目的在于提供一种基于迁移学习的小样本SAR图像舰船分类方法，解决在SAR图像获取困难、带标注SAR图像较少的情况下对SAR图像舰船分类的问题；应用于SAR图像中舰船目标的分类，从而满足沿海舰船监视、海事救援等海洋监视需求。

为达到上述目的，本发明提供如下技术方案：

一种基于迁移学习的小样本SAR图像舰船分类方法，具体包括以下步骤：

S1：对SAR图像舰船切片进行预处理，使舰船切片满足迁移学习对输入图片的要求；

S2：对SAR图像集进行图像增强如对图像中舰船进行平移、旋转等操作，达到扩充训练集，增强网络泛化能力的作用；

S3：将SAR图像舰船类别作为标签，并将不同种类舰船图像分别通过深度卷积生成对抗网络(Deep Convolution Generative Adversarial Networks,DCGAN)，生成相似分布的舰船图像集；

S4：判断步骤S3中的DCGAN网络代价函数是否收敛，若收敛，则判断生成图片是否相似于对应舰船类别；若不收敛，对应类别则继续对DCGAN网络参数进行调节；

S5：将原始及生成的SAR图像数据集通过去噪自编码器，提取舰船特征，去除SAR图像噪声(如SAR图像海面杂波噪声、鬼影噪声等)；

S6：对步骤S5输出图像进行归一化处理，将图像像素减去像素均值；采用ResNet网络进行迁移学习，将处理后图像作为ResNet网络输入，并在ResNet网络后面构造分类识别网络；最终输出SAR图像中舰船类别的判断结果。

进一步，所述步骤S1具体包括：采用VV极化下的SAR图像，然后通过对SAR图像舰船切片进行预处理，SAR图像进行图像可视化得到0-255的灰度图像，对灰度图像处理保持维度一致为128*128*1，并对图像进行归一化处理使其值在[-1,1]范围内。

进一步，所述步骤S3中，DCGAN网络包括生成器网络和辨别器网络；所述DCGAN网络辨别器的损失函数为：

其中，θ_j为生成器神经网络参数，m为生成器神经网络参数数量，n为样本数目，为辨别器对真实图像的损失函数，为辨别器对生成图像的损失函数，α为正则化超参，通过控制α来达到避免过拟合。

进一步，所述步骤S3中，所述辨别器网络由5层卷积层组成，输入为图像维数为128*128*1，滤波器大小为5*5，滤波器移动步长为2，图像边界不填充，无偏置项，前5层采用leak_relu作为激活函数，最后一层采用sigmoid函数作为辨别输出结果；卷积层参数采用xavier初始化方法，并在每个卷积层添加dropout层避免模型过拟合，丢弃率设置为0.2。

进一步，所述步骤S6中，采用迁移学习构造SAR图像舰船分类网络的包括以下具体步骤：

S61：使用经过ImageNet数据集预训练的ResNet网络提取bottleneck feature，并删除ResNet网络顶层的全连接层；

S62：将步骤S61提取的特征作为输入，采用迁移学习构建舰船分类的全连接网络；

S63：经过步骤S62训练后采用fine-tuning方法开放最顶层的卷积网络，对其权重进行训练；训练中学习速率设置为较小的0.002防止破坏以前学习到的图像特征，并采取腐蚀学习速率的方法让学习速率随着轮次逐渐变小，使代价函数收敛到局部最优点。

进一步，所述步骤S62中，采用迁移学习构建舰船分类的全连接网络，具体包括以下步骤：

S621：对步骤S5输出图像进行归一化处理，将图像像素减去所有图像像素均值，将图像加载为4维tensor，作为ResNet网络输入；

S622：提取ResNet网络bottleneck_feature特征，作为卷积网络高度提取后的特征向量，将次特征向量通过GlobalAveragepooling2D扁平化为1维向量作为分类MLP网络的输入；

S623：构建分类MLP网络，包括三层全连接层，前两层节点数目为512、256，激活函数采用relu函数，并在每层全连接层后添加DropOut正则化层，避免模型过拟合；最后一层节点数为舰船种类数量，激活函数采用softmax作为多分类输出；

S624：设置MLP网络学习速率和batch_size，采用提前停止的方法，观察代价函数的收敛情况，若代价函数收敛后则停止训练，以此增强模型的泛化能力；

S625：MLP网络预训练完成后采用fine-tune方法打开部分顶层卷积层进行训练，以此改善顶层CNN网络的关于图像特征的提取。

本发明的有益效果在于：

(1)本发明采用经过ImageNet图片集预训练的ResNet网络，ResNet网络是加入了残差网络的深度卷积网络模型，可以有效的减少网络过深时梯度消失的情况。

(2)本发明采用了迁移学习，将提前训练好的模型参数来训练新模型，提高分类识别率同时减少了对数据数量的需求。

(3)本发明利用了生成对抗网络来生成相似图像，对模型微调及防止模型过拟合具有明显的效果；通过对对抗网络参数的设置，及两者代价函数收敛方法的研究及收敛的判断，最终生成器和辨别器达到动态平衡，即生成器生成图像接近真实图像，判别器分辨不出图像的来自哪个集群。

(4)本发明将原始数据集和生成数据通过自编码器有效提取代表数据的特征向量(即对原始数据注入噪声，将原始数据转化为损坏样本，通过去噪编码器进行原始样本的重建，最终提取到更能反应原始输入的特征向量)，提高分类成功率。

(5)本发明相较于传统计算机视觉分类方法，系统易于实现，无需花费大量时间提取图像特征、调节系统参数。本发明保证了小样本SAR图像舰船分类能够达到一定准确性。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明基于迁移学习的小样本SAR图像舰船分类方法的具体实施流程图；

图2为进行可视化后的舰船灰度图像示例；

图3为通过DCGAN网络生成舰船图像集示例；

图4为DCGAN网络生成器和辨别器损失函数图像；

图5为部分舰船分类结果示例；

图6为训练后网络采用测试集图像的舰船分类结果混淆矩阵。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

请参阅图1～图6，图1为本实施例提供的一种基于迁移学习的小样本SAR图像舰船分类方法流程图，如图1所示，该方法具体包括一下步骤：

S1：对SAR图像进行预处理，包括将原始SAR图像导入matlab并转换为灰度图像存储，然后将图像大小裁剪为128*128*1，结果如图2所示。然后对图像像素进行归一化处理，图像归一化为[-1,1]，以满足DCGAN网络对输入的要求。

S2：对SAR图像集进行旋转、平移等操作，扩充数据集，增强网络泛化能力。

S3：对不同类别舰船(如货船、游轮)，分别通过DCGAN网络以生成相同类别的相似舰船图像，如图3所示。具体的，包括以下实施步骤：

DCGAN网络模型分生成器网络和辨别器网络两个部分。生成器网络通过学习目标图像的像素分布，生成类似分布的图像来达到生成相似舰船图像的目的。而辨别器网络负责辨别输入图像为真实图像还是生产的图片，对于真实图像辨别器输出为1，反之为0。通过生成器和辨别器的相互博弈，最终达到平衡，使辨别器无法分辨图像真假，即辨别器预测结果接近随机猜测，概率接近0.5。

传统DCGAN网络，对于真实图像我们人为给定标签为1，生成图像人为给定标签为0。则辨别器对真实图像损失函数为同时对生成图像损失函数为：辨别器应考虑两部分的损失故辨别器损失函数为：

对于生成器网络，代价函数为对于整个网络代价函数需要找到生成图片和真实图片的最大差异，用V表示差异：

故对于网络整体而言，代价函数为：

L＝max V(G,D)

在本实施例中，为了使辨别器具有更好的泛化能力，减少模型过拟合，对损失函数加入L²正则化项。

L＝max V(G,D)+J(θ)

其中θ_j为辨别器网络参数、m为辨别器网络参数数量、α为超参数，选择适当的α可以使权重衰减，简化模型降低过拟合风险。同时更为强健的辨别器网络可以使生成图像分布更加类似于真实图片。

辨别器网络由5层卷积层组成，输入为图像维数为128*128*1，滤波器大小为5*5，滤波器移动步长为2，图像边界不填充，无偏置项，前5层采用leak_relu作为激活函数，最后一层采用sigmoid函数作为辨别输出结果。卷积层参数采用xavier初始化方法，并在每个卷积层添加dropout层避免模型过拟合，丢弃率设置为0.2。

图3是生成对抗网络生成舰船图像，已经与原始图片很相似。图4是生成对抗网络添加正则项后的代价函数变化图，可以看到生成器损失随着网络迭代更新，损失逐渐变小。辨别器损失变小且最终收敛接近于0.7左右，代表大部分情况下辨别器已经无法识别生成的图像与原始图像的区别，本生成对抗网络基本达到预期要求。

S4：将图像数量按0.8、0.2分为训练集和测试集，通过去噪自编码器提取图像特征。去噪自编码器通过向图像中添加噪声，让自编码器尝试对丢失值进行重构，输入损坏率设置为 0.3。对于图像的编码和重构采用卷积层进行重构，编码层使用卷积进行编码，滤波器大小为 3*3，滤波器个数由16、8、8，padding模式采用‘same’，激活函数采用relu，每个卷积层后解最大池化层以减少参数、保留图像纹理特性。解码层使用卷积进行解码，卷积个数为8、 8、16，卷积层3*3，激活函数relu。最后采用卷积层重构图像，激活函数采用sigmoid。

S5：采用迁移学习构建分类网络，可识别8种船只类别(包括Tanker货轮、fishing渔船、 cargo货船、Tug拖船、dredging清淤船、pilot领航艇、law-enforcement执法船、other其他类别船只)，具体地，步骤分为：

Step1：对图像进行归一化处理，将图像像素减去所有图像像素均值，将图像加载为4维 tensor，作为ResNet网络输入。

Step2：提取ResNet网络bottleneck_feature特征，作为卷积网络高度提取后的特征向量，将次特征向量通过GlobalAveragepooling2D扁平化为1维向量作为分类MLP网络的输入。

Step3：构建分类MLP网络，包括三层全连接层，前两层节点数目为512、256，激活函数采用relu函数，并在每层全连接层后添加DropOut正则化层，避免模型过拟合。最后一层节点数为本实施例中舰船种类数量8，激活函数采用softmax作为多分类输出。

Step4：MLP网络学习速率0.002，batch_size为32，训练轮次为50但是采用提前停止的方法，观察代价函数的收敛情况，若代价函数收敛后则停止训练，以此增强模型的泛化能力。

Step5：MLP网络预训练完成后采用fine-tune方法打开部分顶层卷积层进行训练，以此改善顶层CNN网络的关于本实施例图像特征的提取。

图5为部分舰船识别结果，从图5中可以看出本实施例对大部分舰船种类进行了准确的识别。图6是分类网络训练完成后，采用测试集图像进行测试所得舰船分类结果混淆矩阵。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims

1.一种基于迁移学习的小样本SAR图像舰船分类方法，其特征在于，该方法具体包括以下步骤：

S2：对SAR图像集进行图像增强；

S5：将原始及生成的SAR图像数据集通过去噪自编码器，提取舰船特征，去除SAR图像噪声；

2.根据权利要求1所述的一种基于迁移学习的小样本SAR图像舰船分类方法，其特征在于，所述步骤S1具体包括：采用VV极化下的SAR图像，然后通过对SAR图像舰船切片进行预处理，SAR图像进行图像可视化得到0-255的灰度图像，对灰度图像处理保持维度一致为128*128*1，并对图像进行归一化处理使其值在[-1,1]范围内。

3.根据权利要求1所述的一种基于迁移学习的小样本SAR图像舰船分类方法，其特征在于，所述步骤S3中，DCGAN网络包括生成器网络和辨别器网络；所述DCGAN网络辨别器的损失函数为：

4.根据权利要求1所述的一种基于迁移学习的小样本SAR图像舰船分类方法，其特征在于，所述步骤S3中，所述辨别器网络由5层卷积层组成，输入为图像维数为128*128*1，滤波器大小为5*5，滤波器移动步长为2，图像边界不填充，无偏置项，前5层采用leak_relu作为激活函数，最后一层采用sigmoid函数作为辨别输出结果；卷积层参数采用xavier初始化方法，并在每个卷积层添加dropout层避免模型过拟合，丢弃率设置为0.2。

5.根据权利要求1所述的一种基于迁移学习的小样本SAR图像舰船分类方法，其特征在于，所述步骤S6中，采用迁移学习构造SAR图像舰船分类网络的包括以下具体步骤：

S63：经过步骤S62训练后采用fine-tuning方法开放最顶层的卷积网络，对其权重进行训练；并采取腐蚀学习速率的方法让学习速率随着轮次逐渐变小，使代价函数收敛到局部最优点。

6.根据权利要求5所述的一种基于迁移学习的小样本SAR图像舰船分类方法，其特征在于，所述步骤S62中，采用迁移学习构建舰船分类的全连接网络，具体包括以下步骤：

S623：构建分类MLP网络，包括三层全连接层，前两层节点数目为512、256，激活函数采用relu函数，并在每层全连接层后添加DropOut正则化层；最后一层节点数为舰船种类数量，激活函数采用softmax作为多分类输出；

S624：设置MLP网络学习速率和batch_size，采用提前停止的方法，观察代价函数的收敛情况，若代价函数收敛后则停止训练；

S625：MLP网络预训练完成后采用fine-tune方法打开部分顶层卷积层进行训练。