CN113344046A - 一种提高sar图像船只分类精度的方法 - Google Patents

一种提高sar图像船只分类精度的方法 Download PDF

Info

Publication number
CN113344046A
CN113344046A CN202110563213.5A CN202110563213A CN113344046A CN 113344046 A CN113344046 A CN 113344046A CN 202110563213 A CN202110563213 A CN 202110563213A CN 113344046 A CN113344046 A CN 113344046A
Authority
CN
China
Prior art keywords
test
network
pca
new
gray
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110563213.5A
Other languages
English (en)
Inventor
张晓玲
郑顺心
张天文
胥小我
师君
韦顺军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202110563213.5A priority Critical patent/CN113344046A/zh
Publication of CN113344046A publication Critical patent/CN113344046A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Abstract

本发明公开了一种提高SAR图像船只分类精度的方法，它是基于深度学习的目标分类理论，利用传统特征提取算法提取SAR传统特征，利用主成分分析方法对提取到的传统特征进行降维。将传统的手工特征与神经网络提取到的特征进行融合，将融合特征用于分类，将传统方法提取到的特征融入到卷积神经网络中去，提高特征的表征能力，从而辅助深度学习方法，提升在SAR图像船只分类上的识别精度。本发明与未融入传统特征的卷积神经网络相比，能够显著提升SAR图像船只的分类精度。

Description

一种提高SAR图像船只分类精度的方法
技术领域
本发明属于合成孔径雷达(SAR)图像解译技术领域，涉及一种SAR图像船只分类方法。
背景技术
合成孔径雷达(SAR)是一种微波成像雷达，它具有全天时、全天候、二维成像、高分辨率、不受光照云雾影响等优点，长期以来都是船只目标监视监测的重要手段。详见文献“张晰,张杰,孟俊敏.基于旋翼无人机雷达的船只目标成像与类型识别研究进展综述[J].海洋科学,2020,44(06):141-147.”。
随着卷积神经网络在SAR图像上的应用，研究学者提出了各种模型用于SAR图像船只分类，但是这些网络都只利用网络自身学习和提取到的特征，而将传统的手工特征完全舍弃，这可能会导致SAR图像船只的分类精度难以继续提高。因此，为了解决以上问题，本发明基于深度学习的理论，并结合传统的手工特征提取方法，提出了一种提高SAR图像船只分类精度的方法。
发明内容
本发明属于合成孔径雷达(SAR)图像解译技术领域，公开了一种提高SAR图像船只分类精度的方法。该方法基于深度学习的目标分类理论，并将传统的手工特征与神经网络提取到的特征进行融合，提出了一种新的SAR船只分类方法。本发明主要包括以下三个步骤，首先，使用卷积神经网络进行SAR图像特征的提取。然后，利用手工特征提取算法进行传统特征提取，并利用主成分分析方法对提取到的传统特征进行降维。最后，将深度学习提取到的特征和降维后的传统特征进行融合用于最后的分类。
为了方便描述本发明的内容，首先作以下术语定义：
定义1：OpenSARShip数据集
OpenSARShip数据集是一个可用于SAR图像船只检测和分类的数据集。OpenSARShip数据集采集了41幅不同环境条件下的哨兵一号(Sentinel-1)图像，一共有11346个船只,包含散货船、集装箱船和油船三种类型，并且集成了自动识别系统(AIS)的信息。该数据集具有特定性、大尺度、多样性、可靠性和公开性的特点，可作为SAR船只解译算法研究的基准数据集，并且在未来，该数据集将会不断地进行扩充。OpenSARShip数据集可从链接https://opensar.sjtu.edu.cn/下载获得。详见文献“L.Huang,et al.,‘OpenSARShip:A Dataset Dedicated to Sentinel-1Ship Interpretation,’IEEEJ.Sel.Top.Appl.Earth Obs.Remote Sens.,2018,11(1):195-208.”。
定义2：神经元
神经元是神经网络中一种基本的处理单元，它是根据生物界中神经元的结构进行的一种简化的建模。它能够接受多个输入值，然后对这些输入值进行某种函数运算操作得到输出。通过神经元，人工神经网络能够模拟人脑的神经元处理活动，进而进行各种复杂的运算。详见网站“https://www.cnblogs.com/subconscious/p/5058741.html”。
定义3：标准的卷积层
标准的卷积层是卷积神经网络中一种基本的结构，在卷积神经网络中往往会由多个卷积层构成，而一个卷积层是由若干个标准的卷积核构成，标准的卷积核在数学形式上是一种矩阵，其大小相比网络输入图像的尺寸小很多，而且矩阵中元素值的大小表示卷积运算过程中的权重大小。卷积核完成的操作是，对于网络的输入图像或者网络中间层的输入特征，每次网络的卷积运算，只有图像或者特征图上局部窗口范围内的像素与卷积核内的权重进行对应位置的相乘累加，在图像或者特征图某个位置的窗口完成这种卷积运算之后，卷积核不断地在图像或特征图上进行滑动，并重复卷积核的卷积操作，直至图像或特征图每个像素点都被卷积核覆盖到。详见网站“https://blog.csdn.net/qq_20759449/article/details/88877140”。
定义4：全连接层
在神经网络的前后两层之间，前一层中的每个如定义2中的神经元与后一层所有神经元具有连接，并且各个连接上还有相应的权重值，这样的网络层被称为全连接层。通过全连接层，网络能够把前面提取到的特征综合起来。详见网站“https://blog.csdn.net/xiaodong_11/article/details/82015456”。
定义5：标准的Relu激活函数
标准的Relu激活函数表达式为y＝max(0,x)，其中y为输出，x为输入。详见文献“Glorot,Xavier,Antoine Bordes,and Yoshua Bengio.‘Deep sparse rectifier neuralnetworks.’Proceedings of the fourteenth international conference onartificial intelligence and statistics.JMLR Workshop and ConferenceProceedings,2011.”
定义6：标准的dropout方法
标准的dropout方法是用于网络训练阶段的一种避免过拟合的技术，一般用在网络的如定义4中的全连接层中。具体地，在网络每次更新参数之前，全连接层中的每个神经元都有一定的概率将被舍弃，不参与参数的更新，其中概率在训练之前进行设置。详见文献“Srivastava,Nitish,et al.‘Dropout:a simple way to prevent neural networksfrom overfitting.’The journal of machine learning research 15.1(2014):1929-1958.”
定义7：标准的Concatenate操作方法
Concatenate操作指的是将多个通道的特征信息叠加在一起，可以用来进行特征融合和特征增强。Concatenate操作不增加每个通道上的特征信息，而是通过通道数的增加来提供更多的特征信息，能够充分利用不同层次的特征。详见文献“Huang G,Liu Z,Laurens V D M,et al.Densely Connected Convolutional Networks[J].2016.”。
定义8：经典的AlexNet网络
经典的AlexNet网络是一种分类网络，共有5层如定义3中的卷积层和3层如定义4中的全连接层。该网络使用定义5中的Relu函数作为激活函数，并在全连接层中采用了定义6中的dropout方法避免过拟合。详见文献“A.Krizhevsky,et al.,‘ImageNetclassification with deep convolutional neural networks,’Int.Conf.NeuralInf.Process.Syst.(NIPS),2012,1097.”。
定义9：经典的VGGNet-16网络
经典的VGGNet-16网络是一种分类网络，共有13层如定义3中的卷积层和3层如定义4中的全连接层，故命名为VGGNet-16。该网络卷积层部分全部使用尺寸为3×3的小卷积核。详见文献“K.Simonyan,et al.,‘Very deep convolutional networks for large-scale image recognition,’Int.Conf.Learn.Representations(ICLR),2015,1-14.”。
定义10：经典的ResNet-50网络
经典的ResNet-50网络是一种分类网络，共有49层如定义3中的卷积层和1层如定义4中的全连接层，故命名为ResNet-50。该网络采用了残差学习模块进行网络的搭建，残差学习模块是指，网络中某层的输入，和其再经过几层卷积之后得到的特征直接进行相加，作为该模块的输出。由于网络不同层之间的特征相加融合，更有利于信息传递和反向传播，因此网络层数可以继续加深，网络训练收敛的速度和最终精度相比无残差结构的同形式网络也能够进一步提升。详见文献“K.He,et al.,‘Deep Residual Learning for ImageRecognition,’IEEE Conf.Comput.Vis.Pattern Recognit.(CVPR),2016,770-778.”。
定义11：经典的DenseNet-121网络
经典的DenseNet-121网络是一种分类网络，共有120层如定义3中的卷积层和1层如定义4中的全连接层，故命名为DenseNet-121。该网络是由Dense Block和过渡层交替组成的网络。其中，Dense Block是指在包含多个卷积层的块中，块中靠前的层都与后面的层进行跳跃连接，连接的两层特征通过前面定义7中的Concatenate操作方法进行聚合。详见文献“G.Huang,et al.,‘Densely Connected Convolutional Networks,’IEEEConf.Comput.Vis.Pattern Recognit.(CVPR),2017,2261-2269.”。
定义12：经典的灰度特征提取方法
经典的灰度特征是指图像上每个像素点的灰度强度特征，即图像上每个像素点值的大小。对一张尺寸为为N×N的灰度图像，可以得到N2个像素点的值，将这些像素点的值排列成具有N2个元素的列向量，即可得到图像的灰度特征。
定义13：经典的Canny边缘特征提取方法
经典的Canny边缘特征是一种表示图像边缘信息的特征，其提取过程包括以下几个步骤，首先通过一个高斯卷积核对原始图像进行卷积，以此抑制噪声，然后对滤波后的图像，计算图像每个像素点的水平梯度和垂直梯度，最后根据水平梯度值和垂直梯度值计算最终的梯度值大小以及方向。经典的Canny边缘特征提取方法详见文献“J.Canny,‘AComputational Approach to Edge Detection,’Readings in Computer Vision,M.A.Fischler and O.Firschein,eds.,1987,184-203.”。
定义14：经典的Corner Harris特征提取方法
经典的Corner Harris特征是一种表示图像角信息的特征，其计算过程包括：首先在图像上选取一个窗口，对窗口中的所有像素点找到其在指定的水平方向和垂直方向偏移量下对应的像素点，求两像素点差值的平方，在窗口内所有像素点完成该运算后，接着对这些值进行加权求和，其中加权过程采用的是二维高斯分布的值作为系数进行加权，这样，就能够计算图像上指定窗口和指定偏移量下对应的角特征值。经典的Corner Harris特征提取方法详见文献“E.Rosten,et al.,‘Faster and Better:A Machine Learning Approachto Corner Detection,’IEEE Trans.Pattern Anal.Mach.Intell.,2010,32(1):105.”
定义15：经典的HOG特征提取方法
经典的HOG特征全称是方向梯度直方图特征(Histograms of orientedgradients feature)，是一种描述图像局部纹理的特征。其计算过程包括以下几个步骤，首先采用Gamma校正法对输入图像进行归一化处理，接着计算图像上每个像素点的梯度值(包括大小和方向)，然后将整个图像分为尺寸相同的小单元，按照梯度方向统计各图像单元梯度直方图，称为单元描述子，将多个单元组成一个集合称为块，则联合单元描述子可得到块描述子，最后将所有的块描述子联合起来便得到图像的HOG特征描述子。经典的HOG特征提取方法详见文献“N.Dalal,et al.,‘Histograms of oriented gradients for humandetec-tion,’IEEE Conf.Comput.Vis.Pattern Recognit.(CVPR),2005,886-893.”。
定义16：经典的PCA方法
经典的PCA方法全称是Principal Component Analysis，即主成分分析方法，是一种广泛使用的数据降维方法。其实现过程如下，首先对从图像中提取到的特征进行零均值化处理，将特征转化成向量或者矩阵的形式，然后由向量或矩阵形式的特征求取协方差矩阵，并由协方差矩阵求得相应的特征值和特征向量，最后根据特征值的大小进行排序，选择前几个较大特征值对应的特征向量按行排列成矩阵的形式，以此作为数据降维的变换基，得到变换基之后，将变换基乘以零均值化后的特征数据，即做线性变换，就可得到最终降维后的特征表示。经典的PCA方法详见文献“Shlens,Jonathon.‘A tutorial on principalcomponent analysis.’arXiv preprint arXiv:1404.1100(2014).”。
定义17：经典的交叉熵损失函数
经典的交叉熵损失函数是一种表示分类问题训练误差的函数。在分类网络的最后一层会给出预测的各个类别的概率值，另外根据已知的真实类别标签(即对应每个类别，用0和1进行标注，标注为1意味当前目标为该类别的概率应为1，相反标注为0则意味当前目标为该类别的概率应为0)，对每个类别，预测概率值取对数并乘以相应的真实概率值，最后对所有的类别以这种方式求值之后，进行累加作为最后的损失值。可参考文献“C.Wang,etal.,‘Semisupervised Learning-Based SAR ATR via Self-Consistent Augmentation.’IEEE Trans.Geosci.Remote Sens.,early access,2020,1-12.”。
定义18：标准的准确率评估方法
标准的准确率评估方法是，分类正确的目标数除以总的目标数得到商值，以该商值作为准确率的衡量。详见网站“https://blog.csdn.net/wf592523813/article/details/95202448”。
定义19：经典的Adam算法
经典的Adam算法是一种可以替代传统随机梯度下降过程的一阶优化算法，它能基于训练数据迭代地更新神经网络权重。Adam算法和传统的随机梯度下降不同。随机梯度下降保持单一的学习率更新所有的权重，学习率在训练过程中并不会改变。而Adam通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率。详见文献“Kingma D P,Ba J.Adam:A Method for Stochastic Optimization[J].ComputerScience,2014.”。
定义20：经典的Softmax函数
经典的Softmax函数又称为归一化指数函数，常用于多分类任务中。在神经网络中，该函数将网络输出的结果值映射为非负值，并且这些非负值的和为1，然后以这些非负值作为网络预测的每个类别的概率值。详见网站“https://blog.csdn.net/lz_peter/article/details/84574716”。
定义21：标准的flatten操作方法
标准的flatten操作方法是指对数组进行展平，从而得到一维向量的过程。对于二维数组，通过将数组中后面的行数据拼接在前面的一行数据的末尾，当所有的行拼接完毕之后，得到最终的一维向量。详见网站“https://blog.csdn.net/fisherming/article/details/114827976”。
定义22：标准的图像重采样方法
图像重采样方法是指对图像进行上采样或者下采样以得到指定尺寸大小的图像的过程，其中上采样通过对图像中的像素点进行插值得到，下采样包括两个步骤，首先对原图像进行高斯滤波处理，然后每隔一定行数和每隔一定列数将图像中的某些行和列进行去除。详见网站“http://blog.sciencenet.cn/blog-3428464-1232412.html”。
定义23：标准Pytorch框架导入常用网络结构方法
常用的如alexnet、densenet、resnet、vgg、inception、squeezenet等网络结构，可以通过深度学习框架Pytorch中的torchvision.models子包直接导入获得，标准Pytorch框架导入常用网络结构方法详见网站“https://www.cnblogs.com/kk17/p/9949590.html”。
本发明提供了一种提高SAR图像船只分类精度的方法，它是一种结合传统特征和深度学习特征用于SAR图像船只分类的方法，整个流程见附图1，它包括以下几个步骤：
步骤1、准备数据集
获得公知的OpenSARShip数据集：从定义1中的链接https://opensar.sjtu.edu.cn下载得到OpenSARShip数据集，记为OSS；
见附图3，在OSS数据集中，三类目标中数量最少的类别为油船，一共有484个采样，将其按照7:3的比例进行训练集和测试集的划分，即训练集338个采样，测试集146个采样。其他两类目标，即散货船和集装箱船，分别包含666个采样和1146个采样，它们训练集的数目和油船保持一致，即338个采样，则散货船和集装箱船分别剩下328个采样和808个采样作为测试集。由此油船的338个采样、散货船的666个采样和集装箱船的1146个采样作为训练集，并记为Train，油船的146个采样、散货船的328个采样和集装箱船的808个采样作为测试集，并记为Test。
在数据集输入到网络之前，对Train和Test中的图像采用定义22中标准的图像重采样方法进行重采样，得到新的训练集和新的测试集，并将新的训练集记为Train_new，新的测试集记为Test_new。重采样后新的训练集和新的测试集的大小为128×128，至此完成数据集的准备。
步骤2、由经典特征提取算子提取传统特征
采用定义12、定义13、定义14和定义15中经典的灰度特征提取方法、经典的Canny边缘特征提取方法、经典的Corner Harris特征提取方法以及经典的HOG特征提取方法，对Train_new和Test_new中的图像分别进行提取，得到相应的四种特征：将Train_new中图像对应的四种特征分别记为FGray、FCanny、FCornerHarris和FHOG；将Test_new中图像对应的四种特征分别记为FGray-test、FCanny-test、FCornerHarris-test和FHOG-test，至此传统特征提取完毕。
步骤3、对提取到的传统特征进行降维
采用定义16中经典的PCA方法对步骤2中提取到的FGray、FCanny、FCornerHarris、FHOG、FGray-test、FCanny-test、FCornerHarris-test和FHOG-test分别进行降维处理，得到降维后的特征分别记为FGray-PCA、FCanny-PCA、FCornerHarris-PCA、FHOG-PCA、FGray-PCA-test、FCanny-PCA-test、FCornerHarris-PCA-test和FHOG-PCA-test，至此，传统特征降维完毕。
步骤4、搭建现有网络
根据定义23中标准的网络结构导入方法，分别得到定义8、定义9、定义10和定义11中经典的AlexNet、经典的VGGNet-16、经典的ResNet-50和经典的DenseNet-121网络结构，分别重新命名为ConvAlexNet、ConvVGGNet-16、ConvResNet-50和ConvDenseNet-121。
步骤5、对现有网络进行训练得到训练好的网络模型
步骤5.1网络训练方法
见附图1，首先，将步骤1中得到的Train_new输入到步骤4得到的ConvAlexNet网络，经过ConvAlexNet卷积块部分得到二维特征fconv1，并将该二维特征采用定义21中标准的的flatten操作方法，得到它的一维特征形式，记为fflatten1；
接着，将一维特征fflatten1输入到ConvAlexNet全连接层部分，得到输出的一维特征，记为fflatten1-fc；
然后，采用定义7中经典的Concatenate操作方法，将fflatten1-fc和步骤3中的FGray-PCA进行融合得到融合特征，并记为ffusion1；
最后，将ffusion1输入到长度为3的全连接层，并采用定义20中经典的Softmax函数归一化后，得到网络的输出；以定义17中的经典交叉熵损失函数作为损失函数，采用定义19中的经典的Adam算法进行训练，训练完成后得到船只分类模型，记为modelAlexNet-Gray，至此该网络训练过程完毕。
同理，将Train_new和步骤3中的FGanny-PCA、Train_new和步骤3中的FCornerHarris-PCA、Train_new和步骤3中的FHOG-PCA分别输入到ConvAlexNet，采用上述同样的网络训练方法，进行训练，得到船只分类模型，分别记为modelAlexNet-Canny、modelAlexNet-CornerHarris和modelAlexNet-HOG。
步骤5.2
见附图1，首先，将步骤1中得到的Train_new输入到步骤4得到的ConvVGGNet-16网络，经过ConvVGGNet-16网络卷积块部分后，得到二维特征fconv2；对二维特征fconv2采用定义21中标准的flatten操作方法，得到二维特征fconv2的一维特征形式，记为fflatten2；
接着，将一维特征fflatten2输入到ConvVGGNet-16全连接层部分，得到输出的一维特征，记为fflatten2-fc；
然后，采用定义7中标准的Concatenate操作方法，将fflatten2-fc和步骤3中的FGray-PCA进行融合得到融合特征，并记为ffusion2；
最后，将ffusion2输入到长度为3的全连接层，并采用定义20中经典的Softmax函数得到网络的输出，以定义17中的经典交叉熵损失函数作为损失函数，采用定义19中的经典的Adam算法进行训练。训练完成后得到船只分类模型，记为modelVGGNet-16-Gray，至此该网络训练过程完毕；
同理，将Train_new和步骤3中的FGanny-PCA、Train_new和步骤3中的FCornerHarris-PCA、Train_new和步骤3中的FHOG-PCA分别输入到ConvVGGNet-16，采用上述同样的网络训练方法，进行训练，得到船只分类模型，分别记为modelVGGNet-16-Canny、modelVGGNet-16-CornerHarris和modelVGGNet-16-HOG。
步骤5.3
见附图1，首先，将步骤1中得到的Train_new输入到到步骤4得到的ConvResNet-50网络，经过ConvResNet-50卷积块部分后，得到二维特征fconv3，将该二维特征采用定义21中标准的flatten操作方法，得到它的一维特征形式，记为fflatten3；
接着，将一维特征fflatten3输入到ConvResNet-50全连接层部分，得到输出的一维特征，记为fflatten3-fc；
然后，采用定义7中标准的Concatenate操作方法，对fflatten3-fc和步骤3中的FGray-PCA进行融合得到融合特征，并记为ffusion3；
最后，将ffusion3输入到长度为3的全连接层，并采用定义20中经典的Softmax函数得到网络的输出，以定义17中的经典交叉熵损失函数作为损失函数，并采用定义19中的经典的Adam算法进行训练。训练完成后得到船只分类模型，记为modelResNet-50-Gray，至此该网络训练过程完毕。
同理，将Train_new和步骤3中的FGanny-PCA、Train_new和步骤3中的FCornerHarris-PCA、Train_new和步骤3中的FHOG-PCA分别输入到ConvResNet-50，采用上述同样的网络训练方法，进行训练，得到船只分类模型，分别记为modelResNet-50-Canny、modelResNet-50-CornerHarris和modelResNet-50-HOG。
步骤5.4
见附图1，首先，将步骤1中得到的Train_new输入到ConvDenseNet-121，经过ConvDenseNet-121卷积块部分得到二维特征fconv4，并将该二维特征采用定义21中标准的flatten操作方法展成一维特征形式，记为fflatten4；
接着，将一维特征fflatten4输入到ConvDenseNet-121全连接层部分，得到输出的一维特征，记为fflatten4-fc。
然后，采用定义7中标准的Concatenate操作方法，将fflatten4-fc和步骤3中的FGray-PCA进行融合得到融合特征，并记为ffusion4；
最后，将ffusion4输入到长度为3的全连接层，并采用定义20中经典的Softmax函数得到网络的输出，以定义17中的经典交叉熵损失函数作为目标函数，并采用定义19中的经典的Adam算法进行训练。训练完成后得到船只分类模型，记为modelDenseNet-121-Gray，至此该网络训练过程完毕。
同理，将Train_new和步骤3中的FGanny-PCA、Train_new和步骤3中的FCornerHarris-PCA、Train_new和步骤3中的FHOG-PCA分别输入到ConvDenseNet-121，采用上述同样的网络训练方法，进行训练，得到船只分类模型，分别记为modelDenseNet-121-Canny、modelDenseNet-121-CornerHarris和modelDenseNet-121-HOG。
步骤6、测试船只分类模型
步骤6.1
见附图1，首先，将步骤1中得到的Test_new输入到步骤5.1中得到的modelAlexNet-Gray，经过modelAlexNet-Gray卷积块部分，得到二维特征fconv1-test；对二维特征fconv1-test采用定义21中的标准flatten操作方法，得到他的一维特征形式，记为fflatten1-test；
接着，将一维特征fflatten1-test输入到modelAlexNet-Gray全连接层部分，得到输出的一维特征，记为fflatten1-test-fc；
然后，采用定义7中标准的Concatenate操作方法，将fflatten1-test-fc和步骤3中的FGray-PCA-test进行融合得到融合特征，并记为ffusion1-test；
最后，将ffusion1-test输入到长度为3的全连接层部分，采用定义20中经典的Softmax函数得到网络的输出，定义为网络预测结果，记为resultAlexNet-Gray，至此该网络测试过程完毕。
同理，将Test_new和步骤3中的FGanny-PCA-test、Test_new和步骤3中的FCornerHarris-PCA-test、Test_new和步骤3中的FHOG-PCA-test分别输入到步骤5.1中得到的modelAlexNet-Canny、modelAlexNet-CornerHarris和modelAlexNet-HOG中，采用上述同样的网络测试方法，进行网络测试，得到所测试网络的预测结果，分别记为resultAlexNet-Canny、resultAlexNet-CornerHarris和resultAlexNet-HOG。
步骤6.2
见附图1，首先，将步骤1中得到的Test_new输入到modelVGGNet-16-Gray，经过modelVGGNet-16-Gray卷积块部分得到二维特征fconv2-test，并将该二维特征采用定义21中标准的flatten操作方法，得到它的一维特征形式，记为fflatten2-test；
接着，将一维特征fflatten2-test输入到modelVGGNet-16-Gray全连接层部分，得到输出的一维特征，记为fflatten2-test-fc；
然后，采用定义7中的Concatenate操作方法，将fflatten2-test-fc和步骤3中的FGray-PCA-test进行融合得到融合特征，并记为ffusion2-test；
最后，将ffusion2-test输入到长度为3的全连接层部分，采用定义20中经典的Softmax函数得到网络的输出，定义为网络预测结果，记为resultVGGNet-16-Gray，至此该网络测试过程完毕。
同理，将Test_new和步骤3中的FGanny-PCA-test、Test_new和步骤3中的FCornerHarris-PCA-test、Test_new和步骤3中的FHOG-PCA-test分别输入到步骤5.2中得到的modelVGGNet-16-Canny、modelVGGNet-16-CornerHarris和modelVGGNet-16-HOG中，采用上述同样的网络测试方法，进行网络测试，得到所测试网络的预测结果，分别记为resultVGGNet-16-Canny、resultVGGNet-16-CornerHarris和resultVGGNet-16-HOG。
步骤6.3
见附图1，首先，将Test_new输入到步骤5.3中得到的modelResNet-50-Gray，经过modelResNet-50-Gray卷积块部分得到二维特征fconv3-test，并将该二维特征采用定义21中标准的flatten操作方法，得到它的一维特征形式，记为fflatten3-test；
接着，将一维特征fflatten3-test输入到modelResNet-50-Gray全连接层部分，得到输出的一维特征，记为fflatten3-test-fc；
然后，采用定义7中的Concatenate操作方法，将fflatten3-test-fc和步骤3中的FGray-PCA进行融合得到融合特征，并记为ffusion3-test；
最后，将ffusion3-test输入到长度为3的全连接层部分，并采用定义20中经典的Softmax函数得到网络的输出，定义为网络预测结果，记为resultResNet-50-Gray，至此该网络测试过程完毕。
同理，将Test_new和步骤3中的FGanny-PCA-test、Test_new和步骤3中的FCornerHarris-PCA-test、Test_new和步骤3中的FHOG-PCA-test分别输入到步骤5.3中得到的modelResNet-50-Canny、modelResNet-50-CornerHarris和modelResNet-50-HOG中，采用上述同样的网络测试方法，进行网络测试，得到所测试网络的预测结果，分别记为resultResNet-50-Canny、resultResNet-50-CornerHarris和resultResNet-50-HOG。
步骤6.4
见附图1，首先，将Test_new输入到步骤5.4中得到的modelDenseNet-121-Gray，经过modelDenseNet-121-Gray卷积块部分，得到二维特征fconv4-test，并将该二维特征采用定义21中的flatten操作方法，得到它的一维特征形式，记为fflatten4-test；
接着，将一维特征fflatten4-test输入到modelDenseNet-121-Gray全连接层部分，得到输出的一维特征，记为fflatten4-test-fc；
然后，采用定义7中标准的Concatenate操作方法，将fflatten4-test-fc和步骤3中的FGray-PCA进行融合得到融合特征，并记为ffusion4-test；
最后，将ffusion4-test输入到长度为3的全连接层部分，并采用定义20中经典的Softmax函数得到网络的输出，定义为网络预测结果，记为resultDenseNet-121-Gray,至此该网络测试过程完毕。
同理，将Test_new和步骤3中的FGanny-PCA-test、Test_new和步骤3中的FCornerHarris-PCA-test、Test_new和步骤3中的FHOG-PCA-test分别输入到步骤5.4中得到的modelDenseNet-121-Canny、modelDenseNet-121-CornerHarris和modelDenseNet-121-HOG中，采用上述同样的网络测试方法，进行网络测试，得到所测试网络的预测结果，分别记为resultDenseNet-121-Canny、resultDenseNet-121-CornerHarris和resultDenseNet-121-HOG。
步骤7、船只分类准确率评估
对于步骤6.1至步骤6.4得到的网络预测结果resultAlexNet-Gray、resultAlexNet-Canny、resultAlexNet-CornerHarris、resultAlexNet-HOG、resultVGGNet-16-Gray、resultVGGNet-16-Canny、resultVGGNet-16-CornerHarris、、resultVGGNet-16-HOG、resultResNet-50-Gray、resultResNet-50-Canny、resultResNet-50-CornerHarris、resultResNet-50-HOG、resultDenseNet-121-Gray、resultDenseNet-121-Canny、resultDenseNet-121-CornerHarris和resultDenseNet-121-HOG，采用定义18中的标准的准确率评估方法进行评估，得到船只分类准确率评估结果。
本发明的创新点在于将传统方法提取到的特征融入到卷积神经网络中去，提高特征的表征能力，从而辅助深度学习方法，提升在SAR图像船只分类上的识别精度。在定义1中的OpenSARShip数据集上，结合定义12至定义16中的方法，通过对定义8至定义11的网络进行训练，相比没有采用定义12至定义16方法的训练结果，可以在分类精度上实现2.18％～8.46％的提升。
本发明的优点在于通过将传统手工特征和深度学习提取到的特征相结合，克服卷积神经网络提取到的抽象特征的局限性，能够实现高精度的SAR图像船只分类。
附图说明
图1为本发明中的流程示意图。
图2为本发明中全连接层的配置示意图。
图3为本发明中的训练集和测试集的划分方法。
图4为本发明中的SAR船只分类精度示意图。
具体实施方式
步骤1、准备数据集
从定义1中的链接https://opensar.sjtu.edu.cn进入网站，可下载得到OpenSARShip数据集，记为OSS；
见附图3，在OSS数据集中，三类目标中数量最少的类别为油船，一共有484个采样，将其按照7:3的比例进行训练集和测试集的划分，即训练集338个采样，测试集146个采样。其他两类目标，即散货船和集装箱船，分别包含666个采样和1146个采样，它们训练集的数目和油船保持一致，即338个采样，则散货船和集装箱船分别剩下328个采样和808个采样作为测试集。则油船的338个采样、散货船的666个采样和集装箱船的1146个采样作为训练集，并记为Train，油船的146个采样、散货船的328个采样和集装箱船的808个采样作为测试集，并记为Test。
在数据集输入到网络之前，对Train和Test中的图像按照定义22中的图像重采样方法进行重采样，重采样后的大小为128×128，由此得到新的训练集和新的测试集，并将新的训练集记为Train_new，新的测试集记为Test_new；至此，完成数据集的准备。
步骤2、由经典特征提取算子提取传统特征
根据定义12中的灰度特征提取方法，对步骤1中的Train_new和Test_new中的图像分别提取灰度特征，并将提取到的灰度特征分别记为FGray和FGray-test；根据定义13中的Canny边缘特征提取方法，对步骤1中的Train_new和Test_new中的图像分别提取Canny边缘特征，并将提取到的Canny边缘特征分别记为FCanny和FCanny-test；根据定义14中的CornerHarris特征提取方法，对步骤1中的Train_new和Test_new中的图像分别提取CornerHarris特征，并将提取到的Corner Harris特征分别记为FCornerHarris和FCornerHarris-test；根据定义15中的HOG特征提取方法，对Train_new和Test_new中的图像分别提取HOG特征，并将提取到的HOG特征分别记为FHOG和FHOG-test。至此传统特征提取完毕。
步骤3、对提取到的传统特征进行降维
使用定义16中的PCA方法对步骤2中提取到的FGray、FCanny、FCornerHarris、FHOG、FGray-test、FCanny-test、FCornerHarris-test和FHOG-test分别进行降维处理，降维后的特征分别记为FGray-PCA、FCanny-PCA、FCornerHarris-PCA、FHOG-PCA、FGray-PCA-test、FCanny-PCA-test、FCornerHarris-PCA-test和FHOG-PCA-test，至此，传统特征降维完毕。。
步骤4、搭建现有网络
根据定义23中的网络结构导入方法，分别得到定义8、定义9、定义10和定义11中的AlexNet、VGGNet-16、ResNet-50和DenseNet-121网络结构，并分别重新命名为ConvAlexNet、ConvVGGNet-16、ConvResNet-50和ConvDenseNet-121。
步骤5、对现有网络进行训练得到训练好的网络模型
步骤5.1
见附图1，首先，将步骤1中得到的Train_new输入到ConvAlexNet，经过ConvAlexNet卷积块部分得到二维特征fconv1，并将该二维特征按照定义21中的flatten操作方法展成一维特征形式，记为fflatten1。接着，将一维特征fflatten1输入到ConvAlexNet全连接层部分，得到输出的一维特征，记为fflatten1-fc。然后，按照定义7中的Concatenate操作方法，将fflatten1-fc和步骤3中的FGray-PCA进行融合得到融合特征，并记为ffusion1。最后，将ffusion1输入到长度为3的全连接层部分并经过定义20中的Softmax函数得到网络的输出，以定义17中的经典交叉熵损失函数作为损失函数，并按照定义19中的经典的Adam算法进行训练，训练完成后得到船只分类模型，记为modelAlexNet-Gray，至此该网络训练过程完毕。
同理，将Train_new和步骤3中的FGanny-PCA、Train_new和步骤3中的FCornerHarris-PCA、Train_new和步骤3中的FHOG-PCA分别输入到ConvAlexNet，按照上述过程进行训练得到船只分类模型，分别记为modelAlexNet-Canny、modelAlexNet-CornerHarris和modelAlexNet-HOG。
步骤5.2
见附图1，首先，将步骤1中得到的Train_new输入到ConvVGGNet-16，经过ConvVGGNet-16卷积块部分得到二维特征fconv2，并将该二维特征按照定义21中的flatten操作方法展成一维特征形式，记为fflatten2。接着，将一维特征fflatten2输入到ConvVGGNet-16全连接层部分，得到输出的一维特征，记为fflatten2-fc。然后，按照定义7中的Concatenate操作方法，将fflatten2-fc和步骤3中的FGray-PCA进行融合得到融合特征，并记为ffusion2。最后，将ffusion2输入到长度为3的全连接层部分并经过定义20中的Softmax函数得到网络的输出，以定义17中的经典交叉熵损失函数作为目标函数，并按照定义19中的经典的Adam算法进行训练。训练完成后得到船只分类模型，记为modelVGGNet-16-Gray，至此该网络训练过程完毕。
同理，再将Train_new和步骤3中的FGanny-PCA、Train_new和步骤3中的FCornerHarris-PCA、Train_new和步骤3中的FHOG-PCA分别输入到ConvVGGNet-16，按照上述过程进行训练得到船只分类模型，分别记为modelVGGNet-16-Canny、modelVGGNet-16-CornerHarris和modelVGGNet-16-HOG。
步骤5.3
见附图1，首先，将步骤1中得到的Train_new输入到ConvResNet-50，经过ConvResNet-50卷积块部分得到二维特征fconv3，并将该二维特征按照定义21中的flatten操作方法展成一维特征形式，记为fflatten3。接着，将一维特征fflatten3输入到ConvResNet-50全连接层部分，得到输出的一维特征，记为fflatten3-fc。然后，按照定义7中的Concatenate操作方法，将fflatten3-fc和步骤3中的FGray-PCA进行融合得到融合特征，并记为ffusion3。最后，将ffusion3输入到长度为3的全连接层部分并经过定义20中的Softmax函数得到网络的输出，以定义17中的经典交叉熵损失函数作为损失函数，并按照定义19中的经典的Adam算法进行训练。训练完成后得到船只分类模型，记为modelResNet-50-Gray，至此该网络训练过程完毕。
同理，将Train_new和步骤3中的FGanny-PCA、Train_new和步骤3中的FCornerHarris-PCA、Train_new和步骤3中的FHOG-PCA分别输入到ConvResNet-50，按照上述过程进行训练得到船只分类模型，分别记为modelResNet-50-Canny、modelResNet-50-CornerHarris和modelResNet-50-HOG。
步骤5.4
见附图1，首先，将步骤1中得到的Train_new输入到ConvDenseNet-121，经过ConvDenseNet-121卷积块部分得到二维特征fconv4，并将该二维特征按照定义21中的flatten操作方法展成一维特征形式，记为fflatten4。接着，将一维特征fflatten4输入到ConvDenseNet-121全连接层部分，得到输出的一维特征，记为fflatten4-fc。然后，按照定义7中的Concatenate操作方法，将fflatten4-fc和步骤3中的FGray-PCA进行融合得到融合特征，并记为ffusion4。最后，将ffusion4输入到长度为3的全连接层部分并经过定义20中的Softmax函数得到网络的输出，以定义17中的经典交叉熵损失函数作为目标函数，并按照定义19中的经典的Adam算法进行训练。训练完成后得到船只分类模型，记为modelDenseNet-121-Gray，至此该网络训练过程完毕。
同理，将Train_new和步骤3中的FGanny-PCA、Train_new和步骤3中的FCornerHarris-PCA、Train_new和步骤3中的FHOG-PCA分别输入到ConvDenseNet-121，按照上述过程进行训练得到船只分类模型，分别记为modelDenseNet-121-Canny、modelDenseNet-121-CornerHarris和modelDenseNet-121-HOG。
步骤6、测试船只分类模型
步骤6.1
见附图1，首先，将步骤1中得到的Test_new输入到步骤5.1中得到的modelAlexNet-Gray，经过modelAlexNet-Gray卷积块部分得到二维特征fconv1-test，并将该二维特征按照定义21中的flatten操作方法展成一维特征形式，记为fflatten1-test。接着，将一维特征fflatten1-test输入到modelAlexNet-Gray全连接层部分，得到输出的一维特征，记为fflatten1-test-fc。然后，按照定义7中的Concatenate操作方法，将fflatten1-test-fc和步骤3中的FGray-PCA-test进行融合得到融合特征，并记为ffusion1-test。最后，将ffusion1-test输入到长度为3的全连接层部分并经过定义20中的Softmax函数得到网络的预测结果，记为resultAlexNet-Gray，至此该网络测试过程完毕。
同理，将Test_new和步骤3中的FGanny-PCA-test、Test_new和步骤3中的FCornerHarris-PCA-test、Test_new和步骤3中的FHOG-PCA-test分别输入到步骤5.1中得到的modelAlexNet-Canny、modelAlexNet-CornerHarris和modelAlexNet-HOG中得到网络的预测结果，分别记为resultAlexNet-Canny、resultAlexNet-CornerHarris和resultAlexNet-HOG。
步骤6.2
见附图1，首先，将步骤1中得到的Test_new输入到modelVGGNet-16-Gray，经过modelVGGNet-16-Gray卷积块部分得到二维特征fconv2-test，并将该二维特征按照定义21中的flatten操作方法展成一维特征形式，记为fflatten2-test。接着，将一维特征fflatten2-test输入到modelVGGNet-16-Gray全连接层部分，得到输出的一维特征，记为fflatten2-test-fc。然后，按照定义7中的Concatenate操作方法，将fflatten2-test-fc和步骤3中的FGray-PCA-test进行融合得到融合特征，并记为ffusion2-test。最后，将ffusion2-test输入到长度为3的全连接层部分并经过定义20中的Softmax函数得到网络的预测结果，记为resultVGGNet-16-Gray，至此该网络测试过程完毕。
同理，将Test_new和步骤3中的FGanny-PCA-test、Test_new和步骤3中的FCornerHarris-PCA-test、Test_new和步骤3中的FHOG-PCA-test分别输入到步骤5.2中得到的modelVGGNet-16-Canny、modelVGGNet-16-CornerHarris和modelVGGNet-16-HOG中得到网络的预测结果，分别记为resultVGGNet-16-Canny、resultVGGNet-16-CornerHarris和resultVGGNet-16-HOG。
步骤6.3
见附图1，首先，将Test_new输入到步骤5.3中得到的modelResNet-50-Gray，经过modelResNet-50-Gray卷积块部分得到二维特征fconv3-test，并将该二维特征按照定义21中的flatten操作方法展成一维特征形式，记为fflatten3-test。接着，将一维特征fflatten3-test输入到modelResNet-50-Gray全连接层部分，得到输出的一维特征，记为fflatten3-test-fc。然后，按照定义7中的Concatenate操作方法，将fflatten3-test-fc和步骤3中的FGray-PCA进行融合得到融合特征，并记为ffusion3-test。最后，将ffusion3-test输入到长度为3的全连接层部分并经过定义20中的Softmax函数得到网络的预测结果，记为resultResNet-50-Gray，至此该网络测试过程完毕。
同理，将Test_new和步骤3中的FGanny-PCA-test、Test_new和步骤3中的FCornerHarris-PCA-test、Test_new和步骤3中的FHOG-PCA-test分别输入到步骤5.3中得到的modelResNet-50-Canny、modelResNet-50-CornerHarris和modelResNet-50-HOG中得到网络的预测结果，分别记为resultResNet-50-Canny、resultResNet-50-CornerHarris和resultResNet-50-HOG。
步骤6.4
见附图1，首先，将Test_new输入到步骤5.4中得到的modelDenseNet-121-Gray，经过modelDenseNet-121-Gray卷积块部分得到二维特征fconv4-test，并将该二维特征按照定义21中的flatten操作方法展成一维特征形式，记为fflatten4-test。接着，将一维特征fflatten4-test输入到modelDenseNet-121-Gray全连接层部分，得到输出的一维特征，记为fflatten4-test-fc。然后，按照定义7中的Concatenate操作方法，将fflatten4-test-fc和步骤3中的FGray-PCA进行融合得到融合特征，并记为ffusion4-test。最后，将ffusion4-test输入到长度为3的全连接层部分并经过定义20中的Softmax函数得到网络的预测结果，记为resultDenseNet-121-Gray,至此该网络测试过程完毕。
同理，将Test_new和步骤3中的FGanny-PCA-test、Test_new和步骤3中的FCornerHarris-PCA-test、Test_new和步骤3中的FHOG-PCA-test分别输入到步骤5.4中得到的modelDenseNet-121-Canny、modelDenseNet-121-CornerHarris和modelDenseNet-121-HOG中得到网络的预测结果，分别记为resultDenseNet-121-Canny、resultDenseNet-121-CornerHarris和resultDenseNet-121-HOG。
步骤7、船只分类准确率评估
根据步骤6.1至步骤6.4得到的网络预测结果resultAlexNet-Gray、resultAlexNet-Canny、resultAlexNet-CornerHarris、resultAlexNet-HOG、resultVGGNet-16-Gray、resultVGGNet-16-Canny、resultVGGNet-16-CornerHarris、、resultVGGNet-16-HOG、resultResNet-50-Gray、resultResNet-50-Canny、resultResNet-50-CornerHarris、resultResNet-50-HOG、resultDenseNet-121-Gray、resultDenseNet-121-Canny、resultDenseNet-121-CornerHarris和resultDenseNet-121-HOG，按照定义18中的标准的准确率评估方法进行评估，得到1次训练和测试的结果。重复步骤5和步骤6，分别进行10次训练和测试，取10次分类结果准确率的平均值，分类结果见附图4。
本发明的分类精度指标在定义1中的OpenSARShip数据集上的表现均优于定义8至定义11中的现有技术，表明本发明能够提高SAR船只分类的精度。

Claims (1)

1.一种提高SAR图像船只分类精度的方法，其特征是它包括以下几个步骤：
步骤1、准备数据集
获得公知的OpenSARShip数据集，记为OSS；
在OSS数据集中，三类目标中数量最少的类别为油船，一共有484个采样，将其按照7:3的比例进行训练集和测试集的划分，即训练集338个采样，测试集146个采样；其他两类目标，即散货船和集装箱船，分别包含666个采样和1146个采样，它们训练集的数目和油船保持一致，即338个采样，则散货船和集装箱船分别剩下328个采样和808个采样作为测试集；则油船的338个采样、散货船的666个采样和集装箱船的1146个采样作为训练集，并记为Train，油船的146个采样、散货船的328个采样和集装箱船的808个采样作为测试集，并记为Test；
在数据集输入到网络之前，对Train和Test中的图像采用标准的图像重采样方法进行重采样，得到新的训练集和新的测试集，并将新的训练集记为Train_new，新的测试集记为Test_new；重采样后新的训练集和新的测试集的大小为128×128，至此完成数据集的准备；
步骤2、由经典特征提取算子提取传统特征
采用经典的灰度特征提取方法、经典的Canny边缘特征提取方法、经典的CornerHarris特征提取方法以及经典的HOG特征提取方法，对Train_new和Test_new中的图像分别进行提取，得到相应的四种特征：将Train_new中图像对应的四种特征分别记为FGray、FCanny、FCornerHarris和FHOG；将Test_new中图像对应的四种特征分别记为FGray-test、FCanny-test、FCornerHarris-test和FHOG-test，至此传统特征提取完毕；
步骤3、对提取到的传统特征进行降维
采用经典的PCA方法对步骤2中提取到的FGray、FCanny、FCornerHarris、FHOG、FGray-test、FCanny-test、FCornerHarris-test和FHOG-test分别进行降维处理，得到降维后的特征分别记为FGray-PCA、FCanny-PCA、FCornerHarris-PCA、FHOG-PCA、FGray-PCA-test、FCanny-PCA-test、FCornerHarris-PCA-test和FHOG-PCA-test，至此，传统特征降维完毕；
步骤4、搭建现有网络
根据标准的网络结构导入方法，分别得到经典的AlexNet、经典的VGGNet-16、经典的ResNet-50和经典的DenseNet-121网络结构，分别重新命名为ConvAlexNet、ConvVGGNet-16、ConvResNet-50和ConvDenseNet-121；
步骤5、对现有网络进行训练得到训练好的网络模型
步骤5.1网络训练方法
见附图1，首先，将步骤1中得到的Train_new输入到步骤4得到的ConvAlexNet网络，经过ConvAlexNet卷积块部分得到二维特征fconv1，并将该二维特征采用采用标准的的flatten操作方法，得到它的一维特征形式，记为fflatten1；
接着，将一维特征fflatten1输入到ConvAlexNet全连接层部分，得到输出的一维特征，记为fflatten1-fc；
然后，采用经典的Concatenate操作方法，将fflatten1-fc和步骤3中的FGray-PCA进行融合得到融合特征，并记为ffusion1；
最后，将ffusion1输入到长度为3的全连接层，并采用经典的Softmax函数归一化后，得到网络的输出；以经典交叉熵损失函数作为损失函数，采用经典的Adam算法进行训练，训练完成后得到船只分类模型，记为modelAlexNet-Gray，至此该网络训练过程完毕；
同理，将Train_new和步骤3中的FGanny-PCA、Train_new和步骤3中的FCornerHarris-PCA、Train_new和步骤3中的FHOG-PCA分别输入到ConvAlexNet，采用上述同样的网络训练方法，进行训练，得到船只分类模型，分别记为modelAlexNet-Canny、modelAlexNet-CornerHarris和modelAlexNet-HOG；
步骤5.2
首先，将步骤1中得到的Train_new输入到步骤4得到的ConvVGGNet-16网络，经过ConvVGGNet-16网络卷积块部分后，得到二维特征fconv2；对二维特征fconv2采用中标准的flatten操作方法，得到二维特征fconv2的一维特征形式，记为fflatten2；
接着，将一维特征fflatten2输入到ConvAlexNet全连接层部分，得到输出的一维特征，记为fflatten2-fc；
然后，采用标准的Concatenate操作方法，将fflatten2-fc和步骤3中的FGray-PCA进行融合得到融合特征，并记为ffusion2；
最后，将ffusion2输入到长度为3的全连接层，并采用经典的Softmax函数得到网络的输出，以经典交叉熵损失函数作为目标函数，采用经典的Adam算法进行训练；训练完成后得到船只分类模型，记为modelVGGNet-16-Gray，至此该网络训练过程完毕；
同理，将Train_new和步骤3中的FGanny-PCA、Train_new和步骤3中的FCornerHarris-PCA、Train_new和步骤3中的FHOG-PCA分别输入到ConvAlexNet，采用上述同样的网络训练方法，进行训练，得到船只分类模型，分别记为modelAlexNet-Canny、modelAlexNet-CornerHarris和modelAlexNet-HOG；
步骤5.3
首先，将步骤1中得到的Train_new输入到到步骤4得到的ConvAlexNet网络，经过ConvResNet-50卷积块部分后，得到二维特征fconv3，将该二维特征采用标准的flatten操作方法，得到它的一维特征形式，记为fflatten3；
接着，将一维特征fflatten3输入到ConvAlexNet全连接层部分，得到输出的一维特征，记为fflatten3-fc；
然后，采用标准的Concatenate操作方法，对fflatten3-fc和步骤3中的FGray-PCA进行融合得到融合特征，并记为ffusion3；
最后，将ffusion3输入到长度为3的全连接层，并采用经典的Softmax函数得到网络的输出，以经典交叉熵损失函数作为损失函数，并采用经典的Adam算法进行训练；训练完成后得到船只分类模型，记为modelResNet-50-Gray，至此该网络训练过程完毕；
同理，将Train_new和步骤3中的FGanny-PCA、Train_new和步骤3中的FCornerHarris-PCA、Train_new和步骤3中的FHOG-PCA分别输入到ConvAlexNet，采用上述同样的网络训练方法，进行训练，得到船只分类模型，分别记为modelAlexNet-Canny、modelAlexNet-CornerHarris和modelAlexNet-HOG；
步骤5.4
首先，将步骤1中得到的Train_new输入到ConvDenseNet-121，经过ConvDenseNet-121卷积块部分得到二维特征fconv4，并将该二维特征采用标准的flatten操作方法展成一维特征形式，记为fflatten4；
接着，将一维特征fflatten4输入到ConvAlexNet全连接层部分，得到输出的一维特征，记为fflatten4-fc；
然后，采用标准的Concatenate操作方法，将fflatten4-fc和步骤3中的FGray-PCA进行融合得到融合特征，并记为ffusion4；
最后，将ffusion4输入到长度为3的全连接层，并采用经典的Softmax函数得到网络的输出，以经典交叉熵损失函数作为目标函数，并采用经典的Adam算法进行训练；训练完成后得到船只分类模型，记为modelDenseNet-121-Gray，至此该网络训练过程完毕；
同理，将Train_new和步骤3中的FGanny-PCA、Train_new和步骤3中的FCornerHarris-PCA、Train_new和步骤3中的FHOG-PCA分别输入到ConvAlexNet，采用上述同样的网络训练方法，进行训练，得到船只分类模型，分别记为modelAlexNet-Canny、modelAlexNet-CornerHarris和modelAlexNet-HOG；
步骤6、测试船只分类模型
步骤6.1
首先，将步骤1中得到的Test_new输入到步骤5.1中得到的modelAlexNet-Gray，经过modelAlexNet-Gray卷积块部分，得到二维特征fconv1-test；对二维特征fconv1-test采用标准flatten操作方法，得到他的一维特征形式，记为fflatten1-test；
接着，将一维特征fflatten1-test输入到modelAlexNet-Gray全连接层部分，得到输出的一维特征，记为fflatten1-test-fc；
然后，采用标准的Concatenate操作方法，将fflatten1-test-fc和步骤3中的FGray-PCA-test进行融合得到融合特征，并记为ffusion1-test；
最后，将ffusion1-test输入到长度为3的全连接层部分，采用经典的Softmax函数得到网络的输出，定义为网络预测结果，记为resultAlexNet-Gray，至此该网络测试过程完毕；
同理，将Test_new和步骤3中的FGanny-PCA-test、Test_new和步骤3中的FCornerHarris-PCA-test、Test_new和步骤3中的FHOG-PCA-test分别输入到步骤5.1中得到的modelAlexNet-Canny、modelAlexNet-CornerHarris和modelAlexNet-HOG中，采用上述同样的网络测试方法，进行网络测试，得到所测试网络的预测结果，分别记为resultAlexNet-Canny、resultAlexNet-CornerHarris和resultAlexNet-HOG；
步骤6.2
首先，将步骤1中得到的Test_new输入到modelVGGNet-16-Gray，经过modelVGGNet-16-Gray卷积块部分得到二维特征fconv2-test，并将该二维特征采用标准的flatten操作方法，得到它的一维特征形式，记为fflatten2-test；
接着，将一维特征fflatten2-test输入到modelVGGNet-16-Gray全连接层部分，得到输出的一维特征，记为fflatten2-test-fc；
然后，采用Concatenate操作方法，将fflatten2-test-fc和步骤3中的FGray-PCA-test进行融合得到融合特征，并记为ffusion2-test；
最后，将ffusion2-test输入到长度为3的全连接层部分，采用经典的Softmax函数得到网络的输出，定义为网络预测结果，记为resultVGGNet-16-Gray，至此该网络测试过程完毕；
同理，将Test_new和步骤3中的FGanny-PCA-test、Test_new和步骤3中的FCornerHarris-PCA-test、Test_new和步骤3中的FHOG-PCA-test分别输入到步骤5.2中得到的modelVGGNet-16-Canny、modelVGGNet-16-CornerHarris和modelVGGNet-16-HOG中，采用上述同样的网络测试方法，进行网络测试，得到所测试网络的预测结果，分别记为resultVGGNet-16-Canny、resultVGGNet-16-CornerHarris和resultVGGNet-16-HOG；
步骤6.3
首先，将Test_new输入到步骤5.3中得到的modelResNet-50-Gray，经过modelResNet-50-Gray卷积块部分得到二维特征fconv3-test，并将该二维特征采用标准的flatten操作方法，得到它的一维特征形式，记为fflatten3-test；
接着，将一维特征fflatten3-test输入到modelResNet-50-Gray全连接层部分，得到输出的一维特征，记为fflatten3-test-fc；
然后，采用Concatenate操作方法，将fflatten3-test-fc和步骤3中的FGray-PCA进行融合得到融合特征，并记为ffusion3-test；
最后，将ffusion3-test输入到长度为3的全连接层部分，并采用经典的Softmax函数得到网络的输出，定义为网络预测结果，记为resultResNet-50-Gray，至此该网络测试过程完毕；
同理，将Test_new和步骤3中的FGanny-PCA-test、Test_new和步骤3中的FCornerHarris-PCA-test、Test_new和步骤3中的FHOG-PCA-test分别输入到步骤5.3中，采用上述同样的网络测试方法，进行网络测试，得到所测试网络的预测结果，分别记为resultResNet-50-Canny、resultResNet-50-CornerHarris和resultResNet-50-HOG；
步骤6.4
首先，将Test_new输入到步骤5.4中得到的modelDenseNet-121-Gray，经过modelDenseNet-121-Gray卷积块部分，得到二维特征fconv4-test，并将该二维特征采用flatten操作方法，得到它的一维特征形式，记为fflatten4-test；
接着，将一维特征fflatten4-test输入到modelDenseNet-121-Gray全连接层部分，得到输出的一维特征，记为fflatten4-test-fc；
然后，采用标准的Concatenate操作方法，将fflatten4-test-fc和步骤3中的FGray-PCA进行融合得到融合特征，并记为ffusion4-test；
最后，将ffusion4-test输入到长度为3的全连接层部分，并采用经典的Softmax函数得到网络的预测结采用上述同样的网络测试方法，进行网络测试，得到所测试网络的预测结果，记为resultDenseNet-121-Gray,至此该网络测试过程完毕；
同理，将Test_new和步骤3中的FGanny-PCA-test、Test_new和步骤3中的FCornerHarris-PCA-test、Test_new和步骤3中的FHOG-PCA-test分别输入到步骤5.4中得到的modelDenseNet-121-Canny、modelDenseNet-121-CornerHarris和modelDenseNet-121-HOG中，采用上述同样的网络测试方法，进行网络测试，得到所测试网络的预测结果分别记为resultDenseNet-121-Canny、resultDenseNet-121-CornerHarris和resultDenseNet-121-HOG；
步骤7、船只分类准确率评估
对于步骤6.1至步骤6.4得到的网络预测结果resultAlexNet-Gray、resultAlexNet-Canny、resultAlexNet-CornerHarris、resultAlexNet-HOG、resultVGGNet-16-Gray、resultVGGNet-16-Canny、resultVGGNet-16-CornerHarris、、resultVGGNet-16-HOG、resultResNet-50-Gray、resultResNet-50-Canny、resultResNet-50-CornerHarris、resultResNet-50-HOG、resultDenseNet-121-Gray、resultDenseNet-121-Canny、resultDenseNet-121-CornerHarris和resultDenseNet-121-HOG，采用标准的准确率评估方法进行评估，得到船只分类准确率评估结果。
CN202110563213.5A 2021-05-24 2021-05-24 一种提高sar图像船只分类精度的方法 Pending CN113344046A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110563213.5A CN113344046A (zh) 2021-05-24 2021-05-24 一种提高sar图像船只分类精度的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110563213.5A CN113344046A (zh) 2021-05-24 2021-05-24 一种提高sar图像船只分类精度的方法

Publications (1)

Publication Number Publication Date
CN113344046A true CN113344046A (zh) 2021-09-03

Family

ID=77470934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110563213.5A Pending CN113344046A (zh) 2021-05-24 2021-05-24 一种提高sar图像船只分类精度的方法

Country Status (1)

Country Link
CN (1) CN113344046A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113989557A (zh) * 2021-10-25 2022-01-28 电子科技大学 一种融合双极化特征的sar图像舰船分类方法
CN114022779A (zh) * 2021-10-25 2022-02-08 电子科技大学 一种基于比例尺网络的sar船只检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105894035A (zh) * 2016-04-05 2016-08-24 西安电子科技大学 基于sar-sift和dbn的sar图像分类方法
CN108171200A (zh) * 2018-01-12 2018-06-15 西安电子科技大学 基于sar图像统计分布和dbn的sar图像分类方法
CN108764316A (zh) * 2018-05-18 2018-11-06 河海大学 基于深度卷积神经网络和多核学习的遥感图像场景分类方法
CN110826428A (zh) * 2019-10-22 2020-02-21 电子科技大学 一种高速的sar图像中船只检测方法
WO2020037960A1 (zh) * 2018-08-21 2020-02-27 深圳大学 一种sar目标识别方法、装置、计算机设备及存储介质
CN111931953A (zh) * 2020-07-07 2020-11-13 北京工业大学 一种废旧手机多尺度特征深度森林识别方法
CN112285712A (zh) * 2020-10-15 2021-01-29 电子科技大学 一种提高sar图像中靠岸船只检测精度的方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105894035A (zh) * 2016-04-05 2016-08-24 西安电子科技大学 基于sar-sift和dbn的sar图像分类方法
CN108171200A (zh) * 2018-01-12 2018-06-15 西安电子科技大学 基于sar图像统计分布和dbn的sar图像分类方法
CN108764316A (zh) * 2018-05-18 2018-11-06 河海大学 基于深度卷积神经网络和多核学习的遥感图像场景分类方法
WO2020037960A1 (zh) * 2018-08-21 2020-02-27 深圳大学 一种sar目标识别方法、装置、计算机设备及存储介质
CN110826428A (zh) * 2019-10-22 2020-02-21 电子科技大学 一种高速的sar图像中船只检测方法
CN111931953A (zh) * 2020-07-07 2020-11-13 北京工业大学 一种废旧手机多尺度特征深度森林识别方法
CN112285712A (zh) * 2020-10-15 2021-01-29 电子科技大学 一种提高sar图像中靠岸船只检测精度的方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
JIAOJIAO 等: ""A Densely Connected End-to-End Neural Network for Multiscale and Multiscene SAR Ship Detection"", 《HTTPS://IEEEXPLORE.IEEE.ORG/DOCUMENT/8334534》 *
ZHANG, XIAOLING 等: ""High-Speed Ship Detection in SAR Images Based on a Grid Convolutional Neural Network"", 《HTTPS://WWW.MDPI.COM/2072-4292/11/10/1206》 *
刘培等: "遥感信息融合和分类器集成的地类高精度识别", 《遥感信息》 *
巨妍: ""基于半监督多尺度深度神经网络的遥感图像分类"", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *
师君 等: ""Depthwise separable convolution neural network for high-speed SAR ship detection"", 《HTTPS://DOI.ORG/10.3390/RS11212483》 *
张腊梅等: "基于3D卷积神经网络的PolSAR图像精细分类", 《红外与激光工程》 *
谷雨等: "基于随机卷积特征和集成超限学习机的快速SAR目标识别", 《光电工程》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113989557A (zh) * 2021-10-25 2022-01-28 电子科技大学 一种融合双极化特征的sar图像舰船分类方法
CN114022779A (zh) * 2021-10-25 2022-02-08 电子科技大学 一种基于比例尺网络的sar船只检测方法
CN114022779B (zh) * 2021-10-25 2023-05-26 电子科技大学 一种基于比例尺网络的sar船只检测方法

Similar Documents

Publication Publication Date Title
Mascarenhas et al. A comparison between VGG16, VGG19 and ResNet50 architecture frameworks for Image Classification
CN110135267B (zh) 一种大场景sar图像细微目标检测方法
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN108182441B (zh) 平行多通道卷积神经网络、构建方法及图像特征提取方法
CN110363215B (zh) 基于生成式对抗网络的sar图像转化为光学图像的方法
CN108734208B (zh) 基于多模态深度迁移学习机制的多源异构数据融合系统
CN110298387A (zh) 融入像素级attention机制的深度神经网络目标检测方法
CN108830296A (zh) 一种改进的基于深度学习的高分遥感影像分类方法
CN109145992A (zh) 协作生成对抗网络和空谱联合的高光谱图像分类方法
CN111310666B (zh) 一种基于纹理特征的高分辨率影像地物识别与分割方法
CN105069478B (zh) 基于超像素张量稀疏编码的高光谱遥感地物分类方法
JP2017157138A (ja) 画像認識装置、画像認識方法及びプログラム
CN107657271B (zh) 基于长短时记忆网络的高光谱图像分类方法
CN108846426A (zh) 基于深度双向lstm孪生网络的极化sar分类方法
CN107145830A (zh) 基于空间信息增强和深度信念网络的高光谱图像分类方法
CN107909109A (zh) 基于显著性和多尺度深度网络模型的sar图像分类方法
CN112308152B (zh) 基于光谱分割与同质区域检测的高光谱图像地物分类方法
CN108830243A (zh) 基于胶囊网络的高光谱图像分类方法
CN107767416B (zh) 一种低分辨率图像中行人朝向的识别方法
CN113344045B (zh) 一种结合hog特征提高sar船只分类精度的方法
CN107145836A (zh) 基于栈式边界辨别自编码器的高光谱图像分类方法
CN111639719A (zh) 基于时空运动和特征融合的足迹图像检索方法
CN113344046A (zh) 一种提高sar图像船只分类精度的方法
CN111090764A (zh) 基于多任务学习和图卷积神经网络的影像分类方法及装置
CN105989336A (zh) 基于带权重的解卷积深度网络学习的场景识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210903

WD01 Invention patent application deemed withdrawn after publication