CN111027454B - 基于深度密集连接和度量学习的sar舰船目标分类方法 - Google Patents
基于深度密集连接和度量学习的sar舰船目标分类方法 Download PDFInfo
- Publication number
- CN111027454B CN111027454B CN201911238758.8A CN201911238758A CN111027454B CN 111027454 B CN111027454 B CN 111027454B CN 201911238758 A CN201911238758 A CN 201911238758A CN 111027454 B CN111027454 B CN 111027454B
- Authority
- CN
- China
- Prior art keywords
- layer
- training
- data
- network model
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度密集连接和度量学习的SAR舰船目标分类方法，主要解决现有技术提取特征不准确，分类效果差的问题。其方案是：1)获取舰船目标SAR图像训练数据，并对其进行扩充；2)建立由深度密集连接层和嵌入转换层组成的网络模型；3)将扩充后的训练数据送入2)中构建的网络，使用带有L2范数正则项的交叉熵损失对网络初步训练；4)将三元组损失和基于Fisher判别准则的正则项加入3)中的损失函数，送入训练数据继续训练网络模型，得到最终训练好的网络模型；5)将测试数据送到训练好的网络模型中，得到舰船的分类结果。本发明能更好的完成深度特征提取，提高了分类性能，可用于海域舰船监测和目标分类。
Description
技术领域
本发明属于雷达目标识别技术领域，主要涉及一种SAR图像舰船目标分类方法，可用于海域舰船监测和目标分类。
背景技术
合成孔径雷达是一种主动成像传感器，具有全天候、全天时、高分辨的数据获取能力。为实现对广阔海域进行连续、实时和长期的监测，SAR系统以其中高分辨率和广阔的覆盖能力得到迅速发展。目前，利用星载SAR系统对海域舰船监测成为重要手段，已广泛应用于国防情报、渔业监测和执法、搜救支援和航运等领域。过去的几十年里，各种卫星SAR系统成功发射，如加拿大RADARSAT-1/2、德国TerraSAR-X和意大利Cosmo-SkyMed、欧洲哨兵-1/2等，大量有价值数据尤其是沿海地区和公海数据变得容易获得。因此，如何对海量数据进行高效率解译，越来越成为遥感研究界的迫切需要。SAR图像自动目标识别ATR是SAR图像的重要应用之一。基本的SAR图像自动目标识别ATR系统一般包括目标检测、目标鉴别和目标识别三个阶段。目标识别用于对SAR图像的目标进行分类，在SAR 图像自动目标识别ATR中具有重要的研究意义。
在先前的研究中，研究者们常常利用人工设计的几何、散射和结构特征以及传统的机器学习ML方法对高分辨率HR的SAR图像进行舰船分类。然而这些人工设计的特征应用在中等分辨率MR的SAR图像上不够具有代表性。另外，常规的ML方法对MR SAR舰船图像的类内多样性和类间相似性问题处理能力较弱。
与HR SAR图像相比，低分辨率LR和MR SAR图像中的舰船目标仅由几个像素点组成，呈现出斑块状。在这种情况下，舰船的长度、宽度、纵横比和平均强度等这样能帮助舰船分类的传统特征很难提取出来。另外，由于SAR传感器的成像条件变化，舰船目标的成像角度多样，使得SAR图像中的舰船出现了多方面的变化，如方位角方向和散射特性的变化。这些变化很难用传统的几何、辐射特征等特征来准确描述，识别难度也因此增加。
发明内容
本发明的目的在于针对上述已有SAR舰船目标识别方法的不足，提出一种基于深度密集连接和度量学习的SAR舰船目标分类方法，以更好的完成深度特征提取，训练泛化性更好的网络，提高对于不同类型舰船的分类准确率。
本发明的技术方案是：首先使用训练数据训练损失函数为带有L2范数正则项的交叉熵损失的深度神经网络模型，训练数据训练10个轮次后，损失函数中加入三元组损失和基于Fisher判别准则的正则项，继续使用训练数据训练网络模型，待模型收敛后，将训练好的神经网络应用于测试数据之上，得到最终的舰船分类结果，其实现步骤包括如下：
(1)将从公开网站下载的OpenSARShip数据集重新整理与选择，并将整理与选择后的舰船数据按照8:2的比例分为训练数据Φx和测试数据Φc；
(2)使用翻转、旋转、平移、加噪方法对训练数据Φx进行八倍的扩充，得到扩充后的训练数据Φ'x；
(3)建立由深度密集连接层和嵌入转换层组成的训练网络模型Ω：
(3a)构建深度密集连接层：
该层依次由基础层stem、密集连接块DB1、过渡降维层TD1、密集连接块DB2、过渡降维层TD2、密集连接块DB3、过渡降维层TD3、密集连接块DB4、过渡降维层TD4、密集连接块DB5、全局最大池化层组成；
(3b)构建嵌入转换层：
该层依次由第一全连接层F1、第二全连接层F2、第三全连接层F3和Softmax分类器层F4组成；
(4)将扩充后的训练数据Φ'x输入到构建好的训练网络模型Ω中，使用带有L2范数正则项的交叉熵损失函数对该网络模型Ω进行10个轮次的训练，得到初步训练好的网络模型Ω'；
(5)将三元组损失和基于Fisher判别准则的正则项加到(4)中使用的损失函数中，构成新的损失函数Js5，将扩充后的训练数据Φ'x输入到初步训练好的网络模型Ω'中，使用新的损失函数Js5对其进行训练，得到最终训练好的网络模型Ω”；
(6)将舰船测试数据Φc输入到最终训练好的网络模型Ω”中，得到舰船的分类结果。
本发明与现有技术相比具有以下优点：
1)本发明针对舰船目标分类任务设计了一个深度密集连接网络模型，能更好的提取舰船目标的深度特征。
2)本发明将深度密集连接和度量学习相结合，对深度嵌入施加三元组损失以及基于Fisher判别准则的正则项，提高了舰船目标的类内相似性和类间差异性，获得了更好的分类准确率。
附图说明
图1为本发明的实现总流程图；
图2为本发明中重新整理数据的子流程图；
图3为本发明中构建的训练网络模型结构图。
具体实施方式
下面结合附图对本发明的实施例和效果进行详细说明：
参照图1，本发明的实现步骤如下：
步骤1，将从公开网站下载的OpenSARShip数据集重新整理与选择，并将重新整理与选择后的舰船数据分为训练数据Φx和测试数据Φc。
参照图2，本步骤实现如下：
1.1)从网站http://opensar.sjtu.edu.cn/下载OpenSARShip数据集，在数据文件中找到数据集中的舰船切片类别和位置信息，选择舰船类型为油轮、集装箱船和散装货船的数据，再从网站https://sentinels.copernicus.eu/web/sentinel/hom/下载选择出的数据对应的哨兵一号SAR图像，使用SNAP3.0软件对其进行定标；
1.2)根据OpenSARShip数据集中舰船切片的类别和位置信息，在定标后的图像上重新裁剪64×64的舰船切片；
1.3)裁剪的切片中多余的目标用背景代替，保证一个切片只有一个舰船目标。
1.4)将重新整理后的SAR舰船样本按照8:2的比例分为训练数据Φx和测试数据Φc。
步骤2，使用翻转、旋转、平移、加噪方法对训练数据Φx进行八倍的扩充，得到扩充后的训练数据Φ'x。
本步骤的具体实现如下：
2.1)将训练数据Φx分别进行水平翻转和上下翻转，得到扩充了两倍的训练数据；
2.2)将训练数据Φx分别进行顺时针90°、180°和270°的旋转，得到扩充了三倍的训练数据；
2.3)将训练数据Φx中的舰船目标沿上下、左右四个方向任意平移[-5,5]个像素点，得到扩充了一倍的训练数据；
2.4)将服从均值为0、方差为0.001的高斯噪声加在训练数据Φx上，得到扩充了一倍的训练数据；
2.5)将步骤2.1)-步骤2.4)扩充后得到的数据和原始训练数据Φx合在一起，构成最终扩充了八倍的训练数据Φ'x。
步骤3，建立训练网络模型Ω。
参照图3，该训练网络模型Ω由深度密集连接层和嵌入转换层组成，其构建步骤如下：
3.1)构建深度密集连接层：
该层依次由基础层stem、密集连接块DB1、过渡降维层TD1、密集连接块DB2、过渡降维层TD2、密集连接块DB3、过渡降维层TD3、密集连接块DB4、过渡降维层TD4、密集连接块DB5、全局平均池化层组成，各层参数设置及关系如下：
3.1a)基础层stem，其由两个完全相同的卷积块级联而成，每个卷积块由三层结构组成，即第一层为卷积层L1、第二层为批量归一化(BN)层L2，第三层为ReLU激活函数层L3，其中：
第一层卷积层L1，其卷积核K1的窗口大小为3×3，滑动步长S1为1，填充方式为SAME，用于对输入进行卷积，输出32个特征图Y1，Y1大小为32×64×64，作为第二层BN层L2的输入；
第二层BN层L2，用于对上一层卷积层的输出进行归一化处理，使输出规范化到N(0,1)的正态分布，该层的输入和输出的维度一致；
第三层ReLU激活函数层L3，用于对上一层L2层的输出进行非线性的映射，非线性映射公式如下：
ReLU(x)＝max(0,x)，
式中x为输入，ReLU(x)为输出，该层的输入和输出的维度一致。
3.1b)密集连接层DB1，其由四个完全相同的卷积块级联而成，每个卷积块由四层结构组成，即第一层为BN层
第二层为ReLU激活函数层
第三层为卷积层
第四层为dropout层
i表示第i个卷积块，i＝1,2,3,4，其中：
第一层BN层
用于对输入进行归一化处理，使输出规范化到N(0,1)的正态分布，当i＝1时，将L3层的输出作为该层的输入，当i＞1时，将L3层的输出和
层的输出合并，作为该层的输入，(i-n)为B的第一个下角标，表示DB1内第(i-n)个卷积块，4为B的第二个下角标，表示第(i-n)个卷积块的第四层，n＝1,...,i-1；
第二层ReLU激活函数层
用于对上一层BN层
的输出进行非线性的映射，非线性映射公式如下：
ReLU(x)＝max(0,x)，
式中x为输入，ReLU(x)为输出，该层的输入和输出的维度一致；
第三层卷积层
其卷积核K2的窗口大小为3×3，滑动步长S2为1，填充方式为SAME，用于对上一层激活函数层
的输出进行卷积，输出6个特征图Y2，Y2大小为6×64×64，作为第四层dropout层
的输入；
第四层dropout层
用于随机的将输入特征图部分值置0，防止过拟合，训练时保留节点的比例值设为0.2，测试时特征图不用置0，比例值设为1，该层的输入和输出的维度一致；
将L3层的输出与
层的输出合并，作为TD1层的输入，i＝1,2,3,4。
3.1c)过渡降维层TD1，其由四层结构组成，即第一层为BN层T1 1、第二层为ReLU激活函数层T2 1、第三层为卷积层T3 1、第四层为平均池化层T4 1，其中：
第一层BN层T1 1，用于对输入进行归一化处理，使输出规范化到N(0,1)的正态分布，该层的输出作为下一激活函数层T2 1的输入；
第二层ReLU激活函数层T2 1，用于对输入进行非线性的映射，输出作为下一卷积层T3 1的输入；
第三层卷积层T3 1，其卷积核K3的窗口大小为3×3，滑动步长S3为1，填充方式为SAME，用于对上一层激活函数层T2 1的输出进行卷积，输出56个特征图Y3，Y3大小为56×64×64，作为第四层平均池化层T4 1的输入；
第四层平均池化层T4 1，用于对输入下采样，其下采样核U1的窗口大小为2×2，滑动步长V1为2，输出56个特征图Y3'，Y3'大小为56×32×32，作为DB2层的输入。
3.1d)密集连接层DB2，其由四个完全相同的卷积块级联而成，每个卷积块由四层结构组成，即第一层为BN层
第二层为ReLU激活函数层
第三层为卷积层
第四层为dropout层
i表示第i个卷积块，i＝1,2,3,4，其中：
第一层BN层
用于对输入进行归一化处理，使输出规范化到N(0,1)的正态分布，当i＝1时，将TD1内最大池化层
层的输出作为该层的输入，当i＞1时，将
层的输出和
层的输出合并，作为该层的输入，(i-n)为B的第一个下角标，表示DB2内第(i-n)个卷积块，4为B的第二个下角标，表示第(i-n)个卷积块的第四层，n＝1,...,i-1；
第二层ReLU激活函数层
用于对上一层BN层
的输出进行非线性的映射，非线性映射公式如下：
ReLU(x)＝max(0,x)，
式中x为输入，ReLU(x)为输出，该层的输入和输出维度一致；
第三层卷积层
其卷积核K4的窗口大小为3×3，滑动步长S4为1，填充方式为SAME，用于对上一层激活函数层
的输出进行卷积，输出12个特征图Y4，Y4大小为12×32×32，作为第四层dropout层
的输入；
第四层dropout层
用于随机的将输入特征图部分值置0，防止过拟合，训练时保留节点的比例值设为0.2，测试时特征图不用置0，比例值设为1，该层的输入和输出的维度一致；
将
层的输出和
层的输出合并，作为TD2层的输入，i＝1,2,3,4。
3.1e)过渡降维层TD2，其由四层结构组成，即第1层为BN层T1 2、第2层为ReLU激活函数层T2 2、第3层为卷积层T3 2、第4层为平均池化层T4 2，其中：
第1层BN层T1 2，用于对输入进行归一化处理，使输出规范化到N(0,1)的正态分布，该层的输出作为下一激活函数层T2 2的输入；
第2层ReLU激活函数层T2 2，用于对输入进行非线性的映射，输出作为下一卷积层T3 2的输入；
第3层卷积层T3 2，其卷积核K5的窗口大小为3×3，滑动步长S5为1，填充方式为SAME，用于对上一层激活函数层T2 2的输出进行卷积，输出104个特征图Y5，Y5大小为104×32×32，作为第4层平均池化层T4 2的输入；
第4层平均池化层T4 2，用于对输入下采样，其下采样核U2的窗口大小为2×2，滑动步长V2为2，输出104个特征图Y5'，Y5'大小为104×16×16，作为DB3层的输入。
3.1f)密集连接层DB3，其由四个完全相同的卷积块级联而成，每个卷积块由四层结构组成，即第一层为BN层
第二层为ReLU激活函数层
第三层为卷积层
第四层为dropout层
i表示第i个卷积块，i＝1,2,3,4，其中：
第一层BN层
用于对输入进行归一化处理，使输出规范化到N(0,1)的正态分布，当i＝1时，将TD2内最大池化层T4 2层的输出作为该层的输入，当i＞1时，将T4 2层的输出和
层的输出合并，作为该层的输入，(i-n)为B的第一个下角标，表示DB3内第(i-n)个卷积块，4为B的第二个下角标，表示第(i-n)个卷积块的第四层，n＝1,...,i-1；
第二层ReLU激活函数层
用于对上一层BN层
的输出进行非线性的映射，非线性映射公式如下：
ReLU(x)＝max(0,x)，
式中x为输入，ReLU(x)为输出，该层的输入和输出的维度一致；
第三层卷积层
其卷积核K6的窗口大小为3×3，滑动步长S6为1，填充方式为SAME，用于对上一层激活函数层
的输出进行卷积，输出18个特征图Y6，Y6大小为18×16×16，作为第四层dropout层
的输入；
第四层dropout层
用于随机的将输入特征图部分值置0，防止过拟合，训练时保留节点的比例值设为0.2，测试时特征图不用置0，比例值设为1，该层的输入和输出的维度一致；
将T4 2层的输出与
层的输出合并，作为TD3层的输入，i＝1,2,3,4。
3.1g)过渡降维层TD3，其由四层结构组成，即第一层为BN层T1 3、第二层为ReLU激活函数层T2 3、第三层为卷积层T3 3、第四层为平均池化层T4 3，其中：
该第一层BN层T1 3，用于对输入进行归一化处理，使输出规范化到N(0,1)的正态分布，该层的输出作为下一激活函数层T2 3的输入；
该第二层ReLU激活函数层T2 3，用于对输入进行非线性的映射，输出作为下一卷积层T3 3的输入；
该第三层卷积层T3 3，其卷积核K7的窗口大小为3×3，滑动步长S7为1，填充方式为SAME，用于对上一层激活函数层T2 3的输出进行卷积，输出176个特征图Y7，Y7大小为176×16×16，作为第四层平均池化层T4 3的输入；
该第四层平均池化层T4 3，用于对输入下采样，其下采样核U3的窗口大小为2×2，滑动步长V3为2，输出176个特征图Y7'，Y7'大小为176×8×8，作为DB4层的输入。
3.1h)密集连接层DB4，其由四个完全相同的卷积块级联而成，每个卷积块由四层结构组成，即第一层为BN层
第二层为ReLU激活函数层
第三层为卷积层
第四层为dropout层
i表示第i个卷积块，i＝1,2,3,4，其中：
第一层BN层
用于对输入进行归一化处理，使输出规范化到N(0,1)的正态分布，当i＝1时，将TD3内最大池化层T4 3层的输出作为该层的输入，当i＞1时，将T4 3层的输出与
层的输出合并，作为该层的输入，(i-n)为B的第一个下角标，表示DB4内第(i-n)个卷积块，4为B的第二个下角标，表示第(i-n)个卷积块的第四层，n＝1,...,i-1；
第二层ReLU激活函数层
用于对上一层BN层
的输出进行非线性的映射，非线性映射公式如下：
ReLU(x)＝max(0,x)，
式中x为输入，ReLU(x)为输出，该层的输入和输出的维度一致；
第三层卷积层
其卷积核K8的窗口大小为3×3，滑动步长S8为1，填充方式为SAME，用于对上一层激活函数层
的输出进行卷积，输出24个特征图Y8，Y8大小为24×8×8，作为第四层dropout层
的输入；
第四层dropout层
用于随机的将输入特征图部分值置0，防止过拟合，训练时保留节点的比例值设为0.2，测试时特征图不用置0，比例值设为1，该层的输入和输出的维度一致；
将T4 3层的输出与
层的输出合并，作为TD4层的输入，i＝1,2,3,4。
3.1i)过渡降维层TD4，其由四层结构组成，即第一层为BN层T1 4、第二层为ReLU激活函数层T2 4、第三层为卷积层T3 4、第四层为平均池化层T4 4，其中：
该第一层BN层T1 4，用于对输入进行归一化处理，使输出规范化到N(0,1)的正态分布，该层的输出作为下一激活函数层T2 4的输入；
该第二层ReLU激活函数层T2 4，用于对输入进行非线性的映射，输出作为下一卷积层T3 4的输入；
该第三层卷积层T3 4，其卷积核K9的窗口大小为3×3，滑动步长S9为1，填充方式为SAME，用于对上一层激活函数层T2 4的输出进行卷积，输出272个特征图Y9，Y9大小为272×8×8，作为第四层平均池化层T4 4的输入；
该第四层平均池化层T4 4，用于对输入下采样，其下采样核U4的窗口大小为2×2，滑动步长V4为2，输出272个特征图Y9'，Y9'大小为272×4×4，作为DB5层的输入。
3.1j)密集连接层DB5，其由四个完全相同的卷积块级联而成，每个卷积块由四层结构组成，即第一层为BN层
第二层为ReLU激活函数层
第三层为卷积层
第四层为dropout层
i表示第i个卷积块，i＝1,2,3,4，其中：
第一层BN层
用于对输入进行归一化处理，使输出规范化到N(0,1)的正态分布，当i＝1时，将TD4内最大池化层T4 4层的输出作为该层的输入，当i＞1时，将T4 4层的输出和
层的输出合并，作为该层的输入，(i-n)为B的第一个下角标，表示DB5内第(i-n)个卷积块，4为B的第二个下角标，表示第(i-n)个卷积块的第四层，n＝1,...,i-1；
第二层ReLU激活函数层
用于对上一层BN层
的输出进行非线性的映射，非线性映射公式如下：
ReLU(x)＝max(0,x)，
式中x为输入，ReLU(x)为输出，该层的输入和输出的维度一致；
第三层卷积层
其卷积核K10的窗口大小为3×3，滑动步长S10为1，填充方式为SAME，用于对上一层激活函数层
的输出进行卷积，输出30个特征图Y10，Y10大小为30×4×4，作为第四层dropout层
的输入；
第四层dropout层
用于随机的将输入特征图部分值置0，防止过拟合，训练时保留节点的比例值设为0.2，测试时特征图不用置0，比例值设为1，该层的输入和输出的维度一致；
将T4 4层的输出与
层的输出合并，作为T5层的输入，i＝1,2,3,4。
3.1k)全局平均池化层T5，其用于对输入下采样，下采样核U5的窗口大小为2×2，输出392个特征图Y11，Y11大小为392×1×1，作为嵌入转换层中第一全连接层F1的输入。
3.2)构建嵌入转换层：
该层依次由第一全连接层F1、第二全连接层F2、第三全连接层F3和Softmax分类器层F4组成，各层参数设置及关系如下：
第一层全连接层F1，其设有1000个神经元，用于提取样本的深度嵌入特征向量，输出一个1000维的列向量，作为第二层全连接层F2的输入；
第二层全连接层F2，其设有128个神经元，用于进一步提取样本的深度嵌入特征向量，输出一个128维的列向量H，并对其归一化，作为第三全连接层F3的输入；
第三层全连接层F3，其设有3个神经元，用于对第二层全连接层F2输出的一个128维列向量进行非线性映射，输出一个3维的列向量，作为Softmax分类器层F4的输入；
第四层Softmax分类器层F4，用于将第三层全连接层得到的3维列向量输入到三类Softmax分类器中，得到分类概率向量p，根据概率值将输入样本进行分类。
步骤4，构建带有L2范数正则项的交叉熵损失函数Js。
将L2范数正则项加到交叉熵损失函数中构成损失函数Js：
Js＝Js1+Js2
其中，Js1为交叉熵损失，Js2为L2范数正则项，N为训练样本的总数量，使用批次梯度下降算法训练时，N取一个批次的样本数量，
为第i个样本对应第k类的标签，
为网络将第i个样本预测为第k类的概率，L为网络总层数，Wl为第l层卷积核权重矩阵，Bl为第l层偏置矩阵。
步骤5，将扩充后的训练数据Φ'x输入到构建好的训练网络模型Ω中，使用步骤4构建的损失函数Js对该网络模型Ω进行10个轮次的训练，得到初步训练好的网络模型Ω'。
本步骤的具体实现如下：
5.1)将扩充后的训练数据送入网络模型Ω中进行训练，一次训练100个样本，根据送入样本的标签计算网络的损失函数Js的值；
5.2)根据步骤5.1)中计算出的损失函数值计算损失函数的梯度，利用梯度下降算法反向传播更新网络模型Ω的参数；
5.3)循环执行步骤5.1)和步骤5.2)，所有扩充后的训练数据Φ'x训练完一次称为一个轮次，共训练10个轮次，得到初步训练好的网络模型Ω'。
步骤6，构成新的损失函数Js5。
6.1)对网络模型Ω'进行训练，网络每一批次训练100个样本，将一个批次中每一训练样本依次作为参考样本
根据嵌入转换层的第二全连接层F2的输出列向量H，计算参考样本与该批次中其他样本在嵌入空间的欧氏距离，选择与参考样本同类别欧式距离最大的样本为正样本
选择与参考样本不同类别欧式距离最小的样本为负样本
其中，Ki为该批次中第i类样本的数量，C为总类别数，
为两样本在嵌入空间的欧氏距离，
为对参考样本
的第二全连接层F2的输出列向量H归一化处理，
其中，
为参考样本
在网络第二全连接层F2的输出列向量H；
6.2)将步骤6.1)每次选出的参考样本
正样本
负样本
组成三元组数据对
正样本对
负样本对
一个批次共组成100个三元组数据对、正样本数据对和负样本数据对；
6.3)将三元组损失和基于Fisher判别准则的正则项加到步骤4中构建的损失函数Js中，构成新的损失函数Js5：
其中，Js1为交叉熵损失，Js2为L2范数正则项，Js3为三元组损失，Js4为基于Fisher判别准则的正则项，λ1，λ2，λ3为平衡常数，λ1＝0.6，λ2＝0.005，λ3＝0.0005。
其中，训练时N为一个批次的样本数量，N＝100，α为距离参数，α＝0.2，
为铰链损失函数，
为第k个正样本对中两样本的欧式距离，m1为一个批次中正样本对欧式距离的均值，m2为一个批次中负样本对欧式距离的均值，
为一个批次中正样本对欧式距离的方差，
为一个批次中负样本对欧式距离的方差，
步骤7，使用新的损失函数Js5对初步训练好的网络模型进行训练，得到最终训练好的网络模型Ω”。
本步骤的具体实现如下：
7.1)将扩充后的训练数据Φ'x送入初步训练好的网络模型Ω′中，根据送入样本的标签计算网络的损失函数Js5的值；
7.2)根据7.1)中计算出的损失函数值计算损失函数的梯度，利用梯度下降算法反向传播更新网络模型Ω′参数；
7.3)循环执行步骤7.1)和步骤7.2)，直到损失函数收敛，得到最终训练好的网络模型Ω”。
步骤8，将舰船测试数据Φc输入到最终训练好的网络模型Ω”中，得到舰船的分类结果。
本发明的效果可通过以下实验数据进一步说明：
一.实验条件
1)实验数据
本实验使用重新整理后的OpenSARShip数据集，由于OpenSARShip数据集每类舰船数目相差较大且部分数据一幅图像包含两个舰船目标，这将影响分类准确率，因此对数据集进行了重新整理，重新整理后的数据各类别舰船数量如表1。
表1重新整理后的各类舰船数量
| 舰船类型 | 数量 |
| 油轮 | 720 |
| 集装箱船 | 434 |
| 散装货船 | 1604 |
2)评价准则
实验重复五次，取五次实验分类准确率的平均值Accuracy和方差(％)对实验结果进行评价。
二.实验内容
用本发明方法与现有方法对上述实验数据进行对比实验，性能参数对比结果如表2所示。
表2本发明方法与现有方法性能参数对比结果
| 对比方法 | Accuracy(％) |
| AlexNet | 81.63±1.47 |
| VGGNet | 72.37±1.67 |
| GoogLeNet | 83.30±1.15 |
| ResNet | 83.44±0.90 |
| Softmax Log-Loss | 87.73±0.42 |
| Softmax+Triplet Loss | 88.27±0.56 |
| 本发明 | 88.97±0.72 |
表2中：AlexNet为现有的AlexNet网络对舰船数据分类的方法；VGGNet为现有的VGGNet网络对舰船数据分类的方法；
GoogLeNet为现有的GoogLeNet网络对舰船数据分类的方法；
ResNet为现有的ResNet网络对舰船数据分类的方法；
Softmax Log-Loss为使用与本发明相同的网络，但损失函数只用交叉熵损失时对舰船数据进行分类的方法；
Softmax+Triplet Loss为使用与本发明相同的网络，但损失函数使用了交叉熵损失和三元组损失没有使用基于Fisher判别准则的正则项时对舰船数据进行分类的方法。
从表2中可见，相比于现有方法，本发明取得了更好的分类效果，这是由于本发明设计的网络既能更好的提取样本的特征，也可以很好的处理舰船目标类内多样性和类间相似性问题；相比于损失函数没有添加三元组损失和基于Fisher判别准则的正则项方法，本发明展现了更好的性能，表明了三元组损失和基于Fisher判别准则的正则项能有助于提高分类效果。
以上描述仅是本发明的一个具体实例，并未构成对本发明的任何限制，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。
Claims (8)
1.一种基于深度密集连接和度量学习的SAR舰船目标分类方法，其特征在于，包括：
(1)将从公开网站下载的OpenSARShip数据集重新整理与选择，并将整理与选择后的舰船数据按照8:2的比例分为训练数据Φx和测试数据Φc；
(2)使用翻转、旋转、平移、加噪方法对训练数据Φx进行八倍的扩充，得到扩充后的训练数据Φ'x；
(3)建立由深度密集连接层和嵌入转换层组成的训练网络模型Ω：
(3a)构建深度密集连接层：
该层依次由基础层stem、密集连接块DB1、过渡降维层TD1、密集连接块DB2、过渡降维层TD2、密集连接块DB3、过渡降维层TD3、密集连接块DB4、过渡降维层TD4、密集连接块DB5、全局平均池化层组成；
(3b)构建嵌入转换层：
该层依次由第一全连接层F1、第二全连接层F2、第三全连接层F3和Softmax分类器层F4组成；
(4)将扩充后的训练数据Φ'x输入到构建好的训练网络模型Ω中，使用带有L2范数正则项的交叉熵损失函数对该网络模型Ω进行10个轮次的训练，得到初步训练好的网络模型Ω'；
(5)将三元组损失和基于Fisher判别准则的正则项加到(4)中使用的损失函数中，构成新的损失函数Js5，将扩充后的训练数据Φ'x输入到初步训练好的网络模型Ω'中，使用新的损失函数Js5对其进行训练，得到最终训练好的网络模型Ω”；
(6)将舰船测试数据Φc输入到最终训练好的网络模型Ω”中，得到舰船的识别结果。
2.根据权利要求1所述的方法，其中(1)中将从公开网站下载的OpenSARShip数据集重新整理与选择，其实现如下：
1a)从获取的OpenSARShip数据文件中找到数据集中的舰船切片类别和位置信息，
选择舰船类型为油轮、集装箱船和散装货船的数据，再从公开网站下载选择出的数据对应的哨兵一号SAR图像，使用SNAP3.0软件对其进行定标；
1b)根据OpenSARShip数据集中舰船切片的类别和位置信息，在定标后的图像上重新裁剪64×64的舰船切片；
1c)裁剪的切片中多余的目标用背景代替，保证一个切片只有一个舰船目标。
3.根据权利要求1所述的方法，其中(2)中使用翻转、旋转、平移、加噪方法对训练数据Φx进行八倍的扩充，实现如下：
2a)将训练数据Φx分别进行水平翻转和上下翻转，得到扩充了两倍的训练数据；
2b)将训练数据Φx分别进行顺时针90°、180°和270°的旋转，得到扩充了三倍的训练数据；
2c)将训练数据Φx中的舰船目标沿上下、左右四个方向任意平移[-5,5]个像素点，得到扩充了一倍的训练数据；
2d)将服从均值为0，方差为0.001的高斯噪声加在训练数据Φx上，得到扩充了一倍的训练数据；
2e)将2a)-2d)扩充后得到的数据和原始训练数据Φx合在一起，构成最终扩充了八倍的训练数据Φ'x。
4.根据权利要求1所述的方法，其中(3a)构建的深度密集连接层中的各层结构如下：
基础层stem，其由两个完全相同的卷积块级联而成，每个卷积块由三层结构组成，即第一层为卷积层L1、第二层为批量归一化(BN)层L2，第三层为ReLU激活函数层L3；
密集连接层DB1，其由四个完全相同的卷积块级联而成，每个卷积块由四层结构组成，即第1层为BN层
第2层为ReLU激活函数层
第3层为卷积层
第4层为dropout层
i表示第i个卷积块，i＝1,2,3,4；
过渡降维层TD1，其由四层结构组成，即依次为BN层T1 1、ReLU激活函数层T2 1、卷积层T3 1和平均池化层T4 1；
密集连接层DB2，其由四个完全相同的卷积块级联而成，每个卷积块由四层结构组成，即依次为BN层
ReLU激活函数层
卷积层
和dropout层
i表示第i个卷积块，i＝1,2,3,4；
过渡降维层TD2，其由四层结构组成，即依次为BN层T1 2、ReLU激活函数层T2 2、卷积层T3 2和平均池化层T4 2；
密集连接层DB3，其由四个完全相同的卷积块级联而成，每个卷积块由四层结构组成，即依次为BN层
ReLU激活函数层
卷积层
和dropout层
i表示第i个卷积块，i＝1,2,3,4；
过渡降维层TD3，其由四层结构组成，即依次为BN层T1 3、ReLU激活函数层T2 3、卷积层T3 3和平均池化层T4 3；
密集连接层DB4，其由四个完全相同的卷积块级联而成，每个卷积块由四层结构组成，即依次为BN层
ReLU激活函数层
卷积层
dropout层
i表示第i个卷积块，i＝1,2,3,4；
过渡降维层TD4，其由四层结构组成，即依次为BN层T1 4、ReLU激活函数层T2 4、卷积层T3 4和平均池化层T4 4；
密集连接层DB5，其由四个完全相同的卷积块级联而成，每个卷积块由四层结构组成，即依次为BN层
ReLU激活函数层
卷积层
dropout层
i表示第i个卷积块，i＝1,2,3,4；
全局平均池化层T5，其用于对输入下采样，下采样核U5的窗口大小为2×2，输出392个特征图Y11，Y11大小为392×1×1，作为嵌入转换层中第一全连接层F1的输入。
5.根据权利要求1所述的方法，其中(3b)构建嵌入转换层的各层参数及关系设置如下：
第一层全连接层F1，其设有1000个神经元，用于提取样本的深度嵌入特征向量，输出一个1000维的列向量，作为第二层全连接层F2的输入；
第二层全连接层F2，其设有128个神经元，用于进一步提取样本的深度嵌入特征向量，输出一个128维的列向量H，并对其归一化，作为第三全连接层F3的输入；
第三全连接层F3，其设有3个神经元，用于对第二层全连接层F2输出的一个128维列向量进行非线性映射，输出一个3维的列向量，作为Softmax分类器层F4的输入；
第四层Softmax分类器层F4，用于将第三层全连接层得到的3维列向量输入到三类Softmax分类器中，得到分类概率向量p，根据概率值将输入样本进行分类。
6.根据权利要求1所述的方法，其中(4)将扩充后的训练数据Φ'x输入到构建好的训练网络模型Ω中，使用带有L2范数正则项的交叉熵损失函数对该网络模型Ω进行10个轮次的训练，得到初步训练好的网络模型Ω'，其实现如下：
4a)将扩充后的训练数据送入网络模型Ω中进行训练，一次训练100个样本，根据送入样本的标签计算网络的损失函数Js：
Js＝Js1+Js2
其中，Js1为交叉熵损失，Js2为L2范数正则项，N为训练样本的总数量，使用批次梯度下降算法训练时，N取一个批次的样本数量，
为第i个样本对应第k类的标签，
为网络将第i个样本预测为第k类的概率，L为网络总层数，Wl为第l层卷积核权重矩阵，Bl为第l层偏置矩阵；
4b)计算网络的损失函数梯度，利用梯度下降算法反向传播更新网络模型Ω的参数；
4c)循环执行4a)和4b)，所有扩充后的训练数据Φ'x训练完一次称为一个轮次，共训练10个轮次，得到初步训练好的网络模型Ω'。
7.根据权利要求1所述的方法，其中(5)中构成的新的损失函数Js5，表示如下：
其中，Js1为交叉熵损失，Js2为L2范数正则项，Js3为三元组损失，Js4为基于Fisher判别准则的正则项，λ1，λ2，λ3为平衡常数，λ1＝0.6，λ2＝0.005，λ3＝0.0005。
8.根据权利要求1所述的方法，其中(5)中使用新的损失函数Js5对初步训练好的网络模型Ω'进行训练，实现如下：
5a)将扩充后的训练数据Φ'x送入初步训练好的网络模型Ω′中，根据送入样本的标签计算网络的损失函数Js5；
5b)根据5a)中计算出的损失函数计算损失函数的梯度，利用梯度下降算法反向传播更新网络模型Ω′参数；
5c)循环执行5a)和5b)，直到损失函数收敛，得到最终训练好的网络模型Ω”。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911238758.8A CN111027454B (zh) | 2019-12-06 | 2019-12-06 | 基于深度密集连接和度量学习的sar舰船目标分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911238758.8A CN111027454B (zh) | 2019-12-06 | 2019-12-06 | 基于深度密集连接和度量学习的sar舰船目标分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111027454A CN111027454A (zh) | 2020-04-17 |
| CN111027454B true CN111027454B (zh) | 2023-03-10 |
Family
ID=70204453
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911238758.8A Active CN111027454B (zh) | 2019-12-06 | 2019-12-06 | 基于深度密集连接和度量学习的sar舰船目标分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111027454B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111597958B (zh) * | 2020-05-12 | 2023-04-07 | 西安网算数据科技有限公司 | 一种高度自动化的票据分类方法及系统 |
| WO2022001034A1 (en) * | 2020-06-29 | 2022-01-06 | Zhejiang Dahua Technology Co., Ltd. | Target re-identification method, network training method thereof, and related device |
| CN111814875B (zh) * | 2020-07-08 | 2023-08-01 | 西安电子科技大学 | 基于样式生成对抗网络的红外图像中舰船样本扩充方法 |
| CN112200123B (zh) * | 2020-10-24 | 2022-04-05 | 中国人民解放军国防科技大学 | 联合稠密连接网络和样本分布的高光谱开放集分类方法 |
| CN112241456B (zh) * | 2020-12-18 | 2021-04-27 | 成都晓多科技有限公司 | 基于关系网络与注意力机制的假新闻预测方法 |
| CN112668440B (zh) * | 2020-12-24 | 2023-02-10 | 西安电子科技大学 | 基于平衡样本回归损失的sar舰船目标检测方法 |
| CN112949460B (zh) * | 2021-02-26 | 2024-02-13 | 陕西理工大学 | 一种基于视频的人体行为网络模型及识别方法 |
| CN113361439B (zh) * | 2021-06-17 | 2022-06-17 | 中国人民解放军海军航空大学航空作战勤务学院 | 一种sar图像舰船目标识别方法和系统 |
| CN113850013B (zh) * | 2021-07-09 | 2022-09-13 | 西北工业大学 | 一种舰船辐射噪声分类方法 |
| CN113792808B (zh) * | 2021-09-17 | 2023-10-24 | 中国平安人寿保险股份有限公司 | 数据分类方法、装置、电子设备及存储介质 |
| CN115376560A (zh) * | 2022-08-23 | 2022-11-22 | 东华大学 | 轻度认知障碍早期筛查的语音特征编码模型及其训练方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106203354A (zh) * | 2016-07-14 | 2016-12-07 | 南京信息工程大学 | 基于混合深度结构的场景识别方法 |
| CN109558803A (zh) * | 2018-11-01 | 2019-04-02 | 西安电子科技大学 | 基于卷积神经网络与np准则的sar目标鉴别方法 |
| CN110222615A (zh) * | 2019-05-28 | 2019-09-10 | 上海海事大学 | 基于InceptionV3网络的被遮挡目标识别方法 |
| CN110232362A (zh) * | 2019-06-18 | 2019-09-13 | 西安电子科技大学 | 基于卷积神经网络和多特征融合的舰船尺寸估计方法 |
-
2019
- 2019-12-06 CN CN201911238758.8A patent/CN111027454B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106203354A (zh) * | 2016-07-14 | 2016-12-07 | 南京信息工程大学 | 基于混合深度结构的场景识别方法 |
| CN109558803A (zh) * | 2018-11-01 | 2019-04-02 | 西安电子科技大学 | 基于卷积神经网络与np准则的sar目标鉴别方法 |
| CN110222615A (zh) * | 2019-05-28 | 2019-09-10 | 上海海事大学 | 基于InceptionV3网络的被遮挡目标识别方法 |
| CN110232362A (zh) * | 2019-06-18 | 2019-09-13 | 西安电子科技大学 | 基于卷积神经网络和多特征融合的舰船尺寸估计方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于深层卷积残差网络集成的黑色素瘤分类方法;胡海根等;《计算机科学》;20190515(第05期);全文 * |
| 融合判别式深度特征学习的图像识别算法;黄旭等;《中国图象图形学报》;20180416(第04期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111027454A (zh) | 2020-04-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111027454B (zh) | 基于深度密集连接和度量学习的sar舰船目标分类方法 | |
| CN108229404B (zh) | 一种基于深度学习的雷达回波信号目标识别方法 | |
| CN108038445B (zh) | 一种基于多视角深度学习框架的sar自动目标识别方法 | |
| Song et al. | Radar image colorization: Converting single-polarization to fully polarimetric using deep neural networks | |
| CN107563411B (zh) | 基于深度学习的在线sar目标检测方法 | |
| Benediktsson et al. | Conjugate-gradient neural networks in classification of multisource and very-high-dimensional remote sensing data | |
| Wang et al. | Remote sensing landslide recognition based on convolutional neural network | |
| CN112668440B (zh) | 基于平衡样本回归损失的sar舰船目标检测方法 | |
| CN107256414A (zh) | 基于空域特征图谱的极化sar图像卷积神经网络分类方法 | |
| CN109871823B (zh) | 一种结合旋转框和上下文信息的卫星图像舰船检测方法 | |
| CN115019182B (zh) | 遥感图像目标细粒度识别方法、系统、设备及存储介质 | |
| CN110728706B (zh) | 基于深度学习的sar图像精细配准方法 | |
| CN104680169B (zh) | 一种面向高空间分辨率遥感图像专题信息提取的半监督诊断性特征选择方法 | |
| Zhang et al. | Polarimetric HRRP recognition based on ConvLSTM with self-attention | |
| Van Leeuwen et al. | Machine learning techniques for land use/land cover classification of medium resolution optical satellite imagery focusing on temporary inundated areas | |
| CN113420593B (zh) | 基于混合推理网络的小样本sar自动目标识别方法 | |
| CN116563726A (zh) | 一种基于卷积神经网络的遥感图像舰船目标检测方法 | |
| CN110516728A (zh) | 基于去噪卷积神经网络的极化sar地物分类方法 | |
| CN113095416A (zh) | 基于混合损失与图注意力的小样本sar目标分类方法 | |
| CN116071664A (zh) | 基于改进CenterNet网络的SAR图像舰船检测方法 | |
| CN110069987B (zh) | 基于改进vgg网络的单阶段船舶检测算法及装置 | |
| CN110414494A (zh) | 带有aspp反卷积网络的sar图像分类方法 | |
| CN116206203B (zh) | 基于SAR与Dual-EndNet的溢油检测方法 | |
| Guan et al. | Fishing vessel classification in SAR images using a novel deep learning model | |
| CN114049551B (zh) | 一种基于ResNet18的SAR原始数据目标识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |