CN111160268A - 一种基于多任务学习的多角度sar目标识别方法 - Google Patents
一种基于多任务学习的多角度sar目标识别方法 Download PDFInfo
- Publication number
- CN111160268A CN111160268A CN201911402471.4A CN201911402471A CN111160268A CN 111160268 A CN111160268 A CN 111160268A CN 201911402471 A CN201911402471 A CN 201911402471A CN 111160268 A CN111160268 A CN 111160268A
- Authority
- CN
- China
- Prior art keywords
- network
- task
- learning
- target
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000006870 function Effects 0.000 claims abstract description 34
- 230000007246 mechanism Effects 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 49
- 238000012360 testing method Methods 0.000 claims description 23
- 230000000694 effects Effects 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000009795 derivation Methods 0.000 claims description 2
- 238000006073 displacement reaction Methods 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims description 2
- 230000001902 propagating effect Effects 0.000 claims description 2
- 238000005065 mining Methods 0.000 claims 1
- 230000003068 static effect Effects 0.000 claims 1
- 238000013528 artificial neural network Methods 0.000 abstract description 6
- 238000000605 extraction Methods 0.000 abstract description 4
- 230000008447 perception Effects 0.000 abstract description 2
- 238000009826 distribution Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 7
- 230000004913 activation Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 101001013832 Homo sapiens Mitochondrial peptide methionine sulfoxide reductase Proteins 0.000 description 1
- 102100031767 Mitochondrial peptide methionine sulfoxide reductase Human genes 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000011423 initialization method Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多任务学习的多角度SAR目标识别方法，本发明构建了两种学习任务用以提升神经网络对于SAR目标特征的感知能力，一个是用以判断SAR目标角度的角度估计辅助任务，一个是在角度估计基础上进行目标识别的主任务。辅助任务充分利用了SAR图像数据中的角度特征，使用多任务学习中的参数共享学习机制来提升网络特征提取层对于目标散射特征、方位敏感特征的提取能力，为主任务的学习提供先验知识支撑。共享网络层基于深度残差学习框架进行设计，针对两种学习任务引入Softmax Loss和Center Loss两种损失函数共同监督训练，提高小样本情况下的合成孔径雷达目标识别效率。
Description
技术领域
本发明涉及一种基于多任务学习的多角度SAR目标识别方法，属于合成孔径雷达自动目标识别技术领域。
背景技术
合成孔径雷达(Synthetic Aperture Radar，SAR)是一种主动式微波传感器成像雷达，这种雷达利用一个小天线沿着长线阵的轨迹等速移动并辐射相参信号,把在不同位置接收的回波进行相干处理,从而获得较高分辨率的成像雷达。这种雷达可以不受太阳光照、雨雪等天气状况的影响，全天时、全天候的成像，且当其工作在合适的波长下可以穿透一些遮蔽物，正常成像，所成SAR图像的分辨率不受其波长、雷达作用距离的影响。鉴于其所具有的这些优秀特性，合成孔径雷达被广泛地应用于国民经济的各个领域。
由于合成孔径雷达的独特的成像机理，获得的SAR图像不可避免的会存在一些斑点噪声，使其不同于易于人眼感知的光学图像，影响图像的读取和解译。传统的SAR图像目标判读解译的方法主要是依靠研究学习过SAR图像的特点并拥有经验的人来进行人工分析判断。然而不同的人具有不同的先验知识和评判标准，有时为了一定程度上消除主观误差还需要进行多人分析综合评判，成本高、效率低。故而探索高效而准确的SAR自动目标识别技术(Automatic Target Recognition，ATR)成为国内外学者的研究热点。
随着深度学习理论在计算机识别领域的发展，人们开始探索基于深度学习方法的新的SAR目标识别方法，使用深度学习的方法来解决SAR目标识别的问题。到目前为止，国内外学者们以卷积神经网络(Convolutional Neural Network,CNN)理论为基础提出了大量有效的SAR目标识别算法，推动了SAR-ATR技术的不断发展。然而，虽然卷积神经网络能够高效的提取SAR目标的层次特征，得到令人满意的识别效果，但是前提是需要大量的样本进行训练，在实际的应用过程中，通常难以获取到大量标注的样本数据。
多任务学习作为机器学习领域比较有前景的一个领域，其关注点不在于单个任务，尽可能利用一切可以辅助优化度量指标的其他信息，通过共享相关任务之间的表征，可以更好的完成目标任务。近年来，基于多任务学习的研究已经涌现出了一批不错的成果，诸如人脸识别、脸部特征点检测以及目标检测等。
本发明基于多任务学习(Multi-task Learning，ML)的方法，构建了两种学习任务用以提升神经网络对于SAR目标特征的感知能力，一个是用以判断SAR目标角度的角度估计辅助任务，一个是在角度估计基础上进行目标识别的主任务，最大限度地挖掘多角度SAR遥感图像数据的潜力，精准的完成了大擦地角差异条件下SAR目标的识别，并且进一步有效的提升了小样本情况下SAR目标识别效率。
发明内容
本发明的主要目的是最大限度地挖掘多角度SAR遥感图像的数据潜力，解决有限数据集条件下训练样本和测试样本概率分布不一致的学习问题，解决大擦地角差异条件下的目标识别问题，提供一种基于多任务学习的方法，充分利用SAR图像数据中的角度特征，实现小样本情况下的合成孔径雷达目标识别。
多任务学习作为机器学习领域比较有前景的研究方向，其学习机制主要有两种，参数硬共享和参数软共享。本发明主要使用参数硬共享的学习机制，如图1所示，即共享角度估计和识别任务的隐藏层，保留特定任务的输出层，来提升网络特征提取层对于目标散射特征、方位敏感特征的提取能力，为主任务的学习提供了先验知识支撑。该方法所用的网络架构是He等人于2016年提出的更易于优化的深度残差学习框架，并且在两个堆叠的卷积层之间加入dropout层，用以缓解小样本数据集所带来的过拟合问题。
本发明使用深度残差网络提取合成孔径雷达目标的深层次特征，包括以下步骤：
步骤1、准备数据集：统一输入到网络的图像尺寸，划分训练集和测试集。
1)使用卷积神经网络完成目标识别任务的第一步就是要对输入到网络的数据做统一的规范化处理。由SAR图像与光学图像的成像机理不同，不可以简单地用池化的方式来统一图像的尺寸，所以首先要将图像裁剪到统一的尺寸大小。之后使数据集图像中的每个像素点的像素值都进行归一化处理，从而将图像的像素值压缩到0-1之间
2)生成类别标签，准备对应任务的训练集和测试集。
3)数据预处理。
步骤2、构建基于多任务学习的网络框架。
众所周知，随着网络结构的深度的增加，网络的性能在一定程度上会有所提升。但是在实际应用中，更深神经网络往往在训练过程中会出现梯度消失/爆炸、收敛速度慢等致命问题，尤其是在本身训练样本不足的情况下。于是本发明选择18层的残差网络作为主体网络结构，可以学习到可分性更强的高层抽象特征。本发明选择的网络模型比其他方法采用的网络模型更深，将层的学习变为学习关于该层输入的残差函数，而不是学习未参考的函数，显著的通过增加深度提升了准确性。
残差函数的定义为
y＝F(x,{Wi})+x (1)
其中x和y对应层的输入和输出向量，Wi为主干支路上可训练的权值，函数F(x,{Wi})表示需要学习的残差映射。具体实现方式即在网络中某一位置添加一条快捷连接(shortcut connection),将前层的特征直接传递过来,这个新连接称为恒等映射(Identity mapping)。使用快捷连接要保证输入和输出具有相同的维度。
当我们在进行两种维度的跨越进行连接的时候，通过快捷连接来执行线性投影Ws，来匹配维度，有两种方式可以进行，第一种，额外的进行填充零输入，增加维度；第二种方式，1x1卷积核，步长为2，输出可表示为
y＝F(x,{Wi})+Wsx (2)
模块中主干支路的映射关系F(·)由多个卷积层(Convolution layer)构成，本方法在两个堆叠的卷积层之间引入了Dropout层，并将保留概率设置为0.2，如图2所示。对每一层卷积层的输出都做批标准化处理(Batch Normalization)和使用修正线性单元(Rectified Linear Unit,ReLU)来激活神经元。
小样本情况下，在训练过程中非常容易出现的问题之一便是过拟合。本文使用Hinton在其论文中提出的Dropout来缓解过拟合。Dropout是指在训练过程中，将一些隐含节点的权值以一定的概率暂时失效，从而降低网络节点之间的联合适应性，同时也降低了网络的计算复杂度，最终提高模型的泛化能力。
BN层本质上是一个归一化网络层，通过对上一层卷积层的输出进行标准化处理来调整数据分布，再传入下个层，能够降低权值初始化的成本，从而加快了训练速度，这样就可以使用较大的学习率来训练网络。BN算法的伪代码如下表所示：
其中m表示当前训练批次的大小；从上述伪代码的公式中不难看出，标准化后的数值服从高斯分布，其均值为0、方差为1，大部分的值落在非线性激活函数的线性区内，影响网络性能，造成网络性能的下降。故而BN层会对标准化后的值再进行一次扩展和平移修正，作用是自适应的调整标准化的强度。在本发明中，将γ设置为1，β设置为0。
激活函数，是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。通过激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。ReLU作为一种常用的非线性激活函数，造就了网路的稀疏性，减少了参数的相互依存关系，缓解了过拟合问题的发生，并且因其所具有的较宽的兴奋边界能够加快训练速度。其表达式为：
f(x)＝max(0,x) (3)
即将所有小于0的输入变为0，而保留所有大于0的输入，这种操作被称为单侧抑制。
共享层的所有卷积核的大小均为3*3，输入图像经过预处理后输入到一个卷积层来增加通道数，将卷积层的步长和填充也设置为1，即在进行卷积操作之前先为特征图的四周填充一圈0，从而使得卷积后特征图尺寸不变。之后网络的中间部分由四个结构相似的模块堆叠而成，每个模块包含两个图2所示的残差结构。在每个模块的第一个残差结构的第一卷积层，设置步长为2，特征图的大小将会缩小到原来的一半，与此同时，需要将卷积核的个数设置为原来的2倍来增加输出的特征图数量。为了满足维度匹配原则，相应残差结构的shortcut支路上也需要进行一个步长为2的1×1卷积操作。除了每个模块的第一个残差结构的第一个卷积层外，中间部分的其他的卷积层的步长和填充都被设置为1，且每个模块中的第二个残差结构的shortcut支路恢复为恒等映射。每个模块结束之后，特征图尺寸缩小一半而数量会增加到原来的2倍。
共享网络结构的第4个模块的后面连接了一个全局平均池化(global averagepooling)层整合了全局空间信息，由于该层没有参数，防止了该层发生过拟合现象。
网络的最后一层使用一个全连接层来实现分类，针对不同的任务设置其特有的参数。使用多分类问题中非常常用的Softmax函数将输入映射为0-1指尖的是的实数，并且归一化保证和为1，从而可以得到样本属于每一个类别的概率值。
Softmax的表达式为：
其中，Zi表示向量Z的第i个元素，K为Z的整体维度，Si为Zi经过Softmax层后的输出。
步骤3、使用深度残差网络训练辅助任务的模型，保存预测效果最好的模型参数。
步骤4、选取合适的优化函数和超参数，使用步骤2搭建好的网络构架，共享步骤3中网络参数，学习目标识别任务的全连接层。
本发明使用Adam优化器来优化模型，该优化器易于实现，计算高效，对内存需求少，且它的超参数具有很好的解释性，且通常无需调整或仅需很少的微调，默认使用作者推荐的一组参数值，即：lr＝0.001,beta1＝0.9,beta2＝0.999,epsilon＝1e-8；lr表示学习率(learning rate,lr)，beta1和beta2代表一阶矩估计和二阶矩估计的指数衰减率，epsilon表示一个非常小的数，设置该参数是为了防止出现除数为0的情况。
在所述步骤(3)和(4)的训练中，本发明借鉴wen等人在人脸识别任务中所使用的联合损失函数，与上述提到的用于多分类问题中的softmax loss函数配合使用，共同监督训练，使得训练后的模型在小样本情况下具有更加强大的泛化能力。这个损失函数不仅要求网络对各种类别进行正确的分类，而且要求类内样本的距离较小，使得类间的距离变大。函数定义如下：
L＝LC+λLC (7)
LS表示的是Softmax Loss，LC表示Center Loss，λ是一个平衡两个损失的影响的标量，通常设定在0.1-0.0001之间，L表示网络所使用的组合损失函数；M为训练时一个批次中输入的训练样本的数量，K为样本的类别数，公式(7)中被求对数的值就是该样本所对应的正确类别的Softmax值；xi代表输入全连接层的第i个样本的特征，yi表示其真实标签，即真实类别；O对应于xi经过全连接层之后的输出，Oj对应于输出O的第j维，表示对应于第j类的输出；Oyi对应于输出O的第yi维，且代表着属于真实类别的输出；cyi表示属于第yi类的特征xi的特征中心，cyi是能够被训练和优化的。对于CenterLoss中所涉及的每类特征点的中心位置本，使用了随机梯度下降(stochastic gradient descent,SGD)算法来优化，此处的学习率通常设置在0-1之间。图4展示了在组合损失函数监督下的网络的整体结构。
网络初始化是一件很重要的事情，但是固定方差的高斯分布初始化，在网络变深的时候，使得模型很难收敛。在所述步骤(3)中，本发明采用的是MSRA初始化方法，这是一个均值为0方差为2/n的高斯分布，n表示输入节点，其适用于非线性激活函数为ReLU的网络。对于网络中的偏置b，其初始值全部定义为0。
附图说明
图1为参数硬共享示意图。
图2为残差块结构示意图。
图3为基于多任务学习的网络结构图。
图4为预处理前后数据对比图。
图5为不同损失函数监督训练下高维特征的分布情况。
图6为的识别精度对比曲线图。
具体实施方式
以下结合附图对本发明的实施过程和实验结果做进一步的描述。如图3所示为本发明的网络结构示意图，亦即本发明的实施过程的流程示意图，主要包含以下几个步骤：
步骤1、数据集的准备及预处理操作。
本发明所用数据是运动和静止目标的获取与识别(Moving and StationaryTargetAcquisition and Recognition，MSTAR)计划公开的MSTAR图像公共数据集的一部分。采集该数据的传感器为高分辨率的聚束式合成孔径雷达，该雷达的分辨率为0.3*0.3，工作在X波段，所用极化方式为HH极化。
1)选择标准工作条件下(SOC)的10类目标图像来训练角度估计的模型，目标的姿态覆盖范围均为0°～360°。训练集数据采集在17°成像侧视角下，测试集数据采集在15°侧视角下。由于MSTAR数据集包含目标的0-360°的方位角，将目标角度估计的任务作为辅助任务，充分利用SAR图像数据中的角度特征。分别读取训练集和测试集中的方位角信息，以5°为间隔生成类别标签，即将问题转化成一个共72类的多分类问题，来实现角度估计任务，挖掘SAR图像目标中所具有的角度信息。
在处理训练集的图像时，首先对图像做中心裁剪操作，裁剪尺寸为70×70，再在其中随机取64×64的图像区域，作为网络的输入。这样提取出来的用作训练的目标就具有了位移的特性，而卷积神经网络所具有的平移不变性也得以发挥。测试集的图像则只做中心裁剪64×64的区域。在输入网络时，3次加载图像，将数据量扩充3倍，与随机裁剪操作配合使用，达到增加样本数据多样性的目的。之后再将数据集图像中的每个像素点的像素值都进行归一化处理，把图像的像素值压缩到0-1之间。
2)而识别任务所用数据为扩展工作条件下(EOC)获取的4类地面目标，训练集的侧视角为17°，而测试集的侧视角为30°，如此大的侧视角差别可导致相同姿态的同一个目标呈现有较明显的区别表征，增加了识别的难度。
统一对训练集和测试集的图像做中心裁剪，提取中心处64×64的区域。总结之前大量的实验经验，发现数据中2S1(自行榴弹炮)和T72(坦克)这两类目标容易混淆，难以区分，误判率比较高。为了增加这两类目标的辨识度，对输入到网络中的图像做预处理时，给其中一类(T72)做锐化滤波，如图4所示，该操作补充原图的边缘轮廓信息，增强图像的边缘及灰度跳变的部分，使图片更加清晰，使其在一定程度上的区别于2S1。
步骤2、设计基于多任务学习的深度残差网络模型。
针对研究目的和所用实验数据，共享的网络结构采用ResNet-18，共享层的所有卷积核的大小均为3*3。把经过预处理后的图像(64×64×1)输入到第一层卷积层，该层卷积层包含16个尺寸为3×3的卷积核，此处的卷积操作设置padding为1，即在特征图四周填充一行(列)的零，然后在进行卷积运算，这样保证了经卷积层输出后的特征图的尺寸不变，而数量增加到16。
之后网络的中间部分由四个结构相似的模块堆叠而成，每个模块包含两个图2所示的残差结构。在每个模块的第一个残差结构的第一卷积层，设置步长为2，特征图的大小将会缩小到原来的一半，与此同时，需要将卷积核的个数设置为原来的2倍来增加输出的特征图数量，使其变为原来的2倍。为了满足维度匹配原则，相应残差结构的shortcut支路上也需要进行一个步长为2的1×1卷积操作。除了每个模块的第一个残差结构的第一个卷积层外，中间部分的其他的卷积层的步长和填充都被设置为1，且每个模块中的第二个残差结构的shortcut支路恢复为恒等映射。每个模块结束之后，特征图尺寸缩小一半而数量会增加到原来的2倍。
经上述四个模块输出之后的特征图的维度为8×8×256，然后通过一个全局平均池化层，其大小为8×8，来整合所有特征图的信息。共享网络层的参数设置如下表所示：
对于特定的任务对应一个特定的完全连接层。由于MSTAR数据集包含目标的0-360°的方位角，可以将目标方位角度的估计的任务理解为以5°为间隔的72类的多分类问题，所以全连接层参数设置为(256，72)；对30°俯仰角下拍摄的目标识别问题可以简单的理解为4分类问题，设置全连接层参数为(256，4)。
步骤3、使用深度残差网络训练角度估计任务的模型，保留结果最好的时刻时的模型参数。
使用步骤1中准备好的用于角度估计任务的训练集和测试集，网络的最后接一个全连接层，输入为前边共享网络层对样本所提取到的256维特征，输出的维度为类别标签数72。
完成数据集的准备和网络结构的架构的工作后，开始训练过程。将数据以批次(batch)的形式输入到网络中，在这里设置batch size为32。完成一个批次的训练相当于完成了一次迭代(iteration)，当所有的训练数据都在网络中训练过一遍后即为完成一轮(epoch)迭代，这里设置epoch为150。每完成一轮迭代后会利用当前的模型参数对测试集进行一次测试，最终记录下最好的测试结果，并将测试结果最好时的网络模型保存下来。
步骤4、选取合适的优化函数，使用步骤2搭建好的网络构架，共享步骤3中网络参数，学习目标识别任务的全连接层。
使用步骤3中保留的网络模型及参数，只更改网络模型的输入和输出。输入数据使用的是步骤1中准备好的用于目标识别任务的训练集和测试集；网络的最后一层全连接层的输出的维度为目标类别数4类。
将SAR图像经过预处理后，即对第三类目标做锐化滤镜后，按批次输入到网络中开始训练，batch size为32，epoch为200，每个epoch之后，训练数据的顺序将被打乱。把一个批次的数据输入进网络中，经过网络的前向传播后计算输出结果，使用组合损失函数计算实际结果与输出结果的损失，用来平衡两个损失函数的参数λ设置为0.01；通过梯度求导的链式法则，将损失反向传播到网络的每一层得到该层权重W和偏置b的梯度；最后再通过Adam优化函数更新网络参数，利用优化函数SGD更新CenterLoss中类别的中心位置，设置学习率lr为0.5。优化函数Adam的参数使用默认的设置为lr＝0.001,β1＝0.9,β2＝0.999,ε＝10-8，其中β1,β2为一阶矩估计和二阶矩估计的衰减率。ε是为了防止计算中出现除数为0的情况。到此完成一轮迭代，然后往复循环，这道完成所有迭代。而lr在[80,100]个epoch时衰减0.1。
步骤5、结果验证。
为了验证本文发明的方法能够实现对大俯仰角差下获取的目标有不错的识别效果，由下表可以看出对扩展条件下的数据的分类结果。
为了看到不同监控信号下提取的特征的分布情况，我们在最后一层之前添加了两个节点的全连接层，将深度特征映射到二维。图5展示了在不同损失函数的监督下，同一网络结构提取的特征在所有训练数据下的分布情况。从图5(b)中可以清楚地看出，由于中心损失的影响，同一类特征之间的距离变得非常小。
为了验证本文提出的方法在小样本情况下所能展现较好的识别性能，我们从每一类目标数据中分别随机选取80、60、40、30、20、10张图像作为训练样本，与单任务学习情况下的结果做对比，如表2所示。我们可以定量地分析得出使用多任务学习可以取得优于单任务学习的识别效果。
| 样本数 | 80 | 60 | 40 | 30 | 20 | 10 |
| 单任务 | 0.925000 | 0.902500 | 0.845000 | 0.84500 | 0.820000 | 0.735000 |
| 本文 | 0.942500 | 0.917500 | 0.865000 | 0.87500 | 0.865000 | 0.785000 |
为了定性而直观的分析，我们绘制了两种结果下的识别精度曲线图，如图6所示。显而易见，使用本文方法的收敛效果更好，分类结果更加稳定。
通过全方面的定性分析和定量分析相结合，我们得出结论：将预先训练好的角度估计的深度学习模型与目标识别任务结合，高效而准确的完成了大俯仰角差下的识别任务，达到了99.73的识别精度；该方法充分利用了目前已有的MSTAR数据，最大限度地挖掘数据潜力，运用了SAR目标本身所具有的角度特征，实现了小样本情况下的识别精度的提高，且保证了识别结果的稳定性。
Claims (3)
1.一种基于多任务学习方法的多角度SAR目标识别方法，其特征在于：该方法的步骤包括：
步骤1、数据集的准备及预处理操作；
数据集所用数据是运动和静止目标的获取与识别计划公开的MSTAR图像公共数据集的一部分；采集数据的传感器为高分辨率的聚束式合成孔径雷达；
1)选择标准工作条件下的目标图像来训练角度估计的模型，目标的姿态覆盖范围均为0°～360°；训练集数据采集在17°成像侧视角下，测试集数据采集在15°侧视角下；由于MSTAR数据集包含目标的0-360°的方位角，将目标角度估计的任务作为辅助任务，充分利用SAR图像数据中的角度特征；分别读取训练集和测试集中的方位角信息；利用生成的角度标签和已有数据来完成角度估计任务模型的训练，挖掘SAR图像目标中所具有的角度信息；
在处理训练集的图像时，首先对图像做中心裁剪操作，作为网络的输入；这样提取出来的用作训练的目标就具有了位移的特性，而卷积神经网络所具有的平移不变性也得以发挥；在输入网络时，3次加载图像将数据量扩充3倍，与随机裁剪操作配合使用；将数据集图像中的每个像素点的像素值都进行归一化处理，把图像的像素值压缩到0-1之间；
2)而识别任务所用数据为扩展工作条件下获取的4类地面目标，训练集的侧视角为17°，测试集的侧视角为30°；
步骤2、构建基于多任务学习的18层的残差网络模型；
任务共享层的网络结构采用ResNet-18，把经过预处理后的图像输入到第一层卷积层，该层卷积层包含卷积核，卷积操作设置padding为1，即在特征图四周填充一行或列的零，然后在进行卷积运算；
之后网络的中间部分由四个模块堆叠而成，每个模块包含两个残差结构；在每个模块的第一个残差结构的第一卷积层，设置步长为2，特征图的大小将会缩小到原来的一半，将卷积核的个数设置为原来的2倍来增加输出的特征图数量，使其变为原来的2倍；除每个模块的第一个残差结构的第一个卷积层外，中间部分的其他的卷积层的步长和填充都被设置为1，且每个模块中的第二个残差结构的shortcut支路恢复为恒等映射；每个模块结束之后，特征图尺寸缩小一半而数量会增加到原来的2倍；
对于特定的任务对应一个特定的全连接层，MSTAR数据集包含目标的0-360°的方位角，对30°俯仰角下拍摄的目标识别问题，由于目标类别共四类；
步骤3、使用深度残差网络训练角度估计任务的模型，保留预测效果好的模型参数；
使用步骤1中准备好的用于角度估计任务的训练集和测试集，网络的输出端连接一层全连接层；全连接层的输入为前边共享网络层对样本所提取到的256维特征，全连接层的输出的维度为类别标签数72；
训练过程中，将数据以批次的形式输入到网络中，在这里设置batch size为32；完成一个批次的训练相当于完成了一次迭代，当所有的训练数据都在网络中训练过一遍后即为完成一轮迭代；每完成一轮迭代后会利用当前的模型参数对测试集进行一次测试，最终记录下最好的测试结果，并将测试结果最好的网络模型保存下来；
步骤4、选取合适的优化函数，使用步骤2搭建好的网络构架，共享步骤3中训练得到的网络参数，学习目标识别任务的全连接层；
使用步骤3中保留的网络模型及参数，只更改网络模型的输入和输出；输入数据使用的是步骤1中准备好的用于目标识别任务的训练集和测试集；网络的最后一层全连接层的输出的维度为目标类别数目4类；
将SAR图像经过预处理后，即对第三类目标做锐化滤波后，按批次输入到网络中开始训练，每个epoch之后，训练数据的顺序将被打乱；把一个批次的数据输入进网络中，经过网络的前向传播后得到输出结果，使用组合损失函数计算真实标签与输出结果的损失，用来平衡两个损失函数的参数λ设置为0.01；通过梯度求导的链式法则，将损失反向传播到网络的每一层得到该层权重W和偏置b的梯度；最后再通过Adam优化函数更新网络参数，利用优化函数SGD更新Center Loss中类别的中心位置，设置学习率lr为0.5，其中β1,β2为一阶矩估计和二阶矩估计的衰减率；ε为了防止计算中出现除数为0的情况，到此完成一轮迭代，然后往复循环，直到完成所有迭代。
2.根据权利要求1所述的一种基于多任务学习方法的小样本学习的合成孔径雷达目标识别方法，其特征在于：多任务学习作为机器学习有两种学习机制，参数硬共享和参数软共享；使用参数硬共享的学习机制，即共享角度估计和识别任务的隐藏层，保留特定任务的输出层；由于不同任务有各自的数据集，故而以交替训练的方式来学习各自任务的输出层。
3.根据权利要求1所述的一种基于多任务学习方法的小样本学习的合成孔径雷达目标识别方法，其特征在于：在人脸识别任务中所使用的联合损失函数，函数定义如下：
L＝LC+λLC (3)
LS表示的是SoftmaxLoss，LC表示Center Loss，λ是一个平衡两个损失的影响的标量，L表示网络所使用的组合损失函数；M为训练时一个批次中输入的训练样本的数量，K为样本的类别数；xi代表输入全连接层的第i个样本的特征，yi表示其真实标签，即真实类别；O对应于xi经过全连接层之后的输出，Oj对应于输出O的第j维，表示对应于第j类的输出；Oyi对应于输出O的第yi维，且代表着属于真实类别的输出；cyi表示属于第yi类的特征xi的特征中心，cyi是能够被训练和优化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911402471.4A CN111160268B (zh) | 2019-12-30 | 2019-12-30 | 一种基于多任务学习的多角度sar目标识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911402471.4A CN111160268B (zh) | 2019-12-30 | 2019-12-30 | 一种基于多任务学习的多角度sar目标识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111160268A true CN111160268A (zh) | 2020-05-15 |
| CN111160268B CN111160268B (zh) | 2024-03-29 |
Family
ID=70559400
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911402471.4A Active CN111160268B (zh) | 2019-12-30 | 2019-12-30 | 一种基于多任务学习的多角度sar目标识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111160268B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112183547A (zh) * | 2020-10-19 | 2021-01-05 | 中国科学院计算技术研究所 | 基于多模态数据的多任务学习方法及系统 |
| CN112630741A (zh) * | 2020-12-11 | 2021-04-09 | 江西师范大学 | 一种全极化合成孔径雷达图像目标补偿peoc方法 |
| CN113288156A (zh) * | 2021-05-18 | 2021-08-24 | 浙江大学 | 一种任意导联视角的心电数据的生成方法 |
| CN113392887A (zh) * | 2021-05-31 | 2021-09-14 | 北京达佳互联信息技术有限公司 | 图片识别方法、装置、电子设备及存储介质 |
| CN113408340A (zh) * | 2021-05-12 | 2021-09-17 | 北京化工大学 | 基于增强型特征金字塔的双极化sar小型船只检测方法 |
| CN113468939A (zh) * | 2020-11-30 | 2021-10-01 | 电子科技大学 | 一种基于监督最小化深度学习模型的sar目标识别方法 |
| CN113569464A (zh) * | 2021-06-21 | 2021-10-29 | 国网山东省电力公司电力科学研究院 | 一种基于深度学习网络与多任务学习策略的风电机组振荡模态预测方法及装置 |
| CN114519381A (zh) * | 2021-12-31 | 2022-05-20 | 上海仙途智能科技有限公司 | 基于多任务学习网络的感知方法及装置、存储介质、终端 |
| CN114528881A (zh) * | 2022-02-22 | 2022-05-24 | 河北工业大学 | 基于多任务深度学习的断路器触头系统故障评估方法 |
| CN115421043A (zh) * | 2022-08-25 | 2022-12-02 | 江西方兴科技股份有限公司 | 基于跨越-侧抑制宽度学习的电动汽车soc估计方法 |
| CN116523790A (zh) * | 2023-05-08 | 2023-08-01 | 广东海洋大学 | 一种sar图像去噪优化方法、系统和存储介质 |
| CN117409275A (zh) * | 2023-12-06 | 2024-01-16 | 华能澜沧江水电股份有限公司 | 一种多角度雷达图像处理方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108038445A (zh) * | 2017-12-11 | 2018-05-15 | 电子科技大学 | 一种基于多视角深度学习框架的sar自动目标识别方法 |
| CN109508655A (zh) * | 2018-10-28 | 2019-03-22 | 北京化工大学 | 基于孪生网络的不完备训练集的sar目标识别方法 |
| US20190130275A1 (en) * | 2017-10-26 | 2019-05-02 | Magic Leap, Inc. | Gradient normalization systems and methods for adaptive loss balancing in deep multitask networks |
| CN110245711A (zh) * | 2019-06-18 | 2019-09-17 | 西安电子科技大学 | 基于角度旋转生成网络的sar目标识别方法 |
| WO2019233244A1 (zh) * | 2018-06-08 | 2019-12-12 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机可读介质及电子设备 |
-
2019
- 2019-12-30 CN CN201911402471.4A patent/CN111160268B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190130275A1 (en) * | 2017-10-26 | 2019-05-02 | Magic Leap, Inc. | Gradient normalization systems and methods for adaptive loss balancing in deep multitask networks |
| CN108038445A (zh) * | 2017-12-11 | 2018-05-15 | 电子科技大学 | 一种基于多视角深度学习框架的sar自动目标识别方法 |
| WO2019233244A1 (zh) * | 2018-06-08 | 2019-12-12 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机可读介质及电子设备 |
| CN109508655A (zh) * | 2018-10-28 | 2019-03-22 | 北京化工大学 | 基于孪生网络的不完备训练集的sar目标识别方法 |
| CN110245711A (zh) * | 2019-06-18 | 2019-09-17 | 西安电子科技大学 | 基于角度旋转生成网络的sar目标识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| FAN ZHANG等: "Multi-aspect SAR target recognition based on space-fixed and space-varying scattering feature joint learning", 《REMOTE SENSING LETTERS》 * |
| RENE THAENS: "A Deep Learning SAR Target Classification Experiment on MSRAR Dataset", 《THE 19TH INTERNATIONAL RADAR SYMPOSIUM IRS 2018》 * |
| 邹浩等: "采用深度学习的多方位角SAR图像目标识别研究", 《信号处理》 * |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112183547A (zh) * | 2020-10-19 | 2021-01-05 | 中国科学院计算技术研究所 | 基于多模态数据的多任务学习方法及系统 |
| CN113468939A (zh) * | 2020-11-30 | 2021-10-01 | 电子科技大学 | 一种基于监督最小化深度学习模型的sar目标识别方法 |
| CN112630741A (zh) * | 2020-12-11 | 2021-04-09 | 江西师范大学 | 一种全极化合成孔径雷达图像目标补偿peoc方法 |
| CN112630741B (zh) * | 2020-12-11 | 2023-04-14 | 江西师范大学 | 一种全极化合成孔径雷达图像目标补偿peoc方法 |
| CN113408340B (zh) * | 2021-05-12 | 2024-03-29 | 北京化工大学 | 基于增强型特征金字塔的双极化sar小型船只检测方法 |
| CN113408340A (zh) * | 2021-05-12 | 2021-09-17 | 北京化工大学 | 基于增强型特征金字塔的双极化sar小型船只检测方法 |
| CN113288156A (zh) * | 2021-05-18 | 2021-08-24 | 浙江大学 | 一种任意导联视角的心电数据的生成方法 |
| CN113392887A (zh) * | 2021-05-31 | 2021-09-14 | 北京达佳互联信息技术有限公司 | 图片识别方法、装置、电子设备及存储介质 |
| CN113392887B (zh) * | 2021-05-31 | 2024-10-15 | 北京达佳互联信息技术有限公司 | 图片识别方法、装置、电子设备及存储介质 |
| CN113569464A (zh) * | 2021-06-21 | 2021-10-29 | 国网山东省电力公司电力科学研究院 | 一种基于深度学习网络与多任务学习策略的风电机组振荡模态预测方法及装置 |
| CN114519381A (zh) * | 2021-12-31 | 2022-05-20 | 上海仙途智能科技有限公司 | 基于多任务学习网络的感知方法及装置、存储介质、终端 |
| CN114519381B (zh) * | 2021-12-31 | 2024-09-17 | 上海仙途智能科技有限公司 | 基于多任务学习网络的感知方法及装置、存储介质、终端 |
| CN114528881A (zh) * | 2022-02-22 | 2022-05-24 | 河北工业大学 | 基于多任务深度学习的断路器触头系统故障评估方法 |
| CN114528881B (zh) * | 2022-02-22 | 2024-09-27 | 河北工业大学 | 基于多任务深度学习的断路器触头系统故障评估方法 |
| CN115421043A (zh) * | 2022-08-25 | 2022-12-02 | 江西方兴科技股份有限公司 | 基于跨越-侧抑制宽度学习的电动汽车soc估计方法 |
| CN116523790A (zh) * | 2023-05-08 | 2023-08-01 | 广东海洋大学 | 一种sar图像去噪优化方法、系统和存储介质 |
| CN117409275A (zh) * | 2023-12-06 | 2024-01-16 | 华能澜沧江水电股份有限公司 | 一种多角度雷达图像处理方法 |
| CN117409275B (zh) * | 2023-12-06 | 2024-04-05 | 华能澜沧江水电股份有限公司 | 一种多角度雷达图像处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111160268B (zh) | 2024-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111160268B (zh) | 一种基于多任务学习的多角度sar目标识别方法 | |
| Ghaderizadeh et al. | Hyperspectral image classification using a hybrid 3D-2D convolutional neural networks | |
| CN109492556B (zh) | 面向小样本残差学习的合成孔径雷达目标识别方法 | |
| US11783569B2 (en) | Method for classifying hyperspectral images on basis of adaptive multi-scale feature extraction model | |
| CN106355151B (zh) | 一种基于深度置信网络的三维sar图像目标识别方法 | |
| CN109508655A (zh) | 基于孪生网络的不完备训练集的sar目标识别方法 | |
| CN111639719B (zh) | 基于时空运动和特征融合的足迹图像检索方法 | |
| CN108460739A (zh) | 一种基于生成对抗网络的遥感图像薄云去除方法 | |
| CN113392931B (zh) | 基于自监督学习及多任务学习的高光谱开放集分类方法 | |
| CN111353463A (zh) | 基于随机深度残差网络的高光谱图像分类方法 | |
| CN112561860A (zh) | 一种基于先验形状约束的BCA-UNet肝脏分割方法 | |
| CN114821164A (zh) | 基于孪生网络的高光谱图像分类方法 | |
| CN110298235A (zh) | 基于流形约束自编码网络的高光谱异常检测方法及系统 | |
| CN113344045B (zh) | 一种结合hog特征提高sar船只分类精度的方法 | |
| Chudzik et al. | DISCERN: Generative framework for vessel segmentation using convolutional neural network and visual codebook | |
| CN114862596A (zh) | 农作物银行贷款数据风险分析方法及装置 | |
| Ma et al. | Land cover classification for polarimetric sar image using convolutional neural network and superpixel | |
| CN113191996A (zh) | 一种遥感影像变化检测方法、装置及其电子设备 | |
| Rajakani et al. | Adaptive Window Based 3-D Feature Selection for Multispectral Image Classification Using Firefly Algorithm. | |
| CN114140524A (zh) | 一种多尺度特征融合的闭环检测系统及方法 | |
| Yang et al. | AAE-Dpeak-SC: A novel unsupervised clustering method for space target ISAR images based on adversarial autoencoder and density peak-spectral clustering | |
| CN113988224A (zh) | 一种珊瑚礁底质分类模型的训练、应用方法及装置 | |
| Amy et al. | Transfer Learning Based Convolutional Neural Network for Classification of Remote Sensing Images | |
| Klemmer et al. | Sxl: Spatially explicit learning of geographic processes with auxiliary tasks | |
| Yang et al. | Target Recognition and Classification of Underwater Airplane and Sunken Ship Images Based on Convolutional Neural Network with Side-scan Sonar |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |