CN115995040A - 一种基于多尺度网络的sar图像小样本目标识别方法 - Google Patents
一种基于多尺度网络的sar图像小样本目标识别方法 Download PDFInfo
- Publication number
- CN115995040A CN115995040A CN202211341986.XA CN202211341986A CN115995040A CN 115995040 A CN115995040 A CN 115995040A CN 202211341986 A CN202211341986 A CN 202211341986A CN 115995040 A CN115995040 A CN 115995040A
- Authority
- CN
- China
- Prior art keywords
- image
- multiplied
- input
- network
- scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000000605 extraction Methods 0.000 claims abstract description 23
- 238000012360 testing method Methods 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims description 37
- 239000013598 vector Substances 0.000 claims description 28
- 238000011176 pooling Methods 0.000 claims description 26
- 239000011159 matrix material Substances 0.000 claims description 17
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 238000001228 spectrum Methods 0.000 claims description 14
- 238000010606 normalization Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 239000002245 particle Substances 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000012821 model calculation Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 abstract description 8
- 238000005070 sampling Methods 0.000 abstract description 7
- 230000000694 effects Effects 0.000 abstract description 6
- 230000004913 activation Effects 0.000 description 10
- 238000001914 filtration Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000003066 decision tree Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多尺度网络的SAR图像小样本目标识别方法，将孪生网络的机器学习框架应用SAR图像的目标识别任务，包括图像对采样、训练任务采样、测试任务采样等；使用自编码器和多尺度的特征提取网络来增强模型训练过程中的特征传播。本发明可实现在SAR图像小样本情况下的目标识别任务，缓解由于在SAR图像样本量极低的情况下机器学习模型无法达到的目标识别效果。
Description
技术领域
本发明涉及图像识别技术，具体涉及一种基于多尺度网络的SAR图像小样本目标识别方法。
背景技术
目前，合成孔径雷达是一种对地观测的雷达系统，且其具有有源性，通常也被称为主动成像。该种装置最初主要安装于飞机、航天器等飞行平台和高空设备上，实行全天候、全天时的对地监测；后随着SAR及相关技术的发展，地基合成孔径雷达、手持式SAR设备等多种操作模式的设备开始大范围应用于各种领域。
如图1所示，图像的识别需要经过图像预处理、图像特征提取、目标分类3个基本过程。
在图像预处理阶段，可以使用裁剪、旋转、高斯滤波、中值滤波、像素灰度化、像素二值化等操作使输入到模型中的图像标准化，提出部分可能会对训练效果产生影响的无用信息，并在最大程度上保留需要识别的目标信息，方便后续模型训练过程中的参数的调整对齐。其中裁剪、旋转等图像几何变换操作，可以减少图像中的无用的背景信息；高斯滤波使用平滑模板，是一种线性操作，对所输入的图像的像素点的灰度值进行加权平均，实现对图像信号进行平滑处理；中值滤波是一种非线性平滑技术，其基于排序统计理论，通过滤波模板处理输入图像给定像素点的邻域，得到该像素点邻域内的中值，取代原始像素值，使目标像素的灰度值能够更加拟合真实情况，消除孤立的噪声，来达到降低图像噪声的目的，该种去噪方法适用于椒盐噪声的处理，保护边缘信息；灰度化操作，对输入的彩色图像进行操作，使得输入的三通道图像转化为单通道的灰度图像，可以减少模型后续计算中所需要的参数量，加快模型训练速度，但灰度图像仍与彩色RGB图像一样，可以反映整幅图像的特征信息分布，RGB图像的灰度化计算公式如下：
图像特征，是图像中某一类对象能够区别于其他对象的一些显著特点和特性。每一副图像都存在其区别于其他图像的特征，包括亮度、边缘、形状、色彩等人眼能够自然观察到的特征，也包括需要通过处理变换才能得到的直方图、矩等特征。为了区分分属于不同类别的图像目标，所模型抽取的图像特征不仅需要能够较为全面的描述图像信息，而且该类特征能够作为不同于其他图像的差异。在特征提取模块中，可以采用多种策略来增强特征提取的准确度，如注意力机制、多尺度网络、稠密连接、残差网络、共享权值等。但是传统的深层神经网络通常需要大量的样本数据，且该神经网络模型通常含有大量的参数来对所输入的样本进行特征提取，该种传统的深层神经网络在含有大量样本的识别任务的性能可以达到较为理想的效果。但是SAR图像的采集及标记任务可能会耗费大量的资源，导致无法获得大量的SAR图像数据样本，这会导致极其依赖海量样本的深度学习技术在SAR图像小样本目标识别任务上的模型性能大幅下降，因此出现了SAR图像小样本的目标识别问题。在小样本的特征提取过程中，参考人类在极少样本的学习后便能够识别新物体的能力，于是提出了Few Shot Learning(FSL)。在FSL的特征提取过程中，通过比对各类样本，能够提取出不同种类样本之间的特征并使其差异化，方便后续的分类阶段。
在提取到图像的特征后，分类器将会对提取到的特征进行计算，其能够在已有数据的基础上构建一个分类模型，该模型能够将以上提取到的特征进行映射，并将其归类为给定类别中的一类，常用的分类器包含有线性回归（Linear Regression）、逻辑斯蒂回归（Logistic Regression）、支持向量机（Support Vector Machines，SVM）、决策树（DecisionTree，DT）、朴素贝叶斯模型（Naive Bayes Model，NBM）、Softmax。分类器又常被分为两个类别，即线性分类器和非线性分类器，线性分类器的运算速度快，但是其拟合能力不强，非线性分类器则相反能够达到较好的分类效果，但其速度无法与线性分类器相比。线性可分是一种较为理想的情况，但在真实世界中严格按照按线性分布的情况其实极为少数，一方面是因为现实情况的数据维度多远大于二维，且随着维数的增加，其数据分布即愈复杂，能够线性可分的成功率就越低；另一方面，即使原始数据是线性可分的，但由于数据采集过程中存在的非理想情况，如噪声引入的非线性因素，也可能导致原始线性可分的数据在采集后无法使用。
有提出了一种新的聚类目标，其从头开始训练神经网络分类器，并只给出未标记的数据样本。该模型通过发现与语义类别精确匹配的聚类，在包括图像分类和图像分割等八个非监督聚类基准中实现了SOTA结果，其中包括有STL10，一种ImageNet的非监督学习变体，以及CIFAR10，在该两种数据集的测试下，该模型取得的正确率分别比目前最优异的模型高出6.6%和9.5%的绝对百分比。该方法并不仅仅针对计算机视觉，而是可以对任何能够成对的数据集样本进行学习，在该篇文献中选择随机变换将所有图像生成为图像对，。已完成训练的网络直接输出语义标签，而不是需要外部处理才能用于语义聚类的高维表示，使其最大化每对样本类型分配之间的互信息（Mutual Information，MI），如此严格基于信息论的方法可以避免其他聚类方法容易受到退化解的影响。
元学习是为了解决在样本量极度稀缺的情况下完成小样本学习的任务框架，其关键步骤是利用大量类似的小样本任务，学习如何使基础学习器（Base Learner）适应在只有极少量样本可用的情况下的新任务。由于深度神经网络（Deep NeuralNetworks, DNN）在仅使用几个样本的情况下容易产生过度拟合的情况，元学习通常采用浅层神经网络（ShallowNeural Networks, SNN），从而限制了其模型性能。有提出了一种元迁移学习（Meta-TransferLearning, MTL），其通过自适应深度神经网络来完成小样本学习任务，学习每个任务的DNN权值的缩放和平移函数来实现迁移学习。此外，还引入了Hard-Task（HT）元批次作为一种有效的MTL小样本学习目标，以上两个提出的创新点有助于模型快速收敛并取得高精度。
有提出了一种多尺度度量学习（Multi-scale Metric Learning，MSML），该方法通过提取多尺度特征，学习样本间的多尺度关系，用于Few Shot的分类任务。该方法通过引入特征金字塔结构进行多尺度特征的嵌入，将来自高层次的、具有较强语义信息的特征与低层丰富的视觉特征进行结合，并在此基础上，提出了一种用于分层度量学习的多尺度关系生成网络（Multi-scaleRelation Generation Network，MRGN），其中来自高层的特征用于深度度量学习，而来自底层的特征应用于轻量级的度量学习。在MSML和MRGN的基础上，设计了一种称为类内与类间关系（Intra-classand Inter-class Relation Loss，IIRL）的新损失函数来优化该文所提出的深度网络，该损失函数可用于增强同类样本组之间的相关性，削弱异类样本组之间的关联，并在mini ImageNet和tiered ImageNet数据集的FSL问题上具有较好的性能。
SAR图像标签难以大量获取，存在大量小样本SAR数据集。SAR图像充满散斑噪声和特有的几何畸变，直接将卷积神经网络应用于小样本SAR数据集上将难以提取到有效特征。基于深度学习的方法需要大量训练数据才能使模型达到较好的性能，但是为SAR图像打上标签是一项耗时、劳动密集的工作，通常需要来自应用领域的专业知识。要想获得大量已打好标签的数据来满足在真实应用的传统机器学习的需求，这通常是比较困难的。另一方面，由于大规模已标记的SAR图像数据集的缺失，以及SAR图像学习的困难，直接应用传统的基于迁移学习的方法（如元学习）难以解决SAR目标识别问题。
发明内容
本发明的主要目的在于提供一种基于多尺度网络的SAR图像小样本目标识别方法，可实现在SAR图像小样本情况下的目标识别任务，缓解由于在SAR图像样本量极低的情况下机器学习模型无法达到的目标识别效果。
本发明采用的技术方案是：一种基于多尺度网络的SAR图像小样本目标识别方法，包括：
在模型的输入阶段将会随机选取两幅图像，并生成相应的图像对；若选取的图像对所属类别相同，则生成的对应监督信息Label = 1；若选取的图像对所属类别不相同，则生成的对应监督信息Label = 0；
将所选取的图像对输入到多尺度卷积网络，该网络结构共享权重参数，对图像进行特征提取，将原始的数据输入的维度进行特征提取后，进行全连接得到特征向量；
在得到对应维度特征向量后，使用余弦距离计算所输入图像的相似度；在输入的图像对相似程度较高的情况下，其计算余弦相似度的值接近于1，而在相似度较低的情况下其值接近于-1；对于所输入的监督信息类别相同Label = 1或类别不同Label = 0，使用余弦相似度使得输入的特征向量与其输入维度无关，在输入维度增长时，其余弦相似度计算所得也能够保持与低维度输入时相似的值；
得到的余弦距离与生成的监督信息Label输入到二分类交叉熵损失计算；
使用二值交叉熵损失和均方误差损失的加权和作为模型的总体损失函数，进行反向传播，对模型进行梯度更新。
进一步地，所述特征提取网络包括：
使用卷积层为 5×5 卷积核和 3×3卷积核，每一个卷积层均包括批归一化操作和无偏卷积，池化层均使用 2×2 的最大值池化，该种池化层通过选取局部的最大值，学习图像的边缘与纹理结构等特征；
通过对 2×2 池化模板内的各个元素比较，提取最大值，取得局部的主要特征；
批归一化操作过程如下，首先求得输入样本batch的均值；
对该批次 batch 中的样本，计算其方差：
其中
为上方步骤中求得的 batch 的均值；
对 batch 中的每一个样本进行归一化，使其符合正态分布：
其中
和
分别为先前步骤中求得的batch的均值与方差，
为一绩效的大于0的值；
在以下的卷积操作中，每一步操作都将统一包含有对应参数和权重的卷积操作和批归一化操作，在使用批归一化操作对输入信息进行计算时，使用输入信息的均值与方差对参数进行修正归一化；
在将图像输入到该多尺度卷积神经网络前，首先会对图像进行裁剪，统一为100×100的灰度图像，输入到第一层卷积层，第一层卷积层设置为16个过滤器的5×5卷积，步长设置为2，并进行空白填充，再使用2×2的最大池化层对图像进行下采样，得到的特征图谱的维度信息为16×25×25，再通过1×1卷积对该层特征图谱的通道进行线性变换，得到128维的25×25的特征图谱，将其作为第一个尺度的网络输出；第二个尺度的卷积层选择32个过滤器的3×3卷积，步长设置为1，进行空白填充,2×2最大值池化后得到32×12×12的特征图谱，同样通过1×1卷积，得到128维12×12的特征图谱，作为第二个尺度的网络输出；第三个尺度的特征图谱使用了三个卷积层和一个池化层，首先通过64个过滤器的3×3卷积，步长设置为1，并进行空白填充，使用2×2最大池化后，再次通过128个过滤的3×3卷积和5×5卷积，得到的特征图谱维度信息为128×1×1，作为第三个尺度的特征图谱输出；
在将多个粒度尺寸的特征图谱进行级联前，将各粒度的特征图谱分别设置为128×625，128×144，128×1，然后以通道维度为基准进行级联，得到的特征图谱维度为128×770。
更进一步地，所述基于多尺度网络的SAR图像小样本目标识别方法，还包括将该经过多尺度卷积神经网络编码后的特征向量输入自编码器中的解码器模块，具体为：
给定一个训练集
，自编码器将会对所输入的训练集进行一下操作：
其中f和g通常为由神经网络实现的编码器函数和解码器函数，
和
为编码器的权重矩阵和偏差向量，
和
为解码器的权重矩阵和偏差向量；
损失函数为加权损失函数，其表达式如下，
其中
和
分别表示输入到孪生网络中的样本图像，其形式为像素矩阵；
为生成的监督信息，若图像为同类别则为1，不同则为0；
为人为规定的权重超参数，用于指定均方误差损失即图像重建损失的权重占比；
为余弦距离，其表达式如下：
其中
为模型预测值，
为样本的监督信息；
其中
和
分别为原始图像和经过自编码器重建的重建图像，为像素矩阵；
和
分别为像素矩阵中的对应像素点的灰度值，
为像素矩阵的像素点个数；最后输出为自编码器的图像重建损失；
在输出加权后的损失函数后，对模型进行反向传播并使用ADAM自适应优化器进行梯度更新和模型优化。
更进一步地，所述基于多尺度网络的SAR图像小样本目标识别方法，还包括在训练和测试时，模型将随机从训练集和测试集中随机抽取图像生成图像对，并对抽取的图像对进行组合，生成孪生网络所需要的格式输入；在对模型进行训练时，将使用该标签输入进BCE 损失函数进行梯度下降；在使用训练完成的模型进行测试时，将会使用模型计算对所输入三组图像对进行相似度计算，判断其中相似度最高的图像对，若第一组图像对相似度最高，则模型预测准确，若其他组的图像对相似度最高，则模型预测错误。
本发明的优点：
本发明可实现在SAR图像小样本情况下的目标识别任务，缓解由于在SAR图像样本量极低的情况下机器学习模型无法达到的目标识别效果。
除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明的图像识别过程图；
图2是本发明的自编码器基本结构；
图3是本发明的SAR图像小样本识别模型总体结构；
图4是本发明的多尺度的卷积神经网络；
图5是本发明的最大池化示意图；
图6是本发明的非对称自编码器的解码器流程图；
图7是本发明的ReLU激活函数图；
图8是本发明的Tanh激活函数图；
图9是本发明的数据集MSTAR图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
（一）本发明总体结构
本发明提出的SAR图像小样本识别模型使用了非对称的自编码器、孪生网络、多尺度卷积神经网络等结构，其整个的网络结构如图3所示。
在模型的输入阶段将会随机选取两幅图像，并生成相应的图像对。若选取的图像对所属类别相同，则生成的对应监督信息Label = 1；若选取的图像对所属类别不相同，则生成的对应监督信息Label = 0。
将所选取的图像对输入到基于孪生结构的特征提取网络，即本发明所选取的多尺度卷积网络，该网络结构共享权重参数，对图像进行特征提取，将原始的数据输入的维度进行特征提取后，进行全连接得到特征向量。
在得到对应维度特征向量后，使用余弦距离计算所输入图像的相似度。在输入的图像对相似程度较高的情况下，其计算余弦相似度的值接近于1，而在相似度较低的情况下其值接近于-1；对于所输入的监督信息类别相同Label = 1或类别不同Label = 0，使用余弦相似度使得输入的特征向量与其输入维度无关，在输入维度增长时，其余弦相似度计算所得也能够保持与低维度输入时相似的值，能够避免应输入图像过大，所输入特征数过多而导致计算得到的图像对的距离值过大问题，进而引起计算损失函数时的数据溢出问题。
接下来将得到的余弦距离与生成的监督信息Label输入到二分类交叉熵损失计算（Binary Cross Entropy Loss, BCE Loss）。
最后使用二值交叉熵损失和均方误差损失的加权和作为模型的总体损失函数，进行反向传播，对模型进行梯度更新。
（二）特征提取网络
如图4多尺度的卷积神经网络所示，本发明所采用的特征提取网络为多尺度的卷积神经网络，主要使用的卷积层为感受野相对较小的 5×5 卷积核和 3×3卷积核，每一个卷积层均包括批归一化操作（Batch Normalization, BN）和无偏卷积，池化层均使用 2×2的最大值池化，该种池化层通过选取局部的最大值，学习图像的边缘与纹理结构等特征，该种特征可以看作是在该个局部特征图谱中最重要的特征，能够在保留主要特征的同时减少参数和计算量，增强网络学习图像特征的能力，防止过拟合，被用于对图像进行下采样操作。
最大池化过程示意图如图5所示，以 2×2 最大池化，步长 stride=2 为例。通过对 2×2 池化模板内的各个元素比较，提取最大值，取得局部的主要特征。
批归一化操作过程如下，首先求得输入样本batch的均值。
对该批次 batch 中的样本，计算其方差：
其中
为上方步骤中求得的 batch 的均值。
第三步对 batch 中的每一个样本进行归一化，使其符合正态分布：
其中
和
分别为先前步骤中求得的batch的均值与方差，
为一绩效的大于0的值，能够防止止分母为 0 而导致程序计算时出现错误。
在以下所述的卷积操作中，每一步操作都将统一包含有对应参数和权重的卷积操作和批归一化操作，在使用批归一化操作对输入信息进行计算时，将会使用输入信息的均值与方差对参数进行修正归一化，以增强模型的泛化性能。
在将图像输入到该多尺度卷积神经网络前，首先会对图像进行裁剪，统一为100×100的灰度图像，输入到第一层卷积层，第一层卷积层设置为16个过滤器的5×5卷积，步长设置为2，并进行空白填充，再使用2×2的最大池化层对图像进行下采样，得到的特征图谱的维度信息为16×25×25，再通过1×1卷积对该层特征图谱的通道进行线性变换，得到128维的25×25的特征图谱，将其作为第一个尺度的网络输出；第二个尺度的卷积层选择32个过滤器的3×3卷积，步长设置为1，进行空白填充,2×2最大值池化后得到32×12×12的特征图谱，同样通过1×1卷积，得到128维12×12的特征图谱，作为第二个尺度的网络输出；第三个尺度的特征图谱使用了三个卷积层和一个池化层，首先通过64个过滤器的3×3卷积，步长设置为1，并进行空白填充，使用2×2最大池化后，再次通过128个过滤的3×3卷积和5×5卷积，得到的特征图谱维度信息为128×1×1，作为第三个尺度的特征图谱输出。
在将多个粒度尺寸的特征图谱进行级联前，将各粒度的特征图谱分别设置为128×625，128×144，128×1，然后以通道维度为基准进行级联，得到的特征图谱维度为128×770。
在将特征向量输入到余弦距离计算模块的同时，还需要将该特征向量输入自编码器中的解码器模块。
本网络中的自编码器模块中的编码器部分由特征提取网络部分构成，即多尺度的卷积网络，隐藏层即为特征向量部分，在将原始输入图像抽取图像特征后保存于特征向量中，实现数据降维和特征编码；解码器部分即为图6SAR图像小样本识别模型总体结构中的Decoder，与多尺度卷积网络、特征向量共同构成了本发明中提出的自编码器模块。自编码器是一种基于特征重构的无监督学习单元，在模型训练过程中重建输入图像，使用均方误差损失函数（Mean Squared Error Loss, MSE Loss）对模型进行梯度更新，能够增强模型训练中的特征，降低图像噪声的影响。
（三）自编码器
给定一个训练集
，自编码器将会对所输入的训练集进行一下操作：
其中f和g通常为由神经网络实现的编码器函数和解码器函数，
和
为编码器的权重矩阵和偏差向量，
和
为解码器的权重矩阵和偏差向量。
在自编码器的训练过程中，其损失函数通常通过以下表达式计算：
其中
。
在本文中提出所使用的自编码器是一种非对称的自编码器结构，其中的编码器结构为多尺度卷积神经网络，为卷积编码器；隐藏层为卷积编码器输出的特征向量，在此不再赘述。
本专利中的解码器部分主要采用了全连接层、校正线性单元激活函数ReLU和双曲正切激活函数Tanh，该解码器结构采用了与编码器部分不同的结构，因此是一种非对称的自编码器。解码器结构如图5非对称自编码器的解码器部分所示。
在解码器结构中，通过对输入的隐藏层的特征向量进行解码，逐层输入进全连接层，且解码器中的全连接层的参数量逐层递增，依次将输入的特征向量的特征数从m进行扩增到10000，并在其中使用ReLU激活函数和Tanh双曲正切激活函数加入非线性因素，在得到维度为10000的特征向量后将其重建为100×100的重建图像作为解码器的输出。ReLU激活函数表达式如下：
其中
为ReLU激活函数的输入，在本专利中指代输入到其中的特征图谱，类型为特征矩阵，其函数图像如图7所示。
Tanh激活函数表达式如下：
其中
为Tanh激活函数的输入，与ReLU激活函数相同，在本文中指代输入到其中的特征图谱，类型为特征矩阵。其函数图像如图8所示。
在特征学习的过程中，使用相对较深的模型，对图像进行特征抽取，输出高维数据的低维映射，由于隐藏层维数的限制，其仅能抽取最优特征优先输出，从而使模型结构能够学习到每一层的最优特征。
（四）损失函数计算
本算法使用的损失函数为加权损失函数，其表达式如下，
其中
和
分别表示输入到孪生网络中的样本图像，其形式为像素矩阵；
为生成的监督信息，若图像为同类别则为1，不同则为0；
为人为规定的权重超参数，用于指定均方误差损失即图像重建损失的权重占比；
为余弦距离，其表达式如下：
其中
为模型预测值，
为样本的监督信息。
其中
和
分别为原始图像和经过自编码器重建的重建图像，为像素矩阵；
和
分别为像素矩阵中的对应像素点的灰度值，
为像素矩阵的像素点个数；最后输出为自编码器的图像重建损失。
在输出加权后的损失函数后，对模型进行反向传播并使用ADAM自适应优化器进行梯度更新和模型优化。
（五）训练任务和测试任务的采样过程
在训练和测试时，模型将随机从训练集和测试集中随机抽取图像生成图像对，并对抽取的图像对进行组合，生成孪生网络所需要的格式输入，如“3 way -1 shot”任务将会抽取三组图像对，共计 6 幅图像，组成训练任务或测试任务，其中只有第一对图像对为来自同一类别的图像，其他两对图像均来自不同类别，生成标签格式为[1 00]。在对模型进行训练时，将使用该标签输入进 BCE 损失函数进行梯度下降；在使用训练完成的模型进行测试时，将会使用模型计算对所输入三组图像对进行相似度计算，判断其中相似度最高的图像对，若第一组图像对相似度最高，则模型预测准确，若其他组的图像对相似度最高，则模型预测错误。
本发明将孪生网络的机器学习框架应用SAR图像的目标识别任务，包括图像对采样、训练任务采样、测试任务采样；
使用自编码器和多尺度的特征提取网络来增强模型训练过程中的特征传播；
分类损失与重建损失结合的加权损失函数。
本发明使用孪生网络。在对图像输入进行训练及预测时，将使用随机选取的两幅图像组成图像对，输入进网络，可以在遇到需要向数据中添加新的类别或者删除类别时，不需要对模型进行重新训练，且在小样本任务中，其能够利用在初始样本集上习得的强大的区分性能力来将网络的预测能力进行推广，该种结构不仅适用于新数据，而且适用于来自未知分布的新类别。
自编码器。自编码器是一种人工神经网络，可用于对未标记数据进行编码，其通过从已生成的编码中重新生成输入来对编码器的效果进行验证和改进。在训练网络的过程中，利用所输入的样本X作为监督，指导网络模型训练习得一个映射关系，得到一个重构输出XR。自编码器的结构主要包含两个部分，编码器Encoder和解码器Decoder。编码器将高维度的输入X编码，得到低维度的隐变量h，该隐变量中将会包含最能够表示原始输入X的特征，使神经网络仅学习输入样本中信息量最高的特征；解码器将编码器编码得到的低维度隐变量h还原为初始输入的高维度，而不是完美地复制原始输入图像，丢弃原始样本中的无关信息，保留原始样本中数据最相关的部分，如图2自编码器结构所示。
多尺度的特征提取网络。本文所提出的体征提取网络为多尺度的卷积神经网络。
本发明的图像的特征提取网络可以使用残差网络ResNet、密集连接网络DenseNet等经典网络模型替代。
本发明的算法具有普适性和鲁棒性。算法可以满足在不同样本类别的SAR图像小样本识别任务需求。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于多尺度网络的SAR图像小样本目标识别方法，其特征在于，包括：
在模型的输入阶段将会随机选取两幅图像，并生成相应的图像对；若选取的图像对所属类别相同，则生成的对应监督信息Label = 1；若选取的图像对所属类别不相同，则生成的对应监督信息Label = 0；
将所选取的图像对输入到多尺度卷积网络，该网络结构共享权重参数，对图像进行特征提取，将原始的数据输入的维度进行特征提取后，进行全连接得到特征向量；
在得到对应维度特征向量后，使用余弦距离计算所输入图像的相似度；在输入的图像对相似程度较高的情况下，其计算余弦相似度的值接近于1，而在相似度较低的情况下其值接近于-1；对于所输入的监督信息类别相同Label = 1或类别不同Label = 0，使用余弦相似度使得输入的特征向量与其输入维度无关，在输入维度增长时，其余弦相似度计算所得也能够保持与低维度输入时相似的值；
得到的余弦距离与生成的监督信息Label输入到二分类交叉熵损失计算；
使用二值交叉熵损失和均方误差损失的加权和作为模型的总体损失函数，进行反向传播，对模型进行梯度更新。
2.根据权利要求1所述的基于多尺度网络的SAR图像小样本目标识别方法，其特征在于，所述特征提取网络包括：
使用卷积层为 5×5 卷积核和 3×3卷积核，每一个卷积层均包括批归一化操作和无偏卷积，池化层均使用 2×2 的最大值池化，该种池化层通过选取局部的最大值，学习图像的边缘与纹理结构等特征；
通过对 2×2 池化模板内的各个元素比较，提取最大值，取得局部的主要特征；
批归一化操作过程如下，首先求得输入样本batch的均值；
对该批次 batch 中的样本，计算其方差：
其中
为上方步骤中求得的 batch 的均值；
对 batch 中的每一个样本进行归一化，使其符合正态分布：
其中
和
分别为先前步骤中求得的batch的均值与方差，
为一绩效的大于0的值；
在以下的卷积操作中，每一步操作都将统一包含有对应参数和权重的卷积操作和批归一化操作，在使用批归一化操作对输入信息进行计算时，使用输入信息的均值与方差对参数进行修正归一化；
在将图像输入到该多尺度卷积神经网络前，首先会对图像进行裁剪，统一为100×100的灰度图像，输入到第一层卷积层，第一层卷积层设置为16个过滤器的5×5卷积，步长设置为2，并进行空白填充，再使用2×2的最大池化层对图像进行下采样，得到的特征图谱的维度信息为16×25×25，再通过1×1卷积对该层特征图谱的通道进行线性变换，得到128维的25×25的特征图谱，将其作为第一个尺度的网络输出；第二个尺度的卷积层选择32个过滤器的3×3卷积，步长设置为1，进行空白填充,2×2最大值池化后得到32×12×12的特征图谱，同样通过1×1卷积，得到128维12×12的特征图谱，作为第二个尺度的网络输出；第三个尺度的特征图谱使用了三个卷积层和一个池化层，首先通过64个过滤器的3×3卷积，步长设置为1，并进行空白填充，使用2×2最大池化后，再次通过128个过滤的3×3卷积和5×5卷积，得到的特征图谱维度信息为128×1×1，作为第三个尺度的特征图谱输出；
在将多个粒度尺寸的特征图谱进行级联前，将各粒度的特征图谱分别设置为128×625，128×144，128×1，然后以通道维度为基准进行级联，得到的特征图谱维度为128×770。
3.根据权利要求1所述的基于多尺度网络的SAR图像小样本目标识别方法，其特征在于，还包括将该经过多尺度卷积神经网络编码后的特征向量输入自编码器中的解码器模块，具体为：
给定一个训练集
，自编码器将会对所输入的训练集进行一下操作：
其中f和g通常为由神经网络实现的编码器函数和解码器函数，
和
为编码器的权重矩阵和偏差向量，
和
为解码器的权重矩阵和偏差向量；
损失函数为加权损失函数，其表达式如下，
其中
和
分别表示输入到孪生网络中的样本图像，其形式为像素矩阵；
为生成的监督信息，若图像为同类别则为1，不同则为0；
为人为规定的权重超参数，用于指定均方误差损失即图像重建损失的权重占比；
为余弦距离，其表达式如下：
其中
为模型预测值，
为样本的监督信息；
其中
和
分别为原始图像和经过自编码器重建的重建图像，为像素矩阵；
和
分别为像素矩阵中的对应像素点的灰度值，
为像素矩阵的像素点个数；最后输出为自编码器的图像重建损失；
在输出加权后的损失函数后，对模型进行反向传播并使用ADAM自适应优化器进行梯度更新和模型优化。
4.根据权利要求1所述的基于多尺度网络的SAR图像小样本目标识别方法，其特征在于，还包括在训练和测试时，模型将随机从训练集和测试集中随机抽取图像生成图像对，并对抽取的图像对进行组合，生成孪生网络所需要的格式输入；在对模型进行训练时，将使用该标签输入进 BCE 损失函数进行梯度下降；在使用训练完成的模型进行测试时，将会使用模型计算对所输入三组图像对进行相似度计算，判断其中相似度最高的图像对，若第一组图像对相似度最高，则模型预测准确，若其他组的图像对相似度最高，则模型预测错误。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211341986.XA CN115995040A (zh) | 2022-10-31 | 2022-10-31 | 一种基于多尺度网络的sar图像小样本目标识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211341986.XA CN115995040A (zh) | 2022-10-31 | 2022-10-31 | 一种基于多尺度网络的sar图像小样本目标识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115995040A true CN115995040A (zh) | 2023-04-21 |
Family
ID=85994421
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211341986.XA Pending CN115995040A (zh) | 2022-10-31 | 2022-10-31 | 一种基于多尺度网络的sar图像小样本目标识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115995040A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116509357A (zh) * | 2023-05-16 | 2023-08-01 | 长春理工大学 | 一种基于多尺度卷积的连续血压估计方法 |
| CN117036962A (zh) * | 2023-10-08 | 2023-11-10 | 中国科学院空天信息创新研究院 | 遥感图像变化检测方法、装置、设备及存储介质 |
| CN117611856A (zh) * | 2023-10-12 | 2024-02-27 | 中国科学院声学研究所 | 合成孔径声纳图像感兴趣小目标回波数据聚类分析方法 |
-
2022
- 2022-10-31 CN CN202211341986.XA patent/CN115995040A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116509357A (zh) * | 2023-05-16 | 2023-08-01 | 长春理工大学 | 一种基于多尺度卷积的连续血压估计方法 |
| CN117036962A (zh) * | 2023-10-08 | 2023-11-10 | 中国科学院空天信息创新研究院 | 遥感图像变化检测方法、装置、设备及存储介质 |
| CN117036962B (zh) * | 2023-10-08 | 2024-02-06 | 中国科学院空天信息创新研究院 | 遥感图像变化检测方法、装置、设备及存储介质 |
| CN117611856A (zh) * | 2023-10-12 | 2024-02-27 | 中国科学院声学研究所 | 合成孔径声纳图像感兴趣小目标回波数据聚类分析方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110689086B (zh) | 基于生成式对抗网络的半监督高分遥感图像场景分类方法 | |
| CN110443143B (zh) | 多分支卷积神经网络融合的遥感图像场景分类方法 | |
| CN111950649B (zh) | 基于注意力机制与胶囊网络的低照度图像分类方法 | |
| CN109145979B (zh) | 敏感图像鉴定方法及终端系统 | |
| CN107316307B (zh) | 一种基于深度卷积神经网络的中医舌图像自动分割方法 | |
| CN107316294B (zh) | 一种基于改进的深度玻尔兹曼机肺结节特征提取方法 | |
| CN110232341B (zh) | 基于卷积-堆叠降噪编码网络的半监督学习图像识别方法 | |
| Venugopal | Automatic semantic segmentation with DeepLab dilated learning network for change detection in remote sensing images | |
| Liu et al. | Deep multigrained cascade forest for hyperspectral image classification | |
| CN115995040A (zh) | 一种基于多尺度网络的sar图像小样本目标识别方法 | |
| CN102855633B (zh) | 一种具有抗噪性的快速模糊聚类数字图像分割方法 | |
| CN111191583A (zh) | 基于卷积神经网络的空间目标识别系统及方法 | |
| CN110060273B (zh) | 基于深度神经网络的遥感影像滑坡测图方法 | |
| CN113469236A (zh) | 一种自我标签学习的深度聚类图像识别系统及方法 | |
| CN105184298A (zh) | 一种快速局部约束低秩编码的图像分类方法 | |
| CN109801305B (zh) | 基于深度胶囊网络的sar图像变化检测方法 | |
| CN112950780A (zh) | 一种基于遥感影像的网络地图智能生成方法及系统 | |
| CN111079514A (zh) | 一种基于clbp和卷积神经网络的人脸识别方法 | |
| CN116844217B (zh) | 用于生成人脸数据的图像处理系统及方法 | |
| CN109657704B (zh) | 一种基于稀疏融合的核化场景特征提取方法 | |
| CN116188880B (zh) | 基于遥感影像和模糊识别的耕地分类的方法及其系统 | |
| CN115527072A (zh) | 一种基于稀疏空间感知与元学习的芯片表面缺陷检测方法 | |
| CN117196963A (zh) | 一种基于降噪自编码器的点云去噪方法 | |
| CN113989256A (zh) | 遥感图像建筑物的检测模型优化方法及检测方法、装置 | |
| Bhavani et al. | Robust 3D face recognition in unconstrained environment using distance based ternary search siamese network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |