CN113655479A - 基于可变形卷积和双注意力的小样本sar目标分类方法 - Google Patents
基于可变形卷积和双注意力的小样本sar目标分类方法 Download PDFInfo
- Publication number
- CN113655479A CN113655479A CN202110938580.9A CN202110938580A CN113655479A CN 113655479 A CN113655479 A CN 113655479A CN 202110938580 A CN202110938580 A CN 202110938580A CN 113655479 A CN113655479 A CN 113655479A
- Authority
- CN
- China
- Prior art keywords
- test
- module
- sar
- feature
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012360 testing method Methods 0.000 claims abstract description 188
- 239000013598 vector Substances 0.000 claims abstract description 150
- 238000012549 training Methods 0.000 claims abstract description 75
- 230000007246 mechanism Effects 0.000 claims abstract description 40
- 238000000605 extraction Methods 0.000 claims abstract description 36
- 230000004927 fusion Effects 0.000 claims description 35
- 239000011159 matrix material Substances 0.000 claims description 28
- 238000013528 artificial neural network Methods 0.000 claims description 20
- 238000010606 normalization Methods 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 210000002569 neuron Anatomy 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 101150049349 setA gene Proteins 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000004088 simulation Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000013535 sea water Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
- G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Remote Sensing (AREA)
- Data Mining & Analysis (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Probability & Statistics with Applications (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Image Analysis (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
Description
技术领域
本发明属于雷达图像处理技术领域,涉及一种SAR目标分类方法,具体涉及一种基于可变形卷积和双注意力的小样本SAR目标分类方法,可用于获取SAR图像数量较少情况下的SAR目标分类。
背景技术
合成孔径雷达(Synthetic Aperture Radar,SAR)是一种先进的主动式微波对地观测设备,具有全天候、全天时、高分辨率和不受光线影响等优点,因此,广泛应用于目标检测、城市规划、海水监测及灾害方面的应急与救灾等领域。
SAR目标分类,是一种根据不同类别的目标各自在图像信息中所反映的不同特征,把不同类别的目标区分开来的图像处理方法。SAR目标分类可基于色彩、纹理、形状、空间关系等图像特征对目标进行分类。SAR目标分类方法可分为基于传统的分类方法和基于深度学习的分类方法。基于传统的SAR目标分类方法是基于色彩、纹理、形状、空间关系等图像特征对图像目标进行分类。通常采用人工选取特征、设计分类器,然而这往往需要依据大量的经验和较强的专业知识来针对特定目标设定特定算法,耗时长且难以推广,同时无法获得较好的分类精度。近年来随着深度学习的发展,涌现出了许多VGG、ResNet、DenseNet等一系列强大的卷积神经网络,可对SAR目标自动提取更加稳健的特征,从而取得较好的分类结果,得到了研究人员的广泛应用。
但是,SAR所观测的一些目标为非合作的小样本SAR目标,即所能获取的SAR图像数量较少,而基于深度学习的SAR目标分类方法通常需要大量的训练样本来训练模型以在测试样本上获得高的分类准确率,对于小样本SAR目标,这些基于深度学习的SAR目标分类方法会由于训练样本的不足出现分类准确率低的问题。
为了解决这个问题,现有技术通过改进模型结构,设计对样本数量要求较低的特殊模型来提高小样本SAR目标的分类准确率。例如申请公布号为CN113095416A,名称为“基于混合损失与图注意力的小样本SAR目标分类方法”的专利申请,公开了一种基于混合损失与图注意力的小样本SAR目标分类方法,该方法通过训练任务集的分类损失值l-C和训练任务集的嵌入损失值l-E的加权和组成训练任务集的混合损失值l,对嵌入网络模块E中所有第一卷积层和第二卷积层的参数、图注意力网络模块G中所有第一全连接层和第二全连接层的参数进行更新,增强了同种SAR目标类别的特征之间的相似性和不同SAR目标类别的特征之间的差异性,且通过数据增强有效降低了模型训练过程中过拟合的风险,提高了小样本SAR目标的分类精度。但是该方法仍未充分提取SAR目标的有效特征和细粒度特征,即提取的特征不稳健,导致对SAR目标分类的精度依然较低。
发明内容
本发明的目的在于克服上述现有技术存在的缺陷,提出了一种基于可变形卷积和双注意力的小样本SAR目标分类方法,用于解决现有技术中存在的因目标的有效特征和细粒度特征提取不充分导致的分类准确率较低的技术问题。
为实现上述目的,本发明采取的技术方案包括如下步骤:
(1a)获取包含C个不同目标类别共U幅大小为h×h的合成孔径雷达SAR图像,每个目标类别对应M幅SAR图像,其中C≥10,M≥200,64≤h≤2560,U≥2000;
(1b)对每幅SAR图像中的目标类别进行标记,并随机选取Ctrain个目标类别对应的Ctrain×M幅SAR图像及其标签组成训练数据集将其余的Ctest个目标类别对应的Ctest×M幅SAR图像及其标签组成测试数据集其中Ctrain+Ctest=C,∩表示交集,Ctrain>C/2,Ctrain×M+Ctest×M=U;
(1c)对从训练数据集中随机选取的包含Ctest个目标类别的z=Ctest×M幅SAR图像中的每幅SAR图像的标签进行one-hot编码,得到对应的标签向量集合,并选取该标签向量集合中z1=Ctest×K个标签向量及其对应的SAR图像组成训练支撑样本集将其余z2=Ctest(M-K)个标签向量及其对应的SAR图像组成训练查询样本集然后将与每个训练查询样本进行组合,得到训练任务集其中,表示由SAR图像及其对应的标签向量组成的第a个训练支撑样本,表示由SAR图像及其对应的标签向量组成的第b个训练查询样本,1≤K≤10,表示第b个训练任务,
(1d)对从测试数据集中随机选取的包含Ctest个目标类别的z=Ctest×M幅SAR图像中的每幅SAR图像的标签进行one-hot编码,得到对应的标签向量集合,并选取该标签向量集合中z1=Ctest×K个标签向量及其对应的SAR图像组成测试支撑样本集将其余z2=Ctest(M-K)个标签向量及其对应的SAR图像组成测试查询样本集然后将与每个测试查询样本进行组合,得到测试任务集其中,表示由SAR图像及其对应的标签向量组成的第e测试支撑样本,表示由SAR图像及其对应的标签向量组成的第g个测试查询样本,表示第g个测试任务,
(2)构建基于可变形卷积和双注意力的网络模型H:
构建包含顺次级联的基于可变形卷积网络的特征提取模块D、并形排布的自注意力机制模块E1和互注意力机制模块E2、特征融合模块E3、拼接模块E4、图神经网络模块G的小样本SAR目标分类网络模型H,其中,特征提取模块D包括级联的卷积模块D1和多个可变形卷积模块D2;自注意力机制模块E1和互注意力机制模块E2均包括多个卷积模块D1、多个reshape模块R1、多个矩阵相乘模块R2,矩阵求和模块R3,E1还包括自注意力关系模块D3,E2还包括互注意力关系模块D4;图神经网络模块G包括相间排列的多个邻接矩阵更新模块G1和图卷积模块G2;
(3)对基于可变形卷积和双注意力的小样本SAR目标分类网络模型H进行迭代训练:
(3a)初始化迭代次数为n,最大迭代次数为N,N≥1000,第n次迭代的SAR目标分类网络模型为Hn,并令n=0,H=Hn;
(3d)特征融合模块E3对自相关特征向量组集合Fs和互相关特征向量组集合Fc对应位置向量进行特征融合,得到融合特征向量组集Fsc;拼接模块E4对特征向量组Fsc中每个特征向量与对应SAR图像的标签向量进行拼接,得到向量组集Fsc';
(3e)将Fsc'作为图神经网络模块G的顶点特征,图神经网络模块G的最后一层softmax将顶点特征映射到K分类预测,最终得到K个特征,每个特征代表每个类的概率,概率最大的即为预测的类别,由此得到预测标签集合y={y1,y2,...,ym,...,yM},其中,M≥5,ym表示第m个训练样本对应的预测标签;
(3g)判断n≥N是否成立,若是,得到训练好的小样本SAR目标分类网络模型H′,否则,令n=n+1,并执行步骤(3b);
(4)获取小样本SAR目标的目标分类结果:
本发明与现有的技术相比具有以下优点:
本发明所构建的目标分类网络模型包含有基于可变形卷积网络的特征提取模块,以及并形排布的自注意力机制模块和互注意力机制模块,在对该目标分类网络模型进行训练以及获取小样本SAR图像的目标分类结果的过程中,特征提取模块中的可变形卷积网络能够对所有SAR图像提取更多有效的特征,且可过滤掉无关的特征,自注意力机制模块和互注意力机制模块能够提取到每个特征向量组的细粒度自相关特征和互相关特征,避免了现有技术中因目标的有效特征和细粒度特征提取不充分对分类精度的影响,仿真结果表明,本发明有效地提高了分类准确率。
附图说明
图1是本发明的实现流程图。
图2是本发明对基于可变形卷积与双注意力的网络模型H进行迭代训练的实现流程图。
图3是本发明获取小样本SAR图像的目标分类结果的实现流程图。
具体实施方式
以下结合附图和具体实施例,对本发明作进一步详细描述。
参照图1,本发明包括如下步骤:
(1a)获取包含C个不同目标类别共U幅大小为h×h的合成孔径雷达SAR图像,每个目标类别对应M幅SAR图像,其中C≥10,M≥200,h=600,U≥2000;
(1b)对每幅SAR图像中的目标类别进行标记,并随机选取Ctrain个目标类别对应的Ctrain×M幅SAR图像及其标签组成训练数据集将其余的Ctest个目标类别对应的Ctest×M幅SAR图像及其标签组成测试数据集其中Ctrain+Ctest=C,∩表示交集,Ctrain>C/2,Ctrain×M+Ctest×M=U;
(1c)对从训练数据集中随机选取的包含Ctest个目标类别的z=Ctest×M幅SAR图像中的每幅SAR图像的标签进行one-hot编码,得到对应的标签向量集合,并选取该标签向量集合中z1=Ctest×K个标签向量及其对应的SAR图像组成训练支撑样本集将其余z2=Ctest(M-K)个标签向量及其对应的SAR图像组成训练查询样本集然后将与每个训练查询样本进行组合,得到训练任务集其中,表示由SAR图像及其对应的标签向量组成的第a个训练支撑样本,表示由SAR图像及其对应的标签向量组成的第b个训练查询样本,1≤K≤10,表示第b个训练任务,
(1d)对从测试数据集中随机选取的包含Ctest个目标类别的z=Ctest×M幅SAR图像中的每幅SAR图像的标签进行one-hot编码,得到对应的标签向量集合,并选取该标签向量集合中z1=Ctest×K个标签向量及其对应的SAR图像组成测试支撑样本集将其余z2=Ctest(M-K)个标签向量及其对应的SAR图像组成测试查询样本集然后将与每个测试查询样本进行组合,得到测试任务集其中,表示由SAR图像及其对应的标签向量组成的第e测试支撑样本,表示由SAR图像及其对应的标签向量组成的第g个测试查询样本,表示第g个测试任务,
步骤2)构建基于可变形卷积和双注意力的小样本SAR目标分类网络模型H:
构建包含顺次级联的基于可变形卷积网络的特征提取模块D、并形排布的自注意力机制模块E1和互注意力机制模块E2、特征融合模块E3、拼接模块E4、图神经网络模块G的小样本SAR目标分类网络模型H,其中,特征提取模块D包括级联的卷积模块D1和多个可变形卷积模块D2;自注意力机制模块E1和互注意力机制模块E2均包括多个卷积模块D1、多个reshape模块R1、多个矩阵相乘模块R2,矩阵求和模块R3,E1还包括自注意力关系模块D3,E2还包括互注意力关系模块D4;图神经网络模块G包括相间排列的多个邻接矩阵更新模块G1和图卷积模块G2;
特征提取模块D中的卷积模块D1包含依次层叠的卷积核个数为64的第一卷积层、批量归一化层、Leaky Relu激活层和最大池化层;可变形卷积模块D2包含依次层叠的卷积核个数均为128的三个可变形卷积层、批量归一化层、Leaky Relu激活层和最大池化层,第一卷积层和可变形卷积层的卷积核大小均为3×3,步长和填充均为1,最大池化层的池化核大小均为2×2,步长均为2;
自注意力机制模块E1和互注意力机制模块E2包括的卷积模块D1、reshape模块R1及矩阵相乘模块R2的数量分别为4、4,4、2,2、2,其中,E1中矩阵求和模块R3的数量为1,E2中余弦相似度模块R4的数量为1,E1和E2中所有的卷积核大小均为1×1,步长和填充均为1;
自注意力机制模块E1的具体结构为顺次级联的并形排布的自注意力关系模块D3和卷积模块D1、矩阵相乘模块R2、Reshape模块R1、卷积模块D1、矩阵求和模块R3,其中,自注意力关系模块D3包含顺次级联的并形排布的两个卷积模块D1和Reshape模块R1、矩阵相乘模块R2;
该互注意力机制模块E2的具体结构为互注意力关系模块D4、并形排布的两个矩阵相乘模块R2、并形排布的两个卷积模块D1,其中,互注意力关系模块D4包含顺次级联的并行排布的两个卷积模块D1、余弦相似度模块R4;
图神经网络模块G包括两个相间排列的邻接矩阵更新模块G1和图卷积模块G2;邻接矩阵更新模块G1包括顺次级联的绝对值求解模块R5、第一全连接模块F1、第二全连接模块F2、第三全连接模块F3、第四全连接模块F4、第五全连接模块F5,其中,第一、二、三、四全连接层模块均包含顺次连接的全连接层、批量归一化层、Leaky Relu层,第一、二全连接层模块中的全连接层的神经元个数为128,第三、四全连接层模块中的全连接层的神经元个数为64,第五全连接模块包含一个全连接层,神经元个数为1;图卷积模块G2包含顺次连接的图卷积模块D5、批量归一化层、Leaky Relu、softmax层。
步骤3)对基于可变形卷积和双注意力的小样本SAR目标分类网络模型H进行迭代训练,实现步骤如图2所示:
(3a)初始化迭代次数为n,最大迭代次数为N,N≥1000,第n次迭代的SAR目标分类网络模型为Hn,并令n=0,H=Hn;
(3d)特征融合模块E3对自相关特征向量组集合Fs和互相关特征向量组集合Fc对应位置向量进行特征融合,得到融合特征向量组集Fsc;拼接模块E4对特征向量组Fsc中每个特征向量与对应SAR图像的标签向量进行拼接得到向量组集Fsc';
(3e)将Fsc'作为图神经网络模块G的顶点特征,图神经网络模块G的最后一层softmax将顶点特征映射到K分类预测,最终得到K个特征,每个特征代表每个类的概率,概率最大的即为预测的类别,由此得到预测标签集合y={y1,y2,...,ym,...,yM},其中,M≥5,ym表示第m个训练样本对应的预测标签;
(3f)采用交叉熵损失函数,并通过每个预测标签ym和其对应的真实标签计算Hn的损失值Ls,然后求取Ls对权值参数ωs的偏导再采用梯度下降法,通过将在Hn中进行反向传播的方式对权值参数ωs进行更新,计算、更新过程分别为:
交叉熵损失函数可表示如下:
其中,z2=Ctest(M-K),z3=CtestK+1,表示训练任务对应的训练融合特征向量组,满足a≠CtestK+1的表示训练支撑样本对应的训练特征融合向量,表示训练查询样本对应的训练特征融合向量,log(·)表示以自然常数e为底的对数,exp(·)表示以自然常数e为底的指数,∑表示连续求和,表示对训练任务中的训练支撑样本集包括的第c个目标类别的每幅SAR图像对应的每个训练特征融合向量求均值得到的第c个目标类别的类中心,表示和训练任务中的训练查询样本包含的SAR图像中的目标属于同一个目标类别的类中心,d表示度量函数,d(p,q)=||p-q||2。
(3g)判断n≥N是否成立,若是,得到训练好的小样本SAR目标分类网络模型H′,否则,令n=n+1,并执行步骤(3b);
步骤4)获取小样本SAR图像的目标分类结果,实现步骤如图3所示:
其中,z2=Ctest(M-K),z3=CtestK+1,分别表示测试任务对应的自相关特征向量组、互相关特征向量组,满足e≠CtestK+1的表示测试支撑样本对应的测试特征向量,测试自相关特征向量、测试互相关特征向量,表示测试查询样本对应的测试自相关特征向量、测试互相关特征向量;
其中,z2=Ctest(M-K),z3=CtestK+1,表示测试任务对应的融合特征向量组,满足e≠CtestK+1的表示测试支撑样本对应的测试互相关特征向量,表示测试查询样本对应的测试融合特征向量;
(4d)构造一个元素全为0虚拟标签向量并对每个融合特征向量组中满足e≠CtestK+1的每个测试融合向量与对应的SAR图像的标签向量通过拼接模块E4进行拼接,同时对每个测试融合向量组中的测试融合向量与虚拟标签向量也通过拼接模块E4进行拼接得到特征组集合
(4f)对特征组中对应的测试查询样本包括的SAR图像中的目标进行类别预测,得到测试预测结果向量集合其中,z2=Ctest(M-K),每个测试预测结果向量中最大值对应的维数号即为对应的测试查询样本包括的SAR图像中目标的预测类别,其中,表示测试节点1层特征z3=CtestK+1对应的维数为Ctest的测试预测结果向量,第c维的元素值表示测试节点1层特征对应的测试查询样本包括的SAR图像中的目标属于第c个目标类别的概率。
下面结合仿真实验,对本发明的技术效果作进一步的说明:
1.仿真实验条件和内容:
仿真实验的硬件平台为:GPU为NVIDIA GeForce RTX 1650,软件平台为:操作系统为Ubuntu18.04。仿真实验的数据集为公开的AID数据集,其中,C=30,类别为BareLand、Beach、Desert、Meadow、Mountain、Parking、Port、RailwayStation、School、StorageTanks、Airport、BaseballField、Bridge、Center、Church、Commercial、DenseResidential、Farmland、Forest、Industrial、MediumResidential、Park、Playground、Pond、Resort、River、SparseResidential、Square、Stadium、Viaduct。每类目标的SAR图像为290幅,即M=290。
为了和现有的基于混合损失与图注意力的小样本SAR目标分类方法对比小样本SAR目标分类准确率,从AID数据集中选取个20目标类别的总共5800幅SAR图像及每幅SAR图像的标签作为训练样本集,即Ctrain=20,类别分别为,Airport、BaseballField、Bridge、Center、Church、Commercial、DenseResidential、Farmland、Forest、Industrial、MediumResidential、Park、Playground、Pond、Resort、River、SparseResidential、Square、Stadium、Viaduct;选取剩余10个目标类别的总共2900幅SAR图像及每幅SAR图像的标签作为测试样本集,Ctest=10,类别分别为,BareLand、Beach、Desert、Meadow、Mountain、Parking、Port、RailwayStation、School、StorageTanks。同时,每个训练/测试任务中每个目标类别采样的训练/测试支撑样本数量K=10,训练/测试查询样本数量M-K=280。训练样本集和测试样本集的中的目标类别划分及每类目标的SAR图像数量如表1所示:
对本发明和现有的基于混合损失与图注意力的小样本SAR目标分类方法,也即对比算法,在5-way 1-shot、5-way 5-shot两种模式下的平均准确率进行仿真对比,其结果如表1所示:
表1
N-way K-shot | 5-way 1-shot | 5-way 5-shot |
对比算法 | 54.23%±0.13 | 66.39%±0.23 |
本发明 | 59.84%±0.09 | 73.41%±0.14 |
从表1中可以看出,本发明与对比算法而言,在5-way 1-shot和5-way 5-shot两种模式下平均准确率分别提高了5.61%、7.02%。
Claims (4)
1.一种基于可变形卷积和双注意力的小样本SAR目标分类方法,其特征在于,包括如下步骤:
(1a)获取包含C个不同目标类别共U幅大小为h×h的合成孔径雷达SAR图像,每个目标类别对应M幅SAR图像,其中C≥10,M≥200,64≤h≤2560,U≥2000;
(1b)对每幅SAR图像中的目标类别进行标记,并随机选取Ctrain个目标类别对应的Ctrain×M幅SAR图像及其标签组成训练数据集将其余的Ctest个目标类别对应的Ctest×M幅SAR图像及其标签组成测试数据集其中Ctrain+Ctest=C,∩表示交集,Ctrain>C/2,Ctrain×M+Ctest×M=U;
(1c)对从训练数据集中随机选取的包含Ctest个目标类别的z=Ctest×M幅SAR图像中的每幅SAR图像的标签进行one-hot编码,得到对应的标签向量集合,并选取该标签向量集合中z1=Ctest×K个标签向量及其对应的SAR图像组成训练支撑样本集将其余z2=Ctest(M-K)个标签向量及其对应的SAR图像组成训练查询样本集然后将与每个训练查询样本进行组合,得到训练任务集其中,表示由SAR图像及其对应的标签向量组成的第a个训练支撑样本,表示由SAR图像及其对应的标签向量组成的第b个训练查询样本,1≤K≤10,表示第b个训练任务,
(1d)对从测试数据集中随机选取的包含Ctest个目标类别的z=Ctest×M幅SAR图像中的每幅SAR图像的标签进行one-hot编码,得到对应的标签向量集合,并选取该标签向量集合中z1=Ctest×K个标签向量及其对应的SAR图像组成测试支撑样本集将其余z2=Ctest(M-K)个标签向量及其对应的SAR图像组成测试查询样本集然后将与每个测试查询样本进行组合,得到测试任务集其中,表示由SAR图像及其对应的标签向量组成的第e测试支撑样本,表示由SAR图像及其对应的标签向量组成的第g个测试查询样本,表示第g个测试任务,
(2)构建基于可变形卷积和双注意力的网络模型H:
构建包含顺次级联的基于可变形卷积网络的特征提取模块D、并形排布的自注意力机制模块E1和互注意力机制模块E2、特征融合模块E3、拼接模块E4、图神经网络模块G的小样本SAR目标分类网络模型H,其中,特征提取模块D包括级联的卷积模块D1和多个可变形卷积模块D2;自注意力机制模块E1和互注意力机制模块E2均包括多个卷积模块D1、多个reshape模块R1、多个矩阵相乘模块R2,矩阵求和模块R3,E1还包括自注意力关系模块D3,E2还包括互注意力关系模块D4;图神经网络模块G包括相间排列的多个邻接矩阵更新模块G1和图卷积模块G2;
(3)对基于可变形卷积和双注意力的小样本SAR目标分类网络模型H进行迭代训练:
(3a)初始化迭代次数为n,最大迭代次数为N,N≥1000,第n次迭代的SAR目标分类网络模型为Hn,并令n=0,H=Hn;
(3c)自注意力机制模块E1、互注意力机制模块E2对FT中每个特征向量组进行自相关特征提取、互相关特征提取,得到自相关特征向量组集合Fs和互相关特征向量组集合Fc;
(3d)特征融合模块E3对自相关特征向量组集合Fs和互相关特征向量组集合Fc对应位置向量进行特征融合,得到融合特征向量组集Fsc;拼接模块E4对特征向量组Fsc中每个特征向量与对应SAR图像的标签向量进行拼接,得到向量组集合Fsc';
(3e)将Fsc'作为图神经网络模块G的顶点特征,图神经网络模块G的最后一层softmax将顶点特征映射到K分类预测,最终得到K个特征,每个特征代表每个类的概率,概率最大的即为预测的类别,由此得到预测标签集合y={y1,y2,...,ym,...,yM},其中,M≥5,ym表示第m个训练样本对应的预测标签;
(3g)判断n≥N是否成立,若是,得到训练好的小样本SAR目标分类网络模型H′,否则,令n=n+1,并执行步骤(3b);
(4)获取小样本SAR目标的目标分类结果:
2.根据权利要求1所述的基于可变形卷积和双注意力的小样本SAR目标分类方法,其特征在于,步骤(2)中所述的基于可变形卷积和双注意力的SAR目标分类网络模型H,其中:构建包含顺次级联的基于可变形卷积网络的特征提取模块D、并形排布的自注意力机制模块E1和互注意力机制模块E2、特征融合模块E3、拼接模块E4、图神经网络模块G的小样本SAR目标分类网络模型H,其中,特征提取模块D包括级联的卷积模块D1和多个可变形卷积模块D2;自注意力机制模块E1和互注意力机制模块E2均包括多个卷积模块D1、多个reshape模块R1、多个矩阵相乘模块R2,矩阵求和模块R3,E1还包括自注意力关系模块D3,E2还包括互注意力关系模块D4;图神经网络模块G包括相间排列的多个邻接矩阵更新模块G1和图卷积模块G2;
特征提取模块D中的卷积模块D1包含依次层叠的卷积核个数为64的第一卷积层、批量归一化层、Leaky Relu激活层和最大池化层;可变形卷积模块D2包含依次层叠的卷积核个数均为128的三个可变形卷积层、批量归一化层、Leaky Relu激活层和最大池化层,第一卷积层和可变形卷积层的卷积核大小均为3×3,步长和填充均为1,最大池化层的池化核大小均为2×2,步长均为2;
自注意力机制模块E1和互注意力机制模块E2包括的卷积模块D1、reshape模块R1及矩阵相乘模块R2的数量分别为4、4,4、2,2、2,其中,E1中矩阵求和模块R3的数量为1,E2中余弦相似度模块R4的数量为1,E1和E2中所有的卷积核大小均为1×1,步长和填充均为1;
自注意力机制模块E1的具体结构为顺次级联的并形排布的自注意力关系模块D3和卷积模块D1、矩阵相乘模块R2、Reshape模块R1、卷积模块D1、矩阵求和模块R3,其中,自注意力关系模块D3包含顺次级联的并形排布的两个卷积模块D1和Reshape模块R1、矩阵相乘模块R2;
该互注意力机制模块E2的具体结构为互注意力关系模块D4、并形排布的两个矩阵相乘模块R2、并形排布的两个卷积模块D1,其中,互注意力关系模块D4包含顺次级联的并行排布的两个卷积模块D1、余弦相似度模块R4;
图神经网络模块G包括两个相间排列的邻接矩阵更新模块G1和图卷积模块G2;邻接矩阵更新模块G1包括顺次级联的绝对值求解模块R5、第一全连接模块F1、第二全连接模块F2、第三全连接模块F3、第四全连接模块F4、第五全连接模块F5,其中,第一、二、三、四全连接层模块均包含顺次连接的全连接层、批量归一化层、Leaky Relu层,第一、二全连接层模块中的全连接层的神经元个数为128,第三、四全连接层模块中的全连接层的神经元个数为64,第五全连接模块包含一个全连接层,神经元个数为1;图卷积模块G2包含顺次连接的图卷积模块D5、批量归一化层、Leaky Relu、softmax层。
3.根据权利要求1所述的基于可变形卷积和双注意力的小样本SAR目标分类方法,其特征在于,步骤(3e)中所述的计算Hs的损失值Ls、对权值参数ωs进行更新,计算、更新过程分别为:
交叉熵损失函数可表示如下:
4.根据权利要求1所述的基于可变形卷积和双注意力的小样本SAR目标分类方法,其特征在于,步骤(4)中所述的将测试任务集作为训练好的基于可变形卷积和双注意力的小样本SAR目标分类网络模型H′的输入进行前向传播,实现步骤为:
其中,z2=Ctest(M-K),z3=CtestK+1,分别表示测试任务对应的自相关特征向量组、互相关特征向量组,满足e≠CtestK+1的表示测试支撑样本对应的测试特征向量,测试自相关特征向量、测试互相关特征向量,表示测试查询样本对应的测试自相关特征向量、测试互相关特征向量;
其中,z2=Ctest(M-K),z3=CtestK+1,表示测试任务对应的融合特征向量组,满足e≠CtestK+1的表示测试支撑样本对应的测试互相关特征向量,表示测试查询样本对应的测试融合特征向量;
(4d)构造一个元素全为0虚拟标签向量并对每个融合特征向量组中满足e≠CtestK+1的每个测试融合向量与对应的SAR图像的标签向量通过拼接模块E4进行拼接,同时对每个测试融合向量组中的测试融合向量与虚拟标签向量也通过拼接模块E4进行拼接得到特征组集合
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110938580.9A CN113655479B (zh) | 2021-08-16 | 2021-08-16 | 基于可变形卷积和双注意力的小样本sar目标分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110938580.9A CN113655479B (zh) | 2021-08-16 | 2021-08-16 | 基于可变形卷积和双注意力的小样本sar目标分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113655479A true CN113655479A (zh) | 2021-11-16 |
CN113655479B CN113655479B (zh) | 2023-07-07 |
Family
ID=78491167
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110938580.9A Active CN113655479B (zh) | 2021-08-16 | 2021-08-16 | 基于可变形卷积和双注意力的小样本sar目标分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113655479B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114219960A (zh) * | 2021-12-16 | 2022-03-22 | 哈尔滨工业大学 | 基于多学习器优化的XGBoost的小样本条件下空间目标ISAR图像分类方法 |
CN114549534A (zh) * | 2022-01-17 | 2022-05-27 | 中国矿业大学(北京) | 矿区土地利用识别方法、装置、设备、介质及产品 |
CN114943859A (zh) * | 2022-05-05 | 2022-08-26 | 兰州理工大学 | 面向小样本图像分类的任务相关度量学习方法及装置 |
WO2023138188A1 (zh) * | 2022-01-24 | 2023-07-27 | 腾讯科技(深圳)有限公司 | 特征融合模型训练及样本检索方法、装置和计算机设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112052762A (zh) * | 2020-08-27 | 2020-12-08 | 西安电子科技大学 | 基于高斯原型的小样本isar图像目标识别方法 |
AU2020103901A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field |
CN112990334A (zh) * | 2021-03-29 | 2021-06-18 | 西安电子科技大学 | 基于改进原型网络的小样本sar图像目标识别方法 |
CN113095416A (zh) * | 2021-04-16 | 2021-07-09 | 西安电子科技大学 | 基于混合损失与图注意力的小样本sar目标分类方法 |
-
2021
- 2021-08-16 CN CN202110938580.9A patent/CN113655479B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112052762A (zh) * | 2020-08-27 | 2020-12-08 | 西安电子科技大学 | 基于高斯原型的小样本isar图像目标识别方法 |
AU2020103901A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field |
CN112990334A (zh) * | 2021-03-29 | 2021-06-18 | 西安电子科技大学 | 基于改进原型网络的小样本sar图像目标识别方法 |
CN113095416A (zh) * | 2021-04-16 | 2021-07-09 | 西安电子科技大学 | 基于混合损失与图注意力的小样本sar目标分类方法 |
Non-Patent Citations (1)
Title |
---|
汪荣贵;韩梦雅;杨娟;薛丽霞;胡敏;: "多级注意力特征网络的小样本学习", 电子与信息学报, no. 03 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114219960A (zh) * | 2021-12-16 | 2022-03-22 | 哈尔滨工业大学 | 基于多学习器优化的XGBoost的小样本条件下空间目标ISAR图像分类方法 |
CN114549534A (zh) * | 2022-01-17 | 2022-05-27 | 中国矿业大学(北京) | 矿区土地利用识别方法、装置、设备、介质及产品 |
CN114549534B (zh) * | 2022-01-17 | 2022-11-15 | 中国矿业大学(北京) | 矿区土地利用识别方法、装置、设备及介质 |
WO2023138188A1 (zh) * | 2022-01-24 | 2023-07-27 | 腾讯科技(深圳)有限公司 | 特征融合模型训练及样本检索方法、装置和计算机设备 |
CN114943859A (zh) * | 2022-05-05 | 2022-08-26 | 兰州理工大学 | 面向小样本图像分类的任务相关度量学习方法及装置 |
CN114943859B (zh) * | 2022-05-05 | 2023-06-20 | 兰州理工大学 | 面向小样本图像分类的任务相关度量学习方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113655479B (zh) | 2023-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113655479B (zh) | 基于可变形卷积和双注意力的小样本sar目标分类方法 | |
CN110136170B (zh) | 一种基于卷积神经网络的遥感影像建筑物变化检测方法 | |
CN110660052B (zh) | 一种基于深度学习的热轧带钢表面缺陷检测方法 | |
CN110321963B (zh) | 基于融合多尺度多维空谱特征的高光谱图像分类方法 | |
CN110136154B (zh) | 基于全卷积网络与形态学处理的遥感图像语义分割方法 | |
CN108985238B (zh) | 联合深度学习和语义概率的不透水面提取方法及系统 | |
CN112052755B (zh) | 基于多路注意力机制的语义卷积高光谱图像分类方法 | |
CN107092870B (zh) | 一种高分辨率影像语义信息提取方法 | |
CN105678284B (zh) | 一种固定位人体行为分析方法 | |
CN109840560B (zh) | 基于胶囊网络中融入聚类的图像分类方法 | |
CN110532859A (zh) | 基于深度进化剪枝卷积网的遥感图像目标检测方法 | |
CN110334765A (zh) | 基于注意力机制多尺度深度学习的遥感影像分类方法 | |
CN108229589B (zh) | 一种基于迁移学习的地基云图分类方法 | |
Guo et al. | Network pruning for remote sensing images classification based on interpretable CNNs | |
CN105989336B (zh) | 基于带权重的解卷积深度网络学习的场景识别方法 | |
CN113095409A (zh) | 基于注意力机制和权值共享的高光谱图像分类方法 | |
CN111814685A (zh) | 基于双支路卷积自编码器的高光谱图像分类方法 | |
CN109948527B (zh) | 基于集成深度学习的小样本太赫兹图像异物检测方法 | |
CN112766283B (zh) | 一种基于多尺度卷积网络的两相流流型识别方法 | |
CN102024152A (zh) | 一种基于稀疏表达和字典学习进行交通标志识别的方法 | |
CN113095416B (zh) | 基于混合损失与图注意力的小样本sar目标分类方法 | |
CN114119621A (zh) | 基于深度编解码融合网络的sar遥感图像水域分割方法 | |
CN111222545A (zh) | 基于线性规划增量学习的图像分类方法 | |
CN106845417B (zh) | 基于特征池化与除归一化表示的高分辨率遥感图像分类方法 | |
Chen et al. | Research on object detection algorithm based on multilayer information fusion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |