CN116630816B - 基于原型对比学习的sar目标识别方法、装置、设备及介质 - Google Patents
基于原型对比学习的sar目标识别方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN116630816B CN116630816B CN202310919952.2A CN202310919952A CN116630816B CN 116630816 B CN116630816 B CN 116630816B CN 202310919952 A CN202310919952 A CN 202310919952A CN 116630816 B CN116630816 B CN 116630816B
- Authority
- CN
- China
- Prior art keywords
- prototype
- image
- neural network
- sar
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000003062 neural network model Methods 0.000 claims abstract description 139
- 238000012549 training Methods 0.000 claims abstract description 48
- 230000006870 function Effects 0.000 claims abstract description 39
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 23
- 239000013598 vector Substances 0.000 claims description 49
- 238000012512 characterization method Methods 0.000 claims description 24
- 238000007477 logistic regression Methods 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000011478 gradient descent method Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000007621 cluster analysis Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000007786 learning performance Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请提供一种基于原型对比学习的SAR目标识别方法、装置、设备及介质,所述方法包括:对输入的每张SAR图像进行图像增强,以得到每张SAR图像对应的两张相似的第一图像和第二图像;使用一神经网络模型对每张SAR图像对应的第一图像和第二图像进行特征提取并对提取到的所有SAR图像的特征进行聚类,以得到每个类别的原型和原型密度;构建一损失函数以根据所述原型和所述原型密度进行原型对比学习,并通过反向传播算法对所述神经网络模型进行训练以得到训练好的神经网络模型;使用一线性分类器对所述训练好的神经网络模型进行评估,以确定最优神经网络模型。本申请可提高SAR图像目标识别精度。
Description
技术领域
本申请涉及雷达图像处理技术领域,尤其涉及一种基于原型对比学习的SAR目标识别方法、装置、设备及介质。
背景技术
合成孔径雷达(Synthetic Aperture Radar,SAR)是一种典型的主动成像系统,它所呈现出的高分辨雷达图像可以不受白昼黑夜、云层覆盖和天气影响。SAR图像目标识别是利用合成孔径雷达(SAR)图像中的特征信息,对图像中的目标进行识别和分类。该技术可以应用于军事、民用和科学研究等领域。通过SAR图像目标识别,可以更准确地了解目标的位置、形状、大小和其他特征,从而提高任务执行的效率和准确性。
但由于SAR成像系统的特殊性,会使得到的SAR图像中有大量斑噪,并且容易随着成像参数、目标姿态等因素发生变化,加大了SAR图像识别难度。而相关技术中采用基于机器学习的方法,会导致SAR图像分类准确率较低。
发明内容
本申请提供一种基于原型对比学习的SAR目标识别方法、装置、设备及介质,用以解决相关技术中SAR图像识别精度不高的问题。
第一方面,本申请提供一种基于原型对比学习的SAR目标识别方法,所述方法包括:
对输入的每张SAR图像进行图像增强,以得到每张SAR图像对应的两张相似的第一图像和第二图像;
使用一神经网络模型对每张SAR图像对应的第一图像和第二图像进行特征提取并对提取到的所有SAR图像的特征进行聚类,以得到每个类别的原型和原型密度;
构建一损失函数以根据所述原型和所述原型密度进行原型对比学习,并通过反向传播算法对所述神经网络模型进行训练以得到训练好的神经网络模型;
使用一线性分类器对所述训练好的神经网络模型进行评估,以确定最优神经网络模型。
在本申请一些实施例中,所述方法还包括:
将待识别的每张SAR图像输入至所述最优神经网络模型,以输出每张SAR图像对应的SAR图像目标识别结果。
在本申请一些实施例中,所述对输入的每张SAR图像进行图像增强,以得到每张SAR图像对应的两张相似的第一图像和第二图像的步骤包括:
对输入的每张SAR图像进行两次不同的图像增强,以得到每张SAR图像对应的两张相似的第一图像和第二图像;
将所述第一图像和所述第二图像作为一对正样本。
在本申请一些实施例中,所述使用一神经网络模型对每张SAR图像对应的第一图像和第二图像进行特征提取并对提取到的所有SAR图像的特征进行聚类,以得到每个类别的原型和原型密度的步骤还包括:
使用一神经网络模型的编码器网络分别对每张SAR图像的第一图像和第二图像进行特征提取,以得到对应的第一编码特征编码特征和第二编码特征;
使用非线性变换网络分别对每张SAR图像的第一编码特征和第二编码特征进行变换,以得到用于对比损失的第一表征向量和第二表征向量。
在本申请一些实施例中,所述神经网络模型为ResNet-50神经网络模型,所述ResNet-50神经网络模型包括49个卷积层和1个全连接层;
使用ResNet-50神经网络模型的编码器网络分别对每张SAR图像的第一图像和第二图像进行特征提取的步骤包括:
使用一卷积核大小为7*7的卷积层,将输入的第一图像和第二图像的尺寸转换为256*256,其输出图像的尺寸为64*64;
使用一卷积核大小为7*7的平均池化层进行处理,以输出提取到的所述第一编码特征和所述第二编码特征。
在本申请一些实施例中,所述非线性变换网络使用一具有隐藏层的MLP投影头来计算,所述MLP投影头用于将所述编码器的输出映射到对比损失的空间,所述MLP投影头的输出表示为,,其中为两个线性层,是一个ReLU激活函数。
在本申请一些实施例中,所述使用一神经网络模型对每张SAR图像对应的第一图像和第二图像进行特征提取并对提取到的所有SAR图像的特征进行聚类,以得到每个类别的原型和原型密度的步骤还包括:
使用Kmeans聚类算法对所有SAR图像的所述第一表征向量和所述第二表征向量进行聚类,以得到个簇;
将原型定义为第个簇的质心,则所述原型密度被定义为:
其中,为与原型c相同聚类簇的表征向量,是一个平滑参数以保证其分母不为0,c为原型,z、Z为正整数。
在本申请一些实施例中,所述构建一损失函数以根据所述原型和所述原型密度进行原型对比学习,并通过反向传播算法对所述神经网络模型进行训练以得到训练好的神经网络模型的步骤包括:
执行期望步骤,其通过引入原型作为额外的潜在变量,并通过执行Kmeans聚类来估计所述原型在执行期望步骤中的概率;
执行最大化步骤,其通过最小化损失函数来更新所述神经网络模型训练时的网络参数;
其中,定义如下:
;
其中,是样本i的第一表征向量,是样本i的第二表征向量,和来自同一样本,互为正例,与其他来自不同样本的向量互为负例,包含一个正表征向量和其他r个负表征向量,τ是一个温度超参数,为与属于同一类别的聚类原型即正原型,包含一个正原型和其他r个负原型,负原型定义为与属于不同类别的聚类原型,为每个原型的原型密度,n为输入的所有SAR图像的数量。
在本申请一些实施例中,所述通过最小化对比损失函数来更新所述神经网络模型训练时的网络参数的步骤包括:
使用随机梯度下降法寻找对比损失函数的最小值;
根据所述最小值对所述编码器网络进行更新,以更新所述神经网络模型的网络参数,所述网络参数包括权值参数;
其中,=,n、N为正整数。
在本申请一些实施例中,所述使用一线性分类器对所述训练好的神经网络模型进行评估,以确定最优神经网络模型的步骤包括:
每个训练周期给定N个无标签样本和预设数量的M个有标签样本,,其中为标签,k为标签种类个数,k、m、n为正整数,;
利用无标签样本训练编码器网络,由原型对比学习预训练的当前神经网络编码器的权值参数为:
;
其中,为学习到的无标签样本的编码特征;
固定由原型对比学习预训练的权值参数,迁移至下游任务,并将有标签样本输入模型,得到有标签样本的编码特征;
使用k个类别的逻辑回归分类器来评估属于每个类别的概率,用下式表示:
;
其中,表示逻辑回归分类器的可学习参数。
在本申请一些实施例中,所述使用一线性分类器对所述训练好的神经网络模型进行评估,以确定最优神经网络模型的步骤还包括:
拟合所述k个类别的逻辑回归分类器,其中分类器参数表示为:
;
;
根据和,在测试集的分类准确性可以评估每个训练时期当前学习到的神经网络模型,以确定最优神经网络模型。
第二方面,本申请还提供一种基于原型对比学习的SAR目标识别装置,所述装置包括:
图像增强模块,用于对输入的每张SAR图像进行图像增强,以得到每张SAR图像对应的两张相似的第一图像和第二图像;
聚类模块,用于使用一神经网络模型对每张SAR图像对应的第一图像和第二图像进行特征提取并对提取到的所有SAR图像的特征进行聚类,以得到每个类别的原型和原型密度;
训练模块,用于构建一损失函数以根据所述原型和所述原型密度进行原型对比学习,并通过反向传播算法对所述神经网络模型进行训练以得到训练好的神经网络模型;
评估模块,用于使用一线性分类器对所述训练好的神经网络模型进行评估,以确定最优神经网络模型。
在本申请一些实施例中,所述装置还包括:
预测模块,用于将待识别的每张SAR图像输入至所述最优神经网络模型,以输出每张SAR图像对应的SAR图像目标识别结果。
第三方面,本申请还提供一种雷达设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现如第一方面所述的基于原型对比学习的SAR目标识别方法的步骤。
第四方面,本申请还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面任一项所述的基于原型对比学习的SAR目标识别方法的步骤。
本申请提供的基于原型对比学习的SAR目标识别方法、装置、设备及介质,首先对输入的每张SAR图像进行图像增强,以得到每张SAR图像对应的两张相似的第一图像和第二图像,其次对每张SAR图像的第一图像和第二图像输入一神经网络模型以得到编码特征,接着通过聚类算法对提取到的所有SAR图像的特征进行聚类,以得到每个类别的原型和原型密度,然后通过构建的一损失函数进行原型对比学习并通过反向传播对神经网络模型进行训练,得到训练好的神经网络模型。最后使用一线性分类器对所述训练好的神经网络模型进行评估,以确定最优神经网络模型。利用最优神经网络模型能够得到SAR图像目标识别结果,提高了SAR图像目标识别精度。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请提供的基于原型对比学习的SAR目标识别方法的流程示意图;
图2是本申请实施例提供的ResNet-50神经网络模型的示意图;
图3是本申请提供的SAR图像目标识别的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请中的附图,对本申请中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。
对本申请涉及的技术用语进行说明:
有监督学习和无监督学习是机器学习中两种不同的学习方式,它们的区别主要在于是否需要标记数据进行训练。
有监督学习是指使用带有标签的数据来训练模型,即每个训练样本都有一个明确的标签或类别。在有监督学习中,模型的训练目标是最小化预测输出与真实标签之间的差异,从而实现对未知数据的分类或回归等任务。有监督学习算法可以包括线性回归、逻辑回归、支持向量机、决策树、神经网络等。
无监督学习不需要标记数据进行训练,而是通过对未标记数据的特征进行分析和处理,从中发现数据的内在结构和模式。无监督学习可以用于聚类、降维、异常检测、密度估计、生成模型等问题。无监督学习算法可以包括k均值聚类、主成分分析、自编码器、生成对抗网络等。
相关技术中,使用有监督学习的方法需要依赖于大量训练样本,即需要一个带有真实标签的大量数据集。但是SAR数据存在有标记样本严重不足、样本标记成本高等问题,获得一个全部有标签的数据集较为困难。而使用无监督学习的方法由于没有考虑到同一类别不同样本之间的相似性,将两个来自不同的样本的实例视为负对,而不管它们相似性如何,在特征空间中都会被分开,因而会导致SAR图像分类准确率较低。
为了解决相关技术中SAR图像识别精度不高的问题,本申请提供一种基于原型对比学习的SAR目标识别方法、装置、设备及介质,首先对输入的每张SAR图像进行图像增强,以得到每张SAR图像对应的两张相似的第一图像和第二图像,其次对每张SAR图像的第一图像和第二图像输入一神经网络模型以得到编码特征,接着通过聚类算法对提取到的所有SAR图像的特征进行聚类,以得到每个类别的原型和原型密度,然后通过构建的一损失函数进行原型对比学习并通过反向传播对神经网络模型进行训练,得到训练好的神经网络模型。最后使用一线性分类器对所述训练好的神经网络模型进行评估,以确定最优神经网络模型。利用最优神经网络模型能够得到SAR图像目标识别结果,提高了SAR图像目标识别精度。
下面结合图1-图3描述本申请的基于原型对比学习的SAR目标识别方法、装置、设备及介质。
请参考图1,图1是本申请提供的基于原型对比学习的SAR目标识别方法的流程示意图。一种基于原型对比学习的SAR目标识别方法,所述方法包括:
步骤101,对输入的每张SAR图像进行图像增强,以得到每张SAR图像对应的两张相似的第一图像和第二图像。
步骤102,使用一神经网络模型对每张SAR图像对应的第一图像和第二图像进行特征提取并对提取到的所有SAR图像的特征进行聚类,以得到每个类别的原型和原型密度。
步骤103,构建一损失函数以根据所述原型和所述原型密度进行原型对比学习,并通过反向传播算法对所述神经网络模型进行训练以得到训练好的神经网络模型。
步骤104,使用一线性分类器对所述训练好的神经网络模型进行评估,以确定最优神经网络模型。
在本申请的一些实施例中,本申请所述基于原型对比学习的SAR目标识别方法还包括:
步骤105,将待识别的每张SAR图像输入至所述最优神经网络模型,以输出每张SAR图像对应的SAR图像目标识别结果。
以下对上述步骤101~105进行具体描述。
在本申请的一些实施例中,上述步骤101中,所述对输入的每张SAR图像进行图像增强,以得到每张SAR图像对应的两张相似的第一图像和第二图像的步骤包括:
步骤1011,对输入的每张SAR图像进行两次不同的图像增强,以得到每张SAR图像对应的两张相似的第一图像和第二图像。
步骤1012,将所述第一图像和所述第二图像作为一对正样本。
具体地,步骤1011和步骤1012通过对每张SAR图像x进行两次不同的图形增强,每张SAR图像分别得到两张新的第一图像和第二图像。增强方式采用几种增强的组合:随机的颜色失真、随机裁剪然后调整大小到原来的大小、随机高斯模糊、随机叠加噪声、灰度化,因为第一图像和第二图像来源于同一张图像,特征相似,所以可以用来作为一对正样本,其余来自不同SAR图像的增强图像可以作为负样本。
由于现有技术在使用基于无监督对比学习方法进行特征学习时,会将来自不同样本的实例视为负对,而不管它们之间的相似性如何。也就是说,如果两个来自不同样本的实例在特征空间中非常相似,但它们被分配到不同的负样本组中,那么就不能捕捉到它们之间的相似性,从而可能影响到识别结果的准确性。因此,本申请所述基于原型对比学习的SAR目标识别方法在使用基于无监督对比学习方法时,需要考虑同一类别不同样本之间的相似性,以获得更好的识别效果,提高了识别精度。
在本申请的一些实施例中,上述步骤102中,所述使用一神经网络模型对每张SAR图像对应的第一图像和第二图像进行特征提取并对提取到的所有SAR图像的特征进行聚类,以得到每个类别的原型和原型密度的步骤还包括:
步骤1021,使用一神经网络模型的编码器网络分别对每张SAR图像的第一图像和第二图像进行特征提取,以得到对应的第一编码特征和第二编码特征。
示例性地,每张SAR图像x进行图像增强后,得到的两张图像(第一图像和第二图像)通过一神经网络模型的编码器网络进行编码,以生成第一编码特征和第二编码特征。
具体地,编码器将输入正负样本映射到一个潜在的空间,从增强的数据示例中提取编码特征。所述神经网络模型可以使用ResNet-50神经网络模型,以得到:
;
;
其中,是平均池化层之后的输出。
请参考图2,图2是本申请实施例提供的ResNet-50神经网络模型的示意图。本申请所述神经网络模型为ResNet-50神经网络模型,其主干网络可以由5个残差栈堆叠而成,所述ResNet-50神经网络模型包括49个卷积层和1个全连接层。
具体地,输入样本图像尺寸大小调整为256×256,首先利用一个卷积层,该卷积层的卷积核大小为7×7,作用是提高模型输入层的特性,通过建立复杂的空间位置关系,尽可能多地保存与相邻特征的语义相关的全局信息,提高神经网络模型的整体性能。
average-pooling为全局平均池化层,输出为网络提取出的图片编码特征。softmax为用于分类的全连接层,输出值的维数为输入数据集的类别种类。ResNet50通过残差模块,直接将输入信息绕道传到输出,一定程度的使得信息更加完整,能够简化复杂的深度网络训练过程,并且也避免了由于网络过深引起的梯度消失和退化。
在本申请的一些实施例中,上述步骤1021中,使用ResNet-50神经网络模型的编码器网络分别对每张SAR图像的第一图像和第二图像进行特征提取的步骤包括:
步骤10211,使用一卷积核大小为7*7的卷积层,将输入的第一图像和第二图像的尺寸转换为256*256,其输出图像的尺寸为64*64。
步骤10212,使用一卷积核大小为7*7的平均池化层进行处理,以输出提取到的所述第一编码特征和所述第二编码特征。
步骤1022,使用非线性变换网络分别对每张SAR图像的第一编码特征和第二编码特征进行变换,以得到用于对比损失的第一表征向量和第二表征向量。
示例性地,所述非线性变换网络可以使用一具有隐藏层的MLP投影头来计算,所述MLP投影头用于将所述编码器的输出映射到对比损失的空间。
具体地,MLP投影头可以是多层感知器(Multilayer Perceptron,MLP)模型中的输出层。MLP是一种前馈神经网络,由输入层、隐藏层和输出层组成。其中,输入层接收输入数据,隐藏层通过激活函数对输入进行非线性变换,输出层则将隐藏层的输出映射到最终的输出结果。MLP投影头即为输出层,其可以采用全连接层的结构,将隐藏层的输出进行线性变换,并通过激活函数将结果映射到最终的输出空间。在分类任务中,MLP投影头可以采用softmax函数,将输出转化为概率分布;在回归任务中,可以采用线性激活函数或其他合适的非线性激活函数。
MLP网络形式为,所述MLP投影头的输出表示为,,其中为两个线性层,是一个ReLU激活函数。
本申请采用所述非线性变换网络,能够更好地挖掘相关特征,加快拟合训练数据。编码器输出的编码特征中包含额外的图像增强信息,经过所述非线性变换网络g(.)之后可以将一部分图像增强的信息过滤掉,在损失计算中可以减少计算量,提高计算效率。
示例性地,本申请将原型对比学习隐式地将数据的语义结构编码到嵌入空间中,原型可以被定义为“一组语义上相似的实例的代表性嵌入”。神经网络模型为每个样本分配几个不同粒度的原型,并构造一个对比损失,它强制样本的特征与其他原型相比更相似于相应的原型,通过对特征执行聚类算法来找到原型。在本申请的一些实施例中,上述步骤102中,使用一神经网络模型对每张SAR图像对应的第一图像和第二图像进行特征提取并对提取到的所有SAR图像的特征进行聚类,以得到每个类别的原型和原型密度的步骤还包括:
步骤1023,使用Kmeans聚类算法对所有SAR图像的所述第一表征向量和所述第二表征向量进行聚类,以得到个簇。
步骤1024,将原型定义为第个簇的质心,则所述原型密度被定义为:
其中,为与原型c相同聚类簇的表征向量,是一个平滑参数以保证其分母不为0,c为原型,z、Z为正整数。
需要说明的是,平滑参数可以确保小类别不会有过大的原型密度,越小表示原型密度越大。使用步骤1022得到的表征向量和,与原型c在同一个类别中。可以使得松散集群(即更大的)中的相似性被缩小,使嵌入更接近原型。相反,在紧密集群(较小的)中的嵌入具有更大的相似性,因此不太鼓励接近原型。
也就是说,当较大时,松散集群中的嵌入会更接近原型,因为相似性被缩小了。而当较小时,紧密集群中的嵌入具有更大的相似性,因此不太鼓励接近原型。因此,使用不同的值可以调整嵌入向原型靠近的程度,从而影响聚类的效果。
示例性地,将步骤1024聚类得到原型密度适宜的原型,与步骤1022获取的表征向量(一起构建原型的损失函数,它强制样本的特征嵌入与其他原型相比更类似于相应的原型,可以使得来自同一图像和同一原型特征更接近,并使来自不同图像和不同原型的特征彼此远离。
具体地,原型对比学习可以表述为一种期望最大化(EM)算法,其目标是通过迭代逼近和最大化对数似然函数,找到最能描述数据分布的深度神经网络(DNN)的参数。
原型对比学习是无监督表征学习的一种新方法,综合了对比学习和聚类学习的优点,通过指导模型哪些原型相似或不相似,来学习不带标签的数据集的一般特征。原型对比学习可以用于分类和回归问题,并且适用于许多不同的领域,包括计算机视觉、自然语言处理和推荐系统等。
在本申请的一些实施例中,步骤103中,构建一损失函数以根据所述原型和所述原型密度进行原型对比学习,并通过反向传播算法对所述神经网络模型进行训练以得到训练好的神经网络模型的步骤包括:
步骤1031,执行期望步骤。
该步骤是通过引入原型作为额外的潜在变量,并通过执行Kmeans聚类来估计所述原型在执行期望步骤中的概率;
步骤1032,执行最大化步骤。
该步骤是通过最小化对比损失函数来更新所述神经网络模型训练时的网络参数;
其中,定义如下:
;
其中,是样本i的第一表征向量,是样本i的第二表征向量,和来自同一样本,互为正例,与其他来自不同样本的向量互为负例,包含一个正表征向量和其他r个负表征向量,τ是一个温度超参数,为与属于同一类别的聚类原型即正原型,包含一个正原型和其他r个负原型,负原型定义为与属于不同类别的聚类原型,为每个原型的原型密度,n为输入的所有SAR图像的数量。
是原型对比学习中的一种损失函数,它的目标是最小化未标记数据和与其相似原型之间的差异,最大化未标记数据和与其不相似原型之间的差异,从而提高模型的分类准确性和泛化能力。例如,损失函数的计算过程可以如下:
第一,对于每个未标记数据样本,计算其与所有原型之间的相似度得分。
第二,将得分通过softmax函数进行归一化,获得一个概率分布,表示该样本属于每个类别的概率。
第三,以该样本真实标签对应的类别为正例,其他类别为负例,计算交叉熵损失。
第四,对所有样本的损失进行平均,作为最终的损失函数值。
需要说明的是,损失函数可以通过反向传播算法来训练神经网络模型,以最小化该损失函数,从而优化所述神经网络模型的网络参数,以提高分类性能。
示例性地,在上述步骤1032中,通过最小化对比损失函数来更新所述神经网络模型训练时的网络参数的步骤包括:
步骤10321,使用随机梯度下降法寻找对比损失函数的最小值。
例如,使用随机梯度下降法(Stochastic Gradient Descent,SGD)寻找对比损失函数的最小值的过程如下:
第一,初始化模型参数。例如,可以使用随机初始化的权重矩阵和偏置向量作为模型参数。
第二,随机选择一批未标记数据样本和相应的原型样本,计算它们之间的相似度得分,并计算损失函数的梯度。
第三,使用计算得到的梯度更新模型参数。具体来说,可以使用以下公式更新权重矩阵W和偏置向量b:
W=W-learning_rate*dW;
b=b-learning_rate*db;
其中,learning_rate是学习率,dW和db分别是损失函数关于W和b的梯度。
第四,重复上述第二和第三步骤,直到达到设定的训练轮数或达到一定的收敛条件。
在实际应用中,可以对随机梯度下降法进行一些改进,例如使用动量优化方法、自适应学习率等,以加速模型的收敛。
步骤13222,根据所述最小值对所述编码器网络进行更新,以更新所述神经网络模型的网络参数,所述网络参数包括权值参数。
其中,=,n、N为正整数。
在本申请的一些实施例中,上述步骤104中,使用一线性分类器对所述训练好的神经网络模型进行评估,以确定最优神经网络模型的步骤包括:
步骤1041,每个训练周期给定N个无标签样本和预设数量M个有标签样本,,其中为标签,k为标签种类个数,k、m、n为正整数,。
步骤1042,利用无标签样本训练编码器网络,由原型对比学习预训练的当前神经网络编码器的权值参数可以给为:
;
其中,为学习到的无标签样本的编码特征。
步骤1043,固定由原型对比学习预训练的权值参数,迁移至下游任务,并将有标签样本输入模型,得到有标签样本的编码特征。
步骤1044,使用k个类别的逻辑回归分类器来评估属于每个类别的概率,用下式表示:
;
其中,表示逻辑回归分类器的可学习参数。
在本申请的一些实施例中,上述步骤104中,使用一线性分类器对所述训练好的神经网络模型进行评估,以确定最优神经网络模型的步骤还包括:
步骤1045,对应总标记的训练集,拟合所述k个类别的逻辑回归分类器,其中分类器参数可表示为:
。
步骤1046,利用分类指标对线性分类器进行定量的评价,以求得分类精度,并根据和,在测试集的分类准确性可以评估每个训练时期当前学习到的神经网络模型,以确定最优神经网络模型。
也就是说,可以通过在测试集上计算神经网络模型的分类准确性来评估每个训练时期当前学习到的神经网络模型。具体地,可以在每个训练时期结束后,使用当前神经网络模型的拟合分类器的参数和拟合分类器参数在测试集上进行预测,并计算预测结果与真实标签的差异,以此来评估当前神经网络模型的分类准确性。通过比较不同时期模型的分类准确性,可以判断神经网络模型的训练效果,并确定何时停止训练以得到最优神经网络模型,以避免过拟合或欠拟合等问题。
由此可知,本申请所述基于原型对比学习的SAR目标识别方法,通过将对比学习框架与聚类分析方法结合,以改善对比学习模型的表征学习性能,避免由于缺乏监督信息导致目标表征在下游分类任务精度较低的问题。并且还使用线性评估协议,为无监督模型训练提供指示器,帮助确定最优模型,防止模型过拟合。也就是说,本申请通过将对比学习框架与聚类分析方法结合来提高对比学习模型的表征学习性能,并解决无监督学习中下游分类任务精度较低的问题。
具体地,对比学习框架与聚类分析方法结合。这样可以利用聚类分析方法对原始数据进行分组,从而生成一组代表性的原型样本。然后,使用对比学习方法来训练神经网络模型,以最小化未标记数据和与相似原型之间的差异,最大化未标记数据和与不相似原型之间的差异从而获得更好的表征学习性能。而且,使用线性评估协议,该协议可以用于评估无监督模型在下游分类任务中的性能。具体来说,例如可以使用一个线性分类器来对训练好的神经网络模型进行评估,从而确定最优神经网络模型。
下面对本申请提供的基于原型对比学习的SAR目标识别装置进行描述,下文描述的基于原型对比学习的SAR目标识别装置与上文描述的基于原型对比学习的SAR目标识别方法可相互对应参照。
请参考图3,图3是本申请提供的基于原型对比学习的SAR目标识别装置的结构示意图。一种基于原型对比学习的SAR目标识别装置300,所述装置包括图像增强模块301、聚类模块302、训练模块303以及评估模块304。
示例性地,图像增强模块301用于:
对输入的每张SAR图像进行图像增强,以得到每张SAR图像对应的两张相似的第一图像和第二图像。
示例性地,聚类模块302用于:
使用一神经网络模型对每张SAR图像对应的第一图像和第二图像进行特征提取并对提取到的所有SAR图像的特征进行聚类,以得到每个类别的原型和原型密度。
示例性地,训练模块303用于:
构建一损失函数以根据所述原型和所述原型密度进行原型对比学习,并通过反向传播算法对所述神经网络模型进行训练以得到训练好的神经网络模型。
示例性地,评估模块304用于:
使用一线性分类器对所述训练好的神经网络模型进行评估,以确定最优神经网络模型。
在本申请的一些实施例中,基于原型对比学习的SAR目标识别装置300还包括预测模块,所述预测模块用于:
将待识别的每张SAR图像输入至所述最优神经网络模型,以输出每张SAR图像对应的SAR图像目标识别结果。
示例性地,图像增强模块301还用于:
对输入的每张SAR图像进行两次不同的图像增强,以得到每张SAR图像对应的两张相似的第一图像和第二图像;
将所述第一图像和所述第二图像作为一对正样本。
示例性地,聚类模块302还用于:
使用一神经网络模型的编码器网络分别对每张SAR图像的第一图像和第二图像进行特征提取,以得到对应的第一编码特征和第二编码特征;
使用非线性变换网络分别对每张SAR图像的第一编码特征和第二编码特征进行变换,以得到用于对比损失的第一表征向量和第二表征向量。
示例性地,所述神经网络模型为ResNet-50神经网络模型,所述ResNet-50神经网络模型包括49个卷积层和1个全连接层;
聚类模块302还用于:
使用一卷积核大小为7*7的卷积层,将输入的第一图像和第二图像的尺寸转换为256*256,其输出图像的尺寸为64*64;
使用一卷积核大小为7*7的平均池化层进行处理,以输出提取到的所述第一编码特征和所述第二编码特征。
示例性地,所述非线性变换网络使用一具有隐藏层的MLP投影头来计算,所述MLP投影头用于将所述编码器的输出映射到对比损失的空间,所述MLP投影头的输出表示为,,其中为两个线性层,是一个ReLU激活函数。
示例性地,聚类模块302还用于:
使用Kmeans聚类算法对所有SAR图像的所述第一表征向量和所述第二表征向量进行聚类,以得到个簇;
将原型定义为第个簇的质心,则所述原型密度被定义为:
其中,为与原型c相同聚类簇的表征向量,是一个平滑参数以保证其分母不为0,c为原型,z、Z为正整数。
示例性地,训练模块303还用于:
执行期望步骤,其通过引入原型作为额外的潜在变量,并通过执行Kmeans聚类来估计所述原型在执行期望步骤中的概率;
执行最大化步骤,其通过最小化损失函数来更新所述神经网络模型训练时的网络参数;
其中,定义如下:
;
其中,是样本i的第一表征向量,是样本i的第二表征向量,和来自同一样本,互为正例,与其他来自不同样本的向量互为负例,包含一个正表征向量和其他r个负表征向量,τ是一个温度超参数,为与属于同一类别的聚类原型即正原型,包含一个正原型和其他r个负原型,负原型定义为与属于不同类别的聚类原型,为每个原型的原型密度,n为输入的所有SAR图像的数量。
示例性地,训练模块303还用于:
使用随机梯度下降法寻找对比损失函数的最小值;
根据所述最小值对所述编码器网络进行更新,以更新所述神经网络模型的网络参数,所述网络参数包括权值参数;
其中,=,n、N为正整数。
示例性地,评估模块304还用于:
每个训练周期给定N个无标签样本和预设数量的M个有标签样本,,,其中为标签,k为标签种类个数,k、m、n为正整数,;
利用无标签样本训练编码器网络,由原型对比学习预训练的当前神经网络编码器的权值参数为:
;
其中,为学习到的无标签样本的编码特征;
固定由原型对比学习预训练的权值参数,迁移至下游任务,并将有标签样本输入模型,得到有标签样本的编码特征f;
使用k个类别的逻辑回归分类器来评估属于每个类别的概率,用下式表示:
;
其中,表示逻辑回归分类器的可学习参数。
示例性地,评估模块304还用于:
拟合所述k个类别的逻辑回归分类器,其中分类器参数可表示为:
;
。
根据和,在测试集的分类准确性可以评估每个训练时期当前学习到的神经网络模型,以确定最优神经网络模型。
在本申请的一些实施例中,本申请还提供一种雷达设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现如上所述的基于原型对比学习的SAR目标识别方法的步骤。
此外,上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本申请还提供一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法所提供的基于原型对比学习的SAR目标识别方法,该方法包括:
对输入的每张SAR图像进行图像增强,以得到每张SAR图像对应的两张相似的第一图像和第二图像;
使用一神经网络模型对每张SAR图像对应的第一图像和第二图像进行特征提取并对提取到的所有SAR图像的特征进行聚类,以得到每个类别的原型和原型密度;
构建一损失函数以根据所述原型和所述原型密度进行原型对比学习,并通过反向传播算法对所述神经网络模型进行训练以得到训练好的神经网络模型;
使用一线性分类器对所述训练好的神经网络模型进行评估,以确定最优神经网络模型。
又一方面,本申请还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各提供的基于原型对比学习的SAR目标识别方法,该方法包括:
对输入的每张SAR图像进行图像增强,以得到每张SAR图像对应的两张相似的第一图像和第二图像;
使用一神经网络模型对每张SAR图像对应的第一图像和第二图像进行特征提取并对提取到的所有SAR图像的特征进行聚类,以得到每个类别的原型和原型密度;
构建一损失函数以根据所述原型和所述原型密度进行原型对比学习,并通过反向传播算法对所述神经网络模型进行训练以得到训练好的神经网络模型;
使用一线性分类器对所述训练好的神经网络模型进行评估,以确定最优神经网络模型。
本申请实施例提供的一种雷达设备、一种计算机程序产品、一种处理器可读存储介质,其上存储的计算机程序使处理器能够实现上述方法实施例所实现的所有方法步骤,且能够达到相同的技术效果,在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (11)
1.一种基于原型对比学习的SAR目标识别方法,其特征在于,所述方法包括:
对输入的每张SAR图像进行图像增强,以得到每张SAR图像对应的两张相似的第一图像和第二图像;
使用一神经网络模型对每张SAR图像对应的第一图像和第二图像进行特征提取并对提取到的所有SAR图像的特征进行聚类,以得到每个类别的原型和原型密度,具体包括:
使用一神经网络模型的编码器网络分别对每张SAR图像的第一图像和第二图像进行特征提取,以得到对应的第一编码特征和第二编码特征;
使用非线性变换网络分别对每张SAR图像的第一编码特征和第二编码特征进行变换,以得到用于对比损失的第一表征向量和第二表征向量;
使用Kmeans聚类算法对所有SAR图像的所述第一表征向量和所述第二表征向量进行聚类,以得到个簇;
将原型c定义为第个簇的质心,则所述原型密度被定义为:
其中,为与原型c相同聚类簇的表征向量,是一个平滑参数以保证其分母不为0,c为原型,z、Z为正整数;
构建一损失函数以根据所述原型和所述原型密度进行原型对比学习,并通过反向传播算法对所述神经网络模型进行训练以得到训练好的神经网络模型,具体包括:
执行期望步骤,其通过引入原型作为额外的潜在变量,并通过执行Kmeans聚类来估计所述原型在执行期望步骤中的概率;
执行最大化步骤,其使用随机梯度下降法寻找对比损失函数的最小值,并根据所述最小值对所述编码器网络进行更新,以更新所述神经网络模型的网络参数,所述网络参数包括权值参数;
其中,定义如下:
;
其中,是样本i的第一表征向量,是样本i的第二表征向量,和来自同一样本,互为正例,与其他来自不同样本的向量互为负例,包含一个正表征向量和其他r个负表征向量,τ是一个温度超参数,为与属于同一类别的聚类原型即正原型,包含一个正原型和其他r个负原型,负原型定义为与属于不同类别的聚类原型,为每个原型的原型密度,n为输入的所有SAR图像的数量;
其中,=,n、N为正整数;
使用一线性分类器对所述训练好的神经网络模型进行评估,以确定最优神经网络模型。
2.根据权利要求1所述的基于原型对比学习的SAR目标识别方法,其特征在于,所述方法还包括:
将待识别的每张SAR图像输入至所述最优神经网络模型,以输出每张SAR图像对应的SAR图像目标识别结果。
3.根据权利要求1所述的基于原型对比学习的SAR目标识别方法,其特征在于,所述对输入的每张SAR图像进行图像增强,以得到每张SAR图像对应的两张相似的第一图像和第二图像的步骤包括:
对输入的每张SAR图像进行两次不同的图像增强,以得到每张SAR图像对应的两张相似的第一图像和第二图像;
将所述第一图像和所述第二图像作为一对正样本。
4.根据权利要求1所述的基于原型对比学习的SAR目标识别方法,其特征在于,所述神经网络模型为ResNet-50神经网络模型,所述ResNet-50神经网络模型包括49个卷积层和1个全连接层;
使用ResNet-50神经网络模型的编码器网络分别对每张SAR图像的第一图像和第二图像进行特征提取的步骤包括:
使用一卷积核大小为7*7的卷积层,将输入的第一图像和第二图像的尺寸转换为256*256,其输出图像的尺寸为64*64;
使用一卷积核大小为7*7的平均池化层进行处理,以输出提取到的所述第一编码特征和所述第二编码特征。
5.根据权利要求1所述的基于原型对比学习的SAR目标识别方法,其特征在于,所述非线性变换网络使用一具有隐藏层的MLP投影头来计算,所述MLP投影头用于将所述编码器的输出映射到对比损失的空间,所述MLP投影头的输出表示为,,其中为两个线性层,是一个ReLU激活函数。
6.根据权利要求1所述的基于原型对比学习的SAR目标识别方法,其特征在于,所述使用一线性分类器对所述训练好的神经网络模型进行评估,以确定最优神经网络模型的步骤包括:
每个训练周期给定N个无标签样本和预设数量的M个有标签样本,,其中为标签,k为标签种类个数,k、m、n为正整数,;
利用无标签样本训练编码器网络,由原型对比学习预训练的当前神经网络编码器的权值参数为:
;
其中,为学习到的无标签样本的编码特征;
固定由原型对比学习预训练的权值参数,迁移至下游任务,并将有标签样本输入模型,得到有标签样本的编码特征
使用k个类别的逻辑回归分类器来评估属于每个类别的概率,用下式表示:
;
其中,表示逻辑回归分类器的可学习参数。
7.根据权利要求6所述的基于原型对比学习的SAR目标识别方法,其特征在于,所述使用一线性分类器对所述训练好的神经网络模型进行评估,以确定最优神经网络模型的步骤还包括:
拟合所述k个类别的逻辑回归分类器,其中分类器参数表示为:;
;
根据和,在测试集的分类准确性评估每个训练时期当前学习到的神经网络模型,以确定最优神经网络模型。
8.一种基于原型对比学习的SAR目标识别装置,其特征在于,所述装置包括:
图像增强模块,用于对输入的每张SAR图像进行图像增强,以得到每张SAR图像对应的两张相似的第一图像和第二图像;
聚类模块,用于使用一神经网络模型对每张SAR图像对应的第一图像和第二图像进行特征提取并对提取到的所有SAR图像的特征进行聚类,以得到每个类别的原型和原型密度,具体用于:
使用一神经网络模型的编码器网络分别对每张SAR图像的第一图像和第二图像进行特征提取,以得到对应的第一编码特征和第二编码特征;
使用非线性变换网络分别对每张SAR图像的第一编码特征和第二编码特征进行变换,以得到用于对比损失的第一表征向量和第二表征向量;
使用Kmeans聚类算法对所有SAR图像的所述第一表征向量和所述第二表征向量进行聚类,以得到个簇;
将原型c定义为第个簇的质心,则所述原型密度被定义为:
其中,为与原型c相同聚类簇的表征向量,是一个平滑参数以保证其分母不为0,c为原型,z、Z为正整数;
训练模块,用于构建一损失函数以根据所述原型和所述原型密度进行原型对比学习,并通过反向传播算法对所述神经网络模型进行训练以得到训练好的神经网络模型,具体用于:
执行期望步骤,其通过引入原型作为额外的潜在变量,并通过执行Kmeans聚类来估计所述原型在执行期望步骤中的概率;
执行最大化步骤,其使用随机梯度下降法寻找对比损失函数的最小值,并根据所述最小值对所述编码器网络进行更新,以更新所述神经网络模型的网络参数,所述网络参数包括权值参数;
其中,定义如下:
;
其中,是样本i的第一表征向量,是样本i的第二表征向量,和来自同一样本,互为正例,与其他来自不同样本的向量互为负例,包含一个正表征向量和其他r个负表征向量,τ是一个温度超参数,为与属于同一类别的聚类原型即正原型,包含一个正原型和其他r个负原型,负原型定义为与属于不同类别的聚类原型,为每个原型的原型密度,n为输入的所有SAR图像的数量;
其中,=,n、N为正整数;
评估模块,用于使用一线性分类器对所述训练好的神经网络模型进行评估,以确定最优神经网络模型。
9.根据权利要求8所述的基于原型对比学习的SAR目标识别装置,其特征在于,所述装置还包括:
预测模块,用于将待识别的每张SAR图像输入至所述最优神经网络模型,以输出每张SAR图像对应的SAR图像目标识别结果。
10.一种雷达设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任一项所述的基于原型对比学习的SAR目标识别方法的步骤。
11.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于原型对比学习的SAR目标识别方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310919952.2A CN116630816B (zh) | 2023-07-26 | 2023-07-26 | 基于原型对比学习的sar目标识别方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310919952.2A CN116630816B (zh) | 2023-07-26 | 2023-07-26 | 基于原型对比学习的sar目标识别方法、装置、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116630816A CN116630816A (zh) | 2023-08-22 |
CN116630816B true CN116630816B (zh) | 2023-10-03 |
Family
ID=87597716
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310919952.2A Active CN116630816B (zh) | 2023-07-26 | 2023-07-26 | 基于原型对比学习的sar目标识别方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116630816B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118094018B (zh) * | 2024-04-26 | 2024-07-30 | 安徽思高智能科技有限公司 | 一种增强的图对比学习推荐系统方法、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112070123A (zh) * | 2020-08-14 | 2020-12-11 | 五邑大学 | 小样本sar图像识别方法、装置及存储介质 |
CN114549365A (zh) * | 2022-03-03 | 2022-05-27 | 重庆邮电大学 | 一种用于目标检测的无人机载高保真sar图像重建方法 |
CN114694014A (zh) * | 2022-04-18 | 2022-07-01 | 河海大学 | 一种基于多层神经网络的sar图像舰船目标检测方法 |
CN115018773A (zh) * | 2022-05-23 | 2022-09-06 | 中国海洋大学 | 基于全局动态卷积神经网络的sar图像变化检测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11836852B2 (en) * | 2019-12-20 | 2023-12-05 | Board Of Trustees Of The University Of Illinois | Neural network-based millimeter-wave imaging system |
-
2023
- 2023-07-26 CN CN202310919952.2A patent/CN116630816B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112070123A (zh) * | 2020-08-14 | 2020-12-11 | 五邑大学 | 小样本sar图像识别方法、装置及存储介质 |
CN114549365A (zh) * | 2022-03-03 | 2022-05-27 | 重庆邮电大学 | 一种用于目标检测的无人机载高保真sar图像重建方法 |
CN114694014A (zh) * | 2022-04-18 | 2022-07-01 | 河海大学 | 一种基于多层神经网络的sar图像舰船目标检测方法 |
CN115018773A (zh) * | 2022-05-23 | 2022-09-06 | 中国海洋大学 | 基于全局动态卷积神经网络的sar图像变化检测方法 |
Non-Patent Citations (3)
Title |
---|
Fei Gao等.Anchor-Free SAR Ship Instance Segmentation With Centroid-Distance Based Loss.《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》.2021,第14卷11352-11371. * |
Yongsheng Zhou等.A Sidelobe-Aware Small Ship Detection Network for Synthetic Aperture Radar Imagery.《IEEE Transactions on Geoscience and Remote Sensing》.2023,1-16. * |
武鸿.基于深度学习的SAR图像目标识别研究.《中国优秀硕士学位论文全文数据库 (信息科技辑)》.2019,(第06期),I136-251. * |
Also Published As
Publication number | Publication date |
---|---|
CN116630816A (zh) | 2023-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Springenberg et al. | Improving deep neural networks with probabilistic maxout units | |
CN108027899B (zh) | 用于提高经训练的机器学习模型的性能的方法 | |
CN113221641B (zh) | 基于生成对抗网络和注意力机制的视频行人重识别方法 | |
KR20190050698A (ko) | 신경망의 최적화 방법 | |
CN108197666A (zh) | 一种图像分类模型的处理方法、装置及存储介质 | |
CN114332578A (zh) | 图像异常检测模型训练方法、图像异常检测方法和装置 | |
CN107223260B (zh) | 用于动态地更新分类器复杂度的方法 | |
CN113095370A (zh) | 图像识别方法、装置、电子设备及存储介质 | |
CN116630816B (zh) | 基于原型对比学习的sar目标识别方法、装置、设备及介质 | |
US20230076290A1 (en) | Rounding mechanisms for post-training quantization | |
CN118277770A (zh) | 一种障碍物感知方法、装置、电子设备及存储介质 | |
CN114255371A (zh) | 一种基于组件监督网络的小样本图像分类方法 | |
CN115731411A (zh) | 一种基于原型生成的小样本图像分类方法 | |
CN114118345A (zh) | 生成对抗网络的训练方法、数据分类方法及相关设备 | |
Chen et al. | Sample balancing for deep learning-based visual recognition | |
Everett et al. | Protocaps: A fast and non-iterative capsule network routing method | |
CN117154256A (zh) | 锂电池的电化学修复方法 | |
CN112541530A (zh) | 针对聚类模型的数据预处理方法及装置 | |
WO2023193026A1 (en) | Systems and methods for graph-based active learning using semi-supervised classification of sar data | |
Silva et al. | Analysis of CNN architectures for human action recognition in video | |
Shi et al. | Fuzzy support tensor product adaptive image classification for the internet of things | |
Jiang et al. | Enhancing Deep Neural Network Corruption Robustness using Evolutionary Algorithm | |
Shankarampeta et al. | Few-Shot Class Incremental Learning with Generative Feature Replay. | |
WO2021097359A1 (en) | Permutation invariant convolution (pic) for recognizing long-range activities | |
Trentin et al. | Unsupervised nonparametric density estimation: A neural network approach |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |