CN116503712A - 一种基于自监督对比学习的雷达目标识别方法 - Google Patents

一种基于自监督对比学习的雷达目标识别方法 Download PDF

Info

Publication number
CN116503712A
CN116503712A CN202310550291.0A CN202310550291A CN116503712A CN 116503712 A CN116503712 A CN 116503712A CN 202310550291 A CN202310550291 A CN 202310550291A CN 116503712 A CN116503712 A CN 116503712A
Authority
CN
China
Prior art keywords
network
target
radar
layer
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310550291.0A
Other languages
English (en)
Inventor
张寅�
裴季方
刘小钰
黄钰林
王陈炜
霍伟博
杨海光
杨建宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202310550291.0A priority Critical patent/CN116503712A/zh
Publication of CN116503712A publication Critical patent/CN116503712A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开一种自监督对比学习的雷达目标识别方法，应用于目标识别领域，针对SAR图像目标识别中，带标签数据样本量有限的问题，本发明方法包含两个阶段，第一阶段在自监督对比学习网络下对无标签的雷达交叉增强样本进行训练，每个输入样本以不同的方式增强为两个交叉增强样本，该网络通过相似性损失来更新权重，从而最大化同类目标的相似特征并最小化不同类目标的相似特征，实现网络对同一类别目标相似特征的有效提取；第二阶段通过迁移第一阶段的网络权重，并在其后加入一个分类器，利用少量带标签的雷达样本微调网络，从而实现雷达目标识别技术。

Description

一种基于自监督对比学习的雷达目标识别方法
技术领域
本发明属于目标识别领域，特别涉及一种雷达图像目标识别技术。
背景技术
在遥感图像处理中，成像雷达微波遥感探测的主要信息是目标与微波波段电磁波相互作用后反射的微波信息。因此，由成像雷达所获取的雷达图像包含目标物体的形状和散射信息，可以很好的表征特定的目标特征。在众多成像雷达中，合成孔径雷达(syntheticaperture radar,SAR)是一种重要的微波遥感成像系统，其可采集全天候和昼夜高分辨率的图像，而SAR自动目标识别(automatic target recognition,ATR)技术则是SAR应用中关键的挑战之一。因此，SAR ATR在军事和民用领域的应用均具有重要的意义。
深度卷积神经网络(Convolutional Neural Network,CNN)的出现使图像处理的性能得到了提高。得益于其强大的特征学习能力，CNN在SAR ATR领域中也取得了一定进展。但是，此类方法需要大量的标记数据集来训练模型，而大多数SAR图像数据集是未标记或稀疏标记的，这会造成训练深层网络时的过度拟合。文献“Chen,Sizhe,et al."Targetclassification using the deep convolutional networks for SAR images."IEEETransactions on Geoscience and Remote Sensing 54.8(2016):4806-4817.”中提出了一种全卷积网络，将所有全连接层替换为卷积层。该方法通过减少模型参数来减少过度拟合，但其识别性能随着减少标记的训练样本而显著降低。由于SAR图像相较于光学图像更难以获得，且手动标记SAR图像数据耗时耗力，现有的雷达图像数据中只有少部分为带标签数据，仍存在大量未标签的雷达数据。
自监督对比学习通过估计目标之间的相似性来学习数据的一般特征，这种类型的学习可以在没有先验信息的情况下对相似的目标进行分类，并将它们与不同的目标区分开。文献“Ciga,Ozan,Tony Xu,and Anne Louise Martel."Self supervised contrastivelearning for digital histopathology."Machine Learning with Applications 7(2022):100198.”和文献“Güldenring,Ronja,and Lazaros Nalpantidis."Self-supervised contrastive learning on agricultural images."Computers andElectronics in Agriculture 191(2021):106510.”表明了自监督对比学习在数字医学病理图像和农业图像上都取得了一定的成就。若能够充分利用未标签的雷达图像数据，自监督对比学习在推进SAR图像目标识别上具有广阔的前景。
发明内容
为解决上述技术问题，本发明提出一种自监督对比学习的雷达目标识别方法，利用大量未标签雷达样本提取有效目标特征信息。
本发明采用的技术方案为：一种基于自监督对比学习的雷达目标识别方法，包括：
S1、构建预训练模型，所述预训练模型包括：在线网络与目标网络，在线网络包括骨干网络、第一多层感知器层、第二多层感知器层；目标网络包括骨干网络与第三多层感知器层；
S2、对于一张输入的未标签的雷达图像，通过两种不同的增强方式后得到两个交叉增强样本；
S3、将步骤S2得到的两个交叉增强样本分别输入在线网络、目标网络；通过计算在线网络与目标网络各自输出的相似性损失，根据相似性损失更新在线网络的网络权重，再由在线网络中与目标网络中相同的网络架构部分的权重，对应更新目标网络的网络权重；
S4、根据训练完成的预训练模型中的骨干网络构建微调分类网络；微调分类网络的输入为带标签的雷达目标图像样本；所述微调分类网络包括：训练完成的预训练模型中的骨干网络、平均池化操作层、Flatten层、全连接层、SoftMax层，最后对SoftMax层的输出采用交叉熵损失进行微调，得到最终的分类结果。
本发明的有益效果：本发明为了充分利用现有未标签数据样本的目标特征信息，探究自监督对比学习在SAR图像目标识别领域的潜力；利用大量未标签雷达样本提取有效目标特征信息，解决雷达图像样本标签稀缺而导致的网络学习不充分的问题，从而提升网络在少量带标签的数据样本下对雷达目标的识别性能；本发明方法包括两个阶段，在第一阶段的预训练中将未标签的雷达图像数据样本输入网络，通过两种不同的增强方式获取交叉增强样本，分别通过自监督对比学习框架下的在线网络和目标网络，预训练网络模型。利用相似性损失，最大化同一类目标的相似特征的同时，弱化不同类目标的相似特征，提升提取特征的有效性。第二阶段迁移网络权重后，输入带标签的雷达图像数据样本，微调网络，最终实现自监督对比学习下SAR目标的精准识别；实验结果表明，与其它目标识别方法相比，本发明方法可以在利用大量无标签的雷达样本数据的条件下，有效地提高小样本的雷达目标识别网络的准确度和鲁棒性。
附图说明
图1为本发明方法的框架及训练流程示意图。
具体实施方式
为便于本领域技术人员理解本发明的技术内容，下面结合附图对本发明内容进一步阐释。
步骤一：输入未标签的雷达目标图像样本数据集设一张输入的雷达图像为x，通过随机两种不同方式增强后得到交叉增强样本xt和xt'，如下式所示：
其中，和/>为两种不同的样本增强方式。
在本发明方法的自监督对比学习训练阶段中，采用的数据增强方式有5种，分别为随机裁切、翻转、平移、颜色抖动，以及高斯噪声。和/>将以一定的概率执行以上的数据增强方式，表1中列出了两种数据增强的参数设置。
表1数据增强过程中的参数设置
步骤二：两个增强样本xt和xt'分别通过如图1所示的在线网络和目标网络，设在线网络可更新权重为θ，目标网络可更新权重为ξ。增强样本之一xt'输入目标网络，首先通过骨干网络fξ[·]提取雷达目标信息并嵌入到目标特征空间，从而得到提取的特征信息yξ；随后通过多层感知器层(multilayer perceptron，MLP)gξ[·]得到特征空间的映射zξ。
图1中的在线网络与目标网络均为现有已知技术，可以参考：J.-B.Grill,F.Strub,F.Altch′e,C.Tallec,P.Richemond,E.Buchatskaya,C.Doersch,B.Avila Pires,Z.Guo,M.Gheshlaghi Azar et al.,"Bootstrap your own latent-a new approach toself-supervised learning,"Advances in neural information processing systems,vol.33,pp.21 271–21 284,2020.本发明在此不做详细阐述。
另一个增强样本xt输入在线网络，同样首先通过相同架构的骨干网络fθ[·]提取雷达目标信息并嵌入到目标特征空间得到特征信息yθ，本发明方法中，在线网络和目标网络所采用的骨干网络均为ResNet50；然后通过相同结构的MLP层gθ[·]得到特征空间的映射zθ。相较于目标网络，在线网络在得到特征映射后再次通过了一个MLP层qθ[·]得到一个对目标网络特征映射的预测结果qθ[zθ]。最后，利用相似性损失更新网络权重，从而最大化同一类目标的相似特征，弱化不同类目标的相似特征。相似性损失为归一化后的在线网络预测和目标网络映射之间的均方误差，可由下式表示：
其中，<·,·>运算指两者内积，||·||2运算指L2归一化，为qθ(zθ)的数学期望，/>为zξ的数学期望。
每一次训练后，相似性损失用于更新在线网络的网络权重，再由在线网络中与目标网络中相同的网络架构部分的权重，对应更新目标网络的网络权重，可由下式表示：
ξ←τξ+(1-τ)θ， (5)
其中，η为学习率，τ为目标衰减率。式(4)用于更新在线网络的参数，optimizer指网络优化器，表示均方误差损失/>对参数θ的梯度；式(5)用于更新目标网络的参数。
在实验阶段，当使用雷达图像预训练自监督网络时，学习率η设为0.6；当使用光学图像预训练自监督网络时，学习率η设为0.48。每次迭代的目标衰减率τ可由下式表示：
τ＝1-(1-τinitial)·(cos(πk/K)+1)/2， (6)
其中，τinitial为目标衰减率的初始值，始终设为0.996，k为目前所指的训练轮次，K为最大训练轮次。在实验预训练阶段，训练的迭代轮次值设置为200。
通过以上的预训练过程，使得网络模型能够有效提取目标特征，最大化同类目标间的相似特征，并弱化不同类目标间相似特征。再通过步骤三中的网络训练微调，实现目标的类内特征相聚，类间特征分离。
步骤三：迁移预训练模型中在线网络的骨干网络参数，包含实验部分所采用的ResNet50网络每层的权重参数，并如图1所示，在其后添加分类器，输入带标签的雷达目标图像样本，设有Nc类雷达目标，则使用Nc维的独热向量y表示类别标签。该分类网路的输出为类别标签的条件概率分布，可由下式表示：
其中，xL表示输入微调网络的带标签的雷达图像，ζ为包含权重w和偏置b的一系列可更新参数，可由下式表示：
ζ＝wx+b。 (8)
利用交叉熵损失对分类网络进行微调，从而实现雷达图像目标识别，损失函数可由下式表示：
其中，yc为真值独热标签，fc(xL,ζ)为分类器的特征映射函数，以获取包含每个目标类别概率的向量。
本发明方法在网络微调阶段使用雷达数据集MSTAR的标签图像信息，预训练阶段使用未标签的雷达图像和光学图像数据集ImageNet分别预训练模型，识别准确率如表2所示，与其他SAR图像识别技术方法的识别性能比较如表3所示。
表2不同预训练模型下的识别准确率(％)对比
表3不同SAR目标识别方法的性能比较(％)
表3中将本发明方法的识别性能与一些典型的SAR目标识别方法的性能进行了比较，PCA+SVM指将主成分分析和支持向量机结合的传统机器学习方法，LC-KSVD指一种标签一致化的用于稀疏表示的超完备字典设计算法，DNN指普通深度神经网络，CNN指卷积神经网络，GAN-CNN指结合生成对抗网络的卷积神经网络识别方法。本发明方法-1和本发明方法-2的区别为分别使用雷达图像和光学图像ImageNet预训练模型。可以看出，本发明方法的实验获得了相对较高的识别精度，验证了自监督对比学习在SAR目标识别领域的有效性。
ImageNet虽然是与雷达图像不同的光学图像，但是其所预训练的模型微调结果胜于MSTAR所预训练的模型，这得益于ImageNet的数据量是MSTAR的数十倍，若能充分利用大量现存的无标签雷达目标图像，利用分布相似的雷达图像对模型进行预训练，则识别性能可以进一步提升。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (4)

1.一种基于自监督对比学习的雷达目标识别方法，其特征在于，包括：
S1、构建预训练模型，所述预训练模型包括：在线网络与目标网络，在线网络包括骨干网络、第一多层感知器层、第二多层感知器层；目标网络包括骨干网络与第三多层感知器层；
S2、对于一张输入的未标签的雷达图像，通过两种不同的增强方式后得到两个交叉增强样本；
S3、将步骤S2得到的两个交叉增强样本分别输入在线网络、目标网络；通过计算在线网络与目标网络各自输出的相似性损失，根据相似性损失更新在线网络的网络权重，再由在线网络中与目标网络中相同的网络架构部分的权重，对应更新目标网络的网络权重；
S4、根据训练完成的预训练模型中的骨干网络构建微调分类网络；微调分类网络的输入为带标签的雷达目标图像样本；所述微调分类网络包括：训练完成的预训练模型中在线网络的骨干网络、平均池化操作层、Flatten层、全连接层、SoftMax层，最后对SoftMax层的输出采用交叉熵损失进行微调，得到最终的分类结果。
2.根据权利要求1所述的一种基于自监督对比学习的雷达目标识别方法，其特征在于，步骤S2中具体通过随机的方式选择以下增强方式中的2种对输入的未标签的雷达图像进行增强：
随机裁切、翻转、平移、颜色抖动，以及高斯噪声。
3.根据权利要求2所述的一种基于自监督对比学习的雷达目标识别方法，其特征在于，步骤S3中的相似性损失为归一化后的在线网络预测和目标网络映射之间的均方误差；相似性损失表达式为：
其中，表示相似性损失，<·,·>运算指两者内积，||·||2运算指L2归一化，zθ为在线网络特征空间的映射，qθ[zθ]为在线网络对目标网络特征映射的预测结果，/>为qθ(zθ)的数学期望，zξ为目标网络特征空间的映射，/>为zξ的数学期望。
4.根据权利要求3所述的一种基于自监督对比学习的雷达目标识别方法，其特征在于，步骤S4中微调分类网络对应的损失函数为：
其中，yc为真值独热标签，fc(x,θ)为分类器的特征映射函数，以获取包含每个目标类别概率的向量。
CN202310550291.0A 2023-05-16 2023-05-16 一种基于自监督对比学习的雷达目标识别方法 Pending CN116503712A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310550291.0A CN116503712A (zh) 2023-05-16 2023-05-16 一种基于自监督对比学习的雷达目标识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310550291.0A CN116503712A (zh) 2023-05-16 2023-05-16 一种基于自监督对比学习的雷达目标识别方法

Publications (1)

Publication Number Publication Date
CN116503712A true CN116503712A (zh) 2023-07-28

Family

ID=87330223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310550291.0A Pending CN116503712A (zh) 2023-05-16 2023-05-16 一种基于自监督对比学习的雷达目标识别方法

Country Status (1)

Country Link
CN (1) CN116503712A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117911793A (zh) * 2024-03-18 2024-04-19 南开大学 基于深度学习的海洋生物智能检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117911793A (zh) * 2024-03-18 2024-04-19 南开大学 基于深度学习的海洋生物智能检测方法
CN117911793B (zh) * 2024-03-18 2024-05-17 南开大学 基于深度学习的海洋生物智能检测方法

Similar Documents

Publication Publication Date Title
He et al. Recent advances on spectral–spatial hyperspectral image classification: An overview and new guidelines
Nandhini Abirami et al. Deep CNN and Deep GAN in Computational Visual Perception‐Driven Image Analysis
Shi et al. Automatic target recognition for synthetic aperture radar images based on super-resolution generative adversarial network and deep convolutional neural network
CN109375186B (zh) 基于深度残差多尺度一维卷积神经网络的雷达目标识别方法
Gao et al. A novel active semisupervised convolutional neural network algorithm for SAR image recognition
CN111126361B (zh) 基于半监督学习和特征约束的sar目标鉴别方法
CN112990334A (zh) 基于改进原型网络的小样本sar图像目标识别方法
CN112560826B (zh) 图像分类模型的训练方法、图像分类方法及装置
Meng et al. A Fast Recognition Algorithm of Online Social Network Images Based on Deep Learning.
Ren et al. Ship recognition based on Hu invariant moments and convolutional neural network for video surveillance
Li et al. A comprehensive survey on SAR ATR in deep-learning era
Zhai et al. Robust SAR Automatic Target Recognition Based on Transferred MS‐CNN with L2‐Regularization
Shi et al. A novel ship detection method based on gradient and integral feature for single-polarization synthetic aperture radar imagery
Rajendran et al. Hyperspectral image classification model using squeeze and excitation network with deep learning
Wang et al. Aircraft image recognition network based on hybrid attention mechanism
Jiang et al. Hyperspectral image classification with transfer learning and Markov random fields
CN116503712A (zh) 一种基于自监督对比学习的雷达目标识别方法
He et al. Hyperspectral pansharpening based on spectral constrained adversarial autoencoder
Li et al. Adoption of machine learning in intelligent terrain classification of Hyperspectral remote sensing images
Asiyabi et al. Complex-valued end-to-end deep network with coherency preservation for complex-valued sar data reconstruction and classification
Pei et al. Self-Supervised Feature Representation for SAR Image Target Classification Using Contrastive Learning
Dang et al. Spectral‐Spatial Attention Transformer with Dense Connection for Hyperspectral Image Classification
Dahiya et al. A review on deep learning classifier for hyperspectral imaging
Li et al. PolSAR image building extraction with G0 statistical texture using convolutional neural network and superpixel
Nyabuga et al. [Retracted] A 3D‐2D Convolutional Neural Network and Transfer Learning for Hyperspectral Image Classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination