CN116597300A - 一种融合并对齐视觉特征与散射拓扑特征的无监督域自适应sar目标识别方法 - Google Patents

一种融合并对齐视觉特征与散射拓扑特征的无监督域自适应sar目标识别方法 Download PDF

Info

Publication number
CN116597300A
CN116597300A CN202310411818.1A CN202310411818A CN116597300A CN 116597300 A CN116597300 A CN 116597300A CN 202310411818 A CN202310411818 A CN 202310411818A CN 116597300 A CN116597300 A CN 116597300A
Authority
CN
China
Prior art keywords
scattering
topological
image
sar
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310411818.1A
Other languages
English (en)
Inventor
王英华
张晨
刘宏伟
孙媛爽
王思源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202310411818.1A priority Critical patent/CN116597300A/zh
Publication of CN116597300A publication Critical patent/CN116597300A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种融合并对齐视觉特征与散射拓扑特征的无监督域自适应SAR目标识别方法，包括以下步骤：基于ASC模型分别提取源域图像和目标域图像的散射拓扑点并构建对应的散射拓扑图；基于SAR‑SIFT算法分别提取源域图像和目标域图像的散射拓扑点并构建对应的散射拓扑图；构建深度识别网络Ψ；使用源域数据(包括图像和两种不同的散射拓扑图)和目标域数据(包括图像和两种不同的散射拓扑图)对深度识别网络Ψ进行训练；将待识别目标域数据输入训练好的深度识别网络，得到目标识别结果。本发明能够充分地利用SAR图像的散射特性，同时减少仿真图像和实测图像之间的视觉差异和散射拓扑差异，并在特征空间中逐类地对齐仿真图像和实测图像，从而显著提升了识别性能。

Description

一种融合并对齐视觉特征与散射拓扑特征的无监督域自适应 SAR目标识别方法
技术领域
本发明属于雷达图像处理技术领域，具体涉及一种融合并对齐视觉特征与散射拓扑特征的无监督域自适应SAR目标识别方法。
背景技术
受益于其独特的电磁散射成像机制，合成孔径雷达(SAR)可以全天时全天候工作，并能长距离高分辨率成像，因此被广泛应用于军事和民用领域。与光学图像相比，SAR图像缺乏颜色信息并易受斑点噪声的干扰，因此解译SAR图像是更加困难的。自动目标识别(ATR)是智能解译SAR图像的一项关键主题并受到了研究人员们的广泛关注。
近年来随着深度学习的迅速发展，研究人员们提出了多种基于深度学习的算法。深度学习是一种数据驱动算法，其高性能往往建立在大量的训练数据之上。然而，实测SAR图像的获取和标记都是既耗时又费力的事情。与光学数据集相比，SAR图像数据集往往图像数目少并且图像尺寸小。样本的不充足严重阻碍了基于深度学习的SAR ATR算法的发展。数据扩充是一种能缓解样本不充足的主流理论。由于SAR独特的基于目标后向散射回波成像机制，因此通过目标的计算机辅助设计(CAD)模型和电磁仿真软件可以生成仿真SAR图像。然而仿真SAR图像不能完全代替实测SAR图像。在仿真程序中，目标的CAD模型、目标所处地面背景、目标表面材料电磁反射参数和电磁波的传播过程都不能精确地符合真实物理环境，这导致仿真SAR图像和实测SAR图像之间存在领域分布差异，即不满足独立同分布条件。分布差异进一步导致仅靠仿真图像训练得到的分类器难以很好地泛化到实测图像上，因此分类器的准确率往往偏低。如何跨越仿真图像和实测图像之间存在的分布差异，基于仿真图像精确地识别实测图像成为了一个具有实际应用价值的工程问题。针对这个问题，目前已有一些工作展开了相关研究。
专利CN202111188558.3(“融合CNN与图像相似度的零样本SAR目标识别方法”)提出了一种两步式的识别算法，该方法使用基于仿真数据训练的卷积神经网络作为预分类器，使用多相似度融合分类器作为精分类器，通过粗分类和精分类在一定程度上提升了识别性能。
Wang等人2019年在其发表的论文“SAR target recognition based on cross-domain and cross-task transfer learning”(IEEE Access)中结合元学习和领域对抗训练实现了跨任务和跨领域的迁移学习。该算法首先使用大量的仿真数据预训练网络，然后使用实测数据微调网络。
Sun等人2021年在其发表的论文“SAR target recognition using simulateddata by an ensemble multi-scale deep domain adaption recognition framework”(Proc.CIE Int.Conf.Radar)中引入了领域自适应理论，同时设计了一个多尺度特征提取模块以提取更具有泛化能力的特征，并且通过集成学习进一步提升了识别准确率。
Du等人2022年在其发表的论文“Physical-Related Feature Extraction fromSimulated SAR Image Based on the Adversarial Encoding Network for DataAugmentation”(IEEE Geoscience and Remote Sensing Letters)通过结合图像重建和领域对抗训练提出了一种对抗编码网络，该网络可以将仿真数据之间含有的物理特征迁移到实测数据上作为补充。
上述方法仍存在的问题是：上述四种方法中，第一种方法的精分类器基于模板匹配的识别思想，需要大量的模板图像并且计算效率非常低下。后三种方法都利用了领域自适应理论，但是本质上都是将SAR图像当作光学图像处理的，即将振幅SAR图像输入深度卷积神经网络中提取特征，而忽略了SAR图像与光学图像不同的成像特性，同时，这三种方法仅仅对齐了仿真图像和实测图像之间的整体分布，而忽略了子类别之间的分布情况，影响跨域识别性能。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种融合并对齐视觉特征与散射拓扑特征的无监督域自适应SAR目标识别方法。本发明要解决的技术问题通过以下技术方案实现：
一种融合并对齐视觉特征与散射拓扑特征的无监督域自适应SAR目标识别方法，包括以下步骤：
步骤100，基于ASC模型分别提取原始源域图像和原始目标域图像/>中每一幅SAR图像X的散射拓扑点并构建对应的第一散射拓扑图GASC，得到第一源域散射拓扑图/>和第一目标域散射拓扑图/>
步骤200，基于SAR-SIFT算法分别提取原始源域图像和原始目标域图像/>中每一幅SAR图像X的散射拓扑点并构建对应的第二散射拓扑图GSST，得到第二源域散射拓扑图和第二目标域散射拓扑图/>
步骤300，构建包括视觉特征提取子网络、图像重建子网络、基于ASC的散射拓扑特征提取子网络、基于SAR-SIFT的散射拓扑特征提取子网络和特征融合子网络的深度识别网络Ψ；
步骤400，基于原始源域图像第一源域散射拓扑图/>第二源域散射拓扑图原始目标域图像/>第一目标域散射拓扑图/>和第二目标域散射拓扑图/>对所述深度识别网络Ψ进行训练，得到训练完成的目标深度识别网络Ψ′；
步骤500，将待识别原始目标域图像、待识别第一目标域散射拓扑图和待识别第二目标域散射拓扑图输入所述目标深度识别网络Ψ′，得到目标识别结果。
在本发明的一个实施例中，所述步骤100包括：
步骤110，对于每一幅SAR图像X使用所述ASC模型提取多个散射拓扑点；其中，每个散射拓扑点对应一个特征向量，第i个散射拓扑点对应的特征向量为Ai表示复振幅，ai表示频率依赖因子，xi和yi分别表示距离向和方位向的位置坐标，Li表示散射拓扑点的长度，/>和γi分别表示散射拓扑点的方向角和方位依赖因子；
步骤120，将SAR图像X的散射拓扑点对应的特征向量中的所述复振幅Ai分解为模|Ai|和相位去掉所述频率依赖因子ai和所述方位依赖因子γi，所述第i个散射拓扑点对应的特征向量表示为
步骤130，去掉SAR图像X中和多个散射拓扑点的质心之间的欧式距离大于距离阈值的位于背景区域的散射拓扑点，得到SAR图像X的第一提取散射拓扑点；
步骤140，根据所述第一提取散射拓扑点构建SAR图像X对应的第一散射拓扑图GASC；所述原始源域图像中所有的SAR图像的第一散射拓扑图和所述原始目标域图像/>中所有的SAR图像的第一散射拓扑图对应构成第一源域散射拓扑图/>和第一目标域散射拓扑图/>
在本发明的一个实施例中，所述步骤130包括：
步骤131，计算SAR图像X的所述多个散射拓扑点的质心
其中，p表示散射拓扑点的数量；
步骤132，计算SAR图像X的每个散射拓扑点对应的坐标(xi,yi)和质心之间的欧式距离/>
步骤133，去掉所述欧式距离di大于距离阈值τdis的位于背景区域的散射拓扑点，得到SAR图像X的第一提取散射拓扑点。
在本发明的一个实施例中，所述步骤140包括：
步骤141，将SAR图像X的所述第一提取散射拓扑点作为第一散射拓扑图GASC的图结构的节点；其中，图结构的节点集合q′为第一提取散射拓扑点的数目；
步骤142，计算SAR图像X的任意两个节点对应的特征向量之间的余弦相似度，若余弦相似度大于或等于相似阈值τsim则两个节点之间存在边；
所述节点集合和所述边集合构成SAR图像X对应的所述第一散射拓扑图GASC＝(V,M)；所述原始源域图像中所有的SAR图像的第一散射拓扑图和所述原始目标域图像/>中所有的SAR图像的第一散射拓扑图对应构成所述第一源域散射拓扑图/>和所述第一目标域散射拓扑图/>
在本发明的一个实施例中，所述步骤200包括：
步骤210，基于SAR-Harris算法提取每一幅所述SAR图像X的角点；
步骤220，基于聚类算法提取每一幅SAR图像X的强散射点，一幅SAR图像X的强散射点和角点共同构成该SAR图像X的散射拓扑点；
步骤230，去掉SAR图像X中振幅值位于累积分布函数最大的1％范围以外的位于背景区域的散射拓扑点，得到SAR图像X的多个第二提取散射拓扑点；
步骤240，去掉SAR图像X中和多个第二提取散射拓扑点的质心之间的欧式距离大于阈值的位于背景区域的第二提取散射拓扑点，得到SAR图像X的第三提取散射拓扑点；
步骤250，生成SAR-SIFT描述符作为SAR图像X的所述第三提取散射拓扑点的特征向量；
步骤260，根据SAR图像X的所述第三提取散射拓扑点构建SAR图像X对应的第二散射拓扑图GSST；所述原始源域图像中所有的SAR图像的第二散射拓扑图和所述原始目标域图像/>中所有的SAR图像的第二散射拓扑图对应构成所述第二源域散射拓扑图/>和所述第二目标域散射拓扑图/>
在本发明的一个实施例中，所述基于聚类算法提取每一幅SAR图像X的强散射点，包括：
步骤221，将所述SAR图像X从矩阵形式变形为向量形式；
步骤222，根据SAR图像X的振幅值从大到小的顺序重新排序该向量；
步骤223，将第一个元素的聚类标签初始化为0；
步骤224，从第二个元素开始从大到小遍历每个元素；
步骤225，当遍历到第i个元素时，判断第i个元素是否在前i-1个元素的8邻域内；
若第i个元素不在前i-1个元素中任意一个元素的8邻域内，则第i个元素为新增类别；
若第i个元素仅位于前i-1个元素中某一个元素的8邻域内，则将该元素的类别标记赋给第i个元素；
若第i个元素位于前i-1个元素中多个元素的8邻域内，则第i个元素的类别标签标记为该多个元素中振幅值最大值对应的类别；
步骤226，遍历完成之后，将SAR图像X从向量形式还原为矩阵形式，将每个聚类簇抽象为一个强散射点。
在本发明的一个实施例中，所述步骤230包括：
步骤231，统计所述SAR图像X中所有像素振幅的累积分布函数；
步骤232，去掉振幅值位于累积分布函数最大的1％范围以外的位于背景区域的散射拓扑点，得到SAR图像X的多个第二提取散射拓扑点。
在本发明的一个实施例中，所述视觉特征提取子网络包括依次设置的第一提取卷积层LC1、第二提取激活层LC2、第三提取卷积层LC3、第四提取激活层LC4、第五提取卷积层LC5、第六提取激活层LC6、第七提取卷积层LC7、第八提取激活层LC8、第九提取卷积层LC9和第十提取激活层LC10；
所述视觉特征提取子网络的输入为所述SAR图像X，输出为512维的视觉特征向量；
所述图像重建子网络包括依次设置的第一重建卷积层L′C1、第二重建激活层L′C2、第三重建卷积层L′C3、第四重建激活层L′C4、第五重建卷积层L′C5、第六重建激活层L′C6、第七重建卷积层L′C7、第八重建激活层L′C8、第九重建卷积层L′C9和第十重建激活层L′C10；
所述图像重建子网络的输入为所述512维的视觉特征向量，输出为重建SAR图像
所述基于ASC的散射拓扑特征提取子网络包括依次设置的第一ASC图卷积层LG1、第二ASC激活层LG2、第三ASC图卷积层LG3、第四ASC激活层LG4和第五ASC读出层LG5；
所述基于ASC的散射拓扑特征提取子网络的输入为第一散射拓扑图GASC，输出为256维的散射拓扑特征向量；
所述基于SAR-SIFT的散射拓扑特征提取子网络包括依次设置的第一SST图卷积层L′G1、第二SST激活层L′G2、第三SST图卷积层L′G3、第四SST激活层L′G4和第五SST读出层L′G5；
所述基于SAR-SIFT的散射拓扑特征提取子网络的输入为第二散射拓扑图GSST，输出为256维的散射拓扑特征向量；
所述特征融合子网络包括第一融合全连接层LF1、第二融合激活层LF2、第三融合全连接层LF3和第四融合分类器层LF4；
所述特征融合子网络的输入为所述512维的视觉特征向量、所述基于ASC的散射拓扑特征提取子网络提取的256维散射拓扑特征向量和所述基于SAR-SIFT的散射拓扑特征提取子网络提取的256维散射拓扑特征向量共同拼接构成的1024维特征向量，输出为10维的类别预测标签
所述视觉特征提取子网络与所述图像重建子网络连接，所述视觉特征提取子网络、所述基于ASC的散射拓扑特征提取子网络和所述基于SAR-SIFT的散射拓扑特征提取子网络均与特征融合子网络连接。
在本发明的一个实施例中，所述步骤400包括：
步骤410，将原始源域图像第一源域散射拓扑图/>第二源域散射拓扑图原始目标域图像/>第一目标域散射拓扑图/>和第二目标域散射拓扑图/>输入所述深度识别网络Ψ进行前向传播，获得重建SAR图像、第二融合激活层LF2输出的融合特征和类别预测标签；
步骤420，计算重建损失，重建损失的损失函数为：
其中，和/>分别表示第i幅原始源域图像和第j幅原始目标域图像，/>和/>分别表示重建得到的第i幅源域图像和第j幅目标域图像，ns和nt分别表示源域图像和目标域图像的数目，/>表示平方矩阵F范数；
步骤430，计算分类损失，分类损失的损失函数为：
其中，表示第i幅源域图像独热编码形式的类别真实标签，/>表示对应的类别预测标签；
步骤440，计算领域自适应损失，领域自适应损失的损失函数为：
其中，Lossglobal表示全局域自适应损失，Losslocal表示局部域自适应损失，τep表示训练迭代阈值；
步骤450，计算总损失，计算公式为：
Losstotal＝Lossrec+Losscls+Lossda；
步骤460，通过反向传播更新深度识别网络Ψ的参数，得到目标深度识别网络Ψ′。
本发明的有益效果：
1、本发明充分挖掘了SAR图像的散射特性，发现仿真SAR图像和实测SAR图像中的同类目标不仅存在视觉差异，还存在散射拓扑结构上的差异。因此本发明同时在视觉空间和散射拓扑空间中对齐了仿真图像和实测图像的分布，进一步提升网络跨域识别性能。
2、本发明使用图结构来建模目标的散射拓扑结构并引入图神经网络(GNN)来提取目标的散射拓扑特征。图结构可以通过节点表示局部散射信息，通过边表示目标的空间拓扑结构。GNN可以将结构学习聚合在节点特征学习的过程中，因此最后提取的散射拓扑特征同时包含了目标的局部散射信息和空间拓扑结构。
3、本发明使用了属性散射中心(ASC)模型和SAR-尺度不变特征变换(SIFT)算法两种不同的方法来提取并建模目标的散射拓扑结构，前者反映目标的物理属性，如振幅、位置、形状和方位，后者主要通过梯度信息来反映目标的边缘信息，本发明在特征级融合了这两种方法，为网络提供了更多的信息，从而提升了网络跨域识别性能。
4、本发明通过两阶段的领域自适应损失函数不仅对齐了仿真SAR图像和实测SAR图像整体的分布，还对齐了对应子类别的分布，使得基于仿真SAR图像训练得到的网络能够更好地泛化到实测SAR图像上，进一步提升了网络跨域识别性能。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1为本发明实施例提供的一种融合并对齐视觉特征与散射拓扑特征的无监督域自适应SAR目标识别方法的流程示意图；
图2a为一幅SAR图像X；
图2b为图2a经过步骤110提取出的散射拓扑点的示意图；
图2c为图2b经过步骤130处理得到第一提取散射拓扑点的示意图；
图2d为本发明实施例提供的构建的第一散射拓扑图GASC；
图3a为一幅SAR图像X；
图3b为图3a经过步骤210提取出的角点的示意图；
图3c为图3a经过步骤220提取出的强散射点的示意图；
图3d为本发明实施例提供的由强散射点和角点共同构成的散射拓扑点的示意图；
图3e为图3d经过步骤230处理得到第二提取散射拓扑点的示意图；
图3f为图3e经过步骤240处理得到第三提取散射拓扑点的示意图；
图3g为本发明实施例提供的构建的第二散射拓扑图GSST；
图4为本发明实施例提供的深度识别网络Ψ的结构与前向传播示意图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
目前基于深度学习的目标识别算法在SAR ATR任务中取得了很好的效果，然而深度学习是一种数据驱动算法，其高性能往往建立在大量的训练数据之上。但是，实测SAR图像的获取和标记都是既耗时又费力的事情。与光学数据集相比，SAR图像数据集往往图像数目少并且图像尺寸小。在样本不足时，基于深度学习的识别算法性能往往会显著下降。因此，如何在实测样本稀缺的情况设计识别算法是一个有实际应用价值的工程问题。得益于SAR主动发射电磁波并根据目标的后向散射回波成像的特点，根据目标的CAD模型和电磁仿真程序合成仿真SAR图像成为一种扩充SAR图像的有效方式。然而由于CAD建模和电磁仿真过程不能完全符合真实物理情况，因此仿真SAR图像和实测SAR图像存在一定的差异，不满足独立同分布条件。这导致直接使用仿真图像训练分类器识别实测图像往往不能获得很好的性能。
目前已有部分学者引入了领域自适应理论在特征空间对齐仿真图像和实测图像之间的分布，从而使基于仿真图像训练得到的分类器能够泛化到实测图像上。然而现有方法大多都是直接将SAR图像当作光学图像处理，忽略了SAR图像自身的成像特性。同时现有方法往往只对齐了仿真图像和实测图像整体之间的分布，而忽略了子类别之间的分布情况。
为了提升识别性能，本发明提出了一种融合并对齐视觉特征与散射拓扑特征的无监督域自适应SAR目标识别方法，具体为：
实施例一
如图1所示，一种融合并对齐视觉特征与散射拓扑特征的无监督域自适应SAR目标识别方法，包括以下步骤：
步骤100，基于ASC模型分别提取原始源域图像和原始目标域图像/>中每一幅SAR图像X的散射拓扑点并构建对应的第一散射拓扑图GASC，得到第一源域散射拓扑图/>和第一目标域散射拓扑图/>
步骤200，基于SAR-SIFT算法分别提取原始源域图像和原始目标域图像/>中每一幅SAR图像X的散射拓扑点并构建对应的第二散射拓扑图GSST，得到第二源域散射拓扑图和第二目标域散射拓扑图/>
步骤300，构建包括视觉特征提取子网络、图像重建子网络、基于ASC的散射拓扑特征提取子网络、基于SAR-SIFT的散射拓扑特征提取子网络和特征融合子网络的深度识别网络Ψ；
步骤400，基于原始源域图像第一源域散射拓扑图/>第二源域散射拓扑图原始目标域图像/>第一目标域散射拓扑图/>和第二目标域散射拓扑图/>对深度识别网络Ψ进行训练，得到训练好的目标深度识别网络Ψ′；
步骤500，将待识别原始目标域图像、待识别第一目标域散射拓扑图和待识别第二目标域散射拓扑图输入目标深度识别网络Ψ′，得到目标识别结果。
本实施例中，通过卷积神经网络(CNN)提取SAR图像的视觉特征并基于图像重建增强视觉特征的泛化能力，通过ASC模型和SAR-SIFT算法两种不同的方法分别提取SAR图像的散射拓扑点，进一步使用图结构建模目标的散射拓扑结构，通过GNN提取目标的散射拓扑特征，融合并重编码目标的视觉特征与两种不同的散射拓扑特征以去除冗余信息，通过改进的两阶段领域自适应损失在特征空间中逐类别地对齐仿真图像和实测图像之间的分布，使得基于仿真图像训练得到的分类器能够精确地识别实测图像。
本发明的方法能够充分地利用SAR图像的散射特性，使用不同的方法提取目标的散射拓扑点并使用图结构建模目标的散射拓扑结构，进而通过GNN提取目标的散射拓扑特征。该特征不仅能够包含目标的局部电磁散射信息，还能够在一定程度上反映目标的空间拓扑结构信息。同时，本发明也提取了SAR图像的视觉特征，并通过图像重建进一步提升了视觉特征的泛化能力。然后，本发明还融合并重编码了视觉特征与散射拓扑特征以生成更鲁棒和更有效的特征。最后，本发明的两阶段领域自适应损失能够更加精确地在特征空间中对齐仿真图像和实测图像中对应类别的分布，进一步提升识别性能。
实施例二
一种融合并对齐视觉特征与散射拓扑特征的无监督域自适应SAR目标识别方法，包括以下步骤：
步骤100，基于ASC模型分别提取原始源域图像(有标签的仿真图像)和原始目标域图像/>(无标签的实测图像)中每一幅SAR图像X的散射拓扑点并构建对应的散射拓扑图GASC，得到第一源域散射拓扑图/>和第一目标域散射拓扑图/>具体地，如图2a-图2d所示，步骤100包括：步骤110-步骤140。
步骤110，对每一幅SAR图像X使用基于图像域稀疏表示的ASC参数估计算法提取多个散射拓扑点(即散射中心)；本实施例中，提取的散射拓扑点数p设为20。
其中，每个散射拓扑点对应一个特征向量，第i个散射拓扑点对应的特征向量为Ai表示复振幅，ai表示频率依赖因子，xi和yi分别表示距离向和方位向的位置坐标，Li表示散射拓扑点的长度，/>和γi分别表示散射拓扑点的方向角和方位依赖因子；
步骤120，将SAR图像X的散射拓扑点对应的特征向量中的复振幅Ai分解为模|Ai|和相位忽略频率依赖因子ai和方位依赖因子γi，第i个散射拓扑点对应的特征向量表示为/>
步骤130，根据SAR图像X的散射拓扑点和质心之间的距离去除位于背景区域错误提取的散射拓扑点：去掉和散射拓扑点的质心之间的欧式距离大于距离阈值的散射拓扑点，得到SAR图像X的第一提取散射拓扑点；其中，步骤130包括步骤131-步骤133：
步骤131，计算SAR图像X的所有散射拓扑点的质心
其中，p表示散射拓扑点的数量；
步骤132，计算SAR图像X的每个散射拓扑点对应的坐标(xi,yi)和质心之间的欧式距离/>
步骤133，去掉欧式距离di大于距离阈值τdis的位于背景区域的散射拓扑点，得到SAR图像X的第一提取散射拓扑点。其中，距离阈值τdis设为30。
步骤140，根据第一提取散射拓扑点构建SAR图像X对应的第一散射拓扑图GASC；具体地，步骤140包括步骤141-步骤142：
步骤141，图结构由节点集合和边集合构成，将SAR图像X的第一提取散射拓扑点作为第一散射拓扑图GASC的节点，得到节点集合其中q′为第一提取散射拓扑点的数目；
步骤142，边集合通常使用邻接矩阵来表示，mi,j＝1表示节点i和节点j之间存在边。计算SAR图像X的任意两个节点对应的特征向量之间的余弦相似度，若余弦相似度大于或等于相似阈值τsim则两个节点之间存在边，即：
其中，<·,·>表示向量内积，得到节点集合V和邻接矩阵M后，即得到了SAR图像X对应的第一散射拓扑图GASC＝(V,M)。优选地，相似阈值τsim设为0.0。图2d中展示了目标上不同节点之间的连接关系。原始源域图像中所有的SAR图像的第一散射拓扑图和原始目标域图像/>中所有的SAR图像的第一散射拓扑图对应构成第一源域散射拓扑图/>和第一目标域散射拓扑图/>
需要说明的是，由于原始源域图像和原始目标域图像/>均采用上述步骤110-步骤140的处理过程得到散射拓扑图，上述步骤为了简洁地进行描述，将原始源域图像和原始目标域图像/>中的任一幅图像均记为SAR图像X，其中ns和nt分别为原始源域图像和原始目标域图像的数目，则具体地，原始源域图像/>的任一幅SAR图像/>对应的第一散射拓扑图为/>原始目标域图像/>的任一幅SAR图像/>对应的第一散射拓扑图为/>则原始源域图像/>的所有SAR图像的第一散射拓扑图构成第一源域散射拓扑图/>则原始目标域图像/>的所有SAR图像的第一散射拓扑图构成第一目标域散射拓扑图/>
步骤200，基于SAR-SIFT算法分别提取原始源域图像和原始目标域图像/>中每一幅SAR图像X的散射拓扑点并构建对应的散射拓扑图GSST，得到第二源域散射拓扑图/>和第二目标域散射拓扑图/>具体地，如图3a-图3g所示，步骤200包括步骤210-步骤260：
步骤210，基于SAR-Harris算法提取每一幅SAR图像X的角点；
步骤220，基于聚类算法提取每一幅SAR图像X的强散射点，一幅SAR图像X的强散射点和角点共同构成该SAR图像X的散射拓扑点；具体地，基于聚类算法提取每一幅SAR图像X的强散射点包括步骤221-步骤226：
步骤221，将SAR图像X从矩阵形式变形为向量形式；
步骤222，根据SAR图像X的振幅值从大到小的顺序重新排序该向量；
步骤223，将第一个元素(即振幅值最大的元素)的聚类标签初始化为0；
步骤224，从第二个元素(即振幅值次大的元素)开始从大到小遍历每个元素；
步骤225，当遍历到第i个元素时，判断第i个元素是否在前i-1个元素的8邻域内；
若第i个元素不在前i-1个元素中任意一个元素的8邻域内，则第i个元素为新增类别；
若第i个元素仅位于前i-1个元素中某一个元素的8邻域内，则将该元素的类别标记赋给第i个元素；
若第i个元素位于前i-1个元素中多个元素的8邻域内，则第i个元素的类别标签标记为该多个元素中振幅值最大值对应的类别；
步骤226，所有元素遍历完成之后，将SAR图像X从向量形式还原为矩阵形式，将每个聚类簇抽象为一个强散射点，该点的坐标为该聚类的质心，该点的振幅值为质心处的振幅值。
步骤230，根据SAR图像X的散射拓扑点的振幅值去除位于背景区域错误提取的点：去掉振幅值位于累积分布函数最大的1％范围以外的散射拓扑点，得到SAR图像X的多个第二提取散射拓扑点；步骤230包括步骤231-步骤232：
步骤231，统计SAR图像X中所有像素振幅的累积分布函数；
步骤232，保留振幅值位于累积分布函数最大的1％范围内的散射拓扑点，去除不在范围内的散射拓扑点，得到SAR图像X的多个第二提取散射拓扑点。
步骤240，根据SAR图像X的散射拓扑点和质心之间的距离进一步去除位于背景区域错误提取的点：去掉和第二提取散射拓扑点的质心之间的欧式距离大于阈值的位于背景区域的第二提取散射拓扑点，得到SAR图像X的第三提取散射拓扑点；本步骤与步骤130相同。
步骤250，为SAR图像X的第三提取散射拓扑点生成SAR-SIFT描述符作为特征向量；
步骤260，根据SAR图像X的第三提取散射拓扑点构建SAR图像X对应的第二散射拓扑图GSST；本步骤与步骤140的具体步骤类似，不同之处在于本步骤的节点特征为108维的SAR-SIFT描述符，同时相似阈值τsim设为0.6。图3g中展示了目标上不同节点之间的连接关系。原始源域图像中所有的SAR图像的第二散射拓扑图和原始目标域/>中所有的SAR图像的第二散射拓扑图对应构成第二源域散射拓扑图/>和第二目标域散射拓扑图/>
需要说明的是，由于原始源域图像和原始目标域图像/>均采用上述步骤210-步骤260的处理过程得到散射拓扑图，上述步骤为了简洁地进行描述，将原始源域图像/>和原始目标域图像/>中的任一幅图像均记为SAR图像X，则具体地，原始源域图像的任一幅SAR图像/>对应的第二散射拓扑图为/>原始目标域图像的任一幅SAR图像/>对应的第二散射拓扑图为/>则原始源域图像/>的所有SAR图像的第二散射拓扑图构成第二源域散射拓扑图/>则原始目标域图像/>的所有SAR图像的第二散射拓扑图构成第二目标域散射拓扑图/>
步骤300，构建包括视觉特征提取子网络、图像重建子网络、基于ASC的散射拓扑特征提取子网络、基于SAR-SIFT的散射拓扑特征提取子网络和特征融合子网络的深度识别网络Ψ，如图4所示。
各个子网络的具体结构如下：
视觉特征提取子网络为卷积编码网络Encoder，包括五层卷积层和五层激活层，具体结构为依次设置的第一提取卷积层LC1、第二提取激活层LC2、第三提取卷积层LC3、第四提取激活层LC4、第五提取卷积层LC5、第六提取激活层LC6、第七提取卷积层LC7、第八提取激活层LC8、第九提取卷积层LC9和第十提取激活层LC10；
视觉特征提取子网络的输入为SAR图像X，输出为512维的视觉特征向量；
设置各层参数如下：五层卷积层的卷积核个数分别设为32、64、128、256、512，卷积核尺寸分别设为5×5、5×5、3×3、3×3、4×4，卷积核步长分别设为2、2、2、2、1；五层激活层均使用ReLU激活函数。
图像重建子网络为卷积解码网络Decoder，包括五层反卷积层和五层激活层，具体结构为依次设置的第一重建反卷积层L′C1、第二重建激活层L′C2、第三重建反卷积层L′C3、第四重建激活层L′C4、第五重建反卷积层L′C5、第六重建激活层L′C6、第七重建反卷积层L′C7、第八重建激活层L′C8、第九重建反卷积层L′C9和第十重建激活层L′C10；
图像重建子网络的输入为512维的视觉特征向量，输出为重建SAR图像
设置各层参数如下：五层反卷积层的卷积核个数分别设为256、128、64、32、1，卷积核尺寸分别设为4×4、3×3、3×3、5×5、5×5，卷积核步长分别设为1、2、2、2、2；五层激活函数层中前四层使用ReLU激活函数，最后一层使用Tanh激活函数。
基于ASC的散射拓扑特征提取子网络为图神经网络GNNASC，包括两层图卷积层、两层激活层和一层读出层，具体结构为依次设置的第一ASC图卷积层LG1、第二ASC激活层LG2、第三ASC图卷积层LG3、第四ASC激活层LG4和第五ASC读出层LG5；
基于ASC的散射拓扑特征提取子网络的输入为第一散射拓扑图GASC，输出为256维的散射拓扑特征向量；
设置各层参数如下：两层图卷积层均使用图注意力卷积层，卷积多头数设为4，多头提取的特征采用拼接的方式，第一层中每个卷积头的权重维度为6×64，第二层中每个卷积头的权重维度为256×64；两层激活层均使用ELU激活函数；读出层使用逐元素最大池化读出方式。
基于SAR-SIFT的散射拓扑特征提取子网络为图神经网络GNNSST，包括两层图卷积层、两层激活层和一层读出层，具体结构为依次设置的第一SST图卷积层L′G1、第二SST激活层L′G2、第三SST图卷积层L′G3、第四SST激活层L′G4和第五SST读出层L′G5；
基于SAR-SIFT的散射拓扑特征提取子网络的输入为第二散射拓扑图GSST，输出为256维的散射拓扑特征向量；
设置各层参数如下：两层图卷积层均使用图注意力卷积层，卷积多头数设为4，多头提取的特征采用拼接的方式，第一层中每个卷积头的权重维度为108×64，第二层中每个卷积头的权重维度为256×64；两层激活层均使用ELU激活函数；读出层使用逐元素最大池化读出方式。
特征融合子网络为全连接网络FC，包括两层全连接层、一层激活层和一层分类器层，具体结构为第一融合全连接层LF1、第二融合激活层LF2、第三融合全连接层LF3和第四融合分类器层LF4；
特征融合子网络的输入为卷积编码网络Encoder提取的512维的视觉特征向量、图神经网络GNNASC提取的256维散射拓扑特征向量和图神经网络GNNSST提取子网络提取的256维散射拓扑特征向量共同拼接构成的1024维特征向量，输出为10维的类别预测标签
设置各层参数如下：两层全连接层的权重维度分别设为1024×128和128×10；激活层使用ReLU激活函数；分类器层使用softmax分类器。
本实施例中，视觉特征提取子网络与图像重建子网络连接，视觉特征提取子网络、基于ASC的散射拓扑特征提取子网络和基于SAR-SIFT的散射拓扑特征提取子网络均与特征融合子网络连接，也即是五个子网络如图4所示顺序组合在一起，构成深度神经网络Ψ。
步骤400，将原始源域图像第一源域散射拓扑图/>第二源域散射拓扑图原始目标域图像/>第一目标域散射拓扑图/>和第二目标域散射拓扑图/>输入深度识别网络Ψ进行前向传播，并计算重建损失、分类损失和领域自适应损失，并通过反向传播更新网络参数，得到训练好的目标深度识别网络Ψ′。具体地，如图4所示，步骤400包括步骤410-步骤460：
步骤410，将原始源域图像第一源域散射拓扑图/>第二源域散射拓扑图原始目标域图像/>第一目标域散射拓扑图/>和第二目标域散射拓扑图/>输入深度识别网络Ψ进行前向传播，获得重建SAR图像、第二融合激活层LF2输出的融合特征和类别预测标签；
步骤420，计算重建损失，重建损失使用均方误差损失函数，重建损失的损失函数为：
其中，和/>分别表示第i幅原始源域图像和第j幅原始目标域图像，/>和/>分别表示重建得到的第i幅源域图像和第j幅目标域图像，ns和nt分别表示源域图像和目标域图像的数目，/>表示平方矩阵F范数；
步骤430，计算分类损失，分类损失使用交叉熵损失函数，分类损失的损失函数为：
其中，表示第i幅源域图像独热编码形式的类别真实标签，/>表示对应的类别预测标签；
步骤440，计算领域自适应损失，领域自适应损失的损失函数为：
其中，Lossglobal表示全局域自适应损失，Losslocal表示局部域自适应损失，τep表示训练迭代阈值；本实施例中训练迭代阈值设为60。在训练的前60个轮次中，本发明使用全局域自适应损失以快速对齐源域数据和目标域数据的整体分布；在训练的后期，源域数据和目标域数据的整体分布已初步对齐之后，本发明使用局部域自适应损失以逐类的对齐源域数据和目标域数据子类的分布，使得基于源域数据训练的分类器能够更好的泛化到目标域数据上。具体的，本发明使用的全局域自适应损失Lossglobal为相关性对齐(correlationalignment,CORAL)损失，如下所示，
其中，Cs和Ct分别为源域数据和目标域数据经过第二融合激活层LF2输出的特征向量和/>的协方差矩阵；d为特征向量的维度，即128。本发明使用的局部域自适应损失Losslocal为局部最大均值差异(local maximum mean discrepancy，LMMD)损失，如下所示
其中，L表示数据的总类别数，是通过核函数k定义的再生希尔伯特空间，φ表示将融合特征映射到再生希尔伯特空间中的特征映射，并且有/>具体的核函数k使用带宽设为源域和目标域任意两个样本之间的平均成对平方距离的高斯核函数。/>和/>分别表示第i幅源域图像和第i幅目标域图像属于第l类的概率，计算过程如下，/>
其中，表示第i幅源域图像/>的真实独热编码标签向量/>的第l维，/>表示第i幅目标域图像/>的预测独热编码标签向量/>的第l维。
步骤450，计算总损失，计算公式为：
Losstotal＝Lossrec+Losscls+Lossda
步骤460，通过反向传播更新深度识别网络Ψ的参数，得到目标深度识别网络Ψ′。
步骤500，将待识别原始目标域图像、待识别第一目标域散射拓扑图和待识别第二目标域散射拓扑图输入目标深度识别网络Ψ′，得到目标识别结果。其中，待识别原始目标域图像需要首先根据步骤100和步骤200构建待识别第一目标域散射拓扑图和待识别第二目标域散射拓扑图，然后一起输入目标深度识别网络Ψ′进行识别，得到目标识别结果。
本发明充分挖掘了SAR图像的散射特性，发现仿真图像和实测图像不仅在视觉信息上存在差异，还在散射拓扑结构上存在差异。因此，本发明同时在视觉空间和散射拓扑空间缩小了仿真图像和实测图像之间的分布差异，进一步提升了跨域识别性能。本发明不仅对齐了仿真图像和实测图像之间的整体分布，还对齐了对应子类别之间的分布，显著提升了跨域识别性能。此外，本发明在训练阶段不需要已知实测图像标签。
下面通过仿真实验对本发明的目标识别方法的效果进行进一步说明。
实验条件：
仿真实验的硬件平台为：处理器为Intel(R)Xeon(R)Silver 4210R CPU@2.40GHz，内存为128GB，显卡为GeForce RTX 3090。软件平台为：Ubuntu16.04操作系统，python 3.8，pytorch1.12和matlab 2021a。
实验数据：实验数据采用的是SAMPLE数据集，其中包括成对的实测SAR图像和仿真SAR图像。实测SAR图像来自于MSTAR数据集，仿真SAR图像是通过精细化的CAD模型和渐进射线追踪技术生成的。该数据包括10类地面车辆目标，分别为：2S1，BMP2，BTR70，M1，M2，M35，M548，M60，T72和ZSU23。该图像分辨率为0.3m×0.3m，图像大小为128×128像素，方位角为10°～80°，俯仰角为14°～17°，波段为X波段，极化方式为HH极化。该数据集共包含1345幅实测SAR图像和1345幅仿真SAR图像。该数据集目前存在两种实验设置：第一种设置中源域数据由14°～16°仿真图像组成，目标域数据由17°实测图像组成；第二种设置中源域数据由所有的仿真图像组成，目标域数据由所有的实测图像组成。第一种实验设置中仿真图像和实测图像一一对应的关系被人为的打破了，因此是更加符合实际情况也更加困难的，第二种实验设置中仿真图像和实测图像存在一一对应的关系，因此相对简单且能够评估仿真数据潜力的上限。表1和表2分别展示了实验设置1和实验设置2的数据详情。
表1实验设置1的数据详情
表2实验设置2的数据详情
对比实验方法：采用本发明提出的方法和现有的多种算法进行同等条件下的结果对比，对比方法包括B.Lewis等人在2019年发表的文献“A SAR dataset for ATRdevelopment:The synthetic and measured paired labeled experiment(SAMPLE)”(Proc.SPIE)、T.Scarnati等人在2019年发表的文献“A deep learning approach to thesynthetic and measured paired and labeled experiment(SAMPLE)challengeproblem”(Proc.SPIE)、N.Inkawhich等人在2019年时发表的文献“Bridging a gap inSAR-ATR:Training on fully synthetic and testing on measured data”(IEEEJ.Sel.Topics Appl.Earth Observ.Remote Sens.)、A.Jennison等人在2021年发表的文献“Convolutional and generative pairing for SAR cross-target transfer learning”(Proceedings of the Algorithms for Synthetic Aperture Radar Imagery XXVII,SPIE)、G.Dong等人2022年发表的文献“A hierarchical receptive network oriented totarget recognition in SAR images”(Pattern Recognit.)、Melzer等人2021年发表的文献“Exploring characteristics of neural network architecture computation forenabling SAR ATR”(Proceedings of the Algorithms for Synthetic Aperture RadarImagery XXVII,SPIE)。
评价准则：SAR图像目标识别准确率。
实验内容：
用本发明方法与现有方法对上述实验数据进行识别实验，展示了在两种实验设置下本发明和现有方法的对比实验结果。
实验结果与分析：
对比试验：
表3和表4是本发明方法和现有方法在实验设置1和实验设置2下的识别准确率。如表3和表4所示，本发明所提出方法显著优于现有方法，表明了本发明所提出方法的有效性。
表3实验设置1下各方法识别准确率
方法 识别准确率
Lewis(2019) 24.97％
Scarnati(2019) 55.62％
Inkawhich(2021) 95.06％
本发明所提出方法 99.15％
表4实验设置2下各方法识别准确率
方法 识别准确率
Jennison(2019) 88.45％
Dong(2021) 93.66％
Melzer(2021) 96.88％
本发明所提出方法 98.18％
综上所述，本发明提出的一种融合并对齐视觉特征与散射拓扑特征SAR目标识别方法，改善了现有技术中不能充分结合SAR图像散射特征和仅关注仿真图像和实测图像整体分布的问题。本发明实现包括：基于ASC模型提取目标的散射拓扑点并构建散射拓扑图、基于SAR-SIFT算法提取目标的散射拓扑点并构建散射拓扑图、构建深度网络、训练深度网络、识别未知图像。本发明在训练时无需有标签的实测图像，不仅提取了目标的视觉信息还提取了目标的散射拓扑结构，并在特征空间中对齐仿真图像和实测图像的子域分布，分类更加准确，具有较强的实际应用意义，可应用于SAR图像车辆目标自动识别领域。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (9)

1.一种融合并对齐视觉特征与散射拓扑特征的无监督域自适应SAR目标识别方法，其特征在于，包括以下步骤：
步骤100，基于ASC模型分别提取原始源域图像和原始目标域图像/>中每一幅SAR图像X的散射拓扑点并构建对应的第一散射拓扑图GASC，得到第一源域散射拓扑图/>和第一目标域散射拓扑图/>
步骤200，基于SAR-SIFT算法分别提取原始源域图像和原始目标域图像/>中每一幅SAR图像X的散射拓扑点并构建对应的第二散射拓扑图GSST，得到第二源域散射拓扑图/>和第二目标域散射拓扑图/>
步骤300，构建包括视觉特征提取子网络、图像重建子网络、基于ASC的散射拓扑特征提取子网络、基于SAR-SIFT的散射拓扑特征提取子网络和特征融合子网络的深度识别网络Ψ；
步骤400，基于原始源域图像第一源域散射拓扑图/>第二源域散射拓扑图/>原始目标域图像/>第一目标域散射拓扑图/>和第二目标域散射拓扑图/>对所述深度识别网络Ψ进行训练，得到训练完成的目标深度识别网络Ψ′；
步骤500，将待识别原始目标域图像、待识别第一目标域散射拓扑图和待识别第二目标域散射拓扑图输入所述目标深度识别网络Ψ′，得到目标识别结果。
2.根据权利要求1所述的一种融合并对齐视觉特征与散射拓扑特征的无监督域自适应SAR目标识别方法，其特征在于，所述步骤100包括：
步骤110，对于每一幅SAR图像X使用所述ASC模型提取多个散射拓扑点；其中，每个散射拓扑点对应一个特征向量，第i个散射拓扑点对应的特征向量为Ai表示复振幅，ai表示频率依赖因子，xi和yi分别表示距离向和方位向的位置坐标，Li表示散射拓扑点的长度，/>和γi分别表示散射拓扑点的方向角和方位依赖因子；
步骤120，将SAR图像X的散射拓扑点对应的特征向量中的所述复振幅Ai分解为模|Ai|和相位 去掉所述频率依赖因子ai和所述方位依赖因子γi，所述第i个散射拓扑点对应的特征向量表示为/>
步骤130，去掉SAR图像X中和多个散射拓扑点的质心之间的欧式距离大于距离阈值的位于背景区域的散射拓扑点，得到SAR图像X的第一提取散射拓扑点；
步骤140，根据所述第一提取散射拓扑点构建SAR图像X对应的第一散射拓扑图GASC；所述原始源域图像中所有的SAR图像的第一散射拓扑图和所述原始目标域图像/>中所有的SAR图像的第一散射拓扑图对应构成第一源域散射拓扑图/>和第一目标域散射拓扑图
3.根据权利要求2所述的一种融合并对齐视觉特征与散射拓扑特征的无监督域自适应SAR目标识别方法，其特征在于，所述步骤130包括：
步骤131，计算SAR图像X的所述多个散射拓扑点的质心
其中，p表示散射拓扑点的数量；
步骤132，计算SAR图像X的每个散射拓扑点对应的坐标(xi,yi)和质心之间的欧式距离/>
步骤133，去掉所述欧式距离di大于距离阈值τdis的位于背景区域的散射拓扑点，得到SAR图像X的第一提取散射拓扑点。
4.根据权利要求3所述的一种融合并对齐视觉特征与散射拓扑特征的无监督域自适应SAR目标识别方法，其特征在于，所述步骤140包括：
步骤141，将SAR图像X的所述第一提取散射拓扑点作为第一散射拓扑图GASC的图结构的节点；其中，图结构的节点集合q′为第一提取散射拓扑点的数目；
步骤142，计算SAR图像X的任意两个节点对应的特征向量之间的余弦相似度，若余弦相似度大于或等于相似阈值τsim则两个节点之间存在边；
所述节点集合和所述边集合构成SAR图像X对应的所述第一散射拓扑图GASC＝(V,M)；所述原始源域图像中所有的SAR图像的第一散射拓扑图和所述原始目标域图像/>中所有的SAR图像的第一散射拓扑图对应构成所述第一源域散射拓扑图/>和所述第一目标域散射拓扑图/>
5.根据权利要求1所述的一种融合并对齐视觉特征与散射拓扑特征的无监督域自适应SAR目标识别方法，其特征在于，所述步骤200包括：
步骤210，基于SAR-Harris算法提取每一幅所述SAR图像X的角点；
步骤220，基于聚类算法提取每一幅SAR图像X的强散射点，一幅SAR图像X的强散射点和角点共同构成该SAR图像X的散射拓扑点；
步骤230，去掉SAR图像X中振幅值位于累积分布函数最大的1％范围以外的位于背景区域的散射拓扑点，得到SAR图像X的多个第二提取散射拓扑点；
步骤240，去掉SAR图像X中和多个第二提取散射拓扑点的质心之间的欧式距离大于阈值的位于背景区域的第二提取散射拓扑点，得到SAR图像X的第三提取散射拓扑点；
步骤250，生成SAR-SIFT描述符作为SAR图像X的所述第三提取散射拓扑点的特征向量；
步骤260，根据SAR图像X的所述第三提取散射拓扑点构建SAR图像X对应的第二散射拓扑图GSST；所述原始源域图像中所有的SAR图像的第二散射拓扑图和所述原始目标域图像/>中所有的SAR图像的第二散射拓扑图对应构成所述第二源域散射拓扑图/>和所述第二目标域散射拓扑图/>
6.根据权利要求5所述的一种融合并对齐视觉特征与散射拓扑特征的无监督域自适应SAR目标识别方法，其特征在于，所述基于聚类算法提取每一幅SAR图像X的强散射点，包括：
步骤221，将所述SAR图像X从矩阵形式变形为向量形式；
步骤222，根据SAR图像X的振幅值从大到小的顺序重新排序该向量；
步骤223，将第一个元素的聚类标签初始化为0；
步骤224，从第二个元素开始从大到小遍历每个元素；
步骤225，当遍历到第i个元素时，判断第i个元素是否在前i-1个元素的8邻域内；
若第i个元素不在前i-1个元素中任意一个元素的8邻域内，则第i个元素为新增类别；
若第i个元素仅位于前i-1个元素中某一个元素的8邻域内，则将该元素的类别标记赋给第i个元素；
若第i个元素位于前i-1个元素中多个元素的8邻域内，则第i个元素的类别标签标记为该多个元素中振幅值最大值对应的类别；
步骤226，遍历完成之后，将SAR图像X从向量形式还原为矩阵形式，将每个聚类簇抽象为一个强散射点。
7.根据权利要求5所述的一种融合并对齐视觉特征与散射拓扑特征的无监督域自适应SAR目标识别方法，其特征在于，所述步骤230包括：
步骤231，统计所述SAR图像X中所有像素振幅的累积分布函数；
步骤232，去掉振幅值位于累积分布函数最大的1％范围以外的位于背景区域的散射拓扑点，得到SAR图像X的多个第二提取散射拓扑点。
8.根据权利要求1所述的一种融合并对齐视觉特征与散射拓扑特征的无监督域自适应SAR目标识别方法，其特征在于，所述视觉特征提取子网络包括依次设置的第一提取卷积层LC1、第二提取激活层LC2、第三提取卷积层LC3、第四提取激活层LC4、第五提取卷积层LC5、第六提取激活层LC6、第七提取卷积层LC7、第八提取激活层LC8、第九提取卷积层LC9和第十提取激活层LC10；
所述视觉特征提取子网络的输入为所述SAR图像X，输出为512维的视觉特征向量；
所述图像重建子网络包括依次设置的第一重建卷积层L′C1、第二重建激活层L′C2、第三重建卷积层L′C3、第四重建激活层L′C4、第五重建卷积层L′C5、第六重建激活层L′C6、第七重建卷积层L′C7、第八重建激活层L′C8、第九重建卷积层L′C9和第十重建激活层L′C10；
所述图像重建子网络的输入为所述512维的视觉特征向量，输出为重建SAR图像
所述基于ASC的散射拓扑特征提取子网络包括依次设置的第一ASC图卷积层LG1、第二ASC激活层LG2、第三ASC图卷积层LG3、第四ASC激活层LG4和第五ASC读出层LG5；
所述基于ASC的散射拓扑特征提取子网络的输入为第一散射拓扑图GASC，输出为256维的散射拓扑特征向量；
所述基于SAR-SIFT的散射拓扑特征提取子网络包括依次设置的第一SST图卷积层L′G1、第二SST激活层L′G2、第三SST图卷积层L′G3、第四SST激活层L′G4和第五SST读出层L′G5；
所述基于SAR-SIFT的散射拓扑特征提取子网络的输入为第二散射拓扑图GSST，输出为256维的散射拓扑特征向量；
所述特征融合子网络包括第一融合全连接层LF1、第二融合激活层LF2、第三融合全连接层LF3和第四融合分类器层LF4；
所述特征融合子网络的输入为所述512维的视觉特征向量、所述基于ASC的散射拓扑特征提取子网络提取的256维散射拓扑特征向量和所述基于SAR-SIFT的散射拓扑特征提取子网络提取的256维散射拓扑特征向量共同拼接构成的1024维特征向量，输出为10维的类别预测标签y；
所述视觉特征提取子网络与所述图像重建子网络连接，所述视觉特征提取子网络、所述基于ASC的散射拓扑特征提取子网络和所述基于SAR-SIFT的散射拓扑特征提取子网络均与特征融合子网络连接。
9.根据权利要求1所述的一种融合并对齐视觉特征与散射拓扑特征的无监督域自适应SAR目标识别方法，其特征在于，所述步骤400包括：
步骤410，将原始源域图像第一源域散射拓扑图/>第二源域散射拓扑图/>原始目标域图像/>第一目标域散射拓扑图/>和第二目标域散射拓扑图/>输入所述深度识别网络Ψ进行前向传播，获得重建SAR图像、第二融合激活层LF2输出的融合特征和类别预测标签；
步骤420，计算重建损失，重建损失的损失函数为：
其中，和/>分别表示第i幅原始源域图像和第j幅原始目标域图像，/>和/>分别表示重建得到的第i幅源域图像和第j幅目标域图像，ns和nt分别表示源域图像和目标域图像的数目，/>表示平方矩阵F范数；
步骤430，计算分类损失，分类损失的损失函数为：
其中，表示第i幅源域图像独热编码形式的类别真实标签，/>表示对应的类别预测标签；
步骤440，计算领域自适应损失，领域自适应损失的损失函数为：
其中，Lossglobal表示全局域自适应损失，Losslocal表示局部域自适应损失，τep表示训练迭代阈值；
步骤450，计算总损失，计算公式为：
Losstotal＝Lossrec+Losscls+Lossda；
步骤460，通过反向传播更新深度识别网络Ψ的参数，得到目标深度识别网络Ψ′。
CN202310411818.1A 2023-04-17 2023-04-17 一种融合并对齐视觉特征与散射拓扑特征的无监督域自适应sar目标识别方法 Pending CN116597300A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310411818.1A CN116597300A (zh) 2023-04-17 2023-04-17 一种融合并对齐视觉特征与散射拓扑特征的无监督域自适应sar目标识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310411818.1A CN116597300A (zh) 2023-04-17 2023-04-17 一种融合并对齐视觉特征与散射拓扑特征的无监督域自适应sar目标识别方法

Publications (1)

Publication Number Publication Date
CN116597300A true CN116597300A (zh) 2023-08-15

Family

ID=87588900

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310411818.1A Pending CN116597300A (zh) 2023-04-17 2023-04-17 一种融合并对齐视觉特征与散射拓扑特征的无监督域自适应sar目标识别方法

Country Status (1)

Country Link
CN (1) CN116597300A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117541720A (zh) * 2023-11-14 2024-02-09 吉林省鑫科测绘有限公司 一种不动产测绘方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117541720A (zh) * 2023-11-14 2024-02-09 吉林省鑫科测绘有限公司 一种不动产测绘方法及系统
CN117541720B (zh) * 2023-11-14 2024-04-19 吉林省鑫科测绘有限公司 一种不动产测绘方法及系统

Similar Documents

Publication Publication Date Title
Zhu et al. Deep learning meets SAR: Concepts, models, pitfalls, and perspectives
Chen et al. Single image shadow detection and removal based on feature fusion and multiple dictionary learning
Zhang et al. Artificial intelligence for remote sensing data analysis: A review of challenges and opportunities
Wu et al. Vehicle detection of multi-source remote sensing data using active fine-tuning network
Venugopal Automatic semantic segmentation with DeepLab dilated learning network for change detection in remote sensing images
Alidoost et al. A CNN-based approach for automatic building detection and recognition of roof types using a single aerial image
CN108229551B (zh) 一种基于紧凑字典稀疏表示的高光谱遥感图像分类方法
Zhang et al. Road recognition from remote sensing imagery using incremental learning
CN112990334A (zh) 基于改进原型网络的小样本sar图像目标识别方法
Li et al. Detecting and tracking dim small targets in infrared image sequences under complex backgrounds
Liu et al. Survey of road extraction methods in remote sensing images based on deep learning
CN115205590A (zh) 一种基于互补集成Transformer网络的高光谱图像分类方法
Yang et al. Coarse-to-fine contrastive self-supervised feature learning for land-cover classification in SAR images with limited labeled data
Guo et al. Dual graph U-Nets for hyperspectral image classification
Jiang et al. Hyperspectral image classification with CapsNet and Markov random fields
CN116597300A (zh) 一种融合并对齐视觉特征与散射拓扑特征的无监督域自适应sar目标识别方法
Zhan et al. Salient superpixel visual tracking with graph model and iterative segmentation
Liang et al. Adaptive multiple kernel fusion model using spatial-statistical information for high resolution SAR image classification
CN113095417B (zh) 基于融合图卷积和卷积神经网络的sar目标识别方法
Ucar et al. Aircraft detection system based on regions with convolutional neural networks
Wang Remote sensing image semantic segmentation algorithm based on improved ENet network
CN114119621A (zh) 基于深度编解码融合网络的sar遥感图像水域分割方法
Cai et al. A target tracking method based on KCF for omnidirectional vision
CN117115555A (zh) 一种基于噪声数据的半监督三维目标检测方法
Moghalles et al. Weakly supervised building semantic segmentation via superpixel‐CRF with initial deep seeds guiding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination