CN113111706B - 一种面向方位角连续缺失的sar目标特征解缠与识别方法 - Google Patents

一种面向方位角连续缺失的sar目标特征解缠与识别方法 Download PDF

Info

Publication number
CN113111706B
CN113111706B CN202110238717.XA CN202110238717A CN113111706B CN 113111706 B CN113111706 B CN 113111706B CN 202110238717 A CN202110238717 A CN 202110238717A CN 113111706 B CN113111706 B CN 113111706B
Authority
CN
China
Prior art keywords
target
sar
network
sar image
identity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110238717.XA
Other languages
English (en)
Other versions
CN113111706A (zh
Inventor
刘准钆
文载道
刘佳翔
潘泉
程咏梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202110238717.XA priority Critical patent/CN113111706B/zh
Publication of CN113111706A publication Critical patent/CN113111706A/zh
Application granted granted Critical
Publication of CN113111706B publication Critical patent/CN113111706B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种面向方位角连续缺失的SAR目标特征解缠与识别方法，获取待识别SAR图像；基于特征解缠学习的编码网络提取待识别SAR图像中待分类目标的身份特征；其中，身份特征与待识别SAR图像的方位角无关；采用特征解缠学习的目标识别子网络对身份特征进行识别，得到待识别SAR图像中待分类目标的类别；本发明通过从待识别的SAR图像中提取与方位角角度无关的身份特征，并使用目标识别网络对提取出的身份特征加以约束限制，使得网络提取的身份特征表示性/解释性更强，实现在方位角大范围连续缺失下的SAR图像的目标识别任务。

Description

一种面向方位角连续缺失的SAR目标特征解缠与识别方法
技术领域
本发明属于合成孔径雷达目标识别技术领域，尤其涉及一种面向方位角连续缺失的SAR目标特征解缠与识别方法。
背景技术
合成孔径雷达(Synthetic Aperture Radar，SAR)目标识别方法，对军事目标识别、车辆重识别等任务中有着重要的意义，可以为监控、打击、救援等任务的展开提供精准的目标身份信息。目标识别方法最重要的任务是提供稳定而精准的身份信息，而这其中的关键技术就是方位角连续缺失情况下稳定的目标识别技术。在实际应用中，合成孔径雷达具有不受天气和光照等条件干扰、可连续监测海洋环境中的目标等优势。
在实际的目标监测中，目标与载有成像雷达的卫星处于相对运动中，当目标静止，或者小范围活动时，无法获得待识别目标在全部方位角下的成像信息，只能得到部分方位角下的成像信息，而SAR图像又对方位角敏感，较小的观测角度变化也会引起SAR图像上的突变。
实际应用中我们可以获得一部分目标在全部方位角下的成像(如己方目标等)，但面对只有在部分方位角下的成像的目标，如何利用有全部方位角成像信息的样本和只有部分方位角成像信息的样本，训练稳定精准的目标识别分类器，从而处理方位角连续缺失情况下的目标识别问题就成为了亟待解决的难题。
发明内容
本发明的目的是提供一种面向方位角连续缺失的SAR目标特征解缠与识别方法，以解决方位角连续缺失的SAR图像的目标识别问题。
本发明采用以下技术方案：一种面向方位角连续缺失的SAR目标特征解缠与识别方法，包括以下步骤：
获取待识别SAR图像；
基于特征解缠学习的编码网络提取待识别SAR图像中待分类目标的身份特征；其中，身份特征与待识别SAR图像的方位角无关；
采用特征解缠学习的目标识别子网络对身份特征进行识别，得到待识别SAR图像中待分类目标的类别。
进一步地，编码网络包括两层卷积层和池化层，提取待识别SAR图像中待分类目标的身份特征包括：
通过第一层卷积层提取待识别SAR图像的基础共有特征；
以基础共有特征为输入信息，采用第二层卷积层得到身份特征和。
进一步地，对身份特征进行识别包括：
将身份特征依次通过卷积层和softmax层，得到待识别SAR图像中待分类目标的类别。
进一步地，编码网络的训练方法为：
确定SAR图像训练集；SAR图像训练集至少包含一个类别的全方位角SAR图像；
将SAR图像训练集中的SAR图像进行分组，每组中包含两个SAR图像；其中，至少一组中的两个SAR图像的方位角不同；
以每组的两个SAR图像为输入信息，分别计算目标识别子网络的交叉熵和目标转换子网络的重构误差和转换误差；
基于交叉熵、重构误差和转换误差，采用反向传播方法优化编码网络。
进一步地，还包括基于交叉熵、重构误差和转换误差，采用反向传播方法优化目标识别子网络和目标转换子网络。
进一步地，计算目标识别子网络的交叉熵包括：
通过两个参数共享的编码网络，提取每组中两个SAR图像的身份特征和旋转特征；
采用目标识别子网络对每个SAR图像的身份特征进行识别，得到每个SAR图像中待分类目标的类别；
根据识别得到的每个SAR图像中待分类目标的类别和每个SAR图像中待分类目标的真实类别计算目标识别子网络交叉熵。
进一步地，计算目标转换子网络的重构误差和转换误差包括：
通过两个参数共享的编码网络，提取每组中两个SAR图像的身份特征和旋转特征；
以每个SAR图像的身份特征和旋转特征为输入信息，采用目标转换子网络对每个SAR图像进行重构和转换，得到重构后的SAR图像和转换后的SAR图像；
根据重构后的SAR图像与真实SAR图像计算重构误差；
根据转换后的SAR图像与真实SAR图像计算转换误差。
进一步地，采用目标转换子网络对每个SAR图像进行转换包括：
将两个旋转特征连接作为姿态差异子网络的输入，得到表示两个输入SAR图像姿态差异的参数θ；其中，姿态差异子网络是由三层全连接层串联组成；
根据参数θ完成旋转特征间的转换，得到转换后的旋转特征；
以身份特征和转换后的旋转特征为输入信息，经过解码网络生成转换后的SAR图像。
本发明的另一种技术方案：一种面向方位角连续缺失的SAR目标特征解缠与识别装置，包括：
获取模块，用于获取待识别SAR图像；
提取模块，用于基于特征解缠学习的编码网络提取待识别SAR图像中待分类目标的身份特征；其中，身份特征与待识别SAR图像的方位角无关；
识别模块，用于采用特征解缠学习的目标识别子网络对身份特征进行识别，得到待识别SAR图像中待分类目标的类别。
本发明的另一种技术方案：一种面向方位角连续缺失的SAR目标特征解缠与识别装置，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一项的一种面向方位角连续缺失的SAR目标特征解缠与识别方法。
本发明的有益效果是：本发明通过从待识别的SAR图像中提取与方位角角度无关的身份特征，并使用目标识别网络对提取出的身份特征甲乙约束限制，使得网络提取的身份特征表示性/解释性更强，实现在方位角大范围连续缺失下的SAR图像的目标识别任务，因为提取到的身份特征不易受到方位角的影响，所以可以有效地克服因SAR图像对方位角变化敏感、以及实际识别任务中不易获取全方位角SAR图像，而导致的方位角缺失下识别精度大幅下降的问题。
附图说明
图1为本发明实施例一种面向方位角连续缺失的SAR目标特征解缠与识别方法的流程示意图；
图2为本发明实施例中特征解缠网络的结构示意图；
图3为本发明实施例中目标识别子网络的网络结构图；
图4为本发明实施例中目标转换子网络的网络结构图；
图5为本发明实施例中重构任务和转换任务的生成效果图；
图6为本发明实施例中五种缺失情况下重构、转换任务误差权重的搜索过程图；
图7为本发明实施例中九种缺失情况下重构、转换任务误差权重的搜索过程图；
图8为本发明另一实施例一种面向方位角连续缺失的SAR目标特征解缠与识别装置的结构示意图；
图9为本发明另一实施例一种面向方位角连续缺失的SAR目标特征解缠与识别装置的结构示意图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
SAR图像上的信息是地物目标对雷达波束的反映，主要是地物目标的后向散射形成的图像信息，影响后向散射的主要因素分为两大类：雷达系统的工作参数(主要包括雷达传感器的工作波长、入射角、极化方式等)，地物目标的特性(地表的粗糙度和复介电常数等)。在雷达系统的工作参数一致的条件下，目标自身特性的改变会引起图像信息的变化，其中，改变方位角意味着雷达系统与目标的相对位置发生改变，即雷达系统观测下的目标结构也发生变化，目标接触雷达波束后形成的散射特性也发生了较大变化。这意味着SAR图像对方位角敏感，较小的观测角度变化也会引起SAR图像上的突变。
在目标识别方面，传统的目标识别方法并未考虑到方位角连续缺失对分类器性能的影响，将不同方位角下的样本统一对待，在此前提下对样本进行处理和特征提取，由此得到的特征将目标的角度相关信息(如姿态信息等)，角度无关信息(如身份信息等)一同提取出来，并未分别对待，这种方式提取出来的特征不能忽略方位角连续缺失的影响，并且用来分类的特征中包含了与角度相关的信息，也就是说这种方式提取出的特征无法保证对方位角变化的鲁棒性，当处理方位角连续缺失的情况下的SAR图像时会受到影响，从而导致分类精度大幅下降。
在多视角问题中，考虑到了方位角对分类结果的影响，但是其训练样本的获取过程，大多是在等间隔的观测角度区间中抽取观测图像，从而获得在方位角中均匀分布的一系列观测图像，由此训练出来的分类器能够实现较高的分类准确率，但其假设和实验中所使用的训练数据在实际任务中很难获取，尤其对于轨道固定且变换姿态代价昂贵的SAR卫星而言。一方面多视角问题没有考虑实际环境下的方位角缺失都是大范围连续缺失的情况；另一方面提取出的特征也没有将角度相关信息和角度无关信息区别开来，对不同特征加以不同的约束进行限制。这使得应用在多视角问题中，目标识别方法缺乏处理实际应用中的方位角连续缺失的问题。
进而可知，传统目标识别方法没有将角度相关信息和角度无关信息加以区分提取，从而导致提取出的特征中包含受方位角变化影响的部分，这使得传统目标识别方法在面对方位角缺失问题时性能大幅下降，无法提取出鲁棒的特征对目标身份信息进行表示。而深度判别式网络由于特征为网络自动提取，相比于传统的手工提取方法存在可解释性差等缺陷，识别过程难以被人理解。
在多视角学习任务中，使用均匀分布的方位角观测所获得的数据作为训练样本，在处理方位角连续缺失问题是有较好表现，但其方法没有直面实际应用中方位角大范围连续缺失的情况。尽管均匀分布的观测角度提供了丰富的信息，但这种分布不符合实际应用中的需求，特别是在SAR图像目标检测中，极易获得某一目标在特定方位角下的大量样本，但在其他角度下，也就是缺失的方位角中没有相应的样本参与训练，所以当实际应用中，测试集出现没有参与训练过程的方位角下的样本时，多视角方法是无法解决的，因为此时用于训练的观测方位角不是均匀的，而是大范围连续缺失的。
在方位角大范围连续缺失的目标识别问题中，需要利用已有的部分全方位角类别和方位角缺失类别作为训练分类器的样本，完成所有类别在全方位角下的目标识别问题。这要求能够从训练样本中提取鲁棒的表示身份信息的特征，以此来完成目标识别问题，尤其是方位角缺失的情况下的目标识别问题。
故本发明利用STN(Spatial Transformer Networks)模块对角度相关特征进行约束，从而使得网络能够提取出与角度无关的特征，如身份信息等，该网络能够在方位角大范围连续缺失的情况下提取出的鲁棒的身份特征，进一步完成目标识别问题。
本发明实施例公开了一种面向方位角连续缺失的SAR目标特征解缠与识别方法，如图1所示，包括以下步骤：获取待识别SAR图像；基于特征解缠学习的编码网络提取所述待识别SAR图像中待分类目标的身份特征；其中，所述身份特征与所述待识别SAR图像的方位角无关；采用特征解缠学习的目标识别子网络对所述身份特征进行识别，得到所述待识别SAR图像中待分类目标的类别。
本发明的方法，属于深度学习和目标识别技术领域，SAR图像对方位角变化非常敏感，而在实际应用中很难获得所有待识别目标在全部方位角下的图像，所以对方位角缺失的目标完成识别是具有挑战且有广阔应用需求的任务。
传统目标识别方法没有考虑提取出的身份表示特征易受到角度变化影响，而多视角任务则是在全方位角的情况下均匀采样，这种处理方法与实际应用中面临的方位角大范围连续缺失的情况出入甚大。本发明利用身份识别网络和转换网络将提取出的特征解缠为角度相关特征和角度无关特征，从而可以利用提取出的角度无关特征完成方位角大范围连续缺失情况下的目标识别问题。
对基于特征解缠学习的网络进行训练的过程中，主要采用以下方法：
首先确定SAR图像训练集；SAR图像训练集至少包含一个类别的全方位角SAR图像；再将SAR图像训练集中的SAR图像进行分组，每组中包含两个SAR图像；其中，至少一组中的两个SAR图像的方位角不同。以每组的两个SAR图像为输入信息，分别计算目标识别子网络的交叉熵和目标转换子网络的重构误差和转换误差；基于交叉熵、重构误差和转换误差，采用反向传播方法优化编码网络。在训练的过程中，还需要同时采用反向传播方法优化目标识别子网络和目标转换子网络。
具体的，通过编码网络，从一对SAR图像x1,x2(数据集中任意两张SAR图像进行随机组合成一对输入图像)分别提取出：1)角度无关特征(身份特征)fi；2)角度相关特征ri(旋转特征)。角度无关特征fi独立通过目标身份识别网络完成识别任务，角度无关特征fi和角度相关特征ri一同通过目标转换网络完成目标的重构、转换任务从而达到约束网络的目的。
基于特征解缠学习的网络(DistSTN)的整体框架如图2所示，其中，编码网络为参数共享的两层卷积层和池化层组成，卷积层的激活函数均选用relu，得到从图像中提取出的基础的共有特征，再经过两个相互独立的卷积层分别得到身份特征f和旋转特征r。在对待识别SAR图像进行识别的过程中，通过第一层卷积层提取待识别SAR图像的基础共有特征，再以基础共有特征为输入信息，采用第二层卷积层得到身份特征。
身份特征独立通过目标身份识别网络完成识别任务，得到每个SAR图像中待分类目标的类别。根据识别得到的每个SAR图像中待分类目标的类别和每个SAR图像中待分类目标的真实类别计算目标识别子网络交叉熵。
具体的，目标身份识别网络结构如图3所示，采用两路参数共享的卷积网络，激活函数选用relu，再各自经过softmax层得到最终的分类结果。在对待识别SAR图像进行识别的过程中，将身份特征依次通过卷积层和softmax层，得到待识别SAR图像中待分类目标的类别。
身份特征和旋转特征一同通过目标转换网络完成目标的重构任务从而达到约束网络的目的，目标转换网络结构如图4所示。将两个旋转特征连接作为姿态差异子网络的输入，得到表示两个输入图像的姿态差异的参数θ，姿态差异子网络是由三层全连接层串联组成；根据参数θ网格生成子网络生成在图像上的网格参数，并进行采样最终完成姿态信息的转换，即根据表示两个输入图像的姿态差异的参数θ完成旋转特征间的转换。身份特征和旋转特征作为输入，经过解码网络生成重构图像，身份特征和转换得来的旋转特征经过解码网络得到转换后的SAR图像。解码网络由三层反卷积层串联组成，填充方式选择valid。
目标转换网络可以自适应地学习两个输入样本间的方位角之间的差异，这一学习过程是由任务驱动的，这不同于其他人为控制姿态变量生成相对应的图像的方法。任务驱动的学习过程使得网络可以对任意方位角间的差异情况进行处理，能够有效利用数据集中信息，挖掘出能够表示旋转、姿态的特征表示，并完成不同姿态间的特征层面的相互转换。
最后，根据重构后的SAR图像与真实SAR图像计算重构误差；根据转换后的SAR图像与真实SAR图像计算转换误差。
网络的整体误差由三部分组成：目标身份识别网络的分类误差，目标转换网络的图像重构误差以及图像转换误差。其中目标身份识别网络的分类误差是指利用网络提取出的身份特征进行分类的结果与目标真实类别间的差异，这一误差可以用来衡量网络所提取出的身份特征的优劣。采用最常见的交叉熵(Cross Entropy)作为衡量误差大小的指标，计算公式如下：
其中，y是待识别的SAR图像中目标的真实类别，是目标身份识别网络利用身份特征进行分类后的预测类别。
在目标转换网络中，虽然只有一个参数共享的解码网络，但由于其输入特征的来源不同导致其完成的任务不同。重构任务中是将由图像中解码出的身份特征和旋转特征作为输入，这是一个图像重构任务，与另一个输入没有直接关系。而在转换任务中，是由x1的身份特征和x2的旋转转换特征r2→1作为输入进入解码网络，这一过程中涉及不同图像间表示旋转的特征间的转换，从而将输入的两个样本关联起来。衡量图像重构优劣的方法有很多，比如均方误差MSE(Mean Square Error)、平均绝对误差MAE(Mean Absolute Error)等，这里采用MAE作为衡量图像重构优劣的指标，计算公式如下：
其中，p为原始图像，为重构图像，m为像素个数。
故网络的总误差为：
其中，参数α、β分别为重构任务误差和转换任务误差的权重，Lid为交叉熵损失，Lre为重构误差，Ltrans为转换误差，qi为转换图像(第i个像素)的真值、为转换图像(第i个像素)的值。
网络采用SGD(Stochastic Gradient Descent)优化器进行优化，learning rate为0.001，momentum为0.9，其余参数设置为默认。
本发明采用基于特征解缠学习的网络在方位角连续缺失下的遥感目标识别方法实现对缺失方位角下的SAR目标的识别，通过将特征提取过程解缠为角度无关特征(身份特征)和角度相关特征(旋转特征)，并使用目标身份识别网络和目标转换网络对提取出的特征加以约束限制，从而得到了与角度无关的鲁棒的身份表示，从而在方位角缺失的情况下完成准确的识别。
在目标转换网络中，以获得输入SAR图像间的姿态差异为任务，自适应提取相关参数进行表示，从而能够有效利用SAR图像数据集中信息，挖掘出能够表示旋转、姿态的特征表示，并完成不同姿态间的特征层面的相互转换。重构任务和转换任务的设置，在验证编码网络提取特征的有效性的同时还保证了旋转特征对目标姿态的表示能力。
验证实施：
为了进行验证，首先，需要将不同方位角下的SAR目标进行采样组合，作为网络的输入SAR目标图像取自美国国防高等研究计划署(DARPA)公开的SAR目标识别数据集MSTAR，DARPA通过高分辨率的聚束式合成孔径雷达采集多种目标军事车辆的SAR图像，并进行了SAR实测地面目标试验，包括目标遮挡、伪装、配置变化等扩展性条件，形成了较为系统、全面的实测数据库。
本实施例中选用其中的十类目标作为数据集，数据集的基本信息如表1所示。由于每种目标的图像尺寸不一致，所以需要进行处理，使所有目标图像尺寸相同。如果采用resize等方法，会改变图像中像素值，而在SAR图像对像素值的变化非常敏感，所以采用crop方法以保留原始信息，最后得到大小为88×88像素的图片。在获得不同方位角下的排列组合时，可以使用组合数的全排列方式，但这样会导致训练样本过多，从而使训练时间增加，所以使用数据量较少的随机打乱组合，具体操作为对训练集样本随机打乱2次，然后按次序组成输入对。
考虑到全方位角类别个数会对方位角缺失下的识别产生影响，所以设计以下两种实验场景：一、随机选择五个类别作为全方位角样本，剩余五类为方位角缺失样本；二、依次选择一个类别作为全方位角样本，剩余九类为方位角缺失样本。
表1验证过程中所使用的数据集的基本信息
为了验证方法的有效性，对解码网络重构出的图像进行展示。样本x1通过网络提取出的身份特征f1和旋转特征r1经过解码网络，得到重构的样本同样样本x2可以得到重构的样本/>以两个样本的旋转特征r1、r2为输入得到表示角度差异的参数θ，并以此完成旋转特征r2到旋转特征r1的转换，得到旋转特征r2→1。身份特征f1和旋转特征r2→1作为输入经过解码网络，得到转换的样本/>图5显示了重构任务及转换任务生成的SAR图像。图中前两行为网络输入，即样本x1、x2，第三行为利用身份特征f1和旋转特征r1经过解码网络，得到重构的样本/>第四行为身份特征f1和旋转特征r2→1作为输入经过解码网络，得到转换的样本/>从图中可以看出，由样本x1经过编码网络提取出的身份特征f1和旋转特征r1经过解码网络可以很好地完成重构任务，这一结果说明了编码网络和解码网络的有效性；同时由样本x1经过编码网络提取出的身份特征f1和旋转特征r2→1通过参数共享的解码网络同样可以实现了很好的恢复，这一结果表明目标转换网络可以完成旋转特征r2到旋转特征r1的转换，即旋转特征r1和旋转特征r2→1在训练过程中逐渐趋于一致。
为了验证方法的高效性，将本发明与目前多种主流目标识别算法进行了对比。对于本发明，为了确定参数α、β，通过网格搜索及交叉验证，确定了两种实验条件下的参数设置，参数搜索过程如图6、图7所示，(a)为在五类缺失角度样本条件下的搜索过程，(b)为在九类缺失角度样本条件下的搜索过程。
在对比算法选择中，除了经典的支持向量机分类器(Support Vector Machine，SVM)、基于稀疏表示的分类器(Sparse Representations Classification，SRC)，还选用了一种高性能的深度卷积神经网络AconvNet，在此基础上将直接旋转扩充的样本作为训练集来测试直接旋转图像来解决角度缺失问题的可行性，此外还将深度卷积神经网络结合STN模块以期获取鲁棒的角度不变特征。
表2本发明及对比方法在两种缺失情况下的识别精度
方法 5种方位角缺失样本 9种方位角缺失样本
SVM 0.1826 0.1826
SRC 0.6298 0.6389
AconvNet 0.6729 0.6603
AconvNet+rotate 0.6535 0.6403
AconvNet+STNx1 0.6868 0.6770
AconvNet+STNx2 0.6826 0.6571
本发明(DistSTN) 0.7072 0.6869
相较于上述对比算法，本发明在两种情况的方位角缺失的样本集测试中均取得最高的识别精度，具体识别结果如表2所示，这充分说明了本发明在方位角连续缺失情况下目标识别的高效性。
本发明采用特征解缠网络，从输入的SAR图像中提取角度无关特征(身份特征)和角度相关特征(旋转特征)，并通过目标识别网络和目标转换网络对提取出的特征加以约束限制，使得网络提取的特征表示性/解释性更强。其中，两个样本提取出的身份特征f经过目标识别网络中的卷积层和softmax层完成分类识别任务；提取出的角度特征r首先连接起来经过姿态差异子网络学习表示样本间姿态差异的参数θ，在经过网格生成子网络和采样实现角度特征的转换。由样本提取的身份特征f和角度特征r经过解码网络完成重构任务，由样本提取的身份特征f1和经过转换得来的角度特征r2→1经过解码网络完成转换任务。通过目标识别网络和目标转换网络的联合训练，对编码网络提取出的特征进行限制，使得网络提取的特征具有更强表示性/解释性，同时提取到与角度无关的鲁棒的身份表示特征。
本发明通过提取角度无关的鲁棒的身份表示特征，可实现方位角连续缺失情况下的SAR目标识别问题。即使用部分全方位角样本与部分方位角缺失样本训练网络，使其拥有识别未知方位角下的SAR目标的能力。这意味着在实际应用中，无需获得待识别目标的全方位角样本即可实现高精度的识别。
本发明基于一种基于特征解缠学习的网络，通过从输入的SAR图像中提取角度无关特征(身份特征)和角度相关特征(旋转特征)，并使用目标识别网络和目标转换网络对提取出的特征加以约束限制，使得网络提取的特征表示性/解释性更强，同时提取到与角度无关的鲁棒的身份表示特征，实现在方位角大范围连续缺失下的SAR目标识别任务。因为提取到的身份特征不易受到方位角的影响，所以可以有效地克服因SAR图像对方位角变化敏感以及实际识别任务中不易获取全方位角样本而导致的方位角缺失下识别精度大幅下降的难题。此外因为网络的两个子网络可以同时学习身份特征和旋转特征，所以对输入的图像对的类别没有任何限制，图像对中的目标可以是同一类别，也可以是不同类别，这极大地扩大了该发明的适用范围。
另外，本发明实施例还公开了一种面向方位角连续缺失的SAR目标特征解缠与识别装置，如图8所示，包括：
获取模块210，用于获取待识别SAR图像；提取模块220，用于基于特征解缠学习的编码网络提取待识别SAR图像中待分类目标的身份特征；其中，身份特征与待识别SAR图像的方位角无关；识别模块230，用于采用特征解缠学习的目标识别子网络对身份特征进行识别，得到待识别SAR图像中待分类目标的类别。
需要说明的是，上述模块之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功模块，以完成以上描述的全部或者部分功能。实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述系统中模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本发明另一实施例还公开了一种面向方位角连续缺失的SAR目标特征解缠与识别装置，如图9所示，包括存储器31、处理器32以及存储在存储器中并可在处理器上运行的计算机程序33，处理器32执行计算机程序33时实现上述的一种面向方位角连续缺失的SAR目标特征解缠与识别方法。
本发明另一实施例还公开了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述的一种面向方位角连续缺失的SAR目标特征解缠与识别方法。
所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

Claims (8)

1.一种面向方位角连续缺失的SAR目标特征解缠与识别方法，其特征在于，包括以下步骤：
获取待识别SAR图像；
基于特征解缠学习的编码网络提取所述待识别SAR图像中待分类目标的身份特征；其中，所述身份特征与所述待识别SAR图像的方位角无关；
采用特征解缠学习的目标识别子网络对所述身份特征进行识别，得到所述待识别SAR图像中待分类目标的类别；
所述编码网络包括两层卷积层和池化层，提取所述待识别SAR图像中待分类目标的身份特征包括：
通过第一层卷积层提取所述待识别SAR图像的基础共有特征；
以所述基础共有特征为输入信息，采用第二层卷积层得到所述身份特征；
对所述身份特征进行识别包括：
将所述身份特征依次通过卷积层和softmax层，得到所述待识别SAR图像中待分类目标的类别。
2.如权利要求1所述的一种面向方位角连续缺失的SAR目标特征解缠与识别方法，其特征在于，所述编码网络的训练方法为：
确定SAR图像训练集；所述SAR图像训练集至少包含一个类别的全方位角SAR图像；
将所述SAR图像训练集中的SAR图像进行分组，每组中包含两个SAR图像；其中，至少一组中的两个SAR图像的方位角不同；
以每组的两个SAR图像为输入信息，分别计算目标识别子网络的交叉熵和目标转换子网络的重构误差和转换误差；
基于所述交叉熵、重构误差和转换误差，采用反向传播方法优化所述编码网络。
3.如权利要求2所述的一种面向方位角连续缺失的SAR目标特征解缠与识别方法，其特征在于，还包括基于所述交叉熵、重构误差和转换误差，采用反向传播方法优化所述目标识别子网络和目标转换子网络。
4.如权利要求3所述的一种面向方位角连续缺失的SAR目标特征解缠与识别方法，其特征在于，计算目标识别子网络的交叉熵包括：
通过两个参数共享的所述编码网络，提取每组中两个SAR图像的身份特征和旋转特征；
采用所述目标识别子网络对每个所述SAR图像的身份特征进行识别，得到每个所述SAR图像中待分类目标的类别；
根据识别得到的每个所述SAR图像中待分类目标的类别和每个所述SAR图像中待分类目标的真实类别计算目标识别子网络交叉熵。
5.如权利要求3或4所述的一种面向方位角连续缺失的SAR目标特征解缠与识别方法，其特征在于，计算目标转换子网络的重构误差和转换误差包括：
通过两个参数共享的所述编码网络，提取每组中两个SAR图像的身份特征和旋转特征；
以每个所述SAR图像的身份特征和旋转特征为输入信息，采用目标转换子网络对每个所述SAR图像进行重构和转换，得到重构后的SAR图像和转换后的SAR图像；
根据重构后的SAR图像与真实SAR图像计算重构误差；
根据转换后的SAR图像与真实SAR图像计算转换误差。
6.如权利要求5所述的一种面向方位角连续缺失的SAR目标特征解缠与识别方法，其特征在于，采用目标转换子网络对每个所述SAR图像进行转换包括：
将两个旋转特征连接作为姿态差异子网络的输入，得到表示两个输入SAR图像姿态差异的参数；其中，姿态差异子网络是由三层全连接层串联组成；
根据所述参数完成旋转特征间的转换，得到转换后的旋转特征；
以身份特征和转换后的旋转特征为输入信息，经过解码网络生成转换后的SAR图像。
7.一种面向方位角连续缺失的SAR目标特征解缠与识别装置，其特征在于，包括：
获取模块，用于获取待识别SAR图像；
提取模块，用于基于特征解缠学习的编码网络提取所述待识别SAR图像中待分类目标的身份特征；其中，所述身份特征与所述待识别SAR图像的方位角无关；
识别模块，用于采用特征解缠学习的目标识别子网络对所述身份特征进行识别，得到所述待识别SAR图像中待分类目标的类别；
所述编码网络包括两层卷积层和池化层，提取所述待识别SAR图像中待分类目标的身份特征包括：
通过第一层卷积层提取所述待识别SAR图像的基础共有特征；
以所述基础共有特征为输入信息，采用第二层卷积层得到所述身份特征；
对所述身份特征进行识别包括：
将所述身份特征依次通过卷积层和softmax层，得到所述待识别SAR图像中待分类目标的类别。
8.一种面向方位角连续缺失的SAR目标特征解缠与识别装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的一种面向方位角连续缺失的SAR目标特征解缠与识别方法。
CN202110238717.XA 2021-03-04 2021-03-04 一种面向方位角连续缺失的sar目标特征解缠与识别方法 Active CN113111706B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110238717.XA CN113111706B (zh) 2021-03-04 2021-03-04 一种面向方位角连续缺失的sar目标特征解缠与识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110238717.XA CN113111706B (zh) 2021-03-04 2021-03-04 一种面向方位角连续缺失的sar目标特征解缠与识别方法

Publications (2)

Publication Number Publication Date
CN113111706A CN113111706A (zh) 2021-07-13
CN113111706B true CN113111706B (zh) 2024-02-02

Family

ID=76710192

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110238717.XA Active CN113111706B (zh) 2021-03-04 2021-03-04 一种面向方位角连续缺失的sar目标特征解缠与识别方法

Country Status (1)

Country Link
CN (1) CN113111706B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113642448B (zh) * 2021-08-09 2024-01-26 中国人民解放军海军航空大学航空作战勤务学院 一种空中平台对海/地面机动目标的图像识别方法和装置
CN114997238B (zh) * 2022-06-24 2023-04-07 西北工业大学 一种基于分布矫正的sar目标识别方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291639A (zh) * 2020-01-20 2020-06-16 西北工业大学 基于分层变分自编码的跨源舰船特征融合学习与识别方法
WO2020186914A1 (zh) * 2019-03-20 2020-09-24 北京沃东天骏信息技术有限公司 行人再识别方法、装置及存储介质
CN112307995A (zh) * 2020-11-05 2021-02-02 电子科技大学 一种基于特征解耦学习的半监督行人重识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020186914A1 (zh) * 2019-03-20 2020-09-24 北京沃东天骏信息技术有限公司 行人再识别方法、装置及存储介质
CN111291639A (zh) * 2020-01-20 2020-06-16 西北工业大学 基于分层变分自编码的跨源舰船特征融合学习与识别方法
CN112307995A (zh) * 2020-11-05 2021-02-02 电子科技大学 一种基于特征解耦学习的半监督行人重识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于DRGAN和支持向量机的合成孔径雷达图像目标识别;徐英;谷雨;彭冬亮;刘俊;;光学精密工程(第03期);全文 *

Also Published As

Publication number Publication date
CN113111706A (zh) 2021-07-13

Similar Documents

Publication Publication Date Title
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN109636742B (zh) 基于对抗生成网络的sar图像和可见光图像的模式转换方法
Broadwater et al. Hybrid detectors for subpixel targets
Huang et al. Subspace clustering for hyperspectral images via dictionary learning with adaptive regularization
CN109029381A (zh) 一种隧道裂缝的检测方法、系统及终端设备
CN113111706B (zh) 一种面向方位角连续缺失的sar目标特征解缠与识别方法
CN113095370B (zh) 图像识别方法、装置、电子设备及存储介质
CN106295613A (zh) 一种无人机目标定位方法及系统
Zhong et al. Change detection based on pulse-coupled neural networks and the NMI feature for high spatial resolution remote sensing imagery
CN110751087B (zh) 一种基于eof的无人机信号识别系统和方法
CN111784560A (zh) 基于级联残差生成对抗网络的sar和光学图像双向翻译方法
CN104834931A (zh) 一种基于小波变换的改进的尺度不变特征匹配算法
CN113095158A (zh) 一种基于对抗生成网络的笔迹生成方法及装置
CN116168295A (zh) 一种岩性遥感智能解译模型建立方法及解译方法
CN110956601B (zh) 一种基于多传感器样态系数的红外图像融合方法和装置以及计算机可读存储介质
Zhou et al. MSAR‐DefogNet: Lightweight cloud removal network for high resolution remote sensing images based on multi scale convolution
CN114627424A (zh) 一种基于视角转化的步态识别方法和系统
CN114022914A (zh) 基于融合深度网络的掌纹识别方法
CN107358625B (zh) 基于SPP Net和感兴趣区域检测的SAR图像变化检测方法
CN117422619A (zh) 图像重建模型的训练方法、图像重建方法、装置及设备
CN116188956A (zh) 一种深度伪造人脸图像检测的方法及相关设备
CN113971760B (zh) 基于深度学习的高质量准稠密互补特征提取方法
CN113947712A (zh) 一种基于胶囊微分对抗网络的高光谱异常检测方法与系统
Ying et al. Multi-temporal remote sensing image registration based on multi-layer feature fusion of deep residual network
CN114764880B (zh) 多成分gan重建的遥感图像场景分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant