CN113111909B - 一种面向训练目标视角不完备的sar目标识别的自学习方法 - Google Patents

一种面向训练目标视角不完备的sar目标识别的自学习方法 Download PDF

Info

Publication number
CN113111909B
CN113111909B CN202110238790.7A CN202110238790A CN113111909B CN 113111909 B CN113111909 B CN 113111909B CN 202110238790 A CN202110238790 A CN 202110238790A CN 113111909 B CN113111909 B CN 113111909B
Authority
CN
China
Prior art keywords
network
sar image
sar
reconstruction
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110238790.7A
Other languages
English (en)
Other versions
CN113111909A (zh
Inventor
文载道
刘准钆
刘佳翔
潘泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202110238790.7A priority Critical patent/CN113111909B/zh
Publication of CN113111909A publication Critical patent/CN113111909A/zh
Application granted granted Critical
Publication of CN113111909B publication Critical patent/CN113111909B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种面向训练目标视角不完备的SAR目标识别的自学习方法，获取训练集；从训练集中提取两个SAR图像；以两个SAR图像为输入信息，基于目标识别网络确定分类误差，基于缺失预测网络和拼图重构网络确定缺失预测误差和拼图重构误差；通过分类误差、缺失预测误差和拼图重构误差，对目标识别网络、缺失预测网络和拼图重构网络进行优化；本发明采用不同类别间的SAR图像随机组合生成输入对，建立视角不完备SAR图像和视角完备SAR图像之间的联系，极大地丰富了样本SAR图像多样性，并结合缺失预测网络和拼图重构网络对目标识别网络进行优化，使得该网络能够在视角不完备的情况下提取出鲁棒的身份特征，提升训练得出的分类器的分类精确度。

Description

一种面向训练目标视角不完备的SAR目标识别的自学习方法
技术领域
本发明属于合成孔径雷达目标识别技术领域，尤其涉及一种面向训练目标视角不完备的SAR目标识别的自学习方法。
背景技术
合成孔径雷达(Synthetic Aperture Radar，SAR)目标识别，在军事目标识别、车辆重识别等任务中有着重要的意义，可以为监控、打击、救援等任务的展开提供精准的目标身份信息。目标识别最重要的任务是提供稳定而精准的身份信息，而这其中的关键技术就是视角不完备情况下稳定的目标识别技术。在实际应用中，合成孔径雷达具有不受天气和光照等条件干扰、可连续监测环境中的目标等优势。
在实际的目标监测中，目标与载有成像雷达的卫星处于相对运动中，当目标静止，或者小范围活动时，无法获得待识别目标在全部视角下的成像信息，只能得到部分视角下的成像信息，而SAR图像又对视角敏感，较小的观测角度变化也会引起SAR图像上的突变。实际应用中，可以获得一部分目标在全部视角下的成像(如己方目标等)，但面对只有部分视角下的成像目标，如何利用已有全部视角成像信息的SAR图像和只有部分视角成像信息的SAR图像训练稳定精准的目标识别分类器，从而处理视角不完备情况下的目标识别问题，就成为了亟待解决的难题。
发明内容
本发明的目的是提供一种面向训练目标视角不完备的SAR目标识别的自学习方法，通过控制缺失预测监督任务和拼图重构监督任务的训练过程，以训练得到精准的分类器，提升视角不完备SAR图像的分类精度。
本发明采用以下技术方案：一种面向训练目标视角不完备的SAR目标识别的自学习方法，包括以下步骤：
获取训练集；其中，训练集由至少两类SAR图像构成，且至少一类SAR图像中包含完备视角的识别目标；
从训练集中提取两个SAR图像；
以两个SAR图像为输入信息，基于目标识别网络确定分类误差，基于缺失预测网络和拼图重构网络确定缺失预测误差和拼图重构误差；
通过分类误差、缺失预测误差和拼图重构误差，对目标识别网络、缺失预测网络和拼图重构网络进行优化，得到视角不完备的SAR图像分类器。
进一步地，目标识别网络采用两路参数共享的卷积网络，激活函数选用relu，每个卷积网络后均连接softmax层。
进一步地，缺失预测网络采用encoder-decoder架构，基于缺失预测网络确定缺失预测误差包括：
构建输入的SAR图像的不完备区域；
利用SAR图像中的不完备区域外的区域信息，预测填充不完备区域，得到预测SAR图像；
确定预测SAR图像和输入的SAR图像之间的缺失预测误差。
进一步地，拼图重构网络采用孪生网络架构，基于拼图重构网络确定拼图重构误差包括：
将输入的SAR图像裁剪为固定大小的切片；其中，相邻的切片之间具有间隔；
依次将切片输入到孪生网络架构中，得到拼图重构后的SAR图像；
确定拼图重构后的SAR图像和输入的SAR图像之间的拼图重构误差。
进一步地，从训练集中提取两个SAR图像包括：
两个SAR图像中识别目标的类别相同。
进一步地，分类误差为交叉熵与同类限制约束误差之和。
进一步地，交叉熵的计算方法为其中，Lce为交叉熵，y是SAR图像中识别目标的真实类别，/>是目标识别网络的预测类别；
同类限制约束误差的计算方法为Lcongeneric＝α*mse(f1,f2)，Lcongeneric为同类限制约束误差，y1为输入信息中第一个SAR图像的真实类别，y2为输入信息中第二个SAR图像的真实类别。
进一步地，通过分类误差、缺失重构误差和拼图重构误差，对目标识别网络、缺失预测网络和拼图重构网络进行优化包括：
采用误差方程进行误差计算，其中误差方程为：
其中，Lid＝Lce+Lcongeneric，Lpre为缺失预测网络的误差，Lrecon为拼图重构网络的误差，β为计算参数，pi为缺失预测网络中输入的SAR图像中第i个像素值，为缺失预测后的SAR图像中第i个像素值，qi为拼图重构网络中输入的SAR图像中第i个像素值，/>为拼图重构后的SAR图像中第i个像素值，m为SAR图像中的像素总数，i∈{1,2,...,m}。
本发明的另一种技术方案：一种面向训练目标视角不完备的SAR目标识别的自学习装置，包括：
获取模块，用于获取训练集；其中，训练集由至少两类SAR图像构成，且至少一类SAR图像中包含完备视角的识别目标；
提取模块，用于从训练集中提取两个SAR图像；
确定模块，用于以两个SAR图像为输入信息，基于目标识别网络确定分类误差，基于缺失预测网络和拼图重构网络确定缺失预测误差和拼图重构误差；
优化模块，用于通过分类误差、缺失预测误差和拼图重构误差，对目标识别网络、缺失预测网络和拼图重构网络进行优化，得到视角不完备的SAR图像分类器。
本发明的另一种技术方案：一种面向训练目标视角不完备的SAR目标识别的自学习装置，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一的一种面向训练目标视角不完备的SAR目标识别的自学习方法。
本发明的有益效果是：本发明采用不同类别间的SAR图像随机组合生成输入对，建立视角不完备SAR图像和视角完备SAR图像之间的联系，极大地丰富了样本SAR图像多样性，并结合缺失预测网络和拼图重构网络对目标识别网络进行优化，使得该网络能够在视角不完备的情况下提取出鲁棒的身份特征，提升训练得出的分类器的分类精确度。
附图说明
图1为本发明一种面向训练目标视角不完备的SAR目标识别的自学习方法的原理框图；
图2为本发明实施例一种面向训练目标视角不完备的SAR目标识别的自学习方法的流程图；
图3为本发明实施例中视角不完备的SAR图像目标识别的自学习网络整体框架图；
图4为本发明实施例中目标识别网络的结构示意图；
图5为本发明实施例中缺失预测网络和拼图重构网络的原理图；
图6本发明实施例中缺失预测网络的结构示意图；
图7为本发明实施例中拼图重构网络的架构图；
图8为本发明验证实施例中缺失预测任务和拼图重构任务的样本示意图；
图9为本发明实施例中控制函数的控制示意图；
图10为本发明另一实施例一种面向训练目标视角不完备的SAR目标识别的自学习装置的结构示意图；
图11为本发明另一实施例一种面向训练目标视角不完备的SAR目标识别的自学习装置的结构示意图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
在目标识别方面，传统的目标识别并未考虑到视角不完备SAR图像对分类器性能的影响，在构造输入数据时，一般使用单个目标SAR图像、或者同一类别下的不同视角目标SAR图像组成作为输入，进而来训练SAR图像分类器。
但是，这种构造方式不能充分挖掘训练数据间的关系(例如全部视角成像下SAR图像的视角信息无法传递到部分视角成像下的SAR图像)，使得训练数据模式单一，不能处理较复杂的任务。同时这一方式训练得来的分类器，无法提取出对视角变化的鲁棒特征，当处理视角不完备情况下的SAR图像时会受到影响，从而导致分类精度大幅下降。
在自学习框架下的目标识别方法中，通过设计多种自监督任务，约束引导网络学得具有预期特性的特征表示，自学习方法可以看作是一种具有监督形式的、特殊形式的非监督学习方法，这里的监督是由自监督任务而不是预设先验知识诱发的。与完全不受监督的设置相比，自监督学习使用数据集本身的信息来构造伪标签，可以更好地挖掘数据本身的特性，提供更丰富更合理的特征表示。
但是由于多个自监督任务的引入，如何设置不同任务的权重成为关注的重点，目前常用的方法是通过网格搜索的方式寻找最佳的任务权重，但这一过程往往会造成大量的时间、算力消耗，这使得应用在自学习框架下的目标识别方法缺乏处理实际应用中的视角不完备的问题。
传统的目标识别方法并未考虑到视角不完备SAR图像对分类器性能的影响，训练分类器时使用单个目标作为输入，或者使用同类别下不同视角SAR图像组成一个输入对，这一方式虽然可以使分类器有效地缩减类内差异，但并不能使用到其他类别中其他有效的信息。在视角完备的SAR图像中，除了用来表示身份的信息外，还可以提供较为完整的视角信息，这些完整的视角信息合理运用可以补充视角不完备SAR图像数据的天然缺陷。
在自学习框架下的目标识别方法中，使用预先设计的多种自监督任务约束引导网络训练，通过这一具有监督形式的特殊形式的非监督学习方法，使得网络获得任务预期的特征提取能力。在引入监督任务增强网络表示能力的同时，也会导致网络在不同任务监督下有不同的性能表现，即不同监督任务对主任务的辅助作用不同。
此外，在训练过程中，同时对主任务及监督任务进行优化，会导致监督任务之间相互影响，无法发挥起作用。简单来说，合理的训练过程应当在某一监督任务下达到一定效果后再进行下一项监督任务，是一个有约束的优化问题。一般情况下，通过设置不同监督任务的权值来观察不同监督任务对主任务的影响程度，但这一方法所需时间及算力较大，极大地限制了方法的应用场景，更为重要的是训练过程并不是合理的有约束的优化，监督任务间的耦合会影响分类性能。
在视角不完备的目标识别问题中，需要利用已有的全视角类别SAR图像和视角不完备的SAR图像来训练分类器，完成所有类别在全视角下的目标识别问题。这要求能够建立视角不完备SAR图像和视角完备SAR图像的联系，利用合理的网络结构挖掘更深层次特征表示，以此来完成目标识别问题，尤其是视角不完备的情况下的目标识别问题。
故本发明采用不同类别间的SAR图像随机组合生成输入对，建立视角不完备SAR图像和视角完备SAR图像之间的联系，极大地丰富了样本SAR图像多样性，并使用控制函数渐进地完成自学习网络的训练过程，该网络能够在视角不完备的情况下提取出鲁棒的身份特征，进一步完成目标识别问题。
本发明公开了一种面向训练目标视角不完备的SAR目标识别的自学习方法，属于深度学习和目标识别技术领域，SAR图像对视角变化非常敏感，而在实际应用中很难获得待识别目标在全部视角下的图像，所以对视角不完备的目标完成识别是具有挑战且有广阔应用需求的任务。
传统目标识别方法没有利用可获得的视角完备SAR图像给视角不完备SAR图像提供有用信息，而一般的自学习框架将不同的监督任务同等对待或者进行耗时耗力的权值搜索，并未将训练过程视为有约束的优化问题，分类性能易受监督任务间的耦合影响。
本发明采用不同类别间的SAR图像随机组合生成输入对，每个输入对都包括两个SAR图像，这两个SAR图像中识别目标的类别可以是相同的，也可以是不同的。建立视角不完备SAR图像和视角完备SAR图像的联系，同时使用控制函数渐进地完成自学习网络的训练过程，从而提取出更为鲁棒的身份特征，完成视角不完备情况下的目标识别问题。
处理过程原理图如图1所示，具体过程如图2所示，通过以下步骤实现。
步骤S110、获取训练集；其中，训练集由至少两类SAR图像构成，且至少一类SAR图像中包含完备视角的识别目标；
步骤S120、从训练集中提取两个SAR图像；
步骤S130、以两个SAR图像为输入信息，基于目标识别网络确定分类误差，基于缺失预测网络和拼图重构网络确定缺失预测误差和拼图重构误差；
步骤S140、通过分类误差、缺失预测误差和拼图重构误差，对目标识别网络、缺失预测网络和拼图重构网络进行优化，得到视角不完备的SAR图像分类器。
本发明采用不同类别间的SAR图像随机组合生成输入对，建立视角不完备SAR图像和视角完备SAR图像之间的联系，极大地丰富了样本SAR图像多样性，并结合缺失预测网络和拼图重构网络对目标识别网络进行优化，使得该网络能够在视角不完备的情况下提取出鲁棒的身份特征，提升训练得出的分类器的分类精确度。
更为具体的，首先生成网络训练所需的输入对，取训练数据集中任意类别的两张SAR图像随机组合生成一对输入图像，经过数据预处理模块，得到各任务网络所需的数据样式，之后将得到的数据送入不同的任务网络进行训练，不同任务网络完成任务所需的输出。
如图3所示，为视角不完备的SAR图像目标识别的自学习网络整体框架。目标识别主任务网络结构如图4所示，采用两路参数共享的卷积网络，激活函数选用relu，再各自经过softmax层得到最终的分类结果。因为双路输入的SAR图像的类别组合是随机的，对于属于不同类的SAR图像组合不宜添加约束，避免使其相互远离，但对属于同类的SAR图像组合，应当认为此时提取出的身份表示(即身份特征)应当是相同或近似的，故在常用的交叉熵损失之外还应加入同类限制约束。
对于两个监督任务：缺失预测和拼图重构。自监督任务无需额外监督信息，通过数据本身来构造相关任务。其中，缺失预测任务是指，利用其他区域的信息来预测填充不完备区域，即在输入SAR图像中，当该SAR图像具有随机不完备固定尺寸的区域信息时，利用其它区域的信息对该区域进行预测填充，任务示意图见图5(a)。
拼图重构任务是将一个SAR图像，等分切割成为4块小区域，将其乱序排列后输入网络，使网络学习SAR图像中目标的相对位置与绝对位置，从而完成图像的重构任务，任务示意图见图5(b)。
同时，为了调节两个监督任务的相互关系，避免结果受到任务耦合的影响，使用渐进式控制函数来调节监督任务在训练过程中的参与情况，实现有约束的优化过程，同时使用交替迭代的训练方式来确保网络的稳定性。
缺失预测任务采用类似encoder-decoder架构，具体过程为：
构建输入的SAR图像的不完备区域；利用SAR图像中的不完备区域外的区域信息，预测填充不完备区域，得到预测SAR图像；确定预测SAR图像和输入的SAR图像之间的缺失预测误差。
更为具体的，如图6所示，训练误差由两部分组成，其中L2误差使图片重建相近，对抗误差(adversarial loss)使图片清晰。encoder和decoder之间使用channel-wise FC层相连(因为修复需要四周的背景信息，而单纯卷积层只有局部语义)。
拼图重构任务采用孪生网络架构，具体过程为：
将输入的SAR图像裁剪为固定大小的切片；其中，相邻的切片之间具有间隔；依次将切片输入到孪生网络架构中，得到拼图重构后的SAR图像；确定拼图重构后的SAR图像和输入的SAR图像之间的拼图重构误差。
更为具体的，如图7所示。将图片裁剪为固定大小的切片，网络是依次输入两个切片，其中第一张切片是随机采样的，其余切片按照其与第一张切片的关系依次编号(共8个方向，及8种关系)为1，2，…，8。其中，在四个方形框中，右下角的实线框区域为第一次随机采样得到的patch，而第二次输入的patch是从周边的8个patch中随机选择得到的。同时，为了增加任务的难度，相邻的patch要有一定像素的间隔，并且有-7到7个像素的随机变化。输入打乱顺序的切片后，经过网络得到各个切片间的相对位置关系，从而完成重构任务。
网络搭建完成后，还需要对网络进行优化。网络的整体误差由三部分组成，目标识别主任务网络的误差、不完备预测网络和拼图重构网络的图像重构误差。其中，目标识别主任务网络的误差包括分类误差和同类误差。分类误差是指利用网络提取出的身份特征进行分类的结果与目标真实类别间的差异，这一误差可以用来衡量网络所提取出的身份特征的优劣，采用最常见的交叉熵(Cross Entropy)作为衡量误差大小的指标，计算公式如下：
其中，y是SAR图像中待识别目标的真实类别，是目标识别主任务网络利用身份特征进行识别后的预测类别。
双路输入的SAR图像中待识别目标的类别组合是随机的，对于属于不同类的组合不宜添加约束，避免使其相互远离。但对属于同类的组合，应当认为此时提取出的身份表示应当是相同或近似的，所以引入同类限制约束，计算公式如下：
其中，fi表示主任务网络所提取的第i个身份特征，yi为网络的预测类别，i＝1或2，故目标识别主任务网络总的误差为：
Lid＝Lce+Lcongeneric。
在缺失预测和拼图重构任务中，最后网络输出的均为输入图像的重构，衡量图像重构优劣的方法有很多，比如均方误差MSE(Mean Square Error)、平均绝对误差MAE(MeanAbsolute Error)等，本发明中采用MAE作为衡量图像重构优劣的指标，计算公式如下：
其中，p为原始图像，为重构图像，m为SAR图像中的像素总数，i∈{1,2,...,m}。
故网络的总误差为：
其中，Lpre为缺失预测网络的误差，Lrecon为拼图重构网络的误差，参数β由控制函数fcon(·)与训练进度r共同决定。控制函数fcon(·)负责调节训练过程中不同监督任务的关系，虽然两个监督任务均进行，但要保证当前只有一个监督任务参与误差计算，在该任务上训练一定步数(即完成训练进度r)后，开始另一项监督任务的训练，如此迭代往复，使得主任务在绝大多数时间只与一个监督任务发生关联，而监督任务之间没有直接联系。控制函数fcon()可选择Sigmoid函数或者跟其有类似增减趋势的函数，本实施例中控制函数fcon()选取：
其中，step为当前训练步数，steps为总的训练步数(具体值预先设定)。控制函数如图9所示，其中，横轴代表训练进度r，为当前训练步数与设定好的训练总步数的比值，纵轴代表在当前训练进度下的参数β的值。可以看出参数β的值由0逐渐趋近于1，这表示参数β控制的监督任务从不参与主任务的训练到监督主任务的训练过程的转换，同时1-β的值由1逐渐趋近于0，表明另一监督任务逐渐退出监督主任务的训练过程的变化。
网络采用Adam(Adaptive moment estimation)优化器进行优化，学习率为0.001，动量为0.9，其余参数设置为默认。
本发明采用一种面向训练目标视角不完备的SAR目标识别的自学习方法，实现对不完备视角下的SAR图像中目标的识别，通过采用不同类别间的样本随机组合生成输入对，建立视角不完备SAR图像和视角完备样本的SAR图像，同时使用控制函数渐进地完成自学习网络的训练过程，从而提取出更为鲁棒的身份特征表示，完成视角不完备情况下的目标识别问题。
验证实施例：
为了进行验证，首先需要将不同视角下目标的SAR图像进行采样，组合作为网络的输入。
选用其中的十类目标作为训练数据集，数据集的基本信息如表1所示。
表1使用的数据集的基本信息
由于每种目标的图像尺寸不一致，所以需要进行处理，使所有目标图像尺寸相同。如果采用resize等方法，会改变图像中像素值，而在SAR图像对像素值的变化非常敏感，所以采用crop方法以保留原始信息，最后得到大小为88×88像素的图片。在获得不同视角下的排列组合时，可以使用组合数的全排列方式，但这样会导致训练样本过多，从而使训练时间增加，所以使用数据量较少的随机打乱组合，具体操作为对训练集样本随机打乱2次，然后按次序组成输入对。
另外，考虑到全视角类别个数会对视角不完备下的识别产生影响，所以设计以下两种实验场景：一、随机选择五个类别作为全视角样本，剩余五类为视角不完备样本；二、依次选择一个类别作为全视角样本，剩余九类为视角不完备样本。
为了验证方法的有效性，对监督任务重构出的图像进行展示，如图8所示，通过该图可以看出在两个不同的自监督任务中都实现了高质量的重构效果，说明在控制函数的调节下，缺失预测任务和拼图重构任务解耦开来，独立完成了各自的监督任务。
为了验证方法的高效性，将本发明方法与目前多种主流目标识别方法进行了对比。在对比方法选择中，除了经典的支持向量机分类器(Support Vector Machine，SVM)、基于稀疏表示的分类器(Sparse Representations Classification，SRC)外，还选用了一种高性能的深度卷积神经网络AconvNet，在此基础上将直接旋转扩充的SAR图像，作为训练集测试直接旋转图像来解决视角不完备问题的可行性，此外还将深度卷积神经网络结合STN模块以期获取鲁棒的视角不变特征。
相较于上述对比方法，本发明在两种情况的SAR图像样本集测试中，均取得最高的识别精度，具体识别结果如表2所示，这充分说明了本发明在视角不完备情况下目标识别的高效性。
表2本发明及对比方法在两种不完备情况下的识别精度
综上可知，本发明采用不同类别间的SAR图像样本随机组合的方式生成输入对，一方面提高了SAR图像样本的多样性与数据量，另一方面在训练过程中建立起视角完备SAR图像样本与视角不完备SAR图像样本的联系，使得与类别无关的视角信息得以传递。同时因随机组合方式导致无法对双路输入的样本直接进行约束，故使用选择性的同类约束限制，当输入对的样本类别一致时，其身份表示应趋于一致甚至相同，也就是同类目标经网络提取后的feature map应尽可能相似。通过跨类别组合使得视角不完备的样本从视角完备的样本中得到丰富的视角信息，提供其解决视角不完备下的识别问题的能力，又利用选择性的同类约束保留了同类组合输入的有力约束，使网络能够在其反馈下学得更好的身份特征表示。
另外，本发明通过控制函数调节自学习框架中自监督任务间的关系，避免了传统自学习中为调节监督任务而使用的耗时耗力的网格搜索，同时使得每次优化过程中只有一个监督任务对主任务起辅助作用，根本上解决了多监督任务间耦合的问题。使用交替优化策略，确保了训练过程是一个有约束的优化过程，即当某一监督任务训练一定步数后，更换监督任务，这时新的监督任务的优化是基于先前任务的基础上进行的，交替往复，使得网络拥有更好的泛化能力，从而解决视角不完备下的目标识别问题。
本发明基于控制函数控制的自学习框架，将视角完备样本和视角不完备样本进行跨类别随机组合，生成输入对，在增加样本多样性、增大训练数据量的同时，建立视角完备样本和视角不完备样本的联系，使得与类别无关的视角信息得以传递，并通过同类约束对类别一致的样本对施加身份表示一致的限制，使网络提取到的身份表示更为鲁棒，实现在视角不完备下的SAR目标识别任务，可以有效地克服因SAR图像对视角变化敏感，以及实际识别任务中不易获取全视角样本而导致的视角不完备下识别精度大幅下降的难题。此外因为自学习网络的两个自监督任务通过渐进式的控制函数调节训练过程，减少时间、算力消耗的同时，实现了有约束的优化过程，消除监督任务间耦合现象对结果的影响，使得网络拥有更好的泛化能力，极大地扩大了该发明的适用范围。
另外，本发明另一实施例还公开了一种面向训练目标视角不完备的SAR目标识别的自学习装置，如图10所示，包括：
获取模块210，用于获取训练集；其中，训练集由至少两类SAR图像构成，且至少一类SAR图像中包含完备视角的识别目标；提取模块220，用于从训练集中提取两个SAR图像；确定模块230，用于以两个SAR图像为输入信息，基于目标识别网络确定分类误差，基于缺失预测网络和拼图重构网络确定缺失预测误差和拼图重构误差；优化模块240，用于通过分类误差、缺失预测误差和拼图重构误差，对目标识别网络、缺失预测网络和拼图重构网络进行优化，得到视角不完备的SAR图像分类器。
需要说明的是，上述模块之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功模块，以完成以上描述的全部或者部分功能。实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述系统中模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本发明另一实施例还公开了一种面向训练目标视角不完备的SAR目标识别的自学习装置，如图11所示，包括存储器31、处理器32以及存储在存储器31中并可在处理器32上运行的计算机程序33，其特征在于，处理器32执行计算机程序33时实现上述的一种面向训练目标视角不完备的SAR目标识别的自学习方法。
本发明另一实施例还公开了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述的一种面向方位角连续缺失的SAR目标特征解缠与识别方法。
所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

Claims (3)

1.一种面向训练目标视角不完备的SAR目标识别的自学习方法，其特征在于，包括以下步骤：
获取训练集；其中，所述训练集由至少两类SAR图像构成，且至少一类所述SAR图像中包含完备视角的识别目标；
从所述训练集中提取两个SAR图像；
以两个所述SAR图像为输入信息，基于目标识别网络确定分类误差，基于缺失预测网络和拼图重构网络确定缺失预测误差和拼图重构误差；
通过所述分类误差、缺失预测误差和拼图重构误差，对目标识别网络、缺失预测网络和拼图重构网络进行优化，得到视角不完备的SAR图像分类器；
所述目标识别网络采用两路参数共享的卷积网络，激活函数选用relu，每个所述卷积网络后均连接softmax层；
所述缺失预测网络采用encoder-decoder架构，基于缺失预测网络确定缺失预测误差包括：
构建输入的所述SAR图像的不完备区域；
利用所述SAR图像中的所述不完备区域外的区域信息，预测填充所述不完备区域，得到预测SAR图像；
确定所述预测SAR图像和输入的所述SAR图像之间的缺失预测误差；
所述拼图重构网络采用孪生网络架构，基于拼图重构网络确定拼图重构误差包括：
将输入的SAR图像裁剪为固定大小的切片；其中，相邻的所述切片之间具有间隔；
依次将所述切片输入到所述孪生网络架构中，得到拼图重构后的SAR图像；
确定拼图重构后的SAR图像和输入的所述SAR图像之间的拼图重构误差；
从所述训练集中提取两个SAR图像包括：
两个所述SAR图像中识别目标的类别相同；
所述分类误差为交叉熵与同类限制约束误差之和；
所述交叉熵的计算方法为其中，Lce为交叉熵，y是SAR图像中识别目标的真实类别，/>是所述目标识别网络的预测类别；
所述同类限制约束误差的计算方法为Lcongeneric＝α*mse(f1,f2)，Lcongeneric为同类限制约束误差，y1为所述输入信息中第一个SAR图像的真实类别，y2为所述输入信息中第二个SAR图像的真实类别，f1表示目标识别网络所提取的第1个身份特征，f2表示目标识别网络所提取的第2个身份特征；
通过所述分类误差、缺失重构误差和拼图重构误差，对目标识别网络、缺失预测网络和拼图重构网络进行优化包括：
采用误差方程进行误差计算，其中误差方程为：
其中，Lid＝Lce+Lcongeneric，Lpre为缺失预测网络的误差，Lrecon为拼图重构网络的误差，β为计算参数，pi为缺失预测网络中输入的SAR图像中第i个像素值，为缺失预测后的SAR图像中第i个像素值，qi为拼图重构网络中输入的SAR图像中第i个像素值，/>为拼图重构后的SAR图像中第i个像素值，m为SAR图像中的像素总数，i∈{1,2,...,m}；
参数β由控制函数fcon()与训练进度r共同决定，控制函数fcon()选取：
其中，step为当前训练步数，steps为总的训练步数。
2.一种面向训练目标视角不完备的SAR目标识别的自学习装置，其特征在于，包括：
获取模块，用于获取训练集；其中，所述训练集由至少两类SAR图像构成，且至少一类所述SAR图像中包含完备视角的识别目标；
提取模块，用于从所述训练集中提取两个SAR图像；
确定模块，用于以两个所述SAR图像为输入信息，基于目标识别网络确定分类误差，基于缺失预测网络和拼图重构网络确定缺失预测误差和拼图重构误差；
优化模块，用于通过所述分类误差、缺失预测误差和拼图重构误差，对目标识别网络、缺失预测网络和拼图重构网络进行优化，得到视角不完备的SAR图像分类器；
所述目标识别网络采用两路参数共享的卷积网络，激活函数选用relu，每个所述卷积网络后均连接softmax层；
所述缺失预测网络采用encoder-decoder架构，基于缺失预测网络确定缺失预测误差包括：
构建输入的所述SAR图像的不完备区域；
利用所述SAR图像中的所述不完备区域外的区域信息，预测填充所述不完备区域，得到预测SAR图像；
确定所述预测SAR图像和输入的所述SAR图像之间的缺失预测误差；
所述拼图重构网络采用孪生网络架构，基于拼图重构网络确定拼图重构误差包括：
将输入的SAR图像裁剪为固定大小的切片；其中，相邻的所述切片之间具有间隔；
依次将所述切片输入到所述孪生网络架构中，得到拼图重构后的SAR图像；
确定拼图重构后的SAR图像和输入的所述SAR图像之间的拼图重构误差；
从所述训练集中提取两个SAR图像包括：
两个所述SAR图像中识别目标的类别相同；
所述分类误差为交叉熵与同类限制约束误差之和；
所述交叉熵的计算方法为其中，Lce为交叉熵，y是SAR图像中识别目标的真实类别，/>是所述目标识别网络的预测类别；
所述同类限制约束误差的计算方法为Lcongeneric＝α*mse(f1,f2)，Lcongeneric为同类限制约束误差，y1为所述输入信息中第一个SAR图像的真实类别，y2为所述输入信息中第二个SAR图像的真实类别，f1表示目标识别网络所提取的第1个身份特征，f2表示目标识别网络所提取的第2个身份特征；
通过所述分类误差、缺失重构误差和拼图重构误差，对目标识别网络、缺失预测网络和拼图重构网络进行优化包括：
采用误差方程进行误差计算，其中误差方程为：
其中，Lid＝Lce+Lcongeneric，Lpre为缺失预测网络的误差，Lrecon为拼图重构网络的误差，β为计算参数，pi为缺失预测网络中输入的SAR图像中第i个像素值，为缺失预测后的SAR图像中第i个像素值，qi为拼图重构网络中输入的SAR图像中第i个像素值，/>为拼图重构后的SAR图像中第i个像素值，m为SAR图像中的像素总数，i∈{1,2,...,m}；
参数β由控制函数fcon(·)与训练进度r共同决定，控制函数fcon(·)选取：
其中，step为当前训练步数，steps为总的训练步数。
3.一种面向训练目标视角不完备的SAR目标识别的自学习装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1所述的一种面向训练目标视角不完备的SAR目标识别的自学习方法。
CN202110238790.7A 2021-03-04 2021-03-04 一种面向训练目标视角不完备的sar目标识别的自学习方法 Active CN113111909B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110238790.7A CN113111909B (zh) 2021-03-04 2021-03-04 一种面向训练目标视角不完备的sar目标识别的自学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110238790.7A CN113111909B (zh) 2021-03-04 2021-03-04 一种面向训练目标视角不完备的sar目标识别的自学习方法

Publications (2)

Publication Number Publication Date
CN113111909A CN113111909A (zh) 2021-07-13
CN113111909B true CN113111909B (zh) 2024-03-12

Family

ID=76710180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110238790.7A Active CN113111909B (zh) 2021-03-04 2021-03-04 一种面向训练目标视角不完备的sar目标识别的自学习方法

Country Status (1)

Country Link
CN (1) CN113111909B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114997238B (zh) * 2022-06-24 2023-04-07 西北工业大学 一种基于分布矫正的sar目标识别方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765333A (zh) * 2018-05-24 2018-11-06 华南理工大学 一种基于深度卷积神经网络的深度图完善方法
WO2021000906A1 (zh) * 2019-07-02 2021-01-07 五邑大学 一种面向sar图像的小样本语义特征增强的方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10275691B2 (en) * 2017-08-22 2019-04-30 Northrop Grumman Systems Corporation Adaptive real-time detection and examination network (ARDEN)

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765333A (zh) * 2018-05-24 2018-11-06 华南理工大学 一种基于深度卷积神经网络的深度图完善方法
WO2021000906A1 (zh) * 2019-07-02 2021-01-07 五邑大学 一种面向sar图像的小样本语义特征增强的方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"A Preliminary Study on SAR Advanced Information Retrieval and Scene Reconstruction";Feng Xu et al.;《 IEEE Geoscience and Remote Sensing Letters》;20161031;第13卷(第10期);全文 *
带鉴别分析的多视角SAＲ 图像联合决策及目标识别;蔡德饶等;中国电子科学研究院学报;20190131;第14卷(第1期);全文 *
深度卷积神经网络在迁移学习模式下的SAR目标识别;李松;魏中浩;张冰尘;洪文;;中国科学院大学学报(第01期);全文 *

Also Published As

Publication number Publication date
CN113111909A (zh) 2021-07-13

Similar Documents

Publication Publication Date Title
Song et al. Efficient residual dense block search for image super-resolution
CN110363716B (zh) 一种基于条件生成对抗网络复合降质图像高质量重建方法
Akimoto et al. Adaptive stochastic natural gradient method for one-shot neural architecture search
CN111145116B (zh) 一种基于生成对抗网络的海面雨天图像样本增广方法
CN108171266A (zh) 一种多目标深度卷积生成式对抗网络模型的学习方法
CN112489164B (zh) 基于改进深度可分离卷积神经网络的图像着色方法
CN111476835B (zh) 多视角图像一致性的无监督深度预测方法、系统、装置
CN110570366A (zh) 基于双判别深度卷积生成式对抗网络的图像修复方法
CN112102165B (zh) 一种基于零样本学习的光场图像角域超分辨系统及方法
CN107316004A (zh) 基于深度学习的空间目标识别方法
CN110136162B (zh) 无人机视角遥感目标跟踪方法及装置
CN114881861B (zh) 基于双采样纹理感知蒸馏学习的不均衡图像超分方法
CN112580473A (zh) 一种融合运动特征的视频超分辨率重构方法
CN116777745A (zh) 一种基于稀疏自适应聚类的图像超分辨率重建方法
CN114187255A (zh) 一种差异指导的遥感影像变化检测方法
CN116033279B (zh) 一种夜晚监控相机的近红外图像彩色化方法、系统及设备
CN113111909B (zh) 一种面向训练目标视角不完备的sar目标识别的自学习方法
CN115810149A (zh) 基于超像素与图卷积的高分辨率遥感图像建筑物提取方法
CN115526779A (zh) 一种基于动态注意力机制的红外图像超分辨率重建方法
CN115438249A (zh) QoS预测模型构建方法、装置、设备及可读存储介质
Xu et al. Wavenerf: Wavelet-based generalizable neural radiance fields
CN118096922A (zh) 一种基于风格迁移和遥感影像生成地图的方法
CN113096015A (zh) 基于渐进式感知和超轻量级网络的图像超分辨率重建方法
Lin et al. Transformer-Based Light Field Geometry Learning for No-Reference Light Field Image Quality Assessment
Liu et al. Dsma: Reference-based image super-resolution method based on dual-view supervised learning and multi-attention mechanism

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant