CN111832580B - 结合少样本学习与目标属性特征的sar目标识别方法 - Google Patents

结合少样本学习与目标属性特征的sar目标识别方法 Download PDF

Info

Publication number
CN111832580B
CN111832580B CN202010708036.0A CN202010708036A CN111832580B CN 111832580 B CN111832580 B CN 111832580B CN 202010708036 A CN202010708036 A CN 202010708036A CN 111832580 B CN111832580 B CN 111832580B
Authority
CN
China
Prior art keywords
target
class
req
sar
sar image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010708036.0A
Other languages
English (en)
Other versions
CN111832580A (zh
Inventor
王英华
黄媛媛
王思源
刘宏伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202010708036.0A priority Critical patent/CN111832580B/zh
Publication of CN111832580A publication Critical patent/CN111832580A/zh
Application granted granted Critical
Publication of CN111832580B publication Critical patent/CN111832580B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种结合少样本学习与目标属性特征的SAR目标识别方法，实现步骤为：获取源域数据集R、目标域数据集E、目标域支撑集ES、目标域查询集EQ以及R和ES的目标属性特征集合A；构建视觉分类网络F1；使用R对视觉分类网络F1进行迭代训练；构建视觉属性分类网络F；使用源域数据集R、目标域支撑集ES及其目标属性特征集合A对视觉属性分类网络F进行迭代训练；利用目标域支撑集ES、目标域查询集EQ及其目标属性特征集合A′o，获取SAR图像的目标识别结果。本发明通过结合少样本学习与目标属性特征，提升了已知类别训练样本有限情况下的SAR目标识别性能。

Description

结合少样本学习与目标属性特征的SAR目标识别方法
技术领域
本发明属于雷达图像处理技术领域，涉及一种SAR图像目标识别方法，具体涉及一种结合少样本学习与目标属性特征的SAR目标识别方法，可用于已知类别标签样本有限情况下的目标识别。
背景技术
合成孔径雷达SAR具有全天时、全天候及穿透力强的特点，被广泛应用于侦察、探测制导和遥感领域。近年来SAR图像的自动目标识别技术SAR ATR发展迅速，基本的SAR图像自动目标识别系统一般包括目标检测、目标鉴别和目标识别三个阶段。目标识别用于区分目标的类别，作为自动目标识别系统的最后一环，具有重要研究意义。
传统的SAR目标识别算法通常适用于大量已知类别标签的样本，然而，由于现实情况的限制，很难得到大量已知类别的样本，使得利用传统的SAR目标识别算法基于有限已知类别的样本所训练出的特征推广性差。为解决这个问题，基于迁移学习的思想，将与有限已知类别样本的类别不同的样本作为源域数据集，将有限已知类别样本作为目标域数据集，通过利用源域数据集训练分类网络得到训练好的分类网络，利用训练好的网络或利用训练好的网络进行微调等方法对目标域数据集进行分类，相对于传统的方法，可以提高有限已知类别样本条件下SAR图像的目标识别准确率。
例如申请公布号为CN 110245711 A，名称为“基于角度旋转生成网络的SAR目标识别方法”的专利申请，公开了一种基于角度旋转生成网络的SAR目标识别方法，包含如下步骤：1)对给定的数据集进行预处理，获取新的源任务训练样本和目标任务样本；2)构建角度旋转生成网络ARGN；3)用源任务训练样本对ARGN网络进行训练，得到训练好的网络模型；4)用训练好的模型提取目标任务训练集、测试集的特征；5)用训练集的特征训练SVM分类器；6)将测试集的特征输入到训练好的SVM分类器中，得到测试集的分类结果。该方法提高了目标任务中训练数据有限情况下的SAR目标识别的准确率，但是其存在的不足之处在于，训练角度旋转生成网络ARGN时，仅用了源任务样本对用来提取特征的角度旋转生成网络ARGN进行了训练，没有使用目标任务的训练集数据进行训练，所以使用训练好的角度旋转生成网络ARGN对目标任务的训练集与测试集进行特征提取，得到的目标任务的训练集和测试集中的特征的可分性不够高，且仅仅使用网络提取的特征作为分类的依据，因此对SAR图像目标识别准确率仍然不够高。
少样本学习也常被应用于已知类别标签样本有限下的目标识别，少样本学习就是通过学习大量的任务，从而学习到任务中的内在知识，从而可以快速的处理新的同类任务。例如，Tang、Zhang等人在2019年的国际地球科学与遥感研讨会上公开了一种基于少样本学习和改进的孪生网络的SAR目标识别方法，利用大量已知类别的源域数据训练一个分类模型，利用训练好的分类模型对只有少量已知类别标签的目标域数据进行目标识别，该方法提高了目标域数据中已知类别标签有限情况下的SAR目标识别的准确率，但是其存在的不足之处在于，仅使用网络提取的特征作为分类的依据，因此对SAR图像目标识别的准确率仍然不够高。
发明内容
本发明的目的在于针对上述现有技术的不足，提出一种结合少样本学习与目标属性特征的SAR目标识别方法，该方法利用少样本学习提升了所学习出的特征的分类性能，并结合样本的目标属性特征进一步提升分类性能，因此，本发明可以提高SAR目标识别准确率。
为了实现上述目的，本发明采用的技术方案包括如下步骤：
(1)获取源域数据集R、目标域数据集E、目标域支撑集ES、目标域查询集EQ以及R和ES的目标属性特征集合A：
(1a)获取包含10类的目标，且每幅SAR图像中只包含一个目标的运动与静止目标MSTAR数据集M＝{M1,…,Mi,…,Ms}，并对M进行预处理，得到处理后的运动与静止目标MSTAR数据集M2，其中，Mi表示第i幅SAR图像，s表示SAR图像的数量，s≥4000；
(1b)将从预处理后的运动与静止目标MSTAR数据集M2中随机选取n类带有类别标签的SAR图像作为目标域数据集E，将M2中剩余带有类别标签的(10-n)类SAR图像作为源域数据集R，并将从E中带有类别标签的每类SAR图像中随机选取k幅作为E的支撑集ES＝{ESk×1,ESk×2,…,ESk×n}，将E中剩余带有类别标签的SAR图像作为E的查询集EQ，其中，n≤5，ESk×n表示第n类的k幅图像，k≤30；
(1c)提取M2中10类目标属性特征，得到10类目标的0/1二值的目标属性特征A＝{a1,…,aq,…,a10}，其中，aq表示第q类目标的目标属性特征向量；
(2)构建视觉分类网络F1：
构建包含顺次级联的特征提取模块T1和视觉分类模块V1的视觉分类网络F1，其中，特征提取模块T1包括顺次级联的多个卷积模块E1，E1包括依次层叠的卷积层、batchnormalization层、ReLu激活层和最大池化层，视觉分类模块V1包括顺次级联的多个全连接层和一个softmax层；
(3)对视觉分类网络F1进行迭代训练：
将源域数据集R作为视觉分类网络F1的输入进行K次迭代监督训练，得到包含训练后的特征提取模块T1'和视觉分类模块V1'的视觉分类网络F1'，其中K≥10000；
(4)构建视觉属性分类网络F：
构建包括顺次级联的原型分类网络F2和属性分类网络F3的视觉属性分类网络F，其中，F2包含顺次级联的训练后的特征提取模块T1'、第一计算欧氏距离模块O1和softmax层；F3包含顺次级联的乘法模块C0、第二计算欧式距离模块O2和softmax层；
(5)对视觉属性分类网络F进行迭代训练：
(5a)将支撑集ES中包含的每幅SAR图像以旋转90°的方式进行数据扩充，得到数据扩充后的支撑集ES1＝{ES1(2×k)×1,ES1(2×k)×2,…,ES1(2×k)×n}，并对ES1与源域数据集R进行合并，得到包含10类目标并带有类别标签的训练数据集RE，其中ES1(2×k)×n表示第n类的(2×k)幅SAR图像；
(5b)设置迭代次数为t，最大迭代次数为T，T≥1000，并令t＝0；
(5c)随机选取训练数据集RE中的n个类别，并随机选取每个类别带有类别标签的k幅SAR图像作为当前RE的支撑集RESt，随机选取每个类别剩余的带有类别标签的k幅SAR图像作为当前RE的查询集REQt，再从目标属性特征A中选取与RESt对应的n个类别的目标属性特征其中，/>表示第b个类别的目标属性特征向量，b≤n；
(5d)将支撑集RESt、查询集REQt及目标属性特征At'作为视觉属性分类网络F的输入，通过F2中的特征提取模块T1'进行特征提取，得到RESt和REQt对应的特征向量集合VSt和VQt， 其中，/>表示第t次迭代RESt中第b个类别第h幅SAR图像的特征向量，/>表示第t次迭代REQt中第b个类别第h幅SAR图像的特征向量，h≤k；
(5e)通过计算RESt中第b个类别的原型中心/>并通过/>和/>计算第t次迭代REQt中第b个类别第h幅SAR图像在F2预测为第r个类别的类别预测概率/>得到第t次迭代REQt中第b个类别第h幅SAR图像在F2的类别预测概率集合/>得到第t次迭代REQt在F2的类别预测概率集合PPt，/>然后通过计算第t次迭代REQt中第b个类别第h幅SAR图像的损失值/>得到F2的损失值LossPt，/>
(5f)通过和A't，计算第t次迭代REQt中第b个类别第h幅SAR图像目标属性特征向量/>得到F3的属性特征集合A″t，/>并通过/>和A't计算第t次迭代REQt中第b个类别第h幅SAR图像在属性分类网络F3中预测为第r个类别的类别预测概率/>得到第t次迭代REQt中第b个类别第h幅SAR图像在F3的类别预测概率集合 得到第t次迭代REQt在F3的类别预测概率集合PAt，/>然后通过/>计算第t次迭代REQt中第b个类别第h幅SAR图像在属性分类网络F3的损失值/>得到F3的损失值LossAt，/>
(5g)计算视觉属性分类网络F的损失值Loss_REQt和类别预测概率集合P_REQt，其中/>表示第t次迭代REQt中第b个类别第h幅SAR图像在视觉属性分类网络F的类别预测概率集合，/>其中，/>表示第t次迭代REQt中第b个类别第h幅SAR图像在视觉属性分类网络F预测为第r个类别的类别预测概率；
Loss_REQt＝LossPt+LossAt；
(5h)利用损失值Loss_REQt和随机梯度下降算法对视觉属性分类网络F所有卷积层的参数进行更新；
(5i)判断t≥T是否成立，若是，得到训练好的视觉属性分类网络F'，否则，令t＝t+1，并执行步骤(5c)；
(6)获取SAR图像的目标识别准确率：
将目标域的支撑集ES、查询集EQ及其对应的n个类别的目标属性特征A'o，作为训练好的视觉属性分类网络F'的输入进行分类，得到查询集EQ的目标识别准确率，其中，/>表示ES中第b个类别的目标属性特征向量。
本发明与现有技术相比，具有以下优点：
1.本发明利用大量已知标签的源域数据集、少量已知标签的目标域支撑集及其目标属性特征作为视觉属性分类网络的输入，其中，视觉属性分类网络由原型分类网络和属性分类网络构成，结合目标属性特征并利用少样本学习方法训练视觉属性分类网络，提升了所学习出的特征的分类性能，从而可以提高已知类别标签样本数量较少的目标域数据集中SAR目标识别准确率。
2.本发明构建的原型分类网络包含有经过对视觉分类网络进行预训练所获取的特征提取模块，训练好的特征提取模块具有较好的特征提取能力，再通过使用源域数据集和目标域支撑集对视觉属性分类网络的训练，可以进一步提高目标域数据集的SAR目标识别准确率。
实验结果表明，本发明能够在已知类别标签样本有限的目标任务中，提高SAR目标识别的准确率。
附图说明
图1为本发明的实现流程图；
具体实施方式
下面结合附图和具体实施例，对本发明作进一步详细说明。
参照图1，本发明包括如下步骤：
步骤1)获取源域数据集R、目标域数据集E、目标域支撑集ES、目标域查询集EQ以及R和ES的目标属性特征集合A：
(1a)获取包含10类的目标，且每幅SAR图像中只包含一个目标的运动与静止目标MSTAR数据集M＝{M1,…,Mi,…,Ms}，分辨率为0.3m×0.3m，每幅SAR图像的像素大小为128×128，并对M进行预处理，其中，Mi表示第i幅SAR图像，s表示SAR图像的数量，s≥4000，对M进行预处理，实现步骤为：
(1a1)对运动与静止目标MSTAR数据集M中像素大小为128×128的每幅SAR图像进行中心裁剪，裁剪成64×64大小，得到包含像素大小为64×64的s幅SAR图像的运动与静止目标MSTAR数据集可以去除SAR图像中对SAR目标识别没有帮助的信息，其中/>表示裁剪后的一幅SAR图像；
(1a2)对裁剪后的运动与静止目标MSTAR数据集M1进行L2归一化，目的是将数据集中的SAR图像像素值映射到一个区间内，得到归一化后的运动与静止目标MSTAR数据集M2，L2归一化的公式为：
其中，xj,d表示中每幅SAR图像第j行第d列的像素点的像素值，x'j,d表示L2归一化后每幅SAR图像中第j行第d列的像素点的像素值。
(1b)将从预处理后的运动与静止目标MSTAR数据集M2中随机选取n类带有类别标签的SAR图像作为目标域数据集E，将M2中剩余带有类别标签的(10-n)类SAR图像作为源域数据集R，并将从E中带有类别标签的每类SAR图像中随机选取k幅作为E的支撑集ES＝{ESk×1,ESk×2,…,ESk×n}，将E中剩余带有类别标签的SAR图像作为E的查询集EQ，其中，n≤5，ESk×n表示第n类的k幅图像，k≤30；
(1c)提取M2中10类目标属性特征，得到10类目标的0/1二值的目标属性特征A＝{a1,…,aq,…,a10}，其中，aq表示第q类目标的目标属性特征向量，目标属性特征是指M中包含的SAR图像中目标的外观与结构特点等特征；
步骤2)构建视觉分类网络F1：
构建包含顺次级联的特征提取模块T1和视觉分类模块V1的视觉分类网络F1，其中，特征提取模块T1包括顺次级联的4个卷积模块E1，E1包括依次层叠的卷积层、batchnormalization层、ReLu激活层和最大池化层，卷积模块E1中各层具体参数设置：
卷积层的卷积核大小为3×3，卷积核数量为64，卷积核步长为1；
batch normalization层的衰减系数为0.99；
最大池化层的池化区域大小设置为2×2，池化步长为1；
视觉分类模块V1包括顺次级联的两个全连接层和一个softmax层，顺次级联的两个全连接层的节点数分别为256和(10-n)；
步骤3)对视觉分类网络F1进行迭代训练：
将源域数据集R作为视觉分类网络F1的输入进行K次迭代监督训练，得到包含训练后的特征提取模块T1'和视觉分类模块V1'的视觉分类网络F1'，其中K≥10000；
步骤4)构建视觉属性分类网络F：
构建包括顺次级联的原型分类网络F2和属性分类网络F3的视觉属性分类网络F，其中，F2包含顺次级联的训练后的特征提取模块T1'、第一计算欧氏距离模块O1和softmax层，训练好的特征提取模块T1'已具有较好的特征提取能力；F3包含顺次级联的乘法模块C0、第二计算欧式距离模块O2和softmax层；
步骤5)对视觉属性分类网络F进行迭代训练：
(5a)将支撑集ES中包含的每幅SAR图像以旋转90°的方式进行数据扩充，得到数据扩充后的支撑集ES1＝{ES1(2×k)×1,ES1(2×k)×2,…,ES1(2×k)×n}，并对ES1与源域数据集R进行合并，得到包含10类目标并带有类别标签的训练数据集RE，其中ES1(2×k)×n表示第n类的(2×k)幅SAR图像；
(5b)设置迭代次数为t，最大迭代次数为T，T≥1000，并令t＝0；
(5c)随机选取训练数据集RE中的n个类别，并随机选取每个类别带有类别标签的k幅SAR图像作为当前RE的支撑集RESt，随机选取每个类别剩余的带有类别标签的k幅SAR图像作为当前RE的查询集REQt，再从目标属性特征A中选取与RESt对应的n个类别的目标属性特征其中，/>表示第b个类别的目标属性特征向量，b≤n；
(5d)将支撑集RESt、查询集REQt及目标属性特征At'作为视觉属性分类网络F的输入，通过F2中的特征提取模块T1'进行特征提取，得到RESt和REQt对应的特征向量集合VSt和VQt， 其中，/>表示第t次迭代RESt中第b个类别第h幅SAR图像的特征向量，/>表示第t次迭代REQt中第b个类别第h幅SAR图像的特征向量，h≤k；
(5e)通过计算RESt中第b个类别的原型中心/>并通过/>和/>计算第t次迭代REQt中第b个类别第h幅SAR图像在F2预测为第r个类别的类别预测概率/>得到第t次迭代REQt中第b个类别第h幅SAR图像在F2的类别预测概率集合/>得到第t次迭代REQt在F2的类别预测概率集合PPt，/>然后通过PPt bh计算第t次迭代REQt中第b个类别第h幅SAR图像的损失值/>得到F2的损失值LossPt，/>其中计算原型中心/>类别预测概率/>损失值计算公式分别为：
其中，n表示REQt、RESt中的类别数量，k表示REQt、RESt中每类SAR图像的数量，表示RESt对应的第r类SAR图像的原型中心，/>表示RESt对应的第b个类别第h幅SAR图像的特征向量，/>表示REQt对应的第b个类别第h幅SAR图像的特征向量，/>表示计算和/>之间的欧式距离，/>表示REQt对应的第b个类别第h幅SAR图像在F2预测为第b类的预测类别概率；
(5f)通过和A't，计算第t次迭代REQt中第b个类别第h幅SAR图像目标属性特征向量/>得到F3的属性特征集合A″t，/>并通过/>和A't计算第t次迭代REQt中第b个类别第h幅SAR图像在属性分类网络F3中预测为第r个类别的类别预测概率/>得到第t次迭代REQt中第b个类别第h幅SAR图像在F3的类别预测概率集合/> 得到第t次迭代REQt在F3的类别预测概率集合PAt，然后通过/>计算第t次迭代REQt中第b个类别第h幅SAR图像在属性分类网络F3的损失值/>得到F3的损失值LossAt，/>其中计算目标属性特征向量/>类别预测概率/>损失值/>的计算公式分别为：
其中，n表示REQt、RESt中的类别数量，k表示REQt、RESt中每类SAR图像的数量，A't表示RESt对应的n个类别的目标属性特征，表示A't中第r类的目标属性特征，/>表示REQt对应的第b个类别第h幅SAR图像在F2预测为第r个类别的类别预测概率，/>表示计算/>和/>之间的欧式距离，/>表示REQt对应的第b个类别第h幅SAR图像在F3预测为第b类的预测类别概率；
(5g)计算视觉属性分类网络F的损失值Loss_REQt和类别预测概率集合P_REQt，其中/>表示第t次迭代REQt中第b个类别第h幅SAR图像在视觉属性分类网络F的类别预测概率集合，/>其中，/>表示第t次迭代REQt中第b个类别第h幅SAR图像在视觉属性分类网络F预测为第r个类别的类别预测概率；
Loss_REQt＝LossPt+LossAt；
(5h)利用损失值Loss_REQt和随机梯度下降算法对视觉属性分类网络F所有卷积层的参数进行更新；
(5i)判断t≥T是否成立，若是，得到训练好的视觉属性分类网络F'，否则，令t＝t+1，并执行步骤(5c)；
步骤6)获取SAR图像的分类结果：
将目标域的支撑集ES、查询集EQ及其对应的n个类别的目标属性特征A'o，作为训练好的视觉属性分类网络F'的输入进行分类，得到查询集EQ的目标识别准确率，其中，/>表示ES中第b个类别的目标属性特征向量。
本发明的效果可通过以下实验数据进一步说明：
一.实验条件：
1)实验数据：
实验所用数据为公开的运动与静止目标MSTAR数据集，分辨率为0.3m×0.3m。本实验使用的源域数据集包含七类目标：BTR60、2S1、BRDM2、D7、T62、ZIL131、ZSU23/4。目标域数据集包括俯仰角在15°和17°下的三大类目标：BMP2，BTR70和T72。
实验选取的MSTAR数据集共有4112幅SAR目标图像，其中源域数据集包含2049幅SAR目标图像，目标域包含2063幅SAR目标图像。实验中所有样本原始大小为128×128像素，在预处理中都统一剪切为64×64像素，并对其进行L2归一化。
实验中目标域数据集选取俯仰角在17°下的三个类别，每个类别随机选取k幅的SAR目标图像作为目标域支撑集，通过旋转90°的方式进行数据扩充，目标域的支撑集中每个类别扩充后包含2×k幅的SAR目标图像，得到扩充后的目标域支撑集，目标域数据集选取俯仰角在15°下的所有数据作为目标域查询集，实验中使用源域数据集和目标域支撑集中的SAR图像的目标外观与结构特点等特征定义每类SAR图像的目标属性特征。
实验中利用源域数据集训练视觉分类网络，得到训练好的特征提取模块和视觉分类模块，利用训练好的特征提取模块构建视觉属性分类网络，将源域数据集、数据扩充后的目标域支撑集及其目标属性特征作为视觉属性分类网络的输入，训练视觉属性分类网络，并将目标域支撑集、目标域查询集及其目标属性特征作为训练好的视觉属性分类网络的输入，输出目标域查询集在视觉属性分类网络的目标识别准确率，与其他分类模型的结果进行对比。
2)实验内容：用本发明方法与现有方法对上述实验数据进行对比实验
现有方法包括：基于角度旋转生成网络的SAR目标识别方法。
为了验证有限样本情况下的识别效果，通过挑选源域数据集和目标域支撑集中每个类别的SAR图像数量k训练视觉属性分类网络F，并与其它方法进行对比，挑选比例及对比结果如表1所示。
表1本发明方法与现有方法性能对比结果
例如，挑选数量为5，在目标域数据集中，选取俯仰角在17°下每个类别SAR图像中的5幅SAR图像作为目标域的支撑集，并选取俯仰角在15°下的所有SAR图像作为目标域查询集。训练时，在源域数据集与扩充后的目标域支撑集中，随机选取3个类别，从每个类别的SAR图像中随机选取5幅SAR图像作为训练时的支撑集，并在剩余的图像中每个类别的SAR图像中随机选取5幅SAR图像作为训练时的查询集。训练好视觉属性分类网络后，使用该网络对目标域的查询集进行分类，得到目标识别结果。每组实验被执行20次，取所有结果的平均值作为最后的识别结果。
从表1中可见，在有限已知类别样本情况下，本发明实验的识别率要优于基于角度旋转生成网络的SAR目标识别方法的结果，其中已知类别样本的数量越少，提高SAR目标识别准确率的效果越好。
以上描述仅是本发明的一个具体实例，并未构成对本发明的任何限制，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (6)

1.一种结合少样本学习与目标属性特征的SAR目标识别方法，其特征在于，包括以下步骤：
(1)获取源域数据集R、目标域数据集E、目标域支撑集ES、目标域查询集EQ以及R和ES的目标属性特征集合A：
(1a)获取包含10类的目标，且每幅SAR图像中只包含一个目标的运动与静止目标MSTAR数据集M＝{M1,…,Mi,…,Ms}，并对M进行预处理，得到处理后的运动与静止目标MSTAR数据集M2，其中，Mi表示第i幅SAR图像，s表示SAR图像的数量，s≥4000；
(1b)将从预处理后的运动与静止目标MSTAR数据集M2中随机选取n类带有类别标签的SAR图像作为目标域数据集E，将M2中剩余带有类别标签的(10-n)类SAR图像作为源域数据集R，并将从E中带有类别标签的每类SAR图像中随机选取k幅作为E的支撑集ES＝{ESk×1,ESk×2,…,ESk×n}，将E中剩余带有类别标签的SAR图像作为E的查询集EQ，其中，n≤5，ESk×n表示第n类的k幅图像，k≤30；
(1c)提取M2中10类目标属性特征，得到10类目标的0/1二值的目标属性特征A＝{a1,…,aq,…,a10}，其中，aq表示第q类目标的目标属性特征向量；
(2)构建视觉分类网络F1：
构建包含顺次级联的特征提取模块T1和视觉分类模块V1的视觉分类网络F1，其中，特征提取模块T1包括顺次级联的多个卷积模块E1，E1包括依次层叠的卷积层、batchnormalization层、ReLu激活层和最大池化层，视觉分类模块V1包括顺次级联的多个全连接层和一个softmax层；
(3)对视觉分类网络F1进行迭代训练：
将源域数据集R作为视觉分类网络F1的输入进行K次迭代监督训练，得到包含训练后的特征提取模块T1'和视觉分类模块V1'的视觉分类网络F1'，其中K≥10000；
(4)构建视觉属性分类网络F：
构建包括顺次级联的原型分类网络F2和属性分类网络F3的视觉属性分类网络F，其中，F2包含顺次级联的训练后的特征提取模块T1'、第一计算欧氏距离模块O1和softmax层；F3包含顺次级联的乘法模块C0、第二计算欧式距离模块O2和softmax层；
(5)对视觉属性分类网络F进行迭代训练：
(5a)将支撑集ES中包含的每幅SAR图像以旋转90°的方式进行数据扩充，得到数据扩充后的支撑集ES1＝{ES1(2×k)×1,ES1(2×k)×2,…,ES1(2×k)×n}，并对ES1与源域数据集R进行合并，得到包含10类目标并带有类别标签的训练数据集RE，其中ES1(2×k)×n表示第n类的(2×k)幅SAR图像；
(5b)设置迭代次数为t，最大迭代次数为T，T≥1000，并令t＝0；
(5c)随机选取训练数据集RE中的n个类别，并随机选取每个类别带有类别标签的k幅SAR图像作为当前RE的支撑集RESt，随机选取每个类别剩余的带有类别标签的k幅SAR图像作为当前RE的查询集REQt，再从目标属性特征A中选取与RESt对应的n个类别的目标属性特征其中，/>表示第b个类别的目标属性特征向量，b≤n；
(5d)将支撑集RESt、查询集REQt及目标属性特征A′t作为视觉属性分类网络F的输入，通过F2中的特征提取模块T1'进行特征提取，得到RESt和REQt对应的特征向量集合VSt和VQt， 其中，/>表示第t次迭代RESt中第b个类别第h幅SAR图像的特征向量，/>表示第t次迭代REQt中第b个类别第h幅SAR图像的特征向量，h≤k；
(5e)通过计算RESt中第b个类别的原型中心Pt b，并通过Pt b和/>计算第t次迭代REQt中第b个类别第h幅SAR图像在F2预测为第r个类别的类别预测概率PPt bh_r，得到第t次迭代REQt中第b个类别第h幅SAR图像在F2的类别预测概率集合PPt bh，PPt bh＝{PPt bh_1,…,PPt bh _r,…,PPt bh_n}，得到第t次迭代REQt在F2的类别预测概率集合PPt，PPt＝{PPt 11,…,PPt bh,…,PPt nk}，然后通过PPt bh计算第t次迭代REQt中第b个类别第h幅SAR图像的损失值LossPt bh，得到F2的损失值LossPt，/>
(5f)通过PPt bh和A't，计算第t次迭代REQt中第b个类别第h幅SAR图像目标属性特征向量得到F3的属性特征集合A”t，/>并通过/>和A't计算第t次迭代REQt中第b个类别第h幅SAR图像在属性分类网络F3中预测为第r个类别的类别预测概率得到第t次迭代REQt中第b个类别第h幅SAR图像在F3的类别预测概率集合/> 得到第t次迭代REQt在F3的类别预测概率集合PAt，然后通过/>计算第t次迭代REQt中第b个类别第h幅SAR图像在属性分类网络F3的损失值/>得到F3的损失值LossAt，/>
(5g)计算视觉属性分类网络F的损失值Loss_REQt和类别预测概率集合P_REQt，P_REQt＝{Pt 11,…,Pt bh,…,Pt nk},其中Pt bh表示第t次迭代REQt中第b个类别第h幅SAR图像在视觉属性分类网络F的类别预测概率集合，Pt bh＝{Pt bh_1,…,Pt bh_r,…,Pt bh_n}，其中，Pt bh_r表示第t次迭代REQt中第b个类别第h幅SAR图像在视觉属性分类网络F预测为第r个类别的类别预测概率；
Loss_REQt＝LossPt+LossAt；
(5h)利用损失值Loss_REQt和随机梯度下降算法对视觉属性分类网络F所有卷积层的参数进行更新；
(5i)判断t≥T是否成立，若是，得到训练好的视觉属性分类网络F'，否则，令t＝t+1，并执行步骤(5c)；
(6)获取SAR图像的目标识别准确率：
将目标域的支撑集ES、查询集EQ及其对应的n个类别的目标属性特征Ao'，作为训练好的视觉属性分类网络F'的输入进行分类，得到查询集EQ的目标识别准确率，其中，/>表示ES中第b个类别的目标属性特征向量。
2.根据权利要求1所述的结合少样本学习与目标属性特征的SAR目标识别方法，其特征在于，步骤(1a)中所述的对运动与静止目标MSTAR数据集M进行预处理，实现步骤为：
(1a1)对运动与静止目标MSTAR数据集M中像素大小为128×128的每幅SAR图像进行中心裁剪，裁剪成64×64大小，得到包含像素大小为64×64的s幅SAR图像的运动与静止目标MSTAR数据集其中/>表示裁剪后的一幅SAR图像；
(1a2)对裁剪后的运动与静止目标MSTAR数据集M1进行L2归一化，得到归一化后的运动与静止目标MSTAR数据集M2，L2归一化的公式为：
其中，xj,d表示中每幅SAR图像第j行第d列的像素点的像素值，x'j,d表示L2归一化后每幅SAR图像中第j行第d列的像素点的像素值。
3.根据权利要求1所述的结合少样本学习与目标属性特征的SAR目标识别方法，其特征在于，步骤(1d)中所述的目标属性特征，是指M中包含的SAR图像中目标的外观与结构特点等特征。
4.根据权利要求1所述的结合少样本学习与目标属性特征的SAR目标识别方法，其特征在于，步骤(2)中所述的视觉分类网络F1包括特征提取模块T1和视觉分类模块V1，特征提取模块T1包括顺次级联的4个卷积模块E1，视觉分类模块V1包括顺次级联的2个全连接层，全连接层的节点数分别为256和(10-n)，卷积模块E1中各层具体参数设置：
卷积层的卷积核大小为3×3，卷积核数量为64，卷积核步长为1；
batch normalization层的衰减系数为0.99；
最大池化层的池化区域大小设置为2×2，池化步长为1。
5.根据权利要求1所述的结合少样本学习与目标属性特征的SAR目标识别方法，其特征在于，步骤(5e)中所述的F2中类别的原型中心Pt b、类别预测概率PPt bh_r、损失值LossPt bh计算公式分别为：
LossPt bh＝-log(PPt bh_b)
其中，n表示REQt、RESt中的类别数量，k表示REQt、RESt中每类SAR图像的数量，Pt r表示RESt对应的第r类SAR图像的原型中心，表示RESt对应的第b个类别第h幅SAR图像的特征向量，/>表示REQt对应的第b个类别第h幅SAR图像的特征向量，/>表示计算和Pt r之间的欧式距离，/>表示REQt对应的第b个类别第h幅SAR图像在F2预测为第b类的预测类别概率。
6.根据权利要求1所述的结合少样本学习与目标属性特征的SAR目标识别方法，其特征在于，步骤(5f)中所述的目标属性特征类别预测概率/>和损失值/>计算公式分别为：
其中，n表示REQt、RESt中的类别数量，k表示REQt、RESt中每类SAR图像的数量，A′t表示RESt对应的n个类别的目标属性特征，表示A′t中第r类的目标属性特征，PPt bh_r表示REQt对应的第b个类别第h幅SAR图像在F2预测为第r个类别的类别预测概率，/>表示计算/>和/>之间的欧式距离，/>表示REQt对应的第b个类别第h幅SAR图像在F3预测为第b类的预测类别概率。
CN202010708036.0A 2020-07-22 2020-07-22 结合少样本学习与目标属性特征的sar目标识别方法 Active CN111832580B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010708036.0A CN111832580B (zh) 2020-07-22 2020-07-22 结合少样本学习与目标属性特征的sar目标识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010708036.0A CN111832580B (zh) 2020-07-22 2020-07-22 结合少样本学习与目标属性特征的sar目标识别方法

Publications (2)

Publication Number Publication Date
CN111832580A CN111832580A (zh) 2020-10-27
CN111832580B true CN111832580B (zh) 2023-07-28

Family

ID=72924622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010708036.0A Active CN111832580B (zh) 2020-07-22 2020-07-22 结合少样本学习与目标属性特征的sar目标识别方法

Country Status (1)

Country Link
CN (1) CN111832580B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113420593B (zh) * 2021-05-19 2022-09-16 西安电子科技大学 基于混合推理网络的小样本sar自动目标识别方法
CN113569097B (zh) * 2021-07-23 2022-11-11 北京百度网讯科技有限公司 结构化信息抽取方法、装置、设备以及存储介质
CN114048800A (zh) * 2021-10-21 2022-02-15 哈尔滨工程大学 一种视觉信息海上目标识别多源混合数据集构建方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107886123A (zh) * 2017-11-08 2018-04-06 电子科技大学 一种基于辅助判决更新学习的合成孔径雷达目标识别方法
CN110245711A (zh) * 2019-06-18 2019-09-17 西安电子科技大学 基于角度旋转生成网络的sar目标识别方法
CN110516561A (zh) * 2019-08-05 2019-11-29 西安电子科技大学 基于dcgan和cnn的sar图像目标识别方法
CN110781830A (zh) * 2019-10-28 2020-02-11 西安电子科技大学 基于空-时联合卷积的sar序列图像分类方法
WO2020083073A1 (zh) * 2018-10-23 2020-04-30 苏州科达科技股份有限公司 非机动车图像多标签分类方法、系统、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107886123A (zh) * 2017-11-08 2018-04-06 电子科技大学 一种基于辅助判决更新学习的合成孔径雷达目标识别方法
WO2020083073A1 (zh) * 2018-10-23 2020-04-30 苏州科达科技股份有限公司 非机动车图像多标签分类方法、系统、设备及存储介质
CN110245711A (zh) * 2019-06-18 2019-09-17 西安电子科技大学 基于角度旋转生成网络的sar目标识别方法
CN110516561A (zh) * 2019-08-05 2019-11-29 西安电子科技大学 基于dcgan和cnn的sar图像目标识别方法
CN110781830A (zh) * 2019-10-28 2020-02-11 西安电子科技大学 基于空-时联合卷积的sar序列图像分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于卷积神经网络迁移学习的SAR图像目标分类;刘晨;曲长文;周强;李智;李健伟;;现代雷达(第03期);全文 *

Also Published As

Publication number Publication date
CN111832580A (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
CN107480261B (zh) 一种基于深度学习细粒度人脸图像快速检索方法
CN111832580B (zh) 结合少样本学习与目标属性特征的sar目标识别方法
US10713563B2 (en) Object recognition using a convolutional neural network trained by principal component analysis and repeated spectral clustering
US20190228268A1 (en) Method and system for cell image segmentation using multi-stage convolutional neural networks
CN111027493B (zh) 一种基于深度学习多网络软融合的行人检测方法
CN109993100B (zh) 基于深层特征聚类的人脸表情识别的实现方法
CN110321967B (zh) 基于卷积神经网络的图像分类改进方法
CN109002755B (zh) 基于人脸图像的年龄估计模型构建方法及估计方法
CN113222011B (zh) 一种基于原型校正的小样本遥感图像分类方法
CN111160217B (zh) 一种行人重识别系统对抗样本生成方法及系统
CN111783841A (zh) 基于迁移学习和模型融合的垃圾分类方法、系统及介质
CN115937655B (zh) 多阶特征交互的目标检测模型及其构建方法、装置及应用
CN106296734B (zh) 基于极限学习机和boosting多核学习的目标跟踪方法
CN113221787A (zh) 基于多元差异性融合的行人多目标跟踪方法
CN107528824B (zh) 一种基于二维度稀疏化的深度信念网络入侵检测方法
CN112733942A (zh) 一种基于多级特征自适应融合的变尺度目标检测方法
Lin et al. Determination of the varieties of rice kernels based on machine vision and deep learning technology
CN113806580A (zh) 基于层次语义结构的跨模态哈希检索方法
CN110163206B (zh) 车牌识别方法、系统、存储介质和装置
CN109063750B (zh) 基于cnn和svm决策融合的sar目标分类方法
Al-Gaashani et al. Ensemble learning of lightweight deep convolutional neural networks for crop disease image detection
CN108804581B (zh) 一种基于深度学习的同类物体检索方法及系统
CN112862094A (zh) 一种基于元学习的快速适应drbm方法
CN105844299B (zh) 一种基于词袋模型的图像分类方法
CN111783688A (zh) 一种基于卷积神经网络的遥感图像场景分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant