CN116310732A - 一种面向开集雷达图像自动目标识别的熵感知元学习方法 - Google Patents

一种面向开集雷达图像自动目标识别的熵感知元学习方法 Download PDF

Info

Publication number
CN116310732A
CN116310732A CN202310354938.2A CN202310354938A CN116310732A CN 116310732 A CN116310732 A CN 116310732A CN 202310354938 A CN202310354938 A CN 202310354938A CN 116310732 A CN116310732 A CN 116310732A
Authority
CN
China
Prior art keywords
meta
training
entropy
open
class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310354938.2A
Other languages
English (en)
Inventor
黄钰林
裴季方
王陈炜
张寅�
罗思懿
霍伟博
杨建宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202310354938.2A priority Critical patent/CN116310732A/zh
Publication of CN116310732A publication Critical patent/CN116310732A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开一种面向开集雷达图像自动目标识别的熵感知元学习方法，应用于目标识别领域，针对现有的SAR自动目标识别对开放集目标无法有效区分的问题；本发明通过设计元学习任务，基于已知类构造动态的特征空间；为进一步增强未知类和已知类之间的区分，设计熵感知损失函数来迫使模型增强特征空间，最终实现开集环境下准确地SAR目标图像已知类识别和未知类拒绝。

Description

一种面向开集雷达图像自动目标识别的熵感知元学习方法
技术领域
本发明属于目标识别领域，特别涉及一种雷达图像目标识别技术。
背景技术
作为一种必不可少的微波遥感系统，合成孔径雷达(synthetic aperture radar，SAR)在民用和军事领域的应用广泛。而SAR自动目标识别(automatic targetrecognition，ATR)是其重要应用之一。随着近年来的深度学习的不断发展，SAR ATR也越来越多地利用深度学习来解决瓶颈问题。然而，大多数SAR ATR方法设置在封闭集中，即所有待检测的目标均为训练学习过的已知类目标。当存在一些未知类别的目标时，现有方法依旧会将这些目标分配为已知类别，这很可能引发一些潜在的风险。例如，当一些看不见的危险等级被划分为已知的安全等级时，可能会导致战场侦察崩溃。因此，区分不可见的目标类是实际应用中亟待解决的问题，即开放集识别(open set recognition，OSR)问题。
OSR的目标是建立一个能够同时识别已知类并拒绝未知类目标的模型。例如，文献“S.Dang,Z.Cao,Z.Cui,and Y.Pi,Open set sar target recognition using classboundary extracting,in 2019 6th Asia-Pacific Conference on Synthetic ApertureRadar(APSAR).IEEE,2019,pp.1–4.”使用类边界来训练开放集识别或离群值检测模型，其提出的O-SAR方法在准确拒绝未知目标上表现良好。然而，即使这些现有方法对SAR ATR中的OSR有了一定的了解，但它们主要是基于手工特征或先验知识，识别性能也主要取决于这些先验信息的质量。此外，它们大多只是基于整个封闭数据集构造静态特征空间，设计手工特征来拒绝有限的开放类，对于实际中的OSR问题并不总是有效的。
发明内容
为解决上述技术问题，本发明提出一种面向开集雷达图像自动目标识别的熵感知元学习方法，通过设计元学习任务，基于已知类构造动态的特征空间，为进一步增强未知类和已知类之间的区分，设计熵感知损失函数来迫使模型增强特征空间，最终实现开集环境下准确的SAR目标图像已知类识别和未知类拒绝。
本发明采用的技术方案为：一种面向开集雷达图像自动目标识别的熵感知元学习方法，包括：
S1、获取雷达图像数据集，并将雷达图像数据集分为元训练集和元测试集；
S2、元训练阶段，通过随机选择已知类和未知类，得到元学习任务的训练子集与测试子集；基于各元学习任务的训练子集训练元学习器；
S3、将训练完成的元学习器应用于各元学习任务的测试子集进行SAR目标识别。
本发明的有益效果：本发明方法首先通过元学习任务学习构造动态分配的已知类的特征空间，并强制特征空间区分未知类和已知类，以此在开集条件下拒绝所有不属于已知类的其他类。同时，利用设计的熵感知损失函数增强模型的特征空间，更加有效且鲁棒地实现已知类和未知类间的区分；
本发明通过构造一个动态特征空间，在动态识别已知类的同时能够准确拒绝未知类。在运动和静止目标采集与识别(moving and stationary target acquisition andrecognition，MSTAR)数据集上的实验展现了该发明在开集雷达图像自动目标识别上优异的性能。
附图说明
图1为本发明方法的整体框架；
图2为本发明方法的具体结构和熵感知损失函数的三个部分的细节。
具体实施方式
为便于本领域技术人员理解本发明的技术内容，下面结合附图对本发明内容进一步阐释。
步骤一：将可用的雷达图像数据集分为元训练集和元测试集。在元训练阶段，使用元训练集进行基于任务的元训练。在元训练中，通过随机选择已知类和未知类，元学习器面临许多不同的任务，并根据这些任务的表现进行优化，最终具有识别已知类和拒绝未知类的能力。本实施例中以应用场景下应用方已经具备的或者开源的数据集来作为可用的雷达图像数据集。
以元学习任务为训练和测试阶段的基本单元，过程中定义一个元训练数据集Dmtr和一个元测试数据集Dmte，如图1所示。元训练数据集Dmtr在实际应用中被视为封闭数据集。本发明在Dmtr上训练模型，期望在测试阶段能够识别开放数据集中已知类的目标并拒绝封闭数据集外未知类的目标。开放数据集是指测试图像，即包含未知类别的图像得数据集。
对于元训练阶段采样的所有任务，数据集可以表述为
Figure BDA0004163011520000021
其中C表示可用的监督图像数据类的集合(封闭集)，Ntr是元训练阶段所有任务的数量，/>
Figure BDA0004163011520000022
表示元训练数据集中第i个任务的训练子集，/>
Figure BDA0004163011520000023
表示元训练数据集中第i个任务的测试子集。对于元训练阶段的每一个任务，从/>
Figure BDA0004163011520000037
中随机选定一部分类为已知类Cclosed，并将其它类设置为未知类Uopen。其中已知类Cclosed和未知类Uopen需要满足两个条件：/>
Figure BDA0004163011520000038
和/>
Figure BDA0004163011520000039
简而言之，训练子集/>
Figure BDA00041630115200000310
从已知类Cclosed采样得到，测试子集Ti tr从元训练数据集的所有类/>
Figure BDA00041630115200000311
中采样得到。
对于第i个任务，元训练阶段分为两步进行。给定元学习器fθ(θ表示元学习器的参数)和合适的损失L，第一步是对训练子集
Figure BDA00041630115200000312
进行优化，操作如下：
Figure BDA0004163011520000031
其中
Figure BDA0004163011520000032
表示训练子集Str的对应类别标签(如MSTAR中SAR目标车辆图像的类别：步兵战车(BMP2)、装甲运输车(BTR70)、坦克(T72)等等，f′θ表示整个训练子集Str下的最优元学习器。
第二步是对测试子集Ttr进行优化，基于上述训练得到的f′θ进一步更新得到第i个任务的最佳元学习器
Figure BDA0004163011520000033
Figure BDA0004163011520000034
其中
Figure BDA0004163011520000035
表示测试子集Ttr的对应类别标签。
步骤二：基于设计的熵感知损失函数优化模型，包括元交叉熵损失、熵距离损失和开集损失三个部分。如图2所示，展示了本发明方法的具体网络结构以及设计的三个损失函数的细节。简而言之，本发明首先引用Swin Transformer网络结构(源自文献“Liu Z,LinY,Cao Y,et al.Swin transformer:Hierarchical vision transformer using shiftedwindows,Proceedings of the IEEE/CVF international conference on computervision.2021:10012-10022.”)，然后将原始雷达图像数据输入该网络，将样本图像映射到一个更高维的空间，即特征空间。再利用损失函数反向更新模型，减小损失，获取得到更优的特征表达以实现后续的准确识别。
对于给定元训练数据集
Figure BDA0004163011520000036
如公式(1)所示，在Str上训练的元学习器f′θ，其中应用熵感知损失函数Lea作为损失函数L。Lea设置如下：
Lea＝λ1Lmeta-ce+λ2Lentropy+λ3Lopen (3)
其中Lmeta-ce是元交叉熵损失，Lentropy是熵距离损失，Lopen是开集损失，λ1、λ2和λ3是加权参数，λ1、λ2和λ3取值范围为[0,1]。
元交叉熵损失Lmeta-ce的设计旨在最大化已知类的特征距离熵来帮助模型构建基本特征空间，它为模型提供了识别已知类的基本能力。基于测试子集Ttr的元交叉熵损失Lmeta-ce定义如下：
Figure BDA0004163011520000041
其中Cclosed表示该任务中选定的已知类，且yj∈Cclosed。此外，在计算中，若输入样本xi(第i张SAR图像)属于j类则使得yj＝1，否则yj＝0。p(yj|xi)＝sf(L2(-d(v(xi),aj)))表示输入的xi经模型判别为j类目标图像的概率，其中sf(·)表示SoftMax函数，L2(·)表示L2归一化处理，d(v(xi),aj)表示v(xi)和aj之间的距离。v(xi)＝GAP(net(xi))是指输入图像样本xi提取得到的最终特征图，其中GAP(·)指代全局平均池化操作，net(·)指代如图2所示网络结构的各层操作(具体运算可参照文献“Liu Z,Lin Y,Cao Y,et al.Swintransformer:Hierarchical vision transformer using shifted windows,Proceedingsof the IEEE/CVF international conference on computer vision.2021:10012-10022.”)。aj指代j类目标图像的原型(计算参照文献“J.Snell,K.Swersky,and R.Zemel,Prototypical networks for few-shot learning,Advances in neural informationprocessing systems,vol.30,2017.”中的原型定义)。
熵距离损失Lentropy的设计旨在最小化未知类相对于已知类的特征距离熵，为模型提供了拒绝未知类的基本能力。简而言之，Lentropy通过计算并减少分配给已知类的未知类的熵，扩大了已知类与未知类之间的特征距离，如图2所示。基于来自开集Uopen的样本xi的熵距离损失Lentropy定义如下：
Figure BDA0004163011520000042
开集损失Lopen的设计迫使构造的特征空间在已知类和未知类之间获得区分。如图2所示，在网络提取的特征图经过全局平均池化(global average pooling layer，GAP)之后，特征通过SoftMax的密集层识别器，从而计算开集损失如下：
Figure BDA0004163011520000051
总之，元学习器通过熵感知损失函数这三个组成部分，可以使得已知类之间的特征距离熵普遍大于未知类相对于已知类的特征距离熵，并通过判断特征距离熵的大小来实现模型对未知类的区分。最后，促进模型在已知类和未知类之间实现有效且具有鲁棒性的区分，同时精确识别已知类。
通过上述的损失和优化过程，可以优化得到第i个任务的最佳元学习器fθ *，并将其作为第(i+1)个任务的初始元学习器，以此迭代完成元训练阶段。
步骤三：在元测试阶段，实现开集条件下的SAR目标准确识别，并评估本发明方法面向OSR问题的性能。
元学习器在N个元训练任务下不断优化后，将在元测试阶段对元学习器进行评估。元测试数据集表示为
Figure BDA0004163011520000052
其训练子集Ste从封闭集C中随机采样得到，测试子集Tte从包含已知标签和未知标签的所有类(C∪U)中采样得到。元学习器/>
Figure BDA0004163011520000053
通过训练子集Ste生成最终的最优模型f″θ：
Figure BDA0004163011520000054
其中
Figure BDA0004163011520000055
是训练子集Ste对应的标签。
至此得到了最终元学习器f″θ，它将应用于测试子集Tte以完成最后的SAR目标识别。设置MSTAR数据集中BMP2、BTR70和T72这三类为已知类，其余七类作为未知类，表1展示了本发明方法在不同识别指标下与其他开集识别方法之间的开集识别性能对比。其中，真正类率是当前预测为已知类中真实的已知类样本所占所有真实已知类样本的比例；负正类率是当前被错误预测为已知类中真实的未知类样本所占所有真实未知类样本总数的比例；召回率表示所有已知类样本能被正确识别的概率；精确率表示预测为已知类样本中正确识别的概率；准确率给出正确识别每一个已知类以及准确拒绝未知类的平均概率。
表1本发明方法与其余开集SAR目标识别方法的对比结果
Figure BDA0004163011520000061
在本实施例中，本发明通过元学习任务动态地为封闭集构造特征空间，同时辅助设计熵感知损失函数以增强识别已知类和拒绝未知类的能力，使得模型完成准确预测已知类的概率分布的同时，也能给出一个值来预测测试图像是否属于任何已知类，最终实现开集SAR目标识别。实验证明，本发明在MSTAR数据集中展现了优异的性能。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (5)

1.一种面向开集雷达图像自动目标识别的熵感知元学习方法，其特征在于，包括：
S1、获取雷达图像数据集，并根据雷达图像数据集得到元训练数据集和元测试数据集；元训练数据集和元测试数据集中，各自包括对应的训练子集与测试子集；
S2、元训练阶段，基于各元学习任务元训练数据集的训练子集、测试子集，训练得到元学习器；
S3、元测试阶段，步骤S2的元学习器根据元测试数据集中的训练子集，生成最终的最优模型；
S4、将步骤S3得到的最终的最优模型，应用于元测试数据集中的测试子集进行SAR目标识别。
2.根据权利要求1所述的一种面向开集雷达图像自动目标识别的熵感知元学习方法，其特征在于，对于元训练阶段的每一个任务，从雷达图像数据已知类集合中随机选定一部分类为已知类Cclosed，并将雷达图像数据已知类集合中剩下的类设置为未知类Uopen；其中已知类Cclosed和未知类Uopen满足：
Figure FDA0004163011510000011
和/>
Figure FDA0004163011510000012
3.根据权利要求2所述的一种面向开集雷达图像自动目标识别的熵感知元学习方法，其特征在于，元训练数据集中的训练子集从已知类Cclosed采样得到，元训练数据集中的测试子集从雷达图像数据已知类集合中采样得到。
4.根据权利要求3所述的一种面向开集雷达图像自动目标识别的熵感知元学习方法，其特征在于，元测试数据集的训练子集从雷达图像数据已知类集合中采样得到，测试子集Tte从包含雷达图像数据已知类集合和未知类集合的所有类的总集合中采样得到。
5.根据权利要求4所述的一种面向开集雷达图像自动目标识别的熵感知元学习方法，其特征在于，步骤S2元训练阶段，采用的损失函数为：
Lea＝λ1Lmeta-ce+λ2Lentropy+λ3Lopen
其中，Lmeta-ce是元交叉熵损失，Lentropy是熵距离损失，Lopen是开集损失，λ1、λ2和λ3是加权参数。
CN202310354938.2A 2023-04-06 2023-04-06 一种面向开集雷达图像自动目标识别的熵感知元学习方法 Pending CN116310732A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310354938.2A CN116310732A (zh) 2023-04-06 2023-04-06 一种面向开集雷达图像自动目标识别的熵感知元学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310354938.2A CN116310732A (zh) 2023-04-06 2023-04-06 一种面向开集雷达图像自动目标识别的熵感知元学习方法

Publications (1)

Publication Number Publication Date
CN116310732A true CN116310732A (zh) 2023-06-23

Family

ID=86836056

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310354938.2A Pending CN116310732A (zh) 2023-04-06 2023-04-06 一种面向开集雷达图像自动目标识别的熵感知元学习方法

Country Status (1)

Country Link
CN (1) CN116310732A (zh)

Similar Documents

Publication Publication Date Title
CN111191732B (zh) 一种基于全自动学习的目标检测方法
CN114241282B (zh) 一种基于知识蒸馏的边缘设备场景识别方法及装置
Kang et al. Graph relation network: Modeling relations between scenes for multilabel remote-sensing image classification and retrieval
CN110852447B (zh) 元学习方法和装置、初始化方法、计算设备和存储介质
CN111079847B (zh) 一种基于深度学习的遥感影像自动标注方法
Bai et al. Class incremental learning with few-shots based on linear programming for hyperspectral image classification
CN111126134B (zh) 基于非指纹信号消除器的雷达辐射源深度学习识别方法
CN111401307A (zh) 基于深度度量学习的卫星遥感图像目标关联方法和装置
Rashinkar et al. An overview of data fusion techniques
CN111401426B (zh) 基于伪标签学习的小样本高光谱图像分类方法
CN110633708A (zh) 一种基于全局模型和局部优化的深度网络显著性检测方法
Bansal et al. mrmr-pso: A hybrid feature selection technique with a multiobjective approach for sign language recognition
CN116129219A (zh) 一种基于知识稳健-重平衡网络的sar目标类增量识别方法
CN114241226A (zh) 一种基于混合模型多邻域特征的三维点云语义分割方法
Toğaçar et al. Classification of cloud images by using super resolution, semantic segmentation approaches and binary sailfish optimization method with deep learning model
CN116910571B (zh) 一种基于原型对比学习的开集域适应方法及系统
CN115082781A (zh) 一种舰船图像检测方法、装置以及存储介质
Pino et al. Semantic segmentation of radio-astronomical images
Yanchen Sonar image target detection and recognition based on convolution neural network
CN112581502A (zh) 一种基于孪生网络的目标跟踪方法
Pang et al. ROSE: real one-stage effort to detect the fingerprint singular point based on multi-scale spatial attention
CN111832463A (zh) 一种基于深度学习的交通标志检测方法
CN116310732A (zh) 一种面向开集雷达图像自动目标识别的熵感知元学习方法
CN114332444B (zh) 一种基于增量漂移聚类的复杂星空背景目标识别方法
CN116630694A (zh) 一种偏多标记图像的目标分类方法、系统及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination