CN116664823A - 基于元学习和度量学习的小样本sar目标检测识别方法 - Google Patents
基于元学习和度量学习的小样本sar目标检测识别方法 Download PDFInfo
- Publication number
- CN116664823A CN116664823A CN202310639895.2A CN202310639895A CN116664823A CN 116664823 A CN116664823 A CN 116664823A CN 202310639895 A CN202310639895 A CN 202310639895A CN 116664823 A CN116664823 A CN 116664823A
- Authority
- CN
- China
- Prior art keywords
- module
- small sample
- network
- feature
- target detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 108
- 238000000034 method Methods 0.000 title claims description 23
- 238000012549 training Methods 0.000 claims abstract description 35
- 238000000605 extraction Methods 0.000 claims abstract description 24
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 238000002372 labelling Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 15
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 14
- 238000010606 normalization Methods 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 13
- 230000002776 aggregation Effects 0.000 claims description 10
- 238000004220 aggregation Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 9
- 230000014509 gene expression Effects 0.000 claims description 9
- 238000012805 post-processing Methods 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 241000282326 Felis catus Species 0.000 claims description 2
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 claims description 2
- 238000009966 trimming Methods 0.000 claims 2
- 230000007613 environmental effect Effects 0.000 abstract description 2
- 238000004088 simulation Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000013480 data collection Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于元学习和度量学习的小样本SAR目标检测识别网络，主要解决现有技术对新类目标检测性能不足及在细粒度任务中识别准确率低和鲁棒性差的问题。其实现方案为：对SAR实测数据进行标注和划分，生成基类和新类的支撑集和查询集；构建由数据预处理模块、特征提取模块、区域建议模块和细粒度检测识别模块组成的小样本SAR目标检测识别网络；基于随机梯度下降算法，使用基类和新类的支撑集和查询集对该网络进行训练；将待检测识别SAR图像输入训练好的小样本SAR目标检测识别网络，获得SAR目标的检测识别结果。本发明显著提升了新类目标的检测识别性能及细粒度任务中的识别准确率与鲁棒性，可用于环境侦察和态势感知。
Description
技术领域
本发明属于雷达遥感技术领域，更进一步涉及一种小样本SAR目标检测方法，可用于环境侦察和态势感知。
背景技术
合成孔径雷达SAR是一种微波成像雷达，其可在不受光照和气候条件限制下，实现对地面、海面等目标的全天时、全天候、远距离、高分辨率成像，因此在军事和民用领域发挥着重要作用。其中，SAR图像中的关键目标检测与识别则是雷达自动目标识别ATR领域的难点和关键性问题。
随着基于深度学习的目标检测识别方法应用于SAR图像解译，SAR目标检测识别取得了较大进展。目前，主流的SAR目标检测识别方法大多基于通用目标检测算法，例如单阶段算法SSD、YOLO和双阶段算法Faster RCNN、Casacade RCNN。这些基于大规模深度网络的算法在训练样本充足时具有较好的检测识别性能，然而，受目标非合作性及观测条件限制，特定类别样本采集和标注困难。此时，基于大数据驱动的深度网络模型会由于训练样本严重不足而出现过拟合，造成模型的检测识别性能大幅度下降甚至完全失效。目前，计算机视觉领域已提出包括数据增强、半监督学习、迁移学习的小样本学习方法。
小样本目标检测识别旨在设计有效的网络结构和训练策略，并通过大量基类训练集和少量新类训练集优化网络模型，使其能够较好地检测并识别新类目标。
申请号为CN202211273499.4的专利文献公开了“一种基于元学习的SAR图像小样本目标检测方法及系统”。其分为三部分完成，即首先使用权值共享的主干网络提取支撑和查询特征；再通过区域建议网络生成查询图像的候选区域并提取对应的RoI特征；然后利用互相关操作聚合查询RoI特征和支撑特征，并输入目标检测器后端完成类别推断和边界框回归。该方法虽说有效提升了小样本条件下深度网络模型的检测识别性能。但却存在以下问题：1)由于其仅依靠普通区域建议网络产生新类目标候选区域，质量较低，因而导致对新类目标的检测性能不足并影响后续识别任务。2)由于其仅依靠单一的全局特征相似性进行类别推断，故导致在细粒度任务中识别准确率低，且鲁棒性较差。
发明内容
本发明的目的在于针对上述现有技术的不足，提出一种基于元学习和度量学习的小样本SAR目标检测识别方法，以提高新类目标的检测识别性能，提升细粒度任务中识别的准确率和鲁棒性。
本发明的技术思路是，通过设计基于元学习和度量学习的小样本SAR目标检测识别网络，提高新类目标的检测性能以及提升细粒度任务中识别的准确率和鲁棒性，其实现步骤如下：
(1)构建支撑集和查询集：
(1a)收集大量包含基类目标的SAR图像和少量包含新类目标的SAR图像，并对每幅SAR图像中的目标位置和类别加以标注；
(1b)将收集的基类目标的SAR图像作为基类的查询集，并从收集的基类目标SAR图像中随机采样部分SAR图像都成基类的支撑集；将收集的新类目标的全部SAR图像分别作为新类的查询集和支撑集；
(2)构建基于元学习和度量学习的小样本SAR目标检测识别网络：
(2a)建立由依次进行多尺度变换、随机翻转、数据归一化的查询图像预处理流程和依次进行目标裁剪、随机翻转、数据归一化的支撑图像预处理流程组成的数据预处理模块；
(2b)建立由权值共享的孪生网络组成的特征提取模块A；
(2c)建立由包括特征聚合子模块、锚框生成子模块、正负样本分配子模块、分类回归子模块、后处理子模块级联组成的区域建议模块G，并分别使用交叉熵损失函数和SmoothL1损失函数作为分类损失和边界框回归损失/>
(2d)建立包括感兴趣区域提取子模块、局部关系子模块、全局关系子模块、交叉关系子模块组成的细粒度检测识别模块D，其输出被检查目标的边界框坐标(x，y，w，h)与该目标的各个类别相似度s，并将这两个参数分别代入交叉熵损失函数和Smooth L1损失函数，计算分类损失值和边界框回归损失值/>
(2e)将(2a)、(2b)、(2c)、(2d)建立的模块依次级联，组成小样本SAR目标检测识别网络，并定义该网络的损失函数为：
(3)对小样本SAR目标检测网络进行基类训练：
(3a)将基类的支撑集和查询集输入到小样本SAR目标检测识别网络中，计算每次迭代的损失值其中i为基类训练时的迭代次数，根据该损失值通过随机梯度下降算法更新网络参数；
(3b)重复(3a)过程，直至网络收敛，得到初步训练好的小样本SAR目标检测识别网络；
(4)对小样本SAR目标检测网络进行小样本微调：
(4a)将基类支撑集的部分支撑图像、查询集图像和所有新类支撑集、查询集图像输入到初步训练好的小样本SAR目标检测网络，计算每次迭代的损失值其中j表示小样本微调阶段的迭代次数，并利用该损失值通过随机梯度下降算法更新网络参数；
(4b)重复(4a)过程，直至网络收敛，得到最终训练完成后的小样本SAR目标检测识别网络。
(5)将待检测识别的SAR图像输入到步骤(4)得到最终训练完成后的小样本SAR目标检测识别网络，得到检测识别结果。
本发明与现有技术相比，具有以下优点：
第一、本发明在构建基于元学习和度量学习的小样本SAR目标检测识别网络中由于设计了基于类注意力调制的区域建议模块，可通过深度可分离卷积聚合支撑特征和查询特征，提升该模块生成的新类候选区域的质量，进而提高新类的检测识别性能。
第二、本发明在构建基于元学习和度量学习的小样本SAR目标检测识别网络中由于设计了基于多关系度量的细粒度检测识别模块，可通过度量支撑特征和查询特征的全局相似度、局部相似度和交叉相似度，有效提升细粒度特征的识别的准确率和鲁棒性。
附图说明
图1为本发明实现流程图；
图2为本发明中构建的小样本SAR目标检测识别网络的模型图；
图3为本发明的仿真结果图。
具体实施方式
下面结合附图对本发明的实例和效果作进一步详细说明。
参考图1，本实例中基于元学习和度量学习的小样本SAR目标检测识别方法依次包括数据收集与制作、构建小样本SAR目标检测识别网络、训练小样本SAR目标检测识别网络、获取SAR目标检测识别结果，具体实现步骤如下：
步骤一，数据收集与制作。
1.1)收集大量包含基类目标的SAR图像和少量包含新类目标的SAR图像，对每幅SAR图像中的目标位置和类别加以标注；
1.2)将收集的基类目标图像组成基类目标的查询集，随机采样部分基类目标图像组成基类目标的支撑集；
1.3)将收集的全部新类目标图像构成新类目标的查询集和支撑集。
本实例中，SAR图像来自高分3号卫星上的星载雷达；SAR图像的尺寸包含600×600、1024×1024、2048×2048三种，共有七类飞机目标，分别是：A220、A320-321、A330、ARJ21、Boeing737-800、Boeing787和other，并将ARJ21和Boeing787作为新类目标，其余作为基类目标。
步骤二，构建小样本SAR目标检测识别网络。
参考图2，本步骤的实现如下：
2.1)建立由依次进行多尺度变换、随机翻转、数据归一化的查询图像预处理流程和依次进行目标裁剪、随机翻转、数据归一化的支撑图像预处理流程组成的数据预处理模块。在本发明的实施实例中，多尺度变换的尺度包括440×440、472×472、504×504、536×536、568×568和600×600；随机翻转的翻转概率为0.5；目标裁剪将支撑图像的目标进行裁剪，并缩放至320×320的尺寸；
2.2)建立由权值共享的孪生网络组成的特征提取模块A，该模块由4个级联的卷积模块a1、a2、a3和a4组成，其中：
所述第二个卷积模块a2由3个残差块组成；
所述第三个卷积模块a3由4个残差块级联组成；
所述第四个卷积模块a4由6个残差块级联组成；
整个特征提取模块输出的查询特征图，表示为其中/>为第i个卷积模块ai输出的查询特征图，XQ为输入的查询SAR图像；
整个特征提取模块输出的支撑特征图，表示为其中/>为第i个卷积模块ai输出的支撑特征图，Xs为输入的支撑SAR图像。
本实例中，四个级联的卷积模块中的每个残差块，其包括3个卷积模块c1、c2和c3，其中：
第一个卷积模块c1由1×1卷积层、批归一化层以及ReLU激活层级联组成；
第二个卷积模块c2由3×3卷积层、批归一化层以及ReLU激活层级联组成；
第三个卷积模块c3由1×1卷积层、批归一化层级联组成；
残差块每个卷积模块的输出特征图，表示为其中x为残差块的输入特征图；
残差块的输出特征图，表示为z＝relu(ys+x)，其中relu(·)表示ReLU激活函数。
2.3)建立由特征聚合子模块、锚框生成子模块、正负样本分配子模块、分类回归子模块和后处理子模块级联组成的区域建议模块G，其中：
特征聚合子模块，使用深度可分离卷积完成支撑特征图和查询特征图的聚合，其输出为：
其中，为特征提取模块A得到的查询特征，W和H分别表示查询特征图的宽和高，/>为特征提取模块A得到的支撑特征，K表示支撑特征图的边长，C表示查询特征图和支撑特征图的深度；
锚框生成子模块，用于在聚合得到特征图P的每个点上生成尺度分别为22、42、82、162和322，宽高比分别为1∶2、1∶1和2∶1的矩形锚框；
正负样本分配子模块，用于对锚框分配正负样本，即将与和支撑特征类别相同的标注边界框的交并比大于0.7的锚框分配为正样本，将与和支撑特征类别相同的标注边界框的交并比都小于0.3的锚框分配为负样本，将其余锚框分配为无关样本；
分类回归子模块，用于得到可能包含目标的候选区域，其由3×3的卷积层g1和两个并联的1×1的卷积层gcls及greg级联组成，其中greg用于得到候选区域相对于锚框的边界框偏移量，gcls用于预测该候选区域包含目标的置信度；
后处理子模块，用于过滤冗余的候选区域并输出置信度最高的N个候选区域{(pj，bj)|j＝1，2，...，N}，其中pj为第j个候选区域的包含目标的置信度，bj＝(xj，yj，wj，hj)为第j个候选区域的边界框，(xj，yj)表示第j个候选区域边界框的中心坐标，wj和hj分别表示第j个候选区域边界框的宽和高。
2.4)建立包括感兴趣区域提取子模块、局部关系子模块、全局关系子模块和交叉关系子模块，细粒度检测识别模块D，其中：
感兴趣区域提取子模块，由自适应平均池化层组成，其用于根据区域建议模块G提供的候选区域将特征提取模块A提取的查询特征图YQ平均池化为7×7的查询RoI特征并将特征提取模块A提取的支撑特征图YS平均池化为7×7的支撑RoI特征其中C为特征图的深度；
局部关系子模块，用于度量查询RoI特征和支撑RoI特征的局部特征相似度sl，该模块由1×1卷积层、深度可分离卷积层和输出特征数为1的全连接层级联组成；
全局关系子模块，用于度量查询RoI特征和支撑RoI特征的全局相似度sg，该模块由全局平均池化层、特征拼接层和输出特征数为1的全连接层级联组成；
交叉关系子模块，用于度量查询RoI特征和支撑RoI特征的交叉关系相似度以及获取预测的边界框坐标，该模块由特征拼接层、1×1标准卷积层、3×3标准卷积层、1×1标准卷积层、全局平均池化层和并联的输出特征数为1的全连接层dcls、输出特征数为4的全连接层dreg级联组成，其中dcls用于预测查询RoI特征和支撑RoI特征的交叉关系相似度sp，dreg用于预测边界框坐标(x，y，w，h)，其中(x，y)表示边界框的中心点坐标，w和h分别为边界框的宽和高；
将上述局部关系子模块、全局关系子模块和交叉关系子模块并联，并将上述感兴趣区域提取子模块与该并联模块级联，构成细粒度检测识别模块D。
本实例中，细粒度识别模块D输出被检测目标的各个类别相似度s，公式如下：
其中，和/>分别为目标的第j个类别的局部相似度、全局相似度和交叉相似度，分别表示如下：
其中，表示查询RoI特征，/>表示第j个类别的支撑Roi特征，C为特征图的深度，σ(·)表示Sigmoid激活函数，FC(·)表示输出特征数量为1的全连接层，DWConv(·，·)表示深度可分离卷积，Conv(·)表示1×1标准卷积，Cat(·，·)表示将特征图按通道拼接，GAP(·)表示全局平均池化，Conv3(·)表示级联的1×1标准卷积层、3×3标准卷积层和1×1标准卷积层。
步骤三、训练小样本SAR目标检测识别网络。
3.1)对小样本SAR目标检测识别网络基类训练
3.1.1)将基类的支撑集和查询集输入到小样本SAR目标检测识别网络中，计算每次迭代的损失值，根据该损失值通过随机梯度下降算法更新网络参数；
3.1.2)计算小样本SAR目标检测识别网络的损失
其中：为区域建议模块G的分类损失，p和pgt分别为候选区域的目标置信度和真实标签；
为区域建议模块G的边界框回归损失，p和pgt分别为候选区域的目标置信度和真实标签，ti和/>分别是候选区域和真实边界框相对锚框的坐标编码，/>即/>小于1时该表达式取值为/>大于等于1时该表达式取值为/>
为细粒度检测识别模块D的分类损失，cq表示查询RoI特征所属类别，c表示聚合的支撑RoI特征所属类别，/>和/>分别表示预测编辑框和类别c的局部相似度、全局相似度和交叉相似度；
为细粒度检测识别模块D的边界框回归损失，cq表示查询RoI特征所属类别，c表示聚合的支撑RoI特征所属类别，ti和/>分别是预测框和真实边界框相对于候选区域的坐标编码，/>即在cq和c相等时为1，不相等时为0，/>
3.1.3)求解3.1.2)中损失对小样本SAR目标检测识别网络基类训练迭代前的网络参数θ0的梯度/>
其中和/>分别为区域建议模块G的分类损失和边界框回归损失，/>和/>分别为细粒度检测识别模块D的分类损失和边界框回归损失；
3.1.4)根据3.1.3)中求解的梯度更新小样本SAR目标检测识别网络的参数，得到当前基类训练阶段迭代后的网络参数θ′：
其中θ0为小样本SAR目标检测识别网络的基类训练阶段迭代前的网络参数，lrbase为基类训练时的学习率，本实例中lrbase取0.005；
3.2)重复步骤3.1)直至网络收敛得到最终迭代后的网络参数θbase，完成对小样本SAR目标检测识别网络的基类训练；
3.3)对完成基类训练的小样本SAR目标检测识别网络进行小样本微调：
3.3.1)将基类支撑集的部分支撑图像、查询集图像和所有新类支撑集、查询集图像输入到完成基类训练的小样本SAR目标检测识别网络，计算每次迭代的损失值，并利用该损失值通过随机梯度下降算法更新网络参数；
3.3.2)计算小样本SAR目标检测识别网络的损失：其中/>和/>分别为区域建议模块G的分类损失和边界框回归损失，/>和/>分别为细粒度检测识别模块D的分类损失和边界框回归损失；
3.3.3)求解3.3.2)中损失对小样本SAR目标检测识别网络小样本微调阶段迭代前的网络参数θ1的梯度/>
其中和/>分别为区域建议模块G的分类损失和边界框回归损失，/>和/>分别为细粒度检测识别模块D的分类损失和边界框回归损失；
3.3.4)根据3.3.3)中求解的梯度更新小样本SAR目标检测识别网络的参数，得到当前小样本微调阶段迭代后的网络参数θ″：
其中，θ1为小样本SAR目标检测识别网络小样本微调阶段迭代前的网络参数，lrft为小样本微调阶段的学习率，本实例中lrft取0.0025。
3.4)重复步骤3.3)直至网络收敛得到最终迭代后的网络参数θft，完成小样本SAR目标检测识别网络的小样本微调。
步骤四、获取SAR目标检测识别结果。
将待检测识别的SAR图像输入到微调后的小样本SAR目标检测识别网络，得到检测识别结果。
本发明的效果可以通过以下仿真实验进一步说明：
一、仿真实验条件
本发明仿真实验的软件平台为Windows11操作系统和Pytorch 1.10.1，硬件配置为：Core i7-11800H CPU和NVIDIA GeForce RTX 3080 Laptop GPU。
本发明的仿真实验使用高分3号SAR实测数据，场景类型为机场，图像分辨率为1m×1m，共有七类飞机目标，分别是：A220、A320-321、A330、ARJ21、Boeing737-800、Boeing787和other，并将ARJ21和Boeing787作为新类目标，其余作为基类目标。
SAR图像数量为2000张，图像大小有600×600、1024×1024、2048×2048三种，目标总数为6556，训练集图像数量为1400张，测试集图像数量为600张。
二、仿真内容与结果分析
在上述仿真条件下，用本发明和现有的“一种基于元学习的SAR图像小样本目标检测方法及系统”对测试集图像中的两张SAR图像进行检测识别，并将检测识别结果可视化到测试集图像上，结果如图3所示。其中：
图3(a)为现有技术对上述两张SAR图像的检测识别结果，
图3(b)为本发明对上述两张SAR图像的检测识别结果。
图3中的实线矩形框表示检测识别正确的目标，虚线矩形框表示检测识别错误的目标，圆圈表示漏检的目标。
对比图3(a)和3(b)可以看出，现有技术得到的检测识别结果中虚警和漏检较多，本发明所得检测识别结果虚警和漏检较少。
分别计算本发明和现有技术在5个新类目标5shot、10个新类目标10shot、20个新类目标20shot和30个新类目标30shot条件下测试结果的基类平均精度bAP和新类平均精度nAP，如表1所示：
表1本发明和现有技术的基类平均精度bAP和新类平均精度nAP对比
从表1可以看出，在5-shot、10-shot、20-shot和30-shot实验设置下，本发明的基类平均精度和新类平均精度都高于现有技术。
Claims (10)
1.一种基于元学习和度量学习的小样本SAR目标检测识别方法，其特征在于，包括以下步骤：
(1)构建支撑集和查询集：
(1a)收集大量包含基类目标的SAR图像和少量包含新类目标的SAR图像，并对每幅SAR图像中的目标位置和类别加以标注；
(1b)将收集的基类目标的SAR图像作为基类的查询集，并从收集的基类目标SAR图像中随机采样部分SAR图像都成基类的支撑集；将收集的新类目标的全部SAR图像分别作为新类的查询集和支撑集；
(2)构建基于元学习和度量学习的小样本SAR目标检测识别网络：
(2a)建立由依次进行多尺度变换、随机翻转、数据归一化的查询图像预处理流程和依次进行目标裁剪、随机翻转、数据归一化的支撑图像预处理流程组成的数据预处理模块；
(2b)建立由权值共享的孪生网络组成的特征提取模块A；
(2c)建立由包括特征聚合子模块、锚框生成子模块、正负样本分配子模块、分类回归子模块、后处理子模块级联组成的区域建议模块G，并分别使用交叉熵损失函数和Smooth L1损失函数作为分类损失和边界框回归损失/>
(2d)建立包括感兴趣区域提取子模块、局部关系子模块、全局关系子模块、交叉关系子模块组成的细粒度检测识别模块D，其输出被检查目标的边界框坐标(x，y，w，h)与该目标的各个类别相似度s，并将这两个参数分别代入交叉熵损失函数和Smooth L1损失函数，计算分类损失值和边界框回归损失值/>
(2e)将(2a)、(2b)、(2c)、(2d)建立的模块依次级联，组成小样本SAR目标检测识别网络，并定义该网络的损失函数为：
(3)对小样本SAR目标检测网络进行基类训练：
(3a)将基类的支撑集和查询集输入到小样本SAR检测识别网络中，计算每次迭代的损失值其中i为基类训练时的迭代次数，根据该损失值通过随机梯度下降算法更新网络参数；
(3b)重复(3a)过程，直至网络收敛，得到初步训练好的小样本SAR目标检测识别网络；
(4)对小样本SAR目标检测网络进行小样本微调：
(4a)将基类支撑集的部分支撑图像、查询集图像和所有新类支撑集、查询集图像输入到初步训练好的小样本SAR目标检测网络，计算每次迭代的损失值其中j表示小样本微调阶段的迭代次数，并利用该损失值通过随机梯度下降算法更新网络参数；
(4b)重复(4a)过程，直至网络收敛，得到最终训练完成后的小样本SAR目标检测识别网络。
(5)将待检测识别的SAR图像输入到步骤(4)得到最终训练完成后的小样本SAR目标检测识别网络，得到检测识别结果。
2.根据权利要求1所述的方法，其特征在于，步骤(2b)中建立由权值共享的孪生网络组成的特征提取模块A，其包括由两个结构相同且权值共享的主干网络组成的孪生网络，每个主干网络包括四个级联的卷积模块a1、a2、a3和a4；
所述第一个卷积模块a1由7×7标准卷积层、批归一化层、ReLU激活层以及最大池化下采样层级联组成；
所述第二个卷积模块a2由3个残差块组成；
所述第三个卷积模块a3由4个残差块级联组成；
所述第四个卷积模块a4由6个残差块级联组成；
整个特征提取模块输出的查询特征图，表示为其中/>为第i个卷积模块ai输出的查询特征图，XQ为输入的查询SAR图像。
整个特征提取模块输出的支撑特征图，表示为其中/>为第i个卷积模块ai输出的支撑特征图，XS为输入的支撑SAR图像。
3.根据权利要求2所述的方法，其特征在于，四个级联的卷积模块中的每个残差块，其包括3个卷积模块c1、c2和c3；
所述第一个卷积模块c1由1×1卷积层、批归一化层以及ReLU激活层级联组成；
所述第二个卷积模块c2由3×3卷积层、批归一化层以及ReLU激活层级联组成；
所述第三个卷积模块c3由1×1卷积层、批归一化层级联组成；
残差块每个卷积模块的输出特征图，表示为其中x为残差块的输入特征图；
残差块的输出特征图，表示为z＝relu(y3+x)，其中relu(·)表示ReLU激活函数。
4.根据权利要求1所述的方法，其特征在于，步骤(2c)中构成区域建议模块G中的各子模块结构及功能如下：
所述特征聚合子模块，使用深度可分离卷积完成支撑特征图和查询特征图的聚合，其输出为：
其中，为特征提取模块A得到的查询特征，W和H分别表示查询特征图的宽和高，/>为特征提取模块A得到的支撑特征，K表示支撑特征图的边长，C表示查询特征图和支撑特征图的深度；
所述锚框生成子模块，用于在聚合得到特征图P的每个点上生成尺度分别为22、42、82、162和322，宽高比分别为1∶2、1∶1和2∶1的矩形锚框；
所述正负样本分配子模块，用于对锚框分配正负样本，即将与和支撑特征类别相同的标注边界框的交并比大于0.7的锚框分配为正样本，将与和支撑特征类别相同的标注边界框的交并比都小于0.3的锚框分配为负样本，将其余锚框分配为无关样本；
所述分类回归子模块，用于得到可能包含目标的候选区域，其由3×3的卷积层g1和两个并联的1×1的卷积层gcls及greg级联组成，其中greg用于得到候选区域相对于锚框的边界框偏移量，gcls用于预测该候选区域包含目标的置信度；
所述后处理子模块，用于过滤冗余的候选区域并输出置信度最高的N个候选区域{(pj，bj)|j＝1，2，...，N}，其中pj为第j个候选区域的包含目标的置信度，bj＝(xj，yj，wj，hj)为第j个候选区域的边界框，(xj，yj)表示第j个候选区域边界框的中心坐标，wj和hj分别表示第j个候选区域边界框的宽和高。
5.根据权利要求1所述的方法，其特征在于，步骤(2d)中构成细粒度检测识别模块D，中的各子模块结构参数如下：
所述感兴趣区域提取子模块，由自适应平均池化层组成，其用于根据区域建议模块G提供的候选区域将特征提取模块A提取的查询特征图YQ平均池化为7×7的查询RoI特征并将特征提取模块A提取的支撑特征图Ys平均池化为7×7的支撑RoI特征其中C为特征图的深度；
所述局部关系子模块，用于度量查询RoI特征和支撑RoI特征的局部特征相似度sl，该模块由1×1卷积层、深度可分离卷积层和输出特征数为1的全连接层级联组成；
所述全局关系子模块，用于度量查询RoI特征和支撑RoI特征的全局相似度sg，该模块由全局平均池化层、特征拼接层和输出特征数为1的全连接层级联组成；
所述交叉关系子模块，用于度量查询RoI特征和支撑RoI特征的交叉关系相似度以及获取预测的边界框坐标，该模块由特征拼接层、1×1标准卷积层、3×3标准卷积层、1×1标准卷积层、全局平均池化层和并联的输出特征数为1的全连接层dcls、输出特征数为4的全连接层dreg级联组成，其中dcls用于预测查询RoI特征和支撑RoI特征的交叉关系相似度sp，dreg用于预测边界框坐标(x，y，w，h)，其中(x，y)表示边界框的中心点坐标，w和h分别为边界框的宽和高；
将上述感兴趣区域提取子模块与并联的局部关系子模块、全局关系子模块、交叉关系子模块级联，构成细粒度检测识别模块D。
6.根据权利要求5所述的方法，其特征在于，步骤(2d)中细粒度识别模块D输出被检测目标的各个类别相似度s，公式如下：
其中，和/>分别为目标的第j个类别的局部相似度、全局相似度和交叉相似度，分别表示如下：
其中，表示查询RoI特征，/>表示第j个类别的支撑RoI特征，C为特征图的深度，σ(·)表示Sigmoid激活函数，FC(·)表示输出特征数量为1的全连接层，DWConv(·，·)表示深度可分离卷积，Conv(·)表示1×1标准卷积，Cat(·，·)表示将特征图按通道拼接，GAP(·)表示全局平均池化，Conv3(·)表示级联的1×1标准卷积层、3×3标准卷积层和1×1标准卷积层。
7.根据权利要求1所述的方法，其特征在于，步骤(2d)中计算分类损失值和边界框回归损失值/>公式分别如下：
其中，cq表示查询RoI特征所属类别，c表示聚合的支撑RoI特征所属类别，和/>分别表示预测编辑框和类别c的局部相似度、全局相似度和交叉相似度，ti和/>分别是预测框和真实边界框相对于候选区域的坐标编码，/>即在cq和c相等时为1，不相等时为0；/>即/>小于1时该表达式取值为/> 大于等于1时该表达式取值为/>
8.根据权利要求1所述的方法，其特征在于，步骤(2c)中的分类损失和边界框回归损失/>分别表示如下：
其中，p和pgt分别为候选区域的目标置信度和真实标签，ti和分别是候选区域和真实边界框相对锚框的坐标编码，/>
9.根据权利要求1所述的方法，其特征在于，步骤(3a)中基类训练阶段使用随机梯度下降算法更新网络参数，实现如下：
(3a1)对小样本SAR目标检测识别网络参数的梯度进行求解，表示为：
其中，为小样本SAR目标检测识别网络基类训练阶段的损失，/>和/>分别为基类训练阶段区域建议模块G的分类损失和边界框回归损失，/>和/>分别为基类训练阶段细粒度检测识别模块D的分类损失和边界框回归损失，θ0为小样本SAR目标检测识别网络基类训练阶段迭代前的网络参数。
(3a2)根据求解的梯度更新小样本SAR目标检测识别网络的网络参数，得到当前基类训练阶段迭代后的网络参数θ′：
其中θ0为小样本SAR目标检测识别网络的基类训练阶段迭代前的网络参数，lrbase为基类训练时的学习率，lrbase为基类训练时的学习率。
10.根据权利要求1所述的方法，其特征在于，步骤(4a)中小样本微调阶段使用随机梯度下降算法更新网络参数，实现如下：
(4a1)对小样本SAR目标检测识别网络参数的梯度进行求解，表示为：
其中，为小样本SAR目标检测识别网络小样本微调阶段的损失，/>和/>分别为区域建议模块G在小样本微调阶段的分类损失和边界框回归损失，/>和/>分别为细粒度检测识别模块D在小样本微调阶段的分类损失和边界框回归损失，θ1为小样本SAR目标检测识别网络小样本微调阶段迭代前的网络参数。
(4a2)根据求解的梯度更新小样本SAR目标检测识别网络的网络参数，得到当前基类训练阶段迭代后的网络参数θ″：
其中，θ1为小样本SAR目标检测识别网络小样本微调阶段迭代前的网络参数，lrft为小样本微调阶段的学习率，lrft为小样本微调阶段的学习率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310639895.2A CN116664823A (zh) | 2023-05-31 | 2023-05-31 | 基于元学习和度量学习的小样本sar目标检测识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310639895.2A CN116664823A (zh) | 2023-05-31 | 2023-05-31 | 基于元学习和度量学习的小样本sar目标检测识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116664823A true CN116664823A (zh) | 2023-08-29 |
Family
ID=87723754
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310639895.2A Pending CN116664823A (zh) | 2023-05-31 | 2023-05-31 | 基于元学习和度量学习的小样本sar目标检测识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116664823A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117437530A (zh) * | 2023-10-12 | 2024-01-23 | 中国科学院声学研究所 | 合成孔径声纳感兴趣小目标孪生匹配识别方法及系统 |
-
2023
- 2023-05-31 CN CN202310639895.2A patent/CN116664823A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117437530A (zh) * | 2023-10-12 | 2024-01-23 | 中国科学院声学研究所 | 合成孔径声纳感兴趣小目标孪生匹配识别方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110263705B (zh) | 面向遥感技术领域两期高分辨率遥感影像变化检测系统 | |
| CN112700429B (zh) | 基于深度学习的机场道面地下结构病害自动检测方法 | |
| CN112861720B (zh) | 基于原型卷积神经网络的遥感图像小样本目标检测方法 | |
| CN107609601B (zh) | 一种基于多层卷积神经网络的舰船目标识别方法 | |
| CN108764006B (zh) | 一种基于深度强化学习的sar图像目标检测方法 | |
| CN106096561B (zh) | 基于图像块深度学习特征的红外行人检测方法 | |
| CN110751209B (zh) | 一种融合深度图像分类和检索的智能台风定强方法 | |
| Wei et al. | Hotspots Infrared detection of photovoltaic modules based on Hough line transformation and Faster-RCNN approach | |
| CN111985325B (zh) | 特高压环境评价中的航拍小目标快速识别方法 | |
| CN115035295B (zh) | 一种基于共享卷积核和边界损失函数的遥感图像语义分割方法 | |
| CN116664823A (zh) | 基于元学习和度量学习的小样本sar目标检测识别方法 | |
| CN111539432A (zh) | 一种利用众源数据辅助遥感影像提取城市道路的方法 | |
| CN107194917B (zh) | 基于dap和arelm的在轨sar图像变化检测方法 | |
| CN109558803B (zh) | 基于卷积神经网络与np准则的sar目标鉴别方法 | |
| CN116012709B (zh) | 一种高分辨率遥感影像建筑物提取方法及系统 | |
| CN115240078B (zh) | 一种基于轻量化元学习的sar图像小样本目标检测方法 | |
| CN107230201B (zh) | 基于样本自标定elm的在轨sar图像变化检测方法 | |
| CN112015937B (zh) | 一种图片地理定位方法及系统 | |
| CN114187477A (zh) | 一种基于监督自对比学习的小样本高光谱图像分类方法 | |
| CN114758241A (zh) | 基于svm和分步网格搜索的遥感图像态势识别方法 | |
| CN114022782A (zh) | 一种基于modis卫星数据的海雾探测方法 | |
| Damodaran et al. | Extraction of Overhead Transmission Towers from UAV Images | |
| CN110163346A (zh) | 一种针对多目标检测的卷积神经网络设计方法 | |
| CN113191259B (zh) | 用于高光谱图像分类的动态数据扩张方法及图像分类方法 | |
| Liu et al. | Terrain-adaptive ground filtering of airborne LiDAR data based on saliency-aware thin plate spline |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |