CN114241307B - 基于自注意力网络的合成孔径雷达飞机目标识别方法 - Google Patents
基于自注意力网络的合成孔径雷达飞机目标识别方法 Download PDFInfo
- Publication number
- CN114241307B CN114241307B CN202111499219.7A CN202111499219A CN114241307B CN 114241307 B CN114241307 B CN 114241307B CN 202111499219 A CN202111499219 A CN 202111499219A CN 114241307 B CN114241307 B CN 114241307B
- Authority
- CN
- China
- Prior art keywords
- swin
- loss function
- window
- network
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明属于雷达遥感应用技术领域,具体涉及一种基于自注意力网络的合成孔径雷达飞机目标识别方法。实现过程包括:获取数据集;构建基于swin transformer的网络模型;将训练集输入网络模型,利用网络模型提取特征;将提取到的特征在反向传播的过程中计算损失函数,根据损失函数调整网络模型参数,得获得最终目标识别模型;将需要检测的SAR图像输入到最终目标识别模型中,获得检测结果。本发明的方法利用来自分类和回归分支信息明确分解联合表示目标定位质量,在不增加计算量的同时,可以提升识别精度。同时,本文采用Swin Transformer网络进行SAR图像飞机目标识别,具有更强大的特征提取能力,检测效果更好。
Description
技术领域
本发明属于雷达遥感应用技术领域,具体涉及一种基于自注意力网络的合成孔径雷达飞机目标识别方法。
背景技术
合成孔径雷达(SyntheticAperture Radar,以下简称SAR)具有全天时、全天候的特点,是一种重要的对地观测手段。SAR图像目标识别利用SAR图像信息来实现目标位置和类别的判定,已广泛应用到军事作战等领域,是提升SAR传感器信息感知能力、实现SAR技术应用的关键技术之一。
SAR图像目标识别性能与特征提取的能力及数据集有密切关系。随着SAR成像技术的发展,SAR图像的分辨率越来越高。与此同时,SAR飞机数据也越来越多。然而,在SAR飞机识别领域,目前存在的方法识别效果并不理想,SAR飞机数据存在严重的样本不平衡问题且漏检问题严重。因此,需要研究更好的特征提取方法,减少特征损失,减轻类别不平衡的影响,以在SAR图像飞机目标识别中获得更好的性能。
传统的SAR图像目标识别方法主要特征提取和分类器。近年来,随着深度学习的快速发展,基于卷积神经网络(Convolutional Neural Network,简称CNN)的目标识别方法取得了较好的效果。现有的基于深度卷积神经网络的目标识别算法主要分为两阶段和单阶段的网络两大类。CNN通过不断地通过卷积层来完成对图像从局部信息到全局信息的提取。近期,有学者将NLP领域的transformer引入目标检测识别领域,将目标识别看做集合预测问题。相比于CNN,transformer训练更加简洁优雅,且无需任何后处理。
近年来,针对卷积神经网络中的样本不平衡问题引起广泛的研究。Focal loss损失函数降低了大量简单负样本在训练中所占的权重,从而减轻了正负样本不平衡的问题。由于损失函数的设计影响着最终目标边界框定位和回归的精度,本发明引用边界框的不确定性的统计量来指导定位质量估计,从而提高目标识别的精度。
发明内容
本发明所要解决的技术问题是通过损失函数的改进,提高边界框定位的质量,从而提高SAR图像飞机识别的精确率。针对SAR图像飞机识别干扰较多,且漏检较多的问题,提供了一种基于transformer的识别方法,并对损失函数进行改进,进一步提升识别精度,在SAR图像飞机识别中取得了很好的效果。
本发明采用的技术方案为:
一种基于自注意力网络的合成孔径雷达飞机目标识别方法,包括以下过程:
步骤1、获取数据集,分割为训练集,测试集和验证集数据;
步骤2、构建基于swintransformer的网络模型,基于swintransformer模型的结构包括块划分、线性嵌入、第一SwinTransformer模块、块合并和第二SwinTransformer模块;块划分用于将输入图像划分为不重合的图像块,线性嵌入用于改变图像块的特征维度,块合并用于按照2×2相邻图像块进行合并,第一和第二SwinTransformer模块分别用于提取图像深度特征;
步骤3、将训练集输入网络模型,利用网络模型提取特征;
步骤4、将提取到的特征在反向传播的过程中计算损失函数,根据损失函数调整网络模型参数,返回步骤3,直至损失函数收敛,得到训练好的网络模型,并在验证集上进行优化调参,得获得最终目标识别模型;
步骤5、将需要检测的SAR图像输入到最终目标识别模型中,获得检测结果。
进一步的,第一和第二SwinTransformer模块中采用局部窗口自注意的方式,在局部窗口划分时,采用移位窗口划分方法,具体为:
在第一SwinTransformer模块的神经网络中,首先将线性嵌入后得到的图像采用自左上角像素开始的窗口划分策略,将8×8的特征图平均划分为2×2个4×4的窗口,然后下一层在上一层的窗口配置基础上,采用移动窗口划分,将平均划分的窗口进行尺度的变换,然后在重新划分的窗口上进行特征提取;
在第二SwinTransformer模块的神经网络中,将块合并后的图像采用自左上角像素开始的窗口划分策略,将特征图首先进行平均划分,然后在下一层采用移动窗口划分,将平均划分的窗口进行尺度变换,得到不同尺度的窗口,然后在重新划分的窗口上进行特征提取。
进一步的,步骤4中损失函数采用融合损失函数,计算过程如下:
融合损失函数将分类和回归分支进行融合,将特征提取之后的特征分布输入到回归分支得到预测交并比的标量I,然后和分类分支得到的损失C相乘得到J,计算公式如下:
J=C×I
其中,C=[C1,C2,...Cm],Ci∈[0,1],表示总共m个类别的分类表示,I∈[0,1]是一个标量,代表预测交并比的大小;
预测交并比的标量I计算公式如下:
I=σ(W2δ(W1F))
本发明的有益效果为:
本发明相比于CNN的目标识别网络,改变了损失函数,使其更好的定位目标,提高了目标定位的质量,提高了识别精度。同时Swintransformer与其它transformer方法相比,具有更强的通用性。在损失函数上,为了提高目标定位的质量,将分类和回归分支进行分解然后再联合,可以显著提高目标识别任务性能。
附图说明
图1为本发明实施例基于swintransformer的网络模型结构图。
图2为本发明实施例移位窗口划分方法示意图。
图3为本发明实施例损失函数示意图。
图4为本发明实施例含有飞机目标的SAR图像。
具体实施方式
本发明是为了提高SAR图像识别的能力。因此,将本发明的损失函数应用于Swintransformer检测识别框架中。为了评价本发明损失函数的好坏,将该损失函数应用于SAR图像飞机目标识别框架中。直接替换Swintransformer中目标定位的损失函数。实验首先将数据集按8:1:1的比例分为训练,验证和测试三个部分,采用COCO格式的数据集输入。通过将附图3的损失函数加入到Swin transformer中进行SAR图像飞机目标识别的训练。多尺度训练,根据数据集中图像尺寸的不同,调整输入的大小。使用AdamW优化器,初始学习率设置为10-4,权重衰减为0.05,批大小为16。
本发明具体实现过程为:
步骤1、获取数据集,按8:1:1的比例分割为训练集,测试集和验证集数据;
步骤2、构建基于swin transformer的网络模型,基于swin transformer模型的结构包括块划分、线性嵌入、第一Swin Transformer模块、块合并和第二SwinTransformer模块;块划分用于将输入图像输入H×W×3划分为不重合的图像块,每个图像块大小为4×4,线性嵌入用于将图像块的特征维度变为C,块合并用于按照2×2相邻图像块进行合并,特征维度变为4C,第一和第二SwinTransformer模块分别用于提取图像深度特征;如图1所示;
如图2所示,第一和第二SwinTransformer模块中采用局部窗口自注意的方式,在局部窗口划分时,采用移位窗口划分方法,具体为:
在第一SwinTransformer模块的神经网络中,首先将线性嵌入后得到的图像采用自左上角像素开始的窗口划分策略,将8×8的特征图平均划分为2×2个4×4的窗口,然后下一层在上一层的窗口配置基础上,采用移动窗口划分,将平均划分的窗口进行尺度的变换,然后在重新划分的窗口上进行特征提取;
在第二SwinTransformer模块的神经网络中,将块合并后的图像采用自左上角像素开始的窗口划分策略,将特征图首先进行平均划分,然后在下一层采用移动窗口划分,将平均划分的窗口进行尺度变换,得到不同尺度的窗口,然后在重新划分的窗口上进行特征提取。
步骤3、将训练集输入网络模型,利用网络模型提取特征;
步骤4、将提取到的特征在反向传播的过程中计算损失函数,根据损失函数调整网络模型参数,返回步骤3,直至损失函数收敛,得到训练好的网络模型,并在验证集上进行优化调参,得获得最终目标识别模型;
如图3所示,损失函数采用融合损失函数,计算过程如下:
融合损失函数将分类和回归分支进行融合,将特征提取之后的特征分布输入到回归分支得到预测交并比的标量I,然后和分类分支得到的损失C相乘得到J,计算公式如下:
J=C×I
其中,C=[C1,C2,...Cm],Ci∈[0,1],表示总共m个类别的分类表示,I∈[0,1]是一个标量,代表预测交并比的大小;
预测交并比的标量I计算公式如下:
I=σ(W2δ(W1F))
步骤5、将需要检测的SAR图像输入到最终目标识别模型中,获得检测结果。含有飞机目标的SAR图像如图4所示。
本发明的优势主要体现在该损失函数在不损失训练推理速度的同时,可以提升2个点。此外该损失函数降低了学习的难度,收敛后loss更低了。基于Swin transformer的目标识别方法是新颖的,具有通用的识框架,为后续的研究和实际应用打下了基础。
Claims (3)
1.一种基于自注意力网络的合成孔径雷达飞机目标识别方法,其特征在于,包括以下过程:
步骤1、获取数据集,分割为训练集,测试集和验证集数据;
步骤2、构建基于swin transformer的网络模型,基于swin transformer模型的结构包括块划分、线性嵌入、第一Swin Transformer模块、块合并和第二Swin Transformer模块;块划分用于将输入图像划分为不重合的图像块,线性嵌入用于改变图像块的特征维度,块合并用于按照2×2相邻图像块进行合并,第一和第二Swin Transformer模块分别用于提取图像深度特征;
步骤3、将训练集输入网络模型,利用网络模型提取特征;
步骤4、将提取到的特征在反向传播的过程中计算损失函数,根据损失函数调整网络模型参数,返回步骤3,直至损失函数收敛,得到训练好的网络模型,并在验证集上进行优化调参,得获得最终目标识别模型;
步骤5、将需要检测的SAR图像输入到最终目标识别模型中,获得检测结果。
2.根据权利要求1所述的基于自注意力网络的合成孔径雷达飞机目标识别方法,其特征在于,第一和第二Swin Transformer模块中采用局部窗口自注意的方式,在局部窗口划分时,采用移位窗口划分方法,具体为:
在第一Swin Transformer模块的神经网络中,首先将线性嵌入后得到的图像采用自左上角像素开始的窗口划分策略,将8×8的特征图平均划分为2×2个4×4的窗口,然后下一层在上一层的窗口配置基础上,采用移动窗口划分,将平均划分的窗口进行尺度的变换,然后在重新划分的窗口上进行特征提取;
在第二Swin Transformer模块的神经网络中,将块合并后的图像采用自左上角像素开始的窗口划分策略,将特征图首先进行平均划分,然后在下一层采用移动窗口划分,将平均划分的窗口进行尺度变换,得到不同尺度的窗口,然后在重新划分的窗口上进行特征提取。
3.根据权利要求1所述的基于自注意力网络的合成孔径雷达飞机目标识别方法,其特征在于,步骤4中损失函数采用融合损失函数,计算过程如下:
融合损失函数将分类和回归分支进行融合,将特征提取之后的特征分布输入到回归分支得到预测交并比的标量I,然后和分类分支得到的损失C相乘得到J,计算公式如下:
J=C×I
其中,C=[C1,C2,...Cm],Ci∈[0,1],表示总共m个类别的分类表示,I∈[0,1]是一个标量,代表预测交并比的大小;
预测交并比的标量I计算公式如下:
I=σ(W2δ(W1F))
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111499219.7A CN114241307B (zh) | 2021-12-09 | 2021-12-09 | 基于自注意力网络的合成孔径雷达飞机目标识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111499219.7A CN114241307B (zh) | 2021-12-09 | 2021-12-09 | 基于自注意力网络的合成孔径雷达飞机目标识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114241307A CN114241307A (zh) | 2022-03-25 |
CN114241307B true CN114241307B (zh) | 2023-01-24 |
Family
ID=80754307
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111499219.7A Active CN114241307B (zh) | 2021-12-09 | 2021-12-09 | 基于自注意力网络的合成孔径雷达飞机目标识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114241307B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114841867A (zh) * | 2022-03-26 | 2022-08-02 | 西北工业大学 | 视频修复的处理方法、装置以及电子设备 |
CN114519402B (zh) * | 2022-04-18 | 2022-08-09 | 安徽农业大学 | 一种基于神经网络的柑橘病虫害检测方法 |
CN115034257B (zh) * | 2022-05-09 | 2023-04-07 | 西北工业大学 | 一种基于特征融合的跨模态信息目标识别方法及装置 |
CN115063833B (zh) * | 2022-05-16 | 2024-05-14 | 国网冀北电力有限公司信息通信分公司 | 一种基于图像分层视觉的机房人员检测方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111985325B (zh) * | 2020-07-15 | 2023-04-07 | 国网河南省电力公司 | 特高压环境评价中的航拍小目标快速识别方法 |
CN112597815A (zh) * | 2020-12-07 | 2021-04-02 | 西北工业大学 | 一种基于Group-G0模型的合成孔径雷达图像舰船检测方法 |
CN113569667B (zh) * | 2021-07-09 | 2024-03-08 | 武汉理工大学 | 基于轻量级神经网络模型的内河船舶目标识别方法及系统 |
-
2021
- 2021-12-09 CN CN202111499219.7A patent/CN114241307B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN114241307A (zh) | 2022-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114241307B (zh) | 基于自注意力网络的合成孔径雷达飞机目标识别方法 | |
CN108734723B (zh) | 一种基于自适应权重联合学习的相关滤波目标跟踪方法 | |
CN114092832B (zh) | 一种基于并联混合卷积网络的高分辨率遥感影像分类方法 | |
CN114202696A (zh) | 基于上下文视觉的sar目标检测方法、装置和存储介质 | |
CN107844743A (zh) | 一种基于多尺度分层残差网络的图像多字幕自动生成方法 | |
CN103353988A (zh) | 异源sar景象特征匹配算法性能评估方法 | |
CN114627447A (zh) | 基于注意力机制和多目标跟踪的公路车辆跟踪方法及系统 | |
Zhu et al. | Change detection based on the combination of improved SegNet neural network and morphology | |
CN116543228A (zh) | 一种基于单阶段网络的红外图像车辆检测方法 | |
CN111414954A (zh) | 一种岩石图像检索方法及其系统 | |
CN114359702A (zh) | 一种基于Transformer的宅基地遥感图像违建识别方法及系统 | |
CN116912585A (zh) | 基于自监督学习和知识蒸馏的sar目标识别方法 | |
CN117009916A (zh) | 基于多传感器信息融合与迁移学习的促动器故障诊断方法 | |
CN116778341A (zh) | 一种雷达图像多视角特征提取与鉴别方法 | |
Chang et al. | MLSDNet: Multi-class Lightweight SAR Detection Network Based on Adaptive scale distribution attention | |
CN106934797A (zh) | 一种基于邻域相对熵的sar影像变化检测方法 | |
Tian et al. | A fault diagnosis method for few-shot industrial processes based on semantic segmentation and hybrid domain transfer learning | |
CN116863327B (zh) | 一种基于双域分类器协同对抗的跨域小样本分类方法 | |
Jin et al. | YOLOv7-Bw: A Dense Small Object Efficient Detector Based on Remote Sensing Image | |
Li et al. | Enhancing feature fusion using attention for small object detection | |
CN113627480B (zh) | 一种基于强化学习的极化sar影像分类方法 | |
CN105225232A (zh) | 一种基于视觉注意机制的彩色着舰合作目标检测方法 | |
CN115527118A (zh) | 一种融合注意力机制的遥感图像目标检测方法 | |
CN112069997B (zh) | 一种基于DenseHR-Net的无人机自主着陆目标提取方法及装置 | |
Yu et al. | Precise segmentation of remote sensing cage images based on SegNet and voting mechanism |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |