CN110334715A - 一种基于残差注意网络的sar目标识别方法 - Google Patents

一种基于残差注意网络的sar目标识别方法 Download PDF

Info

Publication number
CN110334715A
CN110334715A CN201910599277.3A CN201910599277A CN110334715A CN 110334715 A CN110334715 A CN 110334715A CN 201910599277 A CN201910599277 A CN 201910599277A CN 110334715 A CN110334715 A CN 110334715A
Authority
CN
China
Prior art keywords
feature
sar
characteristic diagram
data set
residual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910599277.3A
Other languages
English (en)
Inventor
于雪莲
申威
孙新栋
唐永昊
周云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201910599277.3A priority Critical patent/CN110334715A/zh
Publication of CN110334715A publication Critical patent/CN110334715A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于合成孔径雷达(Synthetic Aperture Radar,SAR)自动目标识别领域，涉及一种基于浅层神经网络的SAR图像特征提取方法，具体为一种基于残差注意网络的SAR目标识别方法。本发明将原始SAR图像先做归一化预处理，经过普通卷积层，最大卷积层和残差卷积单元形成进入并行的主干分支和掩码分支，通过采样结构掩码分支中特征图(Feature Map)大小与主干分支中特征图一致，最终将并行的两路特征图元素积，得到经过主干网络提取的特征与注意力机制生成的权值特征图对应元素相乘的结果，实现目标增加，抑制噪声的特征图，最后经过平铺层和多分类函数，完成目标识别。

Description

一种基于残差注意网络的SAR目标识别方法
技术领域
本发明属于合成孔径雷达(Synthetic Aperture Radar,SAR)自动目标识别领域，涉及一种基于浅层神经网络的SAR图像特征提取方法，具体为一种基于残差注意网络的SAR目标识别方法。
背景技术
目前，基于神经网络的图像解译技术已成为图像处理、计算机视觉等领域研究热点。而对于非合作目标监控的SAR系统而言，有限的样本采集能力使得基于神经网络的SAR图像解译技术面临挑战。
近年来，已有学者在基于神经网络的SAR目标识别方面做出大量研究；为了提高目标识别精度，基于深度神经学习网络的SAR目标识别算法已被提出。然而，近来发现当网络深度加深时，网络容易出现“退化”的现象，但浅层的神经网路并不能得到预想的SAR图像识别性能，网络收敛点的控制存在很大的不确定性。
视觉注意模型已在光学图像解译、SAR图像检测等方面应用广泛，其工作机理是利用人的视觉注意机制提取目标的关键特征点。视觉注意模型逐渐地也引起了SAR目标识别领域的关注。面对网络层次深，模型易退化，浅层网络识性能差这一矛盾，本发明提出将视觉注意力机制与浅层残差学习方法融合，利用浅层残差网络防止模型退化，同时在浅层网络中融入注意机制模型来提取SAR图像显著区域，从而可实现在浅层网络模型中的高精度SAR目标识别。
发明内容
本发明的目的在于针对上述基于深度学习模型的SAR识别中存在的瓶颈，提出一种基于残差注意网络的SAR目标识别方法，用于实现高精度的SAR目标识别。
为实现上述目的，本发明采用的技术方案为：
一种基于残差注意网络的SAR目标识别方法，包括以下步骤：
步骤1：对所有原始SAR图像做向量化、归一化处理，得到训练数据集；
步骤2：将训练数据集输入残差注意网络训练学习；
步骤2.1：训练数据集依次通过卷积层、最大池化层与残差卷积单元，完成第一次重点区域特征的提取，得到降维后特征图F1；
步骤2.2：利用主干分支提取特征图F1的特征，完成残差学习，得到特征图F3；
步骤2.3：利用掩码分支对特征图F1标记定位，标记图像的重点区域，使用Sigmoid函数加权重点区域得到特征图F2，利用采样结构保证特征图F2与特征图F3大小一致；
步骤2.4：将特征图F2与特征图F3点乘得到加权后的特征图F4；
步骤2.5：将特征图F3与特征图F4对应元素求和，得到重点区域被附加注意力的特征图F5；
步骤2.6：特征图F5经过残差卷积单元的进一步特征提取；再经过均值池化完成降维，保证数据的平移不变性；最终通过压平层和全连接层，使得训练数据集形成判别特征图；
步骤3：使用softmax函数完成多分类，根据预设训练迭代次数(epochs)和梯度下降批尺寸(batch size)完成模型训练；
步骤4：采用已训练模型对待测数据集的判别特征图进行多分类，完成SAR图像识别。
本发明的有益效果：通过残差注意网络，能够利用掩码分支加权SAR图像重点区域，解决了SAR图像噪声目标相似性较高的识别难点；利用浅层的残差注意网络便可达到高于传统网络的识别水平，同时节省计算资源。
附图说明
图1本发明一种基于残差注意网络的SAR目标识别方法流程图；
图2本发明中注意力机制结构图。
具体实施方式
以下结合附图和实施例对本发明作详细阐述。
本发明提出一种基于残差注意网络的SAR图像识别方法，其流程如图1所示，将原始SAR图像先做归一化预处理，经过普通卷积层，最大卷积层和残差卷积单元形成进入并行的主干分支和掩码分支，通过采样结构保证注意力机制中特征图(Feature Map)大小与主干分支中经过卷积神经网络逐渐生成的特征图一致，最终将并行的两路特征图元素积，得到经过主干网络提取的特征与注意力机制生成的权值特征图对应元素相乘的结果，实现目标增加，抑制噪声的特征图，最后经过平铺层和多分类函数，完成目标识别；如下式所示：
H(x)＝(1+M(x))*F(x)
其中，F(x)为标准的残差网络，M(x)为掩码分支，极限情况当M(x)为0的情况下，残差注意网络H(x)的效果不会比原始残差学习的效果差，特征数量的增加，对分类判别能力会有一定提升。
具体包括以下步骤：
步骤1：对所有原始SAR图像做向量化、归一化处理，得到训练数据集；
假设SAR的图像大小为a×b，对图像做向量化处理可得到(a×b)的列向量；并做归一化处理，将原始SAR图像数据中每一维特征归一化，映射为0-1的数据值；
步骤2：将训练数据集输入残差注意网络训练学习，逐渐生成每一轮的特征图，通过主干分支和掩码分支的并行学习，具体的实现步骤：
步骤2.1：训练数据集依次通过卷积层、最大池化层与残差卷积单元，完成第一次重点区域特征的提取，得到降维后特征图F1；
步骤2.2：利用主干分支提取特征图F1的特征，完成残差学习，得到特征图F3；
步骤2.3：利用掩码分支对特征图F1标记定位，标记图像的重点区域，使用Sigmoid函数加权重点区域得到特征图F2，利用采样结构保证特征图F2与特征图F3大小一致；
步骤2.4：将特征图F2与特征图F3点乘得到加权后的特征图F4，此时SAR图像中重点区域被加于0-1的权值；具体为：
两个特征图特征元素相同的均为经过简单卷积层处理的图，点乘计算是将原始训练图与加权后的原始训练图融合，即
其中，表示点乘运算；
步骤2.5：将特征图F3与特征图F4对应元素求和，得到重点区域被附加注意力的特征图F5，抑制噪声区域，加权注意力区域；
步骤2.6：特征图F5经过残差卷积单元的进一步特征提取；再经过均值池化完成降维，保证数据的平移不变性；最终通过压平层和全连接层，使得训练数据集形成判别特征图；
步骤3：使用softmax函数完成多分类，根据预设训练迭代次数(epochs)和梯度下降批尺寸(batch size)完成模型训练；
步骤4：采用已训练模型对待测数据集的判别特征图进行多分类，完成SAR图像识别。
本实施例中，在验证本发明过程中，将类别向量(从0到类别数的整数向量)映射为二值类别矩阵，实际作用是将类别信息独热编码，将离散特征的取值扩展到了欧式空间，有利于计算相似度；对原始的训练集和测试集的标签，将一列转化为多列数据，空间上讲是将类别标签转移到欧式空间，计算相关性，以及距离能够提取相应信息，具体的做法是根据类别标签的数据执行独特编码，使用状态寄存器来对多个状态进行编码，需要保证在每一个时刻只有一个状态有效，这样做的有效收益是解决类别信息与数据信息不相融的问题，原始数据为数值型数据集，类别标签与经过处理后的原始标签将与数值无关，表示状态。
验证本发明所述方法采用MSTAR标准数据集，为了验证本发明为SAR目标识别能够有效提高精度，并相对于其他简单网络能够实现更优的识别效果。预设参数迭代次数统一设置为100，梯度下降批尺寸设置为64：
设计两种不同的验证方式：(1)验证标准数据集，采用十个不同类别的地面目标：BMP2、BRDM_2、BTR70、BTR60、T72、2S1、D7、T62、ZIL131、ZSU23_4，分别使用“A-J”字母表示，实验数据及实验结果如表1，2，3：
表1
表2
表3
网络名称 CIFAR-10 VGG ResNet 残差注意网络
识别率(％) 98.66 98.99 98.10 99.30
(2)验证拓展工作条件下，残差注意网络的识别能力，使用2S1、BRDM2、ZSU23_4三类数据，训练集为17°俯仰角SAR图像，测试集为30°，45°俯仰角SAR图像，实验数据及实验结果如表4，5，6：
表4
表5(a)30°识别结果
(b)45°识别结果
表6(a)30°四种网络对比结果
网络名称 CIFAR-10 VGG ResNet 残差注意网络
识别率(％) 97.70 98.25 95.54 99.33
(b)45°四种网络对比结果
网络名称 CIFAR-10 VGG ResNet 残差注意网络
识别率(％) 78.13 73.00 75.33 81.67
对比网络结构为训练开源数据集CIFAR-10数据集设计的多分类网络CIFAR-10，Oxford的Visual Geometry Group的组提出的网络结构VGG，VGG是经典的卷积神经网络结构，曾经在ILSVRC 2014中表现出色，本发明采用相同网络结构的VGG七层网络结构，以及单独的残差学习网络ResNet，最终结果证明，残差注意网络在不同条件下，均能实现高精度识别结果。
以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (1)

1.一种基于残差注意网络的SAR目标识别方法，包括以下步骤：
步骤1：对所有原始SAR图像做向量化、归一化处理，得到训练数据集；
步骤2：将训练数据集输入残差注意网络训练学习；
步骤2.1：训练数据集依次通过卷积层、最大池化层与残差卷积单元，完成第一次重点区域的特征提取，得到降维后特征图F1；
步骤2.2：利用主干分支提取特征图F1的特征，完成残差学习，得到特征图F3；
步骤2.3：利用掩码分支对特征图F1标记定位，标记图像的重点区域，使用Sigmoid函数加权重点区域得到特征图F2，利用采样结构保证特征图F2与特征图F3大小一致；
步骤2.4：将特征图F2与特征图F3点乘得到加权后的特征图F4；
步骤2.5：将特征图F3与特征图F4对应元素求和，得到重点区域被附加注意力的特征图F5；
步骤2.6：特征图F5经过残差卷积单元的进一步特征提取；再经过均值池化完成降维；最后通过压平层和全连接层，使得训练数据集形成判别特征图；
步骤3：使用softmax函数完成多分类，根据预设训练迭代次数(epochs)和梯度下降批尺寸(batch size)完成模型训练；
步骤4：采用已训练模型对待测数据集的判别特征图进行多分类，完成SAR图像识别。
CN201910599277.3A 2019-07-04 2019-07-04 一种基于残差注意网络的sar目标识别方法 Pending CN110334715A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910599277.3A CN110334715A (zh) 2019-07-04 2019-07-04 一种基于残差注意网络的sar目标识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910599277.3A CN110334715A (zh) 2019-07-04 2019-07-04 一种基于残差注意网络的sar目标识别方法

Publications (1)

Publication Number Publication Date
CN110334715A true CN110334715A (zh) 2019-10-15

Family

ID=68143072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910599277.3A Pending CN110334715A (zh) 2019-07-04 2019-07-04 一种基于残差注意网络的sar目标识别方法

Country Status (1)

Country Link
CN (1) CN110334715A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111191626A (zh) * 2020-01-02 2020-05-22 北京航空航天大学 一种多类别交通工具的精细识别方法
CN111368937A (zh) * 2020-03-19 2020-07-03 京东方科技集团股份有限公司 图像分类方法、装置、及其训练方法、装置、设备、介质
CN111563417A (zh) * 2020-04-13 2020-08-21 华南理工大学 一种基于金字塔结构卷积神经网络的人脸表情识别方法
CN112633075A (zh) * 2020-11-30 2021-04-09 东南大学 一种基于深度改进残差网络的sar图像分类方法
CN112801161A (zh) * 2021-01-22 2021-05-14 桂林市国创朝阳信息科技有限公司 小样本图像分类方法、装置、电子设备及计算机存储介质
CN113065013A (zh) * 2021-03-25 2021-07-02 携程计算机技术（上海）有限公司 图像标注模型训练和图像标注方法、系统、设备及介质
CN113807206A (zh) * 2021-08-30 2021-12-17 电子科技大学 一种基于去噪任务辅助的sar图像目标识别方法
CN114022752A (zh) * 2021-11-04 2022-02-08 中国人民解放军国防科技大学 基于注意力特征精细化及对齐的sar目标检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921029A (zh) * 2018-06-04 2018-11-30 浙江大学 一种融合残差卷积神经网络和pca降维的sar自动目标识别方法
CN109948691A (zh) * 2019-03-14 2019-06-28 齐鲁工业大学 基于深度残差网络及注意力的图像描述生成方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921029A (zh) * 2018-06-04 2018-11-30 浙江大学 一种融合残差卷积神经网络和pca降维的sar自动目标识别方法
CN109948691A (zh) * 2019-03-14 2019-06-28 齐鲁工业大学 基于深度残差网络及注意力的图像描述生成方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FEI WANG等: ""Residual Attention Network for Image Classification"", 《ARXIV》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111191626B (zh) * 2020-01-02 2021-01-01 北京航空航天大学 一种多类别交通工具的精细识别方法
CN111191626A (zh) * 2020-01-02 2020-05-22 北京航空航天大学 一种多类别交通工具的精细识别方法
CN111368937A (zh) * 2020-03-19 2020-07-03 京东方科技集团股份有限公司 图像分类方法、装置、及其训练方法、装置、设备、介质
US11854248B2 (en) 2020-03-19 2023-12-26 Boe Technology Group Co., Ltd. Image classification method, apparatus and training method, apparatus thereof, device and medium
CN111368937B (zh) * 2020-03-19 2024-05-28 京东方科技集团股份有限公司 图像分类方法、装置、及其训练方法、装置、设备、介质
WO2021184902A1 (zh) * 2020-03-19 2021-09-23 京东方科技集团股份有限公司 图像分类方法、装置、及其训练方法、装置、设备、介质
CN111563417A (zh) * 2020-04-13 2020-08-21 华南理工大学 一种基于金字塔结构卷积神经网络的人脸表情识别方法
CN111563417B (zh) * 2020-04-13 2023-03-21 华南理工大学 一种基于金字塔结构卷积神经网络的人脸表情识别方法
CN112633075B (zh) * 2020-11-30 2022-03-29 东南大学 一种基于深度改进残差网络的sar图像分类方法
CN112633075A (zh) * 2020-11-30 2021-04-09 东南大学 一种基于深度改进残差网络的sar图像分类方法
CN112801161B (zh) * 2021-01-22 2024-06-14 桂林市国创朝阳信息科技有限公司 小样本图像分类方法、装置、电子设备及计算机存储介质
CN112801161A (zh) * 2021-01-22 2021-05-14 桂林市国创朝阳信息科技有限公司 小样本图像分类方法、装置、电子设备及计算机存储介质
CN113065013B (zh) * 2021-03-25 2024-05-03 携程计算机技术（上海）有限公司 图像标注模型训练和图像标注方法、系统、设备及介质
CN113065013A (zh) * 2021-03-25 2021-07-02 携程计算机技术（上海）有限公司 图像标注模型训练和图像标注方法、系统、设备及介质
CN113807206A (zh) * 2021-08-30 2021-12-17 电子科技大学 一种基于去噪任务辅助的sar图像目标识别方法
CN113807206B (zh) * 2021-08-30 2023-04-07 电子科技大学 一种基于去噪任务辅助的sar图像目标识别方法
CN114022752B (zh) * 2021-11-04 2024-03-15 中国人民解放军国防科技大学 基于注意力特征精细化及对齐的sar目标检测方法
CN114022752A (zh) * 2021-11-04 2022-02-08 中国人民解放军国防科技大学 基于注意力特征精细化及对齐的sar目标检测方法

Similar Documents

Publication Publication Date Title
CN110334715A (zh) 一种基于残差注意网络的sar目标识别方法
CN107066559B (zh) 一种基于深度学习的三维模型检索方法
CN110298280B (zh) 一种基于mkl多特征融合的海洋涡旋识别方法
Singh et al. Svm-bdt pnn and fourier moment technique for classification of leaf shape
CN105678284B (zh) 一种固定位人体行为分析方法
CN103020654B (zh) 基于样本产生与核局部特征融合的sar图像仿生识别方法
CN110321967B (zh) 基于卷积神经网络的图像分类改进方法
CN105069481B (zh) 基于空间金字塔稀疏编码的自然场景多标记分类方法
CN111079847B (zh) 一种基于深度学习的遥感影像自动标注方法
Wilmanski et al. Complex input convolutional neural networks for wide angle SAR ATR
CN104408469A (zh) 基于图像深度学习的烟火识别方法及系统
CN106022273A (zh) 基于动态样本选择策略的bp神经网络手写体识别系统
CN106228142A (zh) 基于卷积神经网络和贝叶斯决策的人脸验证方法
CN111709311A (zh) 一种基于多尺度卷积特征融合的行人重识别方法
CN109029363A (zh) 一种基于深度学习的目标测距方法
CN111401145B (zh) 一种基于深度学习与ds证据理论的可见光虹膜识别方法
CN113222011B (zh) 一种基于原型校正的小样本遥感图像分类方法
CN110569738A (zh) 基于密集连接网络的自然场景文本检测方法、设备和介质
CN110210538A (zh) 一种家居图像多目标识别方法及装置
CN113627472A (zh) 基于分层深度学习模型的智慧园林食叶害虫识别方法
CN106228182B (zh) 基于spm和深度增量svm的sar图像分类方法
CN103456017B (zh) 基于种子集的半监督权重核模糊聚类的图像分割方法
CN111079514A (zh) 一种基于clbp和卷积神经网络的人脸识别方法
CN111274958A (zh) 一种网络参数自纠正的行人重识别方法及系统
CN111274915A (zh) 一种指静脉图像的深度局部聚合描述子提取方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191015

RJ01 Rejection of invention patent application after publication