CN113435510B - 基于序列调整网络的逆合成孔径雷达图像分类方法 - Google Patents
基于序列调整网络的逆合成孔径雷达图像分类方法 Download PDFInfo
- Publication number
- CN113435510B CN113435510B CN202110721569.7A CN202110721569A CN113435510B CN 113435510 B CN113435510 B CN 113435510B CN 202110721569 A CN202110721569 A CN 202110721569A CN 113435510 B CN113435510 B CN 113435510B
- Authority
- CN
- China
- Prior art keywords
- layer
- convolution
- network
- pixels
- synthetic aperture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 44
- 230000004913 activation Effects 0.000 claims description 42
- 238000010606 normalization Methods 0.000 claims description 30
- 238000011176 pooling Methods 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 28
- 238000012360 testing method Methods 0.000 claims description 20
- 239000000654 additive Substances 0.000 claims description 12
- 230000000996 additive effect Effects 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 12
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 11
- 238000009825 accumulation Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 abstract description 6
- 238000013527 convolutional neural network Methods 0.000 description 10
- 238000004088 simulation Methods 0.000 description 9
- 238000000605 extraction Methods 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000010287 polarization Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
- G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明公开了一种基于序列调整网络的逆合成孔径雷达图像分类方法，主要解决现有技术对空间目标逆合成孔径雷达图像分类时，难以利用逆合成孔径雷达连续成像的特性，难以提取较大形变图像的稳健特征，分类正确率和稳健性较低，复杂环境下性能受限等问题，实现步骤为：(1)生成训练集；(2)构建序列调整网络；(3)训练序列调整网络；(4)对待分类的逆合成孔径雷达图像进行分类。本发明通过参数共享得到轻量化的形变调整和分类网络，实现了基于轻量化网络的序列图像形变调整和准确分类，使得本发明的网络训练时间大幅缩短，提高了本发明在实际应用中的时效性。
Description
技术领域
本发明属于图像处理技术领域，更进一步涉及目标识别技术领域中的一种基于序列调整网络的逆合成孔径雷达图像分类方法。本发明针对逆合成孔径雷达序列图像，提出一种序列调整网络结构，可用于对逆合成孔径雷达图像的稳健分类。
背景技术
逆合成孔径雷达具有全天候、全天时、远作用距离等特性，被广泛应用于态势感知和防空反导等领域。逆合成孔径雷达图像是目标三维散射中心向未知成像平面的投影。与雷达一维距离像相比，逆合成孔径雷达图像蕴含着更为丰富的形状、结构、运动及散射特性等分类特征。当逆合成孔径雷达对目标进行连续观测时，能够获得其逆合成孔径雷达图像序列，该图像序列蕴含着目标形状、结构、散射强度及其随雷达视角的变化规律等重要特征。目前基于深度学习的逆合成孔径雷达图像分类方法主要在卷积神经网络的基础上进行改进，有效避免了复杂的人工设计过程。但是，现有方法尚未利用逆合成孔径雷达图像连续成像的特性，分类正确率和稳健性较低，难以在实际中进行应用。
Hong Yang,Yasheng Zhang,Wenzhe Din在其发表的论文“MultipleHeterogeneous P-DCNNs Ensemble With Stacking Algorithm:A Novel RecognitionMethod of Space Target ISAR Images Under the Condition of Small Sample Set”(IEEE Access,2020)中提出了一种基于多异构预训练深度卷积神经网络 P-DCNN(pre-trained deep convolutional neural network)集成叠加算法的空间目标逆合成孔径雷达图像分类方法。该方法的实现步骤为：(1)将去噪和标准化后的逆合成孔径雷达图像数据集划分为特定的多个部分，各部分利用图像扩充技术增加训练样本的数量；(2)将多个异构的P-DCNN作为堆叠集成学习框架第一层基础学习器，利用扩充后的训练样本进行精细训练；(3)利用XGBoost分类器作为堆叠集成学习框架的第二层，利用第一层学习器的输出进行训练，得到经过训练的元学习器；(4)利用经过训练的元学习器进行逆合成孔径雷达图像自动分类。该方法利用深度神经网络自动提取目标多层特征，并使用集成学习有效提高网络的分类稳健性。但是，该方法仍然存在的不足之处是，由于构建第一层基础学习器需要将多个异构的P-DCNN进行堆叠作为集成学习框架，并利用扩充后的训练样本进行精细训练，所以需要对训练数据进行扩增，并需要训练大量的异构P-DCNN，导致网络训练时间较长，对计算设备的要求过高，难以在实际中推广应用。
西安电子科技大学在其申请的专利文献“基于目标先验信息的空间目标 ISAR图像分类方法”(公开号：CN202110304865.7，申请公布号：CN112949555A) 中公开了一种基于目标先验信息的空间目标ISAR图像分类方法。该方法的实现步骤为：(1)生成带有空间目标先验信息的训练样本集；(2)提取训练样本的特征；(3)计算训练样本中各类目标ISAR图像组的特征方差；(4)生成训练样本各类目标所有特征的分类器函数；(4)提取待分类样本的特征，并获取每个特征的分类器函数值；(5)对各类目标的所有特征分类器函数值作融合处理；(6)将融合后特征分类器函数值中最大值对应的种类作为待分类样本的分类结果。该方法利用了目标的先验信息，解决了小样本集下分类器训练困难的问题，得到较好的分类结果。但是，该方法仍然存在不足之处，由于逆合成孔径雷达图像会随着观测条件改变而发生较大形变，从而导致基于目标先验信息的空间目标ISAR图像分类器失效，无法对逆合成孔径雷达形变目标进行稳健分类，限制了算法在复杂环境下的分类性能。
发明内容
本发明的目的是针对上述现有技术的不足，提出一种基于序列调整网络的逆合成孔径雷达图像分类方法，旨在解决现有技术进行空间目标逆合成孔径雷达图像分类时难以利用连续成像特性，需要对训练数据进行扩增，网络训练时间较长，且无法对形变图像进行稳健特征提取及分类的问题。
实现本发明目的的技术思路是：本发明构建了一种序列调整网络，通过训练好的序列调整网络直接对逆合成孔径雷达图像进行分类，避免了现有技术进行空间目标逆合成孔径雷达图像分类时，网络训练时间较长，分类正确率和稳健性较低的问题。本发明利用卷积子网络和可变形卷积子网络构建的全局图像调整模块生成仿射变换参数，对序列的每张图像进行仿射变换，通过卷积子网络和可变形卷积子网络构建的局部图像调整模块，对仿射调整后的逆合成孔径雷达序列图像进行局部变换，从而实现形变稳健特征提取，避免了现有技术难以对逆合成孔径雷达形变图像进行稳健特征提取的问题。通过注意增强的双向长短期记忆模块融合序列各元素并得到分类结果，解决了现有技术难以利用逆合成孔径雷达图像连续成像特性的问题，通过参数共享得到轻量化的形变调整和分类网络，有效降低了参数数量，解决了现有技术难以在较短时间内完成网络训练的问题。
本发明的具体步骤如下：
(1)生成训练集：
(1a)将雷达在50°仰角，91°～359°方位角，2GHz带宽、6°积累角或 1GHz带宽、5°积累角的条件下获取的四类卫星逆合成孔径雷达HV极化图像中，选取至少2160幅逆合成孔径雷达图像组成样本集；
(1b)将样本集中每幅逆合成孔径雷达图像裁剪为120×120个像素，得到裁剪后的样本集；
(1c)以裁剪后每10幅逆合成孔径雷达图像为一组，对裁剪后的样本集进行滑窗；
(1d)将滑窗得到的至少2088组序列样本组成训练集；
(2)构建序列调整网络：
(2a)构建一个由卷积层组，批归一化层，非线性激活层，最大值池化层组成的第一卷积子网络，所述卷积层组包括四个级联的卷积层；
(2b)构建一个由卷积层组，批归一化层，非线性激活层，最大值池化层组成的第二卷积子网络，所述卷积层组包括三个级联的卷积层；
(2c)构建一个由卷积层组，批归一化层，非线性激活层，最大值池化层组成的第三卷积子网络，所述卷积层组包括三个级联的卷积层；
(2d)构建一个由可变形卷积层，批归一化层，非线性激活层，最大值池化层组成的第一可变形卷积子网络；其中，可变形卷积层具有核大小为3×3个像素的64个可变形卷积核，可变形卷积核进行的操作是通过卷积运算得到的二维偏移参数改变像素点位置后，再将一般卷积核作用于改变的像素点，批归一化层的通道数为64，非线性激活层采用线性整流单元激活函数，最大值池化层的窗口大小为2×2个像素，步长为2个像素；
(2e)构建一个由可变形卷积层，批归一化层，非线性激活层，最大值池化层组成的第二可变形卷积子网络；其中，可变形卷积层具有核大小为3×3个像素的128个可变形卷积核，可变形卷积核进行的操作是通过卷积运算得到的二维偏移参数改变像素点位置后，再将一般卷积核作用于改变的像素点，批归一化层的通道数为128，非线性激活层采用线性整流单元激活函数，最大值池化层的窗口大小为2×2个像素，步长为2个像素；
(2f)将第一卷积子网络，第二卷积子网络，第三卷积子网络，第一可变形卷积子网络，全连接层级联成全局图像调整模块；将第一卷积子网络，第二卷积子网络，第三卷积子网络，第二可变形卷积子网络级联成局部图像调整模块；
(2g)搭建一个由Bi-LSTM，加性注意力层组成的注意增强双向长短期记忆模块；其中，Bi-LSTM由两层LSTM级联得到，每一层LSTM的长度均为 10个，隐藏维度均为64个像素；加性注意力层由键值、查询值和真值组成，键值、查询值和真值的长度均为10，维度均为64个像素；
(2h)将全局图像调整模块，局部图像调整模块，注意增强的双向长短期记忆模块级联成序列调整网络；
(3)训练序列调整网络：
将训练集输入到序列调整网络中，利用交叉熵损失函数，计算网络的输出与训练图像的类别标签之间的交叉熵损失值，通过反向传播算法迭代更新网络的参数，直到网络的交叉熵损失函数收敛为止，得到训练好的序列调整网络；
(4)测试序列调整网络：
采用与步骤(1b)和(1c)相同的方法，对待分类的逆合成孔径雷达图像进行预处理和滑窗处理，得到待分类的样本集，将待分类样本集输入训练好的序列调整网络中，输出分类标签。
本发明与现有的技术相比具有以下优点：
第一，本发明利用卷积子网络和可变形卷积子网络构建全局图像调整模块以生成仿射变换参数，进而对序列中每张图像进行仿射变换，同时通过卷积子网络和可变形卷积子网络构建局部图像调整模块，对仿射调整后的逆合成孔径雷达序列图像进行局部变换，从而克服了目标图像形变较大时难以实现形变稳健特征提取的问题，提高了逆合成孔径雷达图像分类的稳健性。
第二，本发明在充分利用逆合成孔径雷达序列图像时变特性的基础上，通过注意增强的双向长短期记忆模块融合序列各元素并得到分类结果，克服了现有技术难以利用逆合成孔径雷达图像连续成像特性的问题，提高了逆合成孔径雷达图像分类的准确性。
第三，本发明通过参数共享得到轻量化的形变调整和分类网络，利用共享卷积网络参数有效降低了参数数量，实现了基于轻量化网络的序列图像形变调整和分类，克服了现有技术难以在较短时间内完成训练的问题，提高了本发明在实际应用中的时效性。
附图说明
图1是本发明的流程图；
图2是本发明主干网络模块的结构示意图；
图3是本发明主干网络模块中第一、第二、第三卷积子网络的结构示意图；
图4是本发明主干网络模块中第一、第二可变形卷积子网络的结构示意图。
具体实施方式
参照图1对本发明实现的具体步骤进行详细描述。
步骤1，生成训练集。
步骤1.1，将雷达在50°仰角，91°～359°方位角，2GHz带宽、6°积累角或 1GHz带宽、5°积累角的条件下获取的四类卫星逆合成孔径雷达HV极化图像中，选取至少2160幅逆合成孔径雷达图像组成样本集。
步骤1.2，将样本集中每幅逆合成孔径雷达图像裁剪为120×120个像素，得到裁剪后的样本集。
步骤1.3，以裁剪后每10幅逆合成孔径雷达图像为一组，对裁剪后的样本集进行滑窗。
所述滑窗的具体步骤如下：
第1步，将裁剪后样本集的所有图像排成一行，得到样本集总序列。
第2步，使用长度为10幅图像，宽度为1幅图像的矩形滑窗，以1幅图像的步长在样本集总序列上滑动，取出滑窗内的所有图像序列，构成滑窗后的序列样本。
步骤1.4，将滑窗得到的至少2088组序列样本组成训练集。
步骤2，构建序列调整网络。
搭建一个由3个模块组成的主干网络模块，其结构依次为：全局图像调整模块，局部图像调整模块，注意增强双向长短期记忆模块。其中，全局图像调整模块由第一卷积子网络，第二卷积子网络，第三卷积子网络，第一可变形卷积子网络，全连接层级联组成，局部图像调整模块由第一卷积子网络，第二卷积子网络，第三卷积子网络，第二可变形卷积子网络级联组成。
参照图2对本发明构建的主干网络模块作进一步描述。
主干网络模块的输入数据为逆合成孔径雷达图像序列，全局和局部图像调整对逆合成孔径雷达图像的形变稳健特征进行提取，注意增强双向长短期记忆模块完成对图像序列特征的提取并输出分类结果。
参照图3对本发明构建的第一、第二、第三卷积子网络作进一步描述。
构建一个由卷积层组，批归一化层，非线性激活层，最大值池化层组成的第一卷积子网络，所述卷积层组包括四个级联的卷积层；其中，第一至第四卷积层均具有核大小为3×3个像素的8个卷积核，批归一化层的通道数为8，非线性激活层采用线性整流单元激活函数，最大值池化层的窗口大小为2×2个像素，步长为2个像素，如图3(a)所示。
构建一个由卷积层组，批归一化层，非线性激活层，最大值池化层组成的第二卷积子网络，所述卷积层组包括三个级联的卷积层；其中第一至第三卷积层均具有核大小为3×3个像素的16个卷积核，批归一化层的通道数目为16，非线性激活层采用线性整流单元激活函数，最大值池化层的窗口大小为2×2个像素，步长为2个像素，如图3(b)所示。
构建一个由卷积层组，批归一化层，非线性激活层，最大值池化层组成的第三卷积子网络，所述卷积层组包括三个级联的卷积层；其中第一至第三卷积层均具有核大小为3×3个像素的32个卷积核，批归一化层的通道数目为32，非线性激活层采用线性整流单元激活函数，最大值池化层的窗口大小为2×2个像素，步长为2个像素，如图3(c)所示。
参照图4对本发明构建的第一、第二可变形卷积子网络作进一步描述。
构建一个由可变形卷积层，批归一化层，非线性激活层，最大值池化层组成的第一可变形卷积子网络；其中，可变形卷积层具有核大小为3×3个像素的64 个可变形卷积核，可变形卷积核进行的操作是通过卷积运算得到的二维偏移参数改变像素点位置后，再将一般卷积核作用于改变的像素点，批归一化层的通道数为64，非线性激活层采用线性整流单元激活函数，最大值池化层的窗口大小为2 ×2个像素，步长为2个像素，如图4(a)所示。
构建一个由可变形卷积层，批归一化层，非线性激活层，最大值池化层组成的第二可变形卷积子网络；其中，可变形卷积层具有核大小为3×3个像素的128 个可变形卷积核，可变形卷积核进行的操作是通过卷积运算得到的二维偏移参数改变像素点位置后，再将一般卷积核作用于改变的像素点，批归一化层的通道数为128，非线性激活层采用线性整流单元激活函数，最大值池化层的窗口大小为 2×2个像素，步长为2个像素，如图4(b)所示。
将第一卷积子网络，第二卷积子网络，第三卷积子网络，第一可变形卷积子网络，全连接层级联成全局图像调整模块；将第一卷积子网络，第二卷积子网络，第三卷积子网络，第二可变形卷积子网络级联成局部图像调整模块。
搭建一个由Bi-LSTM，加性注意力层组成的注意增强双向长短期记忆模块；其中，Bi-LSTM由两层LSTM级联得到，每一层LSTM的长度均为10个，隐藏维度均为64个像素；加性注意力层由键值、查询值和真值组成，将Bi-LSTM 的前向输出和后向输出相加，然后分别复制三份作为真值、键值和查询值并连接到加性注意力层，对键值和查询值求相关，得到注意力权重，将注意力权重与真值进行矩阵相乘，得到加性注意力层的输出，将加性注意力层的输出连接到 softmax分类器，得到注意增强的双向长短期记忆模块。键值、查询值和真值的长度均为10，维度均为64个像素。
所述的softmax函数如下：
其中，pt表示输入图像属于第t种类型的概率，t＝1,2,…,M，exp(·)表示以自然常数e为底的指数操作，Ov表示第v个神经元的输出，v的取值与t对应相等，N表示神经元总数，n表示神经元的序号，On表示第n个神经元的输出。
步骤3，训练序列调整网络。
第1步，初始化序列调整网络中各卷积层、全连接层、双向长短期记忆 Bi-LSTM层和加性注意力机制的权值参数和偏置参数。
第2步，将训练序列样本集中的逆合成孔径雷达序列图像样本输入到全局图像调整模块，得到2行3列的仿射变换矩阵，以这个仿射变换矩阵为参数，对逆合成孔径雷达序列图像进行仿射变换，得到全局调整后的逆合成孔径雷达序列图像。
第3步，将全局调整后的逆合成孔径雷达序列图像输入到局部图像调整模块，得到特征向量序列。
第4步，将第三步中得到的特征向量序列输入注意力增强的双向长短期记忆 Bi-LSTM分类网络，得到序列调整网络的分类结果标签。
第5步，将第四步中的得到的分类结果标签和逆合成孔径雷达序列图像样本对应的标签根据交叉熵函数计算序列调整网络的误差。
所述交叉熵函数的形式为：
其中，E表示交叉熵损失函数，k表示训练集中样本的类别，tk表示训练集中每个样本对应的真实标签，ln表示以e为底的对数操作，yk表示序列调整网络的输出。
第6步，将第五步中得到的序列调整网络的误差进行反向传播，根据梯度下降法更新序列调整网络各卷积层、全连接层、双向长短期记忆Bi-LSTM和加性注意力机制的权值参数和偏置参数。
第7步，使用更新后的序列调整网络各卷积层、全连接层、双向长短期记忆 Bi-LSTM层和加性注意力机制的权值参数和偏置参数重复迭代第二步～第六步的计算过程，当误差稳定收敛后，停止迭代，得到训练好的序列调整网络。
步骤4，测试序列调整网络。
采用与步骤1.2和1.3相同的方法，对待分类的逆合成孔径雷达图像进行预处理和滑窗处理，得到待分类的样本集，将待分类样本集输入训练好的序列调整网络中，输出分类标签。
下面结合仿真实验对本发明的效果做进一步描述。
1、仿真实验条件。
本发明的仿真实验硬件平台为：处理器为Intel Xeon E5-2683 CPU，处理器主频为2.00GHz，内存为64GB，显卡为NVIDIA Geforce RTX3090。
本发明的仿真实验软件平台为Python 3.6和Pytorch 1.6。
2、仿真实验内容与结果分析。
仿真实验所用数据集为雷达在50°仰角，55°仰角，91°～359°方位角，2GHz 带宽、6°积累角或1GHz带宽、5°积累角的条件下获取的四类卫星逆合成孔径雷达HV极化图像数据集。选取雷达在俯仰角为的2088幅四类卫星图像和相应的类别标签作为训练样本集，选取雷达在俯仰角为/>的2808幅四类卫星图像和相应的类别标签作为测试样本集，所有样本图像的大小均被裁剪为 120×120个像素。
本发明仿真实验是在相同的数据集下，采用本发明和传统卷积神经网络方法分别对上述的四类卫星逆合成孔径雷达HV极化图像进行分类，获得分类结果。
仿真实验1：应用本发明方法对四类卫星逆合成孔径雷达HV极化图像进行分类，首先使用训练样本集训练基于序列调整网络的ISAR图像分类网络，得到训练好的基于序列调整网络的ISAR图像分类网络，然后使用测试样本集在训练好的基于序列调整网络的ISAR图像分类网络上进行测试。
通过以下公式，计算仿真实验1分类的正确率：
其中，c表示测试样本集的识别正确率，M表示测试样本集的样本的总数， h(·)表示分类鉴别函数，ti表示测试样本集中第i个测试样本的真实类别标签，yi表示测试样本集中第i个测试样本对应的序列调整网络输出结果，当ti和yi相等时，h(ti,yi)等于1，否则，h(ti,yi)等于0。
根据M＝2808，计算得到本发明的分类正确率为92.66％。
仿真实验2：应用传统的卷积神经网络方法对四类卫星逆合成孔径雷达HV 极化图像进行分类，首先使用训练样本集训练传统的卷积神经网络的ISAR图像分类网络，得到训练好的基于传统的卷积神经网络的ISAR图像分类网络，然后使用测试样本集在训练好的基于传统的卷积神经网络的ISAR图像分类网络上进行测试。
通过以下公式，计算仿真实验2的分类正确率：
其中，c表示测试样本集的识别正确率，M表示测试样本集的样本数量，h(·) 表示分类鉴别函数，ti表示测试样本集中第i个测试样本的真实类别标签，yi表示测试样本集中第i个测试样本对应的传统卷积神经网络输出结果，当ti和yi相等时，h(ti,yi)等于1，否则，h(ti,yi)等于0。
根据M＝2808，计算得到传统卷积神经网络的分类正确率为78.81％。
综上所述，本发明提出的基于序列调整网络的ISAR图像分类方法相比于现有方法，能够有效提取ISAR图像的特征，提高ISAR图像的分类精度。
Claims (5)
1.一种基于序列调整网络的逆合成孔径雷达图像分类方法，其特征在于，利用卷积子网络和可变形卷积子网络构建的全局图像调整模块生成仿射变换参数，对序列的每张图像进行仿射变换，通过卷积子网络和可变形卷积子网络构建的局部图像调整模块，对仿射调整后的逆合成孔径雷达序列图像进行局部变换，通过注意增强的双向长短期记忆模块，在充分利用逆合成孔径雷达序列图像时变特性的基础上融合序列各元素并得到分类结果；该方法的具体步骤包括如下：
(1)生成训练集：
(1a)将雷达在50°仰角，91°～359°方位角，2GHz带宽、6°积累角或1GHz带宽、5°积累角的条件下获取的四类卫星逆合成孔径雷达HV极化图像中，选取至少2160幅逆合成孔径雷达图像组成样本集；
(1b)将样本集中每幅逆合成孔径雷达图像裁剪为120×120个像素，得到裁剪后的样本集；
(1c)以裁剪后每10幅逆合成孔径雷达图像为一组，对裁剪后的样本集进行滑窗；
(1d)将滑窗得到的至少2088组序列样本组成训练集；
(2)构建序列调整网络：
(2a)构建一个由卷积层组，批归一化层，非线性激活层，最大值池化层组成的第一卷积子网络，所述卷积层组包括四个级联的卷积层；
(2b)构建一个由卷积层组，批归一化层，非线性激活层，最大值池化层组成的第二卷积子网络，所述卷积层组包括三个级联的卷积层；
(2c)构建一个由卷积层组，批归一化层，非线性激活层，最大值池化层组成的第三卷积子网络，所述卷积层组包括三个级联的卷积层；
(2d)构建一个由可变形卷积层，批归一化层，非线性激活层，最大值池化层组成的第一可变形卷积子网络；其中，可变形卷积层具有核大小为3×3个像素的64个可变形卷积核，可变形卷积核进行的操作是通过卷积运算得到的二维偏移参数改变像素点位置后，再将一般卷积核作用于改变的像素点，批归一化层的通道数为64，非线性激活层采用线性整流单元激活函数，最大值池化层的窗口大小为2×2个像素，步长为2个像素；
(2e)构建一个由可变形卷积层，批归一化层，非线性激活层，最大值池化层组成的第二可变形卷积子网络；其中，可变形卷积层具有核大小为3×3个像素的128个可变形卷积核，可变形卷积核进行的操作是通过卷积运算得到的二维偏移参数改变像素点位置后，再将一般卷积核作用于改变的像素点，批归一化层的通道数为128，非线性激活层采用线性整流单元激活函数，最大值池化层的窗口大小为2×2个像素，步长为2个像素；
(2f)将第一卷积子网络，第二卷积子网络，第三卷积子网络，第一可变形卷积子网络，全连接层级联成全局图像调整模块；将第一卷积子网络，第二卷积子网络，第三卷积子网络，第二可变形卷积子网络级联成局部图像调整模块；
(2g)搭建一个由Bi-LSTM，加性注意力层组成的注意增强双向长短期记忆模块；其中，Bi-LSTM由两层LSTM级联得到，每一层LSTM的长度均为10个，隐藏维度均为64个像素；加性注意力层由键值、查询值和真值组成，键值、查询值和真值的长度均为10，维度均为64个像素；
(2h)将全局图像调整模块，局部图像调整模块，注意增强的双向长短期记忆模块级联成序列调整网络；
(3)训练序列调整网络：
将训练集输入到序列调整网络中，利用交叉熵损失函数，计算网络的输出与训练图像的类别标签之间的交叉熵损失值，通过反向传播算法迭代更新网络的参数，直到网络的交叉熵损失函数收敛为止，得到训练好的序列调整网络；
(4)测试序列调整网络：
采用与步骤(1b)和(1c)相同的方法，对待分类的逆合成孔径雷达图像进行预处理和滑窗处理，得到待分类的样本集，将待分类样本集输入训练好的序列调整网络中，输出分类标签。
2.根据权利要求1所述的基于序列调整网络的逆合成孔径雷达图像分类方法，其特征在于，步骤(2a)中所述的第一卷积子网络的结构依次为：第一卷积层，第二卷积层，第三卷积层，第四卷积层，批归一化层，非线性激活层，最大值池化层；其中，第一至第四卷积层均具有核大小为3×3个像素的8个卷积核，批归一化层的通道数为8，非线性激活层采用线性整流单元激活函数，最大值池化层的窗口大小为2×2个像素，步长为2个像素。
3.根据权利要求1所述的基于序列调整网络的逆合成孔径雷达图像分类方法，其特征在于，步骤(2b)中所述的第二卷积子网络的结构依次为：第一卷积层，第二卷积层，第三卷积层，批归一化层，非线性激活层，最大值池化层；其中第一至第三卷积层均具有核大小为3×3个像素的16个卷积核，批归一化层的通道数目为16，非线性激活层采用线性整流单元激活函数，最大值池化层的窗口大小为2×2个像素，步长为2个像素。
4.根据权利要求1所述的基于序列调整网络的逆合成孔径雷达图像分类方法，其特征在于，步骤(2c)中所述的第三卷积子网络的结构依次为：第一卷积层，第二卷积层，第三卷积层，批归一化层，非线性激活层，最大值池化层；其中第一至第三卷积层均具有核大小为3×3个像素的32个卷积核，批归一化层的通道数目为32，非线性激活层采用线性整流单元激活函数，最大值池化层的窗口大小为2×2个像素，步长为2个像素。
5.根据权利要求1所述的基于序列调整网络的逆合成孔径雷达图像分类方法，其特征在于，步骤(3)中所述的交叉熵损失函数如下：
其中，E表示交叉熵损失函数，k表示训练集中样本的类别，tk表示训练集中每个样本对应的真实标签，ln表示以e为底的对数操作，yk表示序列调整网络的输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110721569.7A CN113435510B (zh) | 2021-06-28 | 2021-06-28 | 基于序列调整网络的逆合成孔径雷达图像分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110721569.7A CN113435510B (zh) | 2021-06-28 | 2021-06-28 | 基于序列调整网络的逆合成孔径雷达图像分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113435510A CN113435510A (zh) | 2021-09-24 |
| CN113435510B true CN113435510B (zh) | 2024-02-09 |
Family
ID=77755057
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110721569.7A Active CN113435510B (zh) | 2021-06-28 | 2021-06-28 | 基于序列调整网络的逆合成孔径雷达图像分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113435510B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116385813B (zh) * | 2023-06-07 | 2023-08-29 | 南京隼眼电子科技有限公司 | 基于无监督对比学习的isar图像空间目标分类方法、装置及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104408481A (zh) * | 2014-12-05 | 2015-03-11 | 西安电子科技大学 | 基于深度小波神经网络的极化sar图像分类方法 |
| CN110991418A (zh) * | 2019-12-23 | 2020-04-10 | 中国科学院自动化研究所 | 合成孔径雷达目标图像识别方法及系统 |
| CN111239731A (zh) * | 2020-01-06 | 2020-06-05 | 南京航空航天大学 | 基于神经网络的合成孔径雷达快速成像方法及装置 |
| US10976429B1 (en) * | 2017-10-16 | 2021-04-13 | Hrl Laboratories, Llc | System and method for synthetic aperture radar target recognition utilizing spiking neuromorphic networks |
| CN113030962A (zh) * | 2020-12-01 | 2021-06-25 | 上海理工大学 | 机载太赫兹合成孔径雷达及成像方法 |
-
2021
- 2021-06-28 CN CN202110721569.7A patent/CN113435510B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104408481A (zh) * | 2014-12-05 | 2015-03-11 | 西安电子科技大学 | 基于深度小波神经网络的极化sar图像分类方法 |
| US10976429B1 (en) * | 2017-10-16 | 2021-04-13 | Hrl Laboratories, Llc | System and method for synthetic aperture radar target recognition utilizing spiking neuromorphic networks |
| CN110991418A (zh) * | 2019-12-23 | 2020-04-10 | 中国科学院自动化研究所 | 合成孔径雷达目标图像识别方法及系统 |
| CN111239731A (zh) * | 2020-01-06 | 2020-06-05 | 南京航空航天大学 | 基于神经网络的合成孔径雷达快速成像方法及装置 |
| CN113030962A (zh) * | 2020-12-01 | 2021-06-25 | 上海理工大学 | 机载太赫兹合成孔径雷达及成像方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于深度学习的雷达图像目标识别研究进展;潘宗序;安全智;张冰尘;;中国科学:信息科学(第12期);98-111 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113435510A (zh) | 2021-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112633350B (zh) | 一种基于图卷积的多尺度点云分类实现方法 | |
| Singh et al. | SAR image categorization with log cumulants of the fractional Fourier transform coefficients | |
| CN110619352A (zh) | 基于深度卷积神经网络的典型红外目标分类方法 | |
| CN104899549A (zh) | 基于距离像时频图鉴别字典学习的sar目标识别方法 | |
| CN112990334A (zh) | 基于改进原型网络的小样本sar图像目标识别方法 | |
| Wan et al. | Recognizing the HRRP by combining CNN and BiRNN with attention mechanism | |
| Zhang et al. | Sparse coding of 2D-slice Zernike moments for SAR ATR | |
| Wang et al. | Target detection and recognition based on convolutional neural network for SAR image | |
| CN113435510B (zh) | 基于序列调整网络的逆合成孔径雷达图像分类方法 | |
| CN116310852A (zh) | 双时相遥感影像无监督分类与变化检测方法及系统 | |
| Liu et al. | SAR image target detection in complex environments based on improved visual attention algorithm | |
| Kang et al. | Two Dimensional Spectral Representation | |
| Yang et al. | Sar images target detection based on yolov5 | |
| Xu et al. | SAR target recognition based on variational autoencoder | |
| CN116758435A (zh) | 基于双通道融合网络的isar目标形变稳健识别方法 | |
| Zeng et al. | SAR-ATR with knowledge hierarchy division and information dissemination networks | |
| Masarik et al. | End-to-end ATR leveraging deep learning | |
| Dai et al. | Hyperspectral remote sensing image classification based on convolutional neural network | |
| Zhai et al. | MF‐SarNet: Effective CNN with data augmentation for SAR automatic target recognition | |
| Ma et al. | Classification based on capsule network with hyperspectral image | |
| Thilagavathi et al. | A novel hyperspectral image classification technique using deep multi-dimensional recurrent neural network | |
| CN114332151B (zh) | 一种基于阴影Video-SAR中感兴趣目标跟踪方法 | |
| CN113807400B (zh) | 一种基于对抗攻击的高光谱图像分类方法、系统和设备 | |
| Li et al. | Automatic Target Recognition Method of Flight Vehicle Based on Template Matching | |
| Qiu et al. | AdaCS: Adaptive Compressive Sensing with Restricted Isometry Property-Based Error-clamping |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |