CN108776779A - 基于卷积循环网络的sar序列图像目标识别方法 - Google Patents

基于卷积循环网络的sar序列图像目标识别方法 Download PDF

Info

Publication number
CN108776779A
CN108776779A CN201810545450.7A CN201810545450A CN108776779A CN 108776779 A CN108776779 A CN 108776779A CN 201810545450 A CN201810545450 A CN 201810545450A CN 108776779 A CN108776779 A CN 108776779A
Authority
CN
China
Prior art keywords
synthetic aperture
aperture radar
sample set
radar sar
width
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810545450.7A
Other languages
English (en)
Other versions
CN108776779B (zh
Inventor
白雪茹
薛瑞航
王力
惠叶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201810545450.7A priority Critical patent/CN108776779B/zh
Publication of CN108776779A publication Critical patent/CN108776779A/zh
Application granted granted Critical
Publication of CN108776779B publication Critical patent/CN108776779B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于卷积循环神经网络的序列SAR目标识别方法，其步骤为：(1)生成样本集；(2)训练样本集；(3)构建卷积循环神经网络；(4)训练卷积循环神经网络；(5)测试样本集；(6)计算测试序列样本集的识别正确率。本发明利用卷积循环神经网络，提取了SAR图像序列的变化特征，能够有效解决现有SAR目标识别技术中仅利用单张图像特征、识别准确率低等问题，提高了SAR目标识别的正确率。

Description

基于卷积循环网络的SAR序列图像目标识别方法
技术领域
本发明属于图像处理技术领域，更进一步涉及目标识别技术领域中的一种基于卷积循环网络的合成孔径雷达SAR(Synthetic Aperture Radar)目标识别方法。本发明针对合成孔径雷达SAR序列图像，提出一种卷积循环网络结构，该结构采用深度卷积网络提取单张图像的特征，并用长期循环网络提取序列图像的变化特征，从而实现基于合成孔径雷达SAR序列图像的自动目标识别，并有效的提高了合成孔径雷达SAR序列图像目标识别精度。
背景技术
合成孔径雷达SAR具有全天候、全天时、高分辨等特性，被广泛应用于军事侦察、战场感知和地理信息采集等领域。自动目标识别ATR(Automatic Target Recognition)是基于计算机系统，从传感器获取数据，提取特征，自动给出目标类别属性的算法。近年来，基于合成孔径雷达SAR图像的自动目标识别ATR技术不断发展，在雷达目标识别研究中受到广泛关注。
目前关于合成孔径雷达SAR图像目标识别方面的论文专利非常多，从采取的技术路线来看，可以分为三种：模板匹配，基于模型的方法，基于机器学习的方法。模板匹配的方法依赖于人工设计的特征提取器，将目标中提取的特征和事先存储的模板进行比对，得出最佳匹配的分类结果。模板匹配简单易行，但对变化目标的适应性较弱。基于模型的方法利用目标先验构建目标的物理或电磁仿真模型，并与输入的图像进行比较，增强了对目标变体分类的灵活性和适应性。机器学习的方法从训练数据中提取人工设计的特征，并得到预测的结果，将预测输出和正确类别对比得到误差函数，误差函数指导特征提取和分类器的学习，从而在测试数据上得到稳健的分类结果。这些方法尽管在合成孔径雷达SAR图像分类中取得了较好的识别结果，但其需要人工设计的特征提取器，因此限制了其在不同环境下的广泛应用。
北京航空航天大学在其申请的专利文献“一种基于深度神经网络的多视SAR图像目标识别方法”(公开号：CN105512680A，申请号：201510873282.0)中公开了一种基于卷积自编码器CAE(Convolutional Automatic Encoder)和循环神经网络RNN(RecurrentNeural Network)的序列合成孔径雷达SAR自动目标识别ATR方法。该方法的具体步骤为：首先将合成孔径雷达SAR图像通过卷积自编码器CAE进行无监督训练提取原始图像的特征，然后利用上述特征构建多视合成孔径雷达SAR图像序列，用特征序列对循环神经网络RNN进行有监督训练，再用训练好的网络对测试集特征序列进行识别。该方法解决了现有合成孔径雷达SAR目标识别方法未利用序列图像特征的问题，但是，该方法仍然存在的不足之处是，由于该方法在预训练中需要进行卷积自编码，导致无法从输入图像中直接得出分类结果，目标识别的实时性差，且循环神经网络在训练中存在梯度消失的现象，无法充分利用图像的序列信息，因此识别正确率低。
Ning Wang,Yinghua Wang,Hongwei Liu,Qunsheng Zuo,Jinglu He在其发表的论文“Feature-Fused SAR Target Discrimination Using Multiple ConvolutionalNeural Networks”(IEEE Geoscience and Remote Sensing Letters,2017)中提出了一种基于多个卷积神经网络CNN(Convolutional Neural Network)融合特征的合成孔径雷达SAR自动目标识别ATR方法。该方法的具体步骤为：首先将数据集的所有图像视为独立同分布的样本，对每幅图像求梯度，提取出边缘信息，然后对同一样本的原图和边缘提取后的图像分别输入卷积神经网络CNN提取特征，将两种特征向量进行融合，得到目标图像的联合表示，最后得出分类结果。该方法保留了图像各部分的空间关系，但是，该方法仍然存在的不足之处是，由于该方法将图像序列作为多个独立样本进行分类，损失了图像序列之间的变化特性，因此对变化目标的识别性能差。
发明内容
本发明的目的在于针对上述现有技术的不足，提出一种基于卷积循环神经网络的序列合成孔径雷达SAR目标识别方法。
实现本发明目的的思路是：使用滑窗法对连续合成孔径雷达SAR图像进行处理，生成序列样本集，构造一个由深度卷积神经网络和循环神经网络级联而成的卷积循环神经网络，该网络将深度卷积神经网络的最后一层特征图拼接，得到特征向量，循环神经网络由2层双向长短期记忆LSTM网络级联构成，将循环神经网络的输出在时间步上平均化，输入softmax分类器中，得到合成孔径雷达SAR序列图像的目标识别结果。
本发明的具体步骤包括如下：
(1)生成样本集：
(1a)从移动和静止目标获取与识别MSTAR数据集中，分别选取雷达在17°俯仰角下观测到的3671幅合成孔径雷达SAR图像及相应的标签，组成训练样本集；
(1b)从移动和静止目标获取与识别MSTAR数据集中，分别选取雷达在15°俯仰角下观测到的3203幅合成孔径雷达SAR图像及相应的标签，组成测试样本集；
(2)训练样本集：
(2a)利用阈值分割方法，去除训练样本集中的每幅合成孔径雷达SAR图像的背景杂波，得到处理后的训练样本集；
(2b)围绕处理后训练样本集中每幅合成孔径雷达SAR图像的中心，将每幅合成孔径雷达SAR图像裁剪为60×60个像素,得到裁剪后的训练样本集；
(2c)将裁剪后的训练样本集，每15幅合成孔径雷达SAR图像分为一组，使用滑窗法，生成包含3531组序列的训练序列样本集；
(3)构建卷积循环神经网络；
(3a)构建一个由4层卷积层，3层池化层，1层dropout层构成的深度卷积神经网络，该深度卷积神经网络依次排布4层卷积层，每两层卷积层之间，连接一层池化层，最后一层卷积层连接至dropout层；
(3b)前三层卷积层的卷积核大小为5×5个像素，步长均为1个像素，激活函数均为ReLU，三层卷积特征图的数量分别为16幅、32幅、64幅，三层池化层的核窗口大小均为2×2个像素，步长均为2个像素；
(3c)第四层卷积层的卷积核的大小为4×4个像素，步长为1个像素，激活函数为ReLU，其卷积特征图的数量为128幅，特征图的大小是1×1个像素，将128幅卷积特征图首尾相连拼接成长度为128个像素的特征向量，dropout层的保留概率为0.5；
(3d)将构建的深度卷积神经网络dropout层，连接至一个循环神经网络的输入端，该循环神经网络由2层双向长短期记忆LSTM网络级联而成；
(3e)将循环神经网络的输出向量在时间步上求平均，将该平均值输入softmax分类器，得到一个卷积循环神经网络；
(4)训练卷积循环神经网络
将训练序列样本集输入到卷积循环神经网络进行训练，得到训练好的卷积循环网络；
(5)测试样本集：
(5a)利用阈值分割方法，去除测试样本集中的每幅合成孔径雷达SAR图像的背景杂波，得到处理后的测试样本集；
(5b)围绕处理后测试样本集中每幅合成孔径雷达SAR图像的中心，将每幅合成孔径雷达SAR图像裁剪为60×60个像素,得到裁剪后的测试样本集；
(5c)将裁剪后的测试样本集，每15幅合成孔径雷达SAR图像分一组，使用滑窗法,生成包含3063组序列的测试序列样本集；
(6)计算测试序列样本集的识别正确率：
将生成的测试序列样本集，输入训练好的卷积循环神经网络进行测试，得到网络输出的分类结果，根据测试序列样本集的真实类别和网络输出的结果，得到测试序列样本集的识别正确率。
本发明与现有技术相比具有以下优点：
第一，由于本发明构建的深度卷积神经网络dropout层，连接至一个循环神经网络的输入端，克服了现有技术中预训练中需要进行卷积自编码，导致无法从输入图像中直接得出分类结果，目标识别的实时性差的问题，使得本发明能从输入的合成孔径雷达SAR图像序列中直接提取特征，得到识别结果，提高了目标识别的实时性。
第二，由于本发明的循环神经网络由2层双向长短期记忆LSTM网络级联而成，克服了现有技术中由于循环神经网络在训练中存在梯度消失，无法充分利用图像的序列信息，识别正确率低的问题，使得本发明能提取输入的合成孔径雷达SAR图像序列的长期特征，提高了目标识别的正确率。
第三，由于本发明中每15幅合成孔径雷达SAR图像分为一组，使用滑窗法，生成包含3531组序列的训练序列样本集，克服了现有技术中将图像序列作为多个独立样本进行分类，损失了图像序列之间的变化特性，对变化目标的识别性能差的问题，使得本发明能提取合成孔径雷达SAR图像序列之间的变化特征，提高了对变化目标的识别性能。
附图说明
图1是本发明的流程图；
图2是本发明的仿真图。
具体实施方式
下面结合附图对本发明做进一步的描述。
参照图1，对本发明实现的具体步骤做进一步的描述。
步骤1，生成样本集。
从移动和静止目标获取与识别MSTAR数据集中，分别选取雷达在17°俯仰角下观测到的3671幅合成孔径雷达SAR图像及相应的标签，组成训练样本集。
从移动和静止目标获取与识别MSTAR数据集中，分别选取雷达在15°俯仰角下观测到的3203幅合成孔径雷达SAR图像及相应的标签，组成测试样本集。
步骤2，训练样本集。
利用阈值分割方法，去除训练样本集中的每幅合成孔径雷达SAR图像的背景杂波，得到处理后的训练样本集。
阈值分割方法的具体步骤如下：
第1步，对输入的每一幅合成孔径雷达SAR图像进行0.5次幂的变换，得到增强背景杂波与阴影区域可分性的合成孔径雷达SAR图像样本集。
第2步，在合成孔径雷达SAR图像样本集中任选出1幅未经处理的合成孔径雷达SAR图像。
第3步，使用边长为15个像素的正方形滑窗，以1个像素的步长，在选出的合成孔径雷达SAR图像上进行滑动，统计所有滑窗内像素的均值，取出所有均值中的最大值a，选择合成孔径雷达SAR图像左上角5×5个像素大小的区域，计算该区域内像素的均值b，将合成孔径雷达SAR图像中所有像素值大于等于t的像素点置为1，其余像素点的值置为0，得到合成孔径雷达SAR图像对应的二值图像，其中阈值t＝0.35×a+0.65×b。
第4步，对二值图像进行形态学闭运算处理，得到填补目标边缘缺损的二值图像，对处理后图像的所有连通域进行标记，选择面积最大的连通域作为目标区域，将目标区域内所有像素点的值置为1，其余像素点的值置为0，得到标记后的二值图像。
第5步，用标记后的二值图像点乘所选的合成孔径雷达SAR图像，得到去除背景杂波后的合成孔径雷达SAR图像。
第6步，判断是否选取完合成孔径雷达SAR图像样本集中的所有图像，若是，则执行本步骤的第7步，否则，执行本步骤的第2步。
第7步，得到去除背景杂波后的合成孔径雷达SAR图像样本集。
围绕处理后训练样本集中每幅合成孔径雷达SAR图像的中心，将每幅合成孔径雷达SAR图像裁剪为60×60个像素,得到裁剪后的训练样本集。
将裁剪后的训练样本集，每15幅合成孔径雷达SAR图像分为一组，使用滑窗法，生成包含3531组序列的训练序列样本集。
滑窗法的具体步骤如下：
第1步，将裁剪后的样本集所有合成孔径雷达SAR图像排成一行，得到样本集总序列。
第2步，使用长度为15幅合成孔径雷达SAR图像，宽度为1幅合成孔径雷达SAR图像的矩形滑窗，以1幅合成孔径雷达SAR图像的步长在样本集总序列上滑动，取出滑窗内的所有合成孔径雷达SAR图像序列，构成混合序列样本集。
第3步，删去混合序列样本集中跨越两类不同标签的序列样本，得到生成的序列样本集，所述序列样本的标签与裁剪后样本集的标签一一对应。
步骤3，构建卷积循环神经网络。
构建一个由4层卷积层，3层池化层，1层dropout层构成的深度卷积神经网络，该深度卷积神经网络依次排布4层卷积层，每两层卷积层之间，连接一层池化层，最后一层卷积层连接至dropout层。
前三层卷积层的卷积核大小为5×5个像素，步长均为1个像素，激活函数均为ReLU，三层卷积特征图的数量分别为16幅、32幅、64幅，三层池化层的核窗口大小均为2×2个像素，步长均为2个像素。
第四层卷积层的卷积核的大小为4×4个像素，步长为1个像素，激活函数为ReLU，其卷积特征图的数量为128幅，特征图的大小是1×1个像素，将128幅卷积特征图首尾相连拼接成长度为128个像素的特征向量，dropout层的保留概率为0.5。
将构建的深度卷积神经网络dropout层，连接至一个循环神经网络的输入端，该循环神经网络由2层双向长短期记忆LSTM网络级联而成。
该循环神经网络的每层双向长短期记忆LSTM网络的隐藏层维度为1024个像素，时间步长度为15幅，将第二层双向长短期记忆LSTM网络的前向输出向量和后向输出向量按元素求和，得到循环神经网络的输出向量。
将循环神经网络的输出向量在时间步上求平均，将该平均值输入softmax分类器，得到一个卷积循环神经网络。
步骤4，训练卷积循环神经网络。
将训练序列样本集输入到卷积循环神经网络进行训练，得到训练好的卷积循环网络。
步骤5，测试样本集。
利用阈值分割方法，去除测试样本集中的每幅SAR图像的背景杂波，得到处理后的测试样本集。
阈值分割方法的具体步骤如下：
第1步，对输入的每一幅合成孔径雷达SAR图像进行0.5次幂的变换，得到增强背景杂波与阴影区域可分性的合成孔径雷达SAR图像样本集。
第2步，在合成孔径雷达SAR图像样本集中任选出1幅未经处理的合成孔径雷达SAR图像。
第3步，使用边长为15个像素的正方形滑窗，以1个像素的步长，在选出的合成孔径雷达SAR图像上进行滑动，统计所有滑窗内像素的均值，取出所有均值中的最大值a，选择合成孔径雷达SAR图像左上角5×5个像素大小的区域，计算该区域内像素的均值b，将合成孔径雷达SAR图像中所有像素值大于等于t的像素点置为1，其余像素点的值置为0，得到合成孔径雷达SAR图像对应的二值图像，其中阈值t＝0.35×a+0.65×b。
第4步，对二值图像进行形态学闭运算处理，得到填补目标边缘缺损的二值图像，对处理后图像的所有连通域进行标记，选择面积最大的连通域作为目标区域，将目标区域内所有像素点的值置为1，其余像素点的值置为0，得到标记后的二值图像。
第5步，用标记后的二值图像点乘所选的合成孔径雷达SAR图像，得到去除背景杂波后的合成孔径雷达SAR图像。
第6步，判断是否选取完合成孔径雷达SAR图像样本集中的所有图像，若是，则执行本步骤的第7步，否则，执行本步骤的第2步。
第7步，得到去除背景杂波后的合成孔径雷达SAR图像样本集。
围绕处理后测试样本集中每幅合成孔径雷达SAR图像的中心，将每幅合成孔径雷达SAR图像裁剪为60×60个像素,得到裁剪后的测试样本集。
将裁剪后的测试样本集，每15幅合成孔径雷达SAR图像分一组，使用滑窗法,生成包含3063组序列的测试序列样本集。
滑窗法的具体步骤如下：
第1步，将裁剪后的样本集所有合成孔径雷达SAR图像排成一行，得到样本集总序列。
第2步，使用长度为15幅合成孔径雷达SAR图像，宽度为1幅合成孔径雷达SAR图像的矩形滑窗，以1幅合成孔径雷达SAR图像的步长在样本集总序列上滑动，取出滑窗内的所有合成孔径雷达SAR图像序列，构成混合序列样本集。
第3步，删去混合序列样本集中跨越两类不同标签的序列样本，得到生成的序列样本集，所述序列样本的标签与裁剪后样本集的标签一一对应。
步骤6，计算测试序列样本集的识别正确率。
将生成的测试序列样本集，输入训练好的卷积循环神经网络进行测试，得到网络输出的分类结果，根据测试序列样本集的真实类别和网络输出的结果，得到测试序列样本集的识别正确率。
测试序列样本集的识别正确率是由下式计算得到：
其中，c表示测试序列样本集的识别正确率，M表示测试序列样本集的序列样本数量，h(·)表示分类鉴别函数，ti表示测试序列样本集中第i个测试序列样本的真实类别，yi表示测试序列样本集中第i个测试序列样本对应的网络输出结果，当ti和yi相等时，h(ti,yi)等于1，否则h(ti,yi)等于0。
下面结合仿真实验对本发明的效果做进一步的描述。
1、仿真实验条件：
本发明的仿真实验所用数据为公开的运动与静止目标的获取与识别MSTAR数据集，包括雷达俯仰角在15°及17°下的10类地面车辆目标，这10类目标分别为：步兵战车BMP-2、装甲运输车BTR-70、坦克T-72、装甲运输车BTR-60、自行火炮2S1、装甲侦察车BRDM2、推土机D-7、坦克T-62、货运卡车ZIL-131和自行高炮ZSU-234。仿真实验选取雷达在17°俯仰角下的3671幅目标图像和相应的类别标签作为训练样本，选取雷达在15°俯仰角下的3203幅目标图像和相应的类别标签作为测试样本，所有样本图像的大小为128×128像素。仿真实验硬件平台为Intel Xeon E5-2683@2.00GHz CPU、64GB RAM、NVIDIA Geforce GTX1080TiGPU，仿真实验软件平台为Python 3.6和Tensorflow 1.3。
2、仿真实验内容与结果分析：
本发明的仿真实验是在相同的数据集下，应用本发明方法和传统卷积神经网络方法对目标进行分类，并分别计算两种方法的识别正确率。在本发明的方法中，首先从训练样本集中生成包含3531组序列的训练序列样本集，使用该序列样本集训练卷积循环神经网络，得到训练好的卷积循环神经网络。然后从测试样本集中生成包含3063组序列的测试序列样本集，使用该序列样本集在训练好的卷积循环神经网络上进行测试，得到本发明的识别正确率。
将本发明的方法与传统的卷积神经网络方法在相同数据集下的识别正确率进行对比，画出前200次循环中两种方法的识别正确率变化曲线，结果如图2所示。在图2中，横坐标是两种方法在仿真实验中的迭代次数，单位为次，纵坐标是识别正确率，单位为百分比％，圆点和实线组成的折线表示本发明方法的识别正确率随迭代次数的变化情况，三角形和虚线组成的折线表示传统卷积神经网络方法的识别正确率随迭代次数的变化情况。从图2中可以观察到，本发明方法相比传统卷积神经网络具有更快的收敛速度和更高的识别正确率。
两种方法在200次循环后的识别正确率结果如表1所示。
表1 MSTAR数据目标识别结果对比表
仿真实验方法 传统卷积神经网络方法 本发明方法
识别正确率 94.22％ 99.74％
从表1中可以看出，本发明提出的基于卷积循环网络的合成孔径雷达SAR序列图像目标识别方法相比现有技术的卷积神经网络方法的识别正确率提高了5.52％，说明本发明中通过提取合成孔径雷达SAR序列图像之间的变化特征，能够提高合成孔径雷达SAR图像分类的识别正确率，具有重要的实际意义。

Claims (5)

1.一种基于卷积循环网络的合成孔径雷达SAR序列图像目标识别方法，其特征在于，使用滑窗法对连续合成孔径雷达SAR图像进行处理，生成序列样本集，构造一个由深度卷积神经网络和循环神经网络级联而成的卷积循环神经网络，该网络将深度卷积神经网络的最后一层特征图拼接，得到特征向量，循环神经网络由2层双向长短期记忆LSTM网络级联构成，将循环神经网络的输出在时间步上平均化，输入softmax分类器中，得到合成孔径雷达SAR序列图像的目标识别结果；该方法的具体步骤包括如下：
(1)生成样本集：
(1a)从移动和静止目标获取与识别MSTAR数据集中，分别选取雷达在17°俯仰角下观测到的3671幅合成孔径雷达SAR图像及相应的标签，组成训练样本集；
(1b)从移动和静止目标获取与识别MSTAR数据集中，分别选取雷达在15°俯仰角下观测到的3203幅合成孔径雷达SAR图像及相应的标签，组成测试样本集；
(2)训练样本集：
(2a)利用阈值分割方法，去除训练样本集中的每幅合成孔径雷达SAR图像的背景杂波，得到处理后的训练样本集；
(2b)围绕处理后训练样本集中每幅合成孔径雷达SAR图像的中心，将每幅合成孔径雷达SAR图像裁剪为60×60个像素,得到裁剪后的训练样本集；
(2c)将裁剪后的训练样本集，每15幅合成孔径雷达SAR图像分为一组，使用滑窗法，生成包含3531组序列的训练序列样本集；
(3)构建卷积循环神经网络；
(3a)构建一个由4层卷积层，3层池化层，1层dropout层构成的深度卷积神经网络，该深度卷积神经网络依次排布4层卷积层，每两层卷积层之间，连接一层池化层，最后一层卷积层连接至dropout层；
(3b)前三层卷积层的卷积核大小为5×5个像素，步长均为1个像素，激活函数均为ReLU，三层卷积特征图的数量分别为16幅、32幅、64幅，三层池化层的核窗口大小均为2×2个像素，步长均为2个像素；
(3c)第四层卷积层的卷积核的大小为4×4个像素，步长为1个像素，激活函数为ReLU，其卷积特征图的数量为128幅，特征图的大小是1×1个像素，将128幅卷积特征图首尾相连拼接成长度为128个像素的特征向量，dropout层的保留概率为0.5；
(3d)将构建的深度卷积神经网络dropout层，连接至一个循环神经网络的输入端，该循环神经网络由2层双向长短期记忆LSTM网络级联而成；
(3e)将循环神经网络的输出向量在时间步上求平均，将该平均值输入softmax分类器，得到一个卷积循环神经网络；
(4)训练卷积循环神经网络
将训练序列样本集输入到卷积循环神经网络进行训练，得到训练好的卷积循环网络；
(5)测试样本集：
(5a)利用阈值分割方法，去除测试样本集中的每幅合成孔径雷达SAR图像的背景杂波，得到处理后的测试样本集；
(5b)围绕处理后测试样本集中每幅合成孔径雷达SAR图像的中心，将每幅合成孔径雷达SAR图像裁剪为60×60个像素,得到裁剪后的测试样本集；
(5c)将裁剪后的测试样本集，每15幅合成孔径雷达SAR图像分一组，使用滑窗法,生成包含3063组序列的测试序列样本集；
(6)计算测试序列样本集的识别正确率：
将生成的测试序列样本集，输入训练好的卷积循环神经网络进行测试，得到网络输出的分类结果，根据测试序列样本集的真实类别和网络输出的结果，得到测试序列样本集的识别正确率。
2.根据权利要求1所述的基于卷积循环网络的合成孔径雷达SAR序列图像目标识别方法，其特征在于：步骤(2a)、步骤(5a)中所述阈值分割方法的具体步骤如下：
第一步，对输入的每一幅合成孔径雷达SAR图像进行0.5次幂的变换，得到增强背景杂波与阴影区域可分性的合成孔径雷达SAR图像样本集；
第二步，在合成孔径雷达SAR图像样本集中任选出1幅未经处理的合成孔径雷达SAR图像；
第三步，使用边长为15个像素的正方形滑窗，以1个像素的步长，在选出的合成孔径雷达SAR图像上进行滑动，统计所有滑窗内像素的均值，取出所有均值中的最大值a，选择合成孔径雷达SAR图像左上角5×5个像素大小的区域，计算该区域内像素的均值b，将合成孔径雷达SAR图像中所有像素值大于等于t的像素点置为1，其余像素点的值置为0，得到合成孔径雷达SAR图像对应的二值图像，其中阈值t＝0.35×a+0.65×b；
第四步，对二值图像进行形态学闭运算处理，得到填补目标边缘缺损的二值图像，对处理后图像的所有连通域进行标记，选择面积最大的连通域作为目标区域，将目标区域内所有像素点的值置为1，其余像素点的值置为0，得到标记后的二值图像；
第五步，用标记后的二值图像点乘所选的合成孔径雷达SAR图像，得到去除背景杂波后的合成孔径雷达SAR图像；
第六步，判断是否选取完合成孔径雷达SAR图像样本集中的所有图像，若是，则执行第七步，否则，执行第二步；
第七步，得到去除背景杂波后的合成孔径雷达SAR图像样本集。
3.根据权利要求1所述的基于卷积循环网络的合成孔径雷达SAR序列图像目标识别方法，其特征在于：步骤(2c)、步骤(5c)中所述滑窗法的具体步骤如下：
第一步，将裁剪后的样本集所有合成孔径雷达SAR图像排成一行，得到样本集总序列；
第二步，使用长度为15幅合成孔径雷达SAR图像，宽度为1幅合成孔径雷达SAR图像的矩形滑窗，以1幅合成孔径雷达SAR图像的步长在样本集总序列上滑动，取出滑窗内的所有合成孔径雷达SAR图像序列，构成混合序列样本集；
第三步，删去混合序列样本集中跨越两类不同标签的序列样本，得到生成的序列样本集，所述序列样本的标签与裁剪后样本集的标签一一对应。
4.根据权利要求1所述的基于卷积循环网络的合成孔径雷达SAR序列图像目标识别方法，其特征在于：步骤(3d)中所述的循环神经网络，其每层双向长短期记忆LSTM网络的隐藏层维度为1024个像素，时间步长度为15幅，将第二层双向长短期记忆LSTM网络的前向输出向量和后向输出向量按元素求和，得到循环神经网络的输出向量。
5.根据权利要求1所述的基于卷积循环网络的合成孔径雷达SAR序列图像目标识别方法，其特征在于：步骤(6)中所述测试序列样本集的识别正确率是由下式计算得到：
其中，c表示测试序列样本集的识别正确率，M表示测试序列样本集的序列样本数量，h(·)表示分类鉴别函数，ti表示测试序列样本集中第i个测试序列样本的真实类别，yi表示测试序列样本集中第i个测试序列样本对应的网络输出结果，当ti和yi相等时，h(ti,yi)等于1，否则h(ti,yi)等于0。
CN201810545450.7A 2018-05-25 2018-05-25 基于卷积循环网络的sar序列图像目标识别方法 Active CN108776779B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810545450.7A CN108776779B (zh) 2018-05-25 2018-05-25 基于卷积循环网络的sar序列图像目标识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810545450.7A CN108776779B (zh) 2018-05-25 2018-05-25 基于卷积循环网络的sar序列图像目标识别方法

Publications (2)

Publication Number Publication Date
CN108776779A true CN108776779A (zh) 2018-11-09
CN108776779B CN108776779B (zh) 2022-09-23

Family

ID=64028229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810545450.7A Active CN108776779B (zh) 2018-05-25 2018-05-25 基于卷积循环网络的sar序列图像目标识别方法

Country Status (1)

Country Link
CN (1) CN108776779B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109558512A (zh) * 2019-01-24 2019-04-02 广州荔支网络技术有限公司 一种基于音频的个性化推荐方法、装置和移动终端
CN109766810A (zh) * 2018-12-31 2019-05-17 陕西师范大学 基于协同表示和池化及融合的人脸识别分类方法
CN109946667A (zh) * 2019-03-18 2019-06-28 西安电子科技大学 基于卷积神经网络的识别变体飞机高分辨距离像方法
CN110084159A (zh) * 2019-04-15 2019-08-02 西安电子科技大学 基于联合多级空谱信息cnn的高光谱图像分类方法
CN110276881A (zh) * 2019-05-10 2019-09-24 广东工业大学 一种基于卷积循环神经网络的纸币序列号识别方法
CN110516561A (zh) * 2019-08-05 2019-11-29 西安电子科技大学 基于dcgan和cnn的sar图像目标识别方法
CN110781830A (zh) * 2019-10-28 2020-02-11 西安电子科技大学 基于空-时联合卷积的sar序列图像分类方法
CN110969212A (zh) * 2019-12-06 2020-04-07 西安电子科技大学 基于空间变换三通道卷积的isar图像分类方法
CN110991418A (zh) * 2019-12-23 2020-04-10 中国科学院自动化研究所 合成孔径雷达目标图像识别方法及系统
CN111145200A (zh) * 2019-11-13 2020-05-12 西北大学 结合卷积神经网络与循环神经网络的血管中心线追踪方法
CN111273288A (zh) * 2020-03-06 2020-06-12 电子科技大学 一种基于长短期记忆网络的雷达未知目标识别方法
CN111368671A (zh) * 2020-02-26 2020-07-03 电子科技大学 基于深度学习的sar图像舰船目标检测识别一体化方法
CN111444977A (zh) * 2020-04-03 2020-07-24 成都禧来科技有限公司 一种实现垃圾自动分类的方法
CN111898699A (zh) * 2020-08-11 2020-11-06 海之韵(苏州)科技有限公司 一种船体目标自动检测识别方法
CN111931593A (zh) * 2020-07-16 2020-11-13 上海无线电设备研究所 一种基于深度神经网络和时频图像序列的弱目标检测方法
CN112101249A (zh) * 2020-09-18 2020-12-18 电子科技大学 一种基于深度卷积记忆网络的sar目标类型识别方法
CN114998567A (zh) * 2022-07-18 2022-09-02 中国科学院长春光学精密机械与物理研究所 一种基于多模态特征判别的红外点群目标识别方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9263036B1 (en) * 2012-11-29 2016-02-16 Google Inc. System and method for speech recognition using deep recurrent neural networks
CN105512680A (zh) * 2015-12-02 2016-04-20 北京航空航天大学 一种基于深度神经网络的多视sar图像目标识别方法
GB201617798D0 (en) * 2016-10-21 2016-12-07 Nokia Technologies Oy A method for analysing media content
WO2016197381A1 (en) * 2015-06-12 2016-12-15 Sensetime Group Limited Methods and apparatus for recognizing text in an image
CN106446930A (zh) * 2016-06-28 2017-02-22 沈阳工业大学 基于深层卷积神经网络的机器人工作场景识别方法
US20170124432A1 (en) * 2015-11-03 2017-05-04 Baidu Usa Llc Systems and methods for attention-based configurable convolutional neural networks (abc-cnn) for visual question answering
CN106779073A (zh) * 2016-12-27 2017-05-31 西安石油大学 基于深度神经网络的媒体信息分类方法及装置
CN106845351A (zh) * 2016-05-13 2017-06-13 苏州大学 一种用于视频的基于双向长短时记忆单元的行为识别方法
CN106874889A (zh) * 2017-03-14 2017-06-20 西安电子科技大学 基于卷积神经网络的多特征融合sar目标鉴别方法
CN106997460A (zh) * 2017-03-28 2017-08-01 西安电子科技大学 基于深度曲线波卷积网络的sar目标识别方法
US9767557B1 (en) * 2016-06-23 2017-09-19 Siemens Healthcare Gmbh Method and system for vascular disease detection using recurrent neural networks
CN107247930A (zh) * 2017-05-26 2017-10-13 西安电子科技大学 基于cnn和选择性注意机制的sar图像目标检测方法
US20180053108A1 (en) * 2016-08-16 2018-02-22 Toyota Jidosha Kabushiki Kaisha Efficient Driver Action Prediction System Based on Temporal Fusion of Sensor Data Using Deep (Bidirectional) Recurrent Neural Network
CN107784320A (zh) * 2017-09-27 2018-03-09 电子科技大学 基于卷积支持向量机的雷达一维距离像目标识别方法
US20180144208A1 (en) * 2016-11-18 2018-05-24 Salesforce.Com, Inc. Adaptive attention model for image captioning

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9263036B1 (en) * 2012-11-29 2016-02-16 Google Inc. System and method for speech recognition using deep recurrent neural networks
CN107636691A (zh) * 2015-06-12 2018-01-26 商汤集团有限公司 用于识别图像中的文本的方法和设备
WO2016197381A1 (en) * 2015-06-12 2016-12-15 Sensetime Group Limited Methods and apparatus for recognizing text in an image
US20170124432A1 (en) * 2015-11-03 2017-05-04 Baidu Usa Llc Systems and methods for attention-based configurable convolutional neural networks (abc-cnn) for visual question answering
CN105512680A (zh) * 2015-12-02 2016-04-20 北京航空航天大学 一种基于深度神经网络的多视sar图像目标识别方法
CN106845351A (zh) * 2016-05-13 2017-06-13 苏州大学 一种用于视频的基于双向长短时记忆单元的行为识别方法
US9767557B1 (en) * 2016-06-23 2017-09-19 Siemens Healthcare Gmbh Method and system for vascular disease detection using recurrent neural networks
CN106446930A (zh) * 2016-06-28 2017-02-22 沈阳工业大学 基于深层卷积神经网络的机器人工作场景识别方法
US20180053108A1 (en) * 2016-08-16 2018-02-22 Toyota Jidosha Kabushiki Kaisha Efficient Driver Action Prediction System Based on Temporal Fusion of Sensor Data Using Deep (Bidirectional) Recurrent Neural Network
GB201617798D0 (en) * 2016-10-21 2016-12-07 Nokia Technologies Oy A method for analysing media content
US20180144208A1 (en) * 2016-11-18 2018-05-24 Salesforce.Com, Inc. Adaptive attention model for image captioning
CN106779073A (zh) * 2016-12-27 2017-05-31 西安石油大学 基于深度神经网络的媒体信息分类方法及装置
CN106874889A (zh) * 2017-03-14 2017-06-20 西安电子科技大学 基于卷积神经网络的多特征融合sar目标鉴别方法
CN106997460A (zh) * 2017-03-28 2017-08-01 西安电子科技大学 基于深度曲线波卷积网络的sar目标识别方法
CN107247930A (zh) * 2017-05-26 2017-10-13 西安电子科技大学 基于cnn和选择性注意机制的sar图像目标检测方法
CN107784320A (zh) * 2017-09-27 2018-03-09 电子科技大学 基于卷积支持向量机的雷达一维距离像目标识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CASTRO, JDB等: "EVALUATION OF RECURRENT NEURAL NETWORKS FOR CROP RECOGNITION FROM MULTITEMPORAL REMOTE SENSING IMAGES", 《XXVII CONGRESSO BRASILEIRO DE CARTOGRAFIA E XXVI EXPOSICARTA 2017》 *
汤鹏杰等: "LSTM逐层多目标优化及多层概率融合的图像描述", 《自动化学报》 *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109766810A (zh) * 2018-12-31 2019-05-17 陕西师范大学 基于协同表示和池化及融合的人脸识别分类方法
CN109766810B (zh) * 2018-12-31 2023-02-28 陕西师范大学 基于协同表示和池化及融合的人脸识别分类方法
CN109558512B (zh) * 2019-01-24 2020-07-14 广州荔支网络技术有限公司 一种基于音频的个性化推荐方法、装置和移动终端
CN109558512A (zh) * 2019-01-24 2019-04-02 广州荔支网络技术有限公司 一种基于音频的个性化推荐方法、装置和移动终端
CN109946667A (zh) * 2019-03-18 2019-06-28 西安电子科技大学 基于卷积神经网络的识别变体飞机高分辨距离像方法
CN109946667B (zh) * 2019-03-18 2022-12-02 西安电子科技大学 基于卷积神经网络的识别变体飞机高分辨距离像方法
CN110084159A (zh) * 2019-04-15 2019-08-02 西安电子科技大学 基于联合多级空谱信息cnn的高光谱图像分类方法
CN110084159B (zh) * 2019-04-15 2021-11-02 西安电子科技大学 基于联合多级空谱信息cnn的高光谱图像分类方法
CN110276881A (zh) * 2019-05-10 2019-09-24 广东工业大学 一种基于卷积循环神经网络的纸币序列号识别方法
CN110516561A (zh) * 2019-08-05 2019-11-29 西安电子科技大学 基于dcgan和cnn的sar图像目标识别方法
CN110516561B (zh) * 2019-08-05 2022-12-06 西安电子科技大学 基于dcgan和cnn的sar图像目标识别方法
CN110781830A (zh) * 2019-10-28 2020-02-11 西安电子科技大学 基于空-时联合卷积的sar序列图像分类方法
CN111145200A (zh) * 2019-11-13 2020-05-12 西北大学 结合卷积神经网络与循环神经网络的血管中心线追踪方法
CN110969212A (zh) * 2019-12-06 2020-04-07 西安电子科技大学 基于空间变换三通道卷积的isar图像分类方法
CN110991418B (zh) * 2019-12-23 2023-04-28 中国科学院自动化研究所 合成孔径雷达目标图像识别方法及系统
CN110991418A (zh) * 2019-12-23 2020-04-10 中国科学院自动化研究所 合成孔径雷达目标图像识别方法及系统
CN111368671A (zh) * 2020-02-26 2020-07-03 电子科技大学 基于深度学习的sar图像舰船目标检测识别一体化方法
CN111273288B (zh) * 2020-03-06 2022-05-24 电子科技大学 一种基于长短期记忆网络的雷达未知目标识别方法
CN111273288A (zh) * 2020-03-06 2020-06-12 电子科技大学 一种基于长短期记忆网络的雷达未知目标识别方法
CN111444977A (zh) * 2020-04-03 2020-07-24 成都禧来科技有限公司 一种实现垃圾自动分类的方法
CN111931593A (zh) * 2020-07-16 2020-11-13 上海无线电设备研究所 一种基于深度神经网络和时频图像序列的弱目标检测方法
CN111931593B (zh) * 2020-07-16 2024-04-26 上海无线电设备研究所 一种基于深度神经网络和时频图像序列的弱目标检测方法
CN111898699A (zh) * 2020-08-11 2020-11-06 海之韵(苏州)科技有限公司 一种船体目标自动检测识别方法
CN111898699B (zh) * 2020-08-11 2024-05-10 海之韵(苏州)科技有限公司 一种船体目标自动检测识别方法
CN112101249A (zh) * 2020-09-18 2020-12-18 电子科技大学 一种基于深度卷积记忆网络的sar目标类型识别方法
CN114998567A (zh) * 2022-07-18 2022-09-02 中国科学院长春光学精密机械与物理研究所 一种基于多模态特征判别的红外点群目标识别方法
CN114998567B (zh) * 2022-07-18 2022-11-01 中国科学院长春光学精密机械与物理研究所 一种基于多模态特征判别的红外点群目标识别方法

Also Published As

Publication number Publication date
CN108776779B (zh) 2022-09-23

Similar Documents

Publication Publication Date Title
CN108776779A (zh) 基于卷积循环网络的sar序列图像目标识别方法
Zeng et al. Underwater target detection based on Faster R-CNN and adversarial occlusion network
Peng et al. Detecting heads using feature refine net and cascaded multi-scale architecture
CN105389550B (zh) 一种基于稀疏指引与显著驱动的遥感目标检测方法
CN110399884B (zh) 一种特征融合自适应锚框模型车辆检测方法
CN109902677A (zh) 一种基于深度学习的车辆检测方法
CN109271990A (zh) 一种针对rgb-d图像的语义分割方法及装置
Belloni et al. Explainability of deep SAR ATR through feature analysis
CN106022232A (zh) 基于深度学习的车牌检测方法
CN110222767B (zh) 基于嵌套神经网络和栅格地图的三维点云分类方法
CN108021890B (zh) 一种基于plsa和bow的高分遥感影像港口检测方法
Gong et al. Object detection based on improved YOLOv3-tiny
CN108280460A (zh) 基于改进卷积神经网络的sar车辆目标识别方法
Kim et al. Infrared variation optimized deep convolutional neural network for robust automatic ground target recognition
CN110163275A (zh) 基于深度卷积神经网络的sar图像目标分类方法
Pepik et al. 3d object class detection in the wild
Abdollahi et al. SC-RoadDeepNet: A new shape and connectivity-preserving road extraction deep learning-based network from remote sensing data
CN106846322A (zh) 基于曲线波滤波器和卷积结构学习的sar图像分割方法
CN105787950A (zh) 一种基于行梯度累加的红外图像海天线检测算法
CN103714554A (zh) 一种基于传播融合的视频跟踪方法
Zhang et al. VGM-RNN: HRRP sequence extrapolation and recognition based on a novel optimized RNN
CN109543617A (zh) 基于yolo目标检测技术的智能车辆运动路况信息的检测方法
CN106845343A (zh) 一种光学遥感图像海上平台自动检测方法
CN110097524B (zh) 基于融合卷积神经网络的sar图像目标检测方法
Lee et al. Generating hard examples for pixel-wise classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant