CN110516561B - 基于dcgan和cnn的sar图像目标识别方法 - Google Patents

基于dcgan和cnn的sar图像目标识别方法 Download PDF

Info

Publication number
CN110516561B
CN110516561B CN201910718845.7A CN201910718845A CN110516561B CN 110516561 B CN110516561 B CN 110516561B CN 201910718845 A CN201910718845 A CN 201910718845A CN 110516561 B CN110516561 B CN 110516561B
Authority
CN
China
Prior art keywords
layer
convolution
cnn
training
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910718845.7A
Other languages
English (en)
Other versions
CN110516561A (zh
Inventor
李文涛
李良伟
张昱东
唐浩森
史小卫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201910718845.7A priority Critical patent/CN110516561B/zh
Publication of CN110516561A publication Critical patent/CN110516561A/zh
Application granted granted Critical
Publication of CN110516561B publication Critical patent/CN110516561B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于DCGAN和CNN的SAR图像目标识别方法，用于解决现有技术存在的SAR图像目标识别的泛化能力较弱的技术问题，实现步骤为：获取训练样本集和测试样本集；构建深度卷积对抗神经网络DCGAN和深度卷积神经网络CNN；对深度卷积对抗神经网络DCGAN进行迭代训练；获取增广训练集；对增广训练集进行数据增强；对深度卷积神经网络CNN进行迭代训练；基于训练好的深度卷积神经网络CNN对SAR图像进行目标识别。本发明利用DCGAN生成SAR图像的模拟数据用以增广数据集，再利用增广数据集对CNN进行训练，使得训练好的CNN能够完成SAR图像目标识别，提高了SAR图像目标识别的泛化能力与准确率。

Description

基于DCGAN和CNN的SAR图像目标识别方法
技术领域
本发明属于图像处理领域，涉及一种SAR图像目标识别方法，特别涉及一种 基于DCGAN和CNN的SAR图像目标识别方法。SAR图像目标识别在军事目标的识 别与毁伤效能评估、矿藏资源的探测、灾情探测与防治等领域均有广泛的应用。
背景技术
合成孔径雷达SAR(Synthetic Aperture Radar)是一种主动式高精度成像 雷达，它的工作不受时间天气等许多条件的限制，具有光学传感器无法比拟的优 点，是军用和民用的重要探测手段。SAR图像目标识别任务就是对SAR图像中的 目标进行特征提取，通过对提取的特征进行运算，输出类别标签结果，实现目标 类别的识别。评价SAR图像目标识别效果的指标有很多，如识别速度、识别准确 率、泛化能力等。其中，泛化能力表示在待检测图像与使用的训练样本的成像条 件差别较大的情况下，目标识别方法仍能够有效进行目标识别的能力，因而对泛 化能力指标的评价较为重要。在深度学习SAR图像目标识别方法中，目标识别网 络的过拟合程度是影响泛化能力的重要因素，而训练图像的特征信息明显程度、 训练图像数据量是影响目标识别网络的过拟合程度主要因素。训练图像目标特征 信息越明显、训练图像数据量越多，则训练出来的SAR图像目标识别网络的过拟 合程度越轻，进而目标识别的泛化能力越强。但是由于SAR成像的特殊性，如 SAR图像噪点较多、目标特征不明显等，使得SAR图像目标特征不易提取，且SAR 图像数据较难获取，数据量很少，导致识别的泛化能力较差。因此，在不明显的 SAR图像目标特征和有限的SAR图像数据等不利条件的限制下，研究实现准确、 泛化能力强的SAR图像目标识别方法具有重要意义。
目前关于SAR图像识别方面的论文专利非常多，传统的方法都是采用提取候 选目标的特征，再利用特征分类器进行类别区分，如模板匹配的方法、基于模型 的方法、基于机器学习的方法等，但这些方法依靠人工选择实现特征提取，只能 利用到图像浅层的纹理特征，无法利用图像的深层特征。
为解决这一问题，近些年又陆续提出基于深度学习的SAR图像识别方法，这 些方法虽然可以解决传统识别方法依靠人工选择实现特征提取的问题，但是由于 SAR图像数据数量有限、SAR图像目标特征信息不明显，会导致用于SAR图像目 标识别的神经网络存在严重的过拟合问题，进而使得目标识别的泛化能力较差。 例如，哈尔滨工程大学在其申请的专利文献“一种基于SAGAN样本扩充和辅助信 息的SAR目标分类方法”(专利申请号：201910176375.6，公开号：CN 109934282 A)中提出了一种基于SAGAN样本扩充和辅助信息的SAR目标分类方法。该方法 根据SAR的数据样本图像的特性，对Inception结构进行优化和改进，并添加适 当的正则化条件，联合SAGAN小样本生成和SAGAN小样本超分辨率的成果，对 SAR小样本目标进行精确的识别。该方法使用SAGAN网络生成模拟的SAR图像小 目标样本，增加了样本数量，可以改善SAR图像识别在小目标识别条件下的过拟 合问题，提高SAR图像识别在小目标识别条件下的泛化能力。但是，该方法仍然 存在不足，由于该方法使用的SAGAN网络并未学习SAR图像目标的深层特征，其 生成的小目标样本在其它环境、成像条件下的识别效果较差，泛化能力不足。
发明内容
本发明的目的在于针对上述现有技术的不足，提出一种基于DCGAN与CNN 的SAR图像目标识别方法，用于解决现有技术存在的SAR图像目标识别的泛化能 力较弱的技术问题。
为实现上述目的，本发明采取的技术方案包括如下步骤：
(1)获取训练样本集和测试样本集：
从SAR图像数据库中随机选取L幅SAR图像，L≥2000，SAR图像的类别数 为K，K≥2，，K≥2，并对每幅SAR图像的类别进行标注，然后将L幅SAR图像 中的M幅图像及M幅SAR图像对应的标签组合成训练样本集，M≥1500，将其余 L-M幅SAR图像及其余L-M幅SAR图像对应的标签组合成测试样本集；
(2)构建深度卷积对抗神经网络DCGAN和深度卷积神经网络CNN：
构建包括生成器网络和判别器网络的深度卷积对抗神经网络DCGAN，其中生 成器网络包括全连接层和多个反卷积层，生成器网络的学习率为0.0015；判别 器网络包括多个卷积层和多个全连接层，判别器网络的学习率为0.0001；
构建包括多层卷积层、全局平均池化层和两个全连接层的深度卷积神经网络CNN，该CNN的学习率为0.001；
(3)对深度卷积对抗神经网络DCGAN进行迭代训练：
从训练样本集中每次随机选取m个训练样本，共选取P次，并按批次输入到 深度卷积对抗神经网络DCGAN中，通过均方根传播法RMSProp，对DCGAN进行P 次迭代训练，得到训练好的深度卷积对抗神经网络DCGAN，m≥80，P≥2000；
(4)获取增广训练集：
从训练样本集中每次随机选取a个训练样本，共选取b次，按批次输入到训 练好的深度卷积对抗神经网络DCGAN中，得到a×b个模拟图像，并对每个模拟 图像类别进行标注，然后将a×b幅模拟图像、a×b幅模拟图像对应的类别标签 组合成模拟样本集，以及训练样本集组合成增广训练集，a≥80，b≥20；
(5)对增广训练集进行数据增强：
对增广训练集中的每幅图像进行随机左右镜像翻转处理，并对经过随机翻转 处理后的每幅图像进行随机亮度变化处理，然后对经过随机亮度变化处理后的每 幅图像进行随机对比度变化处理，最后对经过随机对比度变化处理后的每幅图像 进行二值化处理，得到经过数据增强的增广训练集；
(6)对深度卷积神经网络CNN进行迭代训练：
(6a)设迭代次数为q，最大迭代次数为Q，Q≥1200，并令q＝0；
(6b)从经过数据增强的增广训练集中随机选取c个训练样本，输入到深度 卷积神经网络CNN中,并通过自适应矩估计法Adam对CNN进行训练，c≥128；
(6c)从测试样本集中随机选取c个测试样本输入到深度卷积神经网络CNN 中，并计算c个测试样本的识别准确率；
(6d)判断q＝Q是否成立或c个测试样本的识别准确率是否不再增加，若 是，得到训练好的深度卷积神经网络CNN，否则，令q＝q+1，并执行步骤(6b)；
(7)基于训练好的深度卷积神经网络CNN对SAR图像进行目标识别：
将N幅待检测SAR图像输入到训练好的深度卷积神经网络CNN，得到目标对 应的类别标签，N≥1。
本发明与现有技术相比，具有以下优点：
第一，由于本发明所生成的SAR图像模拟数据，是通过深度卷积对抗神经网 络DCGAN实现的，该DCGAN是在对抗神经网络中的基础上增加了卷积神经网络结 构，使得生成的SAR图像模拟数据能够学习到SAR图像的深层特征信息，解决了SAR图像特征不明显不易学习的问题；在进一步解决SAR图像数据量少的问题时， 本发明采用DCGAN生成大量模拟数据以增广训练集，并用增广训练集对深度卷积 神经网络CNN进行训练，因此可以有效改善用于SAR图像目标识别的神经网络的 过拟合问题，进而提高SAR图像目标识别的泛化能力。
第二，由于本发明在训练深度卷积神经网络CNN之前，对增广数据集进行了 数据增强，使得SAR成像时的亮度、对比度等因素对SAR图像目标识别结果影响 很小，减少了SAR图像目标识别的环境、成像质量等条件的限制，与现有技术相 比，提高了SAR图像目标识别准确率。
附图说明
图1是本发明的实现流程图；
图2是本发明的仿真实验采用的MSTAR数据集中的部分图像；
图3是本发明与现有技术的验证样本集平均识别准确率仿真对比图。
具体实施方式
下面结合附图和具体实施例，对本发明作进一步详细描述。
参照图1，本发明包括如下步骤：
步骤1)获取训练样本集和测试样本集：
从SAR图像数据库中随机选取L幅SAR图像，L≥2000，SAR图像的类别数 为K，K≥2，，K≥2，并对每幅SAR图像的类别进行标注，然后将L幅SAR图像 中的M幅图像及M幅SAR图像对应的标签组合成训练样本集，M≥1500，将其余 L-M幅SAR图像及其余L-M幅SAR图像对应的标签组合成测试样本集；
步骤2)构建深度卷积对抗神经网络DCGAN和深度卷积神经网络CNN：
构建包括生成器网络和判别器网络的深度卷积对抗神经网络DCGAN，其中生 成器网络包括全连接层和多个反卷积层，生成器网络的学习率为0.0015；判别 器网络包括多个卷积层和多个全连接层，判别器网络的学习率为0.0001，具体 步骤为：
生成器网络包括全连接层和5个反卷积层：全连接层→第一反卷积层→第二 反卷积层→第三反卷积层→第四反卷积层→第五反卷积层，其中，全连接层的输 入为80×112维且通过随机正态分布进行初始化的随机噪声信号，全连接层的输 出通道数为4×4×1024，激活函数为leaky-relu函数，leaky-relu的公式如下：
Figure BDA0002156444170000051
其中，x表示网络的当前层对输入数据经过运算后输出的数据，f(x)为激 活后的数据，该激活函数对数据中的负值给予一个较小的权重，既使得负数据不 会影响网络对权重的更新，也不会丢失数据。
所有反卷积层的卷积核大小均为4×4个像素，步长均为2个像素，第一、 二、三、四反卷积层均使用批归一化，该四个反卷积层的激活函数均为 leaky-relu函数，输出通道数分别为512、256、128、64，第五反卷积层的输出 通道数为1，激活函数为tanh函数，tanh函数公式如下：
Figure BDA0002156444170000052
其中，x表示网络的当前层对输入数据经过运算后输出的数据，f(x)为激活后 的数据，输出的值在[-1,1]之间。
生成器网络的损失函数公式如下：
Figure BDA0002156444170000053
Figure BDA0002156444170000054
Figure BDA0002156444170000055
lossg＝loss1+loss2+loss3
其中，m为每次迭代训练取出的样本批次数，df为判别器对生成器生成 的模拟数据输出的真假判别结果，y为输入训练样本的真实类别标签，cr为判 别器对输入训练样本输出的类别判别结果，cf为判别器对生成器生成的模拟数 据输出的类别判别结果，conz为隐含维度信息，conf为conz在判别器中的输 出，loss1表示生成器网络的真假判别损失值，loss2表示生成器网络的类别判 别损失值，loss3表示隐含维度信息损失值，lossg表示生成器网络的总损失值。
判别器网络包括5个卷积层和2个全连接层：第一卷积层→第二卷积层→第 三卷积层→第四卷积层→第五卷积层→第一全连接层→第二全连接层，其中，所 有卷积层的卷积核大小为4×4个像素，步长为2个像素，均使用批归一化，所 有卷积层的激活函数均为leaky-relu函数；第一、二、三、四、五卷积层的输 出通道数分别为64、128、256、512、1024；第一全连接层的输出通道数为1024， 激活函数为leaky-relu函数；第二全连接层为1个三路输出的全连接层，第一 路输出的值为真假判别结果，输出通道数为1，无激活函数，第二路输出的值为 类别判别结果，输出通道数10，无激活函数，第三路输出的值为隐含维度信息 判别结果，输出通道数为2，激活函数为sigmoid函数，sigmoid函数公式如下：
Figure BDA0002156444170000061
其中，x表示网络的当前层对输入数据经过运算后输出的数据，f(x)为激 活后的数据，输出的值在[0,1]之间。
判别器网络输入端分为两路，分别连接生成器网络的输出端和从训练样本集 中每次随机选取的m个训练样本。
判别器网络的损失函数公式如下：
Figure BDA0002156444170000062
Figure BDA0002156444170000063
Figure BDA0002156444170000064
lossd＝loss1+loss2+loss3
其中，m为每次迭代训练取出的样本批次数，df为判别器对生成器生成 的模拟数据输出的真假判别结果，dr为判别器对输入训练样本输出的真假判别 结果，y为输入训练样本的真实类别标签，cr为判别器对输入训练样本输出的 类别判别结果，cf为判别器对模拟数据输出的类别判别结果，conz为隐含维 度信息，conf为conz在判别器中的输出，loss1表示判别器网络的真假判别损失 值，loss2表示生成器网络的类别判别损失值，loss3为隐含维度信息损失值， lossd表示判别器网络的总损失值。
判别器网络中引入了卷积神经网络的结构，而卷积神经网络适合提取目标的 特征信息，使得GAN网络对目标的特征信息学习更好；生成器网络和判别网络的 损失值均加入了类别判别、隐含维度信息等辅助信息，使得GAN网络更容易训练， 生成的模拟数据的类别特征更明显。
构建包括多层卷积层、全局平均池化层和两个全连接层的深度卷积神经网络CNN，该CNN的学习率为0.001，具体步骤为：
深度卷积神经网络CNN包括多层卷积层、全局平均池化层和两个全连接层： 第一卷积层→第二卷积层→第三卷积层→第四卷积层→全局平均池化层→第一 全连接层→第二全连接层，其中，所有卷积层的激活函数均为relu函数；relu 函数公式如下：
f(x)＝max(0,x)
其中，x表示网络的当前层对输入数据经过运算后输出的数据，f(x)为激 活后的数据。
第一卷积层的卷积核大小为5×5个像素，步长为2个像素，输出通道数为 64；第二、三、四卷积层的卷积核大小均为3×3个像素，步长均为1个像素， 输出通道数均为128；全局平均池化层的池化核大小为4×4个像素，步长为4 个像素；第一全连接层的输出通道数为256，使用随机失活dropout，保留率为 50％；第二全连接层的输出通道数为K，使用softmax函数处理得到归一化K个 类别输出；softmax函数公式如下：
Figure BDA0002156444170000071
其中，K为输入数据的类别总数，j为其中任一类别，
Figure BDA0002156444170000072
为对该类别输 入的指数，f(x)j为该类别的输出结果，该函数通过指数运算归一化将分布较为 接近的输入数值的分布差距拉大，使得输出的类别标签不容易出现误判情况。
通过深度卷积对抗神经网络DCGAN生成的模拟数据能够学习数据中目标的 深层特征信息，而对于背景等信息的学习相对较为随机，很好的解释了增加模拟 数据能够提高网络的泛化能力。
步骤3)对深度卷积对抗神经网络DCGAN进行迭代训练：
从训练样本集中每次随机选取m个训练样本，共选取P次，并按批次输入到 深度卷积对抗神经网络DCGAN中，通过均方根传播法RMSProp，对DCGAN进行P 次迭代训练，得到训练好的深度卷积对抗神经网络DCGAN，m≥80，P≥2000。
步骤4)获取增广训练集：
从训练样本集中每次随机选取a个训练样本，共选取b次，按批次输入到训 练好的深度卷积对抗神经网络DCGAN中，得到a×b个模拟图像，并对每个模拟 图像类别进行标注，然后将a×b幅模拟图像、a×b幅模拟图像对应的类别标签 组合成模拟样本集，以及训练样本集组合成增广训练集，a≥80，b≥20。
步骤5)对增广训练集进行数据增强：
对增广训练集中的每幅图像进行随机左右镜像翻转处理，并对经过随机翻转 处理后的每幅图像进行随机亮度变化处理，然后对经过随机亮度变化处理后的每 幅图像进行随机对比度变化处理，最后对经过随机对比度变化处理后的每幅图像 进行二值化处理，得到经过数据增强的增广训练集，具体步骤为：
(5a)对输入图像进行随机左右镜像翻转处理，得到经过随机翻转处理的图 像；
(5b)对经过随机翻转处理的图像进行随机亮度变化处理，亮度变化因子设 为20，即在亮度变化范围为[-20,20]对图像进行随机亮度变化，得到经过随机 亮度变化处理的图像；
(5c)对经过随机亮度变化处理的图像进行随机对比度变化处理，对比度变 化的最小因子设为0.5，最大因子设为1.5，即在对比度变化范围为[0.5,1.5] 内对图像进行随机亮度变化，得到经过随机对比度变化处理的图像；
(5d)对经过随机对比度变化处理的图像进行二值化处理，二值化的公式如 下：
f(x)＝(x/127.5)-1
其中，x为输入图像，f(x)为输出的二值图像，经过二值化的图像中的每 个像素值会被限制在[-1,1]之间。
步骤6)对深度卷积神经网络CNN进行迭代训练：
(6a)设迭代次数为q，最大迭代次数为Q，Q≥1200，并令q＝0；
(6b)从经过数据增强的增广训练集中随机选取c个训练样本，输入到深度 卷积神经网络CNN中,并通过自适应矩估计法Adam对CNN进行训练，c≥128；
(6c)从测试样本集中随机选取c个测试样本输入到深度卷积神经网络CNN 中，并计算c个测试样本的识别准确率；
(6d)判断q＝Q是否成立或c个测试样本的识别准确率是否不再增加，若 是，得到训练好的深度卷积神经网络CNN，否则，令q＝q+1，并执行步骤(6b)；
步骤7)基于训练好的深度卷积神经网络CNN对SAR图像进行目标识别：
将N幅待检测SAR图像输入到训练好的深度卷积神经网络CNN，得到目标对 应的类别标签，N≥1。
下面结合仿真实验对本发明的效果作进一步的描述。
1、仿真条件：
仿真实所用的数据为移动和静止目标获取与识别(Moving and StationaryTarget Acquisition and Recognition，MSTAR)数据集，采集该数据集的传感器 为高分辨率的聚束式合成孔径雷达，该雷达的分辨率为0.3m×0.3m。MSTAR数据 集中共有10类目标的SAR图像，分别为：2S1(自行榴弹炮)，BMP2(步兵战车)， BRDM2(装甲侦察车)，BTR60、BTR70(装甲运输车)，D7(推土机)，T62、T72 (坦克)，ZIL131(货运卡车)，ZSU234(自行高炮)。每类目标均在俯仰角17° 和15°条件下成像，将17°俯仰角下的2747幅SAR图像作为训练样本集，15° 俯仰角下的1926幅图像作为测试样本集，15°俯仰角下的其余500幅图像作为 验证样本集。训练样本集的部分图像如图2，图2(a)为类别2S1样本，图2(b) 为类别BTR70样本，图2(c)为类别T72样本。MSTAR数据集具体数据分布如表1。 硬件平台为IntelCore i7-7700HQ@2.80GHz CPU、8GB RAM、NVIDIA Geforce GTX1050GPU,仿真实验软件平台为Python 3.7和Tensorflow 1.3。
表1
Figure BDA0002156444170000091
Figure BDA0002156444170000101
2、仿真内容和仿真结果分析：
对本发明的基于深度卷积对抗神经网络DCGAN生成模拟样本的仿真结果如 图3所示，首先使用2747个训练样本训练深度卷积对抗神经网络DCGAN，以80 个样本为一个批次，共循环训练3000次，得到训练好的深度卷积对抗神经网络。 然后从训练样本随机选取80个样本，共选取100次，输入网络得到共8000个模 拟图像，并对每个模拟图像类别进行标注，得到模拟样本集，再将得到的模拟样 本集与训练样本集组合得到增广数据集。增广训练集与原始MSTAR训练样本集数 量的对比如表2所示：
表2
数据集类型 样本数量
MSTAR训练样本集 2747
增广训练集 10747
对本发明的深度卷积神经网络CNN与传统SAR图像目标识别网络的验证样本 集平均识别准确率进行仿真，仿真对比图如图3所示。仿真时先将验证样本集进 行随机数据增强，然后从中随机选取128张图像作为批次，重复选取20次，输 入到训练好的深度神经网络CNN中，最后计算验证样本集的平均识别准确率。由 于验证数据的选取具有随机性，因此若验证样本集平均识别准确率高则SAR图像 识别网络过拟合情况较轻，否则，过拟合情况严重。该验证样本集平均识别准确 率可以检测训练好的深度卷积神经网络CNN的过拟合情况，进而评价SAR图像目 标识别的泛化能力，测试集识别正确率和验证集平均识别正确率如表3所示：
表3
仿真实验方法 传统卷积神经网络方法 本发明方法
测试集识别正确率 96.09％ 98.44％
验证集平均识别正确率 58.59％ 97.66％
从表3中可以看出，本发明提出的基于深度卷积对抗网络的SAR图像增广数 据集识别方法相比现有的卷积神经网络识别方法的测试集识别正确率提高了 2.35％，而验证集的平均识别正确率提高了39.07％，说明本发明基于DCGAN和CNN 的SAR图像目标识别方法，能够改善SAR图像目标识别网络的过拟合问题，进而 提高SAR图像目标识别泛化能力，且能够提高SAR图像目标识别准确率，因而具 有重要的实际意义。

Claims (3)

1.一种基于DCGAN和CNN的SAR图像目标识别方法，其特征在于，包括如下步骤：
(1)获取训练样本集和测试样本集：
从SAR图像数据库中随机选取L幅SAR图像，L≥2000，SAR图像的类别为K，K≥2，并对每幅SAR图像的类别进行标注，然后将L幅SAR图像中的M幅图像及M幅SAR图像对应的标签组合成训练样本集，M≥1500，将其余L-M幅SAR图像及其余L-M幅SAR图像对应的标签组合成测试样本集；
(2)构建深度卷积对抗神经网络DCGAN和深度卷积神经网络CNN：
构建包括生成器网络和判别器网络的深度卷积对抗神经网络DCGAN，其中生成器网络包括全连接层和多个反卷积层，生成器网络的学习率为0.0015；判别器网络包括多个卷积层和多个全连接层，判别器网络的学习率为0.0001；
构建包括多层卷积层、全局平均池化层和两个全连接层的深度卷积神经网络CNN，该CNN的学习率为0.001；
(3)对深度卷积对抗神经网络DCGAN进行迭代训练：
从训练样本集中每次随机选取m个训练样本，共选取P次，并按批次输入到深度卷积对抗神经网络DCGAN中，通过均方根传播法RMSProp，对DCGAN进行P次迭代训练，得到训练好的深度卷积对抗神经网络DCGAN，m≥80，P≥2000；
(4)获取增广训练集：
从训练样本集中每次随机选取a个训练样本，共选取b次，按批次输入到训练好的深度卷积对抗神经网络DCGAN中，得到a×b个模拟图像，并对每个模拟图像类别进行标注，然后将a×b幅模拟图像、a×b幅模拟图像对应的类别标签组合成模拟样本集，以及训练样本集组合成增广训练集，a≥80，b≥20；
(5)对增广训练集进行数据增强：
对增广训练集中的每幅图像进行随机左右镜像翻转处理，并对经过随机翻转处理后的每幅图像进行随机亮度变化处理，然后对经过随机亮度变化处理后的每幅图像进行随机对比度变化处理，最后对经过随机对比度变化处理后的每幅图像进行二值化处理，得到经过数据增强的增广训练集；
(6)对深度卷积神经网络CNN进行迭代训练：
(6a)设迭代次数为q，最大迭代次数为Q，Q≥1200，并令q＝0；
(6b)从经过数据增强的增广训练集中随机选取c个训练样本，输入到深度卷积神经网络CNN中,并通过自适应矩估计法Adam对CNN进行训练，c≥128；
(6c)从测试样本集中随机选取c个测试样本输入到深度卷积神经网络CNN中，并计算c个测试样本的识别准确率；
(6d)判断q＝Q是否成立或c个测试样本的识别准确率是否不再增加，若是，得到训练好的深度卷积神经网络CNN，否则，令q＝q+1，并执行步骤(6b)；
(7)基于训练好的深度卷积神经网络CNN对SAR图像进行目标识别：
将N幅待检测SAR图像输入到训练好的深度卷积神经网络CNN，得到目标对应的类别标签，N≥1。
2.根据权利要求1所述的基于DCGAN与CNN的SAR图像目标识别方法，其特征在于，步骤(2)中所述的深度卷积对抗神经网络DCGAN和深度卷积神经网络CNN，其具体结构分别为：
所述深度卷积对抗神经网络DCGAN，其中的生成器网络包括全连接层和5个反卷积层：全连接层→第一反卷积层→第二反卷积层→第三反卷积层→第四反卷积层→第五反卷积层，其中，全连接层的输入为80×112维且通过随机正态分布进行初始化的随机噪声信号，全连接层的输出通道数为4×4×1024，激活函数为leaky-relu函数；所有反卷积层的卷积核大小均为4×4个像素，步长均为2个像素，第一、二、三、四反卷积层均使用批归一化，该四个反卷积层的激活函数均为leaky-relu函数，输出通道数分别为512、256、128、64，第五反卷积层的输出通道数为1，激活函数为tanh函数；
所述深度卷积对抗神经网络DCGAN，其中的判别器网络包括5个卷积层和2个全连接层：第一卷积层→第二卷积层→第三卷积层→第四卷积层→第五卷积层→第一全连接层→第二全连接层，其中，所有卷积层的卷积核大小为4×4个像素，步长为2个像素，均使用批归一化，所有卷积层的激活函数均为leaky-relu函数；第一、二、三、四、五卷积层的输出通道数分别为64、128、256、512、1024；第一全连接层的输出通道数为1024，激活函数为leaky-relu函数；第二全连接层为1个三路输出的全连接层，第一路输出的值为真假判别结果，输出通道数为1，无激活函数，第二路输出的值为类别判别结果，输出通道数10，无激活函数，第三路输出的值为隐含维度信息判别结果，输出通道数为2，激活函数为sigmoid函数；判别器网络输入端分为两路，分别连接生成器网络的输出端和从训练样本集中每次随机选取的m个训练样本；
所述深度卷积神经网络CNN包括多层卷积层、全局平均池化层和两个全连接层：第一卷积层→第二卷积层→第三卷积层→第四卷积层→全局平均池化层→第一全连接层→第二全连接层，其中，所有卷积层的激活函数均为relu函数；第一卷积层的卷积核大小为5×5个像素，步长为2个像素，输出通道数为64；第二、三、四卷积层的卷积核大小均为3×3个像素，步长均为1个像素，输出通道数均为128；全局平均池化层的池化核大小为4×4个像素，步长为4个像素；第一全连接层的输出通道数为256，使用随机失活dropout，保留率为50％；第二全连接层的输出通道数为K，使用softmax函数处理得到归一化K个类别输出。
3.根据权利要求1所述的基于DCGAN与CNN的SAR图像目标识别方法，其特征在于，步骤(5)中所述的对增广训练集进行数据增强，实现步骤为：
(5a)对输入图像进行随机左右镜像翻转处理，得到经过随机翻转处理的图像；
(5b)对经过随机翻转处理的图像进行随机亮度变化处理，亮度变化因子设为20，即在亮度变化范围为[-20,20]对图像进行随机亮度变化，得到经过随机亮度变化处理的图像；
(5c)对经过随机亮度变化处理的图像进行随机对比度变化处理，对比度变化的最小因子设为0.5，最大因子设为1.5，即在对比度变化范围为[0.5,1.5]内对图像进行随机亮度变化，得到经过随机对比度变化处理的图像；
(5d)对经过随机对比度变化处理的图像进行二值化处理，得到完成数据增强的图像。
CN201910718845.7A 2019-08-05 2019-08-05 基于dcgan和cnn的sar图像目标识别方法 Active CN110516561B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910718845.7A CN110516561B (zh) 2019-08-05 2019-08-05 基于dcgan和cnn的sar图像目标识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910718845.7A CN110516561B (zh) 2019-08-05 2019-08-05 基于dcgan和cnn的sar图像目标识别方法

Publications (2)

Publication Number Publication Date
CN110516561A CN110516561A (zh) 2019-11-29
CN110516561B true CN110516561B (zh) 2022-12-06

Family

ID=68625195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910718845.7A Active CN110516561B (zh) 2019-08-05 2019-08-05 基于dcgan和cnn的sar图像目标识别方法

Country Status (1)

Country Link
CN (1) CN110516561B (zh)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091555B (zh) * 2019-12-12 2020-10-16 哈尔滨市科佳通用机电股份有限公司 闸瓦折断目标检测方法
CN110991402A (zh) * 2019-12-19 2020-04-10 湘潭大学 一种基于深度学习的皮肤病分类装置及分类方法
CN111209964A (zh) * 2020-01-06 2020-05-29 武汉市盛隽科技有限公司 模型训练方法、基于深度学习的金属断口分析方法及应用
CN111325236B (zh) * 2020-01-21 2023-04-18 南京大学 一种基于卷积神经网络的超声图像分类方法
CN111402196A (zh) * 2020-02-10 2020-07-10 浙江工业大学 一种基于对抗生成网络的轴承滚子图像生成方法
CN111307925A (zh) * 2020-03-06 2020-06-19 山东省分析测试中心 一种温度控制不连续冻肉的鉴别方法和系统
CN111368935B (zh) * 2020-03-17 2023-06-09 北京航天自动控制研究所 一种基于生成对抗网络的sar时敏目标样本增广方法
CN111444977A (zh) * 2020-04-03 2020-07-24 成都禧来科技有限公司 一种实现垃圾自动分类的方法
CN111640087B (zh) * 2020-04-14 2023-07-14 中国测绘科学研究院 一种基于sar深度全卷积神经网络的影像变化检测方法
CN111583276B (zh) * 2020-05-06 2022-04-19 西安电子科技大学 基于cgan的空间目标isar图像部件分割方法
CN111539488B (zh) * 2020-05-27 2021-11-26 北京理工大学 复杂动态轨迹下极窄脉冲雷达抗成像畸变目标分类方法
CN111539489A (zh) * 2020-05-28 2020-08-14 中国电子科技集团公司第十四研究所 一种毫米波图像目标检测识别方法
CN111814608B (zh) * 2020-06-24 2023-10-24 长沙一扬电子科技有限公司 一种基于快速全卷积神经网络的sar目标分类方法
CN111767861B (zh) * 2020-06-30 2024-03-12 苏州兴钊防务研究院有限公司 一种基于多判别器生成对抗网络的sar图像目标识别方法
CN111832580B (zh) * 2020-07-22 2023-07-28 西安电子科技大学 结合少样本学习与目标属性特征的sar目标识别方法
CN111951229A (zh) * 2020-07-22 2020-11-17 国网安徽省电力有限公司电力科学研究院 一种基于全连接层增广的小金具图像数据集训练方法
US20220036134A1 (en) * 2020-07-31 2022-02-03 Netapp, Inc. Methods and systems for automated document classification with partially labeled data using semi-supervised learning
CN112116601B (zh) * 2020-08-18 2023-04-28 河南大学 基于生成对抗残差网络的压缩感知采样重建方法及系统
CN112100908B (zh) * 2020-08-31 2024-03-22 西安工程大学 一种基于多条件深度卷积生成对抗网络的服装设计方法
CN112215795B (zh) * 2020-09-02 2024-04-09 苏州超集信息科技有限公司 一种基于深度学习的服务器部件智能检测方法
CN112115824B (zh) * 2020-09-07 2024-06-11 北京豆牛网络科技有限公司 果蔬检测方法、装置、电子设备以及计算机可读介质
CN112133326A (zh) * 2020-09-08 2020-12-25 东南大学 一种基于对抗神经网络的枪声数据增广与检测方法
US11675876B2 (en) 2020-10-28 2023-06-13 International Business Machines Corporation Training robust machine learning models
CN112257810B (zh) * 2020-11-03 2023-11-28 大连理工大学人工智能大连研究院 一种基于改进FasterR-CNN的海底生物目标检测方法
CN112396566A (zh) * 2020-11-19 2021-02-23 中国石油大学(华东) 基于生成对抗网络的海洋涡旋图像自动增强系统、计算机设备、存储介质
CN112396110B (zh) * 2020-11-20 2024-02-02 南京大学 一种基于生成对抗级联网络增广图像的方法
CN112396005A (zh) * 2020-11-23 2021-02-23 平安科技（深圳）有限公司 生物特征图像识别方法、装置、电子设备及可读存储介质
CN112487909A (zh) * 2020-11-24 2021-03-12 江苏科技大学 一种基于并联卷积神经网络的水果品种识别方法
CN112508093B (zh) * 2020-12-03 2022-01-28 北京百度网讯科技有限公司 一种自训练方法、装置、电子设备和可读存储介质
CN112560603B (zh) * 2020-12-04 2022-11-22 中国船舶重工集团公司第七一五研究所 一种基于小波图像的水声数据集扩充方法
CN112560795B (zh) * 2020-12-30 2022-07-26 南昌航空大学 一种基于cn-gan与cnn的sar图像目标识别算法
CN112733665B (zh) * 2020-12-31 2024-05-28 中科南京智能技术研究院 一种基于轻量化网络结构设计的人脸识别方法及系统
CN112766380B (zh) * 2021-01-21 2023-01-03 西安电子科技大学 一种基于特征增益矩阵增量学习的图像分类方法及系统
CN112861752B (zh) * 2021-02-23 2022-06-14 东北农业大学 一种基于dcgan与rdn的作物病害识别方法及系统
CN112966698A (zh) * 2021-03-23 2021-06-15 西安电子科技大学 基于轻量化卷积网络的淡水鱼图像实时识别方法
CN113080992A (zh) * 2021-03-30 2021-07-09 北京芯动卫士科技有限公司 一种基于dcgan和深度神经网络方法的房颤识别方法
CN113095416B (zh) * 2021-04-16 2023-08-18 西安电子科技大学 基于混合损失与图注意力的小样本sar目标分类方法
CN113095417B (zh) * 2021-04-16 2023-07-28 西安电子科技大学 基于融合图卷积和卷积神经网络的sar目标识别方法
CN113420659B (zh) * 2021-04-27 2022-12-30 中国电子科技集团公司第十四研究所 一种基于复数卷积网络的sar图像目标识别方法
CN113177465A (zh) * 2021-04-27 2021-07-27 江苏科技大学 基于深度可分离卷积神经网络的sar图像自动目标识别方法
CN113326737A (zh) * 2021-05-06 2021-08-31 西北工业大学 一种水中目标的数据增强方法
CN113240097B (zh) * 2021-06-08 2024-04-26 西安邮电大学 一种数据扩充及分类的方法、系统
CN113378965B (zh) * 2021-06-25 2022-09-02 齐鲁工业大学 一种基于dcgan和gcn的多标签图像识别方法及系统
CN113723182A (zh) * 2021-07-21 2021-11-30 西安电子科技大学 一种训练样本受限条件下的sar图像舰船检测方法
CN113553956A (zh) * 2021-07-26 2021-10-26 长沙理工大学 一种基于对抗生成神经网络的单色釉瓷器自动识别方法
CN113780364A (zh) * 2021-08-18 2021-12-10 西安电子科技大学 一种模型与数据联合驱动的sar图像目标识别方法
CN114529766A (zh) * 2022-02-18 2022-05-24 厦门大学 基于域适应的异质异源sar目标识别方法
CN114814993B (zh) * 2022-03-25 2023-04-18 河海大学 一种基于dcgan和2d-cnn的微波衰减降雪强度监测方法
CN114529484B (zh) * 2022-04-25 2022-07-12 征图新视(江苏)科技股份有限公司 针对成像中直流分量变化的深度学习样本增强方法
CN114821199A (zh) * 2022-06-24 2022-07-29 聊城大学 一种美国白蛾幼虫网幕图像数据集增强方法
CN117036753B (zh) * 2023-07-18 2024-06-21 北京观微科技有限公司 一种基于模板匹配和InfoGAN的SAR图像扩容方法
CN116992249B (zh) * 2023-09-28 2024-01-23 南京信息工程大学 基于fmcnn-lstm的格点预报偏差订正方法
CN117911723B (zh) * 2024-03-19 2024-05-17 苏州大学 基于亚像素视觉定位的球形永磁体轨迹跟踪方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018028255A1 (zh) * 2016-08-11 2018-02-15 深圳市未来媒体技术研究院 基于对抗网络的图像显著性检测方法
CN108665005A (zh) * 2018-05-16 2018-10-16 南京信息工程大学 一种利用dcgan提高基于cnn图像识别性能的方法
CN108776779A (zh) * 2018-05-25 2018-11-09 西安电子科技大学 基于卷积循环网络的sar序列图像目标识别方法
WO2019034328A1 (en) * 2017-08-15 2019-02-21 Siemens Healthcare Gmbh IDENTIFYING THE QUALITY OF CELLULAR IMAGES ACQUIRED USING DIGITAL HOLOGRAPHIC MICROSCOPY USING CONVOLUTIONAL NEURAL NETWORKS

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018028255A1 (zh) * 2016-08-11 2018-02-15 深圳市未来媒体技术研究院 基于对抗网络的图像显著性检测方法
WO2019034328A1 (en) * 2017-08-15 2019-02-21 Siemens Healthcare Gmbh IDENTIFYING THE QUALITY OF CELLULAR IMAGES ACQUIRED USING DIGITAL HOLOGRAPHIC MICROSCOPY USING CONVOLUTIONAL NEURAL NETWORKS
CN108665005A (zh) * 2018-05-16 2018-10-16 南京信息工程大学 一种利用dcgan提高基于cnn图像识别性能的方法
CN108776779A (zh) * 2018-05-25 2018-11-09 西安电子科技大学 基于卷积循环网络的sar序列图像目标识别方法

Also Published As

Publication number Publication date
CN110516561A (zh) 2019-11-29

Similar Documents

Publication Publication Date Title
CN110516561B (zh) 基于dcgan和cnn的sar图像目标识别方法
CN108776779B (zh) 基于卷积循环网络的sar序列图像目标识别方法
CN108510467B (zh) 基于深度可变形卷积神经网络的sar图像目标识别方法
CN110109060B (zh) 一种基于深度学习网络的雷达辐射源信号分选方法及系统
CN108491837B (zh) 一种提高车牌攻击鲁棒性的对抗攻击方法
CN109766835B (zh) 基于多参数优化生成对抗网络的sar目标识别方法
CN109902715B (zh) 一种基于上下文聚合网络的红外弱小目标检测方法
CN111126134B (zh) 基于非指纹信号消除器的雷达辐射源深度学习识别方法
CN109684922B (zh) 一种基于卷积神经网络的多模型对成品菜的识别方法
CN110988818B (zh) 基于条件生成式对抗网络的欺骗干扰模板生成方法
CN110163275B (zh) 基于深度卷积神经网络的sar图像目标分类方法
Liu et al. Visual defect inspection of metal part surface via deformable convolution and concatenate feature pyramid neural networks
CN112017164A (zh) 基于深度阈值卷积模型的土石料级配检测方法
CN103353988B (zh) 异源sar景象特征匹配算法性能评估方法
CN108256471B (zh) 一种基于双层分类网的高分辨率合成孔径雷达船只识别方法
CN108021890B (zh) 一种基于plsa和bow的高分遥感影像港口检测方法
CN113536963B (zh) 基于轻量化yolo网络的sar图像飞机目标检测方法
CN106485651A (zh) 快速鲁棒性尺度不变的图像匹配方法
CN114627383A (zh) 一种基于度量学习的小样本缺陷检测方法
CN109948722B (zh) 一种识别空间目标的方法
CN110991418A (zh) 合成孔径雷达目标图像识别方法及系统
CN111539957A (zh) 一种用于目标检测的图像样本生成方法、系统及检测方法
Chumuang et al. Analysis of X-ray for locating the weapon in the vehicle by using scale-invariant features transform
CN112487900A (zh) 一种基于特征融合的sar图像舰船目标检测方法
CN113362277A (zh) 一种基于深度学习的工件表面缺陷检测和分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant