CN111027439B - 基于辅助分类生成对抗网络的sar目标识别方法 - Google Patents

基于辅助分类生成对抗网络的sar目标识别方法 Download PDF

Info

Publication number
CN111027439B
CN111027439B CN201911220271.7A CN201911220271A CN111027439B CN 111027439 B CN111027439 B CN 111027439B CN 201911220271 A CN201911220271 A CN 201911220271A CN 111027439 B CN111027439 B CN 111027439B
Authority
CN
China
Prior art keywords
sample
fake
real
discriminator
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911220271.7A
Other languages
English (en)
Other versions
CN111027439A (zh
Inventor
王健
秦春霞
杨珂
任萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Xian Aisheng Technology Group Co Ltd
Original Assignee
Northwestern Polytechnical University
Xian Aisheng Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University, Xian Aisheng Technology Group Co Ltd filed Critical Northwestern Polytechnical University
Priority to CN201911220271.7A priority Critical patent/CN111027439B/zh
Publication of CN111027439A publication Critical patent/CN111027439A/zh
Application granted granted Critical
Publication of CN111027439B publication Critical patent/CN111027439B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于辅助分类生成对抗网络SAR图像合成及SAR目标识别的新方法，通过利用本发明提出的基于反卷积神经网络的生成器的辅助分类生成对抗网络，在生成高分辨SAR图像的过程中，对训练样本库进行扩充；在辅助分类生成对抗网络的判别网络不仅能够识别出SAR图像的真假，得到相应SAR图像的类别标签，而且生成网络在对抗训练的过程中在提高网络识别率基础上，还生成大量含类别标签的高分辨SAR图像样本。

Description

基于辅助分类生成对抗网络的SAR目标识别方法
技术领域
本发明涉及一种合成孔径雷达(Synthetic Aperture Radar,SAR)的目标识别方法，可以应用于图像处理系统。
背景技术
现代高科技战争中，战场信息的及时准确获取以及战场态势的高效评估，对争夺战场的军事主导权具有十分重要的作用。SAR具有一定的地面和植被穿透能力，有助于发现机场、港口、桥梁、道路等人造建筑目标以及飞机、坦克、舰船等军事目标。SAR图像作为一种重要的微波成像传感器，在环境监测、资源勘察和国防军事等领域有着非常广泛的应用。SAR目标识别利用SAR图像信息实现目标种类、型号等属性的判定，在战场侦察、精确打击等军事领域有明确的应用需求，未来数字化、信息化的战场上，能够及时、精确获取敌方目标，对敌方目标进行识别以确保针对性地对敌方目标进行军事打击。
近年来，深度学习在合成孔径雷达自动目标识别领域取得了很大进展。它的优势在于通过使用大量数据来训练网络和学习目标特征，学习训练成功后能够快速识别相似目标，并且还可以获得更好的结果。文献“崔宗勇.合成孔径雷达目标识别理论与关键技术研究[D].成都:电子科技大学，2015.”提出了L1/2-非负矩阵分解(L1/2non-negative matrixfactorization，L1/2-NMF)目标特征提取方法，通过在非负矩阵分解目标函数中引入L1/2范数约束，增加分解基矩阵和特征矩阵稀疏度，降低特征信息冗余，提高了基于非负矩阵分解的目标特征描述性能。文献“Gao F,Yang Y,Wang J,et al.A Deep ConvolutionalGenerative Adversarial Networks(DCGAN)-Based Semi-Supervised Method forObject Recognition in Synthetic Aperture Radar(SAR)Images,remote sensing,2018.”通过用深度卷积生成对抗网络中的两个判别网络进行联合训练完成半监督学习的任务，引入噪声数据学习理论减少错误标记样本对网络性能的影响；采用softmax分类器替换传统判别网络的最后一层，修改损失函数以适应修改后的网络结构；在计算生成器的损耗函数时采用两个判别网络的平均值，以适用未标记样本远多于标记样本的数量的情况。上述识别SAR目标识别方法可以得到一定的效果，但这些方法都是监督学习的，存在样本不足以及标签样本过度依赖的问题。为此，本发明提出一种基于辅助分类生成对抗网络(Auxiliary Classifier Generative Adversarial Networks，AC-GAN)的SAR目标识别方法。
发明内容
要解决的技术问题
对传统的SAR目标识别存在的样本不足、过度依赖标签样本以提高识别精度的问题，本发明提出了一种基于辅助分类生成对抗网络SAR图像合成及SAR目标识别的新方法。通过利用本发明提出的基于反卷积神经网络的生成器的辅助分类生成对抗网络，在生成高分辨SAR图像的过程中，对训练样本库进行扩充；在辅助分类生成对抗网络的判别网络不仅能够识别出SAR图像的真假，得到相应SAR图像的类别标签，而且生成网络在对抗训练的过程中在提高网络识别率基础上，还生成大量含类别标签的高分辨SAR图像样本。
技术方案
一种基于辅助分类生成对抗网络的SAR目标识别方法，其特征在于步骤如下：
步骤1：生成伪造样本
将样本的类别标签C的标签分布pc(C)和随机噪声向量z的均匀分布Pz(z)同时输入到反卷积神经网络的生成器G中，数据类别标签C分布信息在生成器G网络内部传递过程中不断调节生成器G，生成器G将上述分布信息映射到真实图像的数据空间，生成伪造生成样本Xfake＝G(C,z)；
步骤2：训练判别器
用具有标签C的训练样本X训练判别器D，所述的训练样本X包括真实样本Xreal和生成样本Xfake；具体为将训练样本X中真实样本Xreal和生成样本Xfake作为判别器D的输入，输入经过判别器D中的softmax函数最终变成k维的类概率向量P＝(p1,p2,..,pj,..,pk)，其中类别概率pj为：
Figure BDA0002300623530000031
其中，X＝(x1,x2,..,xj,..,xk)为训练样本；
判别器D对所输入的样本数据X进行预测输出，输出两部分内容：第一个输出是一个在0和1范围内的数字，如果输入数据是真实样本Xreal，那么这个输出数字越来越接近1，如果输入数据是伪造生成样本Xfake，则输出数字越来越接近于0；第二个输出表示输入样本属于某个类的类别概率pj；
步骤3：扩充样本数据
判别器D从预测得到的带有类别标签的伪造生成样本Xfake的新标签样本中选出正例样本加入已有的标签样本中，进一步扩充训练样本数据X；所述的正例样本的选择原则：如果类别概率pj中的最大概率pmax和其他所有剩余概率的平均值满足如下公式，那么可以确定样本Xfake属于pmax对应的类；
Figure BDA0002300623530000032
式中，k是样本的种类，α是区分最大类概率和剩余概率的一个系数，α≥1；
步骤4：再次生成伪造样本
将步骤2生成的样本的类别标签C的标签分布pc(C)和随机噪声向量z的均匀分布Pz(z)同时输入到反卷积神经网络的生成器G中，再次使用生成器G(C,z)将其映射到真实样本Xreal的数据空间，再合成一批生成伪造图像X′fake＝G(C,z)；
步骤5：训练整个ACGAN网络
将生成器G和判别器D连起来，并设定步骤4的伪造样本图像X′fake的标签设为1，将X′fake和Xreal作为X样本输入生成器G和判别器D中，进行一轮训练；在训练过程中，ACGAN网络得到的目标函数分为两部分：正确判别X样本，即Xreal或X′fake图像的对数似然函数LS和正确标记类标签C的对数似然LC：
Ls＝E[logP(X＝real|Xreal)]+E[logP(X＝fake|X′fake)]
LC＝E[logP(C＝c|Xreal)]+E[logP(C＝c|Xfake)]
其中，P(X＝real|X′real)表示当判别器的输入为真实样本Xreal，且对应真实样本正确的概率；P(X＝fake|X′fake)表示当判别器的输入为伪造生成样本X′fake，且对应生成样本正确的概率；P(C＝c|Xreal)表示当判别器的输入为真实样本Xreal，且对应类别标签正确的概率；P(C＝c|X′fake)表示当判别器的输入为生成器生成的伪造样本X′fake，且对应类别标签正确的概率；在训练整个ACGAN网络过程中，训练判别器使LS+LC最大化，同时训练生成器使LC-LS最大化。
有益效果
本发明提出一种基于辅助分类生成对抗网络的SAR目标识别方法，针对传统的SAR目标识别存在的样本不足以及过度依赖标签样本问题，同时进一步提高识别精度，提出利用辅助分类生成对抗网络可生成高分辨率SAR图像方法，在生成高分辨SAR图像的过程后，对训练样本库进行扩充，判别网络不仅能够识别出SAR图像的真假，得到相应SAR图像的类别标签，而且可以生成大量含类别标签的高分辨SAR图像样本。实验结果表明，本发明方法解决了传统SAR目标识别在深度学习领域样本不足的问题，网络的识别性能得到进一步提高。
附图说明
图1基于辅助分类生成对抗网络的SAR目标识别方法
图2十类SAR目标原图像及采用辅助分类对抗生成网络生成的图像
图3生成判别网络中判别分类器对十类目标的的识别率及损失函数
具体实施方式
基于辅助分类生成对抗网络的多分类模型的建立
基于AC-GAN的多分类模型原理框图如图1所示。图1中AC-GAN由一个判别器D和一个生成器G构成，本发明提出将生成器G中的上采样卷积神经网络改为反卷积神经网络，其输入是样本的类别标签C分布和独立于类别标签C的随机噪声z向量，利用ACGAN添加标签约束可以提高生成图片质量特性，生成器G通过学习真实图像的特征可以输出非常接近真实图像的高分辨多类别的伪造生成图像；判别器D采用的是Leaky ReLU非线性输出CNN网络，真实样本Xreal和伪造生成样本Xfake图像都将作为判别器DD的输入，Softmax分类器作为判别器D的第二个输出，实现多类目标的分类。
在AC-GAN中，假设噪声随机向量z满足均匀的噪声分布Pz(z)，每个输入的样本都有相应的类别标签C满足标签分布pc(c)。在生成器G中，标签C和噪声随机向量z同时作为生成器的输入，用G(C,z)将其映射到真实图像的数据空间，可以生成伪造图像Xfake＝G(C,z)。AC-GAN的判别器D是由两部分组成，一部分也是一个二分类器，判断输入源数据是来源于真实数据还是生成数据，另一部分是一个多分类器，目标是对生成数据和真实数据两者自身的标签进行准确的分类。判别器D的输入x满足分布
Figure BDA0002300623530000051
x是标签C的真实或伪造样本图像，L表示判别向量，判别器D输出k维的逻辑判别向量
Figure BDA0002300623530000052
k为样本的种类，取值为3，10。判决器D通过Softmax函数最终输出k维的类概率向量P＝(p1,p2,..,pj,..,pk)。其中类别概率pj为：
Figure BDA0002300623530000053
判别器D输出源图像数据的概率分布P(S|X)和类别标签的概率分布P(C|X)＝D(X)，式中S表示源图像，X表示判别器的输入样本，C标示类别标签。判别器D的目标函数由正确判别源图像的二分类损失对数似然函数LS和正确标记类别标签的多分类的交叉熵损失对数似然LC两部分组成。即，LS是准确分类的真实样本Xreal和生成样本Xfake的损失，LC是准确分类样本类别的损失。在本发明方法中，由于取不同底的对数结果是等比关系，对优化没有影响，所以此处的对数函数不加底，下文同理。
LS＝E[logP(S＝real|Xreal)]+E[logP(S＝fake|Xfake)] (2)
LC＝E[logP(C＝c|Xreal)]+E[logP(C＝c|Xfake)] (3)
式中，P(S＝real|Xreal)表示当判别器的输入为真实样本Xreal，且对应真实样本正确的概率；P(S＝fake|Xfake)表示当判别器的输入为伪造生成样本Xfake，且对应生成样本正确的概率；P(C＝c|Xreal)表示当判别器的输入为真实样本Xreal，且对应类别标签正确的概率；P(C＝c|Xfake)表示当判别器的输入为生成器生成的伪造生成样本Xfake，且对应类别标签正确的概率。因此，AC-GAN网络的判别器D的优化目标是最大化LS+LC，生成器G的优化目标是最大化LC-LS。AC-GAN网络模型的优化过程，首先固定生成器G，训练判别器D；然后再固定判别器D，训练生成器G。两者交替优化，一般情况下，需要训练k次判别器再训练一次生成器。AC-GAN能够有效利用标签C信息，不仅可以在生成器G上，指定生成某种类标签的图像，同时该标签信息也能在判别器D中用来扩展整个损失函数，这样就提升了整个生成式对抗网络的性能。在上述优化迭代学习的过程中，G的目的是通过随机噪声生z成更加趋于真实样本Xreal图像的伪造生成样本Xfake图像，D的目的是区分判别真实样本Xreal和G生成的伪造生成样本Xfake图像。对抗的结果是：D对真实样本Xreal和生成的伪造生成样本Xfake图像可能性为真的概率相等。
ACGAN中判别器D除了输出样本真假判别外，还输出了输入标签的后验误差估计值。网络训练完成后，输入一个样本x，判别器就可以输出其对应于每一类的类别概率pj，选择使得每一类概率最大的类别k作为输入样本x的标签，从而实现图像分类。
现结合实施例、图表对本发明展开进一步描述，AC-GAN每轮训练的具体步骤如下：
步骤一：生成伪造样本
本发明采用将生成器G中的上采样卷积神经网络改为反卷积神经网络，将类别标签C的标签分布pc(C)和随机噪声向量z的均匀分布Pz(z)同时输入到采用反卷积神经网络的生成器G中，数据类别标签C分布信息在生成器G网络内部传递过程中可以不断调节生成器，生成器G可将上述分布信息映射到真实图像的数据空间，生成伪造生成样本Xfake＝G(C,z)。
步骤二：训练判别器网络
首先，用具有标签C的样本X(包括真实样本Xreal或生成样本Xfake)训练判别器D。然后，再将真实样本Xreal和生成样本Xfake一起作为判别器D的输入，判别器D的输入满足概率分布
Figure BDA0002300623530000071
其中L是判断器D得到的期望标签，x是判别器D期望标签L的真实样本Xreal或生成样本Xfake元素，
Figure BDA0002300623530000072
是判别器D输出的k维样本类别的实际标签C的矢量，k为样本的种类，取值为3，10。接着，在判别器D中，通过一个softmax分类器给出样本属于k个相互独立的类别的类别概率pj。因此，上述输入经过判别器D中的softmax函数最终变成k维的类概率向量P＝(p1,p2,..,pj,..,pk)，其中类别概率pj为：
Figure BDA0002300623530000073
最后，判别器D对所输入的样本数据X(包括真实样本Xreal或生成样本Xfake)来源S的概率分布P(S|X)和类别标签C的概率分布P(C|X)＝D(X)进行预测输出。这里的预测输出，指的是判别器D的最后一层的两个输出：第一个输出是一个在0和1范围内的数字，如果输入数据是真实样本Xreal，那么这个输出数字越来越接近1，如果输入数据是伪造生成样本Xfake，则输出数字越来越接近于0；第二个输出表示输入样本属于某个类的类别概率pj。由此可以进一步判断出真实样本Xreal和伪造生成样本Xfake，以及各个样本图像数据所对应类别的类别标签为1，非对应的图像数据的类别标签为0。
步骤三：扩充样本数据
判别网络从预测得到的带有类别标签的伪造生成样本Xfake的新标签样本中选出正例样本加入已有的标签样本中，用于进一步扩充训练样本数据X。本发明采用上述已经标记选出的正例伪造生成样本Xfake来扩充训练样本数据，通过这种生成方式可以得到高分辨SAR图像以便提高网络的性能。这里需要确定正例样本的选择标准。传统方法采用如下评价标准：如果Softmax分类输出的类别概率pj中的最大的概率远大于所有剩余概率的平均值，则将类概率中最大的概率对应的标签C分配给未标记的输入样本。为提高生成样本质量，本发明引入文献“Gao F，Yang Y，Wang J,et al.A Deep Convolutional GenerativeAdversarial Networks(DCGANs)-Based Semi-Supervised Method for ObjectRecognition in Synthetic Aperture Radar(SAR)Images，remote sensing,2018”提出的一种更加严格的规则：如果类别概率pj中的最大类概率pmax和其他所有剩余概率的平均值满足如下公式，那么可以确定样本属于pmax对应的类。
Figure BDA0002300623530000081
式中，k是样本的种类，α(α≥1)是区分最大类概率和其他所有剩余概率的一个系数。α值与整个网络的性能有关，网络的性能越好，α越大，在网络训练时可以调整具体值，这里经过实验测试将α取值为2。
步骤四：再次生成伪造样本
将前面已经生成标签C和噪声z同时作为生成器G的输入，再次使用生成器G(C,z)将其映射到真实样本Xreal的数据空间，再合成一批生成伪造图像Xfake＝G(C,z)。步骤五：训练整个ACGAN网络
将生成器D和判别器G连起来，并设定步骤三的伪造样本图像Xfake的标签设为1，固定判别器D的参数不变，进行一轮训练。在训练过程中，ACGAN网络的目标函数分为两部分：正确判别来源S样本(Xreal或Xfake)图像的对数似然函数LS和正确标记类标签C的对数似然LC。
Ls＝E[logP(S＝real|Xreal)]+E[logP(S＝fake|Xfake)] (3)
LC＝E[logP(C＝c|Xreal)]+E[logP(C＝c|Xfake)] (4)
其中，P(S＝real|Xreal)表示当判别器G的输入为真实样本Xreal，且对应真实样本正确的概率；P(S＝fake|Xfake)表示当判别器G的输入为伪造生成样本Xfake，且对应生成样本正确的概率；P(C＝c|Xreal)表示当判别器G的输入为真实样本Xreal，且对应类别标签正确的概率；P(C＝c|Xfake)表示当判别器G的输入为生成器生成的伪造样本Xfake，且对应类别标签正确的概率。在训练整个ACGAN网络过程中，训练判别器G使LS+LC最大化，同时训练生成器D使LC-LS最大化，这里ACGAN对于噪声向量z所学得的表征独立于类别标签C。
本步骤训练的最终目的就是为了最大化判别网络对真实样本或伪造样本和不同种类样本之间的区分度，然后最小化生成网络和真实样本数据之间的差异，使生成的多分类SAR图像的质量更好并且使训练更加稳定。
1.实验参数设置
实验环境为Intel(R)Core(TM)i5-7500 CPU@3.4GHz，内存为16GB，GPU处理器为NVIDA GeForce GTX 1080Ti，采用python2.7编程。实验中，除了将生成器G中最后一层使用tanh激活函数做归一化处理缩放到[-1，1]的范围之外，其他层均采用ReLU就函数，且并没有对训练样本做任何预处理。所有模型均采用小批量随机梯度下降法(Mini-batchStochastic Gradient Descent,MSGD)进行训练，最小批量为27。所有权重均以零均值的正态分布进行初始化，标准差为0.02。在判决器D中使用LeakyReLU作为激活函数，在LeakyReLU中，所有模型的斜率均设为0.02，dropout设置为0.5。AC-GAN是在生成器G和判别器D均使用Adam优化器和可调整的超参数。默认推荐的Adam优化器学习率为0.001，这里使用0.0002代替。此外，如果动量项设置为0.9，则容易导致训练振荡和不稳定，为有助于训练稳定将其减少到0.5。
实验数据采用美国国防高等研究计划署(Defense Advanced Research ProjectsAgency，DARPA)支持的(Moving and Stationary Target Acquisition and Recognition，MSTAR)项目公开的地面静止SAR目标的实测样本数据。聚束式、高分辨的SAR作为采集SAR样本集的传感器，且成像的分辨率为0.3×0.3m。SAR在X波段、以HH的极化方式对目标进行成像。从采集到的SAR样本数据中提取128×128包含不同类目标的样本集切片图像。仿真测试包含10类目标：2S1(自行榴弹炮)、BMP-2(步兵战车)、BRDM-2(装甲侦察车)、BTR-60(装甲运输车)、BTR-70(装甲运输车)、D7(推土机)、T-62(坦克)、T-72(坦克)、ZIL-131(货运卡车)、ZSU-234(自行高炮)。
2.实验内容
本发明通过构建标签调节生成器G的生成对抗网络，在生成高分辨SAR图像的过程中，对训练样本库进行扩充。通过归一化互信息评价生成SAR样本图像之间的相似度，进一步验证该方法可以生成多样性的SAR训练样本来对小样本数据库进行扩充。将原始训练样本与新生成的样本按不同的比例结合，验证AC-GAN的判别性能。基于AC-GAN的SAR目标识别方法原理如图1所示。对于不同分辨率的原图像(128×128、64×64)及其不同AC-GAN的方法如图2。图3显示了基于AC-GAN的SAR目标识别方法中判别分类器对十类目标的识别率及损失函数。
3.评价指标
AC-GAN最常见的问题就是模式崩塌的问题，就是方法模型能够找到一种方式，无论方法模型输入的内容是什么，生成的图片都只有一种，但是这种生成的图像却能大概率欺骗过判别器D。因而，生成的多分类SAR目标具有的多样性是评估AC-GAN模型质量的一个指标。本发明采用多层级结构相似性(Multi-Scale-Structural Similarity Index，MS-SSIM)来评价生成SAR样本图像之间的相似性度量。MS-SSIM采用如下计算：
Figure BDA0002300623530000111
其中，式中LM(X,Y)是亮度对比因子，CJ(X,Y)是对比度因子，SJ(X,Y)是结构对比因子，宽和高以2M-1为因子进行缩小。当M＝1时，表示原始图像大小；当M＝2时，表示原始图像缩放为原来的一半。相关参考文献实验得出β1＝γ1＝0.0448，β2＝γ2＝0.2856，β3＝γ3＝0.3001，β4＝γ4＝0.2363，α5＝β5＝γ5＝0.1333。
MS-SSIM是度量两幅图像相似度的一种多尺度变体，MS-SSIM的取值在0.0～1.0之间，其值越大代表两张图片的相似性越高。在给定类别中取图像对进行测试时，计算两者之间的MS-SSIM，如果图片多样性程度越高，那么MS-SSIM的值应该越低。
首先计算原始训练样本的MS-SSIM，得到平均MS-SSIM的最高值为0.25，需要注意：这里不对同类样本之间的MS-SSIM进行比较。其次统计生成的1000个生成样本，测量他们之间的MS-SSIM，其中MS-SSIM小于0.25的生成样本数有853个，说明AC-GAN生成的数据有85.3％的样本满足多样性样本的需求。因为如果生成样本的MS-SSIM的值小于训练样本的平均MS-SSIM的最大值，则可以说明生成样本比较接近真实样本，符合多样性的要求。
4.仿真测试
由图2可以看出，随着图像分辨率由64×64提高到128×128，生成样本的质量进一步提升。AC-GAN的图像合成模型的目标不仅仅是产生高分辨率SAR图像，而是通过生成对抗方法将低分辨率SAR图像生成为高分辨率SRA图像，AC-GAN产生高分辨率SAR图像更易判别样本类别标签。利用这些样本来扩充样本识别库，以期达到提高网络的识别性能目的。此外，实验测试证明，本发明提出将生成器G中的上采样卷积神经网络改为反卷积神经网络，每个训练阶段平均训练时间由原来的28秒降为20秒，若训练100个阶段的话，总共节约了13分钟左右。图3表示基于AC-GAN的SAR目标识别方法中，判别器对十类目标的识别率及损失函数。
为了评价AC-GAN中判别网络的判别能力，本发明首先从原始训练集中选择不同比例的标签样本作为训练样本集的一部分，其次将这些训练样本通过辅助对抗生成网络生成高分辨样本，然后利用生成的高分辨率样本来扩充训练样本库，最后将合成图像作为预先训练好的初始分类网络的输入，并输出初始网络为其分配正确标签的样本，计算真实以及合成图像的分类精度。应该强调的是，由于所选择的高质量图像的数量不定，其标记标签和未标记标签的总量也不应固定到一个值。当十类目标中BMP-2选择型号SN-9563，BTR-70选择型号SN-C71，T-72选择型号SN-132时，则十类目标的识别率如表1所示。
由表1可以得出，提出的基于AC-GAN的SAR目标识别方法在60％的未标记率下性能提升了2.54％。虽然和那些全标签样本的计算结果相比，总体来说本方法识别率有所下降，但在目前这种标签样本不足的情况下，利用本发明提出的方法，通过生成训练样本来增加样本数量的方法可以提高方法的性能。进一步可以证明，随着未标记样本数目及比例的增加，本发明提出的基于辅助分类生成对抗网络的这种半监督学习及联合训练的方法性能的提升越明显。
表1在不同的未标记率下半监督学习方法的改进识别率
Figure BDA0002300623530000131

Claims (1)

1.一种基于辅助分类生成对抗网络的SAR目标识别方法，其特征在于步骤如下：
步骤1：生成伪造样本
将SAR图像样本的类别标签C的标签分布pc(C)和随机噪声向量z的均匀分布Pz(z)同时输入到反卷积神经网络的生成器G中，数据类别标签C分布信息在生成器G网络内部传递过程中不断调节生成器G，生成器G将上述分布信息映射到真实SAR图像的数据空间，生成伪造生成样本Xfake＝G(C,z)；
步骤2：训练判别器
用具有标签C的训练样本X训练判别器D，所述的训练样本X包括真实样本Xreal和伪造生成样本Xfake；具体为将训练样本X中真实样本Xreal和伪造生成样本Xfake作为判别器D的输入，输入经过判别器D中的softmax函数最终变成k维的类概率向量P＝(p1,p2,..,pj,..,pk)，其中类别概率pj为：
Figure FDA0003599934860000011
其中，X＝(x1,x2,..,xj,..,xk)为训练样本；
判别器D对所输入的样本数据X进行预测输出，输出两部分内容：第一个输出是一个在0和1范围内的数字，如果输入数据是真实样本Xreal，那么这个输出数字越来越接近1，如果输入数据是伪造生成样本Xfake，则输出数字越来越接近于0；第二个输出表示输入样本属于某个类的类别概率pj；
步骤3：扩充样本数据
判别器D从预测得到的带有类别标签的伪造生成样本Xfake的新标签样本中选出正例样本加入已有的标签样本中，进一步扩充训练样本数据X；所述的正例样本的选择原则：如果类别概率pj中的最大概率pmax和其他所有剩余概率的平均值满足如下公式，那么可以确定样本Xfake属于pmax对应的类；
Figure FDA0003599934860000021
式中，k是样本的种类，α是区分最大类概率和剩余概率的一个系数，α≥1；
步骤4：再次生成伪造样本
将步骤2生成的样本的类别标签C的标签分布pc(C)和随机噪声向量z的均匀分布Pz(z)同时输入到反卷积神经网络的生成器G中，再次使用生成器G(C,z)将其映射到真实样本Xreal的数据空间，再合成一批生成伪造样本图像X′fake＝G(C,z)；
步骤5：训练整个ACGAN网络
将生成器G和判别器D连起来，并设定步骤4的伪造样本图像X′fake的标签设为1，将X′fake和Xreal作为X样本输入生成器G和判别器D中，进行一轮训练；在训练过程中，ACGAN网络得到的目标函数分为两部分：正确判别X样本，即Xreal或X′fake图像的对数似然函数LS和正确标记类标签C的对数似然LC：
Ls＝E[log P(X＝real|Xreal)]+E[log P(X＝fake|X′fake)]
LC＝E[log P(C＝c|Xreal)]+E[log P(C＝c|Xfake)]
其中，P(X＝real|X′real)表示当判别器的输入为真实样本X′real，且对应真实样本正确的概率；P(X＝fake|X′fake)表示当判别器的输入为伪造样本图像X′fake，且对应生成样本正确的概率；P(C＝c|Xreal)表示当判别器的输入为真实样本Xreal，且对应类别标签正确的概率；P(C＝c|X′fake)表示当判别器的输入为生成器生成的伪造样本图像X′fake，且对应类别标签正确的概率；在训练整个ACGAN网络过程中，训练判别器使LS+LC最大化，同时训练生成器使LC-LS最大化。
CN201911220271.7A 2019-12-03 2019-12-03 基于辅助分类生成对抗网络的sar目标识别方法 Active CN111027439B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911220271.7A CN111027439B (zh) 2019-12-03 2019-12-03 基于辅助分类生成对抗网络的sar目标识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911220271.7A CN111027439B (zh) 2019-12-03 2019-12-03 基于辅助分类生成对抗网络的sar目标识别方法

Publications (2)

Publication Number Publication Date
CN111027439A CN111027439A (zh) 2020-04-17
CN111027439B true CN111027439B (zh) 2022-07-29

Family

ID=70204055

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911220271.7A Active CN111027439B (zh) 2019-12-03 2019-12-03 基于辅助分类生成对抗网络的sar目标识别方法

Country Status (1)

Country Link
CN (1) CN111027439B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111241291B (zh) * 2020-04-24 2023-01-03 支付宝(杭州)信息技术有限公司 利用对抗生成网络生成对抗样本的方法及装置
CN111382807B (zh) * 2020-06-01 2020-09-01 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN111639718B (zh) * 2020-06-05 2023-06-23 中国银行股份有限公司 分类器应用方法及装置
CN112100908B (zh) * 2020-08-31 2024-03-22 西安工程大学 一种基于多条件深度卷积生成对抗网络的服装设计方法
CN112132012B (zh) * 2020-09-22 2022-04-26 中国科学院空天信息创新研究院 基于生成对抗网络的高分辨率sar船舶图像生成方法
CN112307926B (zh) * 2020-10-26 2022-12-06 西北工业大学 一种基于生成对抗网络的声学被动式舰船目标分类方法
CN112380767B (zh) * 2020-11-11 2023-04-07 山东大学 基于改进型生成对抗网络的设备故障诊断方法及系统
CN112270996B (zh) * 2020-11-13 2023-04-25 南京信息工程大学 一种可用于多变量医疗传感数据流的分类方法
CN112700408B (zh) * 2020-12-28 2023-09-08 中国银联股份有限公司 模型训练方法、图像质量评估方法及装置
CN112560795B (zh) * 2020-12-30 2022-07-26 南昌航空大学 一种基于cn-gan与cnn的sar图像目标识别算法
CN112990342B (zh) * 2021-04-08 2023-09-19 重庆大学 一种半监督sar目标识别方法
CN113191268B (zh) * 2021-04-30 2024-04-23 中山大学 基于深度编码网络的sar目标识别对抗样本生成方法
CN113205140B (zh) * 2021-05-06 2022-11-15 中国人民解放军海军航空大学 基于生成式对抗网络的半监督式特定辐射源个体识别方法
CN113269243A (zh) * 2021-05-18 2021-08-17 西安交通大学 一种基于生成式对抗网络的关联识别方法及设备
CN113298007B (zh) * 2021-06-04 2024-05-03 西北工业大学 一种小样本sar图像目标识别方法
CN113406437B (zh) * 2021-06-21 2022-03-08 西南交通大学 一种基于辅助分类生成对抗网络的输电线路故障检测方法
CN113537031B (zh) * 2021-07-12 2023-04-07 电子科技大学 基于多鉴别器条件生成对抗网络的雷达图像目标识别方法
CN113591960A (zh) * 2021-07-22 2021-11-02 江阴长仪集团有限公司 一种基于改进生成对抗网络的电压暂降事件类型辨识方法
CN114359667B (zh) * 2021-12-30 2024-01-30 西安交通大学 一种基于生成式对抗网络的强度相干识别方法及设备
CN115410083B (zh) * 2022-08-24 2024-04-30 南京航空航天大学 一种基于对抗域适应的小样本sar目标分类方法及装置
CN116189063B (zh) * 2023-04-24 2023-07-18 青岛润邦泽业信息技术有限公司 一种用于智能视频监控的关键帧优化方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109784401A (zh) * 2019-01-15 2019-05-21 西安电子科技大学 一种基于acgan的极化sar图像分类方法
CN109934282A (zh) * 2019-03-08 2019-06-25 哈尔滨工程大学 一种基于sagan样本扩充和辅助信息的sar目标分类方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10825219B2 (en) * 2018-03-22 2020-11-03 Northeastern University Segmentation guided image generation with adversarial networks
CN109948660A (zh) * 2019-02-26 2019-06-28 长沙理工大学 一种改进辅助分类器gan的图像分类方法
CN110598530A (zh) * 2019-07-30 2019-12-20 浙江工业大学 一种基于acgan的小样本无线电信号增强识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109784401A (zh) * 2019-01-15 2019-05-21 西安电子科技大学 一种基于acgan的极化sar图像分类方法
CN109934282A (zh) * 2019-03-08 2019-06-25 哈尔滨工程大学 一种基于sagan样本扩充和辅助信息的sar目标分类方法

Also Published As

Publication number Publication date
CN111027439A (zh) 2020-04-17

Similar Documents

Publication Publication Date Title
CN111027439B (zh) 基于辅助分类生成对抗网络的sar目标识别方法
CN110717553B (zh) 一种基于自衰减权重和多局部约束的交通违禁品识别方法
Chen et al. Target classification using the deep convolutional networks for SAR images
CN109766835B (zh) 基于多参数优化生成对抗网络的sar目标识别方法
CN108399420B (zh) 一种基于深度卷积网络的可见光舰船虚警剔除方法
CN110781830A (zh) 基于空-时联合卷积的sar序列图像分类方法
CN104899549A (zh) 基于距离像时频图鉴别字典学习的sar目标识别方法
CN110895682A (zh) 一种基于深度学习的sar目标识别方法
CN104252625A (zh) 样本自适应多特征加权的遥感图像分类方法
CN113297572A (zh) 基于神经元激活模式的深度学习样本级对抗攻击防御方法及其装置
CN107545279A (zh) 基于卷积神经网络与加权核特征分析的图像识别方法
CN109359525A (zh) 基于稀疏低秩的判别谱聚类的极化sar图像分类方法
CN111178439A (zh) 基于卷积神经网络及微调的sar图像分类方法
CN109558803B (zh) 基于卷积神经网络与np准则的sar目标鉴别方法
CN116778225A (zh) 基于解耦与重构学习的sar真假目标鉴别与目标识别方法
CN110033043B (zh) 基于条件生成式对抗网络的雷达一维距离像拒判方法
Qin et al. Scattering Attribute Embedded Network for Few-Shot SAR ATR
Hsu et al. Comparative analysis of five neural network models
CN110046590A (zh) 一种基于粒子群优化深度学习特征选择的一维像识别方法
Li et al. SAR image object detection based on improved cross-entropy loss function with the attention of hard samples
Zhan et al. SAR automatic target recognition based on deep convolutional neural networks
CN116311067A (zh) 基于高维特征图谱的目标综合识别方法、装置及设备
CN116030300A (zh) 一种用于零样本sar目标识别的渐进式域自适应识别方法
Liu et al. Spotlight SAR image recognition based on dual-channel feature map convolutional neural network
Qin et al. An ATR method for imbalanced data SAR images based on CCEGAN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant