CN109977964A - 一种基于深度生成模型的sar图像方位角特征提取算法 - Google Patents

一种基于深度生成模型的sar图像方位角特征提取算法 Download PDF

Info

Publication number
CN109977964A
CN109977964A CN201910136010.0A CN201910136010A CN109977964A CN 109977964 A CN109977964 A CN 109977964A CN 201910136010 A CN201910136010 A CN 201910136010A CN 109977964 A CN109977964 A CN 109977964A
Authority
CN
China
Prior art keywords
sar image
depth
divergence
feature extraction
azimuth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910136010.0A
Other languages
English (en)
Other versions
CN109977964B (zh
Inventor
徐雁冰
张弓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN201910136010.0A priority Critical patent/CN109977964B/zh
Publication of CN109977964A publication Critical patent/CN109977964A/zh
Application granted granted Critical
Publication of CN109977964B publication Critical patent/CN109977964B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度生成模型的SAR图像方位角特征提取算法，利用改进的变分自编码器模型，在训练过程中人为控制每一批送入网络的训练数据只有方位角这一个变量，对部分隐变量进行钳制，使得神经网络学习得的方位角特征压缩至未被钳制的一维隐变量中，将学习率改进为自适应学习率以提升收敛速度。本发明的仿真结果验证了理论分析的可行性，本发明的结论对SAR图像的解译具有重要的理论指导意义。

Description

一种基于深度生成模型的SAR图像方位角特征提取算法
技术领域
本发明涉及信息传输与处理技术领域，尤其是一种基于深度生成模型的SAR图像方位角特征提取算法。
背景技术
雷达由于其全天时全天候的观测特征及其穿越云层和植被探测的能力，被广泛应用于军事和民用领域。然而SAR图像特征随着不同的姿态、俯仰角、成像参数等具有较大变化，其存在的相干斑噪声更是严重降低了图像的可解译程度，也给后续的目标分类及探测带去极大挑战，而近年来神经网络和深度学习的快速发展给SAR-ATR领域带来了新的启示。
相比传统的人工设计寻找特征，利用特征进行分类的方法，近年来国内外较多专业研究人员尝试直接利用CNN以及搭建不同的卷积神经网络架构进行降维及分类已经可以得到大约98％的识别率，且实现较为简单，然而，将CNN得到的降维后的数据统称为特征不具备可解译性。
发明内容
本发明所要解决的技术问题在于，提供一种基于深度生成模型的SAR图像方位角特征提取算法，解决了SAR图像应用深度学习方法的特征提取及特征解译问题，并研究了此估计方法的性能。
为解决上述技术问题，本发明提供一种基于深度生成模型的SAR图像方位角特征提取算法，包括如下步骤：
(1)将处理好的SAR图像送入深度生成模型即变分自编码器VAE中，输入数据x通过编码器网络得到后验概率pθ(z|xi)，为了能够重构图像，要求后验概率逼近标准高斯分布，为达到这个目的，利用z的先验概率p(z)和pθ(z|xi)之间的KL散度作为额外的损失，其中，p(z)满足正态分布，KL散度计算可得：
DKL(pθ(z|xi)||p(z))＝1/2(-logσ2+μ2+σ2-1)
其中，μ表示编码器网络学得的均值，σ2表示方差，通过对pθ(z|xi)采样，利用VAE原作者Kingma提出的重参数技巧得到zi，i＝0，1，2....n；
(2)为了使得隐变量z具备表征特征的能力，在前向传播过程中，将zi≠z0的部分都钳制，这样z0作为z中的唯一变量就被迫表征批输入中的变量，也就是方位角变量；
(3)将得到的n维z向量送入解码器网络，得到条件概率并由此得到重构数据y，利用均方根误差MSE衡量重构数据y和输入数据x的差距；
(4)在后向传播过程中，z0正常接收训练过程中从重构反向传播回来的梯度信息，将zi≠z0部分的梯度人为钳制；
(5)模型试图最小化对数似然的重构误差和KL散度，由于在训练过程中对大多数隐变量进行了钳制，难以收敛，将学习率改进；同时调整重构损失和KL散度之间的权重关系，最终成功得到重构图像以及提取到可解释的特征，目标函数可以写成：
其中w1和w2代表重构损失和kl散度的权重。
优选的，步骤(1)中，每一批输入数据除了方位角不相同其他条件均要求相同。
优选的，步骤(2)中，将zi≠z0的部分都钳制为的均值，其中k代表批输入的大小，
优选的，步骤(4)中，将zi≠z0部分的梯度改为zi和的均值的差值，即可以在高维空间靠的更近，为了不影响重构结果，给它乘上一个正则系数使其数值减小，选择正则系数为1/300。
优选的，步骤(5)中，改进学习率为自适应学习率，设置初始学习率为0.001，衰减系数为0.96，每一百步进行衰减；为了提升网络重构能力，根据SAR图像特殊的成像机理改进编码器解码器网络结构为残差网络；调整w1和w2代表重构损失和kl散度的权重，经过多次实验选择3和0.5。
本发明的有益效果为：在SAR图像智能解译过程中，利用改进的变分自编码器模型学习到可解译的隐变量，在成功重构输入数据的前提下利用控制变量的训练方法得到表征方位角特征的z0，在测试过程中改变z0可以得到不同方位角的输入图像，同时得到z0与方位角得大致定性关系，z0变大，方位角顺时针变化，z0变小，方位角逆时针变化，本发明提出的SAR图像特征方法在SAR图像智能解译领域中有很好的理论指导意义。
附图说明
图1为本发明的方法流程示意图。
图2为本发明输入及重构图像、以及改变z0得到同一目标不同方位角的示意图。
图3为本发明训练1000次的loss曲线示意图。
图4为本发明自适应学习率的衰减曲线示意图。
图5为本发明训练1000次得到的一批重构图像示意图。
图6为本发明输入的一批原始SAR图像示意图。
图7为本发明z0依次累加0.2所得顺时针转角示意图。
图8为本发明z0依次累减0.2所得逆时针转角示意图。
具体实施方式
如图1所示，一种基于深度生成模型的SAR图像方位角特征提取算法，包括如下步骤：
步骤1、将处理好的SAR图像送入深度生成模型即变分自编码器(VAE)中，保证每一批数据除了方位角不相同其他条件均相同。输入数据x通过编码器网络得到后验概率pθ(z|xi)，为了能够重构图像，要求后验概率逼近标准高斯分布，为达到这个目的，利用z的先验概率和pθ(z|xi)之间的KL散度作为额外的损失，其中，p(z)满足正态分布。
KL散度计算可得：
DKL(pθ(z|xi)||p(z))＝1/2(-logσ2+μ2+σ2-1)
其中，μ表示编码器网络学得的均值，σ2表示方差，通过对pθ(z|xi)采样，利用VAE原作者Kingma提出的重参数技巧得到zi。
步骤2、为了使得隐变量z具备表征特征的能力，在前向传播过程中，将zi≠z0的部分都钳制为的均值，其中k代表批输入的大小，这样z0作为z中的唯一变量就被迫表征批输入中的变量，也就是方位角变量。
步骤3、将得到的n维z向量送入解码器网络，得到条件概率并由此得到重构数据y。利用均方根误差(MSE)衡量重构数据y和输入数据x的差距；
步骤4、在后向传播过程中，z0正常接收训练过程中从重构反向传播回来的梯度信息，将zi≠z0部分的梯度改为zi和的均值的差值，可以在高维空间靠的更近，为了不影响重构结果，给它乘上一个正则系数1/300使其数值减小。
步骤5、模型试图最小化对数似然的重构误差和KL散度。由于在训练过程中对大多数隐变量进行了钳制，难以收敛，将学习率改进为自适应学习率，设置衰减系数为0.96，每一百步进行衰减，增加迭代次数，改进编码器解码器结构为残差网络，同时调整重构损失和KL散度之间的权重关系，最终成功得到重构图像以及提取到可解释的特征。目标函数可以写成：
其中w1和w2代表重构损失和kl散度的权重，经过多次实验选择3和0.5
本发明中采用tensorflow1.8及NVIDIA1080Ti实验平台仿真基于深度生成模型的SAR图像方位角特征提取性能，仿真结果验证了本发明的正确性、可行性和有效性。如图2所示，网络训练完成后，输入一批除了方位角不同，其他变量均相同的测试图像，即该批图像为同一类别，同一俯仰角不同方位角的SAR图像，任选5个进行输出显示，第一列为原图，第二列为经过神经网络得到的重构图，第一列和第二列需尽可能的相似代表神经网络训练结果不错，达到生成以假乱真的图像的作用；第三列为z0加0.2得到的重构图，可以看出方位角进行了变化；第四列为z0加上0.9得到的重构图，可以看出方位角再次变化。
如图3所示，代表本发明搭建的神经网络能够在较短时间收敛且训练可以达到稳定，不产生梯度爆炸或者梯度消失问题。但是由于本方法钳制了梯度的特殊性，存在loss值难以收敛到最优结果，因此重构图像略模糊。
如图4所示，由于本发明在训练过程中对梯度进行了钳制导致训练速度慢，改进了学习率的设置方法为自适应学习率，不同以往学习率的设置是一个固定值，本发明设置初始学习率0.001，每100步进行一次衰减，衰减系数为0.96，该图显示了训练过程学习率的变化。
如图5所示，本图为神经网络训练一千次得到的重构图像，由于训练时批大小为128，设置显示格式为8*16，本图与图6进行对比可以验证本发明构建的神经网络学习到了SAR图像特征比如轮廓、阴影，且成功重构了SAR图像。如图6所示，为输入神经网络的一批训练数据，显示格式为8*16。
如图7所示，为探究z0的数值变化和方位角角度变化的定性关系，第一列为输入图像，第二列为重构图像，由于z0趋向于服从标准高斯分布，数值范围为-3到3。因此3-6列为z0依次累加0.2，得到的结果图相比原图可以看出均为顺时针转动某一角度。
如图8所示，为探究z0的数值变化和方位角角度变化的定性关系，第一列为输入图像，第二列为重构图像，由于z0趋向于服从标准高斯分布，数值范围为-3到3。因此3-6列为z0依次累减0.2，得到的结果图相比原图可以看出均为逆时针转动某一角度。
由于SAR图像不同于光学图像的特殊成像机理，其具备着肉眼难以辨别，方位敏感性强等特征，不利于研究人员对SAR图像进行分类识别等研究。而神经网络具体为生成模型，借助强大的计算能力可以对光学图像进行学习，进而生成和原图一模一样的重构图，因此将生成模型应用于SAR图像领域可以解决SAR图像存在的小样本问题；更进一步，基于本发明的改进的生成模型，可以人为规定隐变量各个维度代表的特征属性，进而改变隐变量的数值大小得到对应特征变化的重构图像，那么在神经网络训练完成后我们可以得到任意个不同方位角的重构图，可以解决SAR图像的小样本问题。更近一步，这也是对深度学习应用于SAR图像解译领域的一个探索，训练样本满足条件的情况下，本发明可以得到方位角，俯仰角，甚至类别等多个特征，实现利用神经网络进行SAR图像特征学习的目的。

Claims (5)

1.一种基于深度生成模型的SAR图像方位角特征提取算法，其特征在于，包括如下步骤：
(1)将处理好的SAR图像送入深度生成模型变分自编码器VAE中，输入数据x通过编码器网络得到后验概率pθ(z|xi)，利用z的先验概率p(z)和Pθ(z|xi)之间的KL散度作为额外的损失，其中，p(z)满足正态分布，KL散度计算可得：
DKL(pθ(z|xi)||p(z))＝1/2(-logσ2+μ2+σ2-1)
其中，μ表示编码器网络学得的均值，σ2表示方差，通过对pθ(z|xi)采样，利用重参数技巧得到zi，i＝0，1，2....n；
(2)在前向传播过程中，将zi≠z0的部分都钳制，z0作为z中的唯一变量就被迫表征批输入中的变量，也就是方位角变量；
(3)将得到的n维z向量送入解码器网络，得到条件概率并由此得到重构数据y，利用均方根误差MSE衡量重构数据y和输入数据x的差距；
(4)在后向传播过程中，z0正常接收训练过程中从重构反向传播回来的梯度信息，将zi≠z0部分的梯度人为钳制；
(5)模型试图最小化对数似然的重构误差和KL散度，将学习率改进；同时调整重构损失和KL散度之间的权重关系，最终成功得到重构图像以及提取到可解释的特征，目标函数可以写成：
其中w1和w2代表重构损失和kl散度的权重。
2.如权利要求1所述的基于深度生成模型的SAR图像方位角特征提取算法，其特征在于，步骤(1)中，每一批输入数据除了方位角不相同其他条件均要求相同。
3.如权利要求1所述的基于深度生成模型的SAR图像方位角特征提取算法，其特征在于，步骤(2)中，将zi≠z0的部分都钳制为的均值，其中k代表批输入的大小，
4.如权利要求1所述的基于深度生成模型的SAR图像方位角特征提取算法，其特征在于，步骤(4)中，将zi≠z0部分的梯度改为zi和的均值的差值，即 在高维空间靠的更近，乘上一个正则系数使其数值减小，选择正则系数为1/300。
5.如权利要求1所述的基于深度生成模型的SAR图像方位角特征提取算法，其特征在于，改进学习率为自适应学习率，设置初始学习率为0.001，衰减系数为0.96，每一百步进行衰减；根据SAR图像特殊的成像机理改进编码器解码器网络结构为残差网络；调整w1和w2代表重构损失和k1散度的权重，选择3和0.5。
CN201910136010.0A 2019-02-25 2019-02-25 一种基于深度生成模型的sar图像方位角特征提取方法 Active CN109977964B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910136010.0A CN109977964B (zh) 2019-02-25 2019-02-25 一种基于深度生成模型的sar图像方位角特征提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910136010.0A CN109977964B (zh) 2019-02-25 2019-02-25 一种基于深度生成模型的sar图像方位角特征提取方法

Publications (2)

Publication Number Publication Date
CN109977964A true CN109977964A (zh) 2019-07-05
CN109977964B CN109977964B (zh) 2021-07-27

Family

ID=67077258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910136010.0A Active CN109977964B (zh) 2019-02-25 2019-02-25 一种基于深度生成模型的sar图像方位角特征提取方法

Country Status (1)

Country Link
CN (1) CN109977964B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269675A (zh) * 2021-05-18 2021-08-17 东北师范大学 基于深度学习模型的时变体数据时间超分辨率可视化方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100278387A1 (en) * 2009-02-25 2010-11-04 Light Prescriptions Innovators, Llc Passive Electro-Optical Tracker
CN104881670A (zh) * 2015-05-20 2015-09-02 电子科技大学 一种用于sar方位角估计的快速目标提取方法
CN107229933A (zh) * 2017-05-11 2017-10-03 西安电子科技大学 自适应体散射模型的freeman/特征值分解方法
CN107563420A (zh) * 2017-08-23 2018-01-09 西安电子科技大学 基于散射能量和堆栈自编码的极化sar图像分类方法
CN108399625A (zh) * 2018-02-28 2018-08-14 电子科技大学 一种基于深度卷积生成对抗网络的sar图像定向生成方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100278387A1 (en) * 2009-02-25 2010-11-04 Light Prescriptions Innovators, Llc Passive Electro-Optical Tracker
CN104881670A (zh) * 2015-05-20 2015-09-02 电子科技大学 一种用于sar方位角估计的快速目标提取方法
CN107229933A (zh) * 2017-05-11 2017-10-03 西安电子科技大学 自适应体散射模型的freeman/特征值分解方法
CN107563420A (zh) * 2017-08-23 2018-01-09 西安电子科技大学 基于散射能量和堆栈自编码的极化sar图像分类方法
CN108399625A (zh) * 2018-02-28 2018-08-14 电子科技大学 一种基于深度卷积生成对抗网络的sar图像定向生成方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CHEN S, ET.AL: "SAR target recognition based on deep learning", 《INTERNATIONAL CONFERENCE ON DATA SCIENCE & ADVANCED ANALYTICS》 *
GUO, D., ET.AL: "SAR image target recognition via deep Bayesian generative network", 《IN 2017 INTERNATIONAL WORKSHOP ON REMOTE SENSING WITH INTELLIGENT PROCESSING (RSIP)》 *
刘冬: "SAR图像方向性目标检测与识别研究", 《优秀硕士学位论文全文数据库》 *
李浩琛: "基于深度学习的工业机器人目标定位及位姿估计研究", 《中国优秀硕士学位论文全文数据库》 *
翟颖: "基于自编码模型的雷达高分辨距离像目标识别方法研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269675A (zh) * 2021-05-18 2021-08-17 东北师范大学 基于深度学习模型的时变体数据时间超分辨率可视化方法
CN113269675B (zh) * 2021-05-18 2022-05-13 东北师范大学 基于深度学习模型的时变体数据时间超分辨率可视化方法

Also Published As

Publication number Publication date
CN109977964B (zh) 2021-07-27

Similar Documents

Publication Publication Date Title
CN110334741B (zh) 基于循环神经网络的雷达一维距离像识别方法
CN106683048B (zh) 一种图像超分辨率方法及设备
CN107563433B (zh) 一种基于卷积神经网络的红外小目标检测方法
CN108847223B (zh) 一种基于深度残差神经网络的语音识别方法
CN106228142A (zh) 基于卷积神经网络和贝叶斯决策的人脸验证方法
CN110175560A (zh) 一种雷达信号脉内调制识别方法
CN111753881A (zh) 一种基于概念敏感性量化识别对抗攻击的防御方法
CN106295694A (zh) 一种迭代重约束组稀疏表示分类的人脸识别方法
CN114595732B (zh) 基于深度聚类的雷达辐射源分选方法
CN110298235A (zh) 基于流形约束自编码网络的高光谱异常检测方法及系统
CN108596156A (zh) 一种智能sar雷达空中飞行目标识别系统
CN107563430A (zh) 一种基于稀疏自动编码器和灰度关联分析法的卷积神经网络算法优化方法
Hüttner et al. First response fire combat: Deep leaning based visible fire detection
CN113569881A (zh) 一种基于链式残差与注意力机制的自适应语义分割方法
CN117079098A (zh) 一种基于位置编码的空间小目标检测方法
CN106067165B (zh) 基于聚类化稀疏随机场的高光谱图像去噪方法
CN113505810A (zh) 基于池化视觉Transformer杂草生长周期检测方法
CN109255339A (zh) 基于自适应深度森林人体步态能量图的分类方法
CN109977964A (zh) 一种基于深度生成模型的sar图像方位角特征提取算法
CN113723482B (zh) 基于多示例孪生网络的高光谱目标检测方法
CN111104876A (zh) 一种基于神经网络的红外光谱反卷积方法
CN108647653A (zh) 一种智能sar雷达陆地坦克目标识别系统
Ren et al. Fast RCS data generation based on infoGAN
CN102999765B (zh) 自适应提升法和非相关判别分析的猪肉贮藏时间判定方法
CN106803080B (zh) 一种基于形状玻尔兹曼机的补全式行人检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant