CN112966748B - 基于边缘感知双分支fcn的极化sar图像分类方法 - Google Patents

基于边缘感知双分支fcn的极化sar图像分类方法 Download PDF

Info

Publication number
CN112966748B
CN112966748B CN202110254493.1A CN202110254493A CN112966748B CN 112966748 B CN112966748 B CN 112966748B CN 202110254493 A CN202110254493 A CN 202110254493A CN 112966748 B CN112966748 B CN 112966748B
Authority
CN
China
Prior art keywords
edge
branch
classification
polarized sar
sar image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110254493.1A
Other languages
English (en)
Other versions
CN112966748A (zh
Inventor
陈彦桥
张小龙
柴兴华
何静芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 54 Research Institute
Original Assignee
CETC 54 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 54 Research Institute filed Critical CETC 54 Research Institute
Priority to CN202110254493.1A priority Critical patent/CN112966748B/zh
Publication of CN112966748A publication Critical patent/CN112966748A/zh
Application granted granted Critical
Publication of CN112966748B publication Critical patent/CN112966748B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于边缘感知双分支FCN的极化SAR图像分类方法，属于图像处理技术领域。其包括以下步骤：输入极化SAR图像；使用精致Lee滤波算法对极化SAR图像滤波；得到极化SAR图像的边缘标签；随机选取部分有标记样本，设置为训练集，剩余的有标记样本设置为测试集；使用训练集对双分支全卷积网络进行训练，得到训练好的分类模型。本发明以全卷积网络为基础，增加边缘感知网络，通过同步训练分类网络和边缘感知网络两个分支，达到约束分类区域边缘、增强区域一致性的目的，从而有效地提升极化SAR图像的分类准确率。

Description

基于边缘感知双分支FCN的极化SAR图像分类方法
技术领域
本发明属于图像处理技术领域，特别是指一种基于边缘感知双分支FCN的极化SAR图像分类方法。
背景技术
近些年来，各类遥感技术得到了非常大的进展，极化SAR在遥感领域也变得愈发重要。极化SAR可以不受时间和天气的约束不断提供高质量图像。而且，得益于极化SAR丰富的极化信息，极化SAR已经在农业、地质勘探、军事、城市规划和海洋监测等诸多领域得到了广泛应用。
极化SAR图像分类是遥感图像处理中的一个重要应用。极化SAR图像分类常用的方法可以分为：基于射特性的分类方法、基于统计特性的分类方法、基于机器学习和深度学习的分类方法。然而，对于极化SAR图像物理机制的进一步研究已经比较困难，尤其是对于复杂的场景，很难得到每一个像素潜在的物理机制。同样，基于统计特性的分类方法也碰到了瓶颈，没有重大理论突破，已经很难再进一步提高极化SAR图像分类性能。受益于机器学习和深度学习的迅猛发展，基于机器学习和深度学习的极化SAR图像分类得到了飞速发展，如支撑向量机、神经网络、马尔科夫随机场、K近邻、贝叶斯(Bayes)、稀疏自编码器、深度置信网络、卷积神经网络都已经成功应用于极化SAR图像分类。
众所周知，极化SAR图像分类是稠密分类问题，上述模型从架构上来说都不是最优模型。幸运的是，近些年提出的全卷积网络是一种稠密分类架构，特别适合应用于极化SAR图像分类，而且在最近几年，一系列基于全卷积网络的极化SAR分类方法被提出，极化SAR图像分类得到了迅猛发展。然而，全卷积网络(Fully Convolutional Networks，FCN)在图像便与区域分类效果不佳，限制了极化SAR图像分类效果的进一步提升。
发明内容
有鉴于此，本发明提出了一种基于边缘感知双分支FCN的极化SAR图像分类方法，能够提升全卷积网络在边缘区域的分类准确率，进一步增强分类的区域一致性。
为实现上述目的，本发明采用的技术方案为：
一种基于边缘感知双分支FCN的极化SAR图像分类方法，包括如下步骤：
步骤1，输入极化SAR图像；
步骤2，使用精致Lee滤波算法对极化SAR图像进行滤波；
步骤3，得到极化SAR图像的边缘标签；
步骤4，随机选取部分有标记样本，设置为训练集，剩余的有标记样本设置为测试集；
步骤5，使用训练集对双分支全卷积网络进行训练，得到训练好的极化SAR图像分类模型。
进一步的，步骤3的具体方式为：采用归一化的高斯模板对极化SAR图像的真实标签图像进行滤波，模板大小为5×5，高斯函数的参数σ＝1.4，之后对滤波得到的梯度图进行阈值处理，将灰度值小于25的像素设置为背景，大于25的像素设置为边缘，从而获得边缘标签。
进一步的，步骤5的具体方式为：边缘感知网络分支只参与训练，测试时只采用分类网络来预测类别输出；此外，将极化SAR图像切割成子图，然后对子图进行训练；所述双分支全卷积网络有两个分支网络，其中，一个分支网络是边缘感知网络，另一个分支网络是全卷积网络，两个分支网络共享编码器结构和参数；
训练双分支全卷积网络的损失函数LDBFCN为：
LDBFCN＝λclLcl+λbdLbd
其中，Lcl代表分类损失，Lbd代表边缘检测损失，λcl和λbd分别为对应的损失权重，用于调整分类损失和边缘检测损失的相对重要性；
Lcl用多元交叉熵损失函数表示：
Figure BDA0002967477460000021
式中，M表示训练样本个数，N表示极化SAR图像分类的类别个数，yij和y′ij分别代表真实类别分布和预测类别的概率分布；
Lbd用二元交叉熵损失函数表示：
Figure BDA0002967477460000022
式中，
Figure BDA0002967477460000023
和
Figure BDA0002967477460000024
分别代表真实边缘分布和边缘检测分布，γ为边缘惩罚项参数且γ>1。
本发明与现有技术相比具有如下优点：
1、本发明方法以FCN全卷积网络为基础架构，可以进行端到端的稠密分类，为极化SAR图像分类提供架构支撑。
2、本发明提出了边缘感知双分支全卷积网络，在全卷机网络的基础上增加边缘感知网络，同步训练分类网络和边缘感知网络两个分支，达到约束分类区域边缘、增强区域一致性的目的，从而有效地提升极化SAR图像的分类准确率。
附图说明
图1是本发明实施例中分类方法的流程图。
图2是本发明实施例中边缘感知双分支全卷积网络的架构图。
图3是本发明实施例中的Flevoland地区的分类结果图。
图4是本发明实施例中的Oberpfaffenhofen地区的分类结果图。
具体实施方式
以下结合附图对本发明的实现步骤和实验效果作进一步详细描述：
参照图1，一种基于边缘感知双分支FCN的极化SAR图像分类方法，其包括如下步骤：
步骤1，输入极化SAR图像。
步骤2，使用精致Lee滤波算法对极化SAR图像滤波。
步骤3，得到极化SAR图像的边缘标签，具体操作步骤如下：
采用归一化的高斯模板对极化SAR图像的真实标签图像进行滤波，模板大小为5×5，高斯函数的参数σ＝1.4，之后对滤波得到的梯度图进行阈值处理，将灰度值小于25的像素设置为背景，大于25的像素设置为边缘，即可获得边缘标签。
步骤4，随机选取2％有标记样本，设置为训练集，剩余的有标记样本设置为测试集；
步骤5，使用训练集对双分支全卷积网络进行训练,并将训练好的模型标记为DBFCN。
图2给出了双分支全卷积网络的框架图，双分支全卷积网络可以分为边缘感知部分和图像分类部分，其中Conv代表卷积层，Pool代表池化层，Deconv代表反卷积层，Unpool代表反池化层，DAM代表双注意力模型(通道注意力和空间注意力)，RRM代表残差修正模块，FAM代表融合注意力模块，双分支全卷积网络架构参数如表1所示，其中w与h代表输入图像尺寸，numClass代表图像目标类别数目。
表1双分支全卷积网络结构参数
Figure BDA0002967477460000031
Figure BDA0002967477460000041
双分支全卷积网络的具体训练方式为：边缘感知网络分支只参与训练，测试时只采用分类网络来预测类别输出。另外，由于网络参数增加，本方法将极化SAR图像切割成较小尺寸的子图，然后对子图进行训练。在有限的计算资源下，通过控制批量输入大小，这一策略能够灵活对各种尺寸的极化SAR图像进行分类。双分支全卷积网络有两个分支网络，一部分是边缘感知网络，另一部分是具有良好分类性能的特征注意和特征改善全卷积网络，它们共享编码器结构和参数，推动学习两个任务的共性并进行多任务优化。训练双分支全卷积网络的损失函数记为：
LDBFCN＝λclLcl+λbdLbd
其中，Lcl代表分类损失，Lbd代表边缘检测损失，λcl和λbd分别为对应的损失权重，用于调整分类损失和边缘检测损失的相对重要性，Lcl用多元交叉熵损失函数表示：
Figure BDA0002967477460000042
式中，M表示训练样本个数，N表示极化SAR图像分类的类别个数，yij和y′ij分别代表真实类别分布和预测类别的概率分布。Lbd用二元交叉熵损失函数表示：
Figure BDA0002967477460000051
式中，
Figure BDA0002967477460000052
和
Figure BDA0002967477460000053
分别代表真实边缘分布和边缘检测分布，γ为边缘惩罚项参数且γ>1。由于极化SAR图像中边缘样本和非边缘样本的数量差异较大，因此要对没有检测到边缘的情况进行惩罚，这样可以减少样本类别不平衡带来的影响，提升边缘检测性能。本方法对分类添加边缘约束以减少类别边缘区域的误分类，目的是进一步增强分类的区域一致性。
进一步的，可使用测试集对训练好的DBFCN模型进行测试。具体操作方式为：进行多次实验，分别统计总分类准确率的平均值与Kappa系数的平均值。
以下为对比实验：
以下实验均在ubuntu系统下的pycharm pro 2019.1IDE中完成，其他软件环境为：
tensorflow-gpu 1.10.0，python3.6，CPU型号为主频3.5GHz的Intel(R)Core(TM)i7-7800X，显卡型号为GTX 1080，共8G显存。
实验中对卷积神经网络(CNN)、全卷积网络(FCN)、本发明方法(边缘感知双分支全卷积网络)进行对比，本方法中的DBFCN模型采用Adam优化算法训练，初始学习率设置为0.0001，指数学习率衰减系数为0.1，切割子图的大小为32×32，批量大小设置为8，方法中的参数λcl和λbd分别设置为100和50，边缘惩罚项参数γ设置为5。
实验一，用荷兰Flevoland地区图像作为测试图像，用CNN、FCN以及本发明方法对Flevoland图像进行分类仿真，分类结果见图3，其中，图3(a)是真实标签图像，图3(b)是本发明方法得到的边缘区域标签，图3(c)是基于CNN的分类结果，图3(d)是基于FCN的分类结果，图3(e)是基于本发明方法的分类结果。从图3可以看出，CNN对边缘区域和内部区域的分类效果都不是很好，出现很多分类不一致的现象，FCN在边界上有较多的误分类，类别之间的界限不清晰，本发明方法得到了别界限清晰的分类结果，且分类的区域一致性非常好，误分类很少，这证明对全卷积网络添加边缘约束是有效的，本发明方法分类更精细。表2给出了荷兰Flevoland图像的分类正确率，可以看到本发明方法确实得到了更高的分类正确率以及Kappa系数。
表2 Flevoland分类评估值对比
Figure BDA0002967477460000054
Figure BDA0002967477460000061
实验二，用德国Oberpfaffenhofen地区图像作为测试图像，用CNN、FCN以及本发明方法对德国Oberpfaffenhofen地区图像进行分类仿真，分类结果见图4，其中，图4(a)真实标签图像，图4(b)是本发明方法得到的边缘区域标签，图4(c)是基于CNN的分类结果，图4(d)是基于FCN的分类结果，图4(e)是基于本发明方法的分类结果。从图4可以看出，尽管样本数量增多，但CNN的分类结果仍然有较多斑点噪声，特别地，建成区的分类一致性很差，区域内的误分类比较严重，受邻域大小影响，CNN的感受野非常有限，因此它不能全面利用图像中的空间关联来分类，这反映了CNN在像素分类问题中的弱点。本发明方法较FCN对建成区的误分类更少，一定程度增强了区域一致性。表3给出了德国Oberpfaffenhofen地区图像分类正确率，可以看到本发明方法确实得到了更高的分类正确率以及Kappa系数。
表3 Oberpfaffenhofen地区图像分类评估值对比
Figure BDA0002967477460000062
Figure BDA0002967477460000071
总之，本发明以全卷积网络为基础，增加了边缘感知网络，通过同步训练分类网络和边缘感知网络两个分支，达到约束分类区域边缘、增强区域一致性的目的，从而有效地提升了极化SAR图像的分类准确率。

Claims (2)

1.一种基于边缘感知双分支FCN的极化SAR图像分类方法，其特征在于，包括如下步骤：
步骤1，输入极化SAR图像；
步骤2，使用精致Lee滤波算法对极化SAR图像进行滤波；
步骤3，得到极化SAR图像的边缘标签；
步骤4，随机选取部分有标记样本，设置为训练集，剩余的有标记样本设置为测试集；
步骤5，使用训练集对双分支全卷积网络进行训练，得到训练好的极化SAR图像分类模型；
步骤5的具体方式为：边缘感知网络分支只参与训练，测试时只采用分类网络来预测类别输出；此外，将极化SAR图像切割成子图，然后对子图进行训练；所述双分支全卷积网络有两个分支网络，其中，一个分支网络是边缘感知网络，另一个分支网络是全卷积网络，两个分支网络共享编码器结构和参数；
训练双分支全卷积网络的损失函数LDBFCN为：
LDBFCN＝λclLcl+λbdLbd
其中，Lcl代表分类损失，Lbd代表边缘检测损失，λcl和λbd分别为对应的损失权重，用于调整分类损失和边缘检测损失的相对重要性；
Lcl用多元交叉熵损失函数表示：
Figure FDA0003502890420000011
式中，M表示训练样本个数，N表示极化SAR图像分类的类别个数，yij和y′ij分别代表真实类别分布和预测类别的概率分布；
Lbd用二元交叉熵损失函数表示：
Figure FDA0003502890420000012
式中，
Figure FDA0003502890420000013
和
Figure FDA0003502890420000014
分别代表真实边缘分布和边缘检测分布，γ为边缘惩罚项参数且γ>1。
2.根据权利要求1所述的一种基于边缘感知双分支FCN的极化SAR图像分类方法，其特征在于，步骤3的具体方式为：采用归一化的高斯模板对极化SAR图像的真实标签图像进行滤波，模板大小为5×5，高斯函数的参数σ＝1.4，之后对滤波得到的梯度图进行阈值处理，将灰度值小于25的像素设置为背景，大于25的像素设置为边缘，从而获得边缘标签。
CN202110254493.1A 2021-03-09 2021-03-09 基于边缘感知双分支fcn的极化sar图像分类方法 Active CN112966748B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110254493.1A CN112966748B (zh) 2021-03-09 2021-03-09 基于边缘感知双分支fcn的极化sar图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110254493.1A CN112966748B (zh) 2021-03-09 2021-03-09 基于边缘感知双分支fcn的极化sar图像分类方法

Publications (2)

Publication Number Publication Date
CN112966748A CN112966748A (zh) 2021-06-15
CN112966748B true CN112966748B (zh) 2022-06-10

Family

ID=76277547

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110254493.1A Active CN112966748B (zh) 2021-03-09 2021-03-09 基于边缘感知双分支fcn的极化sar图像分类方法

Country Status (1)

Country Link
CN (1) CN112966748B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344791B (zh) * 2021-07-05 2022-06-10 中山大学 基于空洞卷积和特征融合的双目超分辨率图像检测方法、系统及介质
CN114021630B (zh) * 2021-10-28 2024-07-02 同济大学 一种面向类别不平衡数据集的序数回归问题解决方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563422A (zh) * 2017-08-23 2018-01-09 西安电子科技大学 一种基于半监督卷积神经网络的极化sar分类方法
CN108846426A (zh) * 2018-05-30 2018-11-20 西安电子科技大学 基于深度双向lstm孪生网络的极化sar分类方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107424159B (zh) * 2017-07-28 2020-02-07 西安电子科技大学 基于超像素边缘和全卷积网络的图像语义分割方法
CN108388927B (zh) * 2018-03-26 2021-10-29 西安电子科技大学 基于深度卷积孪生网络的小样本极化sar地物分类方法
CN109034224B (zh) * 2018-07-16 2022-03-11 西安电子科技大学 基于双分支网络的高光谱分类方法
CN110020693B (zh) * 2019-04-15 2021-06-08 西安电子科技大学 基于特征注意和特征改善网络的极化sar图像分类方法
CN111339924B (zh) * 2020-02-25 2022-09-02 中国电子科技集团公司第五十四研究所 一种基于超像素和全卷积网络的极化sar图像分类方法
CN111709952B (zh) * 2020-05-21 2023-04-18 无锡太湖学院 一种基于边缘特征优化的双流解码卷积神经网络的mri脑肿瘤自动分割方法
CN111695466B (zh) * 2020-06-01 2023-03-24 西安电子科技大学 一种基于特征mixup的半监督极化SAR地物分类方法
CN112215753A (zh) * 2020-10-23 2021-01-12 成都理工大学 基于双分支边缘保真网络的图像去马赛克增强方法
CN112365426B (zh) * 2020-11-25 2022-06-07 兰州理工大学 一种基于双分支卷积神经网络的红外图像边缘增强方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563422A (zh) * 2017-08-23 2018-01-09 西安电子科技大学 一种基于半监督卷积神经网络的极化sar分类方法
CN108846426A (zh) * 2018-05-30 2018-11-20 西安电子科技大学 基于深度双向lstm孪生网络的极化sar分类方法

Also Published As

Publication number Publication date
CN112966748A (zh) 2021-06-15

Similar Documents

Publication Publication Date Title
Theis et al. Faster gaze prediction with dense networks and fisher pruning
Yang et al. A survey of DNN methods for blind image quality assessment
CN109840521B (zh) 一种基于深度学习的一体化车牌识别方法
CN110322445B (zh) 基于最大化预测和标签间相关性损失函数的语义分割方法
US20190228268A1 (en) Method and system for cell image segmentation using multi-stage convolutional neural networks
CN112966748B (zh) 基于边缘感知双分支fcn的极化sar图像分类方法
CN114187311A (zh) 一种图像语义分割方法、装置、设备及存储介质
CN109993221B (zh) 一种图像分类方法及装置
CN112597815A (zh) 一种基于Group-G0模型的合成孔径雷达图像舰船检测方法
CN111209858B (zh) 一种基于深度卷积神经网络的实时车牌检测方法
CN113095277B (zh) 一种基于目标空间分布特征的无人机航拍车辆检测方法
US20140286527A1 (en) Systems and methods for accelerated face detection
CN109978071A (zh) 基于数据增广和分类器融合的高光谱图像分类方法
CN114565124A (zh) 一种基于改进图卷积神经网络的船舶交通流预测方法
CN113052006A (zh) 一种基于卷积神经网络的图像目标检测方法，系统及可读存储介质
Golestaneh et al. No-reference image quality assessment via feature fusion and multi-task learning
CN115661652A (zh) 一种面向对象的图神经网络非监督遥感影像变化检测方法
CN115984223A (zh) 基于PCANet及多分类器融合的图像溢油检测方法
CN114596463A (zh) 一种基于图像的地块类型分类方法
CN111104855A (zh) 一种基于时序行为检测的工作流识别方法
CN117475320A (zh) 基于光学遥感图像的目标检测分类方法和装置
CN111368625B (zh) 一种基于级联优化的行人目标检测方法
CN117152642A (zh) 基于无人机的生态环境监管系统及其方法
CN116631190A (zh) 智能交通监控系统及其方法
CN113111308B (zh) 基于数据驱动遗传编程算法的符号回归方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant