CN110020693B - 基于特征注意和特征改善网络的极化sar图像分类方法 - Google Patents

基于特征注意和特征改善网络的极化sar图像分类方法 Download PDF

Info

Publication number
CN110020693B
CN110020693B CN201910298152.7A CN201910298152A CN110020693B CN 110020693 B CN110020693 B CN 110020693B CN 201910298152 A CN201910298152 A CN 201910298152A CN 110020693 B CN110020693 B CN 110020693B
Authority
CN
China
Prior art keywords
feature
network
convolution
sar image
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910298152.7A
Other languages
English (en)
Other versions
CN110020693A (zh
Inventor
李阳阳
邢若婷
焦李成
柴英特
方双康
尚荣华
马文萍
缑水平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201910298152.7A priority Critical patent/CN110020693B/zh
Publication of CN110020693A publication Critical patent/CN110020693A/zh
Application granted granted Critical
Publication of CN110020693B publication Critical patent/CN110020693B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于特征注意和特征改善网络的极化SAR图像分类方法，主要解决现有的基于深度学习的极化SAR图像分类方法中存在的区域内一致性较差和不便于端到端分类的问题。其实现方案为：1)输入待分类极化SAR图像并对其进行滤波；2)合成极化SAR图像的伪彩图和分类标签；3)极化SAR图像初始特征提取和特征预处理；4)分别构建输入表示层、特征注意子网络、编码器、解码器并将它们依次连接，构成特征注意和特征改善网络；5)训练特征注意和特征改善网络；6)将极化SAR图像输入到训练好的网络，得到分类结果。本发明的区域内一致性强，噪声少，分类精度高，实现了端到端的学习和分类，可用于极化SAR图像分类。

Description

基于特征注意和特征改善网络的极化SAR图像分类方法
技术领域
本发明属于图像处理技术领域，更进一步涉及一种基于特征注意和特征改善网络的极化SAR图像分类方法，可用于极化SAR图像分类。
背景技术
合成孔径雷达SAR是近年来获取地物信息的一项重要技术。其主要优势在于它能够在所有天气条件下提供高分辨率图像数据，而不受昼夜影响。极化合成孔径雷达SAR除了具有上述特性外，还可以利用物体极化波的后向散射来形成图像，散射信息极大丰富了人们对极化SAR图像呈现的地物类型的认知，使极化SAR分类问题逐渐成为遥感领域既有挑战性又有很大实际应用价值的一项研究。极化SAR分类是一种像素级分类，既要精确地为每个像素赋予一个类别，也要利用像素之间的空间关系保持每类连贯区域内的一致性，即要同时解决好分类和定位两个问题。
传统的极化SAR分类主要分为无监督和有监督方法，无监督方法有经典的李仲森等人提出的基于Wishart距离的极化SAR图像分类方法，理论基于像素的极化协方差矩阵和极化相干矩阵都服从维希特分布，但无监督方法总体分类精度很低。有监督方法可以分为两大类，一种是利用传统机器学习分类模型，另一种是利用深度学习分类模型。极化SAR领域常用的机器学习模型有SVM、随机森林等，深度学习模型有DBN、SAE、CNN、FCN等。由于深度学习模型具有很强的特征表达能力，故而极大提高了极化SAR分类精度，但分类结果的区域内一致性和精度仍有不足，难以避免出现人眼可见的噪声。为了进一步增强区域内一致性并提升分类精度，很多模型对现有模型做出了改进，加入了前处理、后处理等步骤，但此类模型流程较复杂，且无法进行端到端的学习和分类。
发明内容
本发明的目的在于针对上述已有技术的不足，提出一种基于特征注意和特征改善网络的极化SAR图像分类方法，以增强分类结果的区域内一致性，提升分类精度，实现端到端的学习和分类。
为实现上述目的，本发明采取的技术方案包括如下：
(1)输入一幅待分类的极化SAR图像，并对该待分类图像进行滤波，去除图像中的相干斑噪声，得到滤波后的极化SAR图像；
(2)对滤波后的图像中的每个像素的散射矩阵S进行Pauli分解，得到三通道的散射强度信息，用三通道信息合成滤波后的极化SAR图像的伪彩图，并通过伪彩图的RGB值合成该极化SAR图像的分类标签数据；
(3)提取滤波后的极化SAR图像的初始特征集合，对该集合中的初始特征依次进行降维和方差归一化的预处理，得到可输入网络的新特征集合；
(4)构建极化SAR图像分类网络的输入表示层和特征注意子网络：
(4a)设置两个输入支路，一支路用于输入RGB三通道，另一支路用于输入(3)得到的多通道特征；再给每一支路分别连接两个卷积层对该支路输入进行层级特征表示，输出两组特征图，以构成由两支路输入和四个卷积层构成的输入表示层；
(4b)将(4a)得到的两组特征图进行通道叠加后连接两个卷积层，并在第二个卷积层后连接sigmoid层进行激活，得到一个特征融合参数；将该参数先与第一组特征图相乘，再与第二组特征图相加，得到带权融合特征图，以构成特征注意子网络；
(5)构建极化SAR图像分类网络的VGG16编码器，即用(4)构建的输入表示层和特征注意子网络代替VGG16图像分类网络的第一个卷积模块的两个卷积层，保留第二、三、四、五个卷积模块，由这五个模块依次得到分辨率逐渐降低的特征图；将原VGG16网络的两个全连接层转化为卷积层，并由之后连接的softmax分类层输出预测分数图；
(6)构建极化SAR图像分类网络的解码器：
(6a)在VGG16编码器的第四、第三和第一个卷积模块得到的特征图后分别连接两个卷积层，得到三组残差特征图，并将这三组残差特征图分别与第四、第三和第一个卷积模块的特征图相加，以构成三个特征改善子网络，即分别为第一阶段特征改善子网络、第二阶段特征改善子网络和第三阶段特征改善子网络，每个特征改善子网络输出一组细节改善特征图；
(6b)对(5)得到的预测分数图进行上采样后与第一阶段特征改善子网络输出的细节改善特征图一同输入一个特征注意子网络，输出带权融合的复原特征图，即第一阶段复原特征图；
(6c)对第一阶段复原特征图进行上采样后与第二阶段特征改善子网络输出的细节改善特征图一同输入一个特征注意子网络，输出第二阶段复原特征图；
(6d)对第二阶段复原特征图进行上采样后与第三阶段特征改善子网络输出的细节改善特征图一同输入一个特征注意子网络，输出第三阶段复原特征图；
(7)将(4)得到的输入表示层和特征注意子网络、(5)得到的VGG16编码器和(6)得到的解码器进行依次连接，构成特征注意和特征改善网络；
(8)从(3)得到的滤波后的极化SAR图像的特征集合中选取训练集，将该训练集输入特征注意和特征改善网络中进行训练，得到训练好的特征注意和特征改善网络；
(9)将(3)得到的滤波后的极化SAR图像的特征集合输入训练好的特征注意和特征改善网络中得到该极化SAR图像的分类结果。
本发明与现有技术相比，具有如下优点：
第一，本发明采用特征注意和特征改善网络克服了现有技术分类结果区域内一致性较差和精确率较低的问题，有效增强了分类的区域内一致性、提升了分类精度。
第二，本发明通过特征注意和特征改善网络直接输出图像分类的密集预测，不需要其他分类器的辅助，且不需要加任何后处理，就可实现端到端的极化SAR分类，简化了极化SAR分类的过程。
附图说明
图1是本发明的实现流程图；
图2是本发明中特征注意和特征改善网络的结构示意图；
图3是本发明中的特征注意子网络的结构示意图；
图4是本发明中的特征改善子网络的结构示意图；
图5是极化SAR图像的伪彩图；
图6是极化SAR图像的真实地物标记图；
图7是利用本发明方法和现有方法对极化SAR图像进行分类得到的分类结果图；
具体实施方式
下面结合附图和具体实施例，对本发明作进一步的描述。
参照图1，本发明的实现步骤如下。
步骤1，输入待分类极化SAR图像并对该图像进行滤波，得到滤波后的极化SAR图像。
(1a)输入一幅尺寸为h×p的待分类极化SAR图像I，h和p分别代表图像的长和宽；
(1b)采用滤波窗口大小为7×7的精致LEE滤波方法对图像I进行滤波，去除I中的相干斑噪声，得到滤波后的极化SAR图像I′。
步骤2，合成极化SAR图像的伪彩图，并通过伪彩图合成极化SAR图像的分类标签数据。
(2a)对滤波后极化SAR图像I′中的每个像素的散射矩阵S进行Pauli分解，公式表示如下：
Figure BDA0002027310080000041
其中
Figure BDA0002027310080000042
SHH、SVV和SHV表示HH、VV和HV偏振方向的极化散射系数，a表示奇次散射，b和c表示数值不同的二面角散射。|a|2,|b|2和|c|2分别为三通道散射强度信息；
(2b)将对散射矩阵S进行Pauli分解得到的三通道散射强度信息|a|2,|b|2和|c|2分别作为红绿蓝RGB三通道值形成I′的伪彩图；
(2c)将伪彩图中同一颜色的像素标记相同的类别，其中背景类记为0，其他类分别记为1,2,…l，l为I′包含的类别总数。
步骤3，提取滤波后的极化SAR图像I′的初始特征集合，对该集合中的初始特征依次进行降维和方差归一化的预处理，得到可输入网络的新特征集合。
(3a)对滤波后的极化SAR图像I′提取共计30个通道的特征，作为I′的初始特征集合f，表示如下：
f＝[f1,f2,f3,f4,f5,f6]
其中，f1＝[H,α,A]，H,α,A分别表示由cloude分解得到的散射熵通道、散射角通道和反熵通道；f2＝[Pv,Pd,Ps]，Pv,Pd,Ps分别表示由freeman分解得到的体散射功率通道、二次散射功率通道和单次散射功率通道；f3＝[Pv,Pd,Ps,Pc]，Pv,Pd,Ps,Pc分别表示由yamaguchi分解得到的体散射功率通道、二次散射功率通道、单次散射功率通道和螺旋体散射功率通道；f4＝[CON,ASM,ENT,IDM,COR]，CON,ASM,ENT,IDM,COR分别表示由GLCM矩阵得到的对比度通道、能量通道、熵通道、逆差矩通道和相关性通道；f5共9个通道，表示为：f5＝[T11,T22,T33,real(T12),imag(T12),real(T13),imag(T13),real(T23),imag(T23)]，f6共6个通道，表示为：
Figure BDA0002027310080000051
Ttq表示极化SAR图像的每个像素的相干矩阵T的第t行第q列元素，且t∈[1,2,3]，q∈[1,2,3]，real(·)和imag(·)分别表示取复数的实部和虚部，SPAN＝T11+T22+T33；
(3b)现有的常用降维方法有主成分分析、独立成分分析、线性判别分析、流形学习等，本步骤使用但不限于主成分分析对初始特征集合进行降维，其实现如下：
设该集合的协方差矩阵为C，对C进行特征值分解，公式表示为：C＝VDVT，其中，V是映射矩阵，D是由C的特征值组成的对角矩阵；将对角矩阵D去对角化后对得到的所有特征值从大到小排序，求所有特征值的总和以及前n个特征值的累计和，将累计和达到总和90％的特征值的个数n作为阈值，1≤n＜30；由初始特征集合和V的前n列映射向量得到降维后的特征集合；
(3c)对降维后的特征集合进行方差归一化，得到均值为0、方差为1的新特征集合。
步骤4，构建极化SAR图像分类网络的输入表示层和特征注意子网络。
(4a)构建输入表示层：
建立两个输入支路，用于分别输入步骤2得到的RGB三通道和步骤3得到的多通道特征，每一支路分别连接两个参数相同的卷积层，即卷积核大小均为3×3，步长均为1，卷积核个数均为64，激活函数均为Relu函数；每一支路分别输出一组通道数为64的特征图，以构成由两支路输入和四个卷积层构成的输入表示层。
(4b)构建特征注意子网络：
对(4a)得到的两组特征图进行通道叠加后连接两个卷积层，这两个卷积层的卷积核大小均为1×1，步长均为1；第一个卷积层的卷积核个数为128，激活函数为Relu，第二个卷积层的卷积核个数为64，没有激活函数，这两个卷积层输出对两组输入特征进行特征选择后的特征图。
在第二个卷积层后连接sigmoid层，对经过特征选择的特征图进行激活，得到取值范围为[0,1]的特征融合参数；将该参数先与第一组特征图相乘，再与第二组特征图相加，得到带权融合的特征图，以构成特征注意子网络，如图3所示。
步骤5，构建极化SAR图像分类网络的VGG16编码器。
(5a)用(4)构建的输入表示层和特征注意子网络代替现有VGG16图像分类网络的第一个卷积模块中的两个卷积层；
(5b)保留VGG16分类网络的第二个卷积模块、第三个卷积模块、第四个卷积模块和第五个卷积模块，每个卷积模块的具体参数如下：
第二个卷积模块依次由两个卷积层和一个最大池化层构成，两个卷积层的参数相同，卷积核大小均为3×3，步长均为1，卷积核个数均为128，激活函数均为Relu函数，最大池化层的核大小为2×2，步长为2，输出尺寸为
Figure BDA0002027310080000061
通道数为128，分辨率为原极化SAR图像分辨率的1/16的特征图；
第三个卷积模块，依次由三个卷积层和一个最大池化层构成，三个卷积层的参数相同，卷积核大小均为3×3，步长均为1，卷积核个数均为256，激活函数均为Relu函数，最大池化层的核大小为2×2，步长为2，输出尺寸为
Figure BDA0002027310080000062
通道数为256，分辨率为原极化SAR图像分辨率的1/64的特征图；
第四个卷积模块，依次由三个卷积层和一个最大池化层构成，三个卷积层的参数相同，卷积核大小均为3×3，步长均为1，卷积核个数均为512，激活函数均为Relu函数，最大池化层的核大小为2×2，步长为2，输出尺寸为
Figure BDA0002027310080000063
通道数为512，分辨率为原极化SAR图像分辨率的1/256的特征图；
第五个卷积模块，依次由三个卷积层和一个最大池化层构成，三个卷积层的参数相同，卷积核大小均为3×3，步长均为1，卷积核个数均为512，激活函数均为Relu函数，最大池化层的核大小为2×2，步长为2，输出尺寸为
Figure BDA0002027310080000064
通道数为512，分辨率为原极化SAR图像分辨率的1/1024的特征图；
(5c)将VGG16网络的两个全连接层转化为两个卷积层，其参数相同，卷积核大小均为1×1，步长均为1，卷积核个数均为1024，两个卷积层之后连接softmax分类层输出预测分数图；
通过(5a)-(5c)的操作构成VGG16编码器。
步骤6，构建极化SAR图像分类网络的解码器。
(6a)建立三阶段特征改善子网络：
(6a1)建立第一阶段特征改善子网络：
在VGG16编码器的第四个卷积模块得到的特征图后分别连接两个卷积层构成第一阶段特征改善子网络，两个卷积层的卷积核大小均为3×3，步长均为1，第一个卷积层的卷积核个数为2×l，第二个卷积层的卷积核个数为l，如图4所示。该第一阶段特征改善子网络输出一组尺寸为
Figure BDA0002027310080000071
通道数为l的残差特征图；
(6a2)建立第二阶段特征改善子网络：
在VGG16编码器的第三个卷积模块得到的特征图后分别连接两个卷积层构成第二阶段特征改善子网络，两个卷积层的卷积核大小均为3×3，步长均为1，第一个卷积层的卷积核个数为2×l，第二个卷积层的卷积核个数为l，如图4所示。该第二阶段特征改善子网络输出一组尺寸为
Figure BDA0002027310080000072
通道数为l的残差特征图；
(6a3)建立第三阶段特征改善子网络：
在VGG16编码器的第一个卷积模块得到的特征图后分别连接两个卷积层构成第三阶段特征改善子网络，两个卷积层的卷积核大小均为3×3，步长均为1，第一个卷积层的卷积核个数为2×l，第二个卷积层的卷积核个数为l，如图4所示。该第三阶段特征改善子网络输出一组尺寸为h×p、通道数为l的残差特征图。
(6b)得到三阶段复原特征图：
(6b1)将(5)得到的预测分数图进行上采样，再与第一阶段特征改善子网络输出的细节改善特征图一同输入到一个特征注意子网络，特征注意子网络的两个卷积层的卷积核个数分别为2×l、l，如图3所示。该特征注意子网络输出尺寸为
Figure BDA0002027310080000073
通道数为l的第一阶段复原特征图，即将分辨率恢复为原极化SAR图像分辨率的1/256；
(6b2)将第一阶段复原特征图进行上采样，再与第二阶段特征改善子网络输出的细节改善特征图一同输入到一个特征注意子网络，特征注意子网络的两个卷积层的卷积核个数分别为2×l、l，如图3所示。该特征注意子网络输出尺寸为
Figure BDA0002027310080000074
通道数为l的第二阶段复原特征图，即将分辨率恢复为原极化SAR图像分辨率的1/64；
(6b3)将第二阶段复原特征图进行上采样，再与第三阶段特征改善子网络输出的细节改善特征图一同输入到一个特征注意子网络，特征注意子网络的两个卷积层的卷积核个数分别为2×l、l，如图3所示。该特征注意子网络输出尺寸为h×p，通道数为l的第三阶段复原特征图，即恢复为原极化SAR图像的分辨率。
通过(6a)-(6b)的操作构成解码器。
步骤7，将步骤4得到的输入表示层和特征注意子网络、步骤5得到的VGG16编码器和步骤6得到的解码器进行依次连接，构成特征注意和特征改善网络，如图2所示。
步骤8，对特征注意和特征改善网络进行训练。
(8a1)选取极化SAR图像I′的训练集，即从步骤3得到的每一类特征集合中分别随机选取m个像素的特征作为训练集；
(8a2)设置特征注意和特征改善网络的训练参数如下：
学习率为1e-4，权重衰减为5e-4，数据批次大小为1，迭代次数为400；
(8a3)将(8a1)选取的训练集输入到特征注意和特征改善网络中，并通过(8a2)设置的参数对特征注意和特征改善网络进行训练，得到训练好的特征注意和特征改善网络。
步骤9，将步骤3所得极化SAR图像I′的新特征集合，输入到训练好的特征注意和特征改善网络中，得到原极化SAR图像I的分类结果。
以下通过仿真实验，对本发明的技术效果作进一步说明：
1、仿真条件
仿真软件环境为PyCharm 2017和Python3.6。
仿真使用的极化SAR图像是用RADARSAT-2系统获取的旧金山地区C波段单视全极化SAR图像，该全极化SAR图像如图5所示，图像大小为1300×1300，该极化SAR图像的真实地物标记如图6，图6中共有5类地物，分别为水、植被、低密度城区、高密度城区和待开发区。
2、仿真内容
用本发明方法和现有的基于栈式稀疏自编码器SSAE的极化SAR分类方法对上述全极化SAR图像进行分类，结果如图7，其中图7(a)是利用本发明的方法对该极化SAR图像进行分类得到的分类结果图，图7(b)是利用现有深度学习方法对该极化SAR图像进行分类得到的分类结果图。
计算上述两种方法在不同地物种类上的分类精度，结果如表1所示。
表1.分类精度对比
类别 本发明 SSAE
水 99.92 99.81
植被 99.48 93.72
低密度城区 99.90 92.95
高密度城区 99.69 97.13
待开发区 100.00 92.58
总精度 99.81 97.43
3、仿真结果分析
从图7可见，利用本发明的方法得到的分类结果图中每一类别的区域内一致性强，噪声很少，而对比方法得到的分类结果图中每一类别的区域内一致性较差，噪声较严重。
从表1可见，本发明方法的总分类精度明显高于对比方法，且在不同地物种类上的分类精度也都高于对比方法。这表明本发明可以有效地解决极化SAR图像分类问题，提升分类精度，增强区域内一致性。

Claims (10)

1.一种基于特征注意和特征改善网络的极化SAR图像分类方法，其特征在于，包括如下：
(1)输入一幅待分类的极化SAR图像，并对该待分类图像进行滤波，去除图像中的相干斑噪声，得到滤波后的极化SAR图像；
(2)对滤波后的图像中的每个像素的散射矩阵S进行Pauli分解，得到三通道的散射强度信息，用三通道信息合成滤波后的极化SAR图像的伪彩图，并通过伪彩图的RGB值合成该极化SAR图像的分类标签数据；
(3)提取滤波后的极化SAR图像的初始特征集合，对该集合中的初始特征依次进行降维和方差归一化的预处理，得到可输入网络的新特征集合；
(4)构建极化SAR图像分类网络的输入表示层和特征注意子网络：
(4a)设置两个输入支路，一支路用于输入RGB三通道，另一支路用于输入(3)得到的多通道特征；再给每一支路分别连接两个卷积层对该支路输入进行层级特征表示，输出两组特征图，以构成由两支路输入和四个卷积层构成的输入表示层；
(4b)将(4a)得到的两组特征图进行通道叠加后连接两个卷积层，并在第二个卷积层后连接sigmoid层进行激活，得到一个特征融合参数；将该参数先与第一组特征图相乘，再与第二组特征图相加，得到带权融合特征图，以构成特征注意子网络；
(5)构建极化SAR图像分类网络的VGG16编码器，即用(4)构建的输入表示层和特征注意子网络代替VGG16图像分类网络的第一个卷积模块的两个卷积层，保留第二、三、四、五个卷积模块，由这五个模块依次得到分辨率逐渐降低的特征图；将原VGG16网络的两个全连接层转化为卷积层，并由之后连接的softmax分类层输出预测分数图；
(6)构建极化SAR图像分类网络的解码器：
(6a)在VGG16编码器的第四、第三和第一个卷积模块得到的特征图后分别连接两个卷积层，得到三组残差特征图，并将这三组残差特征图分别与第四、第三和第一个卷积模块的特征图相加，以构成三个特征改善子网络，即分别为第一阶段特征改善子网络、第二阶段特征改善子网络和第三阶段特征改善子网络，每个特征改善子网络输出一组细节改善特征图；
(6b)对(5)得到的预测分数图进行上采样后与第一阶段特征改善子网络输出的细节改善特征图一同输入一个特征注意子网络，输出带权融合的复原特征图，即第一阶段复原特征图；
(6c)对第一阶段复原特征图进行上采样后与第二阶段特征改善子网络输出的细节改善特征图一同输入一个特征注意子网络，输出第二阶段复原特征图；
(6d)对第二阶段复原特征图进行上采样后与第三阶段特征改善子网络输出的细节改善特征图一同输入一个特征注意子网络，输出第三阶段复原特征图；
(7)将(4)得到的输入表示层和特征注意子网络、(5)得到的VGG16编码器和(6)得到的解码器进行依次连接，构成特征注意和特征改善网络；
(8)从(3)得到的滤波后的极化SAR图像的特征集合中选取训练集，将该训练集输入特征注意和特征改善网络中进行训练，得到训练好的特征注意和特征改善网络；
(9)将(3)得到的滤波后的极化SAR图像的特征集合输入训练好的特征注意和特征改善网络中得到该极化SAR图像的分类结果。
2.根据权利要求1所述的方法，其特征在于，(2)对滤波后的极化SAR图像的每个像素的散射矩阵S进行Pauli分解，公式表示如下：
Figure FDA0003020493480000021
其中
Figure FDA0003020493480000022
SHH、SVV和SHV分别表示HH、VV和HV偏振方向的极化散射系数，a表示奇次散射，b和c表示两个数值不同的二面角散射。
3.根据权利要求1所述的方法，其特征在于，(2)中用三通道信息合成滤波后的极化SAR图像的伪彩图，是将散射矩阵S进行Pauli分解后得到的三通道散射强度信息|a|2,|b|2和|c|2分别作为红蓝绿RGB三通道的值，形成极化SAR图像的伪彩图。
4.根据权利要求1所述的方法，其特征在于，(3)中提取滤波后的极化SAR图像的初始特征集合，对初始特征集合依次进行降维和方差归一化预处理，得到可输入网络的新特征集合，其实现如下：
(3a)提取共计30个通道的特征作为滤波后的极化SAR图像的初始特征集合f，其形式表示如下：
f＝[f1,f2,f3,f4,f5,f6]
其中，f1依次由cloude分解得到的散射熵通道、散射角通道和反熵通道组成，f2依次由freeman分解得到的体散射功率通道、二次散射功率通道和单次散射功率通道组成，f3依次由yamaguchi分解得到的体散射功率通道、二次散射功率通道、单次散射功率通道和螺旋体散射功率通道组成，f4依次由GLCM矩阵得到的对比度通道、能量通道、熵通道、逆差矩通道和相关性通道组成，f5共9个通道，其表示如下：
f5＝[T11,T22,T33,real(T12),imag(T12),real(T13),imag(T13),real(T23),imag(T23)]，real(·)和imag(·)分别表示取复数的实部和虚部，f6共6个通道，其表示如下：
Figure FDA0003020493480000031
Ttq为极化SAR图像的每个像素的相干矩阵T的第t行第q列元素，且t∈[1,2,3]，q∈[1,2,3]，SPAN＝T11+T22+T33；
(3b)使用主成分分析对初始特征集合f进行降维，得到降维后的特征集合；
(3c)对降维后的特征集合进行方差归一化，得到均值为0、方差为1的新特征集合。
5.根据权利要求1所述的方法，其特征在于，步骤(4a)中每一支路分别连接的两个卷积层，其参数相同，即卷积核大小均为3×3，步长均为1，卷积核个数均为64，激活函数均为Relu函数，且每一支路分别输出一组通道数为64的特征图。
6.根据权利要求1所述的方法，其特征在于，步骤(4b)中两组特征图进行通道叠加后连接的两个卷积层，其参数相同，卷积核个数和激活函数不同，即每个卷积核大小均为1×1，步长均为1，第一个卷积层卷积核个数为128，激活函数为Relu函数，第二个卷积层卷积核个数为64，没有激活函数。
7.根据权利要求1所述的方法，其特征在于，步骤(4b)中在第二个卷积层后连接的sigmoid层，其激活函数为sigmoid函数，激活后得到的特征融合参数的取值范围为[0,1]，输出通道数为64的带权融合特征图。
8.根据权利要求1所述的方法，其特征在于，步骤(5)在VGG16编码器中保留的四个卷积模块，其结构参数分别如下：
第二个卷积模块，依次由两个卷积层和一个最大池化层构成，两个卷积层的参数相同，卷积核大小均为3×3，步长均为1，卷积核个数均为128，激活函数均为Relu函数，最大池化层的核大小为2×2，步长为2；
第三个卷积模块，依次由三个卷积层和一个最大池化层构成，三个卷积层的参数相同，卷积核大小均为3×3，步长均为1，卷积核个数均为256，激活函数均为Relu函数，最大池化层的核大小为2×2，步长为2；
第四个卷积模块，依次由三个卷积层和一个最大池化层构成，三个卷积层的参数相同，卷积核大小均为3×3，步长均为1，卷积核个数均为512，激活函数均为Relu函数，最大池化层的核大小为2×2，步长为2；
第五个卷积模块，依次由三个卷积层和一个最大池化层构成，三个卷积层的参数相同，卷积核大小均为3×3，步长均为1，卷积核个数均为512，激活函数均为Relu函数，最大池化层的核大小为2×2，步长为2；
这四个卷积模块分别输出分辨率为原极化SAR图像分辨率1/16、1/64、1/256、1/1024且通道数分别为128、256、512、512的特征图。
9.根据权利要求1所述的方法，其特征在于，步骤(5)在VGG16编码器中由两个全连接层转化而来的两个卷积层的参数相同，卷积核大小均为1×1，步长均为1，卷积核个数均为1024。
10.根据权利要求1所述的方法，其特征在于：
步骤(6a)中每个特征改善子网络的两个卷积层的卷积核大小均为3×3，步长均为1，卷积核个数分别为2×l、l，l为极化SAR图像包含的类别总数，输出通道数为l的细节改善特征图；
步骤(6b)中特征注意子网络的两个卷积层的卷积核个数分别为2×l、l，其他结构和参数和(4b)相同，输出分辨率为原极化SAR图像分辨率的1/256且通道数为l的第一阶段复原特征图；
步骤(6c)中特征注意子网络的两个卷积层的卷积核个数分别为2×l、l，其他结构和参数和(4b)相同，输出分辨率为原极化SAR图像分辨率的1/64且通道数为l的第二阶段复原特征图；
步骤(6d)中特征注意子网络的两个卷积层的卷积核个数分别为2×l、l，其他结构和参数和(4b)相同，输出分辨率和原极化SAR图像分辨率相同且通道数为l的第三阶段复原特征图。
CN201910298152.7A 2019-04-15 2019-04-15 基于特征注意和特征改善网络的极化sar图像分类方法 Active CN110020693B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910298152.7A CN110020693B (zh) 2019-04-15 2019-04-15 基于特征注意和特征改善网络的极化sar图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910298152.7A CN110020693B (zh) 2019-04-15 2019-04-15 基于特征注意和特征改善网络的极化sar图像分类方法

Publications (2)

Publication Number Publication Date
CN110020693A CN110020693A (zh) 2019-07-16
CN110020693B true CN110020693B (zh) 2021-06-08

Family

ID=67191304

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910298152.7A Active CN110020693B (zh) 2019-04-15 2019-04-15 基于特征注意和特征改善网络的极化sar图像分类方法

Country Status (1)

Country Link
CN (1) CN110020693B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110633735B (zh) * 2019-08-23 2021-07-30 深圳大学 基于小波变换的渐进式深度卷积网络图像识别方法及装置
CN110866494B (zh) * 2019-11-14 2022-09-06 三亚中科遥感研究所 一种基于光学遥感影像的城镇群提取方法及系统
CN112558017B (zh) * 2020-11-05 2023-08-08 中国科学院国家空间科学中心 一种极化目标三分量分解结果彩色可视化方法及系统
CN112884007B (zh) * 2021-01-22 2022-08-09 重庆交通大学 一种像素级统计描述学习的sar图像分类方法
CN112966748B (zh) * 2021-03-09 2022-06-10 中国电子科技集团公司第五十四研究所 基于边缘感知双分支fcn的极化sar图像分类方法
CN113408628B (zh) * 2021-06-22 2023-01-31 西安邮电大学 基于多模型联合学习网络的PolSAR图像分类方法
CN114724030B (zh) * 2022-04-06 2023-06-02 西安电子科技大学 基于对比学习的极化sar地物分类方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003030102A3 (fr) * 2001-10-02 2004-02-12 Eads Systems & Defence Electro Procede de modelisation d'image numerique affectee de bruit et d'exploitation du modele obtenu
CN102122352A (zh) * 2011-03-01 2011-07-13 西安电子科技大学 基于特征值分布统计特性的极化sar图像分类方法
CN107239795A (zh) * 2017-05-19 2017-10-10 西安电子科技大学 基于稀疏自编码器和卷积神经网络的sar图像变化检测系统及方法
CN107358258A (zh) * 2017-07-07 2017-11-17 西安电子科技大学 基于nsct双cnn通道和选择性注意机制的sar图像目标分类
CN108460408A (zh) * 2018-02-05 2018-08-28 西安电子科技大学 基于残差学习和条件gan的极化sar图像分类方法
CN108470183A (zh) * 2018-02-05 2018-08-31 西安电子科技大学 基于聚类细化残差模型的极化sar分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10275691B2 (en) * 2017-08-22 2019-04-30 Northrop Grumman Systems Corporation Adaptive real-time detection and examination network (ARDEN)

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003030102A3 (fr) * 2001-10-02 2004-02-12 Eads Systems & Defence Electro Procede de modelisation d'image numerique affectee de bruit et d'exploitation du modele obtenu
CN102122352A (zh) * 2011-03-01 2011-07-13 西安电子科技大学 基于特征值分布统计特性的极化sar图像分类方法
CN107239795A (zh) * 2017-05-19 2017-10-10 西安电子科技大学 基于稀疏自编码器和卷积神经网络的sar图像变化检测系统及方法
CN107358258A (zh) * 2017-07-07 2017-11-17 西安电子科技大学 基于nsct双cnn通道和选择性注意机制的sar图像目标分类
CN108460408A (zh) * 2018-02-05 2018-08-28 西安电子科技大学 基于残差学习和条件gan的极化sar图像分类方法
CN108470183A (zh) * 2018-02-05 2018-08-31 西安电子科技大学 基于聚类细化残差模型的极化sar分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Multilayer Projective Dictionary Pair Learning and Sparse Autoencoder for PolSAR Image Classification;Yanqiao Chen 等;《IEEE Transactions on Geoscience and Remote Sensing》;IEEE;20171017;6683-6694 *
基于空间信息的极化SAR图像分类;柴英特;《中国优秀硕士学位论文全文数据库 信息科技辑》;20190215(第02期);I136-1414 *

Also Published As

Publication number Publication date
CN110020693A (zh) 2019-07-16

Similar Documents

Publication Publication Date Title
CN110020693B (zh) 基于特征注意和特征改善网络的极化sar图像分类方法
CN112836773B (zh) 一种基于全局注意力残差网络的高光谱图像分类方法
CN108537192B (zh) 一种基于全卷积网络的遥感影像地表覆盖分类方法
CN108460391B (zh) 基于生成对抗网络的高光谱图像无监督特征提取方法
CN113673590B (zh) 基于多尺度沙漏密集连接网络的去雨方法、系统和介质
CN112541503A (zh) 基于上下文注意力机制和信息融合的实时语义分割方法
CN108399362A (zh) 一种快速行人检测方法及装置
CN113344806A (zh) 一种基于全局特征融合注意力网络的图像去雾方法与系统
CN110728192A (zh) 一种基于新型特征金字塔深度网络的高分遥感图像分类方法
CN109726748B (zh) 一种基于频带特征融合的gl-cnn遥感图像场景分类方法
CN104517284A (zh) 基于深度置信网的极化sar图像分割
CN106529484A (zh) 基于类指定多核学习的光谱和激光雷达数据联合分类方法
CN113313180A (zh) 一种基于深度对抗学习的遥感图像语义分割方法
CN112699838B (zh) 基于光谱诊断特征加权的高光谱混合像元非线性盲分解方法
CN104751172A (zh) 基于去噪自动编码的极化sar图像的分类方法
CN110555461A (zh) 基于多结构卷积神经网络特征融合的场景分类方法及系统
CN112967210A (zh) 一种基于全卷积孪生网络的无人机图像去噪方法
CN112560624A (zh) 基于模型深度集成的高分遥感影像语义分割方法
CN116863247A (zh) 一种融合全局和局部信息的多模态遥感数据分类方法
CN114495163B (zh) 基于类别激活映射的行人重识别生成学习方法
CN117576483B (zh) 基于多尺度卷积自编码器的多源数据融合地物分类方法
CN114372521A (zh) 基于注意力机制和残差关系网络的sar图像分类方法
CN106971402B (zh) 一种基于光学辅助的sar图像变化检测方法
Singh et al. WIANet: A wavelet-inspired attention-based convolution neural network for land cover classification
CN113421198A (zh) 一种基于子空间的非局部低秩张量分解的高光谱图像去噪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant