CN110020693A - 基于特征注意和特征改善网络的极化sar图像分类方法 - Google Patents
基于特征注意和特征改善网络的极化sar图像分类方法 Download PDFInfo
- Publication number
- CN110020693A CN110020693A CN201910298152.7A CN201910298152A CN110020693A CN 110020693 A CN110020693 A CN 110020693A CN 201910298152 A CN201910298152 A CN 201910298152A CN 110020693 A CN110020693 A CN 110020693A
- Authority
- CN
- China
- Prior art keywords
- feature
- network
- sar image
- polarimetric sar
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 8
- 239000000284 extract Substances 0.000 claims abstract 2
- 230000010287 polarization Effects 0.000 claims description 19
- 230000004913 activation Effects 0.000 claims description 17
- 238000011084 recovery Methods 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 16
- 230000009467 reduction Effects 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 10
- 238000000354 decomposition reaction Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 238000000513 principal component analysis Methods 0.000 claims description 3
- 230000007423 decrease Effects 0.000 claims description 2
- 241000208340 Araliaceae Species 0.000 claims 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 3
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 3
- 235000008434 ginseng Nutrition 0.000 claims 3
- 239000000203 mixture Substances 0.000 claims 2
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 238000003475 lamination Methods 0.000 claims 1
- 238000003786 synthesis reaction Methods 0.000 claims 1
- 238000013135 deep learning Methods 0.000 abstract description 3
- 230000008569 process Effects 0.000 abstract description 2
- 230000006872 improvement Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 230000001427 coherent effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 101100148729 Caenorhabditis elegans sar-1 gene Proteins 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012880 independent component analysis Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- VMXUWOKSQNHOCA-UKTHLTGXSA-N ranitidine Chemical compound [O-][N+](=O)\C=C(/NC)NCCSCC1=CC=C(CN(C)C)O1 VMXUWOKSQNHOCA-UKTHLTGXSA-N 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Radar Systems Or Details Thereof (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于特征注意和特征改善网络的极化SAR图像分类方法，主要解决现有的基于深度学习的极化SAR图像分类方法中存在的区域内一致性较差和不便于端到端分类的问题。其实现方案为：1)输入待分类极化SAR图像并对其进行滤波；2)合成极化SAR图像的伪彩图和分类标签；3)极化SAR图像初始特征提取和特征预处理；4)分别构建输入表示层、特征注意子网络、编码器、解码器并将它们依次连接，构成特征注意和特征改善网络；5)训练特征注意和特征改善网络；6)将极化SAR图像输入到训练好的网络，得到分类结果。本发明的区域内一致性强，噪声少，分类精度高，实现了端到端的学习和分类，可用于极化SAR图像分类。
Description
技术领域
本发明属于图像处理技术领域，更进一步涉及一种基于特征注意和特征改善网络的极化SAR图像分类方法，可用于极化SAR图像分类。
背景技术
合成孔径雷达SAR是近年来获取地物信息的一项重要技术。其主要优势在于它能够在所有天气条件下提供高分辨率图像数据，而不受昼夜影响。极化合成孔径雷达SAR除了具有上述特性外，还可以利用物体极化波的后向散射来形成图像，散射信息极大丰富了人们对极化SAR图像呈现的地物类型的认知，使极化SAR分类问题逐渐成为遥感领域既有挑战性又有很大实际应用价值的一项研究。极化SAR分类是一种像素级分类，既要精确地为每个像素赋予一个类别，也要利用像素之间的空间关系保持每类连贯区域内的一致性，即要同时解决好分类和定位两个问题。
传统的极化SAR分类主要分为无监督和有监督方法，无监督方法有经典的李仲森等人提出的基于Wishart距离的极化SAR图像分类方法，理论基于像素的极化协方差矩阵和极化相干矩阵都服从维希特分布，但无监督方法总体分类精度很低。有监督方法可以分为两大类，一种是利用传统机器学习分类模型，另一种是利用深度学习分类模型。极化SAR领域常用的机器学习模型有SVM、随机森林等，深度学习模型有DBN、SAE、CNN、FCN等。由于深度学习模型具有很强的特征表达能力，故而极大提高了极化SAR分类精度，但分类结果的区域内一致性和精度仍有不足，难以避免出现人眼可见的噪声。为了进一步增强区域内一致性并提升分类精度，很多模型对现有模型做出了改进，加入了前处理、后处理等步骤，但此类模型流程较复杂，且无法进行端到端的学习和分类。
发明内容
本发明的目的在于针对上述已有技术的不足，提出一种基于特征注意和特征改善网络的极化SAR图像分类方法，以增强分类结果的区域内一致性，提升分类精度，实现端到端的学习和分类。
为实现上述目的，本发明采取的技术方案包括如下：
(1)输入一幅待分类的极化SAR图像，并对该待分类图像进行滤波，去除图像中的相干斑噪声，得到滤波后的极化SAR图像；
(2)对滤波后的图像中的每个像素的散射矩阵S进行Pauli分解，得到三通道的散射强度信息，用三通道信息合成滤波后的极化SAR图像的伪彩图，并通过伪彩图的RGB值合成该极化SAR图像的分类标签数据；
(3)提取滤波后的极化SAR图像的初始特征集合，对该集合中的初始特征依次进行降维和方差归一化的预处理，得到可输入网络的新特征集合；
(4)构建极化SAR图像分类网络的输入表示层和特征注意子网络：
(4a)设置两个输入支路，一支路用于输入RGB三通道，另一支路用于输入(3)得到的多通道特征；再给每一支路分别连接两个卷积层对该支路输入进行层级特征表示，输出两组特征图，以构成由两支路输入和四个卷积层构成的输入表示层；
(4b)将(4a)得到的两组特征图进行通道叠加后连接两个卷积层，并在第二个卷积层后连接sigmoid层进行激活，得到一个特征融合参数；将该参数先与第一组特征图相乘，再与第二组特征图相加，得到带权融合特征图，以构成特征注意子网络；
(5)构建极化SAR图像分类网络的VGG16编码器，即用(4)构建的输入表示层和特征注意子网络代替VGG16图像分类网络的第一个卷积模块的两个卷积层，保留第二、三、四、五个卷积模块，由这五个模块依次得到分辨率逐渐降低的特征图；将原VGG16网络的两个全连接层转化为卷积层，并由之后连接的softmax分类层输出预测分数图；
(6)构建极化SAR图像分类网络的解码器：
(6a)在VGG16编码器的第四、第三和第一个卷积模块得到的特征图后分别连接两个卷积层，得到三组残差特征图，并将这三组残差特征图分别与第四、第三和第一个卷积模块的特征图相加，以构成三个特征改善子网络，即分别为第一阶段特征改善子网络、第二阶段特征改善子网络和第三阶段特征改善子网络，每个特征改善子网络输出一组细节改善特征图；
(6b)对(5)得到的预测分数图进行上采样后与第一阶段特征改善子网络输出的细节改善特征图一同输入一个特征注意子网络，输出带权融合的复原特征图，即第一阶段复原特征图；
(6c)对第一阶段复原特征图进行上采样后与第二阶段特征改善子网络输出的细节改善特征图一同输入一个特征注意子网络，输出第二阶段复原特征图；
(6d)对第二阶段复原特征图进行上采样后与第三阶段特征改善子网络输出的细节改善特征图一同输入一个特征注意子网络，输出第三阶段复原特征图；
(7)将(4)得到的输入表示层和特征注意子网络、(5)得到的VGG16编码器和(6)得到的解码器进行依次连接，构成特征注意和特征改善网络；
(8)从(3)得到的滤波后的极化SAR图像的特征集合中选取训练集，将该训练集输入特征注意和特征改善网络中进行训练，得到训练好的特征注意和特征改善网络；
(9)将(3)得到的滤波后的极化SAR图像的特征集合输入训练好的特征注意和特征改善网络中得到该极化SAR图像的分类结果。
本发明与现有技术相比，具有如下优点：
第一，本发明采用特征注意和特征改善网络克服了现有技术分类结果区域内一致性较差和精确率较低的问题，有效增强了分类的区域内一致性、提升了分类精度。
第二，本发明通过特征注意和特征改善网络直接输出图像分类的密集预测，不需要其他分类器的辅助，且不需要加任何后处理，就可实现端到端的极化SAR分类，简化了极化SAR分类的过程。
附图说明
图1是本发明的实现流程图；
图2是本发明中特征注意和特征改善网络的结构示意图；
图3是本发明中的特征注意子网络的结构示意图；
图4是本发明中的特征改善子网络的结构示意图；
图5是极化SAR图像的伪彩图；
图6是极化SAR图像的真实地物标记图；
图7是利用本发明方法和现有方法对极化SAR图像进行分类得到的分类结果图；
具体实施方式
下面结合附图和具体实施例，对本发明作进一步的描述。
参照图1，本发明的实现步骤如下。
步骤1，输入待分类极化SAR图像并对该图像进行滤波，得到滤波后的极化SAR图像。
(1a)输入一幅尺寸为h×p的待分类极化SAR图像I，h和p分别代表图像的长和宽；
(1b)采用滤波窗口大小为7×7的精致LEE滤波方法对图像I进行滤波，去除I中的相干斑噪声，得到滤波后的极化SAR图像I′。
步骤2，合成极化SAR图像的伪彩图，并通过伪彩图合成极化SAR图像的分类标签数据。
(2a)对滤波后极化SAR图像I′中的每个像素的散射矩阵S进行Pauli分解，公式表示如下：
其中SHH、SVV和SHV表示HH、VV和HV偏振方向的极化散射系数，a表示奇次散射，b和c表示数值不同的二面角散射。|a|2,|b|2和|c|2分别为三通道散射强度信息；
(2b)将对散射矩阵S进行Pauli分解得到的三通道散射强度信息|a|2,|b|2和|c|2分别作为红绿蓝RGB三通道值形成I′的伪彩图；
(2c)将伪彩图中同一颜色的像素标记相同的类别，其中背景类记为0，其他类分别记为1,2,…l，l为I′包含的类别总数。
步骤3，提取滤波后的极化SAR图像I′的初始特征集合，对该集合中的初始特征依次进行降维和方差归一化的预处理，得到可输入网络的新特征集合。
(3a)对滤波后的极化SAR图像I′提取共计30个通道的特征，作为I′的初始特征集合f，表示如下：
f＝[f1,f2,f3,f4,f5,f6]
其中，f1＝[H,α,A]，H,α,A分别表示由cloude分解得到的散射熵通道、散射角通道和反熵通道；f2＝[Pv,Pd,Ps]，Pv,Pd,Ps分别表示由freeman分解得到的体散射功率通道、二次散射功率通道和单次散射功率通道；f3＝[Pv,Pd,Ps,Pc]，Pv,Pd,Ps,Pc分别表示由yamaguchi分解得到的体散射功率通道、二次散射功率通道、单次散射功率通道和螺旋体散射功率通道；f4＝[CON,ASM,ENT,IDM,COR]，CON,ASM,ENT,IDM,COR分别表示由GLCM矩阵得到的对比度通道、能量通道、熵通道、逆差矩通道和相关性通道；f5共9个通道，表示为：f5＝[T11,T22,T33,real(T12),imag(T12),real(T13),imag(T13),real(T23),imag(T23)]，f6共6个通道，表示为：
Ttq表示极化SAR图像的每个像素的相干矩阵T的第t行第q列元素，且t∈[1,2,3]，q∈[1,2,3]，real(·)和imag(·)分别表示取复数的实部和虚部，SPAN＝T11+T22+T33；
(3b)现有的常用降维方法有主成分分析、独立成分分析、线性判别分析、流形学习等，本步骤使用但不限于主成分分析对初始特征集合进行降维，其实现如下：
设该集合的协方差矩阵为C，对C进行特征值分解，公式表示为：C＝VDVT，其中，V是映射矩阵，D是由C的特征值组成的对角矩阵；将对角矩阵D去对角化后对得到的所有特征值从大到小排序，求所有特征值的总和以及前n个特征值的累计和，将累计和达到总和90％的特征值的个数n作为阈值，1≤n＜30；由初始特征集合和V的前n列映射向量得到降维后的特征集合；
(3c)对降维后的特征集合进行方差归一化，得到均值为0、方差为1的新特征集合。
步骤4，构建极化SAR图像分类网络的输入表示层和特征注意子网络。
(4a)构建输入表示层：
建立两个输入支路，用于分别输入步骤2得到的RGB三通道和步骤3得到的多通道特征，每一支路分别连接两个参数相同的卷积层，即卷积核大小均为3×3，步长均为1，卷积核个数均为64，激活函数均为Relu函数；每一支路分别输出一组通道数为64的特征图，以构成由两支路输入和四个卷积层构成的输入表示层。
(4b)构建特征注意子网络：
对(4a)得到的两组特征图进行通道叠加后连接两个卷积层，这两个卷积层的卷积核大小均为1×1，步长均为1；第一个卷积层的卷积核个数为128，激活函数为Relu，第二个卷积层的卷积核个数为64，没有激活函数，这两个卷积层输出对两组输入特征进行特征选择后的特征图。
在第二个卷积层后连接sigmoid层，对经过特征选择的特征图进行激活，得到取值范围为[0,1]的特征融合参数；将该参数先与第一组特征图相乘，再与第二组特征图相加，得到带权融合的特征图，以构成特征注意子网络，如图3所示。
步骤5，构建极化SAR图像分类网络的VGG16编码器。
(5a)用(4)构建的输入表示层和特征注意子网络代替现有VGG16图像分类网络的第一个卷积模块中的两个卷积层；
(5b)保留VGG16分类网络的第二个卷积模块、第三个卷积模块、第四个卷积模块和第五个卷积模块，每个卷积模块的具体参数如下：
第二个卷积模块依次由两个卷积层和一个最大池化层构成，两个卷积层的参数相同，卷积核大小均为3×3，步长均为1，卷积核个数均为128，激活函数均为Relu函数，最大池化层的核大小为2×2，步长为2，输出尺寸为通道数为128，分辨率为原极化SAR图像分辨率的1/16的特征图；
第三个卷积模块，依次由三个卷积层和一个最大池化层构成，三个卷积层的参数相同，卷积核大小均为3×3，步长均为1，卷积核个数均为256，激活函数均为Relu函数，最大池化层的核大小为2×2，步长为2，输出尺寸为通道数为256，分辨率为原极化SAR图像分辨率的1/64的特征图；
第四个卷积模块，依次由三个卷积层和一个最大池化层构成，三个卷积层的参数相同，卷积核大小均为3×3，步长均为1，卷积核个数均为512，激活函数均为Relu函数，最大池化层的核大小为2×2，步长为2，输出尺寸为通道数为512，分辨率为原极化SAR图像分辨率的1/256的特征图；
第五个卷积模块，依次由三个卷积层和一个最大池化层构成，三个卷积层的参数相同，卷积核大小均为3×3，步长均为1，卷积核个数均为512，激活函数均为Relu函数，最大池化层的核大小为2×2，步长为2，输出尺寸为通道数为512，分辨率为原极化SAR图像分辨率的1/1024的特征图；
(5c)将VGG16网络的两个全连接层转化为两个卷积层，其参数相同，卷积核大小均为1×1，步长均为1，卷积核个数均为1024，两个卷积层之后连接softmax分类层输出预测分数图；
通过(5a)-(5c)的操作构成VGG16编码器。
步骤6，构建极化SAR图像分类网络的解码器。
(6a)建立三阶段特征改善子网络：
(6a1)建立第一阶段特征改善子网络：
在VGG16编码器的第四个卷积模块得到的特征图后分别连接两个卷积层构成第一阶段特征改善子网络，两个卷积层的卷积核大小均为3×3，步长均为1，第一个卷积层的卷积核个数为2×l，第二个卷积层的卷积核个数为l，如图4所示。该第一阶段特征改善子网络输出一组尺寸为通道数为l的残差特征图；
(6a2)建立第二阶段特征改善子网络：
在VGG16编码器的第三个卷积模块得到的特征图后分别连接两个卷积层构成第二阶段特征改善子网络，两个卷积层的卷积核大小均为3×3，步长均为1，第一个卷积层的卷积核个数为2×l，第二个卷积层的卷积核个数为l，如图4所示。该第二阶段特征改善子网络输出一组尺寸为通道数为l的残差特征图；
(6a3)建立第三阶段特征改善子网络：
在VGG16编码器的第一个卷积模块得到的特征图后分别连接两个卷积层构成第三阶段特征改善子网络，两个卷积层的卷积核大小均为3×3，步长均为1，第一个卷积层的卷积核个数为2×l，第二个卷积层的卷积核个数为l，如图4所示。该第三阶段特征改善子网络输出一组尺寸为h×p、通道数为l的残差特征图。
(6b)得到三阶段复原特征图：
(6b1)将(5)得到的预测分数图进行上采样，再与第一阶段特征改善子网络输出的细节改善特征图一同输入到一个特征注意子网络，特征注意子网络的两个卷积层的卷积核个数分别为2×l、l，如图3所示。该特征注意子网络输出尺寸为通道数为l的第一阶段复原特征图，即将分辨率恢复为原极化SAR图像分辨率的1/256；
(6b2)将第一阶段复原特征图进行上采样，再与第二阶段特征改善子网络输出的细节改善特征图一同输入到一个特征注意子网络，特征注意子网络的两个卷积层的卷积核个数分别为2×l、l，如图3所示。该特征注意子网络输出尺寸为通道数为l的第二阶段复原特征图，即将分辨率恢复为原极化SAR图像分辨率的1/64；
(6b3)将第二阶段复原特征图进行上采样，再与第三阶段特征改善子网络输出的细节改善特征图一同输入到一个特征注意子网络，特征注意子网络的两个卷积层的卷积核个数分别为2×l、l，如图3所示。该特征注意子网络输出尺寸为h×p，通道数为l的第三阶段复原特征图，即恢复为原极化SAR图像的分辨率。
通过(6a)-(6b)的操作构成解码器。
步骤7，将步骤4得到的输入表示层和特征注意子网络、步骤5得到的VGG16编码器和步骤6得到的解码器进行依次连接，构成特征注意和特征改善网络，如图2所示。
步骤8，对特征注意和特征改善网络进行训练。
(8a1)选取极化SAR图像I′的训练集，即从步骤3得到的每一类特征集合中分别随机选取m个像素的特征作为训练集；
(8a2)设置特征注意和特征改善网络的训练参数如下：
学习率为1e-4，权重衰减为5e-4，数据批次大小为1，迭代次数为400；
(8a3)将(8a1)选取的训练集输入到特征注意和特征改善网络中，并通过(8a2)设置的参数对特征注意和特征改善网络进行训练，得到训练好的特征注意和特征改善网络。
步骤9，将步骤3所得极化SAR图像I′的新特征集合，输入到训练好的特征注意和特征改善网络中，得到原极化SAR图像I的分类结果。
以下通过仿真实验，对本发明的技术效果作进一步说明：
1、仿真条件
仿真软件环境为PyCharm 2017和Python3.6。
仿真使用的极化SAR图像是用RADARSAT-2系统获取的旧金山地区C波段单视全极化SAR图像，该全极化SAR图像如图5所示，图像大小为1300×1300，该极化SAR图像的真实地物标记如图6，图6中共有5类地物，分别为水、植被、低密度城区、高密度城区和待开发区。
2、仿真内容
用本发明方法和现有的基于栈式稀疏自编码器SSAE的极化SAR分类方法对上述全极化SAR图像进行分类，结果如图7，其中图7(a)是利用本发明的方法对该极化SAR图像进行分类得到的分类结果图，图7(b)是利用现有深度学习方法对该极化SAR图像进行分类得到的分类结果图。
计算上述两种方法在不同地物种类上的分类精度，结果如表1所示。
表1.分类精度对比
| 类别 | 本发明 | SSAE |
| 水 | 99.92 | 99.81 |
| 植被 | 99.48 | 93.72 |
| 低密度城区 | 99.90 | 92.95 |
| 高密度城区 | 99.69 | 97.13 |
| 待开发区 | 100.00 | 92.58 |
| 总精度 | 99.81 | 97.43 |
3、仿真结果分析
从图7可见，利用本发明的方法得到的分类结果图中每一类别的区域内一致性强，噪声很少，而对比方法得到的分类结果图中每一类别的区域内一致性较差，噪声较严重。
从表1可见，本发明方法的总分类精度明显高于对比方法，且在不同地物种类上的分类精度也都高于对比方法。这表明本发明可以有效地解决极化SAR图像分类问题，提升分类精度，增强区域内一致性。
Claims (10)
1.一种基于特征注意和特征改善网络的极化SAR图像分类方法，其特征在于，包括如下：
(1)输入一幅待分类的极化SAR图像，并对该待分类图像进行滤波，去除图像中的相干斑噪声，得到滤波后的极化SAR图像；
(2)对滤波后的图像中的每个像素的散射矩阵S进行Pauli分解，得到三通道的散射强度信息，用三通道信息合成滤波后的极化SAR图像的伪彩图，并通过伪彩图的RGB值合成该极化SAR图像的分类标签数据；
(3)提取滤波后的极化SAR图像的初始特征集合，对该集合中的初始特征依次进行降维和方差归一化的预处理，得到可输入网络的新特征集合；
(4)构建极化SAR图像分类网络的输入表示层和特征注意子网络：
(4a)设置两个输入支路，一支路用于输入RGB三通道，另一支路用于输入(3)得到的多通道特征；再给每一支路分别连接两个卷积层对该支路输入进行层级特征表示，输出两组特征图，以构成由两支路输入和四个卷积层构成的输入表示层；
(4b)将(4a)得到的两组特征图进行通道叠加后连接两个卷积层，并在第二个卷积层后连接sigmoid层进行激活，得到一个特征融合参数；将该参数先与第一组特征图相乘，再与第二组特征图相加，得到带权融合特征图，以构成特征注意子网络；
(5)构建极化SAR图像分类网络的VGG16编码器，即用(4)构建的输入表示层和特征注意子网络代替VGG16图像分类网络的第一个卷积模块的两个卷积层，保留第二、三、四、五个卷积模块，由这五个模块依次得到分辨率逐渐降低的特征图；将原VGG16网络的两个全连接层转化为卷积层，并由之后连接的softmax分类层输出预测分数图；
(6)构建极化SAR图像分类网络的解码器：
(6a)在VGG16编码器的第四、第三和第一个卷积模块得到的特征图后分别连接两个卷积层，得到三组残差特征图，并将这三组残差特征图分别与第四、第三和第一个卷积模块的特征图相加，以构成三个特征改善子网络，即分别为第一阶段特征改善子网络、第二阶段特征改善子网络和第三阶段特征改善子网络，每个特征改善子网络输出一组细节改善特征图；
(6b)对(5)得到的预测分数图进行上采样后与第一阶段特征改善子网络输出的细节改善特征图一同输入一个特征注意子网络，输出带权融合的复原特征图，即第一阶段复原特征图；
(6c)对第一阶段复原特征图进行上采样后与第二阶段特征改善子网络输出的细节改善特征图一同输入一个特征注意子网络，输出第二阶段复原特征图；
(6d)对第二阶段复原特征图进行上采样后与第三阶段特征改善子网络输出的细节改善特征图一同输入一个特征注意子网络，输出第三阶段复原特征图；
(7)将(4)得到的输入表示层和特征注意子网络、(5)得到的VGG16编码器和(6)得到的解码器进行依次连接，构成特征注意和特征改善网络；
(8)从(3)得到的滤波后的极化SAR图像的特征集合中选取训练集，将该训练集输入特征注意和特征改善网络中进行训练，得到训练好的特征注意和特征改善网络；
(9)将(3)得到的滤波后的极化SAR图像的特征集合输入训练好的特征注意和特征改善网络中得到该极化SAR图像的分类结果。
2.根据权利要求1所述的方法，其特征在于，(2)对滤波后的极化SAR图像的每个像素的散射矩阵S进行Pauli分解，公式表示如下：
其中SHH、SVV和SHV分别表示HH、VV和HV偏振方向的极化散射系数，a表示奇次散射，b和c表示两个数值不同的二面角散射；|a|2,|b|2和|c|2分别为三通道散射强度信息。
3.根据权利要求1所述的方法，其特征在于，(2)中用三通道信息合成滤波后的极化SAR图像的伪彩图，是将散射矩阵S进行Pauli分解后得到的三通道散射强度信息|a|2,|b|2和|c|2分别作为红蓝绿RGB三通道的值，形成极化SAR图像的伪彩图。
4.根据权利要求1所述的方法，其特征在于，(3)中提取滤波后的极化SAR图像的初始特征集合，对初始特征集合依次进行降维和方差归一化预处理，得到可输入网络的新特征集合，其实现如下：
(3a)提取共计30个通道的特征作为滤波后的极化SAR图像的初始特征集合f，其形式表示如下：
f＝[f1,f2,f3,f4,f5,f6]
其中，f1依次由cloude分解得到的散射熵通道、散射角通道和反熵通道组成，f2依次由freeman分解得到的体散射功率通道、二次散射功率通道和单次散射功率通道组成，f3依次由yamaguchi分解得到的体散射功率通道、二次散射功率通道、单次散射功率通道和螺旋体散射功率通道组成，f4依次由GLCM矩阵得到的对比度通道、能量通道、熵通道、逆差矩通道和相关性通道组成，f5共9个通道，其表示如下：
f5＝[T11,T22,T33,real(T12),imag(T12),real(T13),imag(T13),real(T23),imag(T23)]，real(·)和imag(·)分别表示取复数的实部和虚部，f6共6个通道，其表示如下：
Ttq为极化SAR图像的每个像素的相干矩阵T的第t行第q列元素，且t∈[1,2,3]，q∈[1,2,3]，SPAN＝T11+T22+T33；
(3b)使用主成分分析对初始特征集合f进行降维，得到降维后的特征集合；
(3c)对降维后的特征集合进行方差归一化，得到均值为0、方差为1的新特征集合。
5.根据权利要求1所述的方法，其特征在于，步骤(4a)中每一支路分别连接的两个卷积层，其参数相同，即卷积核大小均为3×3，步长均为1，卷积核个数均为64，激活函数均为Relu函数，且每一支路分别输出一组通道数为64的特征图。
6.根据权利要求1所述的方法，其特征在于，步骤(4b)中两组特征图进行通道叠加后连接的两个卷积层，其参数相同，卷积核个数和激活函数不同，即每个卷积核大小均为1×1，步长均为1，第一个卷积层卷积核个数为128，激活函数为Relu函数，第二个卷积层卷积核个数为64，没有激活函数。
7.根据权利要求1所述的方法，其特征在于，步骤(4b)中在第二个卷积层后连接的sigmoid层，其激活函数为sigmoid函数，激活后得到的特征融合参数的取值范围为[0,1]，输出通道数为64的带权融合特征图。
8.根据权利要求1所述的方法，其特征在于，步骤(5)在VGG16编码器中保留的四个卷积模块，其结构参数分别如下：
第二个卷积模块，依次由两个卷积层和一个最大池化层构成，两个卷积层的参数相同，卷积核大小均为3×3，步长均为1，卷积核个数均为128，激活函数均为Relu函数，最大池化层的核大小为2×2，步长为2；
第三个卷积模块，依次由三个卷积层和一个最大池化层构成，三个卷积层的参数相同，卷积核大小均为3×3，步长均为1，卷积核个数均为256，激活函数均为Relu函数，最大池化层的核大小为2×2，步长为2；
第四个卷积模块，依次由三个卷积层和一个最大池化层构成，三个卷积层的参数相同，卷积核大小均为3×3，步长均为1，卷积核个数均为512，激活函数均为Relu函数，最大池化层的核大小为2×2，步长为2；
第五个卷积模块，依次由三个卷积层和一个最大池化层构成，三个卷积层的参数相同，卷积核大小均为3×3，步长均为1，卷积核个数均为512，激活函数均为Relu函数，最大池化层的核大小为2×2，步长为2；
这四个卷积模块分别输出分辨率为原极化SAR图像分辨率1/16、1/64、1/256、1/1024且通道数分别为128、256、512、512的特征图。
9.根据权利要求1所述的方法，其特征在于，步骤(5)在VGG16编码器中由两个全连接层转化而来的两个卷积层的参数相同，卷积核大小均为1×1，步长均为1，卷积核个数均为1024。
10.根据权利要求1所述的方法，其特征在于：
步骤(6a)中每个特征改善子网络的两个卷积层的卷积核大小均为3×3，步长均为1，卷积核个数分别为2×l、l，l为极化SAR图像包含的类别总数，输出通道数为l的细节改善特征图；
步骤(6b)中特征注意子网络的两个卷积层的卷积核个数分别为2×l、l，其他结构和参数和(4b)相同，输出分辨率为原极化SAR图像分辨率的1/256且通道数为l的第一阶段复原特征图；
步骤(6c)中特征注意子网络的两个卷积层的卷积核个数分别为2×l、l，其他结构和参数和(4b)相同，输出分辨率为原极化SAR图像分辨率的1/64且通道数为l的第二阶段复原特征图；
步骤(6d)中特征注意子网络的两个卷积层的卷积核个数分别为2×l、l，其他结构和参数和(4b)相同，输出分辨率和原极化SAR图像分辨率相同且通道数为l的第三阶段复原特征图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910298152.7A CN110020693B (zh) | 2019-04-15 | 2019-04-15 | 基于特征注意和特征改善网络的极化sar图像分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910298152.7A CN110020693B (zh) | 2019-04-15 | 2019-04-15 | 基于特征注意和特征改善网络的极化sar图像分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110020693A true CN110020693A (zh) | 2019-07-16 |
| CN110020693B CN110020693B (zh) | 2021-06-08 |
Family
ID=67191304
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910298152.7A Active CN110020693B (zh) | 2019-04-15 | 2019-04-15 | 基于特征注意和特征改善网络的极化sar图像分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110020693B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110633735A (zh) * | 2019-08-23 | 2019-12-31 | 深圳大学 | 基于小波变换的渐进式深度卷积网络图像识别方法及装置 |
| CN110866494A (zh) * | 2019-11-14 | 2020-03-06 | 三亚中科遥感研究所 | 一种基于光学遥感影像的城镇群提取方法及系统 |
| CN112558017A (zh) * | 2020-11-05 | 2021-03-26 | 中国科学院国家空间科学中心 | 一种极化目标三分量分解结果彩色可视化方法及系统 |
| CN112884007A (zh) * | 2021-01-22 | 2021-06-01 | 重庆交通大学 | 一种像素级统计描述学习的sar图像分类方法 |
| CN112966748A (zh) * | 2021-03-09 | 2021-06-15 | 中国电子科技集团公司第五十四研究所 | 基于边缘感知双分支fcn的极化sar图像分类方法 |
| CN113408628A (zh) * | 2021-06-22 | 2021-09-17 | 西安邮电大学 | 基于多模型联合学习网络的PolSAR图像分类方法 |
| CN114724030A (zh) * | 2022-04-06 | 2022-07-08 | 西安电子科技大学 | 基于对比学习的极化sar地物分类方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003030102A2 (fr) * | 2001-10-02 | 2003-04-10 | Eads-Systems & Defence Electronics | Procede de modelisation d'image numerique affectee de bruit et d'exploitation du modele obtenu |
| CN102122352A (zh) * | 2011-03-01 | 2011-07-13 | 西安电子科技大学 | 基于特征值分布统计特性的极化sar图像分类方法 |
| CN107239795A (zh) * | 2017-05-19 | 2017-10-10 | 西安电子科技大学 | 基于稀疏自编码器和卷积神经网络的sar图像变化检测系统及方法 |
| CN107358258A (zh) * | 2017-07-07 | 2017-11-17 | 西安电子科技大学 | 基于nsct双cnn通道和选择性注意机制的sar图像目标分类 |
| CN108460408A (zh) * | 2018-02-05 | 2018-08-28 | 西安电子科技大学 | 基于残差学习和条件gan的极化sar图像分类方法 |
| CN108470183A (zh) * | 2018-02-05 | 2018-08-31 | 西安电子科技大学 | 基于聚类细化残差模型的极化sar分类方法 |
| US20190065910A1 (en) * | 2017-08-22 | 2019-02-28 | Northrop Grumman Systems Corporation | Adaptive real-time detection and examination network (arden) |
-
2019
- 2019-04-15 CN CN201910298152.7A patent/CN110020693B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003030102A2 (fr) * | 2001-10-02 | 2003-04-10 | Eads-Systems & Defence Electronics | Procede de modelisation d'image numerique affectee de bruit et d'exploitation du modele obtenu |
| CN102122352A (zh) * | 2011-03-01 | 2011-07-13 | 西安电子科技大学 | 基于特征值分布统计特性的极化sar图像分类方法 |
| CN107239795A (zh) * | 2017-05-19 | 2017-10-10 | 西安电子科技大学 | 基于稀疏自编码器和卷积神经网络的sar图像变化检测系统及方法 |
| CN107358258A (zh) * | 2017-07-07 | 2017-11-17 | 西安电子科技大学 | 基于nsct双cnn通道和选择性注意机制的sar图像目标分类 |
| US20190065910A1 (en) * | 2017-08-22 | 2019-02-28 | Northrop Grumman Systems Corporation | Adaptive real-time detection and examination network (arden) |
| CN108460408A (zh) * | 2018-02-05 | 2018-08-28 | 西安电子科技大学 | 基于残差学习和条件gan的极化sar图像分类方法 |
| CN108470183A (zh) * | 2018-02-05 | 2018-08-31 | 西安电子科技大学 | 基于聚类细化残差模型的极化sar分类方法 |
Non-Patent Citations (2)
| Title |
|---|
| YANQIAO CHEN 等: "Multilayer Projective Dictionary Pair Learning and Sparse Autoencoder for PolSAR Image Classification", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》 * |
| 柴英特: "基于空间信息的极化SAR图像分类", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110633735A (zh) * | 2019-08-23 | 2019-12-31 | 深圳大学 | 基于小波变换的渐进式深度卷积网络图像识别方法及装置 |
| CN110633735B (zh) * | 2019-08-23 | 2021-07-30 | 深圳大学 | 基于小波变换的渐进式深度卷积网络图像识别方法及装置 |
| CN110866494A (zh) * | 2019-11-14 | 2020-03-06 | 三亚中科遥感研究所 | 一种基于光学遥感影像的城镇群提取方法及系统 |
| CN110866494B (zh) * | 2019-11-14 | 2022-09-06 | 三亚中科遥感研究所 | 一种基于光学遥感影像的城镇群提取方法及系统 |
| CN112558017A (zh) * | 2020-11-05 | 2021-03-26 | 中国科学院国家空间科学中心 | 一种极化目标三分量分解结果彩色可视化方法及系统 |
| CN112558017B (zh) * | 2020-11-05 | 2023-08-08 | 中国科学院国家空间科学中心 | 一种极化目标三分量分解结果彩色可视化方法及系统 |
| CN112884007A (zh) * | 2021-01-22 | 2021-06-01 | 重庆交通大学 | 一种像素级统计描述学习的sar图像分类方法 |
| CN112966748A (zh) * | 2021-03-09 | 2021-06-15 | 中国电子科技集团公司第五十四研究所 | 基于边缘感知双分支fcn的极化sar图像分类方法 |
| CN113408628A (zh) * | 2021-06-22 | 2021-09-17 | 西安邮电大学 | 基于多模型联合学习网络的PolSAR图像分类方法 |
| CN113408628B (zh) * | 2021-06-22 | 2023-01-31 | 西安邮电大学 | 基于多模型联合学习网络的PolSAR图像分类方法 |
| CN114724030A (zh) * | 2022-04-06 | 2022-07-08 | 西安电子科技大学 | 基于对比学习的极化sar地物分类方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110020693B (zh) | 2021-06-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110020693A (zh) | 基于特征注意和特征改善网络的极化sar图像分类方法 | |
| CN103955702B (zh) | 基于深度rbf网络的sar图像地物分类方法 | |
| CN108764063A (zh) | 一种基于特征金字塔的遥感影像时敏目标识别系统及方法 | |
| CN106096652B (zh) | 基于稀疏编码和小波自编码器的极化sar图像分类方法 | |
| CN110728324B (zh) | 基于深度复值全卷积神经网络的极化sar图像分类方法 | |
| CN109800736A (zh) | 一种基于遥感影像和深度学习的道路提取方法 | |
| CN104463193B (zh) | 基于深度稀疏ica的极化sar图像分类方法 | |
| CN108921822A (zh) | 基于卷积神经网络的图像目标计数方法 | |
| CN108446716A (zh) | 基于FCN与稀疏-低秩子空间表示融合的PolSAR图像分类方法 | |
| CN105320959B (zh) | 基于端元学习的高光谱图像稀疏解混方法 | |
| CN108846426A (zh) | 基于深度双向lstm孪生网络的极化sar分类方法 | |
| CN104331707A (zh) | 基于深度pca网络和svm的极化sar图像分类方法 | |
| CN109726748B (zh) | 一种基于频带特征融合的gl-cnn遥感图像场景分类方法 | |
| CN104123555A (zh) | 一种基于稀疏表示和超像素的极化sar地物分类方法 | |
| CN107292317A (zh) | 基于浅层特征与t矩阵深度学习的极化sar分类方法 | |
| CN105069468A (zh) | 基于脊波和深度卷积网络的高光谱图像分类方法 | |
| CN109785344A (zh) | 基于特征重标定的双通路残差网络的遥感图像分割方法 | |
| CN109948593A (zh) | 基于结合全局密度特征的mcnn人群计数方法 | |
| CN107292336A (zh) | 一种基于dcgan的极化sar图像分类方法 | |
| CN107273938A (zh) | 基于双通道卷积阶梯网的多源遥感影像地物分类方法 | |
| CN109615008A (zh) | 基于堆叠宽度学习的高光谱图像分类方法和系统 | |
| CN117078943B (zh) | 融合多尺度特征和双注意力机制的遥感影像道路分割方法 | |
| CN110503613A (zh) | 基于级联空洞卷积神经网络的面向单幅图像去雨方法 | |
| CN104156728A (zh) | 一种基于栈式编码和softmax的极化SAR图像分类方法 | |
| Xu et al. | Multi-structure joint decision-making approach for land use classification of high-resolution remote sensing images based on CNNs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |