CN111626380A - 一种基于超像素和卷积网络的极化sar图像分类方法 - Google Patents

一种基于超像素和卷积网络的极化sar图像分类方法 Download PDF

Info

Publication number
CN111626380A
CN111626380A CN202010645410.7A CN202010645410A CN111626380A CN 111626380 A CN111626380 A CN 111626380A CN 202010645410 A CN202010645410 A CN 202010645410A CN 111626380 A CN111626380 A CN 111626380A
Authority
CN
China
Prior art keywords
pixel
super
polarized sar
point
sar image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010645410.7A
Other languages
English (en)
Inventor
滑文强
谢雯
金小敏
路龙宾
邓万宇
潘晓英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Posts and Telecommunications
Original Assignee
Xian University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Posts and Telecommunications filed Critical Xian University of Posts and Telecommunications
Priority to CN202010645410.7A priority Critical patent/CN111626380A/zh
Publication of CN111626380A publication Critical patent/CN111626380A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于超像素和卷积网络的极化SAR图像分类方法，包括对滤波后的极化SAR图像进行Pauli分解，获得伪彩色图；使用改进的SLIC超像素方法对伪彩色图进行过分割，获得超像素块；在超像素块内选择与标记样本像素度较高的样本，扩大标记样本的数量；提取极化SAR的特征信息；以极化SAR图像中每一像素点为中心选取像素块，作为中心像素点的原始输入信息；根据真实地物标记，对极化SAR数据的每个地物类别分别随机选取训练样本和测试样本；构建一个三层的卷积网络学习深度特征；训练卷积网络；进行分类；结合超像素分割结果对卷积网络输出结果进行后处理；计算正确率；输出分类结果。本发明解决现有小样本情况下极化SAR分类精度不高，区域一致性差的问题。

Description

一种基于超像素和卷积网络的极化SAR图像分类方法
技术领域
本发明属于图像处理技术领域，主要涉及极化SAR图像分类，具体说是一种基于超像素和卷积网络的极化SAR图像分类方法，可用于对极化SAR图像的地物分类和目标识别。
背景技术
合成孔径雷达SAR是一种主动式微波遥感器，可以提供全天候、全天时的成像特点，可以对植被覆盖的地面、沙漠或浅水覆盖等地区成像，可应用于军事、农业、导航、地理监视等诸多领域。与SAR相比，极化SAR进行的是全极化测量，能获得目标更丰富的信息。近年来，利用极化SAR测量数据进行的分类在国际遥感领域受到高度重视，已成为图像分类的主要研究方向。
根据处理方法的不同，全极化SAR图像分类方法可以分为非监督分类方法和监督分类方法。对于这两种方法，特征提取和分类技术是两个基本要素。极化SAR图像分类的性能在很大程度上依赖于特征提取。经典的极化SAR分类方法包括：
Lee等[1]提出了基于Cloude目标分解和Wishart分类器的H/α-Wishart非监督分类方法。该方法通过Cloude分解获取H和α两个表征极化数据的特征，根据H和α组成的H/α平面将整幅极化SAR图像分为8类，然后在此基础上增加了Wishart迭代。H/α-Wishart分类方法利用了极化数据的分布信息，使得极化信息利用更加全面，并且引入Wishart迭代的方法，有效的提高了分类的精度。但是该方法存在两个技术缺陷：一是分类的类别数固定，对复杂区域分类缺乏灵活性，分类准确度低；另一个是该方法只考虑了像素点的统计信息，并没有考虑像素点之间的空间关系，分类结果区域一直性较差。
参考文献：[1]Lee J S,Grunes M R,Ainsworth T L,et a1.Unsupervisedclassification using polarimetric decomposition and the complex Wishartclassifier[J].IEEE Trans.Geosci.Remote Sensing.1999,37(5):2249-2258.
Lee等[2]在Freeman分解的基础上，提出了一种基于Freeman-Durden分解的极化SAR图像分类方法。该方法主要是根据地面目标的散射特性，用Freeman分解的方法将目标分解为平面散射类型、二面角散射类型和体散射类型，并按照主散射类型对目标进行划分，最后再利用Wishart分类器对每一个像素进行重新划分。该算法结合了Freeman分解和极化SAR数据的分布特性，有效的提高了极化SAR图像的分类效果，但由于该方法中存在的多类别的划分以及合并，因此其计算复杂度较高，而且该方法仍然没有考虑像素点之间的空间关系。
参考文献：[2]Lee J S,Grunes M R,Pottier E,et a1.Unsupervised terrainclassification preserving polarimetric scattering characteristic[J].IEEETrans.Geosci.Remote Sensing.2004,42(4):722-731.
发明内容
针对现有技术的不足，本发明提供一种基于超像素和卷积网络的极化SAR图像分类方法，其核心步骤在于小样本下基于深度学习的极化SAR图像分类，以及利用极化SAR图像的空间信息和超像素分割方法，提出了基于超像素的数据增强方法，扩充标记样本的数量。本发明有效提高了分类的精确性，以及分类结果区域一致性。
本发明所述基于超像素和卷积网络的极化SAR图像分类方法，其包括，
采用Pauli分解处理滤波后的极化SAR图像，获得伪彩色图；
使用改进的SLIC超像素方法过分割所述伪彩色图，获得若干个超像素块；
在超像素块内选择与标记样本像素度较高的样本，扩大标记样本的数量；
提取所述滤波后的极化SAR图像的特征信息；
提取所述滤波后的极化SAR图像的特征信息；
以所述滤波后的极化SAR图像中每一像素点为中心选取像素块，作为中心像素点的原始输入信息；
根据真实的地物标记，对极化SAR数据的每个地物类别分别随机选取训练样本与测试样本；
构建多层卷积网络模型；
将所述训练样本输入到所述多层卷积网络模型中，获得训练好的卷积网络模型；
将所述测试样本输入到所述训练好的卷积网络模型中，获得测试样本中每个像素的分类结果；
结合超像素分割结果对卷积网络输出结果进行后处理；
将所述分类结果与真实的地物标记进行对比，计算正确率；
输出上色后的分类结果图。
优选地，本发明所述基于超像素和卷积网络的极化SAR图像分类方法，其所述过分割获得若干个超像素块的方法为：
a)将伪彩色图转化为CIELAB颜色空间下的三维特征向量
Ci＝[li ai bi]T；
其中，li表示亮度，ai和bi表示相对维度；
b)选择初始种子点，每个种子点的距离近似为
Figure BDA0002572882250000031
其中，N表示整幅极化SAR图像总的像素点个数，K表示预分割的超像素块的个数；
c)在以种子点为中心的2S×2S区域内计算每个像素点与种子点的颜色差异
Figure BDA0002572882250000032
d)在以种子点为中心的2S×2S区域内计算每个像素点与种子点空间距离
Figure BDA0002572882250000033
其中，Ti和Ti分别代表像素点i和j的相干矩阵，(Ti)-1和(Tj)-1分别表示对矩阵Ti和Tj求逆，·表示矩阵的行列式，Tr(·)是矩阵的迹；
e)在以种子点为中心的2S×2S区域内计算每个像素点与种子点的相似度
Figure BDA0002572882250000034
其中，S表示种子点间的距离，m表示平衡参数，且m＝10；
f)在以种子点为中心的2S×2S区域内比较所有点的相似度Di，选取Di值最大的像素点赋予其中心点相同的类别，并作为新的种子点；
g)重复步骤c)-f)，直到收敛。
优选地，本发明所述基于超像素和卷积网络的极化SAR图像分类方法，其所述扩大标记样本数量的方法为：
a)计算每个超像素块内所有标记像素点相干矩阵的均值V；
b)计算所述均值V与未标记像素点之间的相似度
di(Ti,V)＝ln(|V|)+Tr(V-1Ti)；
其中，Ti，i＝1,2,3...M表示超像素块内未标记的像素点；
c)将每个超像素块内的相似度di按由小到大排序，选取最相似的前30％像素，并对其进行标记，标记为超像素块中原始标记像素点的类别。
优选地，本发明所述基于超像素和卷积网络的极化SAR图像分类方法，其所述提取极化SAR图像特征信息的方法为：
a)读入所述滤波后的极化SAR图像的每个像素点，所述像素点为一个3×3的相干矩阵
Figure BDA0002572882250000041
b)利用所述相干矩阵T，提取6维的特征信息L1
L1＝[A,B,C,D,E,F]；
A＝10lg(T11+T12+T13)；
B＝T22/(T11+T22+T33)；
C＝T33/(T11+T22+T33)；
Figure BDA0002572882250000042
Figure BDA0002572882250000043
Figure BDA0002572882250000044
其中，A表示所有极化通道的总散射能量；B，C分别为T22和T33的能量比例；D，E，F为相关系数；
c)在超像素块内，计算每一像素的空间加权特征L2
Figure BDA0002572882250000045
Figure BDA0002572882250000046
Figure BDA0002572882250000047
其中，M表示超像素块内像素点的个数，
Figure BDA0002572882250000048
表示超像素块内所有像素点特征L1的平均值，wi表示超像素块内每一个像素点特的权重，di表示超像素块内第i个像素点与超像素块内标记像素的均值相干矩阵之间的相似度，dmax表示每一超像素块内所有像素点内di的最大值；
d)构建结合空间信息的12维极化特征
L＝[L1,L2]。
优选地，本发明所述基于超像素和卷积网络的极化SAR图像分类方法，其所述构建的多层卷积网络模型为一个包含3个卷积层的深度网络模型，所述网络模型的结构为：
输入层→数据预处理层→第一个卷积层→第一个池化层→第二个卷积层→第二个池化层→第三个卷积层→第三个池化层→全链接层→分类器→输出层。
优选地，本发明所述基于超像素和卷积网络的极化SAR图像分类方法，其所述结合超像素分割结果对卷积网络输出结果进行后处理的方法为：
计算每一个超像素块里面的像素类别，以及每一类别像素所包含的像素点数；
计算每一个超像素块里面绝对占优的像素类别R，即NR/Ns＞0.5，其中NR表示超像素块内绝对占优的类别的像素点数，Ns表示超像素内包含的总的像素点数；
计算超像素块内像素点与绝对占优的像素点聚类中心的距离d(Ts,VR)，如果d(Ts,VR)≤dc则把像素点Ts分配到类别R，否则保留其原标记，其中VR表示绝对占优的类别的聚类中心，dc定义为：
Figure BDA0002572882250000051
优选地，本发明所述基于超像素和卷积网络的极化SAR图像分类方法，其以所述滤波后的极化SAR图像中每一像素点为中心选取9×9的像素块。
更具体地，本发明提供了一种基于超像素和卷积网络的极化SAR图像分类方法，其包括，
对待分类极化SAR图像进行滤波，去除斑点噪声，得到滤波后的极化SAR图像；
采用Pauli分解处理滤波后的极化SAR图像，获得伪彩色图；
使用改进的SLIC超像素方法过分割所述伪彩色图，获得若干个超像素块；所述过分割获得若干个超像素块的方法为：
a)将伪彩色图转化为CIELAB颜色空间下的三维特征向量
Ci＝[li ai bi]T；
其中，li表示亮度，ai和bi表示相对维度；
b)选择初始种子点，每个种子点的距离近似为
Figure BDA0002572882250000061
其中，N表示整幅极化SAR图像总的像素点个数，K表示预分割的超像素块的个数；
c)在以种子点为中心的2S×2S区域内计算每个像素点与种子点的颜色差异
Figure BDA0002572882250000062
d)在以种子点为中心的2S×2S区域内计算每个像素点与种子点空间距离
Figure BDA0002572882250000063
其中，Ti和Ti分别代表像素点i和j的相干矩阵，(Ti)-1和(Tj)-1分别表示对矩阵Ti和Tj求逆，·表示矩阵的行列式，Tr(·)是矩阵的迹；
e)在以种子点为中心的2S×2S区域内计算每个像素点与种子点的相似度
Figure BDA0002572882250000064
其中，S表示种子点间的距离，m表示平衡参数，且m＝10；
f)在以种子点为中心的2S×2S区域内比较所有点的相似度Di，选取Di值最大的像素点赋予其中心点相同的类别，并作为新的种子点；
g)重复步骤c)-f)，直到收敛；
在超像素块内选择与标记样本像素度较高的样本，扩大标记样本的数量；所述扩大标记样本数量的方法为：
a)计算每个超像素块内所有标记像素点相干矩阵的均值V；
b)计算所述均值V与未标记像素点之间的相似度
di(Ti,V)＝ln(|V|)+Tr(V-1Ti)；
其中，Ti，i＝1,2,3...M表示超像素块内未标记的像素点；
c)将每个超像素块内的相似度di按由小到大排序，选取最相似的前30％像素，并对其进行标记，标记为超像素块中原始标记像素点的类别；
提取所述滤波后的极化SAR图像的特征信息；所述提取极化SAR图像特征信息的方法为：
a)读入所述滤波后的极化SAR图像的每个像素点，所述像素点为一个3×3的相干矩阵
Figure BDA0002572882250000071
b)利用所述相干矩阵T，提取6维的特征信息L1
L1＝[A,B,C,D,E,F]；
A＝10lg(T11+T12+T13)；
B＝T22/(T11+T22+T33)；
C＝T33/(T11+T22+T33)；
Figure BDA0002572882250000072
Figure BDA0002572882250000073
Figure BDA0002572882250000074
其中，A表示所有极化通道的总散射能量；B，C分别为T22和T33的能量比例；D，E，F为相关系数；
c)在超像素块内，计算每一像素的空间加权特征L2
Figure BDA0002572882250000075
Figure BDA0002572882250000076
Figure BDA0002572882250000077
其中，M表示超像素块内像素点的个数，
Figure BDA0002572882250000078
表示超像素块内所有像素点特征L1的平均值，wi表示超像素块内每一个像素点特的权重，di表示超像素块内第i个像素点与超像素块内标记像素的均值相干矩阵之间的相似度，dmax表示每一超像素块内所有像素点内di的最大值；
d)构建结合空间信息的12维极化特征
L＝[L1,L2]；
以所述滤波后的极化SAR图像中每一像素点为中心选取9×9的像素块，作为中心像素点的原始输入信息；
根据真实的地物标记，对极化SAR数据的每个地物类别分别随机选取0.1％的有标记数据作为训练样本，剩下的99.9％有标记数据作为测试样本；
构建一个包含3个卷积层的深度网络模型，所述网络模型的结构为：
输入层→数据预处理层→第一个卷积层→第一个池化层→第二个卷积层→第二个池化层→第三个卷积层→第三个池化层→全链接层→分类器→输出层；
将所述训练样本输入到所述多层卷积网络模型中，获得训练好的卷积网络模型；
将所述测试样本输入到所述训练好的卷积网络模型中，获得测试样本中每个像素的分类结果；
结合超像素分割结果对卷积网络输出结果进行后处理，后处理的方法为：
计算每一个超像素块里面的像素类别，以及每一类别像素所包含的像素点数；
计算每一个超像素块里面绝对占优的像素类别R，即NR/Ns＞0.5，其中NR表示超像素块内绝对占优的类别的像素点数，Ns表示超像素内包含的总的像素点数；
计算超像素块内像素点与绝对占优的像素点聚类中心的距离d(Ts,VR)，如果d(Ts,VR)≤dc则把像素点Ts分配到类别R，否则保留其原标记，其中VR表示绝对占优的类别的聚类中心，dc定义为：
Figure BDA0002572882250000081
将所述分类结果与真实的地物标记进行对比，对于每个类别，分类正确的像素个数与测试样本中相应类别总的像素个数的比值作为这个类别的正确率；总的分类正确的像素个数与测试样本总的像素个数的比值作为极化SAR图像整体的分类正确率；
将红色、绿色、蓝色三个颜色作为三基色，按照三基色上色法进行上色，分类结果中相同类别上相同的颜色，得到上色后的分类结果图，输出上色后分类结果图。
还有，本发明提供了所述基于超像素和卷积网络的极化SAR图像分类方法在目标识别中的应用。
与现有技术相比，本发明所述基于超像素和卷积网络的极化SAR图像分类方法的优点或有益效果体现在如下方面：
(1)本发明是针对极化SAR图像分类中的小样本问题，对深度学习方法在极化SAR图像应用上的改进，并结合超像素分割的空间信息，有效的实现了深度学习在小样本下极化SAR图像分类。本发明为解决极化SAR图像分类精准性问题，提供了一种技术解决思路。
(2)本发明通超像素分割的方法，并结合区域一致性和相似性原理，充分利用了极化SAR图像中的大量无标记样本，提出了一种基于超像素的样本增强方法，扩展了标记样本的数量。
(3)仿真结果表明，本发明采用的超像素与卷积网络的极化SAR图像分类方法，分类效果优良，正确率高，分类结果区域一致性也较好。
附图说明
图1是本实施例所述基于超像素和卷积网络的极化SAR图像分类方法的流程图。
图2是本实施例所述仿真使用的荷兰弗莱福兰省Flevoland极化SAR数据的PauliRGB合成图。
图3是本实施例所用极化SAR图像真实的地物标记。
图4是本实施例所述用现有监督Wishart分类方法的分类结果。
图5是本实施例所述用经典深度卷积网络分类方法的分类结果；
图6是本实施例所用极化SAR图像的分类结果图。
具体实施方式
以下将结合实施例对本发明做进一步详细阐述。
实施例1
本实施例提供一种基于超像素和卷积网络的极化SAR图像分类方法，主要解决极化SAR图像分类中的小样本问题。图1是本实施例所述基于超像素和卷积网络的极化SAR图像分类方法的流程图。现结合图1，对本发明所述方法进行具体阐述。
步骤1
对待分类极化SAR图像进行滤波，去除斑点噪声，得到滤波后的极化SAR图像。对极化SAR图像的滤波，一般通常采用现有的精致极化LEE滤波法，滤波窗口的大小为7×7。
步骤2
对滤波后的极化SAR图像进行Pauli分解，获得伪彩色图。
Pauli分解是一种目标分解方法，该方法根据地物目标的散射特性将原始数据的散射矩阵分解成为单次散射机制、绕轴旋转0°的二面角散射机制和绕轴旋转45°的二面角散射机制的线性组合。有关Pauli分解的具体阐述参见文献：
Cloude S R,and Pottier E.A review of target decomposition theorems inradar polarimetry[J].IEEE Trans.Geosci.Remote Sensing.1996.34(2):498-518。
步骤3
对Pauli分解得到的伪彩色图使用改进的SLIC超像素算法进行过分割，获得K个超像素块；
SLIC超像素过分割是Achanta等人提出的一种简单线性迭代聚类方法，能够生成紧凑、近似均匀的超像素块。有关SLIC超像素过分割的具体阐述参见文献：
Achanta R,Shaji A,Smith K,et al.SLIC superpixels compared to state-of-the-art superixel methods[J].IEEE Trans on Pattern Analysis and MachineIntelligence,2012,34(11):2274-2282.
具体地，SLIC超像素过分割获得超像素块的步骤如下：
3a)将伪彩色图转化为CIELAB颜色空间下的三维特征向量：
Ci＝[li ai bi]T；
其中，li表示亮度，ai和bi表示相对维度；
3b)选择初始种子点，每个种子点的距离近似为
Figure BDA0002572882250000101
其中，N表示整幅极化SAR图像总的像素点个数，K表示预分割的超像素块的个数；
3c)在以种子点为中心的2S×2S区域内，计算每个像素点与种子点的颜色差异dc：
Figure BDA0002572882250000102
3d)在以种子点为中心的2S×2S区域内，计算每个像素点与种子点空间距离ds：
Figure BDA0002572882250000103
其中，Ti和Ti分别代表像素点i和j的相干矩阵，(Ti)-1和(Tj)-1分别表示对矩阵Ti和Tj求逆，|·|表示矩阵的行列式，Tr(·)是矩阵的迹；
3e)在以种子点为中心的2S×2S区域内，计算每个像素点与种子点的相似度Di：
Figure BDA0002572882250000104
其中，S表示种子点间的距离，m表示平衡参数，且m＝10；
3f)在以种子点为中心的2S×2S区域内，比较所有点的相似度Di，选取Di值最大的像素点赋予其中心点相同的类别，并作为新的种子点；
3g)重复步骤3c)-3f)，直到收敛。
步骤4
在超像素块内选择与标记样本像素度较高的样本，扩大标记样本的数量。在本步骤中，具体操作如下：
4a)计算每个超像素块内所有标记像素点相干矩阵的均值V；
4b)计算每个超像素块内所有标记像素的相干矩阵均值V与其它未标记像素点之间的相似度：
di(Ti,V)＝ln(|V|)+Tr(V-1Ti)；
其中，Ti，i＝1,2,3...K表示超像素块内为标记的其它像素点；
4c)将每个超像素块内的相似度di以由小到大进行排序，选取最相似的前30％像素，并对其进行标记，标记为超像素块中原始标记像素点的类别，达到扩大标记像素点的目的。
步骤5
提取极化SAR的特征信息，所述提取极化SAR图像特征信息的方法为：
5a)读入滤波后图像的每个像素点，这些像素点为一个3×3的相干矩阵T：
Figure BDA0002572882250000111
5b)利用极化相干矩阵T，提取6维的特征信息L1：
L1＝[A,B,C,D,E,F]；
A＝10lg(T11+T12+T13)；
B＝T22/(T11+T22+T33)；
C＝T33/(T11+T22+T33)；
Figure BDA0002572882250000112
Figure BDA0002572882250000113
Figure BDA0002572882250000114
其中，A表示所有极化通道的总散射能量；B，C分别为T22和T33的能量比例；D，E，F为相关系数；
5c)在超像素块内，计算每一像素的空间加权特征L2：
Figure BDA0002572882250000121
Figure BDA0002572882250000122
Figure BDA0002572882250000123
其中，M表示超像素块内像素点的个数，
Figure BDA0002572882250000124
表示超像素块内所有像素点特征L1的平均值，wi表示超像素块内每一个像素点特的权重，di表示超像素块内第i个像素点与超像素块内标记像素的均值相干矩阵之间的相似度，dmax表示每一超像素块内所有像素点内di的最大值；
5d)构建结合空间信息的12维极化特征：
L＝[L1,L2]。
步骤6
以极化SAR图像中每一像素点为中心选取9×9的像素块，为中心像素点的原始输入信息。
步骤7
根据真实的地物标记，对极化SAR数据的每个地物类别分别随机选取0.1％的有标记数据作为训练样本，剩下的99.9％有标记数据作为测试样本。
步骤8
构建一个三层的卷积网络学习深度特征：
构造一个包含3个卷积层的深度网络模型，模型结构为：输入层→数据预处理层(扩展标记样本集和特征提取)→第一个卷积层→第一个池化层→第二个卷积层→第二个池化层→第三个卷积层→第三个池化层→全链接层→分类器→输出层
输入层的特征映射图数目设置为15；
数据预处理层的特征映射图数目设置为15；
第一个卷积层的特征映射图数目设置为32，卷积核的大小为3×3，滑动步长为1；
第一个池化层的特征映射图数目设置为32，池化核大小为2×2，步长为2；
第二个卷积层的特征映射图数目设置为64，卷积核的大小为3×3，滑动步长为1；
第二个池化层的特征映射图数目设置为64，池化核大小为2×2，步长为2；
第三个卷积层的特征映射图数目设置为128，卷积核的大小为3×3，滑动步长为1；
第三个池化层的特征映射图数目设置为128，池化核大小为2×2，步长为2；
全连接层的特征维数目设置为1024；
分类器的类别数设置为15；
输出每一像素的最终类别。
步骤9
训练上述构建的卷积网络：
将训练数据集输入到卷积网络模型中，得到训练好的深度卷积网络模型。
将训练数据集作为本发明卷积网络模型的输入，利用模型提取数据集中每个像素点的特征，将模型前向传播的结果作为模型的输出，通过求解上述输出与人工标记的正确类别之间的误差并对误差进行反向传播，来优化散射全卷积网络模型的网络参数，得到训练好的散射全卷积网络模型。
步骤10
进行分类：
将测试数据集(是上面步骤中的测试样本)输入到训练好的卷积网络模型中，得到测试数据中每个像素的分类结果；
步骤11
结合超像素分割结果对卷积网络输出的结果进行后处理，具体的后处理的方法为：
11a)计算每一个超像素块里面的像素类别和每一类所包含像素点数；
11b)计算每一个超像素块里面绝对占优的像素类别R，即NR/Ns＞0.5，其中NR表示超像素块内绝对占优的类别的像素点数，Ns表示超像素内包含的总的像素点数；
11c)计算超像素块内其它像素点与绝对占优的像素点类中心的距离d(Ts,VR)，如果d(Ts,VR)≤dc则把像素点Ts分配到类别R，否则保留其原标记。其中VR表示绝对占优的类别的聚类中心，dc定义为：
Figure BDA0002572882250000141
步骤12
计算正确率：
将预测得到的分类结果与真实的地物标记进行对比。对于每个类别，分类正确的像素个数与测试样本中相应类别总的像素个数的比值作为这个类别的正确率；总的分类正确的像素个数与测试样本总的像素个数的比值作为极化SAR图像整体的分类正确率；
步骤13
输出结果：
在分类后的极化SAR图像上，将红色、绿色、蓝色三个颜色作为三基色，按照三基色上色法进行上色，分类结果中相同类别上相同的颜色，得到上色后的分类结果图，输出上色后分类结果图。
实施例2
本实施例所述基于超像素和卷积网络的极化SAR图像分类方法的有益效果，可通过以下实验进行验证。
1、实验方法：包括(1)现有监督Wishart方法；(2)传统的CNN分类方法；(3)本发明所述方法，即基于超像素和卷积网络的极化SAR图像分类方法。其中，现有监督Wishart方法以及传统的CNN分类方法均为极化SAR数据分类中引用较多的经典方法。
2、实验结果
图2是本实施例所述仿真使用的荷兰弗莱福兰省Flevoland极化SAR数据的PauliRGB合成图，大小为750×1024。图3是本实施例所用极化SAR图像真实的地物标记。根据图3的真实地物标记对每个类别随机选取0.1％作为训练样本，用剩下的有标记的99.9％数据做为测试数据。仿真实验的方法及结果见表1。
仿真一，用现有的监督Wishart分类方法对图2进行分类，分类结果见图4。其中每类的正确率及总的正确率见表1。
仿真二，用传统的CNN分类方法对图2进行分类，分类结果见图5。每类的正确率及总的正确率见下表1。
仿真三，用本发明对图2进行分类，分类结果见图6。每类的正确率及总的正确率见表1。
表1实验3种方法对极化SAR图像分类结果
Figure BDA0002572882250000151
由表1以及图4-6可以看出，采用现有的监督Wishart分类方法，正确率为79.40％；采用传统的CNN分类方法，正确率为84.47％；本发明所述方法的正确率为93.45％。可见，本发明所述方法获得了最高的正确率。本发明所述方法的分类结果无论是在精度上还是在视觉效果上，都优于监督wishart分类方法和传统的CNN分类方法。而且，本发明所述方法的同质区域比监督wishart分类方法和传统的CNN分类方法更完整，区域一致性更好。这充分说明了本发明所述方法具有更好的极化SAR数据分类性能。
上面结合实施例对本发明做了进一步的叙述，但本发明并不限于上述实施方式，在本领域的普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (10)

1.一种基于超像素和卷积网络的极化SAR图像分类方法，其特征在于，包括，小样本下基于深度学习的极化SAR图像分类，以及利用极化SAR图像的空间信息和超像素分割方法，扩充标记样本的数量。
2.根据权利要求1所述基于超像素和卷积网络的极化SAR图像分类方法，其特征在于，进一步包括，
采用Pauli分解处理滤波后的极化SAR图像，获得伪彩色图；
使用改进的SLIC超像素方法过分割所述伪彩色图，获得若干个超像素块；
在超像素块内选择与标记样本像素度较高的样本，扩大标记样本的数量；
提取所述滤波后的极化SAR图像的特征信息；
以所述滤波后的极化SAR图像中每一像素点为中心选取像素块，作为中心像素点的原始输入信息；
根据真实的地物标记，对极化SAR数据的每个地物类别分别随机选取训练样本与测试样本；
构建多层卷积网络模型；
将所述训练样本输入到所述多层卷积网络模型中，获得训练好的卷积网络模型；
将所述测试样本输入到所述训练好的卷积网络模型中，获得测试样本中每个像素的分类结果；
结合超像素分割结果对卷积网络输出结果进行后处理；
将所述分类结果与真实的地物标记进行对比，计算正确率；
输出上色后的分类结果图。
3.根据权利要求2所述基于超像素和卷积网络的极化SAR图像分类方法，其特征在于，所述过分割获得若干个超像素块的方法为：
3a)将伪彩色图转化为CIELAB颜色空间下的三维特征向量
Ci＝[li ai bi]T；
其中，li表示亮度，ai和bi表示相对维度；
3b)选择初始种子点，每个种子点的距离近似为
Figure FDA0002572882240000011
其中，N表示整幅极化SAR图像总的像素点个数，K表示预分割的超像素块的个数；
3c)在以种子点为中心的2S×2S区域内计算每个像素点与种子点的颜色差异
Figure FDA0002572882240000021
3d)在以种子点为中心的2S×2S区域内计算每个像素点与种子点空间距离
Figure FDA0002572882240000022
其中，Ti和Ti分别代表像素点i和j的相干矩阵，(Ti)-1和(Tj)-1分别表示对矩阵Ti和Tj求逆，|·|表示矩阵的行列式，Tr(·)是矩阵的迹；
3e)在以种子点为中心的2S×2S区域内计算每个像素点与种子点的相似度
Figure FDA0002572882240000023
其中，S表示种子点间的距离，m表示平衡参数，且m＝10；
3f)在以种子点为中心的2S×2S区域内比较所有点的相似度Di，选取Di值最大的像素点赋予其中心点相同的类别，并作为新的种子点；
3g)重复步骤3c)-3f)，直到收敛。
4.根据权利要求2所述基于超像素和卷积网络的极化SAR图像分类方法，其特征在于，所述扩大标记样本数量的方法为：
4a)计算每个超像素块内所有标记像素点相干矩阵的均值V；
4b)计算所述均值V与未标记像素点之间的相似度
di(Ti,V)＝ln(|V|)+Tr(V-1Ti)；
其中，Ti，i＝1,2,3...M表示超像素块内未标记的像素点；
4c)将每个超像素块内的相似度di按由小到大排序，选取最相似的前30％像素，并对其进行标记，标记为超像素块中原始标记像素点的类别。
5.根据权利要求2所述基于超像素和卷积网络的极化SAR图像分类方法，其特征在于，所述提取极化SAR图像特征信息的方法为：
5a)读入所述滤波后的极化SAR图像的每个像素点，所述像素点为一个3×3的相干矩阵
Figure FDA0002572882240000024
5b)利用所述相干矩阵T，提取6维的特征信息L1
L1＝[A,B,C,D,E,F]；
A＝10lg(T11+T12+T13)；
B＝T22/(T11+T22+T33)；
C＝T33/(T11+T22+T33)；
Figure FDA0002572882240000031
Figure FDA0002572882240000032
Figure FDA0002572882240000033
其中，A表示所有极化通道的总散射能量；B，C分别为T22和T33的能量比例；D，E，F为相关系数；
5c)在超像素块内，计算每一像素的空间加权特征L2
Figure FDA0002572882240000037
Figure FDA0002572882240000034
Figure FDA0002572882240000035
其中，M表示超像素块内像素点的个数，
Figure FDA0002572882240000036
表示超像素块内所有像素点特征L1的平均值，wi表示超像素块内每一个像素点特的权重，di表示超像素块内第i个像素点与超像素块内标记像素的均值相干矩阵之间的相似度，dmax表示每一超像素块内所有像素点内di的最大值；
5d)构建结合空间信息的12维极化特征
L＝[L1,L2]。
6.根据权利要求2所述基于超像素和卷积网络的极化SAR图像分类方法，其特征在于，所述构建的多层卷积网络模型为一个包含3个卷积层的深度网络模型，所述网络模型的结构为：
输入层→数据预处理层→第一个卷积层→第一个池化层→第二个卷积层→第二个池化层→第三个卷积层→第三个池化层→全链接层→分类器→输出层。
7.根据权利要求2所述基于超像素和卷积网络的极化SAR图像分类方法，其特征在于，所述结合超像素分割结果对卷积网络输出结果进行后处理的方法为：
计算每一个超像素块里面的像素类别，以及每一类别像素所包含的像素点数；
计算每一个超像素块里面绝对占优的像素类别R，即NR/Ns＞0.5，其中NR表示超像素块内绝对占优的类别的像素点数，Ns表示超像素内包含的总的像素点数；
计算超像素块内像素点与绝对占优的像素点聚类中心的距离d(Ts,VR)，如果d(Ts,VR)≤dc则把像素点Ts分配到类别R，否则保留其原标记，其中VR表示绝对占优的类别的聚类中心，dc定义为：
Figure FDA0002572882240000041
8.根据权利要求2所述基于超像素和卷积网络的极化SAR图像分类方法，其特征在于，以所述滤波后的极化SAR图像中每一像素点为中心选取9×9的像素块。
9.根据权利要求2所述基于超像素和卷积网络的极化SAR图像分类方法，其特征在于，包括，
对待分类极化SAR图像进行滤波，去除斑点噪声，得到滤波后的极化SAR图像；
采用Pauli分解处理滤波后的极化SAR图像，获得伪彩色图；
使用改进的SLIC超像素方法过分割所述伪彩色图，获得若干个超像素块；所述过分割获得若干个超像素块的方法为：
3a)将伪彩色图转化为CIELAB颜色空间下的三维特征向量
Ci＝[li ai bi]T；
其中，li表示亮度，ai和bi表示相对维度；
3b)选择初始种子点，每个种子点的距离近似为
Figure FDA0002572882240000042
其中，N表示整幅极化SAR图像总的像素点个数，K表示预分割的超像素块的个数；
3c)在以种子点为中心的2S×2S区域内计算每个像素点与种子点的颜色差异
Figure FDA0002572882240000043
3d)在以种子点为中心的2S×2S区域内计算每个像素点与种子点空间距离
Figure FDA0002572882240000044
其中，Ti和Ti分别代表像素点i和j的相干矩阵，(Ti)-1和(Tj)-1分别表示对矩阵Ti和Tj求逆，|·|表示矩阵的行列式，Tr(·)是矩阵的迹；
3e)在以种子点为中心的2S×2S区域内计算每个像素点与种子点的相似度
Figure FDA0002572882240000051
其中，S表示种子点间的距离，m表示平衡参数，且m＝10；
3f)在以种子点为中心的2S×2S区域内比较所有点的相似度Di，选取Di值最大的像素点赋予其中心点相同的类别，并作为新的种子点；
3g)重复步骤3c)-3f)，直到收敛；
在超像素块内选择与标记样本像素度较高的样本，扩大标记样本的数量；所述扩大标记样本数量的方法为：
4a)计算每个超像素块内所有标记像素点相干矩阵的均值V；
4b)计算所述均值V与未标记像素点之间的相似度
di(Ti,V)＝ln(|V|)+Tr(V-1Ti)；
其中，Ti，i＝1,2,3...M表示超像素块内未标记的像素点；
4c)将每个超像素块内的相似度di按由小到大排序，选取最相似的前30％像素，并对其进行标记，标记为超像素块中原始标记像素点的类别；
提取所述滤波后的极化SAR图像的特征信息；所述提取极化SAR图像特征信息的方法为：
5a)读入所述滤波后的极化SAR图像的每个像素点，所述像素点为一个3×3的相干矩阵
Figure FDA0002572882240000052
5b)利用所述相干矩阵T，提取6维的特征信息L1
L1＝[A,B,C,D,E,F]；
A＝10lg(T11+T12+T13)；
B＝T22/(T11+T22+T33)；
C＝T33/(T11+T22+T33)；
Figure FDA0002572882240000061
Figure FDA0002572882240000062
Figure FDA0002572882240000063
其中，A表示所有极化通道的总散射能量；B，C分别为T22和T33的能量比例；D，E，F为相关系数；
5c)在超像素块内，计算每一像素的空间加权特征L2
Figure FDA0002572882240000064
Figure FDA0002572882240000065
Figure FDA0002572882240000066
其中，M表示超像素块内像素点的个数，
Figure FDA0002572882240000067
表示超像素块内所有像素点特征L1的平均值，wi表示超像素块内每一个像素点特的权重，di表示超像素块内第i个像素点与超像素块内标记像素的均值相干矩阵之间的相似度，dmax表示每一超像素块内所有像素点内di的最大值；
5d)构建结合空间信息的12维极化特征
L＝[L1,L2]；
以所述滤波后的极化SAR图像中每一像素点为中心选取9×9的像素块，作为中心像素点的原始输入信息；
根据真实的地物标记，对极化SAR数据的每个地物类别分别随机选取0.1％的有标记数据作为训练样本，剩下的99.9％有标记数据作为测试样本；
构建一个包含3个卷积层的深度网络模型，所述网络模型的结构为：
输入层→数据预处理层→第一个卷积层→第一个池化层→第二个卷积层→第二个池化层→第三个卷积层→第三个池化层→全链接层→分类器→输出层；
将所述训练样本输入到所述多层卷积网络模型中，获得训练好的卷积网络模型；
将所述测试样本输入到所述训练好的卷积网络模型中，获得测试样本中每个像素的分类结果；
结合超像素分割结果对卷积网络输出结果进行后处理，后处理的方法为：
计算每一个超像素块里面的像素类别，以及每一类别像素所包含的像素点数；
计算每一个超像素块里面绝对占优的像素类别R，即NR/Ns＞0.5，其中NR表示超像素块内绝对占优的类别的像素点数，Ns表示超像素内包含的总的像素点数；
计算超像素块内像素点与绝对占优的像素点聚类中心的距离d(Ts,VR)，如果d(Ts,VR)≤dc则把像素点Ts分配到类别R，否则保留其原标记，其中VR表示绝对占优的类别的聚类中心，dc定义为：
Figure FDA0002572882240000071
将所述分类结果与真实的地物标记进行对比，对于每个类别，分类正确的像素个数与测试样本中相应类别总的像素个数的比值作为这个类别的正确率；总的分类正确的像素个数与测试样本总的像素个数的比值作为极化SAR图像整体的分类正确率；
将红色、绿色、蓝色三个颜色作为三基色，按照三基色上色法进行上色，分类结果中相同类别上相同的颜色，得到上色后的分类结果图，输出上色后分类结果图。
10.权利要求1所述基于超像素和卷积网络的极化SAR图像分类方法在目标识别中的应用。
CN202010645410.7A 2020-07-07 2020-07-07 一种基于超像素和卷积网络的极化sar图像分类方法 Pending CN111626380A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010645410.7A CN111626380A (zh) 2020-07-07 2020-07-07 一种基于超像素和卷积网络的极化sar图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010645410.7A CN111626380A (zh) 2020-07-07 2020-07-07 一种基于超像素和卷积网络的极化sar图像分类方法

Publications (1)

Publication Number Publication Date
CN111626380A true CN111626380A (zh) 2020-09-04

Family

ID=72260452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010645410.7A Pending CN111626380A (zh) 2020-07-07 2020-07-07 一种基于超像素和卷积网络的极化sar图像分类方法

Country Status (1)

Country Link
CN (1) CN111626380A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298129A (zh) * 2021-05-14 2021-08-24 西安理工大学 基于超像素和图卷积网络的极化sar图像分类方法
CN113344013A (zh) * 2021-07-15 2021-09-03 西安电子科技大学 基于图低秩稀疏分解的极化sar图像特征挖掘方法
CN113486753A (zh) * 2021-06-29 2021-10-08 北京蓬瑞宇兴科技有限公司 一种基于sar的无人机图像处理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105138970A (zh) * 2015-08-03 2015-12-09 西安电子科技大学 基于空间信息的极化sar图像分类方法
CN106778821A (zh) * 2016-11-25 2017-05-31 西安电子科技大学 基于slic和改进的cnn的极化sar图像分类方法
CN110110813A (zh) * 2019-05-20 2019-08-09 西安邮电大学 基于双通道卷积网络的极化sar图像分类方法
CN111339924A (zh) * 2020-02-25 2020-06-26 中国电子科技集团公司第五十四研究所 一种基于超像素和全卷积网络的极化sar图像分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105138970A (zh) * 2015-08-03 2015-12-09 西安电子科技大学 基于空间信息的极化sar图像分类方法
CN106778821A (zh) * 2016-11-25 2017-05-31 西安电子科技大学 基于slic和改进的cnn的极化sar图像分类方法
CN110110813A (zh) * 2019-05-20 2019-08-09 西安邮电大学 基于双通道卷积网络的极化sar图像分类方法
CN111339924A (zh) * 2020-02-25 2020-06-26 中国电子科技集团公司第五十四研究所 一种基于超像素和全卷积网络的极化sar图像分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
滑文强: "小样本下的极化SAR图像分类问题研究" *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298129A (zh) * 2021-05-14 2021-08-24 西安理工大学 基于超像素和图卷积网络的极化sar图像分类方法
CN113298129B (zh) * 2021-05-14 2024-02-02 西安理工大学 基于超像素和图卷积网络的极化sar图像分类方法
CN113486753A (zh) * 2021-06-29 2021-10-08 北京蓬瑞宇兴科技有限公司 一种基于sar的无人机图像处理方法
CN113344013A (zh) * 2021-07-15 2021-09-03 西安电子科技大学 基于图低秩稀疏分解的极化sar图像特征挖掘方法
CN113344013B (zh) * 2021-07-15 2023-06-30 西安电子科技大学 基于图低秩稀疏分解的极化sar图像特征挖掘方法

Similar Documents

Publication Publication Date Title
CN108388927B (zh) 基于深度卷积孪生网络的小样本极化sar地物分类方法
Zhao et al. Superpixel-based multiple local CNN for panchromatic and multispectral image classification
CN111523521B (zh) 一种双支路融合多尺度注意神经网络的遥感图像分类方法
CN108846426B (zh) 基于深度双向lstm孪生网络的极化sar分类方法
CN106778821B (zh) 基于slic和改进的cnn的极化sar图像分类方法
CN107292317B (zh) 基于浅层特征与t矩阵深度学习的极化sar分类方法
CN108830870B (zh) 基于多尺度结构学习的卫星影像高精度农田边界提取方法
CN110084159A (zh) 基于联合多级空谱信息cnn的高光谱图像分类方法
CN105138970B (zh) 基于空间信息的极化sar图像分类方法
CN108549891A (zh) 基于背景与目标先验的多尺度扩散显著目标检测方法
CN108460391B (zh) 基于生成对抗网络的高光谱图像无监督特征提取方法
CN111626380A (zh) 一种基于超像素和卷积网络的极化sar图像分类方法
CN105069796B (zh) 基于小波散射网络的sar图像分割方法
CN112862792B (zh) 一种用于小样本图像数据集的小麦白粉病孢子分割方法
CN105718942B (zh) 基于均值漂移和过采样的高光谱图像不平衡分类方法
CN107491734B (zh) 基于多核融合与空间Wishart LapSVM的半监督极化SAR图像分类方法
CN106611423B (zh) 基于脊波滤波器和反卷积结构模型的sar图像分割方法
CN113705580B (zh) 基于深度迁移学习的高光谱图像分类方法
CN104299232B (zh) 一种基于自适应窗方向波域和改进fcm的sar图像分割方法
CN107403434A (zh) 基于两阶段聚类的sar图像语义分割方法
CN111680579B (zh) 一种自适应权重多视角度量学习的遥感图像分类方法
CN107491793B (zh) 一种基于稀疏散射全卷积的极化sar图像分类方法
CN109446894A (zh) 基于概率分割及高斯混合聚类的多光谱图像变化检测方法
CN110598564A (zh) 基于OpenStreetMap的高空间分辨率遥感影像迁移学习分类方法
CN108364011A (zh) PolSAR图像多级特征提取与无监督分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination