CN113486967B - 结合图卷积网络和马尔可夫随机场的sar图像分类算法 - Google Patents
结合图卷积网络和马尔可夫随机场的sar图像分类算法 Download PDFInfo
- Publication number
- CN113486967B CN113486967B CN202110799804.2A CN202110799804A CN113486967B CN 113486967 B CN113486967 B CN 113486967B CN 202110799804 A CN202110799804 A CN 202110799804A CN 113486967 B CN113486967 B CN 113486967B
- Authority
- CN
- China
- Prior art keywords
- graph
- super
- sar image
- pixel
- random field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007635 classification algorithm Methods 0.000 title claims abstract description 13
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 43
- 230000007246 mechanism Effects 0.000 claims abstract description 15
- 238000005457 optimization Methods 0.000 claims abstract description 14
- 238000012805 post-processing Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 29
- 239000011159 matrix material Substances 0.000 claims description 28
- 238000000034 method Methods 0.000 claims description 25
- 230000004913 activation Effects 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 13
- 238000005096 rolling process Methods 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000009792 diffusion process Methods 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000011218 segmentation Effects 0.000 description 7
- 238000009499 grossing Methods 0.000 description 4
- 230000004931 aggregating effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000005194 fractionation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 235000012434 pretzels Nutrition 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种结合图卷积网络和马尔可夫随机场的SAR图像分类算法,首先构建动态图卷积网络,通过将所有图卷积层的输出重建节点关系,利用重建的节点关系实时更新当前层图结构,使其能准确描述成对像素的内在相似性,减少相干斑噪声的影响;其次,构建基于边界强度惩罚机制的马尔可夫随机场,充分利用空间上下文关系,进行后处理优化;最后,在两组真实的SAR图像上进行实验,采用多种算法进行对比,并定量分析,实验结果验证了论文的改进网络在SAR图像分类上的有效性。
Description
技术领域
本发明涉及SAR图像分类技术领域,尤其涉及一种结合图卷积网络和马尔可夫随机场的SAR图像分类算法。
背景技术
合成孔径雷达(SyntheticAperture Radar,SAR)以其能够穿透云雨、不分昼夜的全天候、全天时和高分辨率成像能力,受到了人们的青睐,大量的SAR图像数据也随之获取,并广泛应用于地形分类、目标检测和图像变化检测等领域。SAR图像分类是将SAR图像划分为不同地形类别的过程,具有广阔的应用前景。
迄今为止,已经有多种方法应用于SAR图像分类,,在传统的SAR分类方法中,Zhang(Zhang Y,He C,Xu X,et al。Attributed scattering center feature extraction ofhigh resolution SAR image and classification algorithm[C]//Proceedings ofIEEEGeoscience and Remote Sensing Symposium。Quebec City,QC,Canada:IEEE,2014:474-477)等提出了最近邻分类器,因其理论完善和实践简单得到了广泛应用。Kersten(KerstenPR,Lee J S,Ainsworth T L.Unsupervised classification of polarimetricsynthetic aperture radar images using fuzzy clustering and EM clustering[J]。IEEE Transactions on Geoscience and Remote Sensing,2005,43(3):519–527)等利用复Wishart分布与模糊C均值聚类设计了一个损失函数,用于提升极化SAR分类方法的精准度。2002年,Fukuda(Fukuda S,Katagiri R,Hirosawa H。Unsupervised approach forpolarimetric SAR image classification using support vector machines[C]//Proceeding ofIEEE International Geoscience and Remote Sensing Symposium。Toronto,Ontario,Canada:IEEE,2002:2599-2601)等利用支持向量机(SupportVectorMachine,SVM)实现了SAR图像分类研究。但是,传统的SAR分类方法需要手动提取特征,严重依赖地理信息专业知识,并且耗费大量人力和时间。为了解决这一问题,深度学习被广泛用于SAR图像分类,深度学习方法可以通过逐步聚合底层特征自动获得抽象的高层表示,从而避免了复杂的特征工程。深度学习体系结构,如堆叠式自动编码器(The StackedAutoencoder,SAE)、深度置信网络(Deep BeliefNetwork,DBN)、卷积神经网络(convolutional neural network,CNN)、全卷积网络(Fully Convolutional Network,FCN)等,如Zhang(ZhangAJ,Yang X Z,Fang S,et al。Region level SAR imageclassification using deep features and spatial constraints[J]。ISPRS JournalofPhotogrammetry and Remote Sensing,2020,163:36-48)等将RMRF与超像素区域的CNN深度特征结合,可以有效解决像素级和区域级的像素误分类。
基于传统CNN的SAR图像分类方法取得了很好的分类性能,但是传统的模型只能在规则的正方形的区域进行卷积,无法自适应地捕捉SAR图像中不同目标区域的几何变化,此外,对所有图像进行卷积时,卷积核的权值是相同的,这也导致了提取特征过程中边界信息的丢失,并且由于卷积核的不灵活,很可能会造成中心像素分类错误。因此,Ma等使用了最近提出了图卷积网络(Graph Convolutional Network,GCN)模型作为基本框架,并加入将超像素与注意力机制层组合,降低了算法的复杂度,GCN是图神经网络(Graph NeuralNetwork,GNN)的变种,是将CNN推广到图的领域,使其可以处理具有拓扑结构的图数据,通过将节点的邻居节点分配不同的权重,再聚集起来生成新的节点表示。Kipf和Welling提出了一种快速近似局部卷积,使GCN模型能够同时编码图的结构和图的节点特征。
上述基于GCN分类算法都使用相同的图结构作为所有GCN卷积层的输入。但是,SAR图像存在相干斑噪声,导致初始构建的图结构不准确,即像素间的边缘权重无法精确表达其内在相似性。此外,在这些算法中,中心像元的邻域大小也是固定不变的,无法灵活地利用不同局部区域的空间信息以提升分类精度。
针对以上问题,在前人的研究基础上,提出了一种改进的图卷积网络模型,算法先使用超像素分割SAR图像作为初始输入,可以使网络模型的复杂度大大降低;再利用所有层的输出特征,实时地改进图结构,这样可以在下一层中获得准确的节点特征表示,保证良好的分类性能;超像素的平滑作用,使得匀质区域内的误分类像素点得到了纠正,但是边界处的区域误分类点却没有得到进一步纠正。
马尔可夫随机场(Markov random filed,MRF)利用空间领域之间的上下文关系,可以增强空间平滑度。MRF经常被用来后处理,通过导入空间上下文信息对初始存在错误的标签进行纠正处理,由于在导出的标签上添加了空间平滑度,相应分类结果会得到显著改善。
因此,构建基于边界强度惩罚的像素级MRF模型,在改进的区域级GCN的基础上进行后端优化,利用空间领域的约束关系,进一步提升边界区域的分类效果。
发明内容
本发明目的就是为了弥补已有技术的缺陷,提供一种结合图卷积网络和马尔可夫随机场的SAR图像分类算法。
本发明是通过以下技术方案实现的:
一种结合图卷积网络和马尔可夫随机场的SAR图像分类算法,具体包括以下步骤:
(1)构建图卷积神经网络,通过线性迭代聚类算法对SAR图像进行预处理,将SAR图像分割成同质的超像素区域,确定每个超像素区域的标签,其中,一个节点表示一个超像素,相邻的超像素被连接起来,将超像素作为图卷积网络的初始输入;
(2)利用所有图卷积层输出的特征图,对原始预定义图结构进行优化改进;
(3)构建基于边界强度惩罚机制的马尔可夫随机场后处理模型,模型的初始标签是改进的图卷积网络预测的标签,用条件迭代算法完成标签的优化,完成区域级与像素级相结合的SAR图像分类。
将位于同一超像素区域内的像素点采用投票机制,即对于每个超像素区域,计算每个类别的像素点数目,将含有最多像素点的类别作为超像素区域的类别标签,以这种方式,确定每个超像素区域的标签。
步骤(2)所述的利用所有图卷积层输出的特征图,对预定义的图结构进行优化改进,具体如下:
将输入的SAR图像建模为无向图模型G,其中每个超像素区域对应一个节点,其中V和E分别是节点和边的集合。无向图模型G的结构由邻接矩阵来表示,表示每一对节点是否连接,计算方式如下:
式中:γ为参数,xi表示一个超像素区域,N(xj)表示xj的邻域超像素的集合;
利用图卷积层的输出之间的内积重构节点之间的关系,Hl是第l卷积层的输出,则重构的相似度矩阵为:Al r=f(HlHl T),f()是激活函数,选用高斯核函数作为激活函数,得到:
将预定义的图并且融合前面所有卷积层输出重构的图作为当前层输入图,利用扩散的方式进行融合,即:
表示更新后第l卷积层使用的邻接矩阵,E是单位矩阵,表示高斯白噪声,η控制噪声的权重系数;
图卷积层的输出表达式为:
其中,σ(·)是激活函数,选用RELU为激活函数,wl,Hl分别是第l图卷积层的邻接矩阵,可训练权重矩阵和特征矩阵,采用交叉熵损失函数对所提出的网络模型进行参数训练优化,使训练节点上的交叉熵最小,损失函数定义如下:
式中:yL是所有输入样本的标签集,c是样本的类别数,ylf是训练样本归一化的标签矩阵,zlf是对图卷积网络最后一层输出进行归一化的结果,对参数采用整批梯度下降法进行学习更新,在每次迭代中利用所有节点进行梯度下降。
所述步骤(3)的具体内容如下:
马尔科夫随机场的一元能量项采用高斯混合模型来表示:
式中,ys表示节点s的类别标签,xs是节点是的强度特征值,δi和μi是图像中第i类别的强度的方差和均值.;
将边界强度引入到惩罚机制,对两个像素标签类别不一致的像素,边界强度越小,惩罚越大。如下式:
yi和yj是两个相邻像素的i和j对应的标签,d是相邻像素点的欧式空间距离,其大小由它们的强度差异值决定,k控制权重的衰减程度,因此,构建的总能量函数是:
通过最小化总能量函数,马尔可夫随机场后处理模型输出每个节点优化后的类别标签。
本发明的优点是:
(1)本发明算法在卷积过程中不断实时优化图结构,更新后的图可以准确地表达相邻区域之间的内在相似度,能够对不同的邻居节点分配不同的权重,有利于生成更准确的节点特征表示,能够改善匀质区域和边界区域的分类;
(2)基于边界强度惩罚机制的MRF模型,将区域级的分类结果使用像素级的MRF进行后端优化,可以进一步提高边界区域的分类。在Radarsat-2Flevoland和San Francisco-Bay真实SAR图像上进行实验,并将本文算法与三个常见的算法进行比较分析,都实现了最高的总分类精度,分别为94.04%,90.21%。结果证明,该算法可以有效保持边缘和细节纹理清晰,并且在匀质区域内也有很好的平滑效果。
附图说明
图1为本发明算法框架图。
图2为本发明实验所用图像以及相对应的标签图(图2a为Flevoland图像;图2b为Flevoland标签;图2c为San Francisco图像;图2d为San Francisco标签)。
图3为MRF优化前后的分类图(图3a为初始分类结果图;图3b为MRF优化后结果图)。
图4为在Flevoland图像上的分类结果图(图4a为文本算法图像;图4b为AGCN图像;图4c为GCN图像;图4d为DenseNet22图像;图4e为ResNet 18图;图4f为PSPNet图)。
图5为在San Francisco图像上的分类结果图(图5a为文本算法图像;图5b为AGCN图像;图5c为GCN图像;图5d为DenseNet22图像;图5e为ResNet18图;图5f为PSPNet图)。
具体实施方式
GCN是一种多层神经网络模型,通过聚集图中的节点的邻域中的所有节点的特征来生成新的节点特征表示,Shuman(Shuman D I,Narang S K,Frossaed P,et al。Theemerging field ofsignal processing on graphs:Extending high-dimensional dataanalysis to networks and other irregular domains[J]。IEEE signal processingmagazine,2013,30(3):83-98)等首次将傅里叶变换运用到图数据上,并定义了图结构数据的卷积运算,卷积运算是图的节点特征向量x与滤波器gθ相乘,如式(1)所示,
式中:U是归一化拉普拉斯算子的特征向量组成的矩阵。Λ是由特征值gθ组成的对角矩阵,gθ(Λ)是gθ的傅里叶变换后的结果,但是这种方法大大增加了模型的复杂度,为了减少式(1)中特征向量分解的计算消耗,Hammond(Hammond D K,Vandergheynst P,Gribonval R.Wavelets on graphs via spectral graph theory[J]。Applied and Computational Harmonic Analysis,2011,30(2):129-150)等用Chebyshev多项式Tk(x)的K阶截断展开式拟合gθ(Λ),并将Λ进行归一化,使其元素属于[-1,1],拟合结果见公式(2):
式中:θ是一个切比雪夫系数的向量,是特征向量矩阵,λmax是L的最大特征值。Chebyshev多项式定义以递归的方式定义为:Tk(x)=2xTk-1(x)-Tk-2(x),其中,T0(x)=1,T1(x)=x。Kipf等用近似λmax=2,并将分层卷积运算限制在k=1,推导出GCN层的线性公式:
式中:因此GCN模型的卷积运算如公式(4)所示:
式中:Hl是第l图卷积层的输出矩阵,σ(g)是激活函数,wl是第l层的权重矩阵。
结合MRF的实时图卷积神经网络SAR分类算法的算法框架如图1所示。首先,通过线性迭代聚类(SLIC)]算法对SAR图像进行预处理,将SAR图像过分割成同质的超像素区域。其中,一个节点表示一个超像素,相邻的超像素被连接起来;将超像素作为GCN网络的初始输入;其次,利用所有前面图卷积层输出的特征图,对输入的图结构进行优化改进,使其能有效表达图节点之间的相似度,从而有效提高SAR图像分类精度;最后,构建基于边界强度惩罚机制的MRF后处理模型,模型的初始标签是改进的GCN预测的标签,用条件迭代算法完成标签的优化,完成区域级与像素级相结合的SAR图像分类。
1、超像素分割
SAR图像中包括大量像素点,将SAR图像分割成超像素块,可以有效提高进行卷积运算时的效率和减少计算复杂度。因此,本发明采用SLIC的分割算法,将输入图像分割成超像素集,SLIC算法使用k-means算法迭代进行局部聚类来完成输入图像的分割,相邻和相似的像素被聚集在同一超像素区域内。分割完成后,每一个超像素区域都作为图卷积神经网络的图节点,而不是输入图像中的单个像素点,这样可以大大减少图节点的数量,提高计算效率。在这个过程中,每个节点的特征向量是对应超像素内所有像素点的平均特征向量。但是,聚集在同一超像素区域内的并不是都属于同一类别,因此,本发明将采用一种投票机制,即对于每个超像素区域,计算每个类别的像素点数目,将含有最多像素点的类别作为超像素区域的类别标签。以这种方式,确定每个超像素区域的标签。此外,实现超像素分割的另一个优点是生成的超像素也有助于保留图像的局部结构。
2、图结构的构建及优化
将输入的SAR图像建模为无向图模型G,其中每个超像素区域对应一个节点,其中V和E分别是图中节点和边的集合,图G的结构可以由图的邻接矩阵来表示,表示每一对节点是否连接,计算方式如下:
式中:在实验中,参数γ设置为0.2,xi表示一个超像素区域,N(xj)表示xj的邻域超像素的集合。
传统GCN的每一卷积层输入的图的结构都是共享不变的,但是SAR图像存在相干斑噪声,由公式(5)构建的区域邻接图不能准确表达相邻超像素间的相似性程度,这会降低最终的分类性能。为了弥补这一缺陷,本发明提出了一种改进的图卷积网络模型,即区域邻接图可以动态更新,以更准确地表达区域之间的相关性,主要方法是通过融合前面所有图卷积层输出的节点特征和原始区域邻接图去改进区域邻接图,使其可以准确表达区域之间的关系。
图卷积层的输出之间的内积可以有效重构节点之间的关系,Hl是第l卷积层的输出,则重构的相似度矩阵为:Al r=f(HlHl T),f()是激活函数,选用高斯核函数作为激活函数,得到:
对于每一层输入的图结构,一个原始的图结构不能准确表示数据的相似度关系,因此,将预定义的图并且融合前面所有卷积层输出重构的图作为当前层输入图,解决原始图结构的不足。利用扩散的方式进行融合,即:
表示更新后第l卷积层使用的邻接矩阵,E是单位矩阵,表示高斯白噪声,η控制噪声的权重系数,由于上述过程得到的改进后图的边权重与不仅保留了原始输入图的内在流行结构,还融合了不同卷积层输出编码的成对相似性,改进图包含比原始预定义图具有更高阶的信息,高阶信息有助于揭示物体之间的内在联系,使网络模型更具有判别性。
因此,图卷积层的输出表达式为:
其中,σ(·)是激活函数,本发明选用RELU为激活函数,wl,Hl分别是第l图卷积层的邻接矩阵,可训练权重矩阵和特征矩阵,采用交叉熵损失函数对所提出的网络模型进行参数训练优化,使训练节点上的交叉熵最小,损失函数定义如下:
式中:yL是所有输入样本的标签集,c是样本的类别数,ylf是训练样本归一化的标签矩阵,zlf是对图卷积网络最后一层输出进行归一化的结果,对参数采用整批梯度下降法(Full Batch GradientDescent)进行学习更新,在每次迭代中利用所有节点进行梯度下降。
3、MRF后处理
不同的地物覆盖类型也有相似的特征,导致分类的结果存在误差,马尔科夫随机场可以充分利用局部的空间上下文信息,鼓励相邻的像素有相同的类别标签,将改进后的GCN分类标签结果作为MRF模型的初始分类标签,构建基于边界强度惩罚机制的MRF模型,马尔科夫随机场的一元能量项通常采用高斯混合模型来表示:
式中,ys表示节点s的类别标签,xs是节点是的强度特征值,δi和μi是图像中第i类别的强度的方差和均值。
对于二元能量项,传统MRF认为相邻的像素具有相同的标签类别,对相邻像素的标签不一致时,则施加相同权重的惩罚。实际上,相邻像素也可能包含不同的标签类别。因此,将边界强度引入到惩罚机制,对两个像素标签类别不一致的像素,边界强度越小,惩罚越大,如下式:
yi和yj是两个相邻像素的i和j对应的标签,d是相邻像素点的欧式空间距离,其大小由他们的强度差异值决定,k控制权重的衰减程度,因此,本发明构建的总能量函数是:
通过最小化总能量函数,MRF模型输出每个节点优化后的类别标签。
4、实验数据
本实施例选取RADARSAT-2拍摄的Flevoland和San Francisco-Bay地区的SAR图像数据,验证本文所提算法的有效性。这两幅SAR图像都是分辨率为8m的单视数复数图像,论文从两幅图像中提取HH波段用于实验,数据选取大小为1100*1400像素的Flevoland图像子区域为实验数据,五种地物包含水体、城区、森林、农田1和农田2;选取大小为1101*1161像素的San Francisco图像子区域为实验数据,五种地物包括水、植被、建筑物1、建筑物2、建筑物,图2展示了Flevoland和San Francisco-Bay原图以及其真实地物标签图。这两种数据包含的地物类型都全面丰富,可以避免单一地物类型对分类精准度的影响,使实验结果更可靠。
5、参数设置
对于所描述的两个数据集,将带标签的样本分为训练样本与测试样本两个部分,在每一类中分别选取30个带标签的像素点作为训练样本进行网络训练,其余的样本作为测试样本来评估分类性能;
对Flevoland和San Francisco图像进行SLIC[16]过分割算法的一些参数如表1所示。
表1 SLIC的相关参数
图卷积层的层数过多反而会抑制分类性能,因此发明图卷积层数设置为3,两层图卷积层之间的隐层单元数量设置为50,算法选用Adam优化器,学习率为0.05,训练迭代次数为600。控制权重衰减程度的权重参数设置k设置为10,为了评估本发明所提算法的分类性能,选取了其他最新的SAR图像分类方法进行比较,分别为:选用了两种基于GCN的模型,GCN和AGCN两种基于CNN的方法,ResNet18和DesNet22,一种基于全卷积网络的模型,PSPNet。
本发明选用总体分类精度OA,平均分类精度AA,每个类别的分类精度以及Kappa系数定量评估所有方法的分类性能。
6、MRF后端优化的性能分析
为了验证本发明提出的MRF的有效性,将通过使用Flevoland数据集测试了MRF优化前后的分类结果,表2列出了优化前后的各个指标的对比结果,从表中可以看出,各项分类指标都高于优化前的分类结果,OA、AA、Kappa系数分别提高了1.43%,1.19%,1.88%,分类的视觉效果图如图3所示,从图中方框出可以看出,经过基于边界强度惩罚机制的MRF优化后,边界区域的分割结果得到改善。
表2初始分类结果和优化后的分类性能比较%
7、Flevoland图像分类结果对比与讨论
针对Flevoland图像,给出了各种算法分类的结果,并进行分析。表3展示了Flevoland数据集通过不同算法分类的实验结果。从表中可以看出,AGCN在所有对比方法中效果最优,本文所提算法在OA、AA、Kappa系数三个指标上都优于AGCN,分别比AGCN高了2.38%,3.93%和3.21%,获得了最高的分类性能,从类别来看,所提算法在农田这一类别上提升尤为明显,相比AGCN,提升了约17%。
为了直观地比较分类结果,图4展示了各种算法分类结果的视觉效果图,从图中可以看出,PSPNet、ResNet18和DenseNet22的分类图存在大量的椒盐现象,地物边缘不平滑且存在较多的孤立点与误分类斑块,主要是因为其在卷积图像块时,卷积核的形状都是固定方形,无法适应不规则的地物形态;GCN分类效果较差,主要是GCN使用原始预定义邻接矩阵进行图卷积运算,容易受到相干斑噪声的影响,会产生很多的误分类点,当超像素内大部分像素都被错误分类时,超像素的平滑作用会导致整个超像素区域错误分类,所以GCN存在大量的区域级的误分类错误;AGCN虽然有效解决了匀质区域的分类效果,但是在边界定位方面仍有不足。相比于AGCN,发明算法可以有效改善边界定位和匀质区域内的分类效果,细节纹理保持较好,首先是由于图的结构是随着卷积过程动态更新的,降低了相干斑噪声的影响;其次是基于改进图卷积网络的区域级分类结果与像素级的MRF后端优化相结合,可以进一步改善边界区域的分类效果。
表3 Flevoland图像上各种算法的分类果%
8、San Francisco-Bay图像分类结果对比与讨论
对San Francisco-Bay数据集实验的结果进行对比和分析,表4展示了不同算法对San Francisco-Bay的分类指标的结果,从表中可以看出,所提算法在OA、AA和Kappa系数三个指标上都达到了最高的分类性能,分别为90.21%、89.22%和87.59%。另外,与在Flevoland上结果有所不同,在对比方法中,AGCN的分类指标次于DenseNet,主要是因为SanFrancisco-Bay数据中存在更多的相干斑噪声,并且水体和植被、地物特征相似,建筑物1和建筑物2特征相似,容易混淆,而AGCN的所有卷积层都共享固定的图结构,节点之间的相似度关系不能有效表达,并且有过拟合的风险。而本发明所提算法能够有效解决这些问题,这也验证了本发明所提算法的有效性和鲁棒性。
图5展示了各种算法处理San Francisco-Bay结果的视觉效果图。从图中可以看出,PSPNet、ResNet18和DenseNet的分类图存在大量误分类斑块和椒盐状的误分类点,因为它们都是在规则的图像网格上进行卷积,无法捕获特定的局部空间信息;本文算法可以有效平滑类间边缘,且地物较为规整,纹理更加突出。主要是因为动态图的构建,使模型更具有判别性。
表4 San Francisco-Bay图像上各种算法的分类结果%
针对基于GCN的SAR图像分类中受到相干斑噪声影响,使用固定的图结构不能准确表达像素内在相似性的问题,论文提出了一种结合GCN和MRF的SAR图像分类算法,得出以下结论:
(1)算法在卷积过程中不断实时优化图结构,更新后的图可以准确地表达相邻区域之间的内在相似度,因此能够对不同的邻居节点分配不同的权重,有利于生成更准确的节点特征表示,能够改善匀质区域和边界区域的分类。
(2)基于边界强度惩罚机制的MRF模型,将区域级的分类结果使用像素级的MRF进行后端优化,可以进一步提高边界区域的分类。在Radarsat-2Flevoland和San Francisco-Bay真实SAR图像上进行实验,并将本发明算法与三个常见的算法进行比较分析,都实现了最高的总分类精度,分别为94.04%,90.21%。结果证明,该算法可以有效保持边缘和细节纹理清晰,并且在匀质区域内也有很好的平滑效果。
Claims (3)
1.一种结合图卷积网络和马尔可夫随机场的SAR图像分类算法,其特征在于:具体包括以下步骤:
(1)构建图卷积神经网络,通过线性迭代聚类算法对SAR图像进行预处理,将SAR图像分割成同质的超像素区域,确定每个超像素区域的标签,其中,一个节点表示一个超像素,相邻的超像素被连接起来,将超像素作为图卷积网络的初始输入;
(2)利用所有图卷积层输出的特征图,对原始的图结构进行优化改进;
(3)构建基于边界强度惩罚机制的马尔可夫随机场后处理模型,用条件迭代算法完成标签的优化,完成SAR图像分类;
步骤(2)所述的利用所有图卷积层输出的特征图,对原始预定义的图结构进行优化改进,具体如下:
将输入的SAR图像建模为无向图模型G,其中每个超像素区域对应一个节点,其中V和E分别是节点和边的集合.无向图模型G的结构由邻接矩阵来表示,表示每一对节点是否连接,计算方式如下:
式中:γ为参数,xi表示一个超像素区域,N(xj)表示xj的邻域超像素的集合;
利用图卷积层的输出之间的内积重构节点之间的关系,Hl是第l卷积层的输出,则重构的相似度矩阵为:Al r=f(HlHl T),f()是激活函数,选用高斯核函数作为激活函数,得到:
将预定义的图并且融合前面所有卷积层输出重构的图作为当前层输入图,利用扩散的方式进行融合,即:
表示更新后第l卷积层使用的邻接矩阵,E是单位矩阵,表示高斯白噪声,η控制噪声的权重系数;
图卷积层的输出表达式为:
其中,σ(·)是激活函数,选用RELU为激活函数,wl Hl分别是第l图卷积层的邻接矩阵,可训练权重矩阵和特征矩阵,采用交叉熵损失函数对所提出的网络模型进行参数训练优化,使训练节点上的交叉熵最小,损失函数定义如下:
式中:yL是所有输入样本的标签集,c是样本的类别数,ylf是训练样本归一化的标签矩阵,zlf是对图卷积网络最后一层输出进行归一化的结果,对参数采用整批梯度下降法进行学习更新,在每次迭代中利用所有节点进行梯度下降。
2.根据权利要求1所述的一种结合图卷积网络和马尔可夫随机场的SAR图像分类算法,其特征在于:
将位于同一超像素区域内的像素点采用投票机制,即对于每个超像素区域,计算每个类别的像素点数目,将含有最多像素点的类别作为超像素区域的类别标签,以这种方式,确定每个超像素区域的标签。
3.根据权利要求1所述的一种结合图卷积网络和马尔可夫随机场的SAR图像分类算法,其特征在于:所述步骤(3)的具体内容如下:
马尔科夫随机场的一元能量项采用高斯混合模型来表示:
式中,ys表示节点s的类别标签,xs是节点是的强度特征值,δi和μi是图像中第i类别的强度的方差和均值.
将边界强度引入到惩罚机制,对两个像素标签类别不一致的像素,边界强度越小,惩罚越大,如下式:
yi和yj是两个相邻像素的i和j对应的标签,d是相邻像素点的欧式空间距离,其大小由它们的强度差异值决定,k控制权重的衰减程度,因此,构建的总能量函数是:
通过最小化总能量函数,马尔可夫随机场后处理模型输出每个节点优化后的类别标签。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110799804.2A CN113486967B (zh) | 2021-07-15 | 2021-07-15 | 结合图卷积网络和马尔可夫随机场的sar图像分类算法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110799804.2A CN113486967B (zh) | 2021-07-15 | 2021-07-15 | 结合图卷积网络和马尔可夫随机场的sar图像分类算法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113486967A CN113486967A (zh) | 2021-10-08 |
CN113486967B true CN113486967B (zh) | 2024-05-07 |
Family
ID=77939749
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110799804.2A Active CN113486967B (zh) | 2021-07-15 | 2021-07-15 | 结合图卷积网络和马尔可夫随机场的sar图像分类算法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113486967B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102930532A (zh) * | 2012-09-28 | 2013-02-13 | 中国电子科技集团公司第三十八研究所 | 基于mrf迭代的sar图像非监督变化检测方法和装置 |
CN103413146A (zh) * | 2013-08-23 | 2013-11-27 | 西安电子科技大学 | 基于Freeman熵和自学习的极化SAR图像精细分类方法 |
CN112801404A (zh) * | 2021-02-14 | 2021-05-14 | 北京工业大学 | 一种基于自适应空间自注意力图卷积的交通预测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3928257A1 (en) * | 2019-02-19 | 2021-12-29 | HRL Laboratories, LLC | System and method for transferring electro-optical (eo) knowledge for synthetic-aperture-radar (sar)-based object detection |
-
2021
- 2021-07-15 CN CN202110799804.2A patent/CN113486967B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102930532A (zh) * | 2012-09-28 | 2013-02-13 | 中国电子科技集团公司第三十八研究所 | 基于mrf迭代的sar图像非监督变化检测方法和装置 |
CN103413146A (zh) * | 2013-08-23 | 2013-11-27 | 西安电子科技大学 | 基于Freeman熵和自学习的极化SAR图像精细分类方法 |
CN112801404A (zh) * | 2021-02-14 | 2021-05-14 | 北京工业大学 | 一种基于自适应空间自注意力图卷积的交通预测方法 |
Non-Patent Citations (3)
Title |
---|
Attention Graph Convolution Network for Image Segmentation in Big SAR Imagery Data;Ma, F 等;《Remote Sensing》;20191104;第11卷(第21期);1-21 * |
LBP特征分类的极化SAR图像机场跑道检测;韩萍 等;《中国图象图形学报》;20210416;第26卷(第04期);952-960 * |
Zhang A 等.Region level SAR image classification using deep features and spatial constraint.《ISPRS Journal of Photogrammetry and Remote Sensing》.2020,第163卷36-48. * |
Also Published As
Publication number | Publication date |
---|---|
CN113486967A (zh) | 2021-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhao et al. | Superpixel-based multiple local CNN for panchromatic and multispectral image classification | |
CN108052966B (zh) | 基于卷积神经网络的遥感图像场景自动提取和分类方法 | |
Yu et al. | Context-based hierarchical unequal merging for SAR image segmentation | |
CN107590515B (zh) | 基于熵率超像素分割的自编码器的高光谱图像分类方法 | |
Shi et al. | A latent encoder coupled generative adversarial network (le-gan) for efficient hyperspectral image super-resolution | |
CN102013017A (zh) | 一种高分辨率遥感图像场景粗分类方法 | |
CN113723492A (zh) | 一种改进主动深度学习的高光谱图像半监督分类方法及装置 | |
Zhong et al. | Multiscale and multifeature normalized cut segmentation for high spatial resolution remote sensing imagery | |
CN115810149A (zh) | 基于超像素与图卷积的高分辨率遥感图像建筑物提取方法 | |
Xu et al. | Remote sensing image denoising using patch grouping-based nonlocal means algorithm | |
CN115512162A (zh) | 基于注意力孪生网络与多模态融合特征的地物分类方法 | |
Ouma et al. | Multiscale remote sensing data segmentation and post-segmentation change detection based on logical modeling: Theoretical exposition and experimental results for forestland cover change analysis | |
Feng et al. | Land-cover classification of high-resolution remote sensing image based on multi-classifier fusion and the improved Dempster–Shafer evidence theory | |
Farahani et al. | Domain adaptation for unsupervised change detection of multisensor multitemporal remote-sensing images | |
CN114066816B (zh) | 基于静态小波变换提取的sar图像无监督变化检测方法 | |
CN113486876A (zh) | 一种高光谱影像波段选择方法、装置及系统 | |
CN112784777B (zh) | 基于对抗学习的无监督高光谱图像变化检测方法 | |
Sharma et al. | Classification of hyperspectral remote sensing image via rotation-invariant local binary pattern-based weighted generalized closest neighbor | |
Gao et al. | SSC-SFN: spectral-spatial non-local segment federated network for hyperspectral image classification with limited labeled samples | |
CN113486967B (zh) | 结合图卷积网络和马尔可夫随机场的sar图像分类算法 | |
Pan et al. | Enhanced FCN for farmland extraction from remote sensing image | |
Noyel et al. | A new spatio-spectral morphological segmentation for multi-spectral remote-sensing images | |
Wang et al. | Adaptive hypergraph superpixels | |
Shabaz et al. | Cognitive digital modelling for hyperspectral image classification using transfer learning model | |
CN114066815A (zh) | 基于模糊c均值聚类的SAR图像变化检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |