CN113160146B - 一种基于图神经网络的变化检测方法 - Google Patents
一种基于图神经网络的变化检测方法 Download PDFInfo
- Publication number
- CN113160146B CN113160146B CN202110336097.3A CN202110336097A CN113160146B CN 113160146 B CN113160146 B CN 113160146B CN 202110336097 A CN202110336097 A CN 202110336097A CN 113160146 B CN113160146 B CN 113160146B
- Authority
- CN
- China
- Prior art keywords
- graph
- representing
- image
- superpixels
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Software Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
Description
技术领域
本发明涉及雷达图像变化检测领域,具体涉及一种基于图神经网络的变化检测方法。
背景技术
多时相合成孔径雷达(Synthetic Aperture Radar,SAR)图像变化检测技术被广泛应用于环 境检测、城市研究和森林资源管理检测等对地观测任务,相较于光学图像,SAR图像变化检 测技术常常遭到固有斑点噪声的干扰。克服斑点噪声的影响精准检测变化极为重要。
由于具有地面参考图的多时相SAR图像极为匮乏,难以获得大量具有标签的训练样本, 监督学习的方法往往不适用于SAR图像变化检测,目前无监督学习方法被广泛应用于此领 域,其主要步骤包括:1)预处理;2)生成差分图像(Difference image,DI);3)差分图像 分析。其中预处理阶段主要包括图像去噪和几何配准。
生成差分图像的步骤旨在为后面的过程提供有价值的指导,其中减法和比率运算符是两 种经典方法,可以很容易地找到微弱变化区域的细节。此外,对数比是更受欢迎的方法,因 为它可以将乘性斑点噪声转换为加性噪声,这对SAR图像更为有效。整合局部空间信息可以 抑制斑点噪声,局部均值比和邻域比算子可以增强对变化后的像素和噪声之间的像素强度的 区分。
在分析差分图像的阶段,大量的特征提取方法被用于此步骤,例如主成分分析(Principal component analysis,PCA)、Gabor小波特征表示等。近十年来,由于深度学习算法自动提取 判别性特征的特点使其在图像处理领域受到广泛关注,并且逐渐取代了上述这类手工设计的 特征提取方法。目前,卷积神经网络以及其变种卷积小波变换神经网络已经被用于差分图像 的分析。此外,自编码网络也被广泛研究并且用于分析差分图像,稀疏自编码网络、堆叠自 编码网络以及Fisher约束的堆叠自编码网络,上述的自编码网络及其变体仅非常强调局部空 间信息的特征学习,在其学习过程中样本(图像片或超像素)之间是相互孤立的。仅仅基于 像素的局部空间信息建立的特征表示能力是极其有限的,限制了检测精度以及检测方法的鲁 棒性。
综上所述,如何提供一种新的不仅限于局部空间信息的检测的雷达图像变化检测方法, 提高检测精度以及检测方法的鲁棒性,成为了本领域技术人员急需解决的问题。
发明内容
针对上述现有技术的不足,本发明实际解决的问题包括:如何提供一种新的不仅限于局 部空间信息的检测的雷达图像变化检测方法,提高检测精度以及检测方法的鲁棒性。
为了解决上述技术问题,本发明采用了如下的技术方案:
一种基于图神经网络的变化检测方法,包括:
S1、获取二时相SAR图像I1和I2;
S4、利用变分图自动编码器网络提取图G(V,E)的非局部空间特征表示;
S5、利用k-means聚类算法基于非局部空间特征表示对每一个超像素进行分类。
优选地,步骤S3包括:
S302、将每个超像素重塑为M维特征向量,得到超像素向量集合{X1,X2,X3},X1、X2和X3分别表示从三个差分图像和获得的超像素特征向量,表示为c=1,2,3,M是所有超像素中的最大像素数,表示Xc中的第n个元素,c=1,2,3;
S303、按下式计算超像素向量之间的相似性:
式中,S(Xi,Xj)表示Xi和Xj之间的相似性,λ表示控制超参数,exp(·)表示以自然常数 e为底的指数函数;
S304、基于超像素向量之间的相似性构建无向图G(V,E),并得到对应的邻接矩阵A,
式中,aij表示邻接矩阵A中第i行第j列的元素,T表示预设稀疏性阈值。
优选地,变分图自动编码器网络包括编码器及解码器,编码器模型定义为:
式中,q(Z|X,A)表示潜在随机变量Z的后验分布,q(zi|X,A)表示每个潜在随机变量zi的后验分布,Z表示将X嵌入到潜在的子空间中得到的随机变量, F表示潜在随机变量的特征维数,zi表示Z中第i个元素,X表示原始样本特征,N(·)表示 高斯正太分布,μi表示zi对应的均值向量,σi表示zi对应的方差向量。
解码器模型定义为:
式中,p(A|Z)表示解码得到的邻接矩阵A的后验分布,p(aij|zi,zj)表示重构的邻接矩 阵A中的每个元素aij的后验分布,σ(·)表示逻辑sigmoid函数;
损失函数Loss定义为:
综上所述,和现有技术相比,本发明提出的方法具有以下优点:
(1)通过非局部特征学习建立更加有效的特征表示,有利于提升检测精度。
(2)通过图结构的约束以及嵌入空间中特征表示分布的学习,可以有效移除散斑噪声的 破坏以及抑制非平衡问题的影响
附图说明
为了使发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步的详 细描述,其中:
图1是本发明公开的一种基于图神经网络的变化检测方法的流程图;
图2是本发明公开的一种基于图神经网络的变化检测方法的可视化图;
图3为本发明与现有技术的对比实验结果图;
图4为图2的三组图像上不同累积次数的深度差异图对比,通过t-SNE可视化通过VGAE 学习到的特征表示的示意图,其中浅色的圆点表示不变类,深色的圆点表示变化类;
图5为采用不同差分图像进行变化检测的检测精度统计图。
具体实施方式
下面结合附图对本发明作进一步的详细说明。
如图1及图2所示,本发明公开了一种基于图神经网络的变化检测方法,包括:
S1、获取二时相SAR图像I1和I2;
S4、利用变分图自动编码器网络提取图G(V,E)的非局部空间特征表示;
S5、利用k-means聚类算法基于非局部空间特征表示对每一个超像素进行分类。
仅仅利用局部空间信息建立的特征表示能力是极其有限的,图卷积网络提供了通过利用 样本的图结构学习非局部特征的可能性。将图卷积网络作为编码器的图自编码网络为图结构 数据开发了一种无监督学习的框架,该模型被称之为变分图自动编码器网络(VGAEN)。但 是,将VGAEN直接应用于显示为非图形结构数据的图像是不合适的。因此,本发明从DI 中获得超像素作为分类的基本单位,并利用径向基函数(RBF)计算节点(超像素)之间的 相似度以构建加权无向图。在这里,三种不同类型的DI用于构建图以充分利用这些DI。然 后,使用VGAEN来学习非局部空间特征。学习过程可以理解为整个DI上相似节点之间的协 作表示,从而提高了表示能力和对所获取特征的区分。与现有技术相比,本发明通过非局部 特征学习建立更加有效的特征表示,使得检测不仅限于局部空间信息,提高了检测精度以及 检测方法的鲁棒性。
图3(a)和图3(b)分别为3组二时相SAR图像,图3(c)及图3(d)分别为采用 GroundTruth和采用本发明的方法进行变化检测的结果图。可以看出,本发明可以准确的检 测出两幅SAR影像中在不同时相的变化,检测结果与Ground Truth(真实地面参考图)基 本一致。
图4为采用VGAE在第三组图像上进行特征表示的可视化结果((a)、(b)、(c)分别是从 LRDI、MSRDI、CDI获得的超像素特征;(d)、(e)和(f)分别是使用AE,SAE和VGAE学习 的高级特征),从图中图4(d)和图4(e)可以看出,有许多变化的特征与不变的特征混合 在一起,很难区分。但是,VGAE所学习的特征具有很高的判别力,即,变化的类与不变化 的类明显分开。此外,所有属于变化类的样本的显示地很紧凑,说明了本发明的有效性。
式中,和分别表示第1、第2和第3通道的差分图像,Rec(·)表示基于多尺度 超像素重建的差分图像的方法(此为现有技术,见Zhang,X.,Su,H.,Zhang,C.,Gu,X.,Tan,X., Peter M.Atkinson.,2021.Robust unsupervised small area changedetection from SAR imagery using deep learning.ISPRS Journal ofPhotogrammmetry and Remote Sensing[J]173.79–94), mean(·)和median(·)表示均匀滤波和中值滤波。
三种类型的DI包括对数比图像(LRDI),组合差分图像(CDI),以及基于多尺度超像素重建的差分图像(MSRDI),被整合作为后续分析的材料。其中,LRDI对SAR图像固有 的乘法斑点表现出强大的鲁棒性。与现有技术相比,我们将CDI的对数比率运算符替换为比 率运算符,目的是寻找弱变化的像素。MSRDI通过利用像素邻域的同类信息有效地抑制斑点噪声,同时保留丰富的细节和边缘信息。
图5为本发明在三组数据中采用不同差分图像的变化检测精度对比,为了说明所提出的 三个DI融合策略的优点,VGAE分别使用MSRDI,LRDI,CDI和融合的三通道图像(称为FDI)来进行特征提取以进行变化检测。F1分数的比较结果如图5所示,其中FDI展示了三 个数据集上的最佳结果。FDI具有以下优点:1)通过SLIC在FDI上可以获得比其他三个 DI更准确的超像素分割;2)融合的FDI中的丰富信息可以帮助RBF建立可靠的图形结构。 3)从其他三个DI收集的FDI中的信息促进了VGAE学习变化和不变类的关键的泛化知识。
具体实施时,步骤S3包括:
S302、将每个超像素重塑为M维特征向量,得到超像素向量集合{X1,X2,X3},X1、X2和X3分别表示从三个差分图像和获得的超像素特征向量,表示为c=1,2,3,M是所有超像素中的最大像素数,表示Xc中的第n个元素;当超像素内部的像素数小于M时,会将空元素填充到具有当前超像素中值的相应向量。通过本步骤,将像素分类的任务转换为识别重构的超像素矢量的任务。
S303、按下式计算超像素向量之间的相似性:
式中,S(Xi,Xj)表示Xi和Xj之间的相似性,λ表示控制参数,exp(·)表示以自然常数e 为底的指数函数;
为了在自编码网络训练过程中建立相似样本之间的联系,径向基函数被用于计算超像素 向量之间的相似性。这些向量被作为图G(V,E)的节点,节点之间的相似性是图G(V,E)的边。
S304、基于超像素向量之间的相似性构建无向图G(V,E),并得到对应的邻接矩阵A,
式中,aij表示邻接矩阵A中第i行第j列的元素,T表示预设稀疏性阈值。
本发明中,采用的变分图自动编码器网络主要包括两个模块:编码器和解码器,其中编 码器采用了两层图卷积层。
对于图G(V,E),其度矩阵D可以通过A计算,其元素dii∈D,按下式计算
则G(V,E)的拉普拉斯矩阵为L=D-A,对应的对称归一化拉普拉斯矩阵为:
单层的图卷积网络(Graph convolution network,GCN)可以被表示为:
因此,具体实施时,编码器模型定义为:
式中,q(Z|X,A)表示潜在随机变量Z的后验分布,q(zi|X,A)表示每个潜在随机变量zi的后验分布,Z表示将X嵌入到潜在的子空间中得到的随机变量, F表示潜在随机变量的特征维数,zi表示Z中第i个元素,X表示原始样本特征,N(·)表示 高斯正太分布,μi表示zi对应的均值向量,σi表示zi对应的方差向量。
编码器设计为两层GCN:
解码器模型定义为:
式中,p(A|Z)表示解码得到的邻接矩阵A的后验分布,p(aij|zi,zj)表示重构的邻接矩 阵A中的每个元素aij的后验分布,σ(·)表示逻辑sigmoid函数;
损失函数Loss定义为:
通过变分图自动编码器网络的特征学习,我们可以获得三组潜在特征表示{Z1,Z2,Z3},分 别来自{X1,X2,X3}。融合的针对每一个超像素融合的特征表示可以被计算:Z=Z1+Z2+Z3。
最后可利用k-means聚类算法,针对每一个超像素的潜在特征表示进行无监督分类为变 化类和不变类,完成变化检测。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管通过参照本发 明的优选实施例已经对本发明进行了描述,但本领域的普通技术人员应当理解,可以在形式 上和细节上对其作出各种各样的改变,而不偏离所附权利要求书所限定的本发明的精神和范 围。
Claims (4)
3.如权利要求1所述的基于图神经网络的变化检测方法,其特征在于,步骤S3包括:
S302、将每个超像素重塑为M维特征向量,得到超像素向量集合{X1,X2,X3},X1、X2和X3分别表示从三个差分图像和获得的超像素特征向量,表示为M是所有超像素中的最大像素数,表示Xc中的第n个元素,c=1,2,3;
S303、按下式计算超像素向量之间的相似性:
式中,S(Xi,Xj)表示Xi和Xj之间的相似性,λ表示控制参数,exp(·)表示基于自然常数e为底的指数函数;
S304、基于超像素向量之间的相似性构建无向图G(V,E),并得到对应的邻接矩阵A,
式中,aij表示邻接矩阵A中第i行第j列的元素,T表示预设稀疏性阈值。
4.如权利要求3所述的基于图神经网络的变化检测方法,其特征在于,变分图自动编码器网络包括编码器及解码器,编码器模型定义为:
式中,q(Z|X,A)表示潜在随机变量Z的后验分布,q(zi|X,A)表示每个潜在随机变量zi的后验分布,Z表示将X嵌入到潜在的子空间中得到的随机变量,F表示潜在随机变量的特征维数,zi表示Z中第i个元素,X表示原始样本特征,N(·)表示高斯正态分布,μi表示zi对应的均值向量,σi表示zi对应的方差向量,
解码器模型定义为:
式中,p(A|Z)表示解码得到的邻接矩阵A的后验分布,p(aij|zi,zj)表示重构的邻接矩阵A中的每个元素aij的后验分布,σ(·)表示逻辑sigmoid函数;
损失函数Loss定义为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110336097.3A CN113160146B (zh) | 2021-03-29 | 2021-03-29 | 一种基于图神经网络的变化检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110336097.3A CN113160146B (zh) | 2021-03-29 | 2021-03-29 | 一种基于图神经网络的变化检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113160146A CN113160146A (zh) | 2021-07-23 |
CN113160146B true CN113160146B (zh) | 2022-05-17 |
Family
ID=76885220
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110336097.3A Active CN113160146B (zh) | 2021-03-29 | 2021-03-29 | 一种基于图神经网络的变化检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113160146B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113643200B (zh) * | 2021-07-27 | 2023-07-07 | 天津大学 | 基于递归图神经网络解决边缘过平滑的方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102393955A (zh) * | 2011-07-18 | 2012-03-28 | 西安电子科技大学 | 用于图像复原的全信息非局部约束全变分方法 |
CN102938071A (zh) * | 2012-09-18 | 2013-02-20 | 西安电子科技大学 | 基于非局部均值的sar图像变化检测模糊聚类分析方法 |
CN107341800A (zh) * | 2017-07-10 | 2017-11-10 | 西安电子科技大学 | 基于超像素显著性分析的sar图像变化检测方法 |
CN109446894A (zh) * | 2018-09-18 | 2019-03-08 | 西安电子科技大学 | 基于概率分割及高斯混合聚类的多光谱图像变化检测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090278732A1 (en) * | 2006-04-28 | 2009-11-12 | Paul Antonik | Method and apparatus for simultaneous synthetic aperture radar and moving target indication |
-
2021
- 2021-03-29 CN CN202110336097.3A patent/CN113160146B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102393955A (zh) * | 2011-07-18 | 2012-03-28 | 西安电子科技大学 | 用于图像复原的全信息非局部约束全变分方法 |
CN102938071A (zh) * | 2012-09-18 | 2013-02-20 | 西安电子科技大学 | 基于非局部均值的sar图像变化检测模糊聚类分析方法 |
CN107341800A (zh) * | 2017-07-10 | 2017-11-10 | 西安电子科技大学 | 基于超像素显著性分析的sar图像变化检测方法 |
CN109446894A (zh) * | 2018-09-18 | 2019-03-08 | 西安电子科技大学 | 基于概率分割及高斯混合聚类的多光谱图像变化检测方法 |
Non-Patent Citations (2)
Title |
---|
Using Combined Difference Image and k-Means Clustering for SAR Image Change Detection;Yaoguo Zheng et al;《IEEE Geoscience and Remote Sensing Letters》;20130829;第11卷(第3期);第691-695页 * |
基于非局部分类处理的SAR图像降斑;刘书君 等;《系统工程与电子技术》;20160331;第38卷(第3期);第551-556页 * |
Also Published As
Publication number | Publication date |
---|---|
CN113160146A (zh) | 2021-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ge et al. | Multi-evidence filtering and fusion for multi-label classification, object detection and semantic segmentation based on weakly supervised learning | |
Zaitoun et al. | Survey on image segmentation techniques | |
Dornaika et al. | Building detection from orthophotos using a machine learning approach: An empirical study on image segmentation and descriptors | |
EP3614308A1 (en) | Joint deep learning for land cover and land use classification | |
Zhou et al. | On detecting road regions in a single UAV image | |
Oztel et al. | Mitochondria segmentation in electron microscopy volumes using deep convolutional neural network | |
CN108510504B (zh) | 图像分割方法和装置 | |
Asokan et al. | Machine learning based image processing techniques for satellite image analysis-a survey | |
CN111145209A (zh) | 一种医学图像分割方法、装置、设备及存储介质 | |
Shivhare et al. | Review of image segmentation techniques including pre & post processing operations | |
CN114399480A (zh) | 蔬菜叶片病害严重程度检测方法及装置 | |
Perret et al. | Connected image processing with multivariate attributes: An unsupervised Markovian classification approach | |
Farid et al. | DOST: A distributed object segmentation tool | |
Aalan Babu et al. | Water‐body segmentation from satellite images using Kapur's entropy‐based thresholding method | |
CN113160146B (zh) | 一种基于图神经网络的变化检测方法 | |
CN109241865B (zh) | 一种弱对比度交通场景下的车辆检测分割算法 | |
Elashry et al. | Feature matching enhancement using the graph neural network (gnn-ransac) | |
Basar et al. | Color image segmentation using k-means classification on rgb histogram | |
Coca et al. | Normalized compression distance for SAR image change detection | |
Prasad et al. | Unsupervised resolution independent based natural plant leaf disease segmentation approach for mobile devices | |
Gunawan et al. | Semantic segmentation of aerial imagery for road and building extraction with deep learning | |
An et al. | Unsupervised segmentation of hidden Markov fields corrupted by correlated non-Gaussian noise | |
Morales et al. | Shadow detection in high-resolution multispectral satellite imagery using generative adversarial networks | |
Arnold et al. | Automatic Extraction and Labelling of Memorial Objects From 3D Point Clouds. | |
Sheikh et al. | Noise tolerant classification of aerial images into manmade structures and natural-scene images based on statistical dispersion measures |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |