CN112270285A - 一种基于稀疏表示和胶囊网络的sar图像变化检测方法 - Google Patents
一种基于稀疏表示和胶囊网络的sar图像变化检测方法 Download PDFInfo
- Publication number
- CN112270285A CN112270285A CN202011237608.8A CN202011237608A CN112270285A CN 112270285 A CN112270285 A CN 112270285A CN 202011237608 A CN202011237608 A CN 202011237608A CN 112270285 A CN112270285 A CN 112270285A
- Authority
- CN
- China
- Prior art keywords
- capsule
- network
- image
- change detection
- sparse representation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000002775 capsule Substances 0.000 title claims abstract description 94
- 238000001514 detection method Methods 0.000 title claims abstract description 55
- 230000008859 change Effects 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 34
- 238000010586 diagram Methods 0.000 claims abstract description 15
- 238000012360 testing method Methods 0.000 claims abstract description 14
- 239000013598 vector Substances 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 7
- 230000008878 coupling Effects 0.000 claims description 6
- 238000010168 coupling process Methods 0.000 claims description 6
- 238000005859 coupling reaction Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 4
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000010187 selection method Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims 1
- 239000000284 extract Substances 0.000 abstract 1
- 238000005457 optimization Methods 0.000 abstract 1
- 238000004088 simulation Methods 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000002131 composite material Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 239000003643 water by type Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于稀疏表示和胶囊网络的SAR图像变化检测方法，实现步骤包括：(1)选取两幅多时相SAR图像X1和X2，利用邻域对数比算子获取差分图像；(2)通过稀疏表示的方法提取差分图上的稀疏特征,生成特征图；(3)通过模糊聚类的方法FCM获得初始分类的伪标签,采取高置信度样本的挑选原则,从所述特征图上挑选合适样本制作样本集；(4)构造改进的胶囊网络，输入通过稀疏表示提取的特征图，训练优化网络；(5)测试网络，生成变化检测图。本发明充分考虑了SAR图像的空间邻域信息，利用稀疏表示和胶囊网络相结合，不仅减少了散斑噪声的影响，而且提取到了图像的深层次特征，提高了SAR图像变化检测的精度和速度。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种基于稀疏表示和胶囊网络的SAR图像变化检测方法，在农业调查、森林监测、自然灾害预警等领域具有重要的研究价值。
背景技术
合成孔径雷达(Synthetic Aperture Radar,SAR)是一种主动式微波传感器，其成像技术是利用综合孔径的原理提高方位分辨率，进而捕获到大面积高分辨率的SAR图像。遥感中的变化检测是对同一地理区域内不同时间获取的两幅SAR图像进行分析，识别出其中的变化区域。SAR成像由于不受光照、天气等外在条件的影响，能够对地目标进行全天候、大面积的探测，使得SAR图像的变化检测在农业调查、森林监测、自然灾害预警等方面具有重要的研究意义。
传统的变化检测过程通常分为三个步骤：图像预处理；生成差异图；对差异图进行分析和处理。传统方法在抑制噪声和保留图像的细节信息上效果不佳，容易丢失图像边缘信息，忽略邻域信息，导致变化检测的精度不高。近几年随着人工智能和深度学习的不断发展和普及，许多学者利用深度学习中神经网络的知识，提出了新的变化检测方法，在很大程度上提高了变化检测的准确度。比如应用广泛的卷积神经网络、深度置信网络以及生成对抗网络等通过训练分类器提取样本中的特征及空间关系，学习不同类别的特征，进而区分开变化区域和未变化区域。虽然卷积神经网络在SAR图像变化检测任务中已经达到了较好的检测效果，但是对一些倾斜、旋转物体，CNN表现出来的效果都不是很令人满意。另外，卷积网络需要大量的数据来泛化，用于网络的学习，这对于SAR图像的变化检测任务是一大难点。
因此如何提供一种新的方法能够在保留SAR图像关键位置信息的基础上减少神经网络对数据集数量的要求，提高SAR图像变化检测的检测精度和速度是亟待解决的技术问题。
发明内容
为了克服现有技术的不足，本发明提供一种基于稀疏表示和胶囊网络的SAR图像变化检测方法，更加适用于小数据集上的变化检测任务，能够提高检测的精度和速度。
为实现上述目的，本发明提供了如下方案，包括以下步骤：
S1、选取同一地理区域在不同时刻t1和t2的两幅SAR图像，其中t1时刻的SAR图像表示为X1＝{X1(i，j)，1≤i≤I，1≤j≤J}，t2时刻的SAR图像表示为X2＝{X2(i，j)，1≤i≤I，1≤j≤J}，通过邻域对数比算子生成图像X1和图像X2的差分图像；
S2、通过KSVD方法从所述差分图像上学习字典，通过字典更新和稀疏编码获得所述差分图像上每个像素的稀疏特征，生成特征图；
S3、通过FCM方法从所述差分图像上获得初始分类结果，作为样本集的伪标签，稀疏表示之后的特征图作为样本，并采取一种高置信度样本的挑选原则，选择合适的样本作为训练集；
S4、构建一种改进的胶囊网络模型，输入所述训练集，来训练胶囊网络学习图像的深层特征；
S5、测试胶囊网络，输出预测标签结果，生成变化检测图。
优选地，S2中所述特征图的生成过程为：
从所述差分图像上以每个像素点为中心构造邻域大小为n×n的样本图像块，随机选取所述图像块将其拉成列向量，作为训练样本；通过KSVD方法从所述训练样本上学习字典，通过字典更新和稀疏编码获得所述差分图像上每个像素的稀疏特征，得到稀疏表示的特征图。
优选地，将S3中所述差分图像通过FCM方法生成预分类结果作为伪标签，所述伪标签中包含“0”和“1”两类，分别表示未变化类和变化类；将所述稀疏表示之后获得的每个像素的特征图作为样本集，采用高置信度样本选择方法，通过少数服从多数的策略从所述样本集中筛选合适的样本组成训练样本集。
优选地，S4中所述改进的胶囊网络模型包括四部分：卷积层、主胶囊层、路由胶囊层、数字胶囊层。
优选地，所述胶囊网络模型主要对卷积层进行了改进，将卷积层增加为三层，在保证能提取到关键特征的基础上，减少了网络的训练参数，降低了网络复杂度，加快了网络训练学习速度。
优选地，所述主胶囊层主要利用类卷积运算和压缩激活函数得到输出的胶囊向量，识别对象的判别特征；所述路由胶囊层采用动态路由机制，通过胶囊输出向量和预测向量间的点积运算来计算输入输出之间的相似性，进而更新网络的耦合系数；所述数字胶囊层设置了两个胶囊，每个胶囊代表一个类别，输出的胶囊向量的长度表示识别为某个类别的概率值。
优选地，所述S4中胶囊网络训练过程中保存损失值最小时的网络权值,将所述稀疏表示之后所有的特征图作为测试集,输入训练好的胶囊网络，调用训练好的权值，输出测试集对应的预测标签值。
本发明公开了以下技术效果：
本发明提出了改进的胶囊网络模型，设计了一种轻量级的胶囊网络，适合小样本数据集的学习；对主胶囊层之前的卷积层进行了改进，增加卷积层层数，减少卷积层的深度。采用三层卷积层，卷积核数量逐层增加，在保证能提取到关键特征的基础上，减少了网络的训练参数，降低了网络复杂度，加快了网络训练学习速度。
本发明还提出了一种稀疏表示和胶囊网络相结合的SAR图像变化检测方法。对差异图像通过稀疏表示的方法进行特征学习，将差异图上的像素信息转换到特征空间，可以进一步降低噪声的影响；将提取到的特征作为胶囊网络的输入，训练网络学习更深层的特征。本发明能够在提高变化检测准确度的同时，减少了网络的训练参数，提高了网络的训练速度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于稀疏表示和胶囊网络的SAR图像变化检测方法流程图；
图2为本发明中所用到的验证数据集伯尔尼数据集，图2(a)由欧洲遥感2号卫星SAR传感器于1999年4月在瑞士伯尔尼市附近地区获取的SAR图像，图2(b)为欧洲遥感2号卫星SAR传感器于1999年5月在瑞士伯尔尼市附近地区获取的SAR图像，
图2(c)为人工定义的参考图，
图2(d)为本发明提出方法的仿真变化检测结果图；
图3为本发明中所用到的验证数据集渥太华数据集，图3(a)1997年5月在加拿大渥太华市上空雷达卫星SAR传感器获得的图像，图3(b)为1997年8月在加拿大渥太华市上空雷达卫星SAR传感器获得的图像，
图3(c)为人工定义的参考图，
图3(d)为本发明提出方法的仿真变化检测结果图；
图4为本发明中所用到的验证数据集黄河数据集，图4(a)为2008年6月雷达2号卫星在中国黄河口地区获得的SAR图像，图4(b)为2009年6月雷达2号卫星在中国黄河口地区获得的SAR图像，
图4(c)为人工定义的参考图，
图4(d)为本发明提出方法的仿真变化检测结果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明
本发明提出的一种基于稀疏表示和胶囊网络的SAR图像变化检测方法，如图1所示。具体实现过程为：选取同一地理区域在不同时刻t1和t2的两幅SAR(Synthetic ApertureRadar)图像，其中t1时刻的SAR图像表示为X1＝{X1(i，j)，1≤i≤I，1≤j≤J}，t2时刻的SAR图像表示为X2＝{X2(i，j)，1≤i≤I，1≤j≤J}。然后应用邻域对数比算子生成差异图，邻域对数比算子DI定义如下：
其中，
DI(m，n)是差异图上(m，n)位置上的像素值，表示图像X1和X2之间的局部相似性，σ(m，n)表示(m，n)邻域内像素值的方差，μ(m，n)表示(m，n)邻域内的均值。系数θ为局部非均匀性的度量，较小的θ值表明局部区域是均匀的，较大的θ值表示局部区域是非均匀的。
然后通过KSVD方法从所述差分图像上学习字典，通过字典更新和稀疏编码获得所述差分图像上每个像素的判别特征。具体实现过程为：对差异图DI进行采样，得到以每个像素为中心的n×n的图像块，然后按列展开，形成h(h＝n×n)维的向量作为原始样本Y；从Y中随机挑选k个列向量{d1，d2，…，dk}作为初始字典的原子，得到字典D；稀疏编码，利用OMP算法，计算稀疏编码矩阵X；使用SVD算法更新字典，循环更新字典和编码矩阵，直到达到指定的迭代步数或收敛到指定误差；最后使用更新完的字典计算稀疏编码矩阵得到特征图像。编码过程采用公式：
其中，D表示学习字典，X表示稀疏系数矩阵，Y表示样本集合，每一列均为一个样本，Xi表示第i个稀疏表示的系数向量，T0表示Xi中非零元素个数的最大值。
其次，对上述差异图中的特征采用模糊C均值聚类方法将其分成变化类和未变化类两类，分别用“1”、“0”表示，作为预分类的伪标签。将所述经过稀疏表示之后获得的每个像素的特征图作为样本集。采用一种高置信度样本选择方法，通过少数服从多数的策略从样本集中筛选合适的样本组成训练样本集。高置信度样本选择过程如下：
假设BI(i，j)表示伪标签矩阵上位置(i，j)的像素点，其标签为L。以(i，j)为中心像素点取n×n大小的邻域，记为Ni，j，当Ni，j中大多数的像素点的标签和中心像素点BI(i，j)标签相同时，那么BI(i，j)像素点对应的特征图可以被选作训练样本；当Ni，j中仅有少量的像素点的标签和中心像素点BI(i，j)标签相同时，中心像素点BI(i，j)有很大的可能性被错误分类，选择样本时应尽量避开这些点。总的来说，如果一个像素点BI(i，j)满足以下公式，则该点的邻域特征图像块可以被选作训练样本。
其中，BIx表示(i，j)像素点的标签，Q(BIx＝BI(i，j))表示以(i，j)为中心的邻域中与(i，j)具有相同标签的像素数，n表示邻域大小。α表示用于控制样本的选择，其值大小会影响到最终的变化检测结果。根据实验分析，取邻域大小为：n＝7，α＝0.55。
之后，构建改进的胶囊网络，用来挖掘特征的空间关系，提取图像的深层特征。胶囊网络是2017年Hinton提出的一种新型的神经网络，可以解决卷积神经网络对方位变化物体识别精度低、对样本需求量大的问题。原始的胶囊网络采用两个卷积层，卷积层的卷积核数量为256，考虑到用于网络训练的样本均是从SAR图像上提取的邻域图像块，图像块的大小有限，其包含的信息也有限，较深的卷积层不仅对加大计算的复杂度，还容易造成过拟合。因此本发明提出了改进的胶囊网络，改进的胶囊网络模块由卷积层、主胶囊层、路由胶囊层和数字胶囊层四部分组成。首先，将卷积层增加到三层，卷积核大小为3×3，卷积核数量逐层增加，分别为8、16、32；在保证能提取到关键特征的基础上，减少了网络的训练参数，降低了网络复杂度，加快了网络训练学习速度。主胶囊层主要利用类卷积运算和压缩激活函数(squash)得到输出的胶囊向量。胶囊向量计算如下：
其中，s表示胶囊向量，压缩激活函数squash是一个归一化函数，能够将向量的长度归一化到0-1之间，表示实体的存在概率。向量的长度越长，表示该胶囊表征的特征越显著；胶囊向量的方向则用来表示当前描述对象的位置、大小等属性。卷积层提取到的特征作为主胶囊层的输入胶囊向量，生成4个8维的胶囊(即8个神经元组合在一起构成一个胶囊)，使得输出的胶囊包含识别对象的判别特征。路由胶囊层定义了用来更新耦合参数的动态路由机制，通过胶囊的输出向量和预测向量的点积运算来计算输入与输出之间的相似性，进而更新网络的耦合系数和权值，耦合系数之和为1，并通过softmax来确定。除此之外，网络的其他参数都需要损失函数进行更新，损失函数采用Margin loss，计算公式为：
L＝Tk max(0，m+-||v0||)2+λ(1-Tk)max(0，||v0||-m-)2 (5)
其中k表示分类类别，k＝0表示未变化类，k＝1表示变化类；Tk表示k类是否出现，若k类别出现，Tk＝1，否则，Tk＝0。λ＝0.5用于约束主胶囊层向量的长度。m+＝0.9用于惩罚假阳性，表示k类存在，但是预测不存在；m-＝0.1用于惩罚假阴性，表示k类不存在，但是预测其存在，这两种情况都会产生较大的损失值。数字胶囊层设置了两个胶囊，向量的维度为16维，每个胶囊代表一个类别。输出的向量的长度表示识别为某个类别的概率，用来检测特定实体的存在和属性；胶囊网络最后返回像素属于某个类别的概率值，计算得到最终的变化检测结果。
输入稀疏表示得到的稀疏特征训练胶囊网络，用于学习图像上每个像素的判别特征；网络训练过程中保存损失最小时的网络权值,将稀疏表示之后的特征图作为测试集，输入训练好的胶囊网络,调用训练好的权值，输出测试集对应的预测标签值。整合测试结果得到只包含“0”和“1”的变化检测二值图。其中，“0”代表未变化像素，“1”代表变化像素。
以下结合仿真实验，对本发明的仿真效果作进一步的说明：
1.仿真环境：
本发明的硬件测试平台是：处理器为Intel Core i5-7200，主频为2.5GHz，内存为4GB，软件平台为：Windows10系统、PyCharm2018和Matlab2016a平台。
2.仿真内容：
为了评估本发明提出方法在SAR图像上的有效性，以三个真实的SAR图像数据集为例，给出了本发明提出的方法与其他三种方法的对比试验。
第一个数据集表示两个C波段和分辨率为30m的VV极化SAR图像，是由欧洲遥感2号卫星SAR传感器分别在1999年4月和5月在瑞士伯尔尼市附近地区获取的，分别如图2(a)和(b)所示。两幅图像的大小为301×301像素。图2(c)示出了手动定义的参考图。图2(d)是经过本发明提出的基于稀疏表示和胶囊网络的SAR图像变化检测方法处理后得到的伯尔尼的变化检测图。
第二个数据集是两幅10m分辨率的SAR图像的一部分(290*350像素)，图3(a)和(b)分别是1997年5月和8月在加拿大渥太华市上空雷达卫星SAR传感器获得的图像，图3(a)和(b)显示了受洪水影响的区域。图3(c)所示的可用的地面参考图是通过带有图像解释的先验信息生成的。图3(d)是经过本发明提出的基于稀疏表示和胶囊网络的SAR图像变化检测方法处理后得到的渥太华的变化检测图。
第三个数据集是2008年6月和2009年6月雷达2号卫星在中国黄河口地区获得的分辨率为3m的黄河数据集的一部分，图像大小为257*289像素，如图4所示。由于两幅原始图像是单视图像和四视图像(如图4(a)和图4(b)所示)，因此散斑噪声对2009年采集图像的影响远大于2008年采集图像的影响。图4(c)示出了通过专家知识和地表信息的结合进行人工标记而生成的地面真实图像。图4(d)是经过本发明提出的基于稀疏表示和胶囊网络的SAR图像变化检测方法处理后得到的黄河口的变化检测图。
3.评价指标：
为了评估不同方法的性能，变化检测结果的定量分析如下。它们为误警(FA)、漏检(MA)、总体误差(OE)、正确分类百分比(PCC)和Kappa系数。假设N表示差异图DI中像素的数量。TP为正确检测为变化像素的像素总数；TN为正确检测为未变化像素的数量。指标描述如下：
(1)误警(FA):将未变化像素错误检测为变化的像素的数量；
(2)漏警(MA)：将变化像素错误检测为未变化像素的数量；
(3)总体误差(OE)：OE＝FA+MA；
(4)正确分类百分比(PCC):
(5)Kappa系数：用于测试变化检测图的精度，其值越高表明检测准确度越高，
其中：
4.仿真结果及分析：
从实验仿真结果来看，与传统的GKI-LN、CS-KSVD以及神经网络CNN的方法相比，本发明提出的一种基于稀疏表示和胶囊网络的SAR图像变化检测方法在三个数据集上的准确地都要优于其他三种方法。
表1伯尔尼数据集上的检测结果
| 方法 | FA | MA | OE | Kappa | PCC |
| GKI-LN | 291 | 86 | 377 | 0.8480 | 99.58％ |
| CS-KSVD | 161 | 147 | 308 | 0.8657 | 99.66％ |
| CNN | 310 | 60 | 370 | 0.8534 | 99.59％ |
| 本发明方法 | 256 | 67 | 323 | 0.8690 | 99.64％ |
表2渥太华数据集上的检测结果
| 方法 | FA | MA | OE | Kappa | PCC |
| GKI-LN | 68 | 4183 | 4251 | 0.8244 | 95.81％ |
| CS-KSVD | 558 | 1929 | 2487 | 0.9047 | 97.55％ |
| CNN | 568 | 782 | 1350 | 0.95 | 98.67％ |
| 本发明方法 | 456 | 494 | 950 | 0.9648 | 99.06％ |
表3黄河水域数据集上的检测结果
| 方法 | FA | MA | OE | Kappa | PCC |
| GKI-LN | 172 | 6902 | 7074 | 0.6006 | 90.48％ |
| CS-KSVD | 2215 | 2697 | 4912 | 0.7736 | 93.39％ |
| CNN | 1285 | 2139 | 3424 | 0.8506 | 95.36％ |
| 本发明方法 | 696 | 2033 | 2729 | 0.8710 | 96.33％ |
本发明提出了改进的胶囊网络模型，设计了一种轻量级的胶囊网络，适合小样本数据集的学习。对主胶囊层之前的卷积层进行了改进，增加卷积层层数，减少每层卷积核的数量。采用了三层卷积层，卷积核数量逐层增加，在保证能提取到关键特征的基础上，减少了网络的训练参数，降低了网络复杂度，加快了网络训练学习速度。
同时，本发明还提出了一种稀疏表示和胶囊网络相结合的SAR图像变化检测方法。对差异图像通过稀疏表示的方法进行特征学习，将差异图上的像素信息转换到特征空间，可以进一步降低噪声的影响；将提取到的稀疏特征作为胶囊网络的输入，训练网络学习更深层的特征。本发明能够在提高变化检测准确度的同时，减少了网络的训练参数，提高了网络的训练速度。
以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。
Claims (7)
1.一种基于稀疏表示和胶囊网络的SAR图像变化检测方法，其特征在于，包括以下步骤：
S1、选取同一地理区域在不同时刻t1和t2的两幅SAR图像，其中t1时刻的SAR图像表示为X1＝{X1(i,j),1≤i≤I,1≤j≤J}，t2时刻的SAR图像表示为X2＝{X2(i,j),1≤i≤I,1≤j≤J}，通过邻域对数比算子生成图像X1和图像X2的差分图像；
S2、通过KSVD方法从所述差分图像上学习字典，通过字典更新和稀疏编码获得所述差分图像上每个像素的稀疏特征，生成特征图；
S3、通过FCM方法从所述差分图像上获得初始分类结果，作为样本集的伪标签，稀疏表示之后的特征图作为样本，并采取高置信度样本的挑选原则，选择合适的样本作为训练集；
S4、构建改进的胶囊网络模型，输入所述训练集，来训练胶囊网络学习图像的深层次特征；
S5、测试胶囊网络，输出预测标签结果，生成变化检测图。
2.根据权利要求1所述的基于稀疏表示和胶囊网络的SAR图像变化检测方法，其特征在于，所述步骤S2中所述特征图的生成过程为：
从所述差分图像上以每个像素点为中心构造邻域大小为n×n的样本图像块，随机选取所述图像块将其拉成列向量，作为训练样本；通过KSVD方法从所述训练样本上学习字典，通过字典更新和稀疏编码获得所述差分图像上每个像素的稀疏特征，得到稀疏表示的特征图。
3.根据权利要求1所述的基于稀疏表示和胶囊网络的SAR图像变化检测方法，其特征在于，将所述步骤S3中所述差分图像通过FCM方法生成预分类结果作为伪标签，所述伪标签中包含“0”和“1”两类，分别表示未变化类和变化类；将所述稀疏表示之后获得的每个像素的特征图作为样本集，采用高置信度样本选择方法，通过少数服从多数的策略从所述样本集中筛选合适的样本组成训练样本集。
4.根据权利要求1所述的基于稀疏表示和胶囊网络的SAR图像变化检测方法，其特征在于，所述步骤S4中所述改进的胶囊网络模型包括四部分：卷积层、主胶囊层、路由胶囊层、数字胶囊层。
5.根据权利要求4所述的基于稀疏表示和胶囊网络的SAR图像变化检测方法，其特征在于，所述胶囊网络模型主要对卷积层进行了改进，将卷积层增加为三层，在保证能提取到关键特征的基础上，减少了网络的训练参数，降低了网络复杂度，加快了网络训练学习速度。
6.根据权利要求4所述的基于稀疏表示和胶囊网络的SAR图像变化检测方法，其特征在于，所述主胶囊层主要利用类卷积运算和压缩激活函数得到输出的胶囊向量，识别对象的判别特征；所述路由胶囊层采用动态路由机制，通过胶囊输出向量和预测向量间的点积运算来计算输入输出之间的相似性，进而更新网络的耦合系数；所述数字胶囊层设置了两个胶囊，每个胶囊代表一个类别，输出的胶囊向量的长度表示识别为某个类别的概率值。
7.根据权利要求1所述的基于稀疏表示和胶囊网络的SAR图像变化检测方法，其特征在于，所述步骤S4中胶囊网络训练过程中保存损失值最小时的网络权值,将所述稀疏表示之后所有的特征图作为测试集,输入训练好的胶囊网络，调用训练好的权值，输出测试集对应的预测标签值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011237608.8A CN112270285B (zh) | 2020-11-09 | 2020-11-09 | 一种基于稀疏表示和胶囊网络的sar图像变化检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011237608.8A CN112270285B (zh) | 2020-11-09 | 2020-11-09 | 一种基于稀疏表示和胶囊网络的sar图像变化检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112270285A true CN112270285A (zh) | 2021-01-26 |
| CN112270285B CN112270285B (zh) | 2022-07-08 |
Family
ID=74339677
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011237608.8A Active CN112270285B (zh) | 2020-11-09 | 2020-11-09 | 一种基于稀疏表示和胶囊网络的sar图像变化检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112270285B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112906813A (zh) * | 2021-03-09 | 2021-06-04 | 中南大学 | 一种基于密度聚类和胶囊神经网络的浮选工况识别方法 |
| CN113239895A (zh) * | 2021-06-15 | 2021-08-10 | 天津工业大学 | 基于注意力机制的胶囊网络的sar图像变化检测方法 |
| CN118135402A (zh) * | 2024-03-18 | 2024-06-04 | 临沂大学 | 基于多级胶囊融合网络的sar目标识别方法及相关装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109766553A (zh) * | 2019-01-09 | 2019-05-17 | 北京邮电大学 | 一种基于多正则化结合的胶囊模型的中文分词方法 |
| CN110120097A (zh) * | 2019-05-14 | 2019-08-13 | 南京林业大学 | 大场景机载点云语义建模方法 |
| CN110288555A (zh) * | 2019-07-02 | 2019-09-27 | 桂林电子科技大学 | 一种基于改进的胶囊网络的低照度增强方法 |
| US20190303742A1 (en) * | 2018-04-02 | 2019-10-03 | Ca, Inc. | Extension of the capsule network |
| CN111626361A (zh) * | 2020-05-28 | 2020-09-04 | 辽宁大学 | 一种改进胶囊网络优化分层卷积的轴承亚健康识别方法 |
-
2020
- 2020-11-09 CN CN202011237608.8A patent/CN112270285B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190303742A1 (en) * | 2018-04-02 | 2019-10-03 | Ca, Inc. | Extension of the capsule network |
| CN109766553A (zh) * | 2019-01-09 | 2019-05-17 | 北京邮电大学 | 一种基于多正则化结合的胶囊模型的中文分词方法 |
| CN110120097A (zh) * | 2019-05-14 | 2019-08-13 | 南京林业大学 | 大场景机载点云语义建模方法 |
| CN110288555A (zh) * | 2019-07-02 | 2019-09-27 | 桂林电子科技大学 | 一种基于改进的胶囊网络的低照度增强方法 |
| CN111626361A (zh) * | 2020-05-28 | 2020-09-04 | 辽宁大学 | 一种改进胶囊网络优化分层卷积的轴承亚健康识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| XIANKUN ZHANG ET AL.: "A novel effective and efficient capsule network via bottleneck residual block and automated gradual pruning", 《COMPUTERS AND ELECTRICAL ENGINEERING》 * |
| 康雁等: "基于双通道词向量的卷积胶囊网络文本分类", 《计算机工程》 * |
| 陈恒等: "胶囊网络在知识图谱补全中的应用", 《计算机工程与应用》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112906813A (zh) * | 2021-03-09 | 2021-06-04 | 中南大学 | 一种基于密度聚类和胶囊神经网络的浮选工况识别方法 |
| CN113239895A (zh) * | 2021-06-15 | 2021-08-10 | 天津工业大学 | 基于注意力机制的胶囊网络的sar图像变化检测方法 |
| CN118135402A (zh) * | 2024-03-18 | 2024-06-04 | 临沂大学 | 基于多级胶囊融合网络的sar目标识别方法及相关装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112270285B (zh) | 2022-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110135267B (zh) | 一种大场景sar图像细微目标检测方法 | |
| CN110443143B (zh) | 多分支卷积神经网络融合的遥感图像场景分类方法 | |
| Gong et al. | Feature learning and change feature classification based on deep learning for ternary change detection in SAR images | |
| CN110598029B (zh) | 基于注意力转移机制的细粒度图像分类方法 | |
| CN112270285B (zh) | 一种基于稀疏表示和胶囊网络的sar图像变化检测方法 | |
| CN109871902B (zh) | 一种基于超分辨率对抗生成级联网络的sar小样本识别方法 | |
| CN112966684A (zh) | 一种注意力机制下的协同学习文字识别方法 | |
| CN110555841B (zh) | 基于自注意图像融合和dec的sar图像变化检测方法 | |
| Tao et al. | Scene context-driven vehicle detection in high-resolution aerial images | |
| CN112950780B (zh) | 一种基于遥感影像的网络地图智能生成方法及系统 | |
| CN106096658B (zh) | 基于无监督深度空间特征编码的航拍图像分类方法 | |
| CN106022254A (zh) | 图像识别技术 | |
| CN109635726B (zh) | 一种基于对称式深度网络结合多尺度池化的滑坡识别方法 | |
| WO2023273337A1 (zh) | 一种基于代表特征的遥感图像中的密集目标检测方法 | |
| CN116469020A (zh) | 一种基于多尺度和高斯Wasserstein距离的无人机图像目标检测方法 | |
| Wang et al. | SAR images change detection based on spatial coding and nonlocal similarity pooling | |
| CN114549909A (zh) | 一种基于自适应阈值的伪标签遥感图像场景分类方法 | |
| CN114973019A (zh) | 一种基于深度学习的地理空间信息变化检测分类方法及系统 | |
| Chen et al. | Ship target discrimination in SAR images based on BOW model with multiple features and spatial pyramid matching | |
| CN113239895A (zh) | 基于注意力机制的胶囊网络的sar图像变化检测方法 | |
| CN109145993A (zh) | 基于多特征与非负自动编码器的sar图像分类方法 | |
| Ma et al. | Weakly supervised deep soft clustering for flood identification in SAR images | |
| CN112613354A (zh) | 一种基于稀疏降噪自编码器的异质遥感图像变化检测方法 | |
| CN109902690A (zh) | 图像识别技术 | |
| CN115223033A (zh) | 一种合成孔径声呐图像目标分类方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |