CN115908419A - 一种利用贝叶斯网络优化伪标签的无监督高光谱图像变化检测方法 - Google Patents

一种利用贝叶斯网络优化伪标签的无监督高光谱图像变化检测方法 Download PDF

Info

Publication number
CN115908419A
CN115908419A CN202310029793.9A CN202310029793A CN115908419A CN 115908419 A CN115908419 A CN 115908419A CN 202310029793 A CN202310029793 A CN 202310029793A CN 115908419 A CN115908419 A CN 115908419A
Authority
CN
China
Prior art keywords
pseudo
change
label
uncertainty
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310029793.9A
Other languages
English (en)
Inventor
穆廷魁
李秋霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202310029793.9A priority Critical patent/CN115908419A/zh
Publication of CN115908419A publication Critical patent/CN115908419A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Image Analysis (AREA)

Abstract

一种利用贝叶斯网络优化伪标签的无监督高光谱图像变化检测方法,包括初始伪标签生成和伪标签优化两个步骤。对于第一步,高置信度空间约束的伪标签生成策略被设计用于生成初始伪标签。所生成的伪标签兼备精确性和多样性。对于第二步,将初始伪标签用于训练贝叶斯网络,经过训练的网络能够预测出完整的变化图及不确定度,紧接着,基于不确定度感知的伪标签选择机制可挑选出新的伪标签用于下一次的网络训练。如此反复,网络的训练,测试和伪标签的挑选以迭代的形式进行,这使得伪标签被不断地优化,进而使模型检测变化的能力不断地增强。本发明能够检测几乎完整的强烈变化和微弱变化,抑制虚假的变化,还能够提供预测结果的不确定度用于决策辅助。

Description

一种利用贝叶斯网络优化伪标签的无监督高光谱图像变化检测方法
技术领域
本发明属于遥感高光谱遥感图像技术领域,涉及高光谱图像变化检测技术,特别涉及一种利用贝叶斯网络优化伪标签的无监督高光谱图像变化检测方法。
背景技术
变化检测指通过对比多幅拍摄于同一地区但是具有一定时间差异的图像,从而发现差异的过程。此技术对于了解陆地表面变化至关重要,目前已广泛应用于生态系统监测、土地覆盖制图、城市扩展研究、资源管理等领域。因此,变化检测一直是遥感应用领域的研究热点。传感器技术的快速发展促进了高光谱图像的形成。高光谱图像提供了较宽光谱波长范围内的目标光谱特征的密集采样,使得在较细的光谱尺度上对土地覆盖进行精确监测成为可能。高光谱变化检测的挑战是在抑制虚假变化的同时,精准检测出强烈变化和精细变化。
国内外学者投入了大量的精力对变化检测问题展开深入研究,提出大量的变化检测方法和理论模型。深度学习已经席卷了计算机视觉和遥感图像解译领域,高光谱的高维特性使得基于深度学习的方法越来越受欢迎。许多基于有监督深度学习的高光谱变化检测方法已经被相继提出。然而,有限的数据源和参考变化图的稀缺性使得用于训练和测试的像素来自同一个场景。这些特征导致无法使用大型监督网络,以及对监督网络的性能评估过于乐观。因此,不依赖参考变化图的无监督深度学习方法更有前景。其中,基于伪标签的无监督深度学习方法具有简单,易于实现,高精度的优点而被广泛研究。然而,目前的高光谱变化检测方法生成的伪标签的质量有待提升。伪标签质量的衡量需要考虑准确性和多样性,准确度是指伪标签与真实标签的一致性。精度较低的伪标签会逐渐将噪声传递到变化图中。多样性是指伪标签是否涵盖所有类别,或者伪训练集是否可以表征整个数据集。对于高光谱图像的变化检测,伪标签的多样性既需要容易捕获的强变化,也需要难以检测的细微变化。不包含细微变化的伪标签训练的模型不能准确地辨别细微变化,这将导致许多漏检。因此,提高伪标签的质量至关重要。已有的高光谱变化检测方法通常是用一种或两种预分类方法得到伪标签,仍然不能同时满足准确性和多样性的要求。因为预分类方法往往会错误地区分细微变化和虚假变化。这使得没有细微变化的伪标签多样性不足,而有细微变化的伪标签噪声过大,此问题使得检测性能和应用受到限制。因此,提出一种新的高光谱变化检测方法,其伪标签策略同时兼顾精确性和多样性是至关重要的。
发明内容
为了克服上述现有技术的缺点,本发明的目的在于提供一种利用贝叶斯网络优化伪标签的无监督高光谱图像变化检测方法,以解决现有方法的伪标签无法同时兼具精确性和多样性的问题,并利用优化得到的高质量伪标签获得优秀的检测性能,从而能够检测出双时相图像中的变化信息。
为了实现上述目的,本发明采用的技术方案是:
一种利用贝叶斯网络优化伪标签的无监督高光谱图像变化检测方法,包括如下步骤:
步骤1:针对双时相高光谱图像,利用高置信度空间约束伪标签生成策略联合使用多个预分类方法和超像素分割,生成初始伪标签;
步骤2:利用初始伪标签训练贝叶斯深度学习分类网络模型,然后测试所有像素,获得变化图和不确定度;利用基于不确定度感知的伪标签选择机制优化伪标签,直至模型收敛并输出最终的变化图。
与现有技术相比,本发明的有益效果是:
1、本发明在进行高光谱图像的变化检测时,所设计的模型利用贝叶斯网络迭代优化伪标签,使得质量不断提升的伪标签促进了模型检测性能的提升,能在不同高光谱传感器获得的高光谱图像上取得较高的精度,且泛化能力好,对噪声的鲁棒性较高。
2、本发明提出的变化检测模型能够在抑制虚假变化的同时,检测出较为完整的强烈变化和微弱变化,这使得高光谱图像的精细光谱特征的优势得到了充分发挥。
3、本发明提出的变化检测模型能够提供预测的模型不确定度,即在输出变化图以及对应的每个像素的模型不确定度,不确定度与预测误差有较好的对应关系(预测错误的像素的不确定度较高,预测正确的像素的不确定度较低),这样的不确定度所提供的预测可信度能够辅助决策。
附图说明
图1为本发明的总体框架。
图2是图1的一个实施例中,初始伪标签生成的示意图。
具体实施方式
下面结合附图和实施例详细说明本发明的实施方式。
如前所述,现有的高光谱变化检测技术中,基于伪标签的无监督方法能够在不依赖地面真值的前提下,获得较高的精度。但是现有的基于伪标签的方法依赖于一种或两种预分类方法,使得伪标签无法兼备精确性和多样性,限制了模型性能。为此,本发明的高光谱图像变化检测方法设计了高置信度空间约束的伪标签生成策略,以获得可信的高质量初始伪标签;紧接着,利用不确定度感知的伪标签选择机制能够利用贝叶斯网络生成的不确定度不断地优化伪标签,使得伪标签同时满足精确性和多样性。
如图1所示,本发明利用贝叶斯网络优化伪标签的无监督高光谱图像变化检测方法主要包括两个步骤:第一步是生成初始标签(预分类,融合变化图,空间约束的伪标签挑选),即针对双时相高光谱图像,利用高置信度空间约束伪标签生成策略,联合使用多个预分类方法和超像素分割,生成初始伪标签。第二步是优化伪标签(制作训练集,训练贝叶斯网络,测试,伪标签优化,输出检测结果),即利用初始伪标签训练贝叶斯深度学习分类网络模型,然后测试所有像素,获得变化图,预测概率和不确定度;利用基于不确定度感知的伪标签选择机制优化伪标签,直至模型收敛并输出最终的变化图。
在本发明的第一步中,高置信度空间约束的伪标签生成策略被设计用于生成初始伪标签。所生成的伪标签兼备精确性和多样性。在本发明的第二步中,将初始伪标签用于训练贝叶斯网络,经过训练的网络能够预测出完整的变化图及不确定度,紧接着,基于不确定度感知的伪标签选择机制可挑选出新的伪标签用于下一次的网络训练。如此反复,网络的训练,测试和伪标签的挑选以迭代的形式进行,这使得伪标签不断地被优化,进而促进模型检测变化的能力不断地增强。最终,本发明能够检测几乎完整的强烈变化和微弱变化,抑制虚假的变化,还能够提供预测结果的不确定度用于决策辅助。
本发明的具体过程可描述如下:
第一步,初始伪标签的生成,在一个实施例中,Hermiston高光谱影像数据集包括双时相高光谱图像T1和T2,以及地面真值图。初始伪标签的生成如图2所示。
1)使用三种可用的预分类方法生成高质量的伪标签
本发明的三种预分类方法为变化向量分析方法、结构相似性方法和光谱解混方法。分别利用这三种预分类方法对T1和T2进行预分类,获得3个二值变化图,图中值为1代表对应区域有变化,值为0代表对应区域无变化。
首先,利用变化向量分析方法获得变化图。输入数据是双时相高光谱图像T1和T2,对T1和T2进行逐像素差分可得差异图X,表示为:
X=abs(T1-T2) (1)
将差异图X压缩至2维可得:
Figure BDA0004046393360000041
其中,
Figure BDA0004046393360000042
是X的第k个分量,k=1,…,K,K为高光谱图像的光谱通道数,W为每个高光谱图像的空间宽度,H为每个高光谱图像的空间高度,对DIcva进行K-means聚类即可得到变化向量分析方法的结果图,即1个二值变化图,表示为CMcva
接着,利用结构相似性方法进行变化检测,输入数据是双时相高光谱图像T1和T2。设w1和w2分别为T1和T2在一个光谱通道中同一空间位置的窗口。w1和w2的结构相似性指数S(w1,w2)的计算公式为:
Figure BDA0004046393360000051
式中
Figure BDA0004046393360000052
Figure BDA0004046393360000053
是w1的均值和方差,
Figure BDA0004046393360000054
Figure BDA0004046393360000055
是w2的均值和方差,
Figure BDA0004046393360000056
表示w1和w2之间的统计协方差,C1和C2是常数,用于避免分母为零的情况,且对最终结果的准确性几乎没有影响。上式计算所得的S是一个光谱通道中的窗口的中心像素点的结构相似性指数,让滑动窗口的中心遍历整个图像,即可得到与高光谱图像的空间维度一样大小的结构相似性矩阵。再如此遍历所有通道即可得到于高光谱图像一样大小的3维的结构相似性矩阵。最终,将双时相高光谱图像T1和T2的结构相似性指数压缩至2维,得到双时相高光谱图像的结构相似性指数为:
Figure BDA0004046393360000057
其中Sk为第k个光谱通道的结构相似性指数。通常,结构相似性不能直接用于变化检测。结构相似性的数值范围是0~1,因此将SHSI转换为差异:
DIssim=1-SHSI(5)
对DIssim进行K-means聚类得到1个二值变化图,表示为CMssim
最后,执行光谱解混方法,输入数据为差异图X。即采用线性光谱解混模型对差异图X进行解混。线性解混模型表示为:
Figure BDA0004046393360000058
其中x为混合像素的光谱特征,me为X中的第e个端元,αe表示相应的丰度图,即me在所考虑的混合像素中的百分比,e=1,…,E,E表示X中的端元数量,ε为噪声向量。值得注意的是,对于本发明,端元的数量等于变化类别的数量。
本发明采用全约束最小二乘方法进行丰度图估计。估计过程如下:
Figure BDA0004046393360000061
由于变化的类别通常与变化强度相关,而不变的类别通常与低变化强度相关。因此,很容易对端元和丰度进行排序。设m1为不变端元,α1为相应的丰度图。同样,m2,…,mE为变化端元,α2…,αE为对应的丰度图。
通过对所有丰度图进行阈值选择,可以得到1个二值变化图。显然,高阈值选择的变化是可信的。因此,简单地将阈值统一设置为0.5,这是一个相对较高的值,因为端元E的数量一般大于2。基于解混的方法的二值变化图表示为:
Figure BDA0004046393360000062
上述三种预分类还可以是其他可互补的变化检测方法,能够共同联合确定出可信的伪标签。
2)融合变化图
采用变化向量分析、基于结构相似性和基于解混的方法联合确定出可信伪标签,保证了伪标签的准确性。本发明根据三种预分类方法的特点制定融合策略,将上述3个二值变化图融合为一个变化图,使得融合后的变化图有更高的可信度。此外,还专门利用光谱分解来挖掘伪标签的细微变化,使其既包含强烈变化又包含微弱变化,提高了伪标签的多样性。因此,融合3个二值变化图的过程可以表示为:
Figure BDA0004046393360000071
上式表明:对于CMcva、CMssim和CMunmix中都为未变化的像素,在融合结果图中为未变化。对于CMcva和CMssim中都为变化的像素,在融合结果图中判定为变化。此外,对于CMunmix中为变化的像素,在融合结果图中也同样被判定为变化(这是因为基于解混的方法的变化阈值设置得比较高,这样检测出来的变化极大可能就是变化的)。
3)空间约束的伪标签挑选
受到K-means聚类的启发,超像素分割能够利用空间信息和光谱信息将所有像素分割为超像素,因此,本发明对差异图X进行超像素分割实现空间约束,再依据分割结果,从逐个超像素中抽取若干像素并记录索引,根据索引从融合后的变化图中取值作为初始伪标签。该算法唯一需要指定的就是超像素的个数。本发明中对差异图X进行超像素分割,分割结果可表示为:
Figure BDA0004046393360000072
其中spz表示第z个超像素,Z是超像素的个数;获得超像素后,在每个超像素中随机选取n个像素用于训练,可表示为:
Figure BDA0004046393360000073
此时,
Figure BDA0004046393360000074
涵盖了初始训练集中的Z·n条差异光谱,融合的结果图CMp中包含所需要的初始伪标签,
Figure BDA0004046393360000075
中的每一个
Figure BDA0004046393360000076
即一条差异光谱,对应CMp中的一个
Figure BDA0004046393360000077
值,即差异光谱对应的伪标签;
Figure BDA0004046393360000078
的空间索引很容易被记录用于对应
Figure BDA0004046393360000079
值;需要注意的是,当某个
Figure BDA00040463933600000710
对应的
Figure BDA00040463933600000711
值非0也非1时,则这个差异光谱被视为无效,舍弃,所有有效的
Figure BDA00040463933600000712
对应的
Figure BDA00040463933600000713
值整合,即得初始伪标签:
Figure BDA00040463933600000714
这样挑选出的伪标签能覆盖整个图像,包含所有类别,包括强烈的变化信息及微弱的变化信息,基本满足精确性和多样性的要求。
第二步,伪标签的优化。
首先,在第一次迭代中使用初始伪标签训练贝叶斯网络。然后,利用训练好的贝叶斯网络对整个高光谱图像中的所有像素进行多次预测。预测结果包括变化图、不确定度和预测概率。其中,利用不确定度和预测概率选择更可信的伪标签进行下一次迭代。这样的迭代过程一直持续到伪标签的数量收敛到一个稳定的水平。该过程可描述为:
步骤2.1,制作伪训练集。将伪标签视为样本标签,依据伪标签的索引,从差异图X中获取每个伪标签对应的差异光谱,即样本数据,一个像素对应一个样本数据,得到伪训练集:{样本数据,样本标签};当采用初始伪标签时,得到初始伪训练集,本发明中,样本即像素。
步骤2.2,搭建网络。建立一个贝叶斯深度学习分类网络模型,其网络结构依次设定为输入层、卷积层、Dropout层、全连接层和输出层,将输入层的维度设为差异图X的通道数,将输出层的节点设为2(对应变化和未变化),Dropout比例设为r。本实施例中,贝叶斯网络仅包含一个卷积层,一个dropout层和一个全连接层,这样的网络结构能够在满足精度要求的基础上保证时效性。
步骤2.3,训练。初始化模型参数,利用伪训练集训练模型,使其具备检测变化信息的能力和估计预测的不确定度的能力。
步骤2.4,测试。利用训练好的模型测试完整的测试集(所有样本,覆盖了整个数据集的所有像素),测试B次,即需B次预测,获得像素的不确定度,最终测试结果为:所有预测组成的变化图,相应的预测概率和不确定度。
步骤2.5,伪标签优化。不确定度感知的选择机制根据每个像素的预测概率和不确定度(两个阈值分别为τσ和τp),判定其是否被挑选为伪标签。满足条件的高预测概率和低不确定度的像素被整合成为新的伪标签,依据新的伪标签制造出新的伪训练集,用于下一次迭代中的网络训练,重复步骤2.3~2.5,即可实现伪标签的迭代优化。
步骤2.6,输出检测结果。将伪标签数量作为迭代收敛的条件,当伪标签的数量不再增加时,视为伪标签的数量和质量达到平衡,此时输出当前迭代变化图作为最终的检测结果。
具体地,网络训练时,在第一次迭代中,训练集由Z·n个样本的初始伪标签构成:
Figure BDA0004046393360000091
其中
Figure BDA0004046393360000092
为输入的差异光谱,
Figure BDA0004046393360000093
为对应的伪标签。以一个新的差异光谱x*为例,计算模型不确定度和预测概率的过程如下:
新的差异光谱x*的后验概率分布表示为:
Figure BDA0004046393360000094
其中p(y*|x*,ω)是输入x*和网络权重为ω时输出y*的概率。ω为训练集权重,此外,
Figure BDA0004046393360000095
是训练集
Figure BDA0004046393360000096
训练得到网络权重ω的概率,可以理解为模型的不确定度。因此,上式的后验概率描述了给定新的差异光谱x*和网络权值ω时的所有可能的预测的分布,此后验概率分布的宽度能够反映模型对特定预测的置信度。需要注意的是,
Figure BDA0004046393360000097
不能解析计算,但可以用变分分布q(ω)近似。Monte Carlo(MC)dropout方法可以将dropout层中神经元的随机丢弃过程解释为变分分布。这种方法在不牺牲计算复杂度和模型精度的前提下,缓解了深度学习中的表示不确定性问题。本发明使用带有dropout层的贝叶斯网络来获得模型的不确定度。通过贝叶斯网络运行B次预测,可以直接获得B个随机输出。因此,式(13)可近似为:
Figure BDA0004046393360000098
新的差异光谱x*的最终预测概率(预测平均值)为:
Figure BDA0004046393360000101
B个预测的方差为模型对预测的不确定度,即模型不确定度:
Figure BDA0004046393360000102
可以看出,带有dropout的贝叶斯网络不仅实现了差异图到变化图的映射,而且提供了每个样本的不确定度和预测概率。
基于不确定度感知的伪标签选择策略,利用模型不确定度σ2(x*)和预测概率μ(x*)判断是否选择新的差异光谱x*对应的预测y*作为伪标签;设二进制值l(x*)表示y*是否被选中。l(x*)=1表示选择,l(x*)=0表示拒绝。那么判别标准为:
Figure BDA0004046393360000103
其中τσ和τμ分别为不确定度阈值和预测概率阈值。显然,只有同时满足低不确定度和高预测概率的样本才会被选择作为伪标签。对所有样本进行挑选,可得到新的伪标签用于下一次迭代的网络训练。在迭代过程中,伪标签不断被优化,数量一直在增加,多样性逐渐丰富,直至模型收敛时,伪标签的数量和质量达到了最优的状态,即可输出变化图作为最终的检测结果。
此外,二分类的高光谱图像变化检测任务只考虑了两个类,即变化类和未变化类。因此,这是一个类别数量很少的任务。在这种情况下,由于未变化类别易于检测,分类网络将严重倾向于未变化类,造成严重的类不平衡。为了解决这个问题,本发明平衡了所选的伪标签的类别。具体而言,如果未变化类的伪标签数量过多,则只选择与变化类数量一致的低不确定度的样本作为优化的伪标签。
在一个实施例中,采用Hermiston数据集,将端元数E设置为7。卷积神经网络的卷积核大小为(3,3),特征通道数为256。贝叶斯网络中的dropout参数r设置为0.1,运行次数B为10次。选择伪标签的不确定度阈值τσ为0.1,预测概率的阈值τp为0.7。所选初始伪标签的数量为数据集中所有样本的20%。
将Hermiston数据集输入模型,生成初始伪标签,接着持续地优化伪标签,模型收敛时输出变化图,并对变化图进行评估。不同算法的5个评价指标定量评估结果分析如下表所示:
表1 USA数据集的变化检测定量评估结果
Method OA Recall Precision F1 Kappa
CVA 0.9245 0.6788 0.9804 0.8022 0.7574
SSIM 0.9040 0.5972 0.9630 0.7372 0.6824
ISFA 0.8344 0.8254 0.5957 0.6920 0.5827
IRMAD 0.9180 0.6560 0.9709 0.7830 0.7347
MaxtreeCD 0.9255 0.9097 0.7912 0.8437 0.7940
Unet 0.8920 0.7393 0.7720 0.7553 0.6861
SGCL 0.9130 0.6302 0.9747 0.7655 0.7151
SSCF 0.9383 0.8247 0.8934 0.8577 0.8184
BRPL 0.9498 0.9059 0.8757 0.8905 0.8579
表1中的5个定量评估指标值越高,检测性能越好。Precision值越高表示虚警越少,Recall值越高表示漏检越少。通常,这两者之间是负相关的。F1分数是Precision和Recall指标的组合。OA揭示了整体性能。Kappa系数表示预测变化图与参考变化图的一致性。由表1可以看出,本发明的算法取得了最高的OA,F1和Kappa,这足以说明本发明的算法优越的检测性能。
以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员依然可以对本发明的具体实施方式进行修改或者等同替换,这些未脱离本发明精神和范围的任何修改或者等同替换,均在申请待批的本发明的权利要求保护范围之内。

Claims (7)

1.一种利用贝叶斯网络优化伪标签的无监督高光谱图像变化检测方法,其特征在于,包括如下步骤:
步骤1:针对双时相高光谱图像,利用高置信度空间约束伪标签生成策略,联合使用多个预分类方法和超像素分割,生成初始伪标签;
步骤2:利用初始伪标签训练贝叶斯深度学习分类网络模型,然后测试所有像素,获得变化图和不确定度;利用基于不确定度感知的伪标签选择机制优化伪标签,直至模型收敛并输出最终的变化图。
2.根据权利要求1所述利用贝叶斯网络优化伪标签的无监督高光谱图像变化检测方法,其特征在于,所述步骤1,包括如下步骤:
步骤1.1,对双时相高光谱图像T1和T2进行逐像素差分获取差异图X,表示为:X=abs(T1-T2);
步骤1.2,分别利用3种预分类方法对双时相高光谱图像T1和T2进行预分类,获得3个二值变化图,图中值为1代表对应区域有变化,值为0代表对应区域无变化,所述3种预分类方法为变化向量分析方法、结构相似性方法和光谱解混方法;
步骤1.3,将所述3个二值变化图融合为一个变化图,使得融合后的变化图有更高的可信度,并且既包含强烈变化又包含微弱变化;
步骤1.4,对差异图X进行超像素分割实现空间约束,再依据分割结果,从逐个超像素中抽取若干像素并记录索引,根据索引从融合后的变化图中取值作为初始伪标签。
3.根据权利要求2所述利用贝叶斯网络优化伪标签的无监督高光谱图像变化检测方法,其特征在于,步骤1.2中,所述变化向量分析方法:
将差异图X压缩至2维:
Figure FDA0004046393350000021
其中,
Figure FDA0004046393350000022
是X的第k个分量,k=1,…,K,K为高光谱图像的光谱通道数,W为每个高光谱图像的空间宽度,H为每个高光谱图像的空间高度,对DIcva进行K-means聚类即可得到变化向量分析方法的结果图,即1个二值变化图,表示为CMcva
所述结构相似性方法:
设w1和w2为双时相高光谱图像T1和T2在一个光谱通道中同一空间位置的窗口,w1和w2的结构相似性指数S(w1,w2)的计算公式为:
Figure FDA0004046393350000023
式中
Figure FDA0004046393350000024
Figure FDA0004046393350000025
是w1的均值和方差,
Figure FDA0004046393350000026
Figure FDA0004046393350000027
是w2的均值和方差,
Figure FDA0004046393350000028
表示w1和w2之间的统计协方差,C1和C2是常数,用于避免分母为零的情况;
将双时相高光谱图像T1和T2的结构相似性指数压缩至2维:
Figure FDA0004046393350000029
其中Sk为第k个光谱通道的结构相似性指数,将SHSI转换为差异:
DIssim=1-SHSI
对DIssim进行K-means聚类得到1个二值变化图,表示为CMssim
所述光谱解混方法:
采用线性光谱解混模型对差异图X进行解混,线性解混模型表示为:
Figure FDA00040463933500000210
Figure FDA00040463933500000211
其中x为混合像素的光谱特征,me为X中的第e个端元,αe表示相应的丰度图,即me在所考虑的混合像素中的百分比,e=1,…,E,E表示X中的端元数量,ε为噪声向量,端元的数量等于变化类别的数量;
采用全约束最小二乘方法进行丰度图估计:
Figure FDA0004046393350000031
设m1为不变端元,α1为相应的丰度图,m2,…,mE为变化端元,α2…,αE为相应的丰度图;对所有丰度图进行阈值选择,得到1个二值变化图,表示为CMunmix
4.根据权利要求3所述利用贝叶斯网络优化伪标签的无监督高光谱图像变化检测方法,其特征在于,所述光谱解混方法中,将阈值统一设置为0.5,基于解混的方法的二值变化图表示为:
Figure FDA0004046393350000032
5.根据权利要求3所述利用贝叶斯网络优化伪标签的无监督高光谱图像变化检测方法,其特征在于,所述步骤1.3,融合3个二值变化图的过程表示为:
Figure FDA0004046393350000033
即,CMcva、CMssim和CMunmix中都为未变化的像素,在融合结果图中为未变化;CMcva和CMssim都为变化的像素,在融合结果图中为变化;CMunmix中为变化的像素,在融合结果图中为变化;
所述步骤1.4,对差异图X进行超像素分割,表示为:
Figure FDA0004046393350000034
其中spz表示第z个超像素,Z是超像素的个数;获得超像素后,在每个超像素中随机选取n个像素用于训练,表示为:
Figure FDA0004046393350000041
此时,
Figure FDA0004046393350000042
涵盖了初始训练集中的Z·n条差异光谱,融合的结果图CMp中包含所需要的初始伪标签,
Figure FDA0004046393350000043
中的每一个
Figure FDA0004046393350000044
即一条差异光谱,对应CMp中的一个
Figure FDA0004046393350000045
值,即差异光谱对应的伪标签;
Figure FDA0004046393350000046
的空间索引被记录用于对应
Figure FDA00040463933500000412
值;当某个
Figure FDA0004046393350000047
对应的
Figure FDA0004046393350000048
值非0也非1时,则这个差异光谱被视为无效,舍弃,所有有效的
Figure FDA0004046393350000049
对应的
Figure FDA00040463933500000410
值整合,即得初始伪标签:
Figure FDA00040463933500000411
6.根据权利要求2或3或4或5所述利用贝叶斯网络优化伪标签的无监督高光谱图像变化检测方法,其特征在于,所述步骤2,包括如下步骤:
步骤2.1,将伪标签视为样本标签,依据伪标签的索引,从差异图X中获取每个伪标签对应的差异光谱,即样本数据,一个像素对应一个样本数据,得到伪训练集:{样本数据,样本标签};当采用初始伪标签时,得到初始伪训练集;
步骤2.2,建立一个贝叶斯深度学习分类网络模型,其网络结构依次设定为输入层、卷积层、Dropout层、全连接层和输出层,将输入层的维度设为差异图X的通道数,将输出层的节点设为2,对应变化和未变化,Dropout比例设为r;
步骤2.3,初始化模型参数,利用伪训练集训练模型,使其具备检测变化信息的能力和估计预测的不确定度的能力;
步骤2.4,利用训练好的模型测试完整的测试集,测试B次,获得像素的不确定度,最终测试结果为:所有预测组成的变化图,相应的预测概率和不确定度;所述完整的测试集指覆盖了整个数据集的所有像素;
步骤2.5,根据每个像素的预测概率和不确定度,判定其是否被挑选为伪标签,满足条件的高预测概率和低不确定度的像素被整合成为新的伪标签,依据新的伪标签制造出新的伪训练集,用于下一次迭代中的网络训练,重复步骤2.3~2.5,实现伪标签的迭代优化;
步骤2.6,将伪标签数量作为迭代收敛的条件,当伪标签的数量不再增加时,视为伪标签的数量和质量达到平衡,此时输出当前迭代变化图作为最终的检测结果。
7.根据权利要求6所述利用贝叶斯网络优化伪标签的无监督高光谱图像变化检测方法,其特征在于,在网络训练时,第一次迭代中,训练集由初始伪标签构成:
Figure FDA0004046393350000051
其中
Figure FDA0004046393350000052
为输入的差异光谱,
Figure FDA0004046393350000053
为对应的伪标签;对于一个新的差异光谱x*,计算模型不确定度和预测概率的过程如下:
新的差异光谱x*的后验概率分布表示为:
Figure FDA0004046393350000054
其中p(y*|x*,ω)是输入x*和网络权重为ω时输出y*的概率,
Figure FDA0004046393350000055
是训练集
Figure FDA0004046393350000056
训练得到网络权重ω的概率,此后验概率分布的宽度能够反映模型对特定预测的置信度;通过B次预测获得B个随机输出,
Figure FDA0004046393350000057
近似为:
Figure FDA0004046393350000058
新的差异光谱x*的预测概率即平均值:
Figure FDA0004046393350000059
B个预测的方差为模型对预测的不确定度,即模型不确定度:
Figure FDA00040463933500000510
基于不确定度感知的伪标签选择策略,利用模型不确定度σ2(x*)和预测概率μ(x*)判断是否选择新的差异光谱x*对应的预测y*作为伪标签;设二进制值l(x*)表示y*是否被选中,l(x*)=1表示选择,l(x*)=0表示拒绝,判别标准为:
Figure FDA0004046393350000061
其中τσ和τμ分别为不确定度阈值和预测概率阈值。
CN202310029793.9A 2023-01-09 2023-01-09 一种利用贝叶斯网络优化伪标签的无监督高光谱图像变化检测方法 Pending CN115908419A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310029793.9A CN115908419A (zh) 2023-01-09 2023-01-09 一种利用贝叶斯网络优化伪标签的无监督高光谱图像变化检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310029793.9A CN115908419A (zh) 2023-01-09 2023-01-09 一种利用贝叶斯网络优化伪标签的无监督高光谱图像变化检测方法

Publications (1)

Publication Number Publication Date
CN115908419A true CN115908419A (zh) 2023-04-04

Family

ID=86476901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310029793.9A Pending CN115908419A (zh) 2023-01-09 2023-01-09 一种利用贝叶斯网络优化伪标签的无监督高光谱图像变化检测方法

Country Status (1)

Country Link
CN (1) CN115908419A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117456312A (zh) * 2023-12-22 2024-01-26 华侨大学 一种面向无监督图像检索的模拟抗污伪标签增强方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117456312A (zh) * 2023-12-22 2024-01-26 华侨大学 一种面向无监督图像检索的模拟抗污伪标签增强方法
CN117456312B (zh) * 2023-12-22 2024-03-12 华侨大学 一种面向无监督图像检索的模拟抗污伪标签增强方法

Similar Documents

Publication Publication Date Title
Wang et al. Uncertainty estimation for stereo matching based on evidential deep learning
CN108921051B (zh) 基于循环神经网络注意力模型的行人属性识别网络及技术
Samaniego et al. Supervised classification of remotely sensed imagery using a modified $ k $-NN technique
CN107633226B (zh) 一种人体动作跟踪特征处理方法
CN108171119B (zh) 基于残差网络的sar图像变化检测方法
JP6892606B2 (ja) 位置特定装置、位置特定方法及びコンピュータプログラム
CN111008644B (zh) 基于局部动态能量函数fcn-crf模型的生态变化监测方法
Liu et al. Classification of incomplete data based on belief functions and K-nearest neighbors
CN114255403A (zh) 基于深度学习的光学遥感图像数据处理方法及系统
CN116342894B (zh) 基于改进YOLOv5的GIS红外特征识别系统及方法
CN112329784A (zh) 一种基于时空感知及多峰响应的相关滤波跟踪方法
CN115908419A (zh) 一种利用贝叶斯网络优化伪标签的无监督高光谱图像变化检测方法
Chen et al. A wifi indoor localization method based on dilated cnn and support vector regression
CN109584267B (zh) 一种结合背景信息的尺度自适应相关滤波跟踪方法
CN113627240B (zh) 一种基于改进ssd学习模型的无人机树木种类识别方法
CN111242028A (zh) 基于U-Net的遥感图像地物分割方法
Qu et al. Cycle-Refined Multidecision Joint Alignment Network for Unsupervised Domain Adaptive Hyperspectral Change Detection
CN113657394A (zh) 基于马尔可夫随机场和证据理论的遥感图像分割方法
CN110503631B (zh) 一种遥感图像变化检测方法
CN111027609B (zh) 一种图像数据加权分类方法和系统
CN111666999A (zh) 一种遥感图像的分类方法
CN116630694A (zh) 一种偏多标记图像的目标分类方法、系统及电子设备
CN116258877A (zh) 土地利用场景相似度变化检测方法、装置、介质及设备
CN116310812A (zh) 基于半监督语义分割对比学习的高分辨遥感图像语义变化检测方法
CN114998731A (zh) 智能终端导航场景感知识别的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination