CN110991493B - 一种协同表示和异常剔除的高光谱异常检测方法 - Google Patents

Abstract

本发明公开了一种协同表示和异常剔除的高光谱异常检测方法，其特点是采用融合全局异常与局部异常的剔除方法对局部背景集中的异常像素进行去除，基于协同表示的高光谱异常检测算法，计算线性表示系数并求得残差影像，最后通过设定阈值，将检测值大于阈值的像元标记为异常点，得到异常目标检测结果。本发明与现有技术相比具有提高线性表示的精度和检测精度，有效解决了基于协同表示的高光谱异常检测算法中窗口选择，以及双窗口的异常像元污染背景集问题。

Description

一种协同表示和异常剔除的高光谱异常检测方法

技术领域

本发明涉及高光谱异常检测技术领域，尤其是一种基于窗口自适应的协同表示和异常剔除的高光谱异常检测方法。

背景技术

随着高光谱成像光谱仪的发展，遥感影像的光谱信息从全色、多光谱到高光谱的快速发展，使遥感技术进入到一个崭新阶段。高光谱影像具有高光谱分辨率，获得的影像像元具有上百波段光谱信息，基于各种地物之间不同光谱特性，高光谱遥感已经在地物分类、定量反演、目标检测和生态环境监测等方面得到广泛应用。高光谱影像目标检测根据是否已知目标信息，可将检测算法分为两类，其中一类为已知目标信息的目标探测算法，主要是利用已知目标的光谱信息，通过与目标光谱曲线进行匹配，获取探测目标。通常情况下，目标和背景的先验知识很难获取，因此另一类是未知目标信息的异常检测算法，成为高光谱遥感目标检测领域的研究热点。由Reed和Yu提出的RX算法是目前应用最广泛的一种异常检测方法，它假设背景服从多元正态分布，异常值是由待测像元与背景之间的马氏距离来测量。全局RX和局部RX是RX算法的两种典型算法，它们分别估计全局和局部背景统计信息。由于高光谱遥感影像的背景是复杂的，很多情况不满足正态分布，因此，研究者提出了许多基于RX算法改进的异常检测方法来提高检测性能，例如，核RX算法利用核函数将原始数据投影到高维空间中，利用数据之间丰富的非线性信息完成异常检测。

近年来，基于空间信息和光谱信息的数据重构的算法也在异常检测领域得到了广泛的应用。李伟等人基于待测试像元与其周围的背景像元之间的光谱存在着相似性，待测试像元可以通过背景像元之间的线性组合来近似的表示的思想，提出了基于协同表示的异常检测(Collaborative Representation-based Anomaly Detection，CRD)算法。该方法由于背景像元中存在的异常像素造成对背景集的污染，影响线性表示精度。

现有技术基于协同表示的高光谱异常检测算法存在着窗口选择以及双窗口的异常像元污染背景集问题，基于窗口尺寸的异常探测算法无法根据影像的数据类型自适应的获取最优的窗口尺寸，不同的影像数据进行异常探测时，探测性能达到最优时的窗口尺寸往往不同，实验中通常采用试错法来寻找最优窗口尺寸，然而在实际应用中，通常没有异常地物的先验知识，因而无法通过这种方式来寻找最优窗口尺寸，往往采用经验值。

发明内容

本发明的目的是针对现有技术的不足而设计的一种协同表示和异常剔除的高光谱异常检测方法，采用融合全局异常与局部异常的剔除方法，通过获取待测像元的最优窗口和背景集的异常剔除，有助于提高线性表示的精度，从而提高检测精度，该方法首先计算背景显著性获取每个像元的最优窗口尺寸，然后在双窗口内的局部背景集中的异常像元剔除，采用融合全局异常与局部异常的剔除方法对局部背景集中的异常像素进行去除，再基于协同表示的高光谱异常检测算法，计算线性表示系数并求得残差影像，最后通过设定阈值，将检测值大于阈值的像元标记为异常点，得到异常目标检测结果，有效解决了基于协同表示的高光谱异常检测算法中窗口选择，以及双窗口的异常像元污染背景集问题，方法简便，检测精度高，进一步推进了基于协同表示的异常检测的广泛应用。

实现本发明目的的具体技术方案是：一种协同表示和异常剔除的高光谱异常检测方法，该方法包括以下具体步骤：

1)输入高光谱遥感影像，并对高光谱影像进行归一化预处理。

2)遍历高光谱影像中每个像元，通过计算背景显著性获取每个像元的最优窗口尺寸，所述通过计算背景显著性获取每个像元的最优窗口尺寸，具体包括：

a、给定外窗口尺寸win_out，则内窗口尺寸win_in的范围为[1,win_out]，计算每个窗口内的像素对(p_i,q)的显著性差异值D(p_i,q)；

b、分别计算内窗口与外窗口的背景显著性值S(win_out)与(win_in)；

c、计算不同内外窗口组合下的背景显著性值ΔS，从不同内外窗口组合中寻找出最大的背景显著性值ΔS，此时背景显著性值差异最大时的窗口作为最优内窗口win_{in_opt}。

3)通过滑动窗口策略遍历每个像元，利用异常剔除方法将局部背景集的异常像元去除，采用基于协同表示的检测算法计算残差图，对于每个中心测试像元

其背景像元主要是指内外窗口之间的像元，该像元的内外窗口尺寸为步骤2)计算得到的最优的窗口尺寸，并由内外窗口组合的背景像元构成的局部背景集为：

具体包括下述步骤：

a、采用基于随机选择的异常检测算法来判定背景像元与异常像元，然后进行局部异常判定；

b、采用基于统计学理论中的背景向量服从高斯分布的假设中，将曲线左右两侧的像元通过所设定的最大阈值或最小阈值判定会被视为异常；

c、采用投票法确定背景像元是否含有异常像元，当某个像元同时被全局异常算法与局部异常算法都判定为异常像元，该像元将会被视为异常自动的从局部背景集中剔除。

4)通过判断残差值与阈值的大小来获得最后的异常探测图，具体包括下述步骤：

a、经背景集中异常像元的剔除，更新后的背景子集为：

b、待测像元y通过其局部背景集X′的线性组合，采用l₂范数的平方来最小化目标函数为：

其中，α为表示系数向量由下述a式求解：

式中：λ为拉格朗日乘子，用于权衡目标函数与惩罚项之间的权重；Γ_y为Tikhonov规则项；

c、通过求得的表示系数向量α可获得待测像元y的线性表示值为

在所有像元遍历后，就可获得最后的预测背景影像；

d、通过下述b式求解两个影像的差值获得最终的残差影像：

其中，

r表示残差值。

e、如果求得的残差r大于设定的阈值，则判定该像元为异常，完成所有判定后就可获得最终的异常探测图。

本发明与现有技术相比具有无需通过试错法寻找最优窗口尺寸，有效的解决了无法根据影像的数据类型自适应的获取最优的窗口尺寸的问题，可以通过计算背景显著性获取每个像元的最优窗口尺寸，节约了实验室，并且选择最优窗口也能够充分利用背景像元进行线性表示，通过融合全局异常与局部异常的剔除方法对造成污染的局部背景集中存在异常像素进行剔除，有效的提升了异常检测的精度，并且异常与背景更具有可分离性。

附图说明

图1为本发明流程图；

图2为AVIRIS_SanDiego高光谱影像第四波段；

图3为五种检测算法的ROC曲线图。

具体实施方式

下面以具体实为例对本发明作进一步的详细说明。

实施例1

参阅附图1，本发明的具体实施步骤如下：

步骤1：输入高光谱遥感影像，并对高光谱影像进行归一化预处理，则经过预处理后的高光谱影像数据

其中m、m、d分别代表了高光谱数据集中的行、列和波段数。

步骤2：遍历高光谱影像中每个像元，通过计算背景显著性获取每个像元的最优窗口尺寸。在基于协同表示算法中，由局部窗口构成背景集内的地物之间存在相似性，中心像元可以由背景像元线性表示。背景像元主要是指内外窗口之间的像元，内窗口作为保护窗口，减少异常目标干扰，而外窗口为限定检测范围。局部背景集中的像元个数为：s＝win_out×win_out-win_in×win_in，其中win_out表示外窗口的大小，win_in表示内窗口的大小。

利用自适应背景显著性分布选择方法确定中心待测像元的最佳窗口尺寸，该算法主要分为以下步骤：

1)给定外窗口尺寸win_out，则内窗口尺寸win_in的范围为[1，win_out]，要求外窗口尺寸大于内窗口尺寸，且内外窗口都为奇数。假设外窗口尺寸为9，则内窗口尺寸可以为3、5、7，窗口组合将有多种，例如(3，9)、(5，9)等。

2)由下述I式计算每个窗口内的像素对(pi，q)的显著性差异值：

其中，x_i＝[x_i1，x_i2，...，x_id]和x＝[x₁，x₂，...，x_d]表示像素p_i和q的d维光谱向量；q为中心待测像元；x_i为背景像元；I_i为像素p_i相对于像素q的空间位置；c为因子常数，它控制着d_spectral与d_position之间的比例，通常设c＝4；d_spectral为像素p_i和q_j的光谱之间的欧式距离；d_position为像素p_i和q_j的空间位置之间的欧式距离。

通过I式首先计算设定外窗口内的每对像素的显著性差异值，然后再分别计算不同内窗口内的每对像素的显著性差异值，因此，异常与背景像素对之间的显著性通常大于背景像素对的显著性值。

3)根据步骤2计算得到外窗口与不同内窗口下的每对像素的显著性差异，由下述II式和III式求出内窗口与外窗口的背景显著性值S(win_out)和(win_in)；

4)根据步骤3求得内窗口与外窗口的背景显著性值S(win_out)和(win_in)，由下述IV式计算不同内外窗口组合下的背景显著性值ΔS：

式中，M_out为外窗口内的像素个数；M_inner为内窗口内的像素个数。

5)从不同内外窗口组合中寻找出最大的背景显著性值ΔS，此时背景显著性值差异最大时的窗口作为最优内窗口win_{in_opt}。

步骤3：通过滑动窗口策略遍历每个像元，利用异常剔除方法将局部背景集的异常像元去除，采用基于协同表示的高光谱异常检测算法计算残差图。对于每个中心测试像元

其背景像元主要是指内外窗口之间的像元，该内外窗口尺寸根据步骤2计算得到的最优的窗口尺寸，由内外窗口组合的背景像元构成的局部背景集为

由背景像元构成的局部背景集中，不可避免的存在异常像素，造成对局部背景的污染。本发明中融合全局异常与局部异常的剔除方法对局部背景集中的异常像素进行去除，其中全局异常判定采用基于随机选择的异常检测算法，局部异常判定采用基于统计学理论中的背景向量服从高斯分布的假设中，将曲线左右两侧的像元通过所设定的最大阈值或最小阈值判定会被视为异常。

在本实施例中，首先进行全局异常的判定，采用基于随机选择的异常检测算法来判定背景像元与异常像元。该算法主要分为以下几步：

1)在高光谱影像中随机选择L个像元作为初始背景子集。

2)计算初始背景子集的均值

与协方差矩阵C。

3)利用上步计算得到的均值和协方差矩阵，由下述V式计算每个像元马氏距离；

4)设定阈值δ，高光谱影像中的像元马氏距离小于阈值δ，由这些小于阈值δ的像元组合构成新的背景子集。

5)迭代步骤2至步骤4，直至背景子集不在更新。

6)将最终背景子集排除的像元为异常像元。

7)进行局部异常的判定，在基于统计学理论中，背景向量服从高斯分布的假设，由下述VI式计算局部背景集中所有向量的均值与标准差来定义背景向量阈值的最大值和最小值：

τ_max＝μ+2×σ

τ_min＝μ-2×σ   (V)

其中，μ和σ分别为背景集中所有像元的均值和协方差；τ_max和τ_min分别为局部双窗口中背景向量的最大阈值和最小阈值。当背景集中某个像元的强度值超出所设定的最大阈值或最小阈值时，该像元将会被视为异常。

8)采用投票法确定背景像元是否含有异常像元，当某个像元同时被全局异常算法与局部异常算法都判定为异常像元，该像元将会被视为异常将自动的从局部背景集中剔除。经过背景集中异常像元的剔除后，更新后的背景子集为

待测像元y可以通过其局部背景集X_s′的线性组合来表示，然后采用l₂范数的平方来最小化目标函数为：

其中，α为表示系数向量由下述a式求解：

式中：λ为拉格朗日乘子，用于权衡目标函数与惩罚项之间的权重；Γ_y为Tikhonov规则项。

9)通过求得的协同表示系数向量α可获得测试像元y的线性表示值为

在整幅影像的协同表示过程全部完成后，就可获得最后的预测背景影像，通过下述b式求解两个影像的差值获得最终的残差影像：

其中，

r表示残差值。

步骤4：通过判断残差值与阈值的大小来获得最后的异常探测图。如果求得的残差r大于设定的阈值最大值或者小于设定的阈值最小值，则判定该像元为异常，完成所有判定后就可获得最终的异常探测图。

通过以下仿真实验对本发明的技术效果做进一步的说明。

(一)真实高光谱数据

为了验证提出的基于窗口自适应的协同表示和异常剔除(AWCRDOR)的高光谱异常检测方法的有效性。利用真实的美国圣地亚哥海军机场(AVIRIS_SanDiego)的高光谱影像进行异常检测，该影像大小为400行×400列×224波段，去除相应的水汽波段、低信噪比波段，剩余186个可用波段进行异常探测实验分析。

参阅附图2，从影像上裁剪一块大小为100行×100列×186波段区域进行实验。

(二)仿真内容

按如下步骤采用本发明进行高光谱影像的异常检测：

a、首先，对于AVIRIS_SanDiego影像，本发明中的外窗口win设为15，为了验证算法的有效性，选择了5个基准算法GRX、LRX、CRD、UNRS进行比较。

b、将实验中每种算法的检测结果与地面真实值进行比较，通过计算检测率和虚警率，绘制接受者操作特性曲线(ROC)，在ROC曲线中的绘制过程中，通过设定不同的阈值，由不同阈值条件虚警率和检测率构成的坐标点相互连接起来构成的曲线，通常曲线越靠近左上角，检测算法的性能就越好。

参阅附图3，本发明方法明显优于其他异常检测算法。

c、计算ROC曲线下的面积值(AUC),作为检测性能的衡量指标，其计算结果见表1所示：

表1各算法的AUC数据

检测算法	GRX	LRX	CRD	UNRS	AWCRDOR
						AUC值	0.8334	0.8569	0.8490	0.8903	0.9816

从上述表1可见，本发明的检测AUC值显著高于另外4种基准算法。

以上只是对本发明作进一步的说明，并非用以限制本专利，凡为本发明等效实施，均应包含于本专利的权利要求范围之内。

Claims (3)

1.一种协同表示和异常剔除的高光谱异常检测方法，其特征在于该方法包括以下步骤：

1)输入高光谱遥感影像，并对高光谱影像进行归一化预处理；

2)遍历高光谱影像中每个像元，通过计算背景显著性获取每个像元的最优窗口尺寸；

3)通过滑动窗口策略遍历每个像元，利用异常剔除方法将局部背景集的异常像元去除，采用基于协同表示的检测算法计算残差图；

4)通过判断残差值与阈值的大小来获得最后的异常探测图；

所述计算背景显著性获取每个像元的最优窗口尺寸，具体包括：

a、给定外窗口尺寸win_out，则内窗口尺寸win_in的范围为[1,win_out]，计算每个窗口内的像素对(p_i,q)的显著性差异值D(p_i,q)；

b、分别计算内窗口与外窗口的背景显著性值S(win_out)与(win_in)；

c、计算不同内外窗口组合下的背景显著性值ΔS，从不同内外窗口组合中寻找出最大的背景显著性值ΔS，此时背景显著性值差异最大时的窗口作为最优内窗口win_{in_opt}。

2.根据权利要求1所述协同表示和异常剔除的高光谱异常检测方法，其特征在于所述利用异常剔除方法将局部背景集的异常像元去除，具体包括下述步骤：

a、采用基于随机选择的异常检测算法来判定背景像元与异常像元，然后进行局部异常判定；

b、采用基于统计学理论中的背景向量服从高斯分布的假设中，将曲线左右两侧的像元通过所设定的最大阈值或最小阈值判定会被视为异常；

c、采用投票法确定背景像元是否含有异常像元，当某个像元同时被全局异常算法与局部异常算法都判定为异常像元，该像元将会被视为异常自动的从局部背景集中剔除。

3.根据权利要求1所述协同表示和异常剔除的高光谱异常检测方法，其特征在于所述基于协同表示的检测算法计算残差图，具体包括下述步骤：

a、经背景集中异常像元的剔除后，其更新后的背景子集为：

b、将待测像元y以其局部背景集X_s′的线性组合来表示；

c、求解表示系数向量α，以获得待测像元y的线性表示值为：

d、遍历所有像元后获得预测背景影像，然后通过两个影像的差值获得最终的残差影像。

Images