CN104062008A - 一种考虑整体度量的实测光谱曲线中异常光谱的剔除方法 - Google Patents

Abstract

本发明公开了一种考虑整体度量的实测光谱曲线中异常光谱的剔除方法，用局部度量欧氏距离ED、余弦角CA和整体度量光谱信息散度SID的值，进行归一化处理后计算表达式(ED×SID)/CA的值，人工确定阈值之后提出表达式(ED×SID)/CA位于阈值上方的光谱点，完成异常光谱的剔除。还可以在二维平面上以阈值为纵坐标，确定一个阈值线，在以光谱编号和表达式(ED×SID)/CA的值建立的二维平面散点图上剔除阈值线之上的光谱点，完成异常光谱的剔除。本发明加入光谱信息散度SID可定量表征光谱整体相似性。从光谱局部与整体性区分其与标准光谱集之间的差异，弥补了传统利用距离、角度度量不能区分光谱整体相似性的问题。

Description

一种考虑整体度量的实测光谱曲线中异常光谱的剔除方法

技术领域

本发明属于一种实测光谱曲线中异常光谱的剔除方法，具体涉及一种考虑整体度量的实测光谱曲线中异常光谱剔除方法。

背景技术

光谱分析技术在地质遥感、农林生态、土壤调查、污染监测、食品检测、计量化学等领域应用广泛，在测量过程中，由于仪器噪声、外界环境干扰、操作不当及其他偶发因素的影响，采集到的光谱数据中往往存在异常光谱，如果直接使用这些数据进行建模分析，势必会影响模型的准确性和稳定性。因此，有必要识别出异常光谱并将其剔除。

以往运用距离、角度相似性的局部度量比较方法测量光谱与标准光谱集均值光谱之间的差异，由于距离、角度度量分别是利用谱段间的距离、角度差异的加权值，谱段间差异易相互抵消，难以区分整体波形结构差异，如果该测量光谱整体波形与标准光谱集均值光谱之间实际差异很大，但计算出的距离、角度相似性度量结果由于谱段间差异相互抵消造成相似性度量结果恰好很小，传统度量方法会认为该光谱是正常光谱且不能去除，势必会对后续光谱分析产生影响。

因此需要一种考虑到光谱整体相似性的比较方法应用于异常光谱 的剔除。

发明内容：

本发明要解决的技术问题是提供一种考虑整体度量的实测光谱曲线中异常光谱的剔除方法，从光谱局部与整体性区分其与标准光谱集之间的差异弥补了传统利用距离、角度度量不能区分光谱整体相似性的问题。

为了解决上述技术问题本发明的技术方案为：

一种考虑整体度量的实测光谱曲线中异常光谱的剔除方法，包括如下步骤：步骤1)，对实测光谱曲线进行预处理；步骤2)，计算经预处理的实测光谱曲线与标准光谱集平均光谱之间的局部度量和整体度量，并将计算结果归一化到0-1之间，局部度量包括欧氏距离ED和余弦角CA，整体度量包括光谱信息散度SID；步骤3)，依据上述经归一化到0-1之间的欧氏距离ED、余弦角CA和光谱信息散度SID的值，计算表达式(ED×SID)/CA的值；步骤4)，设定异常光谱阈值，表达式(ED×SID)/CA的值中位于异常光谱阈值之上的点即为异常光谱。

较佳地，步骤1)对实测光谱曲线进行预处理，包括三个步骤11)去除水汽影响波段，12)采用多项式平滑滤波，滤除原始光谱中高频噪声，13)包络线去除。

较佳地，步骤2)中局部度量和整体度量的计算方法为：经预处理的实测光谱曲线包括光谱曲线X和光谱曲线Y，各个光谱曲线X和光谱曲线Y均包含n个波段，即X＝(x₁,x₂,x₃,…x_n),Y＝(y₁,y₂,y₃,…y_n)，

欧氏距离 $\mathrm{ED}(X,Y)=\sqrt{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(x_i-y_i)}^2},$

余弦角 $\mathrm{CA}(X,Y)=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i{y}_i}{\sqrt{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i^2}\sqrt{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i^2}},$

光谱信息散度 $\mathrm{SID}(X,Y)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(\frac{x_i}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i}-\frac{y_i}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i})\log (\frac{x_i}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i}/\frac{y_i}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i}).$

较佳地，步骤3)中表达式(ED×SID)/CA的值

$[(\mathrm{ED}\×\mathrm{SID})/\mathrm{CA}]=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i{y}_i\·\sqrt{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(x_i-y_i)}^2}}{\sqrt{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i^2}\sqrt{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i^2}\·\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(\frac{x_i}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i}-\frac{y_i}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i})\log (\frac{x_i}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i}/\frac{y_i}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i})}.$

较佳地，步骤4)中异常光谱阈值为人工经验参数。

较佳地，步骤4)设定的异常光谱阈值作为纵坐标得到二维平面中的异常光谱阈值线，依据表达式(ED×SID)/CA的值和光谱编号建立二维平面散点图，二维平面散点图中位于异常光谱阈值线之上的光谱点即为异常光谱。

较佳地，依据表达式(ED×SID)/CA的值和光谱变化得出二维平面散点图是以光谱编号为横坐标、以表达式(ED×SID)/CA归一化到0-1之间的值为纵坐标，建立二维平面散点图。

较佳地，人工设定异常光谱阈值还包括对其进行验证的步骤，验证方法为：剔除异常光谱后剩余光谱建立预测模型，依据验证评价指标得到不同阈值下的预测精度，验证评价指标包括相关系数、均方差、平均相对误差。

本发明用局部度量欧氏距离ED、余弦角CA和整体度量光谱信息散度SID的值，进行归一化处理后计算表达式(ED×SID)/CA的值，人工确定阈值之后提出表达式(ED×SID)/CA位于阈值上方的光谱点，完成异常光谱的剔除。作为更进一步的改进还可以在二维平面上以阈值为纵坐标，确定一个阈值线，在以光谱编号和表达式(ED×SID)/CA的值建立的二维平面散点图上剔除阈值线之上的光谱点，完成异常光谱的剔除。由于距离、角度等局部度量难以区分整体波形结构差异，因此本发明加入光谱信息散度SID可定量表征光谱整体相似性。从光谱局部与整体性区分其与标准光谱集之间的差异，弥补了传统利用距离、角度度量不能区分光谱整体相似性的问题。

附图说明

图1为本发明实施例一的流程图，

图2为本发明实施例二的流程图，

图3为本发明实施例二建立的二维平面散点图，

图4为本发明实施例二在二维平面散点图中确定的阈值线。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

实施例一，如图1所示，一种考虑整体度量的实测光谱曲线中异常光谱的剔除方法，包括如下步骤：

步骤1)预处理

获取实测光谱曲线，并进行预处理，包括三个步骤11)去除水汽影响波段，12)采用多项式平滑滤波，滤除原始光谱中高频噪声，13)包络线去除。包络线去除后将反射率归一化到0-1之间，光谱的吸收和反射特征反映在一致的光谱背景上，有效突出光谱曲线的吸收、反射和发射特征。光谱数据预处理目的是去除噪声干扰、增强波形特征，为定量度量光谱差异提供更加可靠依据。

步骤2)光谱相似性度量

计算经预处理的实测光谱曲线与标准光谱集平均光谱之间的局部度量和整体度量，并将计算结果归一化到0-1之间，局部度量包括欧氏距离ED和余弦角CA，整体度量包括光谱信息散度SID对实测光谱曲线，具体计算方法为：

经预处理的实测光谱曲线包括光谱曲线X和光谱曲线Y，各个光谱曲线X和光谱曲线Y均包含n个波段，即X＝(x1,x2,x3,…xn),Y＝(y1,y2,y3,…yn)，

欧氏距离 $\mathrm{ED}(X,Y)=\sqrt{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(x_i-y_i)}^2},$

余弦角 $\mathrm{CA}(X,Y)=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i{y}_i}{\sqrt{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i^2}\sqrt{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i^2}},$

光谱信息散度 $\mathrm{SID}(X,Y)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(\frac{x_i}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i}-\frac{y_i}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i})\log (\frac{x_i}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i}/\frac{y_i}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i}).$

步骤3)计算表达式(ED×SID)/CA的值

依据上述经归一化到0-1之间的欧氏距离ED、余弦角CA和光 谱信息散度SID的值，计算表达式(ED×SID)/CA的值，

$[(\mathrm{ED}\×\mathrm{SID})/\mathrm{CA}]=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i{y}_i\·\sqrt{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(x_i-y_i)}^2}}{\sqrt{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i^2}\sqrt{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i^2}\·\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(\frac{x_i}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i}-\frac{y_i}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i})\log (\frac{x_i}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i}/\frac{y_i}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i})}.$

步骤4)确定阈值，异常光谱剔除

人工依据经验设定异常光谱阈值，对人工设定异常光谱阈值进行验证，剔除异常光谱后剩余光谱建立预测模型，以相关系数、均方差、平均相对误差等作为验证的评价指标，得到不同阈值下的预测精度。

人工依据经验设定异常光谱阈值后，可以直接确定表达式(ED×SID)/CA的值中位于异常光谱阈值之上的点即为异常光谱，然后剔除异常光谱。

实施例二，如图2所示，本实施例步骤1)-3)与实施例一相同，完成步骤1)-3)值之后，如图3所示以表达式(ED×SID)/CA归一化到0-1之间的值为纵坐标建立二维平面散点图，然后以步骤4)相同方法确定阈值，如图4所示确定阈值之后将其作为纵坐标得到二维平面中的异常光谱阈值线，再以光谱编号为横坐标，二维平面散点图中位于异常光谱阈值线之上的光谱点即为异常光谱，然后剔除异常光谱。

上述两种方法都可以完成本实施例考虑整体度量剔除实测光谱曲线中的异常光谱。

由于距离、角度等局部度量难以区分整体波形结构差异，而相对熵是被用来衡量一个随机变量在整体中出现的期望值，可利用相对熵计算由光谱特征提供的光谱信息，因此本发明加入光谱信息散度SID 可定量表征光谱整体相似性。从光谱局部与整体性区分其与标准光谱集之间的差异，弥补了传统利用距离、角度度量不能区分光谱整体相似性的问题。

Claims (8)

1.一种考虑整体度量的实测光谱曲线中异常光谱的剔除方法，其特征在于，包括如下步骤：

步骤1)，对实测光谱曲线进行预处理；

步骤2)，计算经预处理的实测光谱曲线与标准光谱集平均光谱之间的局部度量和整体度量，并将计算结果归一化到0-1之间，所述局部度量包括欧氏距离ED和余弦角CA，所述整体度量包括光谱信息散度SID；

步骤3)，依据上述经归一化到0-1之间的欧氏距离ED、余弦角CA和光谱信息散度SID的值，计算表达式(ED×SID)/CA的值；

步骤4)，设定异常光谱阈值，表达式(ED×SID)/CA的值中位于所述异常光谱阈值之上的点即为异常光谱。

2.根据权利要求1所述的一种考虑整体度量的实测光谱曲线中异常光谱的剔除方法，其特征在于：所述步骤1)对实测光谱曲线进行预处理，包括三个步骤11)去除水气影响波段，12)采用多项式平滑滤波，滤除原始光谱中高频噪声，13)包络线去除。

3.根据权利要求1所述的一种考虑整体度量的实测光谱曲线中异常光谱的剔除方法，其特征在于：所述步骤2)中所述局部度量和所述整体度量的计算方法为：经预处理的所述实测光谱曲线包括光谱曲线X和光谱曲线Y，各个所述光谱曲线X和所述光谱曲线Y均包含n个波段，即X＝(x₁,x₂,x₃,…x_n),Y＝(y₁,y₂,y₃,…y_n)，

所述欧氏距离 $\mathrm{ED}(X,Y)=\sqrt{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(x_i-y_i)}^2},$

所述余弦角 $\mathrm{CA}(X,Y)=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i{y}_i}{\sqrt{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i^2}\sqrt{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i^2}},$

所述光谱信息散度 $\mathrm{SID}(X,Y)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(\frac{x_i}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i}-\frac{y_i}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i})\log (\frac{x_i}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i}/\frac{y_i}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i}).$

4.根据权利要求1所述的一种考虑整体度量的实测光谱曲线中异常光谱的剔除方法，其特征在于：所述步骤3)中表达式(ED×SID)/CA的值

$[(\mathrm{ED}\×\mathrm{SID})/\mathrm{CA}]=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i{y}_i\·\sqrt{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(x_i-y_i)}^2}}{\sqrt{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i^2}\sqrt{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i^2}\·\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(\frac{x_i}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i}-\frac{y_i}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i})\log (\frac{x_i}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i}/\frac{y_i}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i})}.$

5.根据权利要求1所述的一种考虑整体度量的实测光谱曲线中异常光谱的剔除方法，其特征在于：所述步骤4)中所述异常光谱阈值为人工经验参数。

6.根据权利要求1所述的一种考虑整体度量的实测光谱曲线中异常光谱的剔除方法，其特征在于：所述步骤4)设定的异常光谱阈值作为纵坐标得到二维平面中的异常光谱阈值线，依据表达式(ED×SID)/CA的值和光谱编号建立二维平面散点图，所述二维平面散点图中位于所述异常光谱阈值线之上的光谱点即为异常光谱。

7.根据权利要求6所述的一种考虑整体度量的实测光谱曲线中异常光谱的剔除方法，其特征在于：所述依据表达式(ED×SID)/CA的值和光谱变化得出二维平面散点图是以光谱编号为横坐标、以表达式(ED×SID)/CA归一化到0-1之间的值为纵坐标，建立二维平面散点图。

8.根据权利要求5至7任一项所述的一种考虑整体度量的实测光谱曲线中异常光谱的剔除方法，其特征在于：人工设定异常光谱阈值还包括对其进行验证的步骤，验证方法为：剔除异常光谱后剩余光谱建立预测模型，依据验证评价指标得到不同阈值下的预测精度，所述验证评价指标包括相关系数、均方差、平均相对误差。