CN103776789B - 一种基于紫外可见光谱的未知污染物预警方法 - Google Patents

Abstract

一种基于紫外可见光谱的未知污染物预警方法，实现步骤如下：提取特征向量，获得最有代表性的特征；对特征向量做正交投影，将特征向量投影到正交方向上，在同一坐标系下进行比较；判断是否有未知污染物，若投影后剩余光谱数据范数大于某一设定值则认为有未知物质。本发明能够在采样现场检测出未知污染物，提高了检测出未知污染物的成功率。

Description

一种基于紫外可见光谱的未知污染物预警方法

技术领域

本发明涉及一种水质检测方法，特别是一种基于紫外可见光谱的未知污染物预警方法。

背景技术

水质监测是指监视和测定水体中污染物的种类、各类污染物的浓度及变化趋势，评价水质状况的过程，监测范围包括未被污染和已受污染的天然水（江、河、湖、海和地下水）及各种各样的工业排水等。

随着科学技术的发展，水质监测的方法与技术也得到了快速的进步，同时越来越多的现代化控制的手段与方法如计算机控制、先进的仪器分析在水质监测和分析中取得了广泛的应用。在较为传统的化学法、电化学法、色谱分析法的基础上，新兴的基于光谱分析、生物法等的原子光谱技术、分子光谱技术流动注射分析法、生物传感器、生物指示器及生物标识器等等分析技术和手段得到了快速的发展和应用。在诸多水质监测方法中基于光谱分析的水质监测技术是现代环境监测的一个重要发展方向，与传统的化学法、电化学法和色谱分析法等传统水质分析方法相比，光谱分析技术操作极为简便、无需消耗或者仅需消耗极少的试剂、测量精度高和分析速度快、设备十分小巧易于维护等优点，适合对环境水样的快速在线监测的要求，参见吴国琳，水污染的监测与控制，北京，化学工业出版社，2001,1.3。

光谱分析法作为现在水质监测发展的一个重要方向，目前衍生出的方法主要高光谱遥感法、原子吸收光谱法、分子吸收光谱法三种,其中紫外‐可见光全光谱分析法由于覆盖了大多数金属离子、非金属离子和有机污染物的光谱范围，可实现直接或间接地测定水中的各测量参数及有毒物质的含量，具有灵敏、快速、准确、简单等优点，并可实现对多种水质参数的检测，在对各水体的监测中均具有显著的优势，参见蒋绍阶，刘宗源，UV254作为有机物控制的意义.重庆建筑大学学报[J],2002,24：61‐65。

当水样中出现新的污染物之后，光谱的吸光度可能会出现新的特征，如出现新的波峰波谷等，现有物质的拟合公式可能会不准确，需要对现有公式进行调整。同时也希望给人以警示，提醒用其他化学物理方法去检查出现了什么新的污染，增加新的由光谱吸光度计算污染物的公式。因此需要一种方法能够检测出光谱是否发生了未知变化，对未知变化进行预警。

目前现有的预警方法主要是采用基于高斯模型的未知污染物预警算法，参见C.Stauffer,andW.Grimson,“Adaptivebackgroundmixturemodelsforreal‐timetracking,”inProc.IEEEConferenceonComputerVisionandPatternRecognition,vol2,pp.246‐252,1999.

该方法是建立已知污染物浓度和光谱吸光度之间的概率模型，在这个概率模型下计算已知光谱吸光度这一条件下污染物浓度的条件概率，当光谱曲线超出了模型的范围即认为未知污染物出现。该方法的缺点是模型建立比较困难，光谱中的波长个数过多，无法准确地确定监测未知污染物的置信区间，因此无法在采样现场检测出未知污染物。

发明内容

本发明技术解决问题：克服现有技术的不足，提供一种基于紫外可见光谱的未知污染物预警方法，能够在采样现场检测出未知污染物，提高了检测出未知污染物的成功率。

本发明技术解决方案：一种基于紫外可见光谱的未知污染物预警方法，实现步骤如下：

STEP1：假设得到的光谱数据矩阵为X，采用主成份分析方法提取光谱数据矩阵X中方差最大的向量作为特征向量，所述特征该向量包括了光谱数据矩阵中关于污染物种类的信息；

STEP2：对特征向量做正交投影，将特征向量投影到正交方向上，用光谱数据矩阵X减去投影后的特征向量得到投影后的剩余光谱数据矩阵X₁；

STEP3：判断是否有未知污染物，若投影后剩余光谱数据矩阵X₁的范数||X₁||大于阈值则认为有未知物质。

所述STEP1中采用主成份分析方法提取特征向量，获得最有代表性的特征的具体实现如下：

（1）计算经验均值

假设光谱数据矩阵中含有M条光谱数据，对光谱数据矩阵X计算其每一列的均值，对每一列光谱数据m计算经验均值，m＝1,…,M；将计算得到的均值放入一个M×1的经验均值矢量u中，u中的每一个元素u_m表示为：

$u_m=\frac{1}{N}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{X}_{m,n}$

其中N为每一条光谱数据中的波长个数；

（2）计算平均偏差

从光谱数据矩阵X的每一列中减去经验均值矢量u，将减去经验均值矢量后的数据存储在M×N矩阵B中，B＝X-u·1_1×N，B为标准化后的光谱数据矩阵，M光谱数据的条数，N为每一条光谱数据中的波长个数；

（3）求协方差矩阵

从B中找到M×M的经验协方差阵C：

$C=E[B\·B^{*}]=\frac{1}{N}\mathrm{\ΣB}\·B^{*}$

计算协方差矩阵的特征值矩阵D和特征矢量：V^-1CV＝D，D是M×M的对角矩阵,V是特征矢量，特征值矩阵D表示了光谱数据矩阵X的每一个特征矢量所包含的信息；

（4）计算主成分

设W是C中最大p个特征值对应的特征向量组成的M×p阶矩阵，计算Y＝W^*·X；

p表示特征值的个数，Y是主成份矩阵，W^*是W的共轭矩阵；

Y每一列可以看成是原始光谱数据降维成p维后的数据，Y的第一行Y₁表示第一个主成分，包含了未知污染物对光谱数据产生的最大的影响，Y₁即为所求的主成份。

所述STEP2：对特征向量做正交投影，将特征向量投影到正交方向上，用光谱数据矩阵X减去投影后的特征向量得到投影后的剩余光谱数据矩阵具体实现步骤如下：

（1）找到代表已知物质的特征的p个主要特征向量W₁,…,W_p，p是特征向量的个数，

（2）令U为已知物质的特征向量矩阵；

（3）将新测量到的光谱数据矩阵X投影到U正交方向上，投影矩阵为：

P_s＝I-U(U^TU)^-1U^T

投影方程为：

X₁＝P_sX

其中P_s为投影矩阵，U^T为U的转置矩阵，I为单位矩阵，得到的X₁为投影后的剩余光谱数据矩阵。

本发明与现有技术相比的优点在于：

（1）能够很好地得到紫外‐可见光谱与污染物种类之间的关系，方便地区分出已知污染物和未知污染物。本发明技术方案利用了每种污染物在紫外‐可见光谱中都不由自己独特的特征，从而可以通过分析光谱特征来确定水中污染物的种类，检测是否有位置污染物存在。

（2）通过正交投影方法来比较污染物特征，可以提高检测未知污染物的准确性，排除环境因素带来的干扰。利用正交投影方法可以对不同光谱的特征值进行比较，以确定是否有位置污染物存在，还可以消除环境因素对于光谱数据的影响，使得不同环境下得到的光谱数据都可以用于检测，大大提高了紫外‐可见光谱水质检测仪器的使用范围。

附图说明

图1为本发明方法的实现流程图；

图2为本发明中的主成份分析法实现流程图；

图3为本发明中的利用正交投影实现流程图。

具体实施方式

如图1所示，本发明具体实现如下：

STEP1：采用主成份分析方法提取特征向量，获得最有代表性的特征；

STEP2：对特征向量做正交投影，将特征向量投影到正交方向上，在同一坐标系下进行比较；

STEP3：判断是否有未知污染物，若投影后剩余光谱范数||X1||大于某一设定值则认为有未知物质。

如图2所示，主成份分析法具体实现如下：

（1）计算经验均值

假设光谱数据矩阵中含有M条光谱数据，对光谱数据矩阵X计算其每一列的均值，对每一列光谱数据m＝1,…,M计算经验均值；将计算得到的均值放入一个M×1的经验均值矢量u中，所以u中的每一个元素u_m可以表示为：

$u_m=\frac{1}{N}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{X}_{m,n}$

其中N为每一条光谱数据中的波长个数；

（2）计算平均偏差

从X的每一列中减去经验均值矢量u，将减去经验均值矢量后的数据存储在M×N矩阵B中：

B＝X-u·1_1×N

B为标准化后的光谱数据矩阵，M为光谱数据的条数，N为每一条光谱数据中的波长个数；

（3）求协方差矩阵

从B中找到M×M的经验协方差阵C：

$C=E[B\·B^{*}]=\frac{1}{N}\mathrm{\ΣB}\·B^{*}$

计算协方差矩阵的特征值矩阵D和特征矢量：

V^-1CV＝D

D是M×M的对角矩阵,V是特征矢量；

特征值矩阵D表示了X的每一个特征矢量所包含的信息；

（4）计算主成分

设W是C中最大p个特征值对应的特征向量组成的M×p阶矩阵，计算Y＝W^*·X；

p表示特征值的个数，Y是主成份矩阵，W^*是W的共轭矩阵。

Y每一列可以看成是原始光谱数据降维成p维后的数据，Y的第一行Y₁表示第一个主成分，包含了未知污染物对光谱数据产生的最大的影响，Y₁即为所求的主成份。

如图3所示，对特征向量做正交投影，将特征向量投影到正交方向上，用X减去投影后的特征向量得到投影后的矩阵的具体步骤如下：

（1）找到代表已知物质的特征的p个主要特征向量W₁,…,W_p，p是特征向量的个数。

（2）令U为已知物质的特征向量矩阵。

（3）将新测量到的光谱数据矩阵X投影到U正交方向上；

投影矩阵为：

P_s＝I-U(U^TU)-¹U^T

投影方程为：

X₁＝P_sX

其中P_s为投影矩阵，U^T为U的转置矩阵，I为单位矩阵，即可得到X₁为投影后的矩阵。

（4）若投影后矩阵X₁的范数||X₁||大于某一设定值则认为有未知物质。

可以去除环境噪声对光谱带来的影响；同时利用正交投影进行未知污染物检测可以对不同光谱的特征值进行比较，以确定是否有位置污染物存在，计算方便快捷。

Claims (3)

1.一种基于紫外可见光谱的未知污染物预警方法，其特征在于实现步骤如下：

STEP1：假设得到的光谱数据矩阵为X，采用主成份分析方法提取光谱数据矩阵X中方差最大的向量作为特征向量，所述特征向量包括了光谱数据矩阵中关于污染物种类的信息；

STEP2：对特征向量做正交投影，将特征向量投影到正交方向上，用光谱数据矩阵X减去投影后的特征向量得到投影后的剩余光谱数据矩阵X₁；

STEP3：判断是否有未知污染物，若投影后剩余光谱数据矩阵X₁的范数||X₁||大于阈值则认为有未知物质。

2.根据权利要求1所述的一种基于紫外可见光谱的未知污染物预警方法，其特征在于：所述STEP1中采用主成份分析方法提取光谱数据矩阵X中方差最大的向量作为特征向量的具体实现如下：

(1)计算经验均值

假设光谱数据矩阵中含有M条光谱数据，对光谱数据矩阵X计算其每一列的均值，对每一列光谱数据m计算经验均值，m＝1,…,M；将计算得到的均值放入一个M×1的经验均值矢量u中，u中的每一个元素u_m表示为：

$u_m=\frac{1}{N}\underset{n=1}{\overset{N}{\Σ}}{X}_{m,n}$

其中N为每一条光谱数据中的波长个数；

(2)计算平均偏差

从光谱数据矩阵X的每一列中减去经验均值矢量u，将减去经验均值矢量后的数据存储在M×N矩阵B中，B＝X-u·1_1×N，B为标准化后的光谱数据矩阵，M为光谱数据的条数，N为每一条光谱数据中的波长个数；

(3)求协方差矩阵

从B中找到M×M的经验协方差阵C：

$C=E\[B\·B^{*}\]=\frac{1}{N}\mathrm{\Σ}B\·B^{*}$

计算协方差矩阵的特征值矩阵D和特征矢量：V^-1CV＝D，D是M×M的对角矩阵,V是特征矢量，特征值矩阵D表示了光谱数据矩阵X的每一个特征矢量所包含的信息；

(4)计算主成分

设W是C中最大p个特征值对应的特征向量组成的M×p阶矩阵，计算Y＝W^*·X；

p表示特征值的个数，Y是主成份矩阵，W^*是W的共轭矩阵；

Y每一列看成是原始光谱数据降维成p维后的数据，Y的第一行Y₁表示第一个主成分，包含了未知污染物对光谱数据产生的最大的影响，Y₁即为所求的主成份。

3.根据权利要求1所述的一种基于紫外可见光谱的未知污染物预警方法，其特征在于：所述STEP2：对特征向量做正交投影，将特征向量投影到正交方向上，用光谱数据矩阵X减去投影后的特征向量得到投影后的剩余光谱数据矩阵X₁具体实现步骤如下：

(1)找到代表已知物质的特征的p个主要特征向量W₁,…,W_p，p是特征向量的个数；

(2)令U为已知物质的特征向量矩阵；

(3)将新测量到的光谱数据矩阵X投影到U正交方向上，投影矩阵为：

P_s＝I-U(U^TU)^-1U^T

投影方程为：

X₁＝P_sX

其中P_s为投影矩阵，U^T为U的转置矩阵，I为单位矩阵，得到的X₁为投影后的剩余光谱数据矩阵。