CN115810403A

CN115810403A - 一种基于环境特征信息评估水质污染的方法

Info

Publication number: CN115810403A
Application number: CN202310045877.1A
Authority: CN
Inventors: 田启明; 孙悦丽; 张萌
Original assignee: Beijing Yingshi Ruida Technology Co ltd
Current assignee: Beijing Yingshi Ruida Technology Co ltd
Priority date: 2023-01-30
Filing date: 2023-01-30
Publication date: 2023-03-17
Anticipated expiration: 2043-01-30
Also published as: CN115810403B

Abstract

本发明属于环保技术领域，涉及一种基于环境特征信息评估水质污染的方法，其包括以下步骤：建立不同水域类型的光谱化学需氧量模型；基于待测水样的光谱特征与不同水域类型对应的光谱特征的相似度以及待测水样的环境特征与不同水域类型对应的环境特征的相似度从不同水域类型的光谱化学需氧量模型中获取相似度最高的光谱化学需氧量模型作为待测水样的光谱化学需氧量模型；基于待测水样的光谱数据和待测水样的光谱化学需氧量模型确定待测水样的水质污染数据。其能够在保证计算准确性的前提下，大大降低新水域的水质污染评估的成本。

Description

一种基于环境特征信息评估水质污染的方法

技术领域

本发明属于环保技术领域，涉及一种评估水质污染的方法，尤其是一种基于环境特征信息评估水质污染的方法。

背景技术

水是人们生活和生产中不可缺少的物质，水质好坏直接影响人们的生活和生产。在水质监测中，化学需氧量（COD）是评价水体受有机物污染的重要指标，它是指在一定条件下用强氧化剂处理废水，水中还原性物质所消耗的强氧化剂的量折算成氧的含量。在“重点工业污染源监测技术要求”暂行规定中，COD已列为大多数工矿企业的必测项目之一；同时，在我国实施的污染物排放总量控制工程中，化学需氧量也是实行排放总量控制的8种废水污染物指标之一。

目前，测定水中COD值主要使用化学法。但是，传统的化学COD监测方法分析周期长，二次污染严重，已不能满足现代水质监测对实时性和无二次污染的要求。

为此，国内外出现了利用光谱法检测水质COD的方法，其主要采用测量254nm单个波长处的紫外吸光度来推算COD值。该方法无需预处理、快速、方便。但是，由于影响水质COD因素的多样性和复杂性，对于不同地区的水样，使用同一个COD模型的适应性和准确性受限。同时，如果在新水域建立光谱COD模型，则需要重新采样建模，工作量大，成本高。

鉴于现有技术的缺陷，迫切需要研制一种新型的评估水质污染的方法。

发明内容

为了克服现有技术的缺陷，本发明提出一种基于环境特征信息评估水质污染的方法，其能够在保证计算准确性的前提下，大大降低新水域的水质污染评估的成本。

为了实现上述目的，本发明提供如下技术方案：

一种基于环境特征信息评估水质污染的方法，其特征在于，包括以下步骤：

建立不同水域类型的光谱化学需氧量模型；

基于待测水样的光谱特征与不同水域类型对应的光谱特征的相似度以及待测水样的环境特征与不同水域类型对应的环境特征的相似度从所述不同水域类型的光谱化学需氧量模型中获取相似度最高的光谱化学需氧量模型作为待测水样的光谱化学需氧量模型；

基于待测水样的光谱数据和待测水样的光谱化学需氧量模型确定待测水样的水质污染数据。

优选地，所述建立不同水域类型的光谱化学需氧量模型包括：

获取不同地区、不同类型水样的标准光谱数据、标准化学需氧量浓度数据和环境特征信息；

将所述标准光谱数据的光谱特征进行聚类，获得多个光谱类型；

统计每种光谱类型所对应的环境特征信息，基于所述环境特征信息确定水域类型；

基于同一水域类型对应的标准光谱数据和标准化学需氧量浓度数据建立不同水域类型的光谱化学需氧量模型。

优选地，所述将所述标准光谱数据的光谱特征进行聚类，获得多个光谱类型，具体为：

提取所述标准光谱数据的光谱特征，所述光谱特征包括波峰位置λ_M、波峰的吸光度值ρ_M、吸收左肩位置λ_L与吸收右肩位置λ_R，吸收左肩的吸光度值ρ_L与吸收右肩的吸光度值ρ_R，以及波峰的吸收强度H；

根据所述标准光谱数据以及所述标准光谱数据的光谱特征构建光谱特征矩阵；

将所述光谱特征矩阵作为输入，利用聚类模型，对所述标准光谱数据进行聚类，将聚类后的每一个类作为一个光谱类型。

优选地，所述光谱特征矩阵为一个3*n的矩阵，n为光谱曲线的维度；第一行为吸光度值；第二行为波峰波谷信号，波长λ处若为波峰则值为1，若为波谷则值为-1，若非波峰波谷则值为0；第三行为波峰吸收强度，波长λ处若为波峰则值为其吸收强度，若不是波峰则值为0。

优选地，所述环境特征信息包括环境特征信息的类别以及各类别的占比，且所述环境特征信息的类别包括流域、污染类型和丰平枯期。

优选地，所述基于同一水域类型对应的标准光谱数据和标准化学需氧量浓度数据建立不同水域类型的光谱化学需氧量模型，具体为：将同一水域类型对应的所有标准光谱数据输入到向量回归模型、多元非线性回归模型、XGBoost模型和BP神经网络模型中，将各个模型的计算结果与标准化学需氧量浓度数据比较，统计各个模型的平均相对标准偏差、拟合优度和合格率，选择平均相对标准偏差最小、拟合优度最优或合格率最高的模型作为该水域类型的光谱化学需氧量模型。

优选地，所述基于待测水样的光谱特征与不同水域类型对应的光谱特征的相似度以及待测水样的环境特征与不同水域类型对应的环境特征的相似度从所述不同水域类型的光谱化学需氧量模型中获取相似度最高的光谱化学需氧量模型作为待测水样的光谱化学需氧量模型，具体为：

计算待测水样的光谱特征与不同水域类型对应的光谱特征的相似性，得到光谱相似度a；

计算待测水样的环境特征信息与不同水域类型对应的环境特征信息的相似性，得到环境相似度b；

基于所述光谱相似度a和环境相似度b，获得总相似度c，对总相似度c进行排序，选择排名最高的水域类型的光谱化学需氧量模型作为待测水样的光谱化学需氧量模型。

优选地，所述光谱相似度a为待测水样的光谱的波形特征与聚类后各个光谱类型的波形特征的中心点的欧式距离。

优选地，根据如下方法计算所述环境相似度b：给不同环境特征信息赋予不同的权重，其中流域权重为0.25，污染类型权重为0.5，丰平枯期权重为0.25，其中，b=0.25*（流域占比总和）+ 0.5*(污染类型占比总和) + 0.25*(丰平枯期占比总和)。

优选地，利用以下公式计算总相似度c：c=0.7*a+0.3*b。

与现有技术相比，本发明的基于环境特征信息评估水质污染的方法具有如下有益技术效果中的一者或多者：

1、其收集不同水域类型下的光谱数据，建立不同水域类型的光谱化学需氧量模型，形成光谱化学需氧量模型库，在一个未知水域，根据光谱数据和环境特征数据确定其水域类型，从光谱化学需氧量模型库中选择对应的模型给新水域，使得在保证计算准确性的前提下，大大降低了新水域的光谱化学需氧量模型的建立成本。

2、其在建立光谱化学需氧量模型时，考虑了各种环境特征，因此，其精确度和匹配度更高，误差小。

3、其在建立光谱化学需氧量模型时，采用了多种建模方式，且选择偏差最小的模型作为最终的光谱化学需氧量模型，因此，使得建立的光谱化学需氧量模型的精度更高，误差更小。

4、其在进行模型匹配时，充分考虑了光谱特征和环境特征，使得模型匹配度高，能够保证COD的计算准确性。

附图说明

图1是本发明的基于环境特征信息评估水质污染的方法的流程图。

图2是本发明的建立光谱化学需氧量模型的方法的流程图。

图3是对标准光谱数据的光谱特征进行聚类的流程图。

图4是基于光谱相似度和环境相似度确定待测水样的光谱化学需氧量模型的流程图。

具体实施方式

下面结合附图和实施例对本发明进一步说明，实施例的内容不作为对本发明的保护范围的限制。

针对现有技术中评估水质污染时的难题，本发明提供一种基于环境特征信息评估水质污染的方法，其收集不同水域类型下的光谱数据，建立不同水域类型的光谱化学需氧量模型，形成光谱化学需氧量模型库，在一个未知水域，根据光谱数据和环境特征数据确定其水域类型，并从光谱化学需氧量模型库中选择对应的模型给新水域，使得在保证计算准确性的前提下，大大降低了新水域的光谱化学需氧量模型的建立成本。

图1示出了本发明的基于环境特征信息评估水质污染的方法的流程图。如图1所示，本发明的本发明的基于环境特征信息评估水质污染的方法包括以下步骤：

一、建立不同水域类型的光谱化学需氧量模型。

通过建立不同水域类型的光谱化学需氧量模型，可以形成光谱化学需氧量模型库。这样，在遇到新水域时，可以根据新水域与不同水域类型的相似程度，从光谱化学需氧量模型库中选择相似度最高的光谱化学需氧量模型，从而降低建立新水域的化学需氧量模型的成本。

在本发明中，优选地，如图2所示，所述建立不同水域类型的光谱化学需氧量模型包括如下步骤：

1、获取不同地区、不同类型水样的标准光谱数据、标准化学需氧量浓度数据和环境特征信息。

在本发明中，在不同地区、不同流域、不同季节，在水域（也就是，测量点位）设置光谱传感器并通过光谱传感器测量水样的标准光谱数据。同时，可以用化学分析法测量水样的标准COD浓度数据。而且，要记录水域相应的环境特征信息，以便于确定所述标准光谱数据和标准COD浓度数据所对应的环境特征信息。

在本发明中，所述环境特征信息包括环境特征信息的类别以及各类别的占比。所述环境特征信息的类别包括流域（表示本地化数据）、污染类型（表示区域化数据）和丰平枯期（表示季节性数据）。

同时，所述流域包括A流域、B流域和C流域等。所述污染类型包括农业污染、生活污染和工业污染等。所述丰平枯期包括丰水期、平水期和枯水期等。

2、将所述标准光谱数据的光谱特征进行聚类，获得多个光谱类型。

如图3所示，为了获得所述多个光谱类型，需要进行如下操作：

1）、提取所述标准光谱数据的光谱特征。

由于获取的所述标准光谱数据包含的信息很多，数据量很大，如果直接对其进行聚类和分析等，那么则存在数据量大、准确度差等问题。因此，在本发明中，首先需要提取所述标准光谱数据的光谱特征，以减少处理量。

在本发明中，所述光谱特征包括波峰位置λ_M、波峰的吸光度值ρ_M、吸收左肩位置λ_L与吸收右肩位置λ_R，吸收左肩的吸光度值ρ_L与吸收右肩的吸光度值ρ_R，以及波峰的吸收强度H。

为了提取所述标准光谱数据的光谱特征，首先需要寻找波峰。在本发明中，波峰的寻找方法为：

1.1）、计算光谱曲线的吸光度数据x=[x₁,x₂,…,x_i,…,x_n]的一阶差分diff(x_i)。其中，考虑到常用的波长范围为200nm-700nm且波长递增为2nm，因此，x₁是波长为200nm时的吸光度数据，x₂是波长为202nm时的吸光度数据，x_i是波长为200+（i-1）*2nm时的吸光度数据，x_n是波长为700nm时的吸光度数据，n=251。

1.2）、对获得的一阶差分的差分向量进行取符号函数运算trend(x_i)，若diff(x_i)大于0，则trend(x_i)取1；若diff(x_i)小于0，则trend(x_i)取-1；若diff(x_i)等于0，则trend(x_i)取0。

1.3）、从尾部遍历trend(x_i)，进行如下操作：

if trend(x_i)=0 且 trend(x_i+1)>=0，则trend(x_i)=1;

if trend(x_i)=0 且 trend(x_i+1)<0，则trend(x_i)=-1。

1.4）、对trend(x_i)进行一阶差分运算得到r(x_i)，r (x_i)=diff(trend(x_i))。

1.5）、对r(x_i)进行遍历，如果r(x_i)=-2r(x_i+1)=-2，则波长λ=200+i*2nm处为一个波峰，波峰的吸光度值ρ_M=200+i*2nm。

其次，需要寻找左肩和右肩，左肩和右肩为离波峰最近的波谷。在本发明中，左肩和右肩的寻找方法与波峰的寻找方法相同，只是在第5）步中，如果r(x_i)= 2r(x_i+1)= 2，则波长λ=200+i*2nm处为一个波谷。如果该波谷在波峰的左侧则称为左肩，此时，ρ_L=200+i*2nm；如果该波谷在波峰的右侧则称为右肩，此时，ρ_R=200+i*2nm。

最后，计算波峰的吸收强度H。在本发明中，波峰的吸收强度H的计算方法为：

H ＝ d × ρ_L＋（1-d）× ρ_R-ρ_M

其中：d ＝（λ_L-λ_M）/（λ_R-λ_L）。

2）、根据所述标准光谱数据以及所述标准光谱数据的光谱特征构建光谱特征矩阵。

在提取了光谱特征之后，可以基于所述标准光谱数据以及所述标准光谱数据的光谱特征构建光谱特征矩阵X。

在本发明中，所述光谱特征矩阵X为一个3*n的矩阵。其中，n为光谱曲线的维度，在本发明中，如上所述，n=251。在该矩阵中，第一行为吸光度值，也就是，第1步中确定的ρ_M、ρ_L和ρ_R；第二行为波峰波谷信号，波长λ处若为波峰则值为1，若为波谷则值为-1，若非波峰波谷则值为0；第三行为波峰吸收强度，波长λ处若为波峰则值为其吸收强度，若不是波峰则值为0。

3）、将所述光谱特征矩阵作为输入，利用聚类模型，对所述标准光谱数据进行聚类，将聚类后的每一个类作为一个光谱类型。

有了所述光谱特征矩阵，可以利用聚类模型，例如，常用的自组织映射聚类模型（也就是，SOM聚类摸），对所述标准光谱数据进行聚类，从而形成多个光谱类型。具体的SOM聚类算法属于现有技术，为了简化，在此不对其进行详细描述。

3、统计每种光谱类型所对应的环境特征信息，并基于所述环境特征信息确定水域类型。

通过前述的聚类，假如共有m种光谱类型，则需要统计每一种光谱类型所对应的环境特征信息，并基于所述环境特征信息确定水域类型。

具体地，所述环境特征信息包括环境特征信息的类别以及各类别的占比。如前所述，所述环境特征信息的类别包括流域（表示本地化数据）、污染类型（表示区域化数据）和丰平枯期（表示季节性数据）。所述流域包括A流域、B流域和C流域等。所述污染类型包括农业污染、生活污染和工业污染等。所述丰平枯期包括丰水期、平水期和枯水期等。

对于各类别的占比，可以选择占比大于30%的类别（若最大占比小于30%，则选择占比最大的类别），作为该光谱类型的环境特征。

例如，对于某种光谱类型，与其对应的标准光谱数据20%来自测量点位a，35%来自测量点位b，45%来自测量点位c。

其中，a点位的环境特征信息的类别为：A流域（流域）、农业污染和生活污染（污染类型）、平水期（丰平枯期）；

b点位的环境特征信息的类别为：B流域（流域）、生活污染（污染类型）、平水期（丰平枯期）；

c点位的环境特征信息的类别为：C流域（流域）、工业污染（污染类型）、平水期（丰平枯期）。

那么，经过计算，该光谱类型所对应的环境特征信息的类别以及各类别的占比如下表所示。

由于占比大于30%的才作为环境特征信息，因此，该光谱类型所对应的环境特征信息为：B流域 35%、C流域 45%；生活源 55%、工业源 45%；平水期 100%。有了该环境特征信息，就可以将其定义为一个水域类型，例如，水域A。

在本发明中，在基于环境特征信息确定水域类型时，不仅考虑了污染类型，而且考虑了流域和丰平枯期；同时，也考虑了同一个环境特征信息中不同类别的占比的影响，因此，使得水域类型的确定更准确和精细，有助于后面的精准匹配。

此外，与现有技术中加入环境特征信息是为了明确污染源不同，在本发明中，加入环境特征信息的目的是为了精准地对水域进行类型划分以便于与待测水样进行匹配，这在现有技术中是从来没有过的。

4、基于同一水域类型对应的标准光谱数据和标准化学需氧量浓度数据建立不同水域类型的光谱化学需氧量模型。

由于对所有光谱类型都进行了环境特征信息的标注和水域类型的确定，因此，可以找出属于同一个水域类型的标准光谱数据和对应的标准化学需氧量浓度数据。之后，将标准光谱数据作为输入，将化学需氧量浓度数据作为输出，即可建立该水域类型的光谱化学需氧量模型。通过对每一个水域类型都建立相应的光谱化学需氧量模型，即形成了不同水域类型的光谱化学需氧量模型库。

具体地，建立光谱化学需氧量模型时，可以将同一水域类型对应的所有标准光谱数据分别输入到向量回归模型、多元非线性回归模型、XGBoost模型和BP神经网络模型中，将各个模型的计算结果（也就是，预测的化学需氧量浓度数据）与标准化学需氧量浓度数据比较，统计各个模型的平均相对标准偏差、拟合优度和合格率，选择平均相对偏差最小、拟合优度最优或合格率最高的模型作为该水域类型的光谱化学需氧量模型。

在本发明中，由于采用了多种建模方式，且选择偏差最小的模型作为最终的光谱化学需氧量模型，因此，使得建立的光谱化学需氧量模型的精度更高，误差更小。

二、基于待测水样的光谱特征与不同水域类型对应的光谱特征的相似度以及待测水样的环境特征与不同水域类型对应的环境特征的相似度从所述不同水域类型的光谱化学需氧量模型中获取相似度最高的光谱化学需氧量模型作为待测水样的光谱化学需氧量模型。

由此，本发明在确定新水域的光谱化学需氧量模型时，选择了与该新水域的光谱特征相似度和环境特征信息相似度最高的已有光谱化学需氧量模型作为其光谱化学需氧量模型，一方面提高了新水域的光谱化学需氧量模型的准确性，另一方面降低了光谱化学需氧量模型的建立成本。

具体地，如图4所示，首先，计算待测水样的光谱特征与不同水域类型对应的光谱特征的相似性，得到光谱相似度a。

其中，所述光谱相似度a可以为待测水样的光谱的波形特征与聚类后各个光谱类型的波形特征的中心点的欧式距离。

其次，比较待测水样的环境特征信息与不同水域类型对应的环境特征信息的相似性，得到环境相似度b。

在本发明中，可以根据如下方法计算所述环境相似度b：给不同环境特征信息赋予不同的权重，其中流域权重为0.25，污染类型权重为0.5，丰平枯期权重为0.25，那么b=0.25*（流域占比总和）+ 0.5*(污染源占比总和) + 0.25*(丰平枯期占比总和)。

例如，前面举例得到的环境特征信息：B流域 35%、C流域 45%；生活源 55%、工业源45%；平水期 100%。利用上述公式计算得到的b=0.25*80%+0.5*100%+0.25*100=0.95。

最后，基于所述光谱相似度a和环境相似度b，获得总相似度c，对总相似度c进行排序，选择排名最高的水域类型的光谱化学需氧量模型作为待测水样的光谱化学需氧量模型。

其中，可以利用以下公式计算总相似度c：c=0.7*a+0.3*b。该总相似度c充分考虑了光谱相似度和环境特征相似度，且使得光谱相似度占比更高，从而会使得最终的模型会更准确。

采用上述方法，可以从不同水域类型的光谱化学需氧量模型库中选择与待测水样的波形和环境特征相似度最高的光谱化学需氧量模型作为待测水样的光谱化学需氧量模型，从而使得选择的光谱化学需氧量模型的精度更高、偏差更小。

三、基于待测水样的光谱数据和待测水样的光谱化学需氧量模型确定待测水样的水质污染数据。

也就是，在新水域设置光谱传感器并通过光谱传感器测量待测水样的光谱数据，将所述光谱数据输入到所述待测水样的光谱化学需氧量模型，其输出即为待测水样的水质污染数据。

在本发明中，针对待测水样，充分考虑了待测水样的光谱特征和环境特征信息来确定选择前面建立的哪个水域类型的光谱化学需氧量模型作为该待测水样的预测模型。因此，其选择的光谱化学需氧量模型的精度更高，误差更小。而且，由于是选择的现有光谱化学需氧量模型，因此，不需要针对待测水样进行单独的建模，从而使得建模成本低、效率高。

最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制。本领域的技术人员，依据本发明的思想，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims

1.一种基于环境特征信息评估水质污染的方法，其特征在于，包括以下步骤：

建立不同水域类型的光谱化学需氧量模型；

2.根据权利要求1所述的基于环境特征信息评估水质污染的方法，其特征在于，所述建立不同水域类型的光谱化学需氧量模型包括：

3.根据权利要求2所述的基于环境特征信息评估水质污染的方法，其特征在于，所述将所述标准光谱数据的光谱特征进行聚类，获得多个光谱类型，具体为：

将所述光谱特征矩阵作为输入，利用聚类模型对所述标准光谱数据进行聚类，将聚类后的每一个类作为一个光谱类型。

4.根据权利要求3所述的基于环境特征信息评估水质污染的方法，其特征在于，所述光谱特征矩阵为一个3*n的矩阵，n为光谱曲线的维度；第一行为吸光度值；第二行为波峰波谷信号，波长λ处若为波峰则值为1，若为波谷则值为-1，若非波峰波谷则值为0；第三行为波峰吸收强度，波长λ处若为波峰则值为其吸收强度，若不是波峰则值为0。

5.根据权利要求4所述的基于环境特征信息评估水质污染的方法，其特征在于，所述环境特征信息包括环境特征信息的类别以及各类别的占比；所述环境特征信息的类别包括流域、污染类型和丰平枯期。

6.根据权利要求5所述的基于环境特征信息评估水质污染的方法，其特征在于，所述基于同一水域类型对应的标准光谱数据和标准化学需氧量浓度数据建立不同水域类型的光谱化学需氧量模型，具体为：将同一水域类型对应的所有标准光谱数据输入到向量回归模型、多元非线性回归模型、XGBoost模型和BP神经网络模型中，将各个模型的计算结果与标准化学需氧量浓度数据比较，统计各个模型的平均相对标准偏差、拟合优度和合格率，选择平均相对标准偏差最小、拟合优度最优或合格率最高的模型作为该水域类型的光谱化学需氧量模型。

7.根据权利要求1所述的基于环境特征信息评估水质污染的方法，其特征在于，所述基于待测水样的光谱特征与不同水域类型对应的光谱特征的相似度以及待测水样的环境特征与不同水域类型对应的环境特征的相似度从所述不同水域类型的光谱化学需氧量模型中获取相似度最高的光谱化学需氧量模型作为待测水样的光谱化学需氧量模型，具体为：

8.根据权利要求7所述的基于环境特征信息评估水质污染的方法，其特征在于，所述光谱相似度a为待测水样的光谱的波形特征与聚类后各个光谱类型的波形特征的中心点的欧式距离。

9.根据权利要求8所述的基于环境特征信息评估水质污染的方法，其特征在于，根据如下方法计算所述环境相似度b：给不同环境特征信息赋予不同的权重，其中流域权重为0.25，污染类型权重为0.5，丰平枯期权重为0.25，其中，b=0.25*（流域占比总和）+ 0.5*(污染类型占比总和) + 0.25*(丰平枯期占比总和)。

10.根据权利要求9所述的基于环境特征信息评估水质污染的方法，其特征在于，利用以下公式计算总相似度c：c=0.7*a+0.3*b。