CN113376107A - 基于云平台的水质监测系统和方法 - Google Patents

Abstract

本发明涉及基于云平台的水质监测系统，包括采样终端机和云平台；采样终端机包括浸入式探头、光源、光谱仪和上位机，浸入式探头包括用于容纳水样的狭缝、反射镜和光纤接口。工作时，光源产生的紫外可见光经光纤通过探头狭缝中的水样，经反射镜反射再次通过水样后，经光纤传输到光谱仪得到水样光谱；在上位机建立水质指标和有害物质光谱预测模型。多个采样点的光谱数据由上位机上传到统一的云平台，在云平台上利用数据迁移理论对多采样点的数据进行处理，实现对上位机的水质预测模型的参数进行校正。本发明基于数据迁移原理利用云平台上的多采样点数据对模型进行校正，利用了云平台上的大数据优势，提供了比基于单一采样点数据更精确的预测模型。

Description

基于云平台的水质监测系统和方法

技术领域

本发明属于生态环保监测领域，具体涉及一种基于云平台的水质监测系统和方法。

背景技术

水资源是人类赖以生存的重要基础，随着人类活动的发展和对自然的开发，水资源污染情况十分严重，对水质进行监测是水资源污染治理的重要前提。与水质检测的国标法相比，利用光谱法具有省时省力、成本低等优点，在不需要精确获取水质参数指标的场合，具有很大的应用价值。

现有的利用光谱法的水质监测系统需要将水样抽取到比色皿后，通过光谱仪采集得到的水样的光谱数据后，利用回归模型预测水质参数浓度值。由于抽水装置需要额外供电，管道需要经常清洗，因此在实际应用时，部署要求较高，过程比较复杂。

现有的基于单一采样点数据样本的预测模型无法保证数据完备性，难以保证建模的数据集与全数据集的具有相同的概率分布，造成实际模型具有较大系统误差。

发明内容

本发明的技术问题是抽水式的光谱采样方式，部署复杂；现有的水质预测模型的数据样本来源单一，无法保证样本数据的多样性和完备性，难以保证用于建模的数据集与全数据集的具有相同的概率分布，导致预测模型具有较大系统误差；

本发明的目的是解决上述问题，提供一种基于云平台的水质监测系统，利用各个水质监测采样点相同的水质监测设备和计算模型具有相关性的特性，基于云平台对采样点的采样数据进行数据迁移，充分利用不同采样点的采集得到的水样光谱数据样本，对水质监测模型进行校正，提高水质监测系统的整体性能，减小系统误差；采用校正的水质监测模型，基于嵌入式探头和光谱仪采集水样的光谱数据，通过预测模型计算得到水样的光感指标、有机化学指标、有害有毒物质含量，实现实时水质监测。

本发明的技术方案是基于云平台的水质监测系统，包括水质采样终端机和云平台；水质采样终端机包括浸入式探头、光源、光谱仪和上位机；浸入式探头包括用于容纳水样的狭缝、反射镜和光纤接口。所述系统工作时，光源产生的紫外可见光经光纤通过探头狭缝中的水样，经反射镜反射再次通过水样后，经光纤传输到光谱仪得到水样光谱；在上位机建立水质指标和有害物质光谱预测模型；多个采样点的光谱数据由各自上位机上传到统一的云平台，利用不同采样点的水样的光谱数据，对上位机的水质监测模型参数进行校正；在上位机和云平台上实时显示采样点的水质三维图谱，进行辅助预警。

上述系统的水质监测方法包括以下步骤：

步骤1：利用水质采样终端机在不同采样点采集得到水样的光谱数据，上传到云平台；

步骤2：在采样终端机上建立水质监测模型，求解模型参数；

步骤3：利用云平台上不同采样点的光谱数据，对各采样点的水质监测模型参数进行校正；步骤4：实时采集待测水样光谱数据，采用校正的水质监测模型得到水样的光感指标、有机化学指标、有害物质含量和有毒物质含量；

步骤5：根据步骤4得到的水质指标预测结果，判断水质的污染类别；

步骤6：对实时采集的采样点水样的光谱的波段、吸光度依据时间维度形成动态的三维图谱，对异常值进行预警。

优选地，步骤2中，所述依据采样点的光谱数据求解得到模型参数，每个采样点

采集的水质光谱特征数据记为x_(i)，1≤i≤S，其中S表示采样点总数，各采样点使用相同的光谱仪、相同配置和相同的回归算法；采样点的水样采用国标法测量其H个水质指标，得到第j个水质指标的浓度值

由多个

对组成的训练数据建立指标j的参数化回归模型，记为

为模型

的M+1个参数；对每一个采样点i的第j个水质指标，预测模型M：y＝(θ)(x:1)，式中y表示水质指标预测结果，x表示光谱特征组成的N维向量，θ表示N+1个模型参数；定义损失函数：

采用梯度下降法求解θ的计算式为

θ_k+1＝θ_k-αx^T(θ_kx-y)

k表示迭代轮次，α表示迭代步长。

进一步地，步骤3中，对所述对水质指标预测模型进行模型参数校正，将第i个采样点某一个水质指标的预测模型的N+1个参数记为θ_N+1 ⁽ⁱ⁾，写为(θ_x ⁽ⁱ⁾,θ_y ⁽ⁱ⁾)的形式，θ_x ⁽ⁱ⁾为(θ_n ⁽ⁱ⁾),n∈[1,N]，θ_y ⁽ⁱ⁾为θ_N+1 ⁽ⁱ⁾。建立关于θ的线性模型M：θ_y＝f_δ(θ_x)。定义损失函数为：

采用梯度下降法求解的迭代公式为：

δ_k+1＝δ_k-αθ_x ^T(δ_kθ_x-θ_y)

利用云平台多个采样点的模型参数，可求出参数δ，从而建立第i个采样点某一水质指标校正后的预测模型M_i:θ_y ⁽ⁱ⁾＝f_δ(θ_x ⁽ⁱ⁾)。

作为模型参数校正的可替代方案，其原理如下。云平台上每个采样点

采集的水质光谱特征数据记为x_(i)，1≤i≤S，其中S表示采样点总数；采样点的水样采用国标法测量其水质指标，得到第j个水质参数的浓度值

由

建立参数化回归模型，记为

为模型M_i的m个参数。因各采样点使用相同的光谱仪、相同配置和相同的回归算法，

具有相关性。利用最小二乘法估计m维空间的一条直线l，使得S个点

到该直线l欧式距离的平方和最小。计算点

到直线l的垂足

即为对采样点

第j个水质参数校正后的模型。

相比现有技术，本发明的有益效果包括：

1)本发明提供了利用不同采样点的数据对计算模型校正的水质监测系统，通过光谱仪采集水样的光谱数据，输入校正的水质监测模型，计算得到水样的光感指标、有机化学指标、有毒有害物质含量，实现实时水质监测，校正的模型系统误差小，计算结果精度高；

2)本发明的方法基于云平台对采样点的采样数据进行数据迁移，利用多个采样点的数据对水质监测模型的模型参数进行校正，解决了单个采样点的水质预测模型样本数据不完备导致模型误差大精度不高的问题；

3)本发明的方法采用梯度下降法或最小二乘法对水质监测模型的模型参数进行校正，计算量小，便于计算机执行，校正效果好；

4)本发明的方法基于校正的水质预测模型，利用实时采集的水样的光谱数据，计算得到水样的光感指标、有机化学指标、有害物质含量和有毒物质含量，计算效率高，实时性好，方便实用；

5)本发明的系统和方法根据实时计算得到的光感指标、有机化学指标、有害物质含量和有毒物质含量以及水样光谱的波段、吸光度等三维图，实现水质异常的实时预警，便于环保管理人员及时采取管理措施。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1为本发明实施例的水质监测模型校正系统的结构示意图。

图2为本发明实施例的监测站点分布示意图。

图3为本发明实施例的浸入式探头布置示意图。

图4为本发明实施例的采样点的水样的光谱图。

具体实施方式

实施例一

如图1所示，基于云平台的水质监测系统，包括浸入式探头1、光源2、光谱仪3、上位机4以及与经数据线与上位机连接的摄像机5，浸入式探头1包括用于容纳水样的狭缝101、反射镜和光纤接口。光谱仪3经数据线与上位机4连接，上位机4与云平台连接。光源2采用脉冲闪光氙灯光源，用来产生可靠、稳定的紫外可见光。每个监测站布置本发明的水质监测模型校正系统。摄像机5用来采集监测站的周围环境。实施例中，浸入式探头1采用浮标方式部署在河道中，如图3所示。

水质监测系统工作时，光源产生的紫外可见光经光纤传输，穿透浸入式探头的狭缝中的水样，并经反射镜反射后再次穿透狭缝中的水样，经光纤输出到光谱仪，得到水样的光谱，光谱数据经上位机上传到云平台；上位机从云平台得到不同采样点的水样的光谱数据，对上位机的水质监测模型进行模型参数校正。

上述系统的水质监测方法，包括以下步骤：

步骤1：利用浸入式探头、光谱仪在不同监测站点采集得到水样的光谱数据，上传到云平台，水样的光谱如图4所示；

步骤2：建立水质监测模型，依据监测站点的光谱数据求解得到模型参数；

预测模型M：y＝(θ)(x:1)，式中y表示水质指标预测结果，x表示光谱特征组成的N维向量，θ表示N+1个模型参数；

以图2所示的A、B、C、D四个监测站点的光谱数据x_A，x_B，x_C，x_D为例，x_i,i＝A,B,C,D为N×1维向量，表示监测站点的光谱数据的N个光谱特征，y_i,i＝A,B,C,D表示利用国标法测量得到的水质指标结果；

定义损失函数：

采用梯度下降法求解θ的计算式为

θ_j+1＝θ_j-αx^T(θ_jx-y)

j表示迭代轮次，α表示迭代步长。

步骤3：对所述对水质指标预测模型进行模型参数校正，将第i个采样点水样的化学需氧量COD的预测模型的N+1个参数记为θ_N+1 ⁽ⁱ⁾，写为(θ_x ⁽ⁱ⁾,θ_y ⁽ⁱ⁾)的形式，θ_x ⁽ⁱ⁾为(θ_n ⁽ⁱ⁾),n∈[1,N]，θ_y ⁽ⁱ⁾为θ_N+1 ⁽ⁱ⁾。建立关于θ的线性模型M：θ_y＝f_δ(θ_x)。

定义损失函数为：

采用梯度下降法求解的迭代公式为：

δ_k+1＝δ_k-αθ_x ^T(δ_kθ_x-θ_y)

利用云平台多个采样点的模型参数，可求出参数δ，从而建立第i个采样点某一水质指标校正后的预测模型M_i:θ_y ⁽ⁱ⁾＝f_δ(θ_x ⁽ⁱ⁾)。

步骤4：实时采集待测水样光谱数据，采用校正的水质监测模型得到水样的色度、浊度和有机化学指标、有害物质含量和有毒物质含量；

步骤5：根据步骤4得到的水质指标预测结果，判断水质的污染类别；

步骤6：对实时采集的监测站点水样的光谱的波段、吸光度依据时间维度形成动态的三维图谱，对异常值进行预警。

实施例中，监测站点采集的光谱数据上传到云平台，云平台对多个监测站点的上传数据进行汇总后，在同一的电子地图界面中显示，供管理决策人员掌握监测站点的实时水质监测情况。

实施例二

实施例的水质监测系统的结构与实施例一水质监测系统的结构相同。上位机上存储有计算水质指标和有毒有害物质含量的水质监测模型和计算机程序。

水质监测系统工作时，光源产生的紫外可见光经光纤传输，穿透浸入式探头的狭缝中的水样，并经反射镜反射后再次穿透狭缝中的水样，经光纤输出到光谱仪，得到水样的光谱；利用不同采样点的水样的光谱数据，对上位机的水质监测模型进行模型参数校正。

所述计算机程序被上位机执行时，实现以下步骤：

步骤1：利用浸入式探头、光谱仪在不同监测站点采集得到水样的光谱数据，上传到云平台；步骤2：建立水质监测模型，依据监测站点的光谱数据求解得到模型参数；

步骤3：利用云平台的不同监测站点的数据，对水质监测模型进行模型参数校正；

云平台上每个监测站点

采集的水质光谱特征数据记为x_(i)，1≤i≤S，其中S表示监测站点总数；监测站点的水样采用国标法测量其水质指标，得到第j个水质参数的浓度值

由

建立参数化回归模型，记为

为模型M_i的m个参数。因各监测站点使用相同的光谱仪、相同配置和相同的回归算法，

具有相关性。利用最小二乘法估计m维空间的一条直线l，使得S个点

到该直线l欧式距离的平方和最小。计算点

到直线l的垂足

即为对监测站点

第j个水质参数校正后的模型；

步骤4：实时采集待测水样光谱数据，采用校正的水质监测模型得到水样的光感指标、有机化学指标、有害物质含量和有毒物质含量；

步骤5：根据步骤4得到的水质指标预测结果，判断水质的污染类别；

步骤6：对实时采集的监测站点水样的光谱的波段、吸光度依据时间维度形成动态的三维图谱，对异常值进行预警。

实施例的水质监测模型也可以是岭回归模型，也可采用高斯牛顿法对水质监测模型的模型参数进行校正。

Claims (8)

1.基于云平台的水质监测系统，其特征在于，包括采样终端机和云平台；采样终端机包括浸入式探头、光源、光谱仪、上位机；浸入式探头包括用于容纳水样的狭缝、反射镜和光纤接口；

所述系统工作时，光源产生的紫外可见光经光纤通过探头狭缝中的水样，经反射镜反射再次通过水样后，经光纤传输到光谱仪得到水样光谱；在上位机建立水质指标和有害物质光谱预测模型；多个采样点的光谱数据由各自上位机上传到统一的云平台，利用不同采样点的水样的光谱数据，对上位机的水质监测模型参数进行校正；在上位机和云平台上实时显示采样点的水质三维图谱，进行辅助预警。

2.如权利要求1所述系统的水质监测方法，其特征在于，包括以下步骤：

步骤1：利用采样终端机采集的光谱数据建立水质监测模型，求解模型参数；

步骤2：将不同采样点采集得到水样的光谱数据，上传到云平台；

步骤3：利用云平台的不同采样点的数据，对水质监测模型进行模型参数校正；

步骤4：实时采集待测水样光谱数据，采用校正的水质监测模型得到水质指标预测结果。

3.根据权利要求2所述的水质监测方法，其特征在于，每个采样点

采集的水质光谱特征数据记为x_(i)，1≤i≤S，其中S表示采样点总数，各采样点使用相同的光谱仪、相同配置和相同的回归算法；

采样点的水样采用国标法测量其H个水质指标，得到第j个水质指标的浓度值

由多个

对组成的训练数据建立指标j的参数化回归模型，记为

为模型

的N+1个参数；

x_(i)为采样点

具有标注的一条光谱特征；

为采样点

光谱特征全集；

对每一个采样点i的第j个水质指标，预测模型M：y＝(θ)(x:1)，式中y表示水质指标预测结果，x表示光谱特征组成的N维向量，θ表示N+1个模型参数；

定义损失函数：

采用梯度下降法求解θ的计算式为

θ_j+1＝θ_j-αx^T(θ_jx-y)

j表示迭代轮次，α表示迭代步长。

4.根据权利要求3所述的水质监测方法，其特征在于，步骤3中，对所述对水质指标预测模型进行模型参数校正，将采样点k上一个水质指标的预测模型的n个参数记为θ_n ^k，写为(θ_x ^k,θ_y ^k)的形式，θ_x ^k为(θ_i ^k),i∈[1,N]，θ_y ^k为θ_N+1，1≤n≤N+1；建立关于θ的线性模型M：θ_y＝f_δ(θ_x)；

定义损失函数为：

采用梯度下降法求解的迭代公式为：

δ_i+1＝δ_i-αθ_x ^T(δ_iθ_x-θ_y)

式中δ_i、δ_i+1分别表示第i、i+1次迭代计算的参数值；α表示迭代步长；

利用多个采样点的模型参数，可求出参数δ，从而建立第k个采样点水质指标校正后的预测模型M_k:θ_y ^(k)＝f_δ(θ_x ^(k))。

5.根据权利要求2所述的水质监测方法，其特征在于，还包括步骤5：根据步骤4得到的水质指标预测结果，判断水质的污染类别。

6.根据权利要求5所述的水质监测方法，其特征在于，还包括步骤6：对实时采集的采样点水样的光谱的波段、吸光度依据时间维度形成动态的三维图谱，对异常值进行预警。

7.根据权利要求2所述的水质监测方法，其可选特征在于，所述对水质监测模型进行模型参数校正，云平台上每个采样点

采集的水质光谱特征数据记为x_(i)，1≤i≤S，其中S表示采样点总数；采样点的水样采用国标法测量其水质指标，得到第j个水质参数的浓度值

由多个

数据对建立参数化回归模型，记为

为模型M_i的n个参数；因各采样点使用相同的光谱仪、相同配置和相同的回归算法，

具有相关性；利用最小二乘法估计n维空间的一条直线l，使得S个点

到该直线l欧式距离的平方和最小；计算点

到直线l的垂足

即为对采样点

第j个水质参数校正后的模型。

8.一种水质监测系统，其特征在于，包括采样终端机和云平台；采样终端机包括浸入式探头、光源、光谱仪和上位机；浸入式探头包括用于容纳水样的狭缝、反射镜和光纤接口；

上位机上存储有计算水质指标和有毒有害物质含量的水质监测模型和计算机程序；

所述系统工作时，光源产生的紫外可见光经光纤传输，穿透浸入式探头的狭缝中的水样，并经反射镜反射后再次穿透狭缝中的水样，经光纤输出到光谱仪，得到水样的光谱；利用不同采样点的水样的光谱数据，对上位机的水质监测模型进行模型参数校正；

所述计算机程序被上位机执行时，实现以下步骤：

步骤1：利用浸入式探头、光谱仪采集得到监测站点的水样的光谱数据，上传到云平台；

步骤2：在上位机上建立水质预测模型，求解水质监测模型的模型参数；

步骤3：在云平台上建立模型并生成各采样点的水质预测模型的校正参数；由上位机下载并对水质监测模型进行校正；

步骤4：根据实时采集的水样光谱数据，采用校正的水质监测模型得到水质指标预测结果；

实时显示水质三维图谱，对异常值进行预警。

Images