CN110728320A - 一种基于自编码和聚类结合的水质监测预警方法及系统 - Google Patents

Abstract

本发明公开了一种基于自编码和聚类结合的水质监测预警方法及系统，系统包括数据预处理单元、Autoencoder自编码单元、K‑Means聚类单元、报警单元；数据预处理单元，用于对采集到的数据进行降噪、剔除异常值、平滑以及标准化处理；Autoencoder自编码单元，用于根据预处理后的数据，建立Autoencoder自编码器对海量数据降维；K‑Means把降维后的数据根据相似性聚集到指定类簇中，每个类簇都有一个中心值；报警单元根据中心值确定预警状态水平，及时反馈，并给出相应显示。海量的数据会对分析造成很大的困扰，利用Autoencoder降低维数、K‑Mean聚类能够更快速的读取数据分析数据，解决了市面上冗余数据的困难。

Description

一种基于自编码和聚类结合的水质监测预警方法及系统

技术领域

本发明属于物联网技术领域，具体涉及一种基于自编码和聚类结合的水质监测预警方法及系统。

背景技术

水质监测是监视和测定水体中污染物的种类、各类污染物的浓度及变化趋势，评价水质状况，国水资源紧张、水污染治理形势严峻与国民经济持续增长、人民生活水平逐渐提高之间的矛盾日益凸显，水体污染、水资源短缺已经成为我国经济社会实现可持续发展的严重制约因素。水质监测对整个水环境保护、水污染控制以及维护水环境健康方面起着至关重要的作用。

水质的数据采集一般都是定点采集，需要大量的数据，利用Autoencoder自编码和聚类结合的方法对采集到的水质数据进行分析分类，将两者的优点结合在一起，用Autoencoder降维并初始化K-Means聚类的中心点，在对水质的分析上能够达到更快更准确的效果。

发明内容

为了使水质监测的结果更快更准确，参考价值更大，本发明提出了一种基于自编码和聚类结合的水质监测预警方法及系统，有效的提取数据样本的特征，把高维的样本数据特征降成低维从而更快的对水质的环境监测，并通过动态管理提高效率。

本发明的方法所采用的技术方案是：一种基于自编码和聚类结合的水质监测预警方法，其特征在于，包括以下步骤：

步骤1：对采集的水质数据进行预处理；

所述水质数据包括：含氧量、酸碱值、浊度、温度、电导率；所述预处理包括：缺失的数据修复处理，非真实的“不良数据”平滑处理；

步骤2：将预处理后的水质数据进行降维处理，使得输出的数据维数低却能保持和输入数据一致的特征；

步骤3：把降维处理后的数据进行K-Mean聚类，根据相似性原则划分至同一簇类；

步骤4：把每个簇类的中心值与正常值进行对比，如果发现中心值与正常值的差值不符合正常情况，则发出预警。

作为优选，步骤1中，所述缺失的数据修复处理是采用线性插值法进行修复。

作为优选，步骤2中所述将预处理后的水质数据进行降维处理，具体实现包括以下子步骤：

步骤2.1：数据样本在输入层通过激活函数映射到隐含层；

步骤2.2：隐藏层还原输入数据样本；

步骤2.3：重复步骤2.1和步骤2.2，得到输出的数据作为聚类算法的输入。

作为优选，步骤3中所述把降维处理后的数据进行K-Mean聚类，具体实现包括以下子步骤：

步骤3.1：任意指定数据样本中的s个对象作为中心点；

步骤3.2：计算当前数据和所有中心点的相似度；

步骤3.3：确定样本归属类别，当相似度不等于阈值则形成新类别；

步骤3.4：重新计算聚类后所得的中心点，重复步骤3.2～3.3直到每个类别不发生变化。

作为优选，步骤4中所述把每个簇类的中心值与正常值进行对比，其中正常值及正常范围包括：

(1)PH值为6.5～8.5；

(2)含氧量8～9mg/L；

(3)浊度不得超过3mg/L；

(4)温度20℃～25℃；

(5)电导率2000us/cm。

本发明的系统所采用的技术方案是：一种基于自编码和聚类结合的水质监测预警系统，其特征在于：包括数据预处理单元、Autoencoder自编码单元、K-Mean聚类单元、报警单元；

所述数据预处理单元，用于对采集的水质数据进行预处理；

所述水质数据包括：含氧量、酸碱值、浊度、温度、电导率；所述预处理包括：缺失的数据修复处理，非真实的“不良数据”平滑处理；

所述Autoencoder自编码单元，用于将预处理后的水质数据进行降维处理，使得输出的数据维数低却能保持和输入数据一致的特征；

所述K-Means聚类单元，用于把降维处理后的数据进行K-Mean聚类，根据相似性原则划分至同一簇类；

所述报警单元，用于把每个簇类的中心值与正常值进行对比，如果发现中心值与正常值的差值不符合正常情况，则发出预警。

相对于现有技术，本发明的有益效果为：水质采集的数据都是经过实时监测因此数据量很大，首先经过数据预处理对缺失、无效的数据采用线性插值法进行修复；修复后的数据仍然是大量的，利用Autoencoder降低数据的维度，少量的数据就能够体现数据特征，再利用K-Means簇分类，得到数据的中心点即预警的范围。

附图说明

图1为本发明实施例的流程图；

图2为本发明实施例的将预处理后的水质数据进行降维处理原理框图；

图3为本发明实施例的把降维处理后的数据进行K-Mean聚类示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图1，本发明提供的一种基于自编码和聚类结合的水质监测预警方法，包括以下步骤：

步骤1：对采集的水质数据进行预处理；

水质数据包括：含氧量、酸碱值、浊度、温度、电导率；预处理包括：缺失的数据修复处理，非真实的“不良数据”平滑处理；

在数据采集过程中人为失误、设备故障等原因会产生缺失和异常等情况的“脏数据”，因此需要数据缺失修复及异常数据修复；

本实施例中，缺失的数据修复处理是采用线性插值法进行修复；数据缺失修复函数为：

式中：x_k,x_k+j分别表示K、K+j时采集的实际水质参数值；y_k表示K时水质参数值；y_k+i表示K+i时缺失水质参数；

异常数据修复，在发现异常数据要及时删除，如果未及时删除则采用均值平滑法进行水平处理

式中：y_k+1,y_k-1分别表示k+1、k-1时采集的水质参数值；y_k表示k时补充的水质参数取值。

本实施例选择线性差值法是比较符合水质数据的特点而且比较简单。

步骤2：将预处理后的水质数据进行降维处理，使得输出的数据维数低却能保持和输入数据一致的特征；

具体实现包括以下子步骤：

步骤2.1：数据样本在输入层通过激活函数映射到隐含层；

步骤2.2：隐藏层还原输入数据样本；

步骤2.3：重复步骤2.1和步骤2.2，得到输出的数据作为聚类算法的输入。

本实施例中，采集的数据样本x_k在输入层通过激活函数映射到隐藏层h，激活函数为：

通过激活函数，计算样本x在隐藏层的表示形式h：

其中ω₁为编码权重，b₁为对应的偏置单元；

解码阶段是通过h重新构建输入样本x，得到x重构的表示形式x’，计算公式如下：

其中ω₂为编码权重，b₂为对应的偏置单元；

采集的数据表示x_k＝(x₁,x₂,...,x_n)，输出表示y_k＝(y₁,y₂,...,y_n)，代价函数为：

其中：s为输入样本数据数，n为输入维度，

表示样本i的第j个分量，

表示样本i对应输出的第j个分量。当输出误差E足够小，此时表示输入样本数据可通过隐藏层重构表示，则隐藏层输出即为数据样本特征。如图2，原始数据标记为x_k＝(x₁,x₂,...,x_n)，经过过滤层进行维度筛选最终得到输出层。

步骤3：把降维处理后的数据进行K-Mean聚类，根据相似性原则划分至同一簇类；

具体实现包括以下子步骤：

步骤3.1：任意指定数据样本中的s个对象作为中心点；

步骤3.2：计算当前数据和所有中心点的相似度；

步骤3.3：确定样本归属类别，当相似度不等于阈值则形成新类别；

步骤3.4：重新计算聚类后所得的中心点，重复步骤3.2～3.3直到每个类别不发生变化。

本实施例中，数据样本x_k＝(x₁,x₂,...,x_n)，其中每个对象降至m个维度的属性。

初始化K个聚类中心{C₁,C₂,C₃,...C_k},1＜K≤n，其中K表示类别数，然后通过计算每一个对象到每一个聚类中心的欧式距离，如下式：

X_k表示第K个对象1≤k≤n，C_j表示第j个聚类中心的1≤j≤K，X_kt表示第j个对象的第t个属性，1≤t≤m，C_jt表示第j个聚类中心的第t个属性。依次比较每一个对象到每一个聚类中心的距离，将对象分配到距离最近的聚类中心的类簇中，得到K个类簇{S₁,S₂,S₃,...,S_k}；如图3，不断优化K值，使更多的数据集形成一个以K值为中心的簇类。

本实施例利用Autoencoder和聚类结合对水质进行监测还没有，好处在于Autoencoder能够对大量的水质数据降低维度，少量的数据就能够表现出数据特点，对数据处理方便有效，K-Means能够划分数据簇，从而实现预警。

步骤4：把每个簇类的中心值与正常值进行对比，如果发现中心值与正常值的差值不符合正常情况，则发出预警。

本实施例中，正常值及正常范围包括：

(1)PH值为6.5～8.5；

(2)含氧量8～9mg/L；

(3)浊度不得超过3mg/L；

(4)温度20℃～25℃；

(5)电导率2000us/cm。

本实施例中，根据水质各个监测的簇类中心点确定预警等级。具体的说，PH值为6.5～8.5,含氧量8～9mg/L浊度不得超过3mg/L,温度20℃～25℃,电导率，此时的预警状态为正常，若是聚类中心点的值不在范围之内，此时需要发出预警，并且进行进一步的检测。

本实施例还提供了一种基于自编码和聚类结合的水质监测预警系统，包括数据预处理单元、Autoencoder自编码单元、K-Mean聚类单元、报警单元；

数据预处理单元，用于对采集的水质数据进行预处理；

水质数据包括：含氧量、酸碱值、浊度、温度、电导率；预处理包括：缺失的数据修复处理，非真实的“不良数据”平滑处理；

Autoencoder自编码单元，用于将预处理后的水质数据进行降维处理，使得输出的数据维数低却能保持和输入数据一致的特征；

K-Means聚类单元，用于把降维处理后的数据进行K-Mean聚类，根据相似性原则划分至同一簇类；

报警单元，用于把每个簇类的中心值与正常值进行对比，如果发现中心值与正常值的差值不符合正常情况，则发出预警。

本实施例的报警单元，当聚类中心点的值与所设的标准值不符时，利用数据线传至控制中心，并利用LED灯，不仅在平台上对观测的人员进行警示，还能对外部巡查的人员警示。

应当理解的是，本说明书未详细阐述的部分均属于现有技术；上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (6)

1.一种基于自编码和聚类结合的水质监测预警方法，其特征在于，包括以下步骤：

步骤1：对采集的水质数据进行预处理；

所述水质数据包括：含氧量、酸碱值、浊度、温度、电导率；所述预处理包括：缺失的数据修复处理，非真实的“不良数据”平滑处理；

步骤2：将预处理后的水质数据进行降维处理，使得输出的数据维数低却能保持和输入数据一致的特征；

步骤3：把降维处理后的数据进行K-Mean聚类，根据相似性原则划分至同一簇类；

步骤4：把每个簇类的中心值与正常值进行对比，如果发现中心值与正常值的差值不符合正常情况，则发出预警。

2.根据权利要求1所述的基于自编码和聚类结合的水质监测预警方法，其特征在于：步骤1中，所述缺失的数据修复处理是采用线性插值法进行修复。

3.根据权利要求1所述的基于自编码和聚类结合的水质监测预警方法，其特征在于，步骤2中所述将预处理后的水质数据进行降维处理，具体实现包括以下子步骤：

步骤2.1：数据样本在输入层通过激活函数映射到隐含层；

步骤2.2：隐藏层还原输入数据样本；

步骤2.3：重复步骤2.1和步骤2.2，得到输出的数据作为聚类算法的输入。

4.根据权利要求1所述的基于自编码和聚类结合的水质监测预警方法，其特征在于，步骤3中所述把降维处理后的数据进行K-Mean聚类，具体实现包括以下子步骤：

步骤3.1：任意指定数据样本中的s个对象作为中心点；

步骤3.2：计算当前数据和所有中心点的相似度；

步骤3.3：确定样本归属类别，当相似度不等于阈值则形成新类别；

步骤3.4：重新计算聚类后所得的中心点，重复步骤3.2～3.3直到每个类别不发生变化。

5.根据权利要求1-4任意一项所述的基于自编码和聚类结合的水质监测预警方法，其特征在于，步骤4中所述把每个簇类的中心值与正常值进行对比，其中正常值及正常范围包括：

(1)PH值为6.5～8.5；

(2)含氧量8～9mg/L；

(3)浊度不得超过3mg/L；

(4)温度20℃～25℃；

(5)电导率不大于2000us/cm。

6.一种基于自编码和聚类结合的水质监测预警系统，其特征在于：包括数据预处理单元、Autoencoder自编码单元、K-Mean聚类单元、报警单元；

所述数据预处理单元，用于对采集的水质数据进行预处理；

所述水质数据包括：含氧量、酸碱值、浊度、温度、电导率；所述预处理包括：缺失的数据修复处理，非真实的“不良数据”平滑处理；

所述Autoencoder自编码单元，用于将预处理后的水质数据进行降维处理，使得输出的数据维数低却能保持和输入数据一致的特征；

所述K-Means聚类单元，用于把降维处理后的数据进行K-Mean聚类，根据相似性原则划分至同一簇类；

所述报警单元，用于把每个簇类的中心值与正常值进行对比，如果发现中心值与正常值的差值不符合正常情况，则发出预警。

Images