CN107402547A - 基于离群点分析的设备异常检测方法及系统 - Google Patents

Abstract

本发明公开了一种基于离群点分析的设备异常检测方法及系统，所述方法包括：采集污水处理过程中的多个监测数据；对所述多个监测数据进行检测，获取其中的离群点及其分布状态；根据所述离群点的分布状态，对所述离群点进行筛选和替换；根据替换后的所述离群点的分布状态判断设备的异常；对设备的异常状态进行反馈。本发明通过依次分析监测数据的异常得到其中的离群点，并进一步通过对离群点的分布状态进行分析，来检测设备的异常，提高检测准确度和实时性。

Description

基于离群点分析的设备异常检测方法及系统

技术领域

本发明涉及设备控制技术领域，尤其涉及设备异常检测方法及系统。

背景技术

污水处理设备正常运行是保证工艺稳定、出水水质达标的关键。2015年国务院印发的《水污染防治行动计划》(“水十条”)对污水处理提出了更高的要求。围绕污水处理水质达标，推进污水处理设备、管理和控制技术的相关研制和应用势在必行。当前，针对污水处理控制技术的研究主要集中于闭环控制，其中PID控制可以较好的实现水厂设备的控制，但是其对环境的适应能力差，且缺乏设备异常报警措施，同时受现场操作人员专业知识水平影响，因此难以及时判断设备异常状态。

发明内容

针对现有技术中的缺陷，本发明提供一种基于离群点分析的设备异常检测方法及系统，通过依次分析监测数据的异常得到其中的离群点，并进一步通过对离群点的分布状态进行分析，来检测设备的异常，提高检测准确度和实时性。

第一方面，本发明提供了一种基于离群点分析的设备异常检测方法，所述方法包括：

采集污水处理过程中的多个监测数据；

对所述多个监测数据进行检测，获取其中的离群点及其分布状态；

根据所述离群点的分布状态，对所述离群点进行筛选和替换；

根据替换后的所述离群点的分布状态判断设备的异常；

对设备的异常状态进行反馈。

进一步地，所述对所述多个监测数据进行检测，检测其中的离群点，具体包括：

按照时间顺序对所述多个监测数据依次进行检测，找出其中的离群点。

进一步地，所述对所述多个监测数据，按照时间顺序依次进行检测，找出其中的离群点，具体包括：

按照时间顺序，依次计算每个所述监测数据与其余监测数据之间的相似度；

获取与其余监测数据相似度较低的异常数据，作为离群点。

进一步地，所述计算每个所述监测数据与其它监测数据之间的相似度，具体包括：

计算每个所述监测数据与其余监测数据之间的欧氏距离，根据所述欧氏距离判断每个监测数据与其余监测数据的相似度。

进一步地，所述异常数据，通过以下方式获取：

将所述多个监测数据的欧氏距离分别与预先设定的阈值进行对比，欧氏距离超过所述阈值的监测数据为异常数据。

进一步地，所述欧氏距离的计算公式为：

其中，ρ(A,B)表示数据A和数据B的欧氏距离，a[i]表示数据A在欧氏空间中的第i个坐标，b[i]表示数据B在欧氏空间中的第i个坐标。

进一步地，所述根据所述离群点的分布状态，对所述离群点进行筛选和替换，具体包括：

从所述离群点中选取第一离群点，将所述第一离群点剔除掉，并采用紧邻的数据来填补所述第一离群点的空缺；其中，所述第一离群点为所述离群点中呈离散分布的离群点。

进一步地，所述根据替换后所述离群点的分布状态判断设备的异常，具体包括：

剔除所述第一离群点后，根据剩余的第二离群点的分布状态，判断设备的异常；其中，所述第二离群点为所述离群点中呈连续分布的离群点。

进一步地，所述多个监测数据包括：设备监测数据，水质监测数据。

第二方面，本发明还提供了一种基于离群点分析的设备异常检测系统，所述系统包括：数据采集模块，离群点检测模块，离群点处理模块，设备检测模块，反馈报警模块；

所述数据采集模块与所述离群点检测模块连接，所述离群点检测模块与所述离群点处理模块连接，所述离群点处理模块所述设备检测模块连接，所述设备检测模块与所述反馈报警模块连接；

所述数据采集模块，用于采集污水处理过程中的多个监测数据；

所述离群点检测模块，用于对所述多个监测数据进行检测，获取其中的离群点及其分布状态；

所述离群点处理模块，用于根据所述离群点的分布状态，对所述离群点进行筛选和替换；

所述设备检测模块，用于根据替换后的所述离群点的分布状态判断设备的异常；

所述反馈报警模块，用于对设备的异常状态进行反馈。

由上述技术方案可知，本发明提供一种基于离群点分析的设备异常检测方法及系统，通过依次分析监测数据的异常得到其中的离群点，并进一步通过对离群点的分布状态进行分析，来检测设备的异常，提高检测准确度和实时性。

附图说明

图1示出了本发明提供的设备异常检测方法的流程示意图。

图2示出了本发明示例中第一离群点的分布图。

图3示出了本发明示例中第一离群点的分布图的局部范围放大图。

图4示出了本发明示例中第二离群点的分布图。

图5示出了本发明提供的设备异常检测系统的结构示意图。

具体实施方式

基于离群点检测方法具有极强的环境适应能力，不需要相关的领域知识就能发现异常点，适合于数据模型未知，数据分布规律未知的数据。离群点是一个数据对象，它显著不同于其他数据对象，也可以称之为异常数据。离群点通常是一类产生机制不同于产生其他数据机制的数据。离群点检测属于数据的预处理部分，但其作用并不局限于数据预处理，离群点检测也可以独立成为一个数据挖掘的过程，用于剔除异常数据，应用在污水处理领域也可由数据异常推理出设备异常等问题。

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只是作为示例，而不能以此来限制本发明的保护范围。

实施例一

图1示出了本发明实施例一提供的基于离群点分析的设备异常检测方法的流程示意图，如图1所示，本发明所述方法包括：

步骤S1，采集污水处理过程中的多个监测数据。

其中，所述多个监测数据包括但不限于：设备监测数据和水质监测数据，其中，设备监测数据包括设备运行时间、运行时的电压电流等各项运行参数数据，水质监测数据包括水体中所含各种物质的种类和浓度、水体酸碱度等数据。

其中，本发明所述的设备异常检测方法主要适用于污水处理厂的各种常用设备，但其具体应用场景不限于此，还可应用于其它场景的应用设备。

步骤S2，对所述多个监测数据进行检测，获取其中的离群点及其分布状态。

优选地，步骤S2具体包括：按照时间顺序对所述多个监测数据依次进行检测，找出其中的离群点，并得到所述离群点按时间顺序的分布状态。

具体地，将监测数据按一定的时间顺序排列，依次检测每个监测数据，判断其是否为离群点，检测完毕后，如果得到多个离群点，则记录其分布状态，分布状态同样按时间排列，形成离群点的分布图，分布图如图2至4所示，其中纵轴为不同监测数据的离群程度，横轴为依据时间戳标的序号。

进一步优选地，按照时间顺序对所述多个监测数据依次进行检测，找出其中的离群点，具体包括：按照时间顺序，依次计算每个所述监测数据与其余监测数据之间的相似度；获取与其余监测数据相似度较低的异常数据，作为离群点。

进一步优选地，依次计算每个所述监测数据与其余监测数据之间的相似度，具体包括：计算每个所述监测数据与其余监测数据之间的欧氏距离，根据所述欧氏距离判断每个监测数据与其余监测数据的相似度。欧氏距离越大，则其相似度越低，反之，欧氏距离越小，其相似度越高。

其中，所述异常数据是通过比较相似度得到的，相似度较低的数据容易成为异常数据，具体地，在判断是否是异常数据时，将所述多个监测数据的欧氏距离分别与预先设定的阈值进行对比，若某一监测数据的欧氏距离超过阈值，则该监测数据为异常数据。

其中，欧氏距离的计算公式为：

上述公式是在n维欧氏空间中得出的，n维欧氏空间是一个点集，它的每个点X或向量x可以表示为(x[1]，x[2]，…，x[n])，其中x[i](i＝1，2，…，n)是实数，称为X的第i个坐标。

在上述公式中，ρ(A,B)表示数据A和数据B的欧氏距离，a[i]表示数据A或点A在欧氏空间中的第i个坐标，点A可表示为A＝(a[1]，a[2]，…，a[n])，b[i]表示数据B或点B在欧氏空间中的第i个坐标，点B可表示为B＝(b[1]，b[2]，…，b[n])。

步骤S3，根据所述离群点的分布状态，对所述离群点进行筛选和替换。

优选地，步骤S3具体包括：从所述离群点中选取呈离散分布的第一离群点，将所述第一离群点剔除掉，并采用紧邻的数据来填补所述第一离群点的空缺。

所述步骤S3的目的是在判断设备异常时，排除无效离群点的干扰，呈现离散分布的第一离群点往往是偶然误差所至，对判断设备异常无明显意义。

具体示例如图2和图3所示，图2为对一组监测数据进行离群点检测后得到第一离群点分布图，由图2可以看出，监测数据在大部分时间段内欧氏距离较为接近，处于平衡状态，但是在4600至4800附近欧氏距离发生了突变，明显地偏离了大部分数据，可能存在离散点，但由于在污水处理过程中加入药物等操作，也有可能引起这种突变，所以需要对数据进行进一步分析。

进一步分析中，将图2的局部数据间隔进行放大，重点观察4600至4800范围内欧氏距离的变化，得到图3所示的分布图。由图3可见，在4600至4800存在几个距离较大的点，若预设阈值为1，则可见这些点的欧氏距离均超过了该阈值，则可推断出这些数据为离群点。

进一步可发现这些点在时间上呈离散分布，如果是这些点是由设备故障所至，根据经验判断故障通常会持续一定时间，而不是只在短暂瞬间故障，因此这些点前后的数据的欧氏距离也应当较大，也即由设备故障导致的离群点通常呈现连续分布且与相邻数据的欧氏距离较大，而图3中所示出的离群点欧氏距离较大的同时其分布呈现离散分布，因此可认为这是偶然的误差所至，而非设备故障，对判断设备异常没有太大的参考性，可进行剔除和替换，以排除干扰。

在判断是否为第一离群点时也可结合经验进行判断，例如通常经验认为，污水处理过程中的数据在该时间段内不可能发生如此大的突变，故这些可以认为是第一离群点，并根据上述欧氏距离的计算进行进一步佐证。

步骤S4，根据替换后的所述离群点的分布状态判断设备的异常。

优选地，步骤S4具体包括：剔除所述第一离群点后，根据剩余的第二离群点的分布状态，判断设备的异常。其中，第一离群点和第二离群点共同组成监测数据中的离群点，第一离群点为呈离散分布的异常数据，第二离群点为呈连接分布的异常数据。

具体地，剔除掉所述第一离群点后，剩余的离群点称为第二离群点，所述第二离群点在时间上通常为连续分布，也即连接存在多个异常数据，因此由连接分布状态可判断相应的设备出现的故障。

具体示例如图4所示，图4所示为剔除掉第一离群后的第二离群点的分布图，由图4可见，距离较大的点在时间上呈连续分布，因些该点为第二离群点，由前述分析可知，通过这些连续分布的点可判断相应的设备出现了故障，通常只有设备故障才会导致连续离群点的出现。

步骤S5，对设备的异常状态进行反馈。

通过步骤S1至S4检测出设备的异常状态后，通过步骤S5对设备的异常状态进行反馈或报警，将设备异常或设备故障反馈至工作人员，以便工作人员能够及时采取应对和维护措施。报警的具体方式可以是声音报警、灯光报警或两者的结合，也可以采取其它常用的报警方式。

基于以上内容，本发明实施例一可以实现的技术效果为：通过依次分析监测数据的异常得到其中的离群点，并进一步通过对离群点的分布状态进行，来检测设备的异常，从而提高检测准确度和实时性。

实施例二

对本发明实施例一对应地，图5示出了本发明实施例提供的一种基于离群点分析的设备异常检测系统的结构示意图。如图5所示，所述系统包括：数据采集模块101，离群点检测模块102，离群点处理模块103，设备检测模块104，反馈报警模块105。其中，所述数据采集模块101与所述离群点检测模块102连接，所述离群点检测模块102与所述离群点处理模块103连接，所述离群点处理模块103所述设备检测模块104连接，所述设备检测模块104与所述反馈报警模块105连接。

所述数据采集模块101，用于采集污水处理过程中的多个监测数据；其中，所述多个监测数据包括但不限于：设备监测数据和水质监测数据。

所述离群点检测模块102，用于对所述多个监测数据进行检测，获取其中的离群点及其分布状态；并具体用于：按照时间顺序对所述多个监测数据依次进行检测，找出其中的离群点，并得到所述离群点按时间顺序的分布状态。

具体地，所述离群点检测模块102通过对比多个监测数据之间的相似度，来寻找离群点。进一步地，所述离群点检测模块102通过计算并比较每个监测数据与其余监测数据之间的欧氏距离，来判断数据之间的相似度。其中，所述欧氏距离的计算为实施例一中所述的计算公式。

所述离群点处理模块103，用于根据所述离群点的分布状态，对所述离群点进行筛选和替换；并具体用于：从所述离群点中选取呈离散分布的第一离群点，将所述第一离群点剔除掉，并采用紧邻的数据来填补所述第一离群点的空缺。

所述设备检测模块104，用于根据替换后的所述离群点的分布状态判断设备的异常；并具体用于：剔除所述第一离群点后，根据剩余的第二离群点的连续分布状态，判断设备的异常。

所述反馈报警模块105，用于对设备的异常状态进行反馈，具体地，将设备异常状态或设备故障反馈至工作人员，以便工作人员能够及时采取应对和维护措施。其中，反馈报警模块105可以是声音报警器、指示灯报警器或两者的结合。

基于以上内容，本发明实施例二可以达到的技术效果是：所述系统通过依次分析监测数据的异常得到其中的离群点，并进一步通过对离群点的分布状态进行，来检测设备的异常，从而提高检测准确度和实时性。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种基于离群点分析的设备异常检测方法，其特征在于，所述方法包括：

采集污水处理过程中的多个监测数据；

对所述多个监测数据进行检测，获取其中的离群点及其分布状态；

根据所述离群点的分布状态，对所述离群点进行筛选和替换；

根据替换后的所述离群点的分布状态判断设备的异常；

对设备的异常状态进行反馈。

2.根据权利要求1所述的设备异常检测方法，其特征在于，所述对所述多个监测数据进行检测，检测其中的离群点，具体包括：

按照时间顺序对所述多个监测数据依次进行检测，找出其中的离群点。

3.根据权利要求2所述的设备异常检测方法，其特征在于，所述按照时间顺序对所述多个监测数据依次进行检测，找出其中的离群点，具体包括：

按照时间顺序，依次计算每个所述监测数据与其余监测数据之间的相似度；

获取与其余监测数据相似度较低的异常数据，作为离群点。

4.根据权利要求3所述的设备异常检测方法，其特征在于，所述计算每个所述监测数据与其它监测数据之间的相似度，具体包括：

计算每个所述监测数据与其余监测数据之间的欧氏距离，根据所述欧氏距离判断每个监测数据与其余监测数据的相似度。

5.根据权利要求4所述的设备异常检测方法，其特征在于，所述异常数据，通过以下方式获取：

将所述多个监测数据的欧氏距离分别与预先设定的阈值进行对比，欧氏距离超过所述阈值的监测数据为异常数据。

6.根据权利要求4或5所述的设备异常检测方法，其特征在于，所述欧氏距离的计算公式为：

其中，ρ(A,B)表示数据A和数据B的欧氏距离，a[i]表示数据A在欧氏空间中的第i个坐标，b[i]表示数据B在欧氏空间中的第i个坐标。

7.根据权利要求1所述的设备异常检测方法，其特征在于，所述根据所述离群点的分布状态，对所述离群点进行筛选和替换，具体包括：

从所述离群点中选取第一离群点，将所述第一离群点剔除掉，并采用紧邻的数据来填补所述第一离群点的空缺；其中，所述第一离群点为所述离群点中呈离散分布的离群点。

8.根据权利要求7所述的设备异常检测方法，其特征在于，所述根据替换后所述离群点的分布状态判断设备的异常，具体包括：

剔除所述第一离群点后，根据剩余的第二离群点的分布状态，判断设备的异常；其中，所述第二离群点为所述离群点中呈连续分布的离群点。

9.根据权利要求1所述的设备异常检测方法，其特征在于，所述多个监测数据包括：设备监测数据，水质监测数据。

10.一种基于离群点分析的设备异常检测系统，其特征在于，所述系统包括：数据采集模块，离群点检测模块，离群点处理模块，设备检测模块，反馈报警模块；

所述数据采集模块与所述离群点检测模块连接，所述离群点检测模块与所述离群点处理模块连接，所述离群点处理模块所述设备检测模块连接，所述设备检测模块与所述反馈报警模块连接；

所述数据采集模块，用于采集污水处理过程中的多个监测数据；

所述离群点检测模块，用于对所述多个监测数据进行检测，获取其中的离群点及其分布状态；

所述离群点处理模块，用于根据所述离群点的分布状态，对所述离群点进行筛选和替换；

所述设备检测模块，用于根据替换后的所述离群点的分布状态判断设备的异常；

所述反馈报警模块，用于对设备的异常状态进行反馈。