CN116975769B - 用于状态监测实时预警的自适应多维度异常值检测方法 - Google Patents

Abstract

本发明公开了用于状态监测实时预警的自适应多维度异常值检测方法，属于故障预测与健康管理领域，包括步骤：（1）识别监测参数的监测类型和相关信息；（2）接入正在实时监测的状态参数数据；（3）查找当前监测参数及监测类型是否具有对应的历史数据；（4）基于当前监测参数的历史数据分布推理出判定异常值的阈值区间；（5）将参数当前监测值进行阈值比对，若判定为异常值则发出预警；（6）读入新的参数数据计算出监测值，进行新一轮阈值计算和阈值比对；（7）触发结束监测，保存本轮监测参与计算的数据，程序终止。本发明实现了一种通用的、多维度的自适应状态监测方法。

Description

用于状态监测实时预警的自适应多维度异常值检测方法

技术领域

本发明涉及用于状态监测实时预警的自适应多维度异常值检测方法，属于故障预测与健康管理（PHM）的技术领域。

背景技术

设备状态监测技术是目前工业数字化转型的一项重要技术，通过工业现场各种传感器对设备状态参数的数据进行采集，然后将经过数据清洗的数据上传到工业软件的状态监测模块进行异常值检测，从而判断设备当前的健康状况。但在相关项目的实施中发现当前异常值检测存在以下几点问题。

1、异常值判定的阈值经常依靠专家或设备运维人员的经验来指定一个固定值，这种方式不能有效的反映状态参数实时动态变化引起的异常阈值动态变化，从而造成误报漏报的问题。

2、部分状态监测的异常值检测会使用基于专业机理的算法，这种方法需要随着设备机理的改动做出调整，算法不具备通用性和可迁移性，对专业机理知识的依赖很高，人工成本消耗大。

3、对于一些关键的状态参数的监测只从单一维度去检测，容易忽略数据其他方面的信息，缺少全面性。

发明内容

为了解决上述存在的问题，本发明公开了一种用于状态监测实时预警的自适应多维度异常值检测方法，其具体技术方案如下：

一种用于状态监测实时预警的自适应多维度异常值检测方法，包括以下步骤：

步骤1：识别使用者预先配置的监测任务信息；

步骤2：从外部数据采集模块接入正在实时监测中的参数数据；

步骤3：根据步骤1中识别到的参数信息，在程序文件夹中查找当前监测参数-监测类型是否具有历史数据，若具有历史数据，直接进入步骤4，如果没有历史数据，则等待传入的参数监测数据达到程序设定的数据量之后，再进入步骤4；

步骤4：根据步骤1中识别到的参数监测类型，使用步骤3输出的数据，基于3sigma异常值算法计算出该参数指定监测类型的异常值判定的阈值区间；

步骤5：将参数当前监测值与步骤4中计算出的阈值区间进行阈值比对，若识别为异常值则发出预警信息，然后进入步骤6，若不是异常值则直接进入步骤6；

步骤6：读入新的监测值，进行新一轮阈值计算和阈值比对，随着监测值的实时注入，持续重复这个过程；

步骤7：触发结束监测的指令，程序自动将本轮参与计算的数据保存到指定的程序文件夹为下一次监测任务提供历史数据，程序终止。

进一步的，所述步骤1具体过程为：

步骤1.1：配置监测任务的监测类型，参数的监测类型有三类，分别是：数值预警、趋势预警、变化率预警，一个状态参数可选择多个监测类型进行状态监测；

步骤1.2：配置状态参数的相关信息，先配置公用信息，包括：参数名称、数值精度、计量单位、异常可能性、数据存储方式；

步骤1.3：配置状态参数的专用信息，专用信息以三类监测类型划分，每个监测类型需要的专用信息如下：

数值预警监测需要配置：样本量上限、样本量下限；

趋势预警监测需要配置： 趋势监测窗口长度，趋势监测步长，趋势样本上限，趋势样本下限；

变化率预警监测需要配置：变化率计算窗口长度，变化率计算步长，变化率计算方法，变化率样本上限，变化率样本下限；

步骤1.4：配置完成后保存以上信息，启动状态参数的状态监测任务，程序读取以上信息开始进行异常值检测的计算。

进一步的，所述步骤1.3中需要配置的参数信息中的变化率预警监测配置的专用信息，变化率计算具有多种可选的计算方法，包括：峰值变化比、能量比、损伤能量比、能量变化比、皮尔逊相关系数、均方根、均方根偏差、方差、互相关损伤指数、频域能量比、频域能量变化比、归一化相关矩，每个变化率监测任务只能选择一种变化率计算方式。

进一步的，所述步骤3中查找的参数历史数据以txt文件形式保存在程序创建并指定的文件夹路径下，文件夹以监测参数的参数名称命名，历史数据文件命名方式为“参数名称_监测类型（计算方式）_YYYYMMDDHHMMSS”，历史数据文件中存储的内容根据监测类型区分为：

数值监测任务存储的是参数监测传入的数值；

趋势监测任务存储的是根据参数监测数值计算出来的趋势值；

变化率监测任务存储的是根据参数监测数值计算出来的变化率值。

进一步的，所述步骤3中等待传入的参数监测数据达到程序设定的数据量由步骤1.3中配置的参数专用信息决定，其中：数值预警任务的等待数据量由“样本量下限”决定；趋势预警任务的等待数据量由“趋势监测窗口长度”、“趋势监测步长”和“趋势样本下限”共同决定；变化率预警任务的等待数据量由“变化率计算窗口长度”，“变化率计算步长”和“变化率样本下限”共同决定。

进一步的，所述步骤4的具体过程为：

步骤4.1：读取步骤2传入的参数历史数据或程序实时积累的数据，解析为list对象；

步骤4.2：对list对象中的所有数据使用3sigma异常值算法，根据步骤1中配置的参数“异常可能性”计算出参数异常值判定的阈值上界和阈值下界，分别存储为名为“threshold_up”和“threshold_down”的float对象，异常可能性可选的选项有68%，95%，99%三个程度。

进一步的，所述步骤6的具体过程为：

步骤6.1：将当前获取的数值/趋势值/变化率值的监测值添加到步骤4.1输出的list对象中；

步骤6.2：对list对象内的所有监测值使用3sigma异常值算法，用计算出的阈值上下界把上一轮“threshold_up”和“threshold_down”两个变量的值替换掉；

步骤6.3：将当前监测值与当前计算出的阈值上下界进行阈值比对判断是否为异常值。

进一步的，所述步骤7中程序保存数据的方式由步骤1.2配置的公用参数信息“数据存储方式”决定，数据存储可选全量存储或均值存储；

全量存储指将参与本轮监测任务参与计算的数据全部保存下来，包括步骤3读取的历史数据；均值存储是对数据分段计算均值，将均值数据保存下来。

本发明的核心创新点是：

创新1：本发明使用了一种简单的通过配置参数监测信息的方式，实现从数值、趋势、变化率三个维度来观测参数波动和检测异常值的目的，相较于只使用3sigma算法计算单一维度的异常值阈值的计算模块，本发明实现的监测更加全面，监测维度的拓展操作上也更加便捷。

创新2：本发明省略了从数据库中查询历史数据的操作，而是将历史数据保存到程序自带的文件夹中，减少了对历史数据查询的计算机性能消耗和对数据库的依赖；并提供了四种保存历史数据的方式，除了全量保存之外，还可以通过随机抽样或分层均值、加权均值的方式压缩历史数据，在尽可能保留参数概率分布信息的同时，减少对计算机磁盘空间的消耗。

本发明的有益效果是：

本发明在提供自适应调整异常值判定阈值的基础上，既能够通过简单的参数配置实现从数值、趋势、变化率三个角度来观察正在监测的状态参数的变化，从而实现通用的、多维度的状态监测；还降低了对于数据库的依赖，使得本发明的状态监测计算模块可以快速高效低成本地部署到其他应用上。

附图说明

图1为本发明的流程步骤示意图，

图2为本发明的数据处理原理示意图，

图3为本发明的算法模块流程示意图，

图4为本发明的状态监测展示图。

实施方式

以下结合附图1，以15分钟粒度电力负荷值状态监测（15分钟粒度电力负荷值状态监测每15分钟传入一个电力负荷值，每天传入96个电力负荷值）为例，对本发明进一步详细的说明。

步骤1：识别监测参数的监测类型（数值/趋势/变化率）和相关信息。

步骤1.1：在程序提供的前台页面配置待监测状态参数公用信息：参数名称、数值精度、计量单位、异常可能性、数据存储方式；

步骤1.2：在程序提供的前台页面选择想要对状态参数进行监测的监测类型，再为配置监测类型的专用信息：

数值预警监测需要配置：样本量上限、样本量下限；

趋势预警监测需要配置：趋势监测窗口长度，趋势监测步长，趋势样本上限，趋势样本下限；

变化率预警监测需要配置：变化率计算窗口长度，变化率计算步长，变化率计算方法，变化率样本上限，变化率样本下限。

步骤1.3：配置完成所有信息后保存，启动该状态参数的监测任务。

以15分钟粒度电力负荷值状态监测为例，想要对其同时进行数值、趋势、变化率三个维度的状态监测，配置内容为：

公共信息：{参数名称:electrical_load_15min,数值精度:0.001,计量单位:kW/h,异常可能性:0.99,存储方式:全量存储,监测类型:[数值监测,趋势监测,变化率监测]}。

专用信息：{样本量上限:10000, 样本量下限:10},{趋势监测窗口长度:96, 趋势监测步长:96,趋势样本上限:10000,趋势样本下限:3},{变化率计算窗口长度:96, 变化率计算步长:96, 变化率计算方法: 峰值变化比(VP),变化率样本上限:10000，变化率样本下限:3}。

其中，变化率计算具有多种可选的计算方法，包括：峰值变化比、能量比、损伤能量比、能量变化比、皮尔逊相关系数、均方根、均方根偏差、方差、互相关损伤指数、频域能量比、频域能量变化比、归一化相关矩，共计12种计算方式，每种计算方式的表达式如下表1所示：

表1

注：Tb和Tc分别为基准序列和当前序列,

,

步骤2：接入正在实时监测中的参数数据。

步骤2.1:对步骤1配置的参数信息进行解析，传入监测模块定义的变量中，包括：sensor_name（参数名称，str）、sensor_accuracy（数值精度，str）、measurement_unit（计量单位，str）、reliability（异常可能性，float）、 save（存储方式，str）、numerical_monitoring（数值监测，bool）、trend_ monitoring（趋势监测，bool），variation_monitoring（变化率监测，bool），numerical_info（数值监测信息，str），trend_info（趋势监测信息，str），variation_info（变化率监测信息，str）。

步骤2.2：将专用信息numerical_info, trend_info, variation_info解析为dict对象，其中：

数值监测的专用信息解析为numerical_info.max_samples（最大样本量,int）、numerical_info.min_samples（最小样本量,int）。

趋势预警的专用信息解析为trend_info.window_width（趋势监测窗口长度,int）、trend_info.step(趋势监测步长，int)、trend_info.max_samples（趋势样本上限,int）、trend_info.min_samples（趋势样本下限,int）。

变化率预警监测的专用信息解析为variation_info.window_width（变化率计算窗口长度,int）、variation_info.steps（变化率计算步长,int）、variation_info.method（变化率计算方法,int）、variation_info.max_samples（变化率样本上限,int）、variation_info.min_samples（变化率样本下限,int）。

步骤3具体如下：

步骤3.1：在程序执行文件夹中查找参数的历史数据,以电力负荷值的实例为例，在名为“electrical_load_15min”的文件夹下使用正则筛选查找前缀为“electrical_load_15min_numerical_”或

“electrical_load_15min_trend_”或

“electrical_load_15min_VP_”的txt文件；

步骤3.2：若找到了对应名称的txt文件，将其解析为名为data的list对象；

步骤3.3：如果没有找到对应名称的txt文件，以15分钟粒度电力负荷值状态监测为例，参照图2对程序等待数据过程的解释，每种监测类型的具体执行过程如下：

数值监测：创建1个空list对象，直接将接收的电力负荷值存入空list对象中，在步骤1中numerical_info.min_samples的值被配置为10，等待传入10个电力负荷值即可开始数值异常值检测的计算。

趋势监测：创建1个空list对象，将接收的电力负荷值按照步骤1配置的trend_info.window_width基于最小二乘的斜率法计算出斜率值，将斜率值传入list对象，在步骤1中trend_info.min_samples的值被配置为3，则等待list对象中被存入3个趋势值后即可开始趋势异常值检测的计算。对应到电力负荷值的个数，则有：trend_info.window_width的值为96，trend_info.steps的值为96，trend_info.min_samples的值为3，等待程序接收了96+96*（3-1）=288个电力负荷值即可开始趋势异常值检测的计算。

变化率监测：假设选择的变化率计算方法的个数为n个，则创建n个空list对象，在步骤1中对于电力负荷值的变化率计算方法只选择了一个“峰值变化比”，因此在其变化率监测任务中只创建1个空list，使用“峰值变化比”的计算方法计算两个出variation_info.window_width窗口内的变化率并添加入list对象中，在步骤1中variation_info.min_samples的值被配置为3，则等待list对象中被存入3个变化率值后即可开始趋势异常值检测的计算。对应到电力负荷值的个数，则有：variation_info.window_width的值为96，variation_info.steps的值为96，variation_info.min_samples的值为3，等待传入96+96*（3-1）=288个电力负荷值的时候即可开始变化率异常值检测的计算。

步骤4：接收当期参数采集到的数值，在15分钟粒度电力负荷值状态监测的实例中，接收到的是当期电力负荷值。

参照附图3的异常值监测算法流程图，对步骤5的执行过程进行详细说明如下：

步骤5.1：判断当前参数监测任务的监测类型，如果是数值监测类型，则直接将采集到的数值添加到步骤3输出的list对象中；如果是趋势监测或变化率监测类型，则先计算出当期的趋势值或变化率值，然后将计算出来的数值添加到步骤3输出的list对象中。

步骤5.2：基于3sigma异常值检测算法的原理，对上一步输出的list对象中的监测值（数值/趋势值/变化值）进行计算，3sigma异常值检测算法的原理可简单描述为：若数据服从正态分布，则异常值被定义为一组结果值中与平均值的偏差超过三倍标准差的值；若数据不服从正态分布，也可以用远离平均值的多少倍标准差来做为求解异常值的手段，这里的“多少倍标准差”，下文用k来表示。对list对象中的监测值求解均值μ和标准差σ，根据步骤1配置的异常可能性获取到k值（异常可能性68%，95%，99%分别对应的k值是1，2，3），利用公式（μ-kσ,μ+kσ)求解出阈值上下界，定义为名为“threshold_up”和“threshold_down”的float变量。

步骤6：将步骤4计算出的最新监测值与threshold_up和threshold_down进行比对，如果超出threshold_up和threshold_down定义的区间范围，则输出预警信息。

步骤7：接收到传入的电力负荷值后，重复步骤4和步骤5的过程，将threshold_up和threshold_down两个个变量的值替换为新一轮计算出的阈值上界和下界，再和当期监测值进行阈值比对。

步骤8具体如下：

步骤8.1：使用者触发监测任务关闭的指令后，程序根据步骤1配置的数据保存方式将上述步骤中使用的list对象中的数据写入名为

“electrical_load_15min_ numerical_YYYYMMDDHHMMSS.txt”、

“electrical_load_15min_ trend_YYYYMMDDHHMMSS.txt”、

“electrical_load_15min_ variation_peak_YYYYMMDDHHMMSS.txt”的txt文件中，其中YYYYMMDDHHMMSS是存储动作发生的时间戳，然后将文件保存至名为“electrical_load_15min”的文件夹中。

如果步骤1中配置的数据保存方法是全量保存，则将list对象中的数据全部写入txt文件；

如果步骤1中配置的数据保存方式是均值保存，则将list对象中的数据每10个值划分为一组，求每个组数据的均值，最后把这些均值写入txt文件作为历史监测值保存，需要说明的是，随着新数据的累积和历史数据的压缩，这种数据保存方式会逐渐放大新数据的数据分布特点。

步骤8.2：程序终止计算，释放所有变量占用的内存。

图4为本发明的状态监测展示图，结合附图可见，本发明运行时，监测电力符合状态的软件界面图。

本发明方案所公开的技术手段不仅限于上述技术手段所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (7)

1.一种用于状态监测实时预警的自适应多维度异常值检测方法，其特征在于，包括以下步骤：

步骤1：识别使用者预先配置的监测任务信息，具体过程为：

步骤1.1：配置监测任务的监测类型，参数的监测类型有三类，分别是：数值预警、趋势预警、变化率预警，一个状态参数选择多个监测类型进行状态监测；

步骤1.2：配置状态参数的相关信息，先配置公用信息，包括：参数名称、数值精度、计量单位、异常可能性、数据存储方式；

步骤1.3：配置状态参数的专用信息，专用信息以三类监测类型划分，每个监测类型需要的专用信息如下：

数值预警监测需要配置：样本量上限、样本量下限；

趋势预警监测需要配置： 趋势监测窗口长度，趋势监测步长，趋势样本上限，趋势样本下限；

变化率预警监测需要配置：变化率计算窗口长度，变化率计算步长，变化率计算方法，变化率样本上限，变化率样本下限；

步骤1.4：配置完成后保存以上信息，启动状态参数的状态监测任务，程序读取以上信息开始进行异常值检测的计算；

步骤2：从外部数据采集模块接入正在实时监测中的参数数据，所述参数数据为电力负荷值；

步骤3：根据步骤1中识别到的参数信息，在程序文件夹中查找当前监测参数-监测类型是否具有历史数据，若具有历史数据，直接进入步骤4，如果没有历史数据，则等待传入的参数监测数据达到程序设定的数据量之后，再进入步骤4；

步骤4：根据步骤1中识别到的参数监测类型，使用步骤3输出的数据，基于3sigma异常值算法计算出该参数指定监测类型的异常值判定的阈值区间；

步骤5：将参数当前监测值与步骤4中计算出的阈值区间进行阈值比对，若识别为异常值则发出预警信息，然后进入步骤6，若不是异常值则直接进入步骤6；

步骤6：读入新的监测值，进行新一轮阈值计算和阈值比对，随着监测值的实时注入，持续重复这个过程；

步骤7：触发结束监测的指令，程序自动将本轮参与计算的数据保存到指定的程序文件夹为下一次监测任务提供历史数据，程序终止。

2.根据权利要求1所述的用于状态监测实时预警的自适应多维度异常值检测方法，其特征在于：

所述步骤1.3中需要配置的参数信息中的变化率预警监测配置的专用信息，变化率计算具有多种可选的计算方法，包括：峰值变化比、能量比、损伤能量比、能量变化比、皮尔逊相关系数、均方根、均方根偏差、方差、互相关损伤指数、频域能量比、频域能量变化比、归一化相关矩，每个变化率监测任务只能选择一种变化率计算方式。

3.根据权利要求1所述的用于状态监测实时预警的自适应多维度异常值检测方法，其特征在于：

所述步骤3中查找的参数历史数据以txt文件形式保存在程序创建并指定的文件夹路径下，文件夹以监测参数的参数名称命名，历史数据文件命名方式为“参数名称_监测类型_YYYYMMDDHHMMSS”，历史数据文件中存储的内容根据监测类型区分为：

数值监测任务存储的是参数监测传入的数值；

趋势监测任务存储的是根据参数监测数值计算出来的趋势值；

变化率监测任务存储的是根据参数监测数值计算出来的变化率值。

4.根据权利要求1所述的用于状态监测实时预警的自适应多维度异常值检测方法，其特征在于：

所述步骤3中等待传入的参数监测数据达到程序设定的数据量由步骤1.3中配置的参数专用信息决定，其中：数值预警任务的等待数据量由“样本量下限”决定；趋势预警任务的等待数据量由“趋势监测窗口长度”、“趋势监测步长”和“趋势样本下限”共同决定；变化率预警任务的等待数据量由“变化率计算窗口长度”，“变化率计算步长”和“变化率样本下限”共同决定。

5.根据权利要求1所述的用于状态监测实时预警的自适应多维度异常值检测方法，其特征在于：所述步骤4的具体过程为：

步骤4.1：读取步骤2传入的参数历史数据或程序实时积累的数据，解析为list对象；

步骤4.2：对list对象中的所有数据使用3sigma异常值算法，根据步骤1中配置的参数“异常可能性”计算出参数异常值判定的阈值上界和阈值下界，分别存储为名为“threshold_up”和“threshold_down”的float对象，异常可能性可选的选项有68%，95%，99%三个程度。

6.根据权利要求5所述的用于状态监测实时预警的自适应多维度异常值检测方法，其特征在于：所述步骤6的具体过程为：

步骤6.1：将当前获取的数值/趋势值/变化率值的监测值添加到步骤4.1输出的list对象中；

步骤6.2：对list对象内的所有监测值使用3sigma异常值算法，用计算出的阈值上下界把上一轮“threshold_up”和“threshold_down”两个变量的值替换掉；

步骤6.3：将当前监测值与当前计算出的阈值上下界进行阈值比对判断是否为异常值。

7.根据权利要求1所述的用于状态监测实时预警的自适应多维度异常值检测方法，其特征在于：

所述步骤7中程序保存数据的方式由步骤1.2配置的公用参数信息“数据存储方式”决定，数据存储可选全量存储或均值存储；

全量存储指将参与本轮监测任务参与计算的数据全部保存下来，包括步骤3读取的历史数据；均值存储是对数据分段计算均值，将均值数据保存下来。