CN104181883A - 实时数据采集系统的异常数据实时处理方法 - Google Patents

Abstract

本发明涉及一种数据处理方法，本发明的实时数据采集系统的异常数据实时处理方法，包括如下步骤：(1)初始化样本数据：选取运行正常的偶数个样本数据；(2)用一次指数平滑方法，采用样本数据的1/2为移动步长，运用一次指数平滑递推方法对样本数据的后半部分进行预测；(3)通过后半部分的预测值和实测值计算出预测结果的残差；(4)对残差序列依据拉依达准则进行异常分析，确认实测值是否为异常数据；(5)如果是异常数据，则用预测值替换该实测值。本方法的主要优势在于预测算法系数自适应调整，采用移动指数平滑分析误差，异常判断方法更符合拉以达准则的使用条件，从而提高对异常数据判断的准确性，一定程度上不误判、不漏判。

Description

实时数据采集系统的异常数据实时处理方法

技术领域

本发明涉及一种数据处理方法，尤其涉及一种用于工业实时数据采集系统中异常数据的处理方法。

背景技术

目前在工业信息化相关领域，基本上都包括工业实时数据采集系统，在数据采集过程中很多情况，特别是由于设备环境温度、湿度、灰尘、磁场、采集元件的信号干扰等瞬间发生采集数据的异常情况，这种数据并不能反应真实情况，并且会造成误报警、运行系统中实时生产曲线异常波动等，影响生产运行，并且在后期数据汇总分析时会造成计算错误等等。这就需要在数据采集时对这种异常数据进行处理，避免出现错误数据。

然而很多的工业实时数据采集系统的数据采集模块并没有对采集上来的数据进行实时处理，并且工业实时数据采集系统的采集频率要求较高，有的达到秒级甚至是毫秒级，这就需要有一种快速的异常数据的处理方法，能够编程实现并且计算快速，来对每个采集上来的数据进行分析，判断出异常数据，并做出相应的处理，剔除或者替换，将正常数据传送到采集系统中。

国内外研究文献中的异常数据的处理方法包括：

概率统计规则算法：包括拉依达准则法、格拉布斯准则法、肖维勒准则法、狄克逊准则法等，该类方法都要求数据满足正态分布，而许多实时数据并不满足该条件，另外该类方法都是基于数据为相同条件下的测量数据异常判断，而非动态变化的工业数据，因此拉以达准则也不能直接应用于工业实时数据的异常判断。

滤波算法：该方法要求系统状态方程和观测方程已知并且满足线性，而且计算方法较为复杂，不能满足更高实时性技术的要求，难以广泛应用。

基于密度的技术：该方法需要确定聚类的初始中心，并且两点之间的聚类阈值需要人工设定，计算结果差别大，如果采集数据过多，计算量大，不适用于实时异常数据的处理。

以上方法为主要在研究和试验中运用的异常数据的处理算法，都具有一定局限性，并且很难在工业实时处理采集系统中推广应用。

在工业实时数据采集系统，数据具有动态性和连续性，工业采集的实时数据是不断变化的，因为真实设备的采集测点本身就是在变化，在数据异常处理的采样数据集中，采集的数据并不一定满足正态分布。工业数据的实时变化一般由生产设备决定，实时数据和历史数据相关，运用一次指数平滑预测实时数据符合工业数据时间序列模型，当预测误差出现异常时，则认为采集数据为异常，因此对指数平滑的预测误差做异常检测。

而对于一次指数平滑预测实时数据处理方法，之前也有论文及发明专利文献提及，但是论文中运用的指数平滑方法的系数没有动态变化，并且误差从模型初始点开始统计，由于指数平滑的预测误差与初值选择、系数选择和迭代步数相关，这样统计的误差结果不符合每个数据的预测模型，模型开始部分的预测数据点的误差一般大于模型后面预测数据点的误差，造成异常判断的错误；专利文献中也没有指数平滑的预测误差运用拉以达准则进行判断，而是对当前采集值与前一采集值的差运用了拉以达准则，这种直接利用数据差分结果判断数据异常算法，以采集数据的差分数据为异常判断对象，没有充分满足拉以达准则使用的前提条件即等精度测量。指数平滑算法的系数只有两个选择，并且没有实现递推的指数平滑方法，预测精度不高。特别是对于一些有延迟的工业采集数据如温度、压力等容易造成误判。

发明内容

本发明的技术效果能够克服上述缺陷，提供一种实时数据采集系统的异常数据实时处理方法，其解决了工业数据采集数据的异常数据处理方法中的异常处理的准确性问题。

为实现上述目的，本发明采用如下技术方案：其包括如下步骤：

(1)初始化样本数据：选取运行正常的偶数个样本数据；

(2)用一次指数平滑方法，采用样本数据的1/2为移动步长，运用一次指数平滑递推方法对样本数据的后半部分进行预测；

(3)通过后半部分的预测值和实测值计算出预测结果的残差；

(4)对残差序列依据拉依达准则进行异常分析，确认实测值是否为异常数据；

(5)如果是异常数据，则用预测值替换该实测值。

本发明采用了对异常判断样本数据分两段，根据后半段的预测误差选择模型系数，提高了预测精度，同时对后半段的预测误差运用拉以达准则进行判断，以对采集数据的模型预测误差为判断对象，预测误差近似符合拉以达准则的条件，即总体满足正态分布和等精度测量(均值检验)。

本方法的主要技术为用自适应系数移动一次指数平滑方法，即采用数据样本的1/2为移动步长，运用移动一次指数平滑递推方法对样本的后半部分进行预测，通过采集样本和新采集值的实测值计算出预测结果的残差，通过拉依达准则进行判定新采集值是否为异常数据，如果为异常数据，则采用预测值替换该值。

步骤(1)中的运行正常的样本数据可采用两种方式来判断：①为对采集的当前运行的样本数据序列，进行正态分布检验并通过检验，再进行拉依达准则判断无异常；②或对采集的当前运行的样本数据差分序列，进行正态分布检验并通过检验，再进行拉依达准则判断无异常。经过上述两种方式对采集的要本数据进行判断，符合规定的即可认为是正常数据。

优选地，步骤(1)中的偶数个样本数据的取值范围为20-50之间的偶数。

步骤(2)中的一次指数平滑方法为：

y_t+1＝αx_t+(1-α)y_t，

本方法采用固定样本的移动一次指数平滑方法，即对2n个样本数据，利用1至n个数据预测第n+1个数据，利用2至n+1个数据预测第n+2个数据，以此递推预测至第2n个数据，形式为

y₁＝x₁，y_t+1＝αx_t+(1-α)y_t，…，c₁＝y_n+1＝αx_n+(1-α)y_n，

y₁＝x₂，y_t+1＝αx_t+(1-α)y_t，…，c₂＝y_n+1＝αx_n+(1-α)y_n，

…

y₁＝x_n，y_t+1＝αx_t+(1-α)y_t，…，c_n＝y_n+1＝αx_n+(1-α)y_n，

则序列{c₁,c₂,…c_n}为预测序列，

其中α为平滑系数、x_t为t时刻的实测值、y_t为时刻t的预测值、y_t+1为时刻t+1的预测值，n的取值范围为10≤n≤25。

优选地，平滑系数取值为0.2-0.6。

更加优选地，平滑系数为0.2-0.6之间每次间隔0.05、取值9次试算取步骤(4)中残差序列均方误差最小值对应的平滑系数，实现动态调整确定。

步骤(3)中预测结果的残差为r_i＝x_2i-c_i,i＝1,…,n。

步骤(4)中的异常数据判定：r_i-mean(r)>M*std(r)，其中，r_i为第i个预测结果的残差，i＝1,…,n；mean(r)为残差序列的均值；std(r)为残差序列的标准差；M为判定系数。

优选地，判定系数M取值为3。

本方法的主要优势在于预测算法系数自适应调整，采用移动指数平滑分析误差，异常判断方法更符合拉以达准则的使用条件，从而提高对异常数据判断的准确性，一定程度上不误判、不漏判。

附图说明

图1为本发明的流程示意图；

图2为本发明实施例数据曲线。

具体实施方式

如图1所示，本发明的实时数据采集系统的异常数据实时处理方法实现步骤如下：

(1)初始化样本数据，通过对数据曲线分析，选取运行正常的2n个样本数据用于异常处理模块的初始化样本数据。

(2)实时获取采集样本数据，包括历史数据和一个新采集的数据共同组成试验样本数据，设样本数据量为2n，样本数据量控制在20～50之间，取偶数个，样本序列记为

{x₁,x₂,…x_2n}，其中第2n个数据为新采集样本数据和待判定异常数据。

(3)利用一次指数方法对试验样本数据进行预测分析,平滑系数初值设为0.2，平滑预测值的初值为平滑样本的第一个样本值。

一次指数平滑方法形式为

y_t+1＝αx_t+(1-α)y_t，y₁＝x₁

本方法采用固定样本的移动一次指数平滑方法，即对2n个样本数据，利用1至n个数据预测第n+1个数据，利用2至n+1个数据预测第n+2个数据，以此递推预测至第2n个数据。形式为

y₁＝x₁，y_t+1＝αx_t+(1-α)y_t，…，c₁＝y_n+1＝αx_n+(1-α)y_n，

y₁＝x₂，y_t+1＝αx_t+(1-α)y_t，…，c₂＝y_n+1＝αx_n+(1-α)y_n，

…

y₁＝x_n，y_t+1＝αx_t+(1-α)y_t，…，c_n＝y_n+1＝αx_n+(1-α)y_n，

则序列{c₁,c₂,…c_n}为预测序列，并计算预测残差为r₁＝x_n+1-c₁，…，r_n＝x_2n-c_n，。

(4)令平滑系数初值加0.05，重复步骤(3)直至平滑系数为0.6，通过对预测结果的残差分析，选择残差序列{r₁,r₂,…r_n}均方误差最小的平滑系数为模型的平滑系数。

(5)对确定的残差序列{r₁,r₂,…r_n}依据拉依达准则(3σ准则)进行异常分析，主要分析r_n，即当满足r_i-mean(r)＞M×std(r)，M＝3，i＝1,…,n。其中mean(r)为{r_n}的均值，std(r)为{r_n}的标准差。根据数据运行的时间和业务背景，可以对判定系数M做适当调整，可调整异常性的强弱，但不能调整过大，否则失去拉依达准则的意义。

(6)当判定新采集值为异常值，采用预测值来代替后再上传数据，否则直接上传数据。通过本方法的实时运用，实时剔除异常数据，可以保持数据的连续稳定与正常采集。

如图2所示，以某工业采集的锅炉主蒸汽压力的90条数据(每3秒一条)，依次以41条数据为采集样本，递推50次，相当于50个采集样本。运用不同方法进行统计检验，得到

由上表可以看出，运用一次指数平滑和本发明中移动一次指数平滑进行误差分析比较，本发明更满足拉以达准则的条件。

但是直接用一次指数平滑进行预测，由于一次指数平滑的初值和平滑系数的选取，会造成部分数据特别的初始部分数据的预测误差增大，从而造成误差分析不准确，容易造成漏判。如对图2的数据进行异常判断，本发明方法判断最后一个数据为异常数据，而直接采用一次指数平滑进行误差判断，选择初值为第一个数据，平滑系数为0.2，结果为数据没有异常点。

从以上分析得出，本发明的异常数据处理方法，从预测准确性和差异判断规则的条件上都具有一定的优势，因此能够提高工业实时数据采集系统的异常数据判断的准确度。

本发明方法可用于工业数据采集系统的嵌入式应用，具体实现方式为：

1、根据本发明方法的实现原理，运用C++语言编程实现，并形成调用接口。

2、数据采集系统调用本方法的实现接口，并将数据系统采集软件安装到数据采集设备上(如热力发电厂生产信息化系统中的采集设备)。

3、数据采集系统实时采集工业生产运行数据，并通过本发明方法对每个数据测处理，将处理后的数据上传至上位系统中，实现数据的采集。

Claims (9)

1.一种实时数据采集系统的异常数据实时处理方法，其特征在于，包括如下步骤：

(1)初始化样本数据：选取运行正常的偶数个样本数据；

(2)用一次指数平滑方法，采用样本数据的1/2为移动步长，运用一次指数平滑递推方法对样本数据的后半部分进行预测；

(3)通过后半部分的预测值和实测值计算出预测结果的残差；

(4)对残差序列依据拉依达准则进行异常分析，确认实测值是否为异常数据；

(5)如果是异常数据，则用预测值替换该实测值。

2.根据权利要求1所述的实时数据采集系统的异常数据实时处理方法，其特征在于，步骤(1)中的运行正常的样本数据为对采集的当前运行的样本数据序列，进行正态分布检验并通过检验，再进行拉依达准则判断无异常；或对采集的当前运行的样本数据差分序列，进行正态分布检验并通过检验，再进行拉依达准则判断无异常。

3.根据权利要求1或2所述的实时数据采集系统的异常数据实时处理方法，其特征在于，步骤(1)中的偶数个样本数据的取值范围为20-50之间的偶数。

4.根据权利要求1所述的实时数据采集系统的异常数据实时处理方法，其特征在于，步骤(2)中的一次指数平滑方法为：

y_t+1＝αx_t+(1-α)y_t，

本方法采用固定样本的移动一次指数平滑方法，即对2n个样本数据，利用1至n个数据预测第n+1个数据，利用2至n+1个数据预测第n+2个数据，以此递推预测至第2n个数据，形式为

y₁＝x₁，y_t+1＝αx_t+(1-α)y_t，…，c₁＝y_n+1＝αx_n+(1-α)y_n，

y₁＝x₂，y_t+1＝αx_t+(1-α)y_t，…，c₂＝y_n+1＝αx_n+(1-α)y_n，

…

y₁＝x_n，y_t+1＝αx_t+(1-α)y_t，…，c_n＝y_n+1＝αx_n+(1-α)y_n，

则序列{c₁,c₂,…c_n}为预测序列，

其中α为平滑系数、x_t为t时刻的实测值、y_t为时刻t的预测值、y_t+1为时刻t+1的预测值，n的取值范围为10≤n≤25。

5.根据权利要求4所述的实时数据采集系统的异常数据实时处理方法，其特征在于，平滑系数取值为0.2-0.6。

6.根据权利要求5所述的实时数据采集系统的异常数据实时处理方法，其特征在于，平滑系数为0.2-0.6之间每次间隔0.05、取值9次试算取步骤(4)中残差序列均方误差最小值对应的平滑系数。

7.根据权利要求4所述的实时数据采集系统的异常数据实时处理方法，其特征在于，步骤(3)中预测结果的残差为r_i＝x_2i-c_i,i＝1,…,n。

8.根据权利要求4所述的实时数据采集系统的异常数据实时处理方法，其特征在于，步骤(4)中的异常数据判定：r_i-mean(r)>M*std(r)，其中，r_i为第i个预测结果的残差，i＝1,…,n；mean(r)为残差序列的均值；std(r)为残差序列的标准差；M为判定系数。

9.根据权利要求8所述的实时数据采集系统的异常数据实时处理方法，其特征在于，判定系数M取值为3。