CN108459920B - 一种试验数据野值的辨识与修正方法 - Google Patents

Abstract

本发明涉及一种试验数据野值的辨识与修正方法，包括如下步骤：采集试验数据序列；将数据序列去除初始均值；逐点野值识别；修正野值；恢复初始值。利用上述步骤，完成试验数据野值的辨识与修正，能够解决斑点型野值的人工处理会带来判读效率低、判读精度差、数据缺失等问题，有效地辨识和修复试验数据野值。

Description

一种试验数据野值的辨识与修正方法

技术领域

本发明涉及数据处理技术领域，尤其涉及一种试验数据野值的辨识与修正方法。

背景技术

试验数据是研究和分析设备工作性能指标的原始依据，试验数据数据质量的优劣直接影响数据处理分析结果、设备工作性能客观评估等。然而，数据从采集、编码、传输直至接收的过程要经历非常复杂的外部环境，譬如：记录器系统误差、电磁干扰和随机干扰等因素，数据不可避免地存在野值点或发生数据缺失的现象。在进行试验数据分析时，必须对数据进行预处理，准确辨识野值并进行修正，才能确保数据分析的有效性。

试验数据的野值一般包括孤立型野值和斑点型野值，孤立型野值以孤立点的形式出现，而斑点型野值往往以斑点状形式出现，连续多个采样点的数据异常。现有的野值识别方法大多利用时间序列中信号的时间相关性、数据统计特性对野值进行辨识，通过多项式外推拟合、最小二乘估计等方法进行修正。

这些方法对孤立型野值是很有效的，但对具有时间相关特性的斑点型野值却无法有效地识别。在实际处理过程中，斑点型野值的处理往往需要结合数据平滑性、递归趋势等数据先验信息进行主观性判读，然后直接剔除。斑点型野值的人工处理会带来判读效率低、判读精度差、数据缺失等问题，导致数据分析失效。因此，有效地辨识和修复试验数据野值，是数据处理领域亟待解决的难点。

发明内容

鉴于上述的分析，本发明旨在提供一种试验数据野值的辨识与修正方法，用以解决现有技术利用人工处理斑点型野值会带来判读效率低、判读精度差、数据缺失的问题。

本发明的目的主要是通过以下技术方案实现的：

一种试验数据野值的辨识与修正方法，其特征在于，包括以下步骤：

采集试验数据序列和时间序列；

将采集到的试验数据序列除去初始均值，得到修正数据x^MOD：x^MOD＝x-Mx；

对去除初始均值的数据序列，顺序逐点判断野值；

将判断为野值的数据进行修正。

本发明有益效果如下：采用本方法检验判断野值，不但能检验出孤立型野值，也能解决现有技术对检验斑点型野值不敏感的缺陷，与人工检验相比大大提高了野值判断的效率，实现了试验数据野值的自动判断与修正。

在上述方案的基础上，本发明还做了如下改进：

进一步，所述试验数据序列表示为x＝[x₁,…,x_k,…,x_m]，时间序列表示为t＝[t₁,…,t_k,…,t_m]，其中1≤k≤m，时间序列t和数据序列x均包含m个数值，t_k和x_k分别为第k个时间点与第k个试验数据值。

采用上述进一步方案的有益效果是：将采集到的实验数据序列与时间序列一一对应，可以在确定野值的同时对应相应的时间点。有效提高检验效率，避免数据混乱。

进一步，所述顺序逐点判断野值包括：

计算第k点数据的估计值；

计算修正数据x^MOD的标准差，根据标准差与估计值判断该点数据是否为野值。

采用上述进一步方案的有益效果是：逐点判断野值不但能检测出孤立型野值，还可以避免现有技术利用平滑性、递归性无法检验斑点型野值的缺陷。

进一步，所述第k点数据的估计值的计算公式为：

采用上述进一步方案的有益效果是：计算k点的估计值与实际值的做差，可以根据得到的差值的大小判断是否超出正常变动范围。

进一步，所述修正数据的标准差为std(x^MOD)，并引入判定系数λ，判断x_k是否为野值；

如果

时，判定其为野值；如果

时，判定x_k为正常值。

采用上述进一步方案的有益效果是：如果k的估计值与实际值的差值的大小在允许的差值范围内，则判断该数据是正常的，若超出允许的范围内，则判断为野值。

进一步，所述野值数据修正包括：

三次样条插值法得到更新的修正值；

将更新的修正值去除均值。

采用上述进一步方案的有益效果是：利用三次样条插值法的得到的值平滑的曲线，更符合数据序列的趋势。将得到的值去除均值可以安置在去均序列中。及时更新数据使得后续判断野值基于平滑的数据曲线，能更好的减小误差。

进一步，所述三次样条插值法的具体实施过程为：调用Matlab函数spline，利用x_k之前的k-1个数据，对第k点数据x_k进行修正，得到更新的修正值

采用上述进一步方案的有益效果是：用MATLAB直接调用Spline函数(此函数采用三次样条插值法)可以得到一条平滑的曲线，使得估计值更适合原数据趋势的变化。

进一步，所述更新的修正值去除均值是将每次得到更新的修正数据x^MOD′，需要按照下式进行去均值处理：

x^MOD″＝x^MOD′-mean(x^MOD′)，x^MOD″为去均值后的数据。

采用上述进一步方案的有益效果是：将每次更新的数据去均处理，即可以适应对应点的值。方便后续统一恢复数据序列。

进一步，还包括重复判断数据序列中野值与修正野值数据，直到最后一个数据。

采用上述进一步方案的有益效果是：逐点判断数据序列中的野值，避免丢失遗漏数据的情况。

进一步，还包括对去均值后的数据恢复初始均值Mx，得到最终数据x^MOD _最终：x^MOD _最终＝x^MOD″+Mx。

采用上述进一步方案的有益效果是：将数据序列恢复原序列的大小，完成实验数据序列的修正。

本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。

图1为本发明提供的一种试验数据野值的辨识与修正方法的基本流程示意图；

图2为一个具体实施例的试验数据示意图；

图3为一个具体实施例的修正试验数据示意图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。

实施例一：

本发明的一个具体实施例，公开了一种试验数据野值的辨识与修正方法。

本发明对试验数据野值的辨识与修正方法主要包括以下步骤：

步骤1、将试验数据的时间序列表示为t＝[t₁,…,t_k,…,t_m]，数据序列表示为x＝[x₁,…,x_k,…,x_m]导入MATLAB工作区，其中：1≤k≤m，时间序列t和数据序列x均包含m个数值，t_k和x_k分别为第k个时间点与第k个试验数据值；

步骤2、计算数据序列的初始均值Mx，在野值辨识之前进行去均值处理，得到修正数据x^MOD：x^MOD＝x-Mx；

步骤3、对x^MOD顺序逐点进行野值辨识。从数据序列的第五个数据开始，对数据序列进行逐点顺序拟合；第k点数据的估计值记为

计算估计值

与原始数据x_k的差值绝对值，判断x_k是否为野值，如果为野值，实施步骤4操作；如果不是野值，跳至步骤5，继续处理下一个数据x_k+1；

优选地，所述步骤3包括如下步骤：

步骤301、按照下式计算第k点数据的估计值：

步骤302、计算x^MOD的标准差std(x^MOD)作为判据，并引入判定系数λ(λ的选用范围为1～5之间)，判断x_k是否为野值；如果

时，判定其为野值；如果

时，判定x_k为正常值，继续处理下一个数据x_k+1。

步骤4、采用三次样条插值法修正野值x_k，得到第k点的修正值

用

替换掉x_k，得到更新的修正数据

并去除均值；

具体地，所述步骤4包括如下步骤：

步骤401、三次样条插值法的具体实施过程为：调用Matlab函数spline，利用x_k之前的k-1个数据，对第k点数据x_k进行修正，得到修正值

步骤402、每次得到更新的修正数据

需要按照下式进行去均值处理：

x^MOD″＝x^MOD′-mean(x^MOD′)，x^MOD″为去均值后的数据。

步骤5、重复步骤3～步骤4操作，直至完成最后一个数据x_m的野值辨识与修正；

步骤6、恢复数据的初始均值Mx,得到最终数据x^MOD _最终：x^MOD _最终＝x^MOD″+Mx。从而实现了试验数据野值的辨识与修正，修正的试验数据为x^MOD。

实施例二：

本实施例对采用实施例一所述试验数据野值的辨识与修正方法进行详细说明。

步骤1、模拟试验数据，并将模拟的数据导入到MATLAB工作区。按照如下方式构造数值信号时间序列t和数据序列x，模拟包含孤立型野值与斑点型野值的试验数据。

数值信号的具体形式如下：

t＝0.001:0.001:2s；

x＝e^-2tsin(2π4t)；

x(100:200:1900)＝2，人为地将0.1s,0.3s,...,1.9s的数据值定义为2，模拟孤立型野值；

人为地将0.5s～0.55s、1s～1.05s的数据定义为均匀噪声，模拟斑点型野值；试验数据示意图如图2所示，可见数据包含多个孤立型野值与两处斑点型野值，需要进行野值辨识修正。

步骤2、计算数据序列的取初始均值Mx，在野值辨识之前进行去均值处理，得到修正数据x^MOD：x^MOD＝x-Mx。

步骤3、对x^MOD顺序逐点进行野值辨识。从数据序列的第五个数据开始，对数据序列进行逐点顺序拟合；第k点数据的估计值记为

计算估计值

与原始数据x_k的差值绝对值，判断x_k是否为野值，

优选地，所述步骤3包括如下步骤：

步骤301、按照下式计算第k点数据的估计值：

步骤302、计算x^MOD的标准差std(x^MOD)作为判据，并引入判定系数λ(λ的选用范围为1～5之间)，判断x_k是否为野值；如果

时，判定其为野值；如果

时，判定x_k为正常值，继续处理下一个数据x_k+1。

优选地，λ的取值为3。

如果为野值，实施步骤4操作；如果不是野值，跳至步骤5，继续处理下一个数据x_k+1。

步骤4、调用Matlab函数spline，利用x_k之前的k-1个数据，对第k点数据x_k进行修正，得到修正值

每次得到更新的修正数据

需要按照下式进行去均值处理：

x^MOD″＝x^MOD′-mean(x^MOD′)，x^MOD″为去均值后的数据。

步骤5、重复步骤3～步骤4操作，直至完成最后一个数据x_m的野值辨识与修正。

步骤6、恢复数据的初始均值Mx：得到最终数据x^MOD _最终：x^MOD _最终＝x^MOD″+Mx。

从而实现了试验数据野值的辨识与修正，修正的试验数据为x^MOD _最终。

如图3所示，在上述1-6步的处理后其孤立型野值和斑点野值消失，并且不影响原正常数据的大小。

综上所述，本发明实施例提供了一种试验数据野值的辨识与修正方法，解决了斑点型野值的人工处理会带来判读效率低、判读精度差、数据缺失等问题，有效地辨识和修复试验数据野值。

本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种试验数据野值的辨识与修正方法，其特征在于，包括以下步骤：

采集试验数据序列和时间序列，所述试验数据序列表示为x＝[x₁,…,x_k,…,x_m]，时间序列表示为t＝[t₁,…,t_k,…,t_m]，其中1≤k≤m，时间序列t和数据序列x均包含m个数值，t_k和x_k分别为第k个时间点与第k个试验数据值；

将采集到的试验数据序列除去初始均值，得到修正数据x^MOD：x^MOD＝x-Mx；

对去除初始均值的数据序列，顺序逐点判断野值包括：

计算第k点数据的估计值，其中，所述第k点数据的估计值的计算公式为：

计算修正数据x^MOD的标准差，根据标准差与估计值判断该点数据是否为野值，其中，所述修正数据的标准差为std(x^MOD)，并引入判定系数λ，判断x_k是否为野值；

如果

时，判定其为野值；如果

时，判定x_k为正常值；

将判断为野值的数据进行修正。

2.根据权利要求1所述的试验数据野值的辨识与修正方法，其特征在于，所述野值数据修正包括：

三次样条插值法得到更新的修正值；

将更新的修正值去除均值。

3.根据权利要求2所述的试验数据野值的辨识与修正方法，其特征在于，所述三次样条插值法的具体实施过程为：调用Matlab函数spline，利用x_k之前的k-1个数据，对第k点数据x_k进行修正，得到更新的修正值

4.根据权利要求2所述的试验数据野值的辨识与修正方法，其特征在于，所述更新的修正值去除均值是将每次得到更新的修正数据x^MOD′，需要按照下式进行去均值处理：

x^MOD″＝x^MOD′-mean(x^MOD′)，x^MOD″为去均值后的数据。

5.根据权利要求1所述的试验数据野值的辨识与修正方法，其特征在于，还包括重复判断数据序列中野值与修正野值数据，直到最后一个数据。

6.根据权利要求4所述的试验数据野值的辨识与修正方法，其特征在于，还包括对去均值后的数据恢复初始均值Mx，得到最终数据x^MOD _最终：x^MOD _最终＝x^MOD″+Mx。

Images