CN116401535B - 基于差分法的时序数据粗差识别方法及系统 - Google Patents

Abstract

本发明属于数据识别技术领域，公开基于差分法的时序数据粗差识别方法与系统，该方法包括以下步骤：1.获取选定仪器的所有测值对；2.计算每个测值对的时间间隔序列和测值变化量序列；3.计算测值变化量序列的均值Av和标准差Sv；4.初步标记粗差的测值对；5.最终确定标记粗差的测值对；6.去除标记为粗差的测值对后，形成新的测值序列，重复步骤2到5，直到没有粗差。本发明考虑了监测仪器及其传感器测值长时间间隔后可能的阶跃问题，能够有效识别突变数据，并避免正常阶跃数据的误判。

Description

基于差分法的时序数据粗差识别方法及系统

技术领域

本发明属于数据识别技术领域，特别涉及基于差分法的时序数据粗差识别方法及系统。

背景技术

岩土工程安全监测中，监测仪器及其传感器受外部环境变化、电磁场干扰或自身稳定性影响，所测量的一系列数据中往往出现突变数据，这些数据不是真实的测量结果，在分析中应予剔除。目前，仅以测值序列进行的滑动平均法、一阶差分方法对于等间隔的数据适用性较好，但是，忽略了测量数据可能存在的不等时间间隔，容易将正常的阶跃数据误判为粗差。

发明内容

针对现有技术所存在的上述缺陷，本发明公开了基于差分法的时序数据粗差识别方法及系统，通过结合时间序列的特点，同时考虑时间序列及其测值特征，设置分段参数，能够有效识别突变数据，并防止时间间隔较长的正常的阶跃数据被误判。

本发明公开基于差分法的时序数据粗差识别方法，包括以下步骤：

S1，获取选定仪器的所有测值对；

S2，计算每个测值对的时间间隔序列和测值变化量序列；

S3，计算测值变化量序列的均值Av和标准差Sv；

S4，初步标记粗差的测值对；

S5，最终确定标记粗差的测值对；

S6，去除标记为粗差的测值对后，形成新的测值序列，重复S2到S5，直到没有粗差。

进一步的，所述S2中，计算每个测值对的时间间隔序列和测值变化量序列，记为{dT_j，dV_j}，计算公式为：

dT_j=T_i+1-T_i，dV_j=V_i+1-V_i

其中T_i为观测时间，V_i为测值，i为测值对序号，若n为测值对个数，则i=0，1，2，…，n-1，j=1，2，…，n-1。

进一步的，所述S4中，初步标记粗差的测值对，即设定参数α，

当|dV_j-Av|>αSv时，标记{T_j，V_j}为粗差，否则为正常；

其中，dV_j为测值变化量序列，Av为测值变化量序列{dV}的均值，α为设定参数，Sv为测值变化量序列{dV}的标准差。

进一步的，所述S5中，最终确定标记粗差的测值对，即设定时间间隔参数β，若{T_j，V_j}初步标记为粗差，则

当dT_j>β时，恢复{T_j，V_j}为正常；

当dT_j≤β时，最终标记{T_j，V_j}为粗差；

其中，dT_j为每个测值对的时间间隔序列，β为设定时间间隔参数。

相应的，本发明还提供基于差分法的时序数据粗差识别系统，其特征在于，该系统包括：监测数据存取模块，用于存储所有仪器的所有测值对；

监测数据查询模块，用于查询选定仪器的所有测值对；

绘制数据点线图模块，根据查询到的选定仪器的所有测值对绘制原数据图；

识别算法模块，执行上述基于差分法的时序数据粗差识别方法中的全部步骤，识别出所有的粗差测值对；

绘制标记模块，在原数据图上，标记出所有的粗差点，并将结果更新到监测数据存取模块。

本发明的有益效果在于：考虑了监测仪器及其传感器测值长时间间隔后可能的阶跃问题，能够有效识别突变数据，并避免正常阶跃数据的误判。

附图说明

图1为本发明方法的流程图。

图2为本发明的系统界面。

图3为本发明的系统模块及交互图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚，下面将结合本发明的附图，对本发明的技术方案进行清楚完整的描述。

如图1所示，本发明公开基于差分法的时序数据粗差识别方法，包括以下步骤：

S1，获取选定仪器设定时段内的所有测值对；

获取选定仪器设定时段内的所有测值对，记为{T_i，V_i}，其中T_i为观测时间，V_i为测值，i为测值对序号，若n为测值对个数，则i=0，1，2，…，n-1。

S2，计算每个测值对的时间间隔序列和测值变化量序列；

计算每个测值对的时间间隔序列和测值变化量序列，记为{dT_j，dV_j}，计算公式为：dT_j=T_i+1-T_i，dV_j=V_i+1-V_i

其中T_i为观测时间，V_i为测值，i为测值对序号，若n为测值对个数，则i=0，1，2，…，n-1，j=1，2，…，n-1。

S3，计算测值变化量序列的均值Av和标准差Sv。

S4，初步标记粗差的测值对；

初步标记粗差的测值对，即设定参数α，

当|dV_j-Av|>αSv时，标记{T_j，V_j}为粗差，否则为正常；

其中，dV_j为测值变化量序列，Av为测值变化量序列{dV}的均值，α为设定参数，Sv为测值变化量序列{dV}的标准差。

S5，最终确定标记粗差的测值对；

最终确定标记粗差的测值对，即设定时间间隔参数β，若{T_j，V_j}初步标记为粗差，则

当dT_j>β时，恢复{T_j，V_j}为正常；

当dT_j≤β时，最终标记{T_j，V_j}为粗差；

其中，dT_j为每个测值对的时间间隔序列，β为设定时间间隔参数。

S6，去除标记为粗差的测值对后，形成新的测值序列，重复S2到S5，直到没有粗差。

相应的，基于差分法的时序数据粗差识别方法，本发明还提供了基于差分法的时序数据粗差识别系统，对于不同的监测仪器及其传感器测值，通过调整参数α和β，获得最佳的标记效果，最终的参数可用于软件系统进行自动识别与标记，提高自动化处理能力。

如图2所示，本发明公开基于差分法的时序数据粗差识别系统，系统界面显示仪器K1b的测读频率平方数据在设定参数（α=5和β=3）下的识别结果，标记出所有的粗差点。

图3所示为系统模块交互过程，如图3所示，系统模块包括监测数据存取模块、监测数据查询模块、绘制数据点线图模块、识别算法模块、绘制标记模块。

监测数据存取模块，用于存储所有仪器的所有测值对；

监测数据查询模块，用于查询选定仪器的所有测值对；

绘制数据点线图模块，根据查询到的选定仪器的所有测值对绘制原数据图；

识别算法模块，执行上述基于差分法的时序数据粗差识别方法中的全部步骤，识别出所有的粗差测值对；

绘制标记模块，在原数据图上，标记出所有的粗差点，并将结果更新到监测数据存取模块。

Claims (2)

1.基于差分法的时序数据粗差识别方法，其特征在于，包括以下步骤：

S1，获取选定仪器的所有测值对，记为{T_i，V_i},其中T_i为观测时间，V_i为测值，i为测值对序号，若n为测值对个数，则i=0,1,2,…,n-1；

S2，计算每个测值对的时间间隔序列和测值变化量序列，记为{dT_j，dV_j}，计算公式为：

dT_j=T_i+1-T_i，dV_j=V_i+1-V_i

其中T_i为观测时间，V_i为测值，i为测值对序号，若n为测值对个数，则i=0，1，2，…，n-1，j=1，2，…，n-1；

S3，计算测值变化量序列的均值Av和标准差Sv；

S4，初步标记粗差的测值对，即设定参数α，

当|dV_j-Av|>αSv时，标记{T_j，V_j}为粗差，否则为正常；

其中，dV_j为测值变化量序列，Av为测值变化量序列{dV}的均值，α为设定参数，Sv为测值变化量序列{dV}的标准差；

S5，最终确定标记粗差的测值对，即设定时间间隔参数β，若{T_j，V_j}初步标记为粗差，则

当dT_j>β时，恢复{T_j，V_j}为正常；

当dT_j≤β时，最终标记{T_j，V_j}为粗差；

其中，dT_j为每个测值对的时间间隔序列，β为设定时间间隔参数；

S6，去除标记为粗差的测值对后，形成新的测值序列，重复S2到S5，直到没有粗差。

2.基于差分法的时序数据粗差识别系统，其特征在于，该系统包括：

监测数据存取模块，用于存储所有仪器的所有测值对；

监测数据查询模块，用于查询选定仪器的所有测值对；

绘制数据点线图模块，根据查询到的选定仪器的所有测值对绘制原数据图；

识别算法模块，执行所述权利要求1中的全部步骤，识别出所有的粗差测值对；

绘制标记模块，在原数据图上，标记出所有的粗差点，并将结果更新到监测数据存取模块。