CN112000519B - 一种采样数据异常值修复方法及装置 - Google Patents
一种采样数据异常值修复方法及装置 Download PDFInfo
- Publication number
- CN112000519B CN112000519B CN202010825283.9A CN202010825283A CN112000519B CN 112000519 B CN112000519 B CN 112000519B CN 202010825283 A CN202010825283 A CN 202010825283A CN 112000519 B CN112000519 B CN 112000519B
- Authority
- CN
- China
- Prior art keywords
- data
- sampling
- sequence
- value
- repair
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005070 sampling Methods 0.000 title claims abstract description 210
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000008439 repair process Effects 0.000 claims abstract description 79
- 238000004590 computer program Methods 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 2
- 238000001514 detection method Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 230000005856 abnormality Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 4
- 238000011084 recovery Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000003139 buffering effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1479—Generic software techniques for error detection or fault masking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Complex Calculations (AREA)
- Emergency Protection Circuit Devices (AREA)
Abstract
本发明公开了一种采样数据异常值修复方法，通过选取原始采样值序列中采样数据并结合修复输出序列中的采样数据构建数据窗，根据函数极值原理对数据窗内采样数据进行异常数据识别，并结合数据窗内采样数据对疑似异常的数据进行修复，实现了对采样异常数据的剔除。本发明具有简单易实现，延迟小，修复精度高，无需计算门槛值和运算量低等优点，具有良好的应用前景。
Description
技术领域
本发明涉及一种对单点采样数据异常值的检测和修复方法与装置，属于数据采集和处理技术领域。
背景技术
随着电子技术的进步，在工业过程控制、精密测量、电力自动化等领域，数字采样系统的应用越来越广泛。对模拟采样的系统而言，由于采样元件的偶发故障或者外部的电气骚扰，会使采样数据出错，对基于数字传输的远程采样系统来说，即使前端采样结果正确，也会因为通信系统的偶发性误码未被系统检出导致错误的数据。根据工程实践，对于雷击浪涌等强干扰导致的异常数据以及由通信系统误码引发的异常数据大多时候偏离正常数据集较远，比较容易识别，而对于磁场骚扰等，采样系统多表现为个别采样点轻微异常，往往会导致识别不出来，另外一方面，工业过程量和电力系统的电气量受负载扰动、系统控制或设备故障等原因往往会伴随着暂态过程，引发测量信号的暂态波动进一步增加异常数据识别难度。
对继电保护来说，电气量采样异常已经成为造成保护误动的主要原因，因此必须对采样值进行实时判断，避免异常数据引起保护装置误动、系统误操作等情况发生。而对测量系统来说，即使较小的异常数据也会影响测量精度，准确快速地剔除异常数据还将进一步提高工业控制系统的控制精度和系统响应时间。对于工业过程控制和电力系统继电保护等系统，要求异常点检测延时必须很短，但是要实现在较短的检测数据窗内准确区分飞点采样数据和系统故障时的正常暂态采样值，有很大的难度。
目前，对于采样异常点的影响已有了一些解决方法：
(1)、滤波法
在采样前端增加模拟滤波器，并降低滤波器带宽和提升阻带衰减，或者将采样数据序列经过数字滤波器，可以根据需要增加滤波器的冲激响应长度，利用数字滤波器来减少或消弱异常点的影响。
(2)、冗余采样方案
系统配置两套前端采样模块，只有两套采样模块数据正常后端应用模块才正常工作，否则进入设备故障应对模式，在单套采样模块异常时可以保证应用系统不发送误动作。
(3)、基于门槛的采样点判决
由于电磁骚扰或其偶发性采样数据异常所持续的时间一般很短，通过设置固定的门槛或动态计算的门槛，只有在采样数据窗内达到门槛的采样数据达到一定数量才可以启动应用模块功能。所以此方案适用于对响应时间不敏感的应用场景。
以上几种方法能在一定程度上减少或避免异常采样数据的影响，均存在一些不足，如针对性不强、灵敏度不高、门槛不易整定、数据窗要求较长、实时性差、系统响应时间长，无法改善异常点对精密测量的影响等问题：
(1)、无论模拟滤波器还是数字滤波器，其实质是将单个异常点的影响分摊到后续的多个采样点中，并没有针对性地剔除异常点，增加传统滤波器的滤波效果是以延长系统响应时间为代价的。此外对于一些精密测量系统来说，滤波器的影响并不能改善异常点对测量精度的影响；
(2)、对于外部电磁骚扰引发的采样异常，即使采样前端冗余也无法解决，因为此时冗余系统采样结果是一致的，而且若冗余系统中的一套系统出现偶发性采样异常必将影响系统整体响应时间。
(3)、基于门槛值的多次判别实际上延长了系统响应时间，严重影响对时间敏感的应用实时性能，如基于采样值策略超快速继电保护、基于采样值控制的电力电子系统等。
综上所述，采样数据的快速异常检测和异常值修复是当前首要解决的问题。
发明内容
本发明的目的在于克服现有技术中的不足，提供一种简单易实现，延迟小，恢复精度高，无需计算门槛值和运算量低且适合硬件加速的采样数据异常值修复方法与装置，解决采样数据的快速异常检测和异常值修复技术问题。
为达到上述目的，本发明是采用下述技术方案实现的：
第一方面，本发明提供了一种采样数据异常值修复方法，所述方法包括以下步骤：
选取原始采样值序列中采样数据并结合修复输出序列中的采样数据构建数据窗；根据函数极值原理对数据窗内采样数据进行异常数据识别；结合数据窗内采样数据对疑似异常的数据进行修复。
进一步的，所述方法还包括以下步骤：对信号进行等间隔连续采样，获得原始采样值序列{x(n)}。
进一步的，所述数据窗的构建方法包括以下步骤：
取原始采样值序列{x(n)}的最新三个采样点以及修复输出序列{y(m)}中的最新两个采样点，构成5个采样数据的数据窗，记为{x1,x2,x3,x4,x5}，其中，x5对应当前时刻的最新采样点x(n)，n为采样序列{x(n)}中当前最新采样点的序号，x4对应原始采样序列中x(n)的上一采样节拍的值x(n-1)，x3对应原始采样序列中x(n)的上两个采样节拍的值x(n-2)，而x2对应当前时刻修复输出序列{y(m)}中上一节拍的修复采样数据y(m-1)，x1对应修复输出序列{y(m)}中上两个采样节拍的采样数据y(m-2)，m为拟写入到修复输出序列{y(m)}的最新修复输出值序号。
进一步的，识别异常数据的方法包括以下步骤：
若(x2-x3)×(x3-x4)为非负数，则认为该所述数据窗的采样值正常，否则判别该所述数据窗的采样值为疑似异常。
进一步的，疑似异常数据的修复的方法包括如下步骤：取中间变量u的初值为x3，发现疑似异常数据后，若(x3-x4)×(x4-x5)为负数，则按公式(1)重新计算中间变量u；
若(x3-x4)×(x4-x5)不为负数，则计算表达式[(x1-x2)×(x2-x3)]的符号，若(x1-x2)×(x2-x3)为负数，则按公式(2)更新中间变量u，否则按公式(3)更新中间变量u；
更新中间变量u到输出变量y(m)，即y(m)＝u，将y(m)作为修复输出值更新至修复输出序列{y(m)}。
进一步的，所述方法还包括以下步骤：当前数据窗数据修复完成后移动原始采样值序列的读取指针和修复输出序列的读写指针，继续对采样数据进行处理直至原始采样数据被处理完。
第二方面，本发明提供了一种采样数据异常值修复装置，所述装置包括：
数据窗模块：用于选取原始采样值序列中采样数据并结合修复输出序列中的采样数据构建数据窗；
识别模块：用于对数据窗内采样数据进行异常数据识别；
修复模块：用于结合数据窗内采样数据对疑似异常的数据进行修复。
进一步的，还包括采样模块：用于对信号进行等间隔采样，生成原始采样值序列。
第三方面，本发明还提供了一种采样数据异常值修复装置，包括处理器及存储介质和I/O接口设备；所述存储介质用于存储指令；所述I/O接口设备用于获取离线采集的或者在线采集的原始采样值序列；所述处理器用于根据所述指令进行操作以执行根据上述采样数据异常值修复方法的步骤。
第四方面，本发明上述还提供了计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时从I/O接口设备提取原始采样值序列，实现上述采样数据异常值修复方法的步骤。
与现有技术相比，本发明所达到的有益效果：
本发明通过选取原始采样值序列中采样数据并结合修复输出序列中的采样数据构建短数据窗，根据极值原理对数据窗内采样数据进行异常数据识别，并结合数据窗内采样数据对疑似异常的数据进行修复，实现了对采样异常数据的剔除，具有简单易实现，数据缓冲少、延迟小，恢复精度高，无需计算门槛值和运算量低、适合硬件加速等优点，具有良好的应用前景。
附图说明
图1是本发明的数据窗构造示意图；
图2是本发明的异常数据检测和修复流程图；
图3是采样异常数据案例1；
图4是采样异常数据案例2；
图5是采样异常数据案例3；
图6是本发明异常数据剔除和修复效果图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
本发明的目的在于克服现有技术中的不足，提供一种简单易实现，延迟小，恢复精度高，无需计算门槛值和运算量低适合硬件加速的采样数据异常值修复方法与装置，解决采样数据的快速异常检测和异常值修复技术问题。
实施例一：
本发明的采样数据异常值修复方法，首先利用连续的三点极值检测发现疑似异常采样数据，随后进一步检测邻近三点极值检测确认异常采样点，最多三次进行疑似异常值识别，再选取邻近正确采样数据进行数据修复。
下面将结合说明书附图，从技术原理和工程实施两个方面对本发明作进一步的说明。
1.技术基础
1.1.异常检测
工程上，异常采样数据是指采样值和系统实际值不符或误差超过一定的范围表现，就局部来说，表现为采样序列的局部极大值(或极小值)，如附图3、附图4和附图5所示。而在数学上，函数极值点可能出现在间断点、边界点或导数为0点，常用判别方法如下：
若函数f(x)可导，f'(x0)＝0，且对于/>有f'(x0)＞0(或f'(x0)＜0)同时/>有f'(x0)＜0(或f'(x0)＞0)，则x0是f(x)的极大点(或极小点)，对应的f(x0)为函数f(x)的极大值(或极小值)。
本发明根据上述数学原理，采用差分替代微分，将采样异常点检测转变为在连续信号的采样序列{x(n)}中寻找符合公式(4)采样数据点：
[x(n-1)-x(n)][x(n)-x(n+1)]＜0 (4)
进一步地，认为x(n)为这3点之中的极大值(或极小值)，同时也是疑似异常采样数据。
1.2.数据修复
根据二阶拉格朗日插值原理，已知信号x(t)在t0,t1,t2时刻的值x(t0),x(t1),x(t2)，对应时刻t0≤t≤t2，则信号在时刻t的采样值可以表示为：
x(t)＝kax(t0)+kbx(t1)+kcx(t2) (5)
其中：
进一步地，本发明在检测出异常采样数据后，剔除当前疑似异常采用数据，同时利用邻近的正常数据，通过公式(5)估计采样异常时刻的系统真实值，并以此替代异常点的异常采样数据，实现数据修复。
2.工程实施
2.1.数据窗构造
本发明实施案例基于5点的数据窗{x1,x2,x3,,x4,x5}，其构造方法如附图1所示。从时间上来看，x1最早，x2,x3,x4次之，x5最新。从数据来源看x1,x2来自修复输出序列{y(m)}，x3,x4,x5对应原始采样序列{x(n)}，其中，x5对应当前时刻的最新采样点x(n)，n为采样序列{x(n)}中当前最新采样点的序号，x4对应原始采样序列中x(n)的上一采样节拍的值x(n-1)，x3对应原始采样序列中x(n)的上两个采样节拍的值x(n-2)，而x2对应当前时刻修复输出序列{y(m)}中上一节拍的修复采样数据y(m-1)，x1对应修复输出序列{y(m)}中上两个采样节拍的采样数据y(m-2)，m为拟写入到修复输出序列{y(m)}的最新修复输出值序号。
2.2.异常检测和修复
设系统采样间隔为Ts，附图3～4给出具有一个采样异常点x3(位于时刻t)案例，其中图3a和图4a为单调下降的曲线中出现异常点，图3b和图4b为单调上升的曲线中出现异常点，而附图5a附图5b则分别对应图3a和图3b的移位。本发明根据异常点在数据窗的位置采取不同的异常点识别和修复方法。
场景(1)类似于图3a，在时刻t采样数据出现疑似异常，对应值为x3，此时x2,x3,x4构成的曲线段在t处出现极小值x3，而以x3,x4,x5构成的曲线段出现极大值为x4。对于此种情况，本发明选取数据点x1,x2,x5来估计x3。
进一步地，参照公式5和附图3，记t0＝0、t1＝Ts、t2＝4Ts，取t＝2Ts，则计算ka、kb、kc得则疑似异常x3的估算值/>可用下式计算：
场景(2)类似于图5a，在时刻t采样数据出现疑似异常，对应采样值x3,此时由x2,x3,x4构成的曲线段在t处出现极大值x3，同时由x1,x2,x3构成的曲线段出现极小值x2。对于此种情况，本发明选取数据点x1,x4,x5来估计x3。
进一步地参照公式(5)和附图5，记t0＝0、t1＝3Ts、t2＝4Ts，取t＝2Ts，则计算ka、kb、kc的则疑似异常x3的估算值/>可用下式计算：
场景(3)对于在时刻t采样数据出现疑似异常，此时由x2,x3,x4构成的曲线段在t处出现极值x3，同时由x1,x2,x3构成的曲线段和x3,x4,x5构成的曲线段均未出现极值，对于此种情况，本发明选取数据点x1,x2,x4来估计x3。
进一步地参照公式5和附图5，记t0＝0、t1＝Ts、t2＝3Ts其t＝2Ts，则计算ka、kb、kc的kb＝1，/>则疑似异常x3的估算值/>可用下式计算：
2.3.技术实现
附图1展示了本发明5点的数据窗{x1,x2,x3,,x4,x5}的构造方法，附图2则展示了基于单个异常点的检测与修复流程，本发明的技术实施包括以下步骤：
步骤(1)，以间隔Ts对信号进行连续采样，获得原始采样值序列{x(n)}；
步骤(2)，取信号原始采样值序列{x(n)}的最新三个采样点以及修复输出序列{y(m)}中的最新两个采样点，构成5个采样数据的数据窗，记为{x1,x2,x3,x4,x5}，其中，x5对应当前时刻的最新采样点x(n)，n为采样序列{x(n)}中当前最新采样点的序号，x4对应原始采样序列中x(n)的上一采样节拍的值x(n-1)，x3对应原始采样序列中x(n)的上两个采样节拍的值x(n-2)，而x2对应当前时刻修复输出序列{y(m)}中上一节拍的修复采样数据y(m-1)，x1对应修复输出序列{y(m)}中上两个采样节拍的采样数据y(m-2)，m为拟写入到修复输出序列{y(m)}的最新修复输出值序号；
步骤(3),取u为中间变量并设初值为x3，计算表达式[(x2-x3)×(x3-x4)]的符号，若sgn[(x2-x3)×(x3-x4)]为-1则转步骤(4),否则直接转步骤(6)，其中sgn[x]表示参数x的正负号，若参数为负则输出-1，若参数为正则输出+1，若参数为0则输出0；
步骤(4),计算表达式[(x3-x4)×(x4-x5)]的符号，若sgn[(x3-x4)×(x4-x5)]为-1，则先按公式(9)更新中间变量u后再转步骤(6)，否则直接转步骤(5)：
步骤(5),计算表达式[(x1-x2)×(x2-x3)]的符号，若sgn[(x1-x2)×(x2-x3)]为-1，则先按公式(10)更新中间变量u后再转步骤(6)，否则按公式(11)更新中间变量后转步骤(6)；
步骤(6)，更新中间变量u到输出变量y(m)，即y(m)＝u，将y(m)作为修复输出值更新至修复输出序列{y(m)}，并转步骤(2)继续检查新的采样数据。
随着采样的进行，算法将获得原始采样序列的修复输出序列{y(m)},且修复后输出序列{y(m)}在时间上相比原始输入序列{x(n)}滞后两个采样间隔。
附图6展示了本发明一个异常检测与修复的效果，图6a为一个包含异常数据的正弦采样序列，图6b为经过本发明的修复处理之后的正弦采样序列，进一步证明了本发明的实施效果。
综上所述，本发明结合原始采样序列{x(n)}和修复输出序列{y(m)}构建了5点数据窗，通过数据窗内连续3点间的差分符号变化来识别疑似异常点，并合理选择邻近的3个点通过插值完成疑似异常数据点修复，最多三次进行疑似异常值识别。本发明具有简单易实现，同时具有数据缓冲少，输出延迟小，异常数据恢复精度高，无需动态计算门槛，运算量低，适合硬件加速等优点，具有良好的应用前景。
实施例二：
本发明提供了一种采样数据异常值修复装置，能够用于实现实施例一所述的方法步骤，所述装置包括：
数据窗模块：用于选取原始采样值序列中采样数据并结合修复输出序列中的采样数据构建数据窗；
识别模块：用于对数据窗内采样数据进行异常数据识别；
修复模块：用于结合数据窗内采样数据对疑似异常的数据进行修复。
还包括采样模块：用于对信号进行等间隔采样，生成原始采样值序列；
实施例三：
本发明还提供了一种采样数据异常值修复装置，包括处理器、存储介质和和I/O接口设备；所述存储介质用于存储指令；所述I/O接口设备用于获取离线采集的或者在线采集的原始采样值序列；所述处理器用于根据所述指令进行操作以执行根据下述方法的步骤：
步骤(1)，通过I/O接口设备获取离线采集的原始采样值序列{x(n)}，或者以间隔Ts在线对信号进行连续采样，获得原始采样值序列{x(n)}；
步骤(2)，取信号原始采样值序列{x(n)}的最新三个采样点以及修复输出序列{y(m)}中的最新两个采样点，构成5个采样数据的数据窗，记为{x1,x2,x3,x4,x5}，其中，x5对应当前时刻的最新采样点x(n)，n为采样序列{x(n)}中当前最新采样点的序号，x4对应原始采样序列中x(n)的上一采样节拍的值x(n-1)，x3对应原始采样序列中x(n)的上两个采样节拍的值x(n-2)，而x2对应当前时刻修复输出序列{y(m)}中上一节拍的修复采样数据y(m-1)，x1对应修复输出序列{y(m)}中上两个个采样节拍的采样数据y(m-2)，m为拟写入到修复输出序列{y(m)}的最新修复输出值序号；
步骤(3),取u为中间变量并设初值为x3，计算表达式[(x2-x3)×(x3-x4)]的符号，若sgn[(x2-x3)×(x3-x4)]为-1则转步骤(4),否则直接转步骤(6)，其中sgn[x]表示参数x的正负号；
步骤(4),计算表达式[(x3-x4)×(x4-x5)]的符号，若sgn[(x3-x4)×(x4-x5)]为-1，则先按公式(12)更新中间变量u后再转步骤(6)，否则直接转步骤(5)：
步骤(5),计算表达式[(x1-x2)×(x2-x3)]的符号，若sgn[(x1-x2)×(x2-x3)]为-1，则先按公式(13)更新中间变量u后再转步骤(6)，否则按公式(14)更新中间变量后转步骤(6)；
步骤(6)，更新中间变量u到输出变量y(m)，即y(m)＝u，将y(m)作为修复输出值更新至修复输出序列{y(m)}，并转步骤(2)继续检查新的采样数据。
随着采样的进行，算法将获得原始采样序列的修复输出序列{y(m)},且修复后输出序列{y(m)}在时间上相比原始输入序列{x(n)}滞后两个采样间隔。
实施例四：
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现下述方法的步骤：
步骤(1)，从I/O接口设备提取原始采样值序列{x(n)}；
步骤(2)，取信号原始采样值序列{x(n)}的最新三个采样点以及修复输出序列{y(m)}中的最新两个采样点，构成5个采样数据的数据窗，记为{x1,x2,x3,x4,x5}，其中，x5对应当前时刻的最新采样点x(n)，n为采样序列{x(n)}中当前最新采样点的序号，x4对应原始采样序列中x(n)的上一采样节拍的值x(n-1)，x3对应原始采样序列中x(n)的上两个采样节拍的值x(n-2)，而x2对应当前时刻修复输出序列{y(m)}中上一节拍的修复采样数据y(m-1)，x1对应修复输出序列{y(m)}中上两个采样节拍的采样数据y(m-2)，m为拟写入到修复输出序列{y(m)}的最新修复输出值序号；
步骤(3),取u为中间变量并设初值为x3，计算表达式[(x2-x3)×(x3-x4)]的符号，若sgn[(x2-x3)×(x3-x4)]为-1则转步骤(4),否则直接转步骤(6)，其中sgn[x]表示参数x的正负号；
步骤(4),计算表达式[(x3-x4)×(x4-x5)]的符号，若sgn[(x3-x4)×(x4-x5)]为-1，则先按公式(15)更新中间变量u后再转步骤(6)，否则直接转步骤(5)：
步骤(5),计算表达式[(x1-x2)×(x2-x3)]的符号，若sgn[(x1-x2)×(x2-x3)]为-1，则先按公式(16)更新中间变量u后再转步骤(6)，否则按公式(17)更新中间变量后转步骤(6)；
步骤(6)，更新中间变量u到输出变量y(m)，即y(m)＝u，将y(m)作为当前修复输出值更新至修复输出序列{y(m)}，并转步骤(2)继续检查新的采样数据。
随着原始采样数据的读入，算法将获得原始采样序列的修复输出序列{y(m)},且修复后输出序列{y(m)}在时间上相比原始输入序列{x(n)}滞后两个采样间隔。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (8)
1.一种采样数据异常值修复方法，所述采样数据包括电气量采样数据，其特征在于，所述方法包括以下步骤：
根据原始采样值序列中采样数据并结合修复输出序列中的采样数据构建数据窗；
根据函数极值原理对数据窗内采样数据进行异常数据识别；
通过数据窗内的采样数据对异常数据进行修复；
其中，所述数据窗的构建方法包括以下步骤：
取原始采样值序列{x(n)}的最新三个采样点以及修复输出序列{y(m)}中的最新两个采样点，构成5个采样数据的数据窗，记为{x 1 ,x 2 ,x 3 ,x 4 ,x 5 }，其中，x 5 对应当前时刻的最新采样点x(n)，n为采样序列{x(n)}中当前最新采样点的序号，x 4 对应原始采样序列中x(n)的上一采样节拍的值x(n-1)，x 3 对应原始采样序列中x(n)的上两个采样节拍的值x(n-2)，而x 2 对应当前时刻修复输出序列{y(m)}中上一节拍的修复采样数据y(m-1)，x 1 对应修复输出序列{y(m)}中上两个采样节拍的修复采样数据y(m-2)，m为拟写入到修复输出序列{y(m)}的最新修复输出值序号；
其中，识别异常数据的方法包括以下步骤：
若(x 2 -x 3 )×(x 3 -x 4 )为负数，则认为所述数据窗内采样值异常，否则判别所述数据窗内采样值正常，并把x 3 更新到输出变量y(m)，即y(m)=x 3 ，同时将y(m)更新至修复输出序列{y (m)}。
2.根据权利要求1所述的采样数据异常值修复方法，其特征在于，所述方法还包括以下步骤：
对信号进行等间隔连续采样，获得原始采样值序列{x(n)}。
3.根据权利要求1所述的采样数据异常值修复方法，其特征在于，异常数据的修复的方法包括如下步骤：
取中间变量u并设置初值为x 3 ，
发现异常数据后，若(x 3 -x 4 )×(x 4 -x 5 )为负数，则按公式（1）重新计算中间变量u；
（1）
若(x 3 -x 4 )×(x 4 -x 5 )不为负数，则计算表达式(x 1 -x 2 )×(x 2 -x 3 )的符号，若(x 1 -x 2 )×(x 2 - x 3 )为负数，则按公式（2）更新中间变量u，否则按公式（3）更新中间变量u；
（2）
（3）
更新中间变量u到输出变量y(m)，即y(m)=u，将y(m)作为修复输出值更新至修复输出序列{y(m)}。
4.根据权利要求1所述的采样数据异常值修复方法，其特征在于，所述方法还包括以下步骤：当前数据窗数据修复完成后移动原始采样值序列的读取指针和修复输出序列的读写指针，继续对采样数据进行处理直至原始采样数据被处理完。
5.一种采样数据异常值修复装置，所述采样数据包括电气量采样数据，其特征在于，所述装置包括：
数据窗模块：用于选取原始采样值序列中采样数据并结合修复输出序列中的采样数据构建数据窗；
识别模块：用于对数据窗内采样数据进行异常数据识别；
修复模块：用于结合数据窗内采样数据对疑似异常的数据进行修复；
其中，所述数据窗的构建方法包括以下步骤：
取原始采样值序列{x(n)}的最新三个采样点以及修复输出序列{y(m)}中的最新两个采样点，构成5个采样数据的数据窗，记为{x 1 ,x 2 ,x 3 ,x 4 ,x 5 }，其中，x 5 对应当前时刻的最新采样点x(n)，n为采样序列{x(n)}中当前最新采样点的序号，x 4 对应原始采样序列中x(n)的上一采样节拍的值x(n-1)，x 3 对应原始采样序列中x(n)的上两个采样节拍的值x(n-2)，而x 2 对应当前时刻修复输出序列{y(m)}中上一节拍的修复采样数据y(m-1)，x 1 对应修复输出序列{y(m)}中上两个采样节拍的修复采样数据y(m-2)，m为拟写入到修复输出序列{y(m)}的最新修复输出值序号；
其中，识别异常数据的方法包括以下步骤：
若(x 2 -x 3 )×(x 3 -x 4 )为负数，则认为所述数据窗内采样值异常，否则判别所述数据窗内采样值正常，并把x 3 更新到输出变量y(m)，即y(m)=x 3 ，同时将y(m)更新至修复输出序列{y (m)}。
6.根据权利要求5所述的采样数据异常值修复装置，其特征在于，还包括采样模块：用于对信号进行等间隔采样，生成原始采样值序列。
7.一种采样数据异常值修复装置，其特征在于，包括处理器及存储介质和I/O接口设备；
所述存储介质用于存储指令；
所述I/O接口设备用于获取离线采集的或者在线采集的原始采样值序列；
所述处理器用于根据所述指令进行操作，从I/O接口设备提取原始采样值序列，以执行根据权利要求1~4任一项所述方法的步骤。
8.计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1~4任一项所述方法的步骤。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010825283.9A CN112000519B (zh) | 2020-08-17 | 2020-08-17 | 一种采样数据异常值修复方法及装置 |
| PCT/CN2021/096654 WO2022037172A1 (zh) | 2020-08-17 | 2021-05-28 | 一种采样数据异常值修复方法及装置 |
| ZA2021/06321A ZA202106321B (en) | 2020-08-17 | 2021-08-30 | Method and apparatus for repairing abnormal value of sampling data |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010825283.9A CN112000519B (zh) | 2020-08-17 | 2020-08-17 | 一种采样数据异常值修复方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112000519A CN112000519A (zh) | 2020-11-27 |
| CN112000519B true CN112000519B (zh) | 2023-11-28 |
Family
ID=73472537
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010825283.9A Active CN112000519B (zh) | 2020-08-17 | 2020-08-17 | 一种采样数据异常值修复方法及装置 |
Country Status (3)
| Country | Link |
|---|---|
| CN (1) | CN112000519B (zh) |
| WO (1) | WO2022037172A1 (zh) |
| ZA (1) | ZA202106321B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112000519B (zh) * | 2020-08-17 | 2023-11-28 | 南京磐能电力科技股份有限公司 | 一种采样数据异常值修复方法及装置 |
| CN112905958B (zh) * | 2021-01-27 | 2024-04-19 | 南京国电南自电网自动化有限公司 | 基于测控装置的短时数据窗遥测数据状态辨识方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5465321A (en) * | 1993-04-07 | 1995-11-07 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Hidden markov models for fault detection in dynamic systems |
| CN102707132A (zh) * | 2012-05-21 | 2012-10-03 | 国电南瑞科技股份有限公司 | 一种数字化保护测控装置异常采样值动态处理方法 |
| CN105138843A (zh) * | 2015-08-26 | 2015-12-09 | 长园深瑞继保自动化有限公司 | 电力系统采样飞点检测及其修复方法 |
| CN110211099A (zh) * | 2019-05-18 | 2019-09-06 | 安徽大学 | 综合麦穗正反面病情的小麦赤霉病检测方法及装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105573853B (zh) * | 2015-12-18 | 2018-06-26 | 国电南瑞科技股份有限公司 | 基于双重化数据窗的采样异常数据处理方法 |
| CN107657288B (zh) * | 2017-10-26 | 2020-07-03 | 国网冀北电力有限公司 | 一种基于孤立森林算法的电力调度流数据异常检测方法 |
| CN110244099A (zh) * | 2019-06-24 | 2019-09-17 | 河南工业大学 | 基于用户电压的窃电检测方法 |
| CN112000519B (zh) * | 2020-08-17 | 2023-11-28 | 南京磐能电力科技股份有限公司 | 一种采样数据异常值修复方法及装置 |
-
2020
- 2020-08-17 CN CN202010825283.9A patent/CN112000519B/zh active Active
-
2021
- 2021-05-28 WO PCT/CN2021/096654 patent/WO2022037172A1/zh active Application Filing
- 2021-08-30 ZA ZA2021/06321A patent/ZA202106321B/en unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5465321A (en) * | 1993-04-07 | 1995-11-07 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Hidden markov models for fault detection in dynamic systems |
| CN102707132A (zh) * | 2012-05-21 | 2012-10-03 | 国电南瑞科技股份有限公司 | 一种数字化保护测控装置异常采样值动态处理方法 |
| CN105138843A (zh) * | 2015-08-26 | 2015-12-09 | 长园深瑞继保自动化有限公司 | 电力系统采样飞点检测及其修复方法 |
| CN110211099A (zh) * | 2019-05-18 | 2019-09-06 | 安徽大学 | 综合麦穗正反面病情的小麦赤霉病检测方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 5G网络技术对提升4G网络性能的研究;刘奕;;数码世界(第04期);全文 * |
| 基于可去间断点的连续采样飞点检测算法;吴文举;占捷文;;电力系统保护与控制(第04期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022037172A1 (zh) | 2022-02-24 |
| ZA202106321B (en) | 2021-10-27 |
| CN112000519A (zh) | 2020-11-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112000519B (zh) | 一种采样数据异常值修复方法及装置 | |
| US20230318887A1 (en) | Clock data recovery with decision feedback equalization | |
| Ahn et al. | $ cal H_infty $ FIR Filters for Linear Continuous-Time State–Space Systems | |
| US8954294B2 (en) | Measuring device and measuring method for continuous physical quantity | |
| CN109450405B (zh) | 一种应用于ad采集中的复合式软件滤波方法及系统 | |
| CN110968833A (zh) | 一种用于模拟量校准的校准函数关系获取方法及装置 | |
| CN109586645B (zh) | 一种永磁同步电机惯量识别方法及设备 | |
| US20180191241A1 (en) | A Method for Correcting Effect of Saturation in Current Transformer and an Intelligent Electronic Device Therefor | |
| CN112861947A (zh) | 传感器数据处理方法、装置及计算设备 | |
| CN111400141B (zh) | 一种异常检测的方法及装置 | |
| CN105808382B (zh) | 基于波形系数的变电站异常数据识别及恢复方法 | |
| US8810442B1 (en) | Background calibration of aperture center errors in analog to digital converters | |
| CN104535827A (zh) | Ad采样中去坏点方法和系统 | |
| CN109684937A (zh) | 一种基于fft及数学形态法的信号去噪方法及装置 | |
| CN106053936B (zh) | 一种获取电学信号瞬时频率的方法及系统 | |
| CN109462242B (zh) | 基于iir数字滤波和esprit辨识算法的电力系统低频振荡检测方法 | |
| CN115792782A (zh) | Ct饱和的识别方法、装置、电子设备及存储介质 | |
| CN115660957A (zh) | 一种波形数据的重采样方法、装置、设备及介质 | |
| CN108444725B (zh) | 一种针对大数据的快速噪声滤除方法 | |
| CN113139158B (zh) | 基于高斯过程回归的comtrade异常录波数据监测和修正方法及系统 | |
| CN115688924A (zh) | 一种多样本联合多元自适应回归样条模型 | |
| CN115392812A (zh) | 一种异常根因定位方法、装置、设备及介质 | |
| CN108768909B (zh) | 一种基于最小方差的2fsk符号同步方法和系统 | |
| CN114741377B (zh) | 识别天然气异常数据并对其处理的方法和装置 | |
| CA1259706A (en) | Method of and arrangement for restoring invalid samples of an equidistantly sampled signal |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |