CN112000519A - 一种采样数据异常值修复方法及装置 - Google Patents

一种采样数据异常值修复方法及装置 Download PDF

Info

Publication number
CN112000519A
CN112000519A CN202010825283.9A CN202010825283A CN112000519A CN 112000519 A CN112000519 A CN 112000519A CN 202010825283 A CN202010825283 A CN 202010825283A CN 112000519 A CN112000519 A CN 112000519A
Authority
CN
China
Prior art keywords
data
sampling
sequence
value
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010825283.9A
Other languages
English (en)
Other versions
CN112000519B (zh
Inventor
庞吉耀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nnajing Paneng Technology Development Co ltd
Original Assignee
Nnajing Paneng Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nnajing Paneng Technology Development Co ltd filed Critical Nnajing Paneng Technology Development Co ltd
Priority to CN202010825283.9A priority Critical patent/CN112000519B/zh
Publication of CN112000519A publication Critical patent/CN112000519A/zh
Priority to PCT/CN2021/096654 priority patent/WO2022037172A1/zh
Priority to ZA2021/06321A priority patent/ZA202106321B/en
Application granted granted Critical
Publication of CN112000519B publication Critical patent/CN112000519B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1479Generic software techniques for error detection or fault masking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Complex Calculations (AREA)
  • Emergency Protection Circuit Devices (AREA)

Abstract

本发明公开了一种采样数据异常值修复方法,通过选取原始采样值序列中采样数据并结合修复输出序列中的采样数据构建数据窗,根据函数极值原理对数据窗内采样数据进行异常数据识别,并结合数据窗内采样数据对疑似异常的数据进行修复,实现了对采样异常数据的剔除。本发明具有简单易实现,延迟小,修复精度高,无需计算门槛值和运算量低等优点,具有良好的应用前景。

Description

一种采样数据异常值修复方法及装置
技术领域
本发明涉及一种对单点采样数据异常值的检测和修复方法与装置,属于数据采集和处理技术领域。
背景技术
随着电子技术的进步,在工业过程控制、精密测量、电力自动化等领域,数字采样系统的应用越来越广泛。对模拟采样的系统而言,由于采样元件的偶发故障或者外部的电气骚扰,会使采样数据出错,对基于数字传输的远程采样系统来说,即使前端采样结果正确,也会因为通信系统的偶发性误码未被系统检出导致错误的数据。根据工程实践,对于雷击浪涌等强干扰导致的异常数据以及由通信系统误码引发的异常数据大多时候偏离正常数据集较远,比较容易识别,而对于磁场骚扰等,采样系统多表现为个别采样点轻微异常,往往会导致识别不出来,另外一方面,工业过程量和电力系统的电气量受负载扰动、系统控制或设备故障等原因往往会伴随着暂态过程,引发测量信号的暂态波动进一步增加异常数据识别难度。
对继电保护来说,电气量采样异常已经成为造成保护误动的主要原因,因此必须对采样值进行实时判断,避免异常数据引起保护装置误动、系统误操作等情况发生。而对测量系统来说,即使较小的异常数据也会影响测量精度,准确快速地剔除异常数据还将进一步提高工业控制系统的控制精度和系统响应时间。对于工业过程控制和电力系统继电保护等系统,要求异常点检测延时必须很短,但是要实现在较短的检测数据窗内准确区分飞点采样数据和系统故障时的正常暂态采样值,有很大的难度。
目前,对于采样异常点的影响已有了一些解决方法:
(1)、滤波法
在采样前端增加模拟滤波器,并降低滤波器带宽和提升阻带衰减,或者将采样数据序列经过数字滤波器,可以根据需要增加滤波器的冲激响应长度,利用数字滤波器来减少或消弱异常点的影响。
(2)、冗余采样方案
系统配置两套前端采样模块,只有两套采样模块数据正常后端应用模块才正常工作,否则进入设备故障应对模式,在单套采样模块异常时可以保证应用系统不发送误动作。
(3)、基于门槛的采样点判决
由于电磁骚扰或其偶发性采样数据异常所持续的时间一般很短,通过设置固定的门槛或动态计算的门槛,只有在采样数据窗内达到门槛的采样数据达到一定数量才可以启动应用模块功能。所以此方案适用于对响应时间不敏感的应用场景。
以上几种方法能在一定程度上减少或避免异常采样数据的影响,均存在一些不足,如针对性不强、灵敏度不高、门槛不易整定、数据窗要求较长、实时性差、系统响应时间长,无法改善异常点对精密测量的影响等问题:
(1)、无论模拟滤波器还是数字滤波器,其实质是将单个异常点的影响分摊到后续的多个采样点中,并没有针对性地剔除异常点,增加传统滤波器的滤波效果是以延长系统响应时间为代价的。此外对于一些精密测量系统来说,滤波器的影响并不能改善异常点对测量精度的影响;
(2)、对于外部电磁骚扰引发的采样异常,即使采样前端冗余也无法解决,因为此时冗余系统采样结果是一致的,而且若冗余系统中的一套系统出现偶发性采样异常必将影响系统整体响应时间。
(3)、基于门槛值的多次判别实际上延长了系统响应时间,严重影响对时间敏感的应用实时性能,如基于采样值策略超快速继电保护、基于采样值控制的电力电子系统等。
综上所述,采样数据的快速异常检测和异常值修复是当前首要解决的问题。
发明内容
本发明的目的在于克服现有技术中的不足,提供一种简单易实现,延迟小,恢复精度高,无需计算门槛值和运算量低且适合硬件加速的采样数据异常值修复方法与装置,解决采样数据的快速异常检测和异常值修复技术问题。
为达到上述目的,本发明是采用下述技术方案实现的:
第一方面,本发明提供了一种采样数据异常值修复方法,所述方法包括以下步骤:
选取原始采样值序列中采样数据并结合修复输出序列中的采样数据构建数据窗;根据函数极值原理对数据窗内采样数据进行异常数据识别;结合数据窗内采样数据对疑似异常的数据进行修复。
进一步的,所述方法还包括以下步骤:对信号进行等间隔连续采样,获得原始采样值序列{x(n)}。
进一步的,所述数据窗的构建方法包括以下步骤:
取原始采样值序列{x(n)}的最新三个采样点以及修复输出序列{y(m)}中的最新两个采样点,构成5个采样数据的数据窗,记为{x1,x2,x3,x4,x5},其中,x5对应当前时刻的最新采样点x(n),n为采样序列{x(n)}中当前最新采样点的序号,x4对应原始采样序列中x(n)的上一采样节拍的值x(n-1),x3对应原始采样序列中x(n)的上两个采样节拍的值x(n-2),而x2对应当前时刻修复输出序列{y(m)}中上一节拍的修复采样数据y(m-1),x1对应修复输出序列{y(m)}中上两个采样节拍的采样数据y(m-2),m为拟写入到修复输出序列{y(m)}的最新修复输出值序号。
进一步的,识别异常数据的方法包括以下步骤:
若(x2-x3)×(x3-x4)为非负数,则认为该所述数据窗的采样值正常,否则判别该所述数据窗的采样值为疑似异常。
进一步的,疑似异常数据的修复的方法包括如下步骤:取中间变量u的初值为x3,发现疑似异常数据后,若(x3-x4)×(x4-x5)为负数,则按公式(1)重新计算中间变量u;
Figure BDA0002635934750000041
若(x3-x4)×(x4-x5)不为负数,则计算表达式[(x1-x2)×(x2-x3)]的符号,若(x1-x2)×(x2-x3)为负数,则按公式(2)更新中间变量u,否则按公式(3)更新中间变量u;
Figure BDA0002635934750000042
Figure BDA0002635934750000043
更新中间变量u到输出变量y(m),即y(m)=u,将y(m)作为修复输出值更新至修复输出序列{y(m)}。
进一步的,所述方法还包括以下步骤:当前数据窗数据修复完成后移动原始采样值序列的读取指针和修复输出序列的读写指针,继续对采样数据进行处理直至原始采样数据被处理完。
第二方面,本发明提供了一种采样数据异常值修复装置,所述装置包括:
数据窗模块:用于选取原始采样值序列中采样数据并结合修复输出序列中的采样数据构建数据窗;
识别模块:用于对数据窗内采样数据进行异常数据识别;
修复模块:用于结合数据窗内采样数据对疑似异常的数据进行修复。
进一步的,还包括采样模块:用于对信号进行等间隔采样,生成原始采样值序列。
第三方面,本发明还提供了一种采样数据异常值修复装置,包括处理器及存储介质和I/O接口设备;所述存储介质用于存储指令;所述I/O接口设备用于获取离线采集的或者在线采集的原始采样值序列;所述处理器用于根据所述指令进行操作以执行根据上述采样数据异常值修复方法的步骤。
第四方面,本发明上述还提供了计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时从I/O接口设备提取原始采样值序列,实现上述采样数据异常值修复方法的步骤。
与现有技术相比,本发明所达到的有益效果:
本发明通过选取原始采样值序列中采样数据并结合修复输出序列中的采样数据构建短数据窗,根据极值原理对数据窗内采样数据进行异常数据识别,并结合数据窗内采样数据对疑似异常的数据进行修复,实现了对采样异常数据的剔除,具有简单易实现,数据缓冲少、延迟小,恢复精度高,无需计算门槛值和运算量低、适合硬件加速等优点,具有良好的应用前景。
附图说明
图1是本发明的数据窗构造示意图;
图2是本发明的异常数据检测和修复流程图;
图3是采样异常数据案例1;
图4是采样异常数据案例2;
图5是采样异常数据案例3;
图6是本发明异常数据剔除和修复效果图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
本发明的目的在于克服现有技术中的不足,提供一种简单易实现,延迟小,恢复精度高,无需计算门槛值和运算量低适合硬件加速的采样数据异常值修复方法与装置,解决采样数据的快速异常检测和异常值修复技术问题。
实施例一:
本发明的采样数据异常值修复方法,首先利用连续的三点极值检测发现疑似异常采样数据,随后进一步检测邻近三点极值检测确认异常采样点,最多三次进行疑似异常值识别,再选取邻近正确采样数据进行数据修复。
下面将结合说明书附图,从技术原理和工程实施两个方面对本发明作进一步的说明。
1.技术基础
1.1.异常检测
工程上,异常采样数据是指采样值和系统实际值不符或误差超过一定的范围表现,就局部来说,表现为采样序列的局部极大值(或极小值),如附图3、附图4和附图5所示。而在数学上,函数极值点可能出现在间断点、边界点或导数为0点,常用判别方法如下:
若函数f(x)可导,f'(x0)=0,且
Figure BDA0002635934750000061
对于
Figure BDA0002635934750000062
有f'(x0)>0(或f'(x0)<0)同时
Figure BDA0002635934750000063
有f'(x0)<0(或f'(x0)>0),则x0是f(x)的极大点(或极小点),对应的f(x0)为函数f(x)的极大值(或极小值)。
本发明根据上述数学原理,采用差分替代微分,将采样异常点检测转变为在连续信号的采样序列{x(n)}中寻找符合公式(4)采样数据点:
[x(n-1)-x(n)][x(n)-x(n+1)]<0 (4)
进一步地,认为x(n)为这3点之中的极大值(或极小值),同时也是疑似异常采样数据。
1.2.数据修复
根据二阶拉格朗日插值原理,已知信号x(t)在t0,t1,t2时刻的值x(t0),x(t1),x(t2),对应时刻t0≤t≤t2,则信号在时刻t的采样值可以表示为:
x(t)=kax(t0)+kbx(t1)+kcx(t2) (5)
其中:
Figure BDA0002635934750000071
Figure BDA0002635934750000072
Figure BDA0002635934750000073
进一步地,本发明在检测出异常采样数据后,剔除当前疑似异常采用数据,同时利用邻近的正常数据,通过公式(5)估计采样异常时刻的系统真实值,并以此替代异常点的异常采样数据,实现数据修复。
2.工程实施
2.1.数据窗构造
本发明实施案例基于5点的数据窗{x1,x2,x3,,x4,x5},其构造方法如附图1所示。从时间上来看,x1最早,x2,x3,x4次之,x5最新。从数据来源看x1,x2来自修复输出序列{y(m)},x3,x4,x5对应原始采样序列{x(n)},其中,x5对应当前时刻的最新采样点x(n),n为采样序列{x(n)}中当前最新采样点的序号,x4对应原始采样序列中x(n)的上一采样节拍的值x(n-1),x3对应原始采样序列中x(n)的上两个采样节拍的值x(n-2),而x2对应当前时刻修复输出序列{y(m)}中上一节拍的修复采样数据y(m-1),x1对应修复输出序列{y(m)}中上两个采样节拍的采样数据y(m-2),m为拟写入到修复输出序列{y(m)}的最新修复输出值序号。
2.2.异常检测和修复
设系统采样间隔为Ts,附图3~4给出具有一个采样异常点x3(位于时刻t)案例,其中图3a和图4a为单调下降的曲线中出现异常点,图3b和图4b为单调上升的曲线中出现异常点,而附图5a附图5b则分别对应图3a和图3b的移位。本发明根据异常点在数据窗的位置采取不同的异常点识别和修复方法。
场景(1)类似于图3a,在时刻t采样数据出现疑似异常,对应值为x3,此时x2,x3,x4构成的曲线段在t处出现极小值x3,而以x3,x4,x5构成的曲线段出现极大值为x4。对于此种情况,本发明选取数据点x1,x2,x5来估计x3
进一步地,参照公式5和附图3,记t0=0、t1=Ts、t2=4Ts,取t=2Ts,则计算ka、kb、kc
Figure BDA0002635934750000081
则疑似异常x3的估算值
Figure BDA0002635934750000082
可用下式计算:
Figure BDA0002635934750000083
场景(2)类似于图5a,在时刻t采样数据出现疑似异常,对应采样值x3,此时由x2,x3,x4构成的曲线段在t处出现极大值x3,同时由x1,x2,x3构成的曲线段出现极小值x2。对于此种情况,本发明选取数据点x1,x4,x5来估计x3
进一步地参照公式(5)和附图5,记t0=0、t1=3Ts、t2=4Ts,取t=2Ts,则计算ka、kb、kc
Figure BDA0002635934750000084
则疑似异常x3的估算值
Figure BDA0002635934750000085
可用下式计算:
Figure BDA0002635934750000086
场景(3)对于在时刻t采样数据出现疑似异常,此时由x2,x3,x4构成的曲线段在t处出现极值x3,同时由x1,x2,x3构成的曲线段和x3,x4,x5构成的曲线段均未出现极值,对于此种情况,本发明选取数据点x1,x2,x4来估计x3
进一步地参照公式5和附图5,记t0=0、t1=Ts、t2=3Ts其t=2Ts,则计算ka、kb、kc
Figure BDA0002635934750000091
kb=1,
Figure BDA0002635934750000094
则疑似异常x3的估算值
Figure BDA0002635934750000092
可用下式计算:
Figure BDA0002635934750000093
2.3.技术实现
附图1展示了本发明5点的数据窗{x1,x2,x3,,x4,x5}的构造方法,附图2则展示了基于单个异常点的检测与修复流程,本发明的技术实施包括以下步骤:
步骤(1),以间隔Ts对信号进行连续采样,获得原始采样值序列{x(n)};
步骤(2),取信号原始采样值序列{x(n)}的最新三个采样点以及修复输出序列{y(m)}中的最新两个采样点,构成5个采样数据的数据窗,记为{x1,x2,x3,x4,x5},其中,x5对应当前时刻的最新采样点x(n),n为采样序列{x(n)}中当前最新采样点的序号,x4对应原始采样序列中x(n)的上一采样节拍的值x(n-1),x3对应原始采样序列中x(n)的上两个采样节拍的值x(n-2),而x2对应当前时刻修复输出序列{y(m)}中上一节拍的修复采样数据y(m-1),x1对应修复输出序列{y(m)}中上两个采样节拍的采样数据y(m-2),m为拟写入到修复输出序列{y(m)}的最新修复输出值序号;
步骤(3),取u为中间变量并设初值为x3,计算表达式[(x2-x3)×(x3-x4)]的符号,若sgn[(x2-x3)×(x3-x4)]为-1则转步骤(4),否则直接转步骤(6),其中sgn[x]表示参数x的正负号,若参数为负则输出-1,若参数为正则输出+1,若参数为0则输出0;
步骤(4),计算表达式[(x3-x4)×(x4-x5)]的符号,若sgn[(x3-x4)×(x4-x5)]为-1,则先按公式(9)更新中间变量u后再转步骤(6),否则直接转步骤(5):
Figure BDA0002635934750000101
步骤(5),计算表达式[(x1-x2)×(x2-x3)]的符号,若sgn[(x1-x2)×(x2-x3)]为-1,则先按公式(10)更新中间变量u后再转步骤(6),否则按公式(11)更新中间变量后转步骤(6);
Figure BDA0002635934750000102
Figure BDA0002635934750000103
步骤(6),更新中间变量u到输出变量y(m),即y(m)=u,将y(m)作为修复输出值更新至修复输出序列{y(m)},并转步骤(2)继续检查新的采样数据。
随着采样的进行,算法将获得原始采样序列的修复输出序列{y(m)},且修复后输出序列{y(m)}在时间上相比原始输入序列{x(n)}滞后两个采样间隔。
附图6展示了本发明一个异常检测与修复的效果,图6a为一个包含异常数据的正弦采样序列,图6b为经过本发明的修复处理之后的正弦采样序列,进一步证明了本发明的实施效果。
综上所述,本发明结合原始采样序列{x(n)}和修复输出序列{y(m)}构建了5点数据窗,通过数据窗内连续3点间的差分符号变化来识别疑似异常点,并合理选择邻近的3个点通过插值完成疑似异常数据点修复,最多三次进行疑似异常值识别。本发明具有简单易实现,同时具有数据缓冲少,输出延迟小,异常数据恢复精度高,无需动态计算门槛,运算量低,适合硬件加速等优点,具有良好的应用前景。
实施例二:
本发明提供了一种采样数据异常值修复装置,能够用于实现实施例一所述的方法步骤,所述装置包括:
数据窗模块:用于选取原始采样值序列中采样数据并结合修复输出序列中的采样数据构建数据窗;
识别模块:用于对数据窗内采样数据进行异常数据识别;
修复模块:用于结合数据窗内采样数据对疑似异常的数据进行修复。
还包括采样模块:用于对信号进行等间隔采样,生成原始采样值序列;
实施例三:
本发明还提供了一种采样数据异常值修复装置,包括处理器、存储介质和和I/O接口设备;所述存储介质用于存储指令;所述I/O接口设备用于获取离线采集的或者在线采集的原始采样值序列;所述处理器用于根据所述指令进行操作以执行根据下述方法的步骤:
步骤(1),通过I/O接口设备获取离线采集的原始采样值序列{x(n)},或者以间隔Ts在线对信号进行连续采样,获得原始采样值序列{x(n)};
步骤(2),取信号原始采样值序列{x(n)}的最新三个采样点以及修复输出序列{y(m)}中的最新两个采样点,构成5个采样数据的数据窗,记为{x1,x2,x3,x4,x5},其中,x5对应当前时刻的最新采样点x(n),n为采样序列{x(n)}中当前最新采样点的序号,x4对应原始采样序列中x(n)的上一采样节拍的值x(n-1),x3对应原始采样序列中x(n)的上两个采样节拍的值x(n-2),而x2对应当前时刻修复输出序列{y(m)}中上一节拍的修复采样数据y(m-1),x1对应修复输出序列{y(m)}中上两个个采样节拍的采样数据y(m-2),m为拟写入到修复输出序列{y(m)}的最新修复输出值序号;
步骤(3),取u为中间变量并设初值为x3,计算表达式[(x2-x3)×(x3-x4)]的符号,若sgn[(x2-x3)×(x3-x4)]为-1则转步骤(4),否则直接转步骤(6),其中sgn[x]表示参数x的正负号;
步骤(4),计算表达式[(x3-x4)×(x4-x5)]的符号,若sgn[(x3-x4)×(x4-x5)]为-1,则先按公式(12)更新中间变量u后再转步骤(6),否则直接转步骤(5):
Figure BDA0002635934750000121
步骤(5),计算表达式[(x1-x2)×(x2-x3)]的符号,若sgn[(x1-x2)×(x2-x3)]为-1,则先按公式(13)更新中间变量u后再转步骤(6),否则按公式(14)更新中间变量后转步骤(6);
Figure BDA0002635934750000122
Figure BDA0002635934750000123
步骤(6),更新中间变量u到输出变量y(m),即y(m)=u,将y(m)作为修复输出值更新至修复输出序列{y(m)},并转步骤(2)继续检查新的采样数据。
随着采样的进行,算法将获得原始采样序列的修复输出序列{y(m)},且修复后输出序列{y(m)}在时间上相比原始输入序列{x(n)}滞后两个采样间隔。
实施例四:
本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现下述方法的步骤:
步骤(1),从I/O接口设备提取原始采样值序列{x(n)};
步骤(2),取信号原始采样值序列{x(n)}的最新三个采样点以及修复输出序列{y(m)}中的最新两个采样点,构成5个采样数据的数据窗,记为{x1,x2,x3,x4,x5},其中,x5对应当前时刻的最新采样点x(n),n为采样序列{x(n)}中当前最新采样点的序号,x4对应原始采样序列中x(n)的上一采样节拍的值x(n-1),x3对应原始采样序列中x(n)的上两个采样节拍的值x(n-2),而x2对应当前时刻修复输出序列{y(m)}中上一节拍的修复采样数据y(m-1),x1对应修复输出序列{y(m)}中上两个采样节拍的采样数据y(m-2),m为拟写入到修复输出序列{y(m)}的最新修复输出值序号;
步骤(3),取u为中间变量并设初值为x3,计算表达式[(x2-x3)×(x3-x4)]的符号,若sgn[(x2-x3)×(x3-x4)]为-1则转步骤(4),否则直接转步骤(6),其中sgn[x]表示参数x的正负号;
步骤(4),计算表达式[(x3-x4)×(x4-x5)]的符号,若sgn[(x3-x4)×(x4-x5)]为-1,则先按公式(15)更新中间变量u后再转步骤(6),否则直接转步骤(5):
Figure BDA0002635934750000131
步骤(5),计算表达式[(x1-x2)×(x2-x3)]的符号,若sgn[(x1-x2)×(x2-x3)]为-1,则先按公式(16)更新中间变量u后再转步骤(6),否则按公式(17)更新中间变量后转步骤(6);
Figure BDA0002635934750000132
Figure BDA0002635934750000133
步骤(6),更新中间变量u到输出变量y(m),即y(m)=u,将y(m)作为当前修复输出值更新至修复输出序列{y(m)},并转步骤(2)继续检查新的采样数据。
随着原始采样数据的读入,算法将获得原始采样序列的修复输出序列{y(m)},且修复后输出序列{y(m)}在时间上相比原始输入序列{x(n)}滞后两个采样间隔。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种采样数据异常值修复方法,其特征在于,所述方法包括以下步骤:
根据原始采样值序列中采样数据并结合修复输出序列中的采样数据构建数据窗;
根据函数极值原理对数据窗内采样数据进行异常数据识别;
通过数据窗内的采样数据对异常数据进行修复。
2.根据权利要求1所述的一种采样数据异常值修复方法,其特征在于,所述方法还包括以下步骤:
对信号进行等间隔连续采样,获得原始采样值序列{x(n)}。
3.根据权利要求1所述的一种采样数据异常值修复方法,其特征在于,所述数据窗的构建方法包括以下步骤:
取原始采样值序列{x(n)}的最新三个采样点以及修复输出序列{y(m)}中的最新两个采样点,构成5个采样数据的数据窗,记为{x1,x2,x3,x4,x5},其中,x5对应当前时刻的最新采样点x(n),n为采样序列{x(n)}中当前最新采样点的序号,x4对应原始采样序列中x(n)的上一采样节拍的值x(n-1),x3对应原始采样序列中x(n)的上两个采样节拍的值x(n-2),而x2对应当前时刻修复输出序列{y(m)}中上一节拍的修复采样数据y(m-1),x1对应修复输出序列{y(m)}中上两个采样节拍的修复采样数据y(m-2),m为拟写入到修复输出序列{y(m)}的最新修复输出值序号。
4.根据权利要求3所述的一种采样数据异常值修复方法,其特征在于,识别异常数据的方法包括以下步骤:
若(x2-x3)×(x3-x4)为负数,则认为所述数据窗内采样值异常,否则判别所述数据窗内采样值正常,并把x3更新到输出变量y(m),即y(m)=x3,同时将y(m)更新至修复输出序列{y(m)}。
5.根据权利要求4所述的一种采样数据异常值修复方法,其特征在于,异常数据的修复的方法包括如下步骤:
取中间变量u并设置初值为x3
发现异常数据后,若(x3-x4)×(x4-x5)为负数,则按公式(1)重新计算中间变量u;
Figure FDA0002635934740000021
若(x3-x4)×(x4-x5)不为负数,则计算表达式[(x1-x2)×(x2-x3)]的符号,若(x1-x2)×(x2-x3)为负数,则按公式(2)更新中间变量u,否则按公式(3)更新中间变量u;
Figure FDA0002635934740000022
Figure FDA0002635934740000023
更新中间变量u到输出变量y(m),即y(m)=u,将y(m)作为修复输出值更新至修复输出序列{y(m)}。
6.根据权利要求1所述的一种采样数据异常值修复方法,其特征在于,所述方法还包括以下步骤:当前数据窗数据修复完成后移动原始采样值序列的读取指针和修复输出序列的读写指针,继续对采样数据进行处理直至原始采样数据被处理完。
7.一种采样数据异常值修复装置,其特征在于,所述装置包括:
数据窗模块:用于选取原始采样值序列中采样数据并结合修复输出序列中的采样数据构建数据窗;
识别模块:用于对数据窗内采样数据进行异常数据识别;
修复模块:用于结合数据窗内采样数据对疑似异常的数据进行修复。
8.根据权利要求7所述的一种采样数据异常值修复装置,其特征在于,还包括采样模块:用于对信号进行等间隔采样,生成原始采样值序列。
9.一种采样数据异常值修复装置,其特征在于,包括处理器及存储介质和I/O接口设备;
所述存储介质用于存储指令;
所述I/O接口设备用于获取离线采集的或者在线采集的原始采样值序列;
所述处理器用于根据所述指令进行操作,从I/O接口设备提取原始采样值序列,以执行根据权利要求1~6任一项所述方法的步骤。
10.计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1~6任一项所述方法的步骤。
CN202010825283.9A 2020-08-17 2020-08-17 一种采样数据异常值修复方法及装置 Active CN112000519B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010825283.9A CN112000519B (zh) 2020-08-17 2020-08-17 一种采样数据异常值修复方法及装置
PCT/CN2021/096654 WO2022037172A1 (zh) 2020-08-17 2021-05-28 一种采样数据异常值修复方法及装置
ZA2021/06321A ZA202106321B (en) 2020-08-17 2021-08-30 Method and apparatus for repairing abnormal value of sampling data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010825283.9A CN112000519B (zh) 2020-08-17 2020-08-17 一种采样数据异常值修复方法及装置

Publications (2)

Publication Number Publication Date
CN112000519A true CN112000519A (zh) 2020-11-27
CN112000519B CN112000519B (zh) 2023-11-28

Family

ID=73472537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010825283.9A Active CN112000519B (zh) 2020-08-17 2020-08-17 一种采样数据异常值修复方法及装置

Country Status (3)

Country Link
CN (1) CN112000519B (zh)
WO (1) WO2022037172A1 (zh)
ZA (1) ZA202106321B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112905958A (zh) * 2021-01-27 2021-06-04 南京国电南自电网自动化有限公司 基于测控装置的短时数据窗遥测数据状态辨识方法及系统
WO2022037172A1 (zh) * 2020-08-17 2022-02-24 南京磐能电力科技股份有限公司 一种采样数据异常值修复方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5465321A (en) * 1993-04-07 1995-11-07 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Hidden markov models for fault detection in dynamic systems
CN102707132A (zh) * 2012-05-21 2012-10-03 国电南瑞科技股份有限公司 一种数字化保护测控装置异常采样值动态处理方法
CN105138843A (zh) * 2015-08-26 2015-12-09 长园深瑞继保自动化有限公司 电力系统采样飞点检测及其修复方法
CN110211099A (zh) * 2019-05-18 2019-09-06 安徽大学 综合麦穗正反面病情的小麦赤霉病检测方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105573853B (zh) * 2015-12-18 2018-06-26 国电南瑞科技股份有限公司 基于双重化数据窗的采样异常数据处理方法
CN107657288B (zh) * 2017-10-26 2020-07-03 国网冀北电力有限公司 一种基于孤立森林算法的电力调度流数据异常检测方法
CN110244099A (zh) * 2019-06-24 2019-09-17 河南工业大学 基于用户电压的窃电检测方法
CN112000519B (zh) * 2020-08-17 2023-11-28 南京磐能电力科技股份有限公司 一种采样数据异常值修复方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5465321A (en) * 1993-04-07 1995-11-07 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Hidden markov models for fault detection in dynamic systems
CN102707132A (zh) * 2012-05-21 2012-10-03 国电南瑞科技股份有限公司 一种数字化保护测控装置异常采样值动态处理方法
CN105138843A (zh) * 2015-08-26 2015-12-09 长园深瑞继保自动化有限公司 电力系统采样飞点检测及其修复方法
CN110211099A (zh) * 2019-05-18 2019-09-06 安徽大学 综合麦穗正反面病情的小麦赤霉病检测方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘奕;: "5G网络技术对提升4G网络性能的研究", 数码世界, no. 04 *
吴文举;占捷文;: "基于可去间断点的连续采样飞点检测算法", 电力系统保护与控制, no. 04 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022037172A1 (zh) * 2020-08-17 2022-02-24 南京磐能电力科技股份有限公司 一种采样数据异常值修复方法及装置
CN112905958A (zh) * 2021-01-27 2021-06-04 南京国电南自电网自动化有限公司 基于测控装置的短时数据窗遥测数据状态辨识方法及系统
CN112905958B (zh) * 2021-01-27 2024-04-19 南京国电南自电网自动化有限公司 基于测控装置的短时数据窗遥测数据状态辨识方法及系统

Also Published As

Publication number Publication date
WO2022037172A1 (zh) 2022-02-24
ZA202106321B (en) 2021-10-27
CN112000519B (zh) 2023-11-28

Similar Documents

Publication Publication Date Title
JP6050754B2 (ja) 信号処理に基づく故障検出、分離、及び修正のためのシステム、方法、及び装置
CN110579682B (zh) 一种故障录波数据暂态同源对比方法及装置
WO2022037172A1 (zh) 一种采样数据异常值修复方法及装置
US8954294B2 (en) Measuring device and measuring method for continuous physical quantity
CN109450405B (zh) 一种应用于ad采集中的复合式软件滤波方法及系统
US10263507B2 (en) Method for correcting effect of saturation in current transformer and an intelligent electronic device therefor
CN105450454A (zh) 一种服务监控告警方法以及装置
CN115905835B (zh) 一种融合多维特征的低压交流电弧故障诊断方法
CN109374953B (zh) 一种基于电压有效值序列的电压暂降波形点检测方法
CN115800272B (zh) 基于拓扑识别的电网故障分析方法、系统、终端及介质
CN109344610B (zh) 序列攻击的检测方法及装置
CN112861947A (zh) 传感器数据处理方法、装置及计算设备
CN114595210A (zh) 一种多维数据的异常检测方法、装置及电子设备
CN112461340A (zh) 水位仪的故障纠正、检测方法及装置
CN115508666A (zh) 中压电力电缆早期故障暂态电力扰动检测方法及系统
CN117176199B (zh) 一种hplc通信单元故障诊断方法及装置
CN112986754B (zh) 一种基于数据驱动的小电流接地系统故障辨识方法及装置
US11308408B2 (en) Fault signal recovery system and method
JP7437584B2 (ja) 送電線の外乱分類のための機械学習ベースの方法および装置
CN109462242B (zh) 基于iir数字滤波和esprit辨识算法的电力系统低频振荡检测方法
CN111259338B (zh) 元器件失效率修正方法、装置、计算机设备及存储介质
CN112653465A (zh) 用于从数字数据流中消除低频偏移分量的系统和方法
CN112782529A (zh) 一种基于零序功率极性的选线方法及系统
CN112528227A (zh) 一种基于数理统计的传感器异常数据识别方法
CN104598361A (zh) 一种性能监控方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant