CN113139158A - 基于高斯过程回归的comtrade异常录波数据监测和修正方法及系统 - Google Patents

基于高斯过程回归的comtrade异常录波数据监测和修正方法及系统 Download PDF

Info

Publication number
CN113139158A
CN113139158A CN202110432006.6A CN202110432006A CN113139158A CN 113139158 A CN113139158 A CN 113139158A CN 202110432006 A CN202110432006 A CN 202110432006A CN 113139158 A CN113139158 A CN 113139158A
Authority
CN
China
Prior art keywords
data
comtrade
cfg
channel
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110432006.6A
Other languages
English (en)
Other versions
CN113139158B (zh
Inventor
俞斌
孙辉
丁津津
王鹏
肖华锋
谢民
汪伟
王同文
高博
徐斌
汪玉
李远松
邵庆祝
于洋
张骏
张峰
汪勋婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Electric Power Research Institute of State Grid Anhui Electric Power Co Ltd
State Grid Anhui Electric Power Co Ltd
Original Assignee
Southeast University
Electric Power Research Institute of State Grid Anhui Electric Power Co Ltd
State Grid Anhui Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University, Electric Power Research Institute of State Grid Anhui Electric Power Co Ltd, State Grid Anhui Electric Power Co Ltd filed Critical Southeast University
Priority to CN202110432006.6A priority Critical patent/CN113139158B/zh
Publication of CN113139158A publication Critical patent/CN113139158A/zh
Application granted granted Critical
Publication of CN113139158B publication Critical patent/CN113139158B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Evolutionary Computation (AREA)
  • Pure & Applied Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Operations Research (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Recording Measured Values (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本发明提供基于高斯过程回归的COMTRADE异常录波数据检测和修正方法，包括以下步骤：S1.获取录波器的COMTRADE录波文件数据，包括cfg和dat文件，按照cfg文件的通道规则拆分dat文件为时间序列数组，得到待处理的模拟量通道数组；S2.模拟量通道异常数据的检测和修正。本发明首先基于高斯过程回归对其中的模拟量通道录波数据进行拟合，并通过回归的置信区间判断异常数据点，进而采用多项式插值方法进行修正。按本发明公开的方法，可以对故障录波数据进行预处理，鉴别由噪声或网络传输等问题造成的异常数据并完成修正，有助于后续利用录波数据进行故障诊断和隐性故障排查。可用于特高压直流输电系统、电力调度系统、电力控保系统等场合。

Description

基于高斯过程回归的COMTRADE异常录波数据监测和修正方法 及系统
技术领域
本发明涉及电力系统故障分析技术领域，具体来说是一种基于高斯过程回归的COMTRADE异常录波数据监测和修正方法及系统。
背景技术
由于科学技术的发展和设备制造水平的提高，电力设备在原理、构成、性能和可靠性等方面都有了很大的改善，但在电网运行过程中由于各种自然灾害或其他原因引起的大范围故障或大面积停电事故时有发生。而电网大事故对国民生产、生活有着重大的负面影响。因此，避免电网事故的扩大发生，及时掌握故障时的第一手信息就显得格外重要。
故障录波器作为电力系统的“黑匣子”，它所记录的信息既是电网故障分析的重要依据，也是评判保护装置动作行为的“裁判”。随着微机技术和通信技术的发展，故障录波器和继电保护装置逐步从微机型向数字型和智能型转化，装置本身的数据处理能力有了很大程度的提高，并具备了向电网调度中心远程传输数据的能力，这为调度中心对电网中各个录波设备进行统一管理和全网信息的共享提供了现实的基础。
值得注意的是，电力继保设备录波数据存储遵循国家标准《量度继电器和保护装置第24部分：电力系统暂态数据交换(COMTRADE)通用格式》，其规定了在电力系统暂态事件中变电站的各种保护、录波、测量和控制设备累积的大量数字记录的存储和传输的数据格式。但由于各种因素，录波数据可能包含异常的数值，这些异常值与真实值有明显差别的数据点可能会对后续故障诊断和数据分析造成不利影响。因此，亟需发明一种方法，在对录波数据进行分析之前，先对异常数据进行提取和修正。
1887年，统计学家Francis Ysidro Edgeworth关于不一致实验数据的论文发表，由此异常数据检测正式被提出。对异常检测的逐步探索，诞生了许多方法和技术。近年来数据分析取得了一些进展，但异常数据检测的发展确有所停顿。在现有的异常数据处理算法中，异常值可能作为噪声或脏数据被删除，或者通过某些方法，使它尽量不影响到数据集的分析。异常数据的出现主要有以下情况：数据源中的异常，数据源头产生的数据就是异常的，研究这种异常可以获得对正常数据分析不能获取的新发现；数据自身的改变，这种异常数据是正常产生的，如短路后电流会变大；测量造成的异常，这种异常是由于数据采集设备或网络传输错误造成的。在早期，异常数据挖掘方法是基于概率统计模型的，这种方法需要标准数据集符合某种概率分布，如Yamanishi等人使用高斯混合模型拟合实际的数据，然后计算数据与该模型的偏差来判断数据是否异常。这种方法，虽然在数学上更为精确，但对数据的假设过于简化，因为实际情况往往无法知道数据集所遵循的标准分布类型，并且或许数据本身就不是服从任何的标准分布，因此该方法具有局限性。
如申请号为201711208652.4公开的一种故障录波文件分析模型自动生成系统及方法，该系统包括数据处理单元、数据提取单元及模型库，其中，所述模型库内存储有CFG文件及电网模型CIME文件；数据提取单元自动提取CFG文件的通道名称并传送给数据处理单元，所述数据处理单元对通道名称进行格式化及分词处理后获得标准化命名，并结合通道类型建立关系模型依次生成一次设备，同时结合CIME文件中的设备参数信息得到DMF文件。本发明结合通道类型与库中对应类型进行比对自动建立关系模型，依次生成保护、开关、母线、线路、变压器等结构，不仅减少更新不及时造成故障无法判断的情况，同时提高模型配置的准确率，提高故障判断的精确性，减少人工配置的工作复杂性和配置时间。该系统虽然提供了自动建立关系模型，减少更新不及时造成故障无法判断的情况，但是对于录波器数据本身因噪声或网络传输导致的问题并没有识别和修正，最后的故障识别结果精度存在问题。
发明内容
本发明所要解决的技术问题在于现有技术中录波器数据本身因噪声或网络传输导致异常而影响故障识别精度。
本发明通过以下技术手段实现解决上述技术问题的：
基于高斯过程回归的COMTRADE异常录波数据检测和修正方法，包括以下步骤：
S1.获取录波器的COMTRADE录波文件数据，包括cfg和dat文件，按照cfg文件的通道规则拆分dat文件为时间序列数组，得到待处理的模拟量通道数组；
S2.模拟量通道异常数据的检测和修正，具体为：
S21.选取待处理的模拟量通道数组；
S22.读取cfg文件该模拟量通道的数值上下限范围；
S23.对整个录波数据数组进行搜索，判断是否有值越限，若有则进行第S24步，无则执行S25步；
S24.记录越限值的数据点序号；
S25.使用高斯过程回归模型对模拟量数据进行回归拟合，得到置信区间；
S26.对整个录波数据数组进行搜索，判断是否有值越出置信区间，若有则进行第7步，无则跳过第7步；
S27.记录越限值的数据点序号；
S28.移除非孤立越限点的标记；
S29.判断是否有数据点被标记为越限点。若有则进行第10步，无则结束处理流程；
S210.对所有被记为越限数据的数据点使用其前后点的线性插值进行替换；
S211.重复S25至S210步，直至没有越限数据为止。
本发明公开了一种基于高斯过程回归的COMTRADE异常录波数据检测和修正方法。针对现有录波数据可能带有异常数据点的缺陷，本发明对电力系统录波设备遵循的通用存储格式COMTRADE文件进行读取和转储，提供一种模拟量通道异常数据点的判断和修正方法。具体地，首先基于高斯过程回归对其中的模拟量通道录波数据进行拟合，并通过回归的置信区间判断异常数据点，进而采用多项式插值方法进行修正。按本发明公开的方法，可以对故障录波数据进行预处理，鉴别由噪声或网络传输等问题造成的异常数据并完成修正，有助于后续利用录波数据进行故障诊断和隐性故障排查。可用于特高压直流输电系统、电力调度系统、电力控保系统等场合。
进一步的，所述步骤1的具体过程为：
步骤11.获取cfg和dat文件的名称和路径；
步骤12.打开cfg文件并以文本格式读入工作区；
步骤13.识别通道总数、数据点个数、起止时间等重要信息；
步骤14.按照cfg的通道规则拆分dat文件为时间序列数组；
步骤15.对模拟量通道数据进行缩放和平移；
步骤16.将各通道的时间序列数组命名为cfg规定的ID；
步骤17.将所有文件基本信息和各通道时间序列保存至程序变量中。
进一步的，所述步骤25中，先有模拟量数据训练集S＝{(xi,yi)|i＝1,2,…,n}＝(X,y)，其中xi∈Rp是p维的输入矢量，X＝[x1,x2,…,xn]是p×n维输入矩阵，yi∈R是相对应的输出标量，y为输出矢量。
进一步的，所述步骤S210中采用一次多项式进行线性插值。
与上述方法对应的，本发明还提供一种基于高斯过程回归的COMTRADE异常录波数据检测和修正系统，包括：
数据获取模块，获取录波器的COMTRADE录波文件数据，包括cfg和dat文件，按照cfg文件的通道规则拆分dat文件为时间序列数组，得到待处理的模拟量通道数组；
模拟量通道异常数据的检测和修正模块，具体为：
S21.选取待处理的模拟量通道数组；
S22.读取cfg文件该模拟量通道的数值上下限范围；
S23.对整个录波数据数组进行搜索，判断是否有值越限，若有则进行第S24步，无则执行S25步；
S24.记录越限值的数据点序号；
S25.使用高斯过程回归模型对模拟量数据进行回归拟合，得到置信区间；
S26.对整个录波数据数组进行搜索，判断是否有值越出置信区间，若有则进行第7步，无则跳过第7步；
S27.记录越限值的数据点序号；
S28.移除非孤立越限点的标记；
S29.判断是否有数据点被标记为越限点。若有则进行第10步，无则结束处理流程；
S210.对所有被记为越限数据的数据点使用其前后点的线性插值进行替换；
S211.重复S25至S210步，直至没有越限数据为止。
进一步的，所述数据获取模块的具体过程为：
步骤11.获取cfg和dat文件的名称和路径；
步骤12.打开cfg文件并以文本格式读入工作区；
步骤13.识别通道总数、数据点个数、起止时间等重要信息；
步骤14.按照cfg的通道规则拆分dat文件为时间序列数组；
步骤15.对模拟量通道数据进行缩放和平移；
步骤16.将各通道的时间序列数组命名为cfg规定的ID；
步骤17.将所有文件基本信息和各通道时间序列保存至程序变量中。
进一步的，所述步骤25中，先有模拟量数据训练集S＝{(xi,yi)|i＝1,2,…,n}＝(X,y)，其中xi∈Rp是p维的输入矢量，X＝[x1,x2,…,xn]是p×n维输入矩阵，yi∈R是相对应的输出标量，y为输出矢量。
进一步的，所述步骤S210中采用一次多项式进行线性插值。
与上述方法和系统对应的，本发明还提供一种处理设备，包括至少一个处理器，以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述的方法。
与上述方法和系统对应的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述的方法。
本发明的优点在于：
本发明公开了一种基于高斯过程回归的COMTRADE异常录波数据检测和修正方法。针对现有录波数据可能带有异常数据点的缺陷，本发明对电力系统录波设备遵循的通用存储格式COMTRADE文件进行读取和转储，提供一种模拟量通道异常数据点的判断和修正方法。具体地，首先基于高斯过程回归对其中的模拟量通道录波数据进行拟合，并通过回归的置信区间判断异常数据点，进而采用多项式插值方法进行修正。按本发明公开的方法，可以对故障录波数据进行预处理，鉴别由噪声或网络传输等问题造成的异常数据并完成修正，有助于后续利用录波数据进行故障诊断和隐性故障排查。可用于特高压直流输电系统、电力调度系统、电力控保系统等场合。
附图说明
图1为本发明实施例1中COMTRADE录波文件数据导出的实现流程图；
图2为本发明实施例中模拟量通道异常数据检测和修正的实现流程图；
图3本发明实施例中应用实施例一录波数据高斯过程回归结果图；
图4本发明实施例中应用实施例一+20％异常数据点修正前后对比图；
图5本发明实施例中应用实施例二录波数据高斯过程回归结果图；
图6本发明实施例中应用实施例二-40％异常数据点修正前后对比图；
图7本发明实施例中应用实施例三录波数据高斯过程回归结果图；
图8本发明实施例中应用实施例三±60％异常数据点修正前后对比图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：本发明提出的基于高斯过程回归的COMTRADE(电力系统瞬态数据交换的通用格式)异常录波数据检测和修正方法包含两个部分：1、COMTRADE录波文件数据导出；2、模拟量通道异常数据的检测和修正。
步骤1、COMTRADE录波文件数据导出的具体实现过程包括：
(1)获取cfg和dat文件的名称和路径；
(2)打开cfg文件并以文本格式读入工作区；
(3)识别通道总数、数据点个数、起止时间等重要信息；
cfg文件中包含的信息有：厂站名，录波器名，COMTRADE标准版本年号，通道总数和类型，各通道的名称、单位和转换因子，电网频率、采样速率和每一采样速率下的采样点数、第一个数据点的日期和时间、触发点的日期和时间、数据文件类型、时标倍率因子、时间编码和本地编码、采样的时标品质。
(4)按照cfg的通道规则拆分dat文件为时间序列数组；
对于二进制(Binary)保存方式的dat数据文件，每个采样时刻产生一行数据，数据保存格式为：序号[4字节]、采样时间[4字节]、模拟量值X[按cfg文件的顺序和总数，两字节表示一个模拟量采样值]、数字量组值[按CFG文件的顺序，16个数字量一组，一组用2字节表示，不够一组的空位(高位)补零构成一组，组内从低位bit依次到高位bit与cfg文件里的数字量顺序对应]。
(5)对模拟量通道数据进行缩放和平移；
步骤(5)的操作是为了还原原本的录波数据。COMTRADE为了文件让存储更大的数值，生成时对各通道数值进行了放缩，通道转换因子是a和b。dat数据文件中的存储数据值x与ax+b的采样值相对应。按照数学上的解析规则，采样数据x乘以增益系数a，加上偏移量b，即可通过转换因子将数据值还原为原始采样值。
(6)将各通道的时间序列数组命名为cfg规定的ID；
(7)将所有文件基本信息和各通道时间序列保存至程序变量中。时标+数据的矩阵
步骤(7)需要说明的是，一般而言模拟量数值使用浮点数组进行临时转储、数字量状态使用位变量存储、文本信息使用字符串进行转储。此步最终目的是将存储在COMTRADE文本的信息转移至程序方便操作的变量中，但具体使用何种存储变量应当与后续进行分析的软件语言相适应，并不局限于前文提到的格式。
步骤2、模拟量通道异常数据的检测和修正的具体实现过程包括：
(1)选取待处理的模拟量通道数组；
(2)读取cfg文件该模拟量通道的数值上下限范围；
模拟量通道上下限是从cfg文件获得的。模拟通道行信息格式如下：
An,ch_id,ph,ccbm,uu,a,b,skew,min,max,primary,secondary,PS<CR/LF>
其中，a和b即为上文提到的增益系数和偏移量；而min和max则为dat数据文件中模拟通道存储值的下限和上限。因此，某一模拟量通道的最大最小限值分别为a*max+b和a*min+b。
(3)对整个录波数据数组进行搜索，判断是否有值越限。若有则进行第4步，无则跳过第4步。
(4)记录越限值的数据点序号。
(5)使用高斯过程回归模型对模拟量数据进行回归拟合，得到置信区间。
(6)对整个录波数据数组进行搜索，判断是否有值越出置信区间。若有则进行第7步，无则跳过第7步。
(7)记录越限值的数据点序号。
(8移除非孤立越限点的标记。
(9)判断是否有数据点被标记为越限点。若有则进行第10步，无则结束处理流程。
(10)对所有被记为越限数据的数据点使用其前后点的插值进行替换。
(11)重复(5)至(10)步，直至没有越限数据为止。
本实施例在步骤(5)中，先有模拟量数据训练集S＝{(xi,yi)|i＝1,2,…,n}＝(X,y)，其中xi∈Rp是p维的输入矢量，X＝[x1,x2,…,xn]是p×n维输入矩阵，yi∈R是相对应的输出标量，y为输出矢量。回归的主要目的就是依据训练集来学习输入矩阵X与输出矢量y两者间的关系，也就是给出一个新的输入矢量x*，以获得基于训练集S的相应观测值y*的预测分布。
高斯过程是随机变量的集合，也就是其任意有限个随机变量均具有联合高斯分布的集合。从函数空间的角度来看，高斯过程f(x)可以由相应的均值函数m(x)以及协方差函数k(x,x′)来确定，定义如下两式所示：
m(x)＝E(f(x))
k(x,x′)＝E((f(x)-m(x))(f(x′)-m(x′)))
其中x,x′∈Rp为任意的随机变量。
高斯过程函数可以定义为：
f(x)～GP(m(x),k(x,x′))
将噪声考虑到观测目标值y中，可建立高斯过程回归问题的一般模型，即：
y＝f(x)+ε
其中：f(xi)为任意回归函数值，yi是受噪声干扰的输出观测值，噪声ε满足均值为0，方差为σ2的高斯分布，即ε～N(0,σ2)。
此外，假设f＝[f(x1),f(x2),…,f(xn)]T满足高斯过程的定义要求，也就是p(f|x1,x2,…,xn)＝N(0,K)，其中K是元素f(xi)的协方差矩阵。
Figure BDA0003031727180000081
其中：K(X,X)＝Kn＝{Kij}，矩阵元素Kij是f(xi)和f(xj)值之间的协方差。y的分布是以f的值为条件的，由各向同性高斯分布可以得出：
p(y|f,X)＝N(f,σn2I)
其中，I是单位矩阵。
由高斯分布的性质，观测值与测试点的函数值的联合概率分布可写为：
Figure BDA0003031727180000082
其中，f*为输入向量对应的函数预测值。再根据贝叶斯原理以及联合正态分布的条件概率特性，可以得到后验概率分布：
Figure BDA0003031727180000083
Figure BDA0003031727180000084
cov(f*)＝K(X*,X*)-K(X*,X)[K(X,X)+σ2I]-1K(X,X*)
其中
Figure BDA0003031727180000085
是后验均值,就是GP回归模型的输出，cov(f*)是后验协方差。输出的估计值不仅包含f*的期望预测，而且对于数据的不确定性也具有参考价值。
本实施例中，步骤(8)中只讨论异常点不连续的情况，即：设异常点为si,(i≠0,n)，则si-1和si+1不是异常点。
本实施例中，步骤(10)中使用一次多项式进行线性插值。由于仅讨论孤立异常点，且录波数据为非连续的等间隔离散点，设函数y＝f(x)在两点x0，x2上的值分别为y0，y2，求多项式：
Figure BDA0003031727180000091
使满足
Figure BDA0003031727180000092
由解析几何可知：
Figure BDA0003031727180000093
称
Figure BDA0003031727180000094
为f(x)在xi,xj处的一阶均差，记以f(xi,xj)。于是，得：
Figure BDA0003031727180000095
因此，用
Figure BDA0003031727180000096
作为x1处的录波数据值，即：
Figure BDA0003031727180000097
应用实施例1：
参见图3至图4。本实施例中，依照图1所示的COMTRADE文件读取流程，使用Matlab对某换流站录波设备存储的COMTRADE文件进行读取、分析、修正。从文件中选取任一模拟量通道，其含有50个数据点(x1,x2,…,x50)，现对其中5个数据进行修改，以模拟数据出现异常值的情况。具体地，修改的数据点序号分别为10、20、30、40、50，数值被修改为原始值的120％。
依照图2所示的流程对上文所述带有人为修改数据点的模拟量波形进行高斯过程回归，并将置信区间、回归结果、数据点绘制如图3所示。可以看到，人为修改的数据点并未包含在置信区间之内。进一步地，通过插值的方式修正被修改的数据点，修正前后对比如图4所示。详细地，表1给出了具体的修正结果。
表1异常数据与修正结果
Figure BDA0003031727180000098
Figure BDA0003031727180000101
应用实施例2：
参见图5至图6。本实施例中，同样地，依照图1所示的COMTRADE文件读取流程，使用Matlab对某换流站录波设备存储的COMTRADE文件进行读取、分析、修正。仍对50个数据点(x1,x2,…,x50)中5个数据进行修改，以模拟数据出现异常值的情况。具体地，修改的数据点序号分别为5、15、25、35、45，数值被修改为原始值的60％。
依照图2所示的流程对上文所述带有人为修改数据点的模拟量波形进行高斯过程回归，并将置信区间、回归结果、数据点绘制如图5所示。可以看到，人为修改的数据点并未包含在置信区间之内。进一步地，通过插值的方式修正被修改的数据点，修正前后对比如图6所示。详细地，表2同样给出了具体的修正结果。
表2异常数据与修正结果
Figure BDA0003031727180000102
应用实施例3：
参见图7至图8。本实施例中，同样地，依照图1所示的COMTRADE文件读取流程，使用Matlab对某换流站录波设备存储的COMTRADE文件进行读取、分析、修正。仍对50个数据点(x1,x2,…,x50)中5个数据进行修改，以模拟数据出现异常值的情况。具体地，修改的数据点序号分别为5、15、25、35、45，数值分别被修改为原始值的40％、160％、40％、160％、40％。
依照图2所示的流程对上文所述带有人为修改数据点的模拟量波形进行高斯过程回归，并将置信区间、回归结果、数据点绘制如图7所示。可以看到，人为修改的数据点并未包含在置信区间之内。进一步地，通过插值的方式修正被修改的数据点，修正前后对比如图8所示。详细地，表3同样给出了具体的修正结果。
表3异常数据与修正结果
Figure BDA0003031727180000103
Figure BDA0003031727180000111
综上，本发明提供的基于高斯过程回归的COMTRADE异常录波数据检测和修正方法可以对孤立异常数据点进行检测和修正，从具体实施案例可以看出，能够准确对偏离原始值20％、40％、60％等的异常点进行检出且修正误差较小。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.基于高斯过程回归的COMTRADE异常录波数据检测和修正方法，其特征在于：包括以下步骤：
S1.获取录波器的COMTRADE录波文件数据，包括cfg和dat文件，按照cfg文件的通道规则拆分dat文件为时间序列数组，得到待处理的模拟量通道数组；
S2.模拟量通道异常数据的检测和修正，具体为：
S21.选取待处理的模拟量通道数组；
S22.读取cfg文件该模拟量通道的数值上下限范围；
S23.对整个录波数据数组进行搜索，判断是否有值越限，若有则进行第S24步，无则执行S25步；
S24.记录越限值的数据点序号；
S25.使用高斯过程回归模型对模拟量数据进行回归拟合，得到置信区间；
S26.对整个录波数据数组进行搜索，判断是否有值越出置信区间，若有则进行第7步，无则跳过第7步；
S27.记录越限值的数据点序号；
S28.移除非孤立越限点的标记；
S29.判断是否有数据点被标记为越限点。若有则进行第10步，无则结束处理流程；
S210.对所有被记为越限数据的数据点使用其前后点的线性插值进行替换；
S211.重复S25至S210步，直至没有越限数据为止。
2.根据权利要求1所述的基于高斯过程回归的COMTRADE异常录波数据检测和修正方法，其特征在于：所述步骤1的具体过程为：
步骤11.获取cfg和dat文件的名称和路径；
步骤12.打开cfg文件并以文本格式读入工作区；
步骤13.识别通道总数、数据点个数、起止时间等重要信息；
步骤14.按照cfg的通道规则拆分dat文件为时间序列数组；
步骤15.对模拟量通道数据进行缩放和平移；
步骤16.将各通道的时间序列数组命名为cfg规定的ID；
步骤17.将所有文件基本信息和各通道时间序列保存至程序变量中。
3.根据权利要求2所述的基于高斯过程回归的COMTRADE异常录波数据检测和修正方法，其特征在于：所述步骤25中，先有模拟量数据训练集S＝{(xi,yi)|i＝1,2,…,n}＝(X,y)，其中xi∈Rp是p维的输入矢量，X＝[x1,x2,…,xn]是p×n维输入矩阵，yi∈R是相对应的输出标量，y为输出矢量。
4.根据权利要求1所述的基于高斯过程回归的COMTRADE异常录波数据检测和修正方法，其特征在于：所述步骤S210中采用一次多项式进行线性插值。
5.基于高斯过程回归的COMTRADE异常录波数据检测和修正系统，其特征在于：包括：
数据获取模块，获取录波器的COMTRADE录波文件数据，包括cfg和dat文件，按照cfg文件的通道规则拆分dat文件为时间序列数组，得到待处理的模拟量通道数组；
模拟量通道异常数据的检测和修正模块，具体为：
S21.选取待处理的模拟量通道数组；
S22.读取cfg文件该模拟量通道的数值上下限范围；
S23.对整个录波数据数组进行搜索，判断是否有值越限，若有则进行第S24步，无则执行S25步；
S24.记录越限值的数据点序号；
S25.使用高斯过程回归模型对模拟量数据进行回归拟合，得到置信区间；
S26.对整个录波数据数组进行搜索，判断是否有值越出置信区间，若有则进行第7步，无则跳过第7步；
S27.记录越限值的数据点序号；
S28.移除非孤立越限点的标记；
S29.判断是否有数据点被标记为越限点。若有则进行第10步，无则结束处理流程；
S210.对所有被记为越限数据的数据点使用其前后点的线性插值进行替换；
S211.重复S25至S210步，直至没有越限数据为止。
6.根据权利要求5所述的基于高斯过程回归的COMTRADE异常录波数据检测和修正系统，其特征在于：所述数据获取模块的具体过程为：
步骤11.获取cfg和dat文件的名称和路径；
步骤12.打开cfg文件并以文本格式读入工作区；
步骤13.识别通道总数、数据点个数、起止时间等重要信息；
步骤14.按照cfg的通道规则拆分dat文件为时间序列数组；
步骤15.对模拟量通道数据进行缩放和平移；
步骤16.将各通道的时间序列数组命名为cfg规定的ID；
步骤17.将所有文件基本信息和各通道时间序列保存至程序变量中。
7.根据权利要求6所述的基于高斯过程回归的COMTRADE异常录波数据检测和修正系统，其特征在于：所述步骤25中，先有模拟量数据训练集S＝{(xi,yi)|i＝1,2,…,n}＝(X,y)，其中xi∈Rp是p维的输入矢量，X＝[x1,x2,…,xn]是p×n维输入矩阵，yi∈R是相对应的输出标量，y为输出矢量。
8.根据权利要求5所述的基于高斯过程回归的COMTRADE异常录波数据检测和修正系统，其特征在于：所述步骤S210中采用一次多项式进行线性插值。
9.一种处理设备，其特征在于，包括至少一个处理器，以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至4任一所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至4任一所述的方法。
CN202110432006.6A 2021-04-21 2021-04-21 基于高斯过程回归的comtrade异常录波数据监测和修正方法及系统 Active CN113139158B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110432006.6A CN113139158B (zh) 2021-04-21 2021-04-21 基于高斯过程回归的comtrade异常录波数据监测和修正方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110432006.6A CN113139158B (zh) 2021-04-21 2021-04-21 基于高斯过程回归的comtrade异常录波数据监测和修正方法及系统

Publications (2)

Publication Number Publication Date
CN113139158A true CN113139158A (zh) 2021-07-20
CN113139158B CN113139158B (zh) 2023-05-05

Family

ID=76813112

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110432006.6A Active CN113139158B (zh) 2021-04-21 2021-04-21 基于高斯过程回归的comtrade异常录波数据监测和修正方法及系统

Country Status (1)

Country Link
CN (1) CN113139158B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792636A (zh) * 2021-09-07 2021-12-14 国网安徽省电力有限公司 基于故障录波的特高压直流输电换流变隐性故障预测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090216573A1 (en) * 2005-05-04 2009-08-27 Abb Research Ltd. Method and device for automatic event detection and report generation
CN102147268A (zh) * 2011-01-13 2011-08-10 浙江省电力公司 一体化全景数据记录分析系统
US20150269050A1 (en) * 2014-03-18 2015-09-24 Microsoft Corporation Unsupervised anomaly detection for arbitrary time series
CN105510745A (zh) * 2015-12-24 2016-04-20 武汉大学 一种故障录波数据故障起点检测方法
CN112285464A (zh) * 2020-10-13 2021-01-29 国网安徽省电力有限公司 电网故障诊断方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090216573A1 (en) * 2005-05-04 2009-08-27 Abb Research Ltd. Method and device for automatic event detection and report generation
CN102147268A (zh) * 2011-01-13 2011-08-10 浙江省电力公司 一体化全景数据记录分析系统
US20150269050A1 (en) * 2014-03-18 2015-09-24 Microsoft Corporation Unsupervised anomaly detection for arbitrary time series
CN105510745A (zh) * 2015-12-24 2016-04-20 武汉大学 一种故障录波数据故障起点检测方法
CN112285464A (zh) * 2020-10-13 2021-01-29 国网安徽省电力有限公司 电网故障诊断方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
谢民;赵晓春;孙月琴;王海港;王同文;: "联网录波器数据在电网故障诊断上的应用" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792636A (zh) * 2021-09-07 2021-12-14 国网安徽省电力有限公司 基于故障录波的特高压直流输电换流变隐性故障预测方法
CN113792636B (zh) * 2021-09-07 2024-05-14 国网安徽省电力有限公司 基于故障录波的特高压直流输电换流变隐性故障预测方法

Also Published As

Publication number Publication date
CN113139158B (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
CN111459700B (zh) 设备故障的诊断方法、诊断装置、诊断设备及存储介质
CN109597967B (zh) 一种电力系统配变电站负荷数据异常检测与修复方法
CN110647456B (zh) 一种存储设备的故障预测方法、系统及相关装置
CN115981984A (zh) 一种设备故障检测方法、装置、设备及存储介质
CN112988437B (zh) 一种故障预测方法、装置及电子设备和存储介质
CN113672606A (zh) 油色谱监测数据质量评价方法
CN113139158B (zh) 基于高斯过程回归的comtrade异常录波数据监测和修正方法及系统
CN113934804A (zh) 一种深空探测航天器控制分系统遥测参数自动判读方法
CN112801315A (zh) 电力二次设备的状态诊断方法、装置及终端
CN113095579B (zh) 一种耦合伯努利-伽马-高斯分布的日尺度降水预报校正方法
CN113778766A (zh) 基于多维特征的硬盘故障预测模型建立方法及其应用
CN110263223B (zh) 一种数据类型转化方法、装置、设备及介质
CN116954624A (zh) 基于软件开发包的编译方法、软件开发系统及服务器
CN111209180B (zh) 一种基于模糊匹配的回归测试方法和装置
CN116820821A (zh) 磁盘故障检测方法、装置、电子设备及计算机可读存储介质
CN116593883A (zh) 一种智能化高压开关的断路器本体故障诊断方法、装置、设备及存储介质
CN115659271A (zh) 传感器异常检测方法、模型训练方法、系统、设备及介质
CN112242929B (zh) 日志检测方法及装置
CN109491921B (zh) 埋点信息的管理方法和系统
CN116304776B (zh) 基于k-Means算法的电网数据值异常检测方法及系统
CN109639520B (zh) 一种反应堆保护系统网络通信的计算机辅助测试方法
CN109213635B (zh) 一种录波装置的损坏数据表修复方法及系统
CN118094168A (zh) 一种电力数据的修正方法及装置
CN117892507A (zh) 一种故障录波数据转换为电磁暂态仿真数据的方法
CN118033267A (zh) 一种集成式的电力电缆接头状态测量方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant