CN113704012B - 基于虚拟化的录波数据处理任务透明计算方法及系统 - Google Patents

基于虚拟化的录波数据处理任务透明计算方法及系统 Download PDF

Info

Publication number
CN113704012B
CN113704012B CN202110911175.8A CN202110911175A CN113704012B CN 113704012 B CN113704012 B CN 113704012B CN 202110911175 A CN202110911175 A CN 202110911175A CN 113704012 B CN113704012 B CN 113704012B
Authority
CN
China
Prior art keywords
data
fault
task
conversion
communication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110911175.8A
Other languages
English (en)
Other versions
CN113704012A (zh
Inventor
李波
莫杰锋
温文剑
邱廷钰
杨梓文
黄妍
黄志诚
田小靖
邹建明
伍红文
胡燕
黄如文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuzhou Power Supply Bureau of Guangxi Power Grid Co Ltd
Original Assignee
Wuzhou Power Supply Bureau of Guangxi Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuzhou Power Supply Bureau of Guangxi Power Grid Co Ltd filed Critical Wuzhou Power Supply Bureau of Guangxi Power Grid Co Ltd
Priority to CN202110911175.8A priority Critical patent/CN113704012B/zh
Publication of CN113704012A publication Critical patent/CN113704012A/zh
Application granted granted Critical
Publication of CN113704012B publication Critical patent/CN113704012B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/079Root cause analysis, i.e. error or fault diagnosis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/174Redundancy elimination performed by the file system
    • G06F16/1748De-duplication implemented within the file system, e.g. based on file segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/08Protocols for interworking; Protocol conversion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • G06F2009/4557Distribution of virtual machine instances; Migration and load balancing

Abstract

本发明公开一种基于虚拟化的录波数据处理任务透明计算方法,包括基于通信规约转换规则库通信规约自适应转换结构的设计方法、基于预处理和格式转换的数据透明标准化处理流程及方法、故障窗口数据概化和综合分析计算模型的设计方法和基于虚拟化技术的录波数据处理任务虚拟化调度方法,分别从兼容性、标准化、可靠性和效率层面完成智能录波器主站系统的功能完善和性能提升。本发明在主站系统应设计出新的录波数据处理任务透明计算模型,提升故障分析的准确性和数据监测运行的透明性,得到全网信息透明化的调度决策支持解决方案。

Description

基于虚拟化的录波数据处理任务透明计算方法及系统
技术领域
本发明涉及继电保护领域,尤其涉及基于虚拟化的录波数据处理任务透明计算方法及系统。
背景技术
目前最新一代智能录波器,有别于上一代智能录波器和常规录波器,在故障录波功能基础上,增加了网络记录分析、二次系统可视化、智能运维等功能,数据类型和数据量成倍增长,现有录波主站的数据处理技术仍停留在对故障录波数据的处理,从规约兼容、数据解析、分析计算、系统性能消耗等方面都不足以支撑新一代智能录波器的新增功能,需要面向智能化主站需求设计新的录波数据处理模型,同时也兼容上一代智能录波器和常规录波器的故障录波数据处理功能,实现智能变电站与传统变电站的无差别管理。
现有录波主站系统对录波数据的处理主要分为以下几个步骤:通信规约解析、录波数据解析、故障分析。传统的处理方法本身就存在缺陷,在面对智能录波器的数据处理任务许多缺陷会被放大,甚至发展成为致命缺陷,主要有以下不足:
(1)通信规约解析方法效率低、延时高、资源调配不合理、后期改造成本高
目前录波器采用的通信规约主要分为IEC61850、IEC103和厂家私有规约三大类,各厂家在IEC61850和IEC103规约标准基础上也增加了不同的扩充内容,造成不同型号录波器的通信规约存在较大差异,不能统一。现有录波主站系统为解决通信规约兼容问题,大多采用的方法是为每个型号的录波器开发一套专用的通信模块,甚至将某种或某几种专用通信模块部署在固定服务器上,根据某型号录波器数量来人工调配进行数据处理的服务器。这种做法虽解决了兼容问题,但因为录波器数据的产生具有随机性、集中性和海量性特征,主站在管理较大数量录波器时就存在某型号录波器数据处理任务队列过长、延时高、效率低;某些服务器性能开销大而某些空闲时间长,资源调配不合理;目前大部分录波器采用IEC103规约,而随着智能变电站发展,未来IEC61850规约将成为主流,现有的固化式通信规约解析方法将面临大量的升级改造工作,成本很高。
(2)异构数据标准化方法效率低、结构复杂、新数据类型不支持
录波器数据的异构性以COMTRADE文件(Common format for transient dataexchange电力系统瞬态数据交换的通用格式)为典型代表,COMTRADE格式文件随意扩充,格式不规范。目前采用的《GB/T 22386-2008》源自行标《IEEE Std C37.111-1999》(COMTRADE99版),该标准是配合《DL/T 553》和《DL/T 663》而生,各厂家对标准理解不一致,文件格式产生差异。针对该问题,现有录波主站系统主要采取的方法有:直接调用原厂家数据解析模块或在通用解析模块基础上联合原厂家进行修改,存在系统与模块契合度不足、结构复杂、调用效率低、处理效果不可控等问题。
(3)故障分析的准确性有待提升
分布式录波器在远距离传输文件过程中,容易出现丢包、延时而导致原始数据丢失或通道参数缺失等情况,将直接影响故障分析成功率或分析结果的准确性,目前尚无十分有效的补救措施。此外,上一代智能录波器和常规录波器采集范围侧重于一次设备,数据不够全面,故障分析易受环境因素和设备自身缺陷影响。而新一代智能录波器增加了二次系统可视化和智能运维功能,能够很好反映二次设备运行状态,因此主站系统应设计出新的计算模型对这些新数据进行融合,提升故障分析的准确性。
发明内容
有鉴于此,本发明提出了一种基于虚拟化的录波数据处理任务透明计算方法及系统,用于解决录波数据处理过程不够透明的问题。
本发明第一方面,公开一种基于虚拟化的录波数据处理任务透明计算方法,所述方法包括:
构建通信规约转换规则库,建立通信规约自适应转换框架结构实现规约参数透明;
对主站系统调取的录波数据进行预处理和格式转换,实现录波数据透明;
基于故障文件,对故障窗口中数据进行概化,利用Apriori算法对概化后的数据进行挖掘,建立故障诊断模型;
利用虚拟化技术,抽象录波主站系统底层硬件资源,基于任务类型和任务优先级均衡分配虚拟机资源,实现任务计算透明。
优选的,所述建立通信规约自适应转换框架结构的过程为:
建立非标准规约向标准规约转换的信息模型,形成规约转换规则库;
基于任务队列记录不同厂商的录波器通信数据;
通信调度器对通信数据进行规约规则特征标记后送入通信模块,同时开始队列下一数据标记;
通信模块根据规约规则特征标记,从规约转换规则库自动匹配加载相应的信息模型;
基于信息模型中间件进行参数统一,实现规约自适应转换。
优选的,所述预处理具体包括:
采用FP-Growth算法,挖掘在多个数据集合中出现次数达到一定阈值的频繁项的集合,当某种特征信息匹配率高于预设阈值时删除冗余数据;
将录波数据中直流分量、基波分量和谐波分量进行线性叠加,选取样本点经过多次计算得到基波和谐波的相关常量,将波形的周期及幅值逻辑关联,实现录波数据无损压缩;
通过波形求导、峰值计算在内的操作计算出数据变化趋势和不同的数据之间的关联,对数据进行分类。
优选的,所述格式转换具体包括:
基主站系统调取到不同厂家的录波文件后,基于录波器设备信息从转换接口表中匹配出对应的转换函数入口,跳转到相应的转换函数;
通过转换函数遍历配置文件,提取有效信息,结合数据文件生成不同表格存放于临时数据库;
通过各通道数据表将临时数据库中的不同表格转换成标准格式。
优选的,所述基于故障文件,对故障窗口中数据进行概化具体包括:
对输电线路故障信息进行筛选和匹配对应的故障文件,扫描故障文件,进行属性数据缺失处理和数值数据缺失处理,并冗余删除;
对于不标准的语义数据,采用模糊测度将各异构的属性数据转换成标准语义数据,进行定类分类;
对于不标准的数值数据,利用定距或者定比的分类方法完成粒度转换和相似测度转换。
优选的,所述利用Apriori算法对概化后的数据进行挖掘,建立故障诊断模型具体包括:
设故障诊断模型M=<Dia,State(value)>,Dia为事故原因及其处理方法,D={d1,d2,…,dn}为事故原因的组合,State(value)为故障窗口中概化后数据对应的状态信息;
用C={C1,C2,…,Cm}表示历史事件数据库中的故障记录信息,Ck={c1,c2…,cp}为其中一条故障记录,所述故障记录中包括但不限于概化后的电压电流相别/相位/大小、开关变位、重合闸、保护动作和行波信息;
依据运行情况设定最小支持度Smin,计算Ck支持度
num(Ck)为Ck发生的次数,W为所有事故次数;
依次对Ck进行支持度计算,并对Ck进行支持度过滤,过滤掉的故障记录;
计算故障类型di的支持度,计算故障状态Ck对故障类型di的置信度,其公式为:
所述置信度Confidence(Ck=>di)为在Ck的故障状态下,诊断为di故障类型的概率,P(<di,Ck>)表示事件包含D和C中每个项<di,Ck>的概率,i=1,2,…,n,k=1,2,…,m。
优选的,基于任务类型和任务优先级均衡分配虚拟机资源,实现任务计算透明具体包括:
对任务分类,设定任务优先级,处理故障诊断模型诊断出的有明显故障特征或有开关变位标识的录波文件的优先级最高,按照任务优先级排序;
利用剩余资源反馈机制的资源优化算法,根据系统当前资源消耗情况为不同类型和大小的任务分配到动态负载均衡筛选出来的处理节点上,同时监视和管控任务执行进度,及时释放空闲资源。
优选的,所述方法还包括:面向用户实现主站系统信息的细粒度定制和可视化展示,以及自身及所连接录波器的运行、通信、定值配置的自动巡视,进行巡视结果编辑和可视化展示输出,实现运行透明。
本发明第二方面,公开一种基于虚拟化的录波数据处理任务透明计算系统,所述系统包括:
通信规约自适应转换框架:用于构建通信规约转换规则库,建立通信规约自适应转换框架结构实现规约参数透明;
数据透明标准化处理模块:用于对主站系统调取的录波数据进行预处理和格式转换,实现录波数据透明;
故障窗口数据概化和综合分析计算模型:用于基于故障文件,对故障窗口中数据进行概化,利用Apriori算法对概化后的数据进行挖掘,建立故障诊断模型;
录波数据处理任务虚拟化调度模块:用于利用虚拟化技术,抽象录波主站系统底层硬件资源,基于任务类型和任务优先级均衡分配虚拟机资源,实现任务计算透明。
本发明第三方面,公开一种电子设备,包括:至少一个处理器、至少一个存储器、通信接口和总线;
其中,所述处理器、存储器、通信接口通过所述总线完成相互间的通信;所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令,以实现本发明第一方面所述的方法。
本发明相对于现有技术具有以下有益效果:
1)本发明提出基于虚拟化的录波数据处理任务透明计算方法,通过通信规约自适应转换框架结构来解决智能录波器和常规录波器的批量兼容问题;提出数据透明标准化处理流程及方法解决数据容错和安全转码问题;提出故障窗口数据概化和综合分析计算模型来实现融合新一代智能录波器全景数据的高质量故障分析;在解决上述问题的前提下,还提出了录波数据处理任务虚拟化调度方法,提高智能录波器海量数据的处理效率,提升主站性能。本发明分别从兼容性、标准化、可靠性和效率层面完成智能录波器主站系统的功能完善和性能提升。
2)本发明通过录波主站系统的数据处理,可与新一代智能录波器全景可视化发展相匹配,改变了过往调度管理技术滞后于智能变电站运行技术发展的局面,减少了电网运行状态感知和智能运维透明的盲区,是一整套全网信息透明化的调度决策支持解决方案。
3)本发明在设备兼容、数据转码、透明计算和可视化展示方面较传统主站有飞跃性的提升,可以有效解决故障分析过程和系统运作不透明的问题,可形成对全网运行状态的快速感知和可视化监视,实现智能录波器功能往调度侧的延伸和迈进。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的基于虚拟化的录波数据处理任务透明计算方法流程图;
图2为传统的根据录波器型号开发专用通信模块的框架结构;
图3为本发明提出的通信规约自适应转换框架结构;
图4为本发明数据预处理过程示意图;
图5为本发明格式转换流程图;
图6为本发明故障窗口数据概化流程图;
图7为本发明故障诊断模型示意图;
图8为本发明录波数据处理任务虚拟化调度示意图;
图9为本发明基于虚拟化的录波数据处理任务透明计算模型的运作流程示意图。
具体实施方式
下面将结合本发明实施方式,对本发明实施方式中的技术方案进行清楚、完整地描述,显然,所描述的实施方式仅仅是本发明一部分实施方式,而不是全部的实施方式。基于本发明中的实施方式,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式,都属于本发明保护的范围。
本发明提出一种基于虚拟化的录波数据处理任务透明计算方法,设计了基于虚拟化的录波数据处理任务透明计算模型,包含通信规约自适应转换结构的设计方法、数据透明标准化处理流程及方法、故障窗口数据概化和综合分析计算模型的设计方法和录波数据处理任务虚拟化调度方法,分别从兼容性、标准化、可靠性和效率层面完成智能录波器主站系统的功能完善和性能提升。
请参阅图1,本发明提出的基于虚拟化的录波数据处理任务透明计算方法包括如下步骤:
S1、构建通信规约转换规则库,建立通信规约自适应转换框架结构实现规约参数透明;
目前智能变电站和部分近年新建常规变电站主要采用IEC61850标准规约,大部分存量常规变电站则采用IEC103规约或私有规约,其中私有规约大多是IEC103规约的变种,因此智能录波主站系统能同时适配以上几种规约的通信框架结构,在与标准规约保持同步的同时,还具备向下兼容的能力,以适应现有大部分常规变电站录波器规约向完全遵循标准规约的平滑过渡。以往采用的根据录波器型号开发专用通信模块的框架结构如图2所示,其弊端在于:
1)系统维护量大,主站系统的通信模块适配依赖运维人员手动选择,当型号发生变化时,变电站、调度和主站三方信息很难及时同步,容易造成通信连接长时间断开。
2)专用通信模块代码复用率不高、资源开销大、硬件冗余配置要求高,成本增加。
3)效率低、资源浪费,如图2所示,A队列已拥堵,而D队列却长期空闲。
本发明提出的通信规约自适应转换框架结构如图3所示,在该结构下无需固定通信模块和通信服务器,只要任意一条通信服务器有资源空闲都可以进行处理,通信模块能将非标准规约安装标准定义的信息模型进行重组,实现任意类型通信规约的自适应。
建立通信规约自适应转换框架结构的过程为:
S11、在系统开发阶段,根据IEC61850标准中的定义,建立非标准规约向标准规约转换的信息模型,形成规约转换规则库;
S12、所有任务按到达时间依次进入队列,无需关注数据来源于什么录波器型号,基于任务队列记录不同厂商的录波器通信数据;
S13、通信调度器对通信数据进行规约规则特征标记后送入通信模块,同时开始队列下一数据标记;
S14、通信模块根据规约规则特征标记,从规约转换规则库自动匹配加载相应的IEC61850信息模型;
S15、基于IEC61850信息模型中间件进行参数统一,实现规约自适应转换;
S16、通信调度器优先分配任务给空闲的通信模块,当多个通信模块处于空闲状态,则优先分配给上一次处理过同类型信息模型的通信模块;
S17、通信调度器将关闭长期空闲模块,释放系统资源,按需开启。
本发明设计的通信规约自适应转换框架结构的优势在于:
1)提高任务处理效率,避免任务队列拥堵;
2)减少通信模块空闲时间,降低系统资源开销;
3)增强主站系统对录波器改造扩建的适应能力,提高可靠性;
3)降低硬件设备投入和运维成本。
S2、对主站系统调取的录波数据进行预处理和格式转换,实现录波数据透明;
S21、数据预处理
录波器数据具有非同型异构、时标系微偏差、采样率不一等特征,主站系统调取数据后对数据进行预处理是为了统一表示不同模态数据和智能兼容要求,如图4所示,数据预处理具体包括如下分步骤:
S211、删除冗余
有些新文件只是在原有文件上作了部分改动,还有某些文件存在着多份拷贝或者文件中某数据大量重复,比如,对于某电流扰动重复出现或者电流的周期数据。如果对所有相同的数据块都只保留一份实例,实际存储的数据量和数据处理级数将大大减少,因此,本发明采用FP-Growth算法,挖掘在多个数据集合中出现次数达到一定阈值的频繁项的集合,当某种特征信息匹配率高于预设阈值时删除冗余数据。
S212、无损压缩
录波信息本质上是直流分量、基波分量和谐波分量的线性叠加,用如下公式表示,其中a0表示直流分量,Ui表示幅值,ω为角频率,σi为初始相角,选取样本点经过多次计算得到基波和谐波的相关常量,将波形的周期及幅值逻辑关联表示,实现录波数据无损压缩,压缩狗的录播数据可以省去大量的数据存储和管理任务,在以后调用时也可实现数据再现。
S213、数据分类
通过波形求导、峰值计算在内的操作计算出数据变化趋势和不同的数据之间的关联,对数据进行分类、分析、统计和评估。当类似的事件再次发生时,可以将事件的原因归类并将处理结果呈现在工作人员面前,不仅减少人工作业,也可有效降低人工误判概率。
以上三个分步骤是顺序执行的,首先删除冗余数据,以免接下来对可删除数据进行处理,然后经过无损压缩以及数据分类处理,最终得到高质量数据。
S22、格式转换
由于COMTRADE格式中的通道定义、定值参数、采样值等录波信息分布在多个文件中,不同信息间的耦合度较高,这给故障分析造成一定难度,不仅如此,应用解析和各厂家的录波文件绑定太紧密的话,同样会导致系统的耦合度太高,功能难以扩充和维护,给后期二次分析带来困难,因此需要对不同厂家的录波文件进行抽象映射,将文件进行解耦转换。
请参阅图5,步骤S22的格式转换原理为:主站系统调取到不同厂家的COMTRADE录波文件后,查询录波器信息表,基于录波器设备信息从转换接口表中匹配出对应的转换函数入口,根据每个录波格式跳转到相应的转换函数,通过转换函数遍历配置文件,提取有效信息,将模拟通道名称、开关通道名称等有效信息提取出来,结合数据文件生成各通道数据表存放于临时数据库中,转换成标准格式。通道数据表中的内容包括通道名称、序列号、时间标记和量值,量值通过对数据文件融合处理得到。
对于其它数据,新一代智能录波器对故障分析相关的保护动作信息报告、二次系统可视化模型、智能运维文件等有较明晰的格式定义,参照标准进行解析即可。
S3、基于故障文件,对故障窗口中数据进行概化,利用Apriori算法对概化后的数据进行挖掘,建立故障诊断模型;
S31、故障窗口数据概化
对于故障分析过程中包含有大量的非数字语言的文件的处理:故障相关信息来自于多类设备,存在大量分散、异构、冗余以及需要推理和关联的信息,这些原始概念的细节信息不能都被计算机识别出来,且不易于被算法使用,故障相关数据项可以分为两类:一类是枚举数据,用文字表示,如相别、故障器件、故障原因等;另一类是量化型数据,如距离、电流、电压等。
请参阅图6,故障窗口数据概化包括如下分步骤:
S311、对输电线路故障信息进行筛选和匹配对应的故障文件,扫描故障文件,进行属性数据缺失处理和数值数据缺失处理,并冗余删除;
S312、对于不标准的语义数据,采用模糊测度将各异构的属性数据转换成标准语义数据,进行定类分类;
S313、对于不标准的数值数据,利用定距或者定比的分类方法完成粒度转换和相似测度转换。
具体的,数据的概化过程大致可分为数据缺失处理、数据转换两类工作:
1)数据缺失处理:若原始数据中存在缺失或冗余的情况,会导致数据重复处理或无法正确解读,首先扫描故障文件,以进行初始判断,如果有信息属性缺失,则查询属性列表,其中包含有属性类型及补偿信息,并对缺失的属性进行补充;如果有数据缺失,对数据缺失较多的情况采用拉格朗日插值,对于数据缺失较少的情况用线性求取平均值的办法补齐;对冗余的数据则进行删除;
2)数据转换:由于记录故障的设备来自于多个厂家,故障文件规格不一,标准量不同,多样性带来了数据的不一致性,例如,即使相同的电流或电压,CT/PT变比的不同会来带电流或电压很大的偏差,或者具有不同的量纲和数量级。需要将多源的数据转换成一致的标准,对于非数值的信息要进行数值化处理,将其转化为无量纲的纯数值,便于统一分析和度量,各专业对数据的运用习惯和解读方式有所区别,对信息的读取存在语义或数据无法识别的情况。
对于不标准的语义数据采用模糊测度:所有属性组合空间设为Ω,其中有k个属性,Ω={C1,C2,…,Ck},取样本F={f1,f2,…,fk},其目的是将各异构的属性转换成标准语义。设定一个属性库,其中包含有每个属性Ci的不同部门、定义或专业的解读。如果各项属性在库中匹配成功,即对任意i(1≤i≤k),有fi∈Ci,那么将此样本规范化。对于在匹配过程中难免存在不识别的情况,可进行人工干预,随着属性库的积累,转换率也将会提高。而后进行定类分类,例如故障分类电源故障、电路故障、设备和元件故障等。
对于不标准的数值数据,需要进行粒度转换,使之落入一个小的特定区间,虽会产生一些细节的丢弃,但粒度化后的数据更有意义,更容易获得有效的特征。对电流幅值、电压幅值、行波波头时间间隔等属性利用定距或者定比的分类方法完成粒度转换,例如,故障电流值依据定距分类方法划分为超低、低、中、中高、高、超高,同样的对其他连续数据转换并映射到相应区间。
S32、故障诊断模型
对于故障模型的建立,需要从样本组成的数据集作为训练集。每个样本可以表示为一个属性元组,表征故障状态特征属性。本发明利用Apriori算法对概化后的数据进行挖掘,对比历史事件过程的数据曲线、开关变位、持续时间等特征量,查找相似案例,参考档案记录的事件原因、处理方法,建立故障诊断模型。
请参阅图7,建立故障诊断模型的步骤包括:
S321、设故障诊断模型M=<Dia,State(value)>,Dia为事故原因及其处理方法,D={d1,d2,…,dn}为事故原因的组合,State(value)为故障窗口中概化后数据对应的状态信息;
S322、用C={C1,C2,…,Cm}表示历史事件数据库中的故障记录信息,Ck={c1,c2…,cp}为其中一条故障记录,所述故障记录中包括但不限于概化后的电压电流相别/相位/大小、开关变位、重合闸、保护动作和行波信息;
依据运行情况设定最小支持度Smin,计算Ck支持度
num(Ck)为Ck发生的次数,W为所有事故次数;
依次对Ck进行支持度计算,并对Ck进行支持度过滤,过滤掉的故障记录,其值并不是一成不变的,取决于样本数量及质量。对于/>的情况可能是存在的极少数的保护设备故障或开关拒动,并以此进行支持度过滤;
S323、计算故障类型di的支持度,并计算故障状态Ck对故障类型di的置信度,其公式为:
所述置信度Confidence(Ck=>di)为在Ck的故障状态下,诊断为di故障类型的概率,P(<di,Ck>)表示事件包含D和C中每个项<di,Ck>的概率,i=1,2,…,n,k=1,2,…,m。
S4、利用虚拟化技术,抽象录波主站系统底层硬件资源,基于任务类型和任务优先级均衡分配虚拟机资源,实现任务计算透明。
对于海量录波数据,虚拟化技术可以使得硬件资源底层之间的差异做到透明,便于资源控制器对不同的虚拟计算资源进行统一调度管理。
本发明录波数据处理任务虚拟化调度示意图如图8所示,首先对任务分类,不同类型任务运行于由通信、存储、分析和发布服务器资源分割后的虚拟机中,然后设定任务优先级,处理故障诊断模型诊断出的有明显故障特征或有开关变位标识的录波文件的优先级最高,按照任务优先级排序。多窗口任务的透明计算实际上可以转化为任务处理效率或资源优化利用的问题,因此利用剩余资源反馈机制的资源优化算法,通过资源任务匹配加载调度器将任务分配到动态负载均衡筛选出来的处理节点上,缩短计算时间,降低CPU和内存等资源的占用,同时监视和管控任务执行进度,通过资源控制器监控资源池并及时释放空闲资源,空闲资源回收至资源任务匹配加载调度器。
S5、面向用户实现主站系统信息的细粒度定制和可视化展示,以及自身及所连接录波器的运行、通信、定值配置的自动巡视,进行巡视结果编辑和可视化展示输出,实现运行透明。通过建立可视化运行模型,对S1-S4中全过程的监测指标的运作展示和故障诊断结果发布,支撑智能录波器主站系统的运行透明。
通过以上步骤S1至S5即完成基于虚拟化的录波数据处理任务透明计算模型设计,包括通信规约自适应转换结构的设计方法、数据透明标准化处理流程及方法、故障窗口数据概化和综合分析故障诊断模型的设计方法、录波数据处理任务虚拟化调度方法以及可视化展示方法,分别从兼容性、标准化、可靠性、效率和可视化层面完成智能录波器主站系统的功能完善和性能提升。
基于虚拟化的录波数据处理任务透明计算模型的运作流程如图9所示,由信息透明、数据透明、计算透明、运行透明4个步骤组成:
1)信息透明:实现常规和智能录波器无差别接入,对应故障录波数据分析过程监测指标的数据接入监测指标。建立不同型号对应的通信服务模型和统一数据转出接口,实现非同型设备之间的数据特征识别和通信服务自适应,确保一站式无差别接入。多来源数据异步处理,提高通信服务器资源在透明体系下的目标转换效率,确保录波器连接和数据接收的可靠性。
2)数据透明:实现异构数据的标准化处理和分布式数据快速存储,对应故障录波数据分析过程监测指标的数据规范监测指标和数据存取监测指标。适应全网智能与常规型号的故障录波器及主站智能化报文格式的无损转换,采用了友好容错和安全转码技术,对不符合规范的数据直接在主站端调取一次定值模型,重新生成标准配置参数,摆脱格式不规范对数据存储和分析的影响。
3)计算透明:实现基于虚拟化的任务计算透明技术,对应故障录波数据分析过程监测指标的信息诊断监测指标。通过对数据的分拣和任务的分类,优先处理有明显故障特征或有开关变位标识的录波文件,利用虚拟化的任务透明计算技术,根据系统当前资源消耗情况为不同类型和大小的任务合理匹配虚拟机资源,同时监视和管控任务执行进度,及时释放空闲资源。
4)运行透明:实现基于可视化的运行状态透明技术,对应故障录波数据分析过程监测指标的运作展示检测指标。系统的故障信息发布、可视化展示和智能巡检等功能,面向用户实现系统信息的细粒度定制和可视化展示,以及自身及所连接录波器的运行、通信、定值配置等情况的自动巡视,支持巡视结果编辑和输出等。
本发明面向服务对象进行细粒度需求内容的定制,实现事件定义、信息共享和人机交互的透明运作模式,提高新一代智能录波主站的综合服务能力。
本发明还公开一种基于虚拟化的录波数据处理任务透明计算系统,所述系统包括:
通信规约自适应转换框架:用于构建通信规约转换规则库,建立通信规约自适应转换框架结构实现规约参数透明;
数据透明标准化处理模块:用于对主站系统调取的录波数据进行预处理和格式转换,实现录波数据透明;
故障窗口数据概化和综合分析计算模型:用于基于故障文件,对故障窗口中数据进行概化,利用Apriori算法对概化后的数据进行挖掘,建立综合分析故障诊断模型;
录波数据处理任务虚拟化调度模块:用于利用虚拟化技术,抽象录波主站系统底层硬件资源,基于任务类型和任务优先级均衡分配虚拟机资源,实现任务计算透明;
可视化运行模型:用于面向用户实现主站系统信息的细粒度定制和可视化展示,以及自身及所连接录波器的运行、通信、定值配置的自动巡视,进行巡视结果编辑和可视化展示输出,实现运行透明。
以上系统实施例和方法实施例是一一对应的,系统实施例简述之处请参阅方法实施例即可。
下面结合具体实验数据验证本发明的效果。
根据实验数据概化成果,利用Apriori算法进行关联规则挖掘,鉴于故障的多样性及复杂性,设置最小支持度为0.05,最小置信度为0.5,对具有多源属性的故障数据进行挖掘,建立故障模型。取50次典型故障案例,利用模型判别故障原因,并获得相应状态下的置信度,其中43次判断结果准确,可见利用关联规则来分析电网故障取得了较好的效果,具有较高的实用性和可靠性。
部分结果见表1,限于表格大小,仅展示局部状态量。
表1故障案例关联性局部状态数据分析表
表1中不同序号对应不同案例,对表1中的故障案例进行分析:案例1的断路器分闸时间超时现象,相较于以前类似事故,判定为断路器二次控制回路故障;案例2的热稳定持续时间较长,且具有短路电流过高、冲击频次较大、数值相当等相似性,因为历史短路冲击导致变压器绕组变形令绝缘强度降低,系统据此判断保护装置故障;案例3、4、5依据相电流电压发生改变及变化量的关联性判定故障状态。
本发明提出一种基于虚拟化的录波数据处理任务透明计算方法,包括通信规约自适应转换结构的设计方法、数据透明标准化处理流程及方法、故障窗口数据概化和综合分析故障诊断模型的设计方法和录波数据处理任务虚拟化调度方法,分别从兼容性、标准化、可靠性和效率层面完成智能录波器主站系统的功能完善和性能提升。应用与智能录波主站系统的数据处理,与新一代“四合一”智能录波器全景可视化发展相匹配,改变了过往调度管理技术滞后于智能变电站运行技术发展的局面,解决了电网运行状态感知和智能运维透明的盲区,是一整套全网信息透明化的调度决策支持解决方案。在设备兼容、数据转码、透明计算和可视化展示方面较传统主站有飞跃性的提升,可以有效解决故障分析过程和系统运作不透明的问题,可形成对全网运行状态的快速感知和可视化监视,实现智能录波器功能往调度侧的延伸和迈进。
本发明还公开一种电子设备,包括:至少一个处理器、至少一个存储器、通信接口和总线;其中,所述处理器、存储器、通信接口通过所述总线完成相互间的通信;所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令,以实现本发明前述的基于虚拟化的录波数据处理任务透明计算方法。
本发明还公开一种计算机可读存储介质,所述计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机实现本发明实施例所述基于虚拟化的录波数据处理任务透明计算方法的全部或部分步骤。所述存储介质包括:U盘、移动硬盘、只议存储器ROM、随机存取存储器RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以分布到多个网络单元上。本领域普通技术人员在不付出创造性的劳动的情况下,可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
以上所述仅为本发明的较佳实施方式而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于虚拟化的录波数据处理任务透明计算方法,其特征在于,所述方法包括:
构建通信规约转换规则库,建立通信规约自适应转换框架结构实现规约参数透明;
对主站系统调取的录波数据进行预处理和格式转换,实现录波数据透明;
基于故障文件,对故障窗口中数据进行概化,利用Apriori算法对概化后的数据进行挖掘,建立故障诊断模型;
利用虚拟化技术抽象录波主站系统底层硬件资源,基于任务类型和任务优先级均衡分配虚拟机资源,实现任务计算透明;
所述建立通信规约自适应转换框架结构的过程为:
建立非标准规约向标准规约转换的信息模型,形成规约转换规则库;
基于任务队列记录不同厂商的录波器通信数据;
通信调度器对通信数据进行规约规则特征标记后送入通信模块,同时开始队列下一数据标记;
通信模块根据规约规则特征标记,从规约转换规则库自动匹配加载相应的信息模型;
基于信息模型中间件进行参数统一,实现规约自适应转换;
所述基于故障文件,对故障窗口中数据进行概化具体包括:
对输电线路故障信息进行筛选和匹配对应的故障文件,扫描故障文件,进行属性数据缺失处理和数值数据缺失处理,并冗余删除;
对于不标准的语义数据,采用模糊测度将各异构的属性数据转换成标准语义数据,进行定类分类;
对于不标准的数值数据,利用定距或者定比的分类方法完成粒度转换和相似测度转换;
所述利用Apriori算法对概化后的数据进行挖掘,建立故障诊断模型具体包括:
设故障诊断模型M=<Dia,State(value)>,Dia为事故原因及其处理方法,D={d1,d2,…,dn}为事故原因的组合,State(value)为故障窗口中概化后数据对应的状态信息;
用C={C1,C2,…,Cm}表示历史事件数据库中的故障记录信息,Ck={c1,c2…,cp}为其中一条故障记录,所述故障记录中包括概化后的电压电流相别/相位/大小、开关变位、重合闸、保护动作和行波信息;
依据运行情况设定最小支持度Smin,计算Ck支持度
num(Ck)为Ck发生的次数,W为所有事故次数;
依次对Ck进行支持度计算,并对Ck进行支持度过滤,过滤掉的故障记录;
计算故障类型di的支持度,计算故障状态Ck对故障类型di的置信度,其公式为:
所述置信度Confidence(Ck=>di)为在Ck的故障状态下,诊断为di故障类型的概率,i=1,2,…,n,k=1,2,…,m;
所述基于任务类型和任务优先级均衡分配虚拟机资源,实现任务计算透明具体包括:
对任务分类,设定任务优先级,处理故障诊断模型诊断出的有明显故障特征或有开关变位标识的录波文件的优先级最高,按照任务优先级排序;
利用剩余资源反馈机制的资源优化算法,根据系统当前资源消耗情况为不同类型和大小的任务分配到动态负载均衡筛选出来的处理节点上,同时监视和管控任务执行进度,及时释放空闲资源。
2.根据权利要求1所述基于虚拟化的录波数据处理任务透明计算方法,其特征在于,所述预处理具体包括:
采用FP-Growth算法,挖掘在多个数据集合中出现次数达到一定阈值的频繁项的集合,当某种特征信息匹配率高于预设阈值时删除冗余数据;
将录波数据中直流分量、基波分量和谐波分量进行线性叠加,选取样本点经过多次计算得到基波和谐波的相关常量,将波形的周期及幅值逻辑关联,实现录波数据无损压缩;
通过波形求导、峰值计算在内的操作计算出数据变化趋势和不同的数据之间的关联,对数据进行分类。
3.根据权利要求2所述基于虚拟化的录波数据处理任务透明计算方法,其特征在于,所述格式转换具体包括:
基主站系统调取到不同厂家的录波文件后,基于录波器设备信息从转换接口表中匹配出对应的转换函数入口,跳转到相应的转换函数;
通过转换函数遍历配置文件,提取有效信息,结合数据文件生成不同表格存放于临时数据库;
通过各通道数据表将临时数据库中的不同表格转换成标准格式。
4.根据权利要求1所述基于虚拟化的录波数据处理任务透明计算方法,其特征在于,所述方法还包括:
面向用户实现主站系统信息的细粒度定制和可视化展示,以及自身及所连接录波器的运行、通信、定值配置的自动巡视,进行巡视结果编辑和可视化展示输出,实现运行透明。
5.使用权利要求1~4任一项所述方法的一种基于虚拟化的录波数据处理任务透明计算系统,其特征在于,所述系统包括:
通信规约自适应转换框架:用于构建通信规约转换规则库,建立通信规约自适应转换框架结构实现规约参数透明;
数据透明标准化处理模块:用于对主站系统调取的录波数据进行预处理和格式转换,实现录波数据透明;
故障窗口数据概化和综合分析计算模型:用于基于故障文件,对故障窗口中数据进行概化,利用Apriori算法对概化后的数据进行挖掘,建立故障诊断模型;
录波数据处理任务虚拟化调度模块:用于利用虚拟化技术,抽象录波主站系统底层硬件资源,基于任务类型和任务优先级均衡分配虚拟机资源,实现任务计算透明。
6.一种电子设备,包括:至少一个处理器、至少一个存储器、通信接口和总线;
其中,所述处理器、存储器、通信接口通过所述总线完成相互间的通信;所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令,以实现如权利要求1~4任一项所述的方法。
CN202110911175.8A 2021-08-10 2021-08-10 基于虚拟化的录波数据处理任务透明计算方法及系统 Active CN113704012B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110911175.8A CN113704012B (zh) 2021-08-10 2021-08-10 基于虚拟化的录波数据处理任务透明计算方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110911175.8A CN113704012B (zh) 2021-08-10 2021-08-10 基于虚拟化的录波数据处理任务透明计算方法及系统

Publications (2)

Publication Number Publication Date
CN113704012A CN113704012A (zh) 2021-11-26
CN113704012B true CN113704012B (zh) 2024-01-30

Family

ID=78651998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110911175.8A Active CN113704012B (zh) 2021-08-10 2021-08-10 基于虚拟化的录波数据处理任务透明计算方法及系统

Country Status (1)

Country Link
CN (1) CN113704012B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117459501B (zh) * 2023-12-25 2024-02-27 南京移腾电力技术有限公司 一种基于虚拟机模式的数据传输管理系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102522819A (zh) * 2011-11-24 2012-06-27 浙江省电力公司 智能变电站故障录波装置的录波模型建模方法
CN103501047A (zh) * 2013-10-09 2014-01-08 云南电力调度控制中心 一种智能故障录波主站信息管理系统
CN103559570A (zh) * 2013-10-09 2014-02-05 东北电网有限公司 一种故障录波主站信息管理系统
WO2017181829A1 (zh) * 2016-04-20 2017-10-26 中兴通讯股份有限公司 虚拟化平台的运行方法及虚拟化平台
CN109617001A (zh) * 2018-12-28 2019-04-12 广西电网有限责任公司防城港供电局 一种继电保护多源异构信息智能化处理系统
WO2019233047A1 (zh) * 2018-06-07 2019-12-12 国电南瑞科技股份有限公司 基于电网调度的运维方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102522819A (zh) * 2011-11-24 2012-06-27 浙江省电力公司 智能变电站故障录波装置的录波模型建模方法
CN103501047A (zh) * 2013-10-09 2014-01-08 云南电力调度控制中心 一种智能故障录波主站信息管理系统
CN103559570A (zh) * 2013-10-09 2014-02-05 东北电网有限公司 一种故障录波主站信息管理系统
WO2017181829A1 (zh) * 2016-04-20 2017-10-26 中兴通讯股份有限公司 虚拟化平台的运行方法及虚拟化平台
WO2019233047A1 (zh) * 2018-06-07 2019-12-12 国电南瑞科技股份有限公司 基于电网调度的运维方法
CN109617001A (zh) * 2018-12-28 2019-04-12 广西电网有限责任公司防城港供电局 一种继电保护多源异构信息智能化处理系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于容器调度架构的录波信息主站系统的设计;翟海燕;李本瑜;廖晓春;宁雪莹;王慧琼;;电力信息与通信技术(第11期) *

Also Published As

Publication number Publication date
CN113704012A (zh) 2021-11-26

Similar Documents

Publication Publication Date Title
CN106709580B (zh) 一种变电站二次系统运维云平台
WO2022133981A1 (zh) 数据处理方法、平台、计算机可读存储介质及电子设备
CN105045820B (zh) 一种处理海量级数据的视频图像信息的方法及数据库系统
CN108446396B (zh) 一种基于改进型cim模型的电力数据处理方法
CN104600840A (zh) 一种智能调度防误操作管理系统及方法
WO2015176563A1 (zh) 采用广义量测横向关联方式的统一建模方法
CN112865311B (zh) 一种电力系统消息总线监视方法和装置
CN103700032A (zh) 电网调控一体化全景数据平台的构建方法
CN114389359A (zh) 一种基于云边协同的集控式继电保护设备智能运维方法
CN110147470B (zh) 一种跨机房数据比对系统及方法
CN113037802A (zh) 一种用于电力物联网的云边数据协同方法
CN113704012B (zh) 基于虚拟化的录波数据处理任务透明计算方法及系统
CN112507006A (zh) 基于云端的电网企业运行数据整合系统
CN112148578A (zh) 基于机器学习的it故障缺陷预测方法
CN111667143A (zh) 电网调度实时监测数据与业务管理数据融合的实现方法
CN114707363B (zh) 用于配网工程管理的问题数据处理方法及系统
CN113824610A (zh) 一种基于云计算的用于信息安全数据采集系统
CN116450620B (zh) 面向多源多域时空基准数据的数据库设计方法及系统
CN110647070A (zh) 一种用于超大规模数据中心的动力环境监控系统
CN111190790A (zh) 一种基于峰值预测的云计算集群监控方法及系统
WO2021143463A1 (zh) 数据清洗方法及装置
CN113691390A (zh) 一种云端协同的边缘节点报警系统及方法
CN114676015A (zh) 一种测控装置运行状态监测自检报告自动生成方法及系统
CN113726007B (zh) 一种基于透明体系架构的智能录波器主站管理方法及系统
CN109816428A (zh) 一种基于大数据机器学习的用水量分析系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant