CN112000708A - 一种基于调控配用数据融合的异常数据处理方法及系统 - Google Patents
一种基于调控配用数据融合的异常数据处理方法及系统 Download PDFInfo
- Publication number
- CN112000708A CN112000708A CN202010666356.4A CN202010666356A CN112000708A CN 112000708 A CN112000708 A CN 112000708A CN 202010666356 A CN202010666356 A CN 202010666356A CN 112000708 A CN112000708 A CN 112000708A
- Authority
- CN
- China
- Prior art keywords
- data
- fault
- model
- distribution
- regulation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 32
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 28
- 238000003672 processing method Methods 0.000 title claims abstract description 11
- 230000007547 defect Effects 0.000 claims abstract description 73
- 238000012545 processing Methods 0.000 claims abstract description 66
- 238000009826 distribution Methods 0.000 claims abstract description 64
- 238000000605 extraction Methods 0.000 claims abstract description 33
- 238000003062 neural network model Methods 0.000 claims abstract description 26
- 238000000034 method Methods 0.000 claims description 33
- 238000012549 training Methods 0.000 claims description 26
- 238000007781 pre-processing Methods 0.000 claims description 18
- 238000004519 manufacturing process Methods 0.000 claims description 13
- 238000005259 measurement Methods 0.000 claims description 12
- 238000012544 monitoring process Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 9
- 238000004804 winding Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000012986 modification Methods 0.000 claims description 7
- 230000004048 modification Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 238000003058 natural language processing Methods 0.000 claims description 4
- 230000001105 regulatory effect Effects 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 230000008030 elimination Effects 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 6
- 238000013523 data management Methods 0.000 abstract description 4
- 238000004088 simulation Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 10
- 238000012423 maintenance Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 238000007726 management method Methods 0.000 description 5
- 238000002360 preparation method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 238000010248 power generation Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000003990 capacitor Substances 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 238000013524 data verification Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012896 Statistical algorithm Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Economics (AREA)
- Water Supply & Treatment (AREA)
- Public Health (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Fuzzy Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种基于调控配用数据融合的异常数据处理方法,包括:获取调控云平台和营配调一体化平台的系统模型和运行数据;基于预先训练的模型对象确定调控云平台和营配调一体化平台的系统模型的关联关系;基于系统模型的关联关系以及预先训练的神经网络模型对所述运行数据进行数据特征提取与异常数据处理;解决了传统的跨专业信息共享度不够缺点,同时采用电网数据特征提取及异常处理技术,提升了数据治理的质量。
Description
技术领域
本发明属于电力系统仿真领域,具体涉及一种基于调控配用数据融合的异常数据处理方法及系统。
背景技术
目前调控一体化自动化系统得到普遍应用,但目前调控、生产、营销、运检等各业务系统之间尚未实现数据共享和信息融合,各业务系统内的数据孤立于其他业务系统,存在相同的基础业务数据在不同的业务系统内重复建立且存在较大差异等现象,严重阻碍了业务本身的发展和系统应用。营销部门致力于营配贯通,使营销业务系统数据与生产业务系统数据实现高度共享。调控部门致力于调控一体化融合,是调度和监控实现信息共享。但调控侧及配用侧全业务的数据融合能力依然不足,实际中依然存在重复维护、一致性较差等“信息孤岛”问题,久而久之也造成了交互困难、数据利用率不高等问题。因而在大型联合反事故演习中模拟仿真效果真实性也有待提升,迫切需要仿真系统实现模型和数据融合。
泛在电力物联网建设为电网调度运行管理提供了更多数据支撑,需要综合利用发电、输电、变电、负荷、故障、操作、外部环境等各类信息资源和多种分析方式,随着电网态势感知能力不断增强,仿真培训的场景越来越丰富,仿真数据的广度、密度和精度不断提升与扩展,现有多级调控仿真系统中的信息整合度不足,各单位协同处理事故的能力不够,需要有针对性地搭建与电网保持高度一致的全范围、全过程、全场景的多级调控联合培训仿真系统,进行大电网的运行分析评估,提升培训调控人员驾驭大电网进行辅助决策及事故处理的能力。
发明内容
针对现有的目前调控、生产、营销等各业务系统之间尚未实现数据共享和信息融合,各业务系统内的数据孤立于其他业务系统,存在相同的基础业务数据在不同的业务系统内重复建立且存在较大差异等现象,严重阻碍了业务本身的发展和系统应用的不足,本发明提供了一种基于调控配用数据融合的异常数据处理方法,包括:
获取调控云平台和营配调一体化平台的系统模型和运行数据;
基于预先训练的模型对象确定所述调控云平台和营配调一体化平台的系统模型的关联关系;
基于所述系统模型的关联关系以及预先训练的神经网络模型对所述运行数据进行数据特征提取与异常数据处理。
优选的,所述获取调控云平台的系统模型和运行数据,包括:
获取关于调控云平台的容器类、设备类、拓扑类和外部环境类系统模型;
获取关于营配调一体化平台的容器类、系统类、设备类和拓扑类系统模型;
从调控云平台上的运行数据中心通过数据获取服务得到调控云平台的运行数据;
从营配调一体化平台上通过配用侧数据获取服务得到营配调一体化平台的运行数据。
优选的,所述模型对象的训练包括:
对输入到模型对象的所述历史调控云平台数据和历史营配调一体化平台数据经卷积层、池化层和全连接层进行关键字的提取及周期扫描得到按照名称、描述和编码排列的关键字匹配规则、运行数据和其他对照数据;.
所述其他对照数据,包括:具有一致性问题、关联关系问题和模型匹配问题的数据。
优选的,所述基于预先训练的模型对象确定所述调控云平台和营配调一体化平台的系统模型的关联关系,之后包括:
通过大数据平台的规则库对一致性问题进行消除,并将所述关联关系问题和模型匹配问题反馈给大数据平台;
对所述运行数据进行预设字段宽度的ID统一编码。
优选的,所述基于所述系统模型的关联关系以及预先训练的神经网络模型对所述运行数据进行数据特征提取与异常数据处理,包括:
基于所述系统模型的关联关系以及所述预先训练的神经网络模型对所述运行数据进行数据特征提取、常规数据异常处理、事故数据预处理和缺陷类数据预处理。
优选的,对所述运行数据进行数据特征提取,包括:
通过大数据平台对所述运行数据的无用状态指标变量进行删除。
优选的,对所述运行数据进行常规数据异常处理,包括:
通过数据泛化、规格化或人工校正来识别所述运行数据中数据转换错误、数据范围错误、数据异常、母线不平衡、线路量测不平衡、绕组两侧或三侧不平衡以及总加指标缺少计算分量的数据;
通过数理统计算法对所述数据转换错误、数据范围错误、数据异常的数据进行异常消除处理,处理后进行规则校验;
并利用状态估计算法对所述母线不平衡、线路量测不平衡、绕组两侧或三侧不平衡的数据进行修正;
将所述总加指标缺少计算分量的数据反馈给所述调控云平台和营配调一体化平台进行修改;
其中,所述数据异常包括:数据缺失和噪声跳变。
优选的,对所述运行数据进行事故数据预处理,包括:
通过数据泛化、规格化或人工校正来识别所述运行数据中的事故数据,并将所述事故数据分为危急故障数据、严重故障数据、一般故障数据和告知故障数据;
通过自然语言处理方法对所述危急故障数据、严重故障数据、一般故障数据和告知故障数据进行分词和去掉用词得到向量化的故障数据;
基于预先获取的历史监控告警信息的标签样本对所述向量化的故障数据进行标签化处理;
利用分层聚类算法,对经过所述标签化处理的故障数据分为等线路故障数据、变压器故障数据、馈线段故障数据、微网故障数据和连锁故障数据;
将所述等线路故障数据、变压器故障数据、馈线段故障数据、微网故障数据和连锁故障数据与电网故障设备进行故障关联匹配,得到故障关联设备数据;
将所述故障关联设备数据输入至预先训练好的神经网络模型中进行学习,得到不同标签的分类结果;
其中,所述标签分类包括:故障类型、故障严重程度和故障位置;
所述神经网络模型,将历史监控告警信息中提取带标签的事件样本作为输入,不同标签的分类结果作为输出进行训练。
优选的,所述将所述故障关联设备数据输入至预先训练好的神经网络模型中进行学习,得到不同标签的分类结果,之后包括:
以所述分类结果作为基本概率分配值进行故障分析。
优选的,对所述运行数据进行缺陷类数据预处理,包括:
基于电网故障类运行数据、告警事件类运行数据、设备台账数据和信号关联设备数据,对所述运行数据进行缺陷辨识,当同型号设备发生告警的数量超过预设值时,认定为家族性缺陷;
基于所述家族性缺陷的同型号设备的设备型号、生产批次、告警信息、缺陷等级和缺陷原因,确定同生产批次、同类告警信息和同缺陷原因的频度,并进行缺陷记录;
基于所述缺陷记录和设备类型进行标签处理,并将所述缺陷记录存储到所述大数据平台的缺陷库。
基于同一构思,本发明提供了一种基于调控配用数据融合的异常数据处理系统,包括:获取模块、关联关系模块和处理模块;
所述获取模块,用于获取调控云平台和营配调一体化平台的系统模型和运行数据;
所述关联关系模块,用于基于预先训练的模型对象确定所述调控云平台和营配调一体化平台的系统模型的关联关系;
所述处理模块,用于基于所述系统模型的关联关系以及预先训练的神经网络模型对所述运行数据进行数据特征提取与异常数据处理。
与现有技术相比,本发明的有益效果为:
1、本发明提供了一种基于调控配用数据融合的异常数据处理方法,包括:获取调控云平台和营配调一体化平台的系统模型和运行数据;基于预先训练的模型对象确定所述调控云平台和营配调一体化平台的系统模型的关联关系;基于所述系统模型的关联关系以及预先训练的神经网络模型对所述运行数据进行数据特征提取与异常数据处理;解决了传统的跨专业信息共享度不够缺点,同时采用电网数据特征提取及异常处理技术,提升了数据治理的质量。
2、本发明提供了一种基于调控配用数据融合的异常数据处理方法及系统,通过大数据平台对神经网络模型的应用,实现电网各级事故集的特征提取和数据融合。
3、本发明提供了一种基于调控配用数据融合的异常数据处理方法及系统,通过大数据平台统一的数据融合机制,为演习单位大大降低维护成本和人工维护工作量,提升仿真系统数据的一致性、准确性和完整性,实现了仿真培训场景数据的按需快速准备。
4、本发明提供了一种基于调控配用数据融合的异常数据处理方法及系统,通过事故类和缺陷类数据的预处理,自动构建仿真事故集和设备缺陷库,便于使用人员聚焦关键故障和缺陷问题,为后续的仿真培训数据分析及挖掘提供更好的数据服务支撑。
附图说明
图1为本发明提供的方法流程图;
图2为本发明实施例提供的一种调控配用一体化数据融合实现方法流程图;
图3为本发明实施例提供的系统结构图。
具体实施方式
结合附图对本发明的实施例作进一步说明。
实施例1:
本发明提供了一种调控配用一体化数据处理方法及系统,针对电力系统仿真场景创建费力费时且海量数据处理效率不高的问题,采用一体化数据融合技术,实现仿真培训场景数据的按需快速准备,通过“事件驱动,逐步迭代”的方法,实现电网各级事故集的特征提取和数据融合。通过云端统一的数据融合机制,能为演习单位大大降低维护成本和人工维护工作量,提升仿真系统数据的一致性、准确性和完整性,结合图1的方法流程图进行介绍,具体步骤如下:
步骤1:获取调控云平台和营配调一体化平台的系统模型和运行数据;
步骤2:基于预先训练的模型对象确定所述调控云平台和营配调一体化平台的系统模型的关联关系;
步骤3:基于所述系统模型的关联关系以及预先训练的神经网络模型对所述运行数据进行数据特征提取与异常数据处理;
其中,步骤1:获取调控云平台和营配调一体化平台的系统模型和运行数据,结合图2的一种调控配用一体化数据融合实现方法流程图进行介绍,具体包括:
1、调控系统的模型和数据获取。
从调控云平台上的模型数据中心通过模型获取服务得到调控系统的模型。模型包括容器类、设备类、拓扑类、外部环境类,容器类包括电网、变电站、发电厂、新能源场站、间隔、负荷、直流系统、直流极系统、直流接地极系统、断面,设备类包括发电机、交流线路、杆塔、母线、变压器、断路器、隔离开关、接地刀闸、并联电容器、并联电抗器、静止无功装置、调相机、交流滤波器、直流线路、换流阀、换流器、平波电抗器、直流隔离开关、直流接地刀闸、直流阻波器、直流滤波器,拓扑类包括单端元件、双端元件、端点号、节点号、拓扑岛,外部环境类包括水库信息、气象模型、地理信息。
从调控云平台上的运行数据中心通过数据获取服务得到调控系统的运行数据。运行数据包括量测类、故障类、计划预测类、告警事件类,量测类包括电网、发电厂、变电站、交流线路、直流线路、发电机、变压器、负荷的有功功率及无功功率和母线的电压及频率,故障类包括断路器和隔离开关的设备故障、越限数据,计划预测类包括电网、交流线路、变压器、负荷的负荷预测和发电机、电厂的出力计划,告警事件类包括断路器和刀闸的遥信变位及综合智能告警数据、故障类数据、设备缺陷数据,气象类包括气象站、发电厂、变电站、台风路径数据。
通过调控云模型获取服务可以获取某个时间段、调控侧某几个地区的子模型。
2、配用系统的模型和数据获取。
营配调一体化平台上通过配用侧模型获取服务得到配用系统的模型。模型包括容器类、系统类、设备类、拓扑类,容器类包括馈线、变电站、发电厂、新能源场站、环网柜、可调节温控负荷、可中断负荷,系统类包括微网系统、综合能源系统、精准切负荷系统,设备类包括馈线段、杆塔、配电母线、配电变压器、断路器、负荷开关、隔离开关、接地刀闸、电容器、电抗器、静止无功装置,拓扑类包括单端元件、双端元件、端点号、节点号、拓扑岛。
从营配调一体化平台上通过配用侧数据获取服务得到配用系统的运行数据。包括量测类、故障类、计划预测类、告警事件类、设备台账类,量测类包括馈线、变电站、交流线路、发电机、变压器、用户负荷的有功功率及无功功率和母线的电压,故障类包括配电断路器和隔离开关的设备故障、越限数据,计划预测类包括新能源场站的风光功率预测、发电机和电厂的出力计划,告警事件类包括断路器和刀闸的遥信变位、公共连接点PCC点的变位情况、设备故障、设备异常及缺陷情况。设备台账类包括设备运行状况、设备全生命周期数据、设备历史缺陷数据等。
通过配用侧模型获取服务可以获取某个时间段、配用侧某几个馈线的子模型。
步骤2:基于预先训练的模型对象确定所述调控云平台和营配调一体化平台的系统模型的关联关系,具体包括:
3、生成模型对象的关联关系。
仿真教员根据仿真培训演习的要求,输入时间段和仿真范围,利用1-3和2-3的模型获取服务获取到某个历史断面下具体某部分地区的模型和数据。
对系统模型和数据进行关键字的提取及周期扫描。
通过知识发现模块和智能推理机模块,对各系统数据的重要关键字段进行关键字排序,通常第一关键字是名称,第二关键字是描述,第三关键字是编码。
通过自适应学习模块(神经网络模型)调整匹配规则,实现对象关联,形成对应关系对照库(整合数据)。自适应学习模块能够自动整模糊匹配的规则,对第一次不匹配的数据在进行二次匹配,实现边界模型的匹配,提高匹配成功率。
模型对象异常处理。异常问题主要包括一致性问题、关联关系问题、模型匹配问题。一致性问题包括命名不规范、关键字段为空、厂站找不到区域、馈线设备找不到馈线等。关联关系问题包括电压等级错误、首末端厂站相同、厂站和区域所属关系不对、绕组找不到对应变压器、用户找不到对应配变。模型匹配问题包括名称匹配失败、绕组主变匹配错误、配变用户匹配错误。
针对异常问题,通过模型类处理模块进行处理,该模块能自动解决命名不规范、电压等级匹配错误问题,其他无法解决的问题通过邮件推送给调控云平台和营配调一体化平台这两个源系统的维护人员进行修改,修改完毕后再由模型校验模块进行规则校验。
对象ID统一编码。根据业务融合的需要,将之前字段宽度为18位编码扩充字段宽度为28位编码,提高了各类业务模型ID的统一管理。
完成自动构建调控侧与配用侧一致的统一对象模型,生成数据对象关联关系。
步骤3:基于所述系统模型的关联关系以及预先训练的神经网络模型对所述运行数据进行数据特征提取与异常数据处理,具体包括:
4、统一对象模型的数据进行数据特征提取与异常数据处理。
通过前三个步骤我们已经完成了对两个系统模型的融合,后面开展对两个系统的数据融合。数据融合包括以下步骤,数据特征提取、常规数据异常处理、关联数据异常处理、事故数据异常处理。
数据特征提取。数据特征提取主要目的是最大程度地删除特征数据中各种冗余属性,降低分析处理数据的难度,能够尽量多减少作用小且无用状态指标变量,降低系统的存储量,提高处理效率。
常规数据异常处理。包括数据转换错误、数据范围错误、数据异常。数据转换错误包括数据单位错误、表计底码错误,数据范围错误包括数据遗漏缺失、数据噪声跳变。数据异常可通过数据泛化、规格化、人工校正的辅助手段确定。通过(数理统计算法)常规数据异常处理模块实现处理,该模块能自动解决小规模的数据缺失和噪声跳变问题,其他无法解决的问题通过邮件推送给调控云平台和营配调一体化平台这两个源系统的维护人员进行修改,修改完毕后再由数据校验模块进行规则校验。
关联数据异常处理。包括母线不平衡、线路量测不平衡、绕组两侧或三侧不平衡、总加指标缺少计算分量。通过关联数据异常处理模块实现处理,该模块利用状态估计算法服务自动修正不平衡量测,但缺少计算分量这个无法解决的问题通过邮件推送给调控云平台和营配调一体化平台这两个源系统的维护人员进行修改,修改完毕后再由数据校验模块进行规则校验。
完成数据的特征提取和异常处理。
5、事故类数据预处理及训练匹配,构建数据集。
事故数据预处理。针对调控侧和配用侧的各种故障类数据信息,进行事故集的数据抽取分类,将故障信号分为危急、严重、一般和告知四类。通过事故数据异常处理模块对事故类数据进行信息预处理,该模块能实现分词,去停用词等,能使用自然语言处理技术将数据向量化表示。
事故数据标签化处理。首先从历史监控告警信息中提取带标签的事件样本。其次以关键词分闸为例,以某条带分闸关键词的信息为里程碑,提取该信息前后一段时间窗内的告警信息集合;当满足一定规则时,构成各类标签化监控告警事件,最终构建可供训练的样本库。
故障集数据聚类。基于分层聚类算法,对故障集构成进行分类,提取等线路故障、变压器故障、馈线段故障、微网故障、连锁故障等,为实现精细化故障集管理提供依据。
故障数据与电网对象匹配。通过故障对象匹配模块,建立起故障类数据和模型对象的关联关系,生成信号关联设备数据(故障关联设备数据)。
利用神经网络模型进行样本训练,实现故障集的自动匹配。将监测数据(历史监控告警信息中提取带标签的事件样本)作为训练数据集,故障类型、故障严重程度、故障位置作为标签,输入到深度卷积神经网络中开展学习训练,将不同标签的分类结果作为基本概率分配值,实现仿真故障集的分析。
6、缺陷类数据预处理,构建缺陷库。
缺陷数据预处理。包括缺陷辨识、缺陷记录、缺陷存储。
首先进行缺陷辨识,利用缺陷处理模块,能够实现缺陷数据自动辨识,该模块基于电网故障类运行数据、告警事件类运行数据、设备台账数据、信号关联设备数据,扫描过去一段时间的有效告警数据,当发生某一典型告警信号的同型号的设备数超过设定数值时,则自动认定家族性缺陷。
其次进行缺陷记录,通过定义设备型号、生产批次、告警信息、缺陷等级、缺陷原因等匹配规则,综合分析同一批次设备发出同类告警信息或同缺陷原因的频度,由缺陷处理模块记录疑似家族性缺陷记录,并存储到数据库。
对缺陷进行对象化打标签然后入库,构建缺陷库。
7、完成调控配用一体化数据融合和异常处理。
本发明的有益效果在于:所设计的基于大数据调控配用一体化数据融合方法,采用一体化数据融合技术,能够解决传统的跨专业信息共享度不够缺点,采用对象ID统一编码实现了系统模型及数据的统一管理,实现了更好的数据共享。采用电网异常数据特征提取,提升了数据治理的质量,通过神经网络模型的学习训练设备缺陷分析库,实现了事故自动匹配,便于使用人员聚焦关键故障和缺陷问题,为后续的数据分析及挖掘提供更好的数据服务支撑,提高了仿真培训场景准备的工作效率。
传统的调控系统通常只对发输电系统建模,把配网部分等值为负荷,营配调一体化系统只针对配用电系统建模,将输电网等值为发电。现有仿真培训系统中的信息整合度不足,需要有针对性地搭建与仿真业务保持高度一致的全范围、全过程、全场景的多级联合培训仿真系统,迫切需要通过数据融合技术对调控侧和配用侧的仿真模型和数据进行统一融合,提高仿真培训业务的真实性、准确性、一致性。
该技术将提高数据管控的质量,同时能够大幅度提高事故后各部门协同作战能力,提升各生产环节间紧密配合度,使得人员缩短故障抢修处理周期,提升事故处理的工作效率,减少因联合故障处理效率不高而造成的额外经济损失。
综合考虑电网一体化特征和调控运行管理业务需求,通过电力调度通用数据对象结构化设计实现,以对象ID编码规则为出发点,制定对象模型规则、对象建模方法,通过微服务的方式实现服务发布。
在仿真培训准备过程中,教案准备相对费时费力,此时可以充分利用历年事故编制预案,形成电力通用事故集合。通过特征提取算法,由调控人员、检修人员对为关心的事项进行权重打分,结合电网事故的影响状况,对事故进行信息融合,形成电力典型事故样例集合。结合各类业务应用的实际特点,设计出贯通调控配用各生产环节的事故处理标准化数据流程,满足各级人员仿真培训的业务需要。
我们通过数据对象关联专家模块,实现了调控侧和配用侧的对象关联,同时利用调控云对象ID编码规则,开展对象建模的标准化,实现了数据对象有机且持久化的关联;利用特征提取技术,实现了仿真培训电力典型事故样例集合的构建,为仿真培训教案的快速编制提供技术支持。
实施例2:
本发明提供了一种基于调控配用数据融合的异常数据处理系统,包括:获取模块、关联关系模块和处理模块,结合图3的系统结构图进行介绍;
所述获取模块,用于获取调控云平台和营配调一体化平台的系统模型和运行数据;
所述关联关系模块,用于基于预先训练的模型对象确定所述调控云平台和营配调一体化平台的系统模型的关联关系;
所述处理模块,用于基于所述系统模型的关联关系以及预先训练的神经网络模型对所述运行数据进行数据特征提取与异常数据处理。
所述获取模块,包括:调控系统模型子模块、配用系统模型子模块、调控数据子模块和配用数据子模块;
所述调控系统模型子模块,用于获取关于调控云平台的容器类、设备类、拓扑类和外部环境类系统模型;
所述配用系统模型子模块,用于获取关于营配调一体化平台的容器类、系统类、设备类和拓扑类系统模型;
所述调控数据子模块,用于从调控云平台上的运行数据中心通过数据获取服务得到调控云平台的运行数据;
所述配用数据子模块,用于从营配调一体化平台上通过配用侧数据获取服务得到营配调一体化平台的运行数据。
所述关联关系模块,包括:对照数据子模块;
所述对照数据子模块,用于对输入到模型对象的所述历史调控云平台数据和历史营配调一体化平台数据经卷积层、池化层和全连接层进行关键字的提取及周期扫描得到按照名称、描述和编码排列的关键字匹配规则、运行数据和其他对照数据;.
所述其他对照数据,包括:具有一致性问题、关联关系问题和模型匹配问题的数据。
所述处理模块,包括:提取处理子模块;
所述提取处理子模块,基于所述系统模型的关联关系以及所述预先训练的神经网络模型对运行数据进行数据特征提取、常规数据异常处理、事故数据预处理和缺陷类数据预处理。
所述提取处理子模块,包括:提取单元、常规异常处理单元、事故处理单元和缺陷处理单元;
所述提取单元,用于通过大数据平台对所述运行数据的无用状态指标变量进行删除;
所述常规异常处理单元,用于对所述运行数据进行常规数据异常处理;
所述事故处理单元,用于对所述运行数据进行事故数据预处理;
所述缺陷处理单元,用于对所述运行数据进行缺陷类数据预处理。
所述常规异常处理单元,包括:数据错误子单元、校验子单元、修正子单元和反馈子单元;
所述数据错误子单元,用于通过数据泛化、规格化或人工校正来识别所述运行数据中数据转换错误、数据范围错误、数据异常、母线不平衡、线路量测不平衡、绕组两侧或三侧不平衡以及总加指标缺少计算分量的数据;
所述校验子单元,用于通过数理统计算法对所述数据转换错误、数据范围错误、数据异常的数据进行异常消除处理,处理后进行规则校验;
所述修正子单元,用于利用状态估计算法对所述母线不平衡、线路量测不平衡、绕组两侧或三侧不平衡的数据进行修正;
所述反馈子单元,用于将所述总加指标缺少计算分量的数据反馈给所述调控云平台和营配调一体化平台进行修改;
其中,所述数据异常包括:数据缺失和噪声跳变。
所述事故处理单元,包括:事故数据子单元、分词去词子单元、标签化子单元、分类子单元、匹配子单元和学习子单元;
所述事故数据子单元,用于通过数据泛化、规格化或人工校正来识别所述运行数据中的事故数据,并将所述事故数据分为危急故障数据、严重故障数据、一般故障数据和告知故障数据;
所述分词去词子单元,用于通过自然语言处理方法对所述危急故障数据、严重故障数据、一般故障数据和告知故障数据进行分词和去掉用词得到向量化的故障数据;
所述标签化子单元,用于基于预先获取的历史监控告警信息的标签样本对所述向量化的故障数据进行标签化处理;
所述分类子单元,用于利用分层聚类算法,对经过所述标签化处理的故障数据分为等线路故障数据、变压器故障数据、馈线段故障数据、微网故障数据和连锁故障数据;
所述匹配子单元,用于将所述等线路故障数据、变压器故障数据、馈线段故障数据、微网故障数据和连锁故障数据与电网故障设备进行故障关联匹配,得到故障关联设备数据;
所述学习子单元,用于将所述故障关联设备数据输入至预先训练好的神经网络模型中进行学习,得到不同标签的分类结果;
其中,所述标签分类包括:故障类型、故障严重程度和故障位置;
所述神经网络模型,将历史监控告警信息中提取带标签的事件样本作为输入,不同标签的分类结果作为输出进行训练。
所述提取处理子模块,包括:故障分析单元;
所述故障分析单元,用于以所述分类结果作为基本概率分配值进行故障分析。
所述缺陷处理单元,包括:缺陷识别子单元、缺陷记录子单元和存储子单元;
所述缺陷识别子单元,基于电网故障类运行数据、告警事件类运行数据、设备台账数据和信号关联设备数据,对所述运行数据进行缺陷辨识,当同型号设备发生告警的数量超过预设值时,认定为家族性缺陷;
所述缺陷记录子单元,基于所述家族性缺陷的同型号设备的设备型号、生产批次、告警信息、缺陷等级和缺陷原因,确定同生产批次、同类告警信息和同缺陷原因的频度,并进行缺陷记录;
所述存储子单元,基于所述缺陷记录和设备类型进行标签处理,并将所述缺陷记录存储到所述大数据平台的缺陷库。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上仅为本发明的实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均包含在申请待批的本发明的权利要求范围之内。
Claims (11)
1.一种基于调控配用数据融合的异常数据处理方法,其特征在于,包括:
获取调控云平台和营配调一体化平台的系统模型和运行数据;
基于预先训练的模型对象确定所述调控云平台和营配调一体化平台的系统模型的关联关系;
基于所述系统模型的关联关系以及预先训练的神经网络模型对所述运行数据进行数据特征提取与异常数据处理。
2.如权利要求1所述的方法,其特征在于,所述获取调控云平台的系统模型和运行数据,包括:
获取关于调控云平台的容器类、设备类、拓扑类和外部环境类系统模型;
获取关于营配调一体化平台的容器类、系统类、设备类和拓扑类系统模型;
从调控云平台上的运行数据中心通过数据获取服务得到调控云平台的运行数据;
从营配调一体化平台上通过配用侧数据获取服务得到营配调一体化平台的运行数据。
3.如权利要求2所述的方法,其特征在于,所述模型对象的训练包括:
对输入到模型对象的所述历史调控云平台数据和历史营配调一体化平台数据经卷积层、池化层和全连接层进行关键字的提取及周期扫描得到按照名称、描述和编码排列的关键字匹配规则、运行数据和其他对照数据;.
所述其他对照数据,包括:具有一致性问题、关联关系问题和模型匹配问题的数据。
4.如权利要求3所述的方法,其特征在于,所述基于预先训练的模型对象确定所述调控云平台和营配调一体化平台的系统模型的关联关系,之后包括:
通过大数据平台的规则库对一致性问题进行消除,并将所述关联关系问题和模型匹配问题反馈给大数据平台;
对所述运行数据进行预设字段宽度的ID统一编码。
5.如权利要求4所述的方法,其特征在于,所述基于所述系统模型的关联关系以及预先训练的神经网络模型对所述运行数据进行数据特征提取与异常数据处理,包括:
基于所述系统模型的关联关系以及所述预先训练的神经网络模型对所述运行数据进行数据特征提取、常规数据异常处理、事故数据预处理和缺陷类数据预处理。
6.如权利要求5所述的方法,其特征在于,对所述运行数据进行数据特征提取,包括:
通过大数据平台对所述运行数据的无用状态指标变量进行删除。
7.如权利要求6所述的方法,其特征在于,对所述运行数据进行常规数据异常处理,包括:
通过数据泛化、规格化或人工校正来识别所述运行数据中数据转换错误、数据范围错误、数据异常、母线不平衡、线路量测不平衡、绕组两侧或三侧不平衡以及总加指标缺少计算分量的数据;
通过数理统计算法对所述数据转换错误、数据范围错误、数据异常的数据进行异常消除处理,处理后进行规则校验;
并利用状态估计算法对所述母线不平衡、线路量测不平衡、绕组两侧或三侧不平衡的数据进行修正;
将所述总加指标缺少计算分量的数据反馈给所述调控云平台和营配调一体化平台进行修改;
其中,所述数据异常包括:数据缺失和噪声跳变。
8.如权利要求7所述的方法,其特征在于,对所述运行数据进行事故数据预处理,包括:
通过数据泛化、规格化或人工校正来识别所述运行数据中的事故数据,并将所述事故数据分为危急故障数据、严重故障数据、一般故障数据和告知故障数据;
通过自然语言处理方法对所述危急故障数据、严重故障数据、一般故障数据和告知故障数据进行分词和去掉用词得到向量化的故障数据;
基于预先获取的历史监控告警信息的标签样本对所述向量化的故障数据进行标签化处理;
利用分层聚类算法,对经过所述标签化处理的故障数据分为等线路故障数据、变压器故障数据、馈线段故障数据、微网故障数据和连锁故障数据;
将所述等线路故障数据、变压器故障数据、馈线段故障数据、微网故障数据和连锁故障数据与电网故障设备进行故障关联匹配,得到故障关联设备数据;
将所述故障关联设备数据输入至预先训练好的神经网络模型中进行学习,得到不同标签的分类结果;
其中,所述标签分类包括:故障类型、故障严重程度和故障位置;
所述神经网络模型,将历史监控告警信息中提取带标签的事件样本作为输入,不同标签的分类结果作为输出进行训练。
9.如权利要求8所述的方法,其特征在于,所述将所述故障关联设备数据输入至预先训练好的神经网络模型中进行学习,得到不同标签的分类结果,之后包括:
以所述分类结果作为基本概率分配值进行故障分析。
10.如权利要求9所述的方法,其特征在于,对所述运行数据进行缺陷类数据预处理,包括:
基于电网故障类运行数据、告警事件类运行数据、设备台账数据和信号关联设备数据,对所述运行数据进行缺陷辨识,当同型号设备发生告警的数量超过预设值时,认定为家族性缺陷;
基于所述家族性缺陷的同型号设备的设备型号、生产批次、告警信息、缺陷等级和缺陷原因,确定同生产批次、同类告警信息和同缺陷原因的频度,并进行缺陷记录;
基于所述缺陷记录和设备类型进行标签处理,并将所述缺陷记录存储到所述大数据平台的缺陷库。
11.一种基于调控配用数据融合的异常数据处理系统,其特征在于,包括:获取模块、关联关系模块和处理模块;
所述获取模块,用于获取调控云平台和营配调一体化平台的系统模型和运行数据;
所述关联关系模块,用于基于预先训练的模型对象确定所述调控云平台和营配调一体化平台的系统模型的关联关系;
所述处理模块,用于基于所述系统模型的关联关系以及预先训练的神经网络模型对所述运行数据进行数据特征提取与异常数据处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010666356.4A CN112000708A (zh) | 2020-07-10 | 2020-07-10 | 一种基于调控配用数据融合的异常数据处理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010666356.4A CN112000708A (zh) | 2020-07-10 | 2020-07-10 | 一种基于调控配用数据融合的异常数据处理方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112000708A true CN112000708A (zh) | 2020-11-27 |
Family
ID=73467964
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010666356.4A Pending CN112000708A (zh) | 2020-07-10 | 2020-07-10 | 一种基于调控配用数据融合的异常数据处理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112000708A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113377759A (zh) * | 2021-07-01 | 2021-09-10 | 贵州电网有限责任公司 | 一种基于专家系统算法的缺陷填报数据治理方法 |
CN114491168A (zh) * | 2022-01-27 | 2022-05-13 | 中国电力科学研究院有限公司 | 调控云样本数据共享方法、系统、计算机设备及存储介质 |
-
2020
- 2020-07-10 CN CN202010666356.4A patent/CN112000708A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113377759A (zh) * | 2021-07-01 | 2021-09-10 | 贵州电网有限责任公司 | 一种基于专家系统算法的缺陷填报数据治理方法 |
CN114491168A (zh) * | 2022-01-27 | 2022-05-13 | 中国电力科学研究院有限公司 | 调控云样本数据共享方法、系统、计算机设备及存储介质 |
CN114491168B (zh) * | 2022-01-27 | 2022-12-13 | 中国电力科学研究院有限公司 | 调控云样本数据共享方法、系统、计算机设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111860882B (zh) | 一种电网调度故障处理知识图谱的构建方法及装置 | |
CN110807550B (zh) | 基于神经网络的配变重过载识别预警方法及终端设备 | |
CN110837866A (zh) | 基于XGBoost的电力二次设备缺陷程度评估方法 | |
CN108154244A (zh) | 地产电力设备的运维方法、装置和系统 | |
CN105894177A (zh) | 一种基于决策树算法的电力设备运行风险分析评估方法 | |
CN109501834A (zh) | 一种道岔转辙机故障预测方法及装置 | |
CN111985653A (zh) | 基于知识图谱的电网故障知识推荐与知识管理系统及方法 | |
CN109784692A (zh) | 一种基于深度学习的快速安全约束经济调度方法 | |
CN112905580A (zh) | 一种基于工业大数据的多源异构数据融合系统及方法 | |
CN111178585A (zh) | 基于多算法模型融合的故障接报量预测方法 | |
CN112000708A (zh) | 一种基于调控配用数据融合的异常数据处理方法及系统 | |
CN116245033B (zh) | 人工智能驱动的电力系统分析方法及智能软件平台 | |
CN111738573A (zh) | 一种基于电能表全寿命周期数据的健康评价方法 | |
CN114138759A (zh) | 基于知识图谱推理的二次设备故障处理推送方法及系统 | |
CN114548800A (zh) | 基于电网知识图谱的未来态电网检修风险辨识方法及装置 | |
CN112612819A (zh) | 一种抽水蓄能电站大数据分析挖掘方法及系统 | |
CN115221776A (zh) | 一种新型配电网的智能感知诊断模型的训练方法及装置 | |
CN114118524A (zh) | 一种基于知识推理的设备状态综合分析方法 | |
CN115730749A (zh) | 基于融合电力数据的电力调度风险预警方法及装置 | |
CN116070143A (zh) | 一种基于人工智能的配电网多源异构数据融合方法及系统 | |
CN113850017A (zh) | 一种基于潮流变化图谱的系统级故障分析系统及方法 | |
CN106202805B (zh) | 一种开关设备可靠性评价方法 | |
CN117521498A (zh) | 一种充电桩引导式故障诊断预测方法及系统 | |
CN116611813B (zh) | 一种基于知识图谱的智能运维管理方法及系统 | |
CN113065580A (zh) | 一种基于多信息融合的电厂设备管理方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |