CN112700082A - 变电站关口计量大数据分析与在线监测系统和方法 - Google Patents
变电站关口计量大数据分析与在线监测系统和方法 Download PDFInfo
- Publication number
- CN112700082A CN112700082A CN202011348709.2A CN202011348709A CN112700082A CN 112700082 A CN112700082 A CN 112700082A CN 202011348709 A CN202011348709 A CN 202011348709A CN 112700082 A CN112700082 A CN 112700082A
- Authority
- CN
- China
- Prior art keywords
- data
- gateway
- data analysis
- metering
- analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007405 data analysis Methods 0.000 title claims abstract description 75
- 238000012544 monitoring process Methods 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 title claims abstract description 15
- 238000013500 data storage Methods 0.000 claims abstract description 19
- 238000012795 verification Methods 0.000 claims abstract description 19
- 238000007726 management method Methods 0.000 claims abstract description 16
- 230000005611 electricity Effects 0.000 claims abstract description 13
- 230000001360 synchronised effect Effects 0.000 claims abstract description 4
- 230000002159 abnormal effect Effects 0.000 claims description 19
- 238000004458 analytical method Methods 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 18
- 238000007689 inspection Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000007596 consolidation process Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000002441 reversible effect Effects 0.000 claims description 4
- 230000003203 everyday effect Effects 0.000 claims description 3
- 230000008676 import Effects 0.000 claims description 3
- 230000000737 periodic effect Effects 0.000 abstract description 3
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000010219 correlation analysis Methods 0.000 description 2
- 230000002354 daily effect Effects 0.000 description 2
- 208000025174 PANDAS Diseases 0.000 description 1
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 description 1
- 240000000220 Panda oleosa Species 0.000 description 1
- 235000016496 Panda oleosa Nutrition 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000013450 outlier detection Methods 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06311—Scheduling, planning or task assignment for a person or group
- G06Q10/063114—Status monitoring or status determination for a person or group
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0635—Risk analysis of enterprise or organisation activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Engineering & Computer Science (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Marketing (AREA)
- General Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Quality & Reliability (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Educational Administration (AREA)
- Health & Medical Sciences (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Remote Monitoring And Control Of Power-Distribution Networks (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种变电站关口计量大数据分析与在线监测系统和方法，系统营销业务管理系统、用电信息采集系统、MDS调度系统、D5000调度系统，营销业务管理系统、用电信息采集系统、MDS调度系统以及D5000调度系统通过防火墙连接关口表计量大数据分析模块，所述关口表计量大数据分析模块与备份服务器通过OGG同步，所述关口表计量大数据分析模块分为资源层、数据存储层、数据分析层、接口层、功能展示层。本发明通过数据分析在线监测，实现对问题的快速发现与反馈，关口误差远程监测结果应用于关口周期检定，减少关口现场检定次数，且可以避免现场校验时因负荷小等因素造成的无法检定，并解决当前互感器现场检定空白的风险。
Description
技术领域
本发明涉及大数据分析领域，具体是一种变电站关口计量大数据分析与在线监测系统和方法。
背景技术
目前国内的电能量计量系统经过近20年的发展，已进入稳定成长阶段，省级电网及主要城市的供电网均已配备电能量计量系统。并正在向区、县供电网发展，普及率逐年提高。电能量计量系统主要实现电厂上网、下网和联络线关口点电能量的计量，分时段存储、采集和处理，为结算和分析提供基本数据。随着电能量计量系统信息化水平的提高。电能量计量系统时刻都将产生海量的数据信息。当前对关口表的校验方式主要是周期性校验及人工日常巡检相结合为主，存在排查效率低、排查成本高，且无法覆盖所有在运表计、可能出现漏检等问题。
发明内容
本发明的目的在于提供一种变电站关口计量大数据分析与在线监测系统和方法，利用信息化、智能化手段，针对业务开展中所遇的实际问题，解决关口计量点问题难发现、难排查的技术难点，提高业务开展效率。
本发明的技术方案：
一种变电站关口计量大数据分析与在线监测系统，包括营销业务管理系统、用电信息采集系统、MDS调度系统、D5000调度系统，营销业务管理系统、用电信息采集系统、MDS调度系统以及D5000调度系统通过防火墙连接关口表计量大数据分析模块，所述关口表计量大数据分析模块与备份服务器通过OGG同步，所述关口表计量大数据分析模块分为资源层、数据存储层、数据分析层、接口层、功能展示层，所述用电信息采集系统的在线监测模块每天定时自动同步异常事件信息至关口表计量大数据分析模块；所述营销业务管理系统每周定时自动同步关口表档案数据、关口表装拆记录至关口表计量大数据分析模块；所述MDS调度系统每周定时自动同步关口表首检、运行误差现场核查结果数据至关口表计量大数据分析模块；所述D5000调度系统每周定时自动同步变电站供电拓扑数据、96点数据、开关信息、关联关系这些数据至关口表计量大数据分析模块。
所述资源层包括Oracle数据库以及数据检查和转换服务单元，Oracle数据库接收营销业务管理系统、用电信息采集系统、MDS调度系统以及D5000调度系统提供过来的增量数据；数据检查和转换服务单元定时将增量数据进行导出，检查并输出数据质量检查报告；在数据检查通过后进行必要的数据合并和转换。
所述数据存储层包括ElasticSearch集群和ES数据存储服务单元，ElasticSearch集群用来保存数据分析层计算所需的原始数据和输出结果，ES数据存储服务单元自动监控资源层和数据分析层的输出，根据特定的规则将数据保存到特定的ES索引中，所述数据分析层数据分析的结果最终保存在ElasticSearch集群中。
所述接口层使用Flask与uWSGI搭建的Rsetful风格的API，并使用Nginx进行负载均衡和反向代理。
所述功能展示层则将系统分析结果以及相关业务数据以web页面的形式呈现。
一种变电站关口计量大数据分析与在线监测方法，包括以下具体步骤：
计量大数据分析通过数据导入服务定期获取所需的各类业务数据，并写入计量大数据分析服务器的Oracle数据库中；
数据检查程序自动对原始的基础数据进行数据质量检查，检查数据的完整性、合规性、准确性，并根据检查结果生成数据质量报告，数据质量检查合格的数据，使用数据预处理程序对数据进行清洗、冲突合并操作；ES数据存储服务通过Linux系统的Inotify特性，实时监控数据预处理结果，及时将预处理后的数据存入ES数据库结构中；
计量大数据分析服务进一步将预处理后的数据通过分析模型及其他专家知识库/模型进行综合诊断与分析，ES数据存储服务实时监控分析结果，及时将分析结果回写到ES数据库中；
Web展示Server从ES数据库中需要展示的数据，转给Web展示Client，在功能页面中进行展示。
所述数据处理包括：数据的完整性检查，通过自动校验脚本，检查数据记录重要数据字段是否缺失；数据格式检查，通过自动校验脚本，检查数据的文件名格式，数据字段格式，如不能多字段或少字段、日期格式必须正确、字段末尾不能有空格、某些字段不能为空以及单双引号的问题；数据的准确性检查，通过自动校验脚本，检查数据的记录是否准确，是否存在异常、冲突或逻辑错误的信息；错误数据过滤，根据数据检查结果，自动对无效数据、错误数据进行过滤；数据合并，多个基础表中数据通过外键关联时，结果往往无法根据国网数据结构标设实现数据一一对应，需要根据具体情况进行取舍，对数据进行冲突处理、数据合并。
所述错误数据过滤包括偶发停电数据自动过滤、错误数据自动过滤、重复数据自动过滤。
所述数据合并包括重复数据合并；父表包含所有子表数据时，识别冲突字段，以父表或子表为准，制定冲突处理策略，进行数据合并，反馈冲突。
与现有技术相比，本发明的有益效果是：通过数据分析在线监测，实现对问题的快速发现与反馈，关口误差远程监测结果应用于关口周期检定，减少关口现场检定次数，且可以避免现场校验时因负荷小等因素造成的无法检定，并解决当前互感器现场检定空白的风险，通过分析用电信息采集系统、营销业务应用系统、MDS系统、D5000等调度系统的数据，发现存在的数据问题，并通过数据治理解决影响运行误差计算结果的问题数据，逐步提升各系统的数据质量，为其他高级应用提供更加准确的数据，可以更好得开展各项业务应用，应用大数据分析技术对电力业务数据进行多维度、深层次分析，服务于建立更智能、精确、科学、高效的电力网络，提升公司运营管理水平，对维护电网安全稳定运行，维护电力生产、传输、供电及用电各方的经济利益均具有十分重要的现实意义，通过项目的开展和应用，可及时发现计量点异常计量情况，提升关口计量异常处理的能力和效率，保证电网公司、发电企业、用户等的利益不受损失，提高服务与精益化管理度水平，树立公司良好的社会形象。
附图说明
图1是本发明的系统结构示意图。
图2是本发明的系统原理示意图。
图3是本发明的方法流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1和图2所示，一种变电站关口计量大数据分析与在线监测系统，包括营销业务管理系统1、用电信息采集系统2、MDS调度系统3、D5000调度系统4，营销业务管理系统1、用电信息采集系统2、MDS调度系统3以及D5000调度系统4通过防火墙5连接关口表计量大数据分析模块6，所述关口表计量大数据分析模块6与备份服务器7通过OGG同步，所述关口表计量大数据分析模块6分为资源层、数据存储层、数据分析层、接口层、功能展示层，所述用电信息采集系统2的在线监测模块每天定时自动同步异常事件信息至关口表计量大数据分析模块6；所述营销业务管理系统1每周定时自动同步关口表档案数据、关口表装拆记录至关口表计量大数据分析模块6；所述MDS调度系统3每周定时自动同步关口表首检、运行误差现场核查结果数据至关口表计量大数据分析模块6；所述D5000调度系统4每周定时自动同步变电站供电拓扑数据、96点数据、开关信息、关联关系这些数据至关口表计量大数据分析模块6。
所述资源层包括Oracle数据库以及数据检查和转换服务单元，Oracle数据库接收营销业务管理系统1、用电信息采集系统2、MDS调度系统3以及D5000调度系统4提供过来的增量数据；数据检查和转换服务单元定时将增量数据进行导出，检查并输出数据质量检查报告；在数据检查通过后进行必要的数据合并和转换。
所述数据存储层包括ElasticSearch集群和ES数据存储服务单元，ElasticSearch集群用来保存数据分析层计算所需的原始数据和输出结果，ES数据存储服务单元自动监控资源层和数据分析层的输出，根据特定的规则将数据保存到特定的ES索引中，所述数据分析层数据分析的结果最终保存在ElasticSearch集群中。数据分析层算法层面，针对不同的项目和数据维度有不同的分析方法，典型的包括:
分类算法/聚类算法：SVM、贝叶斯分类、随机森林、决策树神经网络、马尔可夫、K-Means、降维算法、朴素贝叶斯；
异常点检测常用算法：Isolation Forest算法、one-class SVM、基于离散傅立叶变换的时间序列相似性查找、*k近邻算法。
工具层面，使用了Pandas数据处理框架、机器学习及科学处理的Scipy和Scikit-learn框架，支持大量的维度数组与矩阵运算的Numpy，2D绘图套件Matplotlib。
所述接口层使用Flask与uWSGI搭建的Rsetful风格的API，并使用Nginx进行负载均衡和反向代理。使用的技术包括VUE、JS(Javascript)、HTML和CSS。
所述功能展示层则将系统分析结果以及相关业务数据以web页面的形式呈现。
如图3所示，一种变电站关口计量大数据分析与在线监测方法，包括以下具体步骤：
计量大数据分析通过数据导入服务定期获取所需的各类业务数据，并写入计量大数据分析服务器的Oracle数据库中；
数据检查程序自动对原始的基础数据进行数据质量检查，检查数据的完整性、合规性、准确性，并根据检查结果生成数据质量报告，数据质量检查合格的数据，使用数据预处理程序对数据进行清洗、冲突合并操作；ES数据存储服务通过Linux系统的Inotify特性，实时监控数据预处理结果，及时将预处理后的数据存入ES数据库结构中；
计量大数据分析服务进一步将预处理后的数据通过分析模型及其他专家知识库/模型进行综合诊断与分析，ES数据存储服务实时监控分析结果，及时将分析结果回写到ES数据库中；
Web展示Server从ES数据库中需要展示的数据，转给Web展示Client，在功能页面中进行展示。
所述数据处理包括：数据的完整性检查，通过自动校验脚本，检查数据记录重要数据字段是否缺失；数据格式检查，通过自动校验脚本，检查数据的文件名格式，数据字段格式，如不能多字段或少字段、日期格式必须正确、字段末尾不能有空格、某些字段不能为空以及单双引号的问题；数据的准确性检查，通过自动校验脚本，检查数据的记录是否准确，是否存在异常、冲突或逻辑错误的信息；错误数据过滤，根据数据检查结果，自动对无效数据、错误数据进行过滤；数据合并，多个基础表中数据通过外键关联时，结果往往无法根据国网数据结构标设实现数据一一对应，需要根据具体情况进行取舍，对数据进行冲突处理、数据合并。
所述错误数据过滤包括偶发停电数据自动过滤、错误数据自动过滤、重复数据自动过滤。
所述数据合并包括重复数据合并；父表包含所有子表数据时，识别冲突字段，以父表或子表为准，制定冲突处理策略，进行数据合并，反馈冲突。
具体实施时，关口表计量大数据分析应用定期自动从营销系统、用电信息采集系统、MDS系统、D5000等调度系统中获取档案信息、日冻结示数信息、电压电流相位信息、异常事件数据、评价指标信息、电能表检定及故障数据等业务数据，并将业务数据存入ElasticSearch数据库中。
实际数据中包含空数据、格式错误数据、逻辑冲突数据等异常数据，异常数据会造成分析的结果出现偏差、抖动。为了提升数据分析结果的可靠性，对获取到的基础数据进行数据清洗与预处理。
根据数据完整性检查、数据格式检查、数据准确性检查的检查结果，自动整合数据质量问题，记录问题详情，生成数据质量报告，输出数据质量问题清单，用户可查看、导出数据质量报告。
进行采集数据异常分析，包括采集数据缺失、采集数据异常，综合统计分析和展示关口电能表采集数据中的有流无压以及缺失时间、丢失辅助电源事件等，输出采集数据异常分析报告。
基于关口表采集数据中的电压、电流、功率、正反向有功电能量、最大需量、最大需量发生时间等数据，提供电能表运行状态在线监测功能。
根据110kV及以上变电站的关口表运行误差计算结果，展示疑似存在运行误差超差的关口表信息，包括每个关口表的所属市公司、所属变电站、所属线路等基础信息，及关口表名称、关口表编号、口表的计算运行误差、异常事件关联分析结果、现场核查运行误差值等。
用户通过市公司、时间范围、关口表名称/ID、变电站电压等级、变电站名称、所属线路等查询条件，查询疑似超差的关口表明细信息，并导出。
对于疑似存在运行误差超差的关口表，展示其现场核查状态及现场核查的运行误差值，与核查的运行误差值对应的负荷、电压、电流等数据。
结合关口表的计量相关异常事件信息，使用关口表异常事件关联分析模型，辅助分析计量装置误差超差疑似原因。
根据设定的时间范围内，统计并展示省、市、县三级供电单位的疑似超差关口表、已核查关口表、待核查超差表总数；统计并展示110kV及以上各电压等级的超差关口数量；对已获得现场核查结果的疑似超差关口表，按照省、市、县三级供电单位和不同电压等级分别统计超差关口表识别准确率。
对关口电能表采集数据、采集异常数据、丢失辅助电源等异常事件数据，对关口电能表疑似故障和采集系统故障进行预警。
对各种异常事件和故障进行分级，提高异常事件或故障处理的效率；区分用户类型，用户可根据生产厂家、用户类型等查询条件，查询展示对应的异常事件、故障信息。
通过数据分析在线监测，实现对问题的快速发现与反馈，关口误差远程监测结果应用于关口周期检定，减少关口现场检定次数，且可以避免现场校验时因负荷小等因素造成的无法检定，并解决当前互感器现场检定空白的风险。
通过分析用电信息采集系统、营销业务应用系统、MDS系统、D5000等调度系统的数据，发现存在的数据问题，并通过数据治理解决影响运行误差计算结果的问题数据，逐步提升各系统的数据质量，为其他高级应用提供更加准确的数据，可以更好得开展各项业务应用。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (9)
1.一种变电站关口计量大数据分析与在线监测系统，其特征在于，包括营销业务管理系统(1)、用电信息采集系统(2)、MDS调度系统(3)、D5000调度系统(4)，营销业务管理系统(1)、用电信息采集系统(2)、MDS调度系统(3)以及D5000调度系统(4)通过防火墙(5)连接关口表计量大数据分析模块(6)，所述关口表计量大数据分析模块(6)与备份服务器(7)通过OGG同步，所述关口表计量大数据分析模块(6)分为资源层、数据存储层、数据分析层、接口层、功能展示层，所述用电信息采集系统(2)的在线监测模块每天定时自动同步异常事件信息至关口表计量大数据分析模块(6)；所述营销业务管理系统(1)每周定时自动同步关口表档案数据、关口表装拆记录至关口表计量大数据分析模块(6)；所述MDS调度系统(3)每周定时自动同步关口表首检、运行误差现场核查结果数据至关口表计量大数据分析模块(6)；所述D5000调度系统(4)每周定时自动同步变电站供电拓扑数据、96点数据、开关信息、关联关系这些数据至关口表计量大数据分析模块(6)。
2.根据权利要求1所述的一种变电站关口计量大数据分析与在线监测系统，其特征在于，所述资源层包括Oracle数据库以及数据检查和转换服务单元，Oracle数据库接收营销业务管理系统(1)、用电信息采集系统(2)、MDS调度系统(3)以及D5000调度系统(4)提供过来的增量数据；数据检查和转换服务单元定时将增量数据进行导出，检查并输出数据质量检查报告；在数据检查通过后进行必要的数据合并和转换。
3.根据权利要求2所述的一种变电站关口计量大数据分析与在线监测系统，其特征在于，所述数据存储层包括ElasticSearch集群和ES数据存储服务单元，ElasticSearch集群用来保存数据分析层计算所需的原始数据和输出结果，ES数据存储服务单元自动监控资源层和数据分析层的输出，根据特定的规则将数据保存到特定的ES索引中，所述数据分析层数据分析的结果最终保存在ElasticSearch集群中。
4.根据权利要求3所述的一种变电站关口计量大数据分析与在线监测系统，其特征在于，所述接口层使用Flask与uWSGI搭建的Rsetful风格的API，并使用Nginx进行负载均衡和反向代理。
5.根据权利要求3所述的一种变电站关口计量大数据分析与在线监测系统，其特征在于，所述功能展示层则将系统分析结果以及相关业务数据以web页面的形式呈现。
6.一种变电站关口计量大数据分析与在线监测方法，其特征在于，包括以下具体步骤：
计量大数据分析通过数据导入服务定期获取所需的各类业务数据，并写入计量大数据分析服务器的Oracle数据库中；
数据检查程序自动对原始的基础数据进行数据质量检查，检查数据的完整性、合规性、准确性，并根据检查结果生成数据质量报告，数据质量检查合格的数据，使用数据预处理程序对数据进行清洗、冲突合并操作；ES数据存储服务通过Linux系统的Inotify特性，实时监控数据预处理结果，及时将预处理后的数据存入ES数据库结构中；
计量大数据分析服务进一步将预处理后的数据通过分析模型及其他专家知识库/模型进行综合诊断与分析，ES数据存储服务实时监控分析结果，及时将分析结果回写到ES数据库中；
Web展示Server从ES数据库中需要展示的数据，转给Web展示Client，在功能页面中进行展示。
7.根据权利要求6所述的一种变电站关口计量大数据分析与在线监测方法，其特征在于，所述数据处理包括：数据的完整性检查，通过自动校验脚本，检查数据记录重要数据字段是否缺失；数据格式检查，通过自动校验脚本，检查数据的文件名格式，数据字段格式，如不能多字段或少字段、日期格式必须正确、字段末尾不能有空格、某些字段不能为空以及单双引号的问题；数据的准确性检查，通过自动校验脚本，检查数据的记录是否准确，是否存在异常、冲突或逻辑错误的信息；错误数据过滤，根据数据检查结果，自动对无效数据、错误数据进行过滤；数据合并，多个基础表中数据通过外键关联时，结果往往无法根据国网数据结构标设实现数据一一对应，需要根据具体情况进行取舍，对数据进行冲突处理、数据合并。
8.根据权利要求7所述的一种变电站关口计量大数据分析与在线监测方法，其特征在于，所述错误数据过滤包括偶发停电数据自动过滤、错误数据自动过滤、重复数据自动过滤。
9.根据权利要求7所述的一种变电站关口计量大数据分析与在线监测方法，其特征在于，所述数据合并包括重复数据合并；父表包含所有子表数据时，识别冲突字段，以父表或子表为准，制定冲突处理策略，进行数据合并，反馈冲突。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011348709.2A CN112700082A (zh) | 2020-11-26 | 2020-11-26 | 变电站关口计量大数据分析与在线监测系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011348709.2A CN112700082A (zh) | 2020-11-26 | 2020-11-26 | 变电站关口计量大数据分析与在线监测系统和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112700082A true CN112700082A (zh) | 2021-04-23 |
Family
ID=75507093
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011348709.2A Pending CN112700082A (zh) | 2020-11-26 | 2020-11-26 | 变电站关口计量大数据分析与在线监测系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112700082A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113376562A (zh) * | 2021-06-08 | 2021-09-10 | 国网重庆市电力公司营销服务中心 | 基于滚动时窗—fcm聚类的cvt校验方法、设备及介质 |
| CN117406161A (zh) * | 2023-12-11 | 2024-01-16 | 普华讯光（北京）科技有限公司 | 一种计量装置量值偏离度预警方法、系统、设备及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106202402A (zh) * | 2016-07-11 | 2016-12-07 | 国网重庆市电力公司 | 一种电能表计量生产调度平台系统 |
| CN107862467A (zh) * | 2017-11-23 | 2018-03-30 | 国网辽宁省电力有限公司 | 一种基于大数据平台的电网综合数据指标监测方法及系统 |
| CN110019098A (zh) * | 2017-12-30 | 2019-07-16 | 广州明领基因科技有限公司 | 基于Hadoop框架的电能计量大数据分析系统 |
| CN111640040A (zh) * | 2020-04-07 | 2020-09-08 | 国网新疆电力有限公司 | 基于客户画像技术的供电客户价值评价方法及大数据平台 |
-
2020
- 2020-11-26 CN CN202011348709.2A patent/CN112700082A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106202402A (zh) * | 2016-07-11 | 2016-12-07 | 国网重庆市电力公司 | 一种电能表计量生产调度平台系统 |
| CN107862467A (zh) * | 2017-11-23 | 2018-03-30 | 国网辽宁省电力有限公司 | 一种基于大数据平台的电网综合数据指标监测方法及系统 |
| CN110019098A (zh) * | 2017-12-30 | 2019-07-16 | 广州明领基因科技有限公司 | 基于Hadoop框架的电能计量大数据分析系统 |
| CN111640040A (zh) * | 2020-04-07 | 2020-09-08 | 国网新疆电力有限公司 | 基于客户画像技术的供电客户价值评价方法及大数据平台 |
Non-Patent Citations (3)
| Title |
|---|
| 任丹 等: "基于Flask和Vue的AIS数据分析系统设计与开发", 《软件》 * |
| 宋金玉 等: "数据质量及数据清洗方法", 《指挥信息系统与技术》 * |
| 徐家慧 等: "基于大数据技术的变电站设备监控信息综合分析及智能决策系统", 《中国科技信息》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113376562A (zh) * | 2021-06-08 | 2021-09-10 | 国网重庆市电力公司营销服务中心 | 基于滚动时窗—fcm聚类的cvt校验方法、设备及介质 |
| CN113376562B (zh) * | 2021-06-08 | 2022-08-09 | 国网重庆市电力公司营销服务中心 | 基于滚动时窗—fcm聚类的cvt校验方法、设备及介质 |
| CN117406161A (zh) * | 2023-12-11 | 2024-01-16 | 普华讯光（北京）科技有限公司 | 一种计量装置量值偏离度预警方法、系统、设备及介质 |
| CN117406161B (zh) * | 2023-12-11 | 2024-04-02 | 普华讯光（北京）科技有限公司 | 一种计量装置量值偏离度预警方法、系统、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106557991B (zh) | 电压监测数据平台 | |
| CN113822547B (zh) | 一种精细化需求侧管理综合信息平台系统及管理方法 | |
| CA2805747A1 (en) | Machine learning for a power grid | |
| AU2022204116A1 (en) | Verification method for electrical grid measurement data | |
| CN112131441A (zh) | 一种快速识别用电异常行为的方法及系统 | |
| CN112700082A (zh) | 变电站关口计量大数据分析与在线监测系统和方法 | |
| CN114036206A (zh) | 一种基于时序数据库的多能种能源信息管理系统 | |
| CN111552686A (zh) | 一种电力数据质量评估方法及其装置 | |
| Leao et al. | Big data processing for power grid event detection | |
| Xuefeng et al. | Risk identification and influence analysis model for urban energy internet based on knowledge graph improved decision-making trial and evaluation laboratory | |
| Prakash et al. | Exploration of anomalous tracing of records in smart home energy consumption dataset | |
| Li et al. | Panoramic synchronous measurement system for wide-area power system based on the cloud computing | |
| CN116109185A (zh) | 一种应用于电力系统碳排放核算的碳量测系统 | |
| CN116522746A (zh) | 高耗能企业配电托管方法 | |
| Heng et al. | Integrated analytics system for electric industry asset management | |
| CN112308437A (zh) | 基于大数据分析的线损治理方法、系统、装置和存储介质 | |
| Codal et al. | Big data in smart energy systems: A critical review | |
| Wenhuan et al. | Relay protection service support platform architecture and data flow based on big data technology | |
| Ouyang et al. | Design and Realization of Data Application Architecture Oriented to the Requirements of Distribution Network | |
| Markham | Data mining and machine learning applications of wide-area measurement data in electric power systems | |
| Zhang et al. | Relay Protection Service Support Platform to Meet Multiple Business Needs | |
| Habib et al. | 21st century present condition and challenges related to large-scale data processing in smart grid and optional framework for large data storage and analysis | |
| Liu et al. | Study of data integration architecture for widearea distributed power quality of power grid | |
| Hai et al. | Fault location system for distribution network based on incomplete information from multiple sources | |
| Zhang et al. | [Retracted] Substation Operation Information Maintenance Based on Intelligent Data Mining |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210423 |