CN108109075A - 一种基于分布式技术的离线计算平台 - Google Patents
一种基于分布式技术的离线计算平台 Download PDFInfo
- Publication number
- CN108109075A CN108109075A CN201711259680.9A CN201711259680A CN108109075A CN 108109075 A CN108109075 A CN 108109075A CN 201711259680 A CN201711259680 A CN 201711259680A CN 108109075 A CN108109075 A CN 108109075A
- Authority
- CN
- China
- Prior art keywords
- counted
- submodule
- data
- power
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005516 engineering process Methods 0.000 title claims abstract description 45
- 238000004364 calculation method Methods 0.000 title claims abstract description 36
- 230000005611 electricity Effects 0.000 claims abstract description 58
- 238000004458 analytical method Methods 0.000 claims abstract description 50
- 238000012544 monitoring process Methods 0.000 claims abstract description 25
- 238000003869 coulometry Methods 0.000 claims abstract description 21
- 241000209094 Oryza Species 0.000 claims description 17
- 235000007164 Oryza sativa Nutrition 0.000 claims description 17
- 238000009826 distribution Methods 0.000 claims description 17
- 235000009566 rice Nutrition 0.000 claims description 17
- 230000002159 abnormal effect Effects 0.000 claims description 13
- 238000003860 storage Methods 0.000 claims description 12
- 238000000034 method Methods 0.000 claims description 10
- 238000009434 installation Methods 0.000 claims description 4
- 238000012800 visualization Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 10
- 230000007812 deficiency Effects 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 36
- 230000008520 organization Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 6
- 238000007405 data analysis Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 4
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000018199 S phase Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 238000000556 factor analysis Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000010224 classification analysis Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- Marketing (AREA)
- Tourism & Hospitality (AREA)
- Educational Administration (AREA)
- General Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- Public Health (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- Operations Research (AREA)
- Game Theory and Decision Science (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Supply And Distribution Of Alternating Current (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Remote Monitoring And Control Of Power-Distribution Networks (AREA)
Abstract
本发明实施例公开了一种基于分布式技术的离线计算平台，解决了现有的基于分布式技术的离线计算平台存在的数据处理性能不足和不足以满足工作人员对考核指标进行监测、对数据进行实时查询、对电能质量进行统计、对电量进行分析以及对停电时间进行统计的需求的问题。本发明的基于分布式技术的离线计算平台包括：分布式系统、考核指标监测模块、数据实时查询模块、电能质量统计模块、电量分析模块和停电时间统计模块；考核指标监测模块、数据实时查询模块、电能质量统计模块、电量分析模块和停电时间统计模块均与分布式系统连接。
Description
技术领域
本发明涉及计量自动化领域，尤其涉及一种基于分布式技术的离线计算平台。
背景技术
基于分布式技术的离线计算平台是一种基于分布式技术的计量自动化系统离线计算平台，基于分布式环境实现采集处理服务及计算服务，满足全采集、抄核收业务应用、费控业务应用、调度业务应用等需要进行大数据量计算的功能，提升采集计算、数据存储、数据分析、数据发布的功能，满足计量自动化的业务需要。
随着计量自动化系统业务的不断扩展，计量自动化系统采集的数据量急速增长，面对这种海量数据，计量自动化系统对终端海量数据的处理、以及自动上行任务的处理、系统可靠性设计和可用性设计将面临很大的压力，不足以支撑全采集、抄核收、费控、调度等业务的开展。现有的基于分布式技术的离线计算平台存在数据处理性能不足和不足以满足工作人员对考核指标进行监测、对数据进行实时查询、对电能质量进行统计、对电量进行分析以及对停电时间进行统计的需求的问题。
发明内容
本发明实施例提供的一种基于分布式技术的离线计算平台，解决了现有的基于分布式技术的离线计算平台存在的数据处理性能不足和不足以满足工作人员对考核指标进行监测、对数据进行实时查询、对电能质量进行统计、对电量进行分析以及对停电时间进行统计的需求的问题。
本发明实施例提供的一种基于分布式技术的离线计算平台包括：
分布式系统、考核指标监测模块、数据实时查询模块、电能质量统计模块、电量分析模块和停电时间统计模块；
所述考核指标监测模块、数据实时查询模块、电能质量统计模块、电量分析模块和停电时间统计模块均与所述分布式系统连接；
所述考核指标监测模块，用于对抄表成功率、终端在线率、自动抄表率、采集完整率和终端覆盖率进行统计；
所述数据实时查询模块，用于对报警、异常用电、报文、营销抄表日志、功率因数和负荷趋势进行实时查询；
所述电能质量统计模块，用于对电压偏差、三相不平衡度和谐波进行统计；
所述电量分析模块，用于对行业电量、电量排名、变电站站用电和供售电量进行统计；
所述停电时间统计模块，用于对停电事件和停电时间进行统计。
可选地，所述考核指标监测模块具体包括：
抄表成功率子模块，用于对抄表成功率进行统计；
终端在线率子模块，用于对实时在线率、日平均在线率、月平均在线率和在线明细清单进行统计；
自动抄表率子模块，用于对自动抄表情况进行统计；
采集完整率子模块，用于对采集完整率和未采集点数明细进行统计；
终端覆盖率子模块，用于对终端安装覆盖率和终端使用覆盖率进行统计。
可选地，所述数据实时查询模块具体包括：
报警查询子模块：用于对报警事件进行统计；
异常用电查询子模块：用于对异常用电事件进行统计；
报文查询子模块，用于对报文进行查询；
营销抄表日志查询子模块，用于对营销抄表日志进行查询；
功率因数查询子模块，用于对功率因数进行查询；
负荷趋势分析子模块，用于对负荷趋势进行分析。
可选地，所述电能质量统计模块具体包括：
电压偏差分析子模块，用于对电压偏差进行分析统计；
三相不平衡度分析子模块，用于对三相不平衡度进行分析统计；
谐波分析子模块，用于对谐波进行分析统计。
可选地，所述电量分析模块具体包括：
行业电量统计子模块，用于对行业电量进行统计；
电量排名分析子模块，用于对电量排名进行分析统计；
站用电统计报表子模块，用于对变电站站用电进行统计；
供售电量统计子模块，用于对供售电量进行统计。
可选地，所述停电时间统计模块具体包括：
停电事件统计子模块，用于对停电事件进行统计；
停电时间统计子模块，用于对停电时间进行统计。
可选地，所述分布式系统具体包括：
数据获取模块，用于从数据源获取数据；
数据计算模块，用于通过模块中的SPARK框架中的预置数据分析算法对所述数据进行分析计算，并将分析计算结果存储到数据库中；
数据存储模块，包括数据库，用于对从所述数据获取模块中获取的统计数据进行保存，以及对所述数据计算模块中的分析计算结果进行保存；
可视化服务模块，用于对工作人员提供可视化服务，使得工作人员能够通过图形界面对所述分布式系统进行操作。
可选地，所述数据计算模块中的SPARK框架，采用并行计算方法对数据源的数据进行分析计算并保存到所述数据存储模块中。
可选地，所述数据源为计量自动化系统。
从以上技术方案可以看出，本发明实施例具有以下优点：
本发明实施例提供的一种基于分布式技术的离线计算平台，包括：分布式系统、考核指标监测模块、数据实时查询模块、电能质量统计模块、电量分析模块和停电时间统计模块；考核指标监测模块、数据实时查询模块、电能质量统计模块、电量分析模块和停电时间统计模块均与分布式系统连接；考核指标监测模块，用于对抄表成功率、终端在线率、自动抄表率、采集完整率和终端覆盖率进行统计；数据实时查询模块，用于对报警、异常用电、报文、营销抄表日志、功率因数和负荷趋势进行实时查询；电能质量统计模块，用于对电压偏差、三相不平衡度和谐波进行统计；电量分析模块，用于对行业电量、电量排名、变电站站用电和供售电量进行统计；停电时间统计模块，用于对停电事件和停电时间进行统计。
本实施例中，通过对分布式系统以及通过考核指标监测模块、数据实时查询模块、电能质量统计模块、电量分析模块和停电时间统计模块均与分布式系统连接；这些功能模块通过与分布式系统连接，通过分布式系统的计算、存储、获取功能解决了现有的基于分布式技术的离线计算平台存在的数据处理性能不足和不足以满足工作人员对考核指标进行监测、对数据进行实时查询、对电能质量进行统计、对电量进行分析以及对停电时间进行统计的需求的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种基于分布式技术的离线计算平台的一个实施例的结构示意图；
图2为本发明实施例提供的一种基于分布式技术的离线计算平台的另一个实施例的结构示意图；
图3为本发明实施例提供的一种基于分布式技术的离线计算平台的功能实现的逻辑架构图。
具体实施方式
本发明实施例提供的一种基于分布式技术的离线计算平台，解决了现有的基于分布式技术的离线计算平台存在的数据处理性能不足和不足以满足工作人员对考核指标进行监测、对数据进行实时查询、对电能质量进行统计、对电量进行分析以及对停电时间进行统计的需求的问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，本发明实施例提供的一种基于分布式技术的离线计算平台的一个实施例包括：
分布式系统101，用于从数据源获取数据，并通过SPARK框架中的预置数据分析算法对所述数据进行分析计算，并将分析计算结果存储到数据库中；并对工作人员提供可视化服务；
考核指标监测模块102，用于对抄表成功率、终端在线率、自动抄表率、采集完整率和终端覆盖率进行统计；
数据实时查询模块103，用于对报警、异常用电、报文、营销抄表日志、功率因数和负荷趋势进行实时查询；
电能质量统计模块104，用于对电压偏差、三相不平衡度和谐波进行统计；
电量分析模块105，用于对行业电量、电量排名、变电站站用电和供售电量进行统计；
停电时间统计模块106，用于对停电事件和停电时间进行统计。
本实施例中，通过对分布式系统101以及通过考核指标监测模块102、数据实时查询模块103、电能质量统计模块104、电量分析模块105和停电时间统计模块106均与分布式系统101连接；这些功能模块通过与分布式系统连接，通过分布式系统的计算、存储、获取功能解决了现有的基于分布式技术的离线计算平台存在的数据处理性能不足和不足以满足工作人员对考核指标进行监测、对数据进行实时查询、对电能质量进行统计、对电量进行分析以及对停电时间进行统计的需求的问题。
上面是对一种基于分布式技术的离线计算平台的一个实施例的描述，下面将对考核指标监测模块102、数据实时查询模块103、电能质量统计模块104、电量分析模块105和停电时间统计模块106进行详细的描述，请参阅图2，本发明实施例提供的一种基于分布式技术的离线计算平台的另一个实施例包括：
分布式系统201，用于从数据源获取数据，并通过SPARK框架中的预置数据分析算法对所述数据进行分析计算，并将分析计算结果存储到数据库中；并对工作人员提供可视化服务；
考核指标监测模块202，具体包括：
抄表成功率子模块2021，用于对抄表成功率进行统计；
终端在线率子模块2022，用于对实时在线率、日平均在线率、月平均在线率和在线明细清单进行统计；
自动抄表率子模块2023，用于对自动抄表情况进行统计；
采集完整率子模块2024，用于对采集完整率和未采集点数明细进行统计；
终端覆盖率子模块2025，用于对终端安装覆盖率和终端使用覆盖率进行统计。
数据实时查询模块203，具体包括：
报警查询子模块2031：用于对报警事件进行统计；
异常用电查询子模块2032：用于对异常用电事件进行统计；
报文查询子模块2033，用于对报文进行查询；
营销抄表日志查询子模块2034，用于对营销抄表日志进行查询；
功率因数查询子模块2035，用于对功率因数进行查询；
负荷趋势分析子模块2036，用于对负荷趋势进行分析。
电能质量统计模块204，具体包括：
电压偏差分析子模块2041，用于对电压偏差进行分析统计；
三相不平衡度分析子模块2042，用于对三相不平衡度进行分析统计；
谐波分析子模块2043，用于对谐波进行分析统计。
电量分析模块205，具体包括：
行业电量统计子模块2051，用于对行业电量进行统计；
电量排名分析子模块2052，用于对电量排名进行分析统计；
站用电统计报表子模块2053，用于对变电站站用电进行统计；
供售电量统计子模块2054，用于对供售电量进行统计。
停电时间统计模块206，具体包括：
停电事件统计子模块2061，用于对停电事件进行统计；
停电时间统计子模块2062，用于对停电时间进行统计。
本实施例中，通过对分布式系统201以及通过考核指标监测模块202、数据实时查询模块203、电能质量统计模块204、电量分析模块205和停电时间统计模块206均与分布式系统201连接；其中，考核指标监测模块202，具体包括：抄表成功率子模块2021、终端在线率子模块2022、自动抄表率子模块2023、采集完整率子模块2024和终端覆盖率子模块2025；数据实时查询模块203，具体包括：报警查询子模块2031、异常用电查询子模块2032、报文查询子模块2033、营销抄表日志查询子模块2034、功率因数查询子模块2035和负荷趋势分析子模块2036；电能质量统计模块204，具体包括：电压偏差分析子模块2041、三相不平衡度分析子模块2042和谐波分析子模块2043；电量分析模块205，具体包括：行业电量统计子模块2051、电量排名分析子模块2052、站用电统计报表子模块2053和供售电量统计子模块2054；停电时间统计模块206，具体包括：停电事件统计子模块2061和停电时间统计子模块2062。这些功能模块通过与分布式系统连接，通过分布式系统的获取、计算、存储功能解决了现有的基于分布式技术的离线计算平台存在的数据处理性能不足和不足以满足工作人员对考核指标进行监测、对数据进行实时查询、对电能质量进行统计、对电量进行分析以及对停电时间进行统计的需求的问题。
本发明实施例提供的一种基于分布式技术的离线计算平台，可以实现的功能如下表1所示：
表1：一种基于分布式技术的离线计算平台可以实现的功能
考核指标监测模块202包括考核指标统计API，基于分布式存储与分布式计算环境的SPARK计算框架如图3所示，实现抄表成功率、终端在线率、自动抄表率、采集完整率、终端覆盖率的离线定时统计API功能。
抄表成功率子模块2021的具体功能为，实现对计量自动化系统抄表成功率统计计算，可以按照考核周期、用户类型统计冻结电量抄表成功率。
终端在线率子模块2022的具体功能为，实现基于spark计算框架的按终端类型、时间、统计类型查询终端在线情况统计API。支持按统计类型(实时在线率、日平均在线率、月平均在线率)、组织机构、排名粒度(省级、地市局、区县局、供电所)、统计口径(全口径、直供直管、县级子公司)进行统计；支持日平均在线率、月平均在线率按时间段、终端类型(专变、公变、集中器)、终端厂家分类进行统计；提供明细数据查询API接口功能，支持在线数、离线数、停电数、报停数的详细信息查询。
自动抄表率子模块2023的具体功能为，提供基于SPARK技术框架的自动抄表率定时统计功能，可以实现按组织机构、排名粒度(省级、地市局、区县局、供电所)、统计口径(全口径、直供直管、县级子公司)进行统计；实现按自动抄表类型统计,包括电厂、变电站、专变用户、公变用户、低压用户进行自动抄表率统计；实现按数据类型(日数据、月数据、零点数据)、时间类别(时间点、时间段)、时间、用户状态的自动抄表统计；实现按照厂站类型、计量点性质、时间类别、时间查询的未抄表用户清单输出API。
采集完整率子模块2024的具体功能为，提供基于SPARK技术框架的按照组织机构、排名粒度、时间类型的采集完整率统计API，实现按组织机构、排名粒度(省级、地市局、区县局、供电所)、统计口径(全口径、直供直管、县级子公司)的采集完整率查询API；实现按时间类型(时间点、时间段)、统计类型(实时采集完整率、日采集完整率、月采集完整率)统计API；实现按数据项(正向有功总电能、反向有功总电能、正向无功总电能、反向无功总电能)进行统计API；可以实现未采集点数明细清单输出API。
终端覆盖率子模块2025的具体功能为，提供基于SPARK技术框架的终端安装覆盖率和终端使用覆盖率统计API，支持按组织机构、统计类型、统计口径进行分类统计，提供按组织机构、排名粒度(省级、地市局、区县局、供电所)、统计口径(全口径、直供直管、县级子公司)进行终端覆盖率查询API，终端接入覆盖率支持按统调电厂、地方电厂、变电站、专变用户、公变用户、低压集抄进行统计；终端使用覆盖率只统计专变用户、公变用户两种类型，实现不同类型(电厂、变电站、用户)的终端覆盖率按指定规则算法进行统计。
数据实时查询模块203包括数据实时查询API，用于实时查询遵循在不改变计量自动化系统前台界面的情况下，提供对应的SPARK的分布式查询API，通过SPARK内存并行计算，结合HADOOP技术中HDFS的分布式存储结构，提供高速有效的数据查询服务。当前端查询功能提交查询请求时，基于SPARK技术的分布式查询API提出SPARK SQL请求，通过RDDPartition就近读取分布式文件系统中的数据块到各个节点内存中进行计算，并提供Cache机制来支持多次迭代计算或者数据共享，大大减少迭代计算之间读取数据的开销，对于需要进行多次迭代的数据分析性能有很大提升。对同时分布在一组节点中的只读对象进行集合，同时集合是弹性的，如果数据集一部分丢失，可以对丢失的数据进行重建，实现了数据的高容错性。
报警查询子模块2031的具体功能是，基于分布式技术对计量自动化系统现有的报警查询功能进行改造，通过调用基于SPARK技术的报警查询API接口，实现设备报警、主站报警的监测分析。报警查询API按照组织机构、时间段、用户类型、报警类别、报警级别等查询报警信息，实现报警详细数据查询API接口功能，可以查询设备报警时附带报警附加数据项或者主站报警时相关的数据项。
异常用电查询子模块2032具体功能是，对计量自动化系统现有的异常用电分析功能进行改造，通过调用基于SPARK技术的用电异常分析API接口，实现电网内所有计量点参数异常和用电异常的查询。
报文查询子模块2033具体功能是，将原始报文将存储在分布式存储环境中，提供基于分布式环境的报文查询功能。
营销抄表日志查询子模块2034具体功能是，营销抄表日志将存储在分布式存储环境中，本功能可以按照组织机构、抄表区段对计量自动化系统返回给营销系统的远程抄表日志进行查询。
功率因数查询子模块2035具体功能是，离线计算方法提供基于spark技术的功率因数统计API，实现对供电线路功率因数的考核，功率因数可按照不同的时间、地域等维度或维度组合对专变功率因数进行统计分析，提供标准的API接口，按照时间、功率上下限等查询数据并返回。
负荷趋势分析功能子模块2036具体功能是，按照负荷类别、数据类型、时间类型等维度查询负荷趋势情况，并通过标准API接口对外提供数据服务。
电能质量统计模块204包括电能质量统计API，用于基于分布式技术的计量自动化系统离线计算可以提供基于SPARK技术的电能质量统计API，实现电压偏差、三相不平衡度、谐波分析的统计，可按时间段进行分类统计，统计结果能够通过标准API实时查询相关的电压偏差数据，三相不平衡度数据及谐波数据。
电压偏差分析子模块2041具体功能是，按照电压等级进行分类分析，统计电压越上、下限时间，计算超上限率、超下限率、电压合格率、电压不平衡度，生成相关的合格率统计数据，并可以按照群组、线路、行业、用户类型、受电容量、电压等级、起止日期进行查询。
三相不平衡度分析子模块2042具体功能是，通过分析配电变压器三相负荷或者台区下用户相线电能量统计数据，确定三相平衡度，进而适当调整用户相线分布，为优化配电管理奠定基础。
谐波分析子模块2043具体功能是，统计电流和各次谐波电流含有率、电流日最大值和发生时间，统计电压和各次谐波电压含有率、电压日最大值和发生时间，并可对谐波异常事件进行查询和告警。
电量分析模块205包括电量分析API，用于对行业电量、电量排名、变电站站用电和供售电量进行统计；
停电时间统计模块206包括停电时间统计API，用于基于分布式计算技术，计量自动化系统可实现停电时间统计功能，并支持通过API接口功能对外提供停电事件数据。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种基于分布式技术的离线计算平台，其特征在于，包括：
分布式系统、考核指标监测模块、数据实时查询模块、电能质量统计模块、电量分析模块和停电时间统计模块；
所述考核指标监测模块、数据实时查询模块、电能质量统计模块、电量分析模块和停电时间统计模块均与所述分布式系统连接；
所述考核指标监测模块，用于对抄表成功率、终端在线率、自动抄表率、采集完整率和终端覆盖率进行统计；
所述数据实时查询模块，用于对报警、异常用电、报文、营销抄表日志、功率因数和负荷趋势进行实时查询；
所述电能质量统计模块，用于对电压偏差、三相不平衡度和谐波进行统计；
所述电量分析模块，用于对行业电量、电量排名、变电站站用电和供售电量进行统计；
所述停电时间统计模块，用于对停电事件和停电时间进行统计。
2.根据权利要求1所述的一种基于分布式技术的离线计算平台，其特征在于，
所述考核指标监测模块具体包括：
抄表成功率子模块，用于对抄表成功率进行统计；
终端在线率子模块，用于对实时在线率、日平均在线率、月平均在线率和在线明细清单进行统计；
自动抄表率子模块，用于对自动抄表情况进行统计；
采集完整率子模块，用于对采集完整率和未采集点数明细进行统计；
终端覆盖率子模块，用于对终端安装覆盖率和终端使用覆盖率进行统计。
3.根据权利要求1所述的一种基于分布式技术的离线计算平台，其特征在于，
所述数据实时查询模块具体包括：
报警查询子模块：用于对报警事件进行统计；
异常用电查询子模块：用于对异常用电事件进行统计；
报文查询子模块，用于对报文进行查询；
营销抄表日志查询子模块，用于对营销抄表日志进行查询；
功率因数查询子模块，用于对功率因数进行查询；
负荷趋势分析子模块，用于对负荷趋势进行分析。
4.根据权利要求1所述的一种基于分布式技术的离线计算平台，其特征在于，
所述电能质量统计模块具体包括：
电压偏差分析子模块，用于对电压偏差进行分析统计；
三相不平衡度分析子模块，用于对三相不平衡度进行分析统计；
谐波分析子模块，用于对谐波进行分析统计。
5.根据权利要求1所述的一种基于分布式技术的离线计算平台，其特征在于，
所述电量分析模块具体包括：
行业电量统计子模块，用于对行业电量进行统计；
电量排名分析子模块，用于对电量排名进行分析统计；
站用电统计报表子模块，用于对变电站站用电进行统计；
供售电量统计子模块，用于对供售电量进行统计。
6.根据权利要求1所述的一种基于分布式技术的离线计算平台，其特征在于，
所述停电时间统计模块具体包括：
停电事件统计子模块，用于对停电事件进行统计；
停电时间统计子模块，用于对停电时间进行统计。
7.根据权利要求1所述的一种基于分布式技术的离线计算平台，其特征在于，
所述分布式系统具体包括：
数据获取模块，用于从数据源获取数据；
数据计算模块，用于通过模块中的SPARK框架中的预置数据分析算法对所述数据进行分析计算，并将分析计算结果存储到数据库中；
数据存储模块，包括数据库，用于对从所述数据获取模块中获取的统计数据进行保存，以及对所述数据计算模块中的分析计算结果进行保存；
可视化服务模块，用于对工作人员提供可视化服务，使得工作人员能够通过图形界面对所述分布式系统进行操作。
8.根据权利要求7所述的一种基于分布式技术的离线计算平台，其特征在于，
所述数据计算模块中的SPARK框架，采用并行计算方法对数据源的数据进行分析计算并保存到所述数据存储模块中。
9.根据权利要求7所述的一种基于分布式技术的离线计算平台，其特征在于，
所述数据源为计量自动化系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711259680.9A CN108109075A (zh) | 2017-12-04 | 2017-12-04 | 一种基于分布式技术的离线计算平台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711259680.9A CN108109075A (zh) | 2017-12-04 | 2017-12-04 | 一种基于分布式技术的离线计算平台 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108109075A true CN108109075A (zh) | 2018-06-01 |
Family
ID=62209026
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711259680.9A Pending CN108109075A (zh) | 2017-12-04 | 2017-12-04 | 一种基于分布式技术的离线计算平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108109075A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110889618A (zh) * | 2019-11-21 | 2020-03-17 | 贵州电网有限责任公司 | 一种配网终端在线率多维统计分析方法 |
| CN112541832A (zh) * | 2020-11-27 | 2021-03-23 | 江苏瑞中数据股份有限公司 | 一种基于数据中台的数据质量管理平台 |
| CN113537780A (zh) * | 2021-07-19 | 2021-10-22 | 山东浪潮通软信息科技有限公司 | 一种通过api测试覆盖度考核的方法、设备及介质 |
| CN114113778A (zh) * | 2021-10-19 | 2022-03-01 | 黄兵 | 电能量数据管理平台大数据系统的计量大数据计算方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105117984A (zh) * | 2015-09-07 | 2015-12-02 | 国家电网公司 | 一种基于数据分析下的电网精益管理系统 |
| CN105786864A (zh) * | 2014-12-24 | 2016-07-20 | 国家电网公司 | 一种实现海量数据离线分析的方法 |
| CN106161138A (zh) * | 2016-06-17 | 2016-11-23 | 贵州电网有限责任公司贵阳供电局 | 一种智能自动计量方法及装置 |
| CN106326331A (zh) * | 2016-06-29 | 2017-01-11 | 河南许继仪表有限公司 | 一种基于云计算的智能用电数据服务系统 |
| CN106484809A (zh) * | 2016-09-23 | 2017-03-08 | 华北电力大学（保定） | 一种基于Spark的能源互联网信息平台及其应用 |
| CN106502772A (zh) * | 2016-10-09 | 2017-03-15 | 国网浙江省电力公司信息通信分公司 | 基于分布式离线技术的电量数据批量高速处理方法及系统 |
| CN106651633A (zh) * | 2016-10-09 | 2017-05-10 | 国网浙江省电力公司信息通信分公司 | 一种基于大数据技术的用电信息采集系统及其采集方法 |
| CN106909676A (zh) * | 2017-03-02 | 2017-06-30 | 国家电网公司 | 用户用电行为的分析方法及装置 |
-
2017
- 2017-12-04 CN CN201711259680.9A patent/CN108109075A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105786864A (zh) * | 2014-12-24 | 2016-07-20 | 国家电网公司 | 一种实现海量数据离线分析的方法 |
| CN105117984A (zh) * | 2015-09-07 | 2015-12-02 | 国家电网公司 | 一种基于数据分析下的电网精益管理系统 |
| CN106161138A (zh) * | 2016-06-17 | 2016-11-23 | 贵州电网有限责任公司贵阳供电局 | 一种智能自动计量方法及装置 |
| CN106326331A (zh) * | 2016-06-29 | 2017-01-11 | 河南许继仪表有限公司 | 一种基于云计算的智能用电数据服务系统 |
| CN106484809A (zh) * | 2016-09-23 | 2017-03-08 | 华北电力大学（保定） | 一种基于Spark的能源互联网信息平台及其应用 |
| CN106502772A (zh) * | 2016-10-09 | 2017-03-15 | 国网浙江省电力公司信息通信分公司 | 基于分布式离线技术的电量数据批量高速处理方法及系统 |
| CN106651633A (zh) * | 2016-10-09 | 2017-05-10 | 国网浙江省电力公司信息通信分公司 | 一种基于大数据技术的用电信息采集系统及其采集方法 |
| CN106909676A (zh) * | 2017-03-02 | 2017-06-30 | 国家电网公司 | 用户用电行为的分析方法及装置 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110889618A (zh) * | 2019-11-21 | 2020-03-17 | 贵州电网有限责任公司 | 一种配网终端在线率多维统计分析方法 |
| CN112541832A (zh) * | 2020-11-27 | 2021-03-23 | 江苏瑞中数据股份有限公司 | 一种基于数据中台的数据质量管理平台 |
| CN113537780A (zh) * | 2021-07-19 | 2021-10-22 | 山东浪潮通软信息科技有限公司 | 一种通过api测试覆盖度考核的方法、设备及介质 |
| CN113537780B (zh) * | 2021-07-19 | 2024-05-14 | 浪潮通用软件有限公司 | 一种通过api测试覆盖度考核的方法、设备及介质 |
| CN114113778A (zh) * | 2021-10-19 | 2022-03-01 | 黄兵 | 电能量数据管理平台大数据系统的计量大数据计算方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5616330B2 (ja) | 電力グリッドを管理する方法およびシステム | |
| JP5932668B2 (ja) | ユーティリティグリッドコマンドフィルタシステム | |
| CN108109075A (zh) | 一种基于分布式技术的离线计算平台 | |
| CN102947801B (zh) | 恶意攻击检测和分析 | |
| CN101789628B (zh) | 企业电能节能管理系统 | |
| CN106327055B (zh) | 一种基于大数据技术的电力费控方法及系统 | |
| CN106502772A (zh) | 基于分布式离线技术的电量数据批量高速处理方法及系统 | |
| CN104362757B (zh) | 一种基于iec61850的变电站在线监测系统 | |
| CN103580284A (zh) | 低压集抄系统 | |
| CN104617677A (zh) | 确定电网故障类型的方法、设备及电网管理系统 | |
| CN103995962A (zh) | 一种配用电线损实时在线计算分析方法 | |
| CN109739919A (zh) | 一种用于电力系统的前置机和采集系统 | |
| CN102637288A (zh) | 一种用于供电企业台区线损分析的方法 | |
| CN113129063A (zh) | 一种基于云平台和数据中台的电费计算发行方法及系统 | |
| CN112134277B (zh) | 基于全网营配多源数据的电网拓扑优化校核方法及系统 | |
| CN112688428A (zh) | 一种基于物联网技术的10千伏电网同期线损治理方法 | |
| CN115267644A (zh) | 电能表失准检测方法以及装置 | |
| CN104834305A (zh) | 基于dms系统的配网自动化终端遥测异常分析系统及方法 | |
| Zhang et al. | Research on comprehensive diagnosis model of anti-stealing electricity based on big data technology | |
| CN105184676A (zh) | 用电数据处理方法和装置 | |
| CN103217958A (zh) | 基于gis平台的电量购供售一体化系统及方法 | |
| CN103001321A (zh) | 具有d类电压质量监测功能的数据集中器 | |
| CN115526738A (zh) | 一种电力数据采集处理系统、方法、电子设备及存储介质 | |
| CN113945748B (zh) | 一种实现多接口融合的电网电压监测数据平台 | |
| Rocha-Doria et al. | Synchrophasor applications in distribution systems: real-life experience |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180601 |