CN109978334A - 一种基于电力模型的统计方法及系统 - Google Patents

一种基于电力模型的统计方法及系统 Download PDF

Info

Publication number
CN109978334A
CN109978334A CN201910139562.7A CN201910139562A CN109978334A CN 109978334 A CN109978334 A CN 109978334A CN 201910139562 A CN201910139562 A CN 201910139562A CN 109978334 A CN109978334 A CN 109978334A
Authority
CN
China
Prior art keywords
statistical
model
message
module
statistics
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910139562.7A
Other languages
English (en)
Inventor
石永恒
刘广
齐刚
宋坤
马驰源
王永文
张飞
黄刘松
徐鹏飞
王照阳
张磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guodian Nanjing Automation Co Ltd
Original Assignee
Guodian Nanjing Automation Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guodian Nanjing Automation Co Ltd filed Critical Guodian Nanjing Automation Co Ltd
Priority to CN201910139562.7A priority Critical patent/CN109978334A/zh
Publication of CN109978334A publication Critical patent/CN109978334A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393Score-carding, benchmarking or key performance indicator [KPI] analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06Energy or water supply

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于电力模型的统计方法及系统,本发明通过模型化手段,建立指标统计模型,模型可按需增加,不需要针对不同的指标单独开发程序,复用率高,扩展性强;本发明利用流式框架Storm,采用多机分布式并行计算,避免单机计算性能瓶颈,极大提高了统计计算效率,解决了统计时效低,耗时长的问题。

Description

一种基于电力模型的统计方法及系统
技术领域
本发明涉及一种基于电力模型的统计方法及系统,属于电力生产统计领域。
背景技术
电厂的生产统计指标,可以帮助我们统计企业运行和发展方方面面的数据,这对于火电厂决策层的科学决策是非常具有参考价值的。对于火电厂来说常用的指标包括发电量,供电煤耗,厂用电率,补水率,发电水耗,主汽压力,锅炉效率,汽机效率,管道效率等日月年等时段的统计量。对于风电,则有发电量,上网电量,弃风电量,风机的八种状态以及其对应的发电量,各状态的持续时间等指标日月年等时段的统计量。对于水电则包括:机组发电量,综合厂用电量,发电利用小时,弃水损失电量,水量利用率,水轮机效率等指标的日月年等时段的统计量。
随着电厂发电规模的扩大,业务的增加,会产生各种各样的统计指标。指标算法更加复杂,统计指标的增多,由此带来了一系列问题:已配置好的指标,移植到其他系统,往往需要修改或者重新配置,复用率低;扩展性差:增加计算指标,往往需要单独开发程序,造成计算程序冗余,难以统一管理;指标量的增多,统计引擎的统计计算需要耗费更多时间,难以满足对时效要求较高的的业务。
发明内容
本发明提供了一种基于电力模型的统计方法及系统,解决了现有指标统计计算存在复用率低、扩展性差、耗费长以及难以满足时效性的问题。
为了解决上述技术问题,本发明所采用的技术方案是:
一种基于电力模型的统计方法,包括,
建立指标的统计模型;
选择设备关联的统计模型和统计时段,并将关联关系存入数据库;
通过消息中间件,向Storm集群发送包含设备信息的统计请求消息报文;
从数据库中查找Storm集群统计结果。
统计模型中包括模型名、模型输入参数、模型输出参数和计算列表,其中,计算列表中包括指标的统计公式。
一种基于电力模型的统计方法,包括,
通过消息中间件,Spout节点接收并分发客户端发送的包含设备信息的统计请求消息报文;
Bolt节点解析统计请求消息报文;
Bolt节点根据设备信息从数据库查找相应的关联关系;其中,关联关系为设备关联的统计模型和统计时段;
Bolt节点根据统计模型和统计时段,进行指标统计并将结果存入数据库。
统计模型中包括模型名、模型输入参数、模型输出参数和计算列表,其中,计算列表中包括指标的统计公式。
指标统计的过程为,
将统计时段划分成若干个最小统计时段,从数据库中获取每个最小统计时段对应的统计模型输入参数,最后将统计模型获得的所有输出参数累加、求平均、求最大值和求最小值。
一种基于电力模型的统计系统,包括客户端和Storm集群;
客户端包括模型建立模块、关联模块、消息报文发送模块和结果查看模块;
模型建立模块:建立指标的统计模型;
关联模块:选择设备关联的统计模型和统计时段,并将关联关系存入数据库;
消息报文发送模块:通过消息中间件,向Storm集群发送包含设备信息的统计请求消息报文;
结果查看模块:从数据库中查找Storm集群统计结果;
Storm集群包括Spout节点和若干Bolt节点;
Spout节点:通过消息中间件,Spout节点接收并分发客户端发送的包含设备信息的统计请求消息报文;
Bolt节点包括解析模块、查找模块和统计模块;
解析模块:解析统计请求消息报文;
查找模块:根据设备信息从数据库查找相应的关联关系;其中,关联关系为设备关联的统计模型和统计时段;
统计模块:根据统计模型和统计时段,进行指标统计并将结果存入数据库。
统计模型中包括模型名、模型输入参数、模型输出参数和计算列表,其中,计算列表中包括指标的统计公式。
统计模块的工作过程为,将统计时段划分成若干个最小统计时段,从数据库中获取每个最小统计时段对应的统计模型输入参数,最后将统计模型获得的所有输出参数累加、求平均、求最大值和求最小值。
接收到多个设备的统计请求消息报文时,每个Bolt节点对一个设备进行指标统计。
本发明所达到的有益效果:本发明通过模型化手段,建立指标统计模型,模型可按需增加,不需要针对不同的指标单独开发程序,复用率高,扩展性强;本发明利用流式框架Storm,采用多机分布式并行计算,避免单机计算性能瓶颈,极大提高了统计计算效率,解决了统计时效低,耗时长的问题。
具体实施方式
以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
一种基于电力模型的统计方法,其中信息的交互主要在两端,即客户端和Storm集群。
其中客户端的主要处理过程如下:
A1)建立指标的统计模型。
统计模型中的内容为:
a、模型名:该模型的唯一标识;
b、模型输入参数主要有两种:
一种为其他统计模型的输出参数,这种输入参数就需要和别的模型关联,因此这里设置依赖的模型名;
另一种是人为输入的参数,这些输入参数主要包括以下几点:
b1)名称:输入参数的名称;
b2)取值标识:该参数取值方式;
b3)内部标识:该参数在模型内部的名称;
b4)清洗类型:该参数取值的过滤和清洗方式;
c、模型输出参数:表示该模型计算后需要输出哪些参数;
d、计算列表,其中具体有:
d1)计算输出测点名:计算参数名称;
d2)计算类型:每种类型表示每种计算逻辑,计算逻辑的实现和集成;
d3)内容:根据不同的计算类型配置相应的统计公式;
d4)依赖参数:表示该参数计算时所依赖的其他参数。
上述统计模型根据类别可分为白箱模型和黑箱模型,其中白箱模型是将模型输入和输出的映射关系保存在配置文件中,在计算的时候先读取配置文件,然后执行统计公式,将结果输出;黑箱模型主要是引入的第三方计算模块,如上述白箱模型无法配置实现的模型、神经网络训练模型等。不管是白箱模型和黑箱模型,其内容都是一致的,在程序层面都要实现三个接口,即初始化、数据预处理(即对数据进行清洗过滤)和执行统计计算。
A2)选择设备关联的统计模型和统计时段,并将关联关系存入数据库。
A3)通过消息中间件,向Storm集群发送包含设备信息的统计请求消息报文;即客户端和Storm集群之间通过发布-订阅的方式进行统计请求消息报文交互。
统计请求消息报文中包含设备信息(一般为设备号)、计算的开始时间和结束时间、是否统计所有指标的标志。
A4)从数据库中查找Storm集群统计结果。
Storm集群包括Spout节点和若干Bolt节点,由于这是公知技术,这里不详细描述了,Storm集群的主要处理过程如下:
B1)通过消息中间件,Spout节点接收并分发客户端发送的包含设备信息的统计请求消息报文。
B2)Bolt节点解析统计请求消息报文。
B3)Bolt节点根据设备信息从数据库查找相应的关联关系;其中,关联关系为设备关联的统计模型和统计时段。
B4)Bolt节点根据统计模型和统计时段,进行指标统计并将结果存入数据库。
指标统计的过程为:将统计时段划分成若干个最小统计时段,从数据库中获取每个最小统计时段对应的统计模型输入参数,最后将统计模型获得的所有输出参数累加、求平均、求最大值和求最小值。
比如:需要对某一指标进行一星期的统计,若数据库中存在该指标1小时的统计公式,那么将一星期这个统计时段划分成168小时,从数据库中获取1小时对应的统计模型输入参数,最后将统计模型获得的所有输出参数累加、求平均、求最大值和求最小值等;若数据库中存在该指标1天的统计公式,那么将一星期这个统计时段划分成7天,从数据库中获取1天对应的统计模型输入参数,最后将统计模型获得的所有输出参数累加、求平均、求最大值和求最小值等。
综上,一种基于电力模型的统计方法的整体过程为:
步骤1,客户端建立指标的统计模型。
步骤2,客户端选择设备关联的统计模型和统计时段,并将关联关系存入数据库。
步骤3,客户端通过消息中间件,向Storm集群发送包含设备信息的统计请求消息报文。
步骤4,通过消息中间件,Storm集群的Spout节点接收并分发客户端发送的包含设备信息的统计请求消息报文。
步骤5,Storm集群的Bolt节点解析统计请求消息报文。
步骤6,Storm集群的Bolt节点根据设备信息从数据库查找相应的关联关系。
步骤7,Storm集群的Bolt节点根据统计模型和统计时段,进行指标统计并将结果存入数据库。
步骤8,客户端从数据库中查找Storm集群统计结果。
上述方法通过模型化手段,建立指标统计模型,模型可按需增加,不需要针对不同的指标单独开发程序,复用率高,扩展性强;本发明利用流式框架Storm,采用多机分布式并行计算,避免单机计算性能瓶颈,极大提高了统计计算效率,解决了统计时效低,耗时长的问题。
一种基于电力模型的统计系统,包括客户端和Storm集群。
客户端包括模型建立模块、关联模块、消息报文发送模块和结果查看模块。
模型建立模块:建立指标的统计模型。统计模型中包括模型名、模型输入参数、模型输出参数和计算列表,其中,计算列表中包括指标的统计公式。
关联模块:选择设备关联的统计模型和统计时段,并将关联关系存入数据库。
消息报文发送模块:通过消息中间件,向Storm集群发送包含设备信息的统计请求消息报文。
结果查看模块:从数据库中查找Storm集群统计结果。
Storm集群包括Spout节点和若干Bolt节点。
Spout节点:通过消息中间件,Spout节点接收并分发客户端发送的包含设备信息的统计请求消息报文。
Bolt节点包括解析模块、查找模块和统计模块。
解析模块:解析统计请求消息报文。
查找模块:根据设备信息从数据库查找相应的关联关系;其中,关联关系为设备关联的统计模型和统计时段。
统计模块:根据统计模型和统计时段,进行指标统计并将结果存入数据库。
统计模块的工作过程为:将统计时段划分成若干个最小统计时段,从数据库中获取每个最小统计时段对应的统计模型输入参数,最后将统计模型获得的所有输出参数累加、求平均、求最大值和求最小值。
接收到多个设备的统计请求消息报文时,每个Bolt节点对一个设备进行指标统计。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。

Claims (9)

1.一种基于电力模型的统计方法,其特征在于:包括,
建立指标的统计模型;
选择设备关联的统计模型和统计时段,并将关联关系存入数据库;
通过消息中间件,向Storm集群发送包含设备信息的统计请求消息报文;
从数据库中查找Storm集群统计结果。
2.根据权利要求1所述的一种基于电力模型的统计方法,其特征在于:统计模型中包括模型名、模型输入参数、模型输出参数和计算列表,其中,计算列表中包括指标的统计公式。
3.一种基于电力模型的统计方法,其特征在于:包括,
通过消息中间件,Spout节点接收并分发客户端发送的包含设备信息的统计请求消息报文;
Bolt节点解析统计请求消息报文;
Bolt节点根据设备信息从数据库查找相应的关联关系;其中,关联关系为设备关联的统计模型和统计时段;
Bolt节点根据统计模型和统计时段,进行指标统计并将结果存入数据库。
4.根据权利要求3所述的一种基于电力模型的统计方法,其特征在于:统计模型中包括模型名、模型输入参数、模型输出参数和计算列表,其中,计算列表中包括指标的统计公式。
5.根据权利要求4所述的一种基于电力模型的统计方法,其特征在于:指标统计的过程为,
将统计时段划分成若干个最小统计时段,从数据库中获取每个最小统计时段对应的统计模型输入参数,最后将统计模型获得的所有输出参数累加、求平均、求最大值和求最小值。
6.一种基于电力模型的统计系统,其特征在于:包括客户端和Storm集群;
客户端包括模型建立模块、关联模块、消息报文发送模块和结果查看模块;
模型建立模块:建立指标的统计模型;
关联模块:选择设备关联的统计模型和统计时段,并将关联关系存入数据库;
消息报文发送模块:通过消息中间件,向Storm集群发送包含设备信息的统计请求消息报文;
结果查看模块:从数据库中查找Storm集群统计结果;
Storm集群包括Spout节点和若干Bolt节点;
Spout节点:通过消息中间件,Spout节点接收并分发客户端发送的包含设备信息的统计请求消息报文;
Bolt节点包括解析模块、查找模块和统计模块;
解析模块:解析统计请求消息报文;
查找模块:根据设备信息从数据库查找相应的关联关系;其中,关联关系为设备关联的统计模型和统计时段;
统计模块:根据统计模型和统计时段,进行指标统计并将结果存入数据库。
7.根据权利要求6所述的一种基于电力模型的统计系统,其特征在于:统计模型中包括模型名、模型输入参数、模型输出参数和计算列表,其中,计算列表中包括指标的统计公式。
8.根据权利要求6所述的一种基于电力模型的统计系统,其特征在于:统计模块的工作过程为,将统计时段划分成若干个最小统计时段,从数据库中获取每个最小统计时段对应的统计模型输入参数,最后将统计模型获得的所有输出参数累加、求平均、求最大值和求最小值。
9.根据权利要求6所述的一种基于电力模型的统计系统,其特征在于:接收到多个设备的统计请求消息报文时,每个Bolt节点对一个设备进行指标统计。
CN201910139562.7A 2019-02-26 2019-02-26 一种基于电力模型的统计方法及系统 Pending CN109978334A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910139562.7A CN109978334A (zh) 2019-02-26 2019-02-26 一种基于电力模型的统计方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910139562.7A CN109978334A (zh) 2019-02-26 2019-02-26 一种基于电力模型的统计方法及系统

Publications (1)

Publication Number Publication Date
CN109978334A true CN109978334A (zh) 2019-07-05

Family

ID=67077383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910139562.7A Pending CN109978334A (zh) 2019-02-26 2019-02-26 一种基于电力模型的统计方法及系统

Country Status (1)

Country Link
CN (1) CN109978334A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110390475A (zh) * 2019-07-10 2019-10-29 国电南京自动化股份有限公司 一种基于集团大数据的预警与决策支持方法
CN110503384A (zh) * 2019-07-12 2019-11-26 广州穗能通综合能源有限责任公司 电力指标的生成方法、装置、计算机设备和存储介质
CN112016832A (zh) * 2020-08-28 2020-12-01 南京华盾电力信息安全测评有限公司 一种电厂数据处理方法、系统及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104378239A (zh) * 2014-11-26 2015-02-25 国家电网公司 基于集群框架的快速可靠性指标统计系统及方法
CN105808537A (zh) * 2014-12-29 2016-07-27 Tcl集团股份有限公司 一种基于Storm的实时推荐方法及系统
CN106874426A (zh) * 2017-01-23 2017-06-20 福州大学 基于Storm的RDF流式数据关键词实时搜索方法
CN107103064A (zh) * 2017-04-17 2017-08-29 北京五八信息技术有限公司 数据统计方法及装置
CN107391672A (zh) * 2017-07-21 2017-11-24 中国联合网络通信集团有限公司 数据的读写方法及消息化的分布式文件系统
CN109327509A (zh) * 2018-09-11 2019-02-12 武汉魅瞳科技有限公司 一种主/从架构的低耦合的分布式流式计算框架

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104378239A (zh) * 2014-11-26 2015-02-25 国家电网公司 基于集群框架的快速可靠性指标统计系统及方法
CN105808537A (zh) * 2014-12-29 2016-07-27 Tcl集团股份有限公司 一种基于Storm的实时推荐方法及系统
CN106874426A (zh) * 2017-01-23 2017-06-20 福州大学 基于Storm的RDF流式数据关键词实时搜索方法
CN107103064A (zh) * 2017-04-17 2017-08-29 北京五八信息技术有限公司 数据统计方法及装置
CN107391672A (zh) * 2017-07-21 2017-11-24 中国联合网络通信集团有限公司 数据的读写方法及消息化的分布式文件系统
CN109327509A (zh) * 2018-09-11 2019-02-12 武汉魅瞳科技有限公司 一种主/从架构的低耦合的分布式流式计算框架

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110390475A (zh) * 2019-07-10 2019-10-29 国电南京自动化股份有限公司 一种基于集团大数据的预警与决策支持方法
CN110503384A (zh) * 2019-07-12 2019-11-26 广州穗能通综合能源有限责任公司 电力指标的生成方法、装置、计算机设备和存储介质
CN110503384B (zh) * 2019-07-12 2021-09-28 广州穗能通能源科技有限责任公司 电力指标的生成方法、装置、计算机设备和存储介质
CN112016832A (zh) * 2020-08-28 2020-12-01 南京华盾电力信息安全测评有限公司 一种电厂数据处理方法、系统及存储介质

Similar Documents

Publication Publication Date Title
CN100518079C (zh) 分布式性能数据采集方法
Lin et al. Efficient fault-tolerant routing in IoT wireless sensor networks based on bipartite-flow graph modeling
CN109978334A (zh) 一种基于电力模型的统计方法及系统
Harb et al. K-means based clustering approach for data aggregation in periodic sensor networks
WO2020073301A1 (en) Systems and methods for monitoring a blockchain-based energy grid
DK2633600T3 (en) METHOD OF SHORT-CYCLE DATA REGISTRATION, ENERGY MONITORING AND SMART METERING / SMART GRID NETWORK MANAGEMENT USING A DISTRIBUTED, INTELLIGENT MIDDLEWARE
CN102546220B (zh) 一种基于业务特征的关键质量指标构成方法
CN107330056A (zh) 基于大数据云计算平台的风电场scada系统及其运行方法
CN112149967B (zh) 基于复杂系统理论的电力通信网脆弱性评估方法和系统
WO2019196427A1 (zh) 基于支撑故障事件约束机组组合的备用优化方法和装置
Liang et al. Relaxed alternating direction method of multipliers for hedging communication packet loss in integrated electrical and heating system
CN106296315A (zh) 基于用户用电数据的情境感知系统
CN108446842B (zh) 一种电力营配风控管理方法和系统
CN107454009B (zh) 面向数据中心的离线场景低带宽开销流量调度方案
CN113326148A (zh) 一种基于微服务的数据交互系统
CN102256226A (zh) 维护保养信息处理方法和系统
CN112482488B (zh) 一种城市错峰供水方法及系统
CN103337040A (zh) 一种计及风电波动性的风电发电计划编制系统及编制方法
CN113344733A (zh) 一种电气互联综合能源系统优化规划方法及系统
van Rooij et al. echidna: Continuous data validation in advanced metering infrastructures
CN114638418B (zh) 基于双层gert网络的核电建造协同质保价值链优化方法
US8842563B1 (en) Communication and processing for power line communication systems
CN116226293A (zh) 一种电力客户画像生成管理的方法及系统
CN116910144A (zh) 算力网络资源中心、算力服务系统以及数据处理方法
CN108989475A (zh) 基于区块链的分布式存储传输架构

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190705