CN104239413B - 一种电网数据在线分析处理方法 - Google Patents
一种电网数据在线分析处理方法 Download PDFInfo
- Publication number
- CN104239413B CN104239413B CN201410402094.5A CN201410402094A CN104239413B CN 104239413 B CN104239413 B CN 104239413B CN 201410402094 A CN201410402094 A CN 201410402094A CN 104239413 B CN104239413 B CN 104239413B
- Authority
- CN
- China
- Prior art keywords
- data
- electricity
- electric network
- purchase
- network data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 230000005611 electricity Effects 0.000 claims abstract description 57
- 238000004364 calculation method Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000013500 data storage Methods 0.000 claims abstract description 6
- 238000005065 mining Methods 0.000 claims description 7
- 238000012544 monitoring process Methods 0.000 abstract description 10
- 241001269238 Data Species 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
- G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
- G06F16/183—Provision of network file services by network file servers, e.g. by using NFS, CIFS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/219—Managing data history or versioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
- G06F16/24578—Query processing with adaptation to user needs using ranking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Probability & Statistics with Applications (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Public Health (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种电网数据在线分析处理方法,包括如下步骤:步骤一,电网数据采集步骤;步骤二,数据预处理步骤;将采集到的电网数据进行预处理;步骤三,文件生成步骤;将数据预处理后汇总,生成.TXT文本文件;步骤四,数据在线计算步骤;将数据在组态计算平台中进行在线计算;步骤五,数据存储及显示步骤。本发明利用计量关口实时数据(电量、负荷)、最新电价数据、综合线损率等信息,对数据进行实时在线的分析处理,实现了包括售电收入、购电支出、差额收入、购电量、售电量、购电均价、售电均价、购售价差等的在线计算和监测。
Description
技术领域
本发明涉及一种数据分析处理方法,尤其是涉及一种电网数据在线分析处理方法。
背景技术
购售电业务是电网公司的核心主营业务,是电网企业的主要收入来源。现在电网是在线的,而购售电核心业务,即电量、电价、电费数据,不能实现这些数据的在线分析处理,无法在线利用计量关口实时数据(电量、负荷)、最新电价数据、综合线损率等信息,实现包括售电收入、购电支出、差额收入、购电量、售电量、购电均价、售电均价、购售价差等的在线计算和监测。因此,不能实时监测购售电业务的开展情况,无法及时掌握公司购售电市场变化情况,提前发现购售电管理异动情况,将为公司购电管理、售电市场开拓、盈利能力判断和经营决策调整提供更好、更快、更准确的供宏观决策的依据。
发明内容
有鉴于此,本发明的目的在于提供一种电网数据在线分析处理方法,解决了现有技术中的问题,利用计量关口实时数据(电量、负荷)、最新电价数据、综合线损率等信息,对数据进行实时在线的分析处理,实现了包括售电收入、购电支出、差额收入、购电量、售电量、购电均价、售电均价、购售价差等的在线计算和监测。
为达到上述目的,本发明采用以下技术方案:
一种电网数据在线分析处理方法,其中,包括如下步骤:
步骤一,电网数据采集步骤;
步骤二,数据预处理步骤;将采集到的电网数据进行预处理;
步骤三,文件生成步骤;将数据预处理后汇总,生成.TXT文本文件;
步骤四,数据在线计算步骤;将数据在组态计算平台中进行在线计算;
步骤五,数据存储及显示步骤。
作为优选,所述电网数据采集步骤,包括采集电价、电量、电费数据。
作为优选,所述数据预处理步骤,包括如下步骤:
步骤21,启动定时任务,进行电网数据补采处理;
步骤22,检测是否正在处理,如是,进行实时处理;如否,检测是否有历史数据处理,如否,进行实时处理,如是,进行步骤24;
步骤23,进行实时处理,检测是否有最新数据,如否,结束;如是,进行步骤24;
步骤24,进入待生成文本文件的时间队列,在文件服务器中生成.TXT文本文件。
作为优选,所述数据存储在数据库中。
本发明的有益效果是:
本发明围绕电价、电量、电费三大指标进行在线计算分析,利用计量关口实时数据(电量、负荷)、最新电价数据、综合线损率等信息,对数据进行实时在线的分析处理,实现了包括售电收入、购电支出、差额收入、购电量、售电量、购电均价、售电均价、购售价差等的在线计算和监测。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述,并且在某种程度上,基于对下文的考察研究对本领域技术人员而言将是显而易见的,或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书或者附图中所特别指出的结构来实现和获得。
附图说明
图1为本发明的方法流程图;
图2为本发明数据预处理步骤的流程图。
具体实施方式
下面结合附图和实施例对本发明作进一步描述。
如图1所示,本发明包括如下步骤:
步骤一,电网数据采集步骤;电网数据采集步骤,包括采集电价、电量、电费数据。
步骤二,数据预处理步骤;将采集到的电网数据进行预处理;所述数据预处理步骤,包括如下步骤:
步骤21,启动定时任务,进行电网数据补采处理;
步骤22,检测是否正在处理,如是,进行实时处理;如否,检测是否有历史数据处理,如否,进行实时处理,如是,进行步骤24;
步骤23,进行实时处理,检测是否有最新数据,如否,结束;如是,进行步骤24;
步骤24,进入待生成文本文件的时间队列,在文件服务器中生成.TXT文本文件。
步骤三,文件生成步骤;将数据预处理后汇总,生成.TXT文本文件;
步骤四,数据在线计算步骤;将数据在组态计算平台中进行在线计算;
步骤五,数据存储及显示步骤,数据存储在数据库中,同时数据可在Web/应用服务器上显示。
本发明围绕电价、电量、电费三大指标进行在线计算分析。电价数据从财务部的财务管控系统接入,其中包括统调、非统调电厂的购电价、地市累计购电均价、地市累计售电均价、地市公司月度购电量、累计购电量,以及各统调电厂、非统调电厂、地市公司月度量价费数据。电量关口数据存储于TMR系统中,由TMR系统推送数据至OMS系统,而后推送至数据中心。最后由数据中心按照规定要求推至系统数据库,进行关口数据预处理步骤。电量数据主要分为购电侧、供电侧、售电侧三大方向进行采集,其中购电侧包括统调电厂购电量、非统调电厂购电量、规范电量、跨省、跨区外购电量等数据。
TMR系统对关口电表数据进行招采,在招采过程中,有部分关口电量数据可能因为滞后或者通信阻塞等原因未能招采成功,导致数据库中关口数据为空,或者为零。TMR系统在下次招采数据时,会继续对这些关口进行数据采集,但是在这之前的上一批数据可能已经OMS传送至数据中心,因此,在数据中心中,近期(3小时左右)来自TMR的电量数据质量较差,而3小时前的关口电量数据质量有明显提高。因此,数据中心向系统数据库推送信息的规则暂定为:
最快推送N-3小时前的关口数据;
每天重新推送N-3天前关口数据;
每月月中重新推送补采后的N-1月关口数据;
电量数据频率为五分钟。
在存储方面采用Oracle关系型数据库作为后台数据库。采用分表存储的方式,划分五分钟原始数据表、小时统计表、日统计表等等。对于数据量较大的表(如五分钟原始数据表),使用表分区技术,以时间为单位进行分区存放。
数据预处理步骤主要功能是接收数据中心推送的五分钟数据(含补采和补推),并对数据的有效性进行检验,将处理结果以结构化文件格式传送至文件服务器,以供在线计算服务调用。数据预处理步骤接收数据中心推送的五分钟数据(N-3小时、N-3天、N-1月),收集并推送售地市公司电价、各地市线损、上网机组电价等模型中需要的数据资源。
数据预处理步骤收集并汇总相关数据内容后,将结果推送至文件服务器(FTP)相应文件夹中,以TXT文本文件的形式,文件命名规范为“年_月_日_时_分_秒.txt”,如“2014_01_01_09_05_00.txt”;内容格式采用E格式。
本发明中的实时计算模型为购售电费、电量、电价等指标的计算公式。随着电网的发展,关口表等设备的不断变更,实时计算模型也会随之进行调整。因此,为了强加计算过程监控,降低维护成本,本发明采用在线组态计算平台,实现计算模型的可视化设计、运算监控、过程仿真以及在线模型维护等功能。在线组态计算平台主要包括两大部分,在线计算部分和统计计算部分。
同时,组态计算平台提供了大量的数学、统计、逻辑运算算子,以及模型发布、过程监控注册等其它功能。通过模型发布功能可以将修改后的计算模型传送给在线计算服务(计算后台),新版本的计算模型即时生效。
将计算模型组态化后,不仅给运营监控中心分析人员提供了可视化的管理工具,快速定位指标模型,而且能够让运营监控分析人员对指标模型进行修改,大大降低专业人员的准入门槛。
在线计算部分主要处理五分钟数据(包括各类补采数据)。通过接收预处理服务的数据文件,载入组态工具绘制的模型进行计算,并将五分钟结果数据写入数据库(t_rpt_5mins)。
在线计算部分分为三个计算进程,分别计算N-3小时、N-1天和N-1月数据。尽管分别从预处理数据中转目录中获取关口五分钟电量信息进行计算,但是三个计算进程的任务均是计算某一段的五分钟指标数据,完成在线计算后,将结果数据存储在同一个数据表中(t_rpt_5mins,陆续覆盖)。
统计计算部分负责处理系统中繁复的统计计算过程,主要是对各地市、全省的日、周、旬、月、季、年等各类指标进行统计计算。在计算过程中,用到的指标量应为原始指标量,不能使用计算结果量进行直接平均或求和。下面用购电均价为例子进行详细解释。
购电均价=购电支出/购电量。
日购电均价(日)=日购电总支出/日购电总量=该天每小时的购电支出总和/该天每小时的购电量之和。
日购电均价不能简单的由小时购电均价平均求得。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,本领域普通技术人员对本发明的技术方案所做的其他修改或者等同替换,只要不脱离本发明技术方案的精神和范围,均应涵盖在本发明的权利要求范围当中。
Claims (2)
1.一种电网数据在线分析处理方法,其特征在于:包括如下步骤:
步骤一,电网数据采集步骤,包括采集电价、电量、电费数据,电价数据从财务部的财务管控系统接入,电量关口数据存储于TMR系统中,由TMR系统推送数据至OMS系统,而后推送至数据中心;
步骤二,数据预处理步骤,将采集到的电网数据进行预处理,包括如下步骤:
步骤21,启动定时任务,进行电网数据补采处理,其中,数据中心向系统数据库推送信息的规则为:最快推送N-3小时前的关口数据;每天重新推送N-3天前关口数据;每月月中重新推送补采后的N-1月关口数据;电量数据频率为五分钟;
步骤22,检测是否正在处理,如是,进行实时处理;如否,检测是否有历史数据处理,如否,进行实时处理,如是,进行步骤24;
步骤23,进行实时处理,检测是否有最新数据,如否,结束;如是,进行步骤24;
步骤24,进入待生成文本文件的时间队列,在文件服务器中生成.TXT文本文件;
步骤三,文件生成步骤;将数据预处理后汇总,生成.TXT文本文件;
步骤四,数据在线计算步骤;将数据在组态计算平台中进行在线计算;
步骤五,数据存储及显示步骤。
2.根据权利要求1所述的一种电网数据在线分析处理方法,其特征在于:所述数据存储在数据库中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410402094.5A CN104239413B (zh) | 2014-08-15 | 2014-08-15 | 一种电网数据在线分析处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410402094.5A CN104239413B (zh) | 2014-08-15 | 2014-08-15 | 一种电网数据在线分析处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104239413A CN104239413A (zh) | 2014-12-24 |
CN104239413B true CN104239413B (zh) | 2018-04-27 |
Family
ID=52227473
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410402094.5A Expired - Fee Related CN104239413B (zh) | 2014-08-15 | 2014-08-15 | 一种电网数据在线分析处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104239413B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104537441B (zh) * | 2014-12-29 | 2017-10-27 | 国家电网公司 | 基于电力gis的辅助电网储备容量管理系统 |
CN105243473A (zh) * | 2015-09-24 | 2016-01-13 | 南京华盾电力信息安全测评有限公司 | 一种基于bi分析的电力市场营销决策系统数据的展示方法 |
CN109359950B (zh) * | 2018-10-31 | 2021-07-02 | 国网河南省电力公司濮阳供电公司 | 一种电网监控信息全过程管控的方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103023149A (zh) * | 2012-12-12 | 2013-04-03 | 天津市电力公司 | 一种基于iec61850标准的智能配电终端及智能配电系统 |
CN103150600A (zh) * | 2013-03-27 | 2013-06-12 | 平阳电力有限责任公司 | 一种电网安全分析系统 |
-
2014
- 2014-08-15 CN CN201410402094.5A patent/CN104239413B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103023149A (zh) * | 2012-12-12 | 2013-04-03 | 天津市电力公司 | 一种基于iec61850标准的智能配电终端及智能配电系统 |
CN103150600A (zh) * | 2013-03-27 | 2013-06-12 | 平阳电力有限责任公司 | 一种电网安全分析系统 |
Also Published As
Publication number | Publication date |
---|---|
CN104239413A (zh) | 2014-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112241924B (zh) | 一种智慧燃气系统 | |
CN103679373B (zh) | 生产基建标准成本体系的全链条预算数据处理系统及方法 | |
CN103699966B (zh) | 基于用户需求的多维度、全过程数据管控系统及管控方法 | |
CN107292722A (zh) | 一种生成对账单的方法及装置 | |
CN105335814A (zh) | 在线大数据智能云审计方法及系统 | |
CN106203773A (zh) | 一种自动管理员工的方法及装置 | |
CN106970953B (zh) | 基于大数据分析的网络建设管控方法及其平台 | |
CN108009932A (zh) | 一种基于大数据分析的智能长期护理服务平台 | |
CN102117469A (zh) | 一种对信用风险进行评估的系统和方法 | |
CN104239413B (zh) | 一种电网数据在线分析处理方法 | |
CN110555758A (zh) | 一种企业财税智能管理系统 | |
CN114091960A (zh) | 业务智能派单匹配方法、装置、服务器及存储介质 | |
CN110110950A (zh) | 生成配送路区的方法、装置及计算机可读存储介质 | |
CN113420902A (zh) | 件量预测模型训练方法、件量预测方法及相关设备 | |
US20160267250A1 (en) | Method and System for Managing and Tracking Medical and Legalized Marijuana | |
Koniagina | Forecast of budget revenues from taxes in the context of economy digitalization | |
CN106355489A (zh) | 一种面向管理的数据中心系统及数据处理方法 | |
CN103973902A (zh) | 一种用户感知业务质量的量化装置、监测系统和方法 | |
CN112308467A (zh) | 一种基于大数据的工程项目风险评估系统 | |
Greenleaf et al. | A mathematical programming approach to elementary school facility decisions | |
CN110489394A (zh) | 中间数据处理方法及设备 | |
CN115271514A (zh) | 通讯企业的监控方法、装置、电子设备及存储介质 | |
CN115239309A (zh) | 内部市场化结算方法、装置和内部市场化结算平台 | |
CN107172389A (zh) | 一种仪表类数据采集分析管理系统 | |
CN114298847A (zh) | 职工医保基金结余的预测方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180427 Termination date: 20180815 |