CN109560613A - 一种调度电能量数据质量在线研判系统及其研判方法 - Google Patents
一种调度电能量数据质量在线研判系统及其研判方法 Download PDFInfo
- Publication number
- CN109560613A CN109560613A CN201811511525.6A CN201811511525A CN109560613A CN 109560613 A CN109560613 A CN 109560613A CN 201811511525 A CN201811511525 A CN 201811511525A CN 109560613 A CN109560613 A CN 109560613A
- Authority
- CN
- China
- Prior art keywords
- data
- electric energy
- event
- module
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 13
- 230000005611 electricity Effects 0.000 claims abstract description 19
- 238000004891 communication Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims description 30
- 230000003993 interaction Effects 0.000 claims description 26
- 238000007726 management method Methods 0.000 claims description 24
- 238000013523 data management Methods 0.000 claims description 12
- 230000002452 interceptive effect Effects 0.000 claims description 12
- 230000010354 integration Effects 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000012217 deletion Methods 0.000 claims 1
- 230000037430 deletion Effects 0.000 claims 1
- 230000010365 information processing Effects 0.000 claims 1
- 230000001360 synchronised effect Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 11
- 238000010276 construction Methods 0.000 description 6
- 238000007405 data analysis Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- H02J13/0062—
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本发明公开了一种调度电能量数据质量在线研判系统及其研判方法,以部署在本系统中的通讯接口服务模块为核心,以星形结构将省调电能量计量系统和各地市电能量计量系统组成数据交互网络。要求省调及各地市电能量计量系统的模型及数据信息在发生变化时,能够将数据变化的事件信息准确、及时地同步到数据平台,确保数据平台与省调及各地市电能量计量系统模型及数据的一致。实现将全省模型编码统一、电量数据汇总、保证数据唯一性;实现同期线损及其它业务部门对电能量计量的数据要求。
Description
技术领域
本发明属于电网数据分析领域,更准确的来说是一种调度电能量数据质量在线研判系统及其研判方法。
背景技术
为满足国网公司对电能量计量采集系统“全覆盖、全采集”要求,构建完善的电能信息数据平台,实现全省各个地市供电公司的电能量各级关口采集全覆盖。在建设过程中注重继承与发展相结合、实用性与前瞻性相结合,综合考虑调及各个地调实际情况,有效整合、充分利用现有资源,降低建设成本、减少建设风险;在省公司统筹安排下采用数据整合方式将全省电能量计量系统数据统一纳入调度系统平台进行管理,力求系统建设与应用取得实效。项目建设全省电能量计量系统数据整合平台,以满足全省管辖范围内自500kV至35kV的电量数据汇总需求,要求实现省电能量计量系统模型统一、数据统一的功能。
项目内容包括系统功能需求分析、系统结构设计及软件实施、配置、设计联络会、各项技术文件、测试验收、系统培训、项目管理和其它项目内容。
发明内容
本发明的目的是提供一种调度电能量数据质量在线研判系统及其研判方法,建设电能量计量数据整合平台,以满足省管辖范围内自500kV至35kV的电量数据汇总需求。要求实现全省电能量计量系统模型统一、数据统一的功能。
本发明所采用的技术方案为:一种调度电能量数据质量在线研判系统,以省局信息服务总线为服务提供者,省调电量系统与各地市电量系统作为服务调用者,包括数据接口层和系统管理层;
所述数据接口层包括模型查询接口、数据查询接口和事件通知接口;
所述系统管理层包括通讯接口服务模块、事件通知服务模块、模型管理模块和数据管理模块;所述通讯接口服务模块调用数据接口层实现数据交互;
所述通讯接口服务模块,以服务总线为基础,以星形结构将省调电能量计量系统和各地市电能量计量系统组成数据交互网络;
所述模型管理模块与模型查询接口组成模型交互单元,实现系统与省调及各地市电能量计量系统进行模型参数的交互;
所述数据管理模块与数据查询接口组成数据交互单元,实现系统与省调及各地市电能量计量系统进行电量数据的交互;
所述事件通知服务模块与事件通知接口组成信息同步单元,实现系统与省调及各地市电能量计量系统的信息同步;所述事件通知服务模块接收来自事件通知接口的变化信息后,将该变化信息通知模型管理模块和数据管理模块。
进一步的,本发明所述模型交互单元,以CIM模型对象作为模型交互单元的数据结构,对省调及各地市电能量计量系统内模型及参数的统一编码,将省调及各地市电能量计量系统中的电网模型及计量参数信息进行数据整合,进行各电能量计量系统的模型拼接。
进一步的,本发明所述数据管理模块包括实时数据处理模块、数据分发模块和MYSQL数据库,所述数据分发模块采用Kafka分布式消息队列机制将来自信息服务总线的数据均匀分发到相应的消息队列,所述实时数据处理模块读取来自消息队列中的数据后,向MYSQL数据库写入,供用户进行数据查询。
进一步的,本发明所述实时数据处理模块的内部采用Redis作为主存储,且实时数据处理模块提供数据查询结果,当用户查询数据时,所述实时数据处理模块首先在Redis中进行查询,若在Redis中查询不到,则到MYSQL数据库中查询并返回结果。
进一步的,本发明所述信息同步单元还包括事件捕捉器,所述事件捕捉器用于检查数据表,完成事件信息捕捉,该事件捕捉器调用事件通知接口,将事件信息通过信息服务总线传递给事件通知服务模块;该事件通知服务模块通过服务总线返回处理结果给事件通知接口,所述事件捕捉器根据返回结果做出判断,若返回成功则从数据库中删除该事件记录;否则,重新发送该事件信息。
本发明还公开了一种基于上述研判系统的研判方法,包括以下步骤:
S1:以动态事件方式,由各电能量计量系统向所述研判系统主动发送数据;
S2:事件捕捉器检查数据表,捕捉事件信息;
S3:事件捕捉器调用事件通知接口,将事件信息发往服务总线;
S4:服务总线将事件信息传递给事件通知服务模块;
S5:事件通知服务模块根据事件信息的类型调用模型管理模块或数据管理模块,并返回处理结果给服务总线;
S6:服务总线将处理结果传递给事件通知接口;
S7:事件通知接口将返回结果传递给事件捕捉器;
S8:事件捕捉器根据返回结果做出判断,若返回值为0表示成功,则从数据库中删除该事件记录;否则,重新发送该事件信息。
7、根据权利要求6所述的研判方法,其特征在于:所述模型管理模块,以CIM模型对象作为数据结构,对省调及各地市电能量计量系统内模型及参数的统一编码,实现各电能量计量系统的模型拼接。
进一步的,本发明所述数据管理模块包括实时数据处理模块、数据分发模块和MYSQL数据库,所述数据分发模块采用Kafka分布式消息队列机制将来自信息服务总线的数据均匀分发到相应的消息队列,所述实时数据处理模块读取来自消息队列中的数据后,向MYSQL数据库写入,供用户进行数据查询。
进一步的,本发明所述实时数据处理模块的内部采用Redis作为主存储,且实时数据处理模块提供数据查询结果,当用户查询数据时,所述实时数据处理模块首先在Redis中进行查询,若在Redis中查询不到,则到MYSQL数据库中查询并返回结果。
省局以部署在本系统中的通讯接口服务模块为核心,以星形结构将省调电能量计量系统和各地市电能量计量系统组成数据交互网络。要求省调及各地市电能量计量系统的模型及数据信息在发生变化时,能够将数据变化的事件信息准确、及时地同步到数据平台,确保数据平台与省调及各地市电能量计量系统模型及数据的一致。实现将全省模型编码统一、电量数据汇总、保证数据唯一性;实现同期线损及其它业务部门对电能量计量的数据要求。
有益效果:本发明与现有技术相比,本发明提供一种调度电能量数据质量在线研判系统,基于省地两级电能量计量系统的电量数据整合平台实现与全省电能量计量主站的模型交互、数据交互及事件交互,进而达到全省模型的统一编码和电量数据的有效整合。经过模型、电量数据治理工作实现了计量模型的拼接和数据的汇总功能。并通过电量整合平台根据国网公司统一要求向线损系统提供数据。目前本发明实现的各项功能运行稳定,用户体验良好,具有很好的可移植性。
附图说明
图1是电能量数据质量在线研判总体架构图;
图2是数据交互架构图;
图3是通讯模块结构图;
图4是模型同步结构图;
图5是数据同步结构图;
图6是事件同步逻辑图。
具体实施方式
下面结合附图和实施例进一步阐述本发明。
本发明的一种调度电能量数据质量在线研判系统,包括数据交互、数据分析和用户权限管理。
其中,数据交互以星形结构将省调电能量计量系统和各地市电能量计量系统组成数据交互网络,利用企业服务总线使系统互联,采用SOA架构实现,分为服务器和客户端两部分组成。基于WebService技术实现信息的通讯与交互,包括电网模型交互、电量数据交互及事件数据交互。
数据分析采用Kafka分布式消息队列机制,实现负载均衡。使用了Redis作为主存储支持,提高访问效率高,并将访问到的数据做漏点、补点、异常、零数据及电量比对等数据质量分析,提高数据的可用性与正确性。
用户权限管理为数据平台与省调及各地市电能量计量系统设定各自的访问用户,用户名称和密码由数据平台管理员统一管理。提供用户管理界面,使用后台管理的方式对各项查询和模型查询及修改功能,进行权限操作。本发明的系统总体架构如图1所示,包括省调TMR系统和地市TMR系统部署客户端模型查询接口、数据查询接口和事件通知接口等数据接口,本系统的通讯接口服务模块通过企业服务总线调用模型查询接口和数据查询接口实现数据交互,同时TMR系统将事件变化消息推送给事件通知服务模块,由事件通知服务模块将事件变化消息通知模型管理及数据管理模块。
图2为数据分析架构图。
数据分析采用Kafka分布式消息队列机制,首先对消息总线的测点ID哈希,将测点数据均匀地分发到相应的消息队列,实现负载均衡。当消息队列中的数据量到达设定的时间后,它将向实时数据处理模块发布。实时数据处理模块读取数据后,向MYSQL写入实现持久化,并提供数据实时查询功能。实时数据处理模块向用户提供数据查询接口,在内部使用了Redis。Redis是一个Key-Value存储系统,它使用内存作为主存储支持,访问效率高。当用户查询数据时,实时数据查询模块首先在Redis中进行查询,如果在Redis中查不到,再到MYSQL中查询并返回结果。
图3为通信模块结构图。
通讯接口是数据整合方案的核心业务。通讯接口以企业服务总线为基础,使用WebService方式进行数据交互。通讯接口采用总线方式,以部署在省局电量一体化数据整合平台中的通讯接口服务为核心,以星形结构将省调电能量计量系统和各地市电能量计量系统组成数据交互网络。省局信息服务总线为服务提供者,省调电量系统与各地市电量系统作为客户端即服务调用者。
由通讯接口的服务端与客户端组成的通讯模块组合主要分为三个逻辑单元:
模型交互单元,由模型管理模块与模型查询接口组成,主要负责数据平台与省调及各地市电能量计量系统进行模型参数的交互。
数据交互单元,由数据管理模块与数据查询接口组成,主要负责数据平台与省调及各地市电能量计量系统进行电量数据的交互。
信息同步单元,由事件通知服务模块与事件通知接口组成,主要负责数据平台与省调及各地市电能量计量系统的信息同步。
图4为模型交互结构图。
数据交互通过对省调及各地市电能量计量系统内模型及参数的统一编码,实现数据对象的一体化管理功能,保证每一个信息对象在数据平台中只有唯一的一个关键字,解决各电能量计量系统差异化造成的对象冲突问题。
以IEC-61970规范中描述的CIM模型对象作为模型交互的数据结构,实现全省电能量计量系统的模型拼接功能。
首先实现电能量计量数据的统一管理,规范信息元素的定义,针对对象类型、关键字、命名规则等数据元素进行规范。使用12位编码的方式实现设备唯一性定义。即:四位行政区划码+四位对象类型码+四位系统关键字组成。必须保证在任意一个电能量计量系统中的任意一种数据类型下的四位系统关键字的唯一性。
然后实现省调及各地市电能量计量系统的模型拼接功能,将省调及各地市电能量计量系统中私有的电网模型及计量参数信息进行数据整合,保证全省电能量计量业务的电网模型和计量参数的统一。保证电网模型及计量参数的的完整性。保证省调及各地市电能量计量系统的模型参数动态无缝连接。
图5为数据同步结构图。
数据同步包括数据召测的任务调度以及召测数据的类型转化和输入存储功能。该业务系统是数据整合的核心,为电量一体化数据整合平台提供全省关口电能量计量数据。
首先实现数据平台的数据汇总服务。根据指定的时间间隔,通过数据交互接口,对省调及各地市电能量计量系统的电量数据进行召测。
其次将召测到的电能量数据转换为数据库结构,以分厂站的方式存储在电量一体化数据整合平台中,以保证大数据量存储的检索效率。
图6为事件同步逻辑图。
事件交互主要提供了数据平台与省调及各地市电能量计量系统的数据同步服务。以动态事件方式,由数据平台客户端即电能量计量系统向数据平台主动发送数据。主要包括以下几点:
1、事件捕捉器检查数据表,捕捉事件信息。
2、事件捕捉器调用事件通知接口,将事件信息发往服务总线。
3、服务总线将事件信息传递给事件通知服务模块。
4、事件通知服务模块根据事件信息的类型调用相应的模型管理模块或数据管理模块,并返回处理结果给服务总线。
5、服务总线将处理结果传递给事件通知接口。
6、事件通知接口将返回结果传递给事件捕捉器。
7、事件捕捉器根据返回结果作出判断,如果返回成功则从数据库中删除该事件记录;否则,重新发送该事件信息。
Claims (9)
1.一种调度电能量数据质量在线研判系统,以省局信息服务总线为服务提供者,省调电量系统与各地市电量系统作为服务调用者,其特征在于:包括数据接口层和系统管理层;
所述数据接口层包括模型查询接口、数据查询接口和事件通知接口;
所述系统管理层包括通讯接口服务模块、事件通知服务模块、模型管理模块和数据管理模块;所述通讯接口服务模块调用数据接口层实现数据交互;
所述通讯接口服务模块,以服务总线为基础,以星形结构将省调电能量计量系统和各地市电能量计量系统组成数据交互网络;
所述模型管理模块与模型查询接口组成模型交互单元,实现系统与省调及各地市电能量计量系统进行模型参数的交互;
所述数据管理模块与数据查询接口组成数据交互单元,实现系统与省调及各地市电能量计量系统进行电量数据的交互;
所述事件通知服务模块与事件通知接口组成信息同步单元,实现系统与省调及各地市电能量计量系统的信息同步;所述事件通知服务模块接收来自事件通知接口的变化信息后,将该变化信息通知模型管理模块和数据管理模块。
2.根据权利要求1所述的一种调度电能量数据质量在线研判系统,其特征在于:所述模型交互单元,以CIM模型对象作为模型交互单元的数据结构,对省调及各地市电能量计量系统内模型及参数的统一编码,将省调及各地市电能量计量系统中的电网模型及计量参数信息进行数据整合,进行各电能量计量系统的模型拼接。
3.根据权利要求1所述的一种调度电能量数据质量在线研判系统,其特征在于:所述数据管理模块包括实时数据处理模块、数据分发模块和MYSQL数据库,所述数据分发模块采用Kafka分布式消息队列机制将来自信息服务总线的数据均匀分发到相应的消息队列,所述实时数据处理模块读取来自消息队列中的数据后,向MYSQL数据库写入,供用户进行数据查询。
4.根据权利要求3所述的一种调度电能量数据质量在线研判系统,其特征在于:所述实时数据处理模块的内部采用Redis作为主存储,且实时数据处理模块提供数据查询结果,当用户查询数据时,所述实时数据处理模块首先在Redis中进行查询,若在Redis中查询不到,则到MYSQL数据库中查询并返回结果。
5.根据权利要求1所述的一种调度电能量数据质量在线研判系统,其特征在于:所述信息同步单元还包括事件捕捉器,所述事件捕捉器用于检查数据表,完成事件信息捕捉,该事件捕捉器调用事件通知接口,将事件信息通过信息服务总线传递给事件通知服务模块;该事件通知服务模块通过服务总线返回处理结果给事件通知接口,所述事件捕捉器根据返回结果做出判断,若返回成功则从数据库中删除该事件记录;否则,重新发送该事件信息。
6.基于权利要求1-5所述的研判系统的研判方法,其特征在于:包括以下步骤:
S1:以动态事件方式,由各电能量计量系统向所述研判系统主动发送数据;
S2:事件捕捉器检查数据表,捕捉事件信息;
S3:事件捕捉器调用事件通知接口,将事件信息发往服务总线;
S4:服务总线将事件信息传递给事件通知服务模块;
S5:事件通知服务模块根据事件信息的类型调用模型管理模块或数据管理模块,并返回处理结果给服务总线;
S6:服务总线将处理结果传递给事件通知接口;
S7:事件通知接口将返回结果传递给事件捕捉器;
S8:事件捕捉器根据返回结果做出判断,若返回值为0表示成功,则从数据库中删除该事件记录;否则,重新发送该事件信息。
7.根据权利要求6所述的研判方法,其特征在于:所述模型交互单元,以CIM模型对象作为模型交互单元的数据结构,对省调及各地市电能量计量系统内模型及参数的统一编码,将省调及各地市电能量计量系统中的电网模型及计量参数信息进行数据整合,进行各电能量计量系统的模型拼接。
8.根据权利要求6所述的研判方法,其特征在于:所述数据管理模块包括实时数据处理模块、数据分发模块和MYSQL数据库,所述数据分发模块采用Kafka分布式消息队列机制将来自信息服务总线的数据均匀分发到相应的消息队列,所述实时数据处理模块读取来自消息队列中的数据后,向MYSQL数据库写入,供用户进行数据查询。
9.根据权利要求8所述的研判方法,其特征在于:所述实时数据处理模块的内部采用Redis作为主存储,且实时数据处理模块提供数据查询结果,当用户查询数据时,所述实时数据处理模块首先在Redis中进行查询,若在Redis中查询不到,则到MYSQL数据库中查询并返回结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811511525.6A CN109560613A (zh) | 2018-12-11 | 2018-12-11 | 一种调度电能量数据质量在线研判系统及其研判方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811511525.6A CN109560613A (zh) | 2018-12-11 | 2018-12-11 | 一种调度电能量数据质量在线研判系统及其研判方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109560613A true CN109560613A (zh) | 2019-04-02 |
Family
ID=65869511
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811511525.6A Pending CN109560613A (zh) | 2018-12-11 | 2018-12-11 | 一种调度电能量数据质量在线研判系统及其研判方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109560613A (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101908176A (zh) * | 2010-08-02 | 2010-12-08 | 国电南瑞科技股份有限公司 | 一种基于电力信息数据建模及元数据管理应用方法 |
CN104463492A (zh) * | 2014-12-23 | 2015-03-25 | 国家电网公司 | 一种电力系统云仿真平台的运营管理方法 |
CN107609085A (zh) * | 2017-09-07 | 2018-01-19 | 国网辽宁省电力有限公司 | 一种基于大数据技术的智能电网量测数据处理方法及系统 |
-
2018
- 2018-12-11 CN CN201811511525.6A patent/CN109560613A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101908176A (zh) * | 2010-08-02 | 2010-12-08 | 国电南瑞科技股份有限公司 | 一种基于电力信息数据建模及元数据管理应用方法 |
CN104463492A (zh) * | 2014-12-23 | 2015-03-25 | 国家电网公司 | 一种电力系统云仿真平台的运营管理方法 |
CN107609085A (zh) * | 2017-09-07 | 2018-01-19 | 国网辽宁省电力有限公司 | 一种基于大数据技术的智能电网量测数据处理方法及系统 |
Non-Patent Citations (2)
Title |
---|
周宇 等: ""用电信息采集系统关口数据接入设计与实现"", 《江西电力》 * |
周振龙: ""用电信息采集系统的设计与实现"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109873873A (zh) | 一种航班数据发布系统、航班变更方法及消息处理方法 | |
CN103533023B (zh) | 基于云服务特征的云服务应用集群同步系统及同步方法 | |
CN109558450A (zh) | 一种基于分布式架构的汽车远程监控方法和装置 | |
CN104754045A (zh) | 数据中心服务与应用接口管理平台 | |
CN107888666A (zh) | 一种跨地域数据存储系统以及数据同步方法和装置 | |
CN104134113A (zh) | 基于云计算SaaS服务模式的信息化系统及集成方法 | |
CN108366109A (zh) | 一种气象数据数值预报云共享平台和数据共享方法 | |
CN107239885B (zh) | 一种面向供应商的电网工程数字化移交资源管理系统 | |
CN103607418B (zh) | 基于云服务数据特征的大规模数据分割系统及分割方法 | |
CN111475490A (zh) | 一种数据目录体系的数据管理系统和方法 | |
CN113806430A (zh) | 一种多功能数据管理平台 | |
CN103905521B (zh) | 一种用于网络服务的信息处理系统和方法 | |
CN104331776A (zh) | 一种电力数据应用管理平台 | |
CN106301893A (zh) | 用于基站管理维护的信息交互方法和系统 | |
CN109560613A (zh) | 一种调度电能量数据质量在线研判系统及其研判方法 | |
CN107147531B (zh) | Cdm集群网站管理系统 | |
CN109872128A (zh) | 可处理复杂关系的身份管理系统及方法 | |
Zhuoyi et al. | Research and development of the long distance coach management system based on ASP. net technology | |
CN114611861A (zh) | 一种企业资源信息化管理系统 | |
Pan et al. | An open sharing pattern design of massive power big data | |
CN115017185A (zh) | 一种数据处理方法、装置及存储介质 | |
Cao et al. | Dynamic pricing for resource consumption in cloud service | |
Shao et al. | Power Market Unified Model Technology Architecture Based on IEC 62325 | |
CN103401715B (zh) | 跨网络应急资源的管理方法和系统 | |
CN106991129B (zh) | 基于soa构架电力调度系统的实时数据库系统及实现方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190402 |
|
RJ01 | Rejection of invention patent application after publication |