CN104077367A - 一种电网调度监控系统的历史数据集群处理方法 - Google Patents
一种电网调度监控系统的历史数据集群处理方法 Download PDFInfo
- Publication number
- CN104077367A CN104077367A CN201410271574.2A CN201410271574A CN104077367A CN 104077367 A CN104077367 A CN 104077367A CN 201410271574 A CN201410271574 A CN 201410271574A CN 104077367 A CN104077367 A CN 104077367A
- Authority
- CN
- China
- Prior art keywords
- cluster
- historical data
- history
- database
- history data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 23
- 238000003672 processing method Methods 0.000 title abstract 4
- 238000013507 mapping Methods 0.000 claims abstract description 26
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000000034 method Methods 0.000 abstract description 8
- 238000005070 sampling Methods 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000007726 management method Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003012 network analysis Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/219—Managing data history or versioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Water Supply & Treatment (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种电网监控系统的历史数据集群处理方法，通过历史数据库集群来动态可扩展地管理各级电网监控系统的历史数据；通过自动或者手动分配历史采样点的方式，使得多个数据库无交集地覆盖所有采样点。随着电网监控系统规模增大，原有数据库集群的容量不足以处理新增历史采样点时，可以通过增加历史数据库集群的库节点方式动态扩展所管理历史数据点的规模；通过动态集群冗余备份技术，借助表达两个集群单库映射关系的集群单库映射表，使得单点数据库故障和交叉数据库故障情况下，仍能提供完整的历史数据服务。使用本发明的方法，解决了各级调度监控系统历史数据当前或者潜在的容量、效率、可靠性等方面的问题。
Description
技术领域
本发明属于电力系统电网调度监控领域，尤指一种电网监控系统的历史数据集群处理方法，用于各级调度监控系统的历史数据管理。
背景技术
随着电网规模不断扩展，同时以资源集中管理、统一调控、优化配置、合理布局为核心的国家电网“三集五大”体系建设以及南方电网“二次一体化”建设的不断推进，省地间电网调度扁平化管理、地县间调控一体化运行的需求愈发增强，电网监控系统监视和控制的范围急剧扩大，监控测点快速增加，电网监控系统需要海量测点/计算点历史采样处理的能力，而单台数据库服务器的历史数据处理能力是有限的，不能适应各级电网监视控制、调度运行、生产管理的需求，并成为各类电网分析应用进一步拓展的数据瓶颈。这就需要通过采用历史数据集群的方式解决海量数据采样的问题。
另外一方面，传统的电网监控系统在运行较长一段时间后，历史数据采样的规模会随着监控规模不断增加，这往往会导致原配置的数据库服务器不够使用，传统方式会通过更换更为高档的服务器，购买容量更大的数据库替换原有数据库来解决问题，这会带来原有投资的巨大浪费。
发明内容
本发明所要解决的问题是提供一种电网监控系统的历史数据集群处理方法，采用历史数据集群处理方法，通过增加数据库节点的方式，动态扩展电网监控系统的历史数据处理能力。
为解决各级电网调度监控系统不断增长的历史数据处理问题，本发明提供一种电网监控系统的历史数据集群处理方法，其特征在于：本方法通过历史数据库集群来动态可扩展地管理各级电网监控系统的历史数据；通过自动或者手动分配历史采样点的方式，使得多个数据库无交集地覆盖所有采样点。随着电网监控系统规模增大，原有数据库集群的容量不足以处理新增历史采样点时，可以通过增加历史数据库集群的库节点方式动态扩展所管理历史数据点的规模；通过动态集群冗余备份技术，借助表达两个集群单库映射关系的集群单库映射表，使得单点数据库故障和交叉数据库故障情况下，仍能提供完整的历史数据服务。
分配历史采样点，使得多个历史数据库无交集地覆盖所有采样点；通过动态集群冗余备份，建立两个历史数据库集群和表达两个历史数据库集群中各单库映射关系的集群单库映射表，通过历史数据库集群动态可扩展地管理各级电网监控系统的历史数据，使单点数据库故障和交叉数据库故障情况下，提供完整的历史数据服务。
自动和手动将新增历史采样点分配到历史数据库集群的其中一个数据库节点上。
建立历史采样点和历史数据库的映射表，提交和查询历史数据时，通过该映射表从历史数据集群中找到对应正确的数据库节点。
采用两个数据库集群，这两个集群的数据库节点完全一一对应，在单点故障或者交叉故障时，从正常的数据库中挑选出一组数据库节点无交集地覆盖所有历史数据采样点形成一个新的可用集群，正常提供历史数据服务。
两个数据库集群中的历史数据库完全一致，每个数据库集群中的每一个历史库节点在另外一个数据库集群中有一个唯一对应的历史库节点。
建立一张集群单库映射表，表达两个历史数据库集群的每一对内容完全一致的单库之间的映射关系，当一个集群的某个历史数据库节点故障时，根据这张集群单库映射表对应找到另一个集群中替代的历史数据库节点。
本发明的工作原理为：
建立历史数据库集群，通过自动和手动的方式，将所有历史采样点分配到数据库集群中的某一个数据库节点上，通过这种定义方式无交集地覆盖所有采样点，这种采样点分配方式采用以统一接口的算法动态库为载体的可配置策略。
历史数据提交程序根据采样点和数据库的映射关系表使得提交和查询历史数据时，能在集群中找到集群中正确的数据库节点。
为保证历史数据服务具备良好的冗余备份能力，需要再建立一套完全一致的历史数据库集群，两个集群中每一个历史库节点在另外一个集群中有一个唯一对应的历史库节点，通过一张集群单库映射表来表达两个集群中单库的映射关系，这样当出现数据库出现单点故障或者交叉故障时，能够通过这种映射关系很方便地找到替代的数据库节点，进而保证历史数据服务的可用。
本发明所达到的有益效果：
采用本发明的方法，解决了各级调度监控系统历史数据当前或者潜在的容量、效率、可靠性等方面的问题，同时还可为各类应用深化拓展提供精准的历史序列数据、历史断面数据，便于深入观察和分析电网细分阶段特性。
附图说明
图1为本发明的历史数据集群基本原理图。
图2为本发明的历史数据集群交叉故障时产生动态可用集群的示意图。
具体实施方式
下面是本发明的一个优选实施例，包括了采用本发明方法实现的一个具体的电网调度监控系统中历史数据集群处理实施过程。本发明的其它的特征、目的和优点也可以从实施例的说明中看出。历史数据库采样点和历史数据库（时序库）集群中单个数据库节点的关系如图1所示，系统中包括一系列的历史数据库节点，这些节点无交集地覆盖所有已定义的历史数据采样点。
每一个历史数据采样点均需要分配到集群中的一个唯一数据库节点上，分配可以采用自动分配方式，也可以采用手动分配方式。自动分配的策略可动态配置，每一种策略对应一个动态库。典型的自动配置策略包括随机分配策略、采样点负载均衡策略、厂站负载均衡策略、区域负载均衡策略等。同时提供手动分配工具，可以以测点、厂站、区域为单位将采样点分配到某一台历史数据库节点上。历史数据采样点和历史数据库节点通过一张映射表来匹配，无论自动分配还是手动分配方式，分配结果都将写入这张表中。历史数据的提交和查询均可通过这张表找到集群中正确的历史数据库节点。
为了保证历史数据服务的可靠性，需要建立两套一样的历史数据库集群。如图2所示，在横向上，历史数据库以2个集群的形式出现；在纵向上，两个历史数据库集群的对应单库存放内容完全一致，互为备用。纵向上两个集群对应单库的映射关系通过集群单库映射表来表达。这种集群的冗余互备是动态的，譬如上面集群的历史数据库节点1故障，下面集群的历史数据库节点2故障，系统会根据集群单库映射表提供的信息将下面的历史数据库节点1和上面的历史数据库节点2、历史数据库节点3、……、历史数据库节点n组成一个新的可用时序库集群（图2的黑实线框），从而保证了时序库集群最大程度的可用性。
本发明按照优选实施例进行了说明，应当理解上述实施例不以任何形式限定本发明，凡采用等同替换或等效变换的形式所获得的技术方案，均落在本发明的保护范围之内。
Claims (6)
1. 一种电网调度监控系统的历史数据集群处理方法，其特征在于：分配历史采样点，使得多个历史数据库无交集地覆盖所有采样点；通过动态集群冗余备份，建立两个历史数据库集群和表达两个历史数据库集群中各单库映射关系的集群单库映射表，通过历史数据库集群动态可扩展地管理各级电网监控系统的历史数据，使单点数据库故障和交叉数据库故障情况下，提供完整的历史数据服务。
2.根据权利要求1所述的电网调度监控系统的历史数据集群处理方法，其特征在于：自动和手动将新增历史采样点分配到历史数据库集群的其中一个数据库节点上。
3.根据权利要求1或2所述的电网调度监控系统的历史数据集群处理方法，其特征在于：建立历史采样点和历史数据库的映射表，提交和查询历史数据时，通过该映射表从历史数据集群中找到对应正确的数据库节点。
4.根据权利要求1所述的电网调度监控系统的历史数据集群处理方法，其特征在于：采用两个数据库集群，这两个集群的数据库节点完全一一对应，在单点故障或者交叉故障时，从正常的数据库中挑选出一组数据库节点无交集地覆盖所有历史数据采样点形成一个新的可用集群，正常提供历史数据服务。
5.根据权利要求1所述的电网调度监控系统的历史数据集群处理方法，其特征在于：两个数据库集群中的历史数据库完全一致，每个数据库集群中的每一个历史库节点在另外一个数据库集群中有一个唯一对应的历史库节点。
6.根据权利要求1、4或5所述的调度电网监控系统的历史数据集群处理方法，其特征在于：建立一张集群单库映射表，表达两个历史数据库集群的每一对内容完全一致的单库之间的映射关系，当一个集群的某个历史数据库节点故障时，根据这张集群单库映射表对应找到另一个集群中替代的历史数据库节点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410271574.2A CN104077367A (zh) | 2014-06-18 | 2014-06-18 | 一种电网调度监控系统的历史数据集群处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410271574.2A CN104077367A (zh) | 2014-06-18 | 2014-06-18 | 一种电网调度监控系统的历史数据集群处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104077367A true CN104077367A (zh) | 2014-10-01 |
Family
ID=51598621
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410271574.2A Pending CN104077367A (zh) | 2014-06-18 | 2014-06-18 | 一种电网调度监控系统的历史数据集群处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104077367A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101527656A (zh) * | 2009-04-15 | 2009-09-09 | 烽火通信科技股份有限公司 | Ngn业务平台数据库应急切换系统及其实现方法 |
| US20110071981A1 (en) * | 2009-09-18 | 2011-03-24 | Sourav Ghosh | Automated integrated high availability of the in-memory database cache and the backend enterprise database |
| CN102082826A (zh) * | 2010-12-30 | 2011-06-01 | 上海华冠电子设备有限责任公司 | 电能量数据云采集系统及方法 |
| CN102158540A (zh) * | 2011-02-18 | 2011-08-17 | 广州从兴电子开发有限公司 | 分布式数据库实现系统及方法 |
| CN102929744A (zh) * | 2011-12-27 | 2013-02-13 | 许继集团有限公司 | 一种区域网络实时库数据存储方法及系统 |
| CN103248691A (zh) * | 2013-04-28 | 2013-08-14 | 苏州洁祥电子有限公司 | 车联网系统及其数据备份方法 |
-
2014
- 2014-06-18 CN CN201410271574.2A patent/CN104077367A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101527656A (zh) * | 2009-04-15 | 2009-09-09 | 烽火通信科技股份有限公司 | Ngn业务平台数据库应急切换系统及其实现方法 |
| US20110071981A1 (en) * | 2009-09-18 | 2011-03-24 | Sourav Ghosh | Automated integrated high availability of the in-memory database cache and the backend enterprise database |
| CN102082826A (zh) * | 2010-12-30 | 2011-06-01 | 上海华冠电子设备有限责任公司 | 电能量数据云采集系统及方法 |
| CN102158540A (zh) * | 2011-02-18 | 2011-08-17 | 广州从兴电子开发有限公司 | 分布式数据库实现系统及方法 |
| CN102929744A (zh) * | 2011-12-27 | 2013-02-13 | 许继集团有限公司 | 一种区域网络实时库数据存储方法及系统 |
| CN103248691A (zh) * | 2013-04-28 | 2013-08-14 | 苏州洁祥电子有限公司 | 车联网系统及其数据备份方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107402976B (zh) | 一种基于多元异构模型的电网多源数据融合方法及系统 | |
| CN107330056B (zh) | 基于大数据云计算平台的风电场scada系统及其运行方法 | |
| CN109379420B (zh) | 一种基于分布式架构的综合能源服务平台系统 | |
| CN107832354B (zh) | 一种分布式缓存的配电网智能运维管控系统 | |
| CN104636084B (zh) | 一种对电力大数据进行分布存储的装置和方法 | |
| CN105007294B (zh) | 输变电设备状态监测大数据快速接收和分发系统 | |
| CN102426525B (zh) | 一种多应用系统的全景建模方法 | |
| CN104808615A (zh) | 一种电力设备监控信息表自动生成的方法 | |
| CN108848132B (zh) | 一种基于云的配电调度主站系统 | |
| CN103440367A (zh) | 变电站全景数据建模方法 | |
| CN111340327A (zh) | 一种主配用一体化负荷分析平台及其实现方法 | |
| CN105426482B (zh) | 一种图库一体的铁路10kV配电网海量监控信息HBase转存方法 | |
| CN112910012B (zh) | 一种配电系统弹性提升评估方法、存储介质及计算设备 | |
| CN103093391A (zh) | 城市配电网设置方法 | |
| CN108446396A (zh) | 一种基于改进型cim模型的电力数据处理方法 | |
| CN109858056A (zh) | 一种配电单线图的自动生成方法、系统及自动修改方法 | |
| CN104573848A (zh) | 一种基于电力需求预测规划及可靠性的配电网建设方法 | |
| CN103853500A (zh) | 一种基于海量数据的数据分配方法、装置及系统 | |
| CN103488726A (zh) | 基于web-service的建设电网统一数据平台的方法 | |
| CN107944659A (zh) | 一种厂站监控系统报表自动生成方法与装置 | |
| CN106530112A (zh) | 配电管理系统 | |
| CN104077367A (zh) | 一种电网调度监控系统的历史数据集群处理方法 | |
| CN110336303A (zh) | 一种面向实时调度运行的电网稳定控制规定电子化解析方法及系统 | |
| CN106789278A (zh) | 电力故障修复系统和应用该系统的电力故障修复方法 | |
| CN104391949A (zh) | 一种基于数据字典的广域数据资源管理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20141001 |
|
| RJ01 | Rejection of invention patent application after publication |