CN106780157B - 基于Ceph的电网多时态模型存储与管理系统及方法 - Google Patents
基于Ceph的电网多时态模型存储与管理系统及方法 Download PDFInfo
- Publication number
- CN106780157B CN106780157B CN201710146700.5A CN201710146700A CN106780157B CN 106780157 B CN106780157 B CN 106780157B CN 201710146700 A CN201710146700 A CN 201710146700A CN 106780157 B CN106780157 B CN 106780157B
- Authority
- CN
- China
- Prior art keywords
- model
- version
- data
- power grid
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003860 storage Methods 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000007726 management method Methods 0.000 claims abstract description 33
- 238000013500 data storage Methods 0.000 claims abstract description 9
- 230000003993 interaction Effects 0.000 claims abstract description 5
- 238000012423 maintenance Methods 0.000 claims description 30
- 230000008859 change Effects 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 26
- 230000007246 mechanism Effects 0.000 claims description 9
- 230000002688 persistence Effects 0.000 claims description 9
- 239000012634 fragment Substances 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 230000008676 import Effects 0.000 claims description 6
- 230000004048 modification Effects 0.000 claims description 6
- 238000012986 modification Methods 0.000 claims description 6
- 239000003795 chemical substances by application Substances 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 claims description 4
- 238000007792 addition Methods 0.000 claims description 3
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 238000013467 fragmentation Methods 0.000 claims description 3
- 238000006062 fragmentation reaction Methods 0.000 claims description 3
- 230000003252 repetitive effect Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000001276 controlling effect Effects 0.000 abstract description 4
- 230000001105 regulatory effect Effects 0.000 abstract description 4
- 238000010276 construction Methods 0.000 abstract description 3
- 238000012544 monitoring process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Economics (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于Ceph的电网多时态模型存储与管理系统及方法,其中的系统以智能电网调度控制系统平台软件为基础构建、并独立于智能电网调度控制系统的在线调控运行系统、以及通过网络代理与在线调控运行系统进行数据交互,包括分布式块存储池模块、模型数据存储介质模块、多时态模型版本存储模块和多时态模型版本管理功能模块。有益效果:采用分布式存储系统Ceph,可满足电网调控业务对多时态版本模型构建与存储的需求,并为电网调控中心内部各专业系统模型管理与共享提供一体化支撑,进一步提升调控系统对未来模型构建、历史模型回溯、模型共享等方面的支撑能力。
Description
技术领域
本发明涉及一种电网多时态模型管理系统,特别是涉及一种基于Ceph的电网多时态模型存储与管理系统及方法,属于电力系统自动化电网模型管理技术领域。
背景技术
随着电网运行方式日趋复杂,电网的调度运行管理面临新的挑战,对作为电网安全稳定运行基础的电网模型和参数提出了更高的要求。多种电控业务不仅需要电网调度控制系统能从年、月、日未来时间维度提前进行建模及分析工作,而且需要根据不同历史时期电网模型进行静态追忆分析。
目前,国内外电力系统自动化厂家通常采用磁盘阵列与商用关系型数据库组合方式存储当前电网模型,为业务应用当前模型维护与历史模型备份提供了良好支撑,较难从全时间维度对电网未来、历史模型进行存储与管理,从而无法为业务应用提供模型数据相互隔离的未来、历史版本模型使用环境。磁盘阵列存储容量较难扩展,很难满足日益增加的未来、历史模型版本的数据存储规模;多时态版本模型采用商用关系型数据库二维表结构存储,需要通过特定高速数据导出支撑才能进行版本模型共享功能,无法达到快捷共享多时态模型的应用需求。因此,实现多时态电网模型构建、存储及管理对提升电网应用业务分析水平具有重要意义。
发明内容
本发明的主要目的在于,克服现有技术中的不足,提供一种基于Ceph的电网多时态模型存储与管理系统及方法,采用分布式存储系统Ceph,可满足电网调控业务对多时态版本模型构建与存储的需求,并为电网调控中心内部各专业系统模型管理与共享提供一体化支撑,进一步提升调控系统对未来模型构建、历史模型回溯、模型共享等方面的支撑能力。
为了达到上述目的,本发明所采用的技术方案是:
一种基于Ceph的电网多时态模型存储与管理系统,以智能电网调度控制系统平台软件为基础构建、并独立于智能电网调度控制系统的在线调控运行系统、以及通过网络代理与在线调控运行系统进行数据交互,包括分布式块存储池模块、模型数据存储介质模块、多时态模型版本存储模块和多时态模型版本管理功能模块;
所述分布式块存储池模块,为若干台安装有Ceph软件与操作系统的独立服务器组建成的Ceph存储集群,其对外模拟成一个大容量可弹性扩展的Ceph块设备,所述Ceph块设备挂载到部署有Ceph客户端的电网多时态模型版本业务服务器上,用于为电网的多时态模型版本的存储提供数据持久化支撑;
所述模型数据存储介质模块,采用电网通用模型描述规范的CIM/E文件与轻量级文件数据库,用于为多时态模型版本提供存储及访问支撑;
所述多时态模型版本存储模块,用于为每个模型版本分配名称唯一且相互隔离的文件系统目录,文件系统目录全部存储在Ceph块设备挂载点上,并从在线调控运行系统的模型数据库中高速抽取当前时刻断面模型,从而根据当前时刻断面模型在文件系统目录中生成所对应的CIM/E文件与轻量级文件数据库文件,为多时态模型版本提供互不影响的数据存取环境;
所述多时态模型版本管理功能模块,以全量与差异模型共同保存的方式对多时态模型版本进行存储与管理,用于快速获取指定时刻版本模型与版本之间的模型差异,提供未来版本模型的比较、合并功能,以及历史版本模型的回溯、共享功能。
本发明的系统进一步设置为:所述独立服务器为三台以上,每台独立服务器均采用x86服务器。
本发明的系统进一步设置为:每台独立服务器至少有两个1Gbps的网络接口控制器,以及网卡;网络接口控制器中的一个作为公共网络、一个作为集群网络。
本发明的系统进一步设置为:所述Ceph存储集群包括集群管理节点、集群状态监控节点和存储节点,所述集群管理节点和集群状态监控节点分别由一台独立服务器构建,所述存储节点由构建集群管理节点和集群状态监控节点的两台独立服务器中的任意一台构建。
本发明的系统进一步设置为:所述Ceph块设备直接挂载到电网多时态模型版本业务服务器上,Ceph块设备中的rdb提供块存储服务,一个rbd卷对外表现为一个块设备;所述电网多时态模型版本业务服务器上的应用程序通过操作系统接口对rdb卷磁盘挂载点进行文件I/O操作。
本发明的系统进一步设置为:所述CIM/E文件用于存储多时态模型版本的全量与增量模型,在线调控运行系统抽取的断面模型;所述轻量级文件数据库用于根据在线调控运行系统中的应用模型数据结构,对CIM/E文件中模型数据进行二维表结构化存储,为上层服务或工具提供满足结构化查询语言标准的查询修改操作;
所述文件系统目录包括用于存储CIM/E文件的CIM/E目录和用于存储轻量级文件数据库的Database目录;所述Database目录采用垂直拆分机制以模型类名创建二级目录进行分目录存储,并对大数据量模型表根据关键字进行水平拆分机制进行多文件存储。
本发明的系统进一步设置为:所述未来版本模型的合并功能基于多时态模型版本变更痕迹日志与模型比较机制进行实现;
所述历史版本模型以日、周、月为周期对在线调控运行系统的不同应用模型集进行模型保存,逻辑上形成多个时序化可追溯模型版本树;所述历史版本模型的回溯功能通过叠加不同版本的模型差异内容快速得到两个时间相近的历史版本差异信息,对于时间间隔较远的历史版本模型则通过模型比较方式得到模型差异。
本发明还提供一种基于Ceph的电网多时态模型存储与管理方法,包括以下步骤:
1)构建前述的基于Ceph的电网多时态模型存储与管理系统,基于Ceph存储集群的底层通过接口动态库的方式对外提供块设备、文件系统、对象存储的服务,并采用面向服务的体系结构为模型访问客户端提供数据存取接口;其中,面向服务的体系结构自下而上包括模型持久层、数据访问层、数据处理层与应用层;
2)所述模型持久层采用CIM/E文件对多时态模型版本的全量与增量模型及在线调控运行系统的断面模型进行持久化存储,并存储于CIM/E目录下;
3)所述数据访问层采用轻量级文件数据库进行多数据表存储,并存储于Database目录下,且在模型数据维护完成后通过数据回写服务将轻量级文件数据库中的模型回写入全量模型CIM/E文件;
4)所述数据处理层进行SQL改写、数据路由与语句执行、以及结果归并操作,所述应用层进行应用程序的运行;其中,应用程序的运行包括模型数据维护服务,对未来版本模型或历史版本模型的比较、合并、回溯、共享功能;
5)所述模型数据维护服务包括唯一性与可比较性的维护和未来电网拓扑连接关系的变化维护;
所述唯一性与可比较性的维护是通过集中索引存储方式对各未来规划版本新增模型的名称进行唯一性约束控制,并通过预先分段机制为新增模型分配互不重复的键值;
所述未来电网拓扑连接关系的变化维护是对不同未来版本使用经过格式扩展的独立CIM/E文件分别记录相应未来版本模型维护时发生的增量变化,CIM/E文件中按行对模型维护变更内容进行时序性记录,每行内容包含记录变化类型、变化涉及到的属性、属性变化前与变化后的值,其中变化类型包括增、删、改。
本发明的方法进一步设置为:所述未来版本模型的合并功能,具体实现包括步骤为,
A)对各个待合并未来版本模型的模型范围计算全集,由此生成合并的模型范围;
B)根据合并的模型范围创建新的未来版本模型,并根据合并的模型范围从在线调控运行系统抽取当前模型数据;
C)将待合并未来版本模型按照预计投运时间排序,按时间先后顺序依次将各待合并未来版本模型增量CIM/E文件中的变更模型导入;
D)多个版本增量文件中可能存在对相同记录进行维护的情况,将同一记录删除或更新,记录相同属性值视为幂等操作,自动按序导入;针对记录属性更新值不一致的情况,提供按预计投运时间自动堆叠导入与人工选择导入两种方式。
本发明的方法进一步设置为:所述历史版本模型的比较功能,具体实现包括步骤为,
a)采用全数据比较与差异CIM/E文件堆叠两种方式对历史版本模型进行比较;
b)历史版本比较服务自动对新归并的历史版本与上一个历史版本进行比较,采用格式扩展的CIM/E文件记录差异内容;其中,比较服务采用基于数据分片技术的大模型数据比较方法,将不同模型表拆分成多个数据分片后进行并发比较,最终将差异结果进行合并;
c)在历史归并版本与上一个版本自动比较生成差异CIM/E文件的情况下,50个版本之内的相近版本的历史版本模型比较采用差异CIM/E文件内容堆叠方法,快速生成版本间的差异信息;版本间隔较远的历史版本模型采用数据分片并发方式进行完整数据比较。
与现有技术相比,本发明具有的有益效果是:
1、提供的基于Ceph的电网多时态模型存储与管理系统,以智能电网调度控制系统平台软件为基础构建、并独立于智能电网调度控制系统的在线调控运行系统、以及通过网络代理与在线调控运行系统进行数据交互,可以有效防止多版本模型构建与使用过程中对在线调控运行系统造成影响。
2、采用CIM/E文件与轻量级文件数据库作为模型数据存储介质,可摆脱多版本模型存储与维护对商用关系型数据库的依赖。
3、所有模型版本的文件系统目录全部存储在Ceph块设备挂载点上,后续可根据模型数据增长规模,弹性地对分布式存储集群进行磁盘或服务器扩充,从而提高多时态模型版本的存储容量。
4、以全量与差异模型共同保存的方式对多时态版本模型进行存储与管理,通过数据分片并发比较与差异模型堆叠方法可快速获取指定时刻版本模型与版本之间的模型差异。
上述内容仅是本发明技术方案的概述,为了更清楚的了解本发明的技术手段,下面结合附图对本发明作进一步的描述。
附图说明
图1为本发明实施例中基于Ceph的电网多时态模型存储与管理系统的结构示意图;
图2为本发明实施例中分布式块存储体系结构示意图;
图3为本发明实施例中基于文件的电网模型存取技术体系结构示意图;
图4为本发明实施例中多时态版本模型文件存储目录结构示意图;
图5为本发明实施例中未来模型版本合并的步骤流程图。
具体实施方式
下面结合说明书附图,对本发明作进一步的说明。
本发明提供一种基于Ceph的电网多时态模型存储与管理系统,如图1所示,以智能电网调度控制系统平台软件为基础构建、并独立于智能电网调度控制系统的在线调控运行系统、以及通过网络代理与在线调控运行系统进行数据交互,包括分布式块存储池模块、模型数据存储介质模块、多时态模型版本存储模块和多时态模型版本管理功能模块。
所述分布式块存储池模块,为三台以上安装有Ceph软件与操作系统的独立服务器x86服务器组建成的Ceph存储集群,其对外模拟成一个大容量可弹性扩展的Ceph块设备,所述Ceph块设备直接挂载到部署有Ceph客户端的电网多时态模型版本业务服务器上,用于为电网的多时态模型版本的存储提供数据持久化支撑。
其中,由于大多数硬盘驱动器的吞吐量大约为100MB/秒,所以需要每台独立服务器至少有两个1Gbps的网络接口控制器,以及网卡;网络接口控制器中的一个作为公共网络、一个作为集群网络,网卡能够处理Ceph存储集群中磁盘的流量。
所述Ceph存储集群包括集群管理节点、集群状态监控节点和存储节点,所述集群管理节点和集群状态监控节点分别由一台独立服务器构建,所述存储节点由构建集群管理节点和集群状态监控节点的两台独立服务器中的任意一台构建。Ceph块设备中的rdb提供块存储服务,一个rbd卷对外表现为一个块设备;所述电网多时态模型版本业务服务器上的应用程序通过操作系统接口对rdb卷磁盘挂载点进行文件I/O操作。如图2所示,Ceph的基础是Rados集群,Rados集群中最基本的组件是监控器Monitor与OSD;其监控器负责维护集群的状态,OSD进程主要用来存储数据,并负责处理数据的同步、恢复与填充。在上述基础上Rados集群向客户端提供librbd接口动态库,Ceph的底层通过接口动态库的方式对外提供了块设备、文件系统、对象存储的服务。
所述模型数据存储介质模块,采用电网通用模型描述规范的CIM/E文件与轻量级文件数据库,如图4所示,用于为多时态模型版本提供存储及访问支撑,从而摆脱多版本模型存储与维护对商用关系型数据库的依赖。
其中,所述CIM/E文件用于存储多时态模型版本的全量与增量模型,在线调控运行系统抽取的断面模型;所述轻量级文件数据库用于根据在线调控运行系统中的应用模型数据结构,对CIM/E文件中模型数据进行二维表结构化存储,为上层服务或工具提供满足结构化查询语言标准的查询修改操作;
其中,所述文件系统目录包括用于存储CIM/E文件的CIM/E目录和用于存储轻量级文件数据库的Database目录;所述Database目录采用垂直拆分机制以模型类名创建二级目录进行分目录存储,并对大数据量模型表根据关键字进行水平拆分机制进行多文件存储。
所述多时态模型版本存储模块,用于为每个模型版本分配名称唯一且相互隔离的文件系统目录,文件系统目录全部存储在Ceph块设备挂载点上,并从在线调控运行系统的模型数据库中高速抽取当前时刻断面模型,从而根据当前时刻断面模型在文件系统目录中生成所对应的CIM/E文件与轻量级文件数据库文件,为多时态模型版本提供互不影响的数据存取环境。
所述多时态模型版本管理功能模块,以全量与差异模型共同保存的方式对多时态模型版本进行存储与管理,用于快速获取指定时刻版本模型与版本之间的模型差异,提供未来版本模型的比较、合并功能,以及历史版本模型的回溯、共享功能。
其中,所述未来版本模型的合并功能基于多时态模型版本变更痕迹日志与模型比较机制进行实现。
其中,所述历史版本模型以日、周、月为周期对在线调控运行系统的不同应用模型集进行模型保存,逻辑上形成多个时序化可追溯模型版本树;所述历史版本模型的回溯功能通过叠加不同版本的模型差异内容快速得到两个时间相近的历史版本差异信息,对于时间间隔较远的历史版本模型则通过模型比较方式得到模型差异。
本发明还提供一种基于Ceph的电网多时态模型存储与管理方法,包括以下步骤:
1)构建前述的基于Ceph的电网多时态模型存储与管理系统,基于Ceph存储集群的底层通过接口动态库的方式对外提供块设备、文件系统、对象存储的服务,并采用面向服务的体系结构为模型访问客户端提供数据存取接口;其中,面向服务的体系结构自下而上包括模型持久层、数据访问层、数据处理层与应用层;如图3所示。
2)所述模型持久层采用CIM/E文件对多时态模型版本的全量与增量模型及在线调控运行系统的断面模型进行持久化存储,并存储于CIM/E目录下;
3)所述数据访问层采用轻量级文件数据库进行多数据表存储,并存储于Database目录下,且在模型数据维护完成后通过数据回写服务将轻量级文件数据库中的模型回写入全量模型CIM/E文件;
4)所述数据处理层进行SQL改写、数据路由与语句执行、以及结果归并操作,所述应用层进行应用程序的运行;其中,应用程序的运行包括模型数据维护服务,对未来版本模型或历史版本模型的比较、合并、回溯、共享功能;
5)所述模型数据维护服务包括唯一性与可比较性的维护和未来电网拓扑连接关系的变化维护;
所述唯一性与可比较性的维护是通过集中索引存储方式对各未来规划版本新增模型的名称进行唯一性约束控制,并通过预先分段机制为新增模型分配互不重复的键值;
所述未来电网拓扑连接关系的变化维护是对不同未来版本使用经过格式扩展的独立CIM/E文件分别记录相应未来版本模型维护时发生的增量变化,CIM/E文件中按行对模型维护变更内容进行时序性记录,每行内容包含记录变化类型、变化涉及到的属性、属性变化前与变化后的值,其中变化类型包括增、删、改。
所述未来版本模型的合并功能,具体实现包括步骤为,如图5所示,
A)对各个待合并未来版本模型的模型范围计算全集,由此生成合并的模型范围;
B)根据合并的模型范围创建新的未来版本模型,并根据合并的模型范围从在线调控运行系统抽取当前模型数据;
C)将待合并未来版本模型按照预计投运时间排序,按时间先后顺序依次将各待合并未来版本模型增量CIM/E文件中的变更模型导入;
D)多个版本增量文件中可能存在对相同记录进行维护的情况,将同一记录删除或更新,记录相同属性值视为幂等操作,自动按序导入;针对记录属性更新值不一致的情况,提供按预计投运时间自动堆叠导入与人工选择导入两种方式。
另外,所述历史版本模型的比较功能,具体实现包括步骤为,
a)采用全数据比较与差异CIM/E文件堆叠两种方式对历史版本模型进行比较;
b)历史版本比较服务自动对新归并的历史版本与上一个历史版本进行比较,采用格式扩展的CIM/E文件记录差异内容;其中,比较服务采用基于数据分片技术的大模型数据比较方法,将不同模型表拆分成多个数据分片后进行并发比较,最终将差异结果进行合并;
c)在历史归并版本与上一个版本自动比较生成差异CIM/E文件的情况下,50个版本之内的相近版本的历史版本模型比较采用差异CIM/E文件内容堆叠方法,快速生成版本间的差异信息;版本间隔较远的历史版本模型采用数据分片并发方式进行完整数据比较。
以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (3)
1.一种基于Ceph的电网多时态模型存储与管理方法,其特征在于,包括以下步骤:
1)构建基于Ceph的电网多时态模型存储与管理系统,以智能电网调度控制系统平台软件为基础构建、并独立于智能电网调度控制系统的在线调控运行系统、以及通过网络代理与在线调控运行系统进行数据交互,包括分布式块存储池模块、模型数据存储介质模块、多时态模型版本存储模块和多时态模型版本管理功能模块;
所述分布式块存储池模块,为若干台安装有Ceph软件与操作系统的独立服务器组建成的Ceph存储集群,其对外模拟成一个大容量可弹性扩展的Ceph块设备,所述Ceph块设备挂载到部署有Ceph客户端的电网多时态模型版本业务服务器上,用于为电网的多时态模型版本的存储提供数据持久化支撑;
所述模型数据存储介质模块,采用电网通用模型描述规范的CIM/E文件与轻量级文件数据库,用于为多时态模型版本提供存储及访问支撑;
所述多时态模型版本存储模块,用于为每个模型版本分配名称唯一且相互隔离的文件系统目录,文件系统目录全部存储在Ceph块设备挂载点上,并从在线调控运行系统的模型数据库中高速抽取当前时刻断面模型,从而根据当前时刻断面模型在文件系统目录中生成所对应的CIM/E文件与轻量级文件数据库文件,为多时态模型版本提供互不影响的数据存取环境;
所述多时态模型版本管理功能模块,以全量与差异模型共同保存的方式对多时态模型版本进行存储与管理,用于快速获取指定时刻版本模型与版本之间的模型差异,提供未来版本模型的比较、合并功能,以及历史版本模型的回溯、共享功能;
基于Ceph存储集群的底层通过接口动态库的方式对外提供块设备、文件系统、对象存储的服务,并采用面向服务的体系结构为模型访问客户端提供数据存取接口;其中,面向服务的体系结构自下而上包括模型持久层、数据访问层、数据处理层与应用层;
2)所述模型持久层采用CIM/E文件对多时态模型版本的全量与增量模型及在线调控运行系统的断面模型进行持久化存储,并存储于CIM/E目录下;
3)所述数据访问层采用轻量级文件数据库进行多数据表存储,并存储于Database目录下,且在模型数据维护完成后通过数据回写服务将轻量级文件数据库中的模型回写入全量模型CIM/E文件;
4)所述数据处理层进行SQL改写、数据路由与语句执行、以及结果归并操作,所述应用层进行应用程序的运行;其中,应用程序的运行包括模型数据维护服务,对未来版本模型或历史版本模型的比较、合并、回溯、共享功能;
5)所述模型数据维护服务包括唯一性与可比较性的维护和未来电网拓扑连接关系的变化维护;
所述唯一性与可比较性的维护是通过集中索引存储方式对各未来规划版本新增模型的名称进行唯一性约束控制,并通过预先分段机制为新增模型分配互不重复的键值;
所述未来电网拓扑连接关系的变化维护是对不同未来版本使用经过格式扩展的独立CIM/E文件分别记录相应未来版本模型维护时发生的增量变化,CIM/E文件中按行对模型维护变更内容进行时序性记录,每行内容包含记录变化类型、变化涉及到的属性、属性变化前与变化后的值,其中变化类型包括增、删、改。
2.根据权利要求1所述的基于Ceph的电网多时态模型存储与管理方法,其特征在于:所述未来版本模型的合并功能,具体实现包括步骤为,
A)对各个待合并未来版本模型的模型范围计算全集,由此生成合并的模型范围;
B)根据合并的模型范围创建新的未来版本模型,并根据合并的模型范围从在线调控运行系统抽取当前模型数据;
C)将待合并未来版本模型按照预计投运时间排序,按时间先后顺序依次将各待合并未来版本模型增量CIM/E文件中的变更模型导入;
D)多个版本增量文件中可能存在对相同记录进行维护的情况,将同一记录删除或更新,记录相同属性值视为幂等操作,自动按序导入;针对记录属性更新值不一致的情况,提供按预计投运时间自动堆叠导入与人工选择导入两种方式。
3.根据权利要求1所述的基于Ceph的电网多时态模型存储与管理方法,其特征在于:所述历史版本模型的比较功能,具体实现包括步骤为,
a)采用全数据比较与差异CIM/E文件堆叠两种方式对历史版本模型进行比较;
b)历史版本比较服务自动对新归并的历史版本与上一个历史版本进行比较,采用格式扩展的CIM/E文件记录差异内容;其中,比较服务采用基于数据分片技术的大模型数据比较方法,将不同模型表拆分成多个数据分片后进行并发比较,最终将差异结果进行合并;
c)在历史归并版本与上一个版本自动比较生成差异CIM/E文件的情况下,50个版本之内的相近版本的历史版本模型比较采用差异CIM/E文件内容堆叠方法,快速生成版本间的差异信息;版本间隔较远的历史版本模型采用数据分片并发方式进行完整数据比较。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710146700.5A CN106780157B (zh) | 2017-03-13 | 2017-03-13 | 基于Ceph的电网多时态模型存储与管理系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710146700.5A CN106780157B (zh) | 2017-03-13 | 2017-03-13 | 基于Ceph的电网多时态模型存储与管理系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106780157A CN106780157A (zh) | 2017-05-31 |
CN106780157B true CN106780157B (zh) | 2020-08-21 |
Family
ID=58962605
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710146700.5A Active CN106780157B (zh) | 2017-03-13 | 2017-03-13 | 基于Ceph的电网多时态模型存储与管理系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106780157B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107766521B (zh) * | 2017-10-25 | 2021-12-14 | 中国电力工程顾问集团西南电力设计院有限公司 | 一种电网规划数据版本控制的方法 |
CN109726192B (zh) * | 2018-12-24 | 2021-05-18 | 普元信息技术股份有限公司 | 基于大数据环境实现主数据模型版本与字段分开管理功能的系统及方法 |
CN110781158B (zh) * | 2019-10-25 | 2022-08-16 | 山东乾云启创信息科技股份有限公司 | 一种基于ceph的分布式存储方法及系统 |
CN111523990B (zh) * | 2020-04-03 | 2023-04-07 | 远光软件股份有限公司 | 一种账务数据的多维核算处理系统及方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105912691A (zh) * | 2016-04-21 | 2016-08-31 | 国电南瑞科技股份有限公司 | 基于分布式存储的电网模型多版本多租户管理系统和方法 |
CN106445741A (zh) * | 2016-09-28 | 2017-02-22 | 郑州云海信息技术有限公司 | 一种基于ceph实现oracle数据库容灾备份方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090063501A1 (en) * | 2007-08-31 | 2009-03-05 | International Business Machines Corporation | Systems, methods and computer products for generating policy based fail over configuration for darabase clusters |
-
2017
- 2017-03-13 CN CN201710146700.5A patent/CN106780157B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105912691A (zh) * | 2016-04-21 | 2016-08-31 | 国电南瑞科技股份有限公司 | 基于分布式存储的电网模型多版本多租户管理系统和方法 |
CN106445741A (zh) * | 2016-09-28 | 2017-02-22 | 郑州云海信息技术有限公司 | 一种基于ceph实现oracle数据库容灾备份方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106780157A (zh) | 2017-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106780157B (zh) | 基于Ceph的电网多时态模型存储与管理系统及方法 | |
CN106611046A (zh) | 基于大数据技术的空间数据存储处理中间件框架 | |
US10860563B2 (en) | Distributed database with modular blocks and associated log files | |
CN106708993A (zh) | 基于大数据技术的空间数据存储处理中间件框架实现方法 | |
CN103425762A (zh) | 基于Hadoop平台的电信运营商海量数据处理方法 | |
CN106446278B (zh) | 一种基于时空数据库的对数据对象的检索方法 | |
CN104657459A (zh) | 一种基于文件粒度的海量数据存储方法 | |
CN101566981A (zh) | 分析处理系统中建立动态虚拟数据仓库的方法 | |
CN111159180A (zh) | 一种基于数据资源目录构建的数据处理方法及系统 | |
CN104572856A (zh) | 一种服务起源数据的融合存储方法 | |
CN114647716B (zh) | 一种适用于泛化数据仓库的系统 | |
CN105608126A (zh) | 一种建立海量数据库二级索引的方法和装置 | |
CN111708895B (zh) | 一种知识图谱系统的构建方法及装置 | |
CN102779138A (zh) | 实时数据的硬盘存取方法 | |
CN111459900B (zh) | 大数据生命周期设置方法、装置、存储介质及服务器 | |
CN111913933B (zh) | 基于统一支撑平台的电网历史数据管理方法及系统 | |
CN116662441A (zh) | 一种分布式数据血缘构建及展现方法 | |
CN106802928B (zh) | 电网历史数据管理方法及其系统 | |
CN112232672A (zh) | 一种工业机理模型的管理系统及方法 | |
CN114661715A (zh) | 数据库的数据处理方法及装置、存储介质和电子设备 | |
CN113641651A (zh) | 一种业务数据管理方法、系统及计算机存储介质 | |
CN110007905A (zh) | 一种基于大数据的软件开发方案的生成方法及系统 | |
CN116737113B (zh) | 面向海量科学数据的元数据目录管理系统及方法 | |
CN103258047A (zh) | 一种面向药企作业成本控制数据仓库的数据组织方法 | |
CN100416562C (zh) | 一种电力自动化系统实时数据库管理系统及其实现方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |