CN105389367A - 基于Mongo数据库的电网图形多时态多级分布式存储方法 - Google Patents

Abstract

本发明公开了基于Mongo数据库的电网图形多时态多级分布式存储方法，其特征在于，包括：1)建立基于多时态多级的图形版本管理机制：根据电网的规划设计、建设和运行三大过程建立对应的时态集合：规划设计态、建设态和运行态，每个时态集合分别有一个基准版本，加以时间和人员维度，在基准版本上进行图形版本的滚动更新，其中，每一时态维度下都是基于基准版本进行修订或者个性展示；2)以Mongo数据库为基础，构建记录分片的存储信息，将数据集按照数据范围进行分片存储，同时构建多节点的分布式存储架构，完成相应数据的分布式存储。实现快速高效地响应不同业务人员对相关电网图形应用的需求，实现图形响应效率的提升。

Description

基于Mongo数据库的电网图形多时态多级分布式存储方法

技术领域

本发明涉及一种基于Mongo数据库的电网图形多时态多级分布式存储方法。

背景技术

随着电网公司信息化建设的推进，电网GIS作为电网设备资源管理的平台，目前已实现了全电压等级的设备的信息录入，大网省的设备数量需以亿计，同时其作为一线人员工作业务的支撑平台，并发量大、业务操作复杂。传统的关系型数据库难以提供超大规模的数据存储以及高并发的读写访问能力，以至于随着图形数量等级的上升，系统已无法及时响应高并发的复杂业务操作。

在此背景下，亟需采取新的技术手段来提升海量数据大并发读写的效率。MongoDB是一个基于分布式文件存储的数据库，是非关系数据库当中功能最丰富，最像关系数据库的，本发明提出一种基于Mongo数据库的电网图形多时态多级分布式存储方法。

发明内容

针对上述问题，本发明提供一种基于Mongo数据库的电网图形多时态多级分布式存储方法，实现快速高效地响应不同业务人员对相关电网图形应用的需求，同时利用非关系型数据库分布式存储机制及读取特性，实现图形响应效率的提升。

为实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：

基于Mongo数据库的电网图形多时态多级分布式存储方法，其特征在于，包括：

1)建立基于多时态多级的图形版本管理机制：

根据电网的规划设计、建设和运行三大过程建立对应的时态集合：规划设计态、建设态和运行态，每个时态集合分别有一个基准版本，加以时间和人员维度，在基准版本上进行图形版本的滚动更新，其中，每一时态维度下都是基于基准版本进行修订或者个性展示；

2)以Mongo数据库为基础，构建记录分片的存储信息，将数据集按照数据范围进行分片存储，同时构建多节点的分布式存储架构，完成相应数据的分布式存储。

其中，每个时态集合只支持时态的推送不支持回退，规划设计态的最后一个基准版本演化成建设态的基准版本，建设态的最后一个基准版本演化成运行态的基准版本。

优选，构建多节点的分布式存储架构具体包括：

A)1个路由节点Mongos和3个服务器A、B、C，其中，服务器A、B、C上分别部署对应的3个Mongo节点A1、A2、A3、B1、B2、B3、C1、C2、C3，1个配置服务节点A4、B4、C4；

B)不同服务器上面的节点Ax、Bx、Cx构建一个复制集x，x取值集合为{1、2、3、4}，复制集x中的节点Ax、Bx、Cx存放的数据是相同的，能够相互复制，异步或同步；

C)配置服务节点A4、B4、C4用于构建记录分片的存储信息，数据集按照数据集数据范围进行数据分片存储，分片信息记录在配置服务节点上，所有的配置服务节点进行信息共享；

D)路由节点Mongos路由所有请求，然后将结果聚合，其本身不存储数据或者配置信息，但会缓存配置服务节点的信息。

非关系型数据库存储的广义定义，不需要固定的表结构，使其在大数据量高并发的读写操作有很高的效率。除此之外，一线业务人员对相关电网专题图的管理要求不一，同时为了实现图形版本管理融入时态、空间、人物等基本特征，构建多时态、多级数据管理模式，实现电网图形从规划设计、建设、运行整个过程的实时跟踪，不仅大大提升了图形数据的存储以及读取效率，同时满足了各业务部门甚至不同业务人员对特定图形应用需求，并实现了整个电网异动的全过程管理，大大提升了图形应用的相关效果。

本发明的有益效果是：基于Mongo数据库的电网图形多时态多级分布式存储方法，实现快速高效地响应不同业务人员对相关电网图形应用的需求，同时利用非关系型数据库分布式存储机制及读取特性，实现图形响应效率的提升。

附图说明

图1是本发明电网图形多时态多级管理机制示意图；

图2是本发明多时态多级管理关系示意图；

图3是本发明电网图形版本管理示意图；

图4是本发明基于Mongo数据库分布式存储架构示意图；

图5是本发明分片存储示意图；

图6是本发明结构关系及权限控制示意图。

具体实施方式

下面结合附图和具体的实施例对本发明技术方案作进一步的详细描述，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

目前各类电网信息管理平台只实现了图形的版本管理，并未从空间、属性和时间三个特征进行管理，即实现时态化、多级管理。同时，随着电网的发展，设备数量以千万甚至亿计，基此的相关电网图形应用操作特别频繁，传统的关系型数据库难以提供超大规模的数据存储以及高并发的读写能力。因此，省级部署的电网图形相关应用效率上已无法满足大量用户并发使用的需求。本发明采用基于Mongo非关系型数据库，通过构建多时态、多级数据管理模式，实现电网图形从规划、基建、运行整个过程的实时跟踪管理，不仅大大提升了图形数据的存储以及读取效率，同时满足了各业务部门甚至不同业务人员对特定图形应用需求，并实现了整个电网异动的全过程管理。下面进行详细介绍。

基于Mongo数据库的电网图形多时态多级分布式存储方法，包括：

1)建立基于多时态多级的图形版本管理机制：

如图1所示，根据电网的规划设计、建设和运行三大过程建立对应的时态集合：规划设计态、建设态和运行态，每个时态集合分别有一个基准版本，加以时间和人员维度，在基准版本上进行图形版本的滚动更新。

其中，如图2所示，每一时态维度下都是基于基准版本进行修订或者个性展示。每个时态集合只支持时态的推送不支持回退，即图形的规划设计态、建设态和运行态只能向前递归转化，不能逆向转化，最终，规划设计态的最后一个基准版本演化成建设态的基准版本，建设态的最后一个基准版本演化成运行态的基准版本。同时，在运行态支持不同业务人员对图形版本的个性设置及展示(该展示方式是基于当前运行基准版本进行个性化选择展示的)，实现多级(每个时态下可有多个版本)的管理方式。

优选，以时态和多级两个维度对图形数据进行实时跟踪管理，以规划设计态、建设态、运行态为轴心，沿着时间的变动划分为若干个连续的状态断面，每个状态断面下对不同用户个性化版本进行单独管理，实现时态、用户及版本的关联管理。

如图3所示，电网图形模型在每个大版本内(规划设计、建设、运行)沿时间轴的变动划分为若干个连续的状态断面，在每个状态断面以“增量”的方式记录该断面中新建、修改和删除的电网模型的图形拓扑和属性。状态断面可以是每次都对电网模型进行修改，也可以是以天、周或者月等时间为单位、累计更新该时间范围内的所有变动，同时也支持不同用户的不同展示方案。

2)以Mongo非关系型数据库为基础，构建记录分片(Shards)的存储信息，将数据集(各类图形专题图)按照数据范围进行分片存储，同时构建多节点的分布式存储架构，完成相应数据的分布式存储。

由于MongoDB是一种强大、灵活、可扩展的数据存储方式。特别是对海量电网图形复杂数据的读写效率有很大提升，本发明基于Mongo数据库进行分片分布式存储架构，采用多级树设计实现电网图形版本从规划设计态、建设态、运行态的滚动更新管理，利用分片和分部署存储的技术框架，实现电网模型沿时间轴的变动根据若干个连续的状态断面，在每个状态断面中以“增量”的形式记录该断面中新建、修改和删除的图形元素，同时可满足不同业务部门(或层级)人员对版本的业务和效率需求。

其中，构建多节点的分布式存储架构如图4所示，具体包括：

A)1个路由节点Mongos和3个服务器A、B、C，其中，服务器A、B、C上分别部署对应的3个Mongo节点A1、A2、A3、B1、B2、B3、C1、C2、C3，1个配置服务节点(ConfigSvr)A4、B4、C4；

B)不同服务器上面的节点Ax、Bx、Cx构建一个复制集x，x取值集合为{1、2、3、4}，复制集x中的节点Ax、Bx、Cx存放的数据是相同的，能够相互复制，异步或同步；构建复制集的作用是防止一个服务器或者一个节点不能工作导致数据丢失。

C)配置服务节点A4、B4、C4用于构建记录分片的存储信息，数据集按照数据集数据范围或者使用哈希值进行数据分片存储，分片信息记录在配置服务节点上，所有的配置服务节点进行信息共享。由于基于数据集数据范围的分片方式具有高效的范围查询，但是会导致数据在不同分片上的不均衡；基于哈希值的分片方式使得所有分片数据分布均衡，但是查询时候会访问所有的分片，影响查询效率。本发明对数据的读写效率要求较高，故采取基于数据集数据范围的分片方式。

D)路由节点Mongos路由所有请求，然后将结果聚合，其本身不存储数据或者配置信息，但会缓存配置服务节点的信息。

分片是指将数据拆分，将其分散存储在不同的机器上的过程。并且MongoDB支持自动分片，同时基于以上分布式存储架构模式可以自动切分数据，其中路由进程(Mongos)知道所有数据的存放位置，并作负载均衡，本发明的分片(Shards)的存储形式如附图5所示。

由于电网设备关系复杂，进行数据存储过程中涉及的馈线数据结构、版本数据结构、图档形结构等，以及包括人员权限的控制，具体的关系图如附图6所示，以下重点说明图档树形、版本、图档数据和设备关系结构的存储设计，其中的程序采用C#+Mongo数据库：

①图档树形结构：

馈线树用于存储，省→市→分局(区局)→变电站→馈线，以层级关系显示馈线层级结构。采用嵌套方式进行设计。具体结构形式如下:

如：江苏电力→扬州市局→广陵分局→110kV变电站1→10kV馈线1的存储形式如下：

②版本数据结构：

通过实现对版本的递归转化以及同时态的版本多级管理，实现不同人员对专题图的不同需求以及图形版本的全过程管理。结构形式如下：

下面以规划人员绘制的一个单线图版本为例，具体如下：

③图档数据结构：

图档数据存储结构是本发明的一个重点，具体存储结构如下：

④设备关系结构：

设备关系之间的结构分为三类，设计上格式上相近，不存在多级结构。

其余的如用户权限数据可采用现有技术，故在此不具体展开。

基于Mongo数据库与基于传统关系型数据库的读写效率对比验证如下：

本发明根据以上基于Mongo数据库的电网图形多时态多级分布式存储方法进行千万级数据测试，同时对比关系型数据库Oracle的效率进行了对比：本验证的起始数据量为：27149515条，分别进行1、10、100、500、1000、5000、10000、20000、30000、50000次的分页查询、插入数据、指定查询操作，并对测试效率进行记录，具体的对比结果如表1所示:

表1

由以上验证结果可知，在千万级别以上的数据量，基于Mongo的分布式存储机制的分页查询、数据插入和指定条件查询的效率远高于Oracle数据，有的甚至提升了几十倍。由此可得知，基于Mongo数据库的电网图形多时态多级分布式存储方法可提升电网GIS的应用效率和效果。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或者等效流程变换，或者直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (4)

1.基于Mongo数据库的电网图形多时态多级分布式存储方法，其特征在于，包括：

1)建立基于多时态多级的图形版本管理机制：

根据电网的规划设计、建设和运行三大过程建立对应的时态集合：规划设计态、建设态和运行态，每个时态集合分别有一个基准版本，加以时间和人员维度，在基准版本上进行图形版本的滚动更新，其中，每一时态维度下都是基于基准版本进行修订或者个性展示；

2)以Mongo数据库为基础，构建记录分片的存储信息，将数据集按照数据范围进行分片存储，同时构建多节点的分布式存储架构，完成相应数据的分布式存储。

2.根据权利要求1所述的基于Mongo数据库的电网图形多时态多级分布式存储方法，其特征在于，每个时态集合只支持时态的推送不支持回退，规划设计态的最后一个基准版本演化成建设态的基准版本，建设态的最后一个基准版本演化成运行态的基准版本。

3.根据权利要求2所述的基于Mongo数据库的电网图形多时态多级分布式存储方法，其特征在于，以时态和多级两个维度对图形数据进行实时跟踪管理，以规划设计态、建设态、运行态为轴心，沿着时间的变动划分为若干个连续的状态断面，每个状态断面下对不同用户个性化版本进行单独管理，实现时态、用户及版本的关联管理。

4.根据权利要求1所述的基于Mongo数据库的电网图形多时态多级分布式存储方法，其特征在于，构建多节点的分布式存储架构具体包括：

A)1个路由节点Mongos和3个服务器A、B、C，其中，服务器A、B、C上分别部署对应的3个Mongo节点A1、A2、A3、B1、B2、B3、C1、C2、C3，1个配置服务节点A4、B4、C4；

B)不同服务器上面的节点Ax、Bx、Cx构建一个复制集x，x取值集合为{1、2、3、4}，复制集x中的节点Ax、Bx、Cx存放的数据是相同的，能够相互复制，异步或同步；

C)配置服务节点A4、B4、C4用于构建记录分片的存储信息，数据集按照数据集数据范围进行数据分片存储，分片信息记录在配置服务节点上，所有的配置服务节点进行信息共享；

D)路由节点Mongos路由所有请求，然后将结果聚合，其本身不存储数据或者配置信息，但会缓存配置服务节点的信息。