CN104391947B - 海量gis数据实时处理方法及系统 - Google Patents

Abstract

本发明公开了一种海量GIS数据实时处理方法，包括：将若干通用内存存储设备组合，分批次将持久化数据库中用户需要用到的海量数据加载到所述通用内存存储设备组合中，同时对所述通用内存存储设备组合中的空间数据构建空间索引，对拓扑数据建立拓扑索引，从而完成内存集群的搭建；当用户编辑拓扑图时，根据所述拓扑索引对内存集群中的拓扑数据进行更新；当用户需要渲染展示设备信息时，根据用户所选择的设备，采用所述空间索引从所述内存集群快速提取出对应的设备样式数据和设备属性数据，并计算出设备渲染样式，根据所述设备渲染样式渲染所述用户所选择的设备。本发明还提供了一种海量GIS数据实时处理系统。本发明响应速度快，计算效率高。

Description

海量GIS数据实时处理方法及系统

技术领域

本发明涉及电网数据处理领域，尤其涉及一种海量GIS数据实时处理方法及系统。

背景技术

电网GIS平台是将电力企业的电力设备、变电站、输配电网络、电力用户与电力负荷和生产及管理等核心业务连接形成电力信息化的生产管理的综合信息系统，其需要管理维护电网设备的空间属性、设备属性、拓扑关系以及海量的地图数据，支撑整个电网公司的业务需求。随着公司业务信息化水平的不断提高，系统需要管理的数据量及数据复杂程度持续上升。

目前GIS平台共计维护121类电网设备，并且根据预计电网资源数据将以每年超过25%的速度急剧增长。GIS平台实时渲染的设备数量，在每屏平均渲染2000个左右设备，加上平台客户端的平均在线数3000左右。这就使GIS平台数据访问量特别大、访问频次很密集。

随着GIS平台中的数据量大幅上涨，在大规模配用电网（特别是涵盖400V低压电网）的场景下，客户端展示的电网数据量持续上升，不可避免的引发服务器查询操作的频繁进行和缓存数据的爆炸式增长。传统的数据管理和处理方式是使用GIS渲染数据管理及处理方式，此方式服务端需要频繁的与持久化数据库进行电网数据交互，由此带来了持久化数据库并发访问瓶颈以及巨大的网络压力，直到超出数据库支持能力而拖慢整个系统的运行效率；另一方面，高并发、高频次的客户端访问要求服务端生成大量数据缓存以应对频繁的数据请求，但传统的根据访问需求实时生成的缓存数据由于分开管理、缺乏统一的调配合并，势必带来缓存空间的浪费和内存数据的反复擦写，不能充分利用内存数据的高读写速度优势。

随着设备空间数据持续增长，设备的拓扑数据也随之急剧增加，设备之间的拓扑关系也越来越复杂，拓扑计算需要处理的节点数量及权重权衡也随之增加，拓扑计算的性能也在不断下降。如果拓扑计算是直接处理的数据库拓扑数据，更会因为与数据库的交互延迟或数据库性能的下降而使拓扑计算的效率变得更加不可忍受。

在大数据量压力下，进行设备渲染、拓扑计算因为基础数据量的增大而效率下降，如果再考虑用户海量并发的因素，提升效率就会比较困难。

因此如何维持在海量数据和高并发用户数量压力下GIS平台的实时响应速度，成为GIS平台提升用户友好性、增加平台功能可用性急待解决的难题。

发明内容

本发明所要解决的技术问题在于，提供一种海量GIS数据实时处理方法及系统，可以对海量GIS数据实时处理，响应速度快，计算效率高。

为了解决上述技术问题，本发明提供了一种海量GIS数据实时处理方法，包括：

将若干通用内存存储设备组合，并在GIS平台启动后，分批次将持久化数据库中用户需要用到的海量数据加载到所述通用内存存储设备组合中，直至将所述持久化数据库中的全部数据镜像到所述通用内存存储设备组合中；其中，在分批次加载的过程中同时对所述通用内存存储设备组合中的空间数据构建空间索引，对拓扑数据重新建立拓扑图，并为所述拓扑图建立拓扑索引，从而完成内存集群的搭建；

当用户编辑拓扑图时，根据所述拓扑索引在所述内存集群中记录用户实时编辑状态，并对用户最终提交的拓扑图，根据所述拓扑索引对内存集群中的拓扑数据进行更新；

当用户需要渲染展示设备信息时，根据用户所选择的设备，采用所述空间索引从所述内存集群快速提取出对应的设备样式数据和设备属性数据，并根据所述设备样式数据和设备属性数据计算出设备渲染样式，GIS平台的渲染单元根据所述设备渲染样式渲染所述用户所选择的设备。

本发明还提供了一种海量GIS数据实时处理系统，包括：

内存集群建立模块，用于将若干通用内存存储设备组合，并在GIS平台启动后，分批次将持久化数据库中用户需要用到的海量数据加载到所述通用内存存储设备组合中，直至将所述持久化数据库中的全部数据镜像到所述通用内存存储设备组合中；其中，在分批次加载的过程中同时对所述通用内存存储设备组合中的空间数据构建空间索引，对拓扑数据重新建立拓扑图，并为所述拓扑图建立拓扑索引，从而完成内存集群的搭建；

拓扑数据处理模块，用于当用户编辑拓扑图时，根据所述拓扑索引在所述内存集群中记录用户实时编辑状态，并对用户最终提交的拓扑图，根据所述拓扑索引对内存集群中的拓扑数据进行更新；

渲染预处理模块，用于当用户需要渲染展示设备信息时，根据用户所选择的设备，采用所述空间索引从所述内存集群快速提取出对应的设备样式数据和设备属性数据，并根据所述设备样式数据和设备属性数据计算出设备渲染样式；

设备渲染模块，用于根据所述设备渲染样式渲染所述用户所选择的设备。

本发明提供一种海量GIS数据实时处理方法及系统，可以对海量GIS数据实时处理，响应速度快，计算效率高。在大数据量压力和用户海量并发情况下，本发明进行设备渲染、拓扑计算时的效率依然很高，提升了GIS平台用户友好性、增加了平台功能可用性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的海量GIS数据实时处理方法的一个实施例的流程示意图；

图2本发明提供的海量GIS数据实时处理系统的一个实施例的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明提供的海量GIS数据实时处理方法的一个实施例的流程示意图，如图1所示，包括：

S101、将若干通用内存存储设备组合，并在GIS平台启动后，分批次将持久化数据库中用户需要用到的海量数据加载到所述通用内存存储设备组合中，直至将所述持久化数据库中的全部数据镜像到所述通用内存存储设备组合中；其中，在分批次加载的过程中同时对所述通用内存存储设备组合中的空间数据构建空间索引，对拓扑数据重新建立拓扑图，并为所述拓扑图建立拓扑索引，从而完成内存集群的搭建。

随着系统用户数量的增加，数据读写量及读写效率持续上升，磁盘物理读写速度成为海量GIS数据在高并发用户量和实时要求高的使用情况下系统的瓶颈。如果将数据放置在内存中则不会存在这样的问题，而且数据直接存放在内存里在数据操作过程中省略了数据从磁盘读取到内存的步骤也可以有效的减少数据移动次数和读写时间。

内存集群重新设计空间数据体系结构，使之更加贴近于电网应用操作，并且改进数据缓存、快速算法、并行操作，数据处理速度比传统磁盘的数据处理速度要快很多，轻易便可以达到10倍以上。

GIS平台启动后，随着客户端浏览、查询等操作，分批次的将持久化数据库中需要用到的数据加载到内存集群中，因此随着系统使用时间增长及用户浏览、查询使用的空间数据增多，内存集群中的数据不断增加，最终达到将持久化数据库中的数据全部镜像到内存集群中的目的。这样可以防止GIS平台启动开始时镜像整个持久化数据库造成服务启动时间变长，也可以保证大部分用户关注的数据及时加载到内存集群中，提高客户端使用数据的效率。

其中，所述空间索引包含空间对象的概要信息，如对象的标识、外接矩形及指向空间对象实体的指针。空间索引可以加快显示速度。

其中，所述空间索引为R-Tree索引。R-Tree是一种高度平衡的树，由中间节点和页节点组成，实际数据对象的最小外接矩形存储在叶节点中，中间节点通过聚集其低层节点的外接矩形形成，包含所有这些外接矩形。

通过构建空间索引能够大大提高节点的显示速度。并且空间索引为空间搜索提供一种合适的数据结构，在进行按照空间范围查询及渲染数据时，依据R-Tree可以轻易的查找到需要的设备，大大提升系统的空间搜索能力。

S102、当用户编辑拓扑图时，根据所述拓扑索引在所述内存集群中记录用户实时编辑状态，并对用户最终提交的拓扑图，根据所述拓扑索引对内存集群中的拓扑数据进行更新。

其中，建立好的拓扑图随着用户编辑工作将会发生变化。在用户编辑过程中，用户可能增加、删除或者移动拓扑节点，这些都需要反映到该用户对应的拓扑关系中，但这些变化在用户数据最终提交到运行库之前，对于其他用户又是不可见的。因此拓扑节点的变化需要标记上用户标识并且记录并存的多种状态，当编辑了拓扑数据的用户查看拓扑关系或者做拓扑追踪时，需要根据这个用户的信息在拓扑图中查找该用户的改变，并反映到该用户最终展示中。同时对于其他用户是看不到这些的，其他用户的查看拓扑关系或者拓扑追踪操作需要忽略这名用户所做的修改，在原始拓扑图上操作并展示给用户。

S103、当用户需要渲染展示设备信息时，根据用户所选择的设备，采用所述空间索引从所述内存集群快速提取出对应的设备样式数据和设备属性数据，并根据所述设备样式数据和设备属性数据计算出设备渲染样式，GIS平台的渲染单元根据所述设备渲染样式渲染所述用户所选择的设备。

其中，所述步骤：根据所述设备样式数据和设备属性数据计算出设备渲染样式，具体包括步骤：

根据设备属性数据适配合适的渲染器；

将所述用户所选择的设备与对应的设备样式数据匹配；

将每一设备的匹配后的所述设备样式数据转化为渲染样式描述数据；

把所述渲染样式描述数据和几何信息转化为渲染单元识别的描述。

图2是本发明提供的海量GIS数据实时处理系统的一个实施例的框图，本实施例与图1所示实施例的方法一一对应，如图2所示，包括：

内存集群建立模块201，将若干通用内存存储设备组合，并在GIS平台启动后，分批次将持久化数据库中用户需要用到的海量数据加载到所述通用内存存储设备组合中，直至将所述持久化数据库中的全部数据镜像到所述通用内存存储设备组合中；其中，在分批次加载的过程中同时对所述通用内存存储设备组合中的空间数据构建空间索引，对拓扑数据重新建立拓扑图，并为所述拓扑图建立拓扑索引，从而完成内存集群的搭建；

拓扑数据处理模块202，用于当用户编辑拓扑图时，根据所述拓扑索引在所述内存集群中记录用户实时编辑状态，并对用户最终提交的拓扑图，根据所述拓扑索引对内存集群中的拓扑数据进行更新；

渲染预处理模块203，用于当用户需要渲染展示设备信息时，根据用户所选择的设备，采用所述空间索引从所述内存集群快速提取出对应的设备样式数据和设备属性数据，并根据所述设备样式数据和设备属性数据计算出设备渲染样式；

设备渲染模块204，用于根据所述设备渲染样式渲染所述用户所选择的设备。

其中，所述内存集群建立模块，具体用于：

采用集群节点调配管理和出错节点恢复策略对若干普通电脑内存进行组合，从而建立容量为TB级的内存集群。

其中，所述空间索引为依据空间数据对应的空间对象的位置和形状或空间对象之间的空间关系建立的数据结构。所述空间索引为R-Tree索引。

其中，所述根据所述设备样式数据和设备属性数据计算出设备渲染样式，具体包括：

根据设备属性数据适配合适的渲染器；

将所述用户所选择的设备与对应的设备样式数据匹配；

将每一设备的匹配后的所述设备样式数据转化为渲染样式描述数据；

把所述渲染样式描述数据和几何信息转化为渲染单元识别的描述。

其中，各模块的具体阐述参考图1所示实施例，具体不在赘述。

本发明提供一种海量GIS数据实时处理方法及系统，可以对海量GIS数据实时处理，响应速度快，计算效率高。在大数据量压力和用户海量并发情况下，本发明进行设备渲染、拓扑计算时的效率依然很高，提升了GIS平台用户友好性、增加了平台功能可用性。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (9)

1.一种海量GIS数据实时处理方法，其特征在于，包括步骤：

将若干通用内存存储设备组合，并在GIS平台启动后，分批次将持久化数据库中用户需要用到的海量数据加载到所述通用内存存储设备组合中，直至将所述持久化数据库中的全部数据镜像到所述通用内存存储设备组合中；其中，在分批次加载的过程中同时对所述通用内存存储设备组合中的空间数据构建空间索引，对拓扑数据重新建立拓扑图，并为所述拓扑图建立拓扑索引，从而完成内存集群的搭建；采用集群节点调配管理和出错节点恢复策略对若干普通电脑内存进行组合，从而建立容量为TB级的内存集群；

当用户编辑拓扑图时，根据所述拓扑索引在所述内存集群中记录用户实时编辑状态，并对用户最终提交的拓扑图，根据所述拓扑索引对内存集群中的拓扑数据进行更新；

当用户需要渲染展示设备信息时，根据用户所选择的设备，采用所述空间索引从所述内存集群快速提取出对应的设备样式数据和设备属性数据，并根据所述设备样式数据和设备属性数据计算出设备渲染样式，GIS平台的渲染单元根据所述设备渲染样式渲染所述用户所选择的设备；

所述空间索引为依据空间数据对应的空间对象的位置和形状或空间对象之间的空间关系建立的数据结构；所述空间索引包含空间对象的概要信息，如对象的标识、外接矩形及指向空间对象实体的指针。

2.如权利要求1所述的海量GIS数据实时处理方法，其特征在于，所述通用内存存储设备具体为普通电脑内存。

3.如权利要求1所述的海量GIS数据实时处理方法，其特征在于，所述空间索引为R-Tree索引。

4.如权利要求1所述的海量GIS数据实时处理方法，其特征在于，所述根据所述设备样式数据和设备属性数据计算出设备渲染样式，具体包括：

根据设备属性数据适配合适的渲染器；

将所述用户所选择的设备与对应的设备样式数据匹配；

将每一设备的匹配后的所述设备样式数据转化为渲染样式描述数据；

把所述渲染样式描述数据和几何信息转化为渲染单元识别的描述。

5.一种海量GIS数据实时处理系统，其特征在于，包括：

内存集群建立模块，用于将若干通用内存存储设备组合，并在GIS平台启动后，分批次将持久化数据库中用户需要用到的海量数据加载到所述通用内存存储设备组合中，直至将所述持久化数据库中的全部数据镜像到所述通用内存存储设备组合中；其中，在分批次加载的过程中同时对所述通用内存存储设备组合中的空间数据构建空间索引，对拓扑数据重新建立拓扑图，并为所述拓扑图建立拓扑索引，从而完成内存集群的搭建；；

拓扑数据处理模块，用于当用户编辑拓扑图时，根据所述拓扑索引在所述内存集群中记录用户实时编辑状态，并对用户最终提交的拓扑图，根据所述拓扑索引对内存集群中的拓扑数据进行更新；

渲染预处理模块，用于当用户需要渲染展示设备信息时，根据用户所选择的设备，采用所述空间索引从所述内存集群快速提取出对应的设备样式数据和设备属性数据，并根据所述设备样式数据和设备属性数据计算出设备渲染样式；

设备渲染模块，用于根据所述设备渲染样式渲染所述用户所选择的设备。

6.如权利要求5所述的海量GIS数据实时处理系统，其特征在于，所述通用内存存储设备具体为普通电脑内存。

7.如权利要求5所述的海量GIS数据实时处理系统，其特征在于，所述空间索引为依据空间数据对应的空间对象的位置和形状或空间对象之间的空间关系建立的数据结构。

8.如权利要求7所述的海量GIS数据实时处理系统，其特征在于，所述空间索引为R-Tree索引。

9.如权利要求5所述的海量GIS数据实时处理系统，其特征在于，所述根据所述设备样式数据和设备属性数据计算出设备渲染样式，具体包括：

根据设备属性数据适配合适的渲染器；

将所述用户所选择的设备与对应的设备样式数据匹配；

将每一设备的匹配后的所述设备样式数据转化为渲染样式描述数据；

把所述渲染样式描述数据和几何信息转化为渲染单元识别的描述。