一种二维电网GIS数据集中的方法
技术领域
本发明应用于电力行业,是一种基于二维电网资源地理信息系统(Geographic Information System,简称GIS)平台的数据集中方法。
背景技术
目前,广东电网公司围绕创先工作要求,已经在全省统一建设、推广、实施了基于GIS的营配一体化平台。营配一体化是利用GIS技术,建立电网设备和电力客户基础资料的拓扑关系,形成站-线-变-户的一体化数据模型,建立基于GIS的营配一体化管理信息平台。
广东电网公司各地市局GIS系统电网资源数据总量约900G,全省电网设备总量约5100万,大约有5000个用户同时在线使用。各地市的数据主要包括电网GIS数据。全省存在3套GIS平台,有Gtechnology、Smallword、ArcGis三套GIS平台,电网模型实现方式也存在差异。
随着科技的发展和供电企业的需求,广东电网公司为实现电网GIS平台的统一建设和电网GIS数据的统一管理,就需要进行电网GIS数据的集中。
发明内容
本发明的目的在于提供一种能够实现多GIS平台数据的统一建设和管理,便于多地区系统数据的同步和维护的二维电网GIS数据集中的方法,能够实现不同地区系统之间的数据信息共享,使各地区系统数据保持完整性和统一性。
本发明的目的可通过以下的技术措施来实现:
一种二维电网GIS数据集中的方法,包括如下步骤:
1)对现有电网进行模型转换过程:具体是通过使用系统配置表存储模型的对应关系,实现异构GIS平台的数据交换;
所述现有电网异构GIS平台包括Gtechnology、Smallword、ArcGis平台。
所述异构GIS平台模型转换过程中,共创建5张配置表,表1存储模型种类编码(简称FNO)、模型名称对应关系,表2存储各模型对应的属性信息,表3存储各模型转换之间的数据抽取SQL,表4存储各平台模型对应的组件对应关系,表5存储各平台模型对应的几何类型对应关系。
2)对现有电网GIS数据汇总、分析、处理;
所述汇总是对需要转换的GIS数据资源类型进行汇总;所述分析是根据汇总得到的数据与异构GIS平台模型转换中定义好的规范进行对比,形成差异报告,明确列出各地市现有数据之间的差别及与规范中要求的区别;所述数据处理是针对所述分析输出的差异报告,对数据进行处理,保证数据满足规范的要求。
所述汇总过程包括从电网资源类型、电网资源属性、电网资源图形、电网资源空间信息、电网资源拓扑五个方面进行现有GIS数据的汇总,形成数据资源类型报告。所述电网资源类型包括电网资源名称、电网资源FNO编码、电网资源组件;所述电网资源属性包括电网设备名称、电网设备功能位置编码、电网设备电压等级;所述电网资源图形包括电网资源符号、电网资源符号几何类型、电网资源符号连接点;所述电网资源空间信息包括电网资源X、Y、Z坐标;所述电网资源拓扑包括电网资源之间的连接、包含、从属关系。
所述差异报告中针对的数据主要包括电网资源类型、电网资源属性、电网资源图形、电网资源空间信息、电网资源拓扑。
所述数据处理包括对全量数据和增量数据进行处理的过程,所述全量数据是指从当前处理时刻截止,之前电网GIS的全部历史数据;所述增量数据是指在全量数据处理完成后新增、修改、删除操作后的数据。
所述数据处理的过程具体步骤如下:
2.1)统计各个地市局设备总量及每天的设备变更量,以全量数据为依据,加上每天的增量数据所用时间,计算出一个缓冲时间,保证在此时间内数据的完整性且无数据变化;
2.2)根据各地市的实际情况划分编码区段,建立编码序列与地市之间的对应关系;其中对于所述全量数据处理过程中的各地市局数据,采用编码分段处理进行标记,即在编码序列前加上各地市局编码以做区分;其中对于所述增量数据处理过程中对每次读取的数据的最后一条数据进行编码序列值加1进行标记,以此类推。
2.3)根据定义的数据编码规则,将对应编码区段内各地市的GIS全量数据初始化其编码序列,即在对各数据重新编码时,新增一列,按照定义的规则编码,同时各地市数据的原始编码序列保持不变,用作和数据集中之前的系统或是其它系统的关联;
2.4)将之前划分区段并重新编码后的数据进行合并集中,这就完成了全量数据的处理;
2.5)增量数据的处理保证全量数据已全部处理完毕,则按照定义好的规则递增性的对增量数据进行编码。
3)对步骤2)处理后的数据进行数据集中,所述数据集中实现数据的集中存储,主要包括两部分的内容:一是全量数据的集中,二是增量数据的集中。
所述数据集中的具体步骤如下:
3.1)确定将被集中的数据范围;
3.2)全量数据集中:从待集中的数据库导出数据并在新数据库中存储,其数据的集中采用Database Link(数据库链)的方式实现,因此实现全量数据集中必须建立数据库间的Database Link,包括三个步骤:
3.2.1)检查新数据库是否有创建Database Link的权限,可通过SQL(Structured Query Language,用于存取数据以及查询、更新和管理数据库)进行实现;
3.2.2)建立两个数据库间的Database Link,实现两个数据库间的连接通道,可在数据库中通过SQL进行建立;
3.2.3)通过Database Link,各地市数据库中根据确定的集中的数据内容,推送数据至新数据库中,数据推送一般选择在晚上进行,避免对用户的正常业务造成影响。
3.3)增量数据抽取:(如图4)在完成全量数据的集中后,各地市通过触发器(trigger,是数据库中提供给用户来保证数据完整性的一种方法),利用Database Link,每日定时推送增量数据至新数据库中进行存储。
在步骤3)的所述数据集中过程中还对数据进行校验,包括如下步骤:
4.1)在新数据库中为各地市创建一个数据同步的日志表,记录数据成功同步的信息,记录的信息主要包括:所属市局、所属区局、设备FNO、设备CNO、设备FID、变更类型(新增、修改、删除)、同步时间。
4.2)对增量数据推送时,新数据库每隔1小时定时扫描各地市局日志表,首先将扫描数据插入新数据库的临时表中,在临时表中进行数据的校验,之后在新数据库中正式存储此信息,并更改地市局日志表同步状态信息。
4.3)对于推送失败的数据,人工检查失败原因,并进行完善,之后以程序或者人工的方式重新推送。
4.4)新数据库每天凌晨,以增量的方式发布动态缓存文件(DDC),进行检查和成图展示。
本发明对比现有技术,有如下优点:
本方法解决了异构GIS平台的数据转换问题,解决了异构GIS平台之间全量和增量数据同步问题,数据准确、完整的集中,为其它业务系统的集中奠定了数据基础。
附图说明
图1本发明电网GIS数据集中方法的模型转换示意图;
图2是本发明数据处理流程图;
图3是本发明全量数据集中示意图;
图4是本发明增量数据集中示意图;
具体实施方式
本发明所要解决的问题就是提供一种电网GIS数据集中方法,满足目前供电企业GIS建设需求。结合附图进行进一步说明:
1)异构GIS平台模型转换
(如图1)由于目前电网公司所建设GIS系统而采用的平台有所不同,主要有三套电网GIS平台,即Gtechnology、Smallword、ArcGis,为了保证数据集中后的准确性、完整性,我们需要定义一套统一的规则,并确定此规则为电网公司GIS建立的统一规范要求,对模型进行异构转换。模型是对现实电力设备的一个抽象描述,例如:电力行业中的电杆,是真实的存在现实环境中的,然而为了方便计算机管理,我们把它抽象为一个小圆圈,用计算机可识别的且用户认可的语言加以描述,就形成了GIS系统中的模型。通过使用系统配置表存储模型的对应关系,实现异构GIS平台的数据交换。异构GIS平台模型转换,共创建5张配置表,表1存储模型种类编码(简称FNO)、模型名称对应关系,表2存储各模型对应的属性信息,表3存储各模型转换之间的数据抽取SQL(Structured QueryLanguage),用于存取数据以及查询、更新和管理数据库,表4存储各平台模型对应的组件对应关系,表5存储各平台模型对应的几何类型对应关系,表结构设计及示例如下:
表1:
Gtechnology设备种类编码 |
Gtechnology模型名称 |
Smallword设备种类编码 |
Smallword模型名称 |
…… |
148 |
变压器 |
56A |
柱上变压器 |
…… |
149 |
箱式设备 |
78C |
开关箱 |
…… |
…… |
…… |
…… |
…… |
…… |
表2:
Gtechnology设备种类编码 |
Gtechnology属性名称 |
Smallword设备种类编码 |
Smallword属性名称 |
…… |
148 |
RL_容量 |
56A |
EDRL_额定容量 |
…… |
148 |
MC_设备名称 |
56A |
YHM_用户名称 |
…… |
149 |
KH_资产编号 |
78C |
GDH_固定资产卡号 |
…… |
…… |
…… |
…… |
…… |
…… |
表3:
表4:
Gtechnology设备种类编码 |
Gtechnology组件编码 |
Smallword设备种类编码 |
Smallword组件编码 |
…… |
148 |
14803 |
56A |
56A‐02 |
…… |
148 |
148 |
56A |
56A‐08 |
…… |
149 |
14901 |
78C |
78C‐01 |
…… |
…… |
…… |
…… |
…… |
…… |
表5:
Gtechnology设备种类编码 |
Gtechnolog几何类型 |
Smallword设备种类编码 |
Smallword几何类型 |
…… |
148 |
POINT |
56A |
AREA |
…… |
149 |
AREA |
78C |
AREA |
…… |
141 |
LINE |
59A |
POINT |
|
…… |
…… |
…… |
…… |
…… |
2)电网GIS数据分析、处理
按照异构GIS平台模型转换定义的规范,对现有电网GIS数据现状进行汇总、分析、处理,以满足模型转换要求。
数据汇总
通过对各地市供电局现有GIS平台的调研,分门别类的、深入的、全面的、准确的分析目前GIS系统的数据情况及后期的GIS系统数据需求,主要从电网资源类型(如:电网资源名称、电网资源FNO编码、电网资源组件等)、电网资源属性(如:电网设备名称、电网设备功能位置编码、电网设备电压等级等)、电网资源图形(如:电网资源符号、电网资源符号几何类型、电网资源符号连接点等)、电网资源空间信息(如:电网资源X、Y、Z坐标等)、电网资源拓扑(如:电网资源之间的连接、包含、从属关系等)五个方面进行现有GIS数据的汇总,形成数据资源类型报告。具体汇总步骤包括:①制定汇总数据范围;②制定汇总数据规则;③制定汇总数据报告模板④形成数据资源类型报告。
数据分析
由于各GIS系统目前均采用自定义的编码规则(即为保证数据的唯一性,而新定义的编码方式),数据集中后,会造成主键或者编码重复的问题,为了解决这一问题,将汇总的数据资源类型报告和异构GIS平台模型转换中定义好的规范进行比对,形成差异报告,明确列出各地市现有数据之间的差别及与规范中要求的区别。差异报告中针对的数据主要包括电网资源类型、电网资源属性、电网资源图形、电网资源空间信息、电网资源拓扑。
数据处理
针对数据分析输出的差异报告,对数据进行有效处理,保证数据满足规范的要求,数据处理主要针对全量数据(从当前处理时刻截止,之前电网GIS的全部历史数据)和增量数据(在全量数据处理完成后新增、修改、删除等操作的数据),如图2所示,具体过程如下:
2.1)统计各个地市局设备总量及每天的设备变更量,以全量数据为依据,加上每天的增量数据所用时间,计算出一个缓冲时间,保证在此时间内数据的完整性且无数据变化;
2.2)根据各地市的实际情况划分编码区段,建立编码序列与地市之间的对应关系;其中对于所述全量数据处理过程中的各地市局数据,采用编码分段处理进行标记,即在编码序列前加上各地市局编码以做区分;其中对于所述增量数据处理过程中对每次读取的数据的最后一条数据进行编码序列值加1进行标记,以此类推。
2.3)根据定义的数据编码规则,将对应编码区段内各地市的GIS全量数据初始化其编码序列,即在对各数据重新编码时,新增一列,按照定义的规则编码,同时各地市数据的原始编码序列保持不变,用作和数据集中之前的系统或是其它系统的关联;
2.4)将之前划分区段并重新编码后的数据进行合并集中,这就完成了全量数据的处理;
2.5)增量数据的处理保证全量数据已全部处理完毕,则按照定义好的规则递增性的对增量数据进行编码即可。
完成了数据处理的工作,保证各地市数据满足规范要求,则可进行数据集中工作。
3)数据集中
数据集中工作必须待数据处理工作完成后才能进行,其主要实现现有数据库中数据的导出、迁移(即拷备),并在指定位置(新数据库)集中存储。具体过程如下:
3.1)确定集中数据内容:因数据的抽取工作需要消耗一定的时间,而在此时间内数据会有一定变化,因此不能同一时间抽取所有数据,而是在抽取数据前首先确定所抽取的数据内容在抽取时间中无变化,一般以供电局为范围确定内容;
3.2)全量数据集中:如图3所示,实现从待集中的数据库导出数据并在新数据库中存储,其数据的集中采用Database Link(数据库链,它是用来更方便的一个数据库中访问另一个数据库,即数据库连接别的数据库的快捷方式,所有数据库具有此功能)的方式实现,因此实现全量数据集中必须建立数据库间的Database Link,具体实现方式包括三个步骤:
3.2.1)检查新数据库是否有创建Database Link的权限,可通过SQL进行实现;
3.2.2)建立两个数据库间的Database Link,实现两个数据库间的连接通道,可在数据库中通过SQL进行建立;
3.2.3)通过Database Link,各地市数据库中根据确定的集中的数据内容,推送数据至新数据库中,数据推送一般选择在晚上进行,避免对用户的正常业务造成影响。
3.3)增量数据抽取:(如图4)在完成全量数据的集中后,各地市通过触发器(trigger,是数据库中提供给用户来保证数据完整性的一种方法),利用Database Link,每日定时推送增量数据至新数据库中进行存储。
在步骤3)的所述数据集中过程中,为保证集中数据的完整性、正确性还对数据进行校验,包括如下步骤:
4.1)在新数据库中为各地市创建一个数据同步的日志表,记录数据成功同步的信息,记录的信息主要包括:所属市局、所属区局、设备FNO、设备CNO、设备FID、变更类型(新增、修改、删除)、同步时间。
4.2)对增量数据推送时,新数据库每隔1小时定时扫描各地市局日志表,首先将扫描数据插入新数据库的临时表中,在临时表中进行数据的校验,之后在新数据库中正式存储此信息,并更改地市局日志表同步状态等信息。
4.3)对于推送失败的数据,人工检查失败原因,并进行完善,之后以程序或者人工的方式重新推送。
4.4)新数据库每天凌晨,以增量的方式发布动态缓存文件(DDC),进行检查和成图展示。
通过本方法解决了电网GIS平台的数据转换问题,解决了异构GIS平台之间全量和增量数据集中的难点,数据准确、完整的集中,为其它业务系统的集中奠定了数据基础。因此,在电网行业中具有很好的推广使用价值。
本发明的实施方式不限于此,在本发明上述基本技术思想前提下,按照本领域的普通技术知识和惯用手段对本发明内容所做出其它多种形式的修改、替换或变更,均落在本发明权利保护范围之内。