CN104008157A - 一种电网系统数据迁移方法 - Google Patents

一种电网系统数据迁移方法 Download PDF

Info

Publication number
CN104008157A
CN104008157A CN201410224543.1A CN201410224543A CN104008157A CN 104008157 A CN104008157 A CN 104008157A CN 201410224543 A CN201410224543 A CN 201410224543A CN 104008157 A CN104008157 A CN 104008157A
Authority
CN
China
Prior art keywords
platform
migrated
gis platform
physical server
gis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410224543.1A
Other languages
English (en)
Other versions
CN104008157B (zh
Inventor
唐琳
李伟
闫汝静
李晓博
韩辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Co Ltd Of Ying Huan Xingcheng Technology
State Grid Corp of China SGCC
Dezhou Power Supply Co of State Grid Shandong Electric Power Co Ltd
Original Assignee
Tianjin Co Ltd Of Ying Huan Xingcheng Technology
State Grid Corp of China SGCC
Dezhou Power Supply Co of State Grid Shandong Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Co Ltd Of Ying Huan Xingcheng Technology, State Grid Corp of China SGCC, Dezhou Power Supply Co of State Grid Shandong Electric Power Co Ltd filed Critical Tianjin Co Ltd Of Ying Huan Xingcheng Technology
Priority to CN201410224543.1A priority Critical patent/CN104008157B/zh
Publication of CN104008157A publication Critical patent/CN104008157A/zh
Application granted granted Critical
Publication of CN104008157B publication Critical patent/CN104008157B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/214—Database migration support

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种电网系统数据迁移方法，包括：（1）将待迁移GIS平台主机通过交换机或路由器连接至物理服务器；（2）物理服务器中性能检测系统评估该物理服务器虚拟化能力，为待迁移GIS平台分配一个新GIS平台逻辑单元；（3）物理服务器中多路管理系统将待迁移GIS平台存储磁盘和平台交换系统待交换磁盘空间映射为单一逻辑磁盘，将待迁移GIS平台数据迁移至物理服务器中平台交换系统；（4）物理服务器中平台交换系统构建配置表，将待迁移GIS平台数据映射为新GIS平台数据，并写入新GIS平台逻辑单元。本发明利用服务器虚拟化技术，实现灵活的跨GIS平台数据迁移，并提高服务器利用率。

Description

一种电网系统数据迁移方法
技术领域
本发明涉及电网系统数据迁移领域，尤其涉及一种在线、跨平台电网系统数据迁移方法。
背景技术
随着互联网的发展和云计算技术的兴起，服务器虚拟化技术展现巨大的资源整合优势。尤其是在电网领域，由于不同地区甚至同一地区不同供电所的GIS平台往往采取不同的坐标系、数据模型等内容，导致在规范电网数据管理时，往往需要跨平台数据迁移，将不同的GIS平台的数据集成到一个服务器中进行统一规范管理。目前跨GIS平台数据传输的方式往往是将不同GIS平台的数据进行中间转换（XML文件转换或中间库转换），然后通过跟踪再现技术或压缩技术将数据传输到服务器，但需要对全部存储数据进行处理，对原始迁移GIS平台占用时间长，造成带宽的浪费，并且服务器利用率低。
发明内容
为了克服现有技术中存在的不足，本发明提供一种电网系统数据迁移方法，利用服务器虚拟化技术，实现灵活的跨GIS平台数据迁移，并提高服务器利用率。
为实现上述目的，本发明采取如下技术方案：
一种电网系统数据迁移方法，包括如下步骤：
（1）将待迁移GIS平台主机通过交换机或路由器连接至物理服务器；
（2）物理服务器中性能检测系统评估该物理服务器虚拟化能力，为待迁移GIS平台分配一个新GIS平台逻辑单元；
（3）物理服务器中多路管理系统将待迁移GIS平台存储磁盘和平台交换系统待交换磁盘空间映射为单一逻辑磁盘，将待迁移GIS平台数据迁移至物理服务器中平台交换系统；
（4）物理服务器中平台交换系统构建配置表，将待迁移GIS平台数据映射为新GIS平台数据，并写入新GIS平台逻辑单元。
更进一步的，步骤（2）性能检测系统评估该物理服务器已分配的每个虚拟机的最大性能指标，然后计算已分配所有虚拟机的最大性能指标之和与基准指标值的比值，当比值超出设定阈值时，通知用户增加新的物理服务器，否则为待迁移GIS平台分配一个新GIS平台逻辑单元。本发明最大性能指标及基准指标值的计算和测算，采用业界公认的标准性能评估组织TPC和标准性能评估组织SPEC发布的基准测试体系的技术规范内的相关内容。TPC和SPEC制定的基准程序的标准规范包括TPC-C、TPC-H、SPECjbb和SPECjbb，分别对应OLTP应用服务器、OLAP应用服务器、JAVA类型应用服务器、web应用服务器评价标准。
更进一步的，设定阈值为0.6～0.8。
更进一步的，步骤（3）将待迁移GIS平台数据迁移至物理服务器中平台交换系统包括如下步骤：
（31）多路管理系统分发器将位图表所有bit清零，设置为数据未迁移状态，然后建立待迁移GIS平台存储磁盘与平台交换系统待交换磁盘空间的连接；
（32）分发器根据位图表的记录，当位图表中对应bit值为零时，则发送读请求至待迁移GIS平台，提取512bit数据写入平台交换系统待交换磁盘空间对应位置，并更新位图表中相应bit为1；
当多路管理系统收到待迁移GIS平台存储磁盘写命令时，将数据分别写入待迁移GIS平台存储磁盘和平台交换系统待交换磁盘空间，若写入数据超过512bit，则更新位图表中相应bit为1；
（33）重复步骤（32）直至位图表所有bit为1，完成数据迁移，多路管理系统通知用户数据迁移完成，用户确认后，多路管理系统断开待迁移GIS平台存储磁盘与平台交换系统待交换磁盘空间的连接。
更进一步的，分发器将从待迁移GIS平台存储磁盘提取数据写入平台交换系统待交换磁盘空间时，以工程、供电所、线路或设备为单位提取，以保证在写入的时候电网设备间的拓扑结构不发生改变。
更进一步的，步骤（4）中平台交换系统构建的配置表包含待迁移GIS平台与新GIS平台之间的映射关系，所述配置表包括属性域、空间域和拓扑关系域；
所述属性域：包括电网设备的私有属性、公有属性及枚举表；
所述空间域：包括电网设备的图形信息，以坐标形式记录；
所述拓扑关系域：包括设备间的连接关系、包含关系、从属关系和房内关系。通过主键ID关联方式记录。
根据配置表的内容建立新旧GIS平台属性配置之间的一一对应关系。
更进一步的，步骤（2）新GIS平台逻辑单元包括一个或多个虚拟机。
更进一步的，物理服务器为单个物理服务器或物理服务器组。
有益效果：（1）本发明采用服务器虚拟化方式，将不同类型的GIS平台通过转换为新的GIS平台统一到一个服务器中，便于用户使用和访问，实现灵活的跨GIS平台数据迁移。（2）本发明采用性能检测系统评估服务器的虚拟化能力，使之符合TPC和SPEC制定的标准规范，有效提高服务器利用率。（3）本发明采用多路管理系统进行数据迁移，在迁移过程中可以随时对旧GIS平台进行操作，从而实现在线迁移，提高了数据迁移的效率。（4）本发明平台交换系统与多路管理系统集成在物理服务器中，便于移植或规模化使用。
附图说明
图1为本发明提供的一种电网系统数据迁移方法流程图。
图2为本发明提供的一种电网系统数据迁移结构示意图。
具体实施方式
下面结合附图对本发明作更进一步的说明。
如1图所示，本发明提供的一种电网系统数据迁移方法，包括如下步骤：
（1）将待迁移GIS平台主机通过交换机或路由器连接至物理服务器；
（2）物理服务器中性能检测系统评估该物理服务器虚拟化能力，为待迁移GIS平台分配一个新GIS平台逻辑单元；
（3）物理服务器中多路管理系统将待迁移GIS平台存储磁盘和平台交换系统待交换磁盘空间映射为单一逻辑磁盘，将待迁移GIS平台数据迁移至物理服务器中平台交换系统；
（4）物理服务器中平台交换系统构建配置表，将待迁移GIS平台数据映射为新GIS平台数据，并写入新GIS平台逻辑单元。
其中，步骤（2）性能检测系统评估该物理服务器已分配的每个虚拟机的最大性能指标，然后计算已分配所有虚拟机的最大性能指标之和与基准指标值的比值，即
其中表示服务器性能指标，表示第个虚拟机的最大性能指标，表示第个虚拟机的基准指标值。图2为GIS平台集群迁移结构示意图。这种服务器性能计算在系统集群数据迁移中尤其重要，只有每台物理服务器达到最大性能指标，整体系统才不会冗余，造成资源浪费。
当比值超出设定阈值时，通知用户增加新的物理服务器，否则为待迁移GIS平台分配一个新GIS平台逻辑单元。本发明最大性能指标及基准指标值的计算和测算，采用业界公认的标准性能评估组织TPC和标准性能评估组织SPEC发布的基准测试体系的技术规范内的相关内容。TPC和SPEC制定的基准程序的标准规范包括TPC-C、TPC-H、SPECjbb和SPECjbb，分别对应OLTP应用服务器、OLAP应用服务器、JAVA类型应用服务器、web应用服务器评价标准。
一般来说，CPU的使用率在虚拟机上是可以累加的。一台常年以5% CPU使用率运行的物理机，如果放上10台类似的虚拟机，实体机的CPU使用率将落在55%～60%，当然这还要视每个虚拟机上的应用而定。考虑到实际应用，本发明优选的设定阈值为0.6～0.8。
步骤（3）将待迁移GIS平台数据迁移至物理服务器中平台交换系统包括如下步骤：
（31）多路管理系统分发器将位图表所有bit清零，设置为数据未迁移状态，然后建立待迁移GIS平台存储磁盘与平台交换系统待交换磁盘空间的连接；
（32）分发器根据位图表的记录，当位图表中对应bit值为零时，则发送读请求至待迁移GIS平台，提取512bit数据写入平台交换系统待交换磁盘空间对应位置，并更新位图表中相应bit为1；分发器将从待迁移GIS平台存储磁盘提取数据写入平台交换系统待交换磁盘空间时，以工程、供电所、线路或设备为单位提取，以保证在写入的时候电网设备间的拓扑结构不发生改变
当多路管理系统收到待迁移GIS平台存储磁盘写命令时，将数据分别写入待迁移GIS平台存储磁盘和平台交换系统待交换磁盘空间，若写入数据超过512bit，则更新位图表中相应bit为1；
（33）重复步骤（32）直至位图表所有bit为1，完成数据迁移，多路管理系统通知用户数据迁移完成，用户确认后，多路管理系统断开待迁移GIS平台存储磁盘与平台交换系统待交换磁盘空间的连接。
步骤（4）中平台交换系统构建的配置表包含待迁移GIS平台与新GIS平台之间的映射关系，所述配置表包括属性域、空间域和拓扑关系域；
所述属性域：包括电网设备的私有属性、公有属性及枚举表；
所述空间域：包括电网设备的图形信息，以坐标形式记录；
所述拓扑关系域：包括设备间的连接关系、包含关系、从属关系和房内关系。通过主键ID关联方式记录。
根据配置表的内容建立新旧GIS平台属性配置之间的一一对应关系。根据新旧GIS平台所采用的属性配置建立他们的对应关系，可以先将旧GIS平台电网数据转换为无相关性的属性配置，然后在将其转换为新GIS平台属性配置，也可以建立一张配置表，针对每个旧GIS平台电网数据都进行比对，将其转换为新GIS平台属性配置，平台属性转换替换属现有常用技术手段，在此不再赘述。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种电网系统数据迁移方法，其特征在于包括如下步骤：
（1）将待迁移GIS平台主机通过交换机或路由器连接至物理服务器；
（2）物理服务器中性能检测系统评估该物理服务器虚拟化能力，为待迁移GIS平台分配一个新GIS平台逻辑单元；
（3）物理服务器中多路管理系统将待迁移GIS平台存储磁盘和平台交换系统待交换磁盘空间映射为单一逻辑磁盘，将待迁移GIS平台数据迁移至物理服务器中平台交换系统；
（4）物理服务器中平台交换系统构建配置表，将待迁移GIS平台数据映射为新GIS平台数据，并写入新GIS平台逻辑单元。
2.根据权利要求1所述的一种电网系统数据迁移方法，其特征在于：所述步骤（2）性能检测系统评估该物理服务器已分配的每个虚拟机的最大性能指标，然后计算已分配所有虚拟机的最大性能指标之和与基准指标值的比值，当比值超出设定阈值时，通知用户增加新的物理服务器，否则为待迁移GIS平台分配一个新GIS平台逻辑单元。
3.根据权利要求2所述的一种电网系统数据迁移方法，其特征在于：所述设定阈值为0.6～0.8。
4.根据权利要求1所述的一种电网系统数据迁移方法，其特征在于：所述步骤（3）将待迁移GIS平台数据迁移至物理服务器中平台交换系统包括如下步骤：
（31）多路管理系统分发器将位图表所有bit清零，设置为数据未迁移状态，然后建立待迁移GIS平台存储磁盘与平台交换系统待交换磁盘空间的连接；
（32）分发器根据位图表的记录，当位图表中对应bit值为零时，则发送读请求至待迁移GIS平台，提取512bit数据写入平台交换系统待交换磁盘空间对应位置，并更新位图表中相应bit为1；
当多路管理系统收到待迁移GIS平台存储磁盘写命令时，将数据分别写入待迁移GIS平台存储磁盘和平台交换系统待交换磁盘空间，若写入数据超过512bit，则更新位图表中相应bit为1；
（33）重复步骤（32）直至位图表所有bit为1，完成数据迁移，多路管理系统通知用户数据迁移完成，用户确认后，多路管理系统断开待迁移GIS平台存储磁盘与平台交换系统待交换磁盘空间的连接。
5.根据权利要求4所述的一种电网系统数据迁移方法，其特征在于：所述分发器将从待迁移GIS平台存储磁盘提取数据写入平台交换系统待交换磁盘空间时，以工程、供电所、线路或设备为单位提取。
6.根据权利要求1所述的一种电网系统数据迁移方法，其特征在于：所述步骤（4）中平台交换系统构建的配置表包含待迁移GIS平台与新GIS平台之间的映射关系，所述配置表包括属性域、空间域和拓扑关系域；
所述属性域：包括电网设备的私有属性、公有属性及枚举表；
所述空间域：包括电网设备的图形信息，以坐标形式记录；
所述拓扑关系域：包括设备间的连接关系、包含关系、从属关系和房内关系，通过主键ID关联方式记录。
7.根据权利要求1所述的一种电网系统数据迁移方法，其特征在于：所述步骤（2）新GIS平台逻辑单元包括一个或多个虚拟机。
8.根据权利要求1所述的一种电网系统数据迁移方法，其特征在于：所述物理服务器为单个物理服务器或物理服务器组。
CN201410224543.1A 2014-05-23 2014-05-23 一种电网系统数据迁移方法 Expired - Fee Related CN104008157B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410224543.1A CN104008157B (zh) 2014-05-23 2014-05-23 一种电网系统数据迁移方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410224543.1A CN104008157B (zh) 2014-05-23 2014-05-23 一种电网系统数据迁移方法

Publications (2)

Publication Number Publication Date
CN104008157A true CN104008157A (zh) 2014-08-27
CN104008157B CN104008157B (zh) 2017-09-05

Family

ID=51368814

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410224543.1A Expired - Fee Related CN104008157B (zh) 2014-05-23 2014-05-23 一种电网系统数据迁移方法

Country Status (1)

Country Link
CN (1) CN104008157B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104253485A (zh) * 2014-09-24 2014-12-31 国家电网公司 一种多源输入远动传输方法
CN113836114A (zh) * 2021-09-27 2021-12-24 北京互金新融科技有限公司 数据迁移方法、系统、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101154146A (zh) * 2006-09-29 2008-04-02 株式会社日立制作所 数据迁移方法以及信息处理系统
CN102135963A (zh) * 2010-01-21 2011-07-27 深圳市智骏数据科技有限公司 数据迁移的方法和系统
US20130247045A1 (en) * 2006-10-17 2013-09-19 Manageiq, Inc. Automatic optimization for virtual systems
CN103441988A (zh) * 2013-08-02 2013-12-11 广东电网公司电力科学研究院 跨gis平台数据迁移方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101154146A (zh) * 2006-09-29 2008-04-02 株式会社日立制作所 数据迁移方法以及信息处理系统
US20130247045A1 (en) * 2006-10-17 2013-09-19 Manageiq, Inc. Automatic optimization for virtual systems
CN102135963A (zh) * 2010-01-21 2011-07-27 深圳市智骏数据科技有限公司 数据迁移的方法和系统
CN103441988A (zh) * 2013-08-02 2013-12-11 广东电网公司电力科学研究院 跨gis平台数据迁移方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
刘天时等: ""信息系统数据迁移方法研究与应用"", 《西北大学学报(自然科学版)》 *
刘理峰等: ""基于Smallword平台的配电GIS系统数据迁移方法"", 《电力系统自动化》 *
李双权等: ""云计算中服务器虚拟化技术探讨"", 《邮电设计技术》 *
楼平等: ""一种适用于电力系统的实时数据迁移方法"", 《华东电力》 *
董秋生等: ""服务器虚拟化技术在数字图书馆服务器整合中的应用"", 《情报理论与实践》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104253485A (zh) * 2014-09-24 2014-12-31 国家电网公司 一种多源输入远动传输方法
CN113836114A (zh) * 2021-09-27 2021-12-24 北京互金新融科技有限公司 数据迁移方法、系统、设备及存储介质
CN113836114B (zh) * 2021-09-27 2024-04-26 北京互金新融科技有限公司 数据迁移方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN104008157B (zh) 2017-09-05

Similar Documents

Publication Publication Date Title
WO2019144553A1 (zh) 数据存储方法、装置及存储介质
CN104317800A (zh) 一种海量智能用电数据混合存储系统及方法
CN102255962A (zh) 一种分布式存储方法、装置和系统
CN104735110B (zh) 元数据管理方法和系统
CN103929500A (zh) 一种分布式存储系统的数据分片方法
CN101673289B (zh) 分布式文件存储构架的构建方法和装置
US10162523B2 (en) Migrating data between volumes using virtual copy operation
CN103595799B (zh) 一种实现分布式共享数据库的方法
US20160179435A1 (en) Systems and methods for shadow migration progress estimation
CN103067525A (zh) 一种基于特征码的云存储数据备份方法
CN103793475B (zh) 一种分布式文件系统数据迁移的方法
CN101986655A (zh) 存储网络及该存储网络的数据读写方法
CN104216962A (zh) 一种基于HBase的海量网管数据索引设计方法
CN104283959A (zh) 一种适用于云平台的基于性能分级的存储机制
CN104182487A (zh) 一种支持多种存储方式的统一存储方法
CN204740299U (zh) 基于云计算的电能质量智能监测系统
CN103606032B (zh) 一种二维电网gis数据集中的方法
CN105610899A (zh) 一种文本文件并行上传方法及装置
CN104202359A (zh) 一种基于刀片服务器的NVMe SSD虚拟化设计方法
CN105187502A (zh) 一种基于分布式弹性块存储的方法和系统
US8990815B1 (en) Synchronizing allocated blocks of virtual disk files across primary and secondary volumes by excluding unused blocks
GB2592165A (en) Efficient resource utilization in data centers
CN104298537A (zh) 电力信息通信虚拟化环境资源模型
CN104008157A (zh) 一种电网系统数据迁移方法
CN104572467A (zh) 一种服务器虚拟化平台数据库性能测试的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170905

Termination date: 20180523

CF01 Termination of patent right due to non-payment of annual fee