CN105488139A - 基于用电信息采集系统的跨平台存储数据迁移的方法 - Google Patents

基于用电信息采集系统的跨平台存储数据迁移的方法 Download PDF

Info

Publication number
CN105488139A
CN105488139A CN201510833360.4A CN201510833360A CN105488139A CN 105488139 A CN105488139 A CN 105488139A CN 201510833360 A CN201510833360 A CN 201510833360A CN 105488139 A CN105488139 A CN 105488139A
Authority
CN
China
Prior art keywords
data migration
vplex
cloud controller
privately owned
processing plant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510833360.4A
Other languages
English (en)
Other versions
CN105488139B (zh
Inventor
巢玉强
张颖琦
唐如意
李翀
黄镜宇
孙文磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Hebei Electric Power Co Ltd
Nari Technology Co Ltd
NARI Nanjing Control System Co Ltd
Original Assignee
State Grid Hebei Electric Power Co Ltd
Nari Technology Co Ltd
NARI Nanjing Control System Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Hebei Electric Power Co Ltd, Nari Technology Co Ltd, NARI Nanjing Control System Co Ltd filed Critical State Grid Hebei Electric Power Co Ltd
Priority to CN201510833360.4A priority Critical patent/CN105488139B/zh
Publication of CN105488139A publication Critical patent/CN105488139A/zh
Application granted granted Critical
Publication of CN105488139B publication Critical patent/CN105488139B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/214Database migration support
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647Migration mechanisms

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了基于用电信息采集系统的跨平台存储数据迁移的方法,包括以下步骤:1)建立数据迁移架构;2)数据迁移前期准备;3)数据迁移:划分临时存储空间;配置私有云控制器VPLEX及多路径软件安装;将生产库IBM?DS8100存储数据迁移至查询库HP?P9500存储;4)数据验证:数据从生产库IBM?DS8100存储设备迁移至查询库HP?P9500存储设备后,对迁移数据的完整性和可用性进行验证。本方法基于VPLEX硬件引擎的迁移方案,停机时间短,工期短,可靠性高,安全性高,操作简单。

Description

基于用电信息采集系统的跨平台存储数据迁移的方法
技术领域
本发明属于信息系统技术领域,具体涉及用电信息采集系统跨平台存储数据迁移的应用。
背景技术
随着信息技术的发展,信息系统替换的频率也越来越高。在系统替换的过程中就有必要进行存储替换。存储数据迁移是信息系统项目中的重要子项目,对整个项目的成败有很大的影响。随着数据正在逐渐成为企业的核心资产,数据的存储迁移成为企业时刻关注的问题。存储迁移需求主要以下几个方面,一是用户对IT系统服务器或是存储阵列的设备更新升级;二是用户不得不对长时间超负荷运营的IT设备进行维护操作;三是用户为了应对业务激增所面临的压力,必须对IT系统进行性能调优,需要存储数据迁移。主要使用场景有:根据正式系统搭建测试环境、从内网复制到外网、数据库服务器硬件升级等。本文是由于采集系统磁盘存储不能满足当前系统的应用,需要对采集系统数据库存储进行更换而导致的存储数据迁移。
存储数据迁移项目与系统实施项目通常并行执行,技术含量高,业务水平要求高,变化速度快。在传统存储迁移的过程中,业务下线时间超过计划和预期的情况经常发生;存储迁移过程中,面临技术升级或是架构更新所带来的兼容性风险;在架构升级之后,性能不升反降、数据受损、数据丢失等,也时刻的困扰着实施存储迁移行为的客户。若对存储迁移的重要性的估计不够,往往不足以处理复杂多变的存储更换问题。主要迁移方式有三种:1、存储底层迁移方式:进行存储底层的数据复制,要求存储同一品牌同一型号;2、虚拟化层迁移方式:采用VPLEX引擎,实现异构存储之前的数据同步,进行业务基本无中断的在线数据迁移;3、数据库层迁移方式:采用oracle的数据泵实现。
用电信息采集存储数据迁移是一种将离线存储与在线存储融合的技术,是一项充满挑战且极具有风险的工作。这种数据迁移涉及到异构存储,保证业务连续性是存储数据迁移的核心要求,保证业务数据的可靠性是数据迁移成败的关键。
发明内容
本发明提供一种基于用电信息采集系统跨平台存储数据迁移的方法,能解决存储设备跨平台,存储设备无法同机房并存,停机时间短,工期短,安全要求高的问题,保证了用电信息采集系统升级改造项目存储数据迁移的圆满完成,也刷新了信息系统业内存储设备迁移项目中跨平台数据迁移的记录。
为了实现上述发明目的,本发明采取如下技术方案:
一种基于用电信息采集系统的跨平台存储数据迁移的方法,其特征是,包括以下步骤:
1)建立数据迁移架构
在机房内部署一套私有云控制器VPLEX,数据库应用通过FCSAN方式访问私有云控制器VPLEX,生产库IBMDS8100和查询库HPP9500互为镜像,镜像后的虚拟化存储空间通过私有云控制器VPLEX提供给数据库主机IBM小型机使用;
2)数据迁移前期准备
3)数据迁移
31)划分临时存储空间
在生产库IBMDS8100上,将原来直接划分给2台小型机的逻辑单元号LUN全部踢出,将踢出的逻辑单元号LUN重新划分给私有云控制器VPLEX;
32)配置私有云控制器VPLEX及多路径软件安装
在私有云控制器VPLEX上,私有云控制器VPLEX识别生产库IBMDS8100分配过来的逻辑单元号LUN,对逻辑单元号LUN进行识别;将所有LUN的模式配置成1:1映射模式,然后重新分配给数据库主机IBM小型机;
在IBMP570小型机上,安装EMC多路径软件,使用CFMGR命令重新扫描磁盘信息,确认IBM小机磁盘识别正常,查看IBM小型机的硬盘的物理卷标识符和卷组信息是否都正确;启动HACMP软件,查看ORACELRAC软件的权限和属性是否都正确,启动ORAClERAC软件;
33)数据迁移,将生产库IBMDS8100存储数据迁移至查询库HPP9500存储;
4)数据验证
数据从生产库IBMDS8100存储设备迁移至查询库HPP9500存储设备后,对迁移数据的完整性和可用性进行验证。
数据验证后还包括以下步骤:
5)系统试运行
数据迁移完成后,试运行一设定时间;
6)存储设备更换
试运行稳定后,解除生产库IBMDS8100和查询库HPP9500存储直接的镜像关系,并将生产库IBMDS8100存储的LUN全部从私有云控制器VPLEX中踢出;将生产库IMBDS8100从机房移出,将新存储生产库的查询库HPP9500移进机房上架。
步骤2)中,数据迁移前期准备包括以下步骤:
21)进行查询库HPP9500存储数据逻辑单元号LUN的划分,保证与生产库IBMDS8100的划分一致;
22)将查询库HPP9500划分一预定容量的空间给私有云控制器VPLEX,作为私有云控制器VPLEX的META卷;
23)私有云控制器VPLEX获取查询库HPP9500分过来的预定容量的空间。
步骤33)中,数据迁移时,通过采用添加镜像卷的方式将查询库HPP9500存储的逻辑单元号LUN和生产库IBMDS8100的两个卷做镜像。
与现有技术相比,本发明的有益效果在于:
1.本发明停机时间短。存储数据迁移中,需要基于VPLEX硬件,依赖VPLEX硬件强大稳定的引擎功能,缩短停机时间降低主机负荷,确保数据迁移后的完整性和准确性。
2.本发明离线存储和在线存储相结合,确保业务数据一致性,可用性,可靠性,高质量性,保证了系统使用数据的流畅性。
3.本发明有完善的风险控制,保证了数据迁移成功实施。
4.采用虚拟化层的迁移方式。
5.机房空间存在限制,设备存储不能同时上架时,也可实现存储数据迁移成功。
6.可用于异构存储的设备之间实现存储数据迁移。
附图说明
图1是迁移架构图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
本发明提供一种基于用电信息采集系统跨平台存储数据迁移的方法,以河北用电信息采集系统升级改造项目中跨平台存储数据迁移的实施为例,对现有生产库IBMDS8100存储进行更换,更换成HPP9500存储。
一、第一次存储数据迁移
(一)数据迁移架构
如图1所示,在机房内部署一套EMC私有云控制器VPLEX,数据库应用通过FCSAN方式访问私有云控制器VPLEX,在私有云控制器VPLEX的帮助下,两个存储的数据可以互为镜像,生产库IBMDS8100和查询库HPP9500镜像后的虚拟化存储空间,通过私有云控制器VPLEX提供给数据库主机IBMP570小型机使用,数据库主备存储是Active/Active模式,可容忍任一存储的故障;虚拟化部分,ESXServer可以部署成高可用性群集HA方式或者是Vmotion方式,在灾难发生造成某一个存储不可用的时候,另外一个存储仍然可以提供服务,应用没有中断。
EMC利用业界最新的企业级存储阵列VNX5500作为底层存储,该存储与旧有的生产库IBMDS8100与查询库HPP9500互为镜像,为数据提供最高级别的保护。
(二)数据迁移前期准备
1、需完成存储局域网络中交换机划独立区zoning,保证私有云控制器VPLEX后端端口与生产库IBMDS8100和查询库HPP9500存储之间的数据传输,保证私有云控制器VPLEX前端端口与IBMP570小型机之间数据传输。
2、完成查询库HPP9500存储数据LUN的划分,保证与生产库IBMDS8100的划分一致。
3、完成查询库HPP9500划分4个80G的空间给私有云控制器VPLEX,作为私有云控制器VPLEX的META卷。
4、完成私有云控制器VPLEX获取查询库HPP9500存储分过来的4个80G的空间。
5、条件允许的话,对服务器、软件及相关设备进行重启,确保迁移环境正常。
(三)数据迁移
数据迁移前期准备工作完成后,开始进行数据迁移。主要由临时存储空间划分、私有云控制器VPLEX配置及多路径软件安装,数据迁移,工作组成。
1、临时存储空间划分
在IBMP570小型机上,关闭ORACELRAC数据库软件、关闭HACMP软件、确认VG状态已变成关闭(OFF)。
在生产库IBMDS8100上,将原来直接划分给2台小机的逻辑单元号LUN全部踢出,将踢出的逻辑单元号LUN重新划分给私有云控制器VPLEX。
2、私有云控制器VPLEX配置及多路径软件安装
在私有云控制器VPLEX上,私有云控制器VPLEX识别生产库IBMDS8100分配过来的逻辑单元号LUN,对逻辑单元号LUN进行识别,识别其它存储分过来的LUN,使其置于VPLEX的管理之下。将所有LUN的模式配置成1:1映射模式然后重新分配给IBM小型机。
在IBM小机上,安装EMC多路径软件,使用CFMGR命令重新扫描磁盘信息,确认IBM小机磁盘识别正常(查看磁盘属性,如果不是并行模式,则修改为并行模式),查看IBM小型机的硬盘的物理卷标识符和卷组信息都正确。启动HACMP软件,查看ORACELRAC软件的权限和属性都正确,启动ORAClERAC软件。
3、数据迁移,将生产库IBMDS8100存储数据迁移至查询库HPP9500存储。
通过采用“添加镜像卷”的方式将查询库HPP9500存储的逻辑单元号LUN和生产库IBMDS8100的卷做镜像,如果数据迁移工作对系统压力影响较大,需要在夜间系统业务不繁忙的时候进行数据迁移。
(四)数据验证
数据从生产库IBMDS8100存储设备迁移至查询库HPP9500存储设备后,需要对迁移数据进行验证,确保数据的完整性、可用性。
具体验证内容如下:
1、登录采集系统查看Web应用是否正常,页面加载是否正常。
2、验证数据库中数据信息是否正常。
3、验证存储过程是否正常。
4、验证数据库自动任务是否正常。
5、验证DBLINK是否正常。
6、验证数据是否正常下装到缓存。
7、验证前置采集数据是否正常入库。
8、验证补召程序任务是否正常执行。
9、验证各接口程序是否运行正常。
10、验证二三区传数程序是否正常。
11、验证关口系统是否运行正常。
12、验证图形监控系统是否运行正常。
13、验证ORACLERAC功能是否运行正常。
(五)系统试运行
存储数据迁移完成后,需要系统试运行一段时间,确保系统运行稳定,确保生产库IBMDS8100存储从私有云控制器VPLEX踢出后,不会影响系统正常运行。
(六)存储设备更换
系统试运行稳定后,解除生产库IBMDS8100和查询库HPP9500存储直接的镜像关系,并将生产库IBMDS8100存储的LUN全部从私有云控制器VPLEX中踢出。将生产库IMBDS8100从机房移出,将新存储生产库的查询库HPP9500移进机房上架。
二、第二次存储数据迁移
同理,数据迁移方法与第一次类似,只是操作对像不同而已。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。

Claims (4)

1.一种基于用电信息采集系统的跨平台存储数据迁移的方法,其特征是,包括以下步骤:
1)建立数据迁移架构
在机房内部署一套私有云控制器VPLEX,数据库应用通过FCSAN方式访问私有云控制器VPLEX,生产库IBMDS8100和查询库HPP9500互为镜像,镜像后的虚拟化存储空间通过私有云控制器VPLEX提供给数据库主机IBM小型机使用;
2)数据迁移前期准备
3)数据迁移
31)划分临时存储空间
在生产库IBMDS8100上,将原来直接划分给2台小型机的逻辑单元号LUN全部踢出,将踢出的逻辑单元号LUN重新划分给私有云控制器VPLEX;
32)配置私有云控制器VPLEX及多路径软件安装
在私有云控制器VPLEX上,私有云控制器VPLEX识别生产库IBMDS8100分配过来的逻辑单元号LUN,对逻辑单元号LUN进行识别;将所有LUN的模式配置成1:1映射模式,然后重新分配给数据库主机IBM小型机;
在IBMP570小型机上,安装EMC多路径软件,使用CFMGR命令重新扫描磁盘信息,确认IBM小机磁盘识别正常,查看IBM小型机的硬盘的物理卷标识符和卷组信息是否都正确;启动HACMP软件,查看ORACELRAC软件的权限和属性是否都正确,启动ORAClERAC软件;
33)数据迁移,将生产库IBMDS8100存储数据迁移至查询库HPP9500存储;
4)数据验证
数据从生产库IBMDS8100存储设备迁移至查询库HPP9500存储设备后,对迁移数据的完整性和可用性进行验证。
2.根据权利要求1所述的基于用电信息采集系统的跨平台存储数据迁移的方法,其特征是,数据验证后还包括以下步骤:
5)系统试运行
数据迁移完成后,试运行一设定时间;
6)存储设备更换
试运行稳定后,解除生产库IBMDS8100和查询库HPP9500存储直接的镜像关系,并将生产库IBMDS8100存储的LUN全部从私有云控制器VPLEX中踢出;将生产库IMBDS8100从机房移出,将新存储生产库的查询库HPP9500移进机房上架。
3.根据权利要求1所述的基于用电信息采集系统的跨平台存储数据迁移的方法,其特征是,步骤2)中,数据迁移前期准备包括以下步骤:
21)进行查询库HPP9500存储数据逻辑单元号LUN的划分,保证与生产库IBMDS8100的划分一致;
22)将查询库HPP9500划分一预定容量的空间给私有云控制器VPLEX,作为私有云控制器VPLEX的META卷;
23)私有云控制器VPLEX获取查询库HPP9500分过来的预定容量的空间。
4.根据权利要求1所述的基于用电信息采集系统的跨平台存储数据迁移的方法,其特征是,步骤33)中,数据迁移时,通过采用添加镜像卷的方式将查询库HPP9500存储的逻辑单元号LUN和生产库IBMDS8100的两个卷做镜像。
CN201510833360.4A 2015-11-25 2015-11-25 基于用电信息采集系统的跨平台存储数据迁移的方法 Active CN105488139B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510833360.4A CN105488139B (zh) 2015-11-25 2015-11-25 基于用电信息采集系统的跨平台存储数据迁移的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510833360.4A CN105488139B (zh) 2015-11-25 2015-11-25 基于用电信息采集系统的跨平台存储数据迁移的方法

Publications (2)

Publication Number Publication Date
CN105488139A true CN105488139A (zh) 2016-04-13
CN105488139B CN105488139B (zh) 2018-11-30

Family

ID=55675114

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510833360.4A Active CN105488139B (zh) 2015-11-25 2015-11-25 基于用电信息采集系统的跨平台存储数据迁移的方法

Country Status (1)

Country Link
CN (1) CN105488139B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109901786A (zh) * 2017-12-08 2019-06-18 腾讯科技(深圳)有限公司 数据迁移方法、系统、装置及计算机可读存储介质
CN110287169A (zh) * 2019-06-28 2019-09-27 四川长虹电器股份有限公司 一种云应用之间的主数据迁移方法
US10877682B2 (en) 2019-01-10 2020-12-29 Western Digital Technologies, Inc. Non-disruptive cross-protocol live data migration

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7937612B1 (en) * 2004-12-28 2011-05-03 Acronis Inc. System and method for on-the-fly migration of server from backup
CN102073462A (zh) * 2010-11-29 2011-05-25 华为技术有限公司 虚拟存储迁移方法、系统和虚拟机监控器
CN102096461A (zh) * 2011-01-13 2011-06-15 浙江大学 基于虚拟机迁移和负载感知整合的云数据中心节能方法
US8874749B1 (en) * 2010-02-03 2014-10-28 Citrix Systems, Inc. Network fragmentation and virtual machine migration in a scalable cloud computing environment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7937612B1 (en) * 2004-12-28 2011-05-03 Acronis Inc. System and method for on-the-fly migration of server from backup
US8874749B1 (en) * 2010-02-03 2014-10-28 Citrix Systems, Inc. Network fragmentation and virtual machine migration in a scalable cloud computing environment
CN102073462A (zh) * 2010-11-29 2011-05-25 华为技术有限公司 虚拟存储迁移方法、系统和虚拟机监控器
CN102096461A (zh) * 2011-01-13 2011-06-15 浙江大学 基于虚拟机迁移和负载感知整合的云数据中心节能方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109901786A (zh) * 2017-12-08 2019-06-18 腾讯科技(深圳)有限公司 数据迁移方法、系统、装置及计算机可读存储介质
CN109901786B (zh) * 2017-12-08 2021-07-16 腾讯科技(深圳)有限公司 数据迁移方法、系统、装置及计算机可读存储介质
US10877682B2 (en) 2019-01-10 2020-12-29 Western Digital Technologies, Inc. Non-disruptive cross-protocol live data migration
CN110287169A (zh) * 2019-06-28 2019-09-27 四川长虹电器股份有限公司 一种云应用之间的主数据迁移方法
CN110287169B (zh) * 2019-06-28 2022-02-01 四川长虹电器股份有限公司 一种云应用之间的主数据迁移方法

Also Published As

Publication number Publication date
CN105488139B (zh) 2018-11-30

Similar Documents

Publication Publication Date Title
US11716385B2 (en) Utilizing cloud-based storage systems to support synchronous replication of a dataset
US9400611B1 (en) Data migration in cluster environment using host copy and changed block tracking
US10073747B2 (en) Reducing recovery time in disaster recovery/replication setup with multitier backend storage
US20220091771A1 (en) Moving Data Between Tiers In A Multi-Tiered, Cloud-Based Storage System
US11647075B2 (en) Commissioning and decommissioning metadata nodes in a running distributed data storage system
CN103929500A (zh) 一种分布式存储系统的数据分片方法
US9423956B2 (en) Emulating a stretched storage device using a shared storage device
US8793456B2 (en) Automated migration to a new target volume via merged bitmaps to maintain consistency
US9047108B1 (en) Systems and methods for migrating replicated virtual machine disks
US9442811B2 (en) Emulating a stretched storage device using a shared replicated storage device
US10725806B2 (en) Transitioning volumes between storage virtual machines
CN106777126B (zh) 一种支持异构时序数据库的数据在线迁移方法
US9984139B1 (en) Publish session framework for datastore operation records
US8595192B1 (en) Systems and methods for providing high availability to instance-bound databases
US20170269859A1 (en) Method and apparatus for storage system
CN105404565B (zh) 一种双活数据保护方法和装置
CN112181736A (zh) 分布式存储系统及分布式存储系统的配置方法
US9513996B2 (en) Information processing apparatus, computer-readable recording medium having stored program for controlling information processing apparatus, and method for controlling information processing apparatus
US7970736B2 (en) System, method and computer program product for storing transient state information
CN114416665B (zh) 一种数据一致性检测和修复的方法、装置及介质
CN105488139A (zh) 基于用电信息采集系统的跨平台存储数据迁移的方法
US8799596B2 (en) Switching visibility between virtual data storage entities
CN111158955A (zh) 一种基于卷复制的高可用系统以及多服务器数据同步方法
US9983810B2 (en) Avoiding data loss in a copy-free transition of storage objects
CN106445729A (zh) 一种基于备份虚拟化的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant