CN114281259A - 一种基于多角度的数据热迁移系统 - Google Patents

Abstract

本发明涉及一种基于多角度的数据热迁移系统，利用CNA节点的IO Mirror特性，将源存储单元的所有数据移至目标CNA数据存储，具体实现：将虚拟机配置和设备信息传送至目标单元上；传送虚拟机内存，将源虚拟机的初始内存及内存更变分片同步到目标单元上；暂停源虚拟机，将最后的更变分片传送至目标单元上；恢复目标单元，停止源虚拟机。将已有数据和迁移过程中产生的数据均在不影响客户连续使用的情况下，实现完全迁移。

Description

一种基于多角度的数据热迁移系统

技术领域

本发明涉及一种数据存储技术，特别涉及一种基于多角度的数据热迁移系统。

背景技术

现在信息高速发展，对存储带来越来越高的要求，数据量激增带来的存储需求不断提高，现在常用方法是通过建立分层存储架构来优化存储空间。将数据分为高频访问的热数据与不常访问的冷数据，用不同方式存储。但现在对数据追踪、数据多元化有新的要求，所以应运而生了云存储，对客户带来极大的便利。但随之云存储被大众认可的同时，对云存储的要求也越来越高，云存储业务系统交互非常频繁，不能终止运行时，不能有数据丢失，客户随时会进行数据下载。

发明内容

针对不能停止不能丢失数据的系统问题，提出了一种基于多角度的数据热迁移系统，在用户不会察觉到任何差异的情况下，实现数据迁移目的。

本发明的技术方案为：一种基于多角度的数据热迁移系统，包括源存储单元和目标单元，利用CNA节点的IO Mirror特性，将源存储单元的所有数据移至目标CNA数据存储，具体实现如下：

1)将作为源存储单元的虚拟机配置和设备信息传送至目标单元上；

2)传送虚拟机内存，将源虚拟机的初始内存及内存更变分片同步到目标单元上；

3)暂停源虚拟机，将最后的更变分片传送至目标单元上；

4)恢复目标单元，停止源虚拟机。

进一步，所述目标单元为服务器或存储节点。

进一步，所述目标单元为服务器的热迁移：修改主机名方式，实现服务器之间的数据热迁移， 110服务器，hostname:nd0；111服务器，hostname:nd1；126服务器， hostname:ad10；

目标：从111服务器上旧NameNode结点迁移到126服务器上新NameNode上；

当前节点:旧nd0:active，active状态的NameNode负责所有的客户端操作；旧nd1:standby，standby状态的NameNode处于从属地位，维护着数据状态，随时准备切换；新ad10

包含namenode、zookeepeer、JournalNode的数据迁移；

迁移具体步骤：

1)关闭旧nd1的namenode服务；

2)将旧nd1上面的元数据目录同步到新ad10节点的同样目录下：

2.1)打包镜像；

2.2)将旧NameNode镜像拷贝到新NameNode；

2.3)在新的NameNode中解压旧NameNode镜像；

3)在126上安装zookeepeer应用，将111服务器上的zookeeper数据迁移到 126服务器上；

4)复制111服务器上的journalnode数据到126服务器上；

5)在新ad10上修改Linux主机名；

6)在新ad10上修改主机名和IP的映射关系/etc/hosts

7)在新ad10上同步各主机的hosts文件；

8)在新ad10上关闭防火墙

9)在新ad10上ssh免登陆，注意修改主机名后检测ssh到各主机无问题

10)在新ad10上启动zookeepeer

11)在新ad10上启动journalnode

12)在新ad10上启动namenode，要将所有journalnode启动后再启动namenode。

进一步，所述修改主机名方式，实现服务器之间的数据热迁移后的可用测试：

关闭nd0的namenode进程；查询126namenode主从状态；启动nd0的namenode, 状态将变为standby。

进一步，所述目标单元为存储节点的热迁移：修改配置文件方式，实现节点之间的数据热迁移，迁移具体步骤如下：

准备：

服务器hostname:nd0；服务器hostname:nd1；服务器hostname:ad10；

A、将nd0中/etc/hosts中添加ad10服务器，所有节点保持hosts文件统一；

B、ad10服务器复制nd0公/私钥；

B1 NameNode能免密码登录所有的DataNode；

B2)各NameNode能免密码登录自己；

B3)各NameNode间能免密码互登录；

B4)DataNode能免密码登录自己；

B5)DataNode不需要配置免密码登录NameNode和其它DataNode；

C、主节点nd0中添加ad10到slaves；

D、新建目录/data/hdfs/tmp；

步骤：

1)关闭旧nd1的namenode服务；

2)将旧nd1上面的元数据目录${dfs.namenode.name.dir}同步到新ad10节点的同样目录下；

3)修改旧nd1上的hdfs-site.xml配置,新ad10 ip地址加入进去；

把dfs.https.address属性和dfs.namenode.http-address属性的值修改为新NameNode地址+端口分发配置文件；

把修改后的hdfs-site.xml文件分发到集群上的其他机器上；

4)ad10上启动namenode服务；

先执行：hdfs namenode–bootstrapStandby

5)ad10,nd0上启动zkfc；

6)重新启动；

7)关闭防火墙。

本发明的有益效果在于：本发明基于多角度的数据热迁移系统，将已有数据和迁移过程中产生的数据均在不影响客户连续使用的情况下，实现完全迁移。

具体实施方式

本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本发明基于多角度的数据热迁移系统，具体实现步骤如下：

1、将虚拟机配置和设备信息传送至目标单元上；

2、传送虚拟机内存，将源虚拟机的初始内存及内存更变分片同步到目标单元上；

3、暂停源虚拟机，将最后的更变分片传送至目标单元上；

4、恢复目标单元，停止源虚拟机。

利用CNA节点的IO Mirror特性，将源存储单元的所有数据移至目标CNA 数据存储。下面为两种具体迁移方式。

实施例：

一、修改主机名方式，实现服务器之间的数据热迁移。

110服务器，hostname:nd0；111服务器，hostname:nd1；126服务器， hostname:ad10；

目标：从旧NameNode结点迁移到126服务器上新NameNode上。

当前节点:旧nd0:active(active状态的NameNode负责所有的客户端操作)；旧nd1:standby(standby状态的NameNode处于从属地位，维护着数据状态，随时准备切换)；新ad10

包含namenode、zookeepeer、JournalNode的数据迁移。

步骤：

1、关闭旧nd1的namenode服务；

2、将旧nd1上面的元数据目录${dfs.namenode.name.dir}同步到新ad10 节点的同样目录下：

2.1、打包镜像；

2.2、将旧NameNode镜像拷贝到新NameNode；

2.3、在新的NameNode中解压旧NameNode镜像；

3、在126上安装zookeepeer应用，将111服务器上的zookeeper数据迁移到126服务器上；

4、复制111服务器上的journalnode数据(nd0和nd1之间的进程数据) 到126服务器上；

5、在新ad10上修改Linux主机名；

6、在新ad10上修改主机名和IP的映射关系/etc/hosts

7、在新ad10上同步各主机的hosts文件(常用的网址域名与其对应的IP 地址建立一个关联“数据库”)

8、在新ad10上关闭防火墙

9、在新ad10上ssh免登陆，注意修改主机名后检测ssh到各主机无问题

10、在新ad10上启动zookeepeer

11、在新ad10上启动journalnode

12、在新ad10上启动namenode(要将所有journalnode启动后再启动 namenode)。

对ad10高可用测试：

1、关闭nd0的namenode进程.

2、查询126namenode主从状态：(如果从standby变成active则高可用生效)

3、启动nd0的namenode,状态将变为standby。

二、修改配置文件方式，实现节点之间的数据热迁移。

准备：

1、将nd0中/etc/hosts中添加ad10服务器，所有节点保持hosts文件统一；

2、ad10服务器复制nd0公/私钥；

1)NameNode能免密码登录所有的DataNode；

2)各NameNode能免密码登录自己；

3)各NameNode间能免密码互登录；

4)DataNode能免密码登录自己；

5)DataNode不需要配置免密码登录NameNode和其它DataNode；

3、主节点nd0中添加ad10到slaves；

4、新建目录/data/hdfs/tmp，包含namenode、zookeepeer、JournalNode 的数据迁移。

步骤：

1、关闭旧nd1的namenode服务；

2、将旧nd1上面的元数据目录${dfs.namenode.name.dir}同步到新ad10 节点的同样目录下；

3.修改旧nd1上的hdfs-site.xml配置,新ad10 ip地址加入进去；

把dfs.https.address属性和dfs.namenode.http-address属性的值修改为新NameNode地址+端口

分发配置文件；

把修改后的hdfs-site.xml文件分发到集群上的其他机器上；

4、ad10上启动namenode服务；

先执行：hdfs namenode–bootstrapStandby

5、ad10,nd0上启动zkfc；

6、重新启动；

7、关闭防火墙。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (5)

1.一种基于多角度的数据热迁移系统，其特征在于，包括源存储单元和目标单元，利用CNA节点的IO Mirror特性，将源存储单元的所有数据移至目标CNA数据存储，具体实现如下：

1)将作为源存储单元的虚拟机配置和设备信息传送至目标单元上；

2)传送虚拟机内存，将源虚拟机的初始内存及内存更变分片同步到目标单元上；

3)暂停源虚拟机，将最后的更变分片传送至目标单元上；

4)恢复目标单元，停止源虚拟机。

2.根据权利要求1所述基于多角度的数据热迁移系统，其特征在于，所述目标单元为服务器或存储节点。

3.根据权利要求1或2所述基于多角度的数据热迁移系统，其特征在于，所述目标单元为服务器的热迁移：修改主机名方式，实现服务器之间的数据热迁移，110服务器，hostname:nd0；111服务器，hostname:nd1；126服务器，hostname:ad10；

目标：从旧NameNode结点迁移到126服务器上新NameNode上；

当前节点:旧nd0:active，active状态的NameNode负责所有的客户端操作；旧nd1:standby，standby状态的NameNode处于从属地位，维护着数据状态，随时准备切换；新ad10

包含namenode、zookeepeer、JournalNode的数据迁移；

迁移具体步骤：

1)关闭旧nd1的namenode服务；

2)将旧nd1上面的元数据目录同步到新ad10节点的同样目录下：

2.1)打包镜像；

2.2)将旧NameNode镜像拷贝到新NameNode；

2.3)在新的NameNode中解压旧NameNode镜像；

3)在126上安装zookeepeer应用，将111服务器上的zookeeper数据迁移到126服务器上；

4)复制111服务器上的journalnode数据到126服务器上；

5)在新ad10上修改Linux主机名；

6)在新ad10上修改主机名和IP的映射关系/etc/hosts

7)在新ad10上同步各主机的hosts文件；

8)在新ad10上关闭防火墙

9)在新ad10上ssh免登陆，注意修改主机名后检测ssh到各主机无问题10)在新ad10上启动zookeepeer

11)在新ad10上启动journalnode

12)在新ad10上启动namenode，要将所有journalnode启动后再启动namenode。

4.根据权利要求3所述基于多角度的数据热迁移系统，其特征在于，所述修改主机名方式，实现服务器之间的数据热迁移后的可用测试：

关闭nd0的namenode进程；查询126namenode主从状态；启动nd0的namenode,状态将变为standby。

5.根据根据权利要求1或2所述基于多角度的数据热迁移系统，其特征在于，所述目标单元为存储节点的热迁移：修改配置文件方式，实现节点之间的数据热迁移，迁移具体步骤如下：

准备：

服务器，hostname:nd0；服务器，hostname:nd1；服务器，hostname:ad10；A、将nd0中/etc/hosts中添加ad10服务器，所有节点保持hosts文件统一；B、ad10服务器复制nd0公/私钥；

B1 NameNode能免密码登录所有的DataNode；

B2)各NameNode能免密码登录自己；

B3)各NameNode间能免密码互登录；

B4)DataNode能免密码登录自己；

B5)DataNode不需要配置免密码登录NameNode和其它DataNode；

C、主节点nd0中添加ad10到slaves；

D、新建目录/data/hdfs/tmp；

步骤：

1)关闭旧nd1的namenode服务；

2)将旧nd1上面的元数据目录${dfs.namenode.name.dir}同步到新ad10节点的同样目录下；

3)修改旧nd1上的hdfs-site.xml配置,新ad10 ip地址加入进去；

把dfs.https.address属性和dfs.namenode.http-address属性的值修改为新NameNode地址+端口分发配置文件；

把修改后的hdfs-site.xml文件分发到集群上的其他机器上；

4)ad10上启动namenode服务；

先执行：hdfs namenode–bootstrapStandby

5)ad10,nd0上启动zkfc；

6)重新启动；

7)关闭防火墙。