CN112800029A - 一种ceph集群整体迁移的方法 - Google Patents

一种ceph集群整体迁移的方法 Download PDF

Info

Publication number
CN112800029A
CN112800029A CN202110128930.5A CN202110128930A CN112800029A CN 112800029 A CN112800029 A CN 112800029A CN 202110128930 A CN202110128930 A CN 202110128930A CN 112800029 A CN112800029 A CN 112800029A
Authority
CN
China
Prior art keywords
cluster
processor
ceph
migration
montap
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110128930.5A
Other languages
English (en)
Inventor
贾如瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Unicloud Technology Co Ltd
Original Assignee
Unicloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Unicloud Technology Co Ltd filed Critical Unicloud Technology Co Ltd
Priority to CN202110128930.5A priority Critical patent/CN112800029A/zh
Publication of CN112800029A publication Critical patent/CN112800029A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/214—Database migration support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Hardware Redundancy (AREA)

Abstract

本发明创造提供了一种ceph集群整体迁移的方法，包括以下步骤：S1、更改各机器IP地址，通过修改IP的配置文件，重启网卡后生效；S2、更改每台机器/etc/hosts文件中的ip地址，这个是对应集群的互联信息；S3、更改ceph.conf文件中的ip地址，并且同步至集群中的所有机器；S4、更改monmap并且写入ceph集群中。本发明创造有益效果：一种ceph集群整体迁移的方法集群数据无丢失，且可以完成跨区域的迁移，集群性能无影响，迁移完成后业务正常；成本较低，不需要额外的存储介质，完成整体迁移，且实施方便。

Description

一种ceph集群整体迁移的方法
技术领域
本发明创造属于ceph集群领域，尤其是涉及一种ceph集群整体迁移的方法。
背景技术
新兴的大型分布式存储系统面临任务是在数十个数据之间分配PB级数据或数十万个存储设备。这样的系统必须平均分配数据和工作负载，以有效地利用可用资源并最大化系统性能。然而在日常运行中可能会有扩容或者迁移机房的过程，此时的系统IP就会得到修改，因此亟需一种可以实现集群整体迁移且数据不会丢失的解决方案。
发明创造内容
有鉴于此，本发明创造旨在提出一种ceph集群整体迁移的方法，以解决上述问题中的不足之处。
为达到上述目的，本发明创造的技术方案是这样实现的：
第一方面本发明提出了一种ceph集群整体迁移的方法，包括以下步骤：
S1、更改各机器IP地址，通过修改IP的配置文件，重启网卡后生效；
S2、更改每台机器/etc/hosts文件中的ip地址，这个是对应集群的互联信息；
S3、更改ceph.conf文件中的ip地址，并且同步至集群中的所有机器；
S4、更改monmap并且写入ceph集群中。
进一步的，步骤S4中所述的更改monmap并且写入ceph集群中的方法包括以下步骤：
A1、生成新的monmap；
A2、由于新生成的monmap文件中，mon名称是随机生成的，因此需要进行修改，首先删除错误的mon名称，然后填写正确的mon ip及对应名称；
A3、将当前配置完成的monmap拷贝至所有其他节点；
A4、在每一个monitor节点执行命令，使monmap的修改内容写入ceph集群；
A5、重启每一个monitor节点，ip地址修改完成。
进一步的，在重启monitor后需要enable msgr2以解决MON_MSGR2_NOT_ENABLED3monitors have not enabled msgr2报错的问题；然后执行脚本重启osd，应挨个重启osd，之后业务恢复正常，完成集群的整体迁移。
第二方面本发明提出了一种电子设备，包括处理器以及与处理器通信连接，且用于存储所述处理器可执行指令的存储器，所述处理器用于执行上述第一方面所述的一种ceph集群整体迁移的方法。
第三方面本发明提出了一种服务器，包括至少一个处理器，以及与所述处理器通信连接的存储器，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述处理器执行，以使所述至少一个处理器执行如第一方面所述的一种ceph集群整体迁移的方法。
第四方面本发明提出了一种计算机可读取存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的一种ceph集群整体迁移的方法。
相对于现有技术，本发明创造所述的一种ceph集群整体迁移的方法具有以下优势：
(1)本发明创造所述的一种ceph集群整体迁移的方法集群数据无丢失，且可以完成跨区域的迁移，集群性能无影响，迁移完成后业务正常；
(2)本发明创造所述的一种ceph集群整体迁移的方法成本较低，不需要额外的存储介质，完成整体迁移，且实施方便；
(3)本发明创造所述的一种ceph集群整体迁移的方法容灾能力强，且系统可以扩缩容；
(4)本发明创造所述的一种ceph集群整体迁移的方法支持主流的系统操作，包括Ubuntu、CentOS、SUSE、macOS等系统。通用性好；
(5)本发明创造所述的一种ceph集群整体迁移的方法集群恢复过程中不会占用太多的系统资源，且不需要osd之间数据的迁移；
(6)本发明创造所述的一种ceph集群整体迁移的方法可以通过脚本执行，方便快捷。
附图说明
构成本发明创造的一部分的附图用来提供对本发明创造的进一步理解，本发明创造的示意性实施例及其说明用于解释本发明创造，并不构成对本发明创造的不当限定。在附图中：
图1为本发明创造实施例所述的一种ceph集群整体迁移的方法示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明创造中的实施例及实施例中的特征可以相互组合。
下面将参考附图并结合实施例来详细说明本发明创造。
Ceph在线上跑了一段时间后，会存在大量的数据。当物理机新规划了Ceph的专属网络，就需要把集群地址整体移过去，具体步骤如下：
1.更改各机器IP地址，通过修改IP的配置文件，重启网卡后生效。
2.更改每台机器/etc/hosts文件中的ip地址，这个是对应集群的互联信息。
3.更改ceph.conf文件中的ip地址，并且同步至集群中的所有机器(这里以node1,node2,node3为例)：
#ceph-deploy--overwrite-conf config push node1 node2 node3
4.更改monmap并且写入ceph集群中，具体步骤如下：
(1)生成新的monmap
#monmaptool--create--generate-c/etc/ceph/ceph.conf/etc/ceph/monmap
可通过monmaptool--print monmap查看生成的monmap的信息
(2)新生成的monmap文件中，mon名称是随机生成的，需要进行修改：首先删除错误的mon名称(noname-a,noname-b,noname-c为随机生成的mon名称)：#monmaptool--rmnoname-a--rm noname-b--rm noname-c monmap然后填写正确的mon ip及对应名称：#monmaptool--add node1 10.0.47.149:6789--add node210.0.47.175:6789--add node310.0.47.139:6789monmap
(3)将当前配置完成的monmap拷贝至所有其他节点
(4)在每一个monitor节点执行如下命令，使monmap的修改内容写入ceph集群：
#systemctl stop ceph-mon@node1
#ceph-mon-i{monitorname}--inject-monmap monmap
重启每一个monitor节点，至此，ip地址修改完成。
5、在重启monitor后需要enable msgr2以解决MON_MSGR2_NOT_ENABLED3monitorshave not enabled msgr2报错的问题；然后执行脚本重启osd:应挨个重启osd，之后业务恢复正常，完成集群的整体迁移，其流程如图1所示。
一种ceph集群整体迁移的方法，包括以下步骤：
S1、更改各机器IP地址，通过修改IP的配置文件，重启网卡后生效；
S2、更改每台机器/etc/hosts文件中的ip地址，这个是对应集群的互联信息；
S3、更改ceph.conf文件中的ip地址，并且同步至集群中的所有机器；
S4、更改monmap并且写入ceph集群中。
步骤S4中所述的更改monmap并且写入ceph集群中的方法包括以下步骤：
A1、生成新的monmap；
A2、由于新生成的monmap文件中，mon名称是随机生成的，因此需要进行修改，首先删除错误的mon名称，然后填写正确的mon ip及对应名称；
A3、将当前配置完成的monmap拷贝至所有其他节点；
A4、在每一个monitor节点执行命令，使monmap的修改内容写入ceph集群；
A5、重启每一个monitor节点，ip地址修改完成。
在重启monitor后需要enable msgr2以解决MON_MSGR2_NOT_ENABLED 3monitorshave not enabled msgr2报错的问题；然后执行脚本重启osd，应挨个重启osd，之后业务恢复正常，完成集群的整体迁移。
一种电子设备，包括处理器以及与处理器通信连接，且用于存储所述处理器可执行指令的存储器，所述处理器用于执行上述的一种ceph集群整体迁移的方法。
一种服务器，包括至少一个处理器，以及与所述处理器通信连接的存储器，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述处理器执行，以使所述至少一个处理器执行上述的一种ceph集群整体迁移的方法。
一种计算机可读取存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述一种ceph集群整体迁移的方法。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和系统，可以通过其它的方式实现。例如，以上所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。上述单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
以上所述仅为本发明创造的较佳实施例而已，并不用以限制本发明创造，凡在本发明创造的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明创造的保护范围之内。

Claims (6)

1.一种ceph集群整体迁移的方法，其特征在于，包括以下步骤：
S1、更改各机器IP地址，通过修改IP的配置文件，重启网卡后生效；
S2、更改每台机器/etc/hosts文件中的ip地址，这个是对应集群的互联信息；
S3、更改ceph.conf文件中的ip地址，并且同步至集群中的所有机器；
S4、更改monmap并且写入ceph集群中。
2.根据权利要求1所述的一种ceph集群整体迁移的方法，其特征在于，步骤S4中所述的更改monmap并且写入ceph集群中的方法包括以下步骤：
A1、生成新的monmap；
A2、由于新生成的monmap文件中，mon名称是随机生成的，因此需要进行修改，首先删除错误的mon名称，然后填写正确的mon ip及对应名称；
A3、将当前配置完成的monmap拷贝至所有其他节点；
A4、在每一个monitor节点执行命令，使monmap的修改内容写入ceph集群；
A5、重启每一个monitor节点，ip地址修改完成。
3.根据权利要求1所述的一种ceph集群整体迁移的方法，其特征在于：在重启monitor后需要enable msgr2以解决MON_MSGR2_NOT_ENABLED 3 monitors have not enabledmsgr2报错的问题；然后执行脚本重启osd，应挨个重启osd，之后业务恢复正常，完成集群的整体迁移。
4.一种电子设备，包括处理器以及与处理器通信连接，且用于存储所述处理器可执行指令的存储器，其特征在于：所述处理器用于执行上述权利要求1-3任一所述的一种ceph集群整体迁移的方法。
5.一种服务器，其特征在于：包括至少一个处理器，以及与所述处理器通信连接的存储器，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述处理器执行，以使所述至少一个处理器执行如权利要求1-3任一所述的一种ceph集群整体迁移的方法。
6.一种计算机可读取存储介质，存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1-3任一项所述的一种ceph集群整体迁移的方法。
CN202110128930.5A 2021-01-29 2021-01-29 一种ceph集群整体迁移的方法 Pending CN112800029A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110128930.5A CN112800029A (zh) 2021-01-29 2021-01-29 一种ceph集群整体迁移的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110128930.5A CN112800029A (zh) 2021-01-29 2021-01-29 一种ceph集群整体迁移的方法

Publications (1)

Publication Number Publication Date
CN112800029A true CN112800029A (zh) 2021-05-14

Family

ID=75812993

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110128930.5A Pending CN112800029A (zh) 2021-01-29 2021-01-29 一种ceph集群整体迁移的方法

Country Status (1)

Country Link
CN (1) CN112800029A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114189496A (zh) * 2022-02-16 2022-03-15 苏州浪潮智能科技有限公司 一种集群系统的ip修改方法、装置及相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107547635A (zh) * 2017-08-04 2018-01-05 新华三大数据技术有限公司 大数据集群主机ip地址修改方法及装置
CN109039743A (zh) * 2018-08-03 2018-12-18 西安东美信息科技有限公司 分布式存储ceph群集网络的集中管理方法
CN111506555A (zh) * 2020-03-13 2020-08-07 平安科技（深圳）有限公司 Druid集群的迁移方法、装置及计算机设备
CN112055087A (zh) * 2020-09-10 2020-12-08 厦门市美亚柏科信息股份有限公司 一种Mongodb集群快速部署、迁移和维护的方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107547635A (zh) * 2017-08-04 2018-01-05 新华三大数据技术有限公司 大数据集群主机ip地址修改方法及装置
CN109039743A (zh) * 2018-08-03 2018-12-18 西安东美信息科技有限公司 分布式存储ceph群集网络的集中管理方法
CN111506555A (zh) * 2020-03-13 2020-08-07 平安科技（深圳）有限公司 Druid集群的迁移方法、装置及计算机设备
CN112055087A (zh) * 2020-09-10 2020-12-08 厦门市美亚柏科信息股份有限公司 一种Mongodb集群快速部署、迁移和维护的方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
TURINGM: "Ceph集群网络切换", 《博客园》 *
夜雨狂歌如梦: "Ceph集群更改IP地址", 《CSDN》 *
步孤天: "修改ceph的IP地址", 《博客园》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114189496A (zh) * 2022-02-16 2022-03-15 苏州浪潮智能科技有限公司 一种集群系统的ip修改方法、装置及相关设备

Similar Documents

Publication Publication Date Title
CN110362381A (zh) Hdfs集群高可用部署方法、系统、设备及存储介质
CN111290834A (zh) 一种基于云管理平台实现业务高可用的方法、装置及设备
CN109376197B (zh) 一种数据同步方法、服务器及计算机存储介质
WO2020248507A1 (zh) 基于容器云的系统资源监控方法及相关设备
CN102088490B (zh) 数据存储方法、设备和系统
CN113032085A (zh) 云操作系统的管理方法、装置、服务器、管理系统及介质
CN101136728A (zh) 群集系统和用于备份群集系统中的副本的方法
CN110048896B (zh) 一种集群数据获取方法、装置及设备
Barr et al. Building fault-tolerant applications on AWS
US20210320977A1 (en) Method and apparatus for implementing data consistency, server, and terminal
CN112597249A (zh) 一种业务数据的同步分发存储方法及系统
CN111641521A (zh) 一种基于Ambari的云上部署大数据集群的方法
US11500812B2 (en) Intermediate file processing method, client, server, and system
CN112800029A (zh) 一种ceph集群整体迁移的方法
CN109298977A (zh) 一种虚拟机业务快速恢复方法、系统、装置及存储介质
CN112231399A (zh) 一种应用于图数据库的方法和装置
CN109614139A (zh) 一种系统服务配置方法、装置、设备及介质
CN114816656A (zh) 容器组迁移方法、电子设备及存储介质
CN110502460B (zh) 数据处理的方法和节点
CN108614873B (zh) 一种数据处理方法及装置
CN113472849A (zh) 一种节点的管理方法、系统、设备以及介质
CN111142921A (zh) 软件升级方法及装置
CN114466017B (zh) kubernetes边缘集群的数据监测方法和装置
CN113708960B (zh) 一种Zookeeper集群的部署方法、装置及设备
CN115277735B (zh) 数据的处理方法和装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210514