CN108710621A - 一种基于ceph实现MySQL数据库水平扩展的方法 - Google Patents

一种基于ceph实现MySQL数据库水平扩展的方法 Download PDF

Info

Publication number
CN108710621A
CN108710621A CN201810200023.5A CN201810200023A CN108710621A CN 108710621 A CN108710621 A CN 108710621A CN 201810200023 A CN201810200023 A CN 201810200023A CN 108710621 A CN108710621 A CN 108710621A
Authority
CN
China
Prior art keywords
mysql
iscsi
ceph
horizontal extension
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810200023.5A
Other languages
English (en)
Inventor
李坤祥
霍键聪
黄劲聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Ruijiang Cloud Computing Co Ltd
Guangdong Eflycloud Computing Co Ltd
Original Assignee
Guangdong Ruijiang Cloud Computing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Ruijiang Cloud Computing Co Ltd filed Critical Guangdong Ruijiang Cloud Computing Co Ltd
Priority to CN201810200023.5A priority Critical patent/CN108710621A/zh
Publication of CN108710621A publication Critical patent/CN108710621A/zh
Pending legal-status Critical Current

Links

Abstract

一种基于ceph实现MySQL数据库水平扩展的方法，包括利用ceph实现MySQL数据库水平扩展过程：在ceph集群中创建一个存储池；在存储池上创建一个大容量的rbd镜像；在网关上挂载创建好的rbd镜像；在iSCSI服务端网关上安装好iSCSI服务端软件；在MySQL服务器上安装多路径软件和iSCSI客户端软件；配置好MySQL服务器上的iSCSI客户端软件；配置好MySQL服务器上的多路径软件，生成设备文件；对设备文件进行分区和格式化，把格式化后的设备文件挂载到本地文件系统上；安装MySQL数据库服务器软件，把MySQL数据库的数据目录指向挂载了多路径设备文件的本地文件系统的目录。本发明利用ceph弹性存储作为mysql数据文件系统后台，保证数据安全性、完整性；对存储容量做调整不会影响到mysql服务，提升mysql存储扩展能力。

Description

一种基于ceph实现MySQL数据库水平扩展的方法
技术领域
本发明涉及数据库技术领域，尤其涉及一种基于ceph实现MySQL数据库水平扩展的方法。
背景技术
Mysql数据文件存放在本地，数据安全没有保障，而且存储空间有限，不利于扩容。需要定时对数据做备份，影响服务质量。针对MySQL的扩容一般有垂直扩容和水平扩容。垂直扩容一般通过升级硬件来实现，如更换更好的cpu等；而水平扩容常用的方法有两种，一是不同的库或者表部署到不同的实例，二是一张表需要根据某个字段拆分到不同的字表中(数据分片)。
但是水平扩容的实现是存在缺陷的，比如某个子表还有瓶颈应该怎么扩容等，数据文件存放在本地，会导致数据安全没有保障；存放的空间也有限，不利于扩容；需要依赖MySQL提供的工具定时对数据做备份，易影响服务质量。
发明内容
本发明的目的在于提出一种基于ceph实现MySQL数据库水平扩展的方法，通过ceph为MySQL提供无限的水平扩展能力，使其在不影响服务的情况下对MySQL的存储规模进行调整，也确保了MySQL数据的安全，同时能够轻易对MySQL数据做备份，不会影响到服务。
为达此目的，本发明采用以下技术方案：
一种基于ceph实现MySQL数据库水平扩展的方法，包括利用ceph实现MySQL数据库水平扩展的过程：
步骤A：在ceph集群中创建一个pool_mysql存储池；
步骤B：在pool_mysql存储池上创建一个大容量的rbd镜像；
步骤C：配置多台iSCSI服务端网关，并在网关上挂载创建好的rbd镜像；
步骤D：在iSCSI服务端网关上安装好iSCSI服务端软件；
步骤E：在MySQL服务器上安装多路径软件和iSCSI客户端软件；
步骤F：配置好MySQL服务器上的iSCSI客户端软件；
步骤G：配置好MySQL服务器上的多路径软件，生成设备文件；
步骤H：对设备文件进行分区和格式化，并把格式化后的设备文件挂载到本地文件系统上；
步骤I：安装MySQL数据库服务器软件，并把MySQL数据库的数据目录指向挂载了多路径设备文件的本地文件系统的目录。
优选的，包括配置iSCSI服务端软件的过程：
步骤D1：创建iSCSI target；
步骤D2：根据挂载好的rbd镜像路径创建一个iSCSI lun设备；
步骤D3：将创建好的iSCSI lun设备加入到创建好的iSCSI target。
优选的，配置好MySQL服务器上的iSCSI客户端软件包括将iSCSI客户端软件连接上每个iSCSI target。
优选的，配置MySQL服务器上的多路径软件包括将已连接的iSCSI target添加到多路径分组中，并生成多路径组的设备文件。
优选的，创建iSCSI target时，iSCSI target的名称要实现唯一。
附图说明
图1是本发明的利用ceph实现MySQL数据库水平扩展的流程图；
图2是本发明的运行框架图。
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
本实施例的一种基于ceph实现MySQL数据库水平扩展的方法，如图1所示，包括利用ceph实现MySQL数据库水平扩展的过程：
步骤A：在ceph集群中创建一个pool_mysql存储池；
步骤B：在pool_mysql存储池上创建一个大容量的rbd镜像，如一个10T的img_mysql镜像；
步骤C：配置多台iSCSI服务端网关，并在网关上挂载创建好的rbd镜像；
步骤D：在iSCSI服务端网关上安装好iSCSI服务端软件；
步骤E：在MySQL服务器上安装多路径软件(multipath)和iSCSI客户端软件(iSCSIinitiator)；
步骤F：配置好MySQL服务器上的iSCSI客户端软件(iSCSI initiator)；
步骤G：配置好MySQL服务器上的多路径软件(multipath)，生成设备文件；
步骤H：对设备文件进行分区和格式化，并把格式化后的设备文件挂载到本地文件系统上，如/mnt/mysql_ceph；
步骤I：安装MySQL数据库服务器软件，并把MySQL数据库的数据目录指向挂载了多路径设备文件的本地文件系统的目录，即将数据目录指向/mnt/mysql_ceph。
如图2所示，配置完成后，MySQL在向数据目录读写数据时，会将数据提交到multipath模块，即多路径软件上，而multipath模块根据路径选择策略选择一条适当的路径，也就是提交到其中一台iSCSI target，iSCSI target再根据lun和rbd的绑定关系，调用ceph块存储接口读写数据。
优选的，包括配置iSCSI服务端软件的过程：
步骤D1：创建iSCSI target，如iqn.2017-10.cc.efly:rbdtarget-1，在实际运行中需要根据实际情况修改名称；
步骤D2：根据挂载好的rbd镜像路径创建一个iSCSI lun设备，即根据挂载好的rbd路径(如/dev/rbd0)，创建一个iSCSI lun设备；
步骤D3：将创建好的iSCSI lun设备加入到创建好的iSCSI target。
优选的，配置好MySQL服务器上的iSCSI客户端软件包括将iSCSI客户端软件连接上每个iSCSI target。
优选的，配置MySQL服务器上的多路径软件包括将已连接的iSCSI target添加到多路径分组中，这是在/dev/mapper目录会生成多路径组的设备文件。
优选的，创建iSCSI target时，iSCSI target的名称要实现唯一。
本发明的有益效果：
1、部分iSCSI target服务器出现问题时，不会影响到MySQL服务，因为存在着多个iSCSI target服务器；
2、ceph提供了无限的水平扩展能力，MySQL的存储规模能在不影响服务的情况下进行调整；
3、ceph提高了MySQL的数据安全，确保数据不会丢失；
4、通过ceph rbd指向的ceph镜像做快照就能对MySQL数据进行备份，不会对MySQL服务产生任何影响。
即利用ceph弹性存储作为mysql数据文件系统后台，保证数据安全性、完整性；对存储容量做调整不会影响到mysql服务，大大提升mysql存储扩展能力。
以上结合具体实施例描述了本发明的技术原理。这些描述只是为了解释本发明的原理，而不能以任何方式解释为对本发明保护范围的限制。基于此处的解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式，这些方式都将落入本发明的保护范围之内。

Claims (5)

1.一种基于ceph实现MySQL数据库水平扩展的方法，其特征在于：包括利用ceph实现MySQL数据库水平扩展的过程：
步骤A：在ceph集群中创建一个pool_mysql存储池；
步骤B：在pool_mysql存储池上创建一个大容量的rbd镜像；
步骤C：配置多台iSCSI服务端网关，并在网关上挂载创建好的rbd镜像；
步骤D：在iSCSI服务端网关上安装好iSCSI服务端软件；
步骤E：在MySQL服务器上安装多路径软件和iSCSI客户端软件；
步骤F：配置好MySQL服务器上的iSCSI客户端软件；
步骤G：配置好MySQL服务器上的多路径软件，生成设备文件；
步骤H：对设备文件进行分区和格式化，并把格式化后的设备文件挂载到本地文件系统上；
步骤I：安装MySQL数据库服务器软件，并把MySQL数据库的数据目录指向挂载了多路径设备文件的本地文件系统的目录。
2.根据权利要求1所述一种基于ceph实现MySQL数据库水平扩展的方法，其特征在于：
包括配置iSCSI服务端软件的过程：
步骤D1：创建iSCSI target；
步骤D2：根据挂载好的rbd镜像路径创建一个iSCSI lun设备；
步骤D3：将创建好的iSCSI lun设备加入到创建好的iSCSI target；
步骤D4：确认每台iSCSI服务端网关都进行了配置。
3.根据权利要求1所述一种基于ceph实现MySQL数据库水平扩展的方法，其特征在于：
配置好MySQL服务器上的iSCSI客户端软件包括将iSCSI客户端软件连接上每个iSCSItarget。
4.根据权利要求1所述一种基于ceph实现MySQL数据库水平扩展的方法，其特征在于：
配置MySQL服务器上的多路径软件包括将已连接的iSCSI target添加到多路径分组中，并生成多路径组的设备文件。
5.根据权利要求2所述一种基于ceph实现MySQL数据库水平扩展的方法，其特征在于：
创建iSCSI target时，iSCSI target的名称要实现唯一。
CN201810200023.5A 2018-03-12 2018-03-12 一种基于ceph实现MySQL数据库水平扩展的方法 Pending CN108710621A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810200023.5A CN108710621A (zh) 2018-03-12 2018-03-12 一种基于ceph实现MySQL数据库水平扩展的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810200023.5A CN108710621A (zh) 2018-03-12 2018-03-12 一种基于ceph实现MySQL数据库水平扩展的方法

Publications (1)

Publication Number Publication Date
CN108710621A true CN108710621A (zh) 2018-10-26

Family

ID=63866241

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810200023.5A Pending CN108710621A (zh) 2018-03-12 2018-03-12 一种基于ceph实现MySQL数据库水平扩展的方法

Country Status (1)

Country Link
CN (1) CN108710621A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109814946A (zh) * 2018-12-29 2019-05-28 创新科存储技术（深圳）有限公司 一种在XenServer中实现分布式存储的方法和装置
CN112328571A (zh) * 2020-11-25 2021-02-05 创新奇智(重庆)科技有限公司 对象存储方法、装置及通信设备、存储介质
CN112799602A (zh) * 2021-02-24 2021-05-14 浪潮云信息技术股份公司 一种云硬盘在线扩容方法
CN113254275A (zh) * 2021-05-20 2021-08-13 紫光云技术有限公司 一种基于分布式块设备的MySQL高可用架构方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100061375A1 (en) * 2006-10-26 2010-03-11 Jinsheng Yang Network Data Storing System and Data Accessing Method
CN102930062A (zh) * 2012-11-30 2013-02-13 南京富士通南大软件技术有限公司 一种数据库快速水平扩展的方法
CN103324732A (zh) * 2013-06-29 2013-09-25 优视科技有限公司 Mysql数据库水平切分方法、mysql连接建立方法及装置
CN106446275A (zh) * 2016-10-21 2017-02-22 国云科技股份有限公司 一种支持文件系统扩容的容器实现方法
CN106445741A (zh) * 2016-09-28 2017-02-22 郑州云海信息技术有限公司 一种基于ceph实现oracle数据库容灾备份方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100061375A1 (en) * 2006-10-26 2010-03-11 Jinsheng Yang Network Data Storing System and Data Accessing Method
CN102930062A (zh) * 2012-11-30 2013-02-13 南京富士通南大软件技术有限公司 一种数据库快速水平扩展的方法
CN103324732A (zh) * 2013-06-29 2013-09-25 优视科技有限公司 Mysql数据库水平切分方法、mysql连接建立方法及装置
CN106445741A (zh) * 2016-09-28 2017-02-22 郑州云海信息技术有限公司 一种基于ceph实现oracle数据库容灾备份方法
CN106446275A (zh) * 2016-10-21 2017-02-22 国云科技股份有限公司 一种支持文件系统扩容的容器实现方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109814946A (zh) * 2018-12-29 2019-05-28 创新科存储技术（深圳）有限公司 一种在XenServer中实现分布式存储的方法和装置
CN109814946B (zh) * 2018-12-29 2022-03-25 深圳创新科技术有限公司 一种在XenServer中实现分布式存储的方法和装置
CN112328571A (zh) * 2020-11-25 2021-02-05 创新奇智(重庆)科技有限公司 对象存储方法、装置及通信设备、存储介质
CN112799602A (zh) * 2021-02-24 2021-05-14 浪潮云信息技术股份公司 一种云硬盘在线扩容方法
CN113254275A (zh) * 2021-05-20 2021-08-13 紫光云技术有限公司 一种基于分布式块设备的MySQL高可用架构方法

Similar Documents

Publication Publication Date Title
CN108710621A (zh) 一种基于ceph实现MySQL数据库水平扩展的方法
US11068350B2 (en) Reconciliation in sync replication
CN103268318B (zh) 一种强一致性的分布式键值数据库系统及其读写方法
US20220124149A1 (en) Synchronous replication for storage
US9946727B2 (en) Synchronizing user states across multiple clients of a NAS system
CN107734026B (zh) 一种网络附加存储集群的设计方法、装置及设备
CN102521072B (zh) 虚拟磁带库设备及数据恢复方法
CN103780638B (zh) 数据同步方法及系统
CN105677703A (zh) Nas文件系统及其访问方法和装置
EP3449373B1 (en) Cross-platform replication
JP2017531250A (ja) 粒状同期／半同期アーキテクチャ
US9348715B2 (en) Storage device health status synchronization
CN102024044A (zh) 分布式文件系统
US8566636B2 (en) Application recovery in a file system
CN102117287A (zh) 分布式文件系统访问方法、元数据服务器及客户端
CN103942112A (zh) 磁盘容错方法、装置及系统
US9830237B2 (en) Resynchronization with compliance data preservation
CN104866234A (zh) 数据迁移方法、装置及系统
CN103037004A (zh) 云存储系统操作的实现方法和装置
CN104023246A (zh) 一种视频数据私有云存储系统和视频数据私有云存储方法
CN101808127A (zh) 数据备份方法、系统和服务器
CN103067488A (zh) 一种统一存储的实现方法
CN106027638B (zh) 一种基于混合编码的hadoop数据分发方法
CN107506265A (zh) 一种基于互联网的差异性远程文件备份与恢复系统
CN105260377A (zh) 一种基于分级存储的升级方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181026

RJ01 Rejection of invention patent application after publication