CN113032186A - 一种基于raid与ceph的数据存储方法及其系统 - Google Patents

一种基于raid与ceph的数据存储方法及其系统 Download PDF

Info

Publication number
CN113032186A
CN113032186A CN202110561936.1A CN202110561936A CN113032186A CN 113032186 A CN113032186 A CN 113032186A CN 202110561936 A CN202110561936 A CN 202110561936A CN 113032186 A CN113032186 A CN 113032186A
Authority
CN
China
Prior art keywords
data
disk
raid1
server
rbd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110561936.1A
Other languages
English (en)
Inventor
梁润强
麦剑
史伟
闵宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Eflycloud Computing Co Ltd
Original Assignee
Guangdong Eflycloud Computing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Eflycloud Computing Co Ltd filed Critical Guangdong Eflycloud Computing Co Ltd
Priority to CN202110561936.1A priority Critical patent/CN113032186A/zh
Publication of CN113032186A publication Critical patent/CN113032186A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062—Securing storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于raid与ceph的数据存储方法及其系统，方法步骤包括：服务器采用raid1技术将服务器的本地磁盘和ceph集群单元的rbd磁盘形成一个raid1服务单元；服务器的应用程序单元写入数据至raid1服务单元，raid1服务单元将数据写入本地磁盘，并将数据复制于rbd磁盘；当本地磁盘需要数据恢复时，则服务器将对应的rbd磁盘内的数据恢复至本地磁盘。本发明基于raid1的数据复制技术，把本地磁盘的存储数据同步到分布式存储rbd磁盘，使得本地存储读写性能快、效率高的优势结合分布式存储数据安全性和扩容性比较好的优势，从而大大提高存储效率和安全性能。

Description

一种基于raid与ceph的数据存储方法及其系统
技术领域
本发明涉及数据存储技术领域，特别涉及一种基于raid与ceph的数据存储方法及其系统。
背景技术
本地存储通常是指存储设备在同物理机上，比如日常的本地硬盘。
分布式存储通常是指通过网络挂载的，后端由多台分布式的存储服务器提供的存储服务。
本地存储优势在于读写性能快，效率高；分布式存储由于通过网络方式使用，因此相对于本地存储读写性能效率等都不如，但数据安全性和扩容性比较好。
因此，具体怎么才能完美地结合本地存储和ceph分布式存储的优势，是本发明需要解决的问题。
发明内容
本发明为了解决上述问题之一，提供一种基于raid与ceph的数据存储方法及其系统，基于raid1的数据复制技术，把本地磁盘的存储数据同步到分布式存储rbd磁盘，使得本地存储读写性能快、效率高的优势结合分布式存储数据安全性和扩容性比较好的优势，从而大大提高存储效率和安全性能。
为解决上述技术问题，本发明提供如下技术方案：一种基于raid与ceph的数据存储方法，包括以下步骤：
服务器采用raid1技术将服务器的本地磁盘和ceph集群单元的rbd磁盘形成一个raid1服务单元；
服务器的应用程序单元写入数据至raid1服务单元，raid1服务单元将数据写入本地磁盘，并将数据复制于rbd磁盘。
进一步地，所述一种基于raid与ceph的数据存储方法，还包括：当本地磁盘需要数据恢复时，则服务器将对应的rbd磁盘内的数据恢复至本地磁盘。
本发明另一目的是提供一种基于raid与ceph的数据存储系统，包括服务器和ceph集群单元，所述服务器包括应用程序单元和本地磁盘，所述ceph集群单元包括rbd磁盘；
所述服务器用于采用raid1技术将服务器的本地磁盘和ceph集群单元的rbd磁盘形成一个raid1服务单元；
所述应用程序单元用于写入数据至所述raid1服务单元；
所述raid1服务单元用于将数据写入所述本地磁盘，并将数据复制于所述rbd磁盘。
进一步地，所述服务器还用于：当本地磁盘需要数据恢复时，则服务器将对应的rbd磁盘内的数据恢复至本地磁盘。
采用上述技术方案后，本发明至少具有如下有益效果：结合本地存储和分布式存储两者优势和劣势互补的方案，直接使用本地存储提供存储读写服务，然后通过日志型的流水方式对接分布式存储ceph rbd做数据容灾，可充分利用两者存储方法的优势，大大提高存储效益。
附图说明
图1为本发明一种基于raid与ceph的数据存储方法的步骤流程图；
图2为本发明一种基于raid与ceph的数据存储系统的框架图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本申请作进一步详细说明。
实施例1
本实施例提供一种结合本地存储和分布式存储两者优势和劣势互补的方案，直接使用本地存储提供存储读写服务，然后通过日志型的流水方式对接分布式存储ceph rbd做数据容灾。
其中，raid技术指的是：磁盘阵列（Redundant Arrays of Independent Disks，raid），有“独立磁盘构成的具有冗余能力的阵列”之意，作用是防止硬盘物理损坏以及增加存储设备的吞吐量。
raid常见的组合有0、1、5和10。
raid0：需要至少两块(含)硬盘，可以有效的提高硬盘的性能和吞吐量，但没有数据的冗余和错误修复能力。
raid1：需要至少两块(含)硬盘，可以有效的提高数据资料的安全性和可修复性，但成本却提高了；
raid5：需要至少三块(含)硬盘，兼顾存储性能、数据安全和储存成本；
raid10：需要至少四块（含）硬盘，兼具速度和安全性，但成本很高。
而本实施例就是利用raid1技术来实现。由上述可得，raid1技术是一个常用的技术方法，列如有disk0 和 disk1 两个物理硬盘，适用raid1技术后，一份数据会分别写入disk0、disk1，是一种简单高效快捷的数据复制技术；
如图1所示，本实施例公开一种基于raid与ceph的数据存储方法，包括以下步骤：
服务器采用raid1技术将服务器的本地磁盘和ceph集群单元的rbd磁盘形成一个raid1服务单元；
服务器的应用程序单元写入数据至raid1服务单元，raid1服务单元将数据写入本地磁盘，并将数据复制于rbd磁盘；
当本地磁盘需要数据恢复时，则服务器将对应的rbd磁盘内的数据恢复至本地磁盘。
本实施例中，本地磁盘是我们常见的物理磁盘，直接安装在物理设备之上；而rbd磁盘，是基于ceph nrbd技术，把远程的磁盘映射到本地使用，用法跟本地磁盘一样；利用raid1技术，把本地磁盘和rbd磁盘组成一个raid1服务，那么应用程序直接对本地磁盘写入数据时，raid1技术会把数据复制一份到rbd磁盘。使用这个技术的优势在于，应用程序直接读写本地磁盘，读写速度快效率高，那么数据容灾备份问题就交由rbd磁盘去解决，raid1技术把数据同步一份到rbd磁盘后，数据将由后端的ceph集群负责存储，有相关的数据容灾备份安全。
实施例2
本实施例是在实施例1方法基础上公开一种基于raid与ceph的数据存储系统，如图2所示，包括服务器和ceph集群单元，所述服务器包括应用程序单元和本地磁盘，所述ceph集群单元包括rbd磁盘；
所述服务器用于采用raid1技术将服务器的本地磁盘和ceph集群单元的rbd磁盘形成一个raid1服务单元；
所述应用程序单元用于写入数据至所述raid1服务单元；
所述raid1服务单元用于将数据写入所述本地磁盘，并将数据复制于所述rbd磁盘；
所述服务器还用于：当本地磁盘需要数据恢复时，则服务器将对应的rbd磁盘内的数据恢复至本地磁盘。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解的是，在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种等效的变化、修改、替换和变型，本发明的范围由所附权利要求及其等同范围限定。

Claims (4)

1.一种基于raid与ceph的数据存储方法，其特征在于，包括以下步骤：
服务器采用raid1技术将服务器的本地磁盘和ceph集群单元的rbd磁盘形成一个raid1服务单元；
服务器的应用程序单元写入数据至raid1服务单元，raid1服务单元将数据写入本地磁盘，并将数据复制于rbd磁盘。
2.根据权利要求1所述的一种基于raid与ceph的数据存储方法，其特征在于，还包括：当本地磁盘需要数据恢复时，则服务器将对应的rbd磁盘内的数据恢复至本地磁盘。
3.一种基于raid与ceph的数据存储系统，包括服务器和ceph集群单元，所述服务器包括应用程序单元和本地磁盘，所述ceph集群单元包括rbd磁盘；其特征在于，所述服务器用于采用raid1技术将服务器的本地磁盘和ceph集群单元的rbd磁盘形成一个raid1服务单元；
所述应用程序单元用于写入数据至所述raid1服务单元；
所述raid1服务单元用于将数据写入所述本地磁盘，并将数据复制于所述rbd磁盘。
4.根据权利要求3所述的一种基于raid与ceph的数据存储系统，其特征在于，所述服务器还用于：当本地磁盘需要数据恢复时，则服务器将对应的rbd磁盘内的数据恢复至本地磁盘。
CN202110561936.1A 2021-05-24 2021-05-24 一种基于raid与ceph的数据存储方法及其系统 Pending CN113032186A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110561936.1A CN113032186A (zh) 2021-05-24 2021-05-24 一种基于raid与ceph的数据存储方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110561936.1A CN113032186A (zh) 2021-05-24 2021-05-24 一种基于raid与ceph的数据存储方法及其系统

Publications (1)

Publication Number Publication Date
CN113032186A true CN113032186A (zh) 2021-06-25

Family

ID=76455522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110561936.1A Pending CN113032186A (zh) 2021-05-24 2021-05-24 一种基于raid与ceph的数据存储方法及其系统

Country Status (1)

Country Link
CN (1) CN113032186A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114079616A (zh) * 2021-11-02 2022-02-22 中国船舶重工集团公司第七0三研究所 一种非热备磁盘阵列服务器数据库冗余方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101398744B (zh) * 2007-09-26 2011-12-28 新奥特硅谷视频技术有限责任公司 利用虚拟文件系统技术实现网络数据处理的方法及系统
CN107526544A (zh) * 2017-08-16 2017-12-29 国家电网公司 一种分布式存储Ceph集群硬件选型设计方法
CN111158587A (zh) * 2019-12-10 2020-05-15 南京道熵信息技术有限公司 基于存储池虚拟化管理的分布式存储系统及数据读写方法
CN107729536B (zh) * 2017-10-31 2020-09-08 新华三技术有限公司 一种数据存储方法和装置
CN213024370U (zh) * 2020-07-09 2021-04-20 中安浩瑞科技有限公司 一种容灾备份一体机

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101398744B (zh) * 2007-09-26 2011-12-28 新奥特硅谷视频技术有限责任公司 利用虚拟文件系统技术实现网络数据处理的方法及系统
CN107526544A (zh) * 2017-08-16 2017-12-29 国家电网公司 一种分布式存储Ceph集群硬件选型设计方法
CN107729536B (zh) * 2017-10-31 2020-09-08 新华三技术有限公司 一种数据存储方法和装置
CN111158587A (zh) * 2019-12-10 2020-05-15 南京道熵信息技术有限公司 基于存储池虚拟化管理的分布式存储系统及数据读写方法
CN213024370U (zh) * 2020-07-09 2021-04-20 中安浩瑞科技有限公司 一种容灾备份一体机

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
韩京生，等，主编；: "《Windows 2000 Server中文版实用大全 2000年4月第1版》", 30 April 2000, 机械工业出版社 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114079616A (zh) * 2021-11-02 2022-02-22 中国船舶重工集团公司第七0三研究所 一种非热备磁盘阵列服务器数据库冗余方法
CN114079616B (zh) * 2021-11-02 2023-11-03 中国船舶重工集团公司第七0三研究所 一种非热备磁盘阵列服务器数据库冗余方法

Similar Documents

Publication Publication Date Title
TWI514249B (zh) 遠端非同步資料卷複製的方法及執行該方法的儲存系統
US7191299B1 (en) Method and system of providing periodic replication
US7308545B1 (en) Method and system of providing replication
US9405627B2 (en) Flexible data storage system
US7882081B2 (en) Optimized disk repository for the storage and retrieval of mostly sequential data
CN102024044B (zh) 分布式文件系统
CN102024016B (zh) 一种分布式文件系统快速数据恢复的方法
US6922752B2 (en) Storage system using fast storage devices for storing redundant data
CN109814807B (zh) 一种数据存储方法及装置
CN105183581A (zh) 一种数据库容灾系统
CN102955720A (zh) 一种提高ext文件系统稳定性的方法
CN103124961A (zh) 用于异步复制的基于主机的写入排序
US8135928B2 (en) Self-adjusting change tracking for fast resynchronization
CN102710752A (zh) 灾备存储系统
CN104424052A (zh) 一种自动冗余的分布式存储系统及方法
CN106528338A (zh) 一种远程数据复制方法、存储设备及存储系统
CN110324429A (zh) 基于分布式数据存储的备份方法及备份装置
JP2004348723A (ja) Ｒａｉｄ−１システムにおいてスペア処理するためのシステムおよび方法
JP2006331076A (ja) データ記憶システム及び記憶方法
CN111309245A (zh) 一种分层存储写入方法和装置、读取方法和装置及系统
US20070214313A1 (en) Apparatus, system, and method for concurrent RAID array relocation
CN113032186A (zh) 一种基于raid与ceph的数据存储方法及其系统
US20030200389A1 (en) System and method of cache management for storage controllers
CN101794246B (zh) 备份存储系统、备份系统及数据备份方法和恢复方法
CN116204137B (zh) 基于dpu的分布式存储系统、控制方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210625

RJ01 Rejection of invention patent application after publication