CN111813334B - 一种Ceph的写性能优化和双控节点组合方法 - Google Patents

一种Ceph的写性能优化和双控节点组合方法 Download PDF

Info

Publication number
CN111813334B
CN111813334B CN202010498497.XA CN202010498497A CN111813334B CN 111813334 B CN111813334 B CN 111813334B CN 202010498497 A CN202010498497 A CN 202010498497A CN 111813334 B CN111813334 B CN 111813334B
Authority
CN
China
Prior art keywords
controller
write
double
primary
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010498497.XA
Other languages
English (en)
Other versions
CN111813334A (zh
Inventor
黄遵祥
熊勇
沈杰
冒睿瑞
朱磊基
雷旸
刘磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Leadstor Technology Co ltd
No32 Research Institute Of China Electronics Technology Group Corp
Shanghai Institute of Microsystem and Information Technology of CAS
Original Assignee
Beijing Leadstor Technology Co ltd
No32 Research Institute Of China Electronics Technology Group Corp
Shanghai Institute of Microsystem and Information Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Leadstor Technology Co ltd, No32 Research Institute Of China Electronics Technology Group Corp, Shanghai Institute of Microsystem and Information Technology of CAS filed Critical Beijing Leadstor Technology Co ltd
Priority to CN202010498497.XA priority Critical patent/CN111813334B/zh
Publication of CN111813334A publication Critical patent/CN111813334A/zh
Application granted granted Critical
Publication of CN111813334B publication Critical patent/CN111813334B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2089—Redundant storage control functionality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0658—Controller construction arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种Ceph的写性能优化和双控节点组合方法，包括以下步骤：将Ceph强副本一致性写入策略改为Primary在本地写入日志盘完成后，就向客户端返回写完成；集群中的节点使用双控制器双存储阵列，即让节点中的双控分别控制着各自的存储阵列，并作为两个不同的OSD节点为集群提供存储服务；当一个控制器出现故障时，该节点中的另一个控制器快速启动新的OSD进程并接管故障控制器的存储阵列。本发明在保证存储数据的高可靠性和安全性的前提下，有效避免网络等不确定因素的干扰，大幅降低集群数据的写延迟，实现节点性能的双倍提升。

Description

一种Ceph的写性能优化和双控节点组合方法
技术领域
本发明涉及数据存储技术领域中的分布式存储技术，特别是涉及一种Ceph的写性能优化和双控节点组合方法。
背景技术
随着云计算、虚拟化等技术的飞速发展，软件定义一切的概念逐渐深入人心。而Ceph作为一种软件定义存储，可运行在所有的Linux和其他类UNIX操作系统之上，并且作为当前最热门的开源分布式存储系统之一，Ceph具有低成本、高稳定性、高可用性和高可扩展性等特点。作为一个统一的分布式存储系统，Ceph既支持传统的块存储和文件系统，也支持新兴的对象存储，因此可以满足任意的商业存储应用需求。同时，随着大数据时代的到来，对数据存储的安全性和可靠性的要求也越来越高，特别是对于一些要求高可用性和7*24不间断运行的业务来说，单控制器节点的存储方案带来的稳定性和安全性是远远不够的，因此双控节点的存储方案得到了越来越广泛的应用。
虽然Ceph具有上述的很多优点，但由于Ceph对数据写入采用的是强副本一致性写入策略，即对应写操作所有副本都写入成功才算写完成，否则写操作失败，从而导致了集群数据的写延迟较高。针对该问题，华中科技大学的刘鑫伟提出了一种基于读写比例的动态副本一致性策略；重庆邮电大学的姚朋成提出了一种基于副本弱一致性的写入策略；清华大学的Jiayuan Zhang等人提出了一种基于分布式哈希环机制的弱一致性模型。这些方法在一定程度上缓解了写延迟较高的问题，但在不同场景下的测试发现，这些方法并不能普遍的提高Ceph集群的写入速度，同时更为重要的是，分布式存储系统以对数据存储的高可靠性和安全性著称，但在上述的方法改进过程中，虽然在一定程度降低了数据的写延迟，但这是在破坏Ceph本身对数据安全性和可靠性保证的前提之下的，所以在实际部署中，效果并不理想。
发明内容
本发明提供一种Ceph的写性能优化和双控节点组合方法，解决现有技术中存在的集群写延迟较高和OSD节点故障情况下，为恢复集群N副本策略导致的节点间数据传输流量和副本磁盘读写流量剧烈增加的技术问题。
本发明解决其技术问题所采用的技术方案是：提供一种Ceph的写性能优化和双控节点组合方法，包括以下步骤：
(1)将Ceph强副本一致性写入策略改为Primary在本地写入日志盘完成后，就向客户端返回写完成；
(2)集群中的节点使用双控制器双存储阵列，即让节点中的双控分别控制着各自的存储阵列，并作为两个不同的OSD节点为集群提供存储服务；当一个控制器出现故障时，该节点中的另一个控制器快速启动新的OSD进程并接管故障控制器的存储阵列。
所述步骤(1)具体包括以下步骤：
(11)Primary在完成事务转换之后，进行每个副本事务的分发并开始Primary本地事务写入日志盘操作；
(12)当Primary的本地事务写入日志盘完成后，就向客户端返回写完成；
(13)Primary开始本地事务的写入数据盘操作，并继续在后台收集整个事务在副本间的完成情况，包括所有副本应答的写入日志盘完成情况和写入数据盘完成情况。
所述步骤(13)后还包括若Primary的本地事务写入数据盘失败，则从日志盘中恢复出相应数据，并重新写入数据盘的步骤。
所述步骤(13)后还包括Primary在一定时间范围内未收到某一副本写入数据盘完成应答，则由Primary重新发起该副本事务的分发操作。
所述步骤(2)中双控节点切换时具体包括以下步骤：
(21)当节点收到Monitor发送的OSD Map更新消息后，确认该节点的另一个控制器出现故障；
(22)该节点正常工作的控制器恢复故障控制器存储阵列中的文件安全上下文和OSD文件目录；
(23)更新故障控制器存储阵列中的链接文件，并修改目录和文件的所属用户为该节点正常工作的控制器Ceph用户；
(24)启动新的OSD进程并接管故障控制器的存储阵列，此时两个存储阵列中的数据读写操作均由该节点正常工作的控制器执行。
有益效果
由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：
本发明在数据成功写入Primary的日志盘后，就向客户端返回写成功，从而避免了Primary写入数据盘和其余副本写入日志盘和写入数据盘的延迟，极大提高了集群的写入速度。同时避免了Primary通过网络向Replica发送响应写事务，和Replica通过网络向Primary发送写入日志完成应答和写入数据盘完成应答中间网络拥塞情况的不确定性。
本发明充分利用双控制器双存储阵列的节点优势，通过节点中的双控正常情况下分别控制着各自的存储阵列，并作为两个不同的OSD节点为集群提供存储服务，实现节点读写性能的双倍提升，并且当一个控制器出现故障时，该服务器中的另一个控制器能够快速启动新的OSD进程并接管故障控制器的存储阵列，从而保证Ceph内部不需要通过数据迁移来实现N备份的存储需要，大大降低节点间数据传输流量和副本磁盘读写流量，并保证了数据服务的不间断和故障状态的快速恢复。与现有技术相比，本发明在保证存储数据的高可靠性和安全性的前提下，有效避免网络等不确定因素的干扰，大幅降低集群数据的写延迟，实现节点性能的双倍提升，同时确保了在一个控制器故障情况下，大大降低节点间数据传输流量和副本磁盘读写流量，并保证了数据服务的不间断和集群状态的快速恢复。
附图说明
图1是本发明的双控节点分布式集群架构图；
图2是本发明改进后的写策略示意图；
图3是本发明的双控节点切换流程图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明的实施方式涉及一种Ceph的写性能优化和双控节点组合方法，该方法中双控节点分布式集群架构如图1所示，应用服务器上的应用软件通过标准接口协议或存储阵列系统提供的客户端接口接入Ceph分布式存储系统，为保证系统可靠性，分布式节点采用全对称设计，通过任一节点接入集群均可访问集群整体资源池。当接入点某一控制器故障时，由该接入点的另外一个控制器接管其故障控制器的存储阵列，以保证接入点某一控制器损坏IO访问可持续。集群的数据分布采用双层设计，分布式存储软件负责数据的副本冗余以及节点间数据均衡分布，双控系统软件负责节点内部磁盘间的Raid管理。
本发明将Ceph强副本一致性写入策略改为Primary在本地写入日志盘完成后，就向客户端返回写成功，如图2所示。Primary本地写入数据盘的完成情况、每个副本写入日志盘完成应答(applied)和写入数据盘完成应答(committed)的回复情况则由Primary在后台继续收集并完成后续操作；为保证写入策略修改后，依然可以保证存储数据的高可靠性和安全性，充分利用双控制器双存储阵列的节点优势，通过节点中的双控正常情况下分别控制着各自的存储阵列，并作为两个不同的OSD节点为集群提供存储服务，实现节点读写性能的双倍提升。同时当一个控制器出现故障时，该节点的另一个控制器能够快速启动新的OSD进程并接管故障控制器的存储阵列，从而保证Ceph内部不需要通过数据迁移来实现N备份的存储需要，并确保了集群数据服务的不间断和故障状态的快速恢复。具体步骤如下：
步骤一：优化Ceph集群的写性能
当客户端发起写请求，首先与集群中的Monitor进行通信获取集群相关的Map信息，然后通过基于哈希的数据分布算法CRUSH，计算出对应PG当前Primary所在的OSD，并发送写请求。OSD在收到客户端发送的写请求之后，会完成一系列的检查，所有条件均满足则开始真正执行。执行过程为：Primary首先生成一个针对原始对象操作的PG事务，然后由PGBackend按照备份策略转化为每个副本真正需要执行的本地事务，进行事务分发的同时，并由Primary开始本地写入日志盘操作。当本地写入日志盘操作完成后，Primary就向客户端返回写完成。Primary的本地写入数据盘完成情况、每个副本后续回复的写入日志完成应答(applied)和写入数据盘完成应答(committed)则由Primary继续收集并完成后续操作。具体如下：
Step1：客户端在发起写请求前，首先通过集群中活跃的Monitor获取最新的集群Map权威副本；
Step2：然后客户端基于哈希的数据分布算法CRUSH，通过stable_mod计算出存储池中承载该对象的PGID，然后使用该PGID和Step1中获得的最新集群Map作为CRUSH输入，计算出对应PG当前Primary所在的OSD并发送写请求；
Step3：OSD收客户端发送的写请求，将其封装为一个op，并基于其携带的PGID将其发送至对应的PG；
Step4：PG收到op后，完成一系列的状态和上下文的检查，所有条件均满足后，开始真正执行op；
Step5：执行op首先由Primary基于op生成一个针对原始对象操作的PG事务，然后由PGBackend按照备份策略转化为每个副本真正需要执行的本地事务，进行事务分发；
Step6：进行事务分发的同时，并由Primary开始本地写入日志盘操作；
Step7：当Primary的本地写入日志盘操作完成后，Primary就向客户端回应写完成；
Step8：Primary的本地写入数据盘完成情况、每个副本的写入日志完成应答(applied)和写入数据盘完成应答(committed)回复情况则由Primary在后台继续收集；
Step9：若Primary的本地事务写入数据盘失败，则从日志盘中恢复对应数据，并进行数据盘的重新写入；
Step10：当在一定时间范围内未收到某一副本写入数据盘完成应答，则由Primary重新发起该副本写事务的分发操作。
由此可见，本发明在数据成功写入Primary的日志盘后，就向客户端返回写成功，从而避免了Primary写入数据盘和其余副本写入日志盘和写入数据盘的延迟，极大提高了集群的写入速度。同时避免了Primary通过网络向Replica发送响应写事务，和Replica通过网络向Primary发送写入日志完成应答和写入数据盘完成应答中间网络拥塞情况的不确定性。
步骤二：双控制器双存储阵列的节点模式
存储集群使用双控制器双存储阵列，即节点中的双控正常情况下分别控制着各自的存储阵列，并作为两个不同的OSD节点为集群提供存储服务，当收到Monitor发送的OSDMap更新消息后，确认同节点的另一个控制器故障，该控制器将启动新的OSD进程并接管故障控制器的存储阵列，此时这两个存储阵列中的数据读写操作都由该控制器执行，如图3所示。
Step1：存储集群中的节点使用双控制器双存储阵列，让节点中的双控分别控制各自的存储阵列，并作为两个不同的OSD节点为集群提供存储服务；
Step2：当节点收到Monitor发送的OSD Map更新消息后，确认同节点的另一个控制器发生故障，无法读写其中的数据；
Step3：该节点正常工作的控制器首先通过restorecon命令恢复故障控制器存储阵列的相关文件属性，即恢复文件的安全上下文；
Step4：然后通过使用ceph-bluestore-tool工具命令，在该正常工作的控制器中恢复故障控制器控制的OSD文件目录；
Step5：之后通过Linux中的ln命令修改存储阵列中数据区的链接文件地址；
Step6：然后通过Linux中的chown命令修改相应的目录和文件所属用户，并修复相应的符号链接；
Step7：最后通过Linux中的systemctl或service命令，启动新的OSD进程，从而接管故障控制器的存储阵列，保证其数据的正常读写。
不难发现，本发明充分利用双控制器双存储阵列的节点优势，当一个控制器出现故障时，该服务器中的另一个控制器能够快速启动新的OSD进程并接管故障控制器的存储阵列，从而保证Ceph内部不需要通过数据迁移来实现N备份的存储需要，大大降低节点间数据传输流量和副本磁盘读写流量，并保证了数据服务的不间断和故障状态的快速恢复。与现有技术相比，本发明在保证存储数据的高可靠性和安全性的前提下，有效避免网络等不确定因素的干扰，大幅降低集群数据的写延迟，实现节点性能的双倍提升，同时确保了在一个控制器故障情况下，大大降低节点间数据传输流量和副本磁盘读写流量，并保证了数据服务的不间断和集群状态的快速恢复。

Claims (4)

1.一种Ceph的写性能优化和双控节点组合方法，其特征在于，包括以下步骤：
(1)将Ceph强副本一致性写入策略改为Primary在本地写入日志盘完成后，就向客户端返回写完成，具体包括：
(11)Primary在完成事务转换之后，进行每个副本事务的分发并开始Primary本地事务写入日志盘操作；
(12)当Primary的本地事务写入日志盘完成后，就向客户端返回写完成；
(13)Primary开始本地事务的写入数据盘操作，并继续在后台收集整个事务在副本间的完成情况，包括所有副本应答的写入日志盘完成情况和写入数据盘完成情况；
(2)集群中的节点使用双控制器双存储阵列，即让节点中的双控分别控制着各自的存储阵列，并作为两个不同的OSD节点为集群提供存储服务；当一个控制器出现故障时，该节点中的另一个控制器快速启动新的OSD进程并接管故障控制器的存储阵列。
2.根据权利要求1所述的Ceph的写性能优化和双控节点组合方法，其特征在于，所述步骤(13)后还包括若Primary的本地事务写入数据盘失败，则从日志盘中恢复出相应数据，并重新写入数据盘的步骤。
3.根据权利要求1所述的Ceph的写性能优化和双控节点组合方法，其特征在于，所述步骤(13)后还包括Primary在一定时间范围内未收到某一副本写入数据盘完成应答，则由Primary重新发起该副本事务的分发操作。
4.根据权利要求1所述的Ceph的写性能优化和双控节点组合方法，其特征在于，所述步骤(2)中双控节点切换时具体包括以下步骤：
(21)当节点收到Monitor发送的OSD Map更新消息后，确认该节点的另一个控制器出现故障；
(22)该节点正常工作的控制器恢复故障控制器存储阵列中的文件安全上下文和OSD文件目录；
(23)更新故障控制器存储阵列中的链接文件，并修改目录和文件的所属用户为该节点正常工作的控制器Ceph用户；
(24)启动新的OSD进程并接管故障控制器的存储阵列，此时两个存储阵列中的数据读写操作均由该节点正常工作的控制器执行。
CN202010498497.XA 2020-06-04 2020-06-04 一种Ceph的写性能优化和双控节点组合方法 Active CN111813334B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010498497.XA CN111813334B (zh) 2020-06-04 2020-06-04 一种Ceph的写性能优化和双控节点组合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010498497.XA CN111813334B (zh) 2020-06-04 2020-06-04 一种Ceph的写性能优化和双控节点组合方法

Publications (2)

Publication Number Publication Date
CN111813334A CN111813334A (zh) 2020-10-23
CN111813334B true CN111813334B (zh) 2024-04-05

Family

ID=72847921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010498497.XA Active CN111813334B (zh) 2020-06-04 2020-06-04 一种Ceph的写性能优化和双控节点组合方法

Country Status (1)

Country Link
CN (1) CN111813334B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114637475A (zh) * 2022-04-13 2022-06-17 苏州浪潮智能科技有限公司 一种分布式存储系统控制方法、装置及可读存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990051729A (ko) * 1997-12-19 1999-07-05 정선종 이중 어레이 제어기를 갖는 래이드 시스템의 구조
CN102629225A (zh) * 2011-12-31 2012-08-08 成都市华为赛门铁克科技有限公司 双控制器磁盘阵列、存储系统以及数据存储路径切换方法
CN105930103A (zh) * 2016-05-10 2016-09-07 南京大学 一种分布式存储ceph的纠删码覆盖写方法
CN106776166A (zh) * 2016-12-06 2017-05-31 郑州云海信息技术有限公司 一种RDMA模式下Ceph存储集群测试方法及系统
CN107480039A (zh) * 2017-09-22 2017-12-15 郑州云海信息技术有限公司 一种分布式存储系统的小文件读写性能测试方法及装置
CN108804038A (zh) * 2018-05-29 2018-11-13 新华三技术有限公司 日志数据迁移的方法、装置、服务器和计算机可读介质
CN108920100A (zh) * 2018-06-25 2018-11-30 重庆邮电大学 基于Ceph的读写模型优化和异构副本组合方法
CN110337633A (zh) * 2017-06-30 2019-10-15 华为技术有限公司 一种数据存储方法及设备
CN110442646A (zh) * 2019-07-29 2019-11-12 北京易捷思达科技发展有限公司 一种ceph数据同步模块主端写性能优化系统及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10853233B2 (en) * 2016-10-18 2020-12-01 Toshiba Memory Corporation Reconstruction of address mapping in a host of a storage system

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990051729A (ko) * 1997-12-19 1999-07-05 정선종 이중 어레이 제어기를 갖는 래이드 시스템의 구조
CN102629225A (zh) * 2011-12-31 2012-08-08 成都市华为赛门铁克科技有限公司 双控制器磁盘阵列、存储系统以及数据存储路径切换方法
CN105930103A (zh) * 2016-05-10 2016-09-07 南京大学 一种分布式存储ceph的纠删码覆盖写方法
CN106776166A (zh) * 2016-12-06 2017-05-31 郑州云海信息技术有限公司 一种RDMA模式下Ceph存储集群测试方法及系统
CN110337633A (zh) * 2017-06-30 2019-10-15 华为技术有限公司 一种数据存储方法及设备
CN107480039A (zh) * 2017-09-22 2017-12-15 郑州云海信息技术有限公司 一种分布式存储系统的小文件读写性能测试方法及装置
CN108804038A (zh) * 2018-05-29 2018-11-13 新华三技术有限公司 日志数据迁移的方法、装置、服务器和计算机可读介质
CN108920100A (zh) * 2018-06-25 2018-11-30 重庆邮电大学 基于Ceph的读写模型优化和异构副本组合方法
CN110442646A (zh) * 2019-07-29 2019-11-12 北京易捷思达科技发展有限公司 一种ceph数据同步模块主端写性能优化系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于Ceph的企业分布式存储方案;刘军军;;电子技术与软件工程;20160622(第11期);220-222 *

Also Published As

Publication number Publication date
CN111813334A (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
US10706072B2 (en) Data replication method and storage system
US11567674B2 (en) Low overhead resynchronization snapshot creation and utilization
US9170892B2 (en) Server failure recovery
US11307776B2 (en) Method for accessing distributed storage system, related apparatus, and related system
US20190163382A1 (en) Enabling data integrity checking and faster application recovery in synchronous replicated datasets
CN107111457B (zh) 跨集群冗余配置中的非间断的控制器替换
CN109327539A (zh) 一种分布式块存储系统及其数据路由方法
US20190196728A1 (en) Distributed storage system-based data processing method and storage device
US7487311B2 (en) System and method for asynchronous backup of virtual disks in a distributed storage array
US8938604B2 (en) Data backup using distributed hash tables
US8285824B2 (en) Storage system and data replication method that refuses one or more requests for changing the first logical configuration information until the first storage apparatus and second storage apparatus are synchronized
US8024537B2 (en) Storage system, remote copy and management method therefor
JP2016530636A (ja) コンセンサスノードを用いた分散ファイルシステム
WO2020118955A1 (zh) 分布式元数据管理一致性保证方法、装置、系统及应用
CN102023816A (zh) 一种对象存储系统的对象存放策略和访问方法
US20230229571A1 (en) Data Storage Method and Device
CN111813334B (zh) 一种Ceph的写性能优化和双控节点组合方法
CN105323271B (zh) 一种云计算系统以及云计算系统的处理方法和装置
CN116204137B (zh) 基于dpu的分布式存储系统、控制方法、装置及设备
CN115955488B (zh) 基于副本冗余的分布式存储副本跨机房放置方法与装置
JP2005316762A (ja) ディスク記憶装置及びｒａｉｄ構築方法
CN112328512A (zh) 一种应用于多控存储系统的缓存同步系统及方法
WO2024078001A1 (zh) 数据处理系统、数据处理方法、装置及相关设备
CN112748881B (zh) 一种面向虚拟化场景的存储容错方法和集群系统
CN117992467A (zh) 数据处理系统、方法、装置及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant