CN112346667A - 一种ceph存储osd读均衡方法及其系统 - Google Patents
一种ceph存储osd读均衡方法及其系统 Download PDFInfo
- Publication number
- CN112346667A CN112346667A CN202110015293.0A CN202110015293A CN112346667A CN 112346667 A CN112346667 A CN 112346667A CN 202110015293 A CN202110015293 A CN 202110015293A CN 112346667 A CN112346667 A CN 112346667A
- Authority
- CN
- China
- Prior art keywords
- read
- storage module
- data block
- module
- write request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/064—Management of blocks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
- G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种ceph存储osd读均衡方法及其系统，方法步骤包括：将数据均分成若干数据块发送给读写请求队列模块；将数据块写入主副本存储模块，主副本存储模块将数据块同步写入第一从副本存储模块和第二从副本存储模块；当需要读取数据时，判断在读取对象数据块时，是否也需要向对象数据块进行写入操作；若读写请求队列模块包含相应数据块的写入操作，则读操作由主副本模块完成，否则把数据块读操作分发给第一从副本存储模块或第二从副本存储模块进行对象数据块的读取，并将读取的对象数据块发送给ceph存储模块。本发明通过算法把读请求均衡的分配给所有从副本处理，从而减轻主副本的压力，减少数据读取的响应时间。
Description
技术领域
本发明涉及ceph存储技术领域，特别涉及一种ceph存储osd读均衡方法及其系统。
背景技术
ceph是一款开源的分布式存储系统，其对外提供块服务、文件系统服务以及对象存储服务，在市场上应用广泛。
ceph分布式存储系统的数据由分布在不同主机的不同磁盘进行存储，每一块磁盘由一个命名为osd的守护进程处理数据读写请求。ceph采用object代表一块数据，object归属于一个pg，pg默认采用3副本实现数据可靠性，3个副本对应3个osd，也就是1个object在3个osd上存在副本，3个osd又区分为1个主副本和2个从副本。
为了保证数据一致性，ceph默认采取数据读写都由主副本发起，从副本只做备份，其中读数据只会从主副本中读取。由于数据读写都落在了主副本身上，磁盘io操作频繁时，磁盘io又属于相对耗时操作，必然会加重主副本的负载，导致拖慢了客户端的响应，这是现有技术所存在的问题。
发明内容
本发明要解决的技术问题在于，提供一种ceph存储osd读均衡方法及其系统，本发明则统计所有的读请求，通过算法把读请求均衡的分配给所有从副本处理，从而减轻主副本的压力，减少数据读取的响应时间。
为解决上述技术问题，本发明提供如下技术方案：一种ceph存储osd读均衡方法，包括以下步骤：
步骤S1、客户端将用户写入的数据发送给ceph存储模块；
步骤S2、ceph存储模块将数据均分成若干数据块，并将每一数据块发送给对应存储单元的读写请求队列模块；读写请求队列模块将数据块写入主副本存储模块，主副本存储模块将数据块同步写入第一从副本存储模块和第二从副本存储模块；
其中，存储单元包括读写请求队列模块、主副本存储模块、第一从副本存储模块和第二从副本存储模块；
步骤S3、当客户端需要读取数据时，ceph存储模块将读取数据块指令发给读写请求队列模块；读写请求队列模块根据读取数据块指令得到具体所需要读取的数据块，将此具体所需要读取的数据块称为对象数据块；
步骤S4、读写请求队列模块判断在读写请求队列模块读取对象数据块时，读写请求队列模块是否也需要向对象数据块进行写入操作；
若在读写请求队列模块读取对象数据块时，读写请求队列模块也需要向对象数据块进行写入操作，则读写请求队列模块直接将对象数据块写入主副本存储模块，主副本存储模块将数据块同步写入第一从副本存储模块和第二从副本存储模块，并在主副本存储模块上读取对象数据块且将对象数据块发送给ceph存储模块；
若在读写请求队列模块读取对象数据块时，读写请求队列模块无需向对象数据块进行写入操作，则读写请求队列模块判断主副本存储模块的io使用率是否超过一定阈值；
若主副本存储模块的io使用率没有超过一定阈值，则读写请求队列模块从主副本存储模块中读取对象数据块且将对象数据块发送给ceph存储模块；
若主副本存储模块的io使用率超过一定阈值，则读写请求队列模块判断第一从副本存储模块的io使用率是否超过规定阈值；若第一从副本存储模块的io使用率没有超过规定阈值，则读写请求队列模块从第一从副本存储模块中读取对象数据块且将对象数据块发送给ceph存储模块；
若第一从副本存储模块的io使用率超过规定阈值，则读写请求队列模块从第二从副本存储模块中读取对象数据块且将对象数据块发送给ceph存储模块；
步骤S5、ceph存储模块接收各个存储单元的读写请求队列模块发送过来的对象数据块进行合并得到数据后，将数据发给客户端。
本发明另一目的是提供一种ceph存储osd读均衡系统，包括客户端、ceph存储模块以及若干存储单元，所述存储单元包括读写请求队列模块、主副本存储模块、第一从副本存储模块和第二从副本存储模块；
所述客户端用于将用户写入的数据发送给所述ceph存储模块；
所述ceph存储模块用于将用户写入的数据分成若干数据块，并将每一数据块发送给对应存储单元的读写请求队列模块；
所述读写请求队列模块用于将数据块写入主副本存储模块；所述主副本存储模块用于将数据块同步写入第一从副本存储模块和第二从副本存储模块；
所述客户端还用于向所述ceph存储模块读取数据；
所述ceph存储模块还用于：当客户端需要读取数据时，ceph存储模块将读取数据块指令发给读写请求队列模块；读写请求队列模块根据读取数据块指令得到具体所需要读取的数据块，将此具体所需要读取的数据块称为对象数据块；
所述读写请求队列模块还用于：读写请求队列模块判断在读写请求队列模块读取对象数据块时，读写请求队列模块是否也需要向对象数据块进行写入操作；若在读写请求队列模块读取对象数据块时，读写请求队列模块也需要向对象数据块进行写入操作，则读写请求队列模块直接将对象数据块写入主副本存储模块，主副本存储模块将数据块同步写入第一从副本存储模块和第二从副本存储模块，并在主副本存储模块上读取对象数据块且将对象数据块发送给ceph存储模块；若在读写请求队列模块读取对象数据块时，读写请求队列模块无需向对象数据块进行写入操作，则读写请求队列模块判断主副本存储模块的io使用率是否超过一定阈值；若主副本存储模块的io使用率没有超过一定阈值，则读写请求队列模块从主副本存储模块中读取对象数据块且将对象数据块发送给ceph存储模块；若主副本存储模块的io使用率超过一定阈值，则读写请求队列模块判断第一从副本存储模块的io使用率是否超过规定阈值；若第一从副本存储模块的io使用率没有超过规定阈值，则读写请求队列模块从第一从副本存储模块中读取对象数据块且将对象数据块发送给ceph存储模块；若第一从副本存储模块的io使用率超过规定阈值，则读写请求队列模块从第二从副本存储模块中读取对象数据块且将对象数据块发送给ceph存储模块；
所述ceph存储模块还用于接收各个存储单元的读写请求队列模块发送过来的对象数据块进行合并得到数据后，将数据发给客户端。
采用上述技术方案后，本发明至少具有如下有益效果：本发明通过增加读写请求队列模块，并对读请求进行分析处理，当读写请求队列模块没有对对应要读对象修改操作的时候，把读请求由主副本存储模块转移到第一从副本存储模块或者第二从副本存储模块进行数据块的读取，提升数据块读取效率，降低主副本存储模块的资源读取压力，且降低了读写请求的响应时间，改善产品的使用体验。
附图说明
图1为现有技术中读写请求队列读取数据块的示意图。
图2为本发明读写请求队列读取数据块的示意图。
图3为本发明一种ceph存储osd读均衡方法的步骤流程图。
图4为本发明一种ceph存储osd读均衡系统的框架图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本申请作进一步详细说明。
实施例1
现有技术中，如图1所示，可以看到，对于每个存储单元，读写请求都是由主副本osd0处理，从副本osd1和从副本osd2只是处理写请求同步；期间如果读请求比较频繁，将大大加重主副本的负载，造成请求响应时间增加，请求无法快速出列造成队列请求累计达到阈值从而拒绝请求，影响用户的体验。
根据现有技术的缺点，本发明进行改进，如图2所示，本发明通过把读和写的请求放到读写请求队列，当发现一个读数据请求时，分析出需要读的对象objectA，然后检查整个读写请求队列里面有没有对对象objectA的写请求，如果没有那该读objectA的请求可以向其他副本（从副本osd1或从副本osd2）读取，因为不涉及数据变动带来的不一致性，可以提高读效率，降低主副本资源消耗；
基于上述内容，如图3所示，本实施例公开一种ceph存储osd读均衡方法，包括以下步骤：
步骤S1、客户端将用户写入的数据发送给ceph存储模块；
步骤S2、ceph存储模块将数据均分成若干数据块，并将每一数据块发送给对应存储单元的读写请求队列模块；由于数据块是分散地存储于各个不同的存储单元上的，因此每个数据块都对应用于存储该数据块的存储单元；
对于每一个存储单元，读写请求队列模块将数据块写入主副本存储模块，主副本存储模块将数据块同步写入第一从副本存储模块和第二从副本存储模块；可以看出，每一数据块都需要存放在主副本存储模块、第一从副本存储模块和第二从副本存储模块中，这样的作用就是，当主副本存储模块的数据块发送丢失情况下，可从第一从副本存储模块或第二从副本存储模块中进行数据块的恢复，提升数据安全性和稳定性，三个副本的备份，数据防丢失能力大大提升；
其中，存储单元包括读写请求队列模块、主副本存储模块、第一从副本存储模块和第二从副本存储模块；
步骤S3、当客户端需要读取数据时，ceph存储模块将读取数据块指令发给读写请求队列模块；读写请求队列模块根据读取数据块指令得到具体所需要读取的数据块，将此具体所需要读取的数据块称为对象数据块；例如，客户端需要读取数据A时，由于数据A是数据块B和数据块C组成的，数据块B和数据块C分别属于存储单元B、存储单元C，那么ceph存储模块就需要将读取数据块B指令发给存储单元B的读写请求队列模块，以及将读取数据块C指令发给存储单元C的读写请求队列模块；
步骤S4、读写请求队列模块判断在读写请求队列模块读取对象数据块时，读写请求队列模块是否也需要向对象数据块进行写入操作；其中，每一个数据块在存储单元中，都有可能同时进行读取操作和写入操作，如果数据块同时进行读取操作和写入操作，意味着数据块不停进行更新，此时可能第一从副本存储模块或第二从副本存储模块还没有写入最新的数据块，因此只能在主副本存储模块进行读取和写入操作，将读取的数据块反馈给ceph存储模块的；
若读写请求队列模块包含相应数据块的写入操作，则读操作由主副本模块完成，否则把数据块读操作分发给第一从副本存储模块或第二从副本存储模块进行对象数据块的读取；根据实际情况，从主副本存储模块、第一从副本存储模块和第二从副本存储模块中的其中一个进行对象数据块的读取，并将读取的对象数据块发送给ceph存储模块，其具体为：
若在读写请求队列模块读取对象数据块时，读写请求队列模块也需要向对象数据块进行写入操作，则读写请求队列模块直接将对象数据块写入主副本存储模块，主副本存储模块将数据块同步写入第一从副本存储模块和第二从副本存储模块，并在主副本存储模块上读取对象数据块且将对象数据块发送给ceph存储模块；
若在读写请求队列模块读取对象数据块时，读写请求队列模块无需向对象数据块进行写入操作，则读写请求队列模块判断主副本存储模块的io使用率是否超过一定阈值；其中，判断主副本存储模块的io使用率具体采用的方式为：由于主副本存储模块、第一从副本存储模块和第二从副本存储模块均位于不一样的存储磁盘上，通过iostat软件可以看到磁盘的io使用率，io使用率高会造成磁盘io延时，也就是说主副本存储模块对应磁盘的io使用率高，则代表着主副本存储模块的io使用率也高；同理，第一从副本存储模块和第二从副本存储模块也一样采用io使用率；此处，若主副本存储模块的io使用率超过一定阈值，一定阈值优先设置为80%；
若主副本存储模块的io使用率没有超过一定阈值，则读写请求队列模块从主副本存储模块中读取对象数据块且将对象数据块发送给ceph存储模块；
若主副本存储模块的io使用率超过一定阈值，则读写请求队列模块判断第一从副本存储模块的io使用率是否超过规定阈值；若第一从副本存储模块的io使用率没有超过规定阈值，则读写请求队列模块从第一从副本存储模块中读取对象数据块且将对象数据块发送给ceph存储模块；此处，判断第一从副本存储模块的io使用率是否超过规定阈值，规定阈值优先设置为50%；
若第一从副本存储模块的io使用率超过规定阈值，则读写请求队列模块从第二从副本存储模块中读取对象数据块且将对象数据块发送给ceph存储模块；
步骤S5、ceph存储模块接收各个存储单元的读写请求队列模块发送过来的对象数据块进行合并得到数据后，将数据发给客户端。
本实施例通过把读和写的请求放到读写请求队列，当发现一个读数据请求时，分析出需要读的对象数据块（objectA），然后检查整个读写请求队列里面有没有需要向对象数据块（objectA）发出写请求，如果没有就可以将对象数据块的读取请求向其他副本（第一从副本存储模块和第二从副本存储模块）进行读取请求操作，因为不涉及数据变动带来的不一致性，可以提高读效率，降低主副本资源消耗。
实施例2
本实施例是在实施1的基础上提供一种ceph存储osd读均衡系统，可以实现所述ceph存储osd读均衡方法。
如图4所示，一种ceph存储osd读均衡系统，包括客户端、ceph存储模块以及若干存储单元，所述存储单元包括读写请求队列模块、主副本存储模块、第一从副本存储模块和第二从副本存储模块；例如，存储单元单元包括存储单元A、存储单元B、存储单元C……存储单元N；
所述客户端用于将用户写入的数据发送给所述ceph存储模块；
所述ceph存储模块用于将用户写入的数据分成若干数据块，并将每一数据块发送给对应存储单元的读写请求队列模块；
所述读写请求队列模块用于将数据块写入主副本存储模块；所述主副本存储模块用于将数据块同步写入第一从副本存储模块和第二从副本存储模块；
所述客户端还用于向所述ceph存储模块读取数据；
所述ceph存储模块还用于：当客户端需要读取数据时，ceph存储模块将读取数据块指令发给读写请求队列模块；读写请求队列模块根据读取数据块指令得到具体所需要读取的数据块，将此具体所需要读取的数据块称为对象数据块；
所述读写请求队列模块还用于：读写请求队列模块判断在读写请求队列模块读取对象数据块时，读写请求队列模块是否也需要向对象数据块进行写入操作；若在读写请求队列模块读取对象数据块时，读写请求队列模块也需要向对象数据块进行写入操作，则读写请求队列模块直接将对象数据块写入主副本存储模块，主副本存储模块将数据块同步写入第一从副本存储模块和第二从副本存储模块，并在主副本存储模块上读取对象数据块且将对象数据块发送给ceph存储模块；若在读写请求队列模块读取对象数据块时，读写请求队列模块无需向对象数据块进行写入操作，则读写请求队列模块判断主副本存储模块的io使用率是否超过一定阈值；若主副本存储模块的io使用率没有超过一定阈值，则读写请求队列模块从主副本存储模块中读取对象数据块且将对象数据块发送给ceph存储模块；若主副本存储模块的io使用率超过一定阈值，则读写请求队列模块判断第一从副本存储模块的io使用率是否超过规定阈值；若第一从副本存储模块的io使用率没有超过规定阈值，则读写请求队列模块从第一从副本存储模块中读取对象数据块且将对象数据块发送给ceph存储模块；若第一从副本存储模块的io使用率超过规定阈值，则读写请求队列模块从第二从副本存储模块中读取对象数据块且将对象数据块发送给ceph存储模块；
所述ceph存储模块还用于接收各个存储单元的读写请求队列模块发送过来的对象数据块进行合并得到数据后，将数据发给客户端。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解的是，在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种等效的变化、修改、替换和变型，本发明的范围由所附权利要求及其等同范围限定。
Claims (2)
1.一种ceph存储osd读均衡方法，其特征在于，包括以下步骤：
步骤S1、客户端将用户写入的数据发送给ceph存储模块；
步骤S2、ceph存储模块将数据均分成若干数据块，并将每一数据块发送给对应存储单元的读写请求队列模块；读写请求队列模块将数据块写入主副本存储模块，主副本存储模块将数据块同步写入第一从副本存储模块和第二从副本存储模块；
其中，存储单元包括读写请求队列模块、主副本存储模块、第一从副本存储模块和第二从副本存储模块；
步骤S3、当客户端需要读取数据时，ceph存储模块将读取数据块指令发给读写请求队列模块；读写请求队列模块根据读取数据块指令得到具体所需要读取的数据块，将此具体所需要读取的数据块称为对象数据块；
步骤S4、读写请求队列模块判断在读写请求队列模块读取对象数据块时，读写请求队列模块是否也需要向对象数据块进行写入操作；
若在读写请求队列模块读取对象数据块时，读写请求队列模块也需要向对象数据块进行写入操作，则读写请求队列模块直接将对象数据块写入主副本存储模块，主副本存储模块将数据块同步写入第一从副本存储模块和第二从副本存储模块，并在主副本存储模块上读取对象数据块且将对象数据块发送给ceph存储模块；
若在读写请求队列模块读取对象数据块时，读写请求队列模块无需向对象数据块进行写入操作，则读写请求队列模块判断主副本存储模块的io使用率是否超过一定阈值；
若主副本存储模块的io使用率没有超过一定阈值，则读写请求队列模块从主副本存储模块中读取对象数据块且将对象数据块发送给ceph存储模块；
若主副本存储模块的io使用率超过一定阈值，则读写请求队列模块判断第一从副本存储模块的io使用率是否超过规定阈值；若第一从副本存储模块的io使用率没有超过规定阈值，则读写请求队列模块从第一从副本存储模块中读取对象数据块且将对象数据块发送给ceph存储模块；
若第一从副本存储模块的io使用率超过规定阈值，则读写请求队列模块从第二从副本存储模块中读取对象数据块且将对象数据块发送给ceph存储模块；
步骤S5、ceph存储模块接收各个存储单元的读写请求队列模块发送过来的对象数据块进行合并得到数据后，将数据发给客户端。
2.一种ceph存储osd读均衡系统，其特征在于，包括客户端、ceph存储模块以及若干存储单元，所述存储单元包括读写请求队列模块、主副本存储模块、第一从副本存储模块和第二从副本存储模块；
所述客户端用于将用户写入的数据发送给所述ceph存储模块；
所述ceph存储模块用于将用户写入的数据分成若干数据块，并将每一数据块发送给对应存储单元的读写请求队列模块；
所述读写请求队列模块用于将数据块写入主副本存储模块；所述主副本存储模块用于将数据块同步写入第一从副本存储模块和第二从副本存储模块；
所述客户端还用于向所述ceph存储模块读取数据；
所述ceph存储模块还用于：当客户端需要读取数据时，ceph存储模块将读取数据块指令发给读写请求队列模块；读写请求队列模块根据读取数据块指令得到具体所需要读取的数据块，将此具体所需要读取的数据块称为对象数据块；
所述读写请求队列模块还用于：读写请求队列模块判断在读写请求队列模块读取对象数据块时，读写请求队列模块是否也需要向对象数据块进行写入操作；若在读写请求队列模块读取对象数据块时，读写请求队列模块也需要向对象数据块进行写入操作，则读写请求队列模块直接将对象数据块写入主副本存储模块，主副本存储模块将数据块同步写入第一从副本存储模块和第二从副本存储模块，并在主副本存储模块上读取对象数据块且将对象数据块发送给ceph存储模块；若在读写请求队列模块读取对象数据块时，读写请求队列模块无需向对象数据块进行写入操作，则读写请求队列模块判断主副本存储模块的io使用率是否超过一定阈值；若主副本存储模块的io使用率没有超过一定阈值，则读写请求队列模块从主副本存储模块中读取对象数据块且将对象数据块发送给ceph存储模块；若主副本存储模块的io使用率超过一定阈值，则读写请求队列模块判断第一从副本存储模块的io使用率是否超过规定阈值；若第一从副本存储模块的io使用率没有超过规定阈值，则读写请求队列模块从第一从副本存储模块中读取对象数据块且将对象数据块发送给ceph存储模块；若第一从副本存储模块的io使用率超过规定阈值，则读写请求队列模块从第二从副本存储模块中读取对象数据块且将对象数据块发送给ceph存储模块；
所述ceph存储模块还用于接收各个存储单元的读写请求队列模块发送过来的对象数据块进行合并得到数据后，将数据发给客户端。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110015293.0A CN112346667B (zh) | 2021-01-07 | 2021-01-07 | 一种ceph存储osd读均衡方法及其系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110015293.0A CN112346667B (zh) | 2021-01-07 | 2021-01-07 | 一种ceph存储osd读均衡方法及其系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112346667A true CN112346667A (zh) | 2021-02-09 |
| CN112346667B CN112346667B (zh) | 2021-05-18 |
Family
ID=74427398
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110015293.0A Active CN112346667B (zh) | 2021-01-07 | 2021-01-07 | 一种ceph存储osd读均衡方法及其系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112346667B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102023816A (zh) * | 2010-11-04 | 2011-04-20 | 天津曙光计算机产业有限公司 | 一种对象存储系统的对象存放策略和访问方法 |
| CN102508890A (zh) * | 2011-10-25 | 2012-06-20 | 无锡城市云计算中心有限公司 | 一种对象存储系统中对象一致性操作的方法 |
| US20130332484A1 (en) * | 2012-06-06 | 2013-12-12 | Rackspace Us, Inc. | Data Management and Indexing Across a Distributed Database |
| CN104156381A (zh) * | 2014-03-27 | 2014-11-19 | 深圳信息职业技术学院 | Hadoop分布式文件系统的副本存取方法、装置和Hadoop分布式文件系统 |
| CN106445411A (zh) * | 2016-09-13 | 2017-02-22 | 乐视控股（北京）有限公司 | 一种数据读取方法、装置及分布式存储系统 |
| CN108121510A (zh) * | 2017-12-19 | 2018-06-05 | 紫光华山信息技术有限公司 | Osd选取方法、数据写入方法、装置和存储系统 |
| CN108509153A (zh) * | 2018-03-23 | 2018-09-07 | 新华三技术有限公司 | Osd选择方法、数据写入和读取方法、监控器和服务器集群 |
| CN108920100A (zh) * | 2018-06-25 | 2018-11-30 | 重庆邮电大学 | 基于Ceph的读写模型优化和异构副本组合方法 |
| CN109254732A (zh) * | 2018-08-31 | 2019-01-22 | 郑州云海信息技术有限公司 | 一种存储数据的读写方法、装置及相关设备 |
| WO2019122971A1 (en) * | 2017-12-20 | 2019-06-27 | Telefonaktiebolaget Lm Ericsson (Publ) | Datafall: a policy-driven algorithm for decentralized placement and reorganization of replicated data |
| CN111444274A (zh) * | 2020-03-26 | 2020-07-24 | 上海依图网络科技有限公司 | 数据同步方法、数据同步系统及其装置、介质和系统 |
| CN112130758A (zh) * | 2020-09-04 | 2020-12-25 | 苏州浪潮智能科技有限公司 | 一种数据读请求的处理方法、系统、电子设备及存储介质 |
-
2021
- 2021-01-07 CN CN202110015293.0A patent/CN112346667B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102023816A (zh) * | 2010-11-04 | 2011-04-20 | 天津曙光计算机产业有限公司 | 一种对象存储系统的对象存放策略和访问方法 |
| CN102508890A (zh) * | 2011-10-25 | 2012-06-20 | 无锡城市云计算中心有限公司 | 一种对象存储系统中对象一致性操作的方法 |
| US20130332484A1 (en) * | 2012-06-06 | 2013-12-12 | Rackspace Us, Inc. | Data Management and Indexing Across a Distributed Database |
| CN104156381A (zh) * | 2014-03-27 | 2014-11-19 | 深圳信息职业技术学院 | Hadoop分布式文件系统的副本存取方法、装置和Hadoop分布式文件系统 |
| CN106445411A (zh) * | 2016-09-13 | 2017-02-22 | 乐视控股（北京）有限公司 | 一种数据读取方法、装置及分布式存储系统 |
| CN108121510A (zh) * | 2017-12-19 | 2018-06-05 | 紫光华山信息技术有限公司 | Osd选取方法、数据写入方法、装置和存储系统 |
| WO2019122971A1 (en) * | 2017-12-20 | 2019-06-27 | Telefonaktiebolaget Lm Ericsson (Publ) | Datafall: a policy-driven algorithm for decentralized placement and reorganization of replicated data |
| CN108509153A (zh) * | 2018-03-23 | 2018-09-07 | 新华三技术有限公司 | Osd选择方法、数据写入和读取方法、监控器和服务器集群 |
| CN108920100A (zh) * | 2018-06-25 | 2018-11-30 | 重庆邮电大学 | 基于Ceph的读写模型优化和异构副本组合方法 |
| CN109254732A (zh) * | 2018-08-31 | 2019-01-22 | 郑州云海信息技术有限公司 | 一种存储数据的读写方法、装置及相关设备 |
| CN111444274A (zh) * | 2020-03-26 | 2020-07-24 | 上海依图网络科技有限公司 | 数据同步方法、数据同步系统及其装置、介质和系统 |
| CN112130758A (zh) * | 2020-09-04 | 2020-12-25 | 苏州浪潮智能科技有限公司 | 一种数据读请求的处理方法、系统、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112346667B (zh) | 2021-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107807794B (zh) | 一种数据存储方法和装置 | |
| US10552089B2 (en) | Data processing for managing local and distributed storage systems by scheduling information corresponding to data write requests | |
| US20160077930A1 (en) | Selectively persisting application program data from system memory to non-volatile data storage | |
| US12099412B2 (en) | Storage system spanning multiple failure domains | |
| US10891150B2 (en) | Storage control method and storage controller for user individual service environment | |
| CN108595287B (zh) | 基于纠删码的数据截断方法及装置 | |
| US7849264B2 (en) | Storage area management method for a storage system | |
| EP3312727B1 (en) | Differential data backup method and device | |
| US8015375B1 (en) | Methods, systems, and computer program products for parallel processing and saving tracking information for multiple write requests in a data replication environment including multiple storage devices | |
| CN110928496B (zh) | 一种在多控存储系统上的数据处理方法及装置 | |
| EP3495939B1 (en) | Method and device for storing data in distributed block storage system, and computer readable storage medium | |
| CN112835511B (zh) | 分布式存储集群的数据写入方法、装置、设备和介质 | |
| CN111708812A (zh) | 一种分布式数据处理方法 | |
| EP3264254B1 (en) | System and method for a simulation of a block storage system on an object storage system | |
| US20170090823A1 (en) | Storage system, control device, memory device, data access method, and program recording medium | |
| CN112346667B (zh) | 一种ceph存储osd读均衡方法及其系统 | |
| CN106062721A (zh) | 一种将数据写入存储系统的方法和存储系统 | |
| CN110928495B (zh) | 一种在多控存储系统上的数据处理方法及装置 | |
| CN108769123B (zh) | 一种数据系统及数据处理方法 | |
| CN112685130A (zh) | 分布式存储环境下的虚拟机备份方法、装置和存储介质 | |
| CN111831230A (zh) | 一种面向高性能计算及大数据的智能存储系统 | |
| JP6788188B2 (ja) | 制御装置および制御プログラム | |
| EP4184306A1 (en) | Redundant array of independent disks card, command processing method, and storage device and system | |
| CN112988034B (zh) | 一种分布式系统数据写入方法及装置 | |
| CN118277344B (zh) | 分布式键值存储系统的存储节点层间合并方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |