CN109117090A - 一种存储池的存储空间配额方法、装置、设备及存储介质 - Google Patents

一种存储池的存储空间配额方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN109117090A
CN109117090A CN201810846183.7A CN201810846183A CN109117090A CN 109117090 A CN109117090 A CN 109117090A CN 201810846183 A CN201810846183 A CN 201810846183A CN 109117090 A CN109117090 A CN 109117090A
Authority
CN
China
Prior art keywords
memory space
osd
storage pool
data
written
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810846183.7A
Other languages
English (en)
Inventor
李军站
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201810846183.7A priority Critical patent/CN109117090A/zh
Publication of CN109117090A publication Critical patent/CN109117090A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种存储池的存储空间配额方法，包括：预先根据存储池的总存储空间为每个OSD分配额定存储空间；当OSD中存在目标OSD的当前存储空间小于待写入数据的所需空间时，按照预设规则控制目标OSD申请预设存储空间并更新目标OSD的当前存储空间；当各OSD申请的预设存储空间的总量等于各OSD对应的额定存储空间时，若目标OSD再次接收到所需空间大于当前存储空间的待写入数据，则控制存储池停止接收待写入数据，使存储池的写入数据的总量不超过存储池的总存储空间，保障分布式块存储系统的稳定性，降低系统的维护难度。本申请还公开了一种存储池的存储空间配额装置、设备及计算机可读存储介质，均具有上述有益效果。

Description

一种存储池的存储空间配额方法、装置、设备及存储介质
技术领域
本发明涉及数据存储领域，特别涉及一种存储池的存储空间配额方法、装置、设备及计算机可读存储介质。
背景技术
随着工作生活中出现的数据量越来越大，分布式块存储技术应运而生。分布式块存储系统能够为IT企业、云计算、大数据、虚拟化等客户端提供存储空间。但是，在分布式块存储系统中，由于存储池(DPM，Data Protection Manager)的总存储空间是有限的，因此在存储数据时需要使用合理的方式为写入的数据分配存储空间，以避免写入数据的总量超过存储池的总存储空间。
现有技术中，通过存储池的各OSD(Object Storage Devices，对象存储设备)每隔1秒向MON(Monitor，一种用于对整个分布式存储系统进行监控管理的程序)上报一次PG(Placement Group，安置组)的状态消息，MON每隔5秒检查一次存储池状态也即PG的汇总数据状态，当MON检测到存储池写满时，MON为存储池设置FULL标识并更新OSD Map，以便于OSD根据OSD Map的状态控制存储池停止接收数据。但是由于OSD上报PG的状态信息和MON检查存储池的状态信息是存在时间差异的，且OSD Map在块存储系统中传播也需要一定的时间，因此MON检测到存储池写满的时刻与OSD控制存储池停止接收数据的时刻之间存在较大的延时，在这延时过程中，将由于存储池仍然接收数据而导致存储池写入数据的总量大于存储池的总存储空间，这样将造成客户端对存储池的超额使用，进而提高了分布式块存储系统的维护难度。
因此，如何设置存储池的配额方法，使得存储池写入数据的总量不超过存储池的总存储空间，是本领域技术人员目前需要解决的技术问题。
发明内容
有鉴于此，本发明的目的在于提供一种存储池的存储空间配额方法，能够避免存储池写入数据的总量大于存储池的总存储空间，进而提高分布式块存储系统的稳定性；本发明的另一目的是提供一种存储池的存储空间配额装置、设备及计算机可读存储介质，均具有上述有益效果。
为解决上述技术问题，本发明提供一种存储池的存储空间配额方法，包括：
预先根据存储池的总存储空间为每个OSD分配额定存储空间；
当所述OSD中存在目标OSD的当前存储空间小于待写入数据的所需空间时，按照预设规则控制所述目标OSD申请预设存储空间并更新所述目标OSD的所述当前存储空间；
当各所述OSD申请的所述预设存储空间的总量等于各所述OSD对应的所述额定存储空间时，若所述目标OSD再次接收到所需空间大于当前存储空间的所述待写入数据，则控制所述存储池停止接收所述待写入数据。
优选地，所述预先根据存储池的总存储空间为每个OSD分配额定存储空间具体为：
预先根据所述存储池的所述总存储空间为每个OSD平均分配额定存储空间。
优选地，在所述预先根据所述存储池的所述总存储空间为每个OSD平均分配额定存储空间之后，进一步包括：
调整各所述OSD在OSD Map中的权重以控制所述待写入数据均衡分布于各所述OSD；
对应的，所述当各所述OSD申请的所述预设存储空间的总量等于各所述OSD对应的所述额定存储空间时，若所述目标OSD再次接收到所需空间大于当前存储空间的所述待写入数据，则控制所述存储池停止接收所述待写入数据具体为：
当所述目标OSD申请的所述预设存储空间的总量等于所述目标OSD对应的所述额定存储空间时，若所述目标OSD再次接收到所需空间大于当前存储空间的所述待写入数据，则控制所述存储池停止接收所述待写入数据。
优选地，所述当所述OSD中存在目标OSD的当前存储空间小于待写入数据的所需空间时，按照预设规则控制所述目标OSD申请预设存储空间并更新所述目标OSD的当前存储空间具体为：
当所述OSD中存在目标OSD的当前存储空间小于所述待写入数据的所需空间时，根据所述目标OSD累计申请的所述预设存储空间，减少所述目标OSD当前申请的所述预设存储空间并更新所述目标OSD的所述当前存储空间。
优选地，所述当所述OSD中存在目标OSD的当前存储空间小于待写入数据的所需空间时，按照预设规则控制所述目标OSD申请预设存储空间并更新所述目标OSD的所述当前存储空间具体为：
当所述OSD中存在目标OSD的当前存储空间的阈值小于所述待写入数据的所需空间时，按照预设规则控制所述目标OSD申请预设存储空间并更新所述目标OSD的所述当前存储空间。
优选地，在所述控制所述存储池停止接收所述待写入数据之前，进一步包括：
为所述存储池设置标识信息。
优选地，在所述控制所述存储池停止接收所述待写入数据之前，进一步包括：
发出提示信息。
为解决上述技术问题，本发明还提供一种存储池的存储空间配额装置，包括：
分配模块，用于预先根据存储池的总存储空间为每个OSD分配额定存储空间；
更新模块，用于当所述OSD中存在目标OSD的当前存储空间小于待写入数据的所需空间时，按照预设规则控制所述目标OSD申请预设存储空间并更新所述目标OSD的所述当前存储空间；
控制模块，用于当各所述OSD申请的所述预设存储空间的总量等于各所述OSD对应的所述额定存储空间时，若所述目标OSD再次接收到所需空间大于当前存储空间的所述待写入数据，则控制所述存储池停止接收所述待写入数据。
为解决上述技术问题，本发明还提供一种存储池的存储空间配额设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现上述任一种存储池的存储空间配额方法的步骤。
为解决上述技术问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种存储池的存储空间配额方法的步骤。
本发明提供的一种存储池的存储空间配额方法，通过预先根据存储池的总存储空间为每个OSD分配额定存储空间，当OSD中存在目标OSD的当前存储空间小于待写入数据的所需空间时，按照预设规则控制目标OSD申请预设存储空间并更新目标OSD的当前存储空间；并且当各OSD申请的预设存储空间的总量等于各OSD对应的额定存储空间时，若目标OSD再次接收到所需空间大于当前存储空间的待写入数据，则控制存储池停止接收待写入数据；由于目标OSD申请的预设存储空间的总量最多为目标OSD的额定存储空间，并且避免了OSD通过由MON更新的OSD Map控制存储池停止接收待写入数据时带来的延时，从而使得存储池的写入数据的总量不超过存储池的总存储空间，进而保障了分布式块存储系统的稳定性，降低了系统的维护难度。
为解决上述技术问题，本发明还提供了一种存储池的存储空间配额装置、设备及计算机可读存储介质，均具有上述有益效果。
附图说明
为了更清楚地说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种存储池的存储空间配额方法的流程图；
图2为本发明实施例提供的一种块存储系统存储数据的过程的示意图；
图3为本发明实施例提供的另一种存储池的存储空间配额方法的流程图；
图4为本发明实施例提供的一种存储池的存储空间配额装置的结构图；
图5为本发明实施例提供的一种存储池的存储空间配额设备的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例的核心是提供一种存储池的存储空间配额方法，能够避免存储池写入数据的总量大于存储池的总存储空间，进而提高分布式块存储系统的稳定性；本发明的另一核心是提供一种存储池的存储空间配额装置、设备及计算机可读存储介质，均具有上述有益效果。
为了使本领域技术人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。
图1为本发明实施例提供的一种存储池的存储空间配额方法的流程图；图2为本发明实施例提供的一种块存储系统存储数据的过程的示意图。如图1和图2所示，本实施例提供一种存储池的存储空间配额方法包括：
S10：预先根据存储池的总存储空间为每个OSD分配额定存储空间。
需要说明的是，存储池是服务器在其中存储副本、卷影副本和传输日志的一组磁盘。一般的，存储池的总存储空间的大小由各磁盘的容量和磁盘的个数决定。可以理解的是，各OSD分别对应一个磁盘，磁盘的容量由磁盘本身的性质决定。预先根据存储池的总存储空间为每个OSD分配额定存储空间，也即通过将存储池的总存储空间分配给存储池中的各个PG，然后将各PG分布在各OSD上，从而达到为每个OSD分配存储空间的目的。需要说明的是，PG是用于放置数据的虚拟组件，是数据进行迁移和改变的最小单位；OSD是一种用于提供数据存储服务的虚拟设备。具体的，将各PG分布于OSD上的分布规则可以是通过CRUSHRULE来定义，根据OSD中的PG数量确定出的该OSD能够存储的最大数据量，也即额定存储空间。
S20：当OSD中存在目标OSD的当前存储空间小于待写入数据的所需空间时，按照预设规则控制目标OSD申请预设存储空间并更新目标OSD的当前存储空间。
具体的，在将待写入数据写入存储池以便写入磁盘之前，先判断待写入数据的所需空间是否大于目标OSD的当前存储空间。需要说明的是，目标OSD指的是该存储池对应的所有OSD中的一个或多个OSD，在本实施例中，目标OSD是根据数据的写入规则将待写入数据的一个或多个OSD设置为目标OSD。若待写入数据的所需空间小于或等于目标OSD的当前存储空间，则按照写入规则将待写入数据写入目标OSD中。具体的，待写入数据一般是通过object(对象)写入到目标OSD中，从而最终下刷到磁盘中。更具体的，当存在待写入数据时，根据存储池的ID信息查找到对应的存储池所属的PG，然后根据PG ID将待写入数据存储至对应的OSD中，以便于OSD实时或者根据预设的时间间隔将该待写入数据下刷到磁盘中存储。
当若待写入数据的所需空间大于目标OSD的当前存储空间，则按照预设规则控制目标OSD申请预设存储空间。具体的，目标OSD向MON申请预设存储空间。需要说明的是，目标OSD每次申请的预设存储空间均小于目标OSD的额定存储空间。在目标OSD申请到预设存储空间之后，利更新当前存储空间。具体的，将申请预设存储空间之前的当前存储空间和申请到的预设存储空间之和与待写入数据的所需空间的差值作为当前存储空间。例如，假设目标OSD当前存储空间为A，待写入数据的所需空间为B，且B＞A，因此，该目标OSD申请预设存储空间C，更新目标OSD的当前存储空间为A+C，在将该写入数据写入到该目标OSD后，再次更新该目标OSD的当前存储空间为(A+C-B)，将(A+C-B)作为目标OSD的当前存储空间。
S30：当各OSD申请的预设存储空间的总量等于各OSD对应的额定存储空间时，若目标OSD再次接收到所需空间大于当前存储空间的待写入数据，则控制存储池停止接收待写入数据。
具体的，存储池中的各OSD都将作为目标OSD，根据待写入数据的写入情况申请预设存储空间并写入数据，再更新当前存储空间以便再次写入数据。
由于各个OSD的额定存储空间不同，且数据写入各OSD的分布情况不同，因此需要分别判断各OSD申请的预设存储空间的总量是否等于各OSD对应的额定存储空间。当某些OSD写满数据，但是还存在其他的OSD还写满数据时，当存在待写入数据时，将未写满数据的OSD设置为目标OSD并控制数据写入目标OSD中，直至存储池中所有的OSD申请的预设存储空间的总量等于各OSD对应的额定存储空间，也即当前不存在能够申请的预设存储空间时，若目标OSD再次接收到所需空间大于当前存储空间的待写入数据，则控制存储池停止接收待写入数据控制存储池停止接收待写入数据。
本发明实施例提供的一种存储池的存储空间配额方法，通过预先根据存储池的总存储空间为每个OSD分配额定存储空间，当OSD中存在目标OSD的当前存储空间小于待写入数据的所需空间时，按照预设规则控制目标OSD申请预设存储空间并更新目标OSD的当前存储空间；并且当各OSD申请的预设存储空间的总量等于各OSD对应的额定存储空间时，若目标OSD再次接收到所需空间大于当前存储空间的待写入数据，则控制存储池停止接收待写入数据；由于目标OSD申请的预设存储空间的总量最多为目标OSD的额定存储空间，并且避免了OSD通过由MON更新的OSD Map控制存储池停止接收待写入数据时带来的延时，从而使得存储池的写入数据的总量不超过存储池的总存储空间，进而保障了分布式块存储系统的稳定性，降低了系统的维护难度。
在上述实施例的基础上，本实施例对技术方案作了进一步的说明和优化，具体的，预先根据存储池的总存储空间为每个OSD分配额定存储空间具体为：
预先根据存储池的总存储空间为每个OSD平均分配额定存储空间。
具体的，为了降低各OSD写入数据的差距较大而导致系统的稳定性不高，在本实施例中，预先根据存储池的总存储空间为每个OSD平均分配额定存储空间。
也即，预先根据OSD的数量将存储池的总存储空间平均分配给各OSD，具体的，存储池将总存储空间分配给存储池内的各PG，以使得各PG具有放置数据的容量，再将各PG按照存放规则均衡地存放于各OSD上，以使得各OSD分配的额定存储空间是相同的。
可以理解的是，通过预先根据存储池的总存储空间为每个OSD平均分配额定存储空间，从而缩短各OSD写满数据的时间差，提高分布式块存储系统的稳定性。
需要说明的是，为了更进一步缩短各OSD写满数据的时间差值，从而更进一步地提高分布式块存储系统的稳定性，本实施例在上述实施例的基础上做了进一步的优化，具体的，如图3所示的另一种存储池的存储空间配额方法的流程图，在预先根据存储池的总存储空间为每个OSD平均分配额定存储空间之后，进一步包括：
S11：调整各OSD在OSD Map中的权重以控制待写入数据均衡分布于各OSD；
对应的，当各OSD申请的预设存储空间的总量等于各OSD对应的额定存储空间时，若目标OSD再次接收到所需空间大于当前存储空间的待写入数据，则控制存储池停止接收待写入数据具体为：
S31：当目标OSD申请的预设存储空间的总量等于目标OSD对应的额定存储空间时，若目标OSD再次接收到所需空间大于当前存储空间的待写入数据，则控制存储池停止接收待写入数据。
可以理解的是，OSD Map是反映分布式块存储系统集群中所有OSD的信息、所有OSD的改变如进程退出、OSD节点的加入和退出或者OSD节点权重的变化的表。具体的，在预先根据存储池的总存储空间为每个OSD平均分配额定存储空间之后，并在将待写入数据写入OSD之后，各OSD分别更新各对应的当前存储空间。MON根据各OSD的当前存储空间调整各OSD在OSD Map中的权重，以控制待写入数据均衡分布于各OSD。
对应的，当目标OSD申请的预设存储空间的总量等于目标OSD对应的额定存储空间时，若目标OSD再次接收到所需空间大于当前存储空间的待写入数据，则控制存储池停止接收待写入数据。
可以理解的是，由于各OSD的额定存储空间相同，并且通过控制各OSD均衡地写入数据，因此各OSD将同步达到申请的预设存储空间的总量等于各OSD对应的额定存储空间的情况，因此当目标OSD申请的预设存储空间的总量等于目标OSD对应的额定存储空间时，则表示其他的各OSD当前申请的预设存储空间的总量等于各OSD对应的额定存储空间，因此若目标OSD再次接收到所需空间大于当前存储空间的待写入数据，则控制存储池停止接收待写入数据。具体的，通过目标OSD将当前自身的存储空间已满的通知消息发送给所在存储池中的其他的OSD；当各OSD均接收到该通知消息之后，再将触发信息发送给MON，以便于MON在接收到触发信息后，控制存储池停止接收待写入数据。
需要说明的是，在写入数据过程中，由于各待写入数据的大小不同，待写入数据的所需空间不同，因此各个OSD并不是保持绝对的同步写满数据，一般的，各OSD将存在允许范围内的误差，也看作是同步写满数据。
在上述实施例的基础上，本实施例对技术方案作了进一步的说明和优化，具体的，当OSD中存在目标OSD的当前存储空间小于待写入数据的所需空间时，按照预设规则控制目标OSD申请预设存储空间并更新目标OSD的当前存储空间具体为：
当OSD中存在目标OSD的当前存储空间小于待写入数据的所需空间时，根据目标OSD累计申请的预设存储空间，减少目标OSD当前申请的预设存储空间并更新目标OSD的当前存储空间。
在本实施例中，为了能够充分利用额定存储空间，本实施例将申请预设存储空间的预设规则设置为随着累计申请预设存储空间的总量增多而减少当前申请的预设存储空间。具体的，随着申请预设存储空间的次数增多，累计申请的预设存储空间的总量增多，申请的预设存储空间的总量将越接近额定存储空间，因此可以设置申请的预设存储空间随着累计申请预设存储空间的总量增多而逐渐减少。
另外，作为优选的实施方式，还可以设置当前申请的预设存储空间的量为额定存储空间与申请的预设存储空间的总量的差值的一半，由于申请的预设存储空间的总量随着每次申请逐渐增多，因此可申请的预设存储空间的剩余量逐渐减少。例如，假设目标OSD的额定存储空间为4G，初始情况下申请的预设存储空间的总量为0，因此第一次申请的预设存储空间为(4-0)/2即2G，第二次申请的预设存储空间为(4-2)/2即1G，第三次申请的预设存储空间为(4-2-1)/2即512M，依次类推，直至可申请的存储空间剩余量为0，也即目标OSD写入数据的总量等于其额定存储空间。当然，本实施例中也可以将当前申请的预设存储空间的量为额定存储空间与申请的预设存储空间的总量的差值设置为其他比例值，或者采用其他的设置方式，本实施例对此不做限定。
可以理解的是，当目标OSD中写入数据的总量等于额定存储空间时，表示当前不能再申请预设存储空间。当再有新的待写入数据时，若新的待写入数据的所需空间大于目标OSD的当前存储空间时，由于目标OSD的当前存储空间不够而控制存储池停止接收待写入数据，由于目标OSD申请的预设存储空间是随着累计申请的预设存储空间的总量逐次减少的，因此目标OSD的当前存储空间也较小，从而使得各OSD的空闲量较少，进而提高OSD的存储资源的使用率，提升分布式块存储系统的性能。
在上述实施例的基础上，本实施例对技术方案作了进一步的说明和优化，具体的，当OSD中存在目标OSD的当前存储空间小于待写入数据的所需空间时，按照预设规则控制目标OSD申请预设存储空间并更新目标OSD的当前存储空间具体为：
当OSD中存在目标OSD的当前存储空间的阈值小于待写入数据的所需空间时，按照预设规则控制目标OSD申请预设存储空间并更新目标OSD的当前存储空间。
具体的，判断目标OSD的当前存储空间是否小于待写入数据的所需空间时具体为判断目标OSD的当前存储空间的阈值是否小于待写入数据的所需空间。通过预先检测出目标OSD的当前存储空间，再根据预设的规则计算出目标OSD的当前存储空间的阈值。当OSD中存在目标OSD的当前存储空间的阈值小于待写入数据的所需空间时，按照预设规则控制目标OSD申请预设存储空间，并利用预设存储空间更新当前存储空间。通过判断目标OSD的当前存储空间的阈值是否小于待写入数据的所需空间，当目标OSD的当前存储空间的阈值小于待写入数据的所需空间时，表示需要申请预设存储空间，通过设置阈值，也即给目标OSD缓冲阶段，使得写入数据的过程更加稳定。
需要说明的是，阈值可以是固定值；也可以是根据OSD的当前存储空间的预设比例设置当前存储空间的阈值，例如设置该目标OSD的存储空间的阈值为当前存储空间的90％；另外，在目标OSD申请的预设存储空间的总量等于目标OSD的额定存储空间之后，还可以增加当前存储空间的阈值，以使得目标OSD的当前存储空间得到充分的利用。
在上述实施例的基础上，本实施例对技术方案作了进一步的说明和优化，具体的，在控制存储池停止接收待写入数据之前，进一步包括：
为存储池设置标识信息。
具体的，在控制存储池停止接收待写入数据之前，通过MON为存储池设置标识信息。具体的，标识信息可以是字符标记信息，也可以是其他类型的标识信息，本实施例对此不做具体的限定。需要说明的是，通过在控制存储池停止接收待写入的数据之前为存储池设置标识信息，通过标识信息可以明确知晓存储池是在当前已写满数据的情况下，才不再写入数据的，从而能够排除区别出存储池因为故障而停止接收待写入的数据信息的情况。也就是说，若当前存储池不再写入数据，可以通过是否存在标识信息判断出存储池是写满数据还是存在存储故障，能够为存储池排除故障原因，提高存储池写入数据的效率。
在控制存储池停止接收待写入数据之前，进一步包括：
发出提示信息。
具体的，提示信息的可以是语音提示信息或指示灯提示信息或图像提示信息，本实施例对此不做限定。可以理解的是，在控制存储池停止接收待写入数据之前发出提示信息，以提示客户端当前的存储池已写满，需要采取相应的措施，例如停止写入数据或者通过购增加磁盘进行存储池扩容的方式增加存储池的总存储空间以便能够继续写入数据，从而避免数据的丢失。
上文对于本发明提供的一种存储池的存储空间配额方法的实施例进行了详细的描述，本发明还提供了一种与该方法对应的存储池的存储空间配额装置、设备及计算机可读存储介质，由于装置、设备及计算机可读存储介质部分的实施例与方法部分的实施例相互照应，因此装置、设备及计算机可读存储介质部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
图4为本发明实施例提供的一种存储池的存储空间配额装置的结构图，如图4所示，一种存储池的存储空间配额装置400包括：
分配模块41，用于预先根据存储池的总存储空间为每个OSD分配额定存储空间；
更新模块42，用于当OSD中存在目标OSD的当前存储空间小于待写入数据的所需空间时，按照预设规则控制目标OSD申请预设存储空间并更新目标OSD的当前存储空间；
控制模块43，用于当各OSD申请的预设存储空间的总量等于各OSD对应的额定存储空间时，若目标OSD再次接收到所需空间大于当前存储空间的待写入数据，则控制存储池停止接收待写入数据。
本发明实施例提供的存储池的存储空间配额装置，具有上述存储池的存储空间配额方法的有益效果。
图5为本发明实施例提供的一种存储池的存储空间配额设备的结构图，如图5所示，一种存储池的存储空间配额设备500包括：
存储器51，用于存储计算机程序；
处理器52，用于执行计算机程序时实现如上述存储池的存储空间配额方法的步骤。
本发明实施例提供的存储池的存储空间配额设备，具有上述存储池的存储空间配额方法的有益效果。
为解决上述技术问题，本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述存储池的存储空间配额方法的步骤。
本发明实施例提供的计算机可读存储介质，具有上述存储池的存储空间配额方法的有益效果。
以上对本发明所提供的存储池的存储空间配额方法、装置、设备及计算机可读存储介质进行了详细介绍。本文中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

Claims (10)

1.一种存储池的存储空间配额方法，其特征在于，包括：
预先根据存储池的总存储空间为每个OSD分配额定存储空间；
当所述OSD中存在目标OSD的当前存储空间小于待写入数据的所需空间时，按照预设规则控制所述目标OSD申请预设存储空间并更新所述目标OSD的所述当前存储空间；
当各所述OSD申请的所述预设存储空间的总量等于各所述OSD对应的所述额定存储空间时，若所述目标OSD再次接收到所需空间大于当前存储空间的所述待写入数据，则控制所述存储池停止接收所述待写入数据。
2.根据权利要求1所述的方法，其特征在于，所述预先根据存储池的总存储空间为每个OSD分配额定存储空间具体为：
预先根据所述存储池的所述总存储空间为每个OSD平均分配额定存储空间。
3.根据权利要求2所述的方法，其特征在于，在所述预先根据所述存储池的所述总存储空间为每个OSD平均分配额定存储空间之后，进一步包括：
调整各所述OSD在OSD Map中的权重以控制所述待写入数据均衡分布于各所述OSD；
对应的，所述当各所述OSD申请的所述预设存储空间的总量等于各所述OSD对应的所述额定存储空间时，若所述目标OSD再次接收到所需空间大于当前存储空间的所述待写入数据，则控制所述存储池停止接收所述待写入数据具体为：
当所述目标OSD申请的所述预设存储空间的总量等于所述目标OSD对应的所述额定存储空间时，若所述目标OSD再次接收到所需空间大于当前存储空间的所述待写入数据，则控制所述存储池停止接收所述待写入数据。
4.根据权利要求1所述的方法，其特征在于，所述当所述OSD中存在目标OSD的当前存储空间小于待写入数据的所需空间时，按照预设规则控制所述目标OSD申请预设存储空间并更新所述目标OSD的当前存储空间具体为：
当所述OSD中存在目标OSD的当前存储空间小于所述待写入数据的所需空间时，根据所述目标OSD累计申请的所述预设存储空间，减少所述目标OSD当前申请的所述预设存储空间并更新所述目标OSD的所述当前存储空间。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述当所述OSD中存在目标OSD的当前存储空间小于待写入数据的所需空间时，按照预设规则控制所述目标OSD申请预设存储空间并更新所述目标OSD的所述当前存储空间具体为：
当所述OSD中存在目标OSD的当前存储空间的阈值小于所述待写入数据的所需空间时，按照预设规则控制所述目标OSD申请预设存储空间并更新所述目标OSD的所述当前存储空间。
6.根据权利要求5所述的方法，其特征在于，在所述控制所述存储池停止接收所述待写入数据之前，进一步包括：
为所述存储池设置标识信息。
7.根据权利要求6所述的方法，其特征在于，在所述控制所述存储池停止接收所述待写入数据之前，进一步包括：
发出提示信息。
8.一种存储池的存储空间配额装置，其特征在于，包括：
分配模块，用于预先根据存储池的总存储空间为每个OSD分配额定存储空间；
更新模块，用于当所述OSD中存在目标OSD的当前存储空间小于待写入数据的所需空间时，按照预设规则控制所述目标OSD申请预设存储空间并更新所述目标OSD的所述当前存储空间；
控制模块，用于当各所述OSD申请的所述预设存储空间的总量等于各所述OSD对应的所述额定存储空间时，若所述目标OSD再次接收到所需空间大于当前存储空间的所述待写入数据，则控制所述存储池停止接收所述待写入数据。
9.一种存储池的存储空间配额设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述的存储池的存储空间配额方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的存储池的存储空间配额方法的步骤。
CN201810846183.7A 2018-07-27 2018-07-27 一种存储池的存储空间配额方法、装置、设备及存储介质 Pending CN109117090A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810846183.7A CN109117090A (zh) 2018-07-27 2018-07-27 一种存储池的存储空间配额方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810846183.7A CN109117090A (zh) 2018-07-27 2018-07-27 一种存储池的存储空间配额方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN109117090A true CN109117090A (zh) 2019-01-01

Family

ID=64863705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810846183.7A Pending CN109117090A (zh) 2018-07-27 2018-07-27 一种存储池的存储空间配额方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN109117090A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109857595A (zh) * 2019-02-28 2019-06-07 新华三信息安全技术有限公司 一种备份存储空间分配方法和装置
CN109995595A (zh) * 2019-04-11 2019-07-09 苏州浪潮智能科技有限公司 一种rgw配额确定方法、系统、设备及计算机介质
CN110018799A (zh) * 2019-04-12 2019-07-16 苏州浪潮智能科技有限公司 一种存储池pg主确定方法、装置、设备及可读存储介质
CN110399102A (zh) * 2019-07-19 2019-11-01 苏州浪潮智能科技有限公司 分布式存储系统的数据写入方法、装置、设备及存储介质
CN110515563A (zh) * 2019-08-29 2019-11-29 北京浪潮数据技术有限公司 一种存储池管理方法、系统、设备及计算机可读存储介质
WO2020168928A1 (zh) * 2019-02-22 2020-08-27 阿里巴巴集团控股有限公司 事件处理方法、装置和设备
CN114629748A (zh) * 2022-04-01 2022-06-14 日立楼宇技术（广州）有限公司 一种楼宇数据的处理方法、楼宇的边缘网关及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106899676A (zh) * 2017-02-28 2017-06-27 郑州云海信息技术有限公司 一种多客户端写入目录配额分配方法
CN107426321A (zh) * 2017-07-31 2017-12-01 郑州云海信息技术有限公司 一种分布式存储系统配额分配方法及装置
CN107562386A (zh) * 2017-09-13 2018-01-09 郑州云海信息技术有限公司 一种分布式存储集群的数据写入方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106899676A (zh) * 2017-02-28 2017-06-27 郑州云海信息技术有限公司 一种多客户端写入目录配额分配方法
CN107426321A (zh) * 2017-07-31 2017-12-01 郑州云海信息技术有限公司 一种分布式存储系统配额分配方法及装置
CN107562386A (zh) * 2017-09-13 2018-01-09 郑州云海信息技术有限公司 一种分布式存储集群的数据写入方法及装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020168928A1 (zh) * 2019-02-22 2020-08-27 阿里巴巴集团控股有限公司 事件处理方法、装置和设备
CN111611193A (zh) * 2019-02-22 2020-09-01 阿里巴巴集团控股有限公司 事件处理方法、装置和设备
CN111611193B (zh) * 2019-02-22 2023-06-20 阿里巴巴集团控股有限公司 事件处理方法、装置和设备
CN109857595A (zh) * 2019-02-28 2019-06-07 新华三信息安全技术有限公司 一种备份存储空间分配方法和装置
CN109995595A (zh) * 2019-04-11 2019-07-09 苏州浪潮智能科技有限公司 一种rgw配额确定方法、系统、设备及计算机介质
CN109995595B (zh) * 2019-04-11 2022-02-18 苏州浪潮智能科技有限公司 一种rgw配额确定方法、系统、设备及计算机介质
CN110018799A (zh) * 2019-04-12 2019-07-16 苏州浪潮智能科技有限公司 一种存储池pg主确定方法、装置、设备及可读存储介质
CN110399102A (zh) * 2019-07-19 2019-11-01 苏州浪潮智能科技有限公司 分布式存储系统的数据写入方法、装置、设备及存储介质
CN110399102B (zh) * 2019-07-19 2023-01-10 苏州浪潮智能科技有限公司 分布式存储系统的数据写入方法、装置、设备及存储介质
CN110515563A (zh) * 2019-08-29 2019-11-29 北京浪潮数据技术有限公司 一种存储池管理方法、系统、设备及计算机可读存储介质
CN114629748A (zh) * 2022-04-01 2022-06-14 日立楼宇技术（广州）有限公司 一种楼宇数据的处理方法、楼宇的边缘网关及存储介质
CN114629748B (zh) * 2022-04-01 2023-08-15 日立楼宇技术（广州）有限公司 一种楼宇数据的处理方法、楼宇的边缘网关及存储介质

Similar Documents

Publication Publication Date Title
CN109117090A (zh) 一种存储池的存储空间配额方法、装置、设备及存储介质
US8412899B2 (en) Real time backup storage node assignment
US20130104139A1 (en) System for Managing Data Collection Processes
EP2515504A1 (en) Content delivery method, system and schedule server
WO2021012785A1 (zh) 基于云存储的云磁盘挂载方法、装置、设备和存储介质
US8281100B2 (en) System and method for controlling timing of copy start
US8700932B2 (en) Method for on-demand energy savings by lowering power usage of at least one storage device in a multi-tiered storage system
WO2021259246A1 (zh) 资源调度方法和装置、电子设备、计算机可读存储介质
US20120023499A1 (en) Determining whether a given diagram is a conceptual model
CN111694517B (zh) 分布式数据迁移方法、系统和电子设备
CN110399102A (zh) 分布式存储系统的数据写入方法、装置、设备及存储介质
CN109002259A (zh) 一种归置组所属硬盘分配方法、系统、装置及存储介质
CN107436735A (zh) 一种分布式文件系统中存储单元状态更新方法
US9298493B1 (en) Managing system I/O load
CN110377314A (zh) 一种分布式存储系统的系统升级方法、装置、设备及介质
CN109327332A (zh) 一种Ceph云存储下基于LIO的iSCSI GateWay高可用实现方法
CN110515546A (zh) 一种系统间数据迁移的方法、装置、设备及存储介质
CN106648847A (zh) 一种云计算操作系统中异步任务管理方法及装置
CN109522129A (zh) 一种资源动态均衡方法、装置及相关设备
CN109542850A (zh) 一种文件的worm属性更新方法、装置、设备及介质
CN105471644A (zh) 云环境下弹性调控租户网络流量的方法
CN106371767B (zh) 一种处理一致性业务的方法、装置和系统
CN107800810A (zh) 一种服务器远程控制方法和系统
CN113849273A (zh) 接入处理的方法、设备、存储介质及程序产品
KR101844914B1 (ko) 기계 학습을 위한 데이터관리장치 및 그 동작 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190101

RJ01 Rejection of invention patent application after publication