CN113806081B - 一种对象存储的配额功能优化方法及系统 - Google Patents
一种对象存储的配额功能优化方法及系统 Download PDFInfo
- Publication number
- CN113806081B CN113806081B CN202111017855.1A CN202111017855A CN113806081B CN 113806081 B CN113806081 B CN 113806081B CN 202111017855 A CN202111017855 A CN 202111017855A CN 113806081 B CN113806081 B CN 113806081B
- Authority
- CN
- China
- Prior art keywords
- quota
- cache
- storage barrel
- uploading
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000005457 optimization Methods 0.000 title claims abstract description 15
- 230000001680 brushing effect Effects 0.000 claims description 8
- 238000011010 flushing procedure Methods 0.000 claims description 6
- 230000010365 information processing Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
- G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0877—Cache access modes
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Memory System Of A Hierarchy Structure (AREA)
Abstract
本发明提供了一种对象存储的配额功能优化方法及系统，所述优化方法包括接收客户端的数据上传请求；获取预设的存储配额信息，根据所述配额信息确定配额缓存参数，并将集群的使用信息读取到缓存中；根据所述配额缓存参数，判断当前上传数据是否超出配额，若能上传，在上传完成后，更新缓存中的集群使用信息。根据使用者设置的配额值来确定存储桶配额阈值和存储桶配额缓存信任时间，使用不同的参数值，在配额大的时候，增大配额阈值，以及信任时间，可以让集群能够更加长的时间使用缓存的数据，以及在即将达到配额的过程中，能够更加精确的限制上传，提高存储性能。
Description
技术领域
本发明涉及存储技术领域，尤其是一种对象存储的配额功能优化方法及系统。
背景技术
在存储系统中，存储空间是有限的。因此，为了合理规划用户或应用的存储，需要对单个用户或应用的最大存储空间进行限制。在对象存储中，配额管理通常是包括最大可存储对象数和对象总大小。另外，RGW(RADOS gateway，RADOS网关，对象存储的服务)支持用户和桶两种粒度的配额限制。
在设置配额之后，在上传或删除对象时，都要检查配额和更新使用量。因此，需要首先读取一次存储空间使用量，判断是否能够上传，如果能够上传，则上传对象后，更新存储空间的使用量，也就是多了一次读IO和写IO。
目前，RGW设计了一个LRU(Least Recently Used，最近最少使用，是一种缓存失效方法)缓存，将使用量信息存放在缓存中，优先在缓存中读写，再定时将缓存刷到对象中。但是这样做导致缓存信息和RGW的实际使用量可能不一致。影响表现为用户使用量已经达到配额的限制，但仍然可以写入数据。
发明内容
本发明提供了一种对象存储的配额功能优化方法及系统，用于解决现有用户使用量已经达到配额的限制，但仍然可以写入数据的问题。
为实现上述目的，本发明采用下述技术方案：
本发明第一方面提供了一种对象存储的配额功能优化方法，所述优化方法包括以下步骤：
接收客户端的数据上传请求；
获取预设的存储配额信息，根据所述配额信息确定配额缓存参数，并将集群的使用信息读取到缓存中；
根据所述配额缓存参数，判断当前上传数据是否超出配额，若能上传，在上传完成后，更新缓存中的集群使用信息。
进一步地，所述方法在更新缓存中的集群使用信息后还包括步骤：
在经过下刷间隔时间后，将缓存中的存储使用信息下刷到集群中。
进一步地，所述配额缓存参数包括存储桶配额缓存信任时间、存储桶配额阈值、存储桶空间使用量从缓存到下刷集群的间隔时间以及用户空间使用量从缓存下刷到集群的时间间隔。
进一步地，根据所述配额信息确定的配额缓存参数包括存储桶配额缓存信任时间和存储桶配额阈值。
进一步地，所述存储桶配额缓存信任时间的确定具体为：
若满足则将ttl设置为存储桶配额缓存信任时间，否则将/>设置为存储桶配额缓存信任时间；uq、T和ttl分别表示预设的存储桶配额、集群的性能值和存储桶配额缓存信任时间阈值。
进一步地，所述存储桶配额阈值的确定具体为：
若满足则将qst设置为存储桶配额，否则将/>设置为存储桶配额；uq、T和qst分别表示预设的存储桶配额、集群的性能值和存储桶配额阈值。
本发明第二方面提供了一种对象存储的配额功能优化系统，所述系统包括：
数据获取单元，用于接收客户端的数据上传请求；
参数配置单元，用于获取预设的存储配额信息，根据所述配额信息确定配额缓存参数，并将集群的使用信息读取到缓存中；
数据上传单元，根据所述配额缓存参数，判断当前上传数据是否超出配额，若能上传，在上传完成后，更新缓存中的集群使用信息。
进一步地，所述系统还包括使用信息处理单元，所述使用信息处理单元用于在经过下刷间隔时间后，将缓存中的存储使用信息下刷到集群中。
进一步地，所述参数配置单元包括信任时间配置模块和存储桶配额配置模块，
所述信任时间配置模块在满足时，将ttl设置为存储桶配额缓存信任时间，否则将/>设置为存储桶配额缓存信任时间；uq、T和ttl分别表示预设的存储桶配额、集群的性能值和存储桶配额缓存信任时间阈值；
所述存储桶配额配置模块在满足时，则将qst设置为存储桶配额，否则将/>设置为存储桶配额；uq、T和qst分别表示预设的存储桶配额、集群的性能值和存储桶配额阈值。
本发明第三方面提供了一种计算机存储介质，所述计算机存储介质中存储有计算机指令，所述计算机指令在所述系统上运行时，使所述系统执行所述方法的步骤。
本发明第二方面的所述对象存储的配额功能优化系统能够实现第一方面及第一方面的各实现方式中的方法，并取得相同的效果。
发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：
本发明将存储桶配额阈值的预设值和配额值(实际上传数据)结合起来，自适应地调整存储桶配额阈值和存储桶配额缓存信任时间。根据使用者设置的配额值来确定存储桶配额阈值和存储桶配额缓存信任时间，使用不同的参数值，在配额大的时候，增大配额阈值，以及信任时间，可以让集群能够更加长的时间使用缓存的数据，以及在即将达到配额的过程中，能够更加精确的限制上传，提高存储性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明所述方法实施例的流程示意图；
图2是本发明所述系统实施例的结构示意图。
具体实施方式
为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。
如图1所示，本发明提供的一种对象存储的配额功能优化方法，所述优化方法包括以下步骤：
S1,接收客户端的数据上传请求；
S2,获取预设的存储配额信息，根据所述配额信息确定配额缓存参数，并将集群的使用信息读取到缓存中；
S3,根据所述配额缓存参数，判断当前上传数据是否超出配额，若能上传，在上传完成后，更新缓存中的集群使用信息。
步骤S1中，基于客户端上传数据的请求，得到对应的配额值，即当前实际上传的数据量。
所述配额缓存参数包括存储桶配额缓存信任时间、存储桶配额阈值、存储桶空间使用量从缓存到下刷集群的间隔时间以及用户空间使用量从缓存下刷到集群的时间间隔。除存储桶配额阈值外的3个配额缓存参数的值越大，缓存与集群中的配额差别越大。
其中存储桶配额缓存信任时间，在检查配额是否达到限制时，如果缓存中记录的使用量达到配额的一个百分比时或者距离上次集群中更新配额到缓存中的时间超过该时间时则认为缓存记录不可靠，需要重新从集群中获取最新的使用量并更新到缓存中，同时重置缓存超时时间。
步骤S2中，所述配额信息确定的配额缓存参数包括存储桶配额缓存信任时间和存储桶配额阈值。
所述存储桶配额缓存信任时间的确定具体为：
若满足则将ttl设置为存储桶配额缓存信任时间，否则将/>设置为存储桶配额缓存信任时间；uq、T和ttl分别表示预设的存储桶配额、集群的性能值和存储桶配额缓存信任时间阈值，/>为实际使用的缓存信任时间。
所述存储桶配额阈值的确定具体为：
若满足则将qst设置为存储桶配额，否则将/>设置为存储桶配额；uq、T和qst分别表示预设的存储桶配额、集群的性能值和存储桶配额阈值。
为实际使用的存储桶配额阈值。
步骤S3中，如果新上传文件之后的集群容量超出最大限制，该最大限制包括存储桶配额缓存信任时间限制和存储桶配额阈值限制，则认为当前上传数据超出配额，则不允许上传。在步骤S2中，通过自适应的调整了存储桶配额阈值和存储桶配额缓存信任时间，可以让集群能够更加长的时间使用缓存的数据，以及在即将达到配额的过程中，能够更加精确的限制上传。
本发明实施例的其一实现方式中，所述方法在更新缓存中的集群使用信息后还包括步骤：
在经过下刷间隔时间后，将缓存中的存储使用信息下刷到集群中。
如图2所示，本发明实施例还提供了一种对象存储的配额功能优化系统，所述系统包括数据获取单元1、参数配置单元2、数据上传单元3和使用信息处理单元4。
数据获取单元1用于接收客户端的数据上传请求；参数配置单元2用于获取预设的存储配额信息，根据所述配额信息确定配额缓存参数，并将集群的使用信息读取到缓存中；数据上传单元3根据所述配额缓存参数，判断当前上传数据是否超出配额，若能上传，在上传完成后，更新缓存中的集群使用信息。使用信息处理单元4用于在经过下刷间隔时间后，将缓存中的存储使用信息下刷到集群中。
参数配置单元2包括信任时间配置模块21和存储桶配额配置模块22。
所述信任时间配置模块21在满足时，将ttl设置为存储桶配额缓存信任时间，否则将/>设置为存储桶配额缓存信任时间；uq、T和ttl分别表示预设的存储桶配额、集群的性能值和存储桶配额缓存信任时间阈值；所述存储桶配额配置模块22在满足/>时，则将qst设置为存储桶配额，否则将/>设置为存储桶配额；uq、T和qst分别表示预设的存储桶配额、集群的性能值和存储桶配额阈值。
本发明实施例还提供看一种计算机存储介质，所述计算机存储介质中存储有计算机指令，所述计算机指令在所述系统上运行时，使所述系统所述方法的步骤。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (5)
1.一种对象存储的配额功能优化方法，其特征是，所述优化方法包括以下步骤：
接收客户端的数据上传请求；
获取预设的存储配额信息，根据所述配额信息确定配额缓存参数，并将集群的使用信息读取到缓存中；
根据所述配额缓存参数，判断当前上传数据是否超出配额，若能上传，在上传完成后，更新缓存中的集群使用信息；
根据所述配额信息确定的配额缓存参数包括存储桶配额缓存信任时间和存储桶配额阈值；
所述存储桶配额缓存信任时间的确定具体为：
若满足，则将/>设置为存储桶配额缓存信任时间，否则将/>设置为存储桶配额缓存信任时间；/>、/>和/>分别表示预设的存储桶配额、集群的性能值和存储桶配额缓存信任时间阈值；
所述存储桶配额阈值的确定具体为：
若满足，则将/>设置为存储桶配额，否则将/>设置为存储桶配额；/>、/>和/>分别表示预设的存储桶配额、集群的性能值和存储桶配额阈值；
利用存储桶配额缓存信任时间和存储桶配额阈值的确定方法，自适应调整了存储桶配额阈值和存储桶配额缓存信任时间；
如果新上传文件之后的集群容量超出最大限制，该最大限制包括存储桶配额缓存信任时间限制和存储桶配额阈值限制，则认为当前上传数据超出配额，则不允许上传。
2.根据权利要求1所述对象存储的配额功能优化方法，其特征是，所述方法在更新缓存中的集群使用信息后还包括步骤：
在经过下刷间隔时间后，将缓存中的存储使用信息下刷到集群中。
3.一种对象存储的配额功能优化系统，其特征是，所述系统包括：
数据获取单元，用于接收客户端的数据上传请求；
参数配置单元，用于获取预设的存储配额信息，根据所述配额信息确定配额缓存参数，并将集群的使用信息读取到缓存中；
数据上传单元，根据所述配额缓存参数，判断当前上传数据是否超出配额，若能上传，在上传完成后，更新缓存中的集群使用信息；
根据所述配额信息确定的配额缓存参数包括存储桶配额缓存信任时间和存储桶配额阈值；
所述参数配置单元包括信任时间配置模块和存储桶配额配置模块，
所述信任时间配置模块在满足时，将/>设置为存储桶配额缓存信任时间，否则将/>设置为存储桶配额缓存信任时间；/>、/>和/>分别表示预设的存储桶配额、集群的性能值和存储桶配额缓存信任时间阈值；
所述存储桶配额配置模块在满足时，则将/>设置为存储桶配额，否则将设置为存储桶配额；/>、/>和/>分别表示预设的存储桶配额、集群的性能值和存储桶配额阈值；
利用存储桶配额缓存信任时间和存储桶配额阈值的确定方法，自适应调整了存储桶配额阈值和存储桶配额缓存信任时间；
如果新上传文件之后的集群容量超出最大限制，该最大限制包括存储桶配额缓存信任时间限制和存储桶配额阈值限制，则认为当前上传数据超出配额，则不允许上传。
4.根据权利要求3所述对象存储的配额功能优化系统，其特征是，所述系统还包括使用信息处理单元，所述使用信息处理单元用于在经过下刷间隔时间后，将缓存中的存储使用信息下刷到集群中。
5.一种计算机存储介质，所述计算机存储介质中存储有计算机指令，其特征是，所述计算机指令在权利要求3-4任一项所述系统上运行时，使所述系统执行如权利要求1-2任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111017855.1A CN113806081B (zh) | 2021-08-31 | 2021-08-31 | 一种对象存储的配额功能优化方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111017855.1A CN113806081B (zh) | 2021-08-31 | 2021-08-31 | 一种对象存储的配额功能优化方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113806081A CN113806081A (zh) | 2021-12-17 |
| CN113806081B true CN113806081B (zh) | 2024-02-13 |
Family
ID=78894519
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111017855.1A Active CN113806081B (zh) | 2021-08-31 | 2021-08-31 | 一种对象存储的配额功能优化方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113806081B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6530008B1 (en) * | 1999-11-29 | 2003-03-04 | Lucent Technologies Inc. | Method for managing a database for storing variable size data records using fixed size buckets |
| CN108829352A (zh) * | 2018-06-06 | 2018-11-16 | 郑州云海信息技术有限公司 | 一种分布式存储系统的用户配额方法及系统 |
| CN109726175A (zh) * | 2018-12-29 | 2019-05-07 | 北京赛思信安技术股份有限公司 | 一种基于HBase的海量文件离线分区管理方法 |
| CN110519336A (zh) * | 2019-08-01 | 2019-11-29 | 北京浪潮数据技术有限公司 | 分布式存储系统配额状态更新方法及分布式存储系统 |
-
2021
- 2021-08-31 CN CN202111017855.1A patent/CN113806081B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6530008B1 (en) * | 1999-11-29 | 2003-03-04 | Lucent Technologies Inc. | Method for managing a database for storing variable size data records using fixed size buckets |
| CN108829352A (zh) * | 2018-06-06 | 2018-11-16 | 郑州云海信息技术有限公司 | 一种分布式存储系统的用户配额方法及系统 |
| CN109726175A (zh) * | 2018-12-29 | 2019-05-07 | 北京赛思信安技术股份有限公司 | 一种基于HBase的海量文件离线分区管理方法 |
| CN110519336A (zh) * | 2019-08-01 | 2019-11-29 | 北京浪潮数据技术有限公司 | 分布式存储系统配额状态更新方法及分布式存储系统 |
Non-Patent Citations (1)
| Title |
|---|
| 面向云计算平台的在线存储系统研究与实现;耿胜男;刘川意;吴旭;;现代图书情报技术(第06期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113806081A (zh) | 2021-12-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5970645B2 (ja) | メモリの寿命を延長するためにメモリ内のスペア領域を増加させること | |
| CN112631521B (zh) | 一种控制缓存池水位的方法、系统、设备及介质 | |
| CN107710169B (zh) | 一种闪存设备的访问方法和装置 | |
| KR101173775B1 (ko) | 메모리 맵핑 기술 | |
| CN106909318B (zh) | 固态硬盘使用方法及装置 | |
| US20060174067A1 (en) | Method of caching data | |
| EP4020153A1 (en) | Cache space management method and device | |
| US10621104B2 (en) | Variable cache for non-volatile memory | |
| CN111142803B (zh) | 一种元数据刷盘方法、装置、设备及介质 | |
| WO2022027610A1 (en) | Balanced three-level read distrub management in a memory device | |
| CN110597457A (zh) | 一种固态硬盘、固态硬盘的控制方法及控制器 | |
| CN112068772B (zh) | 数据存储方法、数据存储装置及存储装置 | |
| CN110413545B (zh) | 存储管理方法、电子设备和计算机程序产品 | |
| CN110502457B (zh) | 一种元数据存储方法及装置 | |
| CN103548005A (zh) | 替换缓存对象的方法和装置 | |
| CN105915595B (zh) | 一种集群存储系统存取数据的方法以及集群存储系统 | |
| CN113806081B (zh) | 一种对象存储的配额功能优化方法及系统 | |
| US10564886B2 (en) | Methods and apparatus for controlling flash translation layer recycle from host | |
| CN113467713B (zh) | 数据分离方法及固态硬盘 | |
| US20200097215A1 (en) | Adaptive solid state device management based on data expiration time | |
| CN110321081A (zh) | 一种闪存读缓存的方法及其系统 | |
| CN111858470A (zh) | 一种时间窗口迁移策略 | |
| CN106205707B (zh) | 存储器装置 | |
| CN116243870A (zh) | 一种数据迁移方法、系统、设备及存储介质 | |
| WO2017088399A1 (zh) | Sd卡、摄像机和sd卡可靠性预警系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |