CN116991336B - 分布式全闪对象存储系统的gc方法及电子设备、存储介质 - Google Patents
分布式全闪对象存储系统的gc方法及电子设备、存储介质 Download PDFInfo
- Publication number
- CN116991336B CN116991336B CN202311250340.5A CN202311250340A CN116991336B CN 116991336 B CN116991336 B CN 116991336B CN 202311250340 A CN202311250340 A CN 202311250340A CN 116991336 B CN116991336 B CN 116991336B
- Authority
- CN
- China
- Prior art keywords
- volume
- data
- socket
- storage system
- volumes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004817 gas chromatography Methods 0.000 title claims abstract description 22
- 238000013403 standard screening design Methods 0.000 claims abstract description 40
- 230000005012 migration Effects 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 19
- 238000013508 migration Methods 0.000 claims abstract description 19
- 238000012217 deletion Methods 0.000 claims abstract description 14
- 230000037430 deletion Effects 0.000 claims abstract description 14
- 230000004931 aggregating effect Effects 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims abstract description 5
- 238000004590 computer program Methods 0.000 claims description 6
- 239000012634 fragment Substances 0.000 abstract description 11
- 230000003321 amplification Effects 0.000 abstract description 10
- 238000003199 nucleic acid amplification method Methods 0.000 abstract description 10
- 238000005299 abrasion Methods 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000002035 prolonged effect Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000007774 longterm Effects 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
- G06F3/0616—Improving the reliability of storage systems in relation to life time, e.g. increasing Mean Time Between Failures [MTBF]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0647—Migration mechanisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及分布式全闪对象存储系统的GC方法及电子设备、存储介质:包括：根据分布式全闪对象存储系统的EC比例，将所有SSD划分成多个EC组储存在多个volume中；写入数据，每个bucket绑定不同的volume，每个bucket的数据按时间顺序聚合写入volume中；执行GC实时程序，查询数据库，统计被删除对象的所在volume信息，并记录处理进度,volume信息包括volume中的数据删除量、volume中的有效数据量和volume的擦写次数；执行GC迁移程序，查询数据库，获取GC实时程序统计的volume信息；根据volume信息迁移有效数据，释放分布式全闪对象存储系统空间。解决传统GC方法导致的SSD写放大、磨损不平衡问题；结合对象生命周期等策略，本发明能够有效规避删除数据时，产生过多对象碎片的问题。
Description
技术领域
本发明涉及分布式全闪对象存储领域，尤其是涉及分布式全闪对象存储系统的GC方法及电子设备、存储介质。
背景技术
在分布式全闪对象存储系统中，当存储容量不足，删除对象再写入时，写入速度会变慢。这与SSD的写放大有关。SSD将数据存储在固定大小的数据页中，多个数据页组合成数据块。SSD可以单独读取或写入数据页，但是只能按数据块擦除数据。当覆盖写入或空间不足时，SSD需要先将数据块中的有效数据写入到其他数据块，擦除数据块，然后才能将新数据写入。虽然SSD自带GC功能，但是当删除的对象碎片较多，会造成严重的SSD写放大，降低写入性能；当频繁覆盖写入时，会造成局部的磨损失衡，缩短SSD的使用寿命。
目前市面上的静态均衡技术可改善磨损失衡，专利号为CN101441599A公开了一种固态硬盘的均衡方法，将SSD所有的存储块分为多个组，根据各组的总擦写次数和每组中的空白块数目，从每组中获取空白块，当有新数据要存储时，SSD将数据直接存储到获取的空白块上，提高了数据的写入速度，提高了该SSD的工作效率，但这种方法的操作最小单位是SSD的block，在删除block内的数据时会产生很多对象碎片。
因此，针对上述问题本发明急需提供一种分布式全闪对象存储系统的GC方法及电子设备、存储介质。
发明内容
本发明的目的在于提供分布式全闪对象存储系统的GC方法及电子设备、存储介质，解决GC带来的SSD写放大、磨损不平衡的问题。
分布式全闪对象存储系统的GC方法，包括如下步骤：
根据分布式全闪对象存储系统的EC比例，将所有SSD划分成多个EC组储存在多个volume中；
写入数据，每个bucket绑定不同的volume，每个bucket的数据按时间顺序聚合写入volume中；
执行GC实时程序，查询数据库，统计被删除对象的所在volume信息，并记录处理进度,volume信息包括volume中的数据删除量、volume中的有效数据量和volume的擦写次数；
执行GC迁移程序，查询数据库，获取GC实时程序统计的volume信息;
根据volume信息迁移有效数据，释放分布式全闪对象存储系统空间。
优选的，写入数据，每个bucket绑定不同的volume，每个bucket的数据按时间顺序聚合写入volume中，包括，
用户向多个s3server下发数据写入请求，所述数据写入请求中包含bucket信息；
s3server接收写入请求，将写入请求下发到节点；
每个节点为一个bucket分配多个volume，其中节点判断volume是否有空间；
若是，则将bucket与volume绑定，并在volume中写入数据；
若否，则再分配另一个volume与bucket绑定，并在新分配的volume中写入数据。
优选的，s3server接受写入请求，将写入请求下发到节点，包括：
每个s3server通过scheduler调度获取一个节点信息，scheduler按节点空间使用量将一个节点分配给一个s3server。
优选的，根据所有volume的数据删除量和擦写次数迁移有效数据，包括：
优先将数据删除量大的volume中有效数据迁移写入到擦写次数小的volume中，将被迁移的volume中的所有数据擦除。
优选的，还包括判断volume的擦写次数是否大于保护阈值且小于最终阈值，
若是，降低volume的写入和GC的频率；
若否，在擦写次数小于保护阈值的情况下，则在volume中继续写入数据；在擦写次数大于最终阈值的情况下，则在volume中写入长期保留的数据。
优选的，若volume被GC迁移程序选中GC，则被迁移后的volume解除与对应的bucket的绑定，被解除绑定的volume重新被任意一个bucket绑定。
优选的，volume为分布式全闪对象储存系统的最小存储单元和GC擦除的最小单元。
优选的，执行GC迁移程序，查询数据库，获取GC实时程序统计的所有volume信息之前，还包括，执行GC扫描程序，查询数据库，扫描重名对象，保留最新重名对象，删除旧的重名对象，记录扫描进度。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现分布式全闪对象存储系统的GC方法。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现分布式全闪对象存储系统的GC方法。
本发明提供的一种分布式全闪对象存储系统的GC方法与现有技术相比具有以下进步：
现有对象存储系统的GC方法一般依赖文件系统管理对象，无法控制SSD写入的数据块，只能由SSD的GC功能处理对象碎片，释放存储空间。在对象碎片过多的场景下，会有严重的写放大，降低SSD的写入性能；而且当文件系统频繁标记删除数据块，频繁覆盖写入时，会导致SSD出现局部的磨损失衡，降低SSD的使用寿命。
本发明不依赖文件系统，不由SSD的GC功能处理对象碎片，而是直接管理SSD块设备，将多个SSD合并为EC组储存在多个volume中，一个bucket中的数据按时间顺序聚合写入多个volume中，因为是按时间序大块写入的，当删除bucket中的数据或bucket中的数据的生命周期触发时，删除的对象所占用的空间基本是连续的，删除的对象也是大块删除的，不会产生很多对象碎片，降低了数据写放大，降低GC的数据迁移；根据volume的擦写次数统筹调度分配volume，实现全局磨损平衡，提高整个存储系统的使用寿命。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明公开的一种分布式全闪对象存储系统的GC方法步骤图;
图2为本发明中公开的一种存储桶bucket绑定对应的多个存储单元volume的示意图。
实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
对象存储系统一般依赖文件系统管理对象，无法控制SSD写入的数据块，只能由SSD的GC功能处理对象碎片，释放存储空间。在对象碎片过多的场景下，会有严重的写放大，降低SSD的写入性能；而且当文件系统频繁标记删除数据块，频繁覆盖写入时，会导致SSD出现局部的磨损失衡，降低SSD的使用寿命。现有技术中公开了一种固态硬盘的均衡方法和固态硬盘，将SSD所有的存储块分为多个组，根据各组的总擦写次数和每组中的空白块数目，从每组中获取空白块，当有新数据要存储时，SSD将数据直接存储到获取的空白块上，提高了数据的写入速度，提高了该SSD的工作效率，但这种方法的操作最小单位是SSD的block，在删除block内的数据时会产生很多对象碎片。
如图1所示，本实施例公开了一种分布式全闪对象存储系统的GC方法，包括如下步骤：
S1，根据分布式全闪对象存储系统的EC比例，将所有SSD划分成多个EC组储存在多个volume中；
S2，写入数据，每个bucket绑定不同的volume，每个bucket的数据按时间顺序聚合写入volume中；
S3，执行GC实时程序，查询数据库，统计被删除对象的所在volume信息，并记录处理进度，volume信息包括volume中的数据删除量、volume中的有效数据量和volume的擦写次数；
S4，执行GC迁移程序，查询数据库，获取GC实时程序统计的volume信息；
S5，根据volume信息迁移有效数据，释放分布式全闪对象存储系统空间。
应理解的是，本实施例的S1-S2为分布式全闪对象存储系统的数据架构搭建过程，是核心步骤。本实施例不依赖文件系统，而是直接管理SSD块设备，将多个SSD合并为EC组存入volume中。考虑对象的生命周期等特点，合理组织数据写入。写入方式为bucket绑定volume，在bucket中按时间顺序存储对象，因数据是大块写入bucket中的，所以数据被删除时也是大块删除的，不会留下过多对象碎片，从而降低数据写放大，降低GC的数据迁移，实现全局磨损平衡，提高整个存储系统的使用寿命；
本实施例的S3-S5为本实施例的GC工作流程，包括，执行GC实时程序，查询被删除的对象，更新对象的状态，统计被删除对象的所在volume信息，volume信息包括volume中的数据删除量、volume的有效数据量和volume的擦写次数；执行GC迁移程序，选择数据删除量大也是数据迁移量小的volume，迁移上述volume中的有效数据，每迁移一次，上述volume的擦写次数加一，本实施例根据volume的擦写次数统筹调度分配volume与bucket绑定，释放存储空间。
进一步地，写入数据，每个bucket绑定不同的volume，每个bucket的数据按时间顺序聚合写入volume中，包括，
用户向多个s3server下发数据写入请求，所述数据写入请求中包含bucket信息；
s3server接收数据写入请求，将数据写入请求下发到节点；
每个节点为一个bucket分配多个volume，其中节点判断volume是否有空间；
若是，则将bucket与volume绑定，并在volume中写入数据；
若否，则再分配另一个volume与bucket绑定，并在新分配的volume中写入数据。
应理解的是，本实施例在写入时，一个bucket绑定多个volume。参见图2，为一种存储桶bucket绑定对应的多个存储单元volume的示意图。一个bucket中的数据按时间顺序聚合写入多个volume中。当node写入压力低时，一个bucket在一个节点只绑定一个volume；当node写入压力大时，一个bucket在一个节点可以绑定多个volume。因为bucket中的对象按时间序写入，当删除对象或对象的生命周期过期时，删除的对象数据的存储空间是连续的，不会产生很多对象碎片。特别地，当删除整个bucket时，无需扫描volume中的数据，可以直接擦除bucket绑定的所有volume，释放存储空间。这样组织数据，可以有效降低GC的数据迁移，降低数据写放大。
具体地，s3server接受写入请求，将写入请求下发到节点，包括：
每个s3server通过scheduler调度获取一个节点信息，scheduler按节点空间使用量将一个节点分配给一个s3server。
具体地，根据所有volume的数据删除量和擦写次数迁移有效数据，包括：
优先将数据删除量大的volume中有效数据迁移写入到擦写次数小的volume中，将被迁移的volume中的所有数据擦除。
应理解的是，本实施例优先选中被删除量大的volume进行GC，降低了GC迁移的数据量，缩短了GC的时间，实现整个系统的全域GC，而不是对SSD的块进行小范围GC。本实施例根据EC比例，将所有SSD划分成多个EC组储存在volume中，volume作为系统调度的最小存储单元，也是本实施例GC过程擦除的最小单元。
具体地，还包括判断volume的擦写次数是否大于保护阈值且小于最终阈值，
若是，降低volume的写入和GC的频率；
若否，在擦写次数小于保护阈值的情况下，则在volume中继续写入数据；在擦写次数大于最终阈值的情况下，则在volume中写入长期保留的数据。
应理解的是，本实施例优先选择擦写次数小的volume写入，针对擦写次数大于最终阈值后的场景，分别写入GC频率低和长期保留的数据，降低这些volume被重复擦写的概率。Volume的调度分配策略：优先选择擦写次数epoch小的volume；若擦写次数epoch大于保护阈值，降低写入和GC的频率，防止频繁擦写会损坏介质；若擦写次数epoch大于最终阈值，只写入长期保留的几乎不会被GC数据，防止频繁擦写会严重损坏介质，实现了全系统的磨损平衡，延长了整个存储系统的使用寿命。
具体地，若volume被GC迁移程序选中GC，则被迁移后的volume解除与对应的bucket的绑定，volume可以被重新分配，绑定给任意一个bucket。
应理解的是，既然volume是本系统中的最小存储单元，也是GC擦除的最小单元，当一个volume被选择GC迁移数据后，擦写次数加1，此时volume解除与bucket的绑定可被任意一个bucket绑定。
具体地，volume为分布式全闪对象储存系统的最小存储单元和GC擦除的最小单元。
应理解的是，本实施例的一个volume包含多个SSD的数据块，需要说明的是SSD的可擦除最小单元，本发明实施例的并不做特殊限定，通常为256K。
具体地，执行GC迁移程序，查询数据库，获取GC实时程序统计的所有volume信息之前，还包括，执行GC扫描程序，查询数据库，扫描重名对象，保留最新重名对象，删除旧的重名对象，记录扫描进度。
应理解的是，本实施例先执行GC扫描程序，查询数据库，扫描重名对象，保留最新对象，删除旧的重名对象，记录扫描进度。GC扫描周期性执行，减小系统冗余度，防止重名对象过多。
S3步骤为执行GC实时程序，GC实时程序周期性执行，查询数据库，更新被删除对象的状态，统计被删除对象的所在的volume的有效数据量、对应volume的数据删除量以及擦写次数，记录处理进度。GC实时程序监听来自GC迁移任务的消息，当接收到停止消息时，退出；接收到启动消息时，重新启动GC实时程序。
S4步骤为执行GC迁移任务，GC迁移任务迁移数据前，停止GC实时程序；查询数据库，获取所有volume的统计信息；根据系统的GC配置，优先选择删除量大的volume；迁移上述volume中有效的数据；然后擦除被GC的volume，上述volume的擦写次数加1，此时上述volume解除与bucket的绑定。GC迁移任务结束后，启动GC实时程序。
本实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现上述的方法。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的方法。
本实施例技术方案与依赖文件系统的对象存储系统相比，可以有效管理对象，不依赖SSD的GC功能，根据系统状态决定GC，减小GC的写放大，实现全系统的磨损平衡。
应理解的是，本实施例在写入时，采用bucket绑定volume，数据按时间顺序聚合写入volume，有利于管理对象。整个系统的全域GC，优先选中被删除量大的volume，降低了GC迁移的数据量，缩短了GC的时间；特别地，当bucket被删除时，无需扫描对象，可以直接擦除bucket绑定的volume。GC迁移的数据仍然按照bucket绑定volume、对象按时间顺序写入的策略，保留了GC前后数据的有序性。调度分配volume，优先选择epoch小的volume写入，针对epoch大于一定阈值后的场景，分别写入GC频率低和长期保留的数据，降低这些volume被重复擦写的概率，实现了全系统的磨损平衡，延长了整个存储系统的使用寿命。
最后应说明的是：以上各实施例仅用以说明本实施例的技术方案，而非对其限制；尽管参照前述各实施例对本实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本实施例各实施例技术方案的范围。
Claims (10)
1.分布式全闪对象存储系统的GC方法，其特征在于：包括如下步骤，
根据分布式全闪对象存储系统的EC比例，将所有SSD划分成多个EC组储存在多个volume中；
写入数据，每个bucket绑定不同的volume，每个bucket的数据按时间顺序聚合写入volume中；其中，多个s3server接受数据写入请求，所述数据写入请求中包含bucket信息；s3server将所述数据写入请求下发到节点；每个节点根据所述数据写入请求的bucket信息为每一个bucket对应分配多个volume，其中所述节点判断所述volume是否有空间；若是，则将所述bucket与所述volume绑定，并在所述volume中写入数据；若否，则再分配另一个volume与所述bucket绑定，并在新分配的volume中写入数据；
执行GC实时程序，查询数据库，统计被删除对象的所在volume信息，并记录处理进度,所述volume信息包括volume中的数据删除量、volume中的有效数据量和volume的擦写次数；
执行GC迁移程序，查询数据库，获取所述GC实时程序统计的所述volume信息；
根据所述volume信息迁移有效数据，释放分布式全闪对象存储系统空间。
2.根据权利要求1所述的分布式全闪对象存储系统的GC方法，其特征在于：写入数据，每个bucket绑定不同的volume，每个bucket的数据按时间顺序聚合写入volume中，包括，
多个s3server接受数据写入请求，所述数据写入请求中包含bucket信息；
s3server将所述数据写入请求下发到node节点；
每个node节点根据所述数据写入请求的bucket信息为每一个bucket对应分配多个volume，其中所述node节点判断所述volume是否有空间；
若是，则将所述bucket与所述volume绑定，并在所述volume中写入数据；
若否，则再分配另一个volume与所述bucket绑定，并在新分配的volume中写入数据。
3.根据权利要求2所述的分布式全闪对象存储系统的GC方法，其特征在于：s3server接受所述写入请求，将所述写入请求下发到node节点，包括：
每个所述s3server通过scheduler调度获取一个所述node节点信息，所述scheduler按所述node节点空间使用量将一个所述node节点分配给一个所述s3server。
4.根据权利要求3所述的分布式全闪对象存储系统的GC方法，其特征在于：根据所有所述volume的数据删除量和擦写次数迁移有效数据，包括：
优先将数据删除量大的volume中有效数据迁移写入到擦写次数小的volume中，将被迁移的volume中的所有数据擦除。
5.根据权利要求4所述的分布式全闪对象存储系统的GC方法，其特征在于：还包括判断所述volume的擦写次数是否大于保护阈值且小于最终阈值，
若是，降低所述volume的写入和GC的频率；
若否，在擦写次数小于保护阈值的情况下，则在所述volume中继续写入数据；在擦写次数大于最终阈值的情况下，则在所述volume中写入长期保留的数据。
6.根据权利要求5所述的分布式全闪对象存储系统的GC方法，其特征在于：若所述volume被所述GC迁移程序选中GC，则被迁移后的volume解除与对应的bucket的绑定，解除绑定后的所述volume重新被任意一个bucket绑定。
7.权利要求6所述的分布式全闪对象存储系统的GC方法，其特征在于：所述volume为分布式全闪对象储存系统的最小存储单元和GC擦除的最小单元。
8.根据权利要求7所述的分布式全闪对象存储系统的GC方法，其特征在于：执行GC迁移程序，查询数据库，获取所述GC实时程序统计的所有所述volume信息之前，还包括，执行GC扫描程序，查询数据库，扫描重名对象，保留最新重名对象，删除旧的重名对象，记录扫描进度。
9.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1至8中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311250340.5A CN116991336B (zh) | 2023-09-26 | 2023-09-26 | 分布式全闪对象存储系统的gc方法及电子设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311250340.5A CN116991336B (zh) | 2023-09-26 | 2023-09-26 | 分布式全闪对象存储系统的gc方法及电子设备、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116991336A CN116991336A (zh) | 2023-11-03 |
| CN116991336B true CN116991336B (zh) | 2024-01-23 |
Family
ID=88523524
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311250340.5A Active CN116991336B (zh) | 2023-09-26 | 2023-09-26 | 分布式全闪对象存储系统的gc方法及电子设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116991336B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107015763A (zh) * | 2017-03-03 | 2017-08-04 | 北京中存超为科技有限公司 | 混合存储系统中ssd管理方法及装置 |
| CN109683830A (zh) * | 2019-01-08 | 2019-04-26 | 郑州云海信息技术有限公司 | 一种全闪存列阵的数据写入方法、系统及相关组件 |
| CN112306415A (zh) * | 2020-11-02 | 2021-02-02 | 成都佰维存储科技有限公司 | Gc流控方法、装置、计算机可读存储介质及电子设备 |
| CN116364148A (zh) * | 2022-04-28 | 2023-06-30 | 中国科学院计算技术研究所 | 一种面向分布式全闪存储系统的磨损均衡方法及系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103577339B (zh) * | 2012-07-27 | 2018-01-30 | 深圳市腾讯计算机系统有限公司 | 一种数据存储方法及系统 |
| CN109725842B (zh) * | 2017-10-30 | 2022-10-11 | 伊姆西Ip控股有限责任公司 | 加速随机写入布局以用于混合存储系统内的桶分配的系统和方法 |
-
2023
- 2023-09-26 CN CN202311250340.5A patent/CN116991336B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107015763A (zh) * | 2017-03-03 | 2017-08-04 | 北京中存超为科技有限公司 | 混合存储系统中ssd管理方法及装置 |
| CN109683830A (zh) * | 2019-01-08 | 2019-04-26 | 郑州云海信息技术有限公司 | 一种全闪存列阵的数据写入方法、系统及相关组件 |
| CN112306415A (zh) * | 2020-11-02 | 2021-02-02 | 成都佰维存储科技有限公司 | Gc流控方法、装置、计算机可读存储介质及电子设备 |
| CN116364148A (zh) * | 2022-04-28 | 2023-06-30 | 中国科学院计算技术研究所 | 一种面向分布式全闪存储系统的磨损均衡方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 全程优化的固态硬盘垃圾回收方法;方才华;刘景宁;童薇;高阳;雷霞;蒋瑜;;计算机应用(05);第1257-1262页 * |
| 闪存的磨损均衡专利技术综述;鱼冰;赵鹏翔;崔志鹏;;河南科技(19);第11-13页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116991336A (zh) | 2023-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11237764B2 (en) | Storage system, information processing system and method for controlling nonvolatile memory | |
| US20220327050A1 (en) | Storage system and information processing system for controlling nonvolatile memory | |
| US10372331B2 (en) | Storage system, information processing system and method for controlling nonvolatile memory | |
| US10353612B2 (en) | Storage system, information processing system and method for controlling nonvolatile memory | |
| CN109496300B (zh) | 一种存储介质垃圾回收方法、存储介质和程序产品 | |
| US9361034B2 (en) | Transferring storage resources between snapshot storage pools and volume storage pools in a distributed network | |
| CN104317742B (zh) | 一种优化空间管理的自动精简配置方法 | |
| US20130036281A1 (en) | Managing snapshot storage pools | |
| US11861204B2 (en) | Storage system, memory management method, and management node | |
| CN110309077B (zh) | 主机与设备协同工作的闪存转换层构建方法及装置 | |
| CN115470216B (zh) | 一种基于ftl的智能物联表的存储管理方法及存储介质 | |
| CN113590045B (zh) | 数据分层式存储方法、装置及存储介质 | |
| CN115617264A (zh) | 分布式存储方法及装置 | |
| KR101077901B1 (ko) | 로그 블록 단위 매핑 기법을 이용한 플래시 메모리 관리 장치 및 방법 | |
| CN116991336B (zh) | 分布式全闪对象存储系统的gc方法及电子设备、存储介质 | |
| JP2008257607A (ja) | ログファイル保存装置及びログファイル管理方法 | |
| JP6926866B2 (ja) | ストレージ制御装置、およびストレージ制御プログラム | |
| EP3866016A1 (en) | Method and apparatus for deleting index entry in memory | |
| CN117991969A (zh) | 一种磁盘空间分配方法及相关装置 | |
| CN117991992A (zh) | 基于小分区zns ssd的数据写入方法、系统、设备及介质 | |
| KR101375838B1 (ko) | 데이터 저장 시스템 및 데이터 관리 방법 | |
| CN117827100A (zh) | 一种分布式对象存储空间整理方法 | |
| CN116501252A (zh) | 数据管理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |