CN114995759A - 桶分片处理方法、装置、设备及介质 - Google Patents
桶分片处理方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN114995759A CN114995759A CN202210608909.XA CN202210608909A CN114995759A CN 114995759 A CN114995759 A CN 114995759A CN 202210608909 A CN202210608909 A CN 202210608909A CN 114995759 A CN114995759 A CN 114995759A
- Authority
- CN
- China
- Prior art keywords
- barrel
- current
- processed
- fragment
- task queue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000012634 fragment Substances 0.000 title claims abstract description 346
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 75
- 238000000034 method Methods 0.000 claims abstract description 54
- 238000013467 fragmentation Methods 0.000 claims abstract description 41
- 238000006062 fragmentation reaction Methods 0.000 claims abstract description 41
- 238000000638 solvent extraction Methods 0.000 claims abstract description 10
- 238000004590 computer program Methods 0.000 claims description 17
- 238000012546 transfer Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 6
- 230000000903 blocking effect Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004992 fission Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
- G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/0644—Management of space entities, e.g. partitions, extents, pools
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种桶分片处理方法、装置、设备及介质，涉及计算机技术领域，该方法包括：判断当前任务队列中是否存在待处理桶分片，若存在则从当前任务队列中提取出当前待处理桶分片，获取下一任务队列；对下一任务队列进行第一预设加锁处理，对当前待处理桶分片进行重分片得到若干个目标桶分片；基于目标桶分片的分片数量对所有第一对象进行分区得到若干组第二对象，将每一组第二对象转移至对应的目标桶分片中；对下一任务队列进行第一预设解锁处理，将下一任务队列更新为当前任务队列，重新跳转至判断当前任务队列中是否存在待处理桶分片的步骤。能够降低重分片对前端业务的负面影响。
Description
技术领域
本发明涉及计算机技术领域，特别涉及桶分片处理方法、装置、设备及介质。
背景技术
目前分布式对象存储系统中已支持桶索引动态重新分片功能，即当桶内对象数量到达阈值时，会自动触发对该桶的桶索引重新分片，将原始分片上所有对象的索引经过重新计算，映射到新的桶索引分片上，再把原始桶索引分片全部删除，最后更新桶信息。但是此方案存在极大的弊端，当前桶分片数默认为1024个，每个桶分片可以承载10万对象索引，检测到桶内对象个数大于1024*10万时，则开始对该桶进行重新分片。在重新分片期间，要对该桶进行加锁，然后会按照分片的顺序，将每个分片上的所有对象索引列举出来，经过一定的计算，得到新的目的索引分片，再把该对象索引写到目的索引分片上，直到所有对象转移完，才会对该桶解锁。加锁期间，对该桶的所有读和写请求都会被阻塞而失败。通过实测，对承载1亿对象的桶的1024个分片执行重新分片为2048个分片，持续时间达到56分钟，在进行重新分片期间前段业务全部阻塞。而且随着对象数量的增多，转移时间越长，那么重新分片持续时间越长，对前端业务造成的影响就越大，用户体验感极差。
综上可见，如何降低重分片对前端业务的负面影响是本领域有待解决的问题。
发明内容
有鉴于此，本发明的目的在于提供一种桶分片处理方法、装置、设备及介质，能够降低重分片对前端业务的负面影响。其具体方案如下：
第一方面，本申请公开了一种桶分片处理方法，包括：
判断当前任务队列中是否存在待处理桶分片，若存在则从所述当前任务队列中提取出当前所述待处理桶分片，并获取下一任务队列；
对所述下一任务队列进行第一预设加锁处理，并基于与当前所述待处理桶分片对应的目标对象数量要求对当前所述待处理桶分片进行重分片，以得到若干个目标桶分片；
确定所述目标桶分片的分片数量，并将当前所述待处理桶分片中的所有第一对象进行分区，以得到与所述分片数量对应的若干组所述第二对象，然后将每一组所述第二对象转移至对应的所述目标桶分片中；
对所述下一任务队列进行第一预设解锁处理，并将所述下一任务队列更新为所述当前任务队列，然后重新跳转至所述判断当前任务队列中是否存在待处理桶分片的步骤。
可选的，所述判断当前任务队列中是否存在待处理桶分片之前，还包括：
通过预设任务检测模块基于当前桶中每个桶分片的当前对象数量和目标对象数量要求，筛选出待处理桶分片；
将所述待处理桶分片保存至当前任务队列中。
可选的，所述桶分片处理方法，还包括：
监测是否存在需要写入当前所述待处理桶分片的第三对象；
若存在，则判断当前所述待处理桶分片是否满足预设对象写入要求，若满足则将所述第三对象写入当前所述待处理桶分片。
可选的，所述判断当前所述待处理桶分片是否满足预设对象写入要求，若满足则将所述第三对象写入当前所述待处理桶分片，包括：
判断当前所述待处理桶分片上是否存在预设标识，若否则将所述第三对象写入当前所述待处理桶分片。
可选的，所述判断当前所述待处理桶分片上是否存在预设标识之后，还包括：
若存在则对当前所述待处理桶分片进行第二预设加锁处理，并获取所述第二预设加锁处理的加锁结果；
判断所述加锁结果是否满足预设要求，如果满足则将所述第三对象写入当前所述待处理桶分片。
可选的，所述判断所述加锁结果是否满足预设要求，如果满足则将所述第三对象写入当前所述待处理桶分片过程中，还包括：
清除当前所述待处理桶分片上的所述预设标识。
可选的，所述基于与当前所述待处理桶分片对应的目标对象数量要求对当前所述待处理桶分片进行重分片，以得到若干个目标桶分片的过程中，还包括：
将用于表征当前所述待处理桶分片正在进行分片的所述预设标识记录于当前所述待处理桶分片上。
第二方面，本申请公开了一种桶分片处理装置，包括：
判断模块，用于判断当前任务队列中是否存在待处理桶分片；
桶分片提取模块，用于若存在则从所述当前任务队列中提取出当前所述待处理桶分片，并获取下一任务队列；
重分片模块，用于对所述下一任务队列进行第一预设加锁处理，并基于与当前所述待处理桶分片对应的目标对象数量要求对当前所述待处理桶分片进行重分片，以得到若干个目标桶分片；
对象转移模块，用于确定所述目标桶分片的分片数量，并将当前所述待处理桶分片中的所有第一对象进行分区，以得到与所述分片数量对应的若干组所述第二对象，然后将每一组所述第二对象转移至对应的所述目标桶分片中；
更新模块，用于对所述下一任务队列进行第一预设解锁处理，并将所述下一任务队列更新为所述当前任务队列，然后重新跳转至所述判断当前任务队列中是否存在待处理桶分片的步骤。
第三方面，本申请公开了一种电子设备，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现前述公开的桶分片处理方法的步骤。
第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的桶分片处理方法的步骤。
可见，本申请判断当前任务队列中是否存在待处理桶分片，若存在则从所述当前任务队列中提取出当前所述待处理桶分片，并获取下一任务队列；对所述下一任务队列进行第一预设加锁处理，并基于与当前所述待处理桶分片对应的目标对象数量要求对当前所述待处理桶分片进行重分片，以得到若干个目标桶分片；确定所述目标桶分片的分片数量，并将当前所述待处理桶分片中的所有第一对象进行分区，以得到与所述分片数量对应的若干组所述第二对象，然后将每一组所述第二对象转移至对应的所述目标桶分片中；对所述下一任务队列进行第一预设解锁处理，并将所述下一任务队列更新为所述当前任务队列，然后重新跳转至所述判断当前任务队列中是否存在待处理桶分片的步骤。由此可见，本申请判断当前任务队列中是否存在待处理桶分片，若存在则从当前任务队列中提取出当前待处理桶分片，并获取下一任务队列，然后对下一任务队列进行第一预设加锁处理能够保证当前时刻只对当前待处理桶分片进行后续的重分片，下一任务队列中的待处理桶分片可以继续进行前端业务的相关任务处理，因此大大降低对前端业务的阻塞时间，并减少重分片时间，改善了现有技术对桶重新分片的过程中严重阻塞前端读写业务的弊端，优化了桶分片动态增加的方案，给用户带来更好的使用体验，极大地提高了分布式对象存储系统的市场竞争力。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种桶分片处理方法流程图；
图2为本申请公开的一种具体的桶分片处理方法流程图；
图3为本申请公开的一种具体的桶分片处理方法流程图；
图4为本申请公开的一种桶分片处理装置结构示意图；
图5为本申请公开的一种电子设备结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前分布式对象存储系统中已支持桶索引动态重新分片功能，即当桶内对象数量到达阈值时，会自动触发对该桶的桶索引重新分片，将原始分片上所有对象的索引经过重新计算，映射到新的桶索引分片上，再把原始桶索引分片全部删除，最后更新桶信息。但是此方案存在极大的弊端，当前桶分片数默认为1024个，每个桶分片可以承载10万对象索引，检测到桶内对象个数大于1024*10万时，则开始对该桶进行重新分片。在重新分片期间，要对该桶进行加锁，然后会按照分片的顺序，将每个分片上的所有对象索引列举出来，经过一定的计算，得到新的目的索引分片，再把该对象索引写到目的索引分片上，直到所有对象转移完，才会对该桶解锁。加锁期间，对该桶的所有读和写请求都会被阻塞而失败。通过实测，对承载1亿对象的桶的1024个分片执行重新分片为2048个分片，持续时间达到56分钟，在进行重新分片期间前段业务全部阻塞。而且随着对象数量的增多，转移时间越长，那么重新分片持续时间越长，对前端业务造成的影响就越大，用户体验感极差。
为此本申请相应的提供了一种桶分片处理方案，能够降低重分片对前端业务的负面影响。
参见图1所示，本申请实施例公开了一种桶分片处理方法，包括：
步骤S11：判断当前任务队列中是否存在待处理桶分片，若存在则从所述当前任务队列中提取出当前所述待处理桶分片，并获取下一任务队列。
本实施例中，后台线程可以定期扫描当前任务队列，判断当前任务队列中是否存在待处理桶分片，如果不存在则说明无需重新分片，如果存在则从当前任务队列中提取出当前待处理桶分片，并获取下一任务队列，其中可以理解的是，当前任务队列中可能只存储了一个待处理桶分片，也可能存储了多个待处理桶分片。例如可以设置每隔三分钟扫描当前任务队列中是否存在待处理桶分片。
步骤S12：对所述下一任务队列进行第一预设加锁处理，并基于与当前所述待处理桶分片对应的目标对象数量要求对当前所述待处理桶分片进行重分片，以得到若干个目标桶分片。
本实施例中，对下一任务队列进行第一预设加锁处理，使得当前不能再从下一任务队列中提取其他的待处理桶分片，进而保证了当前只可以对一个桶分片即当前待处理桶分片进行重分片，而其他的待处理桶分片依然可以进行正常工作，例如前端的读写任务，每次只对一个桶分片进行重分片，能够大大降低对前端业务的影响。其中可以理解的是，当前待处理桶分片在进行重分片时，在当前待处理桶分片上记录预设标识，预设标识用于表征当前待处理桶分片正在进行重分片，以便当前待处理桶分片当前无法处理前端业务，也阻塞了前端业务的写入，或者相关对象的写入。
本实施例中，基于与当前待处理桶分片对应的目标对象数量要求对当前待处理桶分片进行重分片，以得到若干个目标桶分片，例如基于对应的目标对象数量要求需要将当前待处理桶分片重分为8片，即8个目标桶分片。在重分片时，例如为系统默认的1024个桶分片均匀划分对象名区间。
步骤S13：确定所述目标桶分片的分片数量，并将当前所述待处理桶分片中的所有第一对象进行分区，以得到与所述分片数量对应的若干组所述第二对象，然后将每一组所述第二对象转移至对应的所述目标桶分片中。
本实施例中，确定目标桶分片的分片数量，例如分片数量为8片，则可以将当前待处理桶分片中的所有第一对象分区为8组，可以将所有的第一对象均分为8组，即得到8组第二对象，将每一组第二对象转移至对应的目标桶分片。其中转移过程中，读取桶分片上存放分片的容器，查找到大于等于当前对象名的最小的一个元素；若当前元素的起始对象名大于等于要写入的对象名，而终止对象名大于当前要写入的第二对象的对象名，则把该第二对象写入此对起始对象所在的桶分片上。更新桶的其他元数据信息，将当前待处理桶分片上用于表征当前待处理桶分片正在进行重分片的预设标识删除，并对当前待处理桶分片解锁。将新生成的7个分片以及分片上对象的起止元素名更新到桶元数据信息中的容器中，同时还要更新原分片的起止元素。将每个桶分片上对象的起止未知和对应的分片号，以容器的形式存放在桶元数据中的，通过比较对象名的大小确定目标桶分片号。修改了原先对象名经过哈希运算获取分片号的方法，在桶的元数据信息中以容器的方式，保存每个分片上对象的起止对象名。
步骤S14：对所述下一任务队列进行第一预设解锁处理，并将所述下一任务队列更新为所述当前任务队列，然后重新跳转至所述判断当前任务队列中是否存在待处理桶分片的步骤。
本实施例中，将每一组第二对象转移至对应的目标桶分片之后，可以对下一任务队列进行第一预设解锁处理，并将下一任务队列更新为当前任务队列，然后重新跳转至判断当前任务队列中是否存在待处理桶分片的步骤，即可以继续从待处理桶分片中确定出当前待处理桶分片，然后获取当前待处理桶分片的若干个目标桶分片。
可见，本申请判断当前任务队列中是否存在待处理桶分片，若存在则从所述当前任务队列中提取出当前所述待处理桶分片，并获取下一任务队列；对所述下一任务队列进行第一预设加锁处理，并基于与当前所述待处理桶分片对应的目标对象数量要求对当前所述待处理桶分片进行重分片，以得到若干个目标桶分片；确定所述目标桶分片的分片数量，并将当前所述待处理桶分片中的所有第一对象进行分区，以得到与所述分片数量对应的若干组所述第二对象，然后将每一组所述第二对象转移至对应的所述目标桶分片中；对所述下一任务队列进行第一预设解锁处理，并将所述下一任务队列更新为所述当前任务队列，然后重新跳转至所述判断当前任务队列中是否存在待处理桶分片的步骤。由此可见，本申请判断当前任务队列中是否存在待处理桶分片，若存在则从当前任务队列中提取出当前待处理桶分片，并获取下一任务队列，然后对下一任务队列进行第一预设加锁处理能够保证当前时刻只对当前待处理桶分片进行后续的重分片，下一任务队列中的待处理桶分片可以继续进行前端业务的相关任务处理，因此大大降低对前端业务的阻塞时间，并减少重分片时间，改善了现有技术对桶重新分片的过程中严重阻塞前端读写业务的弊端，优化了桶分片动态增加的方案，给用户带来更好的使用体验，极大地提高了分布式对象存储系统的市场竞争力。
参见图2所示，本申请实施例公开了一种具体的桶分片处理方法，包括：
步骤S21：通过预设任务检测模块基于当前桶中每个桶分片的当前对象数量和目标对象数量要求，筛选出待处理桶分片，并将所述待处理桶分片保存至当前任务队列中。
本实施例中，预设任务检测模块可以定期更新目标对象数量要求，例如每隔3分钟更新一次，也可以将桶分片(bucket sharding)的当前对象数量更新到用户配额即目标对象数量要求过程中，会获取每个桶的对象数量，而其获取桶分片的当前对象数量的过程就是获取桶上所有桶分片的对象个数的过程。可以根据每个桶分片的配额，判断其对象个数是否超过单个分片上对象数量最大阈值，若大于，则将该桶的此桶分片加入任务队列等待处理。其中，分布式对象存储系统指的是针对非结构化数据对象的分布式存储系统，对象存储中的桶是针对用户可用的逻辑上的存放对象的容器，每个桶又分为若干个桶分片，桶分片上保存着桶内所有对象的索引，其中一个对象只能映射到某一个桶分片上。
步骤S22：判断当前任务队列中是否存在所述待处理桶分片，若存在则从所述当前任务队列中提取出当前所述待处理桶分片，并获取下一任务队列。
步骤S23：对所述下一任务队列进行第一预设加锁处理，并基于与当前所述待处理桶分片对应的目标对象数量要求对当前所述待处理桶分片进行重分片，以得到若干个目标桶分片。
步骤S24：确定所述目标桶分片的分片数量，并将当前所述待处理桶分片中的所有第一对象进行分区，以得到与所述分片数量对应的若干组所述第二对象，然后将每一组所述第二对象转移至对应的所述目标桶分片中。
步骤S25：对所述下一任务队列进行第一预设解锁处理，并将所述下一任务队列更新为所述当前任务队列，然后重新跳转至所述判断当前任务队列中是否存在待处理桶分片的步骤。
其中，关于上述步骤S22、步骤S23、步骤S24以及步骤S25更加详细的处理过程请参照前述公开的实施例，在此不再进行赘述。
由此可见，本申请确定需要进行重分片的桶分片，将该桶分片作为待处理桶分片保存至当前任务队列中，若后续判断出当前任务队列中存在待处理桶分片，则筛选出一个当前待处理桶分片，对当前待处理桶分片进行重分片，并对下一任务队列进行第一加锁处理，保证了同一时刻只有一个正在进行重分片的桶分片，改善了现有桶索引重新分片过程中严重阻塞前端业务读写的弊端，优化了桶索引动态增加的方案，给客户带来更好的使用体验，极大地提高了存储系统的市场竞争力。
参见图3所示，本申请实施例公开了一种具体的桶分片处理方法，包括：
步骤S31：判断当前任务队列中是否存在待处理桶分片，若存在则从所述当前任务队列中提取出当前所述待处理桶分片，并获取下一任务队列。
步骤S32：对所述下一任务队列进行第一预设加锁处理，并基于与当前所述待处理桶分片对应的目标对象数量要求对当前所述待处理桶分片进行重分片，以得到若干个目标桶分片。
本实施例中，获取当前待处理桶分片对应的目标对象数量要求，若目标对象数量要求需要对当前待处理桶分片重分为10片，则将一个当前待处理桶分片重分为10个目标桶分片。
步骤S33：将用于表征当前所述待处理桶分片正在进行分片的所述预设标识记录于当前所述待处理桶分片上。
本实施例中，监测是否存在需要写入当前所述待处理桶分片的第三对象；若存在，则判断当前所述待处理桶分片是否满足预设对象写入要求，若满足则将所述第三对象写入当前所述待处理桶分片。
本实施例中，所述判断当前所述待处理桶分片是否满足预设对象写入要求，若满足则将所述第三对象写入当前所述待处理桶分片，具体包括：判断当前所述待处理桶分片上是否存在预设标识，若否则将所述第三对象写入当前所述待处理桶分片。
本实施例中，所述判断当前所述待处理桶分片上是否存在预设标识之后，还包括：若存在则对当前所述待处理桶分片进行第二预设加锁处理，并获取所述第二预设加锁处理的加锁结果；判断所述加锁结果是否满足预设要求，如果满足则将所述第三对象写入当前所述待处理桶分片。第三对象写入流程中，首先确定第三对象要写入的桶分片号，然后读取该分片上是否有正在分片的预设标识；若没有预设标识，则将第三对象正常写入；若有预设标识，说明该分片正在执行桶分片任务，则尝试对该桶分片进行第二加锁处理，若能加锁成功，说明该分片重分片已经完成，则清除正在分片的预设标记，然后更新桶信息，再次获取新的桶分片，将第三对象写入。
本实施例中，所述判断所述加锁结果是否满足预设要求，如果满足则将所述第三对象写入当前所述待处理桶分片过程中，还包括：清除当前所述待处理桶分片上的所述预设标识。
步骤S34：确定所述目标桶分片的分片数量，并将当前所述待处理桶分片中的所有第一对象进行分区，以得到与所述分片数量对应的若干组所述第二对象，然后将每一组所述第二对象转移至对应的所述目标桶分片中。
本实施例中，例如目标桶分片的分片数量为16，则将当前待处理桶分片中的所有第一对象进行分区，以得到16组第二对象，然后将每一组第二对象转移至对应的目标桶分片中.
步骤S35：对所述下一任务队列进行第一预设解锁处理，并将所述下一任务队列更新为所述当前任务队列，然后重新跳转至所述判断当前任务队列中是否存在待处理桶分片的步骤。
其中，关于上述步骤S31、步骤S32以及步骤S35更加详细的处理过程请参照前述公开的实施例，在此不再进行赘述。
由此可见，本申请将对桶下所有桶分片的一次性动态增加，修改为将单个分片加入任务队列并执行分片动态增加，大大减少分片裂变时间，大大降低对前端业务的影响，同时提高桶重新分片的效率。
参见图4所示，本申请实施例公开了一种桶分片处理装置，包括：
判断模块11，用于判断当前任务队列中是否存在待处理桶分片；
桶分片提取模块12，用于若存在则从所述当前任务队列中提取出当前所述待处理桶分片，并获取下一任务队列；
重分片模块13，用于对所述下一任务队列进行第一预设加锁处理，并基于与当前所述待处理桶分片对应的目标对象数量要求对当前所述待处理桶分片进行重分片，以得到若干个目标桶分片；
对象转移模块14，用于确定所述目标桶分片的分片数量，并将当前所述待处理桶分片中的所有第一对象进行分区，以得到与所述分片数量对应的若干组所述第二对象，然后将每一组所述第二对象转移至对应的所述目标桶分片中；
更新模块15，用于对所述下一任务队列进行第一预设解锁处理，并将所述下一任务队列更新为所述当前任务队列，然后重新跳转至所述判断当前任务队列中是否存在待处理桶分片的步骤。
本实施例中，在桶分片提取模块12中，如果当前任务队列中存在待处理桶分片，则将当前待处理桶分片从当前任务队列中提取出来，可以理解的是，下一任务队列与当前任务队列不同，下一任务队列不包含当前待处理桶分片，并且当前任务队列中可能包含一个待处理桶分片，也可能包含多个待处理桶分片。
本实施例中，在重分片模块13中，对下一任务队列进行第一预设加锁处理，以保证当前不可以从下一任务队列中再提取待处理桶分片，进而保障了当前时刻只对一个当前待处理桶分片进行重分片，而其他的处理桶分片可以在当前处理对应的前端业务，能够减少对前端业务阻塞，降低对前端业务的负面影响。在基于与当前待处理桶分片对应的目标对象数量要求对当前所述待处理桶分片进行重分片之前，可以对当前待处理桶分片进行第二预设加锁处理，并在当前待处理桶分片记录预设标识，表征当前待处理桶分片正在进行重分片，当前不能处理前端业务。
本实施例中，若在重分片模块13中对当前待处理桶分片重分为8个目标桶分片，则在对象转移模块14中，将当前待处理桶分片中所有的第一对象均匀分为8组，得到8组第二对象，然后将每一组第二对象转移至对应的目标桶分片。若在重分片模块13中对当前待处理桶分片重分为10个目标桶分片，则在对象转移模块14中，将当前待处理桶分片中所有的第一对象均匀分为10组，得到10组第二对象，然后将每一组第二对象转移至对应的目标桶分片。
本实施例中，在更新模块15中，当将每一组第二对象转移至对应的目标桶分片之后，则对下一任务队列进行第一预设解锁处理，并将下一任务队列更新为当前任务队列，并可以再次判断当前任务队列是否存在待处理桶分片。
可见，本申请判断当前任务队列中是否存在待处理桶分片，若存在则从所述当前任务队列中提取出当前所述待处理桶分片，并获取下一任务队列；对所述下一任务队列进行第一预设加锁处理，并基于与当前所述待处理桶分片对应的目标对象数量要求对当前所述待处理桶分片进行重分片，以得到若干个目标桶分片；确定所述目标桶分片的分片数量，并将当前所述待处理桶分片中的所有第一对象进行分区，以得到与所述分片数量对应的若干组所述第二对象，然后将每一组所述第二对象转移至对应的所述目标桶分片中；对所述下一任务队列进行第一预设解锁处理，并将所述下一任务队列更新为所述当前任务队列，然后重新跳转至所述判断当前任务队列中是否存在待处理桶分片的步骤。由此可见，本申请判断当前任务队列中是否存在待处理桶分片，若存在则从当前任务队列中提取出当前待处理桶分片，并获取下一任务队列，然后对下一任务队列进行第一预设加锁处理能够保证当前时刻只对当前待处理桶分片进行后续的重分片，下一任务队列中的待处理桶分片可以继续进行前端业务的相关任务处理，因此大大降低对前端业务的阻塞时间，并减少重分片时间，改善了现有技术对桶重新分片的过程中严重阻塞前端读写业务的弊端，优化了桶分片动态增加的方案，给用户带来更好的使用体验，极大地提高了分布式对象存储系统的市场竞争力。
在一些具体实施例中，所述桶分片处理装置，还包括：
待处理桶分片筛选单元，用于通过预设任务检测模块基于当前桶中每个桶分片的当前对象数量和目标对象数量要求，筛选出待处理桶分片；
保存单元，用于将所述待处理桶分片保存至当前任务队列中。
在一些具体实施例中，所述桶分片处理装置，还包括：
对象写入单元，用于监测是否存在需要写入当前所述待处理桶分片的第三对象；若存在，则判断当前所述待处理桶分片是否满足预设对象写入要求，若满足则将所述第三对象写入当前所述待处理桶分片。
在一些具体实施例中，所述对象写入单元，包括：
标识判断单元，用于判断当前所述待处理桶分片上是否存在预设标识，若否则将所述第三对象写入当前所述待处理桶分片。
在一些具体实施例中，所述对象写入单元，包括：
第三对象写入单元，用于若存在则对当前所述待处理桶分片进行第二预设加锁处理，并获取所述第二预设加锁处理的加锁结果；判断所述加锁结果是否满足预设要求，如果满足则将所述第三对象写入当前所述待处理桶分片。
在一些具体实施例中，所述第三对象写入单元，包括：
标识清除单元，用于清除当前所述待处理桶分片上的所述预设标识。
在一些具体实施例中，所述桶分片处理装置，还包括：
标识记录单元，用于将用于表征当前所述待处理桶分片正在进行分片的所述预设标识记录于当前所述待处理桶分片上。
图5为本申请实施例提供的一种电子设备的结构示意图。具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的由电子设备执行的桶分片处理方法中的相关步骤。
本实施例中，电源23用于为电子设备上的各硬件设备提供工作电压；通信接口24能够为电子设备创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
其中，处理器21可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器21可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器21还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作系统221、计算机程序222及数据223等，存储方式可以是短暂存储或者永久存储。
其中，操作系统221用于管理与控制电子设备上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中海量数据223的运算与处理，其可以是Windows、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备执行的桶分片处理方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。数据223除了可以包括电子设备接收到的由外部设备传输进来的数据，也可以包括由自身输入输出接口25采集到的数据等。
进一步的，本申请实施例还公开了一种计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，实现前述任一实施例公开的由桶分片处理过程中执行的方法步骤。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种桶分片处理方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种桶分片处理方法，其特征在于，包括：
判断当前任务队列中是否存在待处理桶分片，若存在则从所述当前任务队列中提取出当前所述待处理桶分片，并获取下一任务队列；
对所述下一任务队列进行第一预设加锁处理，并基于与当前所述待处理桶分片对应的目标对象数量要求对当前所述待处理桶分片进行重分片，以得到若干个目标桶分片；
确定所述目标桶分片的分片数量，并将当前所述待处理桶分片中的所有第一对象进行分区，以得到与所述分片数量对应的若干组所述第二对象，然后将每一组所述第二对象转移至对应的所述目标桶分片中；
对所述下一任务队列进行第一预设解锁处理，并将所述下一任务队列更新为所述当前任务队列，然后重新跳转至所述判断当前任务队列中是否存在待处理桶分片的步骤。
2.根据权利要求1所述的桶分片处理方法，其特征在于，所述判断当前任务队列中是否存在待处理桶分片之前，还包括：
通过预设任务检测模块基于当前桶中每个桶分片的当前对象数量和目标对象数量要求，筛选出待处理桶分片；
将所述待处理桶分片保存至当前任务队列中。
3.根据权利要求1所述的桶分片处理方法，其特征在于，还包括：
监测是否存在需要写入当前所述待处理桶分片的第三对象；
若存在，则判断当前所述待处理桶分片是否满足预设对象写入要求，若满足则将所述第三对象写入当前所述待处理桶分片。
4.根据权利要求3所述的桶分片处理方法，其特征在于，所述判断当前所述待处理桶分片是否满足预设对象写入要求，若满足则将所述第三对象写入当前所述待处理桶分片，包括：
判断当前所述待处理桶分片上是否存在预设标识，若否则将所述第三对象写入当前所述待处理桶分片。
5.根据权利要求4所述的桶分片处理方法，其特征在于，所述判断当前所述待处理桶分片上是否存在预设标识之后，还包括：
若存在则对当前所述待处理桶分片进行第二预设加锁处理，并获取所述第二预设加锁处理的加锁结果；
判断所述加锁结果是否满足预设要求，如果满足则将所述第三对象写入当前所述待处理桶分片。
6.根据权利要求5所述的桶分片处理方法，其特征在于，所述判断所述加锁结果是否满足预设要求，如果满足则将所述第三对象写入当前所述待处理桶分片过程中，还包括：
清除当前所述待处理桶分片上的所述预设标识。
7.根据权利要求4至6任一项所述的桶分片处理方法，其特征在于，所述基于与当前所述待处理桶分片对应的目标对象数量要求对当前所述待处理桶分片进行重分片，以得到若干个目标桶分片的过程中，还包括：
将用于表征当前所述待处理桶分片正在进行分片的所述预设标识记录于当前所述待处理桶分片上。
8.一种桶分片处理装置，其特征在于，包括：
判断模块，用于判断当前任务队列中是否存在待处理桶分片；
桶分片提取模块，用于若存在则从所述当前任务队列中提取出当前所述待处理桶分片，并获取下一任务队列；
重分片模块，用于对所述下一任务队列进行第一预设加锁处理，并基于与当前所述待处理桶分片对应的目标对象数量要求对当前所述待处理桶分片进行重分片，以得到若干个目标桶分片；
对象转移模块，用于确定所述目标桶分片的分片数量，并将当前所述待处理桶分片中的所有第一对象进行分区，以得到与所述分片数量对应的若干组所述第二对象，然后将每一组所述第二对象转移至对应的所述目标桶分片中；
更新模块，用于对所述下一任务队列进行第一预设解锁处理，并将所述下一任务队列更新为所述当前任务队列，然后重新跳转至所述判断当前任务队列中是否存在待处理桶分片的步骤。
9.一种电子设备，其特征在于，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现如权利要求1至7任一项所述的桶分片处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的桶分片处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210608909.XA CN114995759A (zh) | 2022-05-31 | 2022-05-31 | 桶分片处理方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210608909.XA CN114995759A (zh) | 2022-05-31 | 2022-05-31 | 桶分片处理方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114995759A true CN114995759A (zh) | 2022-09-02 |
Family
ID=83031260
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210608909.XA Pending CN114995759A (zh) | 2022-05-31 | 2022-05-31 | 桶分片处理方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114995759A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116910310A (zh) * | 2023-06-16 | 2023-10-20 | 广东电网有限责任公司佛山供电局 | 一种基于分布式数据库的非结构化数据存储方法及装置 |
| CN116991949A (zh) * | 2023-09-26 | 2023-11-03 | 苏州元脑智能科技有限公司 | 数据同步方法、装置、设备、服务器及可读存储介质 |
-
2022
- 2022-05-31 CN CN202210608909.XA patent/CN114995759A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116910310A (zh) * | 2023-06-16 | 2023-10-20 | 广东电网有限责任公司佛山供电局 | 一种基于分布式数据库的非结构化数据存储方法及装置 |
| CN116910310B (zh) * | 2023-06-16 | 2024-02-13 | 广东电网有限责任公司佛山供电局 | 一种基于分布式数据库的非结构化数据存储方法及装置 |
| CN116991949A (zh) * | 2023-09-26 | 2023-11-03 | 苏州元脑智能科技有限公司 | 数据同步方法、装置、设备、服务器及可读存储介质 |
| CN116991949B (zh) * | 2023-09-26 | 2024-01-23 | 苏州元脑智能科技有限公司 | 数据同步方法、装置、设备、服务器及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114995759A (zh) | 桶分片处理方法、装置、设备及介质 | |
| CN110109915B (zh) | 用于管理哈希表的方法、设备和计算机程序产品 | |
| CN105760199B (zh) | 一种应用资源加载方法及其设备 | |
| US10013312B2 (en) | Method and system for a safe archiving of data | |
| KR20160003682A (ko) | 플레이스홀더에 의한 하이드레이션 및 디하이드레이션 기법 | |
| CN107688626B (zh) | 慢查询日志处理方法、装置及电子设备 | |
| US20190220448A1 (en) | Method for storing data elements in a database | |
| CN110795400B (zh) | 一种文件的管理方法、装置、设备及介质 | |
| CN111857559B (zh) | 用于管理元数据的方法、装置和计算机程序产品 | |
| US9213759B2 (en) | System, apparatus, and method for executing a query including boolean and conditional expressions | |
| US9946512B2 (en) | Adaptive radix external in-place radix sort | |
| CN115114232A (zh) | 一种历史版本对象列举方法、装置及其介质 | |
| CN117369731B (zh) | 一种数据的缩减处理方法、装置、设备及介质 | |
| EP2400446A1 (en) | Equipment managing apparatus, equipment managing method, and equipment managing system | |
| CN108205559B (zh) | 一种数据管理方法及其设备 | |
| US11520818B2 (en) | Method, apparatus and computer program product for managing metadata of storage object | |
| CN107315806B (zh) | 一种基于文件系统的嵌入式存储方法和装置 | |
| CN115328736A (zh) | 一种探针部署方法、装置、设备和存储介质 | |
| US11385967B2 (en) | Method for managing backup data by having space recycling operations on executed backup data blocks | |
| CN114861003A (zh) | 一种指定目录下的对象列举方法、装置及其介质 | |
| CN114253950A (zh) | 管理数据库的方法和装置 | |
| CN113703678A (zh) | 一种存储桶索引重分裂的方法、装置、设备和介质 | |
| CN111625500A (zh) | 文件快照方法及装置、电子设备和存储介质 | |
| CN114253905A (zh) | 一种基于目录配额的文件写入方法、装置以及设备 | |
| US11340811B2 (en) | Determining reclaim information for a storage block based on data length and matching write and delete parameters |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |