CN113821166A - 一种聚合多版本小对象的方法、装置及设备 - Google Patents

Abstract

本申请公开了一种聚合多版本小对象的方法、装置及设备，该方法包括：首先获取待聚合的至少一个目标多版本小对象，然后，对至少一个目标多版本小对象进行标记，并将标记记录到存储池中，接着，当获取到的目标多版本小对象的数量达到预设数量时，根据标记对目标多版本小对象进行聚合，并将得到的大对象进行存储；或者，当根据标记对目标多版本小对象进行聚合得到的大对象达到预设数值时，停止进行聚合，并将得到的大对象进行存储。从而能够减少分布式对象存储系统中小对象的存储数量，提高重构速度和兼容性，进而提高系统的存储速度。

Description

一种聚合多版本小对象的方法、装置及设备

技术领域

本申请涉及计算机技术领域，尤其涉及一种聚合多版本小对象的方法、装置及设备。

背景技术

分布式对象存储系统，指的是面向非结构化数据的分布式存储系统。现阶段，越来越多的业务场景需要使用分布式对象存储系统。

在当前的分布式对象存储系统中，针对普通海量小对象虽然已经实现了小对象聚合的功能，即，把多个小对象聚合为一个大对象，减少了Rados的对象数量，从而加快了集群的重构速度，并提高系统的性能。但每个小对象往往会对应多个版本，即，存在多版本功能，来实现对象的多版本。这样，用户可以通过记录桶内每个对象的不同版本，以便在下载时可以下载指定版本的对象。但是当前小对象聚合功能并不兼容多版本功能，从而会导致聚合后存储系统中的小对象数量仍然较多，以至于系统的存储速度较慢。因此，如何在分布式对象存储系统中，实现多版本小对象的聚合，以降低小对象的存储数量，提高系统存储速度是目前亟待解决的问题。

发明内容

本申请实施例的主要目的在于提供一种聚合多版本小对象的方法、装置及设备，能够减少分布式对象存储系统中小对象的存储数量，提高了重构速度和兼容性，进而提高了系统的存储速度。

第一方面，本申请实施例提供了一种聚合多版本小对象的方法，包括：

获取待聚合的至少一个目标多版本小对象；

对所述至少一个目标多版本小对象进行标记，并将所述标记记录到存储池中；

当获取到的所述目标多版本小对象的数量达到预设数量时，根据所述标记对所述目标多版本小对象进行聚合，并将得到的大对象进行存储；或者，当根据所述标记对所述目标多版本小对象进行聚合得到的大对象达到预设数值时，停止进行聚合，并将得到的大对象进行存储。

可选的，所述目标多版本小对象每个版本对应一个标记。

可选的，所述预设数量为400；所述预设数值为4兆字节。

可选的，所述方法还包括：

在所述大对象中的每个小对象上记录各自对应的聚合属性信息。

第二方面，本申请实施例还提供了一种聚合多版本小对象的装置，包括：

获取单元，用于获取待聚合的至少一个目标多版本小对象；

标记单元，用于对所述至少一个目标多版本小对象进行标记，并将所述标记记录到存储池中；

聚合单元，用于当获取到的所述目标多版本小对象的数量达到预设数量时，根据所述标记对所述目标多版本小对象进行聚合，并将得到的大对象进行存储；或者，当根据所述标记对所述目标多版本小对象进行聚合得到的大对象达到预设数值时，停止进行聚合，并将得到的大对象进行存储。

可选的，所述目标多版本小对象每个版本对应一个标记。

可选的，所述预设数量为400；所述预设数值为4兆字节。

可选的，所述装置还包括：

记录单元，用于在所述大对象中的每个小对象上记录各自对应的聚合属性信息。

本申请实施例还提供了一种聚合多版本小对象的设备，包括：处理器、存储器、系统总线；

所述处理器以及所述存储器通过所述系统总线相连；

所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行上述聚合多版本小对象的方法中的任意一种实现方式。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行上述聚合多版本小对象的方法中的任意一种实现方式。

本申请实施例提供的一种聚合多版本小对象的方法、装置及设备，首先获取待聚合的至少一个目标多版本小对象，然后，对至少一个目标多版本小对象进行标记，并将标记记录到存储池中，接着，当获取到的目标多版本小对象的数量达到预设数量时，根据标记对目标多版本小对象进行聚合，并将得到的大对象进行存储；或者，当根据标记对目标多版本小对象进行聚合得到的大对象达到预设数值时，停止进行聚合，并将得到的大对象进行存储。从而能够减少分布式对象存储系统中小对象的存储数量，提高重构速度和兼容性，进而提高系统的存储速度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种聚合多版本小对象的方法的流程示意图；

图2为本申请实施例提供的分布式对象存储系统中聚合多版本小对象的方法的整体流程图；

图3为本申请实施例提供的一种聚合多版本小对象的装置的组成示意图。

具体实施方式

在当前的分布式对象存储系统中，针对普通海量小对象虽然已经实现了小对象聚合的功能，即，把多个小对象聚合为一个大对象，减少了Rados的对象数量，从而加快了集群的重构速度，并提高系统的性能。

具体来讲，在分布式存储系统中，目前聚合的功能需要在开启分级的基础上进行的，将小于等于512KB的对象聚合成一个大对象，将数据从热池子迁往冷池子中，把聚合好的聚合大对象下刷到rados存储池中，并记录一级位图和二级位图到存储池中，一级位图中记录了找到二级位图所需信息，如桶id、条带长度、配置规则等，二级位图中记录了每个小对象的偏移量、长度、是否有效等信息。然后删除小对象中的数据，写入聚合属性到小对象元属性信息中，用来索引到数据实际存储的位置，进行数据的读取。

但每个小对象往往会对应多个版本，即，存在多版本功能，来实现对象的多版本。具体的，在分布式存储系统中，开启多版本后，用户在上传对象时，服务端会生成一个随机版本号，每一次上传对应一个版本，这样，一个对象可以存在多个版本。而用户则可以在上传、下载、删除对象时，指定版本号，操作相应版本的对象。但是当前小对象聚合功能并不兼容多版本功能，从而会导致聚合后存储系统中的小对象数量仍然较多，以至于系统的存储速度较慢。因此，如何在分布式对象存储系统中，实现多版本小对象的聚合，以降低小对象的存储数量，提高系统存储速度是目前亟待解决的问题。

为解决上述缺陷，本申请实施例提供了一种聚合多版本小对象的方法，首先获取待聚合的至少一个目标多版本小对象，然后，对至少一个目标多版本小对象进行标记，并将标记记录到存储池中，接着，当获取到的目标多版本小对象的数量达到预设数量时，根据标记对目标多版本小对象进行聚合，并将得到的大对象进行存储；或者，当根据标记对目标多版本小对象进行聚合得到的大对象达到预设数值时，停止进行聚合，并将得到的大对象进行存储。从而能够减少分布式对象存储系统中小对象的存储数量，提高重构速度和兼容性，进而提高系统的存储速度。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

第一实施例

参见图1，为本实施例提供的一种聚合多版本小对象的方法的流程示意图，该方法包括以下步骤：

S101：获取待聚合的至少一个目标多版本小对象。

需要说明的是，在当前的分布式对象存储系统中，针对普通海量小对象的聚合的功能，是把多个小对象聚合为一个大对象，减少Rados的对象数量，以加快集群的重构速度，并提高系统的性能。但由于每个小对象往往会对应多个版本，即，存在多版本功能，来实现对象的多版本。而当前小对象聚合功能并不兼容多版本功能，由此，可能会导致聚合后存储系统中的小对象数量仍然较多，以至于系统的存储速度较慢。

所以，在本实施例中，为了减少分布式对象存储系统中小对象的存储数量，以提高重构速度和兼容性，进而提高系统的存储速度，首先，获取待聚合的至少一个目标多版本小对象，用以继续执行后续步骤S102。

其中，目标多版本小对象指的是同一个桶下的小于等于预设容量的小对象。预设容量的取值可根据实际情况进行设定，本申请实施例对此不进行限定，比如可以取值为512K。在此基础上，对于目标多版本小对象的聚合指的是将同一个桶下的小于等于512K的小对象聚合成一个大的数据对象并存储到rados资源池中。

而小对象的多版本功能是通过开启桶的多版本功能来实现的。这样，用户可以记录桶内每个对象的不同版本，并在下载时对应下载指定版本的小对象即可。

S102：对所述至少一个目标多版本小对象进行标记，并将该标记记录到存储池中。

在本实施例中，通过步骤S101获取到待聚合的至少一个目标多版本小对象后，进一步的，可以对获取到的至少一个目标多版本小对象进行标记，并将该标记记录到存储池(如index存储池)中，用以执行后续步骤S103。

其中，一种可选的实现方式是，目标多版本小对象的每个版本对应记录一个标记。

S103：当获取到的目标多版本小对象的数量达到预设数量时，根据标记对目标多版本小对象进行聚合，并将得到的大对象进行存储；或者，当根据标记对目标多版本小对象进行聚合得到的大对象达到预设数值时，停止进行聚合，并将得到的大对象进行存储。

在本实施例中，通过步骤S101获取到待聚合的至少一个目标多版本小对象，以及通过步骤S102对获取到的至少一个目标多版本小对象进行标记，并将该标记记录到存储池中后，进一步的，当获取到的目标多版本小对象的数量达到预设数量时，可以根据该标记以及所属桶的标识(如id值)，对目标多版本小对象进行聚合，并将得到的大对象进行存储；或者，当根据标记对目标多版本小对象进行聚合得到的大对象达到预设数值时，可以停止进行聚合，并将得到的大对象进行存储。

其中，一种可选的实现方式是，预设数量为400；预设数值为4兆字节。

进一步的，一种可选的实现方式是，在得到聚合后的大对象时，可以在大对象中的每个小对象上记录各自对应的聚合属性信息。其中，聚合属性信息可以包括对应小对象在其所属的大对象中的位置、小对象的长度以及大对象的名称等。这样，用户在通过客户端在下载特定版本的聚合小对象时，首先可以根据版本号查询到对应的小对象，然后查询到该小对象记录的聚合属性信息，进而可以根据聚合属性信息查询到小对象数据在其所属的大对象中实际存储的位置，再获取到对象数据并返回。

为便于理解本申请提供的聚合多版本小对象的方法，接下来，本申请将结合附图2对本申请实施例提供的分布式对象存储系统中聚合多版本小对象的方法的整体流程进行介绍：

如图2所示，本申请实施例提供的分布式对象存储系统中聚合多版本小对象的方法具体为：首先，通过扫描线程获取热池的对象记录(或标记)，并保存在内存中(如map中)，以及判断是否达到水位(即预设阈值，如占据存储总量的30％等)，若是，则将扫描到的记录(或标记)发送到聚合缓存线程，进行聚合多版本小对象。然后，聚合缓存线程遍历扫描到的对象记录(或标记)，判断其是否为多版本小对象，若是，则获取对应版本的对象oid，若否，则通过异步获取每一小对象数据，并通过缓存模块进行缓存，再创建一级位图，写入存储池中。接着，判断扫描到的小对象是否达到设定值(如400个)，若是，则将得到的大对象加入队列保存，并通知下刷线程，将其下刷到rados存储池中，若否，则在聚合过程中，判断聚合后得到的大对象大小是否达到设定值(如4兆字节)，并在未达到设定值时，将小对象数据信息加入缓存记录，以及在达到设定值时，将得到的大对象加入队列保存，并通知下刷线程，将其下刷到rados存储池中。最后，写入二级位图位置信息到存储池，并记录小对象相关信息，进而将大对象数据写到存储池中，同时记录小对象元数据属性，以及将多版本信息记录到对应版本的小对象上。

综上，本实施例提供的一种聚合多版本小对象的方法，首先获取待聚合的至少一个目标多版本小对象，然后，对至少一个目标多版本小对象进行标记，并将标记记录到存储池中，接着，当获取到的目标多版本小对象的数量达到预设数量时，根据标记对目标多版本小对象进行聚合，并将得到的大对象进行存储；或者，当根据标记对目标多版本小对象进行聚合得到的大对象达到预设数值时，停止进行聚合，并将得到的大对象进行存储。从而能够减少分布式对象存储系统中小对象的存储数量，提高重构速度和兼容性，进而提高系统的存储速度。

第二实施例

本实施例将对一种聚合多版本小对象的装置进行介绍，相关内容请参见上述方法实施例。

参见图3，为本实施例提供的一种聚合多版本小对象的装置的组成示意图，该装置包括：

获取单元301，用于获取待聚合的至少一个目标多版本小对象；

标记单元302，用于对所述至少一个目标多版本小对象进行标记，并将所述标记记录到存储池中；

聚合单元303，用于当获取到的所述目标多版本小对象的数量达到预设数量时，根据所述标记对所述目标多版本小对象进行聚合，并将得到的大对象进行存储；或者，当根据所述标记对所述目标多版本小对象进行聚合得到的大对象达到预设数值时，停止进行聚合，并将得到的大对象进行存储。

在本实施例的一种实现方式中，所述目标多版本小对象每个版本对应一个标记。

在本实施例的一种实现方式中，所述预设数量为400；所述预设数值为4兆字节。

在本实施例的一种实现方式中，所述装置还包括：

记录单元，用于在所述大对象中的每个小对象上记录各自对应的聚合属性信息。

综上，本实施例提供的一种聚合多版本小对象的装置，首先获取待聚合的至少一个目标多版本小对象，然后，对至少一个目标多版本小对象进行标记，并将标记记录到存储池中，接着，当获取到的目标多版本小对象的数量达到预设数量时，根据标记对目标多版本小对象进行聚合，并将得到的大对象进行存储；或者，当根据标记对目标多版本小对象进行聚合得到的大对象达到预设数值时，停止进行聚合，并将得到的大对象进行存储。从而能够减少分布式对象存储系统中小对象的存储数量，提高重构速度和兼容性，进而提高系统的存储速度。

进一步地，本申请实施例还提供了一种聚合多版本小对象的设备，包括：处理器、存储器、系统总线；

所述处理器以及所述存储器通过所述系统总线相连；

所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行上述聚合多版本小对象的方法的任一种实现方法。

进一步地，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行上述聚合多版本小对象的方法的任一种实现方法。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者诸如媒体网关等网络通信设备，等等)执行本申请各个实施例或者实施例的某些部分所述的方法。

需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种聚合多版本小对象的方法，其特征在于，包括：

获取待聚合的至少一个目标多版本小对象；

对所述至少一个目标多版本小对象进行标记，并将所述标记记录到存储池中；

当获取到的所述目标多版本小对象的数量达到预设数量时，根据所述标记对所述目标多版本小对象进行聚合，并将得到的大对象进行存储；或者，当根据所述标记对所述目标多版本小对象进行聚合得到的大对象达到预设数值时，停止进行聚合，并将得到的大对象进行存储。

2.根据权利要求1所述的方法，其特征在于，所述目标多版本小对象每个版本对应一个标记。

3.根据权利要求1所述的方法，其特征在于，所述预设数量为400；所述预设数值为4兆字节。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述大对象中的每个小对象上记录各自对应的聚合属性信息。

5.一种聚合多版本小对象的装置，其特征在于，包括：

获取单元，用于获取待聚合的至少一个目标多版本小对象；

标记单元，用于对所述至少一个目标多版本小对象进行标记，并将所述标记记录到存储池中；

聚合单元，用于当获取到的所述目标多版本小对象的数量达到预设数量时，根据所述标记对所述目标多版本小对象进行聚合，并将得到的大对象进行存储；或者，当根据所述标记对所述目标多版本小对象进行聚合得到的大对象达到预设数值时，停止进行聚合，并将得到的大对象进行存储。

6.根据权利要求5所述的装置，其特征在于，所述目标多版本小对象每个版本对应一个标记。

7.根据权利要求5所述的装置，其特征在于，所述预设数量为400；所述预设数值为4兆字节。

8.根据权利要求5所述的装置，其特征在于，所述装置还包括：

记录单元，用于在所述大对象中的每个小对象上记录各自对应的聚合属性信息。

9.一种聚合多版本小对象的设备，其特征在于，包括：处理器、存储器、系统总线；

所述处理器以及所述存储器通过所述系统总线相连；

所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行权利要求1-4任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行权利要求1-4任一项所述的方法。

Images