CN114327301A - 一种数据处理方法、装置、设备及存储介质 - Google Patents

Abstract

本公开涉及一种数据存储方法、装置、设备及存储介质，所述格式转换方法包括：获取已删除对象的对象标识；将所述对象标识划分为至少两部分；将划分后的对象标识以键值对的形式压缩后进行存储。本公开实施例通过将已删除的对象标识按照按键值对的形式压缩之后再进行存储，以减少系统大量删除带来的内存增加，在一定程度上提高系统的可用性，保证系统服务更加可靠。

Description

一种数据处理方法、装置、设备及存储介质

技术领域

本公开涉及数据处理技术领域，尤其涉及一种数据存储方法、装置、设备及存储介质。

背景技术

现有的分布式对象存储系统存储文件时在应用上层做了数据切分，最大文件大小为5M，数据存储结构采用不同的逻辑层次进行划分，分集群（Cluster），数据服务器（DataServer），存储单元（Block），对象（Object）粒度。分布式对象存储系统为了节省内存，在系统启动的时候采用抽样加载的方式，即加载Block时，按照一定的策略，只加载某一些object进入内存。在此种方式下，针对删除每秒查询率（qps）较大的Block，将所有删除对象的对象标识存储在特定集合中，查询时首先从该特定集合中查找，找到则认为已经删除。

针对删除每秒查询率（qps）较大的Block，将所有删除对象的对象标识存储在特定集合中，随着删除的不断进行，内存呈现出递增的趋势，降低了现有系统稳定性和可靠性。

发明内容

本公开提供了一种数据存储方法、装置、设备及存储介质，将已删除的对象标识压缩之后再进行存储，以减少系统大量删除带来的内存增加，在一定程度上提高系统的可用性，保证系统服务更加可靠。

第一方面，本公开实施例提供一种数据存储方法，包括：

获取已删除对象的对象标识；

将所述对象标识划分为至少两部分；

将划分后的对象标识以键值对的形式压缩后进行存储。

在一个实施方式中，获取已删除对象的数据标识信息之前，还包括：

接收到对象删除指令后，删除数据存储单元中与所述对象删除指令对应的对象；

将所述对象删除指令对应的对象作为已删除对象。

在一个实施方式中，所述对象标识以二进制的形式表示；

将所述对象标识划分为至少两部分，包括：

将所述对象标标识中的高位比特串作为其中一部分对象标识；

将所述对象标标识中的低位比特串作为另一部分对象标识。

在一个实施方式中，所述高位比特串和所述低位比特串的比特位数相等。

在一个实施方式中，将划分后的对象标识以键值对的形式压缩后进行存储，包括；

将其中一部分对象标识转换为公共前缀并作为键值对中的键，另一部分对象标识作为键值对中的值，得到键值对数据；

将所述键值对数据进行存储。

在一个实施方式中，将其中一部分对象标识转换为公共前缀并作为键值对中的键，包括：

基于所述其中一部分对象标识以及公共前缀与比特串的对应关系，确定所述其中一部分对象标识对应的公共前缀；

将所述其中一部分对象标识对应的公共前缀作为键值对中的键。

在一个实施方式中，所述方法还包括：

接收到对象标识查询指令后，获取所述对象标识查询指令中携带的对象标识；

如果查询到对象标识查询指令中携带的对象标识对应的键值对，则确定所述对象标识对应的对象已删除。

第二方面，本公开实施例提供一种数据存储装置，包括：

获取模块，用于获取已删除对象的对象标识；

划分模块，用于将所述对象标识划分为至少两部分；

存储模块，用于将划分后的对象标识以键值对的形式存储。

在一个实施方式中，所述装置还包括：对象删除模块，用于在获取已删除对象的数据标识信息之前，接收到对象删除指令后，删除数据存储单元中与对象删除指令对应的对象；将所述对象删除指令对应的对象作为已删除对象。

在一个实施方式中，所述对象标识以二进制的形式表示；

划分模块，具体用于将所述对象标标识中的高位比特串作为其中一部分对象标识；将所述对象标标识中的低位比特串作为另一部分对象标识。

在一个实施方式中，所述高位比特串和所述低位比特串的比特位数相等。

在一个实施方式中，存储模块，具体用于将其中一部分对象标识转换为公共前缀并作为键值对中的键，另一部分对象标识作为键值对中的值，得到键值对数据；将所述键值对数据进行存储。

在一个实施方式中，将其中一部分对象标识转换为公共前缀并作为键值对中的键，包括：基于所述其中一部分对象标识以及公共前缀与比特串的对应关系，确定所述其中一部分对象标识对应的公共前缀；将所述其中一部分对象标识对应的公共前缀作为键值对中的键。

在一个实施方式中，所述装置还包括：

对象标识读取模块，用于接收到对象标识查询指令后，获取所述对象标识查询指令中携带的对象标识；

已删除确定模块，用于如果查询到对象标识查询指令中携带的对象标识对应的键值对，则确定所述对象标识对应的对象已删除。

第三方面，本公开实施例提供一种电子设备，包括：

存储器；

处理器；以及

计算机程序；

其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如第一方面所述的数据存储方法。

第四方面，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的数据存储方法。

本公开实施例提供了一种数据存储方法、装置、设备及存储介质，所述格式转换方法包括：获取已删除对象的对象标识；将所述对象标识划分为至少两部分；将划分后的对象标识以键值对的形式压缩后进行存储。本公开实施例通过将已删除的对象标识按照按键值对的形式压缩之后再进行存储，以减少系统大量删除带来的内存增加，在一定程度上提高系统的可用性，保证系统服务更加可靠。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本公开实施例提供的一种数据存储方法的流程图；

图2是本公开实施例提供的一种数据存储方法的流程图；

图3是本公开实施例提供的一种数据存储装置的结构示意图；

图4是本公开实施例提供的一种电子设备的结构示意图。

具体实施方式

为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。

对象存储S3（Standard Storage Service）是一种海量、低成本、强安全、高可靠的分布式云存储服务，为用户解决存储扩容、数据可靠安全以及分布式访问等相关复杂问题。用户可以使用S3，通过RESTful 应用程序接口（Application Programming Interface，API）便捷地存储和读取图片、音频、视频、文本等各类数据文件。分布式对象存储系统作为S3底层的存储系统，解决了海量小文件的存储需求，为上层应用系统系统提供了高性能、高可靠、强安全的数据存储功能。

分布式对象存储系统存储文件在应用上层做了数据切分，最大文件大小为5M，数据存储结构采用不同的逻辑层次进行划分，分集群（Cluster），数据服务器（DataServer），存储单元（Block），对象（Object）粒度。分布式对象存储系统为了节省内存，在系统启动的时候采用抽样加载的方式，即加载Block时，按照一定的策略，只加载某一些object进入内存。其中，集群（Cluster）由多台服务器（DataServer）组成，整体向业务层提供服务，服务器（DataServer）是数据存储节点机器，一个机器上部署一个服务，一个机器上包括多块磁盘，每个磁盘中包括多个存储单元（Block），每个存储单元中包括多个存储对象（Object）。其中，每个Block由唯一的Block Id标识，每个Object由唯一的Object Id标识。

分布式对象存储系统为了节省内存，在系统启动的时候采用抽样加载的方式，即加载Block时，按照一定的策略，只加载某一些Object进入内存。在此种方式下，针对删除每秒查询率（qps）较大的Block，将所有删除对象的对象标识存储在特定集合中，查询时首先从该集合中查找，找到则认为已经删除。其中，删除每秒查询率（qps）较大的Block，是指在一个存储单元中对象被大量随机删除。

具体的，如果一个存储单元中对象被大量随机删除，所有删除的对象标识被存储在特定集合中，使得随着删除的不断进行，内存呈现出递增的趋势，降低了现有系统稳定性和可靠性。

为解决上述至少一个技术问题，本公开实施例提供了一种数据存储方法，将已删除的对象标识以键值对的形式压缩之后再进行存储，以减少系统大量删除带来的内存增加，在一定程度上提高系统的可用性，保证系统服务更加可靠。

下面结合具体实施例和附图对上述数据存储方式进行介绍。

图1是本公开实施例提供的一种数据存储方法的流程图。本实施例可适用于在数据删除场景下节省内存的情况，该方法可以由数据存储装置来执行，该装置可以通过软件和/或硬件的形式实现，该硬件可以是电子设备，所述电子设备可以是服务器，其中，所述服务器可以是实体服务器，也可以是云服务器，服务器可以是一个服务器，或者服务器集群。

如图1所示，本公开实施例提供的数据存储方法主要包括如下步骤：

S101、获取已删除对象的对象标识。

其中，所述对象可以是指在存储单元（Block）中存储的一个Object文件，已删除对象可以理解为在存储单元中已经被删除的对象，对象标识可以是唯一表征对象的标识，例如：可以是对象ID，也可以是对象编码等。本实施例中不再进行限定。

在一个实施方式中，获取已删除对象的数据标识信息之前，还包括：接收到对象删除指令后，删除数据存储单元中与对象删除指令对应的对象；将所述对象删除指令对应的对象作为已删除对象。

其中，所述对象删除指令是指用于删除指定对象的指令，所述对应删除指令中携带指定对象标识或者指定对象在存储单元中的存储地址。

在本实施例中，接收到对象删除指令的方式由多种，例如：接收到对象删除指令可以是检测到用户触发对象删除操作后，接收到对象删除指令，其中，所述对象删除操作可以由用户通过客户端的输入装置进行触发。再如：接收到对象删除指令是也可以是满足预设删除条件后，接收对象删除指令。其中，所述满足预设条件可以是对象的存储时间超过预设时长，例如：将3年前存储的对象进行删除。所述满足预设条件还可以是服务器执行完成某项特定任务。

在一个可能的实施方式中，如果所述对应删除指令中携带指定对象标识，则根据指定对象标识，查找对应的对象，查找到之后删除该对象，并将该对象作为已删除对象，获取指定对象标识作为已删除对象的对象标识。进一步的，还可以在已删除对象的属性信息中获取已删除对象的对象标识。

在一个可能的实施方式中，如果所述对应删除指令中携带指定对象在存储单元中的存储地址，则直接删除该存储地址上存储的对象，并将该对象作为已删除对象，在已删除对应的属性信息中获取已删除对象的对象标识。

S102、将所述对象标识划分为至少两部分。

其中，所述对象标识以二进制的形式表示，例如：对象标识可以是8bit，即8位二进制，也可以是16bit，32bit，64bit，128bit等等。对象标识的比特位数可以根据服务器或者存储单元中的数据存储形式来确定，本实施例中不在具体限定对象标识具体的比特位数。

在一个实施方式中，将所述对象标识划分为至少两部分，包括：将所述对象标标识中的高位比特串作为其中一部分对象标识；将所述对象标标识中的低位比特串作为另一部分对象标识。

其中，将对象标识划分为两部分，可以是按照比特位数平均进行划分，可以也是按照预设的比例进行划分。

例如：以64bit为例进行说明，可以是按照比特位数平均划分，高32位作为其中一部分对象标识，低32位作为另一部分对象标识。按照3:5的比例进行划分，高24位作为其中一部分对象标识，低40位作为另一部分对象标识。需要说明的是，本实施例中再具体限定对象标识的划分方式。

其中，所述高位比特串和所述低位比特串的比特位数相等。即将对象标识划分为两部分，可以是按照比特位数平均进行划分。这样更符合现有的数据存储格式，节省更多的存储空间。

S103、将划分后的对象标识以键值对的形式压缩后进行存储。

在一个实施方式中，将划分后的对象标识以键值对的形式压缩后进行存储，包括；将其中一部分对象标识转换为公共前缀并作为键值对中的键，另一部分对象标识作为键值对中的值，得到键值对数据；将所述键值对数据进行存储。

具体的，将高位比特串转换为公共前缀并作为键值对中的键，将低位比特串作为键值对中的值，得到键值对数据。

其中，所述公共前缀是一个用二进制表示的标志位，其中，公共前缀的比特位数小于高位比特串的比特位数。

在一个实施方式中，将其中一部分对象标识转换为公共前缀并作为键值对中的键，包括：基于所述其中一部分对象标识以及公共前缀与比特串的对应关系，确定所述其中一部分对象标识对应的公共前缀；将所述其中一部分对象标识对应的公共前缀作为键值对中的键。

具体的，预先存储公共前缀与比特串的对应关系，将上述划分得到的高位比特串在上述对应关系中进行查询，将查询得到比特串对应的公共前缀作为高位比特串对应的公共前缀。

例如：高32位比特串是32位全0（0000 0000 0000 0000 0000 0000 0000 00000000），在公共前缀与比特串的对应关系中，32位全0比特串对应的公共前缀是0000，则确定高位比特串对应的公共前缀是0000。其中，公共前缀占用4个bit进行存储，相比于原来的32bit，节省了存储空间。

例如：有100个对象标识，其中，高32位有3种情况，分别为高32位比特串是32位全0（0000 0000 0000 0000 0000 0000 0000 0000 0000），高32位比特串是32位全1（11111111 1111 1111 1111 1111 1111 1111），高32位比特串是16位为0，16为1（0000 00000000 0000 1111 1111 1111 1111），则32位全0对应的公共前缀是0000，32位全1对应的公共前缀是0001，16位为0，16为1对应的公共前缀是0010。

在有100个对象标识存储过程中，存储3个公共前缀，占用12个字节，剩余100个对象标识的低32位占用400个字节，总共占用了412个字节，现有技术的存储方案中，每个对象标识占用8个字节，100个对象标识需要占用800个字节。与现有的存储方案相比，一定程度上保证了在小集群大量删除qps的场景下，节省系统的内存空间，提高服务的可靠性。

本公开实施例提供了一种数据存储方法包括：获取已删除对象的对象标识；将所述对象标识划分为至少两部分；将划分后的对象标识以键值对的形式压缩后进行存储。本公开实施例通过将已删除的对象标识按照按键值对的形式压缩之后再进行存储，以减少系统大量删除带来的内存增加，在一定程度上提高系统的可用性，保证系统服务更加可靠。

在上述实施例的基础上，本公开实施例对上述数据存储方法进行了进一步的优化，如图2所示，本公开实施例提供的优化后的数据存储方法主要包括如下步骤：

S201、获取已删除对象的对象标识。

S202、将所述对象标识划分为至少两部分。

S203、将划分后的对象标识以键值对的形式压缩后进行存储。

本实施例中，步骤S201至步骤S203与上述实施例中的步骤S101至S103的具体流程相同，具体可以参照上述实施例中的描述，本实施例不再进行赘述。

S204、接收到对象标识查询指令后，获取对象标识查询指令中携带的对象标识。

系统在启动时候，开启抽样加载的方式将Block加入内存中，针对删除qps较大的对象，将所有删除的对象标识存放在删除集合中，系统在查询数据时，需要先查询该数据是否被删除，因此查询时首先从删除集合中查找，如果查找到则确定该对应已被删除。

在本实施例中，接收到对象标识查询指令可以是检测到用户通过客户端输入的数据读取操作后，接收到对象标识查询指令，还可以服务器满足数据读取条件后，接收到对象标识查询指令。

在本实施例中，接收到对象标识查询指令后，对所述对象标识查询指令进行解析，获取其中携带的对象标识。

S205、如果查询到对象标识查询指令中携带的对象标识对应的键值对，则确定所述对象标识对应的对象已删除。

按照上述划分方法，将上述对象标识划分为高比特串和低比特串，将高比特串转换为公共前缀，以该公共前缀在删除集合中进行查询，如果查询到该公共前缀，则获取该公共前缀作为键时，获取其对应的所有键值对中的值，以低比特串在对应的所有键值对中的值中进行查询，若查询到与低比特串相同的值，则确定查询到键值对，确定所述对象标识对应的对象已删除。

图3是本公开实施例提供的一种数据存储装置的结构示意图。本实施例可适用于在数据删除场景下节省内存的情况，该装置可以通过软件和/或硬件的形式实现，该硬件可以是电子设备，所述电子设备可以是服务器，其中，所述服务器可以是实体服务器，也可以是云服务器，服务器可以是一个服务器，或者服务器集群。

如图3所示，本公开实施例提供的数据存储装置30主要包括获取模块31、划分模块32和存储模块33。

其中，获取模块31，用于获取已删除对象的对象标识；

划分模块32，用于将所述对象标识划分为至少两部分；

存储模块33，用于将划分后的对象标识以键值对的形式存储。

本公开实施例提供了一种数据存储装置，用于执行如下步骤：获取已删除对象的对象标识；将所述对象标识划分为至少两部分；将划分后的对象标识以键值对的形式压缩后进行存储。本公开实施例通过将已删除的对象标识按照按键值对的形式压缩之后再进行存储，以减少系统大量删除带来的内存增加，在一定程度上提高系统的可用性，保证系统服务更加可靠。

在一个实施方式中，所述装置还包括：对象删除模块，用于在获取已删除对象的数据标识信息之前，接收到对象删除指令后，删除数据存储单元中与对象删除指令对应的对象；将所述对象删除指令对应的对象作为已删除对象。

在一个实施方式中，所述对象标识以二进制的形式表示；

划分模块，具体用于将所述对象标标识中的高位比特串作为其中一部分对象标识；将所述对象标标识中的低位比特串作为另一部分对象标识。

在一个实施方式中，所述高位比特串和所述低位比特串的比特位数相等。

在一个实施方式中，存储模块，具体用于将其中一部分对象标识转换为公共前缀并作为键值对中的键，另一部分对象标识作为键值对中的值，得到键值对数据；将所述键值对数据进行存储。

在一个实施方式中，将其中一部分对象标识转换为公共前缀并作为键值对中的键，包括：基于所述其中一部分对象标识以及公共前缀与比特串的对应关系，确定所述其中一部分对象标识对应的公共前缀；将所述其中一部分对象标识对应的公共前缀作为键值对中的键。

在一个实施方式中，所述装置还包括：

对象标识获取模块，用于接收到对象标识查询指令后，获取对象标识查询指令中携带的对象标识；

已删除确定模块，用于如果查询到对象标识查询指令中携带的对象标识对应的键值对，则确定所述对象标识对应的对象已删除。

图3所示实施例的数据存储装置可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图4为本公开实施例提供的电子设备的结构示意图。本公开实施例提供的电子设备可以执行数据存储方法实施例提供的处理流程，如图4所示，电子设备40包括：存储器41、处理器42、计算机程序43；其中，计算机程序存储在存储器41中，并被配置为由处理器52执行如上所述的数据存储方法。

另外，本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现上述实施例所述的数据存储方法。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (10)

1.一种数据存储方法，其特征在于，包括：

获取已删除对象的对象标识；

将所述对象标识划分为至少两部分；

将划分后的对象标识以键值对的形式压缩后进行存储。

2.根据权利要求1所述的方法，其特征在于，获取已删除对象的数据标识信息之前，还包括：

接收到对象删除指令后，删除数据存储单元中与所述对象删除指令对应的对象；

将所述对象删除指令对应的对象作为已删除对象。

3.根据权利要求1所述的方法，其特征在于，所述对象标识以二进制的形式表示；

将所述对象标识划分为至少两部分，包括：

将所述对象标标识中的高位比特串作为其中一部分对象标识；

将所述对象标标识中的低位比特串作为另一部分对象标识。

4.根据权利要求3所述的方法，其特征在于，所述高位比特串和所述低位比特串的比特位数相等。

5.根据权利要求1所述的方法，其特征在于，将划分后的对象标识以键值对的形式压缩后进行存储，包括；

将其中一部分对象标识转换为公共前缀并作为键值对中的键，另一部分对象标识作为键值对中的值，得到键值对数据；

将所述键值对数据进行存储。

6.根据权利要求5所述的方法，其特征在于，将其中一部分对象标识转换为公共前缀并作为键值对中的键，包括：

基于所述其中一部分对象标识以及公共前缀与比特串的对应关系，确定所述其中一部分对象标识对应的公共前缀；

将所述其中一部分对象标识对应的公共前缀作为键值对中的键。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收到对象标识查询指令后，获取所述对象标识查询指令中携带的对象标识；

如果查询到对象标识查询指令中携带的对象标识对应的键值对，则确定所述对象标识对应的对象已删除。

8.一种数据存储装置，其特征在于，包括：

获取模块，用于获取已删除对象的对象标识；

划分模块，用于将所述对象标识划分为至少两部分；

存储模块，用于将划分后的对象标识以键值对的形式存储。

9.一种电子设备，包括：

存储器；

处理器；以及

计算机程序；

其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1-7中任一所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。

Images