CN104408163B - 一种数据分级存储方法和装置 - Google Patents

Abstract

本发明实施例提供的数据分级存储装置，可以解决由于数据量非常巨大导致数据库占用存储空间较大以及查询速度降低的问题。具体方案为：扫描对象存储系统以获取对象存储系统中的对象；根据布隆过滤器在对象存储系统中的各个对象集合中查找该对象对应的对象集合，将查找到的对应的对象集合的热度值作为该对象的热度值；判断该对象的热度值是否满足预设条件；若该对象的热度值满足预设条件，则将该对象存储到第一存储设备；若该对象的热度值不满足预设条件，则将该对象存储到第二存储设备。

Description

一种数据分级存储方法和装置

技术领域

本发明涉及云存储领域，具体涉及一种数据分级存储方法和装置。

背景技术

对象存储系统是以对象为访问接口的网络存储系统，对象存储文件系统提供一套类似于文件操作的访问接口，并将文件操作转化为对象访问，使得用户的多种应用程序不需要进行任何修改就可以运行在对象存储系统上。采用对象接口可以使对象存储系统在跨平台数据共享、安全性、性能以及智能性方面具有优势。在对象存储系统中，数据以对象为单位存放，对象可以提供数据的完整性。

数据分级存储的架构中，根据数据的热度进行分类，将不同热度等级的数据存储到性能等级不同的存储设备中，从而可以优化系统的存储性能。在以对象为粒度的分级存储架构中，由于对象相较于文件粒度较小，处理时的基本单元不再是文件而是文件中的对象，加速了处理过程。

现有的数据分级存储的技术方案中，通常利用数据库来存储对象的热度值，虽然需要存储的热度值占用的空间很小，通过选择一些高效的数据库可以保证热度值的查询速度，例如选择键值存储(英文：Key-Value，简称KV)数据库，KV数据库需要存放完整的对象名称或者对象的哈希(英文：Hash)值以及对象对应的热度值，但是在数据量非常巨大的情况下，数据库仍然会占用相当的存储空间并且查询速度也会降低。

发明内容

本发明实施例提供一种数据分级存储方法和装置，可以解决由于数据量非常巨大导致数据库占用存储空间较大以及查询速度降低的问题。

为达到上述目的，本发明的实施例采用如下技术方案：

第一方面，本发明实施例提供一种数据分级存储方法，所述方法包括：

扫描对象存储系统以获取所述对象存储系统中的对象；

根据布隆过滤器在所述对象存储系统中的各个对象集合中查找所述对象对应的对象集合，将查找到的所述对应的对象集合的热度值作为所述对象的热度值；

判断所述对象的热度值是否满足预设条件；

若所述对象的热度值满足所述预设条件，则将所述对象存储到第一存储设备；若所述对象的热度值不满足所述预设条件，则将所述对象存储到第二存储设备。

结合第一方面，在第一种可能的实现方式中，在所述扫描对象存储系统以获取所述对象存储系统中的对象之前，所述方法还包括：

在向所述对象存储系统中存储对象时，根据所述对象的生成时间将所述对象存储到对应的对象集合；其中，所述对应的对象集合用于存储在所述对应的对象集合对应的时间段内生成的对象，不同的对象集合对应不同的时间段，所述不同的时间段是根据预设规则划分预设时间段得到的；

将所述对象与所述对应的对象集合的对应关系信息存储到所述布隆过滤器中。

结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述对象集合对应的时间段的起始时间为所述对象集合的热度值；其中，所述预设时间段中的各个时间段的起始时间按照时间先后顺序依次递增，相应的，所述各个时间段对应的对象集合的热度值依次递增。

结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述根据布隆过滤器在所述对象存储系统中的各个对象集合中查找所述对象对应的对象集合包括：

根据所述布隆过滤器中存储的对应关系信息按照热度值从大到小的顺序遍历所述各个对象集合以查找所述对象对应的对象集合。

结合第一方面至第一方面的第三种可能的实现方式中任一可能的实现方式，在第四种可能的实现方式中，所述第一存储设备的数据访问速度大于所述第二存储设备的数据访问数度。

第二方面，本发明实施例提供一种数据分级存储装置，所述装置包括：

获取单元，用于扫描对象存储系统以获取所述对象存储系统中的对象；

查询单元，用于根据布隆过滤器在所述对象存储系统中的各个对象集合中查找所述对象对应的对象集合，将查找到的所述对应的对象集合的热度值作为所述对象的热度值；

判断单元，用于判断所述对象的热度值是否满足预设条件；

存储单元，用于若所述对象的热度值满足所述预设条件，则将所述对象存储到第一存储设备；若所述对象的热度值不满足所述预设条件，则将所述对象存储到第二存储设备。

结合第二方面，在第一种可能的实现方式中，所述装置还包括：

处理单元，用于在所述扫描对象存储系统以获取所述对象存储系统中的对象之前，向所述对象存储系统中存储对象时，根据所述对象的生成时间将所述对象存储到对应的对象集合；其中，所述对应的对象集合用于存储在所述对应的对象集合对应的时间段内生成的对象，不同的对象集合对应不同的时间段，所述不同的时间段是根据预设规则划分预设时间段得到的；

所述处理单元还用于将所述对象与所述对应的对象集合的对应关系信息存储到所述布隆过滤器中。

结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述对象集合对应的时间段的起始时间为所述对象集合的热度值；其中，所述预设时间段中的各个时间段的起始时间按照时间先后顺序依次递增，相应的，所述各个时间段对应的对象集合的热度值依次递增。

结合第二方面的第二种可能的实现方式，在第三种可能的实现方式中，所述查询单元具体用于：

根据所述布隆过滤器中存储的对应关系信息按照热度值从大到小的顺序遍历所述各个对象集合以查找所述对象对应的对象集合。

结合第二方面至第二方面的第三种可能的实现方式中任一可能的实现方式，在第四种可能的实现方式中，所述第一存储设备的数据访问速度大于所述第二存储设备的数据访问数度。

本发明实施例提供的数据分级存储方法和装置，扫描对象存储系统以获取对象存储系统中的对象；根据布隆过滤器在对象存储系统中的各个对象集合中查找该对象对应的对象集合，将查找到的对应的对象集合的热度值作为该对象的热度值；判断该对象的热度值是否满足预设条件；若该对象的热度值满足预设条件，则将该对象存储到第一存储设备；若该对象的热度值不满足预设条件，则将该对象存储到第二存储设备。本发明可以解决由于数据量非常巨大导致数据库占用存储空间较大以及查询速度降低的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种数据分级存储方法的流程示意图一；

图2为本发明实施例提供的一种数据分级存储方法的流程示意图二；

图3为本发明实施例提供的一种数据分级存储装置的结构示意图一；

图4为本发明实施例提供的一种数据分级存储装置的结构示意图二。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在介绍本发明实施例提供的技术方案前，先对本发明涉及的相关内容进行介绍，本发明涉及布隆过滤器(英文：Bloom Filter)，布隆过滤器是1970年由布隆提出的一种空间效率很高的随机数据结构，它的空间效率和查询时间都远远超过一般的算法，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合，具有很好的空间和时间效率。其原理是：当一个元素被加入集合时，通过K个Hash函数将这个元素映射成一个位阵列(英文：Bit array)中的K个点，把它们置为1。查询时，如果这些点有任何一个0，则被检索元素一定不在集合内，如果都是1，则被检索元素在集合内的概率非常大。由此可见，布隆过滤器有一定的误报率，不过也可以说布隆过滤器是以很小的误报率的代价换取了非常高的时间和空间效率。

在本发明中，布隆过滤器用于当一个对象被存入对应的对象集合时，利用哈希函数将对象映射到用于表示对象集合的位数组的比特位上，建立对象与该对象对应的对象集合的对应关系并存储该对应关系信息；值得一提的是，布隆过滤器并不需要存放完整的对象名称或其哈希值。

在本发明中，通过对预设的时间段按照预设条件进行划分得到不同的各个时间段，每个时间段对应一个对象集合，该对象集合用于存储对象存储系统中在该对象集合对应的时间段内由用户生成的对象；将对象集合对应的时间段的起始时间(也即对象集合的初始创建时间)作为该对象集合的热度值，对象集合的初始创建时间越靠后则对象集合的热度值越高，并且对象集合中的所有对象都以该对象集合的热度值为对象自身的热度值；其中，示例性的，预设时间段可以是对象存储系统的数据处理最繁忙的一段运行时间比如一天的08:30-18:30，按照预设条件划分预设时间段可以是以十分钟为一个时间段划分预设时间段。

本发明实施例提供一种数据分级存储方法，如图1所示，该方法包括：

101、扫描对象存储系统以获取对象存储系统中的对象。

102、根据布隆过滤器在对象存储系统中的各个对象集合中查找该对象对应的对象集合，将查找到的对应的对象集合的热度值作为该对象的热度值。

103、判断该对象的热度值是否满足预设条件。

104、若该对象的热度值满足预设条件，则将该对象存储到第一存储设备。

105、若该对象的热度值不满足预设条件，则将该对象存储到第二存储设备。

需要说明的是，本发明中采用布隆过滤器作为将对象存放到对象集合时的存储两者对应关系信息的容器，在数据分级存储架构下可以容忍一定的误报率的情况下，相比现有技术中在海量数据情况下使用数据库存储完整的对象名称或者对象的哈希值以及对象对应的热度值需要占用相当的存储空间以及较低的查询速度，本发明中使用布隆过滤器极大的节省了占用的存储空间，并且也有效地提高了查询的效率。

本发明实施例提供的数据分级存储方法，扫描对象存储系统以获取对象存储系统中的对象；根据布隆过滤器在对象存储系统中的各个对象集合中查找该对象对应的对象集合，将查找到的对应的对象集合的热度值作为该对象的热度值；判断该对象的热度值是否满足预设条件；若该对象的热度值满足预设条件，则将该对象存储到第一存储设备；若该对象的热度值不满足预设条件，则将该对象存储到第二存储设备。本发明可以解决由于数据量非常巨大导致数据库占用存储空间较大以及查询速度降低的问题。

为了使本领域技术人员能够更清楚地理解本发明实施例提供的技术方案，下面通过具体的实施例，对本发明的实施例提供的数据分级存储方法进行详细说明，如图2所示，该方法包括：

201、在向对象存储系统中存储对象时，根据该对象的生成时间将该对象存储到对应的对象集合，将该对象与对应的对象集合的对应关系信息存储到布隆过滤器中。

其中，对应的对象集合用于存储在对应的对象集合对应的时间段内生成的对象，不同的对象集合对应不同的时间段，不同的时间段是根据预设规则划分预设时间段得到的。

示例性的，当用户通过应用进程向对象存储系统写入每个对象时，都将该对象存储到对应的对象集合中也即利用哈希函数将对象映射到用于表示对象集合的位数组的比特位上，建立对象与该对象对应的对象集合的对应关系并存储该对应关系信息；其中，当前可以存放对象的对象集合是在缓存中，因此可以往里面存放(映射)对象；当对象集合对应的时间段到达截止时间后，则固化对象集合，不再向其中存放对象。

202、扫描对象存储系统以获取对象存储系统中的对象。

示例性的，对象存放在对象存储系统中，对象的存放是具有一定命名规则的，当需要存储对象存储系统的对象时，可以按照该规则逐个扫描对象存储系统以获取该系统中的各个对象。

203、根据布隆过滤器中存储的对应关系信息按照热度值从大到小的顺序遍历各个对象集合以查找该对象对应的对象集合，将查找到的对应的对象集合的热度值作为该对象的热度值。

示例性的，根据布隆过滤器中存储的对应关系信息从热度值最大的对象集合中开始查找是否存有该对象，查找到其中存有该对象的对象集合后将该对象集合的热度值作为该对象的热度值。

上述利用布隆过滤器在对象集合中查找是否有该对象的具体操作步骤，本领域技术人员可以参照现有技术中有关布隆过滤器的相关内容，本发明中不做赘述。

204、判断该对象的热度值是否满足预设条件。

示例性的，假设预设条件为：对象在14:00以后存储的。判断该对象的热度值即判断该对象对应的对象集合的初始创建时间是否在14:00以后。

205、若该对象的热度值满足预设条件，则将该对象存储到第一存储设备。

示例性的，若该对象的热度值即该对象对应的对象集合的初始创建时间是在14:00以后满足上述204中假设的预设条件，则将该对象存储到第一存储设备中。

206、若该对象的热度值不满足预设条件，则将该对象存储到第二存储设备。

示例性的，若对象的热度值即该对象对应的对象集合的初始创建时间在14:00以前不满足上述204中假设的预设条件，则将该对象存储到第二存储设备。

值得一提的是，上述第一存储设备的数据访问速度大于上述第二存储设备的数据访问数度，另外，第一和第二的表述只是为了区分不同的存储设备。对于上述205和206可以认为是将生成时间较晚的读取次数可能较多的对象存入访问速度较快的存储设备中，而将生成时间比较早读取次数可能较少的对象存入访问速度较慢的存储设备中，这样，可以有效提高对不同性能等级存储设备的利用效率。

本发明实施例提供的数据分级存储方法，在向对象存储系统存储对象时，根据对象的生成时间将对象存入对应的对象集合，将对象与对象集合的对应关系存到布隆过滤器中；扫描对象存储系统以获取对象存储系统中的对象；根据布隆过滤器在对象存储系统中的各个对象集合中查找该对象对应的对象集合，将查找到的对应的对象集合的热度值作为该对象的热度值；判断该对象的热度值是否满足预设条件；若该对象的热度值满足预设条件，则将该对象存储到第一存储设备；若该对象的热度值不满足预设条件，则将该对象存储到第二存储设备。本发明可以解决由于数据量非常巨大导致数据库占用存储空间较大以及查询速度降低的问题。

本发明实施例提供的数据分级存储装置10，如图3所示，该装置10包括：

获取单元11，用于扫描对象存储系统以获取对象存储系统中的对象。

查询单元12，用于根据布隆过滤器在对象存储系统中的各个对象集合中查找该对象对应的对象集合，将查找到的对应的对象集合的热度值作为该对象的热度值。

判断单元13，用于判断该对象的热度值是否满足预设条件。

存储单元14，用于若该对象的热度值满足预设条件，则将该对象存储到第一存储设备；若该对象的热度值不满足预设条件，则将该对象存储到第二存储设备。

可选的，如图4所示，该装置10还包括：

处理单元15，用于在扫描对象存储系统以获取对象存储系统中的对象之前，向对象存储系统中存储对象时，根据该对象的生成时间将该对象存储到对应的对象集合；其中，对应的对象集合用于存储在对应的对象集合对应的时间段内生成的对象，不同的对象集合对应不同的时间段，不同的时间段是根据预设规则划分预设时间段得到的；

处理单元15还用于将该对象与对应的对象集合的对应关系信息存储到布隆过滤器中。

可选的，对象集合对应的时间段的起始时间为对象集合的热度值；其中，预设时间段中的各个时间段的起始时间按照时间先后顺序依次递增，相应的，则各个时间段对应的对象集合的热度值依次递增。

可选的，查询单元12具体用于：

根据布隆过滤器中存储的对应关系信息按照热度值从大到小的顺序遍历各个对象集合以查找该对象对应的对象集合。

可选的，第一存储设备的数据访问速度大于第二存储设备的数据访问数度。

本实施例用于实现上述各方法实施例，本实施例中各个单元的工作流程和工作原理参见上述各方法实施例中的描述，在此不再赘述。

本发明实施例提供的数据分级存储装置，扫描对象存储系统以获取对象存储系统中的对象；根据布隆过滤器在对象存储系统中的各个对象集合中查找该对象对应的对象集合，将查找到的对应的对象集合的热度值作为该对象的热度值；判断该对象的热度值是否满足预设条件；若该对象的热度值满足预设条件，则将该对象存储到第一存储设备；若该对象的热度值不满足预设条件，则将该对象存储到第二存储设备。本发明可以解决由于数据量非常巨大导致数据库占用存储空间较大以及查询速度降低的问题。

以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。另一点，所显示或讨论的模块相互之间的连接可以是通过一些接口，可以是电性，机械或其它的形式。所述各个模块可以是或者也可以不是物理上分开的，可以是或者也可以不是物理单元。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理包括，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

上述以软件功能单元的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称ROM)、随机存取存储器(英文：Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种数据分级存储方法，其特征在于，包括：

扫描对象存储系统以获取所述对象存储系统中的对象；

根据布隆过滤器在所述对象存储系统中的各个对象集合中查找所述对象对应的对象集合，将查找到的所述对应的对象集合的热度值作为所述对象的热度值；

判断所述对象的热度值是否满足预设条件；

若所述对象的热度值满足所述预设条件，则将所述对象存储到第一存储设备；若所述对象的热度值不满足所述预设条件，则将所述对象存储到第二存储设备；

其中，对预设的时间段按照预设条件进行划分得到不同的各个时间段，每个时间段对应一个对象集合，该对象集合用于存储所述对象存储系统中在该对象集合对应的时间段内由用户生成的对象；将对象集合对应的时间段的起始时间作为该对象集合的热度值。

2.根据权利要求1所述的方法，其特征在于，在所述扫描对象存储系统以获取所述对象存储系统中的对象之前，所述方法还包括：

在向所述对象存储系统中存储对象时，根据所述对象的生成时间将所述对象存储到对应的对象集合；其中，所述对应的对象集合用于存储在所述对应的对象集合对应的时间段内生成的对象，不同的对象集合对应不同的时间段，所述不同的时间段是根据预设规则划分预设时间段得到的；

将所述对象与所述对应的对象集合的对应关系信息存储到所述布隆过滤器中。

3.根据权利要求2所述的方法，其特征在于，所述预设时间段中的各个时间段的起始时间按照时间先后顺序依次递增，相应的，所述各个时间段对应的对象集合的热度值依次递增。

4.根据权利要求3所述的方法，其特征在于，所述根据布隆过滤器在所述对象存储系统中的各个对象集合中查找所述对象对应的对象集合包括：

根据所述布隆过滤器中存储的对应关系信息按照热度值从大到小的顺序遍历所述各个对象集合以查找所述对象对应的对象集合。

5.根据权利要求1至4任一所述的方法，其特征在于，所述第一存储设备的数据访问速度大于所述第二存储设备的数据访问数度。

6.一种数据分级存储装置，其特征在于，包括：

获取单元，用于扫描对象存储系统以获取所述对象存储系统中的对象；

查询单元，用于根据布隆过滤器在所述对象存储系统中的各个对象集合中查找所述对象对应的对象集合，将查找到的所述对应的对象集合的热度值作为所述对象的热度值；

判断单元，用于判断所述对象的热度值是否满足预设条件；

存储单元，用于若所述对象的热度值满足所述预设条件，则将所述对象存储到第一存储设备；若所述对象的热度值不满足所述预设条件，则将所述对象存储到第二存储设备；

其中，对预设的时间段按照预设条件进行划分得到不同的各个时间段，每个时间段对应一个对象集合，该对象集合用于存储所述对象存储系统中在该对象集合对应的时间段内由用户生成的对象；将对象集合对应的时间段的起始时间作为该对象集合的热度值。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

处理单元，用于在所述扫描对象存储系统以获取所述对象存储系统中的对象之前，向所述对象存储系统中存储对象时，根据所述对象的生成时间将所述对象存储到对应的对象集合；其中，所述对应的对象集合用于存储在所述对应的对象集合对应的时间段内生成的对象，不同的对象集合对应不同的时间段，所述不同的时间段是根据预设规则划分预设时间段得到的；

所述处理单元还用于将所述对象与所述对应的对象集合的对应关系信息存储到所述布隆过滤器中。

8.根据权利要求7所述的装置，其特征在于，所述预设时间段中的各个时间段的起始时间按照时间先后顺序依次递增，相应的，所述各个时间段对应的对象集合的热度值依次递增。

9.根据权利要求8所述的装置，其特征在于，所述查询单元具体用于：

根据所述布隆过滤器中存储的对应关系信息按照热度值从大到小的顺序遍历所述各个对象集合以查找所述对象对应的对象集合。

10.根据权利要求6至9任一所述的装置，其特征在于，所述第一存储设备的数据访问速度大于所述第二存储设备的数据访问数度。