CN107688625A - 一种基于分布式存储系统的存储小文件的方法及系统 - Google Patents

Abstract

本申请公开了一种基于分布式存储系统的存储小文件的方法，包括：接收到小文件，调用CRUSH算法选择权重最高的节点作为预存储节点；判断该预存储节点是否为多个，若是，则计算各预存储节点的温度值；选择温度值最低的预存储节点存储小文件。该方法在存储节点权重相同时通过温度因子计算各预存储节点的温度值，并选择温度值最低的预存储节点作为小文件的存储节点，解决了存储小文件时相同权重的存储节点会使CRUSH算法在进行概率选择时产生偏差的问题，进而解决了大规模分布式文件系统中存储小文件所引起的数据分布不均问题。本申请同时还提供了一种基于分布式存储系统的存储小文件的系统，具有上述有益效果。

Description

一种基于分布式存储系统的存储小文件的方法及系统

技术领域

本申请涉及存储系统的软件领域，特别涉及一种基于分布式存储系统的存储小文件的方法及系统。

背景技术

随着PB级的数据和成百上千台存储设备的出现，大规模分布式存储系统也相应而生。大规模分布式存储系统为提高资源利用率必须平衡的分布数据和负载，最大化系统的性能，并要处理系统的扩展和硬件失效。

Ceph为一种性能优秀、可靠性高和可扩展性强的大规模分布式文件系统。Ceph设计了一个可扩展的伪随机数据分布算法(即CRUSH算法)，CRUSH算法用在分布式对象存储系统上，不需要中心设备便可将数据对象有效映射到存储设备上。由于大型系统的结构是动态变化的，CRUSH算法还能够处理存储设备的添加和移除，并最小化由于存储设备的添加和移动而导致的数据迁移。

CRUSH算法本质是通过一致性哈希算法对存储节点进行加权运算，使权重大的存储节点有较大的概率被选中并加入到结果集群中去。但是，存储小文件时相同权重的存储节点会使CRUSH算法在进行概率选择时产生偏差：小文件数据对象对于集群节点的容量来说非常小，就算有大量的小文件产生，也无法在短时间内改变存储节点的权重，进而使得集群产生偏差，导致数据分布不均。

因此，如何解决大规模分布式文件系统中存储小文件所引起的数据分布不均问题是本领域技术人员目前需要解决的技术问题。

发明内容

本申请的目的是提供一种基于分布式存储系统的存储小文件的方法及系统，该方法能够解决大规模分布式文件系统中存储小文件所引起的数据分布不均问题。

为解决上述技术问题，本申请提供一种基于分布式存储系统的存储小文件的方法，该方法包括：

接收到小文件，并调用CRUSH算法选择权重最高的节点作为预存储节点；

判断所述预存储节点是否为多个，若是，则通过温度因子计算各所述预存储节点的温度值；

选择所述温度值最低的预存储节点作为存储节点，并利用所述存储节点存储所述小文件。

可选的，所述通过温度因子计算各所述预存储节点的温度值包括：

判断各所述预存储节点的历史温度值与当前温度值的差值是否为零；

若是，则将各所述差值为零对应的所述预存储节点的当前温度值增加第一温度值作为各所述预存储节点的温度值；

若否，则将各所述差值不为零对应的所述预存储节点的当前温度值增加第二温度值作为各所述预存储节点的温度值；

其中，所述第一温度值为预先设置的大于零的温度值；所述第二温度值为预先设置的大于零且小于所述第一温度值的温度值。

可选的，在利用所述存储节点存储所述小文件之后，还包括：

将各所述预存储节点的温度值减少所述第一温度值作为各所述预存储节点的新温度值；

判断各所述预存储节点的新温度值是否小于零；

若是，则将零作为所述新温度值小于零的预存储节点的当前温度值；

若否，则将所述新温度值作为所述新温度值不小于零的预存储节点的当前温度值。

可选的，所述方法还包括：

将所述方法以动态链接库的方式应用于分布式存储系统中。

可选的，当所述预存储节点为一个时，还包括：

选择所述预存储节点作为所述存储节点，并利用所述存储节点存储所述小文件。

本申请还提供一种基于分布式存储系统的存储小文件的系统，该系统包括：

接收调用模块，用于接收所述小文件，并调用所述CRUSH算法选择所述权重最高的节点作为所述预存储节点；

判断模块，用于判断所述预存储节点是否为多个；

温度计算模块，用于当所述预存储节点为多个时，通过所述温度因子计算各所述预存储节点的温度值；

选择存储模块，用于选择所述温度值最低的预存储节点作为所述存储节点，并利用所述存储节点存储所述小文件。

可选的，所述温度计算模块包括：

第一判断子模块，用于判断各所述预存储节点的历史温度值与当前温度值的差值是否为零；

第一增温子模块，用于将各所述差值为零对应的所述预存储节点的当前温度值增加第一温度值作为各所述预存储节点的温度值；

第二增温子模块，用于将各所述差值不为零对应的所述预存储节点的当前温度值增加第二温度值作为各所述预存储节点的温度值；

其中，所述第一温度值为预先设置的大于零的温度值；所述第二温度值为预先设置的大于零且小于所述第一温度值的温度值。

可选的，所述温度计算模块还包括：

降温子模块，用于在利用所述存储节点存储所述小文件之后，将各所述预存储节点的温度值减少所述第一温度值作为各所述预存储节点的新温度值；

第二判断子模块，用于判断所述预存储节点的新温度值是否小于零；

当前温度值确定子模块，用于若小于零则将零作为所述新温度值小于零的预存储节点的当前温度值，若不小于零则将所述新温度值作为所述新温度值不小于零的预存储节点的当前温度值。

本申请所提供的基于分布式存储系统的存储小文件的方法，通过接收到小文件，并调用CRUSH算法选择权重最高的节点作为预存储节点；判断该预存储节点是否为多个，若是，则通过温度因子计算各预存储节点的温度值；选择温度值最低的预存储节点作为存储节点，并利用存储节点存储小文件。

显然本申请所提供的技术方案，在存储节点权重相同时通过温度因子计算各预存储节点的温度值，并选择温度值最低的预存储节点作为小文件的存储节点，解决了存储小文件时相同权重的存储节点会使CRUSH算法在进行概率选择时产生偏差的问题，进而解决了大规模分布式文件系统中存储小文件所引起的数据分布不均问题。本申请同时还提供了一种基于分布式存储系统的存储小文件的系统，具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例所提供的一种基于分布式存储系统的存储小文件的方法的流程图；

图2为图1所提供的一种基于分布式存储系统的存储小文件的方法中一种增温方法的表现方式的流程图；

图3为图1所提供的一种基于分布式存储系统的存储小文件的方法中一种降温方法的表现方式的流程图；

图4为本申请实施例所提供的一种基于分布式存储系统的存储小文件的系统的结构图；

图5为本申请实施例所提供的另一种基于分布式存储系统的存储小文件的系统的结构图。

具体实施方式

本申请的核心是提供一种基于分布式存储系统的存储小文件的方法及系统，该方法在存储节点权重相同时通过温度因子计算各预存储节点的温度值，并选择温度值最低的预存储节点作为小文件的存储节点，解决了存储小文件时相同权重的存储节点会使CRUSH算法在进行概率选择时产生偏差的问题，进而解决了大规模分布式文件系统中存储小文件所引起的数据分布不均问题。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参考图1，图1为本申请实施例所提供的一种基于分布式存储系统的存储小文件的方法的流程图。

其具体包括以下步骤：

S101：接收到小文件，并调用CRUSH算法选择权重最高的节点作为预存储节点；

当分布式存储系统接收到小文件时，调用CRUSH算法选择权重最高的节点作为预存储节点。

S102：判断该预存储节点是否为多个；

由于存储小文件时出现相同权重的存储节点会使CRUSH算法在进行概率选择时产生偏差，为解决此问题，在此增加判断步骤，判断该预存储节点是否为多个，若是，则进入步骤S103；

这里提到的产生偏差的原因是由于小文件数据对象对于集群节点的容量来说非常小，就算有大量的小文件产生，也无法在短时间内改变存储节点的权重，于是会出现多个小文件堆积在同一节点的情况；

可选的，当该预存储节点为一个时，将此预存储节点作为存储节点存储小文件。

S103：通过温度因子计算各预存储节点的温度值；

当预存储节点为多个时，增加温度作为预存储节点的属性，增加温度因子计算预存储节点的温度：在每一次访问节点时增加被访问节点的温度值，当连续访问同一个节点时，温度值会以更快的速度增长；

可选的，初始状态下各预存储节点的温度可为零。

S104：选择温度值最低的预存储节点作为存储节点，并利用该存储节点存储小文件。

温度值越低，说明该预存储节点在过去的一段时间内被访问的次数越低，相应的，在之后被访问的几率也会越来越高，当温度值为零时，证明该预存储节点太久没被访问；通过计算新加入的温度值属性，可有效避免短时间内同一节点对小文件进行过多次数的存储而引发的负载均衡问题。

可选的，可将所述方法以动态链接库的方式应用于分布式存储系统中，这样可以增加部署分布式存储系统的灵活性，根据实际情况选择是否需要优化，以参数的形式进行调整，无需对整个集群进行备份和重启。

基于上述技术方案，本发明实施例提供的一种基于分布式存储系统的存储小文件的方法，能够在存储节点权重相同时通过温度因子计算各预存储节点的温度值，并选择温度值最低的预存储节点作为小文件的存储节点，解决了存储小文件时相同权重的存储节点会使CRUSH算法在进行概率选择时产生偏差的问题，进而解决了大规模分布式文件系统中存储小文件所引起的数据分布不均问题。

请参考图2及图3，图2为图1所提供的一种基于分布式存储系统的存储小文件的方法中一种增温方法的表现方式的流程图；图3为图1所提供的一种基于分布式存储系统的存储小文件的方法中一种降温方法的表现方式的流程图。

本申请实施例所提供的一种基于分布式存储系统的存储小文件的方法的实现过程主要是由增温方法和降温方法两种方法组成，其中，先通过增温方法得到各预存储节点的

每次运算都得到新一轮的历史温度值、当前温度值和该预存储节点的温度值，以便分布式存储系统选择最合适的预存储节点存储小文件。

如图2所示的增温方法，其具体包括以下步骤：

S201：判断各预存储节点的历史温度值与当前温度值的差值是否为零；

分别判断各预存储节点的历史温度值与当前温度值的差值是否为零，若是，则进入步骤S202，若否，则进入步骤S203；

当预存储节点的历史温度值与当前温度值的差值为零时，说明该预存储节点被连续访问。

S202：将各差值为零对应的预存储节点的当前温度值增加第一温度值作为各预存储节点的温度值；

S203：将各差值不为零对应的预存储节点的当前温度值增加第二温度值作为各预存储节点的温度值。

其中，步骤S202和S203的目的在于使连续被访问的预存储节点的温度值以更快的速度增加其温度值，降低其被访问的概率；

这里提到的第一温度值和第二温度值均为预先设置好的温度值，第二温度值大于零且小于第一温度值。

可选的，本申请还提供一种可以实现温度因子增温的代码，该代码如下：

如图3所示的降温方法，其具体包括以下步骤：

S301：将各预存储节点的温度值减少第一温度值作为各预存储节点的新温度值；

此步骤建立在步骤S104之后，当存储完小文件后，应该对所有的预存储节点进行降温处理，以防止出现预存储节点温度过高的情况；

此处将各预存储节点的温度值减少第一温度值的目的在于令被选为存储节点的预存储节点的历史温度与当前温度保持一致。

S302：判断各预存储节点的新温度值是否小于零；

若是，则进入步骤303，若否，则进入步骤304。

S303：将零作为新温度值小于零的预存储节点的当前温度值；

S304：将新温度值作为新温度值不小于零的预存储节点的当前温度值。

其中，步骤S202和S203的目的在于为便于计算而防止出现当前温度值小于零的情况。

此降温方法落实到计算机上为，降低的温度值通过调用ceph集群的librados的API函数，获取集群的系统时间和心跳检测间隔，经由一个和集群的心跳检测间隔一致的逻辑时钟，来降低集群当前的温度值。也就是说，所有运行rados的应用层网关都会运行一个降温模块，这些模块由Paxos算法保证彼此之间具有严格的Happen-before关系，就是严格的顺序关系。最后history的值为非负；当history值下降为零时，current在下一次的写访问时变为history，即current值为0，则算法回到开始的部分，算法至此完整。同时，还有一个模块专门负责温度的调节，通过crush算法来决定降温模块是否对集群温度降温操作，这些数据对象能够对权值weight产生影响，保证数据的均匀分配。

当然，图2及图3所示的方法仅为本申请提供的一种优选的计算预存储节点温度的方法，也可以通过其它方法来计算各预存储节点的温度值，只要能够实现连续访问某一预存储节点时该温度值以更快速度增高且防止整个集群温度过高这一目的，其中具体的实现方式与途径并不做具体限定。

请参考图4，图4为本申请实施例所提供的一种基于分布式存储系统的存储小文件的系统的结构图。

该系统可以包括：

接收调用模块100，用于接收小文件，并调用CRUSH算法选择权重最高的节点作为预存储节点；

判断模块200，用于判断预存储节点是否为多个；

温度计算模块300，用于当预存储节点为多个时，通过温度因子计算各预存储节点的温度值；

选择存储模块400，用于选择温度值最低的预存储节点作为存储节点，并利用存储节点存储小文件。

请参考图5，图5为本申请实施例所提供的另一种基于分布式存储系统的存储小文件的系统的结构图。

该温度计算模块还可以包括：

第一判断子模块，用于判断各预存储节点的历史温度值与当前温度值的差值是否为零；

第一增温子模块，用于将各所述差值为零对应的所述预存储节点的当前温度值增加第一温度值作为各所述预存储节点的温度值；

第二增温子模块，用于将各所述差值不为零对应的所述预存储节点的当前温度值增加第二温度值作为各所述预存储节点的温度值；

降温子模块，用于在利用所述存储节点存储所述小文件之后，将各所述预存储节点的温度值减少所述第一温度值作为各所述预存储节点的新温度值；

第二判断子模块，用于判断所述预存储节点的新温度值是否小于零；

当前温度值确定子模块，用于若小于零则将零作为所述新温度值小于零的预存储节点的当前温度值，若不小于零则将所述新温度值作为所述新温度值不小于零的预存储节点的当前温度值。

其中，第一温度值为预先设置的大于零的温度值；第二温度值为预先设置的大于零且小于第一温度值的温度值。

以上系统中的各个组成部分可应用于以下的一个实际流程中：

当接收调用模块接收到小文件时，调用CRUSH算法选择权重最高的节点作为预存储节点；判断模块判断预存储节点是否为多个；当预存储节点为多个时，温度计算模块通过温度因子计算各预存储节点的温度值：第一判断子模块判断各预存储节点的历史温度值与当前温度值的差值是否为零；第一增温子模块将各差值为零对应的预存储节点的当前温度值增加第一温度值作为各预存储节点的温度值；第二增温子模块将各差值不为零对应的预存储节点的当前温度值增加第二温度值作为各预存储节点的温度值；选择存储模块选择温度值最低的预存储节点作为存储节点，并利用存储节点存储小文件。此时降温子模块将各预存储节点的温度值减少第一温度值作为各预存储节点的新温度值；第二判断子模块判断各预存储节点的新温度值是否小于零；当前温度值确定子模块将零作为新温度值小于零的预存储节点的当前温度值，将新温度值作为新温度值不小于零的预存储节点的当前温度值。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

以上对本发明所提供的一种基于分布式存储系统的存储小文件的方法及系统进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (8)

1.一种基于分布式存储系统的存储小文件的方法，其特征在于，所述方法包括：

接收到小文件，并调用CRUSH算法选择权重最高的节点作为预存储节点；

判断所述预存储节点是否为多个，若是，则通过温度因子计算各所述预存储节点的温度值；

选择所述温度值最低的预存储节点作为存储节点，并利用所述存储节点存储所述小文件。

2.根据权利要求1所述的方法，其特征在于，所述通过温度因子计算各所述预存储节点的温度值包括：

判断各所述预存储节点的历史温度值与当前温度值的差值是否为零；

若是，则将各所述差值为零对应的所述预存储节点的当前温度值增加第一温度值作为各所述预存储节点的温度值；

若否，则将各所述差值不为零对应的所述预存储节点的当前温度值增加第二温度值作为各所述预存储节点的温度值；

其中，所述第一温度值为预先设置的大于零的温度值；所述第二温度值为预先设置的大于零且小于所述第一温度值的温度值。

3.根据权利要求2所述的方法，其特征在于，在利用所述存储节点存储所述小文件之后，还包括：

将各所述预存储节点的温度值减少所述第一温度值作为各所述预存储节点的新温度值；

判断各所述预存储节点的新温度值是否小于零；

若是，则将零作为所述新温度值小于零的预存储节点的当前温度值；

若否，则将所述新温度值作为所述新温度值不小于零的预存储节点的当前温度值。

4.根据权利要求1所述的方法，其特征在于，还包括：

将所述方法以动态链接库的方式应用于分布式存储系统中。

5.根据权利要求1所述的方法，其特征在于，当所述预存储节点为一个时，还包括：

选择所述预存储节点作为所述存储节点，并利用所述存储节点存储所述小文件。

6.一种基于分布式存储系统的存储小文件的系统，其特征在于，包括：

接收调用模块，用于接收小文件，并调用CRUSH算法选择权重最高的节点作为预存储节点；

判断模块，用于判断所述预存储节点是否为多个；

温度计算模块，用于当所述预存储节点为多个时，通过温度因子计算各所述预存储节点的温度值；

选择存储模块，用于选择所述温度值最低的预存储节点作为存储节点，并利用所述存储节点存储所述小文件。

7.根据权利要求6所述的系统，其特征在于，所述温度计算模块包括：

第一判断子模块，用于判断各所述预存储节点的历史温度值与当前温度值的差值是否为零；

第一增温子模块，用于将各所述差值为零对应的所述预存储节点的当前温度值增加第一温度值作为各所述预存储节点的温度值；

第二增温子模块，用于将各所述差值不为零对应的所述预存储节点的当前温度值增加第二温度值作为各所述预存储节点的温度值；

其中，所述第一温度值为预先设置的大于零的温度值；所述第二温度值为预先设置的大于零且小于所述第一温度值的温度值。

8.根据权利要求6所述的系统，其特征在于，所述温度计算模块还包括：

降温子模块，用于在利用所述存储节点存储所述小文件之后，将各所述预存储节点的温度值减少所述第一温度值作为各所述预存储节点的新温度值；

第二判断子模块，用于判断所述预存储节点的新温度值是否小于零；

当前温度值确定子模块，用于若小于零则将零作为所述新温度值小于零的预存储节点的当前温度值，若不小于零则将所述新温度值作为所述新温度值不小于零的预存储节点的当前温度值。