CN103647815A - 基于纠删码和选择因子的最优存储云构建方法 - Google Patents

Abstract

本发明公开了一种基于纠删码和选择因子的最优存储云构建方法，该方法包括以下步骤：S1、获取至少一个云存储服务商的平均访问延迟和存储数据价格；S2、根据每个云存储服务商的平均访问延迟和存储数据价格计算得到每个云存储服务商的选择因子，并对选择因子进行升序排序；以及S3、根据上层应用需求和选择因子的排序次序获取纠删码的存取参数，并根据纠删码的存取参数构建最优存储云。根据本发明的构建方法，从许多个云存储服务商中，可按照上层应用需求选择若干个云存储服务商以构建最优的存储云，比传统的存储云提供了更多的益处，保证了用户在使用该存储云时能够享受最大的好处，同时也避免了使用线性规划等机制所带来的过多的额外开销。

Description

基于纠删码和选择因子的最优存储云构建方法

技术领域

本发明涉及云存储技术领域，尤其涉及一种基于纠删码和选择因子的最优存储云构建方法。

背景技术

目前，由于云存储能够给应用提供按需付费的弹性存储容量，所以吸引着越来越多的个人、公司或组织将他们大规模的数据存储到云存储中。当前，在世界范围内出现了许多商业云存储服务商，以提供这种按需付费的存储模式。然而，将数据都存储到一个固定的云存储服务商中会带来很多的问题和限制。例如，当这个云存储服务商因为内部出错而导致存储服务停止时，存储在其上的数据就不会被访问到并存在丢失的可能；当这个云存储服务商的收费模式改变时，用户不得不按照新的收费模式继续进行数据存储，并且将已经存储到该云存储服务商中的数据迁移出来，在时间和经济上也会带来很大的开销。又如，由于在互联网上，不同地域的网络条件会有很大差异。因此，会存在很多地域到这个云存储服务商有着很高的访问延迟，从而造成世界范围内对其访问的极度不均衡性。由此可知，一个固定的云存储很难满足应用多元化的存储需求。因此，如何构建一个最优的存储云成为在云存储技术领域中亟待解决的问题。

发明内容

本发明旨在至少解决上述技术问题之一。

为此，本发明需要提供一种基于纠删码和选择因子的最优存储云构建方法，该方法不仅提高了可靠性，而且降低了访问延迟，提供了优良的均衡访问和合理的价格开销。

为了解决上述技术问题中的至少一个，根据本发明实施例的基于纠删码和选择因子的最优存储云构建方法可以包括以下步骤：S1、获取至少一个云存储服务商的平均访问延迟和存储数据价格；S2、根据每个所述云存储服务商的平均访问延迟和存储数据价格计算得到每个所述云存储服务商的选择因子，并对所述选择因子进行升序排序；以及S3、根据上层应用需求和所述选择因子的排序次序获取纠删码的存取参数，并根据所述纠删码的存取参数构建最优存储云。

另外，根据本发明的基于纠删码和选择因子的最优存储云构建方法还具有如下附加技术特征：

所述基于纠删码和选择因子的最优存储云构建方法还包括：S4、根据所述纠删码的存取参数在所述最优存储云中存取数据。

所述获取至少一个云存储服务商的平均访问延迟进一步包括：选取K个均匀分布的访问点；通过所述K个均匀分布的访问点分别对所述至少一个云存储服务商访问大小为预设值的数据块；以及记录每个所述云存储服务商到所述K个访问点的访问延迟，并根据所述访问延迟获取每个所述云存储服务商的平均访问延迟。

所述步骤S3进一步包括：根据所述上层应用需求确定阀值Hm和Hn；根据所述阀值Hm和所述选择因子的排序次序确定所述纠删码的第一存取参数m；根据所述阀值Hn和所述纠删码的分块参数m计算得到所述纠删码的第二存取参数n；以及根据所述选择因子的排序次序和所述纠删码的第二存取参数n，从所述选择因子的排序次序中选取前n个选择因子对应的n个云存储服务商，并将所述n个云存储服务商构建为最优存储云。

所述纠删码的第一存取参数m和所述纠删码的第二存取参数n构成所述纠删码的存取参数（m，n）。

所述步骤S4进一步包括：根据所述纠删码的存取参数（m，n）将原始数据均匀分成m块，并根据纠删码编码成n个数据块；以及获取所述n个云存储服务商的访问地址，并根据所述访问地址将所述n个数据块分别存储至所述n个云存储服务商，其中，每个所述云存储服务商存储一个所述数据块。

所述步骤S4还进一步包括：根据所述纠删码的存取参数（m，n）从所述n个云存储服务商中选取m个云存储服务商，并获取所述m个云存储服务商的访问地址；以及根据所述m个云存储服务商的访问地址从所述m个云存储服务商中读取m个数据块，并根据纠删码将所述m个数据块重构原始数据。

根据本发明实施例的基于纠删码和选择因子的最优存储云构建方法，可根据每个云存储服务商的平均访问延迟和存储数据价格，采用选择因子来衡量该云存储服务商综合提供多个益处的能力，并可根据上层应用对不同益处的需求，决定纠删码的存取参数（m，n）以及构成存储云的n个云存储服务商，从而构建最优存储云，保证了构建的存储云以及选取的存取参数（m，n）能够按照上层应用的需求最优地提供所有益处，不仅提高了可靠性，而且降低了访问延迟，提供了优良的均衡访问和合理的价格开销。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中，

图1是根据本发明一个实施例的基于纠删码和选择因子的最优存储云构建方法的流程图；

图2是根据本发明一个具体实施例的基于纠删码和选择因子的最优存储云构建方法的流程图；

图3是根据本发明一个实施例的获得每个云存储服务商的平均访问延迟的流程图；

图4是根据本发明一个实施例的根据上层应用确定Hm和Hn的流程图；

图5是根据本发明一个实施例的根据选择因子、阀值Hm和Hn确定纠删码存取参数的流程图；以及

图6是根据本发明所设计的总体架构图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

下面参考附图描述根据本发明实施例的基于纠删码和选择因子的最优存储云构建方法。

图1是根据本发明一个实施例的基于纠删码和选择因子的最优存储云构建方法的流程图。

如图1所示，该基于纠删码和选择因子的最优存储云构建方法包括以下步骤：

S101，获取至少一个云存储服务商的平均访问延迟和存储数据价格。

具体地，每个云存储服务商均可以通过不同的地点来访问，而每个地点对其的访问延迟因受网络条件的影响会有所不同，同时每个云存储服务商对存储在其上的数据所收取的存储费用也有差异。例如，可通过从选取的分布在世界范围的多个地点对每个云存储服务商进行访问，访问固定大小的数据，然后求平均以得到每个云存储服务商的平均访问延迟，平均访问延迟反应的是该云存储服务商响应在不同地区中的客户端访问请求的能力和均衡性。同时，每个云存储服务商均会提供其收取存储数据费用的详细信息，可从中得出每个云存储服务商的存储数据价格，存储数据价格反应的是每个云存储服务商对存储在其上的数据收取存储费用的价格单位，每个云存储服务商的官网上都会有存储数据价格的数值。其中，在本发明的一个实施例中，每个云存储服务商的平均访问延迟可存储在平均访问延迟数组a_avg.array中，数组下标为云存储服务商的ID（IDentity，身份标识号码），每个云存储服务商的存储数据价格可存储在存储数据价格数组e_cost.array中，数组下标为云存储服务商的ID。

S102，根据每个云存储服务商的平均访问延迟和存储数据价格计算得到每个云存储服务商的选择因子，并对选择因子进行升序排序。

例如，由于平均访问延迟和存储数据价格在选择因子中占据同样的比重，因此，可以由0.5*平均访问延迟+0.5*存储数据价格计算得出选择因子，每个云存储服务商的选择因子可存储在选择因子数组sel_factor.array中，数组下标为云存储服务商的ID，然后，对选择因子数组sel_factor.array中的选择因子进行升序排序。需要说明的是，由于平均访问延迟和存储数据价格有着不同的计算单位，所以在计算选择因子之前必须对平均访问延迟和存储数据价格进行归一化。其中，每个云存储服务商的平均访问延迟的归一化方法可为每个云存储服务商的平均访问延迟的数值除以所有云存储服务商中最大的平均访问延迟的数值；每个云存储服务商的存储数据价格的归一化方法可为每个云存储服务商的存储数据价格的数值除以所有云存储服务商中最大的存储数据价格的数值。

需要说明的是，云存储服务商的选择因子反应了该云存储服务商提供各种益处（如访问益处和价格益处）的能力，其数值越小，表明云存储服务商提供多个益处的能力越强。

S103，根据上层应用需求和选择因子的排序次序获取纠删码的存取参数，并根据纠删码的存取参数构建最优存储云。

其中，构建最优存储云的云存储服务商的相关信息可存储在云存储服务商数组cloud_pro.array中，数组下标为云存储服务商的ID。具体地，在选择因子数组sel_factor.array中的选择因子进行升序排序之后，可根据选择因子的排序次序和上层应用需求以得到纠删码的存取参数，并可根据该纠删码的存取参数构建最优存储云，具体的实现方式可参照后续实施例。

根据本发明实施例的基于纠删码和选择因子的最优存储云构建方法，可根据每个云存储服务商的平均访问延迟和存储数据价格，采用选择因子来衡量该云存储服务商综合提供多个益处的能力，并可根据上层应用对不同益处的需求，决定纠删码的存取参数（m，n）以及构成存储云的n个云存储服务商，从而构建最优存储云，保证了构建的存储云以及选取的存取参数（m，n）能够按照上层应用的需求最优地提供所有益处，不仅提高了可靠性，而且降低了访问延迟，提供了优良的均衡访问和合理的价格开销。

图2是根据本发明一个具体实施例的基于纠删码和选择因子的最优存储云构建方法的流程图。

在本发明的一个实施例中，可根据纠删码的存取参数在构建的最优存储云中存储数据。具体地，如图2所示，该基于纠删码和选择因子的最优存储云构建方法包括以下步骤：

S201，获取至少一个云存储服务商的平均访问延迟和存储数据价格。

为了提高平均访问延迟的精确度，可通过从多个地点对每个云存储服务商进行访问，然后求平均以得到每个云存储服务商的平均访问延迟。具体地，下面结合图3所示将对步骤S201的具体操作进行详细说明。

首先，在世界范围内选取K个均匀分布的访问点（步骤2011）。然后，通过这K个均匀分布的访问点对所有的云存储服务商进行访问，访问大小为预设值的数据块，例如，预设值可为1MB（步骤2012）。其次，可记录每个云存储服务商分别到这K个访问点的访问延迟，之后可将这K个访问点对应的访问延迟求平均，以得到每个云存储服务商的平均访问延迟，并可将该平均访问延迟存储到平均访问延迟数组a_avg.array中（步骤S2013）。其中，平均访问延迟数组a_avg.array的数组下标为云存储服务商的ID。

同时，由于每个云存储服务商均会提供其收取存储数据费用的详细信息，因此，可从中得出每个云存储服务商的存储数据价格，并可将该存储数据价格存储在存储数据价格数组e_cost.array中，其中，数组下标为云存储服务商的ID。

S202，根据每个云存储服务商的平均访问延迟和存储数据价格计算得到每个云存储服务商的选择因子，并对选择因子进行升序排序。

例如，由于平均访问延迟和存储数据价格在选择因子中占据同样的比重，因此，可以由0.5*平均访问延迟+0.5*存储数据价格计算得出选择因子，每个云存储服务商的选择因子可存储在选择因子数组sel_factor.array中，数组下标为云存储服务商的ID，然后，对选择因子数组sel_factor.array中的选择因子进行升序排序。需要说明的是，由于平均访问延迟和存储数据价格有着不同的计算单位，所以在计算选择因子之前必须对平均访问延迟和存储数据价格进行归一化。其中，每个云存储服务商的平均访问延迟的归一化方法可为每个云存储服务商的平均访问延迟的数值除以所有云存储服务商中最大的平均访问延迟的数值；每个云存储服务商的存储数据价格的归一化方法可为每个云存储服务商的存储数据价格的数值除以所有云存储服务商中最大的存储数据价格的数值。

需要说明的是，云存储服务商的选择因子反应了该云存储服务商提供各种益处（如访问益处和价格益处等）的能力，其数值越小，表明云存储服务商提供多个益处的能力越强。

S203，根据上层应用需求和选择因子的排序次序获取纠删码的存取参数，并根据纠删码的存取参数构建最优存储云。

为了提高精确度，可根据上层应用需求决定阀值Hm和Hn，并可根据选择因子、阀值Hm和Hn决定纠删码存取参数，从而根据该存取参数构建最优存储云。具体地，在本发明的一个实施例中，步骤S203进一步包括：根据上层应用需求确定阀值Hm和Hn；根据阀值Hm和选择因子的排序次序确定纠删码的第一存取参数m；根据阀值Hn和纠删码的分块参数m计算得到纠删码的第二存取参数n；以及根据选择因子的排序次序和纠删码的第二存取参数n，从选择因子的排序次序中选取前n个选择因子对应的n个云存储服务商，并将n个云存储服务商构建为最优存储云。

更具体地，首先，可结合图4所示将对根据上层应用需求确定Hm和Hn的具体操作进行详细说明。如图4所示，可先给Hm和Hn赋予初始值，Hn的初始值可设为1，而Hm的初始值是要在衡量所有云存储服务商的选择因子之后综合决定的，通常Hm赋予的值在2.5-3.0之间。之后，可获得上层应用对益处的需求p，上层应用对益处的需求可以分成访问益处需求和存储数据价格需求两大类。如果对访问益处的需求占到总需求的50%以上，则可保持Hm不变，将Hn增加到2。这样，可以增大n的值，以便让存储云提供更优的访问益处，而不会对存储数据价格带来比较大的影响。如果对存储数据价格的需求占到总需求的50%以上，则可保持Hn不变，适当增加Hm的数值。这样，可以增大m和n的值，降低存储数据费用的开销，让存储云提供更优的存储数据价格益处，而不会对访问益处带来大的负面影响。

然后，可结合图5所示将对根据选择因子、阀值Hm和Hn确定纠删码存取参数，以构建最优存储云的具体操作进行详细说明。具体地，如图5所示，在对选择因子数组进行升序排序之后，可先将阀值Hm和经过排序后的选择因子数组进行比较，找到排序后的选择因子数组中第一个比阀值Hm大的元素的下标i。之后，判断该下标i是否存在，即判断选择因子数组sel_factor.array中是否存在下标i。如果下标i的值不存在（即选择因子数组sel_factor.array中不存在比阀值Hm大的元素），则可令m=N-1，其中，N可为云存储服务商的个数，这样可维护纠删码中m<n的策略。如果下标i的值存在，则可令m=i-1，即表明选择因子数组sel_factor.array中比阀值Hm小的元素总共有m个。之后，可由m+Hn计算得出n，但如果m+Hn的数值大于N，则可将的N值赋予n，这样即可得到纠删码的第一存取参数m和纠删码的第二存取参数n，在本发明的实施例中，纠删码的第一存取参数m和纠删码的第二存取参数n构成纠删码的存取参数（m，n）。最后，在得出纠删码的存取参数（m，n）之后，可找出排序后的选择因子数组sel_factor.array前n个元素所对应的云存储服务商，将这n个云存储服务商的相关信息存储到云存储服务商数组cloud_pro.array中，并用它们构成最优存储云。

应当理解，由于m和n的数值是根据上层应用对多个益处的需求得到的，同时选择因子sel_factor的数值反应的是云存储服务商满足这些益处的能力，也就是说，排序后的选择因子数组sel_factor.array的前n个元素所代表的云存储服务商，必定是所有N个云存储服务商中最能按照上层应用需求提供多个益处的，因此，构成的存储云也是最优的。由此，保证了最优存储云构建的高效性。

S204，根据纠删码的存取参数在最优存储云中存取数据。

具体地，可根据纠删码的存取参数（m，n）和构建的最优存储云，按照纠删码的策略从最优存储云中存储和读取数据。

例如，根据在纠删码的存取参数在最优存储云中存储数据，具体地，本发明的一个实施例中，步骤S204进一步包括：根据纠删码的存取参数（m，n）将原始数据均匀分成m块，并根据纠删码编码成n个数据块；以及获取n个云存储服务商的访问地址，并根据访问地址将n个数据块分别存储至n个云存储服务商，其中，每个云存储服务商存储一个数据块。

又如，根据在纠删码的存取参数在最优存储云中读取数据，具体地，在本发明的一个实施例中，步骤S204进一步包括：根据纠删码的存取参数（m，n）从n个云存储服务商中选取m个云存储服务商，并获取m个云存储服务商的访问地址；以及根据m个云存储服务商的访问地址从m个云存储服务商中读取m个数据块，并根据纠删码将m个数据块重构原始数据。

根据本发明实施例的基于纠删码和选择因子的最优存储云构建方法，可根据纠删码的存取参数在构建的最优存储云中存储数据，提高了最优存储云的可用性，并且由于整个构建过程的复杂度为O(NlgN)，进一步保证了最优存储云构建的高效性。

图6展示了本发明所设计的总体架构图。需要说明的是，本发明的构建方法的核心功能均在处理引擎中完成的。具体地，如图6所示，该架构的特点如下：

1）云存储服务商只提供存取数据的服务，不提供部署、执行代码的服务。

2）所有过程的执行模块部署在客户端层，客户端可直接通过存储云存取数据，具有去中心化的结构，提高系统的可扩展性。

3）上层应用可通过调用下层提供的统一接口传递其对多个益处的需求或发送对数据的读写请求。

4）下层的处理引擎负责处理上层发送的各种请求，包括最优存储云的构建以及根据纠删码的存取参数（m，n）和策略通过存储云存取数据。需要说明的是，图2所示的步骤S201、S202、S203、S204中的核心功能都是在处理引擎中完成的。

5）处理引擎在通过存储云存取数据时，需要调用底层的存储驱动来和存储云中的不同云存储服务商进行交互，每个云存储服务商对应一个存储驱动，存储驱动主要负责实际数据块在互联网上的传输。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (7)

1.一种基于纠删码和选择因子的最优存储云构建方法，其特征在于，包括：

S1、获取至少一个云存储服务商的平均访问延迟和存储数据价格；

S2、根据每个所述云存储服务商的平均访问延迟和存储数据价格计算得到每个所述云存储服务商的选择因子，并对所述选择因子进行升序排序；以及

S3、根据上层应用需求和所述选择因子的排序次序获取纠删码的存取参数，并根据所述纠删码的存取参数构建最优存储云。

2.根据权利要求1所述的基于纠删码和选择因子的最优存储云构建方法，其特征在于，还包括：

S4、根据所述纠删码的存取参数在所述最优存储云中存取数据。

3.根据权利要求1所述的基于纠删码和选择因子的最优存储云构建方法，其特征在于，所述获取至少一个云存储服务商的平均访问延迟进一步包括：

选取K个均匀分布的访问点；

通过所述K个均匀分布的访问点分别对所述至少一个云存储服务商访问大小为预设值的数据块；以及

记录每个所述云存储服务商到所述K个访问点的访问延迟，并根据所述访问延迟获取每个所述云存储服务商的平均访问延迟。

4.根据权利要求1所述的基于纠删码和选择因子的最优存储云构建方法，其特征在于，所述步骤S3进一步包括：

根据所述上层应用需求确定阀值Hm和Hn；

根据所述阀值Hm和所述选择因子的排序次序确定所述纠删码的第一存取参数m；

根据所述阀值Hn和所述纠删码的分块参数m计算得到所述纠删码的第二存取参数n；以及

根据所述选择因子的排序次序和所述纠删码的第二存取参数n，从所述选择因子的排序次序中选取前n个选择因子对应的n个云存储服务商，并将所述n个云存储服务商构建为最优存储云。

5.根据权利要求4所述的基于纠删码和选择因子的最优存储云构建方法，其特征在于，所述纠删码的第一存取参数m和所述纠删码的第二存取参数n构成所述纠删码的存取参数（m，n）。

6.根据权利要求4或5所述的基于纠删码和选择因子的最优存储云构建方法，其特征在于，所述步骤S4进一步包括：

根据所述纠删码的存取参数（m，n）将原始数据均匀分成m块，并根据纠删码编码成n个数据块；以及

获取所述n个云存储服务商的访问地址，并根据所述访问地址将所述n个数据块分别存储至所述n个云存储服务商，其中，每个所述云存储服务商存储一个所述数据块。

7.根据权利要求4或5所述的基于纠删码和选择因子的最优存储云构建方法，其特征在于，所述步骤S4进一步包括：

根据所述纠删码的存取参数（m，n）从所述n个云存储服务商中选取m个云存储服务商，并获取所述m个云存储服务商的访问地址；以及

根据所述m个云存储服务商的访问地址从所述m个云存储服务商中读取m个数据块，并根据纠删码将所述m个数据块重构原始数据。

Images