CN108347466A - 一种云存储系统的数据存储方法和装置 - Google Patents

Abstract

本发明提供一种云存储系统的数据存储方法和装置，该方法包括用监控得到的用户访问数据块信息建立数据块集合，根据用户访问数据块间的关系构建数据块关系矩阵和数据块关系权重矩阵；根据数据块关系权重矩阵，得到数据块关系权重分类集合；从物理集群的数据节点集合，计算物理数据节点性能值，并根据物理数据节点性能值确定数据节点分类集合；根据数据块关系权重分类集合和数据节点分类集合进行物理数据节点的分配，完成数据块存储工作；该装置包括数据块集合构建单元、数据节点集合构建单元和数据存储单元。本发明提供的技术方案节省了访问数据的时间，保证用户服务，提高了系统性能。

Description

一种云存储系统的数据存储方法和装置

技术领域

本发明涉及云存储技术领域，具体讲涉及一种云存储系统的数据存储方法和装置。

背景技术

随着互联网技术的飞速发展和计算机技术的不断提高,数据量呈现出爆炸性增长的趋势,网络传输和处理数据的能力飞速增长，但伴随出现了管理海量数据的困难、数据存储成本高、可靠性低等难题。现在越来越多的企业和用户开始将数据存储分离出来,向专业云存储服务供应商寻求帮助以进行数据的分布式管理，在此背景下云存储应运而生。

云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念,是一种新兴的网络存储技术，是指通过集群应用、网络技术或分布式文件系统等功能，将网络中大量不同类型的存储设备通过应用软件集合起来进行整合协同工作,从而向外提供数据存储和业务访问功能的系统，云存储是一个以数据存储和管理为核心的云计算系统，所以云存储是一个以数据存储和管理为核心的云计算系统，简单来说，云存储就是将储存资源放到云上供人存取的一种新兴方案，云存储不仅仅是一个硬件，也是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网和客户端程序等多个部分组成的系统。云存储是云计算的存储部分,并且可以作为一种服务提供给用户,任何经过授权的合法用户都可以通过网络访问云存储,享受云存储带来的便利。云存储提供的是存储服务，存储服务通过网络将本地数据存放在存储服务提供商提供的在线存储空间。需要存储服务的用户不再需要建立自己的数据中心，只需向存储服务提供商申请存储服务，从而避免了存储平台的重复建设，节约了昂贵的软硬件基础设施投资。云存储系统具有高可扩展性、低成本、无接入限制、易管理等特性，云存储用户可以随时随地的通过终端使用云存储服务商提供的服务，即设备可以在任何时间、任何地方，透过任何可连网的装置连接到云上方便地存取数据。

云存储技术目前没有充分考虑数据间的相关性，只是将数据存储在物理节点上，并且在进行存储时将数据块放置在一个随机选择的物理节点上，没有对物理节点进行计算分析，由此造成云存储资源浪费，不能为用户提供良好服务的弊端。

发明内容

为满足现有技术发展的需要，本发明提供了云存储系统的数据存储方法。

本发明提供的云存储系统的数据存储方法，所述方法包括：

根据用户访问数据块组成的数据块集合和数据块关系矩阵，构建数据块关系权重矩阵；根据数据块关系权重矩阵，计算所述数据块关系权重分类集合；

根据物理集群的数据节点集合，计算物理数据节点性能值；根据物理数据节点性能值，确定数据节点分类集合；

根据数据块关系权重分类集合和数据节点分类集合，分配物理数据节点和存储数据块。

优选的，所述数据块集合P如式所示：P＝{M₁，M₂，…，M_k}，其中，M_k：数据块集合中k的数据块；k：数据集合块中数据块的序号；

所述数据块关系矩阵R如下所示：

其中，R_ij：表示数据块i和数据块j的关联度；i＝1,2，...；j＝1,2，…。

优选的，所述数据块关系权重矩阵R_W如下所示：

其中数据块i和数据块j的关系权重按下式计算：

式中，R_min、R_max：分别表示关系矩阵R中的最小值、最大值。

优选的，所述数据块关系权重分类集合包括：

1)数据块i和数据块j的关系权重与数据块n和数据块m的关系权重相等构成的数据块集合{M_i，M_j，M_n，M_m}；

2)按关系权重由大到小排序，得数据块关系权重分类集合I＝{I₁，I₂，…，I_H}。

优选的，所述物理集群的数据节点集合DN如下式所示：DN＝{DN₁，DN₂，…，DN_L}，其中，DN₁，DN₂，…，DN_L：数据节点；L：物理集群中的数据节点的序号；

按下式计算数据节点e的性能值P_e:

P_e＝α*BW_e+β*V_I/O,e+γ*DS_e

其中，BW_e：数据节点e的网络带宽；V_I/O,e：数据节点e的I/O速度；DS_e：数据节点e的磁盘空间；α、β、γ：分别表示网络带宽、I/O速度、磁盘空间的权重因子，且α+β+γ＝1；

数据节点性能值集合P如下式所示：P＝{P₁，P₂，…，P_L}。

优选的，所述数据节点分类集合的确定包括：

将数据节点性能值集合P和数据块关系权重分类集合中序号1～H的子集总合作为输入参数，将数据节点性能值集合P分为n个簇；

按下式分别计算n个簇的平均性能值

式中，N：数据节点性能值集合P的簇h中的物理数据节点的总体数量；

按平均性能值由大到小排序，得到数据节点分类集合S＝{S₁，S₂，…，S_h}，式中，S₁，S₂，…，S_h：数据节点分类集合中的数据节点性能值的分簇。

优选的，所述物理数据节点的分配，包括：

(1)按下式计数据块集合I′和数据节点集合S′:

I′＝I-I_maxH

S′＝S-S_maxH

其中，I_maxH：数据块关系权重分类集合I中关系权重最大的数据块集合；S_maxH：数据节点分类集合S中平均性能值最大的集合；

(2)若关系权重最大的数据块集合I_maxH中有未存储的数据块{M_i}，则将未存储的数据块存储在集合S_maxH中性能值P最大的物理数据节点{DN_i}上，并按下式计算数据块集合I′_maxH和数据节点集合S′_maxH:

I′_maxH＝I_maxH-{M_i}

S′_maxH＝S_maxH-{DN_i}

直至数据块集合I_maxH中全部数据块存储完成；

(3)若数据块关系权重分类集合I中包含有未存储数据块的集合，则重复执行步骤(1)和(2)，否则数据块关系权重分类集合I中数据块存储完成。

本发明还提供了一种数据存储装置，所述装置包括：

数据块集合构建单元，用于根据预先建立的用户访问数据的数据块集合与数据块关系矩阵，构建数据块关系权重矩阵；并根据数据块关系权重矩阵，计算数据块关系权重分类集合；

数据节点集合构建单元，用于根据物理集群的数据节点集合，计算物理数据节点性能值，并根据物理数据节点性能值确定数据节点分类集合；

数据存储单元，用于根据数据块关系权重分类集合和数据节点分类集合进行物理数据节点的分配，完成数据块存储工作。

优选的，所述数据块集合构建单元包括：

第一集合建立子单元，用于根据监控得到的用户访问数据块信息建立数据块集合；

矩阵建立子单元，用于根据根据用户访问数据块间关系构建数据块关系矩阵和数据块关系权重矩阵；

第二集合建立子单元，用于根据数据块关系权重矩阵，得数据块关系权重分类集合。

优选的，所述数据节点集合构建单元包括：

计算子单元，用于根据数据块关系权重分类集合和数据节点分类集合进行物理数据节点的分配；

分类子单元，用于根据物理数据节点性能值确定数据节点分类集合；

所述数据存储单元包括判定单元，用于判定数据块关系权重分类集合和数据节点分类集合及其子集中的数据块是否存储完成。

与最接近的现有技术比，本发明提供的技术方案具有以下有益效果：

1、本发明提供的技术方案通过根据数据块关系权重矩阵建立数据块关系权重分类集合，充分考虑了数据块之间的相关性；通过根据计算数据节点性能值得到物理数据节点分类集合，将各物理数据节点根据性能值排序；将相关性最大的数据块存储在性能值最大的数据节点上，提高了数据节点的利用效率，降低了云存储资源的浪费。

2、本发明提供的技术方案对物理数据节点的性能值计算时，充分考虑了网络带宽、I/O速度、磁盘空间三个指标；根据数据块的相关性存储数据，与简单的数据存储相比，节省了访问数据的时间，提高用户服务质量和云存储系统的性能。

附图说明

图1为本发明提供的技术方案的数据存储方法流程图。

具体实施方式

以下将结合说明书附图，以具体实施例的方式详细介绍本发明提供的技术方案。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明提供的云存储系统的数据存储方法如图1的存储方法流程图所示，包括：

步骤一：数据块之间的依赖关系强于单纯的数据依赖关系，将用户所访问的数据块用数据块集合P＝{M₁，M₂，M₃…M_k}表示，M_i表示集合中某个数据块，共有K个数据块。

步骤二：构建关系矩阵R。

根据监控得到的系统信息统计数据块间的相关关系，用R_ij表示数据块i和数据块j的关联度，例如访问数据块i后又接着访问数据块j，那么R_ij的值就加1，依次计算出数据块集合P中K个数据块的相关关系。R_ij值越大表示数据块i和数据块j的关联度越高，构成关系矩阵R如下式所示。

步骤三：根据关系矩阵R构建数据块关系权重矩阵R_W，如下式所示：

其中，表示数据块i和数据块j的关系权重，越大表示数据块i和数据块j的依赖关系权重越大。由公式(3)得到：

其中，R_max、R_min分别表示关系矩阵R中的最大值、最小值。

步骤四：根据的大小分类，如果值和值相同，就将所代表的数据块i、数据块j和所代表的数据块n、数据块m构成集合I_i＝{M_i,M_j,M_n,M_m}，其中，表示数据块n和数据块m的关系权重；按照这样分类方法依次将数据块构成多个小集合I₁、I₂、I₃，…，且每个小集合中数据块关系权重值相同。

将H个小集合按照值由大到小排序得到数据块关系权重分类集合：

I＝{I₁,I₂,I₃…I_H}。

步骤五：计算物理数据节点的性能值P_i。

假设物理集群中有L个数据节点，构成节点集合DN＝{DN₁，DN₂，DN₃…DN_L}，根据网络带宽、I/O速度、磁盘空间三个指标的综合值表示数据节点性能值的大小，由公式(4)计算数据节点e的性能值P_e:

P_e＝α*BW_e+β*V_I/O,e+γ*DS_e

其中，BW_e：数据节点e的网络带宽；V_I/O,e：数据节点e的I/O速度；DS_e：数据节点e的磁盘空间；α、β、γ：分别表示网络带宽、I/O速度、磁盘空间的权重因子，且α+β+γ=1；

步骤六：根据每个数据节点的性能值P_i，构成节点性能值集合P＝{P₁,P₂,P₃…P_L},采用K-means分类方法，将节点性能值集合P和步骤四得到H作为K-means的输入参数，将节点性能值集合P分成n个簇(n＝H)，得到分类后的物理节点集合S＝{S₁，S₂，…，S_h}，S_i表示物理节点的一个分类。

计算H个子集合的平均性能值则每个集合中物理数据节点的平均性能值由公式(5)得到。

其中，N：表示第j个集合H_j中物理数据节点的总体数量。根据平均性能值的大小，将集合S_i按照由大到小排序得到集合S＝{S₁,S₂,S₃…S_H}。

步骤七：由数据块关系权重分类集合I和根据物理数据节点的平均性能值排序得到的集合S，进行物理数据节点的分配。

选取数据块关系权重分类集合I中值最大的集合I_maxH,以及选取集合S中平均性能值最大的集合S_maxH，由公式(6)(7)得到新集合I′和S′:

I′＝I-I_maxH (6)

S′＝S-S_maxH (7)

步骤八：判断数据块关系权重分类集合I_maxH中值最大的集合I_maxH中是否还有未存储的数据块{M_i}：如果有，则将集合I_maxH中的数据块存储在集合S_maxH中性能值最大的物理数据节点{DN_i}上，按公式(8)(9)计算新集合I′_maxH、S′_maxH，并返回判断集合I中是否还有未存储的集合；

I′_maxH＝I_maxH-{M_i} (8)

S′_maxH＝S_maxH-{DN_i}(9)

如果数据块关系权重分类集合I中值最大的集合I_maxH中数据块均存储完成，则返回判断集合I中是否还有未存储的集合。

步骤九：若判断集合I中还有未存储的集合，则执行步骤九的物理数据节点的分配；相反则表示数据存储工作完成。

本发明还提供了一种数据存储装置，所述装置包括：

数据块集合构建单元，用于根据预先建立的用户访问数据的数据块集合与数据块关系矩阵，构建数据块关系权重矩阵；并根据数据块关系权重矩阵，计算数据块关系权重分类集合；

数据节点集合构建单元，用于根据物理集群的数据节点集合，计算物理数据节点性能值，并根据物理数据节点性能值确定数据节点分类集合；

数据存储单元，用于根据数据块关系权重分类集合和数据节点分类集合进行物理数据节点的分配，完成数据块存储工作。

优选的，所述数据块集合构建单元包括：

第一集合建立子单元，用于根据监控得到的用户访问数据块信息建立数据块集合；

矩阵建立子单元，用于根据根据用户访问数据块间关系构建数据块关系矩阵和数据块关系权重矩阵；

第二集合建立子单元，用于根据数据块关系权重矩阵，得数据块关系权重分类集合。

优选的，所述数据节点集合构建单元包括：

计算子单元，用于根据数据块关系权重分类集合和数据节点分类集合进行物理数据节点的分配；

分类子单元，用于根据物理数据节点性能值确定数据节点分类集合。

所述数据存储单元包括判定单元，用于判定数据块关系权重分类集合和数据节点分类集合及其子集中的数据块是否存储完成。

以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的权利要求保护范围之内。

Claims (10)

1.一种云存储系统的数据存储方法，其特征在于，所述方法包括：

根据用户访问数据块组成的数据块集合和数据块关系矩阵，构建数据块关系权重矩阵；根据数据块关系权重矩阵，计算所述数据块关系权重分类集合；

根据物理集群的数据节点集合，计算物理数据节点性能值；根据物理数据节点性能值，确定数据节点分类集合；

根据数据块关系权重分类集合和数据节点分类集合，分配物理数据节点和存储数据块。

2.如权利要求1所述的方法，其特征在于，所述数据块集合P如式所示：P＝{M₁，M₂，…，M_k}，其中，M_k：数据块集合中k的数据块；k：数据集合块中数据块的序号；

所述数据块关系矩阵R如下所示：

其中，R_ij：表示数据块i和数据块j的关联度；i＝1,2，...；j＝1,2，…。

3.如权利要求1所述的方法，其特征在于，所述数据块关系权重矩阵R_W如下所示：

其中,数据块i和数据块j的关系权重按下式计算：

式中，R_min、R_max：分别表示关系矩阵R中的最小值、最大值。

4.如权利要求3所述的方法，其特征在于，所述数据块关系权重分类集合包括：

1)数据块i和数据块j的关系权重与数据块n和数据块m的关系权重相等构成的数据块集合{M_i，M_j，M_n，M_m}；

2)按关系权重由大到小排序，得数据块关系权重分类集合I＝{I₁，I₂，…，I_H}。

5.如权利要求1所述的方法，其特征在于，所述物理集群的数据节点集合DN如下式所示：DN＝{DN₁，DN₂，…，DN_L}，其中，DN₁，DN₂，…，DN_L：数据节点；L：物理集群中的数据节点的序号；

按下式计算数据节点e的性能值P_e:

P_e＝α*BW_e+β*V_I/O,e+γ*DS_e

其中，BW_e：数据节点e的网络带宽；V_I/O,e：数据节点e的I/O速度；DS_e：数据节点e的磁盘空间；α、β、γ：分别表示网络带宽、I/O速度、磁盘空间的权重因子，且α+β+γ＝1；

数据节点性能值集合P如下式所示：P＝{P₁，P₂，…，P_L}。

6.如权利要求5所述的方法，其特征在于，所述数据节点分类集合的确定包括：

将数据节点性能值集合P和数据块关系权重分类集合中序号1～H的子集总合作为输入参数，将数据节点性能值集合P分为n个簇；

按下式分别计算n个簇的平均性能值

式中，N：数据节点性能值集合P的簇h中的物理数据节点的总体数量；

按平均性能值由大到小排序，得到数据节点分类集合S＝{S₁，S₂，…，S_h}，式中，S₁，S₂，…，S_h：数据节点分类集合中的数据节点性能值的分簇。

7.根据权利要求1所述的方法，其特征在于，所述物理数据节点的分配，包括：

(1)按下式计数据块集合I′和数据节点集合S′:

I′＝I-I_maxH

S′＝S-S_maxH

其中，I_maxH：数据块关系权重分类集合I中关系权重最大的数据块集合；S_maxH：数据节点分类集合S中平均性能值最大的集合；

(2)若关系权重最大的数据块集合I_maxH中有未存储的数据块{M_i}，则将未存储的数据块存储在集合S_maxH中性能值P最大的物理数据节点{DN_i}上，并按下式计算数据块集合I′_maxH和数据节点集合S′_maxH:

I′_maxH＝I_maxH-{M_i}

S′_maxH＝S_maxH-{DN_i}

直至数据块集合I_maxH中全部数据块存储完成；

(3)若数据块关系权重分类集合I中包含有未存储数据块的集合，则重复执行步骤(1)和(2)，否则数据块关系权重分类集合I中数据块存储完成。

8.一种应用权利要求1-7任一所述数据存储方法的装置，其特征在于，所述装置包括：

数据块集合构建单元，用于根据预先建立的用户访问数据的数据块集合与数据块关系矩阵，构建数据块关系权重矩阵；并根据数据块关系权重矩阵，计算数据块关系权重分类集合；

数据节点集合构建单元，用于根据物理集群的数据节点集合，计算物理数据节点性能值，并根据物理数据节点性能值确定数据节点分类集合；

数据存储单元，用于根据数据块关系权重分类集合和数据节点分类集合进行物理数据节点的分配，完成数据块存储工作。

9.如权利要求8所述的装置，其特征在于，所述数据块集合构建单元包括：

第一集合建立子单元，用于根据监控得到的用户访问数据块信息建立数据块集合；

矩阵建立子单元，用于根据根据用户访问数据块间关系构建数据块关系矩阵和数据块关系权重矩阵；

第二集合建立子单元，用于根据数据块关系权重矩阵，得到数据块关系权重分类集合。

10.如权利要求8所述的装置，其特征在于，所述数据节点集合构建单元包括：

计算子单元，用于根据数据块关系权重分类集合和数据节点分类集合进行物理数据节点的分配；

分类子单元，用于根据物理数据节点性能值确定数据节点分类集合；

所述数据存储单元包括判定单元，用于判定数据块关系权重分类集合和数据节点分类集合及其子集中的数据块是否存储完成。