CN105704218A - 云计算平台中数据存储与管理方法 - Google Patents

Abstract

本发明提供的一种云计算平台中数据存储与管理方法，包括a.将存储空间按照固定大小划分成多个相同的存储块，并对每个存储块编号；b.将每个存储块按照固定大小划分成多个相同的分割快，并对每个分割块编号；c.源服务器根据请求服务器的复制文件请求，复制所有分割块内容并组合成完整的文件发送至请求服务器；本发明提供的云计算平台中数据存储与管理方法，针对不同的存储设备的存储空间情况，存储之后随着用户访问对象数据的变化，改变文件存储的位置使得用户能够最快的访问所需文件，提高了存储系统的访问效率，从而提高了云存储系统的服务效率。

Description

云计算平台中数据存储与管理方法

技术领域

本发明涉及计算机领域，尤其涉及一种云计算平台中数据存储与管理方法。

背景技术

云存储是一个越来越受欢迎的网上服务归档、备份、共享数据、多设备同步数据的服务,有可能在未来成为最主要的存数据的形式。现在有很多的供应商提供了很多形式的服务基础设施，例如AmazonS3，MicrosoftAzureBlobStorage，NirvanixSDN等等。这些云存储服务为用户提供接口，提供面向块存储的服务。这些服务专注于企业用户，因为时间和位置是相互独立的，所以可用于作为存储后端的任意应用程序来提高可用性。当用户端通过缓存技术和弱一致性模型来避免每一个操作都会访问云端看起来还是比较实际的。这些服务通常是作为面向终端用户也作为存储服务基础设施给用户提供简单的数据外包和与其他用户共享数据。随着网络带宽和存储价格的降低，一些大公司例如谷歌，微软和亚马逊，分别开始建立他们的数据中心的服务，并通过一个高带宽的网络向全球范围内提供服务。而且这种趋势还在不断的蔓延中。这种新的提供计算服务的模式就是为云计算服务。在云计算服务中，云存储不仅是一个扩展云服务的重要组件，同时还在服务计费管理模式中提供虚拟存储的基础设施。然而，数据中心中存储的数据量的增长速度已经超过了摩尔定律的预测，海量数据的存储使得云存储系统在保证数据完整性方面面临更大的挑战。尽管云存储系统中无处不可数据访问，即时可伸缩以及计费模式的优势十分明显，但仍然有一些没有被大量普及。这些问题主要集中在对安全性和隐私保护等相关功能，需要用户对云服务供应商予以足够的信任才能够解决。

在云存储环境中，文件数据往往存储在由第三方供应商提供的物理设备中。供应商提供的存储空间由集成管理器统一进行整合和管理。一般通用的存储协议包括NetworkAttachedStorage(NAS)和StorageAreaNetwork(SAN)。随着云计算的发展，用户数量越来越多，网络环境中硬件设备也越来越多，管理平台不能有效的管理数量巨大的存储节点，从而管理硬件设施和管理网络之间通信变得很复杂，导致系统的存储性能降低。在数据存储方面，虽然有许多策略已经提出了文件分块和数据压缩，文件存储以后对数据文件的维护常常被忽略。例如，一个文件，从源文件服务器复制到本地服务器后，选择好合适的存储位置后一直放在固定的位置。此外，云网络覆盖了很大的范围和领域，由不同的用户写的存储设备的数据可能是相似的或相同的，并且由于用户习惯和可用资源，大多数用户访问类似的数据，操作相同的功能，或重复类似的行为。因此，系统管理器不能保证云系统中每个存储节点的最佳状态。

发明内容

有鉴于此，本发明提供一种云计算平台中数据存储与管理方法，以解决上述问题。

本发明提供的云计算平台中数据存储与管理方法，包括

a.将存储空间按照固定大小划分成多个相同的存储块，并对每个存储块编号；

b.将每个存储块按照固定大小划分成多个相同的分割快，并对每个分割块编号；

c.源服务器根据请求服务器的复制文件请求，复制所有分割块内容并组合成完整的文件发送至请求服务器。

进一步，步骤c之后还包括：

d.所述请求服务器接收文件后，根据其自身分割块大小将文件划分为若干分割块并存储在相应的空余存储空间内。

进一步，所述步骤d具体包括：

d1.所述请求服务器接收源服务器的文件副本；

d2.所述请求服务器根据其自身分割块大小将文件划分为若干分割块并存储在相应的空余存储空间内；

d3.根据文件副本所在的存储块和分割块的起始编号，利用如下公式获取分割块最大编号：

$PartitionNum=\frac{BlockSize}{ParTitionSize}$

其中，PartitionNum为分割块最大编号，BlockSize为存储块大小，PartitionSize为分割块大小。

d4.根据如下公式获取文件长度：

$Length=\frac{FileSize}{PartitionSize}$

其中，FileSize为文件大小，Length为文件长度，PartitionSize为分割块大小；

d5.更新请求服务器的文件索引目录，增加新文件的位置信息。

进一步，所述步骤c具体包括：

c1.查询所述本地服务器是否存储有被请求的文件，

若存在，则根据文件数据块存储的位置查找到对应的文件响应用户请求；

若不存在，则查找所需文件源文件所在的服务器位置并向源服务器发送请求复制文件副本至本地服务器的请求信息；

c2.所述源服务器接收到请求服务器的复制文件请求后，将被请求文件的大小信息反馈至请求服务器；

c3.根据被请求文件的大小确认所述请求服务器是否具备相应的存储空间：

如存储空间满足需求，则源服务器复制所有分割块内容并组合成完整的文件发送至请求服务器。

进一步，所述步骤c3中，如果存储空间不够，所述请求服务器将其内部存储的部分文件删除。

进一步，确定所述请求服务器内部存储的被访问频率相对最低的文件，若所述被访问频率最低的文件为初始源文件，则不允许删除。

进一步，将请求服务器的存储空间划分为热区域和冷区域两个区域，将被访问次数最多的部分文件放置在热区域内。

进一步，周期性统计所有存储在本地的文件块的被访问次数，确定被访问次数最多的文件，若其存储在冷区域，则转存储到热区域并替换热区域内访问次数最少的文件。

进一步，优先删除从源服务器复制的被访问最少的文件副本。

进一步，当需要查找文件时，通过文件索引目录获取文件所在存储块起始编号并根据文件长度直接读取全部文件。

本发明的有益效果：本发明提供的云计算平台中数据存储与管理方法，针对不同的存储设备的存储空间情况，按照固定的大小尺寸将存储空间划分为相同的存储块，再对每个存储块按照自定义的大小划分方便存储各种大小尺寸的数据文件，通过设置热区域和冷区域，分别存储受访问频率高的文件和受访问频率低的文件，使数据在存储之后随着用户访问对象数据的变化，改变文件存储的位置使得用户能够最快的访问所需文件，提高了存储系统的访问效率，从而提高了云存储系统的服务效率，

附图说明

下面结合附图和实施例对本发明作进一步描述：

图1是本发明的原理示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步描述：图1是本发明的原理示意图。

如图1所示，本实施例提供了一种云计算平台中数据存储与管理方法，包括：

a.将存储空间按照固定大小划分成多个相同的存储块，并对每个存储块编号；

b.将每个存储块按照固定大小划分成多个相同的分割快，并对每个分割块编号；

c.源服务器根据请求服务器的复制文件请求，复制所有分割块内容并组合成完整的文件发送至请求服务器；

d.所述请求服务器接收文件后，根据其自身分割块大小将文件划分为若干分割块并存储在相应的空余存储空间内。

由于存储系统中每个机架中主机的类型是不一定相同的，针对不同的存储设备的存储空间情况，按照固定的大小尺寸将存储空间划分为相同的存储块，再对每个存储块按照自定义的大小划分方便存储各种大小尺寸的数据文件，存储之后随着用户访问对象数据的变化，改变文件存储的位置使得用户能够最快的访问所需文件，提供服务效率。

在本实施例不同的主机根据自身的存储空间大小划分成等大小的Block(存储块)。划分好存储块后，每台机针对自身需要存储的数据类型，占据内存空间的大小情况对Block按照自定义大小划分成多个partition(分割块)。

在本实施例中，所述步骤c具体包括：

c1.当用户提交访问请求，首先查询本地服务器是否存储有被请求的文件，

若存在，则根据文件数据块存储的位置查找到对应的文件响应用户请求；

若不存在，则查找所需文件源文件所在的服务器位置并向源服务器发送请求复制文件副本至本地服务器的请求信息；

c2.所述源服务器接收到请求服务器的复制文件请求后，将被请求文件的大小信息反馈至请求服务器；

c3.根据被请求文件的大小确认所述请求服务器是否具备相应的存储空间：

如存储空间满足需求，则源服务器复制所有分割块内容并组合成完整的文件发送至请求服务器；

如果存储空间不够，所述请求服务器将其内部存储的部分文件删除。在删除之前需要确定请求服务器内部存储的被访问频率相对最低的文件，是否为初始源文件，如果是初始源文件，则不允许删除，优先删除从源服务器复制的被访问最少的文件副本。

在本实施例中，所述步骤d具体包括：

d1.所述请求服务器接收源服务器的文件副本；

d2.所述请求服务器根据其自身分割块大小将文件划分为若干分割块并存储在相应的空余存储空间内；

d3.根据文件副本所在的存储块和分割块的起始编号，利用如下公式获取分割块最大编号：

$PartitionNum=\frac{BlockSize}{PartitionSize}$

其中，PartitionNum为分割块最大编号，BlockSize为存储块大小，PartitionSize为分割块大小。

d4.根据如下公式获取文件长度：

$Length=\frac{FileSize}{PartitionSize}$

其中，FileSize为文件大小，Length为文件长度，PartitionSize为分割块大小；

d5.更新请求服务器的文件索引目录，增加新文件的位置信息

在本实施例中，将请求服务器的存储空间划分为热区域和冷区域两个区域，将被访问次数最多的部分文件放置在热区域内。周期性统计所有存储在本地的文件块的被访问次数，确定被访问次数最多的文件，若其存储在冷区域，则转存储到热区域并替换热区域内访问次数最少的文件。

下面举一个具体的实施例进行详细说明：

步骤1：对系统中每个机架内部所有主机的存储空间划分成多个Block(存储块)，每个BlockSize(存储块大小)为64MB。对Block从1开始进行编号，最大编号为BlockNum，不同物理机的最大编号不一定相同。假定物理机存储空间大小为StorageSize，根据如下公式计算获得BlockNum。

$BlockNum=\frac{StorageSize}{BlockSize}---\left(1\right)$

例如文件F的起始数据块存储在机架1中的主机2中的Block3内，在查询文件时可以直接根据对应的编号查找文件所在Block块。

步骤2：把主机中每个Block按照固定大小PartitionSize(分割块大小)划分成多个Partition(分割块)，PartitionSize可以由管理员根据实际需要进行设定。如果当前存储的文件较大，则设置PartitionSize为所有存储文件的平均大小，在存储的过程中尽量保证文件完整性。如果存储的文件为海量小文件则设置PartitionSize比较小，更适合存储海量小文件。同样的对Block块中所有Partition从1开始编号，最大为PartitionNum。PartitionNum计算方式如下公示所示：

$PartitionNum=\frac{BlockSize}{PartitionSize}---\left(2\right)$

步骤3：本地服务器收到用户的文件访问请求，查询本地存储系统是否存储所需文件，如果存在则根据文件数据块存储的位置查找到对应的文件响应用户请求。如果不存在该文件副本则查找所需文件源文件所在的服务器位置并向源服务器发送请求复制文件副本至本地服务器的请求信息。

步骤4：源服务器接收到来自请求服务器的文件复制请求后，首先查找文件所在位置，文件位置信息采用用一个集合Position来表示，分别代表整个文件所在的服务器编号ServerId，在服务器中在所处的机架编号RackId，存储所在主机的编号HostId，存储在主机上的Block编号BlockId，以及对应的起始Partition编号StartPartitionId和占据Partition的存储块长度Length。

文件位置信息表示方式如下式所示：

Position＝(ServerId,RackId,HostId,BlockId,StartpartitionId,Length)

存储块长度的计算公式如下：

$Length=\frac{FileSize}{PartitionSize}---\left(3\right)$

其中，FileSize表示文件大小，将文件大小信息发送至请求文件的服务器并等待该服务器的确认接收文件的确认信息。

步骤5：本地服务器接收到源服务器的信息，根据文件大小明确了存储空间所需要的大小，确认本地存储空间是否足够存储用户请求的文件。如果存储空间足够，则向源服务器发送确认接收文件的消息。如果存储空间不够转步骤11。

步骤6：源服务器收到接收到请求服务器的确认接收文件的消息，根据文件所在的位置信息从StartPartition开始读取Length长度的Partition。复制所有Partition内容并组合成完整的文件发送至请求文件的服务器。

步骤7：本地服务器接收到来自源服务器的文件副本，根据本地服务器的PartitionSize将文件划分成若干块并存储在相对应的空余存储单元。在确认文件块所在的Block和Partition起始编号后，根据公式(4)计算出占用的PartitionNum：

$PartitionNum=\frac{FileSize}{PartitionSize}---\left(4\right)$

同时标记为文件长度Length。更新本地的文件索引目录，增加新文件的Position信息。当需要查找文件时，通过索引目录找到文件所在存储单元编号StartpartitionId并根据长度Length直接读取全部文件。

步骤8:服务器在每个时间间隔T₀内统计所有存储在本地的文件数据块的被访问次数，根据文件被访问的次数大小确定本地存储的文件被访问次数最多的文件。在本实施例中，定义BlockId小于的区域为HotArea(热区域)。被访问次数最多的部分文件将被放置在热区域，更便捷的响应用户的访问。

假定某服务器中存储了i个不同文件副本。每个文件占据N_i个Partition，那么可以用矩阵表示服务器中文件的存储情况。

步骤9：存储的文件数据块的被访问次数用矩阵表示，其中每一个元素pv_ij代表Partition在当前时段被访问的次数。

根据公示(5)计算每个文件所有的数据块被访问的次数作为整个文件被访问的总的次数：

${\mathrm{Count}}_i=\underset{i}{\overset{N_i}{\Σ}}{\mathrm{pv}}_{{\mathrm{iN}}_i}---\left(5\right)$

文件被访问的次数能直接反应出文件的受欢迎程度，即在当前时段被大多数的用户访问，将此类文件放置在热区域，方便系统查找到该文件。

步骤10：每个时间间隔内系统对当前系统中存储的文件进行访问次数统计并确定一些被访问次数比较多的文件。如果有文件是存储在冷区域(BlockId小于的区域)的则将这些文件转存储到HotArea区域。替换HotArea区域里访问次数最少的文件。在将每个Block划分为多个Partition时最后一个Partition不存储任何数据，用于此时文件存储位置改变时的置换空间。

步骤11：本地服务器收到源服务器关于文件大小的消息，判断自身空间不够的情况下需要删除部分存储的文件来腾出空间。根据步骤9中计算的每个文件块的被访问次数确定本地存储的文件中被访问频率最低的文件，优先删除被访问最少的文件副本。确定了被访问次数相对最少的文件后，首先判断该文件是否为本地服务器存储的初始源文件，源文件不可以被删除。只删除从源服务器复制的文件副本。

步骤12:重复执行步骤10。根据用户访问情况不断改变文件存储的位置。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种云计算平台中数据存储与管理方法，其特征在于：包括

a.将存储空间按照固定大小划分成多个相同的存储块，并对每个存储块编号；

b.将每个存储块按照固定大小划分成多个相同的分割快，并对每个分割块编号；

c.源服务器根据请求服务器的复制文件请求，复制所有分割块内容并组合成完整的文件发送至请求服务器。

2.根据权利要求1所述的云计算平台中数据存储与管理方法，其特征在于：步骤c之后还包括：

d.所述请求服务器接收文件后，根据其自身分割块大小将文件划分为若干分割块并存储在相应的空余存储空间内。

3.根据权利要求2所述的云计算平台中数据存储与管理方法，其特征在于：所述步骤d具体包括：

d1.所述请求服务器接收源服务器的文件副本；

d2.所述请求服务器根据其自身分割块大小将文件划分为若干分割块并存储在相应的空余存储空间内；

d3.根据文件副本所在的存储块和分割块的起始编号，利用如下公式获取分割块最大编号：

$PartitionNum=\frac{BlockSize}{PartitionSize}$

其中，PartitionNum为分割块最大编号，BlockSize为存储块大小，PartitionSize为分割块大小。

d4.根据如下公式获取文件长度：

$Length=\frac{FileSize}{PartitionSize}$

其中，FileSize为文件大小，Length为文件长度，PartitionSize为分割块大小；

d5.更新请求服务器的文件索引目录，增加新文件的位置信息。

4.根据权利要求1所述的云计算平台中数据存储与管理方法，其特征在于：所述步骤c具体包括：

c1.查询本地服务器是否存储有被请求的文件，

若存在，则根据文件数据块存储的位置查找到对应的文件响应用户请求；

若不存在，则查找所需文件源文件所在的服务器位置并向源服务器发送请求复制文件副本至本地服务器的请求信息；

c2.所述源服务器接收到请求服务器的复制文件请求后，将被请求文件的大小信息反馈至请求服务器；

c3.根据被请求文件的大小确认所述请求服务器是否具备相应的存储空间：

如存储空间满足需求，则源服务器复制所有分割块内容并组合成完整的文件发送至请求服务器。

5.根据权利要求4所述的云计算平台中数据存储与管理方法，其特征在于：所述步骤c3中，如果存储空间不够，所述请求服务器将其内部存储的部分文件删除。

6.根据权利要求5所述的云计算平台中数据存储与管理方法，其特征在于：确定所述请求服务器内部存储的被访问频率相对最低的文件，若所述被访问频率最低的文件为初始源文件，则不允许删除。

7.根据权利要求6所述的云计算平台中数据存储与管理方法，其特征在于：将请求服务器的存储空间划分为热区域和冷区域两个区域，将被访问次数最多的部分文件放置在热区域内。

8.根据权利要求7所述的云计算平台中数据存储与管理方法，其特征在于：周期性统计所有存储在本地的文件块的被访问次数，确定被访问次数最多的文件，若其存储在冷区域，则转存储到热区域并替换热区域内访问次数最少的文件。

9.根据权利要求6所述的云计算平台中数据存储与管理方法，其特征在于：优先删除从源服务器复制的被访问最少的文件副本。

10.根据权利要求3所述的云计算平台中数据存储与管理方法，其特征在于：当需要查找文件时，通过文件索引目录获取文件所在存储块起始编号并根据文件长度直接读取全部文件。