CN107621927A - 一种基于超融合系统的纵向扩展方法及其装置 - Google Patents

Abstract

本发明公开了一种基于超融合系统的纵向扩展方法及其装置，识别用户配置以匹配纵向扩展存储资源，配置第一存储层与第二存储层；将第一存储层中存储的满足预设条件的相关数据迁移到第二存储层上进行存储，并更新迁移相关数据的访问地址；获取第二存储层中迁移相关数据与留在第一存储层中未迁移相关数据之间的关联系数，获取关联系数与迁移相关数据的地址排序值以及未迁移相关数据的访问频率的融合值，若融合值大于设定值则将迁移相关数据插入至未迁移相关数据存储位置之后的下一位置，并更新迁移相关数据的访问地址。连续分区的读写操作可大大降低磁盘中的文件碎片，同时也能缩短文件的读取时间，提升系统性能。

Description

一种基于超融合系统的纵向扩展方法及其装置

技术领域

本发明涉及服务器存储技术领域，更具体地说，它涉及一种基于超融合系统的纵向扩展方法及其装置。

背景技术

超融合基础架构也被称为超融合架构，是指在同一套单元设备（x86服务器）中不仅仅具备计算、网络、存储和服务器虚拟化等资源和技术，而且还包括缓存加速、重复数据删除、在线数据压缩、备份软件、快照技术等元素，而多节点可以通过网络聚合起来，实现模块化的无缝横向扩展，形成统一的资源池。超融合系统是基于超融合架构的系统，其横向扩展的扩展能力非常强，只要往集群中添加新的物理存储节点就可以实现计算资源和存储资源的扩展。由于超融合的横向扩展能力非常强，因而相对传统的架构具有更大的优势，但是很多购买了超融合系统的客户在经过半年或者一年的运行后，发现某个物理节点的存储资源已经不够了，但CPU、内存等计算资源则非常充足，而这就需要单独扩展存储资源，也即需要进行超融合系统的纵向扩展。

通常商用的超融合系统在进行存储资源的纵向扩展后，由于超融合系统中用来做纵向扩展的节点的存储资源就要比其他非纵向扩展节点多得多，因而使得纵向扩展节点所能提供的存储容量也要比其他非纵向扩展节点大得多，但由于超融合系统并不会基于上述特点而优先将数据存储到纵向扩展节点下的存储资源中，而是将按照访问频率将访问频率低的数据存储在纵向扩展节点下的存储资源中，但是原存储资源由于被高频率访问而会产生大量的文件碎片，文件碎片指的是硬盘读写过程中产生的不连续文件。硬盘上非连续写入的档案会产生文件碎片，文件碎片会加长硬盘的寻道时间，影响系统效能。比如虚拟内存使用了硬盘，硬盘上便会产生文件碎片，所以磁盘碎片会加长硬盘的寻道时间，影响系统效能。

发明内容

本发明技术方案所解决的技术问题为，如何降低超融合系统纵向扩展并将高访问频率数据优选存放至纵向扩展节点后，高频访问数据而产生的文件碎片。

为实现上述目的，本发明技术方案提供了一种基于超融合系统的纵向扩展方法，包括：

识别用户配置以匹配纵向扩展存储资源，将所述用户配置的自身存储资源配置为第一存储层，将所述纵向扩展存储资源配置为第二存储层；

将所述第一存储层中存储的满足预设条件的相关数据迁移到所述第二存储层上进行存储，并更新迁移相关数据的访问地址；

获取所述第二存储层中所述迁移相关数据与留在所述第一存储层中未迁移相关数据之间的关联系数，获取所述关联系数与所述迁移相关数据的地址排序值以及所述未迁移相关数据的访问频率的融合值，若融合值大于设定值则将所述迁移相关数据插入至所述未迁移相关数据存储位置之后的下一位置，并更新迁移相关数据的访问地址。

进一步的，所述关联系数为读取所述未迁移相关数据后继续读取所述迁移相关数据的概率；

所述融合值为所述相关系数与所述迁移相关数据的地址排序值以及所述未迁移相关数据访问频率的加权平均值。

进一步的，所述识别用户配置以匹配纵向扩展存储资源，将所述用户配置的自身存储资源配置为第一存储层，将所述纵向扩展存储资源配置为第二存储层包括：

监测所述第一存储层中空闲存储空间是否满足进行数据迁移的条件；

若监测结果满足条件则将所述第一存储层中存储的满足所述预设条件的相关数据迁移到所述第二存储层上进行存储，并更新迁移的所述相关数据的访问地址。

进一步的，将所述第一存储层中存储的满足预设条件的相关数据迁移到所述第二存储层上进行存储，并更新迁移相关数据的访问地址包括：

则将所述第一存储层中的数据按照预设大小划分成数据块，并记录所述第一存储层中所有数据块的访问频率以及根据数据块的访问频率进行排序；

监测所述第一存储层中空闲存储空间是否满足进行数据迁移的条件；

若满足进行数据迁移的条件，则将所述第一存储层中所述访问频率最小或所述访问频率小于预设访问频率的数据块迁移到所述第二存储层上进行存储，并更新迁移的数据块的访问地址。

进一步的，所述监测所述第一存储层中空闲存储空间是否满足进行数据迁移的条件包括：

监控所述第一存储层中空闲存储空间是否低于预设第一阈值，若是，则满足进行数据迁移的条件，若在进行数据迁移的过程中，所述第一存储层中空闲存储空间高于预设第二阈值则不满足进行数据迁移的条件，其中，所述第一阈值小于所述第二阈值。

为了解决上述技术问题，本发明技术方案还提供了一种基于超融合系统的纵向扩展装置，包括：

匹配模块，用于识别用户配置以匹配纵向扩展存储资源，并将所述用户配置的自身存储资源配置为第一存储层，将所述纵向扩展存储资源配置为第二存储层；

第一迁移模块，用于将所述第一存储层中存储的满足预设条件的相关数据迁移到所述第二存储层上进行存储，并更新迁移相关数据的访问地址；

第二迁移模块，用于获取所述第二存储层中所述迁移相关数据与留在所述第一存储层中未迁移相关数据之间的关联系数，获取所述关联系数与所述迁移相关数据的地址排序值以及所述未迁移相关数据的访问频率的融合值，若融合值大于设定值则将所述迁移相关数据插入至所述未迁移相关数据存储位置之后的下一位置，并更新迁移相关数据的访问地址。

进一步的，所述第二迁移模块还包括计算单元，所述计算单元用于计算所述相关系数与所述迁移相关数据的地址排序值以及所述未迁移相关数据访问频率的加权平均值以得出所述融合值。

进一步的，所述匹配模块还包括：

监测单元，用于监测所述第一存储层中空闲存储空间是否满足进行数据迁移的条件。

进一步的，所述第一迁移模块还包括：

分区单元，用于若监测结果满足条件则将所述第一存储层中的数据按照预设大小划分成数据块，并记录所述第一存储层中所有数据块的访问频率以及根据数据块的访问频率进行排序；

迁移单元，将所述第一存储层中所述访问频率最小或所述访问频率小于预设访问频率的数据块迁移到所述第二存储层上进行存储，并更新迁移的数据块的访问地址。

进一步的，所述迁移单元还包括判断子单元，所述判断子单元用于监控所述第一存储层中空闲存储空间是否低于预设第一阈值，若是，则满足进行数据迁移的条件，若在进行数据迁移的过程中，所述第一存储层中空闲存储空间高于预设第二阈值则不满足进行数据迁移的条件，其中，所述第一阈值小于所述第二阈值。

本发明技术方案的有益效果至少包括：

（1）超融合系统包括自身的第一存储层与进行存储资源纵向扩展的第二存储层，通过第二存储层进而达到了纵向扩容扩展存储空间以及充分利用每个物理节点的CPU和内存资源的目的。此外，通过数据迁移处理，将第一存储层中满足预设条件的相关数据迁移到第二存储层上进行存储，并更新迁移的相关数据的访问地址，进而避免扩容的第二存储层成为超融合系统的存储性能瓶颈，从而使得超融合系统的整体性能得到了提升；

（2）获取所述第二存储层中所述迁移相关数据与留在所述第一存储层中未迁移相关数据之间的关联系数，获取所述关联系数与所述迁移相关数据的地址排序值以及所述未迁移相关数据的访问频率的融合值，根据融合值来将第二资源层中可能会被第一资源层中未迁移相关数据直接调用的迁移相关数据插入至未迁移相关数据之后，从而在未迁移相关数据被调用后在一定几率中无需在第二资源层中搜索并读写，直接以未迁移相关数据的地址向后进一个分区地址进行操作，连续分区的读写操作可大大降低磁盘中的文件碎片，同时也能缩短文件的读取时间。

附图说明

图1为本发明实施例一的方法流程示意图；

图2为本发明实施例一S100的方法流程示意图；

图3为本发明实施例一S200的方法流程示意图；

图4为本发明实施例一S300的方法流程示意图；

图5为本发明实施例二的框图；

图6为本发明实施例二匹配模块的框图；

图7为本发明实施例二第一迁移模块的框图；

图8为本发明实施例二迁移单元的框图；

图9为本发明实施例二第二迁移模块的框图。

附图标记：10、匹配模块；11、监测单元；20、第一迁移模块；21、分区单元；22、迁移单元；221、判断子单元；30、第二迁移模块；31、计算单元。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

发明人在实现本发明的过程中，对现有技术进入深入分析，发现现有技术存在系统中文件碎片一些系统效能的原因是：通常商用的超融合系统在进行存储资源的纵向扩展后，由于超融合系统中用来做纵向扩展的节点的存储资源就要比其他非纵向扩展节点多得多，因而使得纵向扩展节点所能提供的存储容量也要比其他非纵向扩展节点大得多，但由于超融合系统并不会基于上述特点而优先将数据存储到纵向扩展节点下的存储资源中，而是将按照访问频率将访问频率低的数据存储在纵向扩展节点下的存储资源中，但是原存储资源由于被高频率访问而会产生大量的文件碎片。

基于上述现有技术的缺陷，本发明技术方案提供了解决思路。

需要注意的是，本发明技术方案所述输入端、用户端指的是移动智能设备或者非移动智能设备，比如手机、平板电脑、笔记本电脑或者智能电视；本发明技术方案所述服务器、服务端则是后台服务器，该服务器可以设置一台或多台，该服务器可以包括但不限于数据库服务器、应用服务器及WEB服务器。

实施例一

结合本发明技术方案的上述发明思路，一种基于超融合系统的纵向扩展方法，如图1所示，包括如下步骤：

步骤S100：识别用户配置以匹配纵向扩展存储资源，将用户配置的自身存储资源配置为第一存储层，将纵向扩展存储资源配置为第二存储层。

如图2所示，其中步骤S100还包括步骤S101。步骤S101：监测第一存储层中空闲存储空间是否满足进行数据迁移的条件。其中，监控第一存储层中空闲存储空间是否低于预设第一阈值，若是，则满足进行数据迁移的条件，若在进行数据迁移的过程中，第一存储层中空闲存储空间高于预设第二阈值则不满足进行数据迁移的条件，其中，第一阈值小于第二阈值。

扩展存储资源后进行步骤S200：将第一存储层中存储的满足预设条件的相关数据迁移到第二存储层上进行存储，并更新迁移相关数据的访问地址。

如图3所示，其中步骤S200还包括步骤S201和步骤S202。

步骤S201：将第一存储层中的数据按照预设大小划分成数据块，并记录第一存储层中所有数据块的访问频率以及根据数据块的访问频率进行排序。

步骤S202：若监测结果满足条件则将第一存储层中访问频率最小或访问频率小于预设访问频率的数据块迁移到第二存储层上进行存储，并更新迁移的数据块的访问地址。

超融合系统包括自身的第一存储层与进行存储资源纵向扩展的第二存储层，通过第二存储层进而达到了纵向扩容扩展存储空间的目的。此外，通过数据迁移处理，将第一存储层中满足预设条件的相关数据迁移到第二存储层上进行存储，并更新迁移的相关数据的访问地址，进而避免扩容的第二存储层成为超融合系统的存储性能瓶颈，从而使得超融合系统的整体性能得到了提升；

迁移相关数据后继续进行步骤S300：获取第二存储层中迁移相关数据与留在第一存储层中未迁移相关数据之间的关联系数，获取关联系数与迁移相关数据的地址排序值以及未迁移相关数据的访问频率的融合值，若融合值大于设定值则将迁移相关数据迁移至未迁移相关数据存储位置之后的下一位置，并更新迁移相关数据的访问地址。

如图4所示，其中步骤S300还包括步骤S301和步骤S302。

步骤S301：读取未迁移相关数据后继续读取迁移相关数据的概率作为关联系数。

步骤S302：计算相关系数与迁移相关数据的地址排序值以及未迁移相关数据访问频率的加权平均值作为融合值。

获取第二存储层中迁移相关数据与留在第一存储层中未迁移相关数据之间的关联系数，获取关联系数与迁移相关数据的地址排序值以及未迁移相关数据的访问频率的融合值，根据融合值来将第二资源层中可能会被第一资源层中未迁移相关数据直接调用的迁移相关数据插入至未迁移相关数据之后，从而在未迁移相关数据被调用后在一定几率中无需在第二资源层中搜索并读写，直接以未迁移相关数据的地址向后进一个分区地址进行操作，连续分区的读写操作可大大降低磁盘中的文件碎片，同时也能缩短文件的读取时间。

实施例二

结合本发明技术方案的上述发明思路，一种基于特征匹配的图片搜索装置，如图5所示，包括：

匹配模块10，用于识别用户配置以匹配纵向扩展存储资源，并将用户配置的自身存储资源配置为第一存储层，将纵向扩展存储资源配置为第二存储层。

如图6所示，匹配模块10还包括：

监测单元11，用于监测第一存储层中空闲存储空间是否满足进行数据迁移的条件。

第一迁移模块20，用于将第一存储层中存储的满足预设条件的相关数据迁移到第二存储层上进行存储，并更新迁移相关数据的访问地址。

如图7所示，第一迁移模块20还包括分区单元21与迁移单元22。

分区单元21，用于将第一存储层中的数据按照预设大小划分成数据块，并记录第一存储层中所有数据块的访问频率以及根据数据块的访问频率进行排序；

迁移单元22，用于若监测结果满足条件则将第一存储层中访问频率最小或访问频率小于预设访问频率的数据块迁移到第二存储层上进行存储，并更新迁移的数据块的访问地址。

如图8所示，迁移单元22还包括判断子单元221，判断子单元221用于监控第一存储层中空闲存储空间是否低于预设第一阈值，若是，则满足进行数据迁移的条件，若在进行数据迁移的过程中，第一存储层中空闲存储空间高于预设第二阈值则不满足进行数据迁移的条件，其中，第一阈值小于第二阈值。

第二迁移模块30，用于获取第二存储层中迁移相关数据与留在第一存储层中未迁移相关数据之间的关联系数，获取关联系数与迁移相关数据的地址排序值以及未迁移相关数据的访问频率的融合值，若融合值大于设定值则将迁移相关数据插入至未迁移相关数据存储位置之后的下一位置，并更新迁移相关数据的访问地址。

如图9所示，第二迁移模块30还包括计算单元31，计算单元31用于计算相关系数与迁移相关数据的地址排序值以及未迁移相关数据访问频率的加权平均值以得出融合值。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于超融合系统的纵向扩展方法，其特征在于，包括：

识别用户配置以匹配纵向扩展存储资源，将所述用户配置的自身存储资源配置为第一存储层，将所述纵向扩展存储资源配置为第二存储层；

将所述第一存储层中存储的满足预设条件的相关数据迁移到所述第二存储层上进行存储，并更新迁移相关数据的访问地址；

获取所述第二存储层中所述迁移相关数据与留在所述第一存储层中未迁移相关数据之间的关联系数，获取所述关联系数与所述迁移相关数据的地址排序值以及所述未迁移相关数据的访问频率的融合值，若融合值大于设定值则将所述迁移相关数据迁移至所述未迁移相关数据存储位置之后的下一位置，并更新迁移相关数据的访问地址。

2.根据权利要求1所述的方法，其特征在于，所述关联系数为读取所述未迁移相关数据后继续读取所述迁移相关数据的概率；

所述融合值为所述相关系数与所述迁移相关数据的地址排序值以及所述未迁移相关数据访问频率的加权平均值。

3.根据权利要求2所述的方法，其特征在于，所述识别用户配置以匹配纵向扩展存储资源，将所述用户配置的自身存储资源配置为第一存储层，将所述纵向扩展存储资源配置为第二存储层包括：

监测所述第一存储层中空闲存储空间是否满足进行数据迁移的条件。

4.根据权利要求3所述的方法，其特征在于，将所述第一存储层中存储的满足预设条件的相关数据迁移到所述第二存储层上进行存储，并更新迁移相关数据的访问地址包括：

将所述第一存储层中的数据按照预设大小划分成数据块，并记录所述第一存储层中所有数据块的访问频率以及根据数据块的访问频率进行排序；

若监测结果满足条件则将所述第一存储层中所述访问频率最小或所述访问频率小于预设访问频率的数据块迁移到所述第二存储层上进行存储，并更新迁移的数据块的访问地址。

5.根据权利要求4所述的方法，其特征在于，所述监测所述第一存储层中空闲存储空间是否满足进行数据迁移的条件包括：

监控所述第一存储层中空闲存储空间是否低于预设第一阈值，若是，则满足进行数据迁移的条件，若在进行数据迁移的过程中，所述第一存储层中空闲存储空间高于预设第二阈值则不满足进行数据迁移的条件，其中，所述第一阈值小于所述第二阈值。

6.一种基于超融合系统的纵向扩展装置，包括：

匹配模块（10），用于识别用户配置以匹配纵向扩展存储资源，并将所述用户配置的自身存储资源配置为第一存储层，将所述纵向扩展存储资源配置为第二存储层；

第一迁移模块（20），用于将所述第一存储层中存储的满足预设条件的相关数据迁移到所述第二存储层上进行存储，并更新迁移相关数据的访问地址；

第二迁移模块（30），用于获取所述第二存储层中所述迁移相关数据与留在所述第一存储层中未迁移相关数据之间的关联系数，获取所述关联系数与所述迁移相关数据的地址排序值以及所述未迁移相关数据的访问频率的融合值，若融合值大于设定值则将所述迁移相关数据插入至所述未迁移相关数据存储位置之后的下一位置，并更新迁移相关数据的访问地址。

7.根据权利要求6所述的装置，其特征在于，所述第二迁移模块（30）还包括计算单元（31），所述计算单元（31）用于计算所述相关系数与所述迁移相关数据的地址排序值以及所述未迁移相关数据访问频率的加权平均值以得出所述融合值。

8.根据权利要求7所述的装置，其特征在于，所述匹配模块（10）还包括：

监测单元（11），用于监测所述第一存储层中空闲存储空间是否满足进行数据迁移的条件。

9.根据权利要求8所述的装置，其特征在于，所述第一迁移模块（20）还包括：

分区单元（21），用于将所述第一存储层中的数据按照预设大小划分成数据块，并记录所述第一存储层中所有数据块的访问频率以及根据数据块的访问频率进行排序；

迁移单元（22），用于若监测结果满足条件则将所述第一存储层中所述访问频率最小或所述访问频率小于预设访问频率的数据块迁移到所述第二存储层上进行存储，并更新迁移的数据块的访问地址。

10.根据权利要求9所述的装置，其特征在于，所述迁移单元（22）还包括判断子单元（221），所述判断子单元（221）用于监控所述第一存储层中空闲存储空间是否低于预设第一阈值，若是，则满足进行数据迁移的条件，若在进行数据迁移的过程中，所述第一存储层中空闲存储空间高于预设第二阈值则不满足进行数据迁移的条件，其中，所述第一阈值小于所述第二阈值。