CN107037985A - 一种超融合一体机系统及其横向和纵向扩容方法 - Google Patents

Abstract

本发明提供一种超融合一体机系统及其横向和纵向扩容方法，系统包括自身的计算资源，网络资源，内部存储资源以及用于进行存储资源纵向扩展的外部存储资源，所述的计算资源为服务提供计算能力，所述的网络资源为内部的资源提供通信通道以及用于超融合一体机系统横向扩容提供外部通信通道，所述的内部存储资源与外部存储资源存放所述超融合系统中的数据，可有效的完成横向和纵向扩容扩容；系统的纵向扩容方法结合外部存储不同的方式进行纵向扩容，并通过数据冷热分层的方式，将冷数据存放在外部存储中，对存储进行数据使用情况的实时监测，对数据进行冷热切换，避免纵向扩容的节点成为超融合一体机系统的存储性能瓶颈。

Description

一种超融合一体机系统及其横向和纵向扩容方法

技术领域

本发明涉及通信与计算机技术领域，更具体地，涉及一种超融合一体机系统及其横向和纵向扩容方法。

背景技术

超融合一体机系统是一种基于分布式架构的，将计算和存储进行高度融合的计算机系统。超融合一体机系统一大优点就是其横向扩容能力，包括计算能力和存储能力的横向扩容。现阶段，超融合一体机系统在出厂时往往是需要配置好系统，然后再到实际环境中与原集群的一体机系统进行通信，加入集群，完成横向扩容。而本发明提出了一种新的横向扩容方法，采用主运行系统远程管理技术结合管理agent软件的方式进行横向扩容，使得超融合一体机系统可以裸机的形式出厂，在实际环境中由主运行系统自动地部署系统到超融合一体机上，完成超融合一体机系统的横向扩容。

虽然超融合一体机系统具备超强的横向扩展能力，但是在大数据时代，数据会被源源不断地产生和保存，这往往会导致超融合一体机系统的存储能力出现不足，而CPU、内存等计算资源则非常充足的情况出现。在这种情况下，进行横向扩容则存在计算资源的浪费，而仅对存储资源进行扩容即可满足需求，即需要对超融合系统进行纵向扩容。

一般地，商用的超融合系统在进行存储资源的纵向扩容后，会导致超融合系统中经过纵向扩容的节点的存储能力大于其他未被扩容的节点的存储能力。商用的超融合一体机系统并不会基于上述特点自动优化数据的放置，因而使得纵向扩容的节点易于称为超融合一体机系统的存储性能瓶颈。因此本发明提出了一种新的纵向扩容方法，通过数据冷热分层的方式，将冷数据存放在外部存储中，并实时监测数据的使用情况，对数据进行冷热切换，避免纵向扩容的节点成为超融合一体机系统的存储性能瓶颈。

发明内容

本发明提供一种超融合一体机系统，该系统可有效完成系统的横向和纵向扩容。

本发明的又一目的在于提供该超融合一体机系统的横向和纵向扩容方法。

为了达到上述技术效果，本发明的技术方案如下：

一种超融合一体机系统，包括自身的计算资源，网络资源，内部存储资源以及用于进行存储资源纵向扩展的外部存储资源，所述的计算资源为服务提供计算能力，所述的网络资源为内部的资源提供通信通道以及用于超融合一体机系统横向扩容提供外部通信通道，所述的内部存储资源与外部存储资源存放所述超融合系统中的数据。

进一步地，该系统还包括：

元数据管理模块，用于对纵向扩展和横向扩展数据迁移或数据负载重均衡后的文件元数据及其访问地址进行统一管理；

数据迁移模块，用于接收到数据迁移请求时，将所述的存储资源中符合预设条件的数据迁移到所述的外部存储资源上进行存储，并更新迁移后的数据访问地址；用于横向扩容后，与新加入的超融合一体机进行协商，将所在超融合一体机内部的数据迁移到新加入的超融合一体机的存储资源上；

访问频率模块，用于统计超融合系统中所有文件的访问频率，以区分热数据和冷数据，冷数据在内部存储资源不足时优先逐出到外部存储资源中；

扩容配置模块，用于超融合一体机的扩容模式的配置，不同的扩容配置将触发不同的扩容策略。

进一步地，所述的内部存储资源由若干个内部存储节点组成，并以分布式存储的形式提供服务，所述的内部存储节点包括若干用于存储数据的磁盘，同时也是所述超融合一体机系统的计算节点。

进一步地，所述的外部存储资源通过以下两种方式提供：

1)、独立于操作系统的磁盘扩展柜，包括若干用于进行存储空间扩容的磁盘，所述的磁盘扩展柜与所述的内部存储节点连接；

2)、由若干外部存储节点组成，所述外部存储节点为基于主流CPU架构的服务器且包括若干磁盘，外部存储节点与内部存储资源通过网络连接；

其中，针对外部存储资源的不同提供方式，该超融合一体机系统采取不同的纵向扩容策略来进行扩容。

一种超融合一体机系统的横向扩容方法，包括以下步骤：

S1：监测扩容配置是否对应为资源横向扩容配置，其中，所述的预设的资源横向扩容包括计算资源的横向扩容以及内部存储资源的横向扩容；

S2：若用户配置对应为所述的资源横向扩容配置，则超融合扩展网口检测网络信号，检测到网络信息后，进入自动横向扩展工作模式；

S3：网络连接管理模块自动构建横向扩容通信信道，横向扩容通信信道受主超融合一体机的系统服务进程或控制虚拟机的控制，支持超融合一体机系统间的高速数据交换；

S4：超融合一体机系统的控制虚拟机及系统服务进程利用横向扩容通信信道交换数据，完成横向扩展的即插即用，从而完成超融合集群的扩容；

S5：超融合集群横向完成扩容后，超融合管理系统对内部存储资源中的数据进行重均衡。

一种超融合一体机系统的纵向扩容方法，包括以下步骤：

(1)、检测扩容配置是否对应为所述存储资源的纵向扩容配置，其中所述的存储资源纵向扩容配置主要由外部存储的提供方式指定；

(2)、若外部存储资源以独立于操作系统的磁盘扩展柜的方式提供，则监测内部存储资源的空闲空间是否满足将部分数据迁移到外部存储的条件；如果满足迁移条件，则将内部存储中符合预设的数据迁移条件的相关数据迁移到外部存储中，并更新所述相关数据的访问地址；

(3)、若外部存储资源以若干基于主流CPU架构的外部存储节点的方式提供，则超融合管理系统采用网络安装的方式进行外部存储节点的系统及存储服务的自动部署。存储服务部署完成后，外部存储资源与内部存储资源形成统一的存储资源池，超融合管理系统将对数据在扩容后的存储资源池上进行负载均衡，将内部数据平摊在个存储节点上。

进一步地，若外部存储资源以独立于操作系统的磁盘扩展柜的方式提供时，内部存储资源将部分数据迁移到外部存储的过程包括：

1)、将所述的内部存储资源中的数据以文件的方式进行划分，并记录所述的内部存储资源中所有文件的访问频率以及根据文件的访问频率进行排序；

2)、监测内部存储的空闲空间是否低于需要将数据迁出的阈值或是否高于允许将数据迁入的阈值；

3)、若内部存储的空闲空间低于需要将数据迁出的阈值，则将所述内部存储中的文件以文件访问频率由低到高的顺序迁移到外部存储中或将或低于预设的访问频率的文件迁移到外部存储中，并更新文件的访问地址，直到内部存储的空闲空间高于数据迁出的阈值；

4)、若内部存储的空闲空间高于允许将数据迁入的阈值，则将所述外部存储中的文件以文件访问频率从高到低的顺序迁移到内部存储中或将或高于预设的访问频率的文件迁移到内部存储中，并更新文件的访问地址，直到内部存储的空闲空间低于允许数据迁入的阈值。

与现有技术相比，本发明技术方案的有益效果是：

本发明提供一种超融合一体机系统及其横向和纵向扩容方法，系统包括自身的计算资源，网络资源，内部存储资源以及用于进行存储资源纵向扩展的外部存储资源，所述的计算资源为服务提供计算能力，所述的网络资源为内部的资源提供通信通道以及用于超融合一体机系统横向扩容提供外部通信通道，所述的内部存储资源与外部存储资源存放所述超融合系统中的数据，可有效的完成横向和纵向扩容扩容；系统的纵向扩容方法结合外部存储不同的方式进行纵向扩容，并通过数据冷热分层的方式，将冷数据存放在外部存储中，对存储进行数据使用情况的实时监测，对数据进行冷热切换，避免纵向扩容的节点成为超融合一体机系统的存储性能瓶颈。

附图说明

图1为本发明的总体架构示意图；

图2为本发明的超融合一体机横向扩容结构示意图；

图3为本发明的超融合一体机横向扩容网络口自动配置示意图；

图4为本发明的超融合一体机纵向扩容结构示意图；

图5为本发明的超融合一体机横向扩容流程图；

图6为本发明的超融合一体机纵向扩容流程图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

如图1-6所示，一种超融合一体机系统，包括自身的计算资源，网络资源，内部存储资源以及用于进行存储资源纵向扩展的外部存储资源，所述的计算资源用于为服务提供计算能力，所述的网络资源用于为内部的资源提供通信通道以及用于超融合一体机系统横向扩容提供外部通信通道，所述的内部存储资源与外部存储资源用于存放所述超融合系统中的数据。所述的超融合一体机系统还包括：

a)元数据管理模块，用于对纵向扩展和横向扩展数据迁移或数据负载重均衡后的文件元数据及其访问地址进行统一管理；

b)数据迁移模块，用于接收到数据迁移请求时，将所述的存储资源中符合预设条件的数据迁移到所述的外部存储资源上进行存储，并更新迁移后的数据访问地址；用于横向扩容后，与新加入的超融合一体机进行协商，将所在超融合一体机内部的数据迁移到新加入的超融合一体机的存储资源上；

c)访问频率模块，用于统计超融合系统中所有文件的访问频率，以区分热数据和冷数据，冷数据在内部存储资源不足时优先逐出到外部存储资源中；

d)扩容配置模块，用于超融合一体机的扩容模式的配置，不同的扩容配置将触发不同的扩容策略。

在具体的实施过程中，所述的内部存储资源由若干个内部存储节点组成，并以分布式存储的形式提供服务，所述的内部存储节点包括若干用于存储数据的磁盘，同时也是所述超融合一体机系统的计算节点。

在具体的实施过程中，所述的外部存储资源可以通过以下两种方式提供：

a)独立于操作系统的磁盘扩展柜，包括若干用于进行存储空间扩容的磁盘，所述的磁盘扩展柜与所述的内部存储节点连接；

b)由若干外部存储节点组成，所述外部存储节点为基于主流CPU架构的服务器且包括若干磁盘，外部存储节点与内部存储资源通过网络连接。

在具体的实施过程中，针对所述的外部存储资源的不同提供方式所述的超融合一体机系统采取不同的纵向扩容策略。

在具体的实施过程中，所述的超融合一体机系统的横向扩容的步骤如下：

a)监测扩容配置是否对应为资源横向扩容配置，其中，预设的资源横向扩容包括计算资源的横向扩容以及内部存储资源的横向扩容；

b)若用户配置对应为所述的资源横向扩容配置，则超融合扩展网口检测网络信号，检测到网络信息后，进入自动横向扩展工作模式；

c)网络连接管理模块自动构建横向扩容通信信道，横向扩容通信信道受主超融合一体机的系统服务进程或控制虚拟机的控制，支持超融合一体机系统间的高速数据交换；

d)超融合一体机系统的控制虚拟机及系统服务进程利用横向扩容通信信道交换数据，完成横向扩展的即插即用，从而完成超融合集群的扩容；

e)超融合集群横向完成扩容后，超融合管理系统对内部存储资源中的数据进行重均衡。

在具体的实施过程中，所述的超融合一体机系统的管理层采用主超融合一体机系统远程管理技术结合管理代理软件的方法对对物理节点和节点系统进行主动式管理。

在具体的实施过程中，所述的超融合一体机系统在管理层顶层统一抽象出节点的网络设备、存储设备、文件系统、处理器、电源系统等基本概念，下层通过不同类型的驱动来获取和管理数据。

在具体的实施过程中，所述超融合一体机系统的节点支持节点支持IPMI、iDrac、iLO等技术，直接通过远程管理接口访问传感器信息。

在具体的实施过程中，新的超融合一体机加入所述的超融合集群时，所述的主超融合一体机系统通过主控制虚拟机牵引，通过网络安装的方式将系统及服务自动部署到新的超融合一体机中的裸机节点中，并通过代理软件向超融合管理系统实时汇报裸机节点的安装信息。

在具体的实施过程中，自动部署包括操作系统的部署以及服务组件的部署。所述的服务组件包括云计算组件，虚拟化组件，内部存储服务组件。

在具体的实施过程中，所述的超融合一体机系统的纵向扩容的步骤如下：

a)检测扩容配置是否对应为所述存储资源的纵向扩容配置，其中所述的存储资源纵向扩容配置主要由外部存储的提供方式指定；

b)若外部存储资源以独立于操作系统的磁盘扩展柜的方式提供，则监测内部存储资源的空闲空间是否满足将部分数据迁移到外部存储的条件；如果满足迁移条件，则将内部存储中符合预设的数据迁移条件的相关数据迁移到外部存储中，并更新所述相关数据的访问地址；

c)若外部存储资源以若干基于主流CPU架构的外部存储节点的方式提供，则超融合管理系统采用网络安装的方式进行外部存储节点的系统及存储服务的自动部署。存储服务部署完成后，外部存储资源与内部存储资源形成统一的存储资源池，超融合管理系统将对数据在扩容后的存储资源池上进行负载均衡，将内部数据平摊在个存储节点上。

在具体的实施过程中，若所述的外部存储资源以独立于操作系统的磁盘扩展柜的方式提供，则监测所述内部存储资源的空闲空间是否满足将部分数据迁移到外部存储的条件包括：

a)将所述的内部存储资源中的数据以文件的方式进行划分，并记录所述的内部存储资源中所有文件的访问频率以及根据文件的访问频率进行排序；

b)监测内部存储的空闲空间是否低于需要将数据迁出的阈值或是否高于允许将数据迁入的阈值；

c)若内部存储的空闲空间低于需要将数据迁出的阈值，则将所述内部存储中的文件以文件访问频率由低到高的顺序迁移到外部存储中或将或低于预设的访问频率的文件迁移到外部存储中，并更新文件的访问地址，直到内部存储的空闲空间高于数据迁出的阈值；

d)若内部存储的空闲空间高于允许将数据迁入的阈值，则将所述外部存储中的文件以文件访问频率从高到低的顺序迁移到内部存储中或将或高于预设的访问频率的文件迁移到内部存储中，并更新文件的访问地址，直到内部存储的空闲空间低于允许数据迁入的阈值。

本发明提供了一种新的超融合一体机系统横向扩容方法，采用主运行系统远程管理技术结合管理agent软件的方式进行横向扩容，使得超融合一体机系统可以裸机的形式出厂，在实际环境中由主运行系统自动地部署系统到超融合一体机上，完成超融合一体机系统的横向扩容；另外，本发明也提出了一种新的纵向扩容方法，结合外部存储不同的方式进行纵向扩容，并通过数据冷热分层的方式，将冷数据存放在外部存储中，对存储进行数据使用情况的实时监测，对数据进行冷热切换，避免纵向扩容的节点成为超融合一体机系统的存储性能瓶颈。

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (7)

1.一种超融合一体机系统，包括自身的计算资源，网络资源，内部存储资源以及用于进行存储资源纵向扩展的外部存储资源，其特征在于，所述的计算资源为服务提供计算能力，所述的网络资源为内部的资源提供通信通道以及用于超融合一体机系统横向扩容提供外部通信通道，所述的内部存储资源与外部存储资源存放所述超融合系统中的数据。

2.根据权利要求1所述的超融合一体机系统，其特征在于，还包括：

元数据管理模块，用于对纵向扩展和横向扩展数据迁移或数据负载重均衡后的文件元数据及其访问地址进行统一管理；

数据迁移模块，用于接收到数据迁移请求时，将所述的存储资源中符合预设条件的数据迁移到所述的外部存储资源上进行存储，并更新迁移后的数据访问地址；用于横向扩容后，与新加入的超融合一体机进行协商，将所在超融合一体机内部的数据迁移到新加入的超融合一体机的存储资源上；

访问频率模块，用于统计超融合系统中所有文件的访问频率，以区分热数据和冷数据，冷数据在内部存储资源不足时优先逐出到外部存储资源中；

扩容配置模块，用于超融合一体机的扩容模式的配置，不同的扩容配置将触发不同的扩容策略。

3.根据权利要求2所述的超融合一体机系统，其特征在于，所述的内部存储资源由若干个内部存储节点组成，并以分布式存储的形式提供服务，所述的内部存储节点包括若干用于存储数据的磁盘，同时也是所述超融合一体机系统的计算节点。

4.根据权利要求3所述的超融合一体机系统，其特征在于，所述的外部存储资源通过以下两种方式提供：

1)、独立于操作系统的磁盘扩展柜，包括若干用于进行存储空间扩容的磁盘，所述的磁盘扩展柜与所述的内部存储节点连接；

2)、由若干外部存储节点组成，所述外部存储节点为基于主流CPU架构的服务器且包括若干磁盘，外部存储节点与内部存储资源通过网络连接；

其中，针对外部存储资源的不同提供方式，该超融合一体机系统采取不同的纵向扩容策略来进行扩容。

5.一种对权利要求4所述的超融合一体机系统的横向扩容方法，其特征在于，包括以下步骤：

S1：监测扩容配置是否对应为资源横向扩容配置，其中，所述的预设的资源横向扩容包括计算资源的横向扩容以及内部存储资源的横向扩容；

S2：若用户配置对应为所述的资源横向扩容配置，则超融合扩展网口检测网络信号，检测到网络信息后，进入自动横向扩展工作模式；

S3：网络连接管理模块自动构建横向扩容通信信道，横向扩容通信信道受主超融合一体机的系统服务进程或控制虚拟机的控制，支持超融合一体机系统间的高速数据交换；

S4：超融合一体机系统的控制虚拟机及系统服务进程利用横向扩容通信信道交换数据，完成横向扩展的即插即用，从而完成超融合集群的扩容；

S5：超融合集群横向完成扩容后，超融合管理系统对内部存储资源中的数据进行重均衡。

6.一种对权利要求4所述的超融合一体机系统的纵向扩容方法，其特征在于，包括以下步骤：

(1)、检测扩容配置是否对应为所述存储资源的纵向扩容配置，其中所述的存储资源纵向扩容配置主要由外部存储的提供方式指定；

(2)、若外部存储资源以独立于操作系统的磁盘扩展柜的方式提供，则监测内部存储资源的空闲空间是否满足将部分数据迁移到外部存储的条件；如果满足迁移条件，则将内部存储中符合预设的数据迁移条件的相关数据迁移到外部存储中，并更新所述相关数据的访问地址；

(3)、若外部存储资源以若干基于主流CPU架构的外部存储节点的方式提供，则超融合管理系统采用网络安装的方式进行外部存储节点的系统及存储服务的自动部署。存储服务部署完成后，外部存储资源与内部存储资源形成统一的存储资源池，超融合管理系统将对数据在扩容后的存储资源池上进行负载均衡，将内部数据平摊在个存储节点上。

7.根据权利要求6所述的超融合一体机系统的纵向扩容方法，其特征在于，若外部存储资源以独立于操作系统的磁盘扩展柜的方式提供时，内部存储资源将部分数据迁移到外部存储的过程包括：

1)、将所述的内部存储资源中的数据以文件的方式进行划分，并记录所述的内部存储资源中所有文件的访问频率以及根据文件的访问频率进行排序；

2)、监测内部存储的空闲空间是否低于需要将数据迁出的阈值或是否高于允许将数据迁入的阈值；

3)、若内部存储的空闲空间低于需要将数据迁出的阈值，则将所述内部存储中的文件以文件访问频率由低到高的顺序迁移到外部存储中或将或低于预设的访问频率的文件迁移到外部存储中，并更新文件的访问地址，直到内部存储的空闲空间高于数据迁出的阈值；

4)、若内部存储的空闲空间高于允许将数据迁入的阈值，则将所述外部存储中的文件以文件访问频率从高到低的顺序迁移到内部存储中或将或高于预设的访问频率的文件迁移到内部存储中，并更新文件的访问地址，直到内部存储的空闲空间低于允许数据迁入的阈值。