CN112527211A - 一种基于本地磁盘的存储自动供给方法及系统 - Google Patents

Abstract

本发明公开了一种基于本地磁盘的存储自动供给方法，该方法将本地磁盘作为存储动态供给请求的服务，提高了服务对于高性能访问的需求，在很多场景下，比如中间件集群的支撑，用户出于性能和运维成本考虑需要使用本地存储，该种基于本地磁盘的存储自动供给方法对本地存储设备进行池化管理，满足新能要求的同时，降低管理运维的成本。本发明还公开了一种基于本地磁盘的存储系统，该系统通过使存储实体与持久性脱钩，实现工作负载的可移植性，同时允许操作员和管理员根据工作量动态调整卷的大小，即存储的横向扩展功能。本发明作用效果显著，适于广泛推广。

Description

一种基于本地磁盘的存储自动供给方法及系统

技术领域

本发明涉及计算机技术领域，特别涉及，一种基于本地磁盘的存储自动供给方法及系统。

背景技术

随着云计算技术在企业内的快速使用，企业面临着对大量计算、存储、网络资源的管理，其中存储的管理是云计算中比较关键的一环。同时存储也是容器即服务平台最关键的组件之一，容器原生存储向容器服务公开底层存储服务，与软件定义的存储一样，它聚合和汇集来自不同介质的存储资源。

容器原生存储通过提供持久卷，使有状态的工作负载能够在容器中运行。容器调度与管理平台相结合，保障了运行关键任务工作负载的可靠性和稳定性。与容器运行时一起，容器原生存储和容器原生网络构成了云原生堆栈中容器优化操作系统之上的层。目前，在大规模容器集群的存储供给中，本地存储资源的一部分存储方式无法持久化数据，一般作为容器组之间共享存储的临时目录，随着容器组的删除而删除一部分存储方式则需要手动管理卷的生命周期，运维压力较大，很难很好的满足复杂服务对本地存储的要求。

针对上述问题，设计一种方法和系统，解决现有技术所存在的无法持久化数据，作为临时目录随着容器组的删除而删除，且需要手动管理卷的生命周期，运维压力大，很难满足复杂服务对本地存储的要求的问题。

发明内容

针对上述缺陷，本发明解决的技术问题在于，提供一种基于本地磁盘的存储自动供给方法及系统，以解决现在技术所存在的无法持久化数据，作为临时目录随着容器组的删除而删除，且需要手动管理卷的生命周期，运维压力大，很难满足复杂服务对本地存储的要求的问题。

本发明提供了一种基于本地磁盘的存储自动供给方法，具体步骤包括：

步骤1、采用微服务的架构对存储设备进行供给，并将容器集群环境下的存储供给分为控制平面和数据平面；

步骤2、将存储请求和存储卷抽象为资源，并对抽象后的资源统一管理，抽象后的资源即作为调度资源；

步骤3、部署节点的管理及控制数据，对节点上的设备、本地目录进行动态的存储卷发现和供给，进行自动化的存储发现、使用、监控和回收。

优选地，所述步骤3具体步骤包括：

步骤3.1、根据动态存储请求或创建专门存储的存储请求，匹配对应的存储类型并创建对应的资源，将请求发送至磁盘供给服务；

步骤3.2、根据创建的对应资源查找符合指标的存储卷，将存储请求同存储卷进行绑定，其中指标包括存储类型、大小、性能；

步骤3.3、服务运行使用所述存储请求的资源时，服务直接被调度到对应存储卷所在的节点，将服务同对应存储进行绑定；

步骤3.4、运行过程中对节点上存储卷的各项指标进行采集，对存储的使用情况进行实时的监控；

步骤3.5、运行过程中将服务的数据保存在节点的目录或者存储设备上，同时提供本地存储之间的同步复制能力，即相邻两个节点之间实时进行数据同步及备份，并识别主备存储关系。

优选地，所述步骤3.2具体步骤包括：

步骤3.2.1、探知各个节点上本地文件系统或者存储设备，将探知到的数据作为可用的集群存储卷资源；

步骤3.2.2、根据存储请求查找符合存储类型、大小、性能等指标的存储卷，

步骤3.2.3、找到匹配的存储卷，并绑定存储请求同存储卷的关系。

优选地，所述步骤3.3具体步骤包括：

步骤3.3.1、部署用户服务时，使用所需的存储请求资源来实现数据的持久化需求；

步骤3.3.2、调度服务根据服务使用的存储请求资源，找到存储请求所关联的存储卷，确定存储卷的持久化设备所在的节点信息；

步骤3.3.3、调度服务将该用户服务调度到匹配的节点上，完成用户服务和持久化设备所在位置的匹配；

步骤3.3.4、当用户服务在被调度的节点上启动时，基于服务的定义自动将持久化设备映射到用户服务的指定目录上。

优选地，所述步骤3.5中当一个节点发生故障时，根据数据的主备关系，将服务迁移到备份存储所在的节点上，并保持服务和备份存储的绑定关系。

本发明还提供了一种基于本地磁盘的存储系统，包括：

控制平面组件，用于控制用户自定义资源以及关联的存储实体；

数据平面组件，与所述控制平面组件电连接，包括本地持久化存储设备。

优选地，所述控制平面组件包括：

磁盘供给服务模块，与所述数据平面组件电连接，用于对存储供给进行控制；

API服务模块，与所述磁盘供给服务模块电连接，用于提供对应的存储RestfulAPI；

节点模块，与所述API服务模块电连接、且设有多个，相邻所述节点模块之间电连接，相邻所述节点模块之间数据同步及数据备份。

优选地，所述节点模块包括：

节点磁盘控制器，与所述API服务模块电连接；

节点磁盘管理模块，与所述节点磁盘控制器电连接，用于发现、监控和管理节点上挂载的磁盘设备或者指定目录，所述节点磁盘控制器对所述节点磁盘管理模块进行运维管理。

由上述方案可知，本发明提供的一种基于本地磁盘的存储自动供给方法，将本地磁盘作为存储动态供给请求的服务，提高了服务对于高性能访问的需求，在很多场景下，比如中间件集群的支撑，用户出于性能和运维成本考虑需要使用本地存储，该种基于本地磁盘的存储自动供给方法对本地存储设备进行池化管理，满足新能要求的同时，降低管理运维的成本。本发明还提供了一种基于本地磁盘的存储系统，通过使存储实体与持久性脱钩，实现工作负载的可移植性解决无法持久化数据，作为临时目录随着容器组的删除而删除的问题，同时允许操作员和管理员根据工作量动态调整卷的大小，即存储的横向扩展功能，解决需要手动管理卷的生命周期，运维压力大，很难满足复杂服务对本地存储的要求的问题。本发明作用效果显著，适于广泛推广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于本地磁盘的存储系统的结构示意框图；

图2为本发明实施例提供的一种基于本地磁盘的存储自动供给方法的过程框图一；

图3为本发明实施例提供的一种基于本地磁盘的存储自动供给方法的过程框图二。

图中：

1、控制平面组件；2、数据平面组件；11、磁盘供给服务模块；12、API服务模块；13、节点模块；131、节点磁盘控制器；132、节点磁盘管理模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请一并参阅图1至图3，现对本发明提供的一种基于本地磁盘的存储系统的一种具体实施方式进行说明。该种基于本地磁盘的存储系统包括控制平面组件1和数据平面组件2，其中控制平面组件1通过资源抽象来管理数据平面组件2，通常与容器编排能力相结合，用于控制用户自定义资源以及关联的存储实体；数据平面组件2与控制平面组件1电连接，包括本地持久化存储设备，数据平面组件2主要为应用程序提供数据存储，比如本地存储，也可以是其他的存储设备。

数据平面组件2可以由一组相关的本地持久化存储设备组成，控制平面组件1可以控制一组用户自定义资源（CustomResourceDefinition）以及关联的存储实体。与现有技术相比，该种基于本地磁盘的存储系统的数据平面组件2和控制平面组件1之间的这种清晰的分离为用户提供了较好的扩展和弹性优势，相当于进行了合理的微服务划分。同时，这种独特的架构通过使存储实体与持久性脱钩，也有助于工作负载的可移植性。该种基于本地磁盘的存储系统允许操作员和管理员根据工作量动态调整卷的大小，即存储的横向扩展功能。

存储实体与持久化脱钩的基本原理，可以通过抽象用户业务服务同持久化系统之间的关系来实现，以便对各种类型持久化系统的集成提供标准、统一的接口规范，这个集成的资源规范，即为“存储实体”，包括“存储卷”和“存储请求”两个自定义资源。其基本工作流程如下：

1、由管理员对不同类型的存储进行供给，对存储的类型、大小、性能进行定义，最终提供到容器集群内供用户业务服务使用，这类存储实体资源即为“存储卷”，其所对应的是持久化系统真实的的存储能力；

2、当用户业务服务需要使用相关存储时，只需要选择存储类型、大小、性能等特征，而不需要关心持久化系统的实现方式。当用户服务对存储有需求时，同样定义一种存储实体资源“存储请求”。用户在创建了“存储请求”资源后，系统会自动查找匹配的“存储卷”，并将该“存储卷”同“存储请求”绑定，后续用户服务只需要关联相关的“存储请求”便可以在服务内使用对应的持久化设备，将业务数据进行持久化存储。

由于引入了“存储卷”这个资源，对于本地磁盘资源可以开发对应的“磁盘供给服务”，当管理员创建了对应的“存储卷”资源时，可以由“磁盘供给服务”根据相关规则自动绑定可用的磁盘到“存储卷”上，实现本地磁盘资源的自动发现和供给，允许用户通过“存储请求”资源进行申请和绑定。

存储能力的扩展主要在数据平面，控制平面用来触发和实现这种能力。对于不同的用户服务，有两种可能的扩展方式：1、示例性的，需要将已有存储卷从10G扩容到20G，在持久化系统支持的前提下，可以通过控制平面对持久化卷进行扩容来实现；2、对于集群化服务，可以通过横向扩展该服务集群，示例性的，从3副本到5副本，则会自动增加2块本地磁盘供给跟新增加的服务实例，来实现对存储能力的横向扩展。

在本实施例中，控制平面组件1包括磁盘供给服务模块11、API服务模块12和节点模块13，其中磁盘供给服务模块11与数据平面组件2电连接，用于对存储供给进行控制，同API服务模块12进行交互，以及为不同的存储控制器创建部署规格在适当的节点模块13部署存储副本；API服务模块12与磁盘供给服务模块11电连接，用于提供对应的存储RestfulAPI，执行需要的存储管理策略；节点模块13与API服务模块12电连接、且设有多个，相邻节点模块13之间电连接，相邻节点模块13之间数据同步及数据备份。

存储控制器部署在所有的具备本地存储能力的节点上，并根据规则对存储卷进行自动供给。示例性的，如果本地磁盘一般在/dev/disk1, /dev/disk2目录，则该磁盘控制器会监听这里的磁盘资源，一旦有匹配的，则会自动向集群供给对应的“存储卷”资源，而无需管理员进行手动创建供给。

在本实施例中，节点模块13包括节点磁盘控制器131和节点磁盘管理模块132，其中节点磁盘控制器131与API服务模块12电连接；节点磁盘管理模块132与节点磁盘控制器131电连接，用于发现、监控和管理节点上挂载的磁盘设备或者指定目录等，以便将按照规范约定的资源向集群服务进行动态的供给，节点磁盘控制器131对节点磁盘管理模块132进行运维管理，包括部署、状态维护等。

请一并参阅图1至图3，现对本发明提供的一种基于本地磁盘的存储自动供给方法的一种具体实施方式进行说明。该种基于本地磁盘的存储自动供给方法的具体步骤包括：

S1、采用微服务的架构对存储设备进行供给，并将容器集群环境下的存储供给分为控制平面和数据平面，有利于后续各种存储供给的扩展；

S2、将存储请求和存储卷抽象为资源，并对抽象后的资源统一管理，抽象后的资源即作为调度资源，支持容器集群调度器按照存储的位置、大小等信息进行灵活调度；

S3、部署节点的管理及控制数据，即部署节点Agent和控制器，对节点上的设备、本地目录进行动态的存储卷发现和供给，降低了管理员对于存储的管理成本，进行自动化的存储发现、使用、监控和回收。

通过本地存储的供给，实现了计算与存储的亲和性，大大提高了存储的访问性能。通过本地存储的供给方式，使得计算在第一次调度并同本地存储资源绑定后，后续计算和存储就具备了亲和性关系，也就是相关计算只会在对应节点上执行。由于本地磁盘的持久化方式不像其他网络存储会有网络开销，所以直接使用本地磁盘的方式性能会好很多。本步骤具体的实现步骤可以为：

S3.1、根据动态存储请求或创建专门存储的存储请求，匹配对应的存储类型并创建对应的资源，将请求发送至磁盘供给服务；

当有用户部署了服务进行动态存储请求，或者专门创建存储来请求存储设备时，通过创建“存储请求”资源向“磁盘供给服务”进行请求，此时需要选择对应的“存储类型”。

S3.2、根据创建的对应资源查找符合指标的存储卷，将存储请求同存储卷进行绑定，其中指标包括存储类型、大小、性能；

本步骤具体的实现步骤可以为：

S3.2.1、探知各个节点上本地文件系统或者存储设备，将探知到的数据作为可用的集群存储卷资源；

“磁盘供给服务”通过部署在各个节点上的“节点磁盘管理Agent”探知各个节点上本地文件系统或者存储设备，并通过“API（Application Programming Interface，应用程序接口）服务”上报给容器集群API服务，作为可用的集群存储卷资源，以便作为调度的资源参考。

S3.2.2、根据存储请求查找符合存储类型、大小、性能等指标的存储卷，

S3.2.3、找到匹配的存储卷，并绑定存储请求同存储卷的关系。

当收到存储请求后，通过API服务查找符合“存储类型”、大小、性能等指标的存储卷，当找到匹配的存储卷时，同存储请求的资源相绑定，也就是绑定了该存储请求同存储卷的关系，后续使用该存储的服务将会被调度到存储卷对应的节点及挂载对应的文件系统或设备。

S3.3、服务运行使用存储请求的资源时，服务会直接被调度到对应存储卷所在的节点并在节点上启动时，再将存储卷对应的持久化设备映射到用户服务配置的指定目录上，将服务同对应存储进行绑定，完成服务同存储的绑定；

当用户部署服务时使用该“存储请求”资源，那么对应的服务也会被“容器集群调度服务”调度到存储卷所在的节点。本步骤具体的实现步骤可以为：

S3.3.1、在用户服务进行部署时，会使用所需的存储请求资源来实现数据的持久化需求；

S3.3.2、调度服务根据服务使用的存储请求资源，找到存储请求所关联的存储卷，来确定存储卷的持久化设备所在的节点信息；

S3.3.3、调度服务将该用户服务调度到匹配的节点上，实现用户服务和持久化设备所在位置的匹配；

S3.3.4、当用户服务在被调度的节点上启动时，节点上的控制器在启动用户服务的时候，会按照服务的定义，自动将持久化设备映射到用户服务的指定目录上，示例性的，从本地磁盘的设备目录/dev/disk1映射到用户服务的/data目录。这样，当用户服务向/data目录写入数据时，就会由本地磁盘/dev/disk1来负责数据的读写操作，最终实现通过本地磁盘对用户服务进行持久化存储的能力。

该种基于本地磁盘的存储自动供给方法分为两个主要部分，即数据平面和控制平面。控制平面的主要功能就是在服务需要运行时做出存储的供应决策。首先，开发人员提出具有必要参数的存储需求声明，然后选择正确的存储类类型，向“磁盘供给服务”提交请求。API服务和“磁盘供给服务”相互交互，并创建节点上的磁盘管理Agent和节点磁盘控制模块，完成控制平面的准备工作。

S3.4、运行过程中对节点上存储卷的各项指标进行采集，对存储的使用情况进行实时的监控；

部署在节点上的节点磁盘管理Agent会对存储卷的各项指标进行采集，方便对存储的使用情况进行随时的监控，实现容器对本地高性能磁盘的直接使用，提高存储访问性能。

S3.5、运行过程中将服务的数据保存在节点的目录或者存储设备上，同时提供本地存储之间的同步复制能力，即相邻两个节点之间实时进行数据同步及备份，并通过调度器识别主备存储关系，解决本地存储带来的可用性问题，在主存储卷发生故障时，可以快速迁移到备份存储卷所在的节点上，实现服务及存储的高可用性。对于本地存储的供给，避免只能同本地存储设备绑定，不能在节点故障后进行服务迁移，对服务可用性产生一定影响的问题。

S3.5中当一个节点发生故障时，根据数据的主备关系，将服务迁移到备份存储所在的节点上，并保持服务和备份存储的绑定关系。

增加本地存储之间的数据同步复制功能，即允许两个节点之间进行数据同步及备份，实现更高程度的可用性。当一个节点发生故障时，“容器集群调度服务”仍可以根据数据的主备关系，将服务迁移到备份存储所在的节点上，并保持服务和备份存储的绑定关系，这样在某个本地存储的节点发生故障时，仍然可以迁移到备份数据所在节点上，实现灾难情况下的可用性。有效避免服务迁移后对应的数据丢失的问题。

与现有技术相比，本发明将本地磁盘作为存储动态供给请求的服务，提高了服务对于高性能访问的需求，在很多场景下，比如中间件集群的支撑，用户出于性能和运维成本考虑需要使用本地存储，该种基于本地磁盘的存储自动供给方法对本地存储设备进行池化管理，满足新能要求的同时，降低管理运维的成本。服务的数据主要保存在节点的目录或者存储设备上，但是完全独立于用户的应用的生命周期来管理，使应用的计算和存储在控制、管理上的相互分离。数据平面为容器提供持久化存储，并提供针对系统故障的弹性，更快地访问存储，快照和备份功能。同时，根据松耦合的微服务设计，还可以提供监控使用情况和执行QoS（Quality of Service，服务质量）策略的机制。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种基于本地磁盘的存储自动供给方法，其特征在于，具体步骤包括：

步骤1、采用微服务的架构对存储设备进行供给，并将容器集群环境下的存储供给分为控制平面和数据平面；

步骤2、将存储请求和存储卷抽象为资源，并对抽象后的资源统一管理，抽象后的资源即作为调度资源；

步骤3、部署节点的管理及控制数据，对节点上的设备、本地目录进行动态的存储卷发现和供给，进行自动化的存储发现、使用、监控和回收。

2.根据权利要求1所述的一种基于本地磁盘的存储自动供给方法，其特征在于，所述步骤3具体步骤包括：

步骤3.1、根据动态存储请求或创建专门存储的存储请求，匹配对应的存储类型并创建对应的资源，将请求发送至磁盘供给服务；

步骤3.2、根据创建的对应资源查找符合指标的存储卷，将存储请求同存储卷进行绑定，其中指标包括存储类型、大小、性能；

步骤3.3、服务运行使用所述存储请求的资源时，服务直接被调度到对应存储卷所在的节点，将服务同对应存储进行绑定；

步骤3.4、运行过程中对节点上存储卷的各项指标进行采集，对存储的使用情况进行实时的监控；

步骤3.5、运行过程中将服务的数据保存在节点的目录或者存储设备上，同时提供本地存储之间的同步复制能力，即相邻两个节点之间实时进行数据同步及备份，并识别主备存储关系。

3.根据权利要求2所述的一种基于本地磁盘的存储自动供给方法，其特征在于，所述步骤3.2具体步骤包括：

步骤3.2.1、探知各个节点上本地文件系统或者存储设备，将探知到的数据作为可用的集群存储卷资源；

步骤3.2.2、根据存储请求查找符合存储类型、大小、性能等指标的存储卷，

步骤3.2.3、找到匹配的存储卷，并绑定存储请求同存储卷的关系。

4.根据权利要求3所述的一种基于本地磁盘的存储自动供给方法，其特征在于，所述步骤3.3具体步骤包括：

步骤3.3.1、部署用户服务时，使用所需的存储请求资源来实现数据的持久化需求；

步骤3.3.2、调度服务根据服务使用的存储请求资源，找到存储请求所关联的存储卷，确定存储卷的持久化设备所在的节点信息；

步骤3.3.3、调度服务将该用户服务调度到匹配的节点上，完成用户服务和持久化设备所在位置的匹配；

步骤3.3.4、当用户服务在被调度的节点上启动时，基于服务的定义自动将持久化设备映射到用户服务的指定目录上。

5.根据权利要求4所述的一种基于本地磁盘的存储自动供给方法，其特征在于，所述步骤3.5中当一个节点发生故障时，根据数据的主备关系，将服务迁移到备份存储所在的节点上，并保持服务和备份存储的绑定关系。

6.一种基于本地磁盘的存储系统，其特征在于，包括：

控制平面组件（1），用于控制用户自定义资源以及关联的存储实体；

数据平面组件（2），与所述控制平面组件（1）电连接，包括本地持久化存储设备。

7.根据权利要求6所述的一种基于本地磁盘的存储系统，其特征在于，所述控制平面组件（1）包括：

磁盘供给服务模块（11），与所述数据平面组件（2）电连接，用于对存储供给进行控制；

API服务模块（12），与所述磁盘供给服务模块（11）电连接，用于提供对应的存储Restful API；

节点模块（13），与所述API服务模块（12）电连接、且设有多个，相邻所述节点模块（13）之间电连接，相邻所述节点模块（13）之间数据同步及数据备份。

8.根据权利要求7所述的一种基于本地磁盘的存储系统，其特征在于，所述节点模块（13）包括：

节点磁盘控制器（131），与所述API服务模块（12）电连接；

节点磁盘管理模块（132），与所述节点磁盘控制器（131）电连接，用于发现、监控和管理节点上挂载的磁盘设备或者指定目录，所述节点磁盘控制器（131）对所述节点磁盘管理模块（132）进行运维管理。

Images