CN110928642B - 用于对资源统一抽象管理的方法以及系统 - Google Patents

Abstract

本申请公开了一种用于对资源统一抽象管理的方法以及系统。该方法包括通过容器虚拟化和容器管理调度框架将应用运行时和DevOps工具所需的环境和资源进行统一管理；采用声明式工作模式，基于模型和控制器以使按照用户要求稳定运行预设期望的状态。本申请解决了企业IT资源管理效果不佳的技术问题。通过本申请采用统一资源池为应用运行时和辅助的DevOps工作流提供资源，保证环境隔离的同时最大程度上实现资源共享和高效利用。

Description

用于对资源统一抽象管理的方法以及系统

技术领域

本申请涉及DevOps开发运维一体化领域，具体而言，涉及一种用于对资源统一抽象管理的方法以及系统。

背景技术

企业越来越多的开始关注如何对企业IT资源进行统一的抽象管理以及应用的快速交付。

发明人发现，现有的数据架构不利于统一管理且运维过程具有较高复杂性。进一步，对于资源的弹性需求也无法较好满足。

针对相关技术中企业IT资源管理效果不佳的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种用于对资源统一抽象管理的方法以及系统，以解决企业IT资源管理效果不佳的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种用于对资源统一抽象管理的方法。

根据本申请的用于对资源统一抽象管理的方法包括：通过容器虚拟化和容器管理调度框架将应用运行时和DevOps工具所需的环境和资源进行统一管理；采用声明式工作模式，基于模型和控制器以使按照用户要求稳定运行预设期望的状态。

进一步地，通过容器虚拟化和容器管理调度框架将应用运行时和DevOps工具所需的环境和资源进行统一管理包括：

通过流水线构建的任务通过分配到预设的资源池，并根据预设的调度策略将所述通过流水线构建的任务调度到对应的节点上以Pod方式运行，其中所述任务运行通过容器进行隔离。

进一步地，采用声明式工作模式，基于模型和控制器以使按照用户要求稳定运行预设期望的状态包括：

通过对接代码管理系统，由模型服务根据事件类型及策略触发对应的流水线，并由集群中控制器处理按照用户要求稳定运行预设期望状态的任务执行。

进一步地，由集群中控制器处理按照用户要求稳定运行预设期望状态的任务执行时包括：

根据资源使用情况进行调度时，根据每个节点所拥有的资源进行调度，并且通过亲和性配置避免与相同资源消耗的构建任务调度到同一个节点上。

进一步地，由集群中控制器处理按照用户要求稳定运行预设期望状态的任务执行时包括：

如果构建任务所在节点发生故障时，则调度至其他健康节点进行重新构建，其中重新构建时设置最大重试次数或超时时间。

进一步地，由集群中控制器处理按照用户要求稳定运行预设期望状态的任务执行时包括：

对于每个构建任务通过设置并行处理副本数量，以增加任务处理能力。

进一步地，方法还包括：采用标签分组和动态调整，以使在所述应用运行的环境和DevOps环境之间实现资源共享和亲和性配置。

进一步地，方法还包括：采用统一的应用运行环境、DevOps环境的日志、监控告警方式以及数据格式。

进一步地，通过容器虚拟化和容器管理调度框架将应用运行时和DevOps工具所需的环境和资源进行统一管理包括：

在容器启动后或者退出前的生命周期的时间点定义自定义动作，以进行任务环境准备或任务清理；

将任务逻辑封装在镜像中并通过共享方式，以构建任务初始化。

为了实现上述目的，根据本申请的另一方面，提供了一种用于对资源统一抽象管理的系统。

根据本申请的用于对资源统一抽象管理的系统包括：

统一管理模块，用于通过容器虚拟化和容器管理调度框架将应用运行时和DevOps工具所需的环境和资源进行统一管理；

运行模块，用于采用声明式工作模式，基于模型和控制器以使按照用户要求稳定运行预设期望的状态。

在本申请实施例中用于对资源统一抽象管理的方法以及系统，采用通过容器虚拟化和容器管理调度框架将应用运行时和DevOps工具所需的环境和资源进行统一管理的方式，通过采用声明式工作模式，基于模型和控制器以使按照用户要求稳定运行预设期望的状态，达到了在容器内隔离运营任务的目的，从而实现了统一资源池的应用运行时和DevOps资源调度以及伸缩的技术效果，进而解决了企业IT资源管理效果不佳的技术问题。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的用于对资源统一抽象管理的方法流程示意图；

图2是根据本申请实施例的用于对资源统一抽象管理的系统结构示意图；

图3是根据本申请实施例的系统架构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。

并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。

此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

如图1所示，该方法包括如下的步骤S102至步骤S104：

步骤S102，通过容器虚拟化和容器管理调度框架将应用运行时和DevOps工具所需的环境和资源进行统一管理；

具体地，通过调度框架实现了统一资源池下的应用运行环境和DevOps环境的灵活调用和底层资源伸缩能力，可以在资源有限的情况下既可以保证环境之间的隔离，又最大程度地实现了资源的共享和高效利用。

优选地，在底层资源可以进行动态伸缩，同时支持使用GPU等资源类型。

步骤S104，采用声明式工作模式，基于模型和控制器以使按照用户要求稳定运行预设期望的状态。

具体地，在整体架构上采用模型和控制器的理念，利用模型和控制器的抽象思想，通过声明式的工作模式，保证用户应用以及交付流水线按照期望的状态运行。

通过上述用于对资源统一抽象管理的方法，采用统一资源池为应用运行时和辅助的DevOps工作流提供资源，基于统一资源池提供持续集成、持续部署的流水线、虚拟机、容器等虚拟化环境作为应用运行，利于统一管理和提高资源的利用率，降低维护人员的管理压力。

此外，不需要额外的开销来支持构建环境的弹性伸缩，通过云服务器在底层资源可以进行动态伸缩能力，可以支持构建环境的弹性，无需改动即可配置多种资源环境。

此外，通过镜像封装其他工具的API应用程序编程接口，快速实现企业内常用的工具集成，并且通过人工审核接口在流水线中添加人工审核任务。

从以上的描述中，可以看出，本申请实现了如下技术效果：

在本申请实施例中，采用通过容器虚拟化和容器管理调度框架将应用运行时和DevOps工具所需的环境和资源进行统一管理的方式，通过采用声明式工作模式，基于模型和控制器以使按照用户要求稳定运行预设期望的状态，达到了在容器内隔离运营任务的目的，从而实现了统一资源池的应用运行时和DevOps资源调度以及伸缩的技术效果，进而解决了企业IT资源管理效果不佳的技术问题。

根据本申请实施例，作为本实施例中的优选，如图3所示，通过容器虚拟化和容器管理调度框架将应用运行时和DevOps工具所需的环境和资源进行统一管理包括：

通过流水线构建的任务通过分配到预设的资源池，并根据预设的调度策略将所述通过流水线构建的任务调度到对应的节点上以Pod方式运行，其中所述任务运行通过容器进行隔离。

具体地，在流水线中的构建任务会被分发到指定的资源池中，并根据预设的调度策略调用到对应的节点上以Pod方式运行，此时便可以充分地利用PaaS层的能力实现更高级的调度策略。

优选地，在进行集成测试的构建任务时，可以利用Pod容器组的特性，通过sidecar的方式灵活启动依赖服务并且辅助进行复杂单元测试或者集成测试。

根据本申请实施例，作为本实施例中的优选，如图3所示，采用声明式工作模式，基于模型和控制器以使按照用户要求稳定运行预设期望的状态包括：

通过对接代码管理系统，由模型服务根据事件类型及策略触发对应的流水线，并由集群中控制器处理按照用户要求稳定运行预设期望状态的任务执行。

具体地，所述代码管理系统可以包括github、gitlab、gogos、svn等，通过对接所述代码管理系统，可以接收代码提交、打标签、提交分支请求等事件。

由DevOps Manager服务根据事件类型和策略来触发对应的流水线，对于每个所述流水线可以通过CRD的方式创建到对应的集群中，并由集群中的operator进行后续执行任务的处理。

根据本申请实施例，作为本实施例中的优选，如图3所示，由集群中控制器处理按照用户要求稳定运行预设期望状态的任务执行时包括：

根据资源使用情况进行调度时，根据每个节点所拥有的资源进行调度，并且通过亲和性配置避免与相同资源消耗的构建任务调度到同一个节点上。

具体地，根据资源的实际使用情况进行调度，根据每个节点所拥有的资源比如ssd硬盘、GPU等进行调度，并通过亲和性配置与相同资源消耗的构建任务调度到同一个都需要大量的计算资源或者内存资源的节点上。

根据本申请实施例，作为本实施例中的优选，如图3所示，由集群中控制器处理按照用户要求稳定运行预设期望状态的任务执行时包括：

如果构建任务所在节点发生故障时，则调度至其他健康节点进行重新构建，其中重新构建时设置最大重试次数或超时时间。

根据本申请实施例，作为本实施例中的优选，如图3所示，由集群中控制器处理按照用户要求稳定运行预设期望状态的任务执行时包括：

对于每个构建任务通过设置并行处理副本数量，以增加任务处理能力。

具体地，对于每个构建任务可以设置并行处理的副本数量，通过增加更多的副本的方式实现N倍的任务处理能力。

优选地，如果定义了多个集群，可以在发生故障时相互进行快速切换，以便在指定的可用区发生故障时导致流水线的构建，保证构建任务Build Job的高可用。

优选地，对于运维人员而言只需要理解镜像、容器即可快速开发性的模板，容器运行时支持的复杂配置均可以在构建任务中支持。

根据本申请实施例，作为本实施例中的优选，如图3所示，方法还包括：采用标签分组和动态调整，以使在所述应用运行的环境和DevOps环境之间实现资源共享和亲和性配置。

根据本申请实施例，作为本实施例中的优选，如图3所示，方法还包括：采用统一的应用运行环境、DevOps环境的日志、监控告警方式以及数据格式。

根据本申请实施例，作为本实施例中的优选，如图3所示，通过容器虚拟化和容器管理调度框架将应用运行时和DevOps工具所需的环境和资源进行统一管理包括：在容器启动后或者退出前的生命周期的时间点定义自定义动作，以进行任务环境准备或任务清理；将任务逻辑封装在镜像中并通过共享方式，以构建任务初始化。

具体地，可以在容器启动后或者退出前的生命周期的时间点上定义自定义动作，进行环境准备或者清理任务。

具体地，还可以通过init container将复杂逻辑封装在镜像中，并通过共享存储、共享网络空间的方式对用户的构建任务进行初始化操作。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

根据本申请实施例，还提供了一种用于实施上述方管的用于对资源统一抽象管理的系统，如图2所示，该系统包括：统一管理模块10，用于通过容器虚拟化和容器管理调度框架将应用运行时和DevOps工具所需的环境和资源进行统一管理；运行模块20，用于采用声明式工作模式，基于模型和控制器以使按照用户要求稳定运行预设期望的状态。

在本申请实施例的统一管理模块10中具体地，通过调度框架实现了统一资源池下的应用运行环境和DevOps环境的灵活调用和底层资源伸缩能力，可以在资源有限的情况下既可以保证环境之间的隔离，又最大程度地实现了资源的共享和高效利用。

优选地，在底层资源可以进行动态伸缩，同时支持使用GPU等资源类型。

优选地，用于对资源统一抽象管理的系统可以进行定制任务的调度策略。

在本申请实施例的运行模块20中具体地，在整体架构上采用模型和控制器的理念，利用模型和控制器的抽象思想，通过声明式的工作模式，保证用户应用以及交付流水线按照期望的状态运行。

通过上述用于对资源统一抽象管理的方法，采用统一资源池为应用运行时和辅助的DevOps工作流提供资源，基于统一资源池提供持续集成、持续部署的流水线、虚拟机、容器等虚拟化环境作为应用运行，利于统一管理和提高资源的利用率，降低维护人员的管理压力。

此外，不需要额外的开销来支持构建环境的弹性伸缩，通过云服务器在底层资源可以进行动态伸缩能力，可以支持构建环境的弹性，无需改动即可配置多种资源环境。

在本申请实施例的用于对资源统一抽象管理的系统中，任务运行全部通过容器隔离进行，资源利用率更高，运行环境更加安全。同时环境部署更快捷、运维人员运维更加简单。

在本申请实施例的用于对资源统一抽象管理的系统中，日志、监控、告警、调试等可以共用统一平台的能力、用户体验以及技术积累等。

如图3所示，优选地，在本申请实施例的用于对资源统一抽象管理的系统采用多种外部存储系统，支持构建缓存、文件共享、测试报告、并行计算等数据层需求场景。

显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (8)

1.一种用于对资源统一抽象管理的方法，其特征在于，包括：

通过容器虚拟化和容器管理调度框架将应用运行时和DevOps工具所需的环境和资源进行统一管理；通过容器管理调度框架实现统一资源池下的应用运行环境和DevOps环境的灵活调用和底层资源伸缩能力，在底层资源进行动态伸缩；

采用声明式工作模式，基于模型和控制器以使按照用户要求稳定运行预设期望的状态；

通过容器虚拟化和容器管理调度框架将应用运行时和DevOps工具所需的环境和资源进行统一管理包括：

通过流水线构建的任务通过分配到预设的资源池，并根据预设的调度策略将所述通过流水线构建的任务调度到对应的节点上以Pod方式运行，其中所述任务运行通过容器进行隔离；

在进行集成测试的构建任务时，利用Pod容器组的特性，通过sidecar的方式灵活启动依赖服务并且辅助进行复杂单元测试或者集成测试；

采用声明式工作模式，基于模型和控制器以使按照用户要求稳定运行预设期望的状态包括：

通过对接代码管理系统，由模型服务根据事件类型及策略触发对应的流水线，并由集群中控制器处理按照用户要求稳定运行预设期望状态的任务执行；

所述代码管理系统包括github、gitlab、gogos、svn，通过对接所述代码管理系统，接收代码提交、打标签、提交分支请求事件，由DevOps Manager服务根据事件类型和策略来触发对应的流水线，对于每个所述流水线通过CRD的方式创建到对应的集群中，并由集群中的operator进行后续执行任务的处理。

2.根据权利要求1所述的用于对资源统一抽象管理的方法，其特征在于，由集群中控制器处理按照用户要求稳定运行预设期望状态的任务执行时包括：

根据资源使用情况进行调度时，根据每个节点所拥有的资源进行调度，并且通过亲和性配置避免与相同资源消耗的构建任务调度到同一个节点上。

3.根据权利要求1所述的用于对资源统一抽象管理的方法，其特征在于，由集群中控制器处理按照用户要求稳定运行预设期望状态的任务执行时包括：

如果构建任务所在节点发生故障时，则调度至其他健康节点进行重新构建，其中重新构建时设置最大重试次数或超时时间。

4.根据权利要求1所述的用于对资源统一抽象管理的方法，其特征在于，由集群中控制器处理按照用户要求稳定运行预设期望状态的任务执行时包括：

对于每个构建任务通过设置并行处理副本数量，以增加任务处理能力。

5.根据权利要求1所述的用于对资源统一抽象管理的方法，其特征在于，还包括：

采用标签分组和动态调整，以使在所述应用运行的环境和DevOps环境之间实现资源共享和亲和性配置。

6.根据权利要求1所述的用于对资源统一抽象管理的方法，其特征在于，还包括：

采用统一的应用运行环境、DevOps环境的日志、监控告警方式以及数据格式。

7.根据权利要求1所述的用于对资源统一抽象管理的方法，其特征在于，通过容器虚拟化和容器管理调度框架将应用运行时和DevOps工具所需的环境和资源进行统一管理包括：

在容器启动后或者退出前的生命周期的时间点定义自定义动作，以进行任务环境准备或任务清理；

将任务逻辑封装在镜像中并通过共享方式，以构建任务初始化。

8.一种用于对资源统一抽象管理的系统，其特征在于，包括：

统一管理模块，用于通过容器虚拟化和容器管理调度框架将应用运行时和DevOps工具所需的环境和资源进行统一管理；通过容器管理调度框架实现统一资源池下的应用运行环境和DevOps环境的灵活调用和底层资源伸缩能力，在底层资源进行动态伸缩；

运行模块，用于采用声明式工作模式，基于模型和控制器以使按照用户要求稳定运行预设期望的状态；

通过容器虚拟化和容器管理调度框架将应用运行时和DevOps工具所需的环境和资源进行统一管理包括：

通过流水线构建的任务通过分配到预设的资源池，并根据预设的调度策略将所述通过流水线构建的任务调度到对应的节点上以Pod方式运行，其中所述任务运行通过容器进行隔离；

在进行集成测试的构建任务时，利用Pod容器组的特性，通过sidecar的方式灵活启动依赖服务并且辅助进行复杂单元测试或者集成测试；

采用声明式工作模式，基于模型和控制器以使按照用户要求稳定运行预设期望的状态包括：

通过对接代码管理系统，由模型服务根据事件类型及策略触发对应的流水线，并由集群中控制器处理按照用户要求稳定运行预设期望状态的任务执行；

所述代码管理系统包括github、gitlab、gogos、svn，通过对接所述代码管理系统，接收代码提交、打标签、提交分支请求事件，由DevOps Manager服务根据事件类型和策略来触发对应的流水线，对于每个所述流水线通过CRD的方式创建到对应的集群中，并由集群中的operator进行后续执行任务的处理。

Images