CN114490049A - 在容器化边缘计算中自动分配资源的方法及系统 - Google Patents
在容器化边缘计算中自动分配资源的方法及系统 Download PDFInfo
- Publication number
- CN114490049A CN114490049A CN202210050869.1A CN202210050869A CN114490049A CN 114490049 A CN114490049 A CN 114490049A CN 202210050869 A CN202210050869 A CN 202210050869A CN 114490049 A CN114490049 A CN 114490049A
- Authority
- CN
- China
- Prior art keywords
- container
- analysis
- planner
- containerized
- allocating resources
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000004458 analytical method Methods 0.000 claims abstract description 66
- 238000010801 machine learning Methods 0.000 claims abstract description 33
- 238000004364 calculation method Methods 0.000 claims abstract description 17
- 238000005457 optimization Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims description 41
- 230000003044 adaptive effect Effects 0.000 claims description 28
- 238000013439 planning Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 13
- 230000009471 action Effects 0.000 claims description 12
- 230000002787 reinforcement Effects 0.000 claims description 11
- 238000012544 monitoring process Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 238000007726 management method Methods 0.000 claims description 7
- 238000013468 resource allocation Methods 0.000 abstract description 5
- 238000005094 computer simulation Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 7
- 239000003795 chemical substances by application Substances 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000000332 black box Nutrition 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/301—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is a virtual computing platform, e.g. logically partitioned systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供了一种在容器化边缘计算中自动分配资源的方法及系统，包括：步骤S1：监视器收集数据，在消息代理上发布容器资源利用率和应用程序性能状态统计信息；步骤S2：分析规划器接收通过消息代理获得的监控器发送的信息，通过机器学习的方式建立模型，基于模型推理生成扩展操作；步骤S3：执行器接受分析规划器传输的数据生成分配资源的扩展指令。本发明提供了一种在容器化边缘计算中根据系统运行情况自动分配资源的方法，采用监视‑分析规划器‑执行闭环来自适应调整资源分配，分析规划支持采用机器学习手段的系统建模方法。本发明方法兼顾了多个目标的组合优化，能够在平衡资源利用、提高能源效率的同时保障边缘计算应用的实时性等需求。
Description
技术领域
本发明涉及边缘计算技术领域，具体地，涉及一种在容器化边缘计算中自动分配资源的方法及系统。
背景技术
近年来，随着信息技术的不断进步，智能端系统不断泛在普及，以及移动互联网、物联网智能应用的飞速发展，面向云中心、边缘节点、端设备的智能化应用引起了业界的广泛关注。智能化应用采用基于弹性服务的基础设施支撑架构，即是指运行在云计算环境中的虚拟机或容器集群，支持用户自由调度计算资源，不受传统硬件设备的限制。弹性服务具有良好的可拓展性，支持用户随时在线对服务器的内存、系统盘和带宽进行灵活调整；凭借集群部署的成本优势，极大程度降低了IT部署与业务运维成本；由于服务分散在多台主机、所以不容易彻底宕机，抗灾容错能力强，能够确保长时间在线，让计算运行更加安全、可靠。弹性服务早期采用虚拟机技术，目前采用容器技术更加流行。容器化技术只虚拟一个小规模的隔离环境，而且轻量级、启动速度很快，除了运行其中应用以外，基本不消耗额外的系统资源。Kubernetes和Docker Swarm等即为工业界著名的基于容器技术的分布式架构领先方案。基于容器技术的分布式弹性计算系统将物理资源整合为一个整体，上层通过容器镜像，对外提供弹性计算服务。每个容器包含两个重要资源：计算资源和存储资源，指CPU、内存、带宽等资源，资源虚拟化后，统一再分配给容器化云服务器使用。
随着边缘感知数据爆炸式的增长，基于云计算中心的传统数据处理框架逐渐产生局限性。为了应对数据增长云中心负载的持续压力，一种可行的方案是基于多个边缘云的协同。边缘计算与云计算各有所长，云计算擅长全局性、非实时、长周期的大数据处理与分析；边缘计算更适用局部性、实时、短周期数据的处理与分析，能更好的支撑本地业务的实时智能化决策与执行。边缘计算同样采用基于容器化技术的云边端一体化的智能计算架构，屏蔽边缘节点的资源异构性，构建层次化的计算模型。华为的Kubeedge等容器化边缘计算框架就实现了对异构、跨平台的边缘资源进行统一抽象建模和管理。
目前技术架构中对容器使用资源的分配采用固定的方法。考虑容器集合的初始位置提供相匹配的资源，之后为提供能力的自适应功能，在配置文件中设置门限值，以便对资源进行相应的横向扩展或纵向扩展。横向扩展即为增强容器数量，纵向扩展即为为每个容器分配更多的资源。另一方面，采用门限策略需要对如何设置门限参数有综合化的知识，需要预先了解容器中应用负载等情况。而在边缘计算场景中，容器是在异构的云和边缘服务器上进行负载均衡，进一步实现多个目标的组合优化，如改进计算性能，保障应用实时性，平衡资源利用、提高能源效率，并减少部署成本等，因此简单实用门限方法不能满足资源自适应分配的需求。
引入机器学习对容器化边缘计算采用自适应资源分配方式是非常重要的设计考量，但是目前的软件平台缺少对这方面的考虑。本发明即提出一种在容器化边缘计算中利用机器学习自动分配资源的方法。
目前技术架构中对容器使用资源的分配采用固定的方法。考虑容器集合的初始位置提供相匹配的资源，之后为提供能力的自适应功能，在配置文件中设置门限值，以便对资源进行相应的横向扩展或纵向扩展。横向扩展即为增强容器数量，纵向扩展即为为每个容器分配更多的资源。另一方面，采用门限策略需要对如何设置门限参数有综合化的知识，需要预先了解容器中应用负载等情况。而在边缘计算场景中，容器是在异构的云和边缘服务器上进行负载均衡，进一步实现多个目标的组合优化，如改进计算性能，保障应用实时性，平衡资源利用、提高能源效率，并减少部署成本等，因此简单实用门限方法不能满足资源自适应分配的需求。
专利文献CN109491790B(申请号：CN201811302288.2)公开了一种基于容器的工业物联网边缘计算资源分配方法及系统，该方法如下：根据感知层采集的数据类型，将任务划分为n种类型，通过历史数据统计，得到任务之间先后到达边缘服务器集群上的概率关系；根据系统状态空间和决策空间，对实时任务分配计算资源，进行序列决策；根据基于强化学习的资源分配算法，系统根据当前的状态，从低、中、高三种资源分配策略中选择最合理的策略给当前任务分配资源；构建任务调度处理模型，创建容器，再把数据调度到容器上进行处理分析，任务完成之后再删除容器，完成分配。但该发明采用固定门限，其值很难确定且无法根据系统运行时状态调整。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种在容器化边缘计算中自动分配资源的方法及系统。
根据本发明提供的一种在容器化边缘计算中自动分配资源的方法，包括：
步骤S1：监视器收集数据，在消息代理上发布容器资源利用率和应用程序性能状态统计信息；
步骤S2：分析规划器接收通过消息代理获得的监控器发送的信息，通过机器学习的方式建立模型，基于模型推理生成扩展操作；
步骤S3：执行器接受分析规划器传输的数据生成分配资源的扩展指令。
优选地，容器编排框架用于创建、部署和管理容器化应用程序，遵循主从模式，主处理节点编排容器的调度，管理集群通过接受其他节点作为从处理节点；从处理节点提供集群的计算能力，完成分布式容器的执行，主处理节点通过调度将容器分配给从处理节点；
容器编排架构引入分布式的自适应附加控件，此控件包括监视器、分析规划器和执行器完成自适应的功能；自适应附加控件松耦合集成到容器编排框架中，按照主从的分布式模式构建，包括一个单一的主附件运行分析规划器和执行器、多个独立的从附件以分布式的方式运行监视器。
优选地，在所述步骤S1中：
监视器运行在每个容器上，定期在消息代理上发布有关容器资源利用率和应用程序性能状态统计信息；监视器收集有关应用程序的数据和容器执行环境的数据，在应用程序上通过统一的数据格式进行记录运行状态和性能统计，通过自定义监控软件完成数据获取收集，每个容器监控数据通过工具实时收集。
优选地，在所述步骤S2中：
分析规划器使用收集到的数据基于优化目标来确定是否进行弹性计算自适应扩展，采用机器学习的方式完成分析规划；
在分析阶段，分析规划器通过机器学习的方式建立模型，机器学习的方式采用包括基于模型的强化学习、基于高斯过程的系统辨识；在规划阶段，基于模型推理生成要执行的扩展操作，执行器调用容器编排框架的接口完成弹性扩展。
优选地，在所述步骤S3中：
执行器负责生成扩展指令，定义了一个自适应扩展的动作集，执行横向或纵向扩展，或者联合执行两个维度的缩放。
根据本发明提供的一种在容器化边缘计算中自动分配资源的系统，包括：
模块M1：监视器收集数据，在消息代理上发布容器资源利用率和应用程序性能状态统计信息；
模块M2：分析规划器接收通过消息代理获得的监控器发送的信息，通过机器学习的方式建立模型，基于模型推理生成扩展操作；
模块M3：执行器接受分析规划器传输的数据生成分配资源的扩展指令。
优选地，容器编排框架用于创建、部署和管理容器化应用程序，遵循主从模式，主处理节点编排容器的调度，管理集群通过接受其他节点作为从处理节点；从处理节点提供集群的计算能力，完成分布式容器的执行，主处理节点通过调度将容器分配给从处理节点；
容器编排架构引入分布式的自适应附加控件，此控件包括监视器、分析规划器和执行器完成自适应的功能；自适应附加控件松耦合集成到容器编排框架中，按照主从的分布式模式构建，包括一个单一的主附件运行分析规划器和执行器、多个独立的从附件以分布式的方式运行监视器。
优选地，在所述模块M1中：
监视器运行在每个容器上，定期在消息代理上发布有关容器资源利用率和应用程序性能状态统计信息；监视器收集有关应用程序的数据和容器执行环境的数据，在应用程序上通过统一的数据格式进行记录运行状态和性能统计，通过自定义监控软件完成数据获取收集，每个容器监控数据通过工具实时收集。
优选地，在所述模块M2中：
分析规划器使用收集到的数据基于优化目标来确定是否进行弹性计算自适应扩展，采用机器学习的方式完成分析规划；
在分析阶段，分析规划器通过机器学习的方式建立模型，机器学习的方式采用包括基于模型的强化学习、基于高斯过程的系统辨识；在规划阶段，基于模型推理生成要执行的扩展操作，执行器调用容器编排框架的接口完成弹性扩展。
优选地，在所述模块M3中：
执行器负责生成扩展指令，定义了一个自适应扩展的动作集，执行横向或纵向扩展，或者联合执行两个维度的缩放。
与现有技术相比，本发明具有如下的有益效果：
1、本发明提供了一种在容器化边缘计算中根据系统运行情况自动分配资源的方法，用来替代固定门限值配置策略，采用固定门限，其值很难确定且无法根据系统运行时状态调整，而此方法采用监视-分析规划器-执行闭环来自适应调整资源分配，分析规划支持采用机器学习手段的系统建模方法；
2、本发明方法兼顾了多个目标的组合优化，能够在平衡资源利用、提高能源效率的同时保障边缘计算应用的实时性等需求，能够同时完成横向扩展和纵向扩展的弹性扩容；
3、本发明的方法兼容当前的分布式容器编排框架，自适应附加控件能够通过主从模式松耦合到容器编排框架中，保持了系统的灵活性和通用性。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为弹性计算自适应附加控件。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
实施例1：
根据本发明提供的一种在容器化边缘计算中自动分配资源的方法，如图1所示，包括：
步骤S1：监视器收集数据，在消息代理上发布容器资源利用率和应用程序性能状态统计信息；
步骤S2：分析规划器接收通过消息代理获得的监控器发送的信息，通过机器学习的方式建立模型，基于模型推理生成扩展操作；
步骤S3：执行器接受分析规划器传输的数据生成分配资源的扩展指令。
具体地，容器编排框架用于创建、部署和管理容器化应用程序，遵循主从模式，主处理节点编排容器的调度，管理集群通过接受其他节点作为从处理节点；从处理节点提供集群的计算能力，完成分布式容器的执行，主处理节点通过调度将容器分配给从处理节点；
容器编排架构引入分布式的自适应附加控件，此控件包括监视器、分析规划器和执行器完成自适应的功能；自适应附加控件松耦合集成到容器编排框架中，按照主从的分布式模式构建，包括一个单一的主附件运行分析规划器和执行器、多个独立的从附件以分布式的方式运行监视器。
具体地，在所述步骤S1中：
监视器运行在每个容器上，定期在消息代理上发布有关容器资源利用率和应用程序性能状态统计信息；监视器收集有关应用程序的数据和容器执行环境的数据，在应用程序上通过统一的数据格式进行记录运行状态和性能统计，通过自定义监控软件完成数据获取收集，每个容器监控数据通过工具实时收集。
具体地，在所述步骤S2中：
分析规划器使用收集到的数据基于优化目标来确定是否进行弹性计算自适应扩展，采用机器学习的方式完成分析规划；
在分析阶段，分析规划器通过机器学习的方式建立模型，机器学习的方式采用包括基于模型的强化学习、基于高斯过程的系统辨识；在规划阶段，基于模型推理生成要执行的扩展操作，执行器调用容器编排框架的接口完成弹性扩展。
具体地，在所述步骤S3中：
执行器负责生成扩展指令，定义了一个自适应扩展的动作集，执行横向或纵向扩展，或者联合执行两个维度的缩放。
实施例2：
实施例2为实施例1的优选例，以更为具体地对本发明进行说明。
本领域技术人员可以将本发明提供的一种在容器化边缘计算中自动分配资源的方法，理解为在容器化边缘计算中自动分配资源的系统的具体实施方式，即所述在容器化边缘计算中自动分配资源的系统可以通过执行所述在容器化边缘计算中自动分配资源的方法的步骤流程予以实现。
根据本发明提供的一种在容器化边缘计算中自动分配资源的系统，包括：
模块M1：监视器收集数据，在消息代理上发布容器资源利用率和应用程序性能状态统计信息；
模块M2：分析规划器接收通过消息代理获得的监控器发送的信息，通过机器学习的方式建立模型，基于模型推理生成扩展操作；
模块M3：执行器接受分析规划器传输的数据生成分配资源的扩展指令。
具体地，容器编排框架用于创建、部署和管理容器化应用程序，遵循主从模式，主处理节点编排容器的调度，管理集群通过接受其他节点作为从处理节点；从处理节点提供集群的计算能力，完成分布式容器的执行，主处理节点通过调度将容器分配给从处理节点；
容器编排架构引入分布式的自适应附加控件，此控件包括监视器、分析规划器和执行器完成自适应的功能；自适应附加控件松耦合集成到容器编排框架中，按照主从的分布式模式构建，包括一个单一的主附件运行分析规划器和执行器、多个独立的从附件以分布式的方式运行监视器。
具体地，在所述模块M1中：
监视器运行在每个容器上，定期在消息代理上发布有关容器资源利用率和应用程序性能状态统计信息；监视器收集有关应用程序的数据和容器执行环境的数据，在应用程序上通过统一的数据格式进行记录运行状态和性能统计，通过自定义监控软件完成数据获取收集，每个容器监控数据通过工具实时收集。
具体地，在所述模块M2中：
分析规划器使用收集到的数据基于优化目标来确定是否进行弹性计算自适应扩展，采用机器学习的方式完成分析规划；
在分析阶段，分析规划器通过机器学习的方式建立模型，机器学习的方式采用包括基于模型的强化学习、基于高斯过程的系统辨识；在规划阶段，基于模型推理生成要执行的扩展操作，执行器调用容器编排框架的接口完成弹性扩展。
具体地，在所述模块M3中：
执行器负责生成扩展指令，定义了一个自适应扩展的动作集，执行横向或纵向扩展，或者联合执行两个维度的缩放。
实施例3：
实施例3为实施例1的优选例，以更为具体地对本发明进行说明。
本发明要解决的技术问题体现在以下几点：
1)本发明提供了一种在容器化边缘计算中根据系统运行情况自动分配资源的方法，用来替代常用的门限值配置策略。
2)本发明方法采用分布式的架构，兼容目前主流的容器编排框架，如Kubeedge等，适用于异构的边缘计算场景，能够同时完成横向扩展和纵向扩展的弹性扩容。
3)本发明方法实现多个目标的组合优化，能够在平衡资源利用、提高能源效率的同时保障边缘计算应用的实时性等需求。
4)本发明中的规划器，支持采用机器学习手段的系统建模方法，包括如基于模型的强化学习、基于高斯过程的系统辨识等方法，因此能够通过智能化的方式完成资源自适应分配。
本方法包括如下步骤：
步骤1：确定弹性扩展的优化目标：
在通用的容器化应用程序模型中，应用程序是一个执行特定任务的黑盒实体，其处理不断传入的工作负载、多个应用程序实例可以并行创建和执行。每个实例自主工作并处理传入请求。在运行时，应用程序会具有不同工作负载。为满足其性能要求，分配给应用程序的计算资源的数量应该以有效的方式动态更改。容器编排调度框架可以利用横向扩展和纵向扩展，但弹性扩展同时引入性能损失。基于容器的应用程序的弹性自适应应该保证应用程序性能，同时最大限度地减少资源浪费和适应成本。
优化目标即最小化总体成本，以此目的，成本函数包括三个不同的贡献者：
(1)自适应扩展的成本，考虑对纵向和横向弹性扩展的操作的引入消耗惩罚量；
(2)性能损失量，主要是考量应用程序的实时性保障，不能超过响应时间界限；
(3)运行应用程序的资源成本，此成本与所用数量成正比。进一步将不同的成本组合成一个单一的加权成本函数，其中不同的权重允许我们表达每个成本项的相对重要性。
步骤2：构建弹性计算自适应扩展控件：
容器编排框架用于创建、部署和管理容器化应用程序。容器编排框架遵循主从模式。主处理节点编排容器的调度，它还管理集群通过接受其他节点作为从处理节点。从处理节点提供集群的计算能力，完成分布式容器的执行。主处理节点通过调度将容器分配给从处理节点。
为提供弹性计算自适应能力，此方法扩展了以上的分布式容器编排架构，引入分布式的自适应附加控件，此控件包括三个主要组件，监视器、分析规划器和执行器来完成自适应的功能。
监视器收集有关应用程序的数据和容器执行环境的数据；
监视器运行在每个容器上，它定期在消息代理上发布有关容器资源利用率和应用程序性能状态统计信息。监视器收集有关应用程序的数据和容器执行环境的数据。在应用程序上通过统一的数据格式进行记录运行状态和性能统计，在实施例，如应用程序的数据包大小、数据包发送率、数据丢包率、心跳包状态等，通过自定义监控软件完成数据获取收集。每个容器监控数据，如CPU使用率、内存使用率、网络带宽占有率等内容，可通过工具实时收集，在实施例中，在硬件节点的内核Ubuntu操作系统之上，安装pysensors、psuti l等工具，来完成数据获取收集。
分析规划器使用收集到的数据基于优化目标来确定是否进行弹性计算自适应扩展；
执行器负责生成扩展指令，其定义了一个自适应扩展的动作集，可以执行横向或纵向扩展，也可以联合执行两个维度的缩放。在实施例，动作集合由A＝{-r,-1,0,1,r}组成，其中±r表示纵向扩展(即，+r添加CPU份额和-r去除CPU份额)，±1表示水平扩展(即，+1向外扩展，-1向内扩展)，0为不做动作。
自适应附加控件松耦合集成到容器编排框架中，同样按照主-从的分布式模式构建，包括一个单一的主附件运行分析规划器和执行器，和多个独立的从附件以分布式的方式运行监视器。主-从模式可以很容易地决定何时以及如何的自适应策略，完成容器的重新配置。图1为弹性计算自适应附加控件的说明图。
步骤3：采用机器学习方式建立分析预测模型：
分析规划器接收通过消息代理获得的监控信息。然后，它采用机器学习的方式完成分析规划。具体来说，在分析阶段，分析规划器通过机器学习的方式建立模型，这里机器学习的方式可以采用基于模型的强化学习、基于高斯过程的系统辨识。在规划阶段，基于模型来推理生成要执行的扩展操作。执行器最终调用容器编排框架的接口完成弹性扩展。
预测模型输入为应用程序和容器执行环境的状态，即监视器传给分析规划器的数据，其输出为采取横向或纵向自适应扩展的动作集，即分析规划器传给执行器的数据，其功能为以总体成本为优化目标构建一个输入到输出的映射。以采用强化学习方式建立分析预测模型为实施例，预测模型在每个时间点从一个输入状态执行动作后转移到另一个输入状态，同时观察实际发生的总体成本，从而改进策略。基于强化学习生成的模型在采用缩放动作时使得长期期望的总体成本最小，以便：减少自适应缩放执行的数量、满足应用的性能，以及限制资源浪费。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (10)
1.一种在容器化边缘计算中自动分配资源的方法，其特征在于，包括：
步骤S1：监视器收集数据，在消息代理上发布容器资源利用率和应用程序性能状态统计信息；
步骤S2：分析规划器接收通过消息代理获得的监控器发送的信息，通过机器学习的方式建立模型，基于模型推理生成扩展操作；
步骤S3：执行器接受分析规划器传输的数据生成分配资源的扩展指令。
2.根据权利要求1所述的在容器化边缘计算中自动分配资源的方法，其特征在于：
容器编排框架用于创建、部署和管理容器化应用程序，遵循主从模式，主处理节点编排容器的调度，管理集群通过接受其他节点作为从处理节点；从处理节点提供集群的计算能力，完成分布式容器的执行，主处理节点通过调度将容器分配给从处理节点；
容器编排架构引入分布式的自适应附加控件，此控件包括监视器、分析规划器和执行器完成自适应的功能；自适应附加控件松耦合集成到容器编排框架中，按照主从的分布式模式构建，包括一个单一的主附件运行分析规划器和执行器、多个独立的从附件以分布式的方式运行监视器。
3.根据权利要求1所述的在容器化边缘计算中自动分配资源的方法，其特征在于，在所述步骤S1中：
监视器运行在每个容器上，定期在消息代理上发布有关容器资源利用率和应用程序性能状态统计信息；监视器收集有关应用程序的数据和容器执行环境的数据，在应用程序上通过统一的数据格式进行记录运行状态和性能统计，通过自定义监控软件完成数据获取收集，每个容器监控数据通过工具实时收集。
4.根据权利要求1所述的在容器化边缘计算中自动分配资源的方法，其特征在于，在所述步骤S2中：
分析规划器使用收集到的数据基于优化目标来确定是否进行弹性计算自适应扩展，采用机器学习的方式完成分析规划；
在分析阶段，分析规划器通过机器学习的方式建立模型，机器学习的方式采用包括基于模型的强化学习、基于高斯过程的系统辨识；在规划阶段，基于模型推理生成要执行的扩展操作，执行器调用容器编排框架的接口完成弹性扩展。
5.根据权利要求1所述的在容器化边缘计算中自动分配资源的方法，其特征在于，在所述步骤S3中：
执行器负责生成扩展指令，定义了一个自适应扩展的动作集，执行横向或纵向扩展，或者联合执行两个维度的缩放。
6.一种在容器化边缘计算中自动分配资源的系统，其特征在于，包括：
模块M1：监视器收集数据，在消息代理上发布容器资源利用率和应用程序性能状态统计信息；
模块M2：分析规划器接收通过消息代理获得的监控器发送的信息，通过机器学习的方式建立模型，基于模型推理生成扩展操作；
模块M3：执行器接受分析规划器传输的数据生成分配资源的扩展指令。
7.根据权利要求6所述的在容器化边缘计算中自动分配资源的系统，其特征在于：
容器编排框架用于创建、部署和管理容器化应用程序，遵循主从模式，主处理节点编排容器的调度，管理集群通过接受其他节点作为从处理节点；从处理节点提供集群的计算能力，完成分布式容器的执行，主处理节点通过调度将容器分配给从处理节点；
容器编排架构引入分布式的自适应附加控件，此控件包括监视器、分析规划器和执行器完成自适应的功能；自适应附加控件松耦合集成到容器编排框架中，按照主从的分布式模式构建，包括一个单一的主附件运行分析规划器和执行器、多个独立的从附件以分布式的方式运行监视器。
8.根据权利要求6所述的在容器化边缘计算中自动分配资源的系统，其特征在于，在所述模块M1中：
监视器运行在每个容器上，定期在消息代理上发布有关容器资源利用率和应用程序性能状态统计信息；监视器收集有关应用程序的数据和容器执行环境的数据，在应用程序上通过统一的数据格式进行记录运行状态和性能统计，通过自定义监控软件完成数据获取收集，每个容器监控数据通过工具实时收集。
9.根据权利要求6所述的在容器化边缘计算中自动分配资源的系统，其特征在于，在所述模块M2中：
分析规划器使用收集到的数据基于优化目标来确定是否进行弹性计算自适应扩展，采用机器学习的方式完成分析规划；
在分析阶段，分析规划器通过机器学习的方式建立模型，机器学习的方式采用包括基于模型的强化学习、基于高斯过程的系统辨识；在规划阶段，基于模型推理生成要执行的扩展操作，执行器调用容器编排框架的接口完成弹性扩展。
10.根据权利要求6所述的在容器化边缘计算中自动分配资源的系统，其特征在于，在所述模块M3中：
执行器负责生成扩展指令，定义了一个自适应扩展的动作集，执行横向或纵向扩展，或者联合执行两个维度的缩放。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210050869.1A CN114490049A (zh) | 2022-01-17 | 2022-01-17 | 在容器化边缘计算中自动分配资源的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210050869.1A CN114490049A (zh) | 2022-01-17 | 2022-01-17 | 在容器化边缘计算中自动分配资源的方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114490049A true CN114490049A (zh) | 2022-05-13 |
Family
ID=81511598
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210050869.1A Pending CN114490049A (zh) | 2022-01-17 | 2022-01-17 | 在容器化边缘计算中自动分配资源的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114490049A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115617006A (zh) * | 2022-12-16 | 2023-01-17 | 广州翼辉信息技术有限公司 | 基于分布式安全容器架构工业机器人控制器设计方法 |
| CN116069512A (zh) * | 2023-03-23 | 2023-05-05 | 之江实验室 | 一种基于强化学习的Serverless高效资源分配方法及系统 |
-
2022
- 2022-01-17 CN CN202210050869.1A patent/CN114490049A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115617006A (zh) * | 2022-12-16 | 2023-01-17 | 广州翼辉信息技术有限公司 | 基于分布式安全容器架构工业机器人控制器设计方法 |
| CN116069512A (zh) * | 2023-03-23 | 2023-05-05 | 之江实验室 | 一种基于强化学习的Serverless高效资源分配方法及系统 |
| CN116069512B (zh) * | 2023-03-23 | 2023-08-04 | 之江实验室 | 一种基于强化学习的Serverless高效资源分配方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Peng et al. | A multi-objective trade-off framework for cloud resource scheduling based on the deep Q-network algorithm | |
| Kaur et al. | Container-as-a-service at the edge: Trade-off between energy efficiency and service availability at fog nano data centers | |
| Abdulhamid et al. | Fault tolerance aware scheduling technique for cloud computing environment using dynamic clustering algorithm | |
| Peng et al. | Random task scheduling scheme based on reinforcement learning in cloud computing | |
| Oleghe | Container placement and migration in edge computing: Concept and scheduling models | |
| Wadhwa et al. | TRAM: Technique for resource allocation and management in fog computing environment | |
| CN104123182B (zh) | 基于主从架构的MapReduce任务跨数据中心调度系统及方法 | |
| CN112783649A (zh) | 一种面向云计算的交互感知的容器化微服务资源调度方法 | |
| Hiessl et al. | Optimal placement of stream processing operators in the fog | |
| Bajo et al. | A low-level resource allocation in an agent-based Cloud Computing platform | |
| Ralha et al. | Multiagent system for dynamic resource provisioning in cloud computing platforms | |
| CN114490049A (zh) | 在容器化边缘计算中自动分配资源的方法及系统 | |
| CN104112049B (zh) | 基于P2P构架的MapReduce任务跨数据中心调度系统及方法 | |
| Masoumzadeh et al. | An intelligent and adaptive threshold-based schema for energy and performance efficient dynamic VM consolidation | |
| Nguyen et al. | Studying and developing a resource allocation algorithm in Fog computing | |
| Al-Sinayyid et al. | Job scheduler for streaming applications in heterogeneous distributed processing systems | |
| Cardellini et al. | Self-adaptive container deployment in the fog: A survey | |
| Baresi et al. | PAPS: A serverless platform for edge computing infrastructures | |
| Violos et al. | Intelligent horizontal autoscaling in edge computing using a double tower neural network | |
| Tang et al. | A survey on scheduling techniques in computing and network convergence | |
| Hashemi et al. | Gwo-sa: Gray wolf optimization algorithm for service activation management in fog computing | |
| Gadhavi et al. | Adaptive cloud resource management through workload prediction | |
| Hussain et al. | Resource allocation of industry 4.0 micro-service applications across serverless fog federation | |
| Subrahmanyam et al. | Optimizing horizontal scalability in cloud computing using simulated annealing for Internet of Things | |
| Mazumdar et al. | Adaptive resource allocation for load balancing in cloud |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |