CN117478496A - 基于SaltStack容器部署的混合架构集群自动化运维的方法及装置 - Google Patents
基于SaltStack容器部署的混合架构集群自动化运维的方法及装置 Download PDFInfo
- Publication number
- CN117478496A CN117478496A CN202311468810.5A CN202311468810A CN117478496A CN 117478496 A CN117478496 A CN 117478496A CN 202311468810 A CN202311468810 A CN 202311468810A CN 117478496 A CN117478496 A CN 117478496A
- Authority
- CN
- China
- Prior art keywords
- service
- saltstack
- cluster
- management
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012423 maintenance Methods 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000012544 monitoring process Methods 0.000 claims abstract description 47
- 230000006870 function Effects 0.000 claims abstract description 34
- 230000036541 health Effects 0.000 claims abstract description 22
- 238000011161 development Methods 0.000 claims abstract description 6
- 238000007726 management method Methods 0.000 claims description 52
- 238000013515 script Methods 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 claims description 9
- 238000013508 migration Methods 0.000 claims description 6
- 230000005012 migration Effects 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 4
- 230000008602 contraction Effects 0.000 claims description 4
- 238000012217 deletion Methods 0.000 claims description 4
- 230000037430 deletion Effects 0.000 claims description 4
- 238000013468 resource allocation Methods 0.000 claims description 4
- 238000009434 installation Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000011160 research Methods 0.000 abstract description 2
- 238000012795 verification Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0876—Aspects of the degree of configuration automation
- H04L41/0886—Fully automatic configuration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
- H04L43/045—Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Automation & Control Theory (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及自动化运维技术领域，具体为一种基于SaltStack容器部署的混合架构集群自动化运维的方法及装置，包括以下步骤：通过服务层实现节点发现和注册、健康检查、服务网络、自动化运维、调度和管理；有益效果为：本发明提出的基于SaltStack容器部署的混合架构集群自动化运维的方法及装置，基于SaltStack进行混合架构下容器化部署及自动化运维的研究，并通过对SaltStack工具的二次开发和多方验证，完成了针对混合架构下的容器化部署的自动化运维系统，包括批量部署、批量启停服务、批量主机和健康状态的监控等功能；有效降低了人工干预的工作量，提升了部署效率及集群健康管理能力。
Description
技术领域
本发明涉及自动化运维技术领域，具体为一种基于SaltStack容器部署的混合架构集群自动化运维的方法及装置。
背景技术
Kubernetes(k8s)是Google开发的企业级开源容器编排平台,可以灵活实现应用部署、负载均衡、服务发现、插件管理、自动伸缩等丰富的功能，使得用户可以更好的部署和管理应用程序。
现有技术中，SaltStack是一个服务器基础架构集中化的管理平台,具备配置管理、远程执行、监控等功能，其中远程执行和配置管理是最基础的两大功能。SaltStack是基于Python语言开发，采用C/S架构，结合轻量级消息队列(ZeroMQ)与Python的第三方的模块构建的；随着全国信息化建设的不断完善，信息化建设所需的服务器急剧增加，规模少则几百台，多则上千台。传统系统运维都是靠人工对每台机器进行Ghost操作系统安装、用户创建、第三方软件安装、安全策略配置等操作。
但是，随着服务器规模的不断增加，传统的运维方式面临着巨大的压力，逐渐出现运维人员操作失误率增高、无法快速响应需求的变化、数据透明性低及服务高可用性低等问题，尤其在面临混合架构下如何使用统一的服务提供集群自动化管理。因此设计一款自动化运维工具，实现集群的安全监控以及运维工作的自动化处理，是达到提升运维工作效率、降低运维成本的重要途径。
发明内容
本发明的目的在于提供一种基于SaltStack容器部署的混合架构集群自动化运维的方法及装置，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于SaltStack容器部署的混合架构集群自动化运维的方法，所述方法包括以下步骤：
通过服务层实现节点发现和注册、健康检查、服务网络、自动化运维、调度和管理；
采用SaltStack容器化层对X86和Arm架构的节点，分别制作docker镜像，利用Kubernetes进行容器化部署；
通过表示层利用SaltStack的接口实现集群节点的实时可视化管理及监控；
采用安全监控管理基于SaltStack服务实现对物理资源的抽象及控制，提供对计算、存储、网络资源的实时监控预警功能，提高服务的可用性；并采用策略管理依据节点进行分组管理。
一种基于SaltStack容器部署的混合架构集群自动化运维装置，包括服务层、容器化层、表示层、安全监控管理及策略管理五个模块；
服务层，包括节点发现和注册、健康检查、服务网络、自动化运维、调度和管理，分别提供集群伸缩节点时自动部署SaltStack服务、检查节点资源占用并触发服务迁移、节点及服务发现和访问的前提、节点提供批量执行脚本、调度节点疏散服务等能力；
SaltStack容器化层，针对X86和Arm架构的节点，分别制作docker镜像，利用Kubernetes进行容器化部署；
表示层，利用SaltStack的接口实现集群节点的实时可视化管理及监控；
安全监控管理，基于SaltStack服务实现对物理资源的抽象及控制，提供了对计算、存储、网络资源的实时监控预警功能，提高服务的可用性；
策略管理，依据节点主要用途进行分组管理。
优选的，节点发现与注册功能通过注册表的方式记录各个节点的状态和位置信息，统一纳管到集群K8S资源管理服务中，以标签的形式触发自动扩、缩容；节点发现通过节点互ping等方式验证连通性；赋予节点关于SaltStack的标签后，k8s集群Comdeploy资源会触发服务的自动安装；取消节点的关于SaltStack的标签，集群触发服务的自动删除。
优选的，健康检查功能通过对SaltStack工具的二次开发，定时从salt-master下发资源使用、资源分配、集群Pod信息统计的指令，实现集群节点及服务信息数据的收集；
服务网络功能实现节点及服务健康检查的重要保证，并根据健康检查的分析结果实施在线服务迁移；
调度和管理功能结合服务网络及健康检查结果，调度节点疏散服务。
优选的，SaltStack容器化层针对X86及Arm架构制作不同的SaltStack服务的镜像，利用Kubernetes进行容器化部署；容器化部署时，需要先利用k8s集群Comdeploy资源根据yaml配置文件部署salt-master的服务，然后再部署salt-minion服务。
优选的，表示层和安全监控功能实现集群节点的实时可视化管理及监控，包含概览模块、资源监控模块、操作记录模块、告警中心模块；
概览模块主要显示集群资源的概要；
资源监控模块包含主机监控、服务监控、虚机监控功能，分别用以实时显示节点、pod及虚拟机的信息；
操作日志模块用以显示操作的记录；
告警中心模块主要包括告警设置、告警记录功能。
与现有技术相比，本发明的有益效果是：
本发明提出的基于SaltStack容器部署的混合架构集群自动化运维的方法及装置，基于SaltStack进行混合架构下容器化部署及自动化运维的研究，并通过对SaltStack工具的二次开发和多方验证，完成了针对混合架构下的容器化部署的自动化运维系统，包括批量部署、批量启停服务、批量主机和健康状态的监控等功能；有效降低了人工干预的工作量，提升了部署效率及集群健康管理能力。
附图说明
图1为本发明装置架构图；
图2为本发明salt-master容器化部署创建脚本执行逻辑示意图；
图3为本发明salt-minion容器化部署创建脚本执行逻辑示意图；
图4为本发明应用层及安全监控功能模块示意图。
具体实施方式
为了使本发明的目的、技术方案进行清楚、完整地描述，及优点更加清楚明白，以下结合附图对本发明实施例进行进一步详细说明。应当理解，此处所描述的具体实施例是本发明一部分实施例，而不是全部的实施例，仅仅用以解释本发明实施例，并不用于限定本发明实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
本发明提供一种技术方案：一种基于SaltStack容器部署的混合架构集群自动化运维的方法，所述方法包括以下步骤：
通过服务层实现节点发现和注册、健康检查、服务网络、自动化运维、调度和管理；
采用SaltStack容器化层对X86和Arm架构的节点，分别制作docker镜像，利用Kubernetes进行容器化部署；
通过表示层利用SaltStack的接口实现集群节点的实时可视化管理及监控；
采用安全监控管理基于SaltStack服务实现对物理资源的抽象及控制，提供对计算、存储、网络资源的实时监控预警功能，提高服务的可用性；并采用策略管理依据节点进行分组管理。
实施例二
在实施例一的基础上，一种基于SaltStack容器部署的混合架构集群自动化运维装置，包括服务层、容器化层、表示层、安全监控管理及策略管理五个模块；分别提供集群伸缩节点时自动部署SaltStack服务、检查节点资源占用并触发服务迁移、节点及服务发现和访问的前提、节点提供批量执行脚本、调度节点疏散服务等能力；
altStack容器化层是指针对X86和Arm架构的节点，分别制作docker镜像，然后利用Kubernetes进行容器化部署。表示层是指利用SaltStack的接口实现集群节点的实时可视化管理及监控。安全监控管理是指基于SaltStack服务实现对物理资源的抽象及控制，提供了对计算、存储、网络资源的实时监控预警功能，提高服务的可用性。策略管理是指依据节点主要用途进行分组管理；
节点发现与注册功能通过注册表的方式记录各个节点的状态和位置信息，统一纳管到集群K8S资源管理服务中，然后以标签的形式触发自动扩、缩容。节点发现通过节点互ping等方式验证连通性。赋予节点关于SaltStack的标签后，k8s集群Comdeploy资源会触发服务的自动安装。相反的，取消节点的关于SaltStack的标签，集群会触发服务的自动删除。集群管理节点部署Salt-master服务及salt-minion服务，其余节点只部署salt-minion服务。即管理节点具有salt-master和salt-minion的容器，其余节点只有salt-minion服务；
健康检查功能通过对SaltStack工具的二次开发，定时从salt-master下发资源使用、资源分配、集群Pod信息统计的指令，实现集群节点及服务信息数据的收集。运用数据分析的构件对搜集的数据从内存利用率、CPU利用率、磁盘利用率等角度实时分析资源占用Top10的信息，并根据设定的阈值进行告警分析；服务网络功能实现节点及服务健康检查的重要保证，并根据健康检查的分析结果实施在线服务迁移；自动化运维功能提供批量执行脚本等能力；调度和管理功能结合服务网络及健康检查结果，调度节点疏散服务SaltStack容器化层针对X86及Arm架构制作不同的SaltStack服务的镜像，利用Kubernetes进行容器化部署。不同架构需要制作两个镜像，分别包含salt-mastere服务、salt-minion服务。镜像包含创建、删除等脚本，当节点扩、缩容时，会触发该脚本的执行。镜像包含的创建脚本，salt-master实现的流程包括：校验节点服务网络是否ping通、拼接docker镜像地址、校验镜像是否存在、创建文件夹、启动容器、验证部署等待等；salt-minion实现的流程包括：校验节点服务网络是否ping通、拼接docker镜像地址、校验镜像是否存在、校验是否成功部署salt-master、创建文件夹、启动容器、验证部署等待、同步秘钥、添加salt-key等。镜像包含的删除脚本，salt-master和salt-minion均执行删除容器的操作。容器化部署时，需要先利用k8s集群Comdeploy资源根据yaml配置文件部署salt-master的服务，然后再部署salt-minion服务。部署服务的yaml文件包含镜像、依赖镜像、服务网络类型、标签过滤器等信息。部署服务时，k8s集群Comdeploy资源会触发Job运行镜像包含的创建脚本，以实现服务的部署。相反的，删除或更新服务时，会以相同的方式触发对应的脚本。salt-minion的镜像需要进行SaltStack的二次开发，以使salt-minion能够访问容器外节点的信息。
表示层和安全监控功能实现集群节点的实时可视化管理及监控，主要包含概览模块、资源监控模块、操作记录模块、告警中心模块。概览模块主要显示集群资源的概要，包括从CPU、内存、存储等角度的资源使用情况统计、从vCPU、内存、块存储等角度的资源分配情况、集群物理机、虚拟机、Pod的数量信息、近7天告警趋势、24小时日志分布等信息。资源监控模块包含主机监控、服务监控、虚机监控等功能，分别用以实时显示节点、pod及虚拟机的信息。操作日志模块用以显示操作的记录，主要包括：时间、日志类型、日志级别、日志名称、资源类型、用户名、源IP、日志详情等信息。告警中心模块主要包括告警设置、告警记录等功能。告警设置提供上述模块的功能均支持按照时间遍历，最大支持30天以内的数据查看。
策略管理实现节点的分组管理。实现集群按照架构和用途对节点进行分组，包括：X86计算节点、X86存储节点、Arm计算节点、Arm存储节点、控制节点。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (6)
1.一种基于SaltStack容器部署的混合架构集群自动化运维的方法，其特征在于：所述方法包括以下步骤：
通过服务层实现节点发现和注册、健康检查、服务网络、自动化运维、调度和管理；
采用SaltStack容器化层对X86和Arm架构的节点，分别制作docker镜像，利用Kubernetes进行容器化部署；
通过表示层利用SaltStack的接口实现集群节点的实时可视化管理及监控；
采用安全监控管理基于SaltStack服务实现对物理资源的抽象及控制，提供对计算、存储、网络资源的实时监控预警功能，提高服务的可用性；并采用策略管理依据节点进行分组管理。
2.一种根据权利要求1所述的基于SaltStack容器部署的混合架构集群自动化运维的方法的基于SaltStack容器部署的混合架构集群自动化运维装置，其特征在于：包括服务层、容器化层、表示层、安全监控管理及策略管理五个模块；
服务层，包括节点发现和注册、健康检查、服务网络、自动化运维、调度和管理，分别提供集群伸缩节点时自动部署SaltStack服务、检查节点资源占用并触发服务迁移、节点及服务发现和访问的前提、节点提供批量执行脚本、调度节点疏散服务等能力；
SaltStack容器化层，针对X86和Arm架构的节点，分别制作docker镜像，利用Kubernetes进行容器化部署；
表示层，利用SaltStack的接口实现集群节点的实时可视化管理及监控；
安全监控管理，基于SaltStack服务实现对物理资源的抽象及控制，提供了对计算、存储、网络资源的实时监控预警功能，提高服务的可用性；
策略管理，依据节点主要用途进行分组管理。
3.根据权利要求2所述的一种基于SaltStack容器部署的混合架构集群自动化运维的方法及装置，其特征在于：节点发现与注册功能通过注册表的方式记录各个节点的状态和位置信息，统一纳管到集群K8S资源管理服务中，以标签的形式触发自动扩、缩容；节点发现通过节点互ping等方式验证连通性；赋予节点关于SaltStack的标签后，k8s集群Comdeploy资源会触发服务的自动安装；取消节点的关于SaltStack的标签，集群触发服务的自动删除。
4.根据权利要求2所述的一种基于SaltStack容器部署的混合架构集群自动化运维的方法及装置，其特征在于：健康检查功能通过对SaltStack工具的二次开发，定时从salt-master下发资源使用、资源分配、集群Pod信息统计的指令，实现集群节点及服务信息数据的收集；
服务网络功能实现节点及服务健康检查的重要保证，并根据健康检查的分析结果实施在线服务迁移；
调度和管理功能结合服务网络及健康检查结果，调度节点疏散服务。
5.根据权利要求2所述的一种基于SaltStack容器部署的混合架构集群自动化运维的方法及装置，其特征在于：SaltStack容器化层针对X86及Arm架构制作不同的SaltStack服务的镜像，利用Kubernetes进行容器化部署；容器化部署时，需要先利用k8s集群Comdeploy资源根据yaml配置文件部署salt-master的服务，然后再部署salt-minion服务。
6.根据权利要求2所述的一种基于SaltStack容器部署的混合架构集群自动化运维的方法及装置，其特征在于：表示层和安全监控功能实现集群节点的实时可视化管理及监控，包含概览模块、资源监控模块、操作记录模块、告警中心模块；
概览模块主要显示集群资源的概要；
资源监控模块包含主机监控、服务监控、虚机监控功能，分别用以实时显示节点、pod及虚拟机的信息；
操作日志模块用以显示操作的记录；
告警中心模块主要包括告警设置、告警记录功能。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311468810.5A CN117478496A (zh) | 2023-11-06 | 2023-11-06 | 基于SaltStack容器部署的混合架构集群自动化运维的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311468810.5A CN117478496A (zh) | 2023-11-06 | 2023-11-06 | 基于SaltStack容器部署的混合架构集群自动化运维的方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117478496A true CN117478496A (zh) | 2024-01-30 |
Family
ID=89639215
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311468810.5A Pending CN117478496A (zh) | 2023-11-06 | 2023-11-06 | 基于SaltStack容器部署的混合架构集群自动化运维的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117478496A (zh) |
-
2023
- 2023-11-06 CN CN202311468810.5A patent/CN117478496A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210240513A1 (en) | Computing service with configurable virtualization control levels and accelerated launches | |
| CN112667362B (zh) | Kubernetes上部署Kubernetes虚拟机集群的方法与系统 | |
| CN107689953B (zh) | 一种面向多租户云计算的容器安全监控方法及系统 | |
| WO2018086580A1 (zh) | 一种可扩展的异构云平台适配方法及其系统 | |
| US20180240056A1 (en) | Web-based support subscriptions | |
| CN103677967B (zh) | 一种数据库的远程数据服务系统及任务调度方法 | |
| US9218231B2 (en) | Diagnosing a problem of a software product running in a cloud environment | |
| CN105912389B (zh) | 基于数据虚拟化实现混合云环境下的虚拟机迁移系统 | |
| US10061665B2 (en) | Preserving management services with self-contained metadata through the disaster recovery life cycle | |
| CN102929769B (zh) | 一种基于代理服务的虚拟机内部数据采集方法 | |
| CN103516802A (zh) | 一种实现跨异构虚拟交换机无缝迁移的方法和装置 | |
| US20080208931A1 (en) | Method and system for continuous availability subscription service | |
| US11663093B2 (en) | Automated development of recovery plans | |
| US11416294B1 (en) | Task processing for management of data center resources | |
| US10305817B1 (en) | Provisioning system and method for a distributed computing environment using a map reduce process | |
| CN111274002A (zh) | 支撑paas平台构建方法、装置、计算机设备及存储介质 | |
| CN104573428B (zh) | 一种提高服务器集群资源有效性的方法及系统 | |
| CN103077034B (zh) | 混合虚拟化平台java应用迁移方法与系统 | |
| CN112068953B (zh) | 一种云资源精细化管理溯源系统及方法 | |
| US20230412671A1 (en) | Distributed cloud system, data processing method of distributed cloud system, and storage medium | |
| CN117478496A (zh) | 基于SaltStack容器部署的混合架构集群自动化运维的方法及装置 | |
| CN109408314A (zh) | 一种基于海量存储的目录配额自动化测试方法 | |
| WO2021151352A1 (zh) | 裸金属服务交付方法、装置、计算机设备和存储介质 | |
| US11792072B2 (en) | Workload aware networking in a microservice architecture | |
| CN109995617A (zh) | 主机管理特性的自动化测试方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |