CN117614831A - 集群配置管理方法、装置、设备及存储介质 - Google Patents
集群配置管理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117614831A CN117614831A CN202311614651.5A CN202311614651A CN117614831A CN 117614831 A CN117614831 A CN 117614831A CN 202311614651 A CN202311614651 A CN 202311614651A CN 117614831 A CN117614831 A CN 117614831A
- Authority
- CN
- China
- Prior art keywords
- configuration
- cluster
- target cluster
- preset
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007726 management method Methods 0.000 title claims abstract description 69
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 41
- 230000008859 change Effects 0.000 claims abstract description 36
- 238000012360 testing method Methods 0.000 claims description 44
- 238000012795 verification Methods 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims 1
- 238000012423 maintenance Methods 0.000 abstract description 55
- 230000008569 process Effects 0.000 description 14
- 230000000694 effects Effects 0.000 description 11
- 238000005457 optimization Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000003339 best practice Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000002071 nanotube Substances 0.000 description 3
- 238000007711 solidification Methods 0.000 description 3
- 230000008023 solidification Effects 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/70—Software maintenance or management
- G06F8/71—Version control; Configuration management
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Stored Programmes (AREA)
Abstract
本申请公开了一种集群配置管理方法、装置、设备及存储介质,属于运维技术领域。本申请通过获取目标集群的集群环境,并获取用户自定义的配置需求;调取固化的适配于所述目标集群的默认配置,并根据所述配置需求和所述集群环境,生成适配于所述目标集群的待定制配置,其中,所述默认配置为所述目标集群中变更频率低于预设频率的配置,所述待定制配置为所述目标集群中变更频率高于所述预设频率的配置;根据所述待定制配置和所述默认配置,生成配置方案,并根据所述配置方案调整所述目标集群运行时的配置,即直接调取固化的默认配置,并根据集群环境和配置需求,生成相应的待定制配置,降低相关人员所需管理的配置数量,提高相关人员运维管理效率。
Description
技术领域
本申请涉及运维技术领域,尤其涉及一种集群配置管理方法、装置、设备及存储介质。
背景技术
随着网络技术不断发展,集群的规模和集群的配置数量随着时间不断增加,而传统集群的配置管理方案,主要通过相关人员从可用性、性能、效率等多个关键维度出发,对集群内各设备的配置进行逐一调整。
因此,相关人员在对集群配置进行管理和调试时,需要考虑的配置管理问题逐步增加,导致运维人员处理配置管理任务时的难度提升,从而导致相关人员对集群相应的配置的管理效率低,进而导致相关人员的运维效率低。
申请内容
本申请的主要目的在于提供一种集群配置管理方法、装置、设备及存储介质,旨在相关人员对集群相应的配置的管理效率低,导致相关人员的运维效率低的技术问题。
为实现上述目的,本申请提供一种集群配置管理方法,所述集群配置管理方法包括以下步骤:
获取目标集群的集群环境,并获取用户自定义的配置需求;
调取固化的适配于所述目标集群的默认配置,并根据所述配置需求和所述集群环境,生成适配于所述目标集群的待定制配置,其中,所述默认配置为所述目标集群中变更频率低于预设频率的配置,所述待定制配置为所述目标集群中变更频率高于所述预设频率的配置;
根据所述待定制配置和所述默认配置,生成配置方案,并根据所述配置方案调整所述目标集群运行时的配置。
可选地,所述配置需求包括用户期望配置和用户指定需求,所述待定制配置包括通用配置和自定义配置;
所述根据所述配置需求和所述集群环境,生成适配于所述目标集群的待定制配置的步骤,包括:
根据所述用户期望配置和所述集群环境,从预设最优配置集合中选择适配于所述目标集群的通用配置;
根据所述用户指定需求和所述集群环境,生成适配于所述目标集群的自定义配置,其中,所述默认配置与待定制配置之间的第一比值,和所述通用配置与所述自定义配置之间的第二比值均为预设比值。
可选地,所述根据所述用户期望配置和所述集群环境,从预设最优配置集合中选择适配于所述目标集群的通用配置的步骤之前,所述方法还包括:
在根据所述用户期望配置和所述集群环境选择所述通用配置之前,从预设最优配置集合中选择适配于所述目标集群的唯一配置;
根据所述唯一配置,生成测试配置,并对所述测试配置进行验证测试;
在验证测试的结果为所述测试配置正常运行时,根据所述测试配置,对所述预设最优配置集合中所述唯一配置进行版本更新。
可选地,所述从预设最优配置集合中选择适配于所述目标集群的唯一配置的步骤之前,所述方法还包括:
获取变更频率高于预设频率的待管理配置;
提取所述待管理配置中的共性配置,并根据所述共性配置,将所述待管理配置按照预设管理层级的形式进行归类处理,得到预设最优配置集合。
可选地,所述根据所述用户指定需求和所述集群环境,生成适配于所述目标集群的自定义配置的步骤,包括:
根据所述用户指定需求和所述集群环境,确定从预设最优配置集合中是否存在适配的配置;
若存在,则确定所述适配的配置的版本信息;
根据所述版本信息,筛选得到符合预设定制需求的配置,并将其作为自定义配置。
可选地,在所述用户指定需求中包含指定版本需求时,所述根据所述版本信息,筛选得到符合预设定制需求的配置,并将其作为自定义配置的步骤,包括:
根据所述版本信息,确定是否存在满足预设定制需求和所述指定版本需求的预选配置;
若存在,则根据所述预选配置的版本号,选择最新版本的配置或所述预选配置作为自定义配置。
可选的,所述获取目标集群的集群环境,并获取用户自定义的配置需求的步骤,包括:
获取不同集群的多组配置信息,并获取各配置信息的历史运行记录;
根据所述历史运行记录,确定满足不同功能需求的最优配置,并将所述最优配置存入预设最优配置集合中,以供生成唯一的配置方案。
此外,为实现上述目的,本申请还提供一种集群配置管理装置,所述集群配置管理装置包括:
获取模块,用于获取目标集群的集群环境,并获取用户自定义的配置需求;
复用模块,用于调取固化的适配于所述目标集群的默认配置,并根据所述配置需求和所述集群环境,生成适配于所述目标集群的待定制配置,其中,所述默认配置为所述目标集群中变更频率低于预设频率的配置,所述待定制配置为所述目标集群中变更频率高于所述预设频率的配置;
配置模块,用于根据所述待定制配置和所述默认配置,生成配置方案,并根据所述配置方案调整所述目标集群运行时的配置。
此外,为实现上述目的,本申请还提供一种集群配置管理设备,所述集群配置管理设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的集群配置管理程序,所述集群配置管理程序配置为实现如上所述的集群配置管理方法的步骤。
此外,为实现上述目的,本申请还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有集群配置管理程序,所述集群配置管理程序被处理器执行时实现如上所述的集群配置管理方法的步骤。
本申请通过获取目标集群的集群环境,并获取用户自定义的配置需求;调取固化的适配于所述目标集群的默认配置,并根据所述配置需求和所述集群环境,生成适配于所述目标集群的待定制配置,其中,所述默认配置为所述目标集群中变更频率低于预设频率的配置,所述待定制配置为所述目标集群中变更频率高于所述预设频率的配置;根据所述待定制配置和所述默认配置,生成配置方案,并根据所述配置方案调整所述目标集群运行时的配置,即直接调取固化的默认配置,并根据集群环境和配置需求,生成相应的待定制配置,降低相关人员所需管理的配置数量,提高相关人员运维管理效率。
附图说明
图1为本申请集群配置管理方法第一实施例的流程示意图;
图2为本申请集群配置管理方法第二实施例中步骤S20的流程示意图;
图3为本申请实施例中生成通用配置时的测试流程示意图;
图4为本申请实施例中预设最优配置集合的分级管理的架构示意图;
图5为本申请实施例中各类配置的集群划分的结构示意图;
图6为本申请实施例中配置版本选择的流程示意图;
图7为本申请集群配置管理方法第三实施例的流程示意图;
图8为本申请集群配置管理装置一实施例的结构框图;
图9是本申请实施例方案涉及的硬件运行环境的设备结构示意图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
参照图1,图1为本申请集群配置管理方法第一实施例的流程示意图。
在第一实施例中,所述集群配置管理方法包括以下步骤:
S10,获取目标集群的集群环境,并获取用户自定义的配置需求;
需要说明的是,目标集群指的是需要相关人员后期维护的集群,通常情况下,对目标集群的运维工作一般是由相关人员对集群内每一个设备的配置情况进行调整、维护和更新,从而实现对整个目标集群的维护效果,但此类维护方式的效率低下,为了提高运维效率会采用多人协同维护的方式,但是由于每一位运维人员对运维技术的理解不同,可能多个运维人员针对同一个运维问题,采取了不同的技术方式,导致整个目标集群在配置层面的差异性,可能影响目标集群的统一性,导致集群出现相应的问题。
因此,在本实施例中,提出一种相应的自动化运维方式,在该运维过程中,主要将目标集群的配置过程进行简化,一方面降低运维人员所需运维的设备的数量,另一方面降低运维过程中所需选用的配置情况,既能提高运维的效率,也能提高相应的运维时的强一致性,保证针对目标集群进行运维的精准性和运维效率。
其中,本实施例主要以自动化运维思想为基础,融合大量一线实际运维经验,结合多集群高可用架构的特点,对集群配置的自动化生成、个性化修改、定制化应用等关键流程进行了优化和改造,简化使用流程,形成一套高效、便捷、可靠的集群配置管理方案。同时,通过提供配置的抽象复用,自动化完成个性配置与共性配置的合并应用,降低开发人员运维难度。此外,利用控制管理器精细化的配置调度策略,根据策略合并将游离的默认配置、通用配置与定制配置共同作用于集群建设,并将最终的有效配置下发至控制管理器作用范围内对应的集群。通过控制管理器的集群配置纳管与静态逻辑固化避免引入人为错误,保障集群正常建设的周期及服务配置的便捷维护与迭代,节省大量时间及人力成本,优化集群在快速迭代场景下的运维体验。
可理解的是,目标集群应泛指为需要运维人员进行运维的集群,该集群的规模和该集群对应的功能和架构可存在区别,通过设置可复用的自动化运维方案,实现对不同集群的适配运维。
S20,调取固化的适配于所述目标集群的默认配置,并根据所述配置需求和所述集群环境,生成适配于所述目标集群的待定制配置,其中,所述默认配置为所述目标集群中变更频率低于预设频率的配置,所述待定制配置为所述目标集群中变更频率高于所述预设频率的配置;
其中,需要说明的是,在实际运维场景的绝大部分集群中,均会配置以下三种配置,包括默认配置、通用配置和自定义配置,其中,通用配置和自定义配置属于需要结合用户需求而生成的待定制配置。
可理解的是,默认配置为目标集群中变更频率低于预设频率的配置,即在该目标集群中,部分配置内容可能为目标集群初始化后便不会更改的配置,此类配置即使在目标集群使用后期也仍然保持较低的变更频率,例如,一年更新一次或两次的情况,其中,还需要说明的是,此类配置在实际应用过程中,通常占据了目标集群中各类配置的80%左右。
可理解的是,待定制配置为目标集群中变更频率高于预设频率的配置,即在该目标集群中,部分配置为根据集群的环境信息,适应性配置的信息,以及部分需要自定义灵活配置的情况,此类配置占据目标集群全部配置内容的20%左右,其中,在该20%的待定制配置中,还存在16%的通用配置和4%的自定义配置,可理解的是,该通用配置指的是不同集群环境所共用的需要自定义调试的配置,例如,在不同版本的设备中,需要根据当前设备的版本设置不同的配置,可理解的是,该自定义配置可为专属当前目标集群中设备的配置信息,例如,设置某个设备的地址信息等。
因此,默认配置属于变更频率低的配置,在对目标集群的配置信息进行调试和运维时,即可直接调取已固化的默认配置,即相当于使用其他目标集群使用过的默认配置即可,在对目标集群进行运维时,仅需要对待定制配置进行调试、运维和配置即可,大大缩减了对目标集群进行运维时所需调试的配置的数量,以此提高了对目标集群进行运维的效率。
S30,根据所述待定制配置和所述默认配置,生成配置方案,并根据所述配置方案调整所述目标集群运行时的配置。
可理解的是,在调取到默认配置,和生成待定制配置后,即可生成相应的配置方案,并根据该配置方案,可调整相应的目标集群运行时的配置。
具体的,综上可知,集群配置管理方案在实现80%默认配置、16%通用配置、4%自定义配置的拆分纳管后,由控制器根据业务集群的需求进行配置合成,实现最终作用的配置下发。其中,控制器协调80%的默认配置捞起、16%的通用配置的定选和优选及4%自定义配置的读取,通过kustomize对三类配置进行策略合并生成最终作用的运行时配置,然后根据控制管理器的作用范围将最终配置下发至业务集群并应用。控制管理器固化了应用配置的最佳实践,例如对于有高可用要求的组件,控制器将逐节点更新配置。
其中,对于有依赖顺序要求的组件,控制器将按照组件需要的顺序更新配置。以此向管理人员屏蔽配置的下发和生效细节,降低操作风险。集群配置管理方案通过集群配置纳管及下发的逻辑固化屏蔽了手动配置下发及应用的细节,避免引入人为错误影响集群正常建设,节省大量时间及人力成本,提高集群正常建设的执行效率。
同时,平台提供了通用配置在线查看及编辑功能,通过捞取集群通用配置进行套餐展示,在线编辑后将重新触发下发流程。同时通用配置的生成自动实现版本上滚动刷新,即版本信息唯一自增,保证不同版本存在的兼容性与隔离性。
集群配置方案在保持配置优化实践的基础上,将默认配置与通用配置抽取到远程或本地集群下托管,避免非频繁变更配置与程序的硬编码绑定,减少集群中整体配置文件数量,实现配置的灵活刷新与下发。尤其集群数量众多场景下,避免大规模集群配置带来的难以记录及维护的困境,减轻集群配置维护负担,仅需在线编辑通用配置或重新安装本地默认配置后触发安装至集群,尽可能使开发者专注于定制资源的配置设计上。
本实施例通过获取目标集群的集群环境,并获取用户自定义的配置需求;调取固化的适配于所述目标集群的默认配置,并根据所述配置需求和所述集群环境,生成适配于所述目标集群的待定制配置,其中,所述默认配置为所述目标集群中变更频率低于预设频率的配置,所述待定制配置为所述目标集群中变更频率高于所述预设频率的配置;根据所述待定制配置和所述默认配置,生成配置方案,并根据所述配置方案调整所述目标集群运行时的配置,即直接调取固化的默认配置,并根据集群环境和配置需求,生成相应的待定制配置,降低相关人员所需管理的配置数量,提高相关人员运维管理效率。
如图2所示,基于第一实施例提出本申请集群配置管理方法第二实施例,本实施例中,步骤S20具体包括:
S21,根据所述用户期望配置和所述集群环境,从预设最优配置集合中选择适配于所述目标集群的通用配置。
可理解的是,配置需求包括用户期望配置和用户指定需求,待定制配置包括通用配置和自定义配置,为了提高配置选用的效率,在本实施例中,设置预设最优配置集合,在该预设最优配置集合中包括应对不同用户期望配置和集群环境的配置方案,其中,该配置方案主要指的是通用配置,自定义配置应由相应用户自行选定具体内容。
其中,用户期望配置和用户指定需求均可为声明式需求,用户仅需提出具体想要的配置效果,而避免用户需要提供的具体的配置内容的情况,有效提高用户自定义配置时的便捷和高效。
其中,根据用户期望配置和集群环境,从预设最优配置集合中选择相应的通用配置过程即相当于从该预设最优配置集合中匹配得到与用户期望配置和集群环境一致的配置,将用户期望配置和集群环境作为索引项,从该预设最优配置集合中选择同时满足上述两种索引项的通用配置即可。
具体的,在选择配置时,还需对预设最优配置集合中的配置进行正常的测试环节,具体可在根据所述用户期望配置和所述集群环境选择所述通用配置之前,从预设最优配置集合中选择适配于所述目标集群的唯一配置,并根据所述唯一配置,生成测试配置,并对所述测试配置进行验证测试,从而可在验证测试的结果为所述测试配置正常运行时,根据所述测试配置,对所述预设最优配置集合中所述唯一配置进行版本更新。
可理解的是,在用户提出相应的用户期望配置的需求时,可结合该用户期望配置和集群环境,从该预设最优配置集合中选择出最优配置作为通用配置,而在此之前,该预设最优配置集合中的最优配置(唯一配置)可能存在迎合当前集群环境的优化空间,因此,在用户从该预设最优配置集合中选择唯一配置之前,可将该唯一配置进行相应的优化测试,若优化测试通过,则可将该优化测试通过后的最新版本的配置作为该预设最优配置集合中的唯一配置,若优化测试不通过,则需要保留原本的唯一配置。
其中,在优化测试过程中,可在该唯一配置的基础上,对相应的配置情况进行优化调整,该优化调整可根据相应的集群环境进行定向修改,并在优化后,生成相应的测试配置,通过对该测试配置进行验证测试,并在该验证测试后,将该测试配置作为基准,更新预设最优配置集合中对应唯一配置的版本信息,以此,用户可根据该版本信息直接调用到该测试配置,并将其作为通用配置。
需要说明的是,在预设最优配置集合中,针对不同情况对应的配置仅包含唯一的配置,即在能够从预设最优配置集合中匹配得到配置的情况下,仅能匹配到唯一的一套配置,通过如此方式设定能够得到的配置项,能够保证对目标集群进行自动化运维时,仅通过这一套配置实现整个集群中各设备运维时的强一致性,同时,仅设置一套配置,可提高从预设最优配置集合中选择配置的效率,避免同时匹配到多套配置,还需要对多个配置进一步筛选得到最优配置的情况。
具体的,测试流程如图3所示,80%的默认配置根据最佳实践设计后,16%的集群通用配置将按照以下逻辑生成和管理:
开通gitops仓库,并选择需要生成测试配置的组件,在补充生成配置套餐并指定测试版本及仓库路径之后,通过仓库同步测试配置并下发至对应集群测试,并在测试通过后利用合并规则生成正式配置,同时将仓库同步正式配置并下发至集群,实现测试完成,并将配置进行发布的流程。
其中,创建预设最优配置集合的具体细化过程如下:通过获取变更频率高于预设频率的待管理配置,并提取所述待管理配置中的共性配置,并根据所述共性配置,将所述待管理配置按照预设管理层级的形式进行归类处理,得到预设最优配置集合。
可理解的是,在得到对应不同情况的配置后,可按照该配置信息对应的不同预设管理层级进行数据管理,其中,预设管理层级可划分为平台级别的配置信息,集群环境的配置信息等多个等级,每个等级所对应的体量不同。
其中,为了便于对配置相关数据的管理,可先抽取对应不同情况的配置的共性配置,将具备共性配置的配置信息进行归类处理,得到相应的集合。
具体的,与不同集群环境相关的16%的通用配置是本方案最核心的实现域,主要面向大量不同环境集群的通用配置管理。为进一步降低多元集群配置的维护负担,方案抽取16%通用配置中在不同集群环境下的共性配置,再结合具体集群环境的个性配置,自动生成适用于具体环境的集群通用配置。在具体是线上,为增强规范性,限制了通用配置自动生成时的目录结构及形式。其中,目录结构的第一次层代表对应的平台,第二层是集群环境相关信息,第三层是当前集群环境下可能用到的配置信息。其中,集群环境可能用到的配置文件为提高复用性,可按照类型拆分为多个游离部分,最终生效的通用配置将按照合并规则生成。集群通用配置生成的层级将按下图展开,具体管理架构可参照图4。
S22,根据所述用户指定需求和所述集群环境,生成适配于所述目标集群的自定义配置,其中,所述默认配置与待定制配置之间的第一比值,和所述通用配置与所述自定义配置之间的第二比值均为预设比值。
可理解的是,根据用户指定需求和集群环境,还可生成相应的自定义配置,该自定义配置主要为用户所限定的内容,即该部分自定义配置为相关运维人员进行主要配置的内容。
其中,需要说明的是,所述默认配置与待定制配置之间的第一比值,和所述通用配置与所述自定义配置之间的第二比值均为预设比值,该第一比值、第二比值和预设比值均为4:1。
其中,在本实施例中,大规模多元集群配置管理旨在提供一种易用、高效、规范的集群配置管理方案,通过二八原则与资源声明式定义的具体实现,将配置信息按照修改频度的不同拆分为三个部分,共同作用于集群以实现大规模配置管理,包括80%的默认配置、16%的通用配置和4%定制配置。
根据二八原则,集群所有配置中约80%的配置属于集群的最通用配置,该类型信息在集群的整个生命周期中低频变动甚至不变,可在多个集群中复用,一般属于集群中的默认配置和控制器针对部分场景的固化配置。
集群配置中约20%的配置属于需要根据集群的属性适配和调整的配置,其中约80%的配置,即所有配置中约16%的配置属于依赖集群环境的通用配置,一套配置可适用于发行版、发行号相同的一批集群。
最后4%的集群配置属于每个集群个性化的配置,即自定义配置,例如,集群的日志收集地址配置、流量入口配置等,每个集群的自定义配置都可能不同。
具体的,集群配置管理方案的目的在于,独立于集群环境的默认配置由最佳实践理论值决定,在集群的创建或升级时可反复使用,且在修改后仅需重新安装即可继续适配不同集群,无需多次设计及生成;依赖于集群环境的通用配置由平台根据用户上传的期望配置补充细节并下发至对应集群,用户无需自行记录并适配不同集群环境,节省维护成本;自定义资源的定制配置由用户在资源属性中声明式指定,用户仅需更关注自定义资源的设计。该方案可减轻用户的集群配置管理负担,将通用配置的管理托管至平台,节省人力维护成本。其中,上述三类配置的从属结构可参照图5。
此外,集群配置管理方案的具体实现结合了大量运维经验,通过控制器的声明式定义调整配置的作用范围,依赖控制器的协调逻辑将松耦合的三类配置按照最佳实践经验结合。基于此,用户无需关注配置有关的依赖顺序及合并逻辑,控制器自动适配不同环境并捞取80%的默认配置、16%的通用配置以及4%的自定义配置,使游离的配置信息共同作用于业务集群,减轻了相关用户维护不同配置及记录配置依赖顺序的负担。
在本实施例中,还需要根据所述用户指定需求和所述集群环境,确定从预设最优配置集合中是否存在适配的配置,其中,若存在,则确定所述适配的配置的版本信息,则可根据所述版本信息,筛选得到符合预设定制需求的配置,并将其作为自定义配置。
具体的,可根据所述版本信息,确定是否存在满足预设定制需求和所述指定版本需求的预选配置,其中,若存在,则根据所述预选配置的版本号,选择最新版本的配置或所述预选配置作为自定义配置。
具体的,集群通用配置生成成功后,为筛选集群中存在的不同版本、不同集群的配置信息,控制管理器将依托优选原则,按照用户创建集群时选定的定选参数对集群通用配置进行筛选。为了适配不同集群不同配置版本的最优筛选,按照动态筛选原则提取最优配置信息。筛选时,控制管理器根据传入的定选条件筛选出满足所有条件的configMap,之后根据优选条件选出列表中对应版本通用配置,默认为最新版本。集群配置的优选原则流程具体可参照图6。
其中,前端传入的定选条件会声明式的同步标注在集群控制器相关组件的不同位置中,控制器使用时仅需显式捞取键值进行条件构造,实现动态的集群适配配置文件定选。
集群通用配置为了提高托管规范性,通用配置会自动同步关联gitops仓库。在生成的过程中,平台根据用户期望的通用配置信息补充集群环境细节信息并合并为应对不同集群的配置套餐。配置套餐生成后会触发gitops同步,PR成功合并后集群通用配置的历史记录将留存仓库,提高配置管理的溯源及可控性。
本实施例通过根据所述用户期望配置和所述集群环境,从预设最优配置集合中选择适配于所述目标集群的通用配置,并根据所述用户指定需求和所述集群环境,生成适配于所述目标集群的自定义配置,其中,所述默认配置与待定制配置之间的第一比值,和所述通用配置与所述自定义配置之间的第二比值均为预设比值,从而可实现通过不同的用户需求,分配生成不同的配置,以满足用户在不同方面的需求,有效提高了运维的精准效果。
如图7所示,基于第一实施例提出本申请集群配置管理方法第三实施例,本实施例中,所述方法还包括:
S41,获取不同集群的多组配置信息,并获取各配置信息的历史运行记录。
可理解的是,运维人员在对不同集群进行运维时,可能由于集群的差异性,选择不同的配置方案,也可能由于运维人员的选择不同,出现不同的配置方案,该不同集群的多组配置信息即指的是运维人员的实践经验所涉及的配置信息,既包括同一人员针对不同集群所选择的不同配置,也包括不同人员针对同一集群选择的不同配置。
可理解的是,在不同配置信息对应的配置效果中,同一集群可能出现不同的运行效果,例如,集群A在使用a组配置信息中的配置方案,集群A在使用b组配置信息中的配置方案可能存在很大区别,两者区别可能在于前者集群A处理任务的效率高于后者集群A处理任务的效率。
因此,在确定出不同集群的多组配置信息后,需要接着获取到相应各配置信息的历史运行记录,该历史运行记录主要表征不同集群的运行状态,例如,处理任务效率、集群中各设备之间的流程交互和处理任务的精准性等,并以该历史运行记录可判别不同集群在不同的配置信息下的运行效果,相当于通过历史运行记录对不同的配置信息进行配置效果进行评判等级。
S42,根据所述历史运行记录,确定满足不同功能需求的最优配置,并将所述最优配置存入预设最优配置集合中,以供生成唯一的配置方案。
可理解的是,根据历史运行记录,可确定满足不同功能需求的最优配置,并将该最优配置优先存入相应的预设最优配置集合中,从而在对目标集群进行自动化运维时,针对存在需要调整的配置情况时,从该预设最优配置集合中仅能匹配得到唯一的最优配置,一方面降低了从预设最优配置集合中选择配置所需的时间,从而提高调整目标集群配置的效率,另一方面提高了运维时的选择配置的一致性,保证在对目标集群进行运维时采用统一的方案进行运维。
其中,该预设最优配置集合中的数据可根据技术迭代和运维技术人员的经验进行更新,例如,在目标集群的环境可能随着设备版本更新后产生变化,此时,预设最优配置集合中的相应配置并不满足最优效果的情况,此时,需要将该预设最优配置集合进行相应的迭代更新,以保证后期正常使用。
本实施例通过获取不同集群的多组配置信息,并获取各配置信息的历史运行记录,并根据所述历史运行记录,确定满足不同功能需求的最优配置,并将所述最优配置存入预设最优配置集合中,以供生成唯一的配置方案,从而可实现根据历史运行记录中选择出最优配置,并即将该最优配置存入相应预设最优配置集合中,保证了实际自动化运维时能够从预设最优配置集合中选择出最优的配置方案,保证了目标集群中各设备配置的运维一致性,提高了目标集群运维时的安全性。
此外,本申请实施例还提出一种集群配置管理装置,参照图8,所述集群配置管理装置包括:
获取模块10,用于获取目标集群的集群环境,并获取用户自定义的配置需求;
生成模块20,用于调取固化的适配于所述目标集群的默认配置,并根据所述配置需求和所述集群环境,生成适配于所述目标集群的待定制配置,其中,所述默认配置为所述目标集群中变更频率低于预设频率的配置,所述待定制配置为所述目标集群中变更频率高于所述预设频率的配置;
配置模块30,用于根据所述待定制配置和所述默认配置,生成配置方案,并根据所述配置方案调整所述目标集群运行时的配置。
本实施例通过获取目标集群的集群环境,并获取用户自定义的配置需求;调取固化的适配于所述目标集群的默认配置,并根据所述配置需求和所述集群环境,生成适配于所述目标集群的待定制配置,其中,所述默认配置为所述目标集群中变更频率低于预设频率的配置,所述待定制配置为所述目标集群中变更频率高于所述预设频率的配置;根据所述待定制配置和所述默认配置,生成配置方案,并根据所述配置方案调整所述目标集群运行时的配置,即直接调取固化的默认配置,并根据集群环境和配置需求,生成相应的待定制配置,降低相关人员所需管理的配置数量,提高相关人员运维管理效率。
需要说明的是,上述装置中的各模块可用于实现上述方法中的各个步骤,同时达到相应的技术效果,本实施例在此不再赘述。
参照图9,图9为本申请实施例方案涉及的硬件运行环境的设备的结构示意图。
如图9所示,该设备可以包括:处理器1001,例如CPU,通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图9中示出的结构并不构成对设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图9所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及集群配置管理程序。
在图9所示的设备中,网络接口1004主要用于与外部网络进行数据通信;用户接口1003主要用于接收用户的输入指令;所述设备通过处理器1001调用存储器1005中存储的集群配置管理程序,并执行以下操作:
获取目标集群的集群环境,并获取用户自定义的配置需求;
调取固化的适配于所述目标集群的默认配置,并根据所述配置需求和所述集群环境,生成适配于所述目标集群的待定制配置,其中,所述默认配置为所述目标集群中变更频率低于预设频率的配置,所述待定制配置为所述目标集群中变更频率高于所述预设频率的配置;
根据所述待定制配置和所述默认配置,生成配置方案,并根据所述配置方案调整所述目标集群运行时的配置。
进一步地,处理器1001可以调用存储器1005中存储的集群配置管理程序,还执行以下操作:
根据所述用户期望配置和所述集群环境,从预设最优配置集合中选择适配于所述目标集群的通用配置;
根据所述用户指定需求和所述集群环境,生成适配于所述目标集群的自定义配置,其中,所述默认配置与待定制配置之间的第一比值,和所述通用配置与所述自定义配置之间的第二比值均为预设比值。
进一步地,处理器1001可以调用存储器1005中存储的集群配置管理程序,还执行以下操作:
在根据所述用户期望配置和所述集群环境选择所述通用配置之前,从预设最优配置集合中选择适配于所述目标集群的唯一配置;
根据所述唯一配置,生成测试配置,并对所述测试配置进行验证测试;
在验证测试的结果为所述测试配置正常运行时,根据所述测试配置,对所述预设最优配置集合中所述唯一配置进行版本更新。
进一步地,处理器1001可以调用存储器1005中存储的集群配置管理程序,还执行以下操作:
获取变更频率高于预设频率的待管理配置;
提取所述待管理配置中的共性配置,并根据所述共性配置,将所述待管理配置按照预设管理层级的形式进行归类处理,得到预设最优配置集合。
进一步地,处理器1001可以调用存储器1005中存储的集群配置管理程序,还执行以下操作:
根据所述用户指定需求和所述集群环境,确定从预设最优配置集合中是否存在适配的配置;
若存在,则确定所述适配的配置的版本信息;
根据所述版本信息,筛选得到符合预设定制需求的配置,并将其作为自定义配置。
进一步地,处理器1001可以调用存储器1005中存储的集群配置管理程序,还执行以下操作:
根据所述版本信息,确定是否存在满足预设定制需求和所述指定版本需求的预选配置;
若存在,则根据所述预选配置的版本号,选择最新版本的配置或所述预选配置作为自定义配置。
进一步地,处理器1001可以调用存储器1005中存储的集群配置管理程序,还执行以下操作:
获取不同集群的多组配置信息,并获取各配置信息的历史运行记录;
根据所述历史运行记录,确定满足不同功能需求的最优配置,并将所述最优配置存入预设最优配置集合中,以供生成唯一的配置方案。
本实施例通过获取目标集群的集群环境,并获取用户自定义的配置需求;调取固化的适配于所述目标集群的默认配置,并根据所述配置需求和所述集群环境,生成适配于所述目标集群的待定制配置,其中,所述默认配置为所述目标集群中变更频率低于预设频率的配置,所述待定制配置为所述目标集群中变更频率高于所述预设频率的配置;根据所述待定制配置和所述默认配置,生成配置方案,并根据所述配置方案调整所述目标集群运行时的配置,即直接调取固化的默认配置,并根据集群环境和配置需求,生成相应的待定制配置,降低相关人员所需管理的配置数量,提高相关人员运维管理效率。
此外,本申请实施例还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有集群配置管理程序,所述集群配置管理程序被处理器执行时实现如下操作:
获取目标集群的集群环境,并获取用户自定义的配置需求;
调取固化的适配于所述目标集群的默认配置,并根据所述配置需求和所述集群环境,生成适配于所述目标集群的待定制配置,其中,所述默认配置为所述目标集群中变更频率低于预设频率的配置,所述待定制配置为所述目标集群中变更频率高于所述预设频率的配置;
根据所述待定制配置和所述默认配置,生成配置方案,并根据所述配置方案调整所述目标集群运行时的配置。
本实施例通过获取目标集群的集群环境,并获取用户自定义的配置需求;调取固化的适配于所述目标集群的默认配置,并根据所述配置需求和所述集群环境,生成适配于所述目标集群的待定制配置,其中,所述默认配置为所述目标集群中变更频率低于预设频率的配置,所述待定制配置为所述目标集群中变更频率高于所述预设频率的配置;根据所述待定制配置和所述默认配置,生成配置方案,并根据所述配置方案调整所述目标集群运行时的配置,即直接调取固化的默认配置,并根据集群环境和配置需求,生成相应的待定制配置,降低相关人员所需管理的配置数量,提高相关人员运维管理效率。
需要说明的是,上述计算机可读存储介质被处理器执行时还可实现上述方法中的各个步骤,同时达到相应的技术效果,本实施例在此不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种集群配置管理方法,其特征在于,所述集群配置管理方法包括以下步骤:
获取目标集群的集群环境,并获取用户自定义的配置需求;
调取固化的适配于所述目标集群的默认配置,并根据所述配置需求和所述集群环境,生成适配于所述目标集群的待定制配置,其中,所述默认配置为所述目标集群中变更频率低于预设频率的配置,所述待定制配置为所述目标集群中变更频率高于所述预设频率的配置;
根据所述待定制配置和所述默认配置,生成配置方案,并根据所述配置方案调整所述目标集群运行时的配置。
2.如权利要求1所述的集群配置管理方法,其特征在于,所述配置需求包括用户期望配置和用户指定需求,所述待定制配置包括通用配置和自定义配置;
所述根据所述配置需求和所述集群环境,生成适配于所述目标集群的待定制配置的步骤,包括:
根据所述用户期望配置和所述集群环境,从预设最优配置集合中选择适配于所述目标集群的通用配置;
根据所述用户指定需求和所述集群环境,生成适配于所述目标集群的自定义配置,其中,所述默认配置与待定制配置之间的第一比值,和所述通用配置与所述自定义配置之间的第二比值均为预设比值。
3.如权利要求2所述的集群配置管理方法,其特征在于,所述根据所述用户期望配置和所述集群环境,从预设最优配置集合中选择适配于所述目标集群的通用配置的步骤之前,所述方法还包括:
在根据所述用户期望配置和所述集群环境选择所述通用配置之前,从预设最优配置集合中选择适配于所述目标集群的唯一配置;
根据所述唯一配置,生成测试配置,并对所述测试配置进行验证测试;
在验证测试的结果为所述测试配置正常运行时,根据所述测试配置,对所述预设最优配置集合中所述唯一配置进行版本更新。
4.如权利要求2所述的集群配置管理方法,其特征在于,所述从预设最优配置集合中选择适配于所述目标集群的唯一配置的步骤之前,所述方法还包括:
获取变更频率高于预设频率的待管理配置;
提取所述待管理配置中的共性配置,并根据所述共性配置,将所述待管理配置按照预设管理层级的形式进行归类处理,得到预设最优配置集合。
5.如权利要求2所述的集群配置管理方法,其特征在于,所述根据所述用户指定需求和所述集群环境,生成适配于所述目标集群的自定义配置的步骤,包括:
根据所述用户指定需求和所述集群环境,确定从预设最优配置集合中是否存在适配的配置;
若存在,则确定所述适配的配置的版本信息;
根据所述版本信息,筛选得到符合预设定制需求的配置,并将其作为自定义配置。
6.如权利要求5所述的集群配置管理方法,其特征在于,在所述用户指定需求中包含指定版本需求时,所述根据所述版本信息,筛选得到符合预设定制需求的配置,并将其作为自定义配置的步骤,包括:
根据所述版本信息,确定是否存在满足预设定制需求和所述指定版本需求的预选配置;
若存在,则根据所述预选配置的版本号,选择最新版本的配置或所述预选配置作为自定义配置。
7.如权利要求1所述的集群配置管理方法,其特征在于,所述获取目标集群的集群环境,并获取用户自定义的配置需求的步骤,包括:
获取不同集群的多组配置信息,并获取各配置信息的历史运行记录;
根据所述历史运行记录,确定满足不同功能需求的最优配置,并将所述最优配置存入预设最优配置集合中,以供生成唯一的配置方案。
8.一种集群配置管理装置,其特征在于,所述集群配置管理装置包括:
获取模块,用于获取目标集群的集群环境,并获取用户自定义的配置需求;
生成模块,用于调取固化的适配于所述目标集群的默认配置,并根据所述配置需求和所述集群环境,生成适配于所述目标集群的待定制配置,其中,所述默认配置为所述目标集群中变更频率低于预设频率的配置,所述待定制配置为所述目标集群中变更频率高于所述预设频率的配置;
配置模块,用于根据所述待定制配置和所述默认配置,生成配置方案,并根据所述配置方案调整所述目标集群运行时的配置。
9.一种集群配置管理设备,其特征在于,所述集群配置管理设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的集群配置管理程序,所述集群配置管理程序配置为实现如权利要求1至7中任一项所述的集群配置管理方法的步骤。
10.一种存储介质,其特征在于,存储介质上存储有实现集群配置管理方法的程序,实现集群配置管理方法的程序被处理器执行以实现如权利要求1至7中任一项所述集群配置管理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311614651.5A CN117614831A (zh) | 2023-11-28 | 2023-11-28 | 集群配置管理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311614651.5A CN117614831A (zh) | 2023-11-28 | 2023-11-28 | 集群配置管理方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117614831A true CN117614831A (zh) | 2024-02-27 |
Family
ID=89949461
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311614651.5A Pending CN117614831A (zh) | 2023-11-28 | 2023-11-28 | 集群配置管理方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117614831A (zh) |
-
2023
- 2023-11-28 CN CN202311614651.5A patent/CN117614831A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109542556B (zh) | 一种基于Activiti的流程与表单交互方法及系统 | |
CN109597814B (zh) | 一种后台管理信息系统的在线快速交付系统 | |
US10255067B2 (en) | Development of internet of things (IoT) applications | |
CN114035773B (zh) | 一种基于配置的低代码开发表单方法、系统及装置 | |
CN104991763B (zh) | 一种通用的游戏界面行为控制系统 | |
WO2018126964A1 (zh) | 任务执行方法、装置和服务器 | |
US20130067456A1 (en) | Application configuration framework for enterprise resource planning application installation | |
CN110427258B (zh) | 基于云平台的资源调度控制方法及装置 | |
CN103488674A (zh) | 计算系统和计算系统的执行控制方法 | |
US20180114135A1 (en) | Process execution using rules framework flexibly incorporating predictive modeling | |
CN101937335A (zh) | 一种生成Widget图标的方法、Widget摘要文件的生成方法及Widget引擎 | |
CN108710489A (zh) | 自动化导数脚本生成方法、装置、计算机设备 | |
CN114912897A (zh) | 工作流执行方法、工作流编排方法及电子设备 | |
CN112948099B (zh) | 任务发布流程方法、装置、计算机设备和存储介质 | |
CN113568614A (zh) | 任务发布方法、电子设备及存储介质 | |
US10706225B2 (en) | Form management system and method | |
CN117614831A (zh) | 集群配置管理方法、装置、设备及存储介质 | |
JP4686117B2 (ja) | ソースコード変換装置、ソースコード変換方法、およびプログラム | |
Etedali et al. | Automated constraint-based multi-tenant saas configuration support using XML filtering techniques | |
EP2738674A1 (en) | Deployment of complex objects of memory database systems | |
CN114237583A (zh) | 一种跨平台可视化代码生成装置和方法 | |
CN107832162A (zh) | 远程调用ModelCenter软件实现多学科设计优化的方法 | |
CN112418796A (zh) | 子流程节点激活方法、装置、电子设备及存储介质 | |
JP2006236375A (ja) | Webアプリケーション開発方法、開発支援システム、および該方法に係るプログラム | |
CN114116629A (zh) | 一种Kubernetes平台日志处理方法及相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |