CN117573351A - 集群资源回收方法、装置、设备、存储介质和程序产品 - Google Patents
集群资源回收方法、装置、设备、存储介质和程序产品 Download PDFInfo
- Publication number
- CN117573351A CN117573351A CN202311558107.3A CN202311558107A CN117573351A CN 117573351 A CN117573351 A CN 117573351A CN 202311558107 A CN202311558107 A CN 202311558107A CN 117573351 A CN117573351 A CN 117573351A
- Authority
- CN
- China
- Prior art keywords
- resource
- resources
- hook function
- binding
- item
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000011084 recovery Methods 0.000 title abstract description 16
- 230000027455 binding Effects 0.000 claims abstract description 62
- 238000012217 deletion Methods 0.000 claims description 31
- 230000037430 deletion Effects 0.000 claims description 31
- 238000013507 mapping Methods 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 19
- 238000012544 monitoring process Methods 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 7
- 230000006870 function Effects 0.000 description 56
- 238000010586 diagram Methods 0.000 description 12
- 230000015654 memory Effects 0.000 description 10
- 238000004140 cleaning Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000001960 triggered effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000004064 recycling Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000036541 health Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 101100491335 Caenorhabditis elegans mat-2 gene Proteins 0.000 description 1
- 102100033121 Transcription factor 21 Human genes 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009870 specific binding Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 101150109289 tcf21 gene Proteins 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/301—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is a virtual computing platform, e.g. logically partitioned systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/45562—Creating, deleting, cloning virtual machine instances
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供了一种集群资源回收方法,涉及云计算技术领域,可以应用于金融技术领域。所述方法包括:响应于资源创建事件,获取目标资源的依赖关系,其中,所述依赖关系用于表征资源之间的关联关系;根据所述依赖关系将存在关联的资源进行绑定并记录在配置字典中;为每一新创建资源添加钩子函数,所述钩子函数用于监听与所述新创建资源关联的配置字典;以及当监听到资源项目删除事件时,触发钩子函数对所述资源项目的关联资源进行删除。本公开还提供了一种集群资源回收装置、设备、存储介质和程序产品。
Description
技术领域
本公开涉及云计算技术领域,具体的涉及集群运维技术领域,更具体地涉及一种集群资源回收方法、装置、设备、存储介质和程序产品。
背景技术
在Kubemetes集群中,随着应用程序的不断演化和迭代,资源的创建和删除变得频繁。但是,资源的删除可能会导致资源之间的依赖关系被破坏,从而导致集群中出现不再使用的资源,占用宝贵的集群资源,并且可能导致集群的性能下降和管理的复杂性增加。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
鉴于上述问题,本公开提供了一种提高集群资源回收效率的集群资源回收方法、装置、设备、存储介质和程序产品。
根据本公开的第一个方面,提供了一种集群资源回收方法,所述方法包括:
响应于资源创建事件,获取目标资源的依赖关系,其中,所述依赖关系用于表征资源之间的关联关系;
根据所述依赖关系将存在关联的资源进行绑定并记录在配置字典中;
为每一新创建资源添加钩子函数,所述钩子函数用于监听与所述新创建资源关联的配置字典;以及
当监听到资源项目删除事件时,触发钩子函数对所述资源项目的关联资源进行删除。
根据本公开的实施例,所述根据所述依赖关系将存在关联的资源进行绑定并记录在配置字典中包括:
根据目标资源的依赖关系确定与所述目标资源的关联资源;
为所述目标资源以及所述目标资源的关联资源添加注解标识;以及
根据所述注解标识进行关联资源的绑定。
根据本公开的实施例,所述根据所述注解标识进行关联资源的绑定包括:
根据所述注解标识匹配所述目标资源对应的配置字典;
当确定配置字段中存在目标资源的依赖关系映射时,将资源名称、命名空间和所述注解标识以键值对的形式存储至所述目标资源的依赖关系映射中;以及
当确定配置字段中不存在目标资源的依赖关系映射时,创建新的依赖关系映射,将资源名称、命名空间和所述注解标识以键值对的形式存储至所述新的依赖关系映射中。
根据本公开的实施例,所述当监听到资源项目删除事件时,触发钩子函数对所述资源项目的关联资源进行删除包括:
当监听到任一资源项目删除事件时,删除所述任一资源项目对应的配置字典;以及
响应于配置字典的删除,触发所述任一资源项目的关联资源的钩子函数以删除所述关联资源。
根据本公开的实施例,所述为每一新创建资源添加钩子函数包括:
响应于资源创建事件,若确定新创建资源带有注解标识,根据所述注解标识确定所述新创建资源的关联资源;以及
为新创建资源以及所述新创建资源的关联资源绑定钩子函数。
根据本公开的实施例,所述资源创建事件包括资源项目创建事件、容器资源创建事件、容器控制器资源创建事件和存储卷资源创建事件。
本公开的第二方面提供了一种集群资源回收装置,所述装置包括:
监听模块,用于响应于资源创建事件,获取目标资源的依赖关系,其中,所述依赖关系用于表征资源之间的关联关系;
依赖关联关系绑定模块,用于根据所述依赖关系将存在关联的资源进行绑定并记录在配置字典中;
钩子函数绑定模块,用于为每一新创建资源添加钩子函数,所述钩子函数用于监听与所述新创建资源关联的配置字典;以及
资源删除模块,用于当监听到资源项目删除事件时,触发钩子函数对所述资源项目的关联资源进行删除。
根据本公开的实施例,所述依赖关联关系绑定模块包括:第一确定子模块、注解标识添加子模块和绑定子模块。
第一确定子模块,用于根据目标资源的依赖关系确定与所述目标资源的关联资源;
注解标识添加子模块,用于为所述目标资源以及所述目标资源的关联资源添加注解标识;以及
绑定子模块,用于根据所述注解标识进行关联资源的绑定。
根据本公开的实施例,所述绑定子模块包括:匹配单元、第一确定单元和第二确定单元。
匹配单元,用于根据所述注解标识匹配所述目标资源对应的配置字典;
第一确定单元,用于当确定配置字段中存在目标资源的依赖关系映射时,将资源名称、命名空间和所述注解标识以键值对的形式存储至所述目标资源的依赖关系映射中;以及
第二确定单元,用于当确定配置字段中不存在目标资源的依赖关系映射时,创建新的依赖关系映射,将资源名称、命名空间和所述注解标识以键值对的形式存储至所述新的依赖关系映射中。
根据本公开的实施例,所述资源删除模块包括:监听子模块和资源删除子模块。
监听子模块,用于当监听到任一资源项目删除事件时,删除所述任一资源项目对应的配置字典;以及
资源删除子模块,用于响应于配置字典的删除,触发所述任一资源项目的关联资源的钩子函数以删除所述关联资源。
根据本公开的实施例,所述钩子函数绑定模块包括:第二确定子模块和钩子函数绑定子模块。
第二确定子模块,用于响应于资源创建事件,若确定新创建资源带有注解标识,根据所述注解标识确定所述新创建资源的关联资源;以及
钩子函数绑定子模块,用于为新创建资源以及所述新创建资源的关联资源绑定钩子函数。
本公开的第三方面提供了一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得一个或多个处理器执行上述集群资源回收方法。
本公开的第四方面还提供了一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行上述集群资源回收方法。
本公开的第五方面还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述集群资源回收方法。
通过本公开的实施例提供的一种集群资源回收方法,在资源创建时,将关联资源添加标识进行绑定,并为每一新创建资源添加钩子函数,钩子函数用于监听与所述新创建资源关联的配置字典,当监听到资源项目删除事件时,资源项目对应的配置字典被删除,触发钩子函数对资源项目的关联资源进行删除。相较于相关技术,本公开实施例提供的集群资源回收方法由于通过对资源依赖关联关系进行定义绑定,能够实现资源的自动高效清理,从而保持集群的健康状态和资源的高效利用。
附图说明
通过以下参照附图对本公开实施例的描述,本公开的上述内容以及其他目的、特征和优点将更为清楚,在附图中:
图1示意性示出了根据本公开实施例的集群资源回收装置的系统架构图;
图2示意性示出了根据本公开实施例的集群资源回收方法、装置、设备、存储介质和程序产品的应用场景图;
图3示意性示出了根据本公开一实施例提供的一种集群资源回收方法的流程图;
图4示意性示出了根据本公开另一实施例提供的关联资源的定义绑定过程的流程图之一;
图5示意性示出了根据本公开另一实施例提供的关联资源的定义绑定过程的流程图之二;
图6示意性示出了根据本公开另一实施例提供的集群资源回收方法的流程图;
图7示意性示出了根据本公开实施例的一种集群资源回收装置的结构框图;以及
图8示意性示出了根据本公开实施例的适于实现集群资源回收方法的电子设备的方框图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本公开实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
首先对本公开实施例出现的术语进行解释:
Kubernetes:用于自动部署、扩展和管理容器化应用程序的开源系统平台。
Pod:Kubernetes平台管理的最小负载单元。
Kube-apiserver:部署在管理节点的暴露Kubernetes API的组件。
k8s-eventer-listener:一个运行在集群外的组件,负责监听Kubernetes集群中的资源创建事件,并将相互有关联的资源绑定起来。
k8s-retries:一个运行在集群内的组件,负责在资源创建时增加资源下的一个删除Hook钩子。
ConfigMap:ConfigMap是k8s中的资源对象,相当于配置文件,用于保存非机密性的配置,数据可以用key/value键值对的形式保存,也可以通过文件进行保存。
当前k8s的资源清理方法通过标记/筛选/删除三部,也就是通过在资源创建时增加标记(比如创建deploy后,后续的rs和pod资源都打上和deploy一样的标记),定时同步这些资源的使用状态,是否可用是否被删除。如果被删除或者不再可用,则会进入删除阶段,删除这些资源和他所关联的下层资源。原生方案中存在以下问题:
1)资源无法自定义依赖关系。例如某个应用下有10个deploy资源,各分为2个一组进行工作。这时如果deploy1和deploy2互为前后端,那么deploy1被删除后,deploy2也要被删除,但是原生方案无法感知到deploy1和deploy2的关联,只能对deployl下的rs和pod进行清理,无法清理deploy2下的资源,即进行横向的清理。
2)资源删除的效率较差。例如某个deploy具有1000个pod副本,1000个pvc存储卷资源,那么当这个deploy删除后,根据原生的方案同步删除这些pod和pvc是非常耗时的,因为删除pod和pvc时还需要去确认他们上层的deploy是否还存在,2000个资源的删除逻辑需要依次去确认他们上层的deploy是否还存在。这种删除是被动的,不是主动的,也存在一个同步周期的延迟问题。
基于上述技术问题,本公开的实施例提供了一种集群资源回收方法,所述方法包括:响应于资源创建事件,获取目标资源的依赖关系,其中,所述依赖关系用于表征资源之间的关联关系;根据所述依赖关系将存在关联的资源进行绑定并记录在配置字典中;为每一新创建资源添加钩子函数,所述钩子函数用于监听与所述新创建资源关联的配置字典;以及当监听到资源项目删除事件时,触发钩子函数对所述资源项目的关联资源进行删除。
图1示意性示出了根据本公开实施例的集群资源回收装置的系统架构图。如图1所示,本公开实施例提供的装置包括:k8s-retries组件和k8s-eventer-listener组件,其中k8s-eventer-listener是一个运行在集群外的组件,负责监听Kubernetes集群中的资源创建事件,并将相互有关联的资源绑定起来,存储至ConfigMap中。当创建一个Deployment时,k8s-eventer-listener会检测到这个事件,并记录下Deployment、ReplicaSet和Pod之间的关联关系,可以通过annotation的方式进行定义和绑定。
k8s-retries是一个运行在集群内的组件,负责在资源创建时增加资源下的一个删除Hook钩子,该Hook钩子函数用于监听与资源关联的ConfigMap,如果与之相关的ConfigMap被删除,那么资源会触发删除Hook钩子,从而完成自身的清理动作。
图2示意性示出了根据本公开实施例的集群资源回收方法、装置、设备、存储介质和程序产品的应用场景图。
如图2所示,根据该实施例的应用场景200可以包括集群资源回收场景。网络204用以在终端设备201、202、203和服务器205之间提供通信链路的介质。网络204可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备201、202、203通过网络204与服务器205交互,以接收或发送消息等。终端设备201、202、203上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备201、202、203可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器205可以是集群运维服务器,该服务器可以执行本公开实施例提供的集群资源回收方法,响应于集群资源创建事件,会获取该资源是否存在资源依赖关系,根据依赖关系将存在关联的资源进行绑定存储至配置字典中,并为每个新创建资源添加一个hook钩子函数,hook钩子函数持续监听配置字典,当资源项目删除时,对应的配置字典也会被删除,此时触发hook钩子函数对资源项目的关联资源进行删除。
需要说明的是,本公开实施例所提供的集群资源回收方法一般可以由服务器205执行。相应地,本公开实施例所提供的集群资源回收装置一般可以设置于服务器205中。本公开实施例所提供的集群资源回收方法也可以由不同于服务器205且能够与终端设备201、202、203和/或服务器205通信的服务器或服务器集群执行。相应地,本公开实施例所提供的集群资源回收装置也可以设置于不同于服务器205且能够与终端设备201、202、203和/或服务器205通信的服务器或服务器集群中。
应该理解,图2中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
需要说明的是,本公开实施例确定的集群资源回收方法和装置可用于云计算技术领域,也可用于人工智能技术领域以及金融技术领域,还可用于除金融领域之外的任意领域,本公开实施例确定的集群资源回收方法和装置的应用领域不做限定。
以下将基于图1描述的系统架构和图2描述的应用场景,通过图3~图6对本公开实施例的集群资源回收方法进行详细描述。
图3示意性示出了根据本公开一实施例提供的一种集群资源回收方法的流程图。如图3所示,该实施例的集群资源回收方法包括操作S210~操作S240,该方法可以由服务器或其他计算设备执行。
在操作S210,响应于资源创建事件,获取目标资源的依赖关系。
根据本公开的实施例,所述依赖关系用于表征资源之间的关联关系。
在操作S220,根据所述依赖关系将存在关联的资源进行绑定并记录在配置字典中。
一个示例中,当某应用deploy启动时,由集群的kubeapiserver收到启动请求,自动创建deploy和它所定义的一系列资源对象,例如rs/pod/pvc。K8s-retries组件中的进程在集群内部监听到资源创建事件之后,会获取目标资源的依赖关系,在本公开实施例中,目标资源指资源项目deploy;该依赖关系为工作人员在项目部署前在前台手动配置好的,用于表征资源之间的关联关系。例如某应用下需部署10个deploy资源,分为deploya和deployb两组,在项目部署时就定义deploya和deployb存在资源依赖关系,例如可以是互为前后端的关系,也可以是几个资源项目deploya、deployb、deployc、deployd共同对外提供某一功能,此时deploya、deployb、deployc、deployd存在依赖关系。根据依赖关系对存在关联的资源进行绑定,存储至configmap配置字典中。具体绑定方法可参见图4和图5所示的操作。
在操作S230,为每一新创建资源添加钩子函数。
根据本公开的实施例,所述钩子函数用于监听与所述新创建资源关联的配置字典。
在操作S240,当监听到资源项目删除事件时,触发钩子函数对所述资源项目的关联资源进行删除。
一个示例中,在K8s集群回收的原生方案中,对于资源项目deploy下层的pod/pvc等资源是通过依次查询进行删除的,即被动删除,本公开实施例中,为了提高资源的回收效率,在每一资源新创建时,k8s-retries组件为每一新创建资源添加一个hook钩子函数,该hook钩子函数触发后会实现资源的自动清理。
一个示例中,当一个资源项目deploya被删除后,其对应的配置字典configmap也被删除,此时会触发deploya下层资源以及deploya关联资源(deployb以其下层资源)中的hook钩子函数,以完成资源的自动清理,大大提高资源回收的效率,避免集群中存在垃圾资源,保证集群的健康度。
通过本公开的实施例提供的一种集群资源回收方法,在资源创建时,将关联资源添加标识进行绑定,并为每一新创建资源添加钩子函数,钩子函数用于监听与所述新创建资源关联的配置字典,当监听到资源项目删除事件时,资源项目对应的配置字典被删除,触发钩子函数对资源项目的关联资源进行删除。相较于相关技术,本公开实施例提供的集群资源回收方法由于通过对资源依赖关联关系进行定义绑定,能够实现资源的自动高效清理,从而保持集群的健康状态和资源的高效利用。
图4示意性示出了根据本公开另一实施例提供的关联资源的定义绑定过程的流程图之一,图5示意性示出了根据本公开另一实施例提供的关联资源的定义绑定过程的流程图之二。
如图4所示,操作S220包括操作S221~操作S223。
在操作S221,根据目标资源的依赖关系确定与所述目标资源的关联资源。
在操作S222,为所述目标资源以及所述目标资源的关联资源添加注解标识。
在操作S223,根据所述注解标识进行关联资源的绑定。
如图5所示,操作S223包括操作S2231~操作S2233。
在操作S2231,根据所述注解标识匹配所述目标资源对应的配置字典;
在操作S2232,当确定配置字段中存在目标资源的依赖关系映射时,将资源名称、命名空间和所述注解标识以键值对的形式存储至所述目标资源的依赖关系映射中;以及
在操作S2233,当确定配置字段中不存在目标资源的依赖关系映射时,创建新的依赖关系映射,将资源名称、命名空间和所述注解标识以键值对的形式存储至所述新的依赖关系映射中。
一个示例中,如图1所示,K8s-retries组件的1号主进程在集群内部发现deploya创建起来后,给所有的关联资源打上annotation注解标识(a-b)。k8s-eventer-listener是一个运行在k8s集群外的组件,负责监听Kubernetes集群中的资源创建事件,并将相互有关联的资源绑定起来。当k8s-eventer-listener监听到deploya带有依赖关系并被创建时,首先会去匹配是否有相关的configmap,若没有则创建一个新的配置字典,并记录下Deployment、ReplicaSet和Pod之间的关联关系,通过annotation注解标识的方式进行定义和绑定,使用ConfigMap进行资源之间关联关系的记录,具体化为不同类型绑定关系的ConfigMap。若有对应的配置字典,则跟着下层资源的启动顺序,依次把pod/pvc/rs等资源添加到configmap的值里来。例如,当创建一个名为″my-deployment″的Deployment时,k8s-eventer-listener查询是否存在my-deployment″的ConfigMap,若不存在,则会创建一个名为″my-deployment″的ConfigMap,并记录下该Deployment与其关联的ReplicaSet和Pod的信息,包括它们的名称、命名空间等。
图6示意性示出了根据本公开另一实施例提供的集群资源回收方法的流程图。如图6所示,包括操作S310~操作S360。
在操作S310,响应于资源创建事件,获取目标资源的依赖关系。
在操作S320,根据所述依赖关系将存在关联的资源进行绑定并记录在配置字典中。
一个示例中,操作S310和操作S320的技术方案和原理可参见前述的操作,在此不再赘述。
在操作S330,响应于资源创建事件,若确定新创建资源带有注解标识,根据所述注解标识确定所述新创建资源的关联资源;以及
在操作S340,为新创建资源以及所述新创建资源的关联资源绑定钩子函数。
根据本公开的实施例,资源创建事件包括资源项目创建事件、容器资源创建事件、容器控制器资源创建事件和存储卷资源创建事件。
一个示例中,K8s-retries组件的2号主进程在集群内部发现有资源带有annotation标记(a-b)创建起来后,会根据注解标识确定该新创建资源的关联资源,给所有的关联资源绑定上一个hook,关联到对应的配置字典中。资源创建事件包括资源项目创建事件,例如deploya/deployb/deployc创建;容器资源创建事件,例如deploy下层的pod1/pod2/pod3创建;容器控制器资源创建事件,例如ReplicaSet创建和存储卷资源创建事件。
在操作S350,当监听到任一资源项目删除事件时,删除所述任一资源项目对应的配置字典;以及
在操作S360,响应于配置字典的删除,触发所述任一资源项目的关联资源的钩子函数以删除所述关联资源。
一个示例中,操作S340绑定的Hook钩子会监听与资源关联的配置字典ConfigMap,如果与之相关的配置字段ConfigMap被删除,那么资源会触发删除Hook钩子,从而完成自身的清理动作。具体的,当创建一个Pod时,k8s-retries会在该Pod的Spec中添加一个删除Hook钩子,用于监听与该Pod相关的配置字典ConfigMap。当后续删除该Pod时,如果与之关联的配置字典ConfigMap被删除,那么Pod的删除Hook钩子会被触发,从而完成Pod的自动清理。
一个示例中,k8s-retries组件通过与k8s-eventer-listener组件中记录的关联关系的ConfigMap进行监听,当检测到与某个资源相关的ConfigMap被删除时,会触发资源的删除Hook钩子。这样,即使资源本身没有被显式地删除,但当与之相关的ConfigMap被删除时,资源也会自动触发删除Hook钩子进行清理,从而避免了资源之间的依赖关系破坏和垃圾资源的积累。例如,deploya与deployb具有依赖关联关系(configmap:a-b),当deploya删除后,deploya对应的配置字典configmap:a-b也会被删除,从而触发与deploya相关联的所有资源的hook钩子进行资源的清理,与deploya相关联的资源包括deploya下层的容器、容器控制器和存储卷等资源以及deployb下层的资源。
通过本公开实施例提供的集群资源回收方法,通过annotation的方式,可以灵活地定义和绑定资源之间的关联关系。例如,可以定义Deployment、ReplicaSet和Pod之间的关联关系,或者定义不同类型资源之间的关联关系,从而适应不同场景下的资源依赖关系。通过在集群外的事件监听器k8s-eventer-listener记录资源之间的关联关系,并在集群内的资源创建时增加删除Hook钩子,实现了资源的自动清理。
基于上述集群资源回收方法,本公开还提供了一种集群资源回收装置。以下将结合图7对该装置进行详细描述。
图7示意性示出了根据本公开实施例的一种集群资源回收装置的结构框图。如图7所示,该实施例的集群资源回收装置700包括监听模块710、依赖关联关系绑定模块720、钩子函数绑定模块730和资源删除模块740。
监听模块710用于响应于资源创建事件,获取目标资源的依赖关系,其中,所述依赖关系用于表征资源之间的关联关系。在一实施例中,监听模块710可以用于执行前文描述的操作S210,在此不再赘述。
依赖关联关系绑定模块720用于根据所述依赖关系将存在关联的资源进行绑定并记录在配置字典中。在一实施例中,依赖关联关系绑定模块720可以用于执行前文描述的操作S220,在此不再赘述。
钩子函数绑定模块730用于为每一新创建资源添加钩子函数,所述钩子函数用于监听与所述新创建资源关联的配置字典。在一实施例中,钩子函数绑定模块730可以用于执行前文描述的操作S230,在此不再赘述。
资源删除模块740用于当监听到资源项目删除事件时,触发钩子函数对所述资源项目的关联资源进行删除。在一实施例中,资源删除模块740可以用于执行前文描述的操作S240,在此不再赘述。
根据本公开的实施例,所述依赖关联关系绑定模块包括:第一确定子模块、注解标识添加子模块和绑定子模块。
第一确定子模块,用于根据目标资源的依赖关系确定与所述目标资源的关联资源;在一实施例中,第一确定子模块可以用于执行前文描述的操作S221,在此不再赘述。
注解标识添加子模块,用于为所述目标资源以及所述目标资源的关联资源添加注解标识;在一实施例中,注解标识添加子模块可以用于执行前文描述的操作S222,在此不再赘述。
绑定子模块,用于根据所述注解标识进行关联资源的绑定。在一实施例中,绑定子模块可以用于执行前文描述的操作S223,在此不再赘述。
根据本公开的实施例,所述绑定子模块包括:匹配单元、第一确定单元和第二确定单元。
匹配单元,用于根据所述注解标识匹配所述目标资源对应的配置字典;在一实施例中,匹配单元可以用于执行前文描述的操作S2231,在此不再赘述。
第一确定单元,用于当确定配置字段中存在目标资源的依赖关系映射时,将资源名称、命名空间和所述注解标识以键值对的形式存储至所述目标资源的依赖关系映射中。在一实施例中,第一确定单元可以用于执行前文描述的操作S2232,在此不再赘述。
第二确定单元,用于当确定配置字段中不存在目标资源的依赖关系映射时,创建新的依赖关系映射,将资源名称、命名空间和所述注解标识以键值对的形式存储至所述新的依赖关系映射中。在一实施例中,第二确定单元可以用于执行前文描述的操作S2233,在此不再赘述。
根据本公开的实施例,所述资源删除模块包括:监听子模块和资源删除子模块。
监听子模块,用于当监听到任一资源项目删除事件时,删除所述任一资源项目对应的配置字典。在一实施例中,监听子模块可以用于执行前文描述的操作S350,在此不再赘述。
资源删除子模块,用于响应于配置字典的删除,触发所述任一资源项目的关联资源的钩子函数以删除所述关联资源。在一实施例中,资源删除子模块可以用于执行前文描述的操作S350,在此不再赘述。
根据本公开的实施例,所述钩子函数绑定模块包括:第二确定子模块和钩子函数绑定子模块。
第二确定子模块,用于响应于资源创建事件,若确定新创建资源带有注解标识,根据所述注解标识确定所述新创建资源的关联资源。在一实施例中,第二确定子模块可以用于执行前文描述的操作S330,在此不再赘述。
钩子函数绑定子模块,用于为新创建资源以及所述新创建资源的关联资源绑定钩子函数。在一实施例中,钩子函数绑定子模块可以用于执行前文描述的操作S340,在此不再赘述。
根据本公开的实施例,监听模块710、依赖关联关系绑定模块720、钩子函数绑定模块730和资源删除模块740中的任意多个模块可以合并在一个模块中实现,或者其中的任意一个模块可以被拆分成多个模块。或者,这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块中实现。根据本公开的实施例,监听模块710、依赖关联关系绑定模块720、钩子函数绑定模块730和资源删除模块740中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,监听模块710、依赖关联关系绑定模块720、钩子函数绑定模块730和资源删除模块740中的至少一个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
图8示意性示出了根据本公开实施例的适于实现集群资源回收方法的电子设备的方框图。
如图8所示,根据本公开实施例的电子设备900包括处理器901,其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。处理器901例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC))等等。处理器901还可以包括用于缓存用途的板载存储器。处理器901可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 903中,存储有电子设备900操作所需的各种程序和数据。处理器901、ROM902以及RAM 903通过总线904彼此相连。处理器901通过执行ROM 902和/或RAM 903中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意,所述程序也可以存储在除ROM 902和RAM 903以外的一个或多个存储器中。处理器901也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例,电子设备900还可以包括输入/输出(I/O)接口905,输入/输出(I/O)接口905也连接至总线904。电子设备900还可以包括连接至I/O接口905的以下部件中的一项或多项:包括键盘、鼠标等的输入部分906;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907;包括硬盘等的存储部分908;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器909也根据需要连接至I/O接口905。可拆卸介质911,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器909上,以便于从其上读出的计算机程序根据需要被安装入存储部分908。
本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的;也可以是单独存在,而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本公开实施例的集群资源回收方法。
根据本公开的实施例,计算机可读存储介质可以是非易失性的计算机可读存储介质,例如可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如,根据本公开的实施例,计算机可读存储介质可以包括上文描述的ROM 902和/或RAM 903和/或ROM 902和RAM 903以外的一个或多个存储器。
本公开的实施例还包括一种计算机程序产品,其包括计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时,该程序代码用于使计算机系统实现本公开实施例所提供的集群资源回收方法。
在该计算机程序被处理器901执行时执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例,上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
在一种实施例中,该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中,该计算机程序也可以在网络介质上以信号的形式进行传输、分发,并通过通信部分909被下载和安装,和/或从可拆卸介质911被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
在这样的实施例中,该计算机程序可以通过通信部分909从网络上被下载和安装,和/或从可拆卸介质911被安装。在该计算机程序被处理器901执行时,执行本公开实施例的系统中限定的上述功能。根据本公开的实施例,上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
根据本公开的实施例,可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码,具体地,可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java,C++,python,“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合,即使这样的组合或结合没有明确记载于本公开中。特别地,在不脱离本公开精神和教导的情况下,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是,这些实施例仅仅是为了说明的目的,而并非为了限制本公开的范围。尽管在以上分别描述了各实施例,但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围,本领域技术人员可以做出多种替代和修改,这些替代和修改都应落在本公开的范围之内。
Claims (10)
1.一种集群资源回收方法,其特征在于,所述方法包括:
响应于资源创建事件,获取目标资源的依赖关系,其中,所述依赖关系用于表征资源之间的关联关系;
根据所述依赖关系将存在关联的资源进行绑定并记录在配置字典中;
为每一新创建资源添加钩子函数,所述钩子函数用于监听与所述新创建资源关联的配置字典;以及
当监听到资源项目删除事件时,触发钩子函数对所述资源项目的关联资源进行删除。
2.根据权利要求1所述的方法,其特征在于,所述根据所述依赖关系将存在关联的资源进行绑定并记录在配置字典中包括:
根据目标资源的依赖关系确定与所述目标资源的关联资源;
为所述目标资源以及所述目标资源的关联资源添加注解标识;以及
根据所述注解标识进行关联资源的绑定。
3.根据权利要求2所述的方法,其特征在于,所述根据所述注解标识进行关联资源的绑定包括:
根据所述注解标识匹配所述目标资源对应的配置字典;
当确定配置字段中存在目标资源的依赖关系映射时,将资源名称、命名空间和所述注解标识以键值对的形式存储至所述目标资源的依赖关系映射中;以及
当确定配置字段中不存在目标资源的依赖关系映射时,创建新的依赖关系映射,将资源名称、命名空间和所述注解标识以键值对的形式存储至所述新的依赖关系映射中。
4.根据权利要求2所述的方法,其特征在于,所述为每一新创建资源添加钩子函数包括:
响应于资源创建事件,若确定新创建资源带有注解标识,根据所述注解标识确定所述新创建资源的关联资源;以及
为新创建资源以及所述新创建资源的关联资源绑定钩子函数。
5.根据权利要求1所述的方法,其特征在于,所述当监听到资源项目删除事件时,触发钩子函数对所述资源项目的关联资源进行删除包括:
当监听到任一资源项目删除事件时,删除所述任一资源项目对应的配置字典;以及
响应于配置字典的删除,触发所述任一资源项目的关联资源的钩子函数以删除所述关联资源。
6.根据权利要求1至5中任一项所述的方法,其特征在于,所述资源创建事件包括资源项目创建事件、容器资源创建事件、容器控制器资源创建事件和存储卷资源创建事件。
7.一种集群资源回收装置,其特征在于,所述装置包括:
监听模块,用于响应于资源创建事件,获取目标资源的依赖关系,其中,所述依赖关系用于表征资源之间的关联关系;
依赖关联关系绑定模块,用于根据所述依赖关系将存在关联的资源进行绑定并记录在配置字典中;
钩子函数绑定模块,用于为每一新创建资源添加钩子函数,所述钩子函数用于监听与所述新创建资源关联的配置字典;以及
资源删除模块,用于当监听到资源项目删除事件时,触发钩子函数对所述资源项目的关联资源进行删除。
8.一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器执行根据权利要求1~6中任一项所述的方法。
9.一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行根据权利要求1~6中任一项所述的方法。
10.一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现根据权利要求1~6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311558107.3A CN117573351A (zh) | 2023-11-21 | 2023-11-21 | 集群资源回收方法、装置、设备、存储介质和程序产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311558107.3A CN117573351A (zh) | 2023-11-21 | 2023-11-21 | 集群资源回收方法、装置、设备、存储介质和程序产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117573351A true CN117573351A (zh) | 2024-02-20 |
Family
ID=89891338
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311558107.3A Pending CN117573351A (zh) | 2023-11-21 | 2023-11-21 | 集群资源回收方法、装置、设备、存储介质和程序产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117573351A (zh) |
-
2023
- 2023-11-21 CN CN202311558107.3A patent/CN117573351A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10735345B2 (en) | Orchestrating computing resources between different computing environments | |
US9207973B2 (en) | Meta-application management in a multitasking environment | |
CN113987074A (zh) | 分布式服务全链路监控方法、装置、电子设备及存储介质 | |
US11171835B2 (en) | Automated generation of an information technology asset ontology | |
US20190014023A1 (en) | Methods for managing self-healing cloud infrastructure and applications | |
US20140026120A1 (en) | Unit testing an enterprise javabeans (ejb) bean class | |
US8515943B2 (en) | System and method for generating dynamic queries | |
US10855750B2 (en) | Centralized management of webservice resources in an enterprise | |
CN113138757B (zh) | 前端代码自动生成方法、装置、服务器、系统及介质 | |
CN112256318B (zh) | 一种用于依赖产品的构建方法及设备 | |
CN110784377A (zh) | 一种多云环境下的云监控数据统一管理的方法 | |
CN111459629A (zh) | 基于Azkaban的项目运行方法、装置及终端设备 | |
CN114490272A (zh) | 数据处理方法及装置、电子设备和计算机可读存储介质 | |
CN109472540B (zh) | 业务处理方法和装置 | |
CN110704122A (zh) | 插件加载方法及装置 | |
CN110795332A (zh) | 一种自动化测试方法和装置 | |
CN117573351A (zh) | 集群资源回收方法、装置、设备、存储介质和程序产品 | |
CN113741888A (zh) | 一种业务处理方法和装置 | |
CN111176959A (zh) | 跨域的应用服务器的预警方法、系统及存储介质 | |
CN110633274B (zh) | 一种告警管理方法和装置 | |
CN115484149B (zh) | 网络切换方法、网络切换装置、电子设备及存储介质 | |
US20210373991A1 (en) | Automated alert augmentation for deployments of software-defined storage | |
CN118034975A (zh) | 数据处理方法、装置、设备及存储介质 | |
US10762090B2 (en) | Software discovery based on metadata analysis | |
CN114371979A (zh) | 容器资源监控方法、装置、设备、介质和程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |