CN112965795A - 集群调度方法、电子设备及存储介质 - Google Patents

集群调度方法、电子设备及存储介质 Download PDF

Info

Publication number
CN112965795A
CN112965795A CN202110199376.XA CN202110199376A CN112965795A CN 112965795 A CN112965795 A CN 112965795A CN 202110199376 A CN202110199376 A CN 202110199376A CN 112965795 A CN112965795 A CN 112965795A
Authority
CN
China
Prior art keywords
cluster
index
parameters
clusters
scheduling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110199376.XA
Other languages
English (en)
Inventor
贾宗杰
袁胜
郑伟平
朱锦雄
方玲
孔令山
李智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aspire Digital Technologies Shenzhen Co Ltd
Original Assignee
Aspire Digital Technologies Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aspire Digital Technologies Shenzhen Co Ltd filed Critical Aspire Digital Technologies Shenzhen Co Ltd
Priority to CN202110199376.XA priority Critical patent/CN112965795A/zh
Publication of CN112965795A publication Critical patent/CN112965795A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • G06F9/4843Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083Techniques for rebalancing the load in a distributed system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393Score-carding, benchmarking or key performance indicator [KPI] analysis

Abstract

本申请公开了一种集群调度方法、电子设备及存储介质,涉及集群调度领域。本申请的集群调度方法,包括:获取预调度的多个集群对应的运行数据,对获取到的运行数据进行处理,得到集群对应的多个指标参数,对多个指标参数加权处理,得到集群对应的指标总参数,根据多个指标总参数对多个集群进行调度。本申请通过对集群的运行数据进行实时监控,并且对指标参数进行处理得到指标总参数,也就是对指标参数进行质量评分,得到每个集群对应的服务质量,依据服务质量对集群进行调度,能够综合多指标参数的负载均衡,保障集群的高质量运行,从而满足精准调度的服务需求。

Description

集群调度方法、电子设备及存储介质
技术领域
本申请涉及集群调度领域,特别涉及一种集群调度方法、电子设备及存储介质。
背景技术
目前,在K8S(kubernetes)集群中,通过设定计算资源的预留及Pod(Plain OldDocumentation,置标语言)的资源占用进行集群内的副本扩缩容,从而达到资源弹性伸缩的目的。但是对于此种方法,存在以下缺陷:单纯以计算资源为依据的伸缩调度缺乏对带宽资源的控制,在高访问、大流量的场景中会造成因为带宽限制而引起服务质量下降,从而无法满足精准调度的服务需求。
发明内容
本申请旨在至少解决现有技术中存在的技术问题之一。为此,本申请提出一种集群调度方法、电子设备及存储介质,能够通过K8S联邦方式对多集群统筹规划,实现服务于多集群间的弹性伸缩调度,在高访问、大流量的场景中能够满足精准调度的服务需求。
根据本申请的第一方面实施例的集群调度方法,包括:
获取预调度的多个集群对应的运行数据;
对所述集群的运行数据进行处理,得到所述集群对应的多个指标参数;
对多个所述指标参数加权处理,得到所述集群对应的指标总参数;
根据多个所述指标总参数对多个所述集群进行调度。
根据本申请实施例的集群调度方法,至少具有如下有益效果:
获取预调度的多个集群对应的运行数据,对获取到的运行数据进行处理,得到集群对应的多个指标参数,对多个指标参数加权处理,得到集群对应的指标总参数,根据多个指标总参数对多个集群进行调度。本申请通过对集群的运行数据进行实时监控,并且对指标参数进行处理得到指标总参数,也就是对指标参数进行质量评分,得到每个集群对应的服务质量,依据服务质量对集群进行调度,能够综合多指标参数的负载均衡,保障集群的高质量运行,从而满足精准调度的服务需求。
根据本申请的一些实施例,所述集群数据包括服务日志;
对应的,所述对所述集群的运行数据进行处理,得到所述集群对应的多个指标参数,包括:
获取所述服务日志中的字段规则;
依据所述字段规则对所述服务日志进行字段提取处理,得到多个日志参数;
获取预设的多个第一加权参数和多个第一指标区间;
基于多个所述第一指标区间对所述日志参数进行区域划分,得到所述日志参数对应的第一评分参数;
根据多个所述第一加权参数对所述第一评分参数进行加权处理,得到多个指标参数。
根据本申请的一些实施例,所述集群数据包括监控指标;
对应的,所述对所述集群的运行数据进行处理,得到所述集群对应的多个指标参数,包括:
获取预设的多个第二加权参数和多个第二指标区间;
基于多个所述第二指标区间对所述监控指标进行区域划分,得到所述监控指标对应的第二评分参数;
根据多个所述第二加权参数对所述第二评分参数进行加权处理,得到多个指标参数。
根据本申请的一些实施例,所述对多个所述指标参数加权处理,得到所述集群对应的指标总参数,包括:
获取预设的多个第三加权参数;
根据多个所述第三加权参数对多个所述集群对应的所述指标参数进行加权处理,得到多个所述集群对应的指标总参数。
根据本申请的一些实施例,所述根据多个所述指标总参数对多个所述集群进行调度,包括:
获取预设的评分阈值;
比较每一所述集群对应的所述指标总参数与所述评分阈值的大小关系;
根据所述大小关系对多个所述集群进行调度。
根据本申请的一些实施例,所述评分阈值包括:第一阈值;
对应的,所述根据所述大小关系对多个所述集群进行调度,包括:
若所述指标总参数小于所述第一阈值,则将所述集群的副本调度至所述指标总参数最高的所述集群中。
根据本申请的一些实施例,所述评分阈值还包括:第二阈值;
对应的,所述根据所述大小关系对多个所述集群进行调度,包括:
判断所述指标总参数是否大于或等于所述第一阈值;
若所述指标总参数大于或等于所述第一阈值,则判断所述指标总参数是否大于或等于所述第二阈值;
若所述指标总参数小于所述第二阈值,则将所述集群的副本调度至所述指标总参数最高的所述集群中。
根据本申请的一些实施例,所述方法还包括:
获取预设外调比例、第三阈值以及与多个所述集群对应的多个位置参数;
根据多个所述位置参数划分预设个数的位置区间;
判断同一位置区间内的多个所述集群是否小于所述第三阈值;
若是,则根据所述预设外调比例将所述位置区间内的部分所述集群调度至相邻的所述位置区间内。
根据本申请的第二方面实施例的电子设备,包括:
至少一个处理器,以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行所述指令时实现如本申请第一方面实施例任一项所述的集群调度方法。
根据本申请实施例的电子设备,至少具有如下有益效果:通过执行如第一方面实施例所述的集群调度方法,获取预调度的多个集群对应的运行数据,对获取到的运行数据进行处理,得到集群对应的多个指标参数,对多个指标参数加权处理,得到集群对应的指标总参数,根据多个指标总参数对多个集群进行调度。本申请通过对集群的运行数据进行实时监控,并且对指标参数进行处理得到指标总参数,也就是对指标参数进行质量评分,得到每个集群对应的服务质量,依据服务质量对集群进行调度,能够综合多指标参数的负载均衡,保障集群的高质量运行,从而满足精准调度的服务需求。
根据本申请的第三方面实施例的计算机可读存储介质,包括:
所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于执行如本申请第一方面实施例所述的集群调度方法。
根据本申请实施例的计算机可读存储指令,至少具有如下有益效果:通过执行如第一方面实施例所述的集群调度方法,获取预调度的多个集群对应的运行数据,对获取到的运行数据进行处理,得到集群对应的多个指标参数,对多个指标参数加权处理,得到集群对应的指标总参数,根据多个指标总参数对多个集群进行调度。本申请通过对集群的运行数据进行实时监控,并且对指标参数进行处理得到指标总参数,也就是对指标参数进行质量评分,得到每个集群对应的服务质量,依据服务质量对集群进行调度,能够综合多指标参数的负载均衡,保障集群的高质量运行,从而满足精准调度的服务需求。
本申请的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
下面结合附图和实施例对本申请做进一步的说明,其中:
图1为本申请一些实施例中提供的集群调度方法的一流程图;
图2为本申请一些实施例提供的集群调度方法的整体结构图;
图3为本申请一些实施例提供的集群调度方法中步骤S200的具体流程图;
图4为本申请一些实施例提供的服务日志指标提取的流程示意图;
图5为本申请另一些实施例提供的集群调度方法中步骤S200的具体流程图;
图6为本申请一些实施例提供的集群调度方法中步骤S300的具体流程图;
图7为本申请一些实施例提供的集群调度方法中步骤S400的具体流程图;
图8为本申请一些实施例中提供的集群调度方法的具体应用流程图;
图9为本申请一些实施例提供的集群调度方法的另一流程图。
具体实施方式
下面详细描述本申请的实施例,实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本申请,而不能理解为对本申请的限制。
本申请的描述中,参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
目前,在K8S集群中,通过设定计算资源的预留及Pod的资源占用进行集群内的副本扩缩容,从而达到资源弹性伸缩的目的。但是对于此种方法,存在以下缺陷:单纯以计算资源为依据的伸缩调度缺乏对带宽资源的控制,在高访问、大流量的场景中会造成因为带宽限制而引起服务质量下降,从而无法满足精准调度的服务需求。
基于此,本申请提出一种集群调度方法、电子设备及存储介质,能够获取预调度的多个集群对应的运行数据,对获取到的运行数据进行处理,得到集群对应的多个指标参数,对多个指标参数加权处理,得到集群对应的指标总参数,根据多个指标总参数对多个集群进行调度。本申请通过对集群的运行数据进行实时监控,并且对指标参数进行处理得到指标总参数,也就是对指标参数进行质量评分,得到每个集群对应的服务质量,依据服务质量对集群进行调度,能够综合多指标参数的负载均衡,保障集群的高质量运行,从而满足精准调度的服务需求。
第一方面,本申请实施例提供了一种集群调度方法。
本申请实施例主要应用外部调度计算的方式对集群间的服务部署进行调度,结合监控数据生成部署和访问调度策略,对服务进行跨集群的统筹规划。主要通过以下方式实现:首先通过对集群指标的实时监控获取集群的资源状况,例如CPU、内存、存储、带宽使用情况以及IO负载和系统负载状况和服务的资源状况,为调度提供数据依据。能力被部署到多个集群后,在每个集群的运行体量以及用户访问该能力时多个集群的访问分配会根据每个集群的资源剩余多少和能力在每个集群的服务质量好坏进行综合评定,进行最优分配。然后会引入外部的DNS调度,对用户访问进行集群外的精准调度,减少转发消耗。DNS调度控制各个地理区域的用户访问每一个能力服务的访问规则,分配相同区域内用户访问相同能力服务时解析到各个集群的比例,精准控制各集群服务各个能力的访问量。接着采集服务日志,分析服务质量指标。最后综合资源指标,例如CPU、内存、存储、带宽、IO负载、load负载和服务质量进行访问和部署的综合调度,保障服务的高质量和集群的健康运行。
参照图1,图1为本申请一些实施例提供的集群调度方法的流程图,具体包括步骤:
S100,获取预调度的多个集群对应的集群数据;
S200,对集群的运行数据进行处理,得到集群对应的多个指标参数;
S300,对多个指标参数加权处理,得到集群对应的指标总参数;
S400,根据多个指标总参数对多个集群进行调度。
在一些实施例中,如图2所示,描述了本申请实施例中资源调度的方法,首先,包括多个K8S集群,每个K8S集群都包括有Service、Prometheus、Log collector以及API(Application Programming Interface,应用程序接口),其中Service是微软Windows操作系统的一部分,用于管理启动和停止服务,该进程也会处理在计算机启动和关机时运行的服务,所以Service对系统的正常运行是非常重要的;其中Prometheus作为K8S原生支持的监控组件,与K8S架构深度融合,可存储监控数据并提供汇总和查询服务;其中Logcollector是收集服务输出日志的工具;API是一些预先定义的接口,例如函数、HTTP接口,或指软件系统不同组成部分衔接的约定,用来提供应用程序与开发人员基于某软件或硬件得以访问的一组例程,而又无需访问源码,或理解内部工作机制的细节。本申请实施例还包括综合调度程序,根据综合调度程序可以对多个集群进行调度。在进行集群调度时,用户对多个K8S集群进行服务访问,综合调度程序可以从多个集群的Prometheus中提取到监控指标,还可以从多个集群的Log collector中提取到服务日志,然后由综合调度程度对监控指标以及服务日志进行解析,接着进行综合计算,将计算所得数据作综合打分评定后根据评定结果生成解析策略和部署调整策略,解析策略交与DNS(Domain Name System,域名系统)服务执行,部署调整策略交与K8s API执行。从而实现根据运行指标进行综合决策并完成对应的部署和解析调整动作的目的。
在步骤S100中,获取预调度的多个集群对应的集群数据,其中集群数据包括但不限于集群中的监控指标以及服务日志,K8S集群提供cadvisor进行集群的资源监控和事件监控,cadvisor是一个运行中的守护进程用来收集、聚合、处理和导出运行容器相关的信息,每个容器保持独立的参数、历史资源使用情况和完整的资源使用数据。可以通过prometheus查询提取一定周期内如一分钟内的监控指标,比如集群资源指标、主机资源指标、pod资源指标,包括CPU使用、内存使用、磁盘使用、磁盘IO、系统load负载、网络带宽等,还可以通过Log collector提取到服务日志,服务日志中也记录有集群多个指标。
在步骤S200中,对集群的运行数据进行处理,得到集群对应的多个指标参数,也就是由综合调度程度对监控指标以及服务日志进行处理,得到多个指标的评分结果。
在一些实施例中,集群数据包括服务日志,如图3所示,步骤S200具体包括步骤:
S210,获取服务日志中的字段规则;
S220,依据字段规则对服务日志进行字段提取处理,得到多个日志参数;
S230,获取预设的多个第一加权参数和多个第一指标区间;
S240,基于多个第一指标区间对日志参数进行区域划分,得到日志参数对应的第一评分参数;
S250,根据多个第一加权参数对第一评分参数进行加权处理,得到多个指标参数。
在步骤S210中,通过Log collector提取到服务日志,服务日志中也记录有集群多个指标,这里的指标可以是下载字节数、下载时长、下载速度以及建连时延等,其中建连时延是系统处理数据所需要的时间。
在步骤S220中,服务日志中记载了字段的提取规则,比如根据字段长度或者类型等提取不同类型的指标,根据字段的提取规则对服务日志进行字段提取处理,在服务日志中提取到用户需要参考的集群指标,比如下载速度等。
在步骤S230中,获取预设的多个第一加权参数,在本实施例中可以将第一加权参数设置为加权值1以及加权值2,本领域技术人员可以根据实际需求设置不同的打分依据,也就是设置不同的加权值。多个第一指标区间,也就是根据实际需求,根据指标具体数值划分不同指标的参数区间。
在步骤S240中,基于多个第一指标区间对日志参数进行区域划分,得到日志参数对应的第一评分参数,其中每一个第一指标区间都对应有多个第一评分参数,这样在对日志参数进行区域划分的时候就对应有第一评分参数,就能够对每一个日志参数进行评分。在实际应用中,比如需要对下载速度进行评分,此时可以直接从日志中提取出下载速度这一指标,也可以从日志中提取出下载字节数以及下载时长,由于下载速度=下载字节数/下载时长,得出下载速度的具体数值,然后根据实际项目需求设置第一指标区间,在这里是文件大小区间,可以设置文件大小区间为:[区间一,0~100k],[区间二,100~500k],[区间三,>500k],然后对下载速度进行评分定档,也就是每一个文件大小区间对应一个第一评分参数,这里可以根据实际需求设置评分标准,比如区间一的评分标准为:[5分,>100kbps],[4分,80~100kbps],[3分,60~80kbps],[2分,40~60kbps],[1分,20~40kbps],[0分,<20kbps],区间二的评分标准为:[5分,>500kbps],[4分,400~500kbps],[3分,300~400kbps],[2分,200~300kbps],[1分,100~200kbps],[0分,<100kbps],区间三的评分标准为:[5分,>1000kbps],[4分,800~1000kbps],[3分,600~800kbps],[2分,400~600kbps],[1分,200~400kbps],[0分,<200kbps],根据评分标准就可以得出下载速度对应的分值。在实际应用中,比如需要对建连时延进行评分,此时可以直接从日志中提取出建连时延这一指标,然后根据实际项目需求设置第一指标区间,在这里是时延区间,可以设置时延区间为:[5分,<10ms],[4分,10~20ms],[3分,20~30ms],[2分,30~40ms],[1分,>40ms],然后根据评分标准就得出建连时延对应的分值。
在步骤S250中,根据多个第一加权参数对第一评分参数进行加权处理,得到多个指标参数,比如在实际应用中,需要对服务质量进行综合的评分,其中服务质量包括下载速度以及建连时延,对下载速度以及建连时延根据第一加权值进行加权处理,得到指标参数,也就是服务质量综合评分,具体为:服务质量综合评分=下载速度评分*加权值1+建连时延评分*加权值2,计算所得评分范围为0~5分。
在实际应用中,如图4所示,介绍了服务日志中字段提取以及计算过程,首先对服务日志进行模板匹配,也就是根据对应的字段提取规则进行字段提取,然后对提取出的字段进行指标计算方法、评分区间和加权值,得出评分。
在一些实施例中,集群数据包括监控指标,如图5所示,步骤S200还包括步骤:
S260,获取预设的多个第二加权参数和多个第二指标区间;
S270,基于多个第二指标区间对监控指标进行区域划分,得到监控指标对应的第二评分参数;
S280,根据多个第二加权参数对第二评分参数进行加权处理,得到多个指标参数。
在步骤S260中,获取预设的多个第二加权参数和多个第二指标区间,第二加权参数根据实际应用设置,用来表示各参数之间的重要程度,第二指标区间是预设的各指标之间的大小区间,在实际应用中,其中每一个第二指标区间都对应有多个第二评分参数,这样在对监控指标进行区域划分的时候就对应有第二评分参数,就能够对每一个监控指标进行评分。
在步骤S270中,基于多个第二指标区间对监控指标进行区域划分,得到监控指标对应的第二评分参数,这里可参考步骤S240中的区间定档评分方法,得到监控指标对应的第二评分参数。
在步骤S280中,根据多个第二加权参数对第二评分参数进行加权处理,得到多个指标参数,这里可参考步骤S250中的加权评分方法,对第二评分参数进行加权处理,在实际应用中,可以通过对监控指标进行评分、加权后得到资源占用率评分。
在一些实施例中,还可以从集群中获取服务的带宽值,并且可以运用到区间定档评分方法得出带宽占有率评分。
在步骤S300中,对多个指标参数加权处理,得到集群对应的指标总参数,这里的多个指标参数可以是日志参数、监控指标以及带宽占用等,对这些参数进行加权处理,得到集群对应的指标总参数,这里的指标总参数可以作为总调度评分的参数。
在一些实施例中,如图6所示,步骤S300具体包括步骤:
S310,获取预设的多个第三加权参数;
S320,根据多个第三加权参数对多个集群对应的指标参数进行加权处理,得到多个集群对应的指标总参数。
在步骤S310中,获取预设的多个第三加权参数,本领域技术人员可以根据实际需求设置不同的打分依据,也就是设置不同的加权值。
在步骤S320中,根据多个第三加权参数对多个集群对应的指标参数进行加权处理,得到多个集群对应的指标总参数,在实际应用中,对日志参数、监控指标以及带宽占用进行评分后得到访问质量评分、计算资源占用率评分以及带宽占用率评分,可以根据实际情况设置访问质量评分加权值为0.2、计算资源占用率评分加权值为0.5以及设置带宽占用率评分加权值为0.3,具体计算过程为:集群评分=带宽占用率评分*加权(0.3)+计算资源占用率评分*加权(0.5)+访问质量评分*加权(0.2)。
在步骤S400中,根据多个指标总参数对多个集群进行调度,可以根据实际需求设定集群评分的及格线3分、优秀线4分,用来判定集群的优秀程度,如果低于及格线进行副本部署向评分高集群的迁移工作,直至整体正常。如果低于优秀线进行访问向评分高集群的调度工作,直至整体优秀。
在一些实施例中,如图7所示,步骤S400具体包括步骤:
S410,获取预设的评分阈值;
S420,比较每一集群对应的指标总参数与评分阈值的大小关系;
S430,根据大小关系对多个集群进行调度。
在步骤S410中,获取预设的评分阈值,也就是设定一个评分阈值,用来设置集群指标总参数的质量标准。
在步骤S420中,比较每一集群对应的指标总参数与评分阈值的大小关系;
在步骤S430中,若集群对应的指标总参数小于评分阈值,则说明指标总参数没有达到质量标准,则将集群调度至指标总参数最高的集群中,若集群对应的指标大于或等于评分阈值,则说明指标总参数达到质量标准,此时不需要对集群进行调度,不需要额外进行集群间转发,减少集群转发的额外消耗。
在一些实施例中,评分阈值包括:第一阈值,也就是及格线,本申请提到的集群调度方法具体还包括:若指标总参数小于第一阈值,则将集群的副本调度至指标总参数最高的集群中。若指标总参数小于第一阈值,也就是指标总参数没有达到质量标准,此时需要将集群的副本调度至指标总参数最高的集群中,以提高集群质量。若指标总参数大于或等于第一阈值,此时不需要对集群进行调度,不需要额外进行集群间转发,减少集群转发的额外消耗。
在一些实施例中,评分阈值还包括:第二阈值,也就是优秀线,本申请提到的集群调度方法具体还包括:判断指标总参数是否大于或等于第一阈值;若指标总参数大于或等于第一阈值,则判断指标总参数是否大于或等于第二阈值;若指标总参数小于第二阈值,则将集群的副本调度或者调度访问至指标总参数的集群中,若指标总参数大于或等于第二阈值,此时不需要对集群进行调度,不需要额外进行集群间转发,减少集群转发的额外消耗。
在一些实施例中,如图8所示,在实际应用中,多集群调度方法步骤如下:对获取到的指标进行综合评分以及加权计算,并且设置评分及格以及评分优秀的预设评分,将指标进行打分后判断是否存在评分不及格的集群,如果存在,就将评分不合格的集群调度副本至评分最优秀的集群中,接着又重新对分配后的集群的指标进行重新打分,不断优化;如果判断出没有存在评分不合格的集群,那么就判断是否存在非优秀集群,如果存在,就将评分非优秀的集群调度访问至评分最优秀的集群中,接着对分配后的集群的指标进行重新打分,不断优化;如果判断出没有存在评分非优秀集群,那么就说明这些集群质量较高,达到了预设效果,所以此时可以等待一段时间比如一分钟,至此集群调度结束。
在一些实施例中,提取DNS解析日志,DNS解析日志包括用户所属区域、解析结果。单条日志反某一区域用户访问某一能力服务时被解析到了哪个集群,此日志提取收集后,综合调度决策环节可根据DNS解析日志字段计算每个区域用户访问每个服务是否由所在大区的集群提供服务,计算跨大区服务比例,作为就近调度原则的参考。在实际应用中,综合调度决策有四条原则,优先级由高到低分别为就近调度原则、带宽不超限原则、计算资源不超限原则、访问质量优先原则。其中优先访问原则是集群根据所在机房物理位置划分大区,同一大区间的集群可互相调度,满足就近访问原则,比如,北京大区包括北京、河北、天津三个集群。其中带宽不超限原则表示集群中需要满足带宽不超过预设带宽限度,计算资源不超限原则表示集群中需要满足计算的资源不超过预设资源限度,访问质量优先原则也就是需要满足集群中多个指标综合质量的评分要求,在本申请的实施例中,只有满足优先级别高的原则才考虑选择优先级别低,并且评分高的集群进行调度。
在一些实施例中,如图9所示,本申请提到的集群调度方法具体还包括步骤:
S500,获取预设外调比例、第三阈值以及与多个集群对应的多个位置参数;
S600,根据多个位置参数划分预设个数的位置区间;
S700,判断同一位置区间内的多个集群是否小于第三阈值;
S800,若是,则根据预设外调比例将位置区间内的部分集群调度至相邻位置区间内。
在步骤S500中,一般来说,优先考虑同一大区的集群互相调度,当同一大区的评分不满足预设值时,才考虑调度至别的大区。如果需要将集群调度至其余大区时,首先需要获取预设外调比例,也就是容忍比例值,大区只容忍制定比例的用户访问被调度到其他大区的集群进行服务,其余资源访问服务只在大区内的集群间进行调度,第三阈值也就是集群中多个指标的评分预设值,多个集群对应的多个位置参数也就是集群中的地理位置,比如可以是地图中的位置。
在步骤S600中,根据多个位置参数划分预设个数的位置区间,也就是将多个集群划分至不同的大区。
在步骤S700中,判断同一位置区间内的多个集群是否小于第三阈值,也就是对同一大区中的多个集群综合评分进行判定,看是否小于第三阈值,若小于第三阈值,则说明这一大区中这多个集群质量都没达到预设质量指标,此时需要将部分集群调度至其余大区内,若大于或等于第三阈值,则说明这一大区中的集群质量达到了预设质量指标,此时不需要将区内的集群调度至其余集群中,减少由于集群调度而产生的损耗。
在步骤S800中,如果区内集群综合评分小于第三阈值,则需要按照预设外调比例将部分集群调度至别的大区中进行服务,并且可以根据实际需求选择位置最近,例如相邻的大区。
在本申请实施例中,通过获取预调度的多个集群对应的运行数据,对获取到的运行数据进行处理,得到集群对应的多个指标参数,对多个指标参数加权处理,得到集群对应的指标总参数,根据多个指标总参数对多个集群进行调度。本申请通过对集群的运行数据进行实时监控,并且对指标参数进行处理得到指标总参数,也就是对指标参数进行质量评分,得到每个集群对应的服务质量,依据服务质量对集群进行调度,能够综合多指标参数的负载均衡,保障集群的高质量运行,从而满足精准调度的服务需求。
第二方面,本申请实施例还提供了一种电子设备。
在一些实施例中,电子设备包括:至少一个处理器,以及与至少一个处理器通信连接的存储器;其中,存储器存储有指令,指令被至少一个处理器执行,以使至少一个处理器执行指令时实现本申请实施例中任一项集群调度方法。
处理器和存储器可以通过总线或者其他方式连接。
存储器作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序以及非暂态性计算机可执行程序,如本申请实施例描述的集群调度方法。处理器通过运行存储在存储器中的非暂态软件程序以及指令,从而实现上述的集群调度方法。
存储器可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储执行上述集群调度方法。此外,存储器可以包括高速随机存取存储器,还可以包括非暂态存储器,比如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中,存储器可选包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实现上述的集群调度方法所需的非暂态软件程序以及指令存储在存储器中,当被一个或者多个处理器执行时,执行上述第一方面实施例中提到的集群调度方法。
第三方面,本申请实施例还提供了计算机可读存储介质。
在一些实施例中,计算机可读存储介质存储有计算机可执行指令,计算机可执行指令用于执行第一方面实施例中提到的集群调度方法。
在一些实施例中,该存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个控制处理器执行,比如,被上述电子设备中的一个处理器执行,可使得上述一个或多个处理器执行上述集群调度方法。
以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
上面结合附图对本申请实施例作了详细说明,但是本申请不限于上述实施例,在所属技术领域普通技术人员所具备的知识范围内,还可以在不脱离本申请宗旨的前提下作出各种变化。此外,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。

Claims (10)

1.集群调度方法,其特征在于,包括:
获取预调度的多个集群对应的运行数据;
对所述集群的运行数据进行处理,得到所述集群对应的多个指标参数;
对多个所述指标参数加权处理,得到所述集群对应的指标总参数;
根据多个所述指标总参数对多个所述集群进行调度。
2.根据权利要求1所述的集群调度方法,其特征在于,所述运行数据包括服务日志;
对应的,所述对所述集群的运行数据进行处理,得到所述集群对应的多个指标参数,包括:
获取所述服务日志中的字段规则;
依据所述字段规则对所述服务日志进行字段提取处理,得到多个日志参数;
获取预设的多个第一加权参数和多个第一指标区间;
基于多个所述第一指标区间对所述日志参数进行区域划分,得到所述日志参数对应的第一评分参数;
根据多个所述第一加权参数对所述第一评分参数进行加权处理,得到多个指标参数。
3.根据权利要求1所述的集群调度方法,其特征在于,所述运行数据包括监控指标;
对应的,所述对所述集群的运行数据进行处理,得到所述集群对应的多个指标参数,包括:
获取预设的多个第二加权参数和多个第二指标区间;
基于多个所述第二指标区间对所述监控指标进行区域划分,得到所述监控指标对应的第二评分参数;
根据多个所述第二加权参数对所述第二评分参数进行加权处理,得到多个指标参数。
4.根据权利要求3所述的集群调度方法,其特征在于,所述对多个所述指标参数加权处理,得到所述集群对应的指标总参数,包括:
获取预设的多个第三加权参数;
根据多个所述第三加权参数对多个所述集群对应的所述指标参数进行加权处理,得到多个所述集群对应的指标总参数。
5.根据权利要求4所述的集群调度方法,其特征在于,所述根据多个所述指标总参数对多个所述集群进行调度,包括:
获取预设的评分阈值;
比较每一所述集群对应的所述指标总参数与所述评分阈值的大小关系;
根据所述大小关系对多个所述集群进行调度。
6.根据权利要求5所述的集群调度方法,其特征在于,所述评分阈值包括:第一阈值;
对应的,所述根据所述大小关系对多个所述集群进行调度,包括:
若所述指标总参数小于所述第一阈值,则将所述集群的副本调度至所述指标总参数最高的所述集群中。
7.根据权利要求6所述的集群调度方法,其特征在于,所述评分阈值还包括:第二阈值;
对应的,所述根据所述大小关系对多个所述集群进行调度,包括:
判断所述指标总参数是否大于或等于所述第一阈值;
若所述指标总参数大于或等于所述第一阈值,则判断所述指标总参数是否大于或等于所述第二阈值;
若所述指标总参数小于所述第二阈值,则将所述集群的副本调度至所述指标总参数最高的所述集群中。
8.根据权利要求7所述的集群调度方法,其特征在于,所述方法还包括:
获取预设外调比例、第三阈值以及与多个所述集群对应的多个位置参数;
根据多个所述位置参数划分预设个数的位置区间;
判断同一位置区间内的多个所述集群是否小于所述第三阈值;
若是,则根据所述预设外调比例将所述位置区间内的部分所述集群调度至相邻的所述位置区间内。
9.电子设备,其特征在于,包括:
至少一个处理器,以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行所述指令时实现如权利要求1至8任一项所述的集群调度方法。
10.计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于执行如权利要求1至8任一项所述的集群调度方法。
CN202110199376.XA 2021-02-23 2021-02-23 集群调度方法、电子设备及存储介质 Pending CN112965795A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110199376.XA CN112965795A (zh) 2021-02-23 2021-02-23 集群调度方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110199376.XA CN112965795A (zh) 2021-02-23 2021-02-23 集群调度方法、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN112965795A true CN112965795A (zh) 2021-06-15

Family

ID=76285600

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110199376.XA Pending CN112965795A (zh) 2021-02-23 2021-02-23 集群调度方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112965795A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113742033A (zh) * 2021-09-08 2021-12-03 广西东信数建信息科技有限公司 一种kubernetes集群联邦系统及其实现方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109167674A (zh) * 2018-07-24 2019-01-08 网宿科技股份有限公司 服务节点的评分方法、域名系统dns调度方法及服务器
CN109933420A (zh) * 2019-04-02 2019-06-25 深圳市网心科技有限公司 节点任务调度方法、电子设备及系统
CN110221915A (zh) * 2019-05-21 2019-09-10 新华三大数据技术有限公司 节点调度方法和装置
CN110389836A (zh) * 2019-07-17 2019-10-29 腾讯科技(深圳)有限公司 一种多集群管理方法、装置、服务器及存储介质
CN110515704A (zh) * 2019-08-30 2019-11-29 广东浪潮大数据研究有限公司 基于Kubernetes系统的资源调度方法及装置
WO2020143164A1 (zh) * 2019-01-08 2020-07-16 平安科技(深圳)有限公司 一种网络资源的分配方法及设备
CN111625337A (zh) * 2020-05-28 2020-09-04 浪潮电子信息产业股份有限公司 一种任务调度方法、装置、电子设备和可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109167674A (zh) * 2018-07-24 2019-01-08 网宿科技股份有限公司 服务节点的评分方法、域名系统dns调度方法及服务器
WO2020143164A1 (zh) * 2019-01-08 2020-07-16 平安科技(深圳)有限公司 一种网络资源的分配方法及设备
CN109933420A (zh) * 2019-04-02 2019-06-25 深圳市网心科技有限公司 节点任务调度方法、电子设备及系统
CN110221915A (zh) * 2019-05-21 2019-09-10 新华三大数据技术有限公司 节点调度方法和装置
CN110389836A (zh) * 2019-07-17 2019-10-29 腾讯科技(深圳)有限公司 一种多集群管理方法、装置、服务器及存储介质
CN110515704A (zh) * 2019-08-30 2019-11-29 广东浪潮大数据研究有限公司 基于Kubernetes系统的资源调度方法及装置
CN111625337A (zh) * 2020-05-28 2020-09-04 浪潮电子信息产业股份有限公司 一种任务调度方法、装置、电子设备和可读存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113742033A (zh) * 2021-09-08 2021-12-03 广西东信数建信息科技有限公司 一种kubernetes集群联邦系统及其实现方法

Similar Documents

Publication Publication Date Title
CN109788488A (zh) 一种网络站点的规划方法和装置
CN111294812B (zh) 一种资源扩容规划的方法及系统
CN112020098B (zh) 负荷均衡方法、装置、计算设备及计算机存储介质
CN112365366A (zh) 一种基于智能化5g切片的微电网管理方法及系统
CN112965795A (zh) 集群调度方法、电子设备及存储介质
CN109391946B (zh) 一种基站簇规划的方法及装置
CN111090401B (zh) 存储设备性能预测方法及装置
CN116866205A (zh) 网络服务动态优化方法、系统、电子设备及介质
CN116887315A (zh) 面向5g的室内外干扰协同智能优化方法及装置
CN114125865B (zh) 一种5g基站的规划方法、装置、计算设备和存储介质
CN114462506B (zh) 一种支持偏好策略的通信网络辅助规划方法及其应用
CN112637904B (zh) 负载均衡方法、装置及计算设备
CN110086662B (zh) 一种需求定义网络的实现方法及网络架构
CN115499846A (zh) 载波动态调度方法、装置、设备及计算机程序产品
CN112925831A (zh) 基于云计算服务的大数据挖掘方法及大数据挖掘服务系统
CN115037625B (zh) 网络切片处理方法、装置、电子设备及可读存储介质
CN115378493B (zh) 地面站通信模式确定方法、装置、电子设备和存储介质
WO2023061200A1 (zh) 网络切片资源编排方法、网络设备及存储介质
CN114896236B (zh) 应用人工智能分析的大数据去噪优化方法及大数据系统
CN114756541B (zh) 用于人工智能训练的大数据特征清洗决策方法及系统
CN117472589B (zh) 一种园区网络服务管理方法及系统
CN116962257A (zh) 一种弱网环境下的网络带宽测量方法、装置和设备
CN110971450B (zh) 用于运维的信息点位排序方法及装置
CN114978951A (zh) 一种云平台负载均衡方法
CN117640386A (zh) 网络切片资源自适应调整方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination