CN115914392A - 算力网络资源调度方法及系统 - Google Patents
算力网络资源调度方法及系统 Download PDFInfo
- Publication number
- CN115914392A CN115914392A CN202211422941.5A CN202211422941A CN115914392A CN 115914392 A CN115914392 A CN 115914392A CN 202211422941 A CN202211422941 A CN 202211422941A CN 115914392 A CN115914392 A CN 115914392A
- Authority
- CN
- China
- Prior art keywords
- service
- micro
- target
- micro service
- deployment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请提供一种算力网络资源调度方法及系统,方法包括:若在已部署在算力网络内的各个微服务中,匹配到与目标微服务的服务类型相同的微服务,则获取目标微服务的个性化算力和网络资源需求;判断与目标微服务的服务类型相同的微服务中是否包含有与目标微服务的算力资源需求和网络资源需求均匹配的微服务,若有,则将该微服务的部署策略作为目标微服务的目标部署策略,以基于该目标部署策略对所述目标微服务进行部署。本申请能够有效提高确定微服务的资源需求的效率及可靠性,能够综合考虑微服务的算力资源和网络资源需求,并满足微服务部署策略的定制化需求,提高算力网络资源调度的效率及可靠性,改善用户体验。
Description
技术领域
本申请涉及资源调度技术领域,尤其涉及算力网络资源调度方法及系统。
背景技术
算力资源不是单独存在的,算力资源的调度、使用离不开网络的互联互通,随着算力网络的出现,促使网络整体架构出现变革,业务层要求下层能够感知业务场景对算力资源的需求,实现算网的一体化资源调度。通过算力资源调度,实现不同业务场景下,云网边之间的计算、存储、网络资源的按需分配和灵活调度,使算力能够成为各种业务普遍可利用的资源。云计算技术是算力网络的一种应用形式,其将网络和计算机运行模式进行了融合,将整个大数据系统拆分成无数多个小程序,提高计算任务的处理效率。
目前,传统的资源调度技术中网络资源和算力资源是隔离的,没有综合考虑微服务的算力资源和网络资源需求,且缺少针对算力网络的统一资源调度方式,提供的资源调度策略也相对固定,不能按照用户需求进行定制化的调度,对微服务的部署需求感知能力弱,需要进行二次的部署开发以满足不同微服务在算力网络中的部署需求。
因此,亟需设计一种能够同时提高算力网络资源调度效率并满足用户个性化部署需求的算力网络资源调度方法。
发明内容
鉴于此,本申请实施例提供了一种算力网络资源调度方法及系统,以消除或改善现有技术中存在的一个或多个缺陷。
本申请的一个方面提供了一种算力网络资源调度方法,包括:
若在已部署在算力网络内的各个微服务中,匹配到与目标微服务的服务类型相同的微服务,则获取所述目标微服务对应的个性化的算力资源需求和网络资源需求;
判断与所述目标微服务的服务类型相同的微服务中是否包含有与所述目标微服务的算力资源需求和网络资源需求均匹配的微服务,若有,则将该微服务的部署策略作为所述目标微服务的目标部署策略,以基于该目标部署策略对所述目标微服务进行部署。
在本申请的一些实施例中,所述若在已部署在算力网络内的各个微服务中,匹配到与目标微服务的服务类型相同的微服务,则获取所述目标微服务对应的个性化的算力资源需求和网络资源需求,包括:
接收包含有目标微服务的标签的微服务部署请求,所述标签用于标识对应的微服务的服务类型和开发技术;
在包含有已部署在算力网络内的各个微服务的标签的需求匹配数据集中,判断是否存在与所述目标微服务的标签相同的微服务,若是,则生成包含有与所述目标微服务的标签相同的各个微服务的策略匹配数据集;
获取针对所述目标微服务对应的个性化的算力资源需求指标和网络资源需求指标。
在本申请的一些实施例中,在所述获取所述目标微服务对应的个性化的算力资源需求和网络资源需求之前,还包括:
获取当前已部署在算力网络中的各个微服务的各自对应的标签;
对各个所述微服务和各个所述标签之间的对应关系进行初始化存储,以得到当前的需求匹配数据集。
在本申请的一些实施例中,所述判断与所述目标微服务的服务类型相同的微服务中是否包含有与所述目标微服务的算力资源需求和网络资源需求均匹配的微服务,若有,则将该微服务的部署策略作为所述目标微服务的目标部署策略,包括:
将所述策略匹配数据集中的各个所述微服务按照距当前时间由近至远的顺序进行排序;
在所述策略匹配数据集中,依次判断排序后的各个所述微服务中是否存在与所述目标微服务对应的个性化的算力资源需求指标和网络资源需求指标之间均满足预设的相似度的微服务,若有,则停止判断,并将该微服务的部署策略作为所述目标微服务的目标部署策略。
在本申请的一些实施例中,还包括:
若经判断获知所述策略匹配数据集中没有与所述目标微服务对应的个性化的算力资源需求和网络资源需求均匹配的微服务,则统计所述策略匹配数据集中的各个微服务对应的各类部署策略的被选择次数;
若获取到统计结果,则选取所述统计结果中被选择次数最多的部署策略作为所述目标微服务的目标部署策略。
在本申请的一些实施例中,若未在已部署在算力网络内的各个微服务中匹配到与目标微服务的服务类型相同的微服务,或者,若未获取到所述统计结果,则采取随机策略调度所述算力网络的资源对所述目标微服务进行部署。
在本申请的一些实施例中,还包括:
接收目标应用的微服务请求;
在包含有已部署在算力网络内的各个微服务的微服务历史数据中,查找与所述目标应用匹配的至少一个微服务,并获取与所述目标应用匹配的微服务的部署信息;
根据所述部署信息获取与所述目标应用匹配的微服务部署时使用的感知算法,并基于该感知算法针对所述目标应用执行相同类型的应用请求调度算法,以得到所述目标应用在所述算力网络中的资源调度结果。
本申请的另一个方面提供了一种算力网络资源调度系统,包括:微服务需求匹配模块,该微服务需求匹配模块包括:
类型匹配单元,用于若在已部署在算力网络内的各个微服务中,匹配到与目标微服务的服务类型相同的微服务,则获取所述目标微服务对应的个性化的算力资源需求和网络资源需求;
策略匹配单元,用于判断与所述目标微服务的服务类型相同的微服务中是否包含有与所述目标微服务的算力资源需求和网络资源需求均匹配的微服务,若有,则将该微服务的部署策略作为所述目标微服务的目标部署策略,以基于该目标部署策略对所述目标微服务进行部署。
本申请的另一个方面提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述的算力网络资源调度方法。
本申请的另一个方面提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现所述的算力网络资源调度方法。
本申请提供的算力网络资源调度方法,通过统一已部署在算力网络内的各个微服务的服务类型等数据,并在各个微服务中直接匹配与目标微服务的服务类型相同的微服务,能够有效提高确定目标微服务的资源需求的效率及可靠性,进而提高微服务资源部署的效率及可靠性;通过在匹配到服务类型相同的微服务之后,获取目标微服务对应的个性化的算力资源需求和网络资源需求,不但能够实现综合考虑微服务的算力资源和网络资源需求,还能够按照用户需求进行定制化的调度,提高对微服务的部署需求的感知能力,进而能够提高微服务资源部署的有效性及可靠性;通过判断与所述目标微服务的服务类型相同的微服务中是否包含有与所述目标微服务的算力资源需求和网络资源需求均匹配的微服务,若有,则直接将该微服务的部署策略作为所述目标微服务的目标部署策略,能够有效提高获取目标微服务的目标部署策略的效率并提高目标部署策略的应用可靠性,以进一步提高算力网络资源调度的效率及可靠性,并满足用户的个性化调度需求,改善用户体验。
本申请的附加优点、目的,以及特征将在下面的描述中将部分地加以阐述,且将对于本领域普通技术人员在研究下文后部分地变得明显,或者可以根据本申请的实践而获知。本申请的目的和其它优点可以通过在说明书以及附图中具体指出的结构实现到并获得。
本领域技术人员将会理解的是,能够用本申请实现的目的和优点不限于以上具体所述,并且根据以下详细说明将更清楚地理解本申请能够实现的上述和其他目的。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,并不构成对本申请的限定。附图中的部件不是成比例绘制的,而只是为了示出本申请的原理。为了便于示出和描述本申请的一些部分,附图中对应部分可能被放大,即,相对于依据本申请实际制造的示例性系统中的其它部件可能变得更大。在附图中:
图1为FaaS算网架构示意图。
图2为本申请一实施例中的算力网络资源调度方法的总流程示意图。
图3为本申请一实施例中的算力网络资源调度方法的一种具体流程示意图。
图4为本申请一实施例中的算力网络资源调度方法中步骤500至步骤700的流程示意图。
图5为本申请另一实施例中的算力网络资源调度系统的一种结构示意图。
图6为本申请另一实施例中的算力网络资源调度系统的另一种结构示意图。
图7为本申请应用实例中提供的算力网络资源调度系统的架构举例示意图。
图8为本申请应用实例中提供的历史策略匹配算法流程示意图。
图9为本申请应用实例中提供的第k资源调度策略的集群部署流程示意图。
图10为本申请应用实例中提供的应用请求调度流程示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白,下面结合实施方式和附图,对本申请做进一步详细说明。在此,本申请的示意性实施方式及其说明用于解释本申请,但并不作为对本申请的限定。
在此,还需要说明的是,为了避免因不必要的细节而模糊了本申请,在附图中仅仅示出了与根据本申请的方案密切相关的结构和/或处理步骤,而省略了与本申请关系不大的其他细节。
应该强调,术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在,但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
在此,还需要说明的是,如果没有特殊说明,术语“连接”在本文不仅可以指直接连接,也可以表示存在中间物的间接连接。
在下文中,将参考附图描述本申请的实施例。在附图中,相同的附图标记代表相同或类似的部件,或者相同或类似的步骤。
在本申请的一个或多个实施例中,SLA是指服务等级协议(Service-Level-Agreement);FaaS是指功能即服务(Function as a service);Kubernetes是指容器集群管理系统;Operator是指管理Kubernetes集群的软件;Deployment是指集群部署应用和服务的配置文件。
在现有的算力网络资源调度技术中,有的方法以云计算的调度时间和平均能耗为目标,提出使用蚁群算法和模拟退火算法优化云计算下数据中心资源调度。还有的方法以服务质量为优化目标,提出了竞争粒子群算法的云计算资源调度策略。云计算资源调度的影响因子越多,模型也就越复杂,传统的云计算资源调度往往基于某个目标或某些参数指标进行优化,没有考虑到各种调度策略的有机结合。然而为了满足越来越高的算力网络性能需求和差异化的调度策略要求,多目标优化的资源调度是十分需要的。
例如,在一种传统资源调度技术中,算力网络架构中的底层算力网络资源基于云原生资源编排调度技术实现统一纳管,通过算网络统一开放平台对外开放,为从上层用户和开发者提供统一的API接口从而提供算力服务。传统技术通过基础设置层提供计算、存储、网络的统一纳管,上层应用场景只能单纯提供云服务虚机资源、共享存储资源、虚拟网络资源。
但该方式提供的计算、存储、网络服务相对固定,不能按照需求进行定制化的调度,对业务场景的各种需求感知能力弱,没有考虑算力和网络资源的整合问题,需要进行二次的部署开发以满足不同业务网络时延、带宽需求、成本能效要求等差异化算力网络服务需求。
又例如,参见图1,在基于FaaS的算网异构资源统一调度方式中,通过整合了底层算力网络资源的能力,对上通过服务网格的方式实现应用服务的编排调度,同时通过API和服务镜像打包的方式提供算力网络开放能力。有的方法提出利用Operator多集群管理机制实现对于不同数据中心、边缘集群以及网络连接的融合管理,即图1中Kubernetes多集群管理模块。结合业务需求和算力推荐,通过Operator来选择合适的数据中心位置和算力集群来承载应用运行。通过这种机制能供很好的管理多集群,实现算力、存储资源的整合、统一调度,能够实现负载均衡、服务迁移等功能。
然而,Operator多集群资源管理技术主要是用于多集群的管理,如定义Deployment如何部署到不同集群上,及其所需的副本数等。这些集群可能位于不同的可用区、地区或者供应商。其主要作用是化管理多个集群步骤,提供快速的资源编排部署和服务迁移等功能。对于使用算力资源的用户来说,对其不同的业务需求感知能力较弱,并没有提出一个统一的资源调度策略以满足如能效、成本、SLA等要求,难以充分利用计算、存储、网络资源。
综上所述,算力网络资源调度技术是一个非常值得研究的问题,本申请实施例通过基于基准算力模型,对算力网络资源调度流程和算力网络环境下抽象算力资源实体、网络资源实体之间的关系进行分析和研究,根据抽象算力和网络的资源指标特征,构建综合考虑多种调度策略的算力网络资源调度方法,能够有效提高确定微服务的资源需求的效率及可靠性,能够综合考虑微服务的算力资源和网络资源需求,并满足微服务部署策略的定制化需求,提高算力网络资源调度的效率及可靠性,改善用户体验。
具体通过下述实施例进行详细说明。
基于此,本申请实施例提供一种可由算力网络资源调度系统实现的算力网络资源调度方法,参见图2,所述算力网络资源调度方法具体包含有如下内容:
步骤100:若在已部署在算力网络内的各个微服务中,匹配到与目标微服务的服务类型相同的微服务,则获取所述目标微服务对应的个性化的算力资源需求和网络资源需求。
在步骤100中,所述获取所述目标微服务对应的个性化的算力资源需求和网络资源需求具体可以为:算力网络资源调度系统接收用户发送的针对目标微服务的个性化的算力资源需求和网络资源需求。
在本申请的一个或多个实施例中,所述服务类型可以基于实际应用需求人为预先设置,例如可以包含有:电商大数据、交通大数据、AI公共防疫管控以及AI工地上岗等等。
步骤200:判断与所述目标微服务的服务类型相同的微服务中是否包含有与所述目标微服务的算力资源需求和网络资源需求均匹配的微服务,若有,则将该微服务的部署策略作为所述目标微服务的目标部署策略,以基于该目标部署策略对所述目标微服务进行部署。
在步骤200中,与所述目标微服务的算力资源需求和网络资源需求均匹配的微服务,是指这个微服务的算力资源需求与所述目标微服务的算力资源需求相匹配,且这个微服务的网络资源需求也与所述目标微服务的网络资源需求相匹配。可以理解的是,所述相匹配可以指相同,可以指相似,在本申请的一种优选举例中,相匹配以是否相似来判定,且相似的认定可以通过预先设置的相似度阈值来执行,具体在后述实施例中详细说明。
在本申请的一个或多个实施例中,所述部署策略可以根据实际应用需求设置多种类策略,在一种举例中,所述部署策略的类型至少可以包含有:算力网络资源负载、成本、能效以及SLA等调度策略。
从上述描述可知,本申请实施例提供的算力网络资源调度方法,通过统一已部署在算力网络内的各个微服务的服务类型等数据,并在各个微服务中直接匹配与目标微服务的服务类型相同的微服务,能够有效提高确定目标微服务的资源需求的效率及可靠性,进而提高微服务资源部署的效率及可靠性;通过在匹配到服务类型相同的微服务之后,获取目标微服务对应的个性化的算力资源需求和网络资源需求,不但能够实现综合考虑微服务的算力资源和网络资源需求,还能够按照用户需求进行定制化的调度,提高对微服务的部署需求的感知能力,进而能够提高微服务资源部署的有效性及可靠性;通过判断与所述目标微服务的服务类型相同的微服务中是否包含有与所述目标微服务的算力资源需求和网络资源需求均匹配的微服务,若有,则直接将该微服务的部署策略作为所述目标微服务的目标部署策略,能够有效提高获取目标微服务的目标部署策略的效率并提高目标部署策略的应用可靠性,以进一步提高算力网络资源调度的效率及可靠性,并满足用户的个性化调度需求,改善用户体验。
为了进一步提高微服务类型匹配的效率、有效性及可靠性,在本申请实施例提供的一种算力网络资源调度方法中,参见图3,所述算力网络资源调度方法中的步骤100具体包含有如下内容:
步骤110:接收包含有目标微服务的标签的微服务部署请求,所述标签用于标识对应的微服务的服务类型和开发技术。
步骤120:在包含有已部署在算力网络内的各个微服务的标签的需求匹配数据集中,判断是否存在与所述目标微服务的标签相同的微服务,若是,则执行步骤130。
步骤130:生成包含有与所述目标微服务的标签相同的各个微服务的策略匹配数据集。
步骤140:获取针对所述目标微服务对应的个性化的算力资源需求指标和网络资源需求指标。
具体来说,算力网络资源调度系统进行初始化部署时,主要使用业务微服务标签匹配的方法完成部署工作。用户在上传微服务时需要选择微服务标签,标签包括微服务的类型和使用的开发技术,在本算法中,将根据微服务类型标签进行相似微服务的匹配并决定部署算法调用的具体策略。
系统在开发时可以按需灵活设置微服务标签种类,下面仅使用一个示例来介绍本调度算法。假如设置的标签有:
1.电商大数据微服务;
2.交通大数据微服务;
3.AI公共防疫管控微服务;
4.AI工地上岗微服务等。
首先,将待部署的目标微服务记为S0,并将其选取的微服务类型标签记为L,以用来检测该微服务和其他已部署微服务的相似性,实现微服务的匹配。
为了进一步提高微服务类型匹配的效率、有效性及可靠性,在本申请实施例提供的一种算力网络资源调度方法中,参见图3,所述算力网络资源调度方法中的步骤100之前还具体包含有如下内容:
步骤010:获取当前已部署在算力网络中的各个微服务的各自对应的标签;
步骤020:对各个所述微服务和各个所述标签之间的对应关系进行初始化存储,以得到当前的需求匹配数据集。
为了进一步提高微服务的需求匹配的效率、有效性及可靠性,在本申请实施例提供的一种算力网络资源调度方法中,参见图3,所述算力网络资源调度方法中的步骤200具体包含有如下内容:
步骤210:将所述策略匹配数据集中的各个所述微服务按照距当前时间由近至远的顺序进行排序;
步骤220:在所述策略匹配数据集中,依次判断排序后的各个所述微服务中是否存在与所述目标微服务对应的个性化的算力资源需求指标和网络资源需求指标之间均满足预设的相似度的微服务,若有,则执行步骤230。
步骤230:停止判断,并将该微服务的部署策略作为所述目标微服务的目标部署策略。
具体来说,对于标签为L的待部署的微服务S0,选取一段时间内(例如1天、1周或1个月等等)已部署过且具有相同标签L的微服务,并按时间由近到远的顺序将其记为集合S={S1,S2,...,Si,...,Sn},若S为空,则直接采取随机策略进行部署;若S非空,则下面进行资源需求的匹配以进一步实现部署策略的匹配。
依次取集合S中的微服务与S0进行算力资源需求和网络资源需求的相似度分析,该过程仅选取关键算力指标和网络指标进行匹配,而不必使用全部指标。
算力资源需求相似度α计算公式为:
αn=……(开发时可扩展)
其中,第四项显存容量的比较仅针对AI类业务。
实际上,公式中具体指标的选择可以根据微服务类型的实际情况进行不同的设计。比如,如果S0或S中参与对比的微服务对其中某项指标没有提出需求,则不进行该项的比较,也不计入总公式。另外,算力需求相似度计算指标可以根据具体需求扩展增加。在本公式中,若任何有效的αi值均在0.85-1.15范围内,则判断S0与Si算力资源需求相似。
与算力资源需求相似度α类似,网络资源需求相似度β计算公式为:
βn=……(开发时可扩展)
其中,如果S0或S中参与对比的微服务对其中某项指标没有提出需求,则不进行该项的比较,也不计入总公式。另外,网络相似度计算指标可以根据微服务类型的实际情况进行不同的选取和设计。在本公式中,若任何有效的βi值均在0.85-1.15范围内,则判断S0与Si网络资源需求相似。
当判断S0与Si的算力资源需求和网络资源需求都相似时,则认定S0与Si为相似业务,此时停止对S中其他微服务/请求的继续比较。
为了进一步提高算力网络资源调度的效率、有效性及可靠性,在本申请实施例提供的一种算力网络资源调度方法中,参见图3,所述算力网络资源调度方法中的步骤220之后还具体包含有如下内容:
若经步骤220判断获知所述策略匹配数据集中没有与所述目标微服务对应的个性化的算力资源需求和网络资源需求均匹配的微服务,则执行步骤150。
步骤240:统计所述策略匹配数据集中的各个微服务对应的各类部署策略的被选择次数;
若获取到统计结果,则执行步骤300:选取所述统计结果中被选择次数最多的部署策略作为所述目标微服务的目标部署策略。
具体来说,(在日志/数据库中)查询该已部署过的Si的部署策略,统计用户通过手动选择各类部署策略各自的总次数,之后为此待部署微服务调用用户之前选择次数最多的策略。对S0进行部署,并调用相关算法输出相应的部署参数(云,集群,副本(pod)数)。
为了进一步提高算力网络资源调度的效率、有效性及可靠性,在本申请实施例提供的一种算力网络资源调度方法中,参见图3,所述算力网络资源调度方法还具体包含有如下内容:
若经步骤120判断获知未在已部署在算力网络内的各个微服务中匹配到与目标微服务的服务类型相同的微服务,或者,若经步骤150后也未获取到所述统计结果,则执行步骤400。
步骤400:采取随机策略调度所述算力网络的资源对所述目标微服务进行部署。
为了进一步提高算力网络资源调度的使用广泛性、有效性及可靠性,在本申请实施例提供的一种算力网络资源调度方法中,参见图4,所述算力网络资源调度方法中还具体包含有如下内容:
步骤500:接收目标应用的微服务请求;
步骤600:在包含有已部署在算力网络内的各个微服务的微服务历史数据中,查找与所述目标应用匹配的至少一个微服务,并获取与所述目标应用匹配的微服务的部署信息;
步骤700:根据所述部署信息获取与所述目标应用匹配的微服务部署时使用的感知算法,并基于该感知算法针对所述目标应用执行相同类型的应用请求调度算法,以得到所述目标应用在所述算力网络中的资源调度结果。
也就是说,本申请实施例提供的所述算力网络资源调度方法,至少包含有以下优点:
(1)设计了算力网络资源调度系统的架构,将系统解耦为应用需求匹配模块、历史策略匹配模块、请求调度模块,实现了多目标优化的算力网络资源调度的方案。模块化设计便于扩展、组合,例如在负载、成本、能效、SLA等调度策略的基础上增加新的业务需求的资源调度策略。
(2)微服务部署模块使用了多目标优化的资源调度算法,该算法并不是针对某些需求(如带宽、成本等)的定制化方案,而是针对于大量差异化算力需求业务的综合调度方案,其应用标签匹配算法和历史策略匹配算法能够在大量算力网络资源服务请求到来时提供最优的资源调度策略。
(3)微服务请求调度模块与微服务部署模块相分离,便于各种业务的定制化修改。微服务请求调度采用了多集群输出的方式,能实现微服务请求调度的最优决策和负载均衡。
从软件层面来说,本申请还提供一种用于执行所述算力网络资源调度方法中全部或部分内的算力网络资源调度系统的实施例,参见图5,所述算力网络资源调度系统具体包含有如下内容:
微服务需求匹配模块10,该微服务需求匹配模块10包括:
类型匹配单元11,用于若在已部署在算力网络内的各个微服务中,匹配到与目标微服务的服务类型相同的微服务,则获取所述目标微服务对应的个性化的算力资源需求和网络资源需求;
策略匹配单元12,用于判断与所述目标微服务的服务类型相同的微服务中是否包含有与所述目标微服务的算力资源需求和网络资源需求均匹配的微服务,若有,则将该微服务的部署策略作为所述目标微服务的目标部署策略,以基于该目标部署策略对所述目标微服务进行部署。
本申请提供的算力网络资源调度系统的实施例具体可以用于执行上述实施例中的算力网络资源调度方法的实施例的处理流程,其功能在此不再赘述,可以参照上述算力网络资源调度方法实施例的详细描述。
所述算力网络资源调度系统进行算力网络资源调度的部分可以在服务器中执行,而在另一种实际应用情形中,也可以所有的操作都在客户端设备中完成。具体可以根据所述客户端设备的处理能力,以及用户使用场景的限制等进行选择。本申请对此不作限定。若所有的操作都在所述客户端设备中完成,所述客户端设备还可以包括处理器,用于算力网络资源调度的具体处理。
上述的客户端设备可以具有通信模块(即通信单元),可以与远程的服务器进行通信连接,实现与所述服务器的数据传输。所述服务器可以包括任务调度中心一侧的服务器,其他的实施场景中也可以包括中间平台的服务器,例如与任务调度中心服务器有通信链接的第三方服务器平台的服务器。所述的服务器可以包括单台计算机设备,也可以包括多个服务器组成的服务器集群,或者分布式系统的服务器结构。
上述服务器与所述客户端设备端之间可以使用任何合适的网络协议进行通信,包括在本申请提交日尚未开发出的网络协议。所述网络协议例如可以包括TCP/IP协议、UDP/IP协议、HTTP协议、HTTPS协议等。当然,所述网络协议例如还可以包括在上述协议之上使用的RPC协议(Remote Procedure Call Protocol,远程过程调用协议)、REST协议(Representational State Transfer,表述性状态转移协议)等。
从上述描述可知,本申请实施例提供的算力网络资源调度系统,通过统一已部署在算力网络内的各个微服务的服务类型等数据,并在各个微服务中直接匹配与目标微服务的服务类型相同的微服务,能够有效提高确定目标微服务的资源需求的效率及可靠性,进而提高微服务资源部署的效率及可靠性;通过在匹配到服务类型相同的微服务之后,获取目标微服务对应的个性化的算力资源需求和网络资源需求,不但能够实现综合考虑微服务的算力资源和网络资源需求,还能够按照用户需求进行定制化的调度,提高对微服务的部署需求的感知能力,进而能够提高微服务资源部署的有效性及可靠性;通过判断与所述目标微服务的服务类型相同的微服务中是否包含有与所述目标微服务的算力资源需求和网络资源需求均匹配的微服务,若有,则直接将该微服务的部署策略作为所述目标微服务的目标部署策略,能够有效提高获取目标微服务的目标部署策略的效率并提高目标部署策略的应用可靠性,以进一步提高算力网络资源调度的效率及可靠性,并满足用户的个性化调度需求,改善用户体验。
在一种算力网络资源调度系统的优选实施方式中,参见图6,除所述微服务需求匹配模块10之外,所述算力网络资源调度系统还具体包含有如下内容:
初始化模块01,用于执行前述步骤010至步骤020;
历史策略匹配模块20,用于执行前述步骤300;
请求调度模块30,用于执行前述步骤500至步骤700。
而其他未被初始化模块01、历史策略匹配模块20和请求调度模块30执行的前述步骤,均可以由微服务需求匹配模块10执行。
为了进一步说明本方案,本申请还提供一种基于算力网络资源调度系统实现的算力网络资源调度方法的具体应用实例,所述算力网络资源调度系统可以称之为多目标优化的算力网络资源调度系统或者多目标优化资源调度系统,多目标优化的算力网络资源调度系统是对各种感知调度算法如负载、成本、能效、SLA等调度策略进行模块化组合使用。资源调度系统不对感知调度算法本身的机制流程进行修改,也不去对其公式或参数进行联合优化。资源调度系统是在多种资源调度策略中灵活地选择某一种。这样做不仅可以减少算法复杂性,还使得多目标优化资源调度系统的运行流程不受单个算法内部流程的改动的影响,又能满足本项目减少各模块间的耦合性的需求,实现灵活组合可扩展,并提高系统的健壮性。
为了实现满足大量差异化需求业务的调度策略,多目标优化的算力网络资源调度系统在设计微服务部署、请求调度机制的基础上提出了应用需求匹配算法和历史策略匹配算法。系统能够在微服务请求到来时选择最优的资源调度策略,满足不同业务的应用需求,充分利用集群资源。
所述多目标优化资源调度系统的架构参见图7,系统分为微服务部署和用户请求调度两个部分。微服务是小规模、松散耦合的云应用程序,是系统部署和请求调度的独立单元,算力网络业务承载于微服务。
本申请应用实例提出的基于算力网络资源调度系统实现的算力网络资源调度方法,具体包含有如下内容:
(一)微服务部署
在用户选择使用多目标优化资源调度部署微服务时,系统首先根据用户上传微服务时选择的微服务类型标签与一段时间内已部署过并具有相同标签的微服务进行匹配;之后,将在这些同类微服务中筛选与待部署微服务的算网需求相似的一个时间最近的微服务,并查询此微服务在部署时使用的部署策略,资源调度系统将为待部署微服务调用与此微服务相同的部署算法。
(1)初始化模块
多目标优化资源调度系统进行初始化部署时,主要使用业务微服务标签匹配的方法完成部署工作。用户在上传微服务时需要选择微服务标签,标签包括微服务的类型和使用的开发技术,在本算法中,将根据微服务类型标签进行相似微服务的匹配并决定部署算法调用的具体策略。
系统在开发时可以按需灵活设置微服务标签种类,下面仅使用一个示例来介绍本调度算法。假如设置的标签有:1.电商大数据微服务、2.交通大数据微服务、3.AI公共防疫管控微服务、4.AI工地上岗微服务等。
首先,将待部署的微服务记为S0,并将其选取的微服务类型标签记为L,以用来检测该微服务和其他微服务的相似性,实现微服务的匹配。
(2)微服务需求匹配模块
对于标签为L的待部署的微服务S0,选取一段时间内(例如1天、1周或1个月等等)已部署过且具有相同标签L的微服务,并按时间由近到远的顺序将其记为集合S={S1,S2,...,Si,...,Sn},若S为空,则直接采取随机策略进行部署;若S非空,则下面进行资源需求的匹配以进一步实现部署策略的匹配。
依次取集合S中的微服务与S0进行算力资源需求和网络资源需求的相似度分析,该过程仅选取关键算力指标和网络指标进行匹配,而不必使用全部指标。
当判断S0与Si的算力资源需求和网络资源需求都相似时,则认定S0与Si为相似业务,此时停止对S中其他微服务/请求的继续比较。
(在日志/数据库中)查询该已部署过的Si的部署策略,统计用户通过手动选择四种调度策略各自的总次数,之后为此待部署微服务调用用户之前选择次数最多的策略。对S0进行部署,并调用相关算法输出相应的部署参数(云,集群,副本(pod)数)。如果在标签匹配步骤中没有匹配到与待部署微服务具有相同标签的已部署微服务,则直接随机为此待部署微服务调用一种部署策略。
(3)历史策略匹配模块
若对S中的所有微服务进行标签匹配后,均未发现与S0的相似微服务,则采取下面的用户历史策略匹配方法进行调度。
对于集合S={S1,S2,...,Si,...,Sn}中的所有微服务,统计用户通过手动选择四种调度策略各自的次数(从日志/数据库中获知相应信息),之后使用选择次数最多的策略对S0进行部署,并调用相关算法输出相应的部署结果(云,集群,副本(pod)数)。
如果此时还未能确定调度策略(例如从未部署过任务因此没有历史标签和行为参考等情况),则随机采取一种感知调度策略进行部署,并输出部署结果(云,集群,副本(pod)数)。
图8为历史策略匹配算法的具体流程图。首先历史策略匹配模块需要输入集群对象列表、候选集群名称列表、微服务对象、微服务标签信息、历史微服务数据文件地址。然后进行初始化操作,遍历N个历史微服务,初始化微服务的对象及场景标签矩阵、微服务的开发技术标签矩阵、微服务的资源需求参数矩阵。遍历完成后生成N个历史微服务的对象及场景标签向量、开发技术标签向量、资源需求参数向量。而待部署微服务也有三个向量。为了计算微服务之间的相似度,流程中使用了协同过滤算法。协同过滤算法的核心思想是通过用户的交互反馈行为,计算用户或者物品之间的相似性,然后根据相似性给用户推荐物品。基于公式(1)可计算对应向量的相似度,使用公式(2)计算两个微服务之间的相似度。若历史微服务综合相似度序列标准差小于1e-4且相似度均小于0.5,表明历史微服务均不与待部署微服务相似,这时随机选择如成本、SLA、负载、能效感知等资源调度策略,否则选择与待部署微服务综合相似度最高的历史微服务的部署算法执行。
(4)资源调度策略部署
微服务匹配筛选过程完成后,若找到了相似度较高的微服务,则按照匹配微服务使用的资源调度策略进行部署,否则随机选择一种资源调度策略部署。多目标优化的算力资源调度系统能够提供多种不同的资源调度策略,多种策略算法可以描述为公式(3)。
rssi=Function(server,Service,reguest) (3)
其中rssi表示第i种资源调度策略,可以用一个函数来表示,其输入参数为server表示集群参数信息;service表示微服务请求信息,如SLA的请求参数、成本请求参数等。request为其他请求参数如输出的集群数量等。
图9为第k种资源调度策略下的部署流程。首先是输入微服务信息,包括微服务请求的各项指标参数,输入集群信息,包括集群静态参数和不断变化的实时参数。然后以第k种策略计算最优的集群如计算成本最优的集群、SLA最优的集群等策略,最后输出部署结果。
(二)应用请求调度
在处理请求消息缓存队列中的用户请求时,算力网络资源调度系统选择沿用微服务部署时选择的算法类型为这些请求进行调度。系统调度算法输出的调度结果有:云,集群,每个集群接收的请求。
图10为应用请求调度的具体流程图。首先请求调度模块需要输入应用请求信息、微服务历史数据,根据微服务请求信息,构建应用请求模型。查找应用请求的微服务部署信息后根据微服务部署时使用的感知算法执行相同种类的应用请求调度算法,得到输出结果包括集群名称、副本数。
其中使用的相同种类应用感知的应用请求调度算法过程与部署算法相似,不同的是,其输出为集群调度的概率分布,系统依据概率选择请求调度的集群。输出示例如下所示,表示调度到集群1的概率为0.3,调度到集群2的概率为0.3,调度到集群3的概率为0.4。
res={集群1:0.3,集群2:0.3,集群3:0.4}
本申请应用实例提出的基于算力网络资源调度系统实现的算力网络资源调度方法,根据抽象算力和网络的资源指标特征,构建综合考虑算力网络资源负载、成本、能效、SLA等调度策略的资源调度模型。同时,调度流程和策略具有高度模块化、灵活组合、可动态插件时扩展等能力,以支撑调度引擎的设计。面向微服务部署的应用需求标签匹配算法与用户历史策略匹配算法。本申请设计了两种匹配算法应用于微服务部署模块。应用需求标签匹配,通过对应用需求的感知,以匹配最佳满足条件的提供算力服务的集群。用户历史策略匹配算法,基于历史应用服务数据,通过自动的业务策略匹配,为相似应用筛选失败的微服务匹配最优的历史部署策略。设计了微服务请求处理和资源调度机制:微服务请求调度模块通过感知应用需求,进行多目标优化的资源调度,通过输出请求调度的集群概率分布,兼顾了应用服务需求和集群的负载均衡。
与现有技术相比,本申请应用实例的有益效果是:
(1)多目标优化算力网络资源调度系统应能根据应用的资源需求匹配最佳算网资源分配或进行可用分配方案的生成,调度流程和策略应具有高度模块化、灵活组合、可动态插件时扩展等能力,满足算网一体调度平台对系统资源分配目标的统一控制,如控制不同场景任务的资源分配额度、优化系统特定维度资源的使用效率等。
(2)根据抽象算力和网络的资源指标特征,构建综合考虑多种调度策略如算力网络资源负载、成本、能效、SLA等调度策略的多目标优化算力网络资源调度系统。
本申请实施例还提供了一种电子设备(也即电子设备),该电子设备可以包括处理器、存储器、接收器及发送器,处理器用于执行上述实施例提及的算力网络资源调度方法,其中处理器和存储器可以通过总线或者其他方式连接,以通过总线连接为例。该接收器可通过有线或无线方式与处理器、存储器连接。
处理器可以为中央处理器(Central Processing Unit,CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如本申请实施例中的算力网络资源调度方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块,从而执行处理器的各种功能应用以及数据处理,即实现上述方法实施例中的算力网络资源调度方法。
存储器可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储处理器所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器可选包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器中,当被所述处理器执行时,执行实施例中的算力网络资源调度方法。
在本申请的一些实施例中,用户设备可以包括处理器、存储器和收发单元,该收发单元可包括接收器和发送器,处理器、存储器、接收器和发送器可通过总线系统连接,存储器用于存储计算机指令,处理器用于执行存储器中存储的计算机指令,以控制收发单元收发信号。
作为一种实现方式,本申请中接收器和发送器的功能可以考虑通过收发电路或者收发的专用芯片来实现,处理器可以考虑通过专用处理芯片、处理电路或通用芯片实现。
作为另一种实现方式,可以考虑使用通用计算机的方式来实现本申请实施例提供的服务器。即将实现处理器,接收器和发送器功能的程序代码存储在存储器中,通用处理器通过执行存储器中的代码来实现处理器,接收器和发送器的功能。
本申请实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时以实现前述算力网络资源调度方法的步骤。该计算机可读存储介质可以是有形存储介质,诸如随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、软盘、硬盘、可移动存储盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
本领域普通技术人员应该可以明白,结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法,能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。当以硬件方式实现时,其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时,本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中,或者通过载波中携带的数据信号在传输介质或者通信链路上传送。
需要明确的是,本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见,这里省略了对已知方法的详细描述。在上述实施例中,描述和示出了若干具体的步骤作为示例。但是,本申请的方法过程并不限于所描述和示出的具体步骤,本领域的技术人员可以在领会本申请的精神后,作出各种改变、修改和添加,或者改变步骤之间的顺序。
本申请中,针对一个实施方式描述和/或例示的特征,可以在一个或更多个其它实施方式中以相同方式或以类似方式使用,和/或与其他实施方式的特征相结合或代替其他实施方式的特征
以上所述仅为本申请的优选实施例,并不用于限制本申请,对于本领域的技术人员来说,本申请实施例可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种算力网络资源调度方法,其特征在于,包括:
若在已部署在算力网络内的各个微服务中,匹配到与目标微服务的服务类型相同的微服务,则获取所述目标微服务对应的个性化的算力资源需求和网络资源需求;
判断与所述目标微服务的服务类型相同的微服务中是否包含有与所述目标微服务的算力资源需求和网络资源需求均匹配的微服务,若有,则将该微服务的部署策略作为所述目标微服务的目标部署策略,以基于该目标部署策略对所述目标微服务进行部署。
2.根据权利要求1所述的算力网络资源调度方法,其特征在于,所述若在已部署在算力网络内的各个微服务中,匹配到与目标微服务的服务类型相同的微服务,则获取所述目标微服务对应的个性化的算力资源需求和网络资源需求,包括:
接收包含有目标微服务的标签的微服务部署请求,所述标签用于标识对应的微服务的服务类型和开发技术;
在包含有已部署在算力网络内的各个微服务的标签的需求匹配数据集中,判断是否存在与所述目标微服务的标签相同的微服务,若是,则生成包含有与所述目标微服务的标签相同的各个微服务的策略匹配数据集;
获取针对所述目标微服务对应的个性化的算力资源需求指标和网络资源需求指标。
3.根据权利要求2所述的算力网络资源调度方法,其特征在于,在述获取所述目标微服务对应的个性化的算力资源需求和网络资源需求之前,还包括:
获取当前已部署在算力网络中的各个微服务的各自对应的标签;
对各个所述微服务和各个所述标签之间的对应关系进行初始化存储,以得到当前的需求匹配数据集。
4.根据权利要求2所述的算力网络资源调度方法,其特征在于,所述判断与所述目标微服务的服务类型相同的微服务中是否包含有与所述目标微服务的算力资源需求和网络资源需求均匹配的微服务,若有,则将该微服务的部署策略作为所述目标微服务的目标部署策略,包括:
将所述策略匹配数据集中的各个所述微服务按照距当前时间由近至远的顺序进行排序;
在所述策略匹配数据集中,依次判断排序后的各个所述微服务中是否存在与所述目标微服务对应的个性化的算力资源需求指标和网络资源需求指标之间均满足预设的相似度的微服务,若有,则停止判断,并将该微服务的部署策略作为所述目标微服务的目标部署策略。
5.根据权利要求4所述的算力网络资源调度方法,其特征在于,还包括:
若经判断获知所述策略匹配数据集中没有与所述目标微服务对应的个性化的算力资源需求和网络资源需求均匹配的微服务,则统计所述策略匹配数据集中的各个微服务对应的各类部署策略的被选择次数;
若获取到统计结果,则选取所述统计结果中被选择次数最多的部署策略作为所述目标微服务的目标部署策略。
6.根据权利要求5所述的算力网络资源调度方法,其特征在于,若未在已部署在算力网络内的各个微服务中匹配到与目标微服务的服务类型相同的微服务,或者,若未获取到所述统计结果,则采取随机策略调度所述算力网络的资源对所述目标微服务进行部署。
7.根据权利要求1至6任一项所述的算力网络资源调度方法,其特征在于,还包括:
接收目标应用的微服务请求;
在包含有已部署在算力网络内的各个微服务的微服务历史数据中,查找与所述目标应用匹配的至少一个微服务,并获取与所述目标应用匹配的微服务的部署信息;
根据所述部署信息获取与所述目标应用匹配的微服务部署时使用的感知算法,并基于该感知算法针对所述目标应用执行相同类型的应用请求调度算法,以得到所述目标应用在所述算力网络中的资源调度结果。
8.一种算力网络资源调度系统,其特征在于,包括:微服务需求匹配模块,该微服务需求匹配模块包括:
类型匹配单元,用于若在已部署在算力网络内的各个微服务中,匹配到与目标微服务的服务类型相同的微服务,则获取所述目标微服务对应的个性化的算力资源需求和网络资源需求;
策略匹配单元,用于判断与所述目标微服务的服务类型相同的微服务中是否包含有与所述目标微服务的算力资源需求和网络资源需求均匹配的微服务,若有,则将该微服务的部署策略作为所述目标微服务的目标部署策略,以基于该目标部署策略对所述目标微服务进行部署。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的算力网络资源调度方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至7任一项所述的算力网络资源调度方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211422941.5A CN115914392A (zh) | 2022-11-14 | 2022-11-14 | 算力网络资源调度方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211422941.5A CN115914392A (zh) | 2022-11-14 | 2022-11-14 | 算力网络资源调度方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115914392A true CN115914392A (zh) | 2023-04-04 |
Family
ID=86480730
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211422941.5A Pending CN115914392A (zh) | 2022-11-14 | 2022-11-14 | 算力网络资源调度方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115914392A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116643893A (zh) * | 2023-07-27 | 2023-08-25 | 合肥中科类脑智能技术有限公司 | 算力任务的调度方法、调度装置、存储介质及服务器 |
CN116760885A (zh) * | 2023-08-23 | 2023-09-15 | 亚信科技(中国)有限公司 | 算力网络业务管理方法、装置、设备、介质及程序产品 |
CN117240923A (zh) * | 2023-08-30 | 2023-12-15 | 中科驭数(北京)科技有限公司 | Dpu应用的网络资源动态调整方法及装置 |
CN117687798A (zh) * | 2024-02-01 | 2024-03-12 | 浪潮通信信息系统有限公司 | 一种算力网络原生应用管控方法、系统及存储介质 |
CN117978554A (zh) * | 2024-04-01 | 2024-05-03 | 浪潮通用软件有限公司 | 一种基于配置的微服务隔离运行方法、设备及介质 |
-
2022
- 2022-11-14 CN CN202211422941.5A patent/CN115914392A/zh active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116643893A (zh) * | 2023-07-27 | 2023-08-25 | 合肥中科类脑智能技术有限公司 | 算力任务的调度方法、调度装置、存储介质及服务器 |
CN116643893B (zh) * | 2023-07-27 | 2023-10-20 | 合肥中科类脑智能技术有限公司 | 算力任务的调度方法、调度装置、存储介质及服务器 |
CN116760885A (zh) * | 2023-08-23 | 2023-09-15 | 亚信科技(中国)有限公司 | 算力网络业务管理方法、装置、设备、介质及程序产品 |
CN116760885B (zh) * | 2023-08-23 | 2023-10-17 | 亚信科技(中国)有限公司 | 算力网络业务管理方法、装置、设备、介质及程序产品 |
CN117240923A (zh) * | 2023-08-30 | 2023-12-15 | 中科驭数(北京)科技有限公司 | Dpu应用的网络资源动态调整方法及装置 |
CN117687798A (zh) * | 2024-02-01 | 2024-03-12 | 浪潮通信信息系统有限公司 | 一种算力网络原生应用管控方法、系统及存储介质 |
CN117687798B (zh) * | 2024-02-01 | 2024-05-10 | 浪潮通信信息系统有限公司 | 一种算力网络原生应用管控方法、系统及存储介质 |
CN117978554A (zh) * | 2024-04-01 | 2024-05-03 | 浪潮通用软件有限公司 | 一种基于配置的微服务隔离运行方法、设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115914392A (zh) | 算力网络资源调度方法及系统 | |
Wang et al. | Convergence of edge computing and deep learning: A comprehensive survey | |
Bhattacharjee et al. | Barista: Efficient and scalable serverless serving system for deep learning prediction services | |
US9576240B2 (en) | Execution allocation cost assessment for computing systems and environments including elastic computing systems and environments | |
US10715388B2 (en) | Using a container orchestration service for dynamic routing | |
CN113037877B (zh) | 云边端架构下时空数据及资源调度的优化方法 | |
Shooshtarian et al. | A clustering-based approach to efficient resource allocation in fog computing | |
US20140139690A1 (en) | Information processing apparatus, camera having communication function, and information processing method | |
US20220358171A1 (en) | Efficient freshness crawl scheduling | |
CN114356548A (zh) | 边缘计算服务的动态扩展及放置方法和装置 | |
JP2019049905A (ja) | デバイス連携サーバおよびデバイス連携プログラム | |
Li et al. | Geo-information processing service composition for concurrent tasks: A QoS-aware game theory approach | |
US10783007B2 (en) | Load distribution for integration scenarios | |
CN116781788B (zh) | 服务决策方法以及服务决策装置 | |
US20210232438A1 (en) | Serverless lifecycle management dispatcher | |
CN116755872A (zh) | 基于topsis的容器化流媒体服务动态加载系统及方法 | |
US20230082903A1 (en) | Autonomic application service framework | |
Liu et al. | Near-data prediction based speculative optimization in a distribution environment | |
CN114462506A (zh) | 一种支持偏好策略的通信网络辅助规划方法及其应用 | |
CN113467892A (zh) | 分布式集群资源配置方法及其相应的装置、设备、介质 | |
KR102642396B1 (ko) | 제한된 gpu리소스를 사용한 딥러닝 추론 모델을 위한 배치 스케줄링 장치 | |
CN117724853B (zh) | 基于人工智能的数据处理方法及装置 | |
CN117496375B (zh) | 面向遥感基础模型的异构npu训练方法及系统 | |
KR102662496B1 (ko) | 멀티 gpu를 사용한 다수의 딥러닝 모델 기반 추론 응답 생성을 위한 배치 스케줄링 방법 | |
US20230273813A1 (en) | Schedule management for machine learning model-based processing in computing environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |