CN110719335B - 天基云雾计算架构下的资源调度方法、系统和存储介质 - Google Patents
天基云雾计算架构下的资源调度方法、系统和存储介质 Download PDFInfo
- Publication number
- CN110719335B CN110719335B CN201911000891.XA CN201911000891A CN110719335B CN 110719335 B CN110719335 B CN 110719335B CN 201911000891 A CN201911000891 A CN 201911000891A CN 110719335 B CN110719335 B CN 110719335B
- Authority
- CN
- China
- Prior art keywords
- node
- resource
- nodes
- preselection
- algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Radio Relay Systems (AREA)
Abstract
本发明提供一种天基云雾计算架构下的资源调度方法、系统和存储介质。本发明调度方法的调度对象是以容器形式部署的天基服务。所述调度方法的作用节点包括天基边缘云和雾卫星集群中的异构资源节点。本发明调度方法的纵向逻辑为先预选再优选,横向逻辑为先调度雾资源再调度云资源。本发明为所述调度方法设计了两种预选算法和两种优选算法:异构资源预选算法、网络连接预选算法、计算性能优先的优选算法、推荐亲和规则的优选算法。本发明能够实现对天基云异构资源和雾异构资源的两层调度,这种调度可以利用历史调度数据,具有对动态网络的适应性,满足天基时延敏感和大数据应用的需求。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种天基云雾计算架构下的资源调度方法、系统和存储介质。
背景技术
云计算是一种基于虚拟化技术的计算存储资源共享模型,是当今网络中的一种主流计算架构。它通过将用户端复杂的计算卸载到云(即数据中心)中处理,再将结果从云端发送给用户,解决了用户终端设备存储和计算资源受限的问题。雾计算则是思科在2014年发布的概念,和由性能强大的资源集中式数据中心支撑的云计算不同,雾计算由性能较弱、分散、异构的各种计算资源组成。它的位置更接近网络边缘,介于云计算和个人计算之间。雾计算是新一代分布式计算,符合互联网的“去中心化”特征,它可以支持和促进不适合云的应用程序。雾计算的出现不是为了替代云计算,而是为了补充云计算,目前基于云雾计算架构的实际应用部署已成为人们进行学术研究的重要课题。
在天基计算架构研究中,为了解决时延敏感和大数据化的空间应用与星地带宽有限之间的矛盾,在软件定义卫星、虚拟化和空间网络等技术的支持下,已有一种天基云雾计算系统被提出。系统中主要包括:用户终端,用于向天基边缘云提出服务请求,并用于向天基边缘云和/或雾卫星集群传输需要计算处理的数据信息;天基边缘云,通过一调度模块获取资源条件并根据资源条件执行调度算法,以进行服务节点部署,且当服务节点部署在天基边缘云上时,执行对数据信息计算处理;雾卫星集群,用于采集数据信息,且当服务节点部署在雾卫星集群时,执行对数据信息计算处理;该计算系统能够实现对数据信息的边缘计算。
天基计算资源的特殊性表现在:(1)异构性:卫星上的计算资源包括CPU、FPGA、GPU、内存等;(2)分散性:卫星计算资源分散在空间的各个位置;(3)动态性:卫星处于运动状态,空间信息网络的拓扑具有时变性。
设计适应天基云雾计算应用背景的调度算法,保证调度的高效和高可靠性,是值得研究的重点和难点。集中式云雾资源统一分配的调度系统需要实现的主要目标包括:高效利用异构资源、满足天基时延敏感和大数据应用的需求、适应动态网络连接、保证服务流的可靠性、实现系统的负载均衡等。
发明内容
为了解决上述至少一个技术问题,本发明提出了一种天基云雾计算架构下的资源调度方法、系统和存储介质。
为了实现上述目的,本发明第一方面提出了一种天基云雾计算架构下的资源调度方法,所述资源调度方法包括:
按照预选算法选出符合条件的雾卫星预选节点或边缘云预选节点;
按照优选算法在所述雾卫星预选节点或边缘云预选节点中选出最优节点;
根据所述最优节点,完成资源调度。
本方案中,所述调度方法的调度对象是以容器形式部署的天基服务,所述调度方法的作用节点包括雾卫星和边缘云中的异构资源节点,所述异构资源为CPU、GPU、FPGA中的一种或几种。
本方案中,按照预选算法筛选出符合条件的雾卫星预选节点或边缘云预选节点,包括:
访问网络连接数据库,获取当前所有与用户节点有连接的雾卫星节点的连接时长信息,并将所述雾卫星节点的序号加入待选集合;
从待选集合中的第一个节点开始,将当前雾卫星节点与用户稳定连接时间和服务请求时间作比较,如大于服务请求时间,将当前雾卫星节点的序号加入预选结果集合;如小于服务请求时间,不作任何操作;
跳转到待选集合中的下一个节点,执行上一步,直到对待选集合中的所有节点完成操作;
输出网络连接预选结果集合。
本方案中,按照预选算法筛选出符合条件的雾卫星预选节点或边缘云预选节点,包括:
以雾卫星节点集合或边缘云节点集合作为输入;
计算用户申请的CPU资源量和运行该应用容器需要的CPU资源量总和,计算用户申请的GPU资源量和运行该应用容器需要的GPU资源量总和,计算用户申请的FPGA资源量和运行该应用容器需要的FPGA资源量总和;
从输入集合中的第一个节点开始,将当前节点可用CPU资源量与需求CPU资源量总和相比较,如大于需求CPU资源量总和,则执行下一步;否则,跳转到输入集合中的下一个节点,执行本步;
将当前节点可用GPU资源量与需求GPU资源量总和相比较,如大于需求GPU资源量总和,则执行下一步;否则,跳转到输入集合中的下一个节点,执行上一步;
将当前节点可用FPGA资源量与需求FPGA资源量总和相比较,如大于需求FPGA资源量总和,则将当前节点的序号加入预选结果集合,并跳转到输入集合中的下一个节点;否则,跳转到输入集合中的下一个节点,执行上上一步;直至对输入集合中的所有节点完成操作;
输出异构资源预选结果集合。
本方案中,按照优选算法在所述雾卫星预选节点或边缘云预选节点中选出最优节点,包括:
以雾卫星节点集合或边缘云节点集合作为输入;
访问硬件资源数据库,获取输入集合中所有节点的计算速度表征参数,所述计算速度表征参数为CPU的频率、GPU的显存和位宽、FPGA的速率等级的一种或几种;
从输入集合中的第一个节点开始,根据以计算速度表征参数为自变量的打分函数,以当前节点的计算速度表征参数为实际变量,得到一个0-100之间的分数;
跳转到输入集合中的下一个节点,打分,直到对集合中的所有节点完成操作;
比较各个节点的分数,得到分数最大的节点序号,输出该节点序号和分数。
本方案中,按照优选算法在所述雾卫星预选节点或边缘云预选节点中选出最优节点,包括:
以雾卫星节点集合或边缘云节点集合作为输入;
访问亲和规则数据库,获取输入集合中所有节点的与用户服务相关的亲和规则,以及该规则对应的权值;
从输入集合中的第一个节点开始,根据以亲和规则权值为自变量的打分函数,以当前节点的亲和规则权值为实际变量,得到一个0-100之间的分数;
跳转到输入集合中的下一个节点,打分,直到对集合中的所有节点完成操作;
比较各个节点的分数,得到分数最大的节点序号,输出该节点序号和分数。
本方案中,所述天基云雾计算架构下的资源调度方法,还包括:
获取任务参数;
获取节点参数;
执行网络连接预选算法;
判断在用户请求时长内是否存在与用户有稳定连接的雾卫星节点,即网络连接预选算法结果是否为空集:若不为空集,则以集合内节点为输入,执行异构资源预选算法;若为空集,则以全部边缘云节点为输入,执行异构资源预选算法;
判断是否存在符合用户申请要求的计算资源节点,即异构资源预选算法结果是否为空集:若异构资源预选算法输入集合为雾卫星节点集合且结果不为空集,则以该结果作为雾资源优选算法的输入;若异构资源预选算法输入集合为雾卫星节点集合且结果为空集,则执行云异构资源预选算法;若异构资源预选算法输入集合为边缘云节点集合且结果不为空集,则以该结果作为云资源优选算法的输入;若异构资源预选算法输入集合为边缘云节点集合且结果为空集,则返回调度失败结果;
执行云或雾优选算法,优选算法的最终分数是计算性能优先的优选分数和推荐亲和规则的优选分数的以一定系数的加权平均值;
选出得分最高节点,完成资源调度。
本发明第二方面还提出一种天基云雾计算架构下的资源调度系统,所述天基云雾计算架构下的资源调度系统包括:存储器及处理器,所述存储器中包括一种天基云雾计算架构下的资源调度方法程序,所述天基云雾计算架构下的资源调度方法程序被所述处理器执行时实现如下步骤:
按照预选算法选出符合条件的雾卫星预选节点或边缘云预选节点;
按照优选算法在所述雾卫星预选节点或边缘云预选节点中选出最优节点;
根据所述最优节点,完成资源调度。
本方案中,所述天基云雾计算架构下的资源调度方法程序被所述处理器执行时还实现如下步骤:
获取任务参数;
获取节点参数;
执行网络连接预选算法;
判断在用户请求时长内是否存在与用户有稳定连接的雾卫星节点,即网络连接预选算法结果是否为空集:若不为空集,则以集合内节点为输入,执行异构资源预选算法;若为空集,则以全部边缘云节点为输入,执行异构资源预选算法;
判断是否存在符合用户申请要求的计算资源节点,即异构资源预选算法结果是否为空集:若异构资源预选算法输入集合为雾卫星节点集合且结果不为空集,则以该结果作为雾资源优选算法的输入;若异构资源预选算法输入集合为雾卫星节点集合且结果为空集,则执行云异构资源预选算法;若异构资源预选算法输入集合为边缘云节点集合且结果不为空集,则以该结果作为云资源优选算法的输入;若异构资源预选算法输入集合为边缘云节点集合且结果为空集,则返回调度失败结果;
执行云或雾优选算法,优选算法的最终分数是计算性能优先的优选分数和推荐亲和规则的优选分数的以一定系数的加权平均值;
选出得分最高节点,完成资源调度。
本发明第三方面还提出一种计算机可读存储介质,所述计算机可读存储介质中包括一种天基云雾计算架构下的资源调度方法程序,所述天基云雾计算架构下的资源调度方法程序被处理器执行时,实现如上述的一种天基云雾计算架构下的资源调度方法的步骤。
本发明调度方法的调度对象是以容器形式部署的天基服务。所述调度方法的作用节点包括天基边缘云和雾卫星集群中的异构资源节点。本发明调度方法的纵向逻辑为先预选再优选,横向逻辑为先调度雾资源再调度云资源。本发明为所述调度方法设计了两种预选算法和两种优选算法:异构资源预选算法、网络连接预选算法、计算性能优先的优选算法、推荐亲和规则的优选算法。本发明能够实现对天基云异构资源和雾异构资源的两层调度,这种调度可以利用历史调度数据,具有对动态网络的适应性,满足天基时延敏感和大数据应用的需求。
本发明的附加方面和优点将在下面的描述部分中给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
图1示出了本发明一种天基云雾计算架构下的资源调度方法的流程图;
图2示出了本发明一实施例的资源调度方法的流程图;
图3示出了本发明资源调度中面向网络连接的节点预选方法的流程图;
图4示出了本发明资源调度中面向异构资源的节点预选方法的流程图;
图5示出了本发明资源调度中基于计算性能的节点优选方法的流程图;
图6示出了本发明资源调度中基于亲和规则的节点优选方法的流程图;
图7示出了本发明一种天基云雾计算架构下的资源调度系统的框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了本发明一种天基云雾计算架构下的资源调度方法的流程图。
如图1所示,本发明第一方面提出一种天基云雾计算架构下的资源调度方法,所述资源调度方法包括:
S102,按照预选算法选出符合条件的雾卫星预选节点或边缘云预选节点;
S104,按照优选算法在所述雾卫星预选节点或边缘云预选节点中选出最优节点;
S106,根据所述最优节点,完成资源调度。
需要说明的是,本发明的调度方法纵向设计采用“预选+优选”的逻辑,预选阶段主要是筛选出可用的节点,优选阶段则根据需要按照不同的策略或策略组合在可用的节点中打分,选出最优节点。
需要说明的是,调度方法横向设计分为雾资源调度和云资源两级调度,雾资源优先调度,然后再考虑云资源调度。调度器获取任务、节点、网络信息之后,首先根据面向网络拓扑和连接的预选算法筛选是否有符合条件的雾卫星节点,如果有,继续根据资源量筛选是否有符合条件的雾卫星节点。至此,雾卫星的预选流程结束,通过此流程的雾卫星节点将进一步被优选算法打分,得分最高者则为调度节点。
需要说明的是,如果预选阶段没有发现合适的雾卫星节点,则对云资源进行预选和进一步的优选打分,选择合适的边缘云节点。
需要说明的是,除了调度方法的横向拓展之外,纵向新设计的内容包括:1、面向网络连接的预选算法:用于筛选用户周围是否有在服务时长内稳定连接的节点;2、面向异构资源的预选算法:用于判断CPU、GPU、FPGA等可用资源是否符合条件;3、计算性能优先的优选算法:偏好计算性能越高,算得越快的节点;4、推荐亲和规则的亲和性优先的优选算法:偏好符合用户定义的亲和规则和系统推荐的亲和规则的节点。
需要说明的是,所述调度方法的调度对象是以容器形式部署的天基服务,所述调度方法的作用节点包括雾卫星和边缘云中的异构资源节点,所述异构资源为CPU、GPU、FPGA中的一种或几种。
CPU作为通用的处理器,兼顾计算和控制,70%晶体管用来构建Cache,还有一部分控制单元,用来处理复杂逻辑和提高指令的执行效率,所以导致计算通用性强,计算处理复杂度高,但计算性能一般。
GPU主要用于类似图像处理的并行计算。图形处理计算的特征表现为高密度的计算而计算需要的数据之间较少存在相关性,GPU提供大量的计算单元(多达几千个计算单元)和大量的高速内存,可以同时对很多像素进行并行处理。
GPU的设计出发点在于GPU更适用于计算强度高、多并行的计算。因此,GPU把晶体管更多用于计算单元,而不像CPU用于数据Cache和流程控制器。这样的设计是因为并行计算时每个数据单元执行相同程序,不需要繁琐的流程控制而更需要高计算能力,因此也不需要大的cache容量。
FPGA作为一种高性能、低功耗的可编程芯片,可以根据客户定制来做针对性的算法设计。所以在处理海量数据的时候,FPGA相比于CPU和GPU,优势在于:FPGA计算效率更高,FPGA更接近IO。
为了进一步说明的本发明的技术方案,下面结合一实施例进行详细说明。
如图2所示,本发明一实施例提出一种资源调度方法,包括:
获取任务参数;
获取节点参数;
执行网络连接预选算法;
判断在用户请求时长内是否存在与用户有稳定连接的雾卫星节点,即网络连接预选算法结果是否为空集:若不为空集,则以集合内节点为输入,执行异构资源预选算法;若为空集,则以全部边缘云节点为输入,执行异构资源预选算法;
判断是否存在符合用户申请要求的计算资源节点,即异构资源预选算法结果是否为空集:若异构资源预选算法输入集合为雾卫星节点集合且结果不为空集,则以该结果作为雾资源优选算法的输入;若异构资源预选算法输入集合为雾卫星节点集合且结果为空集,则执行云异构资源预选算法;若异构资源预选算法输入集合为边缘云节点集合且结果不为空集,则以该结果作为云资源优选算法的输入;若异构资源预选算法输入集合为边缘云节点集合且结果为空集,则返回调度失败结果;
执行云或雾优选算法,优选算法的最终分数是计算性能优先的优选分数和推荐亲和规则的优选分数的以一定系数的加权平均值;
选出得分最高节点,完成资源调度。
本发明所述的预选算法包括面向网络连接的预选算法和面向异构资源的预选算法;所述预选算法的作用是按照一定的比较函数筛选出符合条件的全部节点。
根据本发明的实施例,面向网络连接的预选算法的目标是筛除可能会与用户失去网络连接的节点,关键函数是对用户请求时间和连接时间的比较。
图3示出了本发明资源调度中面向网络连接的节点预选方法的流程图。
如图3所示,按照预选算法筛选出符合条件的雾卫星预选节点或边缘云预选节点,包括:
S302,访问网络连接数据库,获取当前所有与用户节点有连接的雾卫星节点的连接时长信息,并将所述雾卫星节点的序号加入待选集合;
S304,从待选集合中的第一个节点开始,将当前雾卫星节点与用户稳定连接时间和服务请求时间作比较;如当前雾卫星节点与用户稳定连接时间大于用户服务请求时间,将当前雾卫星节点的序号加入预选结果集合;如小于服务请求时间,不作任何操作;
S306,跳转到待选集合中的下一个节点,执行上一步,直到对待选集合中的所有节点完成操作;
S308,输出网络连接预选结果集合。
上述面向网络连接的节点预选方法的伪代码描述如下:
根据本发明的实施例,面向异构资源的预选算法的目标是筛除不符合用户申请的异构资源要求的节点,关键函数是将用户所需异构资源量的总和与节点可被分配的异构资源量进行比较。
图4示出了本发明资源调度中面向异构资源的节点预选方法的流程图。
如图4所示,按照预选算法筛选出符合条件的雾卫星预选节点或边缘云预选节点,包括:
S402,以雾卫星节点集合或边缘云节点集合作为输入;
S404,计算用户申请的CPU资源量和运行该应用容器需要的CPU资源量总和,计算用户申请的GPU资源量和运行该应用容器需要的GPU资源量总和,计算用户申请的FPGA资源量和运行该应用容器需要的FPGA资源量总和;
S406,从输入集合中的第一个节点开始,将当前节点可用CPU资源量与需求CPU资源量总和相比较,如大于需求CPU资源量总和,则执行下一步;否则,跳转到输入集合中的下一个节点,执行本步;
S408,将当前节点可用GPU资源量与需求GPU资源量总和相比较,如大于需求GPU资源量总和,则执行下一步;否则,跳转到输入集合中的下一个节点,执行上一步;
S410,若节点的CPU、GPU、FPGA均符合要求,则加入预选结果集合;
S412,跳转到输入集合中的下一个节点,执行S404-S408;直至对输入集合中的所有节点完成操作;
S414,将当前节点可用FPGA资源量与需求FPGA资源量总和相比较,如大于需求FPGA资源量总和,则将当前节点的序号加入预选结果集合,并跳转到输入集合中的下一个节点;否则,跳转到输入集合中的下一个节点,执行上上一步;直至对输入集合中的所有节点完成操作;
S416,输出异构资源预选结果集合。
上述面向异构资源的节点预选方法的伪代码描述如下:
本发明所述的优选算法包括计算性能优先的优选算法和推荐亲和规则的节点亲和性优先优选算法;所述优选算法的作用是按照一定的打分函数在所有符合条件的节点中选出最优节点。
根据本发明的实施例,计算性能优先的优选算法的目标是选出算得最快的节点,其数学优化表达式为:
约束条件:s.t.
i∈{pod.Request};
node∈{Preselected nodeS}。
图5示出了本发明资源调度中基于计算性能的节点优选方法的流程图。
如图5所示,按照优选算法在所述雾卫星预选节点或边缘云预选节点中选出最优节点,包括:
S502,以雾卫星节点集合或边缘云节点集合作为输入;
S504,访问硬件资源数据库,获取输入集合中所有节点的计算速度表征参数,所述计算速度表征参数为CPU的频率、GPU的显存和位宽、FPGA的速率等级的一种或几种;
S506,从输入集合中的第一个节点开始,根据以计算速度表征参数为自变量的打分函数,以当前节点的计算速度表征参数为实际变量,得到一个0-100之间的分数;
S508,跳转到输入集合中的下一个节点,打分,直到对集合中的所有节点完成操作;
S510,比较各个节点的分数,得到分数最大的节点序号,输出该节点序号和分数。
上述基于计算性能的节点优选方法的伪代码描述如下:
根据本发明的实施例,推荐亲和规则的节点亲和性优先优选算法的目标是选出最符合两组亲和规则的节点。其中一组亲和规则是用户书写yaml文件时定义的,另一组则来源于亲和规则数据库,其数学优化表达式为:
约束条件:s.t.
i∈{node.rule.true in W1};
j∈{node.rule.true in W2};
m∈{all element in W1};
n∈{all element in W2}。
图6示出了本发明资源调度中基于亲和规则的节点优选方法的流程图。
如图6所示,按照优选算法在所述雾卫星预选节点或边缘云预选节点中选出最优节点,包括:
S602,以雾卫星节点集合或边缘云节点集合作为输入;
S604,访问亲和规则数据库,获取输入集合中所有节点的与用户服务相关的亲和规则,以及该规则对应的权值;
S606,从输入集合中的第一个节点开始,根据以亲和规则权值为自变量的打分函数,以当前节点的亲和规则权值为实际变量,得到一个0-100之间的分数;
S608,跳转到输入集合中的下一个节点,打分,直到对集合中的所有节点完成操作;
S610,比较各个节点的分数,得到分数最大的节点序号,输出该节点序号和分数。
上述基于亲和规则的节点优选方法的伪代码描述如下:
图7示出了本发明一种天基云雾计算架构下的资源调度系统的框图。
如图7所示,本发明第二方面还提出一种天基云雾计算架构下的资源调度系统7,所述天基云雾计算架构下的资源调度系统7包括:存储器71及处理器72,所述存储器71中包括一种天基云雾计算架构下的资源调度方法程序,所述天基云雾计算架构下的资源调度方法程序被所述处理器72执行时实现如下步骤:
按照预选算法选出符合条件的雾卫星预选节点或边缘云预选节点;
按照优选算法在所述雾卫星预选节点或边缘云预选节点中选出最优节点;
根据所述最优节点,完成资源调度。
根据本发明的实施例,所述天基云雾计算架构下的资源调度方法程序被所述处理器执行时还实现如下步骤:
获取任务参数;
获取节点参数;
执行网络连接预选算法;
判断在用户请求时长内是否存在与用户有稳定连接的雾卫星节点,即网络连接预选算法结果是否为空集:若不为空集,则以集合内节点为输入,执行异构资源预选算法;若为空集,则以全部边缘云节点为输入,执行异构资源预选算法;
判断是否存在符合用户申请要求的计算资源节点,即异构资源预选算法结果是否为空集:若异构资源预选算法输入集合为雾卫星节点集合且结果不为空集,则以该结果作为雾资源优选算法的输入;若异构资源预选算法输入集合为雾卫星节点集合且结果为空集,则执行云异构资源预选算法;若异构资源预选算法输入集合为边缘云节点集合且结果不为空集,则以该结果作为云资源优选算法的输入;若异构资源预选算法输入集合为边缘云节点集合且结果为空集,则返回调度失败结果;
执行云或雾优选算法,优选算法的最终分数是计算性能优先的优选分数和推荐亲和规则的优选分数的以一定系数的加权平均值;
选出得分最高节点,完成资源调度。
本发明第三方面还提出一种计算机可读存储介质,所述计算机可读存储介质中包括一种天基云雾计算架构下的资源调度方法程序,所述天基云雾计算架构下的资源调度方法程序被处理器执行时,实现如上述的一种天基云雾计算架构下的资源调度方法的步骤。
本发明调度方法的调度对象是以容器形式部署的天基服务。调度方法的作用节点包括天基边缘云和雾卫星集群中的异构资源节点。本发明调度方法的纵向逻辑为先预选再优选,横向逻辑为先调度雾资源再调度云资源。本发明为所述调度方法设计了两种预选算法和两种优选算法:异构资源预选算法、网络连接预选算法、计算性能优先的优选算法、推荐亲和规则的优选算法。本发明能够实现对天基云异构资源和雾异构资源的两层调度,这种调度可以利用历史调度数据,具有对动态网络的适应性,满足天基时延敏感和大数据应用的需求。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (3)
1.一种天基云雾计算架构下的资源调度方法,其特征在于,所述资源调度方法包括:按照预选算法选出符合条件的雾卫星预选节点或边缘云预选节点;按照优选算法在所述雾卫星预选节点或边缘云预选节点中选出最优节点;根据所述最优节点,完成资源调度;
按照预选算法筛选出符合条件的雾卫星预选节点或边缘云预选节点,包括:访问网络连接数据库,获取当前所有与用户节点有连接的雾卫星节点的连接时长信息,并将所述雾卫星节点的序号加入待选集合;从待选集合中的第一个节点开始,将当前雾卫星节点与用户稳定连接时间和服务请求时间作比较,如大于服务请求时间,将当前雾卫星节点的序号加入预选结果集合;如小于服务请求时间,不作任何操作;跳转到待选集合中的下一个节点,执行上一步,直到对待选集合中的所有节点完成操作;输出网络连接预选结果集合;
所述调度方法的调度对象是以容器形式部署的天基服务,所述调度方法的作用节点包括雾卫星和边缘云中的异构资源节点,所述异构资源为CPU、GPU、FPGA中的一种或几种;
按照预选算法筛选出符合条件的雾卫星预选节点或边缘云预选节点,包括:以雾卫星节点集合或边缘云节点集合作为输入;计算用户申请的CPU资源量和运行应用容器需要的CPU资源量总和,计算用户申请的GPU资源量和运行该应用容器需要的GPU资源量总和,计算用户申请的FPGA资源量和运行该应用容器需要的FPGA资源量总和;从输入集合中的第一个节点开始,将当前节点可用CPU资源量与需求CPU资源量总和相比较,如大于需求CPU资源量总和,则执行下一步;否则,跳转到输入集合中的下一个节点,执行本步;将当前节点可用GPU资源量与需求GPU资源量总和相比较,如大于需求GPU资源量总和,则执行下一步;否则,跳转到输入集合中的下一个节点,执行上一步;将当前节点可用FPGA资源量与需求FPGA资源量总和相比较,如大于需求FPGA资源量总和,则将当前节点的序号加入预选结果集合,并跳转到输入集合中的下一个节点;否则,跳转到输入集合中的下一个节点,执行上上一步;直至对输入集合中的所有节点完成操作;输出异构资源预选结果集合;
按照优选算法在所述雾卫星预选节点或边缘云预选节点中选出最优节点,包括:以雾卫星节点集合或边缘云节点集合作为输入;访问硬件资源数据库,获取输入集合中所有节点的计算速度表征参数,所述计算速度表征参数为CPU的频率、GPU的显存和位宽、FPGA 的速率等级的一种或几种;从输入集合中的第一个节点开始,根据以计算速度表征参数为自变量的打分函数,以当前节点的计算速度表征参数为实际变量,得到一个0-100之间的分数;跳转到输入集合中的下一个节点,打分,直到对集合中的所有节点完成操作;比较各个节点的分数,得到分数最大的节点序号,输出该节点序号和分数;
按照优选算法在所述雾卫星预选节点或边缘云预选节点中选出最优节点,包括:以雾卫星节点集合或边缘云节点集合作为输入;访问亲和规则数据库,获取输入集合中所有节点的与用户服务相关的亲和规则,以及该规则对应的权值;从输入集合中的第一个节点开始,根据以亲和规则权值为自变量的打分函数,以当前节点的亲和规则权值为实际变量,得到一个0-100之间的分数;跳转到输入集合中的下一个节点,打分,直到对集合中的所有节点完成操作;比较各个节点的分数,得到分数最大的节点序号,输出该节点序号和分数;
还包括:获取任务参数;获取节点参数;执行网络连接预选算法;判断在用户请求时长内是否存在与用户有稳定连接的雾卫星节点,即网络连接预选算法结果是否为空集:若不为空集,则以集合内节点为输入,执行异构资源预选算法;若为空集,则以全部边缘云节点为输入,执行异构资源预选算法;判断是否存在符合用户申请要求的计算资源节点,即异构资源预选算法结果是否为空集:若异构资源预选算法输入集合为雾卫星节点集合且结果不为空集,则以该结果作为雾资源优选算法的输入;若异构资源预选算法输入集合为雾卫星节点集合且结果为空集,则执行云异构资源预选算法;若异构资源预选算法输入集合为边缘云节点集合且结果不为空集,则以该结果作为云资源优选算法的输入;若异构资源预选算法输入集合为边缘云节点集合且结果为空集,则返回调度失败结果;执行云或雾优选算法,优选算法的最终分数是计算性能优先的优选分数和推荐亲和规则的优选分数的以一定系数的加权平均值;选出得分最高节点,完成资源调度。
2.用于实现权利要求1所述方法的一种天基云雾计算架构下的资源调度系统,其特征在于,所述天基云雾计算架构下的资源调度系统包括:存储器及处理器,所述存储器中包括一种天基云雾计算架构下的资源调度方法程序,所述天基云雾计算架构下的资源调度方法程序被所述处理器执行时实现如下步骤:按照预选算法选出符合条件的雾卫星预选节点或边缘云预选节点;按照优选算法在所述雾卫星预选节点或边缘云预选节点中选出最优节点;根据所述最优节点,完成资源调度;
其中,所述按照预选算法筛选出符合条件的雾卫星预选节点或边缘云预选节点,包括:访问网络连接数据库,获取当前所有与用户节点有连接的雾卫星节点的连接时长信息,并将所述雾卫星节点的序号加入待选集合;从待选集合中的第一个节点开始,将当前雾卫星节点与用户稳定连接时间和服务请求时间作比较,如大于服务请求时间,将当前雾卫星节点的序号加入预选结果集合;如小于服务请求时间,不作任何操作;跳转到待选集合中的下一个节点,执行上一步,直到对待选集合中的所有节点完成操作;输出网络连接预选结果集合;
所述天基云雾计算架构下的资源调度方法程序被所述处理器执行时还实现如下步骤:获取任务参数;获取节点参数;执行网络连接预选算法;判断在用户请求时长内是否存在与用户有稳定连接的雾卫星节点,即网络连接预选算法结果是否为空集:若不为空集,则以集合内节点为输入,执行异构资源预选算法;若为空集,则以全部边缘云节点为输入,执行异构资源预选算法;判断是否存在符合用户申请要求的计算资源节点,即异构资源预选算法结果是否为空集:若异构资源预选算法输入集合为雾卫星节点集合且结果不为空集,则以该结果作为雾资源优选算法的输入;若异构资源预选算法输入集合为雾卫星节点集合且结果为空集,则执行云异构资源预选算法;若异构资源预选算法输入集合为边缘云节点集合且结果不为空集,则以该结果作为云资源优选算法的输入;若异构资源预选算法输入集合为边缘云节点集合且结果为空集,则返回调度失败结果;执行云或雾优选算法,优选算法的最终分数是计算性能优先的优选分数和推荐亲和规则的优选分数的以一定系数的加权平均值;选出得分最高节点,完成资源调度。
3.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中包括一种天基云雾计算架构下的资源调度方法程序,所述天基云雾计算架构下的资源调度方法程序被处理器执行时,实现如权利要求1所述的一种天基云雾计算架构下的资源调度方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911000891.XA CN110719335B (zh) | 2019-10-21 | 2019-10-21 | 天基云雾计算架构下的资源调度方法、系统和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911000891.XA CN110719335B (zh) | 2019-10-21 | 2019-10-21 | 天基云雾计算架构下的资源调度方法、系统和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110719335A CN110719335A (zh) | 2020-01-21 |
CN110719335B true CN110719335B (zh) | 2022-10-04 |
Family
ID=69213009
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911000891.XA Active CN110719335B (zh) | 2019-10-21 | 2019-10-21 | 天基云雾计算架构下的资源调度方法、系统和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110719335B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111310807B (zh) * | 2020-01-27 | 2022-08-19 | 哈尔滨理工大学 | 一种基于异质特征联合自表示的特征子空间与亲和矩阵联合学习方法 |
US11366650B1 (en) | 2020-12-04 | 2022-06-21 | International Business Machines Corporation | Automatic generation of affinity and anti-affinity rules |
CN114090303B (zh) * | 2022-01-14 | 2022-05-03 | 杭州义益钛迪信息技术有限公司 | 软件模块调度方法、装置、电子设备、存储介质及产品 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010069238A1 (zh) * | 2008-12-19 | 2010-06-24 | 中国科学院沈阳自动化研究所 | 网状及星型拓扑结构无线传感器网络的通信方法 |
CN108256671A (zh) * | 2017-12-26 | 2018-07-06 | 佛山科学技术学院 | 一种基于学习型遗传算法的多任务多资源滚动分配方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109936619B (zh) * | 2019-01-18 | 2021-07-20 | 中国科学院空间应用工程与技术中心 | 一种基于雾计算的空间信息网络架构、方法和可读存储介质 |
CN109960585B (zh) * | 2019-02-02 | 2021-05-14 | 浙江工业大学 | 一种基于kubernetes的资源调度方法 |
CN110247699B (zh) * | 2019-06-24 | 2021-07-09 | 中国空间技术研究院 | 一种在天地一体化网络中实现天地间资源协同调度的方法 |
-
2019
- 2019-10-21 CN CN201911000891.XA patent/CN110719335B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010069238A1 (zh) * | 2008-12-19 | 2010-06-24 | 中国科学院沈阳自动化研究所 | 网状及星型拓扑结构无线传感器网络的通信方法 |
CN108256671A (zh) * | 2017-12-26 | 2018-07-06 | 佛山科学技术学院 | 一种基于学习型遗传算法的多任务多资源滚动分配方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110719335A (zh) | 2020-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wang et al. | Convergence of edge computing and deep learning: A comprehensive survey | |
CN110719335B (zh) | 天基云雾计算架构下的资源调度方法、系统和存储介质 | |
CN110390387B (zh) | 对深度学习应用所用资源进行评估 | |
CN108885571B (zh) | 分批处理机器学习模型的输入 | |
Sandhu et al. | Scheduling of big data applications on distributed cloud based on QoS parameters | |
CN110753107B (zh) | 天基云雾计算架构下的资源调度系统、方法和存储介质 | |
CN110231976B (zh) | 一种基于负载预测的边缘计算平台容器部署方法及系统 | |
Asghari et al. | Online scheduling of dependent tasks of cloud’s workflows to enhance resource utilization and reduce the makespan using multiple reinforcement learning-based agents | |
US7844705B2 (en) | Networked image visualization image quality enhancement method and system | |
CN107548549A (zh) | 分布式计算环境中的资源平衡 | |
US20040205759A1 (en) | Information processing system, information processing device, distributed information processing method and computer program | |
CN106716365A (zh) | 异构线程调度 | |
CN111464659A (zh) | 节点的调度、节点的预选处理方法、装置、设备及介质 | |
CN110519370B (zh) | 一种基于设施选址问题的边缘计算资源分配方法 | |
CN112181613B (zh) | 异构资源分布式计算平台批量任务调度方法及存储介质 | |
CN112667400B (zh) | 边缘自治中心管控的边云资源调度方法、装置及系统 | |
CN110795226B (zh) | 利用计算机系统处理任务的方法、电子设备和存储介质 | |
CN114265631A (zh) | 一种基于联邦元学习的移动边缘计算智能卸载方法及装置 | |
CN116684420A (zh) | 集群资源调度方法、装置、集群系统和可读存储介质 | |
Kim et al. | Partition placement and resource allocation for multiple DNN-based applications in heterogeneous IoT environments | |
US20240012690A1 (en) | Device and method for partitioning accelerator and batch scheduling | |
Khanh et al. | Fuzzy‐Based Mobile Edge Orchestrators in Heterogeneous IoT Environments: An Online Workload Balancing Approach | |
US10691700B1 (en) | Table replica allocation in a replicated storage system | |
Surya et al. | Novel Approaches for Resource Management Across Edge Servers | |
CN114785693B (zh) | 基于分层强化学习的虚拟网络功能迁移方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |