CN112333260A - 云计算任务调度方法及云计算系统 - Google Patents
云计算任务调度方法及云计算系统 Download PDFInfo
- Publication number
- CN112333260A CN112333260A CN202011183437.5A CN202011183437A CN112333260A CN 112333260 A CN112333260 A CN 112333260A CN 202011183437 A CN202011183437 A CN 202011183437A CN 112333260 A CN112333260 A CN 112333260A
- Authority
- CN
- China
- Prior art keywords
- task process
- task
- node
- nodes
- scheduling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请实施例提供一种云计算任务调度方法及云计算系统,通过从目标云计算任务中的多个任务进程节点分别提取对应的任务进程特征以确定各个任务进程节点之间的任务进程关联关系,并通过结合各个任务进程节点之间的任务进程关联关系以及云计算节点之间的调度计算关系,对各个任务进程节点进行调度,从而改善某些关键业务由于不同任务进程节点的分配不合理导致难以某个任务进程节点无法及时与其它关联的任务进程节点有效配合的情况,减少业务等待时间。
Description
技术领域
本申请涉及云计算技术领域,具体而言,涉及一种云计算任务调度方法及云计算系统。
背景技术
在通过云计算集群执行云计算任务的过程中,为了考虑云计算任务在计算过程中云计算节点的负载均衡,通常是仅按照每个云计算节点的计算资源占用情况和云计算任务所需的计算资源对云计算任务的各个任务进程算节点进行统一均衡调度。然而,经本申请发明人研究发现,云计算任务中的各个任务进程节点通常并不是作为独立业务存在的,而是相互之间存在一定的业务关联关系,由此如果按照传统方案的调度方式,可能会出现某些关键业务由于不同任务进程节点的分配不合理导致难以某个任务进程节点无法及时与其它关联的任务进程节点有效配合,从而会造成业务等待时间较长。
发明内容
有鉴于此,本申请的目的在于提供一种云计算任务调度方法及云计算系统,能够改善某些关键业务由于不同任务进程节点的分配不合理导致难以某个任务进程节点无法及时与其它关联的任务进程节点有效配合的情况,减少业务等待时间。
第一方面,本申请提供一种云计算任务调度方法,应用于服务器,所述服务器与多个云计算节点通信连接,所述方法包括:
从目标云计算任务中获取多个任务进程节点,并从所述多个任务进程节点分别提取对应的任务进程特征,其中,所述任务进程特征用于表示所述任务进程节点所对应的待计算资源所对应的业务特征;
根据提取的任务进程特征确定各个任务进程节点之间的任务进程关联关系,并根据计算出的各个任务进程节点之间的任务进程关联关系,构建对应的任务进程关联网络;
根据构建的所述任务进程关联网络,分别确定各个任务进程节点所对应的调度进程;
根据各个任务进程节点所对应的调度进程以及所述多个云计算节点之间的调度计算关系,确定所述目标云计算任务中各个任务进程节点对应的调度云计算节点。
在第一方面的一种可能的设计中,所述从所述多个任务进程节点分别提取对应的任务进程特征的步骤,包括:
对所述多个任务进程节点所对应的各任务进程业务信息进行业务分类处理,得到各任务进程业务信息的业务分类表项;
确定业务分类处理得到的业务分类表项的业务等级,并将各业务分类表项按相应业务等级进行降序排名,之后从业务分类处理得到的各业务分类表项中,选取设定排序内的业务分类表项;
根据预设的针对所述业务分类表项的任务进程特征提取策略,确定由所述任务进程特征提取策略所指定的任务进程特征的业务分类表项;
当同一任务进程业务信息包括属于不同任务进程特征的多个业务分类表项时,则统计所述同一任务进程业务信息中各任务进程特征的业务分类表项的数量;
确定统计的业务分类表项的数量最大的任务进程特征,并为所述同一任务进程业务信息添加确定的任务进程特征的特征属性,以及为不包括所述任务进程特征的业务分类表项的任务进程业务信息添加非任务进程特征的特征属性;
根据待特征提取的任务进程业务信息和所添加的特征属性进行融合,得到第一网络模型,并将各业务分类表项输入所述第一网络模型中,输出各业务分类表项对于各任务进程特征的置信度;
将对于各任务进程特征的置信度大于或等于第一置信度阈值的业务分类表项重新确定为该任务进程特征的业务分类表项,并返回所述为所述同一任务进程业务信息添加确定的任务进程特征的特征属性并继续处理,直至满足迭代停止条件时得到待特征提取的任务进程业务信息的特征属性;
在满足所述迭代停止条件后,获取通过相应的所述网络模型所确定的待特征提取的任务进程业务信息对于各任务进程特征的置信度,并筛选对于各任务进程特征的置信度大于或等于第二置信度阈值;
按照筛选的任务进程业务信息和相应的特征属性进行融合,得到第二网络模型;
通过所述第二网络模型确定待特征提取的任务进程业务信息对于各任务进程特征的置信度,并按照待特征提取的任务进程业务信息对于各任务进程特征的置信度更新相应任务进程业务信息的特征属性;
在按照待特征提取的任务进程业务信息对于各任务进程特征的置信度更新相应任务进程业务信息的特征属性后,返回所述筛选对于各任务进程特征的置信度大于或等于第二置信度阈值的任务进程业务信息的步骤继续执行,直至满足更新停止条件时,得到待特征提取的任务进程业务信息更新后的特征属性;
获取更新所述特征属性后通过所述第二网络模型确定的各待特征提取的任务进程业务信息对于各任务进程特征的置信度和属于非任务进程特征的置信度;
挑选在更新所述特征属性后确定的对于各任务进程特征的置信度大于或等于第三置信度阈值的任务进程业务信息,并按挑选的任务进程业务信息和相应特征属性进行融合,得到第三网络模型;
通过所述第三网络模型确定各待特征提取的任务进程业务信息对于各任务进程特征的置信度,并按通过第三网络模型确定的对于各任务进程特征的置信度确定相应任务进程业务信息的任务进程特征;
获取不同于待特征提取的任务进程业务信息的目标任务进程业务信息,并通过所述第三网络模型确定所述目标任务进程业务信息对于各任务进程特征的置信度,而后根据所述目标任务进程业务信息对于各任务进程特征的置信度确定所述目标任务进程业务信息所对应的任务进程特征;
根据各个确定的任务进程业务信息的任务进程特征进行汇总得到各个任务进程节点分别提取对应的任务进程特征。
在第一方面的一种可能的设计中,所述根据提取的任务进程特征确定各个任务进程节点之间的任务进程关联关系的步骤,包括:
根据提取的任务进程特征确定每至少两个任务进程节点所对应的任务特征向量的第一向量集合;其中,所述任务特征向量包括多种任务特征向量元素;
选取第一初始任务关联网络序列;其中,所述第一任务关联网络序列对应的任务关联网络组包括预设的第一预测节点以及待组合的融合节点和深度提取节点;
对于每一种任务特征向量元素对应的第一向量集合,将所述第一初始任务关联网络模型的第一预测节点和每个阶数的融合节点进行组合,得到多个组合节点序列;
按照多个所述组合节点序列分别映射所述第一向量集合,得到多种不同组合节点序列的序列对;其中,所述组合节点序列中融合节点的输入参数为该第一向量集合对应的任务进程节点的任务进程特征,第一预测节点的输出参数为该第一向量集合对应的任务进程节点的任务进程关联参数;
根据所述序列对以及所述第一初始任务关联网络序列的多个不同阶数的深度提取节点,对所述第一初始任务关联网络序列进行更新,确定预测损失函数值最小对应的任务关联网络组的第一节点组合,得到包括所述第一节点组合的第一任务关联网络模型;其中,所述第一初始任务关联网络序列对应的任务关联网络组包括预设的第一预测节点以及待组合的融合节点和深度提取节点;
在确定更新得到的所述第一任务关联网络模型的模型参数符合预设条件后,将所述第一任务关联网络模型基于所述第一向量集合中的任务进程关联参数输出的任务进程节点的预测参数与所述任务进程节点的任务进程关联参数进行比较,根据多个预测参数与任务进程关联参数之间的置信度大于预设的第二阈值所确定的置信范围,确定所述第一任务关联网络模型的第一置信程度;
根据损失任务进程关联参数和所述第一任务关联网络模型的预测参数的参数比较结果,对预设的第二初始任务关联网络序列进行更新,确定预测损失函数值最小对应的任务关联网络组的第二节点组合,得到包括所述第二节点组合的第二任务关联网络模型,并基于更新得到的多个所述第二任务关联网络序列,确定所述第一向量集合的第二置信程度;其中,所述第二初始任务关联网络模型中的任务关联网络组包括预设的所述融合节点、第二预测节点以及待组合的深度提取节点;所述第二预测节点和所述第一预测节点的阶数相同但输出参数不同,所述第一预测节点的输出参数为任务进程关联参数,所述第二预测节点的输出参数为所述第一任务关联网络模型的预测参数与任务进程关联参数的参数比较结果;
根据所述第一置信程度和所述第二置信程度,确定所述第一任务关联网络模型的预测参数对应的预测向量,并基于所述任务特征向量的向量集合中多种任务特征向量元素之间的制约关系,生成基于多种任务特征向量元素的关系特征图谱,并计算所述关系特征图谱中每一级关联关系的关联值,其中,所述第一置信程度和所述第二置信程度通过各自对应的权重参数确定所述第一任务关联网络模型的预测参数对应的预测向量;
根据所述关系特征图谱中每一级关联关系的关联值确定该至少两个任务进程节点之间的任务进程关联关系,其中,当所述关联值大于设定关联值时,确定该至少两个任务进程节点之间存在该级关联关系,否则确定该至少两个任务进程节点之间不存在该级关联关系。
在第一方面的一种可能的设计中,所述第一初始任务关联网络序列的多个不同阶数的融合节点通过以下方式确定:
对于所述第一向量集合对应的任务进程关联参数,对所述任务进程关联参数以及对应的任务进程特征进行分析,得到与所述任务进程关联参数的相关度大于预设的第一阈值的目标任务进程特征;
根据所述目标任务进程特征的数量,确定所述第一初始任务关联网络序列的融合节点阶数。
在第一方面的一种可能的设计中,所述根据计算出的各个任务进程节点之间的任务进程关联关系,构建对应的任务进程关联网络的步骤,包括:
根据计算出的各个任务进程节点之间的任务进程关联关系,分别将同一类任务进程关联关系所覆盖的各个目标任务进程节点划分为一个节点矩阵,并根据每一个节点矩阵内的节点分布数量,将节点分布数量大于预设数量阈值的节点矩阵的矩阵阶数缩小,并将节点分布数量小于预设数量阈值的节点矩阵的矩阵阶数扩大,得到调整后的各节点矩阵;其中,每一个节点矩阵内的所有任务进程节点构成一个网络单位;
根据单个网络单位中各任务进程节点的位置,计算出单个网络单位中的每一个任务进程节点与其他任务进程节点之间的网络关系;
对于单个网络单位,根据每一个任务进程节点与其他任务进程节点之间的网络关系的顺序,对单个网络单位中的各任务进程节点进行排序,得到任务进程节点排序列表;
对于单个网络单位,依次对所述任务进程节点排序列表中的每一个任务进程节点执行以下过程,直至确定单个网络单位的头任务进程节点:
判断所述任务进程节点排序列表中的任务进程节点的第一任务等级,是否大于第一预设等级,若确定大于则将大于第一预设等级的任务进程节点作为单个网络单位的头任务进程节点;
对于单个网络单位,确定单个网络单位的头任务进程节点为与之进行映射关联的任务进程节点,并确定除去单个网络单位的头任务进程节点以外的其他任务进程节点为单个网络单位的成员任务进程节点,其中,单个网络单位的成员任务进程节点为与单个网络单位的头任务进程节点进行映射关联的任务进程节点;
根据确定的各个网络单位的头任务进程节点和成员任务进程节点构建对应的任务进程关联网络。
在第一方面的一种可能的设计中,所述根据构建的所述任务进程关联网络,分别确定各个任务进程节点所对应的调度进程的步骤,包括:
根据构建的所述任务进程关联网络中每个所述头任务进程节点与所述成员任务进程节点之间的网络连接关系,获取该头任务进程节点与成员任务进程节点的调度进程拓扑空间,并将所述调度进程拓扑空间作为调度单位,使所述每个头任务进程节点与成员任务进程节点表达成由该头任务进程节点与成员任务进程节点的调度进程拓扑空间组成的调度单位;
根据该头任务进程节点与成员任务进程节点对应的调度单位的调度类型从所述每个头任务进程节点与成员任务进程节点的调度单位中获取所有的相似调度单位,组成第一调度单位序列;
对所述第一调度单位序列中的与该头任务进程节点与成员任务进程节点对应的调度单位进行决策树处理,得到决策树结构和决策树层级;
根据所述决策树结构和所述决策树层级计算以该头任务进程节点与成员任务进程节点为基准的调度单位不含预设层级以上的调度关系的筛选调度关系;
当每个头任务进程节点与成员任务进程节点都已计算得到以该头任务进程节点与成员任务进程节点为中心的调度单位不含预设层级以上的调度关系的筛选调度关系时,根据各头任务进程节点与成员任务进程节点对应的不含预设层级以上的调度关系的筛选调度关系得到不含预设层级以上的调度关系的头任务进程节点与成员任务进程节点;
根据所述不含预设层级以上的调度关系的头任务进程节点与成员任务进程节点得到第二调度单位序列,并对所述第二调度单位序列进行处理,得到所述第二调度单位序列所对应的决策树结构序列;
对所述决策树结构序列计算机会节点和决策树特征向量,并将所述决策树特征向量作为初始值,对所述第二调度单位序列中的与该头任务进程节点与成员任务进程节点对应的调度单位按照所述机会节点分别进行处理,得到对应的拓扑决策树;
根据所述拓扑决策树中的决策结果分别确定各个任务进程节点所对应的调度进程。
在第一方面的一种可能的设计中,所述根据各个任务进程节点所对应的调度进程以及所述多个云计算节点之间的调度计算关系,确定所述目标云计算任务中各个任务进程节点对应的调度云计算节点的步骤,包括:
根据各个任务进程节点所对应的调度进程确定每个调度进程下的任务进程节点序列;
根据所述多个云计算节点之间的调度计算关系确定针对每个调度进程下的任务进程节点序列的调度云计算节点。
第二方面,本申请实施例还提供一种云计算任务调度装置,应用于服务器,所述服务器与多个云计算节点通信连接,所述装置包括:
提取模块,用于从目标云计算任务中获取多个任务进程节点,并从所述多个任务进程节点分别提取对应的任务进程特征,其中,所述任务进程特征用于表示所述任务进程节点所对应的待计算资源所对应的业务特征;
构建模块,用于根据提取的任务进程特征确定各个任务进程节点之间的任务进程关联关系,并根据计算出的各个任务进程节点之间的任务进程关联关系,构建对应的任务进程关联网络;
确定模块,用于根据构建的所述任务进程关联网络,分别确定各个任务进程节点所对应的调度进程;
调度模块,用于根据各个任务进程节点所对应的调度进程以及所述多个云计算节点之间的调度计算关系,确定所述目标云计算任务中各个任务进程节点对应的调度云计算节点。
第三方面,本申请实施例还提供一种云计算系统,所述云计算系统包括服务器以及与所述服务器通信连接的多个云计算节点;
所述服务器,用于从目标云计算任务中获取多个任务进程节点,并从所述多个任务进程节点分别提取对应的任务进程特征,其中,所述任务进程特征用于表示所述任务进程节点所对应的待计算资源所对应的业务特征;
所述服务器,用于根据提取的任务进程特征确定各个任务进程节点之间的任务进程关联关系,并根据计算出的各个任务进程节点之间的任务进程关联关系,构建对应的任务进程关联网络;
所述服务器,用于根据构建的所述任务进程关联网络,分别确定各个任务进程节点所对应的调度进程;
所述服务器,用于根据各个任务进程节点所对应的调度进程以及所述多个云计算节点之间的调度计算关系,确定所述目标云计算任务中各个任务进程节点对应的调度云计算节点;
每个云计算节点,用于对所述服务器分配的所述目标云计算任务中的任务进程节点进行云计算处理。
第四方面,本申请实施例还提供一种服务器,所述服务器包括处理器、机器可读存储介质和网络接口,所述机器可读存储介质、所述网络接口以及所述处理器之间通过总线系统相连,所述网络接口用于与至少一个云计算节点通信连接,所述机器可读存储介质用于存储程序、指令或代码,所述处理器用于执行所述机器可读存储介质中的程序、指令或代码,以执行第一方面或者第一方面中任意一个可能的设计中的云计算任务调度方法。
第五方面,本申请实施例提供一种计算机可读存储介质,计算机可读存储介质中存储有指令,当其在计算机上检测时,使得计算机执行上述第一方面或者第一方面中任意一个可能的设计中的云计算任务调度方法。
根据上述任意一个方面,本申请通过从目标云计算任务中的多个任务进程节点分别提取对应的任务进程特征以确定各个任务进程节点之间的任务进程关联关系,并通过结合各个任务进程节点之间的任务进程关联关系以及云计算节点之间的调度计算关系,对各个任务进程节点进行调度,从而改善某些关键业务由于不同任务进程节点的分配不合理导致难以某个任务进程节点无法及时与其它关联的任务进程节点有效配合的情况,减少业务等待时间。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的云计算系统的应用场景示意图;
图2为本申请实施例提供的云计算任务调度方法的流程示意图;
图3为本申请实施例提供的云计算任务调度装置的功能模块示意图;
图4为本申请实施例提供的用于实现上述的云计算任务调度方法的服务器的结构示意框图。
具体实施方式
下面结合说明书附图对本申请进行具体说明,方法实施例中的具体操作方法也可以应用于装置实施例或系统实施例中。在本申请的描述中,除非另有说明,“至少一个”包括一个或多个。“多个”是指两个或两个以上。例如,A、B和C中的至少一个,包括:单独存在A、单独存在B、同时存在A和B、同时存在A和C、同时存在B和C,以及同时存在A、B和C。在本申请中,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
图1是本申请一种实施例提供的云计算系统10的交互示意图。云计算系统10可以包括服务器100以及与所述服务器100通信连接的云计算节点200,服务器100中可以包括执行指令操作的处理器。图1所示的云计算系统10仅为一种可行的示例,在其它可行的实施例中,该云计算系统10也可以仅包括图1所示组成部分的其中一部分或者还可以包括其它的组成部分。
在一些实施例中,服务器100可以是单个服务器,也可以是一个服务器组。服务器组可以是集中式的,也可以是分布式的(例如,服务器100可以是分布式系统)。在一些实施例中,服务器100相对于云计算节点200,可以是本地的、也可以是远程的。例如,服务器100可以经由网络访问存储在云计算节点200以及数据库、或其任意组合中的信息。作为另一示例,服务器100可以直接连接到云计算节点200和数据库中的至少一个,以访问其中存储的信息和/或数据。在一些实施例中,服务器100可以在云平台上实现;仅作为示例,云平台可以包括私有云、公有云、混合云、社区云(community cloud)、分布式云、跨云(inter-cloud)、多云(multi-cloud)等,或者它们的任意组合。
在一些实施例中,服务器100可以包括处理器。处理器可以处理与服务请求有关的信息和/或数据,以执行本申请中描述的一个或多个功能。处理器可以包括一个或多个处理核(例如,单核处理器(S)或多核处理器(S))。仅作为举例,处理器可以包括中央处理单元(Central Processing Unit, CPU)、专用集成电路(Application Specific IntegratedCircuit, ASIC)、专用指令集处理器(Application Specific Instruction-setProcessor, ASIP)、图形处理单元(Graphics Processing Unit, GPU)、物理处理单元(Physics Processing Unit, PPU)、数字信号处理器 (Digital Signal Processor,DSP)、现场可编程门阵列( Field Programmable Gate Array,FPGA)、可编程逻辑器件(Programmable Logic Device, PLD)、控制器、微控制器单元、简化指令集计算机(ReducedInstruction Set Computing, RISC)、或微处理器等,或其任意组合。
网络可以用于信息和/或数据的交换。在一些实施例中,云计算系统10中的一个或多个组件(例如,服务器100,云计算节点200和数据库)可以向其他组件发送信息和/或数据。在一些实施例中,网络可以是任何类型的有线或者无线网络,或者是他们的结合。仅作为示例,网络130可以包括有线网络、无线网络、光纤网络、远程通信网络、内联网、因特网、局域网(Local Area Network,LAN)、广域网(Wide Area Network,WAN)、无线局域网(Wireless Local Area Networks,WLAN)、城域网(Metropolitan Area Network,MAN)、广域网(Wide Area Network,WAN)、公共电话交换网(Public Switched Telephone Network,PSTN)、蓝牙网络、ZigBee网络、或近场通信(Near Field Communication, NFC)网络等,或其任意组合。在一些实施例中,网络可以包括一个或多个网络接入点。例如,网络可以包括有线或无线网络接入点,例如基站和/或网络交换节点,云计算系统10的一个或多个组件可以通过该接入点连接到网络以交换数据和/或信息。
前述的数据库可以存储数据和/或指令。在一些实施例中,数据库可以存储向云计算节点200分配的数据。在一些实施例中,数据库可以存储在本申请中描述的示例性方法的数据和/或指令。在一些实施例中,数据库可以包括大容量存储器、可移动存储器、易失性读写存储器、或只读存储器(Read-Only Memory, ROM)等,或其任意组合。作为举例,大容量存储器可以包括磁盘、光盘、固态驱动器等;可移动存储器可包括闪存驱动器、软盘、光盘、存储卡、zip磁盘、磁带等;易失性读写存储器可以包括随机存取存储器(Random AccessMemory, RAM);RAM可以包括动态RAM(Dynamic Random Access Memory, DRAM),双倍数据速率同步动态RAM(Double Date-Rate Synchronous RAM, DDR SDRAM);静态RAM(StaticRandom-Access Memory, SRAM),晶闸管RAM(Thyristor-Based Random Access Memory,T-RAM)和零电容器RAM(Zero-RAM)等。作为举例,ROM可以包括掩模ROM(Mask Read-OnlyMemory, MROM)、可编程ROM( Programmable Read-Only Memory, PROM)、可擦除可编程ROM(Programmable Erasable Read-only Memory , PEROM)、电可擦除可编程ROM(Electrically Erasable Programmable read only memory, EEPROM)、光盘ROM(CD-ROM)、以及数字通用磁盘ROM等。在一些实施例中,数据库可以在云平台上实现。仅作为示例,云平台可以包括私有云、公有云、混合云、社区云、分布式云、跨云、多云或者其它类似的等,或其任意组合。
在一些实施例中,数据库可以连接到网络以与云计算系统10(例如,服务器100,云计算节点200等)中的一个或多个组件通信。云计算系统10中的一个或多个组件可以经由网络访问存储在数据库中的数据或指令。在一些实施例中,数据库可以直接连接到云计算系统10中的一个或多个组件(例如,服务器100,云计算节点200等;或者,在一些实施例中,数据库也可以是服务器100的一部分。
本实施例中,云计算节点200可以是用于执行云计算任务的各种计算设备,例如服务器、高性能计算机等,本实施例在此不作具体限定。
为了解决前述背景技术中的技术问题,图2为本申请实施例提供的云计算任务调度方法的流程示意图,本实施例提供的云计算任务调度方法可以由图1中所示的服务器100执行,下面对该云计算任务调度方法进行详细介绍。
步骤S110,从目标云计算任务中获取多个任务进程节点,并从多个任务进程节点分别提取对应的任务进程特征。
步骤S120,根据提取的任务进程特征确定各个任务进程节点之间的任务进程关联关系,并根据计算出的各个任务进程节点之间的任务进程关联关系,构建对应的任务进程关联网络。
步骤S130,根据构建的任务进程关联网络,分别确定各个任务进程节点所对应的调度进程。
步骤S140,根据各个任务进程节点所对应的调度进程以及多个云计算节点200之间的调度计算关系,确定目标云计算任务中各个任务进程节点对应的云计算节点200。
本实施例中,针对步骤S110,任务进程特征可以用于表示任务进程节点所对应的待计算资源所对应的业务特征。例如,待计算资源可以是3D建模基础数据,那么3D建模基础数据所对应的业务特征可以是动画渲染业务的业务特征,在此不作具体限定。
基于上述设计,本实施例通过从目标云计算任务中的多个任务进程节点分别提取对应的任务进程特征以确定各个任务进程节点之间的任务进程关联关系,并通过结合各个任务进程节点之间的任务进程关联关系以及云计算节点200之间的调度计算关系,对各个任务进程节点进行调度,从而改善某些关键业务由于不同任务进程节点的分配不合理导致难以某个任务进程节点无法及时与其它关联的任务进程节点有效配合的情况,减少业务等待时间。
在一种可能的设计中,针对步骤S110,在提取任务进程特征的过程中,为了减少冗余特征,提高后续任务进程关联关系的准确性和可靠性,本实施例可以对多个任务进程节点所对应的各任务进程业务信息进行业务分类处理,得到各任务进程业务信息的业务分类表项,接着确定业务分类处理得到的业务分类表项的业务等级,并将各业务分类表项按相应业务等级进行降序排名,之后从业务分类处理得到的各业务分类表项中,选取设定排序内的业务分类表项。
例如,业务分类表项可以预先按照各任务进程业务信息所述的分类类型进行确定,针对一个分类类型可能会对应多个业务分类表项。
在此基础上,可以根据预设的针对业务分类表项的任务进程特征提取策略,确定由任务进程特征提取策略所指定的任务进程特征的业务分类表项。当同一任务进程业务信息包括属于不同任务进程特征的多个业务分类表项时,则统计同一任务进程业务信息中各任务进程特征的业务分类表项的数量。由此,可以确定统计的业务分类表项的数量最大的任务进程特征,并为同一任务进程业务信息添加确定的任务进程特征的特征属性,以及为不包括任务进程特征的业务分类表项的任务进程业务信息添加非任务进程特征的特征属性。
本实施例中,任务进程特征提取策略可以指定任务进程特征的业务分类表项,具体可以根据业务等级和业务重要性预先确定,在此不作具体限定。此外,特征属性可以是指该任务进程特征所对应的云计算类型,例如大数据处理、云渲染等。
而后,根据待特征提取的任务进程业务信息和所添加的特征属性进行融合,得到第一网络模型,并将各业务分类表项输入第一网络模型中,输出各业务分类表项对于各任务进程特征的置信度。
接着,可以将对于各任务进程特征的置信度大于或等于第一置信度阈值的业务分类表项重新确定为该任务进程特征的业务分类表项,并返回为同一任务进程业务信息添加确定的任务进程特征的特征属性并继续处理,直至满足迭代停止条件时得到待特征提取的任务进程业务信息的特征属性。
值得说明的是,在满足迭代停止条件后,获取通过相应的网络模型所确定的待特征提取的任务进程业务信息对于各任务进程特征的置信度,并筛选对于各任务进程特征的置信度大于或等于第二置信度阈值。
在上述基础上,可以按照筛选的任务进程业务信息和相应的特征属性进行融合,得到第二网络模型,然后通过第二网络模型确定待特征提取的任务进程业务信息对于各任务进程特征的置信度,并按照待特征提取的任务进程业务信息对于各任务进程特征的置信度更新相应任务进程业务信息的特征属性。
在按照待特征提取的任务进程业务信息对于各任务进程特征的置信度更新相应任务进程业务信息的特征属性后,返回筛选对于各任务进程特征的置信度大于或等于第二置信度阈值的任务进程业务信息的步骤继续执行,直至满足更新停止条件时,得到待特征提取的任务进程业务信息更新后的特征属性。
接下来,可以获取更新特征属性后通过第二网络模型确定的各待特征提取的任务进程业务信息对于各任务进程特征的置信度和属于非任务进程特征的置信度,并挑选在更新特征属性后确定的对于各任务进程特征的置信度大于或等于第三置信度阈值的任务进程业务信息,并按挑选的任务进程业务信息和相应特征属性进行融合,得到第三网络模型。接着,通过第三网络模型确定各待特征提取的任务进程业务信息对于各任务进程特征的置信度,并按通过第三网络模型确定的对于各任务进程特征的置信度确定相应任务进程业务信息的任务进程特征后,获取不同于待特征提取的任务进程业务信息的目标任务进程业务信息,并通过第三网络模型确定目标任务进程业务信息对于各任务进程特征的置信度,而后根据目标任务进程业务信息对于各任务进程特征的置信度确定目标任务进程业务信息所对应的任务进程特征。
由此,可以根据各个确定的任务进程业务信息的任务进程特征进行汇总得到各个任务进程节点分别提取对应的任务进程特征。
如此,基于上述设计,本实施例通过上述一系列的数据筛选和网络模型的分类处理,能够有效减少冗余特征,提高后续任务进程关联关系的准确性和可靠性。
在一种可能的设计中,针对步骤S120,在确定各个任务进程节点之间的任务进程关联关系的过程中,为了避免一部分冗余或者存在过多层级的任务进程关联关系被确定的情况,导致后续调度分配不合理,本实施例可以根据提取的任务进程特征确定每至少两个任务进程节点所对应的任务特征向量的第一向量集合。本实施例中,任务特征向量可以包括多种任务特征向量元素,例如决策关联元素(在决策条件满足的情况下关联另一个任务进程节点)、判断关联元素(在判断结果满足的情况下关联另一个任务进程节点)等,在此不作具体限定。
接下来,可以选取第一初始任务关联网络序列。其中,第一初始任务关联网络序列对应的任务关联网络组包括预设的第一预测节点以及待组合的融合节点和深度提取节点。在此需要说明的是,该预设的第一预测节点以及待组合的融合节点和深度提取节点可以根据实际需求选择现有通用的特征网络结构,本实施例在此不作具体限定。
在此基础上,对于每一种任务特征向量元素对应的第一向量集合,将第一初始任务关联网络模型的第一预测节点和每个阶数的融合节点进行组合,得到多个组合节点序列。然后,按照多个组合节点序列分别映射第一向量集合,得到多种不同组合节点序列的序列对。
在此值得进一步说明的是,上述的组合节点序列中融合节点的输入参数为该第一向量集合对应的任务进程节点的任务进程特征,第一预测节点的输出参数为该第一向量集合对应的任务进程节点的任务进程关联参数。
而后,可以根据前述确定的序列对以及第一初始任务关联网络序列的多个不同阶数的深度提取节点,对第一初始任务关联网络序列进行更新,确定预测损失函数值最小对应的任务关联网络组的第一节点组合,得到包括第一节点组合的第一任务关联网络模型。
在此值得进一步说明的是,第一初始任务关联网络序列对应的任务关联网络组包括预设的第一预测节点以及待组合的融合节点和深度提取节点。
由此,在确定更新得到的第一任务关联网络模型的模型参数符合预设条件后,将第一任务关联网络模型基于第一向量集合中的任务进程关联参数输出的任务进程节点的预测参数与任务进程节点的任务进程关联参数进行比较,根据多个预测参数与任务进程关联参数之间的置信度大于预设的第二阈值所确定的置信范围,确定第一任务关联网络模型的第一置信程度。
同时,可以根据损失任务进程关联参数和第一任务关联网络模型的预测参数的参数比较结果,对预设的第二初始任务关联网络序列进行更新,确定预测损失函数值最小对应的任务关联网络组的第二节点组合,得到包括第二节点组合的第二任务关联网络模型,并基于更新得到的多个第二任务关联网络序列,确定第一向量集合的第二置信程度。
在此值得进一步说明的是,第二初始任务关联网络模型中的任务关联网络组包括预设的融合节点、第二预测节点以及待组合的深度提取节点,第二预测节点和第一预测节点的阶数相同但输出参数不同,第一预测节点的输出参数为任务进程关联参数,第二预测节点的输出参数为第一任务关联网络模型的预测参数与任务进程关联参数的参数比较结果。
由此,可以根据第一置信程度和第二置信程度,确定第一任务关联网络模型的预测参数对应的预测向量,并基于任务特征向量的向量集合中多种任务特征向量元素之间的制约关系,生成基于多种任务特征向量元素的关系特征图谱,并计算关系特征图谱中每一级关联关系的关联值。而后,根据关系特征图谱中每一级关联关系的关联值确定该至少两个任务进程节点之间的任务进程关联关系。
其中,第一置信程度和第二置信程度可以通过各自对应的权重参数确定第一任务关联网络模型的预测参数对应的预测向量。例如,第一置信度为A,第二置信程度为B,各自对应的权重参数为a1和b1,那么可以根据A*a1+B*b1的结果与第一任务关联网络模型的预测参数进行计算得到对应的预测向量。
其中,可以理解的是,当关联值大于设定关联值时,确定该至少两个任务进程节点之间存在该级关联关系,否则确定该至少两个任务进程节点之间不存在该级关联关系。如此,能够有效避免一部分冗余或者存在过多层级的任务进程关联关系被确定的情况,提高后续调度分配时的合理性。
示例性地,上述的第一初始任务关联网络序列的多个不同阶数的融合节点可以通过以下方式确定:
对于第一向量集合对应的任务进程关联参数,对任务进程关联参数以及对应的任务进程特征进行分析,得到与任务进程关联参数的相关度大于预设的第一阈值的目标任务进程特征,并根据目标任务进程特征的数量,确定第一初始任务关联网络序列的融合节点阶数。
在一种可能的设计中,针对步骤S120,在构建对应的任务进程关联网络的过程中,为了进一步减少计算量,并且保证高优先级的任务进程节点的及时调度,本实施例可以根据计算出的各个任务进程节点之间的任务进程关联关系,分别将同一类任务进程关联关系所覆盖的各个目标任务进程节点划分为一个节点矩阵,并根据每一个节点矩阵内的节点分布数量,将节点分布数量大于预设数量阈值的节点矩阵的矩阵阶数缩小,并将节点分布数量小于预设数量阈值的节点矩阵的矩阵阶数扩大,得到调整后的各节点矩阵。其中,每一个节点矩阵内的所有任务进程节点构成一个网络单位。
然后,根据单个网络单位中各任务进程节点的位置,计算出单个网络单位中的每一个任务进程节点与其他任务进程节点之间的网络关系,例如,网络关系可以是指每一个任务进程节点与其他任务进程节点之间的网络单位距离。
对于单个网络单位,根据每一个任务进程节点与其他任务进程节点之间的网络关系的顺序,对单个网络单位中的各任务进程节点进行排序,得到任务进程节点排序列表。同时,对于单个网络单位,依次对任务进程节点排序列表中的每一个任务进程节点执行以下过程,直至确定单个网络单位的头任务进程节点:
在此基础上,可以判断任务进程节点排序列表中的任务进程节点的第一任务等级,是否大于第一预设等级,若确定大于则将大于第一预设等级的任务进程节点作为单个网络单位的头任务进程节点。
进一步地,对于单个网络单位,确定单个网络单位的头任务进程节点为与之进行映射关联的任务进程节点,并确定除去单个网络单位的头任务进程节点以外的其他任务进程节点为单个网络单位的成员任务进程节点,其中,单个网络单位的成员任务进程节点为与单个网络单位的头任务进程节点进行映射关联的任务进程节点。
由此,可以根据确定的各个网络单位的头任务进程节点和成员任务进程节点构建对应的任务进程关联网络。也即,任务进程关联网络可以是包括多个网络单位中由头任务进程节点以及与头任务进程节点映射关联的成员任务进程节点构成的网络。
在上述描述的基础上,针对步骤S130,接下来可以根据构建的任务进程关联网络中每个头任务进程节点与成员任务进程节点之间的网络连接关系,获取该头任务进程节点与成员任务进程节点的调度进程拓扑空间,并将调度进程拓扑空间作为调度单位,使每个头任务进程节点与成员任务进程节点表达成由该头任务进程节点与成员任务进程节点的调度进程拓扑空间组成的调度单位。
然后,根据该头任务进程节点与成员任务进程节点对应的调度单位的调度类型从每个头任务进程节点与成员任务进程节点的调度单位中获取所有的相似调度单位,组成第一调度单位序列,并对第一调度单位序列中的与该头任务进程节点与成员任务进程节点对应的调度单位进行决策树处理,得到决策树结构和决策树层级。
接着,可以根据决策树结构和决策树层级计算以该头任务进程节点与成员任务进程节点为基准的调度单位不含预设层级以上的调度关系的筛选调度关系。
当每个头任务进程节点与成员任务进程节点都已计算得到以该头任务进程节点与成员任务进程节点为中心的调度单位不含预设层级以上的调度关系的筛选调度关系时,根据各头任务进程节点与成员任务进程节点对应的不含预设层级以上的调度关系的筛选调度关系得到不含预设层级以上的调度关系的头任务进程节点与成员任务进程节点。
接下来,可以根据不含预设层级以上的调度关系的头任务进程节点与成员任务进程节点得到第二调度单位序列,并对第二调度单位序列进行决策树处理,得到第二调度单位序列所对应的决策树结构序列。而后对决策树结构序列计算机会节点和决策树特征向量,并将决策树特征向量作为初始值,对第二调度单位序列中的与该头任务进程节点与成员任务进程节点对应的调度单位按照机会节点分别进行处理,得到对应的拓扑决策树。由此,可以根据拓扑决策树中的决策结果分别确定各个任务进程节点所对应的调度进程。
在一种可能的设计中,针对步骤S140,本实施例可以根据各个任务进程节点所对应的调度进程确定每个调度进程下的任务进程节点序列。接下来,可以根据多个云计算节点200之间的调度计算关系确定针对每个调度进程下的任务进程节点序列的云计算节点200。
例如,假设调度进程包括调度进程A、调度进程B、调度进程C以及调度进程D,云计算节点200包括云计算节点A、云计算节点B、云计算节点C、云计算节点D以及云计算节点E,调度计算关系可以是指云计算节点A、云计算节点B、云计算节点C、云计算节点D以及云计算节点E之间在执行同一调度进程时的执行时间先后顺序,该执行时间先后顺序通常是与云计算节点A、云计算节点B、云计算节点C、云计算节点D以及云计算节点E当前的负载均衡程度相关。由此,可以根据云计算节点A、云计算节点B、云计算节点C、云计算节点D以及云计算节点E当前的负载均衡程度,对于调度进程A、调度进程B、调度进程C以及调度进程D各自的任务进程节点序列进行调度,在调度时由于以整个调度进程为单位,因此对于一个调度进程下的任务进程节点序列,可以改善某些关键业务由于不同任务进程节点的分配不合理导致难以某个任务进程节点无法及时与其它关联的任务进程节点有效配合的情况,减少业务等待时间。
图3为本申请实施例提供的云计算任务调度装置300的功能模块示意图,本实施例可以根据上述方法实施例对该云计算任务调度装置300进行功能模块的划分。例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本申请中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。比如,在采用对应各个功能划分各个功能模块的情况下,图3示出的云计算任务调度装置300只是一种装置示意图。其中,云计算任务调度装置300可以包括提取模块310、构建模块320、确定模块330以及调度模块340,下面分别对该云计算任务调度装置300的各个功能模块的功能进行详细阐述。
提取模块310,用于从目标云计算任务中获取多个任务进程节点,并从多个任务进程节点分别提取对应的任务进程特征,其中,任务进程特征用于表示任务进程节点所对应的待计算资源所对应的业务特征。
构建模块320,用于根据提取的任务进程特征确定各个任务进程节点之间的任务进程关联关系,并根据计算出的各个任务进程节点之间的任务进程关联关系,构建对应的任务进程关联网络。
确定模块330,用于根据构建的任务进程关联网络,分别确定各个任务进程节点所对应的调度进程。
调度模块340,用于根据各个任务进程节点所对应的调度进程以及多个云计算节点200之间的调度计算关系,确定目标云计算任务中各个任务进程节点对应的云计算节点200。
进一步地,图4为本申请实施例提供的用于执行上述云计算任务调度方法的服务器100的结构示意图。如图4所示,该服务器100可包括网络接口110、机器可读存储介质120、处理器130以及总线140。处理器130可以是一个或多个,图4中以一个处理器130为例。网络接口110、机器可读存储介质120以及处理器130可以通过总线140或其他方式连接,图4中以通过总线140连接为例。
机器可读存储介质120作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本申请实施例中的云计算任务调度方法对应的程序指令/模块(例如图3中所示的云计算任务调度装置300的提取模块310、构建模块320、确定模块330以及调度模块340)。处理器130通过检测存储在机器可读存储介质120中的软件程序、指令以及模块,从而执行终端设备的各种功能应用以及数据处理,即实现上述的云计算任务调度方法,在此不再赘述。
机器可读存储介质120可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的诊断项目;存储数据区可存储根据终端的使用所创建的数据等。此外,机器可读存储介质120可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-OnlyMemory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRateSDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM,DR RAM)。应注意,本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合发布节点的存储器。在一些实例中,机器可读存储介质120可进一步包括相对于处理器130远程设置的存储器,这些远程存储器可以通过网络连接至服务器100。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器130可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法实施例的各步骤可以通过处理器130中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器130可以是通用处理器、数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。
服务器100可以通过网络接口110和其它设备(例如云计算节点200)进行信息交互。网络接口110可以是电路、总线、收发器或者其它任意可以用于进行信息交互的装置。处理器130可以利用网络接口110收发信息。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
本申请实施例是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
显然,本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请实施例的这些表达和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (8)
1.一种云计算任务调度方法,其特征在于,应用于服务器,所述服务器与多个云计算节点通信连接,其中,服务器经由网络访问存储在云计算节点中的信息,服务器在云平台上实现,网络包括有线或无线网络接入点,云计算节点是用于执行云计算任务的各种计算设备,所述方法包括:
从目标云计算任务中获取多个任务进程节点,并从所述多个任务进程节点分别提取对应的任务进程特征,其中,所述任务进程特征用于表示所述任务进程节点所对应的待计算资源所对应的业务特征,其中,当待计算资源为3D建模基础数据时,3D建模基础数据所对应的业务特征为动画渲染业务的业务特征;
根据提取的任务进程特征确定各个任务进程节点之间的任务进程关联关系,并根据计算出的各个任务进程节点之间的任务进程关联关系,构建对应的任务进程关联网络;
根据构建的所述任务进程关联网络,分别确定各个任务进程节点所对应的调度进程;
根据各个任务进程节点所对应的调度进程以及所述多个云计算节点之间的调度计算关系,确定所述目标云计算任务中各个任务进程节点对应的调度云计算节点。
2.根据权利要求1所述的云计算任务调度方法,其特征在于,所述从所述多个任务进程节点分别提取对应的任务进程特征的步骤,包括:
对所述多个任务进程节点所对应的各任务进程业务信息进行业务分类处理,得到各任务进程业务信息的业务分类表项;
确定业务分类处理得到的业务分类表项的业务等级,并将各业务分类表项按相应业务等级进行降序排名,之后从业务分类处理得到的各业务分类表项中,选取设定排序内的业务分类表项;
根据预设的针对所述业务分类表项的任务进程特征提取策略,确定由所述任务进程特征提取策略所指定的任务进程特征的业务分类表项;
当同一任务进程业务信息包括属于不同任务进程特征的多个业务分类表项时,则统计所述同一任务进程业务信息中各任务进程特征的业务分类表项的数量;
确定统计的业务分类表项的数量最大的任务进程特征,并为所述同一任务进程业务信息添加确定的任务进程特征的特征属性,以及为不包括所述任务进程特征的业务分类表项的任务进程业务信息添加非任务进程特征的特征属性;
根据待特征提取的任务进程业务信息和所添加的特征属性进行融合,得到第一网络模型,并将各业务分类表项输入所述第一网络模型中,输出各业务分类表项对于各任务进程特征的置信度;
将对于各任务进程特征的置信度大于或等于第一置信度阈值的业务分类表项重新确定为该任务进程特征的业务分类表项,并返回所述为所述同一任务进程业务信息添加确定的任务进程特征的特征属性并继续处理,直至满足迭代停止条件时得到待特征提取的任务进程业务信息的特征属性;
在满足所述迭代停止条件后,获取通过相应的所述网络模型所确定的待特征提取的任务进程业务信息对于各任务进程特征的置信度,并筛选对于各任务进程特征的置信度大于或等于第二置信度阈值;
按照筛选的任务进程业务信息和相应的特征属性进行融合,得到第二网络模型;
通过所述第二网络模型确定待特征提取的任务进程业务信息对于各任务进程特征的置信度,并按照待特征提取的任务进程业务信息对于各任务进程特征的置信度更新相应任务进程业务信息的特征属性;
在按照待特征提取的任务进程业务信息对于各任务进程特征的置信度更新相应任务进程业务信息的特征属性后,返回所述筛选对于各任务进程特征的置信度大于或等于第二置信度阈值的任务进程业务信息的步骤继续执行,直至满足更新停止条件时,得到待特征提取的任务进程业务信息更新后的特征属性;
获取更新所述特征属性后通过所述第二网络模型确定的各待特征提取的任务进程业务信息对于各任务进程特征的置信度和属于非任务进程特征的置信度;
挑选在更新所述特征属性后确定的对于各任务进程特征的置信度大于或等于第三置信度阈值的任务进程业务信息,并按挑选的任务进程业务信息和相应特征属性进行融合,得到第三网络模型;
通过所述第三网络模型确定各待特征提取的任务进程业务信息对于各任务进程特征的置信度,并按通过第三网络模型确定的对于各任务进程特征的置信度确定相应任务进程业务信息的任务进程特征;
获取不同于待特征提取的任务进程业务信息的目标任务进程业务信息,并通过所述第三网络模型确定所述目标任务进程业务信息对于各任务进程特征的置信度,而后根据所述目标任务进程业务信息对于各任务进程特征的置信度确定所述目标任务进程业务信息所对应的任务进程特征;
根据各个确定的任务进程业务信息的任务进程特征进行汇总得到各个任务进程节点分别提取对应的任务进程特征。
3.根据权利要求1所述的云计算任务调度方法,其特征在于,所述根据提取的任务进程特征确定各个任务进程节点之间的任务进程关联关系的步骤,包括:
根据提取的任务进程特征确定每至少两个任务进程节点所对应的任务特征向量的第一向量集合;其中,所述任务特征向量包括多种任务特征向量元素;
选取第一初始任务关联网络序列;其中,所述第一初始任务关联网络序列对应的任务关联网络组包括预设的第一预测节点以及待组合的融合节点和深度提取节点;
对于每一种任务特征向量元素对应的第一向量集合,将所述第一初始任务关联网络模型的第一预测节点和每个阶数的融合节点进行组合,得到多个组合节点序列;
按照多个所述组合节点序列分别映射所述第一向量集合,得到多种不同组合节点序列的序列对;其中,所述组合节点序列中融合节点的输入参数为该第一向量集合对应的任务进程节点的任务进程特征,第一预测节点的输出参数为该第一向量集合对应的任务进程节点的任务进程关联参数;
根据所述序列对以及所述第一初始任务关联网络序列的多个不同阶数的深度提取节点,对所述第一初始任务关联网络序列进行更新,确定预测损失函数值最小对应的任务关联网络组的第一节点组合,得到包括所述第一节点组合的第一任务关联网络模型;其中,所述第一初始任务关联网络序列对应的任务关联网络组包括预设的第一预测节点以及待组合的融合节点和深度提取节点;
在确定更新得到的所述第一任务关联网络模型的模型参数符合预设条件后,将所述第一任务关联网络模型基于所述第一向量集合中的任务进程关联参数输出的任务进程节点的预测参数与所述任务进程节点的任务进程关联参数进行比较,根据多个预测参数与任务进程关联参数之间的置信度大于预设的第二阈值所确定的置信范围,确定所述第一任务关联网络模型的第一置信程度;
根据损失任务进程关联参数和所述第一任务关联网络模型的预测参数的参数比较结果,对预设的第二初始任务关联网络序列进行更新,确定预测损失函数值最小对应的任务关联网络组的第二节点组合,得到包括所述第二节点组合的第二任务关联网络模型,并基于更新得到的多个所述第二任务关联网络序列,确定所述第一向量集合的第二置信程度;其中,所述第二初始任务关联网络模型中的任务关联网络组包括预设的所述融合节点、第二预测节点以及待组合的深度提取节点,所述第二预测节点和所述第一预测节点的阶数相同但输出参数不同,所述第一预测节点的输出参数为任务进程关联参数,所述第二预测节点的输出参数为所述第一任务关联网络模型的预测参数与任务进程关联参数的参数比较结果;
根据所述第一置信程度和所述第二置信程度,确定所述第一任务关联网络模型的预测参数对应的预测向量,并基于所述任务特征向量的向量集合中多种任务特征向量元素之间的制约关系,生成基于多种任务特征向量元素的关系特征图谱,并计算所述关系特征图谱中每一级关联关系的关联值,其中,所述第一置信程度和所述第二置信程度通过各自对应的权重参数确定所述第一任务关联网络模型的预测参数对应的预测向量;
根据所述关系特征图谱中每一级关联关系的关联值确定该至少两个任务进程节点之间的任务进程关联关系,其中,当所述关联值大于设定关联值时,确定该至少两个任务进程节点之间存在该级关联关系,否则确定该至少两个任务进程节点之间不存在该级关联关系。
4.根据权利要求3所述的云计算任务调度方法,其特征在于,所述第一初始任务关联网络序列的多个不同阶数的融合节点通过以下方式确定:
对于所述第一向量集合对应的任务进程关联参数,对所述任务进程关联参数以及对应的任务进程特征进行分析,得到与所述任务进程关联参数的相关度大于预设的第一阈值的目标任务进程特征;
根据所述目标任务进程特征的数量,确定所述第一初始任务关联网络序列的融合节点阶数。
5.根据权利要求1所述的云计算任务调度方法,其特征在于,所述根据计算出的各个任务进程节点之间的任务进程关联关系,构建对应的任务进程关联网络的步骤,包括:
根据计算出的各个任务进程节点之间的任务进程关联关系,分别将同一类任务进程关联关系所覆盖的各个目标任务进程节点划分为一个节点矩阵,并根据每一个节点矩阵内的节点分布数量,将节点分布数量大于预设数量阈值的节点矩阵的矩阵阶数缩小,并将节点分布数量小于预设数量阈值的节点矩阵的矩阵阶数扩大,得到调整后的各节点矩阵;其中,每一个节点矩阵内的所有任务进程节点构成一个网络单位;
根据单个网络单位中各任务进程节点的位置,计算出单个网络单位中的每一个任务进程节点与其他任务进程节点之间的网络关系;
对于单个网络单位,根据每一个任务进程节点与其他任务进程节点之间的网络关系的顺序,对单个网络单位中的各任务进程节点进行排序,得到任务进程节点排序列表;
对于单个网络单位,依次对所述任务进程节点排序列表中的每一个任务进程节点执行以下过程,直至确定单个网络单位的头任务进程节点:
判断所述任务进程节点排序列表中的任务进程节点的第一任务等级,是否大于第一预设等级,若确定大于则将大于第一预设等级的任务进程节点作为单个网络单位的头任务进程节点;
对于单个网络单位,确定单个网络单位的头任务进程节点为与之进行映射关联的任务进程节点,并确定除去单个网络单位的头任务进程节点以外的其他任务进程节点为单个网络单位的成员任务进程节点,其中,单个网络单位的成员任务进程节点为与单个网络单位的头任务进程节点进行映射关联的任务进程节点;
根据确定的各个网络单位的头任务进程节点和成员任务进程节点构建对应的任务进程关联网络;
其中,网络关系是指每一个任务进程节点与其他任务进程节点之间的网络单位距离。
6.根据权利要求5所述的云计算任务调度方法,其特征在于,所述根据构建的所述任务进程关联网络,分别确定各个任务进程节点所对应的调度进程的步骤,包括:
根据构建的所述任务进程关联网络中每个所述头任务进程节点与所述成员任务进程节点之间的网络连接关系,获取该头任务进程节点与成员任务进程节点的调度进程拓扑空间,并将所述调度进程拓扑空间作为调度单位,使所述每个头任务进程节点与成员任务进程节点表达成由该头任务进程节点与成员任务进程节点的调度进程拓扑空间组成的调度单位;
根据该头任务进程节点与成员任务进程节点对应的调度单位的调度类型从所述每个头任务进程节点与成员任务进程节点的调度单位中获取所有的相似调度单位,组成第一调度单位序列;
对所述第一调度单位序列中的与该头任务进程节点与成员任务进程节点对应的调度单位进行决策树处理,得到决策树结构和决策树层级;
根据所述决策树结构和所述决策树层级计算以该头任务进程节点与成员任务进程节点为基准的调度单位不含预设层级以上的调度关系的筛选调度关系;
当每个头任务进程节点与成员任务进程节点都已计算得到以该头任务进程节点与成员任务进程节点为中心的调度单位不含预设层级以上的调度关系的筛选调度关系时,根据各头任务进程节点与成员任务进程节点对应的不含预设层级以上的调度关系的筛选调度关系得到不含预设层级以上的调度关系的头任务进程节点与成员任务进程节点;
根据所述不含预设层级以上的调度关系的头任务进程节点与成员任务进程节点得到第二调度单位序列,并对所述第二调度单位序列进行决策树处理,得到所述第二调度单位序列所对应的决策树结构序列;
对所述决策树结构序列计算机会节点和决策树特征向量,并将所述决策树特征向量作为初始值,对所述第二调度单位序列中的与该头任务进程节点与成员任务进程节点对应的调度单位按照所述机会节点分别进行处理,得到对应的拓扑决策树;
根据所述拓扑决策树中的决策结果分别确定各个任务进程节点所对应的调度进程。
7.根据权利要求1-6中任意一项所述的云计算任务调度方法,其特征在于,所述根据各个任务进程节点所对应的调度进程以及所述多个云计算节点之间的调度计算关系,确定所述目标云计算任务中各个任务进程节点对应的调度云计算节点的步骤,包括:
根据各个任务进程节点所对应的调度进程确定每个调度进程下的任务进程节点序列;
根据所述多个云计算节点之间的调度计算关系确定针对每个调度进程下的任务进程节点序列的调度云计算节点。
8.一种云计算系统,其特征在于,所述云计算系统包括服务器以及与所述服务器通信连接的多个云计算节点,服务器经由网络访问存储在云计算节点中的信息,服务器在云平台上实现,网络包括有线或无线网络接入点,云计算节点是用于执行云计算任务的各种计算设备;
所述服务器,用于从目标云计算任务中获取多个任务进程节点,并从所述多个任务进程节点分别提取对应的任务进程特征,其中,所述任务进程特征用于表示所述任务进程节点所对应的待计算资源所对应的业务特征,当待计算资源为3D建模基础数据时,3D建模基础数据所对应的业务特征为动画渲染业务的业务特征;
所述服务器,用于根据提取的任务进程特征确定各个任务进程节点之间的任务进程关联关系,并根据计算出的各个任务进程节点之间的任务进程关联关系,构建对应的任务进程关联网络;
所述服务器,用于根据构建的所述任务进程关联网络,分别确定各个任务进程节点所对应的调度进程;
所述服务器,用于根据各个任务进程节点所对应的调度进程以及所述多个云计算节点之间的调度计算关系,确定所述目标云计算任务中各个任务进程节点对应的调度云计算节点;
每个云计算节点,用于对所述服务器分配的所述目标云计算任务中的任务进程节点进行云计算处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011183437.5A CN112333260A (zh) | 2020-02-25 | 2020-02-25 | 云计算任务调度方法及云计算系统 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010114273.4A CN111371856B (zh) | 2020-02-25 | 2020-02-25 | 云计算任务调度方法、装置、云计算系统及服务器 |
CN202011183437.5A CN112333260A (zh) | 2020-02-25 | 2020-02-25 | 云计算任务调度方法及云计算系统 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010114273.4A Division CN111371856B (zh) | 2020-02-25 | 2020-02-25 | 云计算任务调度方法、装置、云计算系统及服务器 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112333260A true CN112333260A (zh) | 2021-02-05 |
Family
ID=71211529
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010114273.4A Active CN111371856B (zh) | 2020-02-25 | 2020-02-25 | 云计算任务调度方法、装置、云计算系统及服务器 |
CN202011183466.1A Withdrawn CN112333261A (zh) | 2020-02-25 | 2020-02-25 | 云计算任务调度方法、云计算系统及服务器 |
CN202011183437.5A Withdrawn CN112333260A (zh) | 2020-02-25 | 2020-02-25 | 云计算任务调度方法及云计算系统 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010114273.4A Active CN111371856B (zh) | 2020-02-25 | 2020-02-25 | 云计算任务调度方法、装置、云计算系统及服务器 |
CN202011183466.1A Withdrawn CN112333261A (zh) | 2020-02-25 | 2020-02-25 | 云计算任务调度方法、云计算系统及服务器 |
Country Status (1)
Country | Link |
---|---|
CN (3) | CN111371856B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113590361A (zh) * | 2021-08-04 | 2021-11-02 | 中科曙光国际信息产业有限公司 | 虚拟进程拓扑方法、装置、计算机设备和存储介质 |
WO2024140955A1 (zh) * | 2022-12-30 | 2024-07-04 | 华为云计算技术有限公司 | 任务调度方法及云平台 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111739649B (zh) * | 2020-07-04 | 2021-12-10 | 爱优牙信息技术(深圳)有限公司 | 一种用户画像捕捉方法、装置及系统 |
CN111932027B (zh) * | 2020-08-28 | 2022-08-05 | 电子科技大学 | 一种融合边缘设施的云服务综合调度优化系统及方法 |
CN112348516B (zh) * | 2020-11-30 | 2021-09-10 | 东方财富证券股份有限公司 | 一种基于云计算的交易管理方法及金融云平台系统 |
CN114996029B (zh) * | 2022-08-03 | 2022-10-14 | 深圳市乙辰科技股份有限公司 | 一种基于多主机负载数据分析的进程优化方法及系统 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101442482B (zh) * | 2007-11-13 | 2011-02-16 | 北京大学 | 一种基于反馈传播的分布式计算网络构建方法及其系统 |
CN102722355A (zh) * | 2012-06-04 | 2012-10-10 | 南京中兴软创科技股份有限公司 | 基于工作流机制的并发式etl转换方法 |
EP2887219A1 (en) * | 2013-12-23 | 2015-06-24 | Deutsche Telekom AG | System and method for mobile augmented reality task scheduling |
CN104021040B (zh) * | 2014-06-04 | 2017-09-26 | 河海大学 | 基于时间约束条件下的云计算关联任务调度方法和装置 |
CN104536804A (zh) * | 2014-12-23 | 2015-04-22 | 西安电子科技大学 | 面向关联任务请求的虚拟资源调度系统及调度和分配方法 |
CN109542620B (zh) * | 2018-11-16 | 2021-05-28 | 中国人民解放军陆军防化学院 | 一种云中关联任务流的资源调度配置方法 |
CN110532084B (zh) * | 2019-09-04 | 2024-05-31 | 深圳前海微众银行股份有限公司 | 平台任务的调度方法、装置、设备及存储介质 |
-
2020
- 2020-02-25 CN CN202010114273.4A patent/CN111371856B/zh active Active
- 2020-02-25 CN CN202011183466.1A patent/CN112333261A/zh not_active Withdrawn
- 2020-02-25 CN CN202011183437.5A patent/CN112333260A/zh not_active Withdrawn
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113590361A (zh) * | 2021-08-04 | 2021-11-02 | 中科曙光国际信息产业有限公司 | 虚拟进程拓扑方法、装置、计算机设备和存储介质 |
WO2024140955A1 (zh) * | 2022-12-30 | 2024-07-04 | 华为云计算技术有限公司 | 任务调度方法及云平台 |
Also Published As
Publication number | Publication date |
---|---|
CN111371856A (zh) | 2020-07-03 |
CN112333261A (zh) | 2021-02-05 |
CN111371856B (zh) | 2021-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111371856B (zh) | 云计算任务调度方法、装置、云计算系统及服务器 | |
CN111352712B (zh) | 云计算任务跟踪处理方法、装置、云计算系统及服务器 | |
JP6243045B2 (ja) | グラフデータクエリ方法および装置 | |
CN111209336B (zh) | 基于区块链的数据分配方法、装置及服务器 | |
CN111245912B (zh) | 智能楼宇信息监控方法、装置、服务器及智能楼宇系统 | |
CN109451540B (zh) | 一种网络切片的资源分配方法和设备 | |
CN105574541A (zh) | 一种基于紧密度排序的网络社区发现方法 | |
CN116166405A (zh) | 异构场景下的神经网络任务调度策略确定方法及装置 | |
CN111541628A (zh) | 一种电力通信网络业务资源分配方法及相关装置 | |
CN111209074B (zh) | 浏览器视图加载方法、装置、系统及服务器 | |
CN111258968B (zh) | 企业冗余数据清理方法、装置及大数据平台 | |
CN115373827A (zh) | 基于区块链的负载均衡调度方法及装置、区块链系统 | |
CN112699134A (zh) | 基于图剖分的分布式图数据库的存储与查询方法 | |
CN111259007B (zh) | 电动车信息监控方法、装置、服务器及电动车管理系统 | |
CN115412401B (zh) | 训练虚拟网络嵌入模型及虚拟网络嵌入的方法和装置 | |
CN111291085A (zh) | 层次化兴趣匹配方法、装置、计算机设备和存储介质 | |
CN103745312A (zh) | 生产质量控制方法 | |
CN108762918B (zh) | 一种基于概率分布的工作流资源配置优化方法和系统 | |
CN111107162A (zh) | 基于物联网的室内定位数据处理方法、装置及系统 | |
Li et al. | A fast and energy efficient branch and bound algorithm for NoC task mapping | |
CN107273207A (zh) | 一种基于超图划分算法的相关数据存储方法 | |
CN110166362B (zh) | 一种基于节点筛选的服务功能图低时延映射方法 | |
KR20220052195A (ko) | 도로 교통망 환경에서 g-트리 구조를 이용한 단일 그룹 콜렉티브 여행 질의 처리 장치 및 방법 | |
CN116662396A (zh) | 一种处理标识信息的方法、装置、设备及存储介质 | |
CN112486615A (zh) | 基于拓扑路径的决策流执行方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210205 |
|
WW01 | Invention patent application withdrawn after publication |