CN115951989A - 一种基于严格优先级的协同流量调度数值模拟方法与系统 - Google Patents
一种基于严格优先级的协同流量调度数值模拟方法与系统 Download PDFInfo
- Publication number
- CN115951989A CN115951989A CN202310247633.1A CN202310247633A CN115951989A CN 115951989 A CN115951989 A CN 115951989A CN 202310247633 A CN202310247633 A CN 202310247633A CN 115951989 A CN115951989 A CN 115951989A
- Authority
- CN
- China
- Prior art keywords
- task
- transmission
- calculation
- time
- strict priority
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于严格优先级的协同流量调度数值模拟方法与系统,包括以下步骤:采集分布式计算任务的实时执行状态数据、计算阶段用时估测值;基于严格优先级模拟并存储软件可定义交换机出端口中的流量传输队列;配置无前置依赖任务列表,模拟分布式计算环境中各个计算节点当前在执行的计算任务处理过程,存储待执行的计算任务信息和/或正在执行的计算任务信息;基于分布式计算任务的实时执行状态数据和计算阶段用时估测值,查找符合无前置计算约束条件的计算任务和传输任务;将无前置计算约束条件的计算任务和传输任务分别添加到无前置依赖任务列表和基于严格优先级的传输任务队列中。
Description
技术领域
本发明属于计算机网络流量调度技术领域,尤其涉及一种基于严格优先级的协同流量调度数值模拟方法与系统。
背景技术
在网络设备不断进化和发展的同时,数据中心或者分布式计算环境的软硬件和数据传输规模也在持续发展和扩张。为了解决具备严格依赖关系的协同流量的传输问题,减少协同流量的总体传输时间和平均传输时间,研究人员开始使用深度强化学习等人工智能模型进行流量调度策略的学习和验证。
搭建针对分布式计算场景的训练和测试环境成本高昂,且训练时间受样本大小的影响较为严重,对于少则百万次的模型训练来讲,是一个不得不解决的现实问题,尤其是人工智能模型调参的范围较大且多根据经验对最优参数的网格式搜索,则更加要解决训练的环境问题。
因此,亟需提出一种基于严格优先级的协同流量调度数值模拟方法,对传输过程进行数学建模,并允许用户自定义配置策略,以提升了实验效率,降低了实验成本。
发明内容
本发明的目的是针对现有技术不足,提出了一种基于严格优先级的协同流量调度数值模拟方法与系统。
本发明是通过以下技术方案来实现的:
本发明实施例的第一方面提供了一种基于严格优先级的协同流量调度数值模拟方法,所述方法具体包括以下步骤:
采集分布式计算任务的实时执行状态数据、计算阶段用时估测值;
基于严格优先级模拟并存储软件可定义交换机出端口中的流量传输队列;
配置无前置依赖任务列表,模拟分布式计算环境中各个计算节点当前在执行的计算任务处理过程,存储待执行的计算任务信息和/或正在执行的计算任务信息;
基于分布式计算任务的实时执行状态数据和计算阶段用时估测值,查找符合无前置计算约束条件的计算任务和传输任务;将无前置计算约束条件的计算任务和传输任务分别添加到无前置依赖任务列表和基于严格优先级的传输任务队列中,并获取整体作业用时。
本发明实施例的第二方面提供了一种基于严格优先级的协同流量调度数值模拟系统,述系统包括:
状态生成模块,用于采集分布式计算任务的实时执行状态数据、计算阶段用时估测值;
基于严格优先级的传输任务队列配置模块,用于基于严格优先级模拟并存储软件可定义交换机出端口中的流量传输队列;
无前置依赖任务列表配置模块,用于配置无前置依赖任务列表,模拟分布式计算环境中各个计算节点当前在执行的计算任务处理过程,存储待执行的计算任务信息和/或正在执行的计算任务信息;
协同流量调度数值模拟模块,用于通过分布式计算任务的实时执行状态数据和计算阶段用时估测值,查找符合无前置计算约束条件的计算任务和传输任务;将无前置计算约束条件的计算任务和传输任务分别添加到基于严格优先级的传输任务队列和无前置依赖任务列表中,并获取整体作业用时。
本发明实施例的第三方面提供了一种电子设备,包括存储器和处理器,所述存储器与所述处理器耦接;其中,所述存储器用于存储程序数据,所述处理器用于执行所述程序数据以实现上述的基于严格优先级的协同流量调度数值模拟方法。
本发明的有益效果是:本发明提出了一种基于严格优先级的协同流量调度数值模拟方法,通过构建基于严格优先级的传输任务队列和无前置依赖任务列表,通过分布式计算任务的实时执行状态数据和计算阶段用时估测值,查找符合无前置计算约束条件的计算任务和传输任务,并将无前置计算约束条件的计算任务和传输任务分别添加到无前置依赖任务列表和基于严格优先级的传输任务队列中,获取分布式计算任务中的计算阶段耗时和流量传输阶段耗时,可以大幅度提升分布式计算场景的实验效率。同时,本发明使得单个计算任务被包装成一个进程或者一个线程,则可以实现并发训练或策略验证。另外,本发明减少了针对分布式计算场景的训练和测试环境的硬件搭建成本。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于严格优先级的协同流量调度数值模拟方法的流程图;
图2是本发明实施例提供的一种基于严格优先级的协同流量调度数值模拟方法的结构框图;
图3是本发明实施例提供的状态生成模块数据格式的示意图;
图4是本发明实施例提供的无前置依赖任务列表的示意图;
图5是本发明实施例提供的基于严格优先级的传输任务的示意图;
图6是本发明实施例提供的一种基于严格优先级的协同流量调度数值模拟系统的示意图;
图7是本发明实施例提供的一种电子设备的示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本发明可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本发明范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
下面结合附图,对本发明进行详细说明。在不冲突的情况下,下述的实施例及实施方式中的特征可以相互组合。
如图1和图2所示,本发明实施例提出了一种基于严格优先级的协同流量调度数值模拟方法,本发明对分布式计算任务中计算阶段和传输阶段的处理过程进行了仿真模拟,并允许传输阶段的传输策略可由用户自定义进行配置,相较于采用实网环境进行策略的验证以及模型训练,大幅度提升了训练和验证的效率,降低了硬件环境搭建的成本。所述方法具体包括以下步骤:
步骤S1,采集分布式计算任务的实时执行状态数据、计算阶段用时估测值。
具体地,分布式计算任务的实时执行状态数据即分布式计算任务各计算阶段及传输阶段依赖关系的邻接矩阵Mdag。
将各阶段计算任务的用时估测值记为计算任务用时估测向量Tcal_stage;
进一步地,所述步骤S1还包括采集传输队列拥塞数据,并将基于严格优先级的传输任务队列中的任务拥塞情况记为任务拥塞情况向量Cswitch。
进一步地,所述步骤S1还包括将采集的实时执行状态数据、用时估测值、传输队列拥塞数据进行标准化,其标准化格式如图3所示,以提供输出数据API接口供用户获取。
步骤S2,基于严格优先级的传输任务队列,模拟软件可定义交换机出端口中的流量传输队列,并按优先级存储待处理的传输任务信息。
具体地,根据实体交换设备支持优先级队列的个数NpriQueue设置优先级队列数量,其中每个优先级队列存储了对应优先级的传输任务信息,每个传输任务transi由任务名称和剩余传输流量值组成的二元组表示,对于相同优先级的不同协同流量传输任务,采用先进先出的原则在队列内排队。
所述步骤S2还包括:每次挑选优先级最高的队列中的第一个任务作为当前的传输任务transcur,并根据设置的网络带宽(bw,bandwidth)计算得到当前传输任务transcur的传输耗时。计算表达式为:。为当前传输任务transcur对应的剩余传输流量值。
步骤S3,配置无前置依赖任务列表,模拟分布式计算环境中各个计算节点当前在执行的计算任务处理过程,存储待执行的计算任务信息和/或正在执行的计算任务信息。
具体地,通过配置的无前置依赖任务列表以存储维护当前无前置计算约束的计算任务信息,每个计算任务信息cali由任务名称、计算任务时间(即任务用时估测向量Tcal_stage中的第i个阶段计算任务用时估测值和以该计算任务作为起点的传输任务列表(即该计算任务对应的出度传输任务)组成,其中k为传输任务的个数。且无前置依赖任务列表中所有任务在每次更新后按照计算任务时间从小到大进行排序。
步骤S4,基于分布式计算任务的实时执行状态数据和计算阶段用时估测值,查找符合无前置计算约束条件的计算任务和传输任务;将无前置计算约束条件的计算任务和传输任务分别添加到无前置依赖任务列表和基于严格优先级的传输任务队列中,得到作业整体用时。
如图2所示,所述步骤S4具体包括以下子步骤:
步骤S401,基于分布式计算任务的实时执行状态数据和计算阶段用时估测值,查找符合无前置计算约束条件的计算任务,并将无前置计算约束条件的计算任务添加到无前置依赖任务列表中,并获取整体作业用时。
具体地,查找符合无前置计算约束条件的计算任务包括:
根据分布式计算作业结构各计算阶段及传输阶段依赖关系的邻接矩阵Mdag,所述邻接矩阵Mdag的行向量rowi=[xi1,xi2,…,x in]表示第i个计算任务的出度数据,所述邻接矩阵Mdag的列向量coli=[x1i,x2 i,…,xn i]表示第i个计算任务的入度数据。若对于第i个计算任务,满足行向量中的元素和不为零且列向量中的元素和为零,即满足∑=rowi≠0且∑=coli=0,则该第i个计算任务满足无前置计算约束条件。
进一步地,为避免同一计算任务被两次添加到无前置依赖任务列表中,分布式计算任务开始时对任务依赖关系的邻接矩阵Mdag的所有行向量和列向量进行上述验算,后续则仅计算传输任务终点对应的行列数据。
步骤S402,查找符合无前置计算约束条件的传输任务,并将无前置计算约束条件的传输任务添加到基于严格优先级的传输任务队列中。
判断传输任务队列是否为空。
其中,当传输任务队列为空时,从无前置依赖任务列表中取最小计算任务时间对应的计算任务cal1(即排序后无前置依赖任务列表的第一个计算任务),并将该计算任务对应的出度传输任务添加至基于严格优先级的传输任务队列中;将最小计算任务时间记为tmin_cal,在作业整体用时JCT上加上计算任务cal1对应的计算时间tmin_cal,即更新作业整体用时,表达式为:JCT’=JCT+tmin_ca。同时,将无前置依赖任务列表中的所有计算任务对应的计算时间减去计算任务cal1对应的tmin_cal。
当传输任务队列不为空时,从基于严格优先级的传输任务队列取出的当前协同流量传输任务transcur,并计算当前协同流量传输任务的剩余传输时间t_transcur。
当最小计算任务时间tmin_cal小于当前协同流量传输任务的剩余传输时间t_transcur时,则将无前置依赖任务列表中所有计算任务的计算任务时间均减去最小计算任务时间tmin_cal,并将无前置依赖任务列表中所有计算时间为0的计算任务对应的出度传输任务,根据传输策略将出度传输任务添加到基于严格优先级的传输任务队列中,更新传输任务transcur的剩余传输流量值,将当前协同流量传输任务transcur重新放回所属基于严格优先级的传输任务队列的队首,更新基于严格优先级的传输任务队列,重新挑选优先级最高的传输任务队列中的第1个任务作为当前的传输任务transcur,作业整体用时更新为JCT=JCT+tmin_cal。
当最小计算任务时间tmin_cal大于当前协同流量传输任务的剩余传输时间t_transcur时,则将无前置依赖任务列表中所有计算任务的计算任务时间均减去当前协同流量传输任务的剩余传输时间t_transcur,并完成该传输任务transcur,将作业整体用时更新为JCT=JCT+t_transcur。更新任务依赖关系表征矩阵Mdag并将符合无前置计算约束条件的计算任务装入所述无前置依赖任务列表,然后更新基于严格优先级的传输任务队列,重新挑选优先级最高的传输任务队列中的第1个任务作为当前的传输任务transcur,重复上述步骤,持续进行传输任务。
步骤S403,当无前置依赖任务列表和基于严格优先级的传输任务队列为空,且任务依赖关系表征矩阵Mdag满足∑ijMij=0时,结束分布式计算任务,得到作业整体用时。
示例性地,如图4中的有向无环图所示,在任务初始阶段,传输任务队列为空,无前置依赖任务列表中有且仅有计算任务0的描述信息,则将计算任务0的计算用时记为tmin_cal,将作业整体用时JCT更新为JCT+tmin_cal,然后将计算任务0的后续流量传输任务0_1和0_2按照用户自定义设定的调度策略推入到对应优先级的传输任务队列中,在无前置依赖任务列表中将已完成的任务0删除,在本实施例中,将传输任务0_1加入到优先级为7的传输任务队列,将传输任务0_2加入到优先级为6的传输任务队列,其中传输任务队列的结构如图5所示。此时,所述传输任务队列不为空,所述无前置依赖任务列表为空,按照严格优先级的传输机制,优先级为7的传输任务0_1优先计算传输时间,将其传输时间累加到JCT,更新作业整体用时。计算任务1在传输任务0_1完成后满足了无前置依赖的执行条件,将计算任务1添加到所述无前置依赖任务列表中,比较传输任务0_2的传输时间ttrans_0_2与计算任务1的计算时间tcal_1的大小。若ttrans_0_2>tcal_1,将JCT更新为JCT+tcal_1,将传输任务0_2的剩余传输时间ttrans_0_2更新为ttrans_0_2- tcal_1。并将计算任务1的出度传输任务1_3按照系统设定的调度策略推入到对应优先级的传输任务队列中,由所述传输任务队列挑选最高优先级的传输任务进行传输;若ttrans_0_2<tcal_1,则将JCT更新为JCT+ttrans_0_2,并将计算任务1的剩余计算时间tcal_1更新为tcal_1- ttrans_0_2,从所述传输任务队列中删除传输任务0_1,此时继续比较传输任务0_2与计算任务1的剩余计算时间,重复上述步骤,直至全部计算任务和传输任务完成。
综上所述,提出了一种基于严格优先级的协同流量调度数值模拟方法,通过构建基于严格优先级的传输任务队列和无前置依赖任务列表,通过分布式计算任务的实时执行状态数据和计算阶段用时估测值,查找符合无前置计算约束条件的计算任务和传输任务,并将无前置计算约束条件的计算任务和传输任务分别添加到无前置依赖任务列表和基于严格优先级的传输任务队列中,获取分布式计算任务中的计算阶段耗时和流量传输阶段耗时,可以大幅度提升分布式计算场景的实验效率。同时,本发明使得单个计算任务被包装成一个进程或者一个线程,则可以实现并发训练或策略验证。另外,本发明减少了针对分布式计算场景的训练和测试环境的硬件搭建成本。
如图6所示,本发明实施例还提出了一种基于严格优先级的协同流量调度数值模拟系统,用于实现上述的基于严格优先级的协同流量调度数值模拟方法,所述系统包括:状态生成模块、基于严格优先级的传输任务队列配置模块、无前置依赖任务列表配置模块和协同流量调度数值模拟模拟模块。
状态生成模块,用于采集分布式计算任务的实时执行状态数据、计算阶段用时估测值、传输队列拥塞数据。
基于严格优先级的传输任务队列配置模块,用于基于严格优先级模拟并存储软件可定义交换机出端口中的流量传输队列。
无前置依赖任务列表配置模块,用于配置无前置依赖任务列表,模拟分布式计算环境中各个计算节点当前在执行的计算任务处理过程,存储待执行的计算任务信息和/或正在执行的计算任务信息。
协同流量调度数值模拟模块,用于通过分布式计算任务的实时执行状态数据和计算阶段用时估测值,查找符合无前置计算约束条件的计算任务和传输任务;将无前置计算约束条件的计算任务和传输任务分别添加到无前置依赖任务列表和基于严格优先级的传输任务队列中。
关于上述实施例中的系统,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
对于系统实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
相应的,本申请还提供一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个程序;当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上述的基于严格优先级的协同流量调度数值模拟方法。如图7所示,为本发明实施例提供的基于严格优先级的协同流量调度数值模拟方法所在任意具备数据处理能力的设备的一种硬件结构图,除了图7所示的处理器、内存以及网络接口之外,实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能,还可以包括其他硬件,对此不再赘述。
相应的,本申请还提供一种计算机可读存储介质,其上存储有计算机指令,该指令被处理器执行时实现如上述的基于严格优先级的协同流量调度数值模拟方法。所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元,例如硬盘或内存。所述计算机可读存储介质也可以是外部存储设备,例如所述设备上配备的插接式硬盘、智能存储卡(Smart Media Card,SMC)、SD卡、闪存卡(Flash Card)等。进一步的,所述计算机可读存储介还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据,还可以用于暂时地存储已经输出或者将要输出的数据。
以上实施例仅用于说明本发明的设计思想和特点,其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施,本发明的保护范围不限于上述实施例。所以,凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰,均在本发明的保护范围之内。
Claims (10)
1.一种基于严格优先级的协同流量调度数值模拟方法,其特征在于,所述方法具体包括以下步骤:
采集分布式计算任务的实时执行状态数据、计算阶段用时估测值;
基于严格优先级模拟并存储软件可定义交换机出端口中的流量传输队列;
配置无前置依赖任务列表,模拟分布式计算环境中各个计算节点当前在执行的计算任务处理过程,存储待执行的计算任务信息和/或正在执行的计算任务信息;
基于分布式计算任务的实时执行状态数据和计算阶段用时估测值,查找符合无前置计算约束条件的计算任务和传输任务;将无前置计算约束条件的计算任务和传输任务分别添加到无前置依赖任务列表和基于严格优先级的传输任务队列中,并获取整体作业用时。
2.根据权利要求1所述的基于严格优先级的协同流量调度数值模拟方法,其特征在于,采集分布式计算任务的实时执行状态数据、计算阶段用时估测值包括:
分布式计算任务的实时执行状态数据为分布式计算任务各计算阶段及传输阶段依赖关系的邻接矩阵;
将各阶段计算任务的用时估测值记为计算任务用时估测向量。
3.根据权利要求1所述的基于严格优先级的协同流量调度数值模拟方法,其特征在于,基于严格优先级模拟并存储软件可定义交换机出端口中的流量传输队列包括:
根据实体交换设备支持优先级队列的个数设置优先级队列数量,其中每个优先级队列存储了对应优先级的传输任务信息,对于相同优先级的不同协同流量传输任务,采用先进先出的原则在优先级队列内排队;其中,传输任务信息通过任务名称和剩余传输流量值组成的二元组表示。
4.根据权利要求1或3所述的基于严格优先级的协同流量调度数值模拟方法,其特征在于,基于严格优先级模拟并存储软件可定义交换机出端口中的流量传输队列还包括:
每次挑选优先级最高的队列中的第一个任务作为当前的传输任务,并将当前传输任务对应的剩余传输流量值与网络带宽之比作为当前传输任务的传输耗时。
5.根据权利要求2所述的基于严格优先级的协同流量调度数值模拟方法,其特征在于,查找符合无前置计算约束条件的计算任务包括:
根据分布式计算作业结构各计算阶段及传输阶段依赖关系的邻接矩阵判断计算任务是否满足无前置计算约束条件;其中,邻接矩阵的行向量rowi表示第i个计算任务的出度数据,所述邻接矩阵的列向量coli表示第i个计算任务的入度数据;对于第i个计算任务,满足行向量中的元素和不为零且列向量中的元素和为零,则第i个计算任务满足无前置计算约束条件。
6.根据权利要求1所述的基于严格优先级的协同流量调度数值模拟方法,其特征在于,查找符合无前置计算约束条件的传输任务,并将无前置计算约束条件的传输任务添加到基于严格优先级的传输任务队列中包括:
当传输任务队列为空时,从无前置依赖任务列表中取最小计算任务时间对应的计算任务,并将所述计算任务对应的出度传输任务添加至基于严格优先级的传输任务队列中;
当传输任务队列不为空时,从基于严格优先级的传输任务队列取出的当前协同流量传输任务,并计算当前协同流量传输任务的剩余传输时间;比较最小计算任务时间与当前协同流量传输任务的剩余传输时间,以更新基于严格优先级的传输任务队列。
7.根据权利要求6所述的基于严格优先级的协同流量调度数值模拟方法,其特征在于,比较最小计算任务时间与当前协同流量传输任务的剩余传输时间,以更新基于严格优先级的传输任务队列包括:
当最小计算任务时间小于当前协同流量传输任务的剩余传输时间时,则将无前置依赖任务列表中所有计算任务的计算任务时间均减去最小计算任务时间,并将无前置依赖任务列表中所有计算时间为0的计算任务对应的出度传输任务,根据传输策略将出度传输任务添加到基于严格优先级的传输任务队列中,更新传输任务的剩余传输流量值,将当前协同流量传输任务重新放回所属基于严格优先级的传输任务队列的队首,更新基于严格优先级的传输任务队列,重新选取优先级最高的传输任务队列中的第一个任务作为当前的传输任务,更新作业整体用时;
当最小计算任务时间大于当前协同流量传输任务的剩余传输时间时,则将无前置依赖任务列表中所有计算任务的计算任务时间均减去当前协同流量传输任务的剩余传输时间,并完成当前传输任务,将更新作业整体用时;更新任务依赖关系表征矩阵,并将符合无前置计算约束条件的计算任务添加至无前置依赖任务列表,然后更新基于严格优先级的传输任务队列,重新挑选优先级最高的传输任务队列中的第一个任务作为当前的传输任务,持续进行传输任务。
8.根据权利要求1或2所述的基于严格优先级的协同流量调度数值模拟方法,其特征在于,协同流量调度数值模拟方法还包括:
无前置依赖任务列表和基于严格优先级的传输任务队列为空,且分布式计算任务各计算阶段及传输阶段依赖关系的邻接矩阵中的各元素之和为零时,结束分布式计算任务,更新获取作业整体用时。
9.一种基于严格优先级的协同流量调度数值模拟系统,用于实现上述权利要求1-8任一项所述的基于严格优先级的协同流量调度数值模拟方法,其特征在于,所述系统包括:
状态生成模块,用于采集分布式计算任务的实时执行状态数据、计算阶段用时估测值;
基于严格优先级的传输任务队列配置模块,用于基于严格优先级模拟并存储软件可定义交换机出端口中的流量传输队列;
无前置依赖任务列表配置模块,用于配置无前置依赖任务列表,模拟分布式计算环境中各个计算节点当前在执行的计算任务处理过程,存储待执行的计算任务信息和/或正在执行的计算任务信息;
协同流量调度数值模拟模块,用于通过分布式计算任务的实时执行状态数据和计算阶段用时估测值,查找符合无前置计算约束条件的计算任务和传输任务;将无前置计算约束条件的计算任务和传输任务分别添加到基于严格优先级的传输任务队列和无前置依赖任务列表中,并获取整体作业用时。
10.一种电子设备,包括存储器和处理器,其特征在于,所述存储器与所述处理器耦接;其中,所述存储器用于存储程序数据,所述处理器用于执行所述程序数据以实现上述权利要求1-8任一项所述的基于严格优先级的协同流量调度数值模拟方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310247633.1A CN115951989B (zh) | 2023-03-15 | 2023-03-15 | 一种基于严格优先级的协同流量调度数值模拟方法与系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310247633.1A CN115951989B (zh) | 2023-03-15 | 2023-03-15 | 一种基于严格优先级的协同流量调度数值模拟方法与系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115951989A true CN115951989A (zh) | 2023-04-11 |
CN115951989B CN115951989B (zh) | 2023-06-20 |
Family
ID=85893094
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310247633.1A Active CN115951989B (zh) | 2023-03-15 | 2023-03-15 | 一种基于严格优先级的协同流量调度数值模拟方法与系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115951989B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117082113A (zh) * | 2023-10-13 | 2023-11-17 | 南京海汇装备科技有限公司 | 一种基于数据融合的分布式设备监测系统及方法 |
CN117651075A (zh) * | 2024-01-25 | 2024-03-05 | 腾讯科技(深圳)有限公司 | 任务消息传输方法、装置、计算机设备及计算机可读存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103838627A (zh) * | 2014-03-18 | 2014-06-04 | 北京工业大学 | 一种基于工作流吞吐量最大化的工作流调度方法 |
US20150082316A1 (en) * | 2013-09-18 | 2015-03-19 | evoleap, LLC | System and Method for Efficient Utilization of Simulation Resources |
CN106027416A (zh) * | 2016-05-23 | 2016-10-12 | 北京邮电大学 | 一种基于时空结合的数据中心网络流量调度方法及系统 |
US20180300174A1 (en) * | 2017-04-17 | 2018-10-18 | Microsoft Technology Licensing, Llc | Efficient queue management for cluster scheduling |
CN111414243A (zh) * | 2020-03-19 | 2020-07-14 | 北京明略软件系统有限公司 | 确定访问路径的方法和装置、存储介质及电子装置 |
WO2021056787A1 (zh) * | 2019-09-23 | 2021-04-01 | 苏州大学 | 混合云服务流程调度方法 |
WO2021227245A1 (zh) * | 2020-05-11 | 2021-11-18 | 重庆邮电大学 | 一种面向tsn和非tsn互联的工业异构网络调度方法 |
CN113918291A (zh) * | 2021-06-25 | 2022-01-11 | 安徽炬汇科技发展有限公司 | 多核操作系统流任务调度方法、系统、计算机和介质 |
CN114465941A (zh) * | 2022-04-13 | 2022-05-10 | 之江实验室 | 基于收发包协同的集群计算流量仿真方法、系统与装置 |
CN115033365A (zh) * | 2022-06-17 | 2022-09-09 | 平安科技(深圳)有限公司 | 基于人工智能的任务流精准调度方法及相关设备 |
CN115361301A (zh) * | 2022-10-09 | 2022-11-18 | 之江实验室 | 一种基于dqn的分布式计算网络协同流量调度系统与方法 |
-
2023
- 2023-03-15 CN CN202310247633.1A patent/CN115951989B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150082316A1 (en) * | 2013-09-18 | 2015-03-19 | evoleap, LLC | System and Method for Efficient Utilization of Simulation Resources |
CN103838627A (zh) * | 2014-03-18 | 2014-06-04 | 北京工业大学 | 一种基于工作流吞吐量最大化的工作流调度方法 |
CN106027416A (zh) * | 2016-05-23 | 2016-10-12 | 北京邮电大学 | 一种基于时空结合的数据中心网络流量调度方法及系统 |
US20180300174A1 (en) * | 2017-04-17 | 2018-10-18 | Microsoft Technology Licensing, Llc | Efficient queue management for cluster scheduling |
WO2021056787A1 (zh) * | 2019-09-23 | 2021-04-01 | 苏州大学 | 混合云服务流程调度方法 |
CN111414243A (zh) * | 2020-03-19 | 2020-07-14 | 北京明略软件系统有限公司 | 确定访问路径的方法和装置、存储介质及电子装置 |
WO2021227245A1 (zh) * | 2020-05-11 | 2021-11-18 | 重庆邮电大学 | 一种面向tsn和非tsn互联的工业异构网络调度方法 |
CN113918291A (zh) * | 2021-06-25 | 2022-01-11 | 安徽炬汇科技发展有限公司 | 多核操作系统流任务调度方法、系统、计算机和介质 |
CN114465941A (zh) * | 2022-04-13 | 2022-05-10 | 之江实验室 | 基于收发包协同的集群计算流量仿真方法、系统与装置 |
CN115033365A (zh) * | 2022-06-17 | 2022-09-09 | 平安科技(深圳)有限公司 | 基于人工智能的任务流精准调度方法及相关设备 |
CN115361301A (zh) * | 2022-10-09 | 2022-11-18 | 之江实验室 | 一种基于dqn的分布式计算网络协同流量调度系统与方法 |
Non-Patent Citations (5)
Title |
---|
YUAN LIANG等: "A Cooperative Flow Simulator for Distributed Computing Based on Full-Dimensional Definable Network", 《2022 4TH INTERNATIONAL CONFERENCE ON DATA-DRIVEN OPTIMIZATION OF COMPLEX SYSTEMS (DOCS)》 * |
何琨;赵勇;陈阳;: "分布式环境下多任务调度问题的分析与求解", 系统工程理论与实践 * |
张汝云等: "多模态网络下多智能体协同控制的通信拓扑重构方法", 《通信学报》 * |
董思岐;李海龙;屈毓锛;胡磊;: "面向优先级用户的移动边缘计算任务调度策略", 计算机应用研究 * |
顾炜江;: "物联网中共享资源数据调度方法的研究", 计算机仿真 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117082113A (zh) * | 2023-10-13 | 2023-11-17 | 南京海汇装备科技有限公司 | 一种基于数据融合的分布式设备监测系统及方法 |
CN117082113B (zh) * | 2023-10-13 | 2023-12-19 | 南京海汇装备科技有限公司 | 一种基于数据融合的分布式设备监测系统及方法 |
CN117651075A (zh) * | 2024-01-25 | 2024-03-05 | 腾讯科技(深圳)有限公司 | 任务消息传输方法、装置、计算机设备及计算机可读存储介质 |
CN117651075B (zh) * | 2024-01-25 | 2024-04-19 | 腾讯科技(深圳)有限公司 | 任务消息传输方法、装置、计算机设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115951989B (zh) | 2023-06-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115951989B (zh) | 一种基于严格优先级的协同流量调度数值模拟方法与系统 | |
US20220391771A1 (en) | Method, apparatus, and computer device and storage medium for distributed training of machine learning model | |
CN114756358B (zh) | 一种dag任务调度方法、装置、设备及存储介质 | |
CN115186821B (zh) | 面向芯粒的神经网络推理开销估计方法及装置、电子设备 | |
CN111126668A (zh) | 基于图卷积网络的Spark作业时间预测方法和装置 | |
Ata et al. | An equilibrium analysis of a multiclass queue with endogenous abandonments in heavy traffic | |
CN115237581B (zh) | 一种面向异构算力的多策略智能调度方法和装置 | |
Peng et al. | Asynchronous distributed variational Gaussian process for regression | |
CN115361301B (zh) | 一种基于dqn的分布式计算网络协同流量调度系统与方法 | |
CN113077052A (zh) | 用于稀疏奖励环境的强化学习方法、装置、设备及介质 | |
CN112488826A (zh) | 基于深度强化学习对银行风险定价的优化方法和装置 | |
CN108229536A (zh) | 分类预测模型的优化方法、装置及终端设备 | |
CN114896899A (zh) | 一种基于信息交互的多智能体分散式决策方法及系统 | |
CN117234710A (zh) | 一种采用强化学习实现ai模型训练内存优化的方法 | |
CN111935005B (zh) | 数据传输方法、装置、处理设备及介质 | |
US7925490B2 (en) | Method of transactional simulation of a generic communication node model, and the corresponding computer program product and storage means | |
CN114445692B (zh) | 图像识别模型构建方法、装置、计算机设备及存储介质 | |
CN115567466A (zh) | 基于深度强化学习的时间敏感流量在线调度方法及装置 | |
JP2023544911A (ja) | 並列量子コンピューティングのための方法及び装置 | |
CN112016611A (zh) | 生成器网络和策略生成网络的训练方法、装置和电子设备 | |
CN115001580B (zh) | 一种多维空间光缆网模拟业务流定制化生成与分配方法 | |
GB2589828A (en) | Causal reasoning and counterfactual probabilistic programming framework using approximate inference | |
CN117827619B (zh) | 异构算力的耗时预测仿真方法、装置、设备、介质及系统 | |
CN116996443B (zh) | 一种结合gnn和sac模型的网络协同流量调度方法与系统 | |
Wang et al. | Online scheduling of coflows by attention-empowered scalable deep reinforcement learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |