CN117331700B - 一种算力网络资源调度系统及方法 - Google Patents
一种算力网络资源调度系统及方法 Download PDFInfo
- Publication number
- CN117331700B CN117331700B CN202311391896.6A CN202311391896A CN117331700B CN 117331700 B CN117331700 B CN 117331700B CN 202311391896 A CN202311391896 A CN 202311391896A CN 117331700 B CN117331700 B CN 117331700B
- Authority
- CN
- China
- Prior art keywords
- node
- value
- computing
- load rate
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 94
- 238000013528 artificial neural network Methods 0.000 claims abstract description 16
- 238000010187 selection method Methods 0.000 claims abstract description 5
- 238000009826 distribution Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 14
- 238000004590 computer program Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000011176 pooling Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本申请涉及一种算力网络资源调度方法，包括以下步骤：S1.历史记录构建，根据历史记录数据构建算力网络资源调度分配表；S2.信息获取步骤，获取当前各个算力节点的当前负载率、算力网络资源整体负载率以及待处理任务的系统损耗预估值；S3.任务分配步骤，根据所述S2中获取的信息进行任务分配；所述任务分配方式为基于正反馈的临近节点选择方法或深度神经网络；S4.数据更新记录步骤，根据实际处理情况更新修复后的系统损耗实际值；并且当任务处理完成之后，形成新的记录，加入算力网络资源调度分配表。本申请对应提出一种算力网络资源调度系统，计算机设备及计算机可读存储介质。本申请实现了算力网络资源系统的负载均衡及高有效性，使得调度系统解决方案达到最优解。
Description
技术领域
本发明属于算力网络技术领域，具体涉及一种算力网络资源调度方法系统及方法、装置、计算机设备及计算机可读存储介质。
背景技术
当前的算力网络资源调度方案主要有分布式方案和集中式方案,其中，所述分布式方案是通过对边界网关协议(BorderGateway Protocol，BGP)和内部网关协议(InteriorGateway Protocol，IGP)等路由协议进行扩展，将算力资源作为路由信息发布到网络，而所述集中式方案主要基于集中式控制器对算力资源进行调度。但上述调度方案往往难以实现算力网络资源系统的负载均衡及高有效性，无法使得调度系统解决方案达到全局最优解，上述问题目前还缺乏有效的技术方案，是本领域技术人员亟需研究的课题。
发明内容
为解决上述问题，本发明提出了一种算力网络资源调度方法，其特征在于，包括以下步骤：
S1.历史记录构建，根据历史记录数据构建算力网络资源调度分配表，所述算力网络资源调度分配表包括至少以下信息：算力节点标号，算力节点当前负载率，算力网络资源整体负载率，算力节点处理周期，已处理任务的系统损耗值，算力节点处理反馈值，所述算力节点处理反馈值分为-2、-1、1三个等级，负数表示负反馈、正数表示正反馈，-2表示对算力节点当前负载率及算力网络资源整体负载率都较高；-1表示对算力节点当前负载率较高，但对算力网络资源整体负载率无实质影响；1表示对算力节点当前负载率无实质影响，且对算力网络资源整体负载率无实质影响；所述已处理任务的系统损耗值表示所述已处理任务的处理过程中对整个系统的资源占用情况，损耗值越大，代表资源占用越多；损耗值越小，代表资源占用越小；
S2.信息获取步骤，获取当前各个算力节点的当前负载率、算力网络资源整体负载率以及待处理任务的系统损耗预估值；
S3.任务分配步骤，根据所述S2中获取的信息进行任务分配；所述任务分配方式为基于正反馈的临近节点选择方法或深度神经网络；
S4.数据更新记录步骤，根据实际处理情况更新修复后的系统损耗实际值；并且当任务处理完成之后，形成新的记录，加入算力网络资源调度分配表。
作为一种实施例，所述S1中所述算力节点周期指当前处理任务从接受到完全处理完成所需要的时长，单位为毫秒。
作为一种实施例，所述S2中所述待处理任务的系统损耗预估值按照由低到高顺序分成1至10共十个等级，第1等级表示系统损耗预估值最小，第10等级表示系统损耗预估值最大。
作为一种实施例，所述基于反馈的相似度信息拟合方式为计算分配至每个算力节点的影响值，具体的，首先比较当前待处理任务的系统损耗预估值与所述历史记录中的系统损耗值，选取与所述前待处理任务的系统损耗预估值临近的所述历史记录中的系统损耗值，所述临近指二者的等级差少于n,n<4，且所述算力节点的处理反馈值为1。
作为一种实施例，选取算力节点的处理反馈值为1，且临近值为0的算力节点，当未找到临近值为0的算力节点时，则寻找临近值为1的算力节点，如果仍未找到临近值为1的算力节点，则继续寻找临近值为2的节点；如果仍未找到临近值为2的算力节点，则继续寻找临近值为3的算力节点；如果仍未找到临近值为3的算力节点，则选择当前负载率最低的算力节点；如果存在多个临近值相同，且处理反馈值为1的算力节点，则在上述节点中选择当前负载率最低的算力节点进行处理；如果仍然存在多个负载率最低的算力节点，则选择所述处理周期最短的算力节点。
本申请还对应提出了一种算力网络资源调度系统，其特征在于，包括以下模块：
历史记录构建模块，用于根据历史记录数据构建算力网络资源调度分配表，所述算力网络资源调度分配表包括至少以下信息：算力节点标号，算力节点当前负载率，算力网络资源整体负载率，算力节点处理周期，已处理任务的系统损耗值，算力节点处理反馈值，所述算力节点处理反馈值分为-2、-1、1三个等级，负数表示负反馈、正数表示正反馈，-2表示对算力节点当前负载率及算力网络资源整体负载率都较高；-1表示对算力节点当前负载率较高，但对算力网络资源整体负载率无实质影响；1表示对算力节点当前负载率无实质影响，且对算力网络资源整体负载率无实质影响；所述已处理任务的系统损耗值表示所述已处理任务的处理过程中对整个系统的资源占用情况，损耗值越大，代表资源占用越多；损耗值越小，代表资源占用越小；
信息获取模块，用于获取当前各个算力节点的当前负载率、算力网络资源整体负载率以及待处理任务的系统损耗预估值；
任务分配模块，用于根据所述信息获取模块中获取的信息进行任务分配；所述任务分配方式为基于反馈的相似度信息拟合或深度神经网络；
数据更新记录模块，用于根据实际处理情况更新修复后的系统损耗实际值；并且当任务处理完成之后，形成新的记录，加入算力网络资源调度分配表。
作为一种实施例，所述历史记录构建模块中所述算力节点周期指当前处理任务从接受到完全处理完成所需要的时长，单位为毫秒。
作为一种实施例，所述信息获取模块中所述待处理任务的系统损耗预估值按照由低到高顺序分成1至10共十个等级，第1等级表示系统损耗预估值最小，第10等级表示系统损耗预估值最大。
作为一种实施例，所述基于反馈的相似度信息拟合方式为计算分配至每个算力节点的影响值，具体的，首先比较当前待处理任务的系统损耗预估值与所述历史记录中的系统损耗值，选取与所述前待处理任务的系统损耗预估值临近的所述历史记录中的系统损耗值，所述临近指二者的等级差少于n,n<4，且所述算力节点的处理反馈值为1。
作为一种实施例，选取算力节点的处理反馈值为1，且临近值为0的算力节点，当未找到临近值为0的算力节点时，则寻找临近值为1的算力节点，如果仍未找到临近值为1的算力节点，则继续寻找临近值为2的节点；如果仍未找到临近值为2的算力节点，则继续寻找临近值为3的算力节点；如果仍未找到临近值为3的算力节点，则选择当前负载率最低的算力节点；如果存在多个临近值相同，且处理反馈值为1的算力节点，则在上述节点中选择当前负载率最低的算力节点进行处理；如果仍然存在多个负载率最低的算力节点，则选择所述处理周期最短的算力节点。
此外，本发明提供了一种计算机设备，包括有依次通信连接的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行上述任意一种方法。
本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行上述任意一种方法。
本发明的有益效果：
本发明提出了一种算力网络资源调度方法及系统，其特征在于，包括以下步骤：S1.历史记录构建，根据历史记录数据构建算力网络资源调度分配表，所述算力网络资源调度分配表包括至少以下信息：算力节点标号，算力节点当前负载率，算力网络资源整体负载率，算力节点处理周期，已处理任务的系统损耗值，算力节点处理反馈值，所述算力节点处理反馈值分为-2、-1、1三个等级，负数表示负反馈、正数表示正反馈，-2表示对算力节点当前负载率及算力网络资源整体负载率都较高；-1表示对算力节点当前负载率较高，但对算力网络资源整体负载率无实质影响；1表示对算力节点当前负载率无实质影响，且对算力网络资源整体负载率无实质影响；所述已处理任务的系统损耗值表示所述已处理任务的处理过程中对整个系统的资源占用情况，损耗值越大，代表资源占用越多；损耗值越小，代表资源占用越小；S2.信息获取步骤，获取当前各个算力节点的当前负载率、算力网络资源整体负载率以及待处理任务的系统损耗预估值；S3.任务分配步骤，根据所述S2中获取的信息进行任务分配；所述任务分配方式为基于正反馈的临近节点选择方法或深度神经网络；S4.数据更新记录步骤，根据实际处理情况更新修复后的系统损耗实际值；并且当任务处理完成之后，形成新的记录，加入算力网络资源调度分配表。本申请实现了算力网络资源系统的负载均衡及高有效性，使得调度系统解决方案达到最优解。
附图说明
图1是本发明的流程图
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将结合附图和实施例或现有技术的描述对本发明作简单地介绍，显而易见地，下面关于附图结构的描述仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。
应当理解，尽管本文可能使用术语第一和第二等等来描述各种对象，但是这些对象不应当受到这些术语的限制。这些术语仅用于区分一个对象和另一个对象。例如可以将第一对象称作第二对象,并且类似地可以将第二对象称作第一对象，同时不脱离本发明的示例实施例的范围。
应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A、单独存在B或者同时存在A和B等三种情况；又例如，A、B和/或C，可以表示存在A、B和C中的任意一种或他们的任意组合；对于本文中可能出现的术语“/和”，其是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A或者同时存在A和B等两种情况；另外，对于本文中可能出现的字符“/”，一般表示前后关联对象是一种“或”关系。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将结合附图和实施例或现有技术的描述对本发明作简单地介绍，显而易见地，下面关于附图结构的描述仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。
应当理解，尽管本文可能使用术语第一和第二等等来描述各种对象，但是这些对象不应当受到这些术语的限制。这些术语仅用于区分一个对象和另一个对象。例如可以将第一对象称作第二对象,并且类似地可以将第二对象称作第一对象，同时不脱离本发明的示例实施例的范围。
应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A、单独存在B或者同时存在A和B等三种情况；又例如，A、B和/或C，可以表示存在A、B和C中的任意一种或他们的任意组合；对于本文中可能出现的术语“/和”，其是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A或者同时存在A和B等两种情况；另外，对于本文中可能出现的字符“/”，一般表示前后关联对象是一种“或”关系。
如图1所示，为解决现有技术中存在的问题，本发明提出了一种算力网络资源调度方法，其特征在于，包括以下步骤：
S1.历史记录构建，根据历史记录数据构建算力网络资源调度分配表，所述算力网络资源调度分配表包括至少以下信息：算力节点标号，算力节点当前负载率，算力网络资源整体负载率，算力节点处理周期，已处理任务的系统损耗值，算力节点处理反馈值，所述算力节点处理反馈值分为-2、-1、1三个等级，负数表示负反馈、正数表示正反馈，-2表示对算力节点当前负载率及算力网络资源整体负载率都较高；-1表示对算力节点当前负载率较高，但对算力网络资源整体负载率无实质影响；1表示对算力节点当前负载率无实质影响，且对算力网络资源整体负载率无实质影响；所述已处理任务的系统损耗值表示所述已处理任务的处理过程中对整个系统的资源占用情况，损耗值越大，代表资源占用越多；损耗值越小，代表资源占用越小；
S2.信息获取步骤，获取当前各个算力节点的当前负载率、算力网络资源整体负载率以及待处理任务的系统损耗预估值；
S3.任务分配步骤，根据所述S2中获取的信息进行任务分配；所述任务分配方式为基于正反馈的临近节点选择方法或深度神经网络；
S4.数据更新记录步骤，根据实际处理情况更新修复后的系统损耗实际值；并且当任务处理完成之后，形成新的记录，加入算力网络资源调度分配表。
作为一种实施例，所述S1中所述算力节点周期指当前处理任务从接受到完全处理完成所需要的时长，单位为毫秒。
作为一种实施例，所述S2中所述待处理任务的系统损耗预估值按照由低到高顺序分成1至10共十个等级，第1等级表示系统损耗预估值最小，第10等级表示系统损耗预估值最大。
作为一种实施例，所述基于反馈的相似度信息拟合方式为计算分配至每个算力节点的影响值，具体的，首先比较当前待处理任务的系统损耗预估值与所述历史记录中的系统损耗值，选取与所述前待处理任务的系统损耗预估值临近的所述历史记录中的系统损耗值，所述临近指二者的等级差少于n,n<4，且所述算力节点的处理反馈值为1。
作为一种实施例，选取算力节点的处理反馈值为1，且临近值为0的算力节点，当未找到临近值为0的算力节点时，则寻找临近值为1的算力节点，如果仍未找到临近值为1的算力节点，则继续寻找临近值为2的节点；如果仍未找到临近值为2的算力节点，则继续寻找临近值为3的算力节点；如果仍未找到临近值为3的算力节点，则选择当前负载率最低的算力节点；如果存在多个临近值相同，且处理反馈值为1的算力节点，则在上述节点中选择当前负载率最低的算力节点进行处理；如果仍然存在多个负载率最低的算力节点，则选择所述处理周期最短的算力节点。
可选的，所述深度神经网络包含有输入层、一个或多个隐含层、输出层；
当训练时，所述输入层用于接收算力节点标号，算力节点当前负载率，算力网络资源整体负载率，算力节点处理周期，已处理任务的系统损耗值，算力节点处理反馈值等信息；当需要进行寻找最佳算力节点时，输入层还需要输入待处理任务的系统损耗预估值；
可选的，所述隐含层包含一个或多个卷积层、一个或多个池化层；
可选的，所述深度神经网络采用第一损失函数，定义如下：
α、β>0.1且α+β＝1，Pj为修复后的系统损耗实际值，Qj表示任务j的系统损耗预估值；1≤j≤N，N表示任务总数；
可选的，所述深度神经网络采用第二损失函数，定义如下：
第二损失函数如下：
N表示包含历史记录中样本数据集的大小，i取值1～N，yi表示样本xi对应的标签；Wyi表示样本xi在其标签yi处的权重，b向量包括byi和bj，byi表示样本xi在其标签yi处的偏差，bj表示输出节点j处的偏差；
可选的，最终的损失函数为：
其中0.4≤μ、λ≤0.6
可选的，所述池化方法如下：
xe＝f(weφ(xe-1))；
其中，xe表示当前层的输出，we表示当前层的权重，φ表示对数似然损失函数，xe-1表示上一层的输出；
N表示包含历史记录中样本数据集的大小；yi表示样本特征向量xi对应的标签值；Wyi表示样本特征向量xi在其标签yi处的权重，θyi表示为样本xi与其对应标签yi的向量夹角；
所述输出层用于输出拟推荐的算力节点编号；
对上述深度神经网络不断进行训练，直到满足预定的条件为止,得到训练后的深度神经网络模型。
本申请还对应提出了一种算力网络资源调度系统，其特征在于，包括以下模块：
历史记录构建模块，用于根据历史记录数据构建算力网络资源调度分配表，所述算力网络资源调度分配表包括至少以下信息：算力节点标号，算力节点当前负载率，算力网络资源整体负载率，算力节点处理周期，已处理任务的系统损耗值，算力节点处理反馈值，所述算力节点处理反馈值分为-2、-1、1三个等级，负数表示负反馈、正数表示正反馈，-2表示对算力节点当前负载率及算力网络资源整体负载率都较高；-1表示对算力节点当前负载率较高，但对算力网络资源整体负载率无实质影响；1表示对算力节点当前负载率无实质影响，且对算力网络资源整体负载率无实质影响；所述已处理任务的系统损耗值表示所述已处理任务的处理过程中对整个系统的资源占用情况，损耗值越大，代表资源占用越多；损耗值越小，代表资源占用越小；
信息获取模块，用于获取当前各个算力节点的当前负载率、算力网络资源整体负载率以及待处理任务的系统损耗预估值；
任务分配模块，用于根据所述信息获取模块中获取的信息进行任务分配；所述任务分配方式为基于反馈的相似度信息拟合或深度神经网络；
数据更新记录模块，用于根据实际处理情况更新修复后的系统损耗实际值；并且当任务处理完成之后，形成新的记录，加入算力网络资源调度分配表。
作为一种实施例，所述历史记录构建模块中所述算力节点周期指当前处理任务从接受到完全处理完成所需要的时长，单位为毫秒。
作为一种实施例，所述信息获取模块中所述待处理任务的系统损耗预估值按照由低到高顺序分成1至10共十个等级，第1等级表示系统损耗预估值最小，第10等级表示系统损耗预估值最大。
作为一种实施例，所述基于反馈的相似度信息拟合方式为计算分配至每个算力节点的影响值，具体的，首先比较当前待处理任务的系统损耗预估值与所述历史记录中的系统损耗值，选取与所述前待处理任务的系统损耗预估值临近的所述历史记录中的系统损耗值，所述临近指二者的等级差少于n,n<4，且所述算力节点的处理反馈值为1。
作为一种实施例，选取算力节点的处理反馈值为1，且临近值为0的算力节点，当未找到临近值为0的算力节点时，则寻找临近值为1的算力节点，如果仍未找到临近值为1的算力节点，则继续寻找临近值为2的节点；如果仍未找到临近值为2的算力节点，则继续寻找临近值为3的算力节点；如果仍未找到临近值为3的算力节点，则选择当前负载率最低的算力节点；如果存在多个临近值相同，且处理反馈值为1的算力节点，则在上述节点中选择当前负载率最低的算力节点进行处理；如果仍然存在多个负载率最低的算力节点，则选择所述处理周期最短的算力节点。
可选的，所述深度神经网络包含有输入层、一个或多个隐含层、输出层；
当训练时，所述输入层用于接收算力节点标号，算力节点当前负载率，算力网络资源整体负载率，算力节点处理周期，已处理任务的系统损耗值，算力节点处理反馈值等信息；当需要进行寻找最佳算力节点时，输入层还需要输入待处理任务的系统损耗预估值；
可选的，所述隐含层包含一个或多个卷积层、一个或多个池化层；
可选的，所述深度神经网络采用第一损失函数，定义如下：
α、β>0.1且α+β＝1，Pj为修复后的系统损耗实际值，Qj表示任务j的系统损耗预估值；1≤j≤N，N表示任务总数；
可选的，所述深度神经网络采用第二损失函数，定义如下：
第二损失函数如下：
N表示包含历史记录中样本数据集的大小，i取值1～N，yi表示样本xi对应的标签；/>表示样本xi在其标签yi处的权重，b向量包括/>和bj，/>表示样本xi在其标签yi处的偏差，bj表示输出节点j处的偏差；
可选的，最终的损失函数为：
其中0.4≤μ、λ≤0.6
可选的，所述池化方法如下：
xe＝f(weφ(xe-1))；
其中，xe表示当前层的输出，we表示当前层的权重，φ表示对数似然损失函数，xe-1表示上一层的输出；
N表示包含历史记录中样本数据集的大小；yi表示样本特征向量xi对应的标签值；Wyi表示样本特征向量xi在其标签yi处的权重，θyi表示为样本xi与其对应标签yi的向量夹角；
所述输出层用于输出拟推荐的算力节点编号；
对上述深度神经网络不断进行训练，直到满足预定的条件为止,得到训练后的深度神经网络模型。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
Claims (10)
1.一种算力网络资源调度方法，其特征在于，包括以下步骤：
S1.历史记录构建，根据历史记录数据构建算力网络资源调度分配表，所述算力网络资源调度分配表包括至少以下信息：算力节点标号，算力节点当前负载率，算力网络资源整体负载率，算力节点处理周期，已处理任务的系统损耗值，算力节点处理反馈值，所述算力节点处理反馈值分为-2、-1、1三个等级，负数表示负反馈、正数表示正反馈，-2表示对算力节点当前负载率及算力网络资源整体负载率都较高；-1表示对算力节点当前负载率较高，但对算力网络资源整体负载率无实质影响；1表示对算力节点当前负载率无实质影响，且对算力网络资源整体负载率无实质影响；所述已处理任务的系统损耗值表示所述已处理任务的处理过程中对整个系统的资源占用情况，损耗值越大，代表资源占用越多；损耗值越小，代表资源占用越小；
S2.信息获取步骤，获取当前各个算力节点的当前负载率、算力网络资源整体负载率以及待处理任务的系统损耗预估值；
S3.任务分配步骤，根据所述S2中获取的信息进行任务分配；所述任务分配方式为基于正反馈的临近节点选择方法或深度神经网络；
S4.数据更新记录步骤，根据实际处理情况更新修复后的系统损耗实际值；并且当任务处理完成之后，形成新的记录，加入算力网络资源调度分配表。
2.根据权利要求1所述的一种算力网络资源调度方法，所述S1中所述算力节点周期指当前处理任务从接受到完全处理完成所需要的时长，单位为毫秒。
3.根据权利要求1所述的一种算力网络资源调度方法，所述S2中所述待处理任务的系统损耗预估值按照由低到高顺序分成1至10共十个等级，第1等级表示系统损耗预估值最小，第10等级表示系统损耗预估值最大。
4.根据权利要求1所述的一种算力网络资源调度方法，所述基于反馈的相似度信息拟合方式为计算分配至每个算力节点的影响值，具体的，首先比较当前待处理任务的系统损耗预估值与所述历史记录中的系统损耗值，选取与所述前待处理任务的系统损耗预估值临近的所述历史记录中的系统损耗值，所述临近指二者的等级差少于n,n<4，且所述算力节点的处理反馈值为1。
5.根据权利要求1所述的一种算力网络资源调度方法，选取算力节点的处理反馈值为1，且临近值为0的算力节点，当未找到临近值为0的算力节点时，则寻找临近值为1的算力节点，如果仍未找到临近值为1的算力节点，则继续寻找临近值为2的节点；如果仍未找到临近值为2的算力节点，则继续寻找临近值为3的算力节点；如果仍未找到临近值为3的算力节点，则选择当前负载率最低的算力节点；如果存在多个临近值相同，且处理反馈值为1的算力节点，则在上述节点中选择当前负载率最低的算力节点进行处理；如果仍然存在多个负载率最低的算力节点，则选择所述处理周期最短的算力节点。
6.一种算力网络资源调度系统，其特征在于，包括以下模块：
历史记录构建模块，用于根据历史记录数据构建算力网络资源调度分配表，所述算力网络资源调度分配表包括至少以下信息：算力节点标号，算力节点当前负载率，算力网络资源整体负载率，算力节点处理周期，已处理任务的系统损耗值，算力节点处理反馈值，所述算力节点处理反馈值分为-2、-1、1三个等级，负数表示负反馈、正数表示正反馈，-2表示对算力节点当前负载率及算力网络资源整体负载率都较高；-1表示对算力节点当前负载率较高，但对算力网络资源整体负载率无实质影响；1表示对算力节点当前负载率无实质影响，且对算力网络资源整体负载率无实质影响；所述已处理任务的系统损耗值表示所述已处理任务的处理过程中对整个系统的资源占用情况，损耗值越大，代表资源占用越多；损耗值越小，代表资源占用越小；
信息获取模块，用于获取当前各个算力节点的当前负载率、算力网络资源整体负载率以及待处理任务的系统损耗预估值；
任务分配模块，用于根据所述信息获取模块中获取的信息进行任务分配；所述任务分配方式为基于反馈的相似度信息拟合或深度神经网络；
数据更新记录模块，用于根据实际处理情况更新修复后的系统损耗实际值；并且当任务处理完成之后，形成新的记录，加入算力网络资源调度分配表。
7.根据权利要求6所述的一种算力网络资源调度系统，所述历史记录构建模块中所述算力节点周期指当前处理任务从接受到完全处理完成所需要的时长，单位为毫秒。
8.根据权利要求6所述的一种算力网络资源调度系统，所述信息获取模块中所述待处理任务的系统损耗预估值按照由低到高顺序分成1至10共十个等级，第1等级表示系统损耗预估值最小，第10等级表示系统损耗预估值最大。
9.根据权利要求6所述的一种算力网络资源调度系统，所述基于反馈的相似度信息拟合方式为计算分配至每个算力节点的影响值，具体的，首先比较当前待处理任务的系统损耗预估值与所述历史记录中的系统损耗值，选取与所述前待处理任务的系统损耗预估值临近的所述历史记录中的系统损耗值，所述临近指二者的等级差少于n,n<4，且所述算力节点的处理反馈值为1。
10.根据权利要求6所述的一种算力网络资源调度系统，选取算力节点的处理反馈值为1，且临近值为0的算力节点，当未找到临近值为0的算力节点时，则寻找临近值为1的算力节点，如果仍未找到临近值为1的算力节点，则继续寻找临近值为2的节点；如果仍未找到临近值为2的算力节点，则继续寻找临近值为3的算力节点；如果仍未找到临近值为3的算力节点，则选择当前负载率最低的算力节点；如果存在多个临近值相同，且处理反馈值为1的算力节点，则在上述节点中选择当前负载率最低的算力节点进行处理；如果仍然存在多个负载率最低的算力节点，则选择所述处理周期最短的算力节点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311391896.6A CN117331700B (zh) | 2023-10-24 | 2023-10-24 | 一种算力网络资源调度系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311391896.6A CN117331700B (zh) | 2023-10-24 | 2023-10-24 | 一种算力网络资源调度系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117331700A CN117331700A (zh) | 2024-01-02 |
| CN117331700B true CN117331700B (zh) | 2024-04-19 |
Family
ID=89275484
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311391896.6A Active CN117331700B (zh) | 2023-10-24 | 2023-10-24 | 一种算力网络资源调度系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117331700B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116977925B (zh) * | 2023-07-25 | 2024-05-24 | 广州市智慧农业服务股份有限公司 | 一种全方位智能监控的视频安全管理系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021190482A1 (zh) * | 2020-03-27 | 2021-09-30 | 中国移动通信有限公司研究院 | 算力处理的网络系统及算力处理方法 |
| CN115473901A (zh) * | 2022-11-15 | 2022-12-13 | 四川汉唐云分布式存储技术有限公司 | 一种分布式算力集群智慧调度方法、装置及计算机设备 |
| CN116627631A (zh) * | 2023-04-19 | 2023-08-22 | 浪潮通信信息系统有限公司 | 资源调度方法、系统、电子设备和存储介质 |
| CN116775304A (zh) * | 2023-07-04 | 2023-09-19 | 中国电信股份有限公司 | 任务分配方法、系统、装置及非易失性存储介质 |
-
2023
- 2023-10-24 CN CN202311391896.6A patent/CN117331700B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021190482A1 (zh) * | 2020-03-27 | 2021-09-30 | 中国移动通信有限公司研究院 | 算力处理的网络系统及算力处理方法 |
| CN115473901A (zh) * | 2022-11-15 | 2022-12-13 | 四川汉唐云分布式存储技术有限公司 | 一种分布式算力集群智慧调度方法、装置及计算机设备 |
| CN116627631A (zh) * | 2023-04-19 | 2023-08-22 | 浪潮通信信息系统有限公司 | 资源调度方法、系统、电子设备和存储介质 |
| CN116775304A (zh) * | 2023-07-04 | 2023-09-19 | 中国电信股份有限公司 | 任务分配方法、系统、装置及非易失性存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117331700A (zh) | 2024-01-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108829494B (zh) | 基于负载预测的容器云平台智能资源优化方法 | |
| CN117331700B (zh) | 一种算力网络资源调度系统及方法 | |
| CN110288185B (zh) | 一种分布式柔性流水线调度方法 | |
| CN113220457A (zh) | 模型部署方法、模型部署装置、终端设备及可读存储介质 | |
| US20150170052A1 (en) | Method of reducing resource fluctuations in resource leveling | |
| CN116644804B (zh) | 分布式训练系统、神经网络模型训练方法、设备和介质 | |
| CN115454005A (zh) | 一种面向有限运输资源场景的制造车间动态智能调度方法及装置 | |
| CN116500986A (zh) | 一种分布式作业车间的优先调度规则生成方法及系统 | |
| CN111831355A (zh) | 权重精度配置方法、装置、设备及存储介质 | |
| CN114327811A (zh) | 一种任务调度方法、装置、设备及可读存储介质 | |
| CN111831359A (zh) | 权重精度配置方法、装置、设备及存储介质 | |
| CN112862083B (zh) | 一种边缘环境下的深度神经网络推断方法及装置 | |
| CN108846480B (zh) | 一种基于遗传算法的多规格一维套料方法及装置 | |
| CN111831356B (zh) | 权重精度配置方法、装置、设备及存储介质 | |
| CN115528750B (zh) | 一种面向电网安全稳定的数据模型混合驱动机组组合方法 | |
| CN117314055A (zh) | 基于强化学习的智能制造车间生产-运输联合调度方法 | |
| CN111950761A (zh) | 面向高端装备复杂分层任务网络的研制资源集成调度方法 | |
| CN112514352A (zh) | 更新调度规则的方法、设备、系统、存储介质和终端 | |
| CN115293623A (zh) | 一种生产调度模型的训练方法、装置、电子设备及介质 | |
| CN112948087A (zh) | 一种基于拓扑排序的任务调度方法及系统 | |
| Eguchi et al. | A robust scheduling rule using a neural network in dynamically changing job-shop environments | |
| CN114186755A (zh) | 一种可视化智慧物流动态优化管控方法及系统 | |
| CN113191534A (zh) | 物流资源分配方法、装置、设备及存储介质 | |
| CN110689320A (zh) | 一种基于协同进化算法的大规模多目标项目调度方法 | |
| CN114936756A (zh) | 面向跨域协同车间迁移调度优化方法、装置及可存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |