CN111813565B - 平衡网格计算环境中的工作负荷的方法和系统 - Google Patents

平衡网格计算环境中的工作负荷的方法和系统 Download PDF

Info

Publication number
CN111813565B
CN111813565B CN202010963724.1A CN202010963724A CN111813565B CN 111813565 B CN111813565 B CN 111813565B CN 202010963724 A CN202010963724 A CN 202010963724A CN 111813565 B CN111813565 B CN 111813565B
Authority
CN
China
Prior art keywords
node
module
load
computing environment
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010963724.1A
Other languages
English (en)
Other versions
CN111813565A (zh
Inventor
张春林
李利军
常江波
江何
尚雪松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dongfang tongwangxin Technology Co.,Ltd.
Beijing dongfangtong Software Co.,Ltd.
BEIJING TESTOR TECHNOLOGY Co.,Ltd.
Beijing Tongtech Co Ltd
Original Assignee
Beijing Dongfangtong Software Co ltd
Beijing Microvision Technology Co ltd
Beijing Testor Technology Co ltd
Beijing Tongtech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dongfangtong Software Co ltd, Beijing Microvision Technology Co ltd, Beijing Testor Technology Co ltd, Beijing Tongtech Co Ltd filed Critical Beijing Dongfangtong Software Co ltd
Priority to CN202010963724.1A priority Critical patent/CN111813565B/zh
Publication of CN111813565A publication Critical patent/CN111813565A/zh
Application granted granted Critical
Publication of CN111813565B publication Critical patent/CN111813565B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G06F9/5088—Techniques for rebalancing the load in a distributed system involving task migration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3058—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供了一种平衡网格计算环境中的工作负荷的方法和系统，方法包括以下步骤：S100检测网格计算环境中所有节点的工作负荷量，根据工作负荷量由大至小排序列表构建节点负荷表；S200根据预设算法计算网格计算环境中节点的平均负荷量；当接收到新增计算任务时，评估新增计算任务带来的新增负荷量；S300将新增负荷量与平均负荷量比较，若新增负荷量大于平均负荷量，则执行S400，否则执行S500；S400将新增计算任务分割为多个子任务，依次将每个子任务作为新增计算任务执行S500；S500将新增计算任务依次调配给节点负荷表中最末的节点，并调整该节点在节点负荷表中的位置，返回S200。系统包括检测模块、管理模块、运算模块、接收模块、评估模块、判断模块和调配模块。

Description

平衡网格计算环境中的工作负荷的方法和系统
技术领域
本发明涉及网格计算负荷调配技术领域，特别涉及一种平衡网格计算环境中的工作负荷的方法和系统。
背景技术
网格计算是分布式计算的一种技术，网格计算把分散在不同地理位置的电脑组织成一个“虚拟的超级计算机”，其中每一台参与计算的计算机就是一个“节点”，而整个计算是由成千上万个“节点”组成的“一张网格”， 所以这种计算方式叫网格计算。它把大负荷的计算任务分成许多相对的小任务，然后把小任务分配给许多计算机进行处理，最后把这些计算结果综合起来得到最终结果。最近的分布式计算项目已经被用于使用世界各地成千上万志愿者的计算机的闲置计算能力，通过因特网，您可以分析来自外太空的电讯号，寻找隐蔽的黑洞，并探索可能存在的外星智慧生命；您可以寻找超过1000万位数字的梅森质数；您也可以寻找并发现对抗艾滋病毒更为有效的药物。用以完成需要惊人的计算量的庞大项目。
但是，网格计算对计算任务的分配常常存在计算负荷量大小不一的情况，有的节点所承担的计算负荷量大，有的节点所承担的计算负荷量小，造成节点的工作负荷失衡，一方面，计算负荷量大的节点拖慢了任务计算速度，另一方面计算负荷量小甚至没有计算任务的节点仍存在资源闲置浪费。因此，有必要采取技术措施来平衡网格计算环境中各节点的工作负荷。
发明内容
为了解决上述技术问题，本发明提供了一种平衡网格计算环境中的工作负荷的方法，包括以下步骤：
S100检测网格计算环境中所有节点的工作负荷量，根据工作负荷量由大至小排序列表构建节点负荷表；
S200根据预设算法计算网格计算环境中节点的平均负荷量；当接收到新增计算任务时，评估新增计算任务带来的新增负荷量；
S300将新增负荷量与平均负荷量比较，若新增负荷量大于平均负荷量，则执行S400，否则执行S500；
S400 将新增计算任务分割为多个子任务，依次将每个子任务作为新增计算任务执行S500；
S500将新增计算任务依次调配给节点负荷表中最末的节点，并调整该节点在节点负荷表中的位置，返回S200。
可选的，在S100步骤中，检测网格计算环境中所有节点的状态，对于当前存在故障的节点或者未连接到网格计算环境中的节点，在节点负荷表内进行状态异常标记并排除在新增计算任务调配和平均负荷量计算之外，存在状态异常标记的节点若状态恢复正常则去除状态异常标记。
可选的，通过以下公式计算节点负荷表所列举节点的工作负荷量，所述节点的工作负荷量是计算机资源占用率的时间微积分函数：
Figure 352453DEST_PATH_IMAGE001
；
上式中，
Figure 636804DEST_PATH_IMAGE002
表示节点i的工作负荷量；
Figure 924697DEST_PATH_IMAGE003
表示某时刻对计算机资源j的占用率；
Figure 952696DEST_PATH_IMAGE004
表示计算机资源j的权重；
Figure 9645DEST_PATH_IMAGE005
表示时间微分；
在S200步骤中，所述预设算法如下：
Figure 199318DEST_PATH_IMAGE006
；
上式中，
Figure 974507DEST_PATH_IMAGE007
表示节点负荷表所列举的网格计算环境中节点的平均负荷量；
Figure 540617DEST_PATH_IMAGE002
表 示节点i的工作负荷量；n表示节点负荷表所列举的节点数量。
可选的，在S400步骤中，所述新增计算任务分割的步骤如下：
S410确定新增计算任务的逻辑分割点，以逻辑分割点把新增计算任务分为多个任务段；
S420评估各任务段的分负荷量，将分负荷量小于平均负荷量的任务段依次进行组合成为分任务组，且分任务组包含的任务段分负荷量之和不超过平均负荷量，分负荷量不小于平均负荷量的任务段单独为一个分任务组，将新增计算任务按照分任务组进行分割；
S430分割后，以每个分任务组作为一个子任务，以子任务的负荷量由大至小排序，根据排序顺序执行S500。
可选的，所述节点负荷表中列举的节点数量能够进行调整，调整方式如下：
接收计算机的加入申请，经检测评估及验证通过后，将计算机与网格计算环境建立共享连接，并作为新增节点添加到节点负荷表中；
若节点负荷表中的某一节点因存在故障或者未连接到网格计算环境，而被添加状态异常标记达到设定次数或者设定时间，则将该节点从节点负荷表中删除，且断开该节点的网格计算环境共享连接。
可选的，对于被调配承担计算任务的节点进行耗电监测和评估，过程如下：
先计算节点的单位耗电量能够实现的工作负荷量：
Figure 842286DEST_PATH_IMAGE008
；
上式中，
Figure 78226DEST_PATH_IMAGE009
表示节点i的单位耗电量能够实现的工作负荷量，
Figure 465345DEST_PATH_IMAGE002
表示节点i的工 作负荷量；
Figure 835147DEST_PATH_IMAGE010
表示表示节点i的耗电量；
再以下面公式确定节点的功耗效率阈值：
Figure 601108DEST_PATH_IMAGE011
；
上式中，
Figure 398163DEST_PATH_IMAGE012
表示节点的功耗效率阈值；
Figure 6999DEST_PATH_IMAGE013
表示承担计算任务的节点数量；
若节点i的单位耗电量能够实现的工作负荷量
Figure 55858DEST_PATH_IMAGE014
，则认定节点i存在耗电 异常，把节点i承担的剩余计算任务转移至节点负荷表中除节点i外最末的节点，然后对节 点i进行优化调整。
可选的，网格计算环境中各节点之间的数据传输方式如下：
首先，构建网格计算环境的网络拓扑图，由网络拓扑图生成每个节点到其他节点的最短路径树和第二短路径树；
其次，捕捉数据传输的发起节点和目的节点，从发起节点的最短路径树获取到达目的节点的最短路径；
最后，检测从发起节点到目的节点的最短路径，若最短路径不存在传输障碍则通过最短路径进行数据传输；若最短路径存在传输障碍，则从发起节点的第二短路径树获取到达目的节点的第二短路径，通过第二短路径进行数据传输。
本发明还提供了一种平衡网格计算环境中的工作负荷的系统，所述系统包括检测模块、管理模块、运算模块、接收模块、评估模块、判断模块和调配模块；
所述检测模块用于检测网格计算环境中所有节点的工作负荷量，并传输给管理模块；
所述管理模块分别与检测模块和运算模块连接，管理模块用于根据工作负荷量由大至小对各节点进行排序，以排序顺序构建节点负荷表；
所述运算模块采用预设算法计算网格计算环境中节点的平均负荷量，并传输给判断模块；
所述接收模块与评估模块连接，所述接收模块用于接收新增计算任务并传输给评估模块；
所述评估模块用于评估新增计算任务带来的新增负荷量，并传输给判断模块；
所述判断模块分别与运算模块、评估模块和调配模块连接，所述判断模块用于比较接收到的新增负荷量与平均负荷量的大小关系，并把结果传输给调配模块；
所述调配模块根据判断模块的比较结果对新增计算任务调配给相应节点：若新增负荷量不大于平均负荷量，则将新增计算任务依次调配给节点负荷表中最末的节点，并调整该节点在节点负荷表中的位置；若新增负荷量大于平均负荷量，将新增计算任务分割为多个子任务，依次将每个子任务作为新增计算任务，将新增计算任务依次调配给节点负荷表中最末的节点，并调整该节点在节点负荷表中的位置。
可选的，所述系统还包括分割模块和排序模块，所述分割模块分别与排序模块和判断模块连接，所述排序模块都与调配模块连接；所述分割模块用于将新增负荷量大于平均负荷量的新增计算任务分割为多个子任务；所述排序模块用于以子任务的负荷量由大至小排序，并根据排序依次传输给调配模块。
可选的，所述系统还包括节点监测模块，所述节点监测模块与调配模块连接；所述节点监测模块用于监测和评估节点的能耗情况，若发现存在耗电异常的节点，则把该节点承担的剩余计算任务转移至节点负荷表中除该节点外最末的节点，然后对该节点进行优化调整。
本发明的平衡网格计算环境中的工作负荷的方法和系统，通过对网格计算环境中各节点当前的工作负荷量进行检测排序列表管理，并计算节点当前的平均负荷量；在接收到新增的计算任务时，先评估新任务所带来的新增负荷量，以新增负荷量与平均负荷量的对比判断是否需要对新增的计算任务进行分割处理，从而达到平衡节点工作负荷的目的。其中对新增计算任务的分割步骤可以有效控制单一调配的负荷量，避免把新增负荷量的新增计算任务整体调配给某一节点加重负荷的失衡。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种平衡网格计算环境中的工作负荷的方法流程图；
图2为本发明的平衡网格计算环境中的工作负荷的方法实施例采用的对新增计算任务进行分割的流程图；
图3为本发明的平衡网格计算环境中的工作负荷的系统实施例结构示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
如图1所示，本发明实施例提供了一种平衡网格计算环境中的工作负荷的方法，包括以下步骤：
S100检测网格计算环境中所有节点的工作负荷量，根据工作负荷量由大至小排序列表构建节点负荷表；
S200根据预设算法计算网格计算环境中节点的平均负荷量；当接收到新增计算任务时，评估新增计算任务带来的新增负荷量；
S300将新增负荷量与平均负荷量比较，若新增负荷量大于平均负荷量，则执行S400，否则执行S500；
S400 将新增计算任务分割为多个子任务，依次将每个子任务作为新增计算任务执行S500；
S500将新增计算任务依次调配给节点负荷表中最末的节点，并调整该节点在节点负荷表中的位置，返回S200。
上述技术方案的工作原理和有益效果为：通过对网格计算环境中各节点当前的工作负荷量进行检测排序列表管理，并计算节点当前的平均负荷量；在接收到新增的计算任务时，先评估新任务所带来的新增负荷量，以新增负荷量与平均负荷量的对比判断是否需要对新增的计算任务进行分割处理，从而达到平衡节点工作负荷的目的。其中对新增计算任务的分割步骤可以有效控制单一调配的负荷量，避免把新增负荷量的新增计算任务整体调配给某一节点加重负荷的失衡。
在一个实施例中，在S100步骤中，检测网格计算环境中所有节点的状态，对于当前存在故障的节点或者未连接到网格计算环境中的节点，在节点负荷表内进行状态异常标记并排除在新增计算任务调配和平均负荷量计算之外，存在状态异常标记的节点若状态恢复正常则去除状态异常标记。
上述技术方案的工作原理和有益效果为：本方案通过检测节点状态，排除节点负荷表内可能存在的状态异常节点，避免把计算任务调配给状态异常节点导致计算任务执行的耽误或者拖延，使得每一个新增计算任务都能得到及时有效的处理。
在一个实施例中，通过以下公式计算节点负荷表所列举节点的工作负荷量，所述节点的工作负荷量是计算机资源占用率的时间微积分函数：
Figure 66539DEST_PATH_IMAGE015
；
上式中，
Figure 34495DEST_PATH_IMAGE002
表示节点i的工作负荷量；
Figure 5993DEST_PATH_IMAGE003
表示某时刻对计算机资源j的占用率；
Figure 717597DEST_PATH_IMAGE004
表示计算机资源j的权重；
Figure 582785DEST_PATH_IMAGE005
表示时间微分；
在S200步骤中，所述预设算法如下：
Figure 597009DEST_PATH_IMAGE006
；
上式中，
Figure 180437DEST_PATH_IMAGE007
表示节点负荷表所列举的网格计算环境中节点的平均负荷量；
Figure 305519DEST_PATH_IMAGE002
表示节点i的工作负荷量；n表示节点负荷表所列举的节点数量。
上述技术方案的工作原理和有益效果为：本方案采用上述算法计算节点负荷表所列举节点的工作负荷量和平均负荷量，采用的计算公式简单，计算量小，可以快速得出计算结果，及时为后续的计算任务调配提供评判基础，避免计算任务调配不通畅、积压而形成堵塞。
在一个实施例中，如图2所示，在S400步骤中，所述新增计算任务分割的步骤如下：
S410确定新增计算任务的逻辑分割点，以逻辑分割点把新增计算任务分为多个任务段；
S420评估各任务段的分负荷量，将分负荷量小于平均负荷量的任务段依次进行组合成为分任务组，且分任务组包含的任务段分负荷量之和不超过平均负荷量，分负荷量不小于平均负荷量的任务段单独为一个分任务组，将新增计算任务按照分任务组进行分割；
S430分割后，以每个分任务组作为一个子任务，以子任务的负荷量由大至小排序，根据排序顺序执行S500。
上述技术方案的工作原理和有益效果为：本方案对新增负荷量较大的计算任务的分割方式进行了限定，通过确定能够进行分割的逻辑分割点，为了避免分割后的子任务的负荷量过小，又对负荷量较小的任务段进行顺序组合，控制组合后的分任务组的负荷量不超过平均负荷量，然后进行子任务的排序和调配处理；对于可能存在的单一任务段负荷量较大的情况，由于其中间没有能够分割的逻辑分割点，只能作为一项子任务进行处理。通过这种方式，子任务不需要再回到S200和S300步骤进行循环处理，可以加快处理进程。
在一个实施例中， 所述节点负荷表中列举的节点数量能够进行调整，调整方式如下：
接收计算机的加入申请，经检测评估及验证通过后，将计算机与网格计算环境建立共享连接，并作为新增节点添加到节点负荷表中；
若节点负荷表中的某一节点因存在故障或者未连接到网格计算环境，而被添加状态异常标记达到设定次数或者设定时间，则将该节点从节点负荷表中删除，且断开该节点的网格计算环境共享连接。
上述技术方案的工作原理和有益效果为：通过本方案可以对网格计算环境所容纳的节点数量进行调节，剔除存在故障或者未连接到网格计算环境的节点，增加新的有效节点，可以保证整个网格计算环境的活力，提高计算能力，避免浪费管理资源。
在一个实施例中，对于被调配承担计算任务的节点进行耗电监测和评估，过程如下：
先计算节点的单位耗电量能够实现的工作负荷量：
Figure 290792DEST_PATH_IMAGE016
；
上式中，
Figure 499354DEST_PATH_IMAGE009
表示节点i的单位耗电量能够实现的工作负荷量，
Figure 570079DEST_PATH_IMAGE002
表示节点i的工 作负荷量；
Figure 623485DEST_PATH_IMAGE010
表示表示节点i的耗电量；
再以下面公式确定节点的功耗效率阈值：
Figure 338632DEST_PATH_IMAGE011
；
上式中，
Figure 819291DEST_PATH_IMAGE017
表示节点的功耗效率阈值；
Figure 111733DEST_PATH_IMAGE013
表示承担计算任务的节点数量；
若节点i的单位耗电量能够实现的工作负荷量
Figure 844196DEST_PATH_IMAGE014
，则认定节点i存在耗电 异常，把节点i承担的剩余计算任务转移至节点负荷表中除节点i外最末的节点，然后对节 点i进行优化调整。
上述技术方案的工作原理和有益效果为：本方案通过对承担计算任务的节点进行耗电监测，采用上述算法进行节点计算处理效率的评估，以节点的平均功耗效率的70%为基准，判断节点是否存在异常能耗情况，并对于存在能耗异常的节点进行卸载和优化调整，以节省网格计算环境处理计算任务的能耗。
在一个实施例中，网格计算环境中各节点之间的数据传输方式如下：
首先，构建网格计算环境的网络拓扑图，由网络拓扑图生成每个节点到其他节点的最短路径树和第二短路径树；
其次，捕捉数据传输的发起节点和目的节点，从发起节点的最短路径树获取到达目的节点的最短路径；
最后，检测从发起节点到目的节点的最短路径，若最短路径不存在传输障碍则通过最短路径进行数据传输；若最短路径存在传输障碍，则从发起节点的第二短路径树获取到达目的节点的第二短路径，通过第二短路径进行数据传输。
上述技术方案的工作原理和有益效果为：通过构建网格计算环境的网络拓扑图，同时生成各节点与其他节点的最短路径树和第二短路径树，以最短路径树中包含的最短路径作为数据传输的主要路径，以第二短路径树中包含的第二短路径作为备用路径，在主要路径存在传输障碍时起用备用路径，以保证数据传输效率和可靠性，防止单一路径传输存在故障导致的传输效率下降。
如图3所示，本发明还提供了一种平衡网格计算环境中的工作负荷的系统，所述系统包括检测模块、管理模块、运算模块、接收模块、评估模块、判断模块和调配模块；
所述检测模块用于检测网格计算环境中所有节点的工作负荷量，并传输给管理模块；
所述管理模块分别与检测模块和运算模块连接，管理模块用于根据工作负荷量由大至小对各节点进行排序，以排序顺序构建节点负荷表；
所述运算模块采用预设算法计算网格计算环境中节点的平均负荷量，并传输给判断模块；
所述接收模块与评估模块连接，所述接收模块用于接收新增计算任务并传输给评估模块；
所述评估模块用于评估新增计算任务带来的新增负荷量，并传输给判断模块；
所述判断模块分别与运算模块、评估模块和调配模块连接，所述判断模块用于比较接收到的新增负荷量与平均负荷量的大小关系，并把结果传输给调配模块；
所述调配模块根据判断模块的比较结果对新增计算任务调配给相应节点：若新增负荷量不大于平均负荷量，则将新增计算任务依次调配给节点负荷表中最末的节点，并调整该节点在节点负荷表中的位置；若新增负荷量大于平均负荷量，将新增计算任务分割为多个子任务，依次将每个子任务作为新增计算任务，将新增计算任务依次调配给节点负荷表中最末的节点，并调整该节点在节点负荷表中的位置。
上述技术方案的工作原理和有益效果为：通过检测模块和管理模块对网格计算环境中各节点当前的工作负荷量进行检测排序列表管理，并以运算模块计算节点当前的平均负荷量；在接收模块接收到新增的计算任务时，通过评估模块先评估新任务所带来的新增负荷量，以判断模块对新增负荷量与平均负荷量进行对比，从而判断是否需要对新增的计算任务进行分割处理，再经调配模块把新增计算任务依次调配给节点负荷表中最末的节点处理，从而达到平衡节点工作负荷的目的。其中对新增计算任务的分割步骤可以有效控制单一调配的负荷量，避免把新增负荷量的新增计算任务整体调配给某一节点加重负荷的失衡。
在一个实施例中，所述系统还包括分割模块和排序模块，所述分割模块分别与排序模块和判断模块连接，所述排序模块都与调配模块连接；所述分割模块用于将新增负荷量大于平均负荷量的新增计算任务分割为多个子任务；所述排序模块用于以子任务的负荷量由大至小排序，并根据排序依次传输给调配模块。
上述技术方案的工作原理和有益效果为：本方案分割模块对新增负荷量较大的计算任务进行分割，且控制组合后的分任务组的负荷量不超过平均负荷量，然后以排序模块进行子任务的排序，按照排序依次进行调配处理；通过这种方式，子任务不需要再回到S200和S300步骤进行循环处理，可以加快处理进程。
在一个实施例中， 所述系统还包括节点监测模块，所述节点监测模块与调配模块连接；所述节点监测模块用于监测和评估节点的能耗情况，若发现存在耗电异常的节点，则把该节点承担的剩余计算任务转移至节点负荷表中除该节点外最末的节点，然后对该节点进行优化调整。
上述技术方案的工作原理和有益效果为：本方案通过设置节点监测模块，对承担计算任务的节点进行耗电监测和评估，判断节点是否存在异常能耗情况，并对于存在能耗异常的节点进行卸载和优化调整，以节省网格计算环境处理计算任务的能耗。
本发明的平衡网格计算环境中的工作负荷的方法，如果接收到的新增计算任务为多个，可以按照相应规则或者条件（如计算任务的重要程度或者紧急程度）对新增计算任务进行排序决定处理和调配的顺序。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种平衡网格计算环境中的工作负荷的方法，其特征在于，包括以下步骤：
S100检测网格计算环境中所有节点的工作负荷量，根据工作负荷量由大至小排序列表构建节点负荷表；
S200根据预设算法计算网格计算环境中节点的平均负荷量；当接收到新增计算任务时，评估新增计算任务带来的新增负荷量；
S300将新增负荷量与平均负荷量比较，若新增负荷量大于平均负荷量，则执行S400，否则执行S500；
S400 将新增计算任务分割为多个子任务，依次将每个子任务作为新增计算任务执行S500；
S500将新增计算任务依次调配给节点负荷表中最末的节点，并调整该节点在节点负荷表中的位置，返回S200；
对于被调配承担计算任务的节点进行耗电监测和评估，过程如下：
先计算节点的单位耗电量能够实现的工作负荷量：
Figure 337805DEST_PATH_IMAGE002
上式中，
Figure DEST_PATH_IMAGE003
表示节点i的单位耗电量能够实现的工作负荷量，
Figure 737694DEST_PATH_IMAGE004
表示节点i的工作负荷量；
Figure DEST_PATH_IMAGE005
表示表示节点i的耗电量；
再以下面公式确定节点的功耗效率阈值：
Figure 944553DEST_PATH_IMAGE006
上式中，
Figure DEST_PATH_IMAGE007
表示节点的功耗效率阈值；
Figure 212723DEST_PATH_IMAGE008
表示承担计算任务的节点数量；
若节点i的单位耗电量能够实现的工作负荷量
Figure DEST_PATH_IMAGE009
，则认定节点i存在耗电异常，把节点i承担的剩余计算任务转移至节点负荷表中除节点i外最末的节点，然后对节点i进行优化调整。
2.根据权利要求1所述的平衡网格计算环境中的工作负荷的方法，其特征在于，在S100步骤中，检测网格计算环境中所有节点的状态，对于当前存在故障的节点或者未连接到网格计算环境中的节点，在节点负荷表内进行状态异常标记并排除在新增计算任务调配和平均负荷量计算之外，存在状态异常标记的节点若状态恢复正常则去除状态异常标记。
3.根据权利要求1所述的平衡网格计算环境中的工作负荷的方法，其特征在于，通过以下公式计算节点负荷表所列举节点的工作负荷量，所述节点的工作负荷量是计算机资源占用率的时间微积分函数：
Figure DEST_PATH_IMAGE011
上式中，
Figure 565470DEST_PATH_IMAGE004
表示节点i的工作负荷量；
Figure 792052DEST_PATH_IMAGE012
表示某时刻对计算机资源j的占用率；
Figure DEST_PATH_IMAGE013
表示计算机资源j的权重；
Figure 440202DEST_PATH_IMAGE014
表示时间微分；
在S200步骤中，所述预设算法如下：
Figure 246484DEST_PATH_IMAGE016
上式中，
Figure DEST_PATH_IMAGE017
表示节点负荷表所列举的网格计算环境中节点的平均负荷量；
Figure 545747DEST_PATH_IMAGE004
表示节点i的工作负荷量；
Figure 615334DEST_PATH_IMAGE018
表示节点负荷表所列举的节点数量。
4.根据权利要求1所述的平衡网格计算环境中的工作负荷的方法，其特征在于，在S400步骤中，所述新增计算任务分割的步骤如下：
S410确定新增计算任务的逻辑分割点，以逻辑分割点把新增计算任务分为多个任务段；
S420评估各任务段的分负荷量，将分负荷量小于平均负荷量的任务段依次进行组合成为分任务组，且分任务组包含的任务段分负荷量之和不超过平均负荷量，分负荷量不小于平均负荷量的任务段单独为一个分任务组，将新增计算任务按照分任务组进行分割；
S430分割后，以每个分任务组作为一个子任务，以子任务的负荷量由大至小排序，根据排序顺序执行S500。
5.根据权利要求1所述的平衡网格计算环境中的工作负荷的方法，其特征在于，所述节点负荷表中列举的节点数量能够进行调整，调整方式如下：
接收计算机的加入申请，经检测评估及验证通过后，将计算机与网格计算环境建立共享连接，并作为新增节点添加到节点负荷表中；
若节点负荷表中的某一节点因存在故障或者未连接到网格计算环境，而被添加状态异常标记达到设定次数或者设定时间，则将该节点从节点负荷表中删除，且断开该节点的网格计算环境共享连接。
6.根据权利要求1所述的平衡网格计算环境中的工作负荷的方法，其特征在于，网格计算环境中各节点之间的数据传输方式如下：
首先，构建网格计算环境的网络拓扑图，由网络拓扑图生成每个节点到其他节点的最短路径树和第二短路径树；
其次，捕捉数据传输的发起节点和目的节点，从发起节点的最短路径树获取到达目的节点的最短路径；
最后，检测从发起节点到目的节点的最短路径，若最短路径不存在传输障碍则通过最短路径进行数据传输；若最短路径存在传输障碍，则 从发起节点的第二短路径树获取到达目的节点的第二短路径，通过第二短路径进行数据传输。
7.一种平衡网格计算环境中的工作负荷的系统，其特征在于，所述系统包括检测模块、管理模块、运算模块、接收模块、评估模块、判断模块和调配模块；
所述检测模块用于检测网格计算环境中所有节点的工作负荷量，并传输给管理模块；
所述管理模块分别与检测模块和运算模块连接，管理模块用于根据工作负荷量由大至小对各节点进行排序，以排序顺序构建节点负荷表；
所述运算模块采用预设算法计算网格计算环境中节点的平均负荷量，并传输给判断模块；
所述接收模块与评估模块连接，所述接收模块用于接收新增计算任务并传输给评估模块；
所述评估模块用于评估新增计算任务带来的新增负荷量，并传输给判断模块；
所述判断模块分别与运算模块、评估模块和调配模块连接，所述判断模块用于比较接收到的新增负荷量与平均负荷量的大小关系，并把结果传输给调配模块；
所述调配模块根据判断模块的比较结果对新增计算任务调配给相应节点：若新增负荷量不大于平均负荷量，则将新增计算任务依次调配给节点负荷表中最末的节点，并调整该节点在节点负荷表中的位置；若新增负荷量大于平均负荷量，将新增计算任务分割为多个子任务，依次将每个子任务作为新增计算任务，将新增计算任务依次调配给节点负荷表中最末的节点，并调整该节点在节点负荷表中的位置；
所述系统还包括节点监测模块，所述节点监测模块与调配模块连接；所述节点监测模块用于监测和评估节点的能耗情况，对于被调配承担计算任务的节点进行耗电监测和评估，过程如下：
先计算节点的单位耗电量能够实现的工作负荷量：
Figure 875414DEST_PATH_IMAGE002
上式中，
Figure 626333DEST_PATH_IMAGE003
表示节点i的单位耗电量能够实现的工作负荷量，
Figure 858731DEST_PATH_IMAGE004
表示节点i的工作负荷量；
Figure 427115DEST_PATH_IMAGE005
表示表示节点i的耗电量；
再以下面公式确定节点的功耗效率阈值：
Figure 523292DEST_PATH_IMAGE006
上式中，
Figure 140218DEST_PATH_IMAGE007
表示节点的功耗效率阈值；
Figure 289440DEST_PATH_IMAGE008
表示承担计算任务的节点数量；
若节点i的单位耗电量能够实现的工作负荷量
Figure 638513DEST_PATH_IMAGE009
，则认定节点i存在耗电异常，把节点i承担的剩余计算任务转移至节点负荷表中除节点i外最末的节点，然后对节点i进行优化调整。
8.根据权利要求7所述的平衡网格计算环境中的工作负荷的系统，其特征在于，所述系统还包括分割模块和排序模块，所述分割模块分别与排序模块和判断模块连接，所述排序模块与调配模块连接；所述分割模块用于将新增负荷量大于平均负荷量的新增计算任务分割为多个子任务；所述排序模块用于以子任务的负荷量由大至小排序，并根据排序依次传输给调配模块。
CN202010963724.1A 2020-09-15 2020-09-15 平衡网格计算环境中的工作负荷的方法和系统 Active CN111813565B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010963724.1A CN111813565B (zh) 2020-09-15 2020-09-15 平衡网格计算环境中的工作负荷的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010963724.1A CN111813565B (zh) 2020-09-15 2020-09-15 平衡网格计算环境中的工作负荷的方法和系统

Publications (2)

Publication Number Publication Date
CN111813565A CN111813565A (zh) 2020-10-23
CN111813565B true CN111813565B (zh) 2021-08-10

Family

ID=72860731

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010963724.1A Active CN111813565B (zh) 2020-09-15 2020-09-15 平衡网格计算环境中的工作负荷的方法和系统

Country Status (1)

Country Link
CN (1) CN111813565B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7296269B2 (en) * 2003-04-22 2007-11-13 Lucent Technologies Inc. Balancing loads among computing nodes where no task distributor servers all nodes and at least one node is served by two or more task distributors
CN105975334A (zh) * 2016-04-25 2016-09-28 深圳市永兴元科技有限公司 任务分布式调度方法及系统
CN106095572B (zh) * 2016-06-08 2019-12-06 东方网力科技股份有限公司 一种大数据处理的分布式调度系统及方法
CN111181774A (zh) * 2019-12-13 2020-05-19 苏州浪潮智能科技有限公司 一种MapReduce任务的高可用方法、系统、终端及存储介质
CN111459659A (zh) * 2020-03-10 2020-07-28 中国平安人寿保险股份有限公司 数据处理方法、装置、调度服务器及介质

Also Published As

Publication number Publication date
CN111813565A (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
CN107770096B (zh) 一种基于负载均衡的sdn/nfv网络动态资源分配方法
CN106375420B (zh) 一种基于负载均衡的服务器集群智能监控系统及方法
CN102696000B (zh) 用于虚拟化数据中心中的协调能量管理的方法和设备
JP4374391B2 (ja) 複数のインスタンスアプリケーションに対し負荷分散装置を動作させるシステムおよび方法
Werstein et al. Load balancing in a cluster computer
US7890620B2 (en) Monitoring system and monitoring method
US20190235922A1 (en) Controlling Resource Allocation in a Data Center
CN111880939A (zh) 容器动态迁移方法、装置及电子设备
CN113608871A (zh) 业务处理方法及装置
CN106681839B (zh) 弹性计算动态分配方法
Rathore et al. A sender initiate based hierarchical load balancing technique for grid using variable threshold value
CN112261120A (zh) 一种配电物联网云边协同任务卸载方法及装置
CN116893900B (zh) 集群计算压力负载均衡方法、系统、设备及ic设计平台
CN114116157A (zh) 一种边缘环境下多边缘集群云结构及负载均衡调度方法
CN105915630A (zh) 跨网络数据传输系统及负载均衡调度方法
CN111813565B (zh) 平衡网格计算环境中的工作负荷的方法和系统
CN110728372B (zh) 一种人工智能模型动态加载的集群设计方法及集群系统
Raj et al. Augmenting hierarchical load balancing with intelligence in grid environment
CN113886091A (zh) 虚拟机迁移方法、系统、设备及存储介质
CN112732451A (zh) 一种云环境中的负载均衡系统
CN114595052A (zh) 一种基于图分割算法的分布式通信负载均衡方法
WO2020139072A1 (en) A method of migrating virtual machines
CN111831428A (zh) 一种云数据中心资源利用率优化方法及系统
CN108984271A (zh) 一种均衡负载的方法以及相关设备
CN118012662B (zh) 分布式故障修复方法、智能计算云操作系统以及计算平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Room 311, main building, 139 Fengtai Road crossing, Fengtai District, Beijing

Patentee after: BEIJING TONGTECH Co.,Ltd.

Patentee after: Beijing dongfangtong Software Co.,Ltd.

Patentee after: BEIJING TESTOR TECHNOLOGY Co.,Ltd.

Patentee after: Beijing Dongfang tongwangxin Technology Co.,Ltd.

Address before: Room 311, main building, 139 Fengtai Road crossing, Fengtai District, Beijing

Patentee before: BEIJING TONGTECH Co.,Ltd.

Patentee before: Beijing dongfangtong Software Co.,Ltd.

Patentee before: BEIJING TESTOR TECHNOLOGY Co.,Ltd.

Patentee before: BEIJING MICROVISION TECHNOLOGY Co.,Ltd.