CN110795233B - 分布式资源配给方法、装置和电子设备 - Google Patents

分布式资源配给方法、装置和电子设备 Download PDF

Info

Publication number
CN110795233B
CN110795233B CN201910881759.8A CN201910881759A CN110795233B CN 110795233 B CN110795233 B CN 110795233B CN 201910881759 A CN201910881759 A CN 201910881759A CN 110795233 B CN110795233 B CN 110795233B
Authority
CN
China
Prior art keywords
node
resource
weight
resource allocation
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910881759.8A
Other languages
English (en)
Other versions
CN110795233A (zh
Inventor
徐启伟
王伟
张春山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Youfu Computer Technology Co ltd
Original Assignee
Beijing Youfu Computer Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Youfu Computer Technology Co ltd filed Critical Beijing Youfu Computer Technology Co ltd
Priority to CN201910881759.8A priority Critical patent/CN110795233B/zh
Publication of CN110795233A publication Critical patent/CN110795233A/zh
Application granted granted Critical
Publication of CN110795233B publication Critical patent/CN110795233B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种分布式资源配给方法、装置、电子设备及计算机可读介质。该方法包括：构建分布式资源配给网络，所述网络由网络节点组成，其中网络节点包含资源并具有节点权重；获取一个或多个所述网络节点的资源配置需求；根据节点包含资源数量确定各节点资源数量系数；根据节点权重确定各节点权重系数；基于资源配置需求、资源数量系数及权重系数形成资源配给方案；按照资源配给方案从各节点调用并分配资源。使用本发明的方法，能够实现共享分布式资源配给，极大的提高了资源配给的效率；能够反映资源提供者对资源配给网络的贡献和权重，同时避免过于依赖少数资源供给者提供资源，体现了资源配给的公平性。

Description

分布式资源配给方法、装置和电子设备
技术领域
本发明涉及计算机信息处理领域，具体而言，涉及一种分布式资源配给方法、装置、电子设备及计算机可读介质。
背景技术
随着技术的发展和社会的进步，很多项目需要非常巨大的资源供给才能完成，如通过计算机模拟药物合成及生效机制以寻找针对一些疑难性疾病的新型药物，通过计算分析外太空信号以寻找隐蔽黑洞探寻可能存在的外星智慧生命等。上述项目如采用资源集中式供给，需要耗费相当长的时间和资源，既造成了时间上的延误，也带来了资源使用效率较低的问题。目前常用的解决方式是采用分布式资源供给，把一个需要非常巨大的资源能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多计算机进行处理，最后把这些计算结果综合起来得到最终的结果。例如，使用世界各地成千上万位志愿者的计算机的闲置计算能力，通过因特网，可以寻找超过1000万位数字的梅森质数；也可以寻找并发现对抗艾滋病病毒的更为有效的药物。
但是这种分布式资源供给方式也存在一些短板，一是解决问题的中心化。所构成的资源分布供给网络存在需求中心，即所有分布式网络中的节点都是为一个资源需求方提供资源的资源提供者，无法形成网络中每个节点既是资源提供者又是资源需求者的共享式分布网络。二是资源提供者的重要性和公平性很难得到体现。在现有的分布式资源供给方式中，每一个节点的地位是一样的，无法体现节点间的权重差异，也无法体现节点提供资源的有无或多少在资源供给中的公平性问题。
发明内容
鉴于上述问题，本发明提供一种分布式资源配给方法、装置、电子设备及计算机可读介质，一方面能够实现资源提供者也是资源需求获取者的共享分布式资源配给，另一方面也可以体现资源提供者的权重及贡献对整体资源配给的公平性影响。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本发明的一方面，提供了一种分布式资源配给方法，该方法包括：构建分布式资源配给网络，所述分布式资源配给网络由n个网络节点组成，其中所述网络节点包含数量为A的资源并具有节点权重；获取一个或多个所述网络节点的资源配置需求S；根据所述节点包含资源数量确定各节点资源数量系数α；根据所述节点权重确定所述各节点权重系数β；基于所述资源配置需求、所述资源数量系数及所述权重系数形成资源配给方案；按照所述资源配给方案从所述各节点调用并分配资源。
可选地，根据所述节点携带资源数量确定各节点资源数量系数α的步骤还包括以任一节点为基准，其他节点包含资源数量与所述基准节点包含资源数量的比值为所述各节点资源数量系数αi。
可选地，根据所述节点权重确定所述各节点权重系数β的步骤还包括以其他节点权重与基准节点权重的比值为所述各节点权重系数βi。
可选地，还包括所述资源配给方案进一步包括确定各节点需提供资源数量Ti。
可选地，还包括所述各节点需提供资源数量Ti可由公式
Figure BDA0002206120930000022
Figure BDA0002206120930000021
确定。
可选地，还包括所述节点权重可以包括对所述各节点自身属性的统计形成的权重值，或根据所述各节点在所述资源配给网络中所占的供需比例所确定的权重值。
可选地，所述根据各节点在资源配给网络中所占的供需比例所确定的权重值进一步包括：确定所述各节点优先级；获取各节点供给及需求的历史数据；基于所述优先级及所述历史数据通过机器学习方法训练，获取所述各节点权重的最优配置。
可选地，所述机器学习方法进一步包括梯度下降法、共轭梯度法、 Momentum算法及其变体、牛顿法和拟牛顿法、AdaGrad算法、Adadelta 算法、RMSprop算法、Adam算法及其变体、Nadam算法。
根据本发明的另一方面，提供一种一种分布式资源配给装置，该装置包括：分布式资源配给网络，所述分布式资源配给网络由n个网络节点组成，其中所述网络节点包含数量为A的资源并具有节点权重；需求获取模块，用于获取一个或多个所述网络节点的资源配置需求S；计算模块，用于根据所述节点包含资源数量计算确定各节点资源数量系数α，以及根据所述节点权重计算确定确定所述各节点权重系数β；方案处理装置，用于基于所述资源配置需求、所述资源数量系数及所述权重系数形成资源配给方案；资源调度模块，用于按照所述所述资源方案从各节点调用并分配资源。
可选地，所述计算模块还用于以任一节点i为基准，其他节点包含资源数量与所述基准节点包含资源数量的比值为所述各节点资源数量系数αi。
可选地，所述计算模块还用于以其他节点权重与基准节点权重的比值为所述各节点权重系数βi。
可选地，所述方案处理装置进一步用于确定各节点需要提供的资源数量Ti。
可选地，所述各节点需要提供的资源数量Ti可由公式
Figure BDA0002206120930000032
Figure BDA0002206120930000031
确定。
可选地，还包括权重确定模块，用于对所述各节点自身属性的统计形成的权重值，或根据所述各节点在所述资源配给网络中所占的供需比例所确定的权重值。
可选地，所述权重确定模块还包括：权重计算模型，所述权重计算模型基于所述各节点优先级、供给及需求的历史数据使用机器学习的方法训练形成，用于获取所属各节点权重的最优配置。
可选地，所述机器学习方法进一步包括梯度下降法、共轭梯度法、 Momentum算法及其变体、牛顿法和拟牛顿法、AdaGrad算法、Adadelta 算法、RMSprop算法、Adam算法及其变体、Nadam算法。
根据本发明的一方面，提出一种电子设备，该电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上文的方法。
根据本发明的一方面，提出一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上文中的方法。
根据本发明的分布式资源配给方法、装置、电子设备及计算机可读介质，构建分布式资源配给网络，所述分布式资源配给网络由n个网络节点组成，其中所述网络节点包含数量为A的资源并具有节点权重；获取一个或多个所述网络节点的资源配置需求S；根据所述节点包含资源数量确定各节点资源数量系数α；根据所述节点权重确定所述各节点权重系数β；基于所述资源配置需求、所述资源数量系数及所述权重系数形成资源配给方案；按照所述资源配给方案从所述各节点调用并分配资源。能够实现资源提供者同时也是资源需求者的共享分布式资源配给，极大的提高了资源配给的效率；能够反映资源提供者对资源配给网络的贡献和权重，同时避免过于依赖少数资源供给者提供资源的现象，体现了资源配给的公平性。
附图说明
为了使本发明所解决的技术问题、采用的技术手段及取得的技术效果更加清楚，下面将参照附图详细描述本发明的具体实施例。但需声明的是，下面描述的附图仅仅是本发明本发明示例性实施例的附图，对于本领域的技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他实施例的附图。
图1是根据一示例性实施例示出的一种分布式资源配给方法的流程图。
图2是根据一示例性实施例示出的计算机算力分配领域的分布式资源配给方法的网络框架图。
图3是根据一示例性实施例示出的一种分布式资源配给装置的框图。
图4是根据一示例性实施例示出的一种电子设备的框图。
图5是根据一示例性实施例示出的一种计算机可读介质的框图。
具体实施方式
现在将参考附图更全面地描述本发明的示例性实施例。然而，示例性实施例能够以多种形式实施，且不应被理解为本发明仅限于在此阐述的实施例。相反，提供这些示例性实施例能够使得本发明更加全面和完整，更加便于将发明构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的元件、组件或部分，因而将省略对它们的重复描述。
在符合本发明的技术构思的前提下，在某个特定的实施例中描述的特征、结构、特性或其他细节不排除可以以合适的方式结合在一个或更多其他的实施例中。
在对于具体实施例的描述中，本发明描述的特征、结构、特性或其他细节是为了使本领域的技术人员对实施例进行充分理解。但是，并不排除本领域技术人员可以实践本发明的技术方案而没有特定特征、结构、特性或其他细节的一个或更多。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
应理解，虽然本文中可能使用第一、第二、第三等表示编号的定语来描述各种器件、元件、组件或部分，但这不应受这些定语限制。这些定语乃是用以区分一者与另一者。例如，第一器件亦可称为第二器件而不偏离本发明实质的技术方案。
术语“和/或”或者“及/或”包括相关联的列出项目中的任一个及一或多者的所有组合。
图1是根据一示例性实施例示出的一种分布式资源配给方法的流程图。分布式资源配给方法至少包括步骤S101至S105。
如图1所示，在步骤S101中，构建分布式资源配给网络。
构建的分布式资源配给网络可以有n个网络节点组成，其中每个网络节点均包含数量为A的资源，且每个网络节点均有其各自的权重。
其中，节点权重包括对所述各节点自身属性的统计形成的权重值，或根据所述各节点在所述资源配给网络中所占的供需比例所确定的权重值。
在一个实施例中，节点权重值可以基于各节点在资源配给网络中所占的供需比例通过机器学习的方式确定。
在一个实施例中，机器学习的方法具体可包括梯度下降法、共轭梯度法、Momentum算法及其变体、牛顿法和拟牛顿法、AdaGrad算法、 Adadelta算法、RMSprop算法、Adam算法及其变体、Nadam算法。
在步骤S102中，获取各节点的资源数量系数及权重系数。
在一个实施例中，根据所述节点携带资源数量确定节点资源数量系数α的步骤进一步还包括：以任一节点i为基准，其他节点包含资源数量与所述基准节点包含资源数量的比值为所述各节点资源数量系数αi。
在一个实施例中，根据所述节点权重确定所述各节点权重系数β的步骤进一步包括：以其他节点权重与基准节点权重的比值为所述各节点权重系数βi。
在步骤S103中，获取资源配置需求。
在资源配给网络中，承担管理和分析功能的节点获取网络中一个节点或多个节点的资源需求请求，整合为整个资源配置网络当前资源配置需求。
在步骤S104中，形成资源配给方案。
在资源配给网络中，承担管理和分析功能的节点基于资源配置需求、资源数量系数及权重系数形成资源配给方案。
在一个实施例中，资源配给方案进一步包括确定各节点需提供资源数量Ti。
在一个实施例中，各节点需提供资源数量Ti可由公式
Figure BDA0002206120930000072
Figure BDA0002206120930000071
确定。
在步骤S105中，调配资源。
按照资源配给方案从各节点调用并分配资源。
在一个实施例中，还包括各节点需提供资源可由各节点主动提供并进行汇总分配，或由承担管理和分析功能的节点从各节点调取汇总分配。
下面通过两个示例具体对本发明的方法进行解释。
示例1
图2是根据一示例性实施例示出的计算机算力分配领域的分布式资源配给方法的网络框架图。
如图2所示，算力分配领域的分布式资源配给网络可包括构成网络节点的若干台终端设备201，作为管理和分析功能节点的服务器202以及网络203。终端设备201具体可包括计算机、服务器等可提供算力的终端设备。网络203用以在终端设备201和服务器202之间提供通信链路的介质。网络203可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。特别需要说明的是，作为管理和分析功能节点的服务器202并不是必须作为单独组成单元而存在的，其也可以根据任务或进程的需要由任意一台终端设备201承担。本示例中为描述方便故使用单独组成单元服务器202。
终端设备201除执行自身任务外，将其富余算力A置于资源配给网络中，且根据其自身属性、执行任务等的差异，具有不同的权重。
一方面，各终端设备201权重可以是对终端设备本身性能、所执行工作的重要性等对其自身属性的统计分析形成的权重值。更具体而言，当终端设备性能较为优越其权重值就会高一些，资源供给时，其所要提供的资源就会相对较多；当终端设备性能相对较弱，权重值可相对较低，以保证终端设备本身功能的正常执行，所要提供的资源就会相对较少。
另一方面，终端设备权重也可以基于各终端设备在资源配给网络中所占的供需比例通过机器学习的方式确定。
首先基于终端设备所执行的任务确定其优先级，如在公共网络中，承担公共服务职能的终端设备其对应的资源供给优先级相对较低，如在局域网络中，承担调配管理监控功能的终端设备优先级相对较低，以保证在进行分布式资源供给时其自身任务执行的顺畅。
其次，获取各终端设备历史提供资源数量及历史需求资源数量。
再次，在根据已有数据集训练获取寻找最优解方案中，监督式机器学习算法具有较为广泛的应用。监督式学习算法接受已知的输入数据集合(训练集)和已知的对数据的响应(输出)，然后训练一个模型，为新输入数据的响应生成合理的预测。将各终端设备优先级、性能等级、供给及需求的历史数据作为训练数据，采用机器学习的方式获取各节点权重的最优配置，以确保每个终端设备的资源提供权重与其性能、优先级、历史状况相匹配，确保分布式资源供给时资源提供公平性的同时，体现各终端设备的优先级。更具体而言，机器监督式机器学习的算法可以是梯度下降法、共轭梯度法、Momentum算法及其变体、牛顿法和拟牛顿法、AdaGrad算法、Adadelta算法、RMSprop算法、Adam算法及其变体、Nadam算法。上述各算法均为监督式机器学习常用算法，故不作详细描述。
根据终端设备201可提供算力确定终端设备的资源数量系数α：以任一终端设备i为基准，其他终端设备可提供算力与基准终端设备可提供算力的比值为各终端设备资源数量系数αi。
根据终端设备201权重确定所述各终端设备权重系数β：以其他终端设备权重与基准终端设备权重的比值为各终端设备权重系数βi。
服务器202获取一个或多个终端设备201的资源配置需求，更具体而言，可以是一个或多个终端设备201的总的计算任务。服务器基于总的计算任务、资源数量系数及权重系数形成任务分配方案。每个终端设备201所需承担的计算任务可由公式
Figure BDA0002206120930000081
确定。服务器202 按照公式确定的计算任务给各个终端设备201分配计算任务
得到任务的终端设备201开始计算器任务，任务的计算心跳在每一次计算都会同步到服务器202，用以监控全程是否任务失败，当所有终端设备201的计算任务结束后会通知并返回至服务器202。服务器将计算结果反馈至提出任务的终端设备。若计算过程中某个终端设备失败，服务器会自动重新调整计算任务，将执行失败的任务到其他终端设备201计算，以此重复直到所有任务计算成功，若所有计算任务最终全部失败，则服务器会做出预警。
示例2
本发明所示的分布式资源配给方法同样适用于互助式保险领域。
互助式保险领域将各参保人作为网络节点，保额作为其可提供的资源，投保的疾病发病率作为节点权重。使用本发明的方法需先将个人发病率、保额进行标准化后，再以个人占全体权重确定分摊比例，实现个人分摊与权利对等公平。
以三个人构成的互助网络为例，A、B、C三人构成互助式保险网络，每个人针对不同的病种投保并具有不同的投保额度。进一步的，可以以不同的病种的发病率作为每个人的可能病种权重。
当其中任一人需要获取保费时，可进行如下的互助式分摊：
1)以需获取人的发病率、保额为基准，每个人对应各项除以需获取人算出倍数；
2)算出：每人各项倍数乘积、所有人的倍数乘积之和；
3)每人分摊＝(每人倍数乘积/所有人倍数乘积总和)×需获取人的保额
当A生病时，加权分摊计算如下：
Figure BDA0002206120930000091
当B生病时，加权分摊计算如下：
Figure BDA0002206120930000092
Figure BDA0002206120930000101
更具体而言，发病率可参见权威机构发布的重大疾病经验发生率表或通过对足够样本人群的大数据统计获取。当发布或统计获取的数据发生变化时，随时根据新的数据对分布式的资源配给方法进行调整。
使用本发明的分布式资源配给方法进行互助式保险，个体费用和保障权利的完全对等，不仅实现了人人公平，更满足了个性化定制需求。
本领域技术人员可以理解，实现上述实施例的全部或部分步骤被实现为由计算机数据处理设备执行的程序(计算机程序)。在该计算机程序被执行时，可以实现本发明提供的上述方法。而且，所述的计算机程序可以存储于计算机可读存储介质中，该存储介质可以是磁盘、光盘、ROM、 RAM等可读存储介质，也可以是多个存储介质组成的存储阵列，例如磁盘或磁带存储阵列。所述的存储介质不限于集中式存储，其也可以是分布式存储，例如基于云计算的云存储。
下面描述本发明的装置实施例，该装置可以用于执行本发明的方法实施例。对于本发明装置实施例中描述的细节，应视为对于上述方法实施例的补充；对于在本发明装置实施例中未披露的细节，可以参照上述方法实施例来实现。
图3是根据一示例性实施例示出的一种分布式资源配给装置的框图。
如图3所示，分布式资源配给装置具体是一种分布式资源配给网络30，具体包括网络节点301、需求获取模块302、计算模块303、方案处理模块 304以及资源调度模块305。
网络节点301是资源配给网络中资源的具体需求者与提供者，每个网络节点301均具有数量为A的可提供资源，且每个网络节点301在整个网络中具有不同的权重。
每个网络节点301的权重包括对所述各节点301自身属性的统计形成的权重值，或根据所述各节点301在所述资源配给网络中所占的供需比例所确定的权重值。更进一步的，节点权重值可以基于各节点在资源配给网络中所占的供需比例通过机器学习的方式确定。机器学习的方法具体可包括梯度下降法、共轭梯度法、Momentum算法及其变体、牛顿法和拟牛顿法、AdaGrad算法、Adadelta算法、RMSprop算法、Adam 算法及其变体、Nadam算法。
计算模块303用于根据所述节点包含资源数量计算确定各节点资源数量系数α，以及根据所述节点权重计算确定确定所述各节点权重系数β。更进一步的，计算模块以任一节点i为基准，其他节点包含资源数量与所述基准节点包含资源数量的比值为所述各节点资源数量系数αi，以其他节点权重与基准节点权重的比值为所述各节点权重系数βi。
需求获取模块302，用于获取网络中一个节点301或多个节点301 的资源需求请求，整合为整个资源配置网络当前资源配置需求。
方案处理模块304，用于基于资源配置需求、资源数量系数及权重系数形成资源配给方案。所属配置方案具体可包括各节点301需提供的资源数量。各节点需提供资源数量Ti可由公式
Figure BDA0002206120930000111
确定。
资源调度模块305，用于按照资源配给方案从各节点调用并分配资源。进一步的，资源调度模块305可接受各节点301提供的资源并进行汇总分配，或从各节点调取汇总分配。
更进一步的，资源调度模块305监控各网络节点301是否准确提供资源，当所有节点301的资源调用成功后会将相关资源反馈至需求节点。若调用过程中某个节点失败，资源调度模块305会通知方案处理模块 304调整资源配置方案，将未成功调取的资源分配至其他节点301调用，以此重复直到所有资源调用成功，若所有节点301的调用最终全部失败，则资源调度模块305会做出预警。
本领域技术人员可以理解，上述装置实施例中的各模块可以按照描述分布于装置中，也可以进行相应变化，分布于不同于上述实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
下面描述本发明的电子设备实施例，该电子设备可以视为对于上述本发明的方法和装置实施例的具体实体实施方式。对于本发明电子设备实施例中描述的细节，应视为对于上述方法或装置实施例的补充；对于在本发明电子设备实施例中未披露的细节，可以参照上述方法或装置实施例来实现。
图4是根据本发明的一种电子设备的示例性实施例的结构框图。下面参照图4来描述根据本发明该实施例的的电子设备400。图4显示的电子设备400仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，电子设备400以通用计算设备的形式表现。电子设备400 的组件可以包括但不限于：至少一个处理单元410、至少一个存储单元420、连接不同系统组件(包括存储单元420和处理单元410)的总线430、显示单元440等。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元410执行，使得所述处理单元410执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元410可以执行如图1所示的步骤。
所述存储单元420可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)4201和/或高速缓存存储单元4202，还可以进一步包括只读存储单元(ROM)4203。
所述存储单元420还可以包括具有一组(至少一个)程序模块4205 的程序/实用工具4204，这样的程序模块4205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线430可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备400也可以与一个或多个外部设备500(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备400 交互的设备通信，和/或与使得该电子设备400能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口250进行。并且，电子设备400还可以通过网络适配器460与一个或者多个网络(例如局域网(LAN)，广域网(WAN) 和/或公共网络，例如因特网)通信。网络适配器460可以通过总线430 与电子设备400的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备400使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，本发明描述的示例性实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个计算机可读的存储介质(可以是 CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本发明的上述方法。当所述计算机程序被一个数据处理设备执行时，使得该计算机可读介质能够实现本发明的上述方法，即：构建分布式资源配给网络，所述分布式资源配给网络由n个网络节点组成，其中所述网络节点包含数量为A的资源并具有节点权重；获取一个或多个所述网络节点的资源配置需求S；根据所述节点包含资源数量确定各节点资源数量系数α；根据所述节点权重确定所述各节点权重系数β；基于所述资源配置需求、所述资源数量系数及所述权重系数形成资源配给方案；按照所述资源配给方案从所述各节点调用并分配资源。
所述计算机程序可以存储于一个或多个计算机可读介质上。计算机可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言-诸如 Java、C++等，还包括常规的过程式程序设计语言-诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
综上所述，本发明可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)等通用数据处理设备来实现根据本发明实施例中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，本发明不与任何特定计算机、虚拟装置或者电子设备固有相关，各种通用装置也可以实现本发明。以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种分布式资源配给方法，其特征在于，包括：
构建分布式资源配给网络，所述分布式资源配给网络由n个网络节点组成，其中所述网络节点包含数量为A的资源并具有节点权重；
获取一个或多个所述网络节点的资源配置需求S；
以任一节点i为基准节点，其他节点包含资源数量与基准节点包含资源数量的比值为所述各节点资源数量系数αi；
以其他节点权重与基准节点权重的比值为所述各节点权重系数βi；
基于各节点资源数量系数αi和各节点权重系数βi确定各节点需提供资源系数
Figure FDA0003388671350000011
基于所述资源配置需求S、各节点需提供资源系数Ti确定资源配给方案；
按照所述资源配给方案从所述各节点调用并分配资源。
2.根据权利要求1所述的方法，其特征在于：所述节点权重可以包括对所述各节点自身属性的统计形成的权重值，或根据所述各节点在所述资源配给网络中所占的供需比例所确定的权重值。
3.根据权利要求2所述的方法，其特征在于，所述根据各节点在资源配给网络中所占的供需比例所确定的权重值进一步包括：
确定所述各节点优先级；
获取各节点供给及需求的历史数据；
基于所述优先级及所述历史数据通过机器学习方法训练，获取所述各节点权重的最优配置。
4.根据权利要求3的方法，其特征在于：所述机器学习方法进一步包括梯度下降法、共轭梯度法、Momentum算法及其变体、牛顿法、 拟牛顿法、AdaGrad算法、Adadelta算法、RMSprop算法、Adam算法及其变体、Nadam算法。
5.一种分布式资源配给装置，其特征在于，包括：
分布式资源配给网络，所述分布式资源配给网络由n个网络节点组成，其中所述网络节点包含数量为A的资源并具有节点权重；
需求获取模块，用于获取一个或多个所述网络节点的资源配置需求S；
计算模块，用于以任一节点i为基准节点，其他节点包含资源数量与基准节点包含资源数量的比值为所述各节点资源数量系数αi；以其他节点权重与基准节点权重的比值为所述各节点权重系数βi；基于各节点资源数量系数αi和各节点权重系数βi确定各节点需提供资源系数
Figure FDA0003388671350000021
Figure FDA0003388671350000022
方案处理模块，用于基于所述资源配置需求S、各节点需提供资源系数Ti确定资源配给方案；
资源调度模块，用于按照所述资源方案从各节点调用并分配资源。
6.根据权利要求5所述的装置，其特征在于，进一步包括权重确定模块，用于对所述各节点自身属性的统计形成的权重值，或根据所述各节点在所述资源配给网络中所占的供需比例所确定的权重值。
7.根据权利要求6所述的装置，其特征在于，所述权重确定模块进一步还包括：
权重计算模型，所述权重计算模型基于所述各节点优先级、供给及需求的历史数据使用机器学习的方法训练形成，用于获取所属各节点权重的最优配置。
8.根据权利要求7所述的装置，其特征在于，所述机器学习方法进一步包括梯度下降法、共轭梯度法、Momentum算法及其变体、牛顿法、 拟牛顿法、AdaGrad算法、Adadelta算法、RMSprop算法、Adam算法及其变体、Nadam算法。
9.一种电子设备，其中，该电子设备包括：
处理器；以及，
存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行根据权利要求1-4中任一项所述的方法。
10.一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现权利要求1-4中任一项所述的方法。
CN201910881759.8A 2019-09-18 2019-09-18 分布式资源配给方法、装置和电子设备 Expired - Fee Related CN110795233B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910881759.8A CN110795233B (zh) 2019-09-18 2019-09-18 分布式资源配给方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910881759.8A CN110795233B (zh) 2019-09-18 2019-09-18 分布式资源配给方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN110795233A CN110795233A (zh) 2020-02-14
CN110795233B true CN110795233B (zh) 2022-04-05

Family

ID=69427331

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910881759.8A Expired - Fee Related CN110795233B (zh) 2019-09-18 2019-09-18 分布式资源配给方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN110795233B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113780699B (zh) * 2020-06-17 2024-07-19 北京沃东天骏信息技术有限公司 资源分配方法、资源分配装置和电子设备
CN112016954A (zh) * 2020-07-14 2020-12-01 北京淇瑀信息科技有限公司 一种基于区块链网络技术的资源配置方法、装置和电子设备
CN111782626A (zh) * 2020-08-14 2020-10-16 工银科技有限公司 任务分配方法和装置、分布式系统、电子设备和介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106325998A (zh) * 2015-06-30 2017-01-11 华为技术有限公司 一种基于云计算的应用部署的方法和装置
CN106844049A (zh) * 2017-01-13 2017-06-13 广西电网有限责任公司电力科学研究院 一种分布式计算系统的任务分配方法
CN107203422A (zh) * 2016-08-28 2017-09-26 深圳晶泰科技有限公司 一种面向高性能计算云平台的作业调度方法
CN107291545A (zh) * 2017-08-07 2017-10-24 星环信息科技（上海）有限公司 计算集群中多用户的任务调度方法及设备
CN107346264A (zh) * 2016-05-05 2017-11-14 北京金山云网络技术有限公司 一种虚拟机负载均衡调度的方法、装置和服务器设备
CN108572867A (zh) * 2017-03-09 2018-09-25 株式会社日立制作所 为应用部署分布式容器集群且执行该应用的方法和装置
CN109857518A (zh) * 2019-01-08 2019-06-07 平安科技（深圳）有限公司 一种网络资源的分配方法及设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10031785B2 (en) * 2015-04-10 2018-07-24 International Business Machines Corporation Predictive computing resource allocation for distributed environments

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106325998A (zh) * 2015-06-30 2017-01-11 华为技术有限公司 一种基于云计算的应用部署的方法和装置
CN107346264A (zh) * 2016-05-05 2017-11-14 北京金山云网络技术有限公司 一种虚拟机负载均衡调度的方法、装置和服务器设备
CN107203422A (zh) * 2016-08-28 2017-09-26 深圳晶泰科技有限公司 一种面向高性能计算云平台的作业调度方法
CN106844049A (zh) * 2017-01-13 2017-06-13 广西电网有限责任公司电力科学研究院 一种分布式计算系统的任务分配方法
CN108572867A (zh) * 2017-03-09 2018-09-25 株式会社日立制作所 为应用部署分布式容器集群且执行该应用的方法和装置
CN107291545A (zh) * 2017-08-07 2017-10-24 星环信息科技（上海）有限公司 计算集群中多用户的任务调度方法及设备
CN109857518A (zh) * 2019-01-08 2019-06-07 平安科技（深圳）有限公司 一种网络资源的分配方法及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A Low Complexity Resource Allocation Algorithm for OFDMA Cooperative Relay Networks with Fairness and QoS Guaranteed;Salah, Asem A;《IEICE TRANSACTIONS ON COMMUNICATIONS》;20110831;第E94B卷(第8期);第2328-2337页 *
一种改进的多agent分布式联盟形成算法;卢少磊;《控制与决策》;20170430;第32卷(第4期);第632-636页 *

Also Published As

Publication number Publication date
CN110795233A (zh) 2020-02-14

Similar Documents

Publication Publication Date Title
Narayanan et al. {Heterogeneity-Aware} cluster scheduling policies for deep learning workloads
CN110795233B (zh) 分布式资源配给方法、装置和电子设备
US9558036B1 (en) Evolving parallel system to automatically improve the performance of multiple concurrent tasks on large datasets
Sheikhalishahi et al. A multi-dimensional job scheduling
CN110580197A (zh) 大型模型深度学习的分布式计算架构
US8701112B2 (en) Workload scheduling
CN111181770B (zh) 一种资源分配方法、系统、电子设备和存储介质
CN112114950A (zh) 任务调度方法和装置、以及集群管理系统
CN109614227A (zh) 任务资源调配方法、装置、电子设备及计算机可读介质
Tang et al. An effective reliability-driven technique of allocating tasks on heterogeneous cluster systems
CN112017042A (zh) 基于tweedie分布的资源配额确定方法、装置和电子设备
Mika et al. Modelling and solving grid resource allocation problem with network resources for workflow applications
US20230289214A1 (en) Intelligent task messaging queue management
CN111681112A (zh) 一种管理投放策略的方法、装置和电子设备
Gowri et al. An energy efficient and secure model using chaotic levy flight deep Q-learning in healthcare system
CN113886086A (zh) 云平台计算资源分配方法、系统、终端及存储介质
CN112328391A (zh) 资源分摊方法、装置及电子设备
CN109783236A (zh) 用于输出信息的方法和装置
CN113703945B (zh) 微服务集群的调度方法、装置、设备及存储介质
Menouer et al. A resource allocation framework with qualitative and quantitative sla classes
Rodrigues et al. Time-constrained and network-aware containers scheduling in GPU era
Shekh et al. Hybrid multi-threaded simulation of agent-based pandemic modeling using multiple GPUs
Fardinpour et al. Towards techniques, challenges and efforts of software as a service layer based on business applications in cloud environments
Popa et al. Adapting MCP and HLFET algorithms to multiple simultaneous scheduling
CN111681093A (zh) 一种展示资源页面的方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220405

CF01 Termination of patent right due to non-payment of annual fee