CN109298940A - 计算任务分配方法、装置、电子设备及计算机存储介质 - Google Patents
计算任务分配方法、装置、电子设备及计算机存储介质 Download PDFInfo
- Publication number
- CN109298940A CN109298940A CN201811141441.8A CN201811141441A CN109298940A CN 109298940 A CN109298940 A CN 109298940A CN 201811141441 A CN201811141441 A CN 201811141441A CN 109298940 A CN109298940 A CN 109298940A
- Authority
- CN
- China
- Prior art keywords
- sub
- calculating
- computing
- computing resource
- calculating task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 114
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000003860 storage Methods 0.000 title claims abstract description 19
- 238000009826 distribution Methods 0.000 claims abstract description 65
- 230000008901 benefit Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 12
- 238000013468 resource allocation Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000012549 training Methods 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 241001025261 Neoraja caerulea Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/5017—Task decomposition
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本公开实施例公开了一种计算任务分配方法、装置、电子设备及计算机存储介质。其中，该方法包括：将待分配计算任务划分为多个子计算任务；获取多个计算资源，并确定所述计算资源的计算能力；基于所述计算资源的计算能力，利用树形结构按照预设规则将所述子计算任务分配给计算资源。
Description
技术领域
本公开涉及数据处理领域，具体涉及一种计算任务分配方法、装置、电子设备及计算机存储介质。
背景技术
随着互联网和人工智能技术的发展，数据驱动的方法越来越多地被用来实现更智能的服务和业务，其中，基于训练数据的机器学习方法也正越来越多地应用到不同领域之中。与传统的计算机方法相比，机器学习方法需要利用海量训练数据来完成某一计算模型的训练，可见这种训练过程需要消耗大量的计算资源，而对于该海量计算任务，现有技术还未有有效的解决方法。
发明内容
针对现有技术中的上述技术问题，本公开实施例提出了一种计算任务分配方法、装置、电子设备及计算机存储介质。
本公开实施例的第一方面提供了一种计算任务分配方法，包括：
将待分配计算任务划分为多个子计算任务；
获取多个计算资源，并确定所述计算资源的计算能力；
基于所述计算资源的计算能力，利用树形结构按照预设规则将所述子计算任务分配给计算资源。
在一些实施例中，所述将待分配计算任务划分为多个子计算任务，包括：
确定计算任务划分元素，其中，所述计算任务划分元素包括以下元素中的一种或多种：计算规则、计算数据源和计算模型；
根据所述任务划分元素将所述待分配计算任务划分为多个子计算任务。
在一些实施例中，所述获取多个计算资源，并确定所述计算资源的计算能力，包括：
获取多个计算资源，并确定所述计算资源的初始计算能力；
确定计算能力调整元素；
根据所述计算能力调整元素确定计算能力调整值；
根据所述计算能力调整值对于所述计算资源的初始计算能力进行调整。
在一些实施例中，所述预设规则为所述待分配计算任务的计算时间最短，或者所述计算资源剩余计算能力最少。
在一些实施例中，基于所述计算资源的计算能力，利用树形结构按照预设规则将所述子计算任务分配给计算资源，包括：
计算所述子计算任务的时间复杂度；
计算所述子计算任务的时间复杂度总和以及计算资源计算能力总和；
将时间复杂度总和除以计算资源计算能力总和，得到参考时间；
对于某一计算资源，将其计算能力乘以所述参考时间，得到所述计算资源的参考计算量；
基于所述计算资源的参考计算量，利用树形结构按照预设规则将所述子计算任务分配给计算资源。
在一些实施例中，基于所述计算资源的参考计算量，利用树形结构按照预设规则将所述子计算任务分配给计算资源，包括：
基于所述子计算任务生成子计算任务列表；
对于所述计算资源，计算其参考计算量与子计算任务列表中各子计算任务的时间复杂度之差，得到多个第一计算量差值；
将最小的第一计算量差值绝对值所对应的子计算任务确认为根节点，并将其从所述子计算任务列表中删除；
计算所述计算资源的参考计算量与当前子计算任务列表中各子计算任务的时间复杂度之差，得到多个第二计算量差值；
将最小的第二计算量差值绝对值所对应的子计算任务确认为所述根节点的子节点，并将其从所述子计算任务列表中删除；
重复计算量差值计算和子节点生成步骤，直至所述子计算任务列表为空或者所述子计算任务列表中的子计算任务的时间复杂度大于所述计算资源的参考计算量。
本公开实施例的第二方面提供了一种计算任务分配装置，包括：
划分模块，被配置为将待分配计算任务划分为多个子计算任务；
确定模块，被配置为获取多个计算资源，并确定所述计算资源的计算能力；
分配模块，被配置为基于所述计算资源的计算能力，利用树形结构按照预设规则将所述子计算任务分配给计算资源。
在一些实施例中，所述划分模块包括：
第一确定子模块，被配置为确定计算任务划分元素，其中，所述计算任务划分元素包括以下元素中的一种或多种：计算规则、计算数据源和计算模型；
划分子模块，被配置为根据所述任务划分元素将所述待分配计算任务划分为多个子计算任务。
在一些实施例中，所述确定模块包括：
获取子模块，被配置为获取多个计算资源，并确定所述计算资源的初始计算能力；
第二确定子模块，被配置为确定计算能力调整元素；
第三确定子模块，被配置为根据所述计算能力调整元素确定计算能力调整值；
调整子模块，被配置为根据所述计算能力调整值对于所述计算资源的初始计算能力进行调整。
在一些实施例中，所述预设规则为所述待分配计算任务的计算时间最短，或者所述计算资源剩余计算能力最少。
在一些实施例中，基于分配模块包括：
第一计算子模块，被配置为计算所述子计算任务的时间复杂度；
第二计算子模块，被配置为计算所述子计算任务的时间复杂度总和以及计算资源计算能力总和；
第三计算子模块，被配置为将时间复杂度总和除以计算资源计算能力总和，得到参考时间；
第四计算子模块，被配置为对于某一计算资源，将其计算能力乘以所述参考时间，得到所述计算资源的参考计算量；
分配子模块，被配置为基于所述计算资源的参考计算量，利用树形结构按照预设规则将所述子计算任务分配给计算资源。
在一些实施例中，所述分配子模块被配置为：
基于所述子计算任务生成子计算任务列表；
对于所述计算资源，计算其参考计算量与子计算任务列表中各子计算任务的时间复杂度之差，得到多个第一计算量差值；
将最小的第一计算量差值绝对值所对应的子计算任务确认为根节点，并将其从所述子计算任务列表中删除；
计算所述计算资源的参考计算量与当前子计算任务列表中各子计算任务的时间复杂度之差，得到多个第二计算量差值；
将最小的第二计算量差值绝对值所对应的子计算任务确认为所述根节点的子节点，并将其从所述子计算任务列表中删除；
重复计算量差值计算和子节点生成部分，直至所述子计算任务列表为空或者所述子计算任务列表中的子计算任务的时间复杂度大于所述计算资源的参考计算量。
本公开实施例的第三方面提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，可用来实现如前述各实施例所述的方法。
本公开实施例，将待分配计算任务划分为多个子计算任务，基于计算资源的计算能力，借助树形结构将子计算任务分配给计算资源。该技术方案能够合理利用计算资源，使得完成待分配计算任务的用时最短，进而能够有效提高计算任务的执行效率。
附图说明
通过参考附图会更加清楚的理解本公开的特征和优点，附图是示意性的而不应理解为对本公开进行任何限制，在附图中：
图1是根据本公开的一些实施例所示的一种计算任务分配方法的流程图；
图2是根据本公开的一些实施例所示的数据调整方法的步骤S102的流程示意图；
图3是根据本公开的一些实施例所示的数据调整方法的步骤S104的流程示意图；
图4是根据本公开的一些实施例所示的数据调整方法的步骤S106的流程示意图；
图5是根据本公开的一些实施例所示的数据调整方法的步骤S410的流程示意图；
图6是根据本公开的一些实施例所示的一种计算任务分配装置的结构框图；
图7是根据本公开的一些实施例所示的计算任务分配装置的划分模块610的结构框图；
图8是根据本公开的一些实施例所示的计算任务分配装置的确定模块620的结构框图；
图9是根据本公开的一些实施例所示的计算任务分配装置的分配模块630的结构框图；
图10是根据本公开的一些实施例所示的电子设备的示意图；
图11是适于用来实现根据本公开实施例的计算任务分配方法的通用型计算机节点的结构示意图。
具体实施方式
在下面的详细描述中，通过示例阐述了本公开的许多具体细节，以便提供对相关披露的透彻理解。然而，对于本领域的普通技术人员来讲，本公开显而易见的可以在没有这些细节的情况下实施。应当理解的是，本公开中使用“系统”、“装置”、“单元”和/或“模块”术语，是用于区分在顺序排列中不同级别的不同部件、元件、部分或组件的一种方法。然而，如果其他表达式可以实现相同的目的，这些术语可以被其他表达式替换。
应当理解的是，当设备、单元或模块被称为“在……上”、“连接到”或“耦合到”另一设备、单元或模块时，其可以直接在另一设备、单元或模块上，连接或耦合到或与其他设备、单元或模块通信，或者可以存在中间设备、单元或模块，除非上下文明确提示例外情形。例如，本公开所使用的术语“和/或”包括一个或多个相关所列条目的任何一个和所有组合。
本公开所用术语仅为了描述特定实施例，而非限制本公开范围。如本公开说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的特征、整体、步骤、操作、元素和/或组件，而该类表述并不构成一个排它性的罗列，其他特征、整体、步骤、操作、元素和/或组件也可以包含在内。
参看下面的说明以及附图，本公开的这些或其他特征和特点、操作方法、结构的相关元素的功能、部分的结合以及制造的经济性可以被更好地理解，其中说明和附图形成了说明书的一部分。然而，可以清楚地理解，附图仅用作说明和描述的目的，并不意在限定本公开的保护范围。可以理解的是，附图并非按比例绘制。
本公开中使用了多种结构图用来说明根据本公开的实施例的各种变形。应当理解的是，前面或下面的结构并不是用来限定本公开。本公开的保护范围以权利要求为准。
图1是根据本公开的一些实施例所示的一种计算任务分配方法的流程示意图。如图1所示，所述计算任务分配方法包括以下步骤：
S102，将待分配计算任务划分为多个子计算任务。
对于海量计算任务，考虑到仅使用单个计算资源难以有效完成全部的计算任务，因此，在一些实施例中，采用分布式计算资源系统来执行所述海量计算任务，其中，所述分布式计算资源系统中包含多个计算资源，每个计算资源分别承担部分计算任务，最后将多个计算资源反馈的计算结果再整合到一起，就可以得到海量计算任务的计算结果。由上可知，不同的计算资源分别承担不同的计算任务，因此，在为计算资源分配计算任务之前就需要首先将待分配的海量计算任务划分为多个可执行的子计算任务。
在一些实施例中，所述子计算任务可为能够计算的最小计算任务单元，所述最小计算任务单元的划分更有利于计算资源的分配，也更有利于对于计算资源分配方案的调整。
S104，获取多个计算资源，并确定所述计算资源的计算能力。
在一些实施例中，所述计算资源可以指代可执行计算任务的计算设备，比如计算机等。
其中，所述计算资源的计算能力用于衡量计算资源的计算速度以及所能够承受的计算量，其可以用每秒所执行浮点运算的次数来表示。
S106，基于所述计算资源的计算能力，利用树形结构按照预设规则将所述子计算任务分配给计算资源。
为了最大限度地、充分利用每个计算资源的计算能力，使得完成待分配计算任务的用时最短，达到有效提高计算任务执行效率的目的，在一些实施例中，基于所述计算资源的计算能力，利用树形结构按照预设规则将所述子计算任务分配给计算资源，其中，所述预设规则可以为所述待分配计算任务的计算时间最短，也可以为所述计算资源剩余计算能力最少，即使得所述计算任务的分配最优，所述待分配计算任务的计算时间指的是，从第一个开始的计算资源的开始时间至最后一个结束的计算资源的结束时间之间的时间，所述计算资源剩余计算能力指的是在所有待分配计算任务分配完毕之后所述计算资源剩余的、可利用的计算能力。需要说明的是，实际应用场景的不同可能会导致最优化目标不同，因此，本领域技术人员可根据实际应用的需要以及计算任务的具体特点对于所述预设规则进行配置以实现任务分配的最优化，本发明对其不作具体限定。
在一些可选的实施例中，如图2所示，步骤S102，即所述将待分配计算任务划分为多个子计算任务的步骤，包括以下步骤：
S202，确定计算任务划分元素，其中，所述计算任务划分元素包括以下元素中的一种或多种：计算规则、计算数据源和计算模型；
S204，根据所述任务划分元素将所述待分配计算任务划分为多个子计算任务，其中，所述子计算任务具有相同的计算任务划分元素。
考虑到机器学习计算任务的计算规则可能不同，所使用的计算数据源可能不同，想要获得的计算模型也可能不同，因此，在一些实施例中，采用上述元素，即计算规则、计算数据源和/或计算模型，对于所述待分配计算任务进行最小计算任务单元的划分。在一些实施例中，在对于待分配计算任务进行划分时，为了使得每个计算子任务具有区别性和目的性，更方便计算结果的统计和整合，采用上述计算任务划分元素之一对于待分配计算任务进行划分，比如若选用计算数据源对于待分配计算任务进行划分，那么划分得到的子计算任务分别使用不同的计算数据源，若选用计算模型对于待分配计算任务进行划分，那么划分得到的子计算任务分别用于训练不同的计算模型，等等。
在一些可选的实施例中，如图3所示，步骤S104，即所述获取多个计算资源，并确定所述计算资源的计算能力的步骤，包括以下步骤：
S302，获取多个计算资源，并确定所述计算资源的初始计算能力；
S304，确定计算能力调整元素；
S306，根据所述计算能力调整元素确定计算能力调整值；
S308，根据所述计算能力调整值对于所述计算资源的初始计算能力进行调整。
在一些可选的实施例中，可直接根据所述计算资源的硬件参数计算得到所述计算资源的计算能力，即初始计算能力，并将其用于后续的计算任务分配中。
在另一些可选的实施例中，还可根据所述计算资源的当前状态数据对于根据计算资源的硬件参数计算得到的计算能力进行调整，以更准确地体现所述计算资源的实际计算能力。即，首先确定计算能力调整元素，然后根据所述计算能力调整元素确定计算能力调整值，最后根据所述计算能力调整值对于所述计算资源的初始计算能力进行调整。
其中，所述计算能力调整元素可包括以下元素中的一种或多种：预设历史时间段内计算资源发生故障次数、预设历史时间段内计算资源的平均耗电量、预设历史时间段内计算资源实际达到的最高计算量等等。根据所述计算能力调整元素即可计算得到对于所述计算资源的计算能力调整值，具体地，预设历史时间段内计算资源发生故障次数越多，所述计算能力调整值越低；预设历史时间段内计算资源的平均耗电量越高，所述计算能力调整值越低；预设历史时间段内计算资源实际达到的最高计算量越高，所述计算能力调整值越高。比如，若根据某一计算资源的硬件参数计算得到的所述计算资源的计算能力，即该计算资源的初始计算能力表示为C，该计算资源在预设历史时间段内发生故障的次数超过预设故障次数阈值，平均耗电量和计算资源实际达到的最高计算量均处于正常范围区间，可认为该计算资源在执行计算任务时发生故障的可能性较大，那么就不应为其分配太多的计算任务，比如可将所述计算能力调整值设置为0.7，则所述计算资源的实际计算能力即为0.7*C。再比如，若所述计算资源在预设历史时间段内发生故障的次数超过预设故障次数阈值，平均耗电量处于异常超高范围，且计算资源实际达到的最高计算量亦处于异常超低范围，可认为该计算资源自身性能可能存在一定的问题，完全达不到其初始计算能力，那么就应大大降低为其分配的计算任务量，比如可将所述计算能力调整值设置为0.4，则所述计算资源的实际计算能力调整为0.4*C。
在一些可选的实施例中，如图4所示，步骤S106，即所述基于所述计算资源的计算能力，利用树形结构按照预设规则将所述子计算任务分配给计算资源的步骤，包括以下步骤：
S402，计算所述子计算任务的时间复杂度；
S404，计算所述子计算任务的时间复杂度总和以及计算资源计算能力总和；
S406，将时间复杂度总和除以计算资源计算能力总和，得到参考时间；
S408，对于某一计算资源，将其计算能力乘以所述参考时间，得到所述计算资源的参考计算量；
S410，基于所述计算资源的参考计算量，利用树形结构按照预设规则将所述子计算任务分配给计算资源。
为了提高任务分配的准确性，在一些可选的实施例中，针对某一待分配计算任务，对于某一计算资源，利用计算得到的最优化计算量作为计算任务分配时的参考值，为某一计算资源分配的任务量越接近该参考值，则任务分配结果就越准确。具体地，首先计算所述子计算任务的时间复杂度；然后计算所述子计算任务的时间复杂度总和以及计算资源计算能力总和；将得到的时间复杂度总和除以计算资源计算能力总和，得到参考时间；对于某一计算资源，将其计算能力乘以所述参考时间，即可得到所述计算资源的参考计算量；基于所述计算资源的参考计算量，利用树形结构按照预设规则即可将所述子计算任务合理地分配给计算资源。
比如，若子计算任务的总数量为N个，N个子计算任务的时间复杂度分别表示为T1，T2，……TN，那么所述子计算任务的时间复杂度总和Ttol为：
Ttol＝T1+T2+……+TN，
计算资源的总数量为M个，其计算能力分别为Cal1，Cal2，……CalM，那么所述计算资源的计算能力总和Caltol为：
Caltol＝Cal1+Cal2+……+CalM，
在子计算任务的分配绝对理想的情况下，也就是所有子计算任务同时完成时，所述计算资源所需要的时间，即参考时间t为：
那么在该情况下，第m个计算资源所分配的计算量，即的参考计算量z为：
z＝t*Calm。
得到所述计算资源的参考计算量后，就可以利用树形结构按照所述预设规则对于所述子计算任务进行分配。
在一些可选的实施例中，如图5所示，步骤S410，即所述基于所述计算资源的参考计算量，利用树形结构按照预设规则将所述子计算任务分配给计算资源的步骤，包括以下步骤：
S502，基于所述子计算任务生成子计算任务列表；
S504，对于所述计算资源，计算其参考计算量与子计算任务列表中各子计算任务的时间复杂度之差，得到多个第一计算量差值；
S506，将最小的第一计算量差值绝对值所对应的子计算任务确认为根节点，并将其从所述子计算任务列表中删除；
S508，计算所述计算资源的参考计算量与当前子计算任务列表中各子计算任务的时间复杂度之差，得到多个第二计算量差值；
S510，将最小的第二计算量差值绝对值所对应的子计算任务确认为所述根节点的子节点，并将其从所述子计算任务列表中删除；
S512，重复计算量差值计算和子节点生成步骤，直至所述子计算任务列表为空或者所述子计算任务列表中的子计算任务的时间复杂度大于所述计算资源的参考计算量。
为了最大限度地、充分利用每个计算资源的计算能力，使得所述待分配计算任务的计算时间最短，或者所述计算资源剩余的计算能力最少，即使得所述计算任务的分配最优，在一些可选的实施例中，利用树形结构逐渐逼近上述计算任务最优分配的目的。具体地，首先基于所述子计算任务生成子计算任务列表，其中，所述子计算任务列表中包含所有需要被分配的子计算任务，且当某一子计算任务被分配后就将其从列表中删除，这样能够避免出现子计算任务被重复分配的情况；然后对于某一计算资源，分别计算其参考计算量与子计算任务列表中各子计算任务的时间复杂度之差，得到多个第一计算量差值；将最小的第一计算量差值绝对值所对应的子计算任务确认为根节点，即该子计算任务已被确认为分配给该计算资源，此时将其从所述子计算任务列表中删除；然后再计算所述计算资源的参考计算量与删除了根节点对应子计算任务后的当前子计算任务列表中各子计算任务的时间复杂度之差，得到多个第二计算量差值；将最小的第二计算量差值绝对值所对应的子计算任务确认为所述根节点的子节点，即该子计算任务也已被确认为继根节点对应子计算任务后分配给该计算资源的子计算任务，此时仍然将其从所述子计算任务列表中删除；类似地，重复上述计算量差值计算和子节点生成步骤，直至所述子计算任务列表为空，即所述子计算任务列表中的子计算任务均被分配出去，或者所述子计算任务列表中剩余的子计算任务的时间复杂度大于所述计算资源的参考计算量，之后可根据所述子计算任务列表中剩余的子计算任务对于另一计算资源进行如上所述的任务分配。至此，就形成一个任务分配树形结构路径，而该路径上所涉及的子计算任务集合即为为所述计算资源分配的子计算任务集合。
由上可知，每一计算资源对应一个树形结构，借助相应树形结构的形成即可得到对应计算资源的最优的计算任务分配方式。
以上是本公开提供的计算任务分配方法的具体实施方式。
图6是根据本公开的一些实施例所示的计算任务分配装置示意图。如图6所示，所述计算任务分配装置600的功能可以由服务器执行。其中：
划分模块610，被配置为将待分配计算任务划分为多个子计算任务。
对于海量计算任务，考虑到仅使用单个计算资源难以有效完成全部的计算任务，因此，在一些实施例中，采用分布式计算资源系统来执行所述海量计算任务，其中，所述分布式计算资源系统中包含多个计算资源，每个计算资源分别承担部分计算任务，最后将多个计算资源反馈的计算结果再整合到一起，就可以得到海量计算任务的计算结果。由上可知，不同的计算资源分别承担不同的计算任务，因此，在为计算资源分配计算任务之前就需要首先将待分配的海量计算任务划分为多个可执行的子计算任务。
在一些实施例中，所述子计算任务可为能够计算的最小计算任务单元，所述最小计算任务单元的划分更有利于计算资源的分配，也更有利于对于计算资源分配方案的调整。
确定模块620，被配置为获取多个计算资源，并确定所述计算资源的计算能力。
在一些实施例中，所述计算资源可以指代可执行计算任务的计算设备，比如计算机等。
其中，所述计算资源的计算能力用于衡量计算资源的计算速度以及所能够承受的计算量，其可以用每秒所执行浮点运算的次数来表示。
分配模块630，被配置为基于所述计算资源的计算能力，利用树形结构按照预设规则将所述子计算任务分配给计算资源。
为了最大限度地、充分利用每个计算资源的计算能力，使得完成待分配计算任务的用时最短，达到有效提高计算任务执行效率的目的，在一些实施例中，基于所述计算资源的计算能力，利用树形结构按照预设规则将所述子计算任务分配给计算资源，其中，所述预设规则可以为所述待分配计算任务的计算时间最短，也可以为所述计算资源剩余计算能力最少，即使得所述计算任务的分配最优，所述待分配计算任务的计算时间指的是，从第一个开始的计算资源的开始时间至最后一个结束的计算资源的结束时间之间的时间，所述计算资源剩余计算能力指的是在所有待分配计算任务分配完毕之后所述计算资源剩余的、可利用的计算能力。需要说明的是，实际应用场景的不同可能会导致最优化目标不同，因此，本领域技术人员可根据实际应用的需要以及计算任务的具体特点对于所述预设规则进行配置以实现任务分配的最优化，本发明对其不作具体限定。
在一些可选的实施例中，如图7所示，所述划分模块610包括：
第一确定子模块710，被配置为确定计算任务划分元素，其中，所述计算任务划分元素包括以下元素中的一种或多种：计算规则、计算数据源和计算模型；
划分子模块720，被配置为根据所述任务划分元素将所述待分配计算任务划分为多个子计算任务，其中，所述子计算任务具有相同的计算任务划分元素。
考虑到机器学习计算任务的计算规则可能不同，所使用的计算数据源可能不同，想要获得的计算模型也可能不同，因此，在一些实施例中，采用上述元素，即计算规则、计算数据源和/或计算模型，对于所述待分配计算任务进行最小计算任务单元的划分。在一些实施例中，在对于待分配计算任务进行划分时，为了使得每个计算子任务具有区别性和目的性，更方便计算结果的统计和整合，采用上述计算任务划分元素之一对于待分配计算任务进行划分，比如若选用计算数据源对于待分配计算任务进行划分，那么划分得到的子计算任务分别使用不同的计算数据源，若选用计算模型对于待分配计算任务进行划分，那么划分得到的子计算任务分别用于训练不同的计算模型，等等。
在一些可选的实施例中，如图8所示，所述确定模块620包括：
获取子模块810，被配置为获取多个计算资源，并确定所述计算资源的初始计算能力；
第二确定子模块820，被配置为确定计算能力调整元素；
第三确定子模块830，被配置为根据所述计算能力调整元素确定计算能力调整值；
调整子模块840，被配置为根据所述计算能力调整值对于所述计算资源的初始计算能力进行调整。
在一些可选的实施例中，可直接根据所述计算资源的硬件参数计算得到所述计算资源的计算能力，即初始计算能力，并将其用于后续的计算任务分配中。
在另一些可选的实施例中，还可根据所述计算资源的当前状态数据对于根据计算资源的硬件参数计算得到的计算能力进行调整，以更准确地体现所述计算资源的实际计算能力。即，第二确定子模块820确定计算能力调整元素，第三确定子模块830根据所述计算能力调整元素确定计算能力调整值，调整子模块840根据所述计算能力调整值对于所述计算资源的初始计算能力进行调整。
其中，所述计算能力调整元素可包括以下元素中的一种或多种：预设历史时间段内计算资源发生故障次数、预设历史时间段内计算资源的平均耗电量、预设历史时间段内计算资源实际达到的最高计算量等等。根据所述计算能力调整元素即可计算得到对于所述计算资源的计算能力调整值，具体地，预设历史时间段内计算资源发生故障次数越多，所述计算能力调整值越低；预设历史时间段内计算资源的平均耗电量越高，所述计算能力调整值越低；预设历史时间段内计算资源实际达到的最高计算量越高，所述计算能力调整值越高。比如，若根据某一计算资源的硬件参数计算得到的所述计算资源的计算能力，即该计算资源的初始计算能力表示为C，该计算资源在预设历史时间段内发生故障的次数超过预设故障次数阈值，平均耗电量和计算资源实际达到的最高计算量均处于正常范围区间，可认为该计算资源在执行计算任务时发生故障的可能性较大，那么就不应为其分配太多的计算任务，比如可将所述计算能力调整值设置为0.7，则所述计算资源的实际计算能力即为0.7*C。再比如，若所述计算资源在预设历史时间段内发生故障的次数超过预设故障次数阈值，平均耗电量处于异常超高范围，且计算资源实际达到的最高计算量亦处于异常超低范围，可认为该计算资源自身性能可能存在一定的问题，完全达不到其初始计算能力，那么就应大大降低为其分配的计算任务量，比如可将所述计算能力调整值设置为0.4，则所述计算资源的实际计算能力调整为0.4*C。
在一些可选的实施例中，如图9所示，所述分配模块630包括：
第一计算子模块910，被配置为计算所述子计算任务的时间复杂度；
第二计算子模块920，被配置为计算所述子计算任务的时间复杂度总和以及计算资源计算能力总和；
第三计算子模块930，被配置为将时间复杂度总和除以计算资源计算能力总和，得到参考时间；
第四计算子模块940，被配置为对于某一计算资源，将其计算能力乘以所述参考时间，得到所述计算资源的参考计算量；
分配子模块950，被配置为基于所述计算资源的参考计算量，利用树形结构按照预设规则将所述子计算任务分配给计算资源。
为了提高任务分配的准确性，在一些可选的实施例中，针对某一待分配计算任务，对于某一计算资源，利用计算得到的最优化计算量作为计算任务分配时的参考值，为某一计算资源分配的任务量越接近该参考值，则任务分配结果就越准确。具体地，第一计算子模块910计算所述子计算任务的时间复杂度；第二计算子模块920计算所述子计算任务的时间复杂度总和以及计算资源计算能力总和；第三计算子模块930将得到的时间复杂度总和除以计算资源计算能力总和，得到参考时间；第四计算子模块940对于某一计算资源，将其计算能力乘以所述参考时间，即可得到所述计算资源的参考计算量；分配子模块950基于所述计算资源的参考计算量，利用树形结构按照预设规则即可将所述子计算任务合理地分配给计算资源。
比如，若子计算任务的总数量为N个，N个子计算任务的时间复杂度分别表示为T1，T2，……TN，那么所述子计算任务的时间复杂度总和Ttol为：
Ttol＝T1+T2+……+TN，
计算资源的总数量为M个，其计算能力分别为Cal1，Cal2，……CalM，那么所述计算资源的计算能力总和Caltol为：
Caltol＝Cal1+Cal2+……+CalM，
在子计算任务的分配绝对理想的情况下，也就是所有子计算任务同时完成时，所述计算资源所需要的时间，即参考时间t为：
那么在该情况下，第m个计算资源所分配的计算量，即的参考计算量z为：
z＝t*Calm。
得到所述计算资源的参考计算量后，就可以利用树形结构按照所述预设规则对于所述子计算任务进行分配。
在一些可选的实施例中，所述分配子模块910被配置为：
基于所述子计算任务生成子计算任务列表；
对于所述计算资源，计算其参考计算量与子计算任务列表中各子计算任务的时间复杂度之差，得到多个第一计算量差值；
将最小的第一计算量差值绝对值所对应的子计算任务确认为根节点，并将其从所述子计算任务列表中删除；
计算所述计算资源的参考计算量与当前子计算任务列表中各子计算任务的时间复杂度之差，得到多个第二计算量差值；
将最小的第二计算量差值绝对值所对应的子计算任务确认为所述根节点的子节点，并将其从所述子计算任务列表中删除；
重复计算量差值计算和子节点生成部分，直至所述子计算任务列表为空或者所述子计算任务列表中的子计算任务的时间复杂度大于所述计算资源的参考计算量。
为了最大限度地、充分利用每个计算资源的计算能力，使得所述待分配计算任务的计算时间最短，或者所述计算资源剩余的计算能力最少，即使得所述计算任务的分配最优，在一些可选的实施例中，利用树形结构逐渐逼近上述计算任务最优分配的目的。具体地，首先基于所述子计算任务生成子计算任务列表，其中，所述子计算任务列表中包含所有需要被分配的子计算任务，且当某一子计算任务被分配后就将其从列表中删除，这样能够避免出现子计算任务被重复分配的情况；然后对于某一计算资源，分别计算其参考计算量与子计算任务列表中各子计算任务的时间复杂度之差，得到多个第一计算量差值；将最小的第一计算量差值绝对值所对应的子计算任务确认为根节点，即该子计算任务已被确认为分配给该计算资源，此时将其从所述子计算任务列表中删除；然后再计算所述计算资源的参考计算量与删除了根节点对应子计算任务后的当前子计算任务列表中各子计算任务的时间复杂度之差，得到多个第二计算量差值；将最小的第二计算量差值绝对值所对应的子计算任务确认为所述根节点的子节点，即该子计算任务也已被确认为继根节点对应子计算任务后分配给该计算资源的子计算任务，此时仍然将其从所述子计算任务列表中删除；类似地，重复上述计算量差值计算和子节点生成部分，直至所述子计算任务列表为空，即所述子计算任务列表中的子计算任务均被分配出去，或者所述子计算任务列表中剩余的子计算任务的时间复杂度大于所述计算资源的参考计算量，之后可根据所述子计算任务列表中剩余的子计算任务对于另一计算资源进行如上所述的任务分配。至此，就形成一个任务分配树形结构路径，而该路径上所涉及的子计算任务集合即为为所述计算资源分配的子计算任务集合。
由上可知，每一计算资源对应一个树形结构，借助相应树形结构的形成即可得到对应计算资源的最优的计算任务分配方式。
参考附图10，为本公开一个实施例提供的电子设备示意图。如图10所示，该电子设备1000包括：
存储器1030以及一个或多个处理器1010；
其中，所述存储器1030与所述一个或多个处理器1010通信连接，所述存储器1030中存储有可被所述一个或多个处理器执行的指令1032，所述指令1032被所述一个或多个处理器1010执行，以使所述一个或多个处理器1010执行上述计算任务分配步骤。
本公开的一个实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被执行后执行上述计算任务分配步骤。
综上所述，本公开提出了一种计算任务分配方法、装置、电子设备及其计算机可读存储介质。本公开实施例通过训练得到一个或多个基于不同数据特点产生的候选计算任务分配模型，然后根据用户实际数据的特点从候选计算任务分配模型中选择一个最合适的目标计算任务分配模型来对用户数据进行分类，从而实现了在根据用户的实际数据进行真实统计评估时还能够保证统计评估高准确率的效果，有效解决了由于非真实性数据的使用所带来的统计评估结果准确性低下的问题。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述装置实施例中的对应描述，在此不再赘述。
尽管此处所述的主题是在结合操作系统和应用程序在计算机系统上的执行而执行的一般上下文中提供的，但本领域技术人员可以认识到，还可结合其他类型的程序模块来执行其他实现。一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、组件、数据结构和其他类型的结构。本领域技术人员可以理解，此处所述的本主题可以使用其他计算机系统配置来实践，包括手持式设备、多处理器系统、基于微处理器或可编程消费电子产品、小型计算机、大型计算机等，也可使用在其中任务由通过通信网络连接的远程处理设备执行的分布式计算环境中。在分布式计算环境中，程序模块可位于本地和远程存储器存储设备的两者中。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对原有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。比如，典型地，本公开的技术方案可通过至少一个如图11所示的通用型计算机节点1110来实现和/或传播。在图11中，通用型计算机节点1110包括：计算机系统/服务器1112、外设1114和显示设备1116；其中，所述计算机系统/服务器1112包括处理单元1120、输入/输出接口1122、网络适配器1124和存储器1130，内部通常通过总线实现数据传输；进一步地，存储器1130通常由多种存储设备组成，比如，RAM(Random Access Memory，随机存储器)1132、缓存1134和存储系统(一般由一个或多个大容量非易失性存储介质组成)1136等；实现本公开技术方案的部分或全部功能的程序1140保存在存储器1130中，通常以多个程序模块1142的形式存在。
而前述的计算机可读取存储介质包括以存储如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方式或技术来实现的物理易失性和非易失性、可移动和不可因东介质。计算机可读取存储介质具体包括，但不限于，U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、可擦除可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、闪存或其他固态存储器技术、CD-ROM、数字多功能盘(DVD)、HD-DVD、蓝光(Blue-Ray)或其他光存储设备、磁带、磁盘存储或其他磁性存储设备、或能用于存储所需信息且可以由计算机访问的任何其他介质。
应当理解的是，本公开的上述具体实施方式仅仅用于示例性说明或解释本公开的原理，而不构成对本公开的限制。因此，在不偏离本公开的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。此外，本公开所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (14)
1.一种计算任务分配方法，其特征在于，包括：
将待分配计算任务划分为多个子计算任务；
获取多个计算资源，并确定所述计算资源的计算能力；
基于所述计算资源的计算能力，利用树形结构按照预设规则将所述子计算任务分配给计算资源。
2.根据权利要求1所述的方法，其特征在于，所述将待分配计算任务划分为多个子计算任务，包括：
确定计算任务划分元素，其中，所述计算任务划分元素包括以下元素中的一种或多种：计算规则、计算数据源和计算模型；
根据所述任务划分元素将所述待分配计算任务划分为多个子计算任务。
3.根据权利要求1或2所述的方法，其特征在于，所述获取多个计算资源，并确定所述计算资源的计算能力，包括：
获取多个计算资源，并确定所述计算资源的初始计算能力；
确定计算能力调整元素；
根据所述计算能力调整元素确定计算能力调整值；
根据所述计算能力调整值对于所述计算资源的初始计算能力进行调整。
4.根据权利要求1-3任一所述的方法，其特征在于，所述预设规则为所述待分配计算任务的计算时间最短，或者所述计算资源剩余计算能力最少。
5.根据权利要求1-4任一所述的方法，其特征在于，基于所述计算资源的计算能力，利用树形结构按照预设规则将所述子计算任务分配给计算资源，包括：
计算所述子计算任务的时间复杂度；
计算所述子计算任务的时间复杂度总和以及计算资源计算能力总和；
将时间复杂度总和除以计算资源计算能力总和，得到参考时间；
对于某一计算资源，将其计算能力乘以所述参考时间，得到所述计算资源的参考计算量；
基于所述计算资源的参考计算量，利用树形结构按照预设规则将所述子计算任务分配给计算资源。
6.根据权利要求5所述的方法，其特征在于，基于所述计算资源的参考计算量，利用树形结构按照预设规则将所述子计算任务分配给计算资源，包括：
基于所述子计算任务生成子计算任务列表；
对于所述计算资源，计算其参考计算量与子计算任务列表中各子计算任务的时间复杂度之差，得到多个第一计算量差值；
将最小的第一计算量差值绝对值所对应的子计算任务确认为根节点，并将其从所述子计算任务列表中删除；
计算所述计算资源的参考计算量与当前子计算任务列表中各子计算任务的时间复杂度之差，得到多个第二计算量差值；
将最小的第二计算量差值绝对值所对应的子计算任务确认为所述根节点的子节点，并将其从所述子计算任务列表中删除；
重复计算量差值计算和子节点生成步骤，直至所述子计算任务列表为空或者所述子计算任务列表中的子计算任务的时间复杂度大于所述计算资源的参考计算量。
7.一种计算任务分配装置，其特征在于，包括：
划分模块，被配置为将待分配计算任务划分为多个子计算任务；
确定模块，被配置为获取多个计算资源，并确定所述计算资源的计算能力；
分配模块，被配置为基于所述计算资源的计算能力，利用树形结构按照预设规则将所述子计算任务分配给计算资源。
8.根据权利要求7所述的装置，其特征在于，所述划分模块包括：
第一确定子模块，被配置为确定计算任务划分元素，其中，所述计算任务划分元素包括以下元素中的一种或多种：计算规则、计算数据源和计算模型；
划分子模块，被配置为根据所述任务划分元素将所述待分配计算任务划分为多个子计算任务。
9.根据权利要求7或8所述的装置，其特征在于，所述确定模块包括：
获取子模块，被配置为获取多个计算资源，并确定所述计算资源的初始计算能力；
第二确定子模块，被配置为确定计算能力调整元素；
第三确定子模块，被配置为根据所述计算能力调整元素确定计算能力调整值；
调整子模块，被配置为根据所述计算能力调整值对于所述计算资源的初始计算能力进行调整。
10.根据权利要求7-9任一所述的装置，其特征在于，所述预设规则为所述待分配计算任务的计算时间最短，或者所述计算资源剩余计算能力最少。
11.根据权利要求7-10任一所述的装置，其特征在于，基于分配模块包括：
第一计算子模块，被配置为计算所述子计算任务的时间复杂度；
第二计算子模块，被配置为计算所述子计算任务的时间复杂度总和以及计算资源计算能力总和；
第三计算子模块，被配置为将时间复杂度总和除以计算资源计算能力总和，得到参考时间；
第四计算子模块，被配置为对于某一计算资源，将其计算能力乘以所述参考时间，得到所述计算资源的参考计算量；
分配子模块，被配置为基于所述计算资源的参考计算量，利用树形结构按照预设规则将所述子计算任务分配给计算资源。
12.根据权利要求11所述的装置，其特征在于，所述分配子模块被配置为：
基于所述子计算任务生成子计算任务列表；
对于所述计算资源，计算其参考计算量与子计算任务列表中各子计算任务的时间复杂度之差，得到多个第一计算量差值；
将最小的第一计算量差值绝对值所对应的子计算任务确认为根节点，并将其从所述子计算任务列表中删除；
计算所述计算资源的参考计算量与当前子计算任务列表中各子计算任务的时间复杂度之差，得到多个第二计算量差值；
将最小的第二计算量差值绝对值所对应的子计算任务确认为所述根节点的子节点，并将其从所述子计算任务列表中删除；
重复计算量差值计算和子节点生成部分，直至所述子计算任务列表为空或者所述子计算任务列表中的子计算任务的时间复杂度大于所述计算资源的参考计算量。
13.一种电子设备，其特征在于，包括：
存储器以及一个或多个处理器；
其中，所述存储器与所述一个或多个处理器通信连接，所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行时，所述电子设备用于实现如权利要求1-6任一项所述的方法。
14.一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被计算装置执行时，可用来实现如权利要求1-6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811141441.8A CN109298940B (zh) | 2018-09-28 | 2018-09-28 | 计算任务分配方法、装置、电子设备及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811141441.8A CN109298940B (zh) | 2018-09-28 | 2018-09-28 | 计算任务分配方法、装置、电子设备及计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109298940A true CN109298940A (zh) | 2019-02-01 |
| CN109298940B CN109298940B (zh) | 2019-12-31 |
Family
ID=65164840
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811141441.8A Active CN109298940B (zh) | 2018-09-28 | 2018-09-28 | 计算任务分配方法、装置、电子设备及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109298940B (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110515722A (zh) * | 2019-07-26 | 2019-11-29 | 西安电子科技大学 | 一种在云端实现神经网络模型并行的方法 |
| CN110659137A (zh) * | 2019-09-24 | 2020-01-07 | 支付宝(杭州)信息技术有限公司 | 针对离线任务的处理资源分配方法及系统 |
| CN111340237A (zh) * | 2020-03-05 | 2020-06-26 | 腾讯科技（深圳）有限公司 | 数据处理和模型运行方法、装置和计算机设备 |
| CN111352712A (zh) * | 2020-02-25 | 2020-06-30 | 程瑞萍 | 云计算任务跟踪处理方法、装置、云计算系统及服务器 |
| CN111552547A (zh) * | 2020-04-21 | 2020-08-18 | 北京金山云网络技术有限公司 | 作业处理方法、装置以及计算机设备 |
| CN112000485A (zh) * | 2020-09-01 | 2020-11-27 | 北京元心科技有限公司 | 任务分配方法、装置、电子设备及计算机可读存储介质 |
| CN112162644A (zh) * | 2020-09-24 | 2021-01-01 | 深圳哇哇鱼网络科技有限公司 | 多语言输入法的硬件加速方法、终端及介质 |
| CN112540841A (zh) * | 2020-12-28 | 2021-03-23 | 智慧神州(北京)科技有限公司 | 任务调度的方法、装置、处理器与电子设备 |
| CN113010273A (zh) * | 2021-03-23 | 2021-06-22 | 河北冀联人力资源服务集团有限公司 | 一种人力资源数据分布式任务处理方法及系统 |
| CN113590274A (zh) * | 2020-04-30 | 2021-11-02 | 华为技术有限公司 | 任务分配方法及装置、任务处理系统 |
| CN113672356A (zh) * | 2020-05-13 | 2021-11-19 | 北京三快在线科技有限公司 | 计算资源调度方法和装置、存储介质和电子设备 |
| CN114091688A (zh) * | 2021-11-25 | 2022-02-25 | 北京九章云极科技有限公司 | 一种计算资源获取方法、装置、电子设备和存储介质 |
| CN114153608A (zh) * | 2021-11-30 | 2022-03-08 | 中汽创智科技有限公司 | 基于自动驾驶的调度方法、装置、车载终端及存储介质 |
| WO2022057940A1 (zh) * | 2020-09-21 | 2022-03-24 | 中国移动通信有限公司研究院 | 一种计算节点资源信息更新方法、节点和存储介质 |
| WO2024066753A1 (zh) * | 2022-09-29 | 2024-04-04 | 华为云计算技术有限公司 | 压缩数据的方法和相关装置 |
| CN117971421A (zh) * | 2024-01-02 | 2024-05-03 | 国网河北省电力有限公司信息通信分公司 | 通感算存一体的系统的任务分配方法及装置 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100250744A1 (en) * | 2009-03-24 | 2010-09-30 | International Business Machines Corporation | System and method for deploying virtual machines in a computing environment |
| US20110219031A1 (en) * | 2010-03-08 | 2011-09-08 | Nec Laboratories America, Inc. | Systems and methods for sla-aware scheduling in cloud computing |
| CN102467532A (zh) * | 2010-11-12 | 2012-05-23 | 中国移动通信集团山东有限公司 | 一种任务处理方法以及任务处理装置 |
| CN102745192A (zh) * | 2012-06-14 | 2012-10-24 | 北京理工大学 | 一种混合动力车辆的分布式控制系统的任务分配系统 |
| US20120314248A1 (en) * | 2011-06-09 | 2012-12-13 | Xerox Corporation | System and method for multi-site cellular manufacturing with transportation delays |
| CN103685540A (zh) * | 2013-12-20 | 2014-03-26 | 上海电机学院 | 基于云计算的任务分解复合方法 |
| CN103810045A (zh) * | 2012-11-09 | 2014-05-21 | 阿里巴巴集团控股有限公司 | 资源分配方法、资源管理器、资源服务器及系统 |
| US20170024191A1 (en) * | 2015-07-20 | 2017-01-26 | Qualcomm Incorporated | Application profile driven scheduling and configuration in a system on a chip |
| CN106970779A (zh) * | 2017-03-30 | 2017-07-21 | 重庆大学 | 一种面向内存计算的流式平衡图划分方法 |
| CN107958349A (zh) * | 2017-12-19 | 2018-04-24 | 金蝶软件（中国）有限公司 | 任务分配方法、装置、计算机设备和存储介质 |
| CN108108245A (zh) * | 2017-12-18 | 2018-06-01 | 天津科技大学 | 一种云平台宽节点科学工作流的混合型调度方法及系统 |
| CN108416615A (zh) * | 2018-02-02 | 2018-08-17 | 北京邮电大学 | 一种基于树的资源分配方法 |
-
2018
- 2018-09-28 CN CN201811141441.8A patent/CN109298940B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100250744A1 (en) * | 2009-03-24 | 2010-09-30 | International Business Machines Corporation | System and method for deploying virtual machines in a computing environment |
| US20110219031A1 (en) * | 2010-03-08 | 2011-09-08 | Nec Laboratories America, Inc. | Systems and methods for sla-aware scheduling in cloud computing |
| CN102467532A (zh) * | 2010-11-12 | 2012-05-23 | 中国移动通信集团山东有限公司 | 一种任务处理方法以及任务处理装置 |
| US20120314248A1 (en) * | 2011-06-09 | 2012-12-13 | Xerox Corporation | System and method for multi-site cellular manufacturing with transportation delays |
| CN102745192A (zh) * | 2012-06-14 | 2012-10-24 | 北京理工大学 | 一种混合动力车辆的分布式控制系统的任务分配系统 |
| CN103810045A (zh) * | 2012-11-09 | 2014-05-21 | 阿里巴巴集团控股有限公司 | 资源分配方法、资源管理器、资源服务器及系统 |
| CN103685540A (zh) * | 2013-12-20 | 2014-03-26 | 上海电机学院 | 基于云计算的任务分解复合方法 |
| US20170024191A1 (en) * | 2015-07-20 | 2017-01-26 | Qualcomm Incorporated | Application profile driven scheduling and configuration in a system on a chip |
| CN106970779A (zh) * | 2017-03-30 | 2017-07-21 | 重庆大学 | 一种面向内存计算的流式平衡图划分方法 |
| CN108108245A (zh) * | 2017-12-18 | 2018-06-01 | 天津科技大学 | 一种云平台宽节点科学工作流的混合型调度方法及系统 |
| CN107958349A (zh) * | 2017-12-19 | 2018-04-24 | 金蝶软件（中国）有限公司 | 任务分配方法、装置、计算机设备和存储介质 |
| CN108416615A (zh) * | 2018-02-02 | 2018-08-17 | 北京邮电大学 | 一种基于树的资源分配方法 |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110515722A (zh) * | 2019-07-26 | 2019-11-29 | 西安电子科技大学 | 一种在云端实现神经网络模型并行的方法 |
| CN110659137A (zh) * | 2019-09-24 | 2020-01-07 | 支付宝(杭州)信息技术有限公司 | 针对离线任务的处理资源分配方法及系统 |
| CN110659137B (zh) * | 2019-09-24 | 2022-02-08 | 支付宝(杭州)信息技术有限公司 | 针对离线任务的处理资源分配方法及系统 |
| CN111352712A (zh) * | 2020-02-25 | 2020-06-30 | 程瑞萍 | 云计算任务跟踪处理方法、装置、云计算系统及服务器 |
| CN111340237A (zh) * | 2020-03-05 | 2020-06-26 | 腾讯科技（深圳）有限公司 | 数据处理和模型运行方法、装置和计算机设备 |
| CN111340237B (zh) * | 2020-03-05 | 2024-04-26 | 腾讯科技（深圳）有限公司 | 数据处理和模型运行方法、装置和计算机设备 |
| CN111552547A (zh) * | 2020-04-21 | 2020-08-18 | 北京金山云网络技术有限公司 | 作业处理方法、装置以及计算机设备 |
| CN113590274A (zh) * | 2020-04-30 | 2021-11-02 | 华为技术有限公司 | 任务分配方法及装置、任务处理系统 |
| CN113672356A (zh) * | 2020-05-13 | 2021-11-19 | 北京三快在线科技有限公司 | 计算资源调度方法和装置、存储介质和电子设备 |
| CN112000485A (zh) * | 2020-09-01 | 2020-11-27 | 北京元心科技有限公司 | 任务分配方法、装置、电子设备及计算机可读存储介质 |
| CN112000485B (zh) * | 2020-09-01 | 2024-01-12 | 北京元心科技有限公司 | 任务分配方法、装置、电子设备及计算机可读存储介质 |
| WO2022057940A1 (zh) * | 2020-09-21 | 2022-03-24 | 中国移动通信有限公司研究院 | 一种计算节点资源信息更新方法、节点和存储介质 |
| CN112162644A (zh) * | 2020-09-24 | 2021-01-01 | 深圳哇哇鱼网络科技有限公司 | 多语言输入法的硬件加速方法、终端及介质 |
| CN112540841A (zh) * | 2020-12-28 | 2021-03-23 | 智慧神州(北京)科技有限公司 | 任务调度的方法、装置、处理器与电子设备 |
| CN113010273A (zh) * | 2021-03-23 | 2021-06-22 | 河北冀联人力资源服务集团有限公司 | 一种人力资源数据分布式任务处理方法及系统 |
| CN113010273B (zh) * | 2021-03-23 | 2022-07-19 | 河北冀联人力资源服务集团有限公司 | 一种人力资源数据分布式任务处理方法及系统 |
| CN114091688A (zh) * | 2021-11-25 | 2022-02-25 | 北京九章云极科技有限公司 | 一种计算资源获取方法、装置、电子设备和存储介质 |
| CN114153608A (zh) * | 2021-11-30 | 2022-03-08 | 中汽创智科技有限公司 | 基于自动驾驶的调度方法、装置、车载终端及存储介质 |
| WO2024066753A1 (zh) * | 2022-09-29 | 2024-04-04 | 华为云计算技术有限公司 | 压缩数据的方法和相关装置 |
| CN117971421A (zh) * | 2024-01-02 | 2024-05-03 | 国网河北省电力有限公司信息通信分公司 | 通感算存一体的系统的任务分配方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109298940B (zh) | 2019-12-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109298940A (zh) | 计算任务分配方法、装置、电子设备及计算机存储介质 | |
| US11521090B2 (en) | Collaborative distributed machine learning | |
| US10754709B2 (en) | Scalable task scheduling systems and methods for cyclic interdependent tasks using semantic analysis | |
| US10243879B2 (en) | Intelligent placement within a data center | |
| Zheng et al. | QoS analysis for web service compositions based on probabilistic QoS | |
| US20180052714A1 (en) | Optimized resource metering in a multi tenanted distributed file system | |
| KR20170100487A (ko) | 총체적 글로벌 성능 및 전력 관리 | |
| US20140289245A1 (en) | Optimizing a clustered virtual computing environment | |
| US20200059097A1 (en) | Providing Energy Elasticity Services Via Distributed Virtual Batteries | |
| CN103853618A (zh) | 基于截止日期驱动的云系统代价最小化资源分配方法 | |
| US11461210B2 (en) | Real-time calculation of data center power usage effectiveness | |
| US10396581B2 (en) | Managing peak power consumption for distributed assets using battery charging schedules | |
| Gazafroudi et al. | Assessing the operating reserves and costs with considering customer choice and wind power uncertainty in pool-based power market | |
| US20230104246A1 (en) | Deployment and Management of Energy Efficient Deep Neural Network Models on Edge Inference Computing Devices | |
| CN113965313B (zh) | 基于同态加密的模型训练方法、装置、设备以及存储介质 | |
| CN105580001A (zh) | 对与服务类别相关联的混合流进行处理 | |
| US10664786B2 (en) | Using run time and historical customer profiling and analytics to determine customer test vs. production differences, and to enhance customer test effectiveness | |
| Musliu et al. | A hybrid approach for the sudoku problem: Using constraint programming in iterated local search | |
| Hannay et al. | Earned business value: See that you deliver value to your customer | |
| US20230410229A1 (en) | Dynamic pricing of energy consumed from a shared battery using real-time consumption data | |
| US11329900B1 (en) | Sequenced capacity deployment for WAN and datacenter networks | |
| Dance et al. | Stochastic optimization for real time service capacity allocation under random service demand | |
| CN106227601A (zh) | 用于虚拟化平台的资源配置的方法和装置 | |
| Amarilla | Scalarization methods for many-objective virtual machine placement of elastic infrastructures in overbooked cloud computing data centers under uncertainty | |
| Pop et al. | Algorithms for automating task delegation in project management |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231017 Address after: Room 201, 2nd Floor, Building A25, Hainan Ecological Software Park, Old Town High tech Industry Demonstration Zone, Chengmai County, Hainan Province, 571900 Patentee after: Yunma intelligent (Hainan) Technology Co.,Ltd. Address before: 100094 706, 7th floor, block D1, Zhongguancun No.1, Beiqing Road, Haidian District, Beijing Patentee before: KAOLA CREDIT SERVICE CO.,LTD. |