CN107291544B - 任务调度的方法及装置、分布式任务执行系统 - Google Patents

任务调度的方法及装置、分布式任务执行系统 Download PDF

Info

Publication number
CN107291544B
CN107291544B CN201710657131.0A CN201710657131A CN107291544B CN 107291544 B CN107291544 B CN 107291544B CN 201710657131 A CN201710657131 A CN 201710657131A CN 107291544 B CN107291544 B CN 107291544B
Authority
CN
China
Prior art keywords
task
current
node
weight
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710657131.0A
Other languages
English (en)
Other versions
CN107291544A (zh
Inventor
杨照通
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Cloud Information Technology Co Ltd
Original Assignee
Inspur Cloud Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Cloud Information Technology Co Ltd filed Critical Inspur Cloud Information Technology Co Ltd
Priority to CN201710657131.0A priority Critical patent/CN107291544B/zh
Publication of CN107291544A publication Critical patent/CN107291544A/zh
Application granted granted Critical
Publication of CN107291544B publication Critical patent/CN107291544B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了任务调度的方法及装置、分布式任务执行系统，该方法，包括：当接收到请求节点发来的任务请求时，执行：确定每个任务的当前任务规模；确定执行每个所述任务的节点的当前第一数量；根据每个所述任务的当前任务规模和每个所述任务对应的所述当前第一数量，确定每个所述任务的当前权重；按照每个所述任务的当前权重，为所述请求节点分配目标任务。本发明提供了任务调度的方法及装置、分布式任务执行系统，能够提高工作效率。

Description

任务调度的方法及装置、分布式任务执行系统
技术领域
本发明涉及计算机技术领域，特别涉及任务调度的方法及装置、分布式任务执行系统。
背景技术
随着互联网信息的急速膨胀，以及大数据行业的飞速发展，各项和互联网数据有关的服务逐渐增多，互联网数据在很多方面都得到了广泛应用。这些互联网数据，一般通过分布式爬虫来获取。
在利用分布式爬虫获取互联网数据时，一般按照以下方式进行任务调度：为每个任务分配同样数量的节点，由各个节点完成数据采集。举例来说，在整个系统中有10个节点，有两个任务需要处理，任务1需要下载1个链接中的数据，任务2需要下载100个链接中的数据，按照现有的任务调度的方案，为任务1分配5个节点，为任务2分配5个节点。
通过上述描述可见，现有的任务调度的方案中，需要下载的链接数量较多的大任务与需要下载的链接数量较少的小任务被分配的节点的数量是相同，造成小任务能够较快的完成，而大任务却需要消耗大量时间，整个采集过程的工作效率较低。
发明内容
本发明实施例提供了任务调度的方法及装置、分布式任务执行系统，能够提高工作效率。
第一方面，本发明实施例提供了一种任务调度的方法，包括：
当接收到请求节点发来的任务请求时，执行：
确定每个任务的当前任务规模；
确定执行每个所述任务的节点的当前第一数量；
根据每个所述任务的当前任务规模和每个所述任务对应的所述当前第一数量，确定每个所述任务的当前权重；
按照每个所述任务的当前权重，为所述请求节点分配目标任务。
进一步地，
所述确定每个任务的当前任务规模，包括：
确定每个所述任务中当前等待下载的链接的当前第二数量；
所述根据每个所述任务的当前任务规模和每个所述任务对应的所述当前第一数量，确定每个所述任务的当前权重，包括：
根据所述当前第一数量和所述当前第二数量，利用公式一确定每个所述任务的当前权重，其中，所述公式一为：
Figure BDA0001369585400000021
其中，Wi为第i个任务的当前权重，Ni为第i个任务的当前第一数量，Li为第i个任务的当前第二数量，a大于1。
进一步地，该方法进一步包括：预先设置已发送队列和任务队列；
在所述按照每个所述任务的当前权重，为所述请求节点分配目标任务之后，进一步包括：
将所述目标任务中当前等待下载的至少一个链接保存到所述任务队列中；
进一步包括：
当所述请求节点从所述任务队列中获取至少一个待处理链接时，将所述至少一个待处理链接转移到所述已发送队列中；
进一步包括：
当接收到所述请求节点发来的处理完成信号时，将所述处理完成信号对应的所述待处理链接从所述已发送队列中删除；
进一步包括：
实时判断所述已发送队列中是否存在存储时间超过第一预设时长的超时待处理链接，如果存在，则将所述超时待处理链接转移到所述任务队列中。
进一步地，该方法进一步包括：
接收各个节点周期性发来的心跳信号；
进一步包括：
针对每个节点，周期性判断距离当前节点的最近一次的心跳信号的时间长度是否超过第二预设时长，如果是，则确定所述当前节点没有执行任何任务。
进一步地，所述按照每个所述任务的当前权重，为所述请求节点分配目标任务，包括：
按照每个所述任务的当前权重，确定所述目标任务；
将所述目标任务的标识发送给所述请求节点，以使所述请求节点根据所述目标任务的标识获取所述目标任务。
进一步地，所述按照每个所述任务的当前权重，为所述请求节点分配目标任务，包括：
将所述当前权重最大的任务作为所述目标任务，将所述目标任务分配给所述请求节点。
进一步地，
所述任务请求中包括：所述请求节点的前一次被分配的任务的信息；
进一步包括：
根据所述任务请求中的所述前一次被分配的任务的信息，确定所述前一次被分配的任务；
在所述针对每个节点，周期性判断距离当前节点的最近一次的心跳信号的时间长度是否超过第二预设时长之后，进一步包括：
当距离所述当前节点的最近一次的心跳信号的时间长度没有超过所述第二预设时长时，确定所述当前节点为活动的节点；
所述按照每个所述任务的当前权重，为所述请求节点分配目标任务，包括：
根据公式二，确定权重阈值，其中，所述公式二为：
Figure BDA0001369585400000041
其中，T为所述权重阈值，n为所述活动的节点的数量；
确定各个所述任务的当前权重中的最大值与所述前一次被分配的任务的当前权重的差值；
判断所述差值是否大于等于所述权重阈值，如果是，则将所述当前权重最大的任务作为所述目标任务，将所述目标任务分配给所述请求节点，否则，保持所述请求节点执行所述前一次被分配的任务。
第二方面，本发明实施例提供了一种任务调度的装置，包括：
请求接收单元、参数确定单元、权重确定单元和分配单元；
所述请求接收单元，用于接收到请求节点发来的任务请求，触发所述参数确定单元；
所述参数确定单元，用于确定每个任务的当前任务规模，确定执行每个所述任务的节点的当前第一数量；
所述权重确定单元，用于根据所述参数确定单元确定出的每个所述任务的当前任务规模和每个所述任务对应的所述当前第一数量，确定每个所述任务的当前权重；
所述分配单元，用于按照所述权重确定单元确定出的每个所述任务的当前权重，为所述请求节点分配目标任务。
进一步地，
所述参数确定单元，用于确定每个所述任务中当前等待下载的链接的当前第二数量；
所述权重确定单元，用于根据所述参数确定单元确定出的所述当前第一数量和所述当前第二数量，利用公式一确定每个所述任务的当前权重，其中，所述公式一为：
Figure BDA0001369585400000051
其中，Wi为第i个任务的当前权重，Ni为第i个任务的当前第一数量，Li为第i个任务的当前第二数量，a大于1。
进一步地，
该装置进一步包括：已发送队列和任务队列；
进一步包括：
任务队列单元，用于将所述目标任务中当前等待下载的至少一个链接保存到所述任务队列中；
进一步包括：
转移单元，用于当所述请求节点从所述任务队列中获取至少一个待处理链接时，将所述至少一个待处理链接转移到所述已发送队列中；
进一步包括：
删除单元，用于当接收到所述请求节点发来的处理完成信号时，将所述处理完成信号对应的所述待处理链接从所述已发送队列中删除；
进一步包括：
已发送队列单元，用于实时判断所述已发送队列中是否存在存储时间超过第一预设时长的超时待处理链接，如果存在，则将所述超时待处理链接转移到所述任务队列中。
进一步地，
所述分配单元，用于按照每个所述任务的当前权重，确定所述目标任务，将所述目标任务的标识发送给所述请求节点，以使所述请求节点根据所述目标任务的标识获取所述目标任务。
进一步地，
所述分配单元，用于将所述当前权重最大的任务作为所述目标任务，将所述目标任务分配给所述请求节点。
进一步地，
该装置进一步包括：
心跳接收单元，用于接收各个节点周期性发来的心跳信号；
进一步包括：
超时判断单元，用于针对每个节点，周期性判断距离当前节点的最近一次的心跳信号的时间长度是否超过第二预设时长，如果是，则确定所述当前节点没有执行任何任务，否则，确定所述当前节点为活动的节点；
所述任务请求中包括：所述请求节点的前一次被分配的任务的信息；
进一步包括：
任务确定单元，用于根据所述任务请求中的所述前一次被分配的任务的信息，确定所述前一次被分配的任务；
所述分配单元，用于：
根据公式二，确定权重阈值，其中，所述公式二为：
Figure BDA0001369585400000061
其中，T为所述权重阈值，n为所述活动的节点的数量；
确定各个所述任务的当前权重中的最大值与所述前一次被分配的任务的当前权重的差值；
判断所述差值是否大于等于所述权重阈值，如果是，则将所述当前权重最大的任务作为所述目标任务，将所述目标任务分配给所述请求节点，否则，保持所述请求节点执行所述前一次被分配的任务。
第三方面，本发明实施例提供了一种分布式任务执行系统，包括：
第二方面中任一所述的任务调度的装置和至少一个节点；
所述至少一个节点，用于向所述任务调度的装置发送任务请求，在所述任务调度的装置分配目标任务时，执行所述目标任务。
在本发明实施例中，在为请求节点分配目标任务时，根据各个任务的当前任务规模和执行各个任务的节点的当前第一数量，确定出各个任务的当前权重，按照各个任务的当前权重为请求节点分配目标任务，通过当前权重来确定各个任务之间的优先级，避免了各个任务平等处理的情况，能够提高工作效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的一种任务调度的方法的流程图；
图2是本发明一实施例提供的另一种任务调度的方法的流程图；
图3是本发明一实施例提供的一种任务调度的装置的示意图；
图4是本发明一实施例提供的另一种任务调度的装置的示意图；
图5是本发明一实施例提供的一种分布式任务执行系统的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供了一种任务调度的方法，当接收到请求节点发来的任务请求时，执行：
步骤101：确定每个任务的当前任务规模；
步骤102：确定执行每个所述任务的节点的当前第一数量；
步骤103：根据每个所述任务的当前任务规模和每个所述任务对应的所述当前第一数量，确定每个所述任务的当前权重；
步骤104：按照每个所述任务的当前权重，为所述请求节点分配目标任务。
在本发明实施例中，在为请求节点分配目标任务时，根据各个任务的当前任务规模和执行各个任务的节点的当前第一数量，确定出各个任务的当前权重，按照各个任务的当前权重为请求节点分配目标任务，通过当前权重来确定各个任务之间的优先级，避免了各个任务平等处理的情况，能够提高工作效率。
在本发明一实施例中，所述按照每个所述任务的当前权重，为所述请求节点分配目标任务，包括：
将所述当前权重最大的任务作为所述目标任务，将所述目标任务分配给所述请求节点。
在本发明实施例中，以各个任务的当前权重来给各个任务进行排序，当前权重越大的，越优先被处理。而当前权重是根据任务的当前任务规模和执行任务的节点的当前第一数量来确定，使得确定出的权重更加合理，任务调度过程更加合理，能够提高任务的处理效率。
在本发明一实施例中，所述确定每个任务的当前任务规模，包括：
确定每个所述任务中当前等待下载的链接的当前第二数量；
所述根据每个所述任务的当前任务规模和每个所述任务对应的所述当前第一数量，确定每个所述任务的当前权重，包括：
根据所述当前第一数量和所述当前第二数量，利用公式一确定每个所述任务的当前权重，其中，所述公式一为：
Figure BDA0001369585400000081
其中，Wi为第i个任务的当前权重，Ni为第i个任务的当前第一数量，Li为第i个任务的当前第二数量，a大于1。
在本发明实施例中，将任务中当前等待下载的链接的当前第二数量作为任务的当前任务规模。有些任务可能已经被分配给了某些节点，随着这些节点对任务的处理，任务的等待下载的链接会减少，任务的当前第二数量是动态变化的；随着任务分配过程的进行，执行每个任务的当前第一数量也是在动态变化的。由公式一可知，执行任务的节点的当前第一数量越多，任务的权重越小，也就是说，已经有很多节点在执行该任务了，在进行任务调度时，可以优先处理对应的执行任务的节点较少的任务。由公式一可知，任务中当前等待下载的链接的当前第二数量越多，任务的权重越大，也就是说，完成任务所需要的工作量越大，权重越大，对于这些需要较大工作量的任务，优先处理。
在本发明一实施例中，a的取值范围为[2，10]，例如：a可以为2、3、4、5、6、7、8、9、10等。
另外，在本发明实施例中，当Ni为0时，Wi为无穷大。也就是说，如果一个任务还没有被分配过，则该任务的权重是无穷大的，优先进行分配。
在本发明一实施例中，对于Ni为0情况，可以使得Wi为预设权重。具体地，该预设权重可以是用于存储任务中的链接的任务队列的最大容量。例如：任务A中在没有被分配给任何节点时，任务A中有10个链接，这时，存储任务A的任务队列的容量需要大于等于10，那么，预设权重也大于等于10。
在本发明一实施例中，该方法进一步包括：预先设置已发送队列和任务队列；
在所述按照每个所述任务的当前权重，为所述请求节点分配目标任务之后，进一步包括：
将所述目标任务中当前等待下载的至少一个链接保存到所述任务队列中；
进一步包括：
当所述请求节点从所述任务队列中获取至少一个待处理链接时，将所述至少一个待处理链接转移到所述已发送队列中；
进一步包括：
当接收到所述请求节点发来的处理完成信号时，将所述处理完成信号对应的所述待处理链接从所述已发送队列中删除；
进一步包括：
实时判断所述已发送队列中是否存在存储时间超过第一预设时长的超时待处理链接，如果存在，则将所述超时待处理链接转移到所述任务队列中。
在本发明实施例中，通过任务队列来保存已经被分配的目标任务，请求节点从任务队列获取需要下载的待处理链接，这时，被取出的待处理链接会从任务队列中删除，并存储到已发送队列中。请求节点处理完某个待处理链接时，将该待处理链接从已发送队列中删除，如果检测到已发送队列中存在超时待处理链接时，则将超时待处理链接存储到任务队列中，使得超时待处理链接成为待处理链接，能够重新被节点获取。超时待处理链接的存在可能是由于处理该链接的节点发生故障，无法完成该链接的处理，通过将超时待处理链接存储到任务队列中，保证了任务能够被及时完成。
在本发明一实施例中，所述按照每个所述任务的当前权重，为所述请求节点分配目标任务，包括：
按照每个所述任务的当前权重，确定所述目标任务；
将所述目标任务的标识发送给所述请求节点，以使所述请求节点根据所述目标任务的标识获取所述目标任务。
在本发明实施例中，在给请求节点分配目标任务时，只是向请求节点发送了目标任务的标识，减少与请求节点之间的数据交互，从而节省了通信开销，提高了交互效率，提升了采集速度。
在本发明一实施例中，该方法进一步包括：
接收各个节点周期性发来的心跳信号；
进一步包括：
针对每个节点，周期性判断距离当前节点的最近一次的心跳信号的时间长度是否超过第二预设时长，如果是，则确定所述当前节点没有执行任何任务。
在本发明实施例中，各个节点周期性的发出心跳信号，通过心跳信号来判断各个节点的运行情况，如果某个节点的心跳信号超时了，则可以认为该节点发生了运行故障，无法继续执行任务。以节点A为例，其中，节点A被分配了任务A，如果判断出当前时刻距离节点A的最近一次的心跳信号的时间长度超过了第二预设时长，则确定节点A没有执行任何任务，则在计算任务A对应的当前第一数量，需要将节点A从执行任务A的节点中删除。通过本发明实施例确定出的权重能够更加准确的反映出各个任务的实际情况，进而能够更加合理的分配各个任务，能够提高各个任务的处理效率。
在本发明一实施例中，可以预先设置节点时间戳表，该表中保存各个节点发来的心跳信号的时间戳，例如：节点A在xx年xx月xx日xx时xx分xx秒发来心跳信号。这样，在计算各个节点的心跳信号是否超时时，可以从该节点时间戳表中获取最近一次的心跳信号的时间戳。
另外，心跳信号中可以携带节点前一次被分配的任务的标识，对于没有被分配过任务的节点，前一次被分配的任务的标识为空。在每个任务对应的当前第一数量被清空的情况下，通过心跳信号中的前一次被分配的任务的标识可以更新每个任务对应的当前第一数量。
在本发明一实施例中，所述任务请求中包括：所述请求节点的前一次被分配的任务的信息；
进一步包括：
根据所述任务请求中的所述前一次被分配的任务的信息，确定所述前一次被分配的任务；
在所述针对每个节点，周期性判断距离当前节点的最近一次的心跳信号的时间长度是否超过第二预设时长之后，进一步包括：
当距离所述当前节点的最近一次的心跳信号的时间长度没有超过所述第二预设时长时，确定所述当前节点为活动的节点；
所述按照每个所述任务的当前权重，为所述请求节点分配目标任务，包括：
根据公式二，确定权重阈值，其中，所述公式二为：
Figure BDA0001369585400000121
其中，T为所述权重阈值，n为所述活动的节点的数量；
确定各个所述任务的当前权重中的最大值与所述前一次被分配的任务的当前权重的差值；
判断所述差值是否大于等于所述权重阈值，如果是，则将所述当前权重最大的任务作为所述目标任务，将所述目标任务分配给所述请求节点，否则，保持所述请求节点执行所述前一次被分配的任务。
在本发明实施例中，前一次被分配的任务的信息可以是前一次被分配的任务的标识。通过该标识可以确定出请求节点的前一次被分配的任务。当上述的差值大于等于权重阈值时，说明请求节点的前一次被分配的任务的权重已经较小了，可能会很快被完成，这种情况下，可以为请求节点分配新的目标任务，以提高处理效率，避免浪费资源。当上述的差值小于等于权重阈值时，说明请求节点的前一次被分配的任务的权重仍然较大，如果为请求节点分配新的目标任务，可能导致请求节点的前一次被分配的任务长时间不能完成，这种情况下，就无需给请求节点分配新的目标任务，以提高处理效率。
通过本发明实施例能够控制任务调度最终保持在一个动态稳定状态。
需要说明书的是：公式一中的底数a与公式二中的底数a是相同的，这样能够使得公式一计算出的当前权重与公式二计算出的权重阈值具有可比性，进而使得任务调度过程更加合理。
在本发明一实施例中，任务请求可以携带在心跳信号中。
在本发明实施例中，当前权重的计算与目标任务的分配均为实时处理，不需要保存状态，不依赖历史记录即可实现。即使之前的关于当前第一数量和当前第二数量的信息被清除，通过本发明实施例，在进行少量的任务请求的处理之后，即可计算出较准确的当前权重，进而能够更加合理的分配目标任务，该任务调度的方案的可靠性较高。
如图2所示，本发明实施例提供了一种任务调度的方法，该方法可以包括以下步骤：
步骤201：预先设置任务队列。
具体地，可以为每个任务设置一个任务队列。
当接收到请求节点发来的任务请求时，
步骤202：确定每个任务中当前等待下载的链接的当前第二数量。
举例来说，有三个任务，任务1、任务2和任务3。任务1的当前第二数量为5，任务2的当前第二数量为2，任务3的当前第二数量为10。
例如：针对任务1来说，任务1中当前还有5个链接需要下载。针对任务2来说，任务2中当前还有2个链接需要下载。针对任务3来说，任务3中当前还有10个链接需要下载。
步骤203：确定执行每个任务的节点的当前第一数量。
举例来说，执行任务1的节点的当前第一数量为1，执行任务2的节点的当前第一数量为2，执行任务3的节点的当前第一数量为4。
步骤204：根据当前第一数量和当前第二数量，利用公式一确定每个任务的当前权重，其中，公式一为：
Figure BDA0001369585400000131
其中，Wi为第i个任务的当前权重，Ni为第i个任务的当前第一数量，Li为第i个任务的当前第二数量，a大于1。
举例来说，a为10。根据公式一计算出：任务1的当前权重为：lg6，任务2的当前权重为：lg2，任务3的当前权重为：lg3.5。
步骤205：将当前权重最大的任务作为目标任务。
举例来说，任务1的当前权重最大，则将任务1作为目标任务。
步骤206：将目标任务的标识发送给请求节点。
举例来说，将任务1分配给请求节点，具体地，将任务1的标识发送给请求节点。
步骤207：将目标任务中当前等待下载的至少一个链接保存到任务队列中，以使请求节点根据目标任务的标识从任务队列中获取至少一个待处理链接。
举例来说，将任务1的5个链接保存到任务队列中。请求节点根据任务1的标识，从任务队列中获取链接。
在本发明实施例中，每接收到一个任务请求，就进行每个任务的当前权重，进而为发来任务请求的节点分配目标任务。
在本发明实施例中，请求节点发送任务请求时，将请求节点的标识携带在任务请求中，以便于在分配目标任务时，根据请求节点的标识找到请求节点，并给请求节点发送响应，也就是，给请求节点发送目标任务的标识。
另外，在本发明实施例中，可以设置任务分配节点数表，该任务分配节点数表用于存储任务与当前第一数量的对应关系，该对应关系随着任务的执行而更新。可以设置任务与节点的对应表，该任务与节点的对应表用于存储任务与执行任务的节点的对应关系。
在本发明实施例中，可以限制在同一时间内一个节点只能负责一个任务。
在本发明实施例中，在第一次进行任务调度时，可以将每个任务对应的当前第一数量初始化为0。
本发明实施例适用于分布式爬虫的架构，通过本发明实施例对分布式爬虫的架构中的任务进行调度。分布式爬虫的架构可以包括主节点和从节点，本发明实施例提供的方法在主节点上实现，从节点用于执行被分配的任务，主节点为发来任务请求的从节点分配目标任务。从节点获取目标任务的链接后，进行网页下载，网页下载完成后放入解析队列等待后续操作。
在本发明实施例中，请求节点可以周期性地发出任务请求，也可以在目标任务对应的当前第二数量为0时，发出任务请求。
在本发明实施例中，可以通过以下代码实现本发明实施例提供的一种任务调度的方法：
输入:(told,n):心跳信号中包含的任务told和节点n
Tnodes:任务分配节点数表
Tmapping:任务与节点的对应表
输出:t:分配给节点n的目标任务
Figure BDA0001369585400000151
Figure BDA0001369585400000161
注释：
1.getTaskSize(t)：获取任务t此时的任务队列长度
2.getMostWeightTask()：获取此时权重最大的任务，依赖getTaskSize()和Tnodes计算
3.getWeight(t)：获取任务t的权重
4.Wthreshold：权重阈值，用来控制任务调度最终保持在一个动态稳定状态。
如图3、图4所示，本发明实施例提供了一种任务调度的装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。从硬件层面而言，如图3所示，为本发明实施例提供的一种任务调度的装置所在设备的一种硬件结构图，除了图3所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的设备通常还可以包括其他硬件，如负责处理报文的转发芯片等等。以软件实现为例，如图4所示，作为一个逻辑意义上的装置，是通过其所在设备的CPU将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。本实施例提供的一种任务调度的装置，包括：
请求接收单元401、参数确定单元402、权重确定单元403和分配单元404；
所述请求接收单元401，用于接收到请求节点发来的任务请求，触发所述参数确定单元402；
所述参数确定单元402，用于确定每个任务的当前任务规模，确定执行每个所述任务的节点的当前第一数量；
所述权重确定单元403，用于根据所述参数确定单元402确定出的每个所述任务的当前任务规模和每个所述任务对应的所述当前第一数量，确定每个所述任务的当前权重；
所述分配单元404，用于按照所述权重确定单元确定出的每个所述任务的当前权重，为所述请求节点分配目标任务。
在本发明一实施例中，所述参数确定单元，用于确定每个所述任务中当前等待下载的链接的当前第二数量；
所述权重确定单元，用于根据所述参数确定单元确定出的所述当前第一数量和所述当前第二数量，利用公式一确定每个所述任务的当前权重，其中，所述公式一为：
Figure BDA0001369585400000171
其中，Wi为第i个任务的当前权重，Ni为第i个任务的当前第一数量，Li为第i个任务的当前第二数量，a大于1。
在本发明一实施例中，该装置进一步包括：已发送队列和任务队列；
进一步包括：
任务队列单元，用于将所述目标任务中当前等待下载的至少一个链接保存到所述任务队列中；
进一步包括：
转移单元，用于当所述请求节点从所述任务队列中获取至少一个待处理链接时，将所述至少一个待处理链接转移到所述已发送队列中；
进一步包括：
删除单元，用于当接收到所述请求节点发来的处理完成信号时，将所述处理完成信号对应的所述待处理链接从所述已发送队列中删除；
进一步包括：
已发送队列单元，用于实时判断所述已发送队列中是否存在存储时间超过第一预设时长的超时待处理链接，如果存在，则将所述超时待处理链接转移到所述任务队列中。
在本发明一实施例中，该装置进一步包括：
心跳接收单元，用于接收各个节点周期性发来的心跳信号；
进一步包括：
超时判断单元，用于针对每个节点，周期性判断距离当前节点的最近一次的心跳信号的时间长度是否超过第二预设时长，如果是，则确定所述当前节点没有执行任何任务。
在本发明一实施例中，所述分配单元，用于按照每个所述任务的当前权重，确定所述目标任务，将所述目标任务的标识发送给所述请求节点，以使所述请求节点根据所述目标任务的标识获取所述目标任务。
在本发明一实施例中，所述分配单元，用于将所述当前权重最大的任务作为所述目标任务，将所述目标任务分配给所述请求节点。
在本发明一实施例中，该装置进一步包括：
心跳接收单元，用于接收各个节点周期性发来的心跳信号；
进一步包括：
超时判断单元，用于针对每个节点，周期性判断距离当前节点的最近一次的心跳信号的时间长度是否超过第二预设时长，如果是，则确定所述当前节点没有执行任何任务，否则，确定所述当前节点为活动的节点；
所述任务请求中包括：所述请求节点的前一次被分配的任务的信息；
进一步包括：
任务确定单元，用于根据所述任务请求中的所述前一次被分配的任务的信息，确定所述前一次被分配的任务；
所述分配单元，用于：
根据公式二，确定权重阈值，其中，所述公式二为：
Figure BDA0001369585400000181
其中，T为所述权重阈值，n为所述活动的节点的数量；
确定各个所述任务的当前权重中的最大值与所述前一次被分配的任务的当前权重的差值；
判断所述差值是否大于等于所述权重阈值，如果是，则将所述当前权重最大的任务作为所述目标任务，将所述目标任务分配给所述请求节点，否则，保持所述请求节点执行所述前一次被分配的任务。
如图5所示，本发明实施例提供了一种分布式任务执行系统，包括：
本发明实施例中任一所述的任务调度的装置501和至少一个节点502；
所述至少一个节点502，用于向所述任务调度的装置发送任务请求，在所述任务调度的装置分配目标任务时，执行所述目标任务。
图5中示出了3个节点502。
在本发明实施例中，可以为任务调度的装置设置一个备份装置，具体地，一个为任务调度的装置设置在主节点上，并设置一个主节点副本，主节点与主节点副本之间简单使用共用的虚拟IP，默认情况下虚拟IP映射到主节点，当主节点发生宕机时，虚拟IP立即切换到主节点副本上，通过主节点副本进行任务调度，保持了任务调度的高可用。
在本发明实施例中，用于任务调度的装置与用于执行任务的节点分离，灵活性更高。
在本发明实施例中，为不同的任务定义权重，并根据任务规模和执行各个任务的节点的数量实时计算权重，从而实现任务的动态调度，避免了不同规模的任务之间相互影响的问题，极大地提高了资源利用效率和采集速度。
在本发明实施例中，节点支持横向扩展，从而提高各个节点构成的采集集群的可靠性，增加了采集集群的可靠性和稳定性。
上述装置内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
本发明实施例提供了一种可读介质，包括执行指令，当存储控制器的处理器执行所述执行指令时，所述存储控制器执行本发明实施例提供的任意一种任务调度的方法。
本发明实施例提供了一种存储控制器，包括：处理器、存储器和总线；
所述存储器用于存储执行指令，所述处理器与所述存储器通过所述总线连接，当所述存储控制器运行时，所述处理器执行所述存储器存储的执行指令，以使所述存储控制器执行本发明实施例提供的任意一种任务调度的方法。
本发明各个实施例至少具有如下有益效果：
1、在本发明实施例中，在为请求节点分配目标任务时，根据各个任务的当前任务规模和执行各个任务的节点的当前第一数量，确定出各个任务的当前权重，按照各个任务的当前权重为请求节点分配目标任务，通过当前权重来确定各个任务之间的优先级，避免了各个任务平等处理的情况，能够提高工作效率。
2、在本发明实施例中，以各个任务的当前权重来给各个任务进行排序，当前权重越大的，越优先被处理。而当前权重是根据任务的当前任务规模和执行任务的节点的当前第一数量来确定，使得确定出的权重更加合理，任务调度过程更加合理，能够提高任务的处理效率。
3、在本发明实施例中，在给请求节点分配目标任务时，只是向请求节点发送了目标任务的标识，减少与请求节点之间的数据交互，从而节省了通信开销，提高了交互效率，提升了采集速度。
4、在本发明实施例中，通过任务队列来保存已经被分配的目标任务，请求节点从任务队列获取需要下载的待处理链接，这时，被取出的待处理链接会从任务队列中删除，并存储到已发送队列中。请求节点处理完某个待处理链接时，将该待处理链接从已发送队列中删除，如果检测到已发送队列中存在超时待处理链接时，则将超时待处理链接存储到任务队列中，使得超时待处理链接成为待处理链接，能够重新被节点获取。超时待处理链接的存在可能是由于处理该链接的节点发生故障，无法完成该链接的处理，通过将超时待处理链接存储到任务队列中，保证了任务能够被及时完成。
5、在本发明实施例中，当前权重的计算与目标任务的分配均为实时处理，不需要保存状态，不依赖历史记录即可实现。即使之前的关于当前第一数量和当前第二数量的信息被清除，通过本发明实施例，在进行少量的任务请求的处理之后，即可计算出较准确的当前权重，进而能够更加合理的分配目标任务，该任务调度的方案的可靠性较高。
6、在本发明实施例中，为不同的任务定义权重，并根据任务规模和执行各个任务的节点的数量实时计算权重，从而实现任务的动态调度，避免了不同规模的任务之间相互影响的问题，极大地提高了资源利用效率和采集速度。
7、在本发明实施例中，用于任务调度的装置与用于执行任务的节点分离，灵活性更高。
需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个〃····〃”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。
最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (6)

1.一种任务调度的方法，其特征在于，包括：
当接收到请求节点发来的任务请求时，执行：
确定每个任务的当前任务规模；
确定执行每个所述任务的节点的当前第一数量；
根据每个所述任务的当前任务规模和每个所述任务对应的所述当前第一数量，确定每个所述任务的当前权重；
按照每个所述任务的当前权重，为所述请求节点分配目标任务；
所述确定每个任务的当前任务规模，包括：
确定每个所述任务中当前等待下载的链接的当前第二数量；
所述根据每个所述任务的当前任务规模和每个所述任务对应的所述当前第一数量，确定每个所述任务的当前权重，包括：
根据所述当前第一数量和所述当前第二数量，利用公式一确定每个所述任务的当前权重，其中，所述公式一为：
Figure FDA0002422800390000011
其中，Wi为第i个任务的当前权重，Ni为第i个任务的当前第一数量，Li为第i个任务的当前第二数量，a大于1；
进一步包括：预先设置已发送队列和任务队列；
在所述按照每个所述任务的当前权重，为所述请求节点分配目标任务之后，进一步包括：
将所述目标任务中当前等待下载的至少一个链接保存到所述任务队列中；
进一步包括：
当所述请求节点从所述任务队列中获取至少一个待处理链接时，将所述至少一个待处理链接转移到所述已发送队列中；
进一步包括：
当接收到所述请求节点发来的处理完成信号时，将所述处理完成信号对应的所述待处理链接从所述已发送队列中删除；
进一步包括：
实时判断所述已发送队列中是否存在存储时间超过第一预设时长的超时待处理链接，如果存在，则将所述超时待处理链接转移到所述任务队列中；
和/或，
所述按照每个所述任务的当前权重，为所述请求节点分配目标任务，包括：
按照每个所述任务的当前权重，确定所述目标任务；
将所述目标任务的标识发送给所述请求节点，以使所述请求节点根据所述目标任务的标识获取所述目标任务；
和/或，
所述按照每个所述任务的当前权重，为所述请求节点分配目标任务，包括：
将所述当前权重最大的任务作为所述目标任务，将所述目标任务分配给所述请求节点。
2.根据权利要求1所述的方法，其特征在于，
进一步包括：
接收各个节点周期性发来的心跳信号；
进一步包括：
针对每个节点，周期性判断距离当前节点的最近一次的心跳信号的时间长度是否超过第二预设时长，如果是，则确定所述当前节点没有执行任何任务。
3.根据权利要求2所述的方法，其特征在于，
所述任务请求中包括：所述请求节点的前一次被分配的任务的信息；
进一步包括：
根据所述任务请求中的所述前一次被分配的任务的信息，确定所述前一次被分配的任务；
在所述针对每个节点，周期性判断距离当前节点的最近一次的心跳信号的时间长度是否超过第二预设时长之后，进一步包括：
当距离所述当前节点的最近一次的心跳信号的时间长度没有超过所述第二预设时长时，确定所述当前节点为活动的节点；
所述按照每个所述任务的当前权重，为所述请求节点分配目标任务，包括：
根据公式二，确定权重阈值，其中，所述公式二为：
Figure FDA0002422800390000031
其中，T为所述权重阈值，n为所述活动的节点的数量；
确定各个所述任务的当前权重中的最大值与所述前一次被分配的任务的当前权重的差值；
判断所述差值是否大于等于所述权重阈值，如果是，则将所述当前权重最大的任务作为所述目标任务，将所述目标任务分配给所述请求节点，否则，保持所述请求节点执行所述前一次被分配的任务。
4.一种任务调度的装置，其特征在于，包括：
请求接收单元、参数确定单元、权重确定单元和分配单元；
所述请求接收单元，用于接收到请求节点发来的任务请求，触发所述参数确定单元；
所述参数确定单元，用于确定每个任务的当前任务规模，确定执行每个所述任务的节点的当前第一数量；
所述权重确定单元，用于根据所述参数确定单元确定出的每个所述任务的当前任务规模和每个所述任务对应的所述当前第一数量，确定每个所述任务的当前权重；
所述分配单元，用于按照所述权重确定单元确定出的每个所述任务的当前权重，为所述请求节点分配目标任务；
所述参数确定单元，用于确定每个所述任务中当前等待下载的链接的当前第二数量；
所述权重确定单元，用于根据所述参数确定单元确定出的所述当前第一数量和所述当前第二数量，利用公式一确定每个所述任务的当前权重，其中，所述公式一为：
Figure FDA0002422800390000041
其中，Wi为第i个任务的当前权重，Ni为第i个任务的当前第一数量，Li为第i个任务的当前第二数量，a大于1；
进一步包括：已发送队列和任务队列；
进一步包括：
任务队列单元，用于将所述目标任务中当前等待下载的至少一个链接保存到所述任务队列中；
进一步包括：
转移单元，用于当所述请求节点从所述任务队列中获取至少一个待处理链接时，将所述至少一个待处理链接转移到所述已发送队列中；
进一步包括：
删除单元，用于当接收到所述请求节点发来的处理完成信号时，将所述处理完成信号对应的所述待处理链接从所述已发送队列中删除；
进一步包括：
已发送队列单元，用于实时判断所述已发送队列中是否存在存储时间超过第一预设时长的超时待处理链接，如果存在，则将所述超时待处理链接转移到所述任务队列中；
和/或，
所述分配单元，用于按照每个所述任务的当前权重，确定所述目标任务，将所述目标任务的标识发送给所述请求节点，以使所述请求节点根据所述目标任务的标识获取所述目标任务；
和/或，
所述分配单元，用于将所述当前权重最大的任务作为所述目标任务，将所述目标任务分配给所述请求节点。
5.根据权利要求4中任一所述的装置，其特征在于，
进一步包括：
心跳接收单元，用于接收各个节点周期性发来的心跳信号；
进一步包括：
超时判断单元，用于针对每个节点，周期性判断距离当前节点的最近一次的心跳信号的时间长度是否超过第二预设时长，如果是，则确定所述当前节点没有执行任何任务，否则，确定所述当前节点为活动的节点；
所述任务请求中包括：所述请求节点的前一次被分配的任务的信息；
进一步包括：
任务确定单元，用于根据所述任务请求中的所述前一次被分配的任务的信息，确定所述前一次被分配的任务；
所述分配单元，用于：
根据公式二，确定权重阈值，其中，所述公式二为：
Figure FDA0002422800390000051
其中，T为所述权重阈值，n为所述活动的节点的数量；
确定各个所述任务的当前权重中的最大值与所述前一次被分配的任务的当前权重的差值；
判断所述差值是否大于等于所述权重阈值，如果是，则将所述当前权重最大的任务作为所述目标任务，将所述目标任务分配给所述请求节点，否则，保持所述请求节点执行所述前一次被分配的任务。
6.一种分布式任务执行系统，其特征在于，包括：
权利要求4-5中任一所述的任务调度的装置和至少一个节点；
所述至少一个节点，用于向所述任务调度的装置发送任务请求，在所述任务调度的装置分配目标任务时，执行所述目标任务。
CN201710657131.0A 2017-08-03 2017-08-03 任务调度的方法及装置、分布式任务执行系统 Active CN107291544B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710657131.0A CN107291544B (zh) 2017-08-03 2017-08-03 任务调度的方法及装置、分布式任务执行系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710657131.0A CN107291544B (zh) 2017-08-03 2017-08-03 任务调度的方法及装置、分布式任务执行系统

Publications (2)

Publication Number Publication Date
CN107291544A CN107291544A (zh) 2017-10-24
CN107291544B true CN107291544B (zh) 2020-07-28

Family

ID=60104309

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710657131.0A Active CN107291544B (zh) 2017-08-03 2017-08-03 任务调度的方法及装置、分布式任务执行系统

Country Status (1)

Country Link
CN (1) CN107291544B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019084747A1 (zh) * 2017-10-31 2019-05-09 麦格创科技（深圳）有限公司 网页采集任务分配方法及系统
CN109710433B (zh) * 2018-12-30 2021-04-27 浙江蓝卓工业互联网信息技术有限公司 基于元数据驱动的数据处理方法、装置及系统
CN110287245B (zh) * 2019-05-15 2021-03-19 北方工业大学 用于分布式etl任务调度执行的方法及系统
CN112579281B (zh) * 2019-09-27 2023-10-10 杭州海康威视数字技术股份有限公司 资源分配方法、装置、电子设备及存储介质
CN111522641B (zh) * 2020-04-21 2023-11-14 北京嘀嘀无限科技发展有限公司 任务调度方法、装置、计算机设备和存储介质
CN112508449B (zh) * 2020-12-21 2023-06-30 北京元心科技有限公司 任务执行方法、装置、电子设备及计算机可读存储介质
CN112488676A (zh) * 2021-02-05 2021-03-12 连连（杭州）信息技术有限公司 一种项目的进度和质量的自动控制方法、装置及存储介质
CN113112139A (zh) * 2021-04-07 2021-07-13 上海联蔚盘云科技有限公司 云平台账单的处理方法和设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101582043A (zh) * 2008-05-16 2009-11-18 华东师范大学 一种异构计算系统动态任务分配方法
CN103475538A (zh) * 2013-09-02 2013-12-25 南京邮电大学 一种基于多接口的自适应的云服务测试方法
US8639818B1 (en) * 2012-12-25 2014-01-28 Kaspersky Lab Zao System and method for reliable and timely task completion in a distributed computing environment
CN103617086A (zh) * 2013-11-20 2014-03-05 东软集团股份有限公司 一种并行计算方法及系统
CN103793272A (zh) * 2013-12-27 2014-05-14 北京天融信软件有限公司 一种周期性任务调度方法及系统
CN104731647A (zh) * 2015-03-31 2015-06-24 北京奇艺世纪科技有限公司 任务处理方法及系统
CN104765640A (zh) * 2014-01-02 2015-07-08 中国科学院声学研究所 一种智能服务调度方法
CN105718317A (zh) * 2016-01-15 2016-06-29 浪潮(北京)电子信息产业有限公司 一种任务调度方法及装置
CN106020977A (zh) * 2016-05-16 2016-10-12 深圳市中业智能系统控制有限公司 用于监控系统的分布式任务调度方法及装置
CN106126346A (zh) * 2016-07-05 2016-11-16 东北大学 一种大规模分布式数据采集系统及方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101582043A (zh) * 2008-05-16 2009-11-18 华东师范大学 一种异构计算系统动态任务分配方法
US8639818B1 (en) * 2012-12-25 2014-01-28 Kaspersky Lab Zao System and method for reliable and timely task completion in a distributed computing environment
CN103475538A (zh) * 2013-09-02 2013-12-25 南京邮电大学 一种基于多接口的自适应的云服务测试方法
CN103617086A (zh) * 2013-11-20 2014-03-05 东软集团股份有限公司 一种并行计算方法及系统
CN103793272A (zh) * 2013-12-27 2014-05-14 北京天融信软件有限公司 一种周期性任务调度方法及系统
CN104765640A (zh) * 2014-01-02 2015-07-08 中国科学院声学研究所 一种智能服务调度方法
CN104731647A (zh) * 2015-03-31 2015-06-24 北京奇艺世纪科技有限公司 任务处理方法及系统
CN105718317A (zh) * 2016-01-15 2016-06-29 浪潮(北京)电子信息产业有限公司 一种任务调度方法及装置
CN106020977A (zh) * 2016-05-16 2016-10-12 深圳市中业智能系统控制有限公司 用于监控系统的分布式任务调度方法及装置
CN106126346A (zh) * 2016-07-05 2016-11-16 东北大学 一种大规模分布式数据采集系统及方法

Also Published As

Publication number Publication date
CN107291544A (zh) 2017-10-24

Similar Documents

Publication Publication Date Title
CN107291544B (zh) 任务调度的方法及装置、分布式任务执行系统
US8185908B2 (en) Dynamic scheduling in a distributed environment
US8826284B1 (en) Scalable task scheduling
CN107832129B (zh) 一种面向分布式流计算系统的动态任务调度优化方法
JP6233413B2 (ja) タスク割り当て判定装置、制御方法、及びプログラム
CN108427604B (zh) 集群的资源调整方法、装置及云平台
KR20140080434A (ko) 맵리듀스 프레임워크에서 데이터 프로세싱의 최적화를 위한 디바이스 및 방법
CN111225050B (zh) 云计算资源分配方法及装置
CN107430526B (zh) 用于调度数据处理的方法和节点
KR20220062072A (ko) 프로세서에서의 전력 소모 감소를 위한 플래시 및 ram 할당을 위한 시스템 및 방법
US7454749B2 (en) Scalable parallel processing on shared memory computers
US11863452B2 (en) System of load balancing
CN113535346B (zh) 线程数量调整的方法、装置、设备及计算机存储介质
US11561843B2 (en) Automated performance tuning using workload profiling in a distributed computing environment
CN110908939B (zh) 一种报文处理方法、装置及网络芯片
CN109189581B (zh) 一种作业调度方法和装置
CN111555987A (zh) 限流配置方法、装置、设备及计算机存储介质
CN110928649A (zh) 资源调度的方法和装置
JPH0883257A (ja) 並列コンピュータシステムのプロセス実行最適化方法
CN113886091A (zh) 虚拟机迁移方法、系统、设备及存储介质
CN110780988B (zh) 一种任务触发方法、装置及计算机可读存储介质
CN110874430B (zh) 网络爬虫调度方法、装置及设备
WO2002003192A2 (en) Device and method for allocating jobs in a network
CN113220458B (zh) 一种数据库连接池实现负载均衡的实时调度方法和装置
CN110069338B (zh) 资源控制方法、装置及设备、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200527

Address after: 250100 No. 1036 Tidal Road, Jinan High-tech Zone, Shandong Province, S01 Building, Tidal Science Park

Applicant after: Tidal Cloud Information Technology Co.,Ltd.

Address before: 250100 Ji'nan science and technology zone, Shandong high tide Road, No. 1036 wave of science and Technology Park, building S06

Applicant before: SHANDONG INSPUR CLOUD SERVICE INFORMATION TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
CB02 Change of applicant information

Address after: 250100 No. 1036 Tidal Road, Jinan High-tech Zone, Shandong Province, S01 Building, Tidal Science Park

Applicant after: Inspur cloud Information Technology Co., Ltd

Address before: 250100 No. 1036 Tidal Road, Jinan High-tech Zone, Shandong Province, S01 Building, Tidal Science Park

Applicant before: Tidal Cloud Information Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant