CN111045811A - 一种任务分配方法、装置、电子设备及存储介质 - Google Patents

一种任务分配方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111045811A
CN111045811A CN201911342385.9A CN201911342385A CN111045811A CN 111045811 A CN111045811 A CN 111045811A CN 201911342385 A CN201911342385 A CN 201911342385A CN 111045811 A CN111045811 A CN 111045811A
Authority
CN
China
Prior art keywords
working
task
node
nodes
idle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911342385.9A
Other languages
English (en)
Inventor
张丹阳
高铭阳
史忠伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuba Co Ltd
Original Assignee
Wuba Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuba Co Ltd filed Critical Wuba Co Ltd
Priority to CN201911342385.9A priority Critical patent/CN111045811A/zh
Publication of CN111045811A publication Critical patent/CN111045811A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请提供了一种任务分配方法、装置、电子设备及存储介质，首先分配中心获取待处理任务和空闲工作节点，并向所述空闲工作节点发送工作状态检测指令；在接收所述空闲工作节点反馈的工作状态之后，向可用工作节点分配所述待处理任务。可见，本申请所提供的任务分配方法可以将各个任务合理分配至各个工作节点，以减少任务在工作节点上的堆积，从而提高任务的处理效率。

Description

一种任务分配方法、装置、电子设备及存储介质
技术领域
本申请涉及应用程序管理技术领域，尤其涉及一种任务分配方法、装置、电子设备及存储介质。
背景技术
应用程序在使用的过程中，需要技术人员对其进行维护，以保证应用程序可以正常处理用户的需求，同时技术人员需要根据应用程序的使用情况对应用程序进行修复和完善，例如根据应用程序中某一模块的点击量来提升该模块在用户界面上的展示区域，以供用户可以更容易找到等，这种处理应用程序与用户的一些交互数据的工作可以定义为任务，应用程序需要有相应的工作节点来处理各项任务。
对于一些高并发的应用环境，用户数量庞大的应用程序，所要解决的任务也相应较多，此时，如果仅使用一个工作节点，则会出现处理等待时间较长的问题。为了解决这个问题，可以采用多个工作节点处理任务，但是，如果每个工作节点之间无法协调处理任务，则会出现有的工作节点无法充分利用，而有的工作节点任务繁重的问题，从而仍然无法有效提高任务处理效率。
发明内容
本申请提供了一种任务分配方法、装置、电子设备及存储介质，以提高任务处理效率。
第一方面，本申请提供了一种任务分配方法，所述方法包括：
获取待处理任务和空闲工作节点，所述待处理任务为对应用户行为产生的数据处理请求，所述工作节点用于处理所述待处理任务，所述空闲工作节点为当前时刻具有处理待处理任务的能力的工作节点；
向所述空闲工作节点发送工作状态检测指令；
接收所述空闲工作节点反馈的工作状态；
向可用工作节点分配所述待处理任务，所述可用工作节点为所述工作状态为可正常使用的空闲工作节点。
在本发明实施例第一方面一种可能的实现方式中，所述获取待处理任务和空闲工作节点包括：
从所述分配中心的缓存库中获取全部注册工作节点和当前任务分配信息，所述注册工作节点为记录在所述分配中心的工作节点，所述当前任务分配信息为当前时刻记录在所述缓存库中所述注册节点与任务之间的分配对应关系；
对比所述全部注册工作节点和所述当前任务分配信息以确定空闲工作节点，所述空闲工作节点为当前时刻没有对应任务的注册节点。
在本发明实施例第一方面一种可能的实现方式中，所述接收所述空闲工作节点反馈的工作状态包括：
如果在预设应答时间范围内接收到所述空闲工作节点的反馈信息，且所述反馈信息为正常状态，则所述空闲工作节点为可用工作节点；
如果在所述预设应答时间范围内接收到所述空闲工作节点的反馈信息，且所述反馈信息为异常状态，或者在所述预设应答时间范围内未接收到所述空闲工作节点的反馈信息，则所述空闲工作节点为异常工作节点。
在本发明实施例第一方面一种可能的实现方式中，所述方法还包括：
向占用工作节点发送工作状态检测指令，所述占用工作节点为当前时刻已被分配任务的工作节点；
接收所述占用工作节点反馈的工作状态；
卸载问题工作节点对应的已分配任务，所述问题工作节点为当前时刻不具备处理已分配任务的能力的占用工作节点；
将所述已分配任务分配至所述空闲工作节点。
在本发明实施例第一方面一种可能的实现方式中，所述方法还包括：
从所述当前任务分配信息中剔除所述问题工作节点对应的任务分配信息，得到更新后任务分配信息，以供所述分配中心分配任务使用。
第二方面，本申请提供了一种任务分配装置，所述装置包括：
任务和节点获取模块，用于获取待处理任务和空闲工作节点，所述待处理任务为对应用户行为产生的数据处理请求，所述工作节点用于处理所述待处理任务，所述空闲工作节点为当前时刻具有处理待处理任务的能力的工作节点；
指令发送模块，用于向所述空闲工作节点发送工作状态检测指令；
工作状态反馈接收模块，用于接收所述空闲工作节点反馈的工作状态；
任务分配节点，用于向可用工作节点分配所述待处理任务，所述可用工作节点为所述工作状态为可正常使用的空闲工作节点。
在本发明实施例第二方面一种可能的实现方式中，所述任务和节点获取模块包括：
信息获取模块，用于从所述分配中心的缓存库中获取全部注册工作节点和当前任务分配信息，所述注册工作节点为记录在所述分配中心的工作节点，所述当前任务分配信息为当前时刻记录在所述缓存库中所述注册节点与任务之间的分配对应关系；
对比模块，用于对比所述全部注册工作节点和所述当前任务分配信息以确定空闲工作节点，所述空闲工作节点为当前时刻没有对应任务的注册节点。
在本发明实施例第二方面一种可能的实现方式中，所述工作状态反馈接收模块包括：
第一确定模块，用于如果在预设应答时间范围内接收到所述空闲工作节点的反馈信息，且所述反馈信息为正常状态，则所述空闲工作节点为可用工作节点；
第二确定模块，用于如果在所述预设应答时间范围内接收到所述空闲工作节点的反馈信息，且所述反馈信息为异常状态，或者在所述预设应答时间范围内未接收到所述空闲工作节点的反馈信息，则所述空闲工作节点为异常工作节点。
在本发明实施例第二方面一种可能的实现方式中，所述装置还包括：
检测指令发送模块，用于向占用工作节点发送工作状态检测指令，所述占用工作节点为当前时刻已被分配任务的工作节点；
信息接收模块，用于接收所述占用工作节点反馈的工作状态；
任务卸载模块，用于卸载问题工作节点对应的已分配任务，所述问题工作节点为当前时刻不具备处理已分配任务的能力的占用工作节点；
任务再分配模块，用于将所述已分配任务分配至所述空闲工作节点。
在本发明实施例第二方面一种可能的实现方式中，所述装置还包括：
任务分配信息更新模块，用于从所述当前任务分配信息中剔除所述问题工作节点对应的任务分配信息，得到更新后任务分配信息，以供所述分配中心分配任务使用。
第三方面，本发明实施例提供了一种电子设备，包括：
处理器，以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行所述的任务分配方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的任务分配方法。
由以上技术可知，本申请提供了一种任务分配方法、装置、电子设备及存储介质，首先分配中心获取待处理任务和空闲工作节点，并向所述空闲工作节点发送工作状态检测指令；在接收所述空闲工作节点反馈的工作状态之后，向可用工作节点分配所述待处理任务。可见，本申请所提供的任务分配方法可以将各个任务合理分配至各个工作节点，以使减少任务在工作节点上的堆积，从而提高任务的处理效率。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种任务分配方法的流程图；
图2为本申请实施例提供的一种确定空闲工作节点的方法的流程图；
图3为本申请实施例提供的一种任务再分配的方法的流程图；
图4为本发明实施例提供的任务分配装置实施例一的结构示意图；
图5为本发明实施例提供的任务分配装置实施例二的结构示意图；
图6为本发明实施例提供的任务分配装置实施例三的结构示意图；
图7为本发明实施例提供的任务分配装置实施例四的结构示意图；
图8为本发明实施例提供的任务分配装置实施例五的结构示意图；
图9为本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本申请实施例提供的一种任务分配方法的流程图，如图1所示，所述方法包括：
S1、获取待处理任务和空闲工作节点，所述待处理任务为对应用户行为产生的数据处理请求，所述工作节点用于处理所述待处理任务，所述空闲工作节点为当前时刻具有处理待处理任务的能力的工作节点。
对于本申请实施例所提供的工作场景来说，存在多个工作节点以处理任务，这些工作节点所分配的任务协调工作可以通过分配中心来完成，分配中心相当于一个任务管理中心，其具有任务接收、分配的功能，其上存储有各个工作节点的相关信息，并通过接收待处理任务，以将这些待处理任务分配至合适的工作节点。其中，分配中心可以为具有数据接收、发送功能的平台、处理器、服务器等。
分配中心从技术人员的任务平台获取待处理任务，这些待处理任务可以为热度抓取，即为帖子的关注、点击量排序，确定用户流量分布，确定用户互动热词等任务。通常分配中心获取这些待处理任务之后，都会将这些待处理任务保存至数据库中，当需要分配时，再从数据库中调取这些任务进行分配。通常这些任务都是基于大量的用户数据，因此，需要消耗工作节点的一定工作时间和工作资源。一般，工作节点具有各种处理功能模块，各个工作节点可以根据所要处理的任务的不同，组合这些处理功能模块以获得对应的处理功能。例如，工作节点具有处理功能模块A，用于获取数据，处理功能模块B，用于计算数据流量，处理功能模块C，用于数据去重，处理功能模块D，用于数据补充等。那么当任务为确定用户流量分布，则需要组合处理功能模块A和B。
为了将待处理任务分配至有能力处理的工作节点，需要了解空闲工作节点，即这些工作节点当前时刻具有处理待处理任务的能力，这些工作节点可以为当前没有任务处理的工作节点，也可以为当前有任务处理，但是可以在预设时间范围内完成当前任务处理的工作节点。
通常，工作节点在首次进入分配中心系统时，需要向分配中心注册自己的相关信息，例如所具有的处理功能模块、处理量极限、处理时间等，以供分配中心可以根据各工作节点的实际情况将任务分配至合适的工作节点。
进一步地，工作节点在当前任务发生变化时，会将这种变化发送至分配中心，以便分配中心可以随时掌握工作节点的情况，例如工作节点A被分配任务1，则分配中心会在分配任务1至工作节点A之后，在缓存中保存这种分配记录，可以为数据对的形式，例如工作节点A-任务1。此时，当分配中心需要再次分配任务时，就可以通过所记录的数据对获知每一个工作节点的工作情况。
具体地，如图2所示，为本申请实施例提供的一种确定空闲工作节点的方法的流程图，所述方法包括：
S201、从所述分配中心的缓存库中获取全部注册工作节点和当前任务分配信息，所述注册工作节点为记录在所述分配中心的工作节点，所述当前任务分配信息为当前时刻记录在所述缓存库中所述注册节点与任务之间的分配对应关系；
S202、对比所述全部注册工作节点和所述当前任务分配信息以确定空闲工作节点，所述空闲工作节点为当前时刻没有对应任务的注册节点。
由上文可知，分配中心的缓存库中保存有全部注册工作节点和这些注册工作节点的当前任务分配信息，注册工作节点即为在分配中心记录过相应的参数信息的工作节点。此时，通过这些当前任务分配信息可以准确获知哪些注册工作节点是空闲工作节点。其中，空闲工作节点的符合条件可以根据实际应用进行自由设定，例如如果需要处理的任务繁多，且每个任务所需的处理时间相对较多，则可以适当放松空闲工作节点的符合条件，以保证将待处理任务都可以分配至工作节点，以减少等待分配的待处理任务的数量；如果想要保证待处理任务的处理质量，也可以适当提高空闲工作节点的符合条件，以保证每个工作节点上不存在待处理任务的积压。
S2、向所述空闲工作节点发送工作状态检测指令。
在确定空闲工作节点之后，需要向空闲工作节点发送工作状态检测指令，以确定这些空闲工作节点是否真实可用。因为可能存在一些空闲工作节点当前网络环境较差，不适合处理任务，或者空闲工作节点故障，根本无法处理任务，如果将任务分配至这些异常工作节点，则会严重影响任务的处理效率。
S3、接收所述空闲工作节点反馈的工作状态。
通常，可以将空闲工作节点反馈的工作状态定义为心跳，存在心跳，即说明该空闲工作节点与分配中心连接良好，且可以正常处理任务。如果不存在心跳，即说明该空闲工作节点与分配中心连接中断，或者不能够正常处理任务。
具体地，如果在预设应答时间范围内接收到所述空闲工作节点的反馈信息，且所述反馈信息为正常状态，则所述空闲工作节点为可用工作节点。
为了避免偶然情况，可以为空闲工作节点设定一个应答时间范围，在这个应答时间范围内应答反馈信息，且反馈信息为正常状态，或者其他标识可正常工作的字符、符合、数字等，均可以将该空闲工作节点作为可用工作节点，即分配中心可以对其分配任务。
在另一种实现方式中，如果在所述预设应答时间范围内接收到所述空闲工作节点的反馈信息，且所述反馈信息为异常状态，或者在所述预设应答时间范围内未接收到所述空闲工作节点的反馈信息，则所述空闲工作节点为异常工作节点。
例如，分配中心每隔15s向空闲工作节点发送工作状态检测指令，且规定如果空闲工作节点超过30s没有反馈信息，即该空闲工作节点为异常工作节点。当然，如果在30s内空闲工作节点反馈信息为异常状态，或者代表异常状态的乱码、符号、数字等，均可以认定该空闲工作节点为异常工作节点。
S4、向可用工作节点分配所述待处理任务，所述可用工作节点为所述工作状态为可正常使用的空闲工作节点。
在确定出可用工作节点之后，分配中心就可以向这些可用工作节点分配任务，以使这些可用工作节点处理相应的任务。进一步地，由上文可知，分配中心需要将可用工作节点以及对应分配的任务形成数据对记录在缓存库中，以便分配中心再次分配任务时参考。
可见，本申请所提供的任务分配方法可以将任务分配至可以有效处理任务的工作节点，通过统筹管理这些工作节点，以实现任务均衡分配至工作节点上，通过充分利用每一个工作节点，以提高任务处理效率。
进一步地，如图3所示，为本申请实施例提供的一种任务再分配的方法的流程图，所述方法包括：
S501、向占用工作节点发送工作状态检测指令，所述占用工作节点为当前时刻已被分配任务的工作节点；
S502、接收所述占用工作节点反馈的工作状态；
S503、卸载问题工作节点对应的已分配任务，所述问题工作节点为当前时刻不具备处理已分配任务的能力的占用工作节点；
S504、将所述已分配任务分配至所述空闲工作节点。
由上文可知，工作节点可能由于各种情况造成异常，对于已经被分配任务的占用工作节点，如果出现异常，但是又未被及时找到，容易出现该占用工作节点会一直无法处理该任务，不仅会耽误该任务的处理效率，还会影响分配中心对整体任务的分配规划。
因此，分配中心需要定期向各占用工作节点发送工作状态检测指令，以确定这些占用工作节点的工作状态。具体地，如果占用工作节点反馈的工作状态为正常状态，则说明该占用工作节点可以继续正常处理当前所分配的任务，但是如果占用工作节点反馈的工作状态为异常状态，或者占用工作节点并没有在预设应答时间范围内进行反馈，则说明该占用工作节点为问题工作节点，即无法正常处理当前所分配的任务。此时，为了保证任务的有效处理，需要将这些问题工作节点所对应的已分配任务卸载，并将这些卸载的已分配任务重新作为待处理任务进行分配。
进一步地，可以对这些任务进行优先分配，以保证任务的处理总时长。当然，如果这些任务中的部分任务超出处理需求和处理时限，那么这部分任务将无需继续处理，那么可以从待处理任务中剔除这部分任务，从而也可以提高任务处理的有效性，提高任务的处理效率。
进一步地，对于这些问题工作节点的任务分配信息需要从当前任务分配信息中剔除，以确保分配中心的缓存库中所保存的当前任务分配信息的准确性，从而保证分配中心可以准确向各工作节点分配任务。
图4为本发明实施例提供的任务分配装置实施例一的结构示意图，所述装置包括：任务和节点获取模块1，用于获取待处理任务和空闲工作节点，所述待处理任务为对应用户行为产生的数据处理请求，所述工作节点用于处理所述待处理任务，所述空闲工作节点为当前时刻具有处理待处理任务的能力的工作节点；指令发送模块2，用于向所述空闲工作节点发送工作状态检测指令；工作状态反馈接收模块3，用于接收所述空闲工作节点反馈的工作状态；任务分配节点4，用于向可用工作节点分配所述待处理任务，所述可用工作节点为所述工作状态为可正常使用的空闲工作节点。
图5为本发明实施例提供的任务分配装置实施例二的结构示意图，所述任务和节点获取模块1包括：信息获取模块11，用于从所述分配中心的缓存库中获取全部注册工作节点和当前任务分配信息，所述注册工作节点为记录在所述分配中心的工作节点，所述当前任务分配信息为当前时刻记录在所述缓存库中所述注册节点与任务之间的分配对应关系；对比模块12，用于对比所述全部注册工作节点和所述当前任务分配信息以确定空闲工作节点，所述空闲工作节点为当前时刻没有对应任务的注册节点。
图6为本发明实施例提供的任务分配装置实施例三的结构示意图，所述工作状态反馈接收模块3包括：第一确定模块31，用于如果在预设应答时间范围内接收到所述空闲工作节点的反馈信息，且所述反馈信息为正常状态，则所述空闲工作节点为可用工作节点；第二确定模块32，用于如果在所述预设应答时间范围内接收到所述空闲工作节点的反馈信息，且所述反馈信息为异常状态，或者在所述预设应答时间范围内未接收到所述空闲工作节点的反馈信息，则所述空闲工作节点为异常工作节点。
图7为本发明实施例提供的任务分配装置实施例四的结构示意图，所述装置还包括：检测指令发送模块5，用于向占用工作节点发送工作状态检测指令，所述占用工作节点为当前时刻已被分配任务的工作节点；信息接收模块6，用于接收所述占用工作节点反馈的工作状态；任务卸载模块7，用于卸载问题工作节点对应的已分配任务，所述问题工作节点为当前时刻不具备处理已分配任务的能力的占用工作节点；任务再分配模块8，用于将所述已分配任务分配至所述空闲工作节点。
图8为本发明实施例提供的任务分配装置实施例五的结构示意图，所述装置还包括：任务分配信息更新模块9，用于从所述当前任务分配信息中剔除所述问题工作节点对应的任务分配信息，得到更新后任务分配信息，以供所述分配中心分配任务使用。
图9为本发明实施例提供的电子设备的硬件结构示意图。该电子设备包括：存储器101和处理器102；
存储器101，用于存储计算机程序；
处理器102，用于执行存储器存储的计算机程序，以实现上述实施例中的任务分配方法。具体可以参见前述方法实施例中的相关描述。
可选地，存储器101既可以是独立的，也可以跟处理器102集成在一起。
当所述存储器101是独立于处理器102之外的器件时，所述电子设备还可以包括：
总线103，用于连接所述存储器101和处理器102。
本发明实施例提供的电子设备可用于执行上述实施例中任一所示的任务分配方法，其实现方式和技术效果类似，本发明实施例此处不再赘述。
本发明实施例还提供一种可读存储介质，可读存储介质中存储有计算机程序，当消息发送的装置的至少一个处理器执行该计算机程序时，消息发送的装置执行上述实施例任一所述的任务分配方法。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于以计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换，而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (12)

1.一种任务分配方法，其特征在于，所述方法包括：
获取待处理任务和空闲工作节点，所述待处理任务为对应用户行为产生的数据处理请求，所述工作节点用于处理所述待处理任务，所述空闲工作节点为当前时刻具有处理待处理任务的能力的工作节点；
向所述空闲工作节点发送工作状态检测指令；
接收所述空闲工作节点反馈的工作状态；
向可用工作节点分配所述待处理任务，所述可用工作节点为所述工作状态为可正常使用的空闲工作节点。
2.根据权利要求1所述的方法，其特征在于，所述获取待处理任务和空闲工作节点包括：
从所述分配中心的缓存库中获取全部注册工作节点和当前任务分配信息，所述注册工作节点为记录在所述分配中心的工作节点，所述当前任务分配信息为当前时刻记录在所述缓存库中所述注册节点与任务之间的分配对应关系；
对比所述全部注册工作节点和所述当前任务分配信息以确定空闲工作节点，所述空闲工作节点为当前时刻没有对应任务的注册节点。
3.根据权利要求1所述的方法，其特征在于，所述接收所述空闲工作节点反馈的工作状态包括：
如果在预设应答时间范围内接收到所述空闲工作节点的反馈信息，且所述反馈信息为正常状态，则所述空闲工作节点为可用工作节点；
如果在所述预设应答时间范围内接收到所述空闲工作节点的反馈信息，且所述反馈信息为异常状态，或者在所述预设应答时间范围内未接收到所述空闲工作节点的反馈信息，则所述空闲工作节点为异常工作节点。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
向占用工作节点发送工作状态检测指令，所述占用工作节点为当前时刻已被分配任务的工作节点；
接收所述占用工作节点反馈的工作状态；
卸载问题工作节点对应的已分配任务，所述问题工作节点为当前时刻不具备处理已分配任务的能力的占用工作节点；
将所述已分配任务分配至所述空闲工作节点。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
从所述当前任务分配信息中剔除所述问题工作节点对应的任务分配信息，得到更新后任务分配信息，以供所述分配中心分配任务使用。
6.一种任务分配装置，其特征在于，所述装置包括：
任务和节点获取模块，用于获取待处理任务和空闲工作节点，所述待处理任务为对应用户行为产生的数据处理请求，所述工作节点用于处理所述待处理任务，所述空闲工作节点为当前时刻具有处理待处理任务的能力的工作节点；
指令发送模块，用于向所述空闲工作节点发送工作状态检测指令；
工作状态反馈接收模块，用于接收所述空闲工作节点反馈的工作状态；
任务分配节点，用于向可用工作节点分配所述待处理任务，所述可用工作节点为所述工作状态为可正常使用的空闲工作节点。
7.根据权利要求6所述的装置，其特征在于，所述任务和节点获取模块包括：
信息获取模块，用于从所述分配中心的缓存库中获取全部注册工作节点和当前任务分配信息，所述注册工作节点为记录在所述分配中心的工作节点，所述当前任务分配信息为当前时刻记录在所述缓存库中所述注册节点与任务之间的分配对应关系；
对比模块，用于对比所述全部注册工作节点和所述当前任务分配信息以确定空闲工作节点，所述空闲工作节点为当前时刻没有对应任务的注册节点。
8.根据权利要求6所述的装置，其特征在于，所述工作状态反馈接收模块包括：
第一确定模块，用于如果在预设应答时间范围内接收到所述空闲工作节点的反馈信息，且所述反馈信息为正常状态，则所述空闲工作节点为可用工作节点；
第二确定模块，用于如果在所述预设应答时间范围内接收到所述空闲工作节点的反馈信息，且所述反馈信息为异常状态，或者在所述预设应答时间范围内未接收到所述空闲工作节点的反馈信息，则所述空闲工作节点为异常工作节点。
9.根据权利要求7所述的装置，其特征在于，所述装置还包括：
检测指令发送模块，用于向占用工作节点发送工作状态检测指令，所述占用工作节点为当前时刻已被分配任务的工作节点；
信息接收模块，用于接收所述占用工作节点反馈的工作状态；
任务卸载模块，用于卸载问题工作节点对应的已分配任务，所述问题工作节点为当前时刻不具备处理已分配任务的能力的占用工作节点；
任务再分配模块，用于将所述已分配任务分配至所述空闲工作节点。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括：
任务分配信息更新模块，用于从所述当前任务分配信息中剔除所述问题工作节点对应的任务分配信息，得到更新后任务分配信息，以供所述分配中心分配任务使用。
11.一种电子设备，其特征在于，所述电子设备包括：
处理器，以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-5任一所述的任务分配方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-5任一所述的任务分配方法。
CN201911342385.9A 2019-12-23 2019-12-23 一种任务分配方法、装置、电子设备及存储介质 Pending CN111045811A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911342385.9A CN111045811A (zh) 2019-12-23 2019-12-23 一种任务分配方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911342385.9A CN111045811A (zh) 2019-12-23 2019-12-23 一种任务分配方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN111045811A true CN111045811A (zh) 2020-04-21

Family

ID=70238735

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911342385.9A Pending CN111045811A (zh) 2019-12-23 2019-12-23 一种任务分配方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111045811A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111949546A (zh) * 2020-08-21 2020-11-17 山东英信计算机技术有限公司 一种操作系统测试方法、装置、设备及可读存储介质
CN112035259A (zh) * 2020-09-01 2020-12-04 中国银行股份有限公司 一种数据处理系统、方法及服务器群
CN112233081A (zh) * 2020-10-13 2021-01-15 南京泊纳莱电子科技有限公司 一种图像处理方法、装置及电子设备
CN113051077A (zh) * 2021-03-26 2021-06-29 深圳市优必选科技股份有限公司 一种用户请求的处理方法、装置、终端设备及存储介质
CN116702885A (zh) * 2023-08-02 2023-09-05 浪潮电子信息产业股份有限公司 同步数据并行训练控制方法、系统、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105573827A (zh) * 2015-12-11 2016-05-11 联动优势电子商务有限公司 一种多机并行处理方法及装置
WO2016145904A1 (zh) * 2015-09-10 2016-09-22 中兴通讯股份有限公司 一种资源管理方法、装置和系统
CN109614232A (zh) * 2018-12-07 2019-04-12 网易（杭州）网络有限公司 任务处理方法、装置、存储介质和电子装置
CN110109752A (zh) * 2019-04-12 2019-08-09 平安普惠企业管理有限公司 一种任务分配方法、装置、电子设备及存储介质
CN110458468A (zh) * 2019-08-16 2019-11-15 北京百度网讯科技有限公司 一种任务处理方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016145904A1 (zh) * 2015-09-10 2016-09-22 中兴通讯股份有限公司 一种资源管理方法、装置和系统
CN105573827A (zh) * 2015-12-11 2016-05-11 联动优势电子商务有限公司 一种多机并行处理方法及装置
CN109614232A (zh) * 2018-12-07 2019-04-12 网易（杭州）网络有限公司 任务处理方法、装置、存储介质和电子装置
CN110109752A (zh) * 2019-04-12 2019-08-09 平安普惠企业管理有限公司 一种任务分配方法、装置、电子设备及存储介质
CN110458468A (zh) * 2019-08-16 2019-11-15 北京百度网讯科技有限公司 一种任务处理方法、装置、电子设备及存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111949546A (zh) * 2020-08-21 2020-11-17 山东英信计算机技术有限公司 一种操作系统测试方法、装置、设备及可读存储介质
CN112035259A (zh) * 2020-09-01 2020-12-04 中国银行股份有限公司 一种数据处理系统、方法及服务器群
CN112233081A (zh) * 2020-10-13 2021-01-15 南京泊纳莱电子科技有限公司 一种图像处理方法、装置及电子设备
CN113051077A (zh) * 2021-03-26 2021-06-29 深圳市优必选科技股份有限公司 一种用户请求的处理方法、装置、终端设备及存储介质
CN116702885A (zh) * 2023-08-02 2023-09-05 浪潮电子信息产业股份有限公司 同步数据并行训练控制方法、系统、装置、设备及介质
CN116702885B (zh) * 2023-08-02 2023-11-07 浪潮电子信息产业股份有限公司 同步数据并行训练控制方法、系统、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN111045811A (zh) 一种任务分配方法、装置、电子设备及存储介质
CN111818159A (zh) 数据处理节点的管理方法、装置、设备及存储介质
CN106817408B (zh) 一种分布式服务器集群调度方法及装置
CN111459641B (zh) 一种跨机房的任务调度和任务处理的方法及装置
CN112231108A (zh) 任务处理方法、装置、计算机可读存储介质及服务器
CN111459642B (zh) 一种分布式系统中故障处理和任务处理方法及装置
US20130305245A1 (en) Methods for managing work load bursts and devices thereof
CN112579304A (zh) 基于分布式平台的资源调度方法、装置、设备及介质
CN106572137B (zh) 一种分布式服务资源管理方法和装置
CN112269661B (zh) 基于Kafka集群的分区迁移方法和装置
CN105893497A (zh) 一种任务处理方法和装置
CN110727508A (zh) 一种任务调度系统和调度方法
CN113867957A (zh) 一种跨集群容器数量弹性伸缩实现方法及装置
CN114625533A (zh) 分布式任务调度方法、装置、电子设备及存储介质
CN112631805A (zh) 数据处理方法、装置、终端设备及存储介质
CN115167992A (zh) 任务处理方法、系统、装置、服务器、介质及程序产品
CN111831503A (zh) 一种基于监控代理的监控方法和监控代理装置
CN114546493A (zh) 核共享方法及装置、处理核、电子设备、介质
CN111784185A (zh) 一种分布式配电通信网定时任务调度系统
CN102868594B (zh) 一种消息处理方法和装置
CN108984105B (zh) 对网络存储设备中的复制任务进行分配的方法和设备
CN103973811A (zh) 一种可动态迁移的高可用集群管理方法
CN109426559B (zh) 命令下发方法和装置、存储介质、处理器
CN112667460A (zh) 一种航空电子系统应用任务栈空间的监控方法
CN112541038A (zh) 时序数据管理方法、系统、计算设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination