CN111026529B - 分布式任务处理系统的任务停止方法及装置 - Google Patents
分布式任务处理系统的任务停止方法及装置 Download PDFInfo
- Publication number
- CN111026529B CN111026529B CN201911171047.3A CN201911171047A CN111026529B CN 111026529 B CN111026529 B CN 111026529B CN 201911171047 A CN201911171047 A CN 201911171047A CN 111026529 B CN111026529 B CN 111026529B
- Authority
- CN
- China
- Prior art keywords
- task
- task state
- state information
- current
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/485—Task life-cycle, e.g. stopping, restarting, resuming execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本说明书的实施例提供一种用于分布式任务处理系统的任务停止方法,所述分布式任务处理系统包括服务端节点和至少一个客户端节点。在服务端节点处,监控任务的任务停止请求,一旦接收到任务停止请求,任务监控装置将对应任务的任务状态信息更新为任务停止,并且同步更新服务端任务状态缓存。在客户端节点处,响应于接收到针对当前任务的数据处理请求,从任务状态缓存中获取当前任务的任务状态信息;以及在任务状态信息指示任务停止时,停止执行当前任务。
Description
技术领域
本说明书的实施例通常涉及计算机领域,更具体地,涉及分布式任务处理系统的任务停止方法及装置。
背景技术
在分布式任务处理系统中,服务端将任务调度到分布式任务处理集群中的各个分布式任务处理节点中异步运行。由于分布式任务处理集群规模通常比较大,并且单任务的处理数据量也比较大,从而使得在服务端接收到任务处理终止命令时,各个分布式任务处理节点处正在运行的任务无法及时停止。
发明内容
鉴于上述问题,本说明书的实施例提供了一种用于分布式任务处理系统的任务停止方法及任务停止装置。利用该任务停止方法及任务停止装置,能够响应于任务停止请求而快速停止分布式任务处理客户端设备的任务执行。
根据本说明书的实施例的一个方面,提供了一种用于分布式任务处理系统的任务停止方法,所述分布式任务处理系统包括服务端节点和至少一个客户端节点,所述方法由客户端节点执行,所述方法包括:响应于接收到针对当前任务的数据处理请求,从任务状态缓存中获取当前任务的任务状态信息;以及在所述任务状态信息指示任务停止时,停止执行所述当前任务。
可选地,在上述方面的一个示例中,所述服务端节点可以包括服务端任务状态缓存,所述服务端任务状态缓存响应于检测到任务停止请求而同步更新,响应于接收到针对当前任务的数据处理请求,获取当前任务的任务状态信息可以包括:响应于接收到针对当前任务的数据处理请求,从所述服务端任务状态缓存获取当前任务的任务状态信息。
可选地,在上述方面的一个示例中,所述服务端节点可以包括服务端任务状态缓存,所述服务端任务状态缓存响应于检测到任务停止请求而同步更新,所述客户端节点可以包括客户端任务状态缓存,响应于接收到针对当前任务的数据处理请求,获取当前任务的任务状态信息可以包括:响应于接收到针对当前任务的数据处理请求,在客户端任务状态缓存中查询是否存在所述当前任务的任务状态信息;在所述客户端任务状态缓存中存在所述当前任务的任务状态信息时,从所述客户端任务状态缓存中获取所述当前任务的任务状态信息,在所述客户端任务状态缓存中不存在所述当前任务的任务状态信息时,从所述服务端任务状态缓存中获取所述当前任务的任务状态信息。
可选地,在上述方面的一个示例中,所述客户端任务状态缓存中的任务状态信息具有有效期,在所述客户端任务状态缓存中存在所述当前任务的任务状态信息时,从所述客户端任务状态缓存中获取所述当前任务的任务状态信息可以包括:在所述客户端任务状态缓存中存在所述当前任务的有效任务状态信息时,从所述客户端任务状态缓存中获取所述当前任务的任务状态信息,在所述客户端任务状态缓存中不存在所述当前任务的任务状态信息时,从所述服务端任务状态缓存中获取所述当前任务的任务状态信息可以包括:在所述客户端任务状态缓存中不存在所述当前任务的有效任务状态信息时,从所述服务端任务状态缓存中获取所述当前任务的任务状态信息。
可选地,在上述方面的一个示例中,所述方法还可以包括:将从所述服务端任务状态缓存中获取的所述当前任务的任务状态信息保存在所述客户端任务状态缓存中。
可选地,在上述方面的一个示例中,所述客户端任务状态缓存具有LRU淘汰机制。
可选地,在上述方面的一个示例中,所述服务端节点可以包括服务端任务状态缓存,所述服务端任务状态缓存响应于检测到任务停止请求而同步更新,所述客户端节点可以包括客户端任务状态缓存,响应于接收到针对当前任务的数据处理请求,获取当前任务的任务状态信息可以包括:响应于接收到针对当前任务的数据处理请求且所述分布式任务处理系统的并发数据处理量未达到所述预定阈值,从所述服务端任务状态缓存中获取当前任务的任务状态信息;或者响应于接收到针对当前任务的数据处理请求且所述分布式任务处理系统的并发数据处理量达到预定阈值,在客户端任务状态缓存中查询是否存在所述当前任务的任务状态信息;在所述客户端任务状态缓存中存在所述当前任务的任务状态信息时,从所述客户端任务状态缓存中获取所述当前任务的任务状态信息,在所述客户端任务状态缓存中不存在所述当前任务的任务状态信息时,从所述服务端任务状态缓存中获取所述当前任务的任务状态信息。
根据本说明书的实施例的另一方面,提供一种用于分布式任务处理系统的任务停止装置,所述分布式任务处理系统包括服务端节点和至少一个客户端节点,所述任务停止装置应用于客户端节点中,所述任务停止装置包括:任务状态信息获取单元,响应于接收到针对当前任务的数据处理请求,从任务状态缓存中获取当前任务的任务状态信息;以及任务停止单元,在所述任务状态信息指示任务停止时,停止执行所述当前任务。
可选地,在上述方面的一个示例中,所述服务端节点可以包括服务端任务状态缓存,所述服务端任务状态缓存响应于检测到任务停止请求而同步更新,所述任务状态信息获取单元响应于接收到针对当前任务的数据处理请求,从所述服务端任务状态缓存获取当前任务的任务状态信息。
可选地,在上述方面的一个示例中,所述服务端节点可以包括服务端任务状态缓存,所述服务端任务状态缓存响应于检测到任务停止请求而同步更新,所述客户端节点可以包括客户端任务状态缓存,所述任务状态信息获取单元可以包括:任务状态信息查询模块,响应于接收到针对当前任务的数据处理请求,在客户端任务状态缓存中查询是否存在所述当前任务的任务状态信息;任务状态信息获取模块,在所述客户端任务状态缓存中存在所述当前任务的任务状态信息时,从所述客户端任务状态缓存中获取所述当前任务的任务状态信息,在所述客户端任务状态缓存中不存在所述当前任务的任务状态信息时,从所述服务端任务状态缓存中获取所述当前任务的任务状态信息。
可选地,在上述方面的一个示例中,所述客户端任务状态缓存中的任务状态信息具有有效期,在所述客户端任务状态缓存中存在所述当前任务的有效任务状态信息时,所述任务状态信息获取模块从所述客户端任务状态缓存中获取所述当前任务的任务状态信息,在所述客户端任务状态缓存中不存在所述当前任务的有效任务状态信息时,所述任务状态信息获取模块从所述服务端任务状态缓存中获取所述当前任务的任务状态信息。
可选地,在上述方面的一个示例中,所述任务停止装置还可以包括:保存单元,将从所述服务端任务状态缓存中获取的所述当前任务的任务状态信息保存在所述客户端任务状态缓存中。
根据本说明书的实施例的另一方面,提供一种分布式任务处理系统,包括:服务端节点,所述服务端节点包括任务调度装置,任务状态监控装置和服务端任务状态缓存;以及至少一个客户端节点,所述客户端节点包括任务运行装置以及如上所述的任务停止装置。
根据本说明书的实施例的另一方面,提供一种电子设备,包括:一个或多个处理器,以及与所述一个或多个处理器耦合的存储器,所述存储器存储指令,当所述指令被所述一个或多个处理器执行时,使得所述一个或多个处理器执行如上所述的任务停止方法。
根据本说明书的实施例的另一方面,提供一种机器可读存储介质,其存储有可执行指令,所述指令当被执行时使得所述机器执行如上所述的任务停止方法。
附图说明
通过参照下面的附图,可以实现对于本说明书的实施例内容的本质和优点的进一步理解。在附图中,类似组件或特征可以具有相同的附图标记。
图1示出了根据本说明书的实施例的分布式任务处理系统的架构图;
图2示出了根据本说明书的实施例的分布式任务处理流程的示意图;
图3示出了根据本说明书的实施例的任务停止方法的流程图;
图4示出了根据本说明书的实施例的任务状态信息获取过程的一个示例的流程图;
图5示出了根据本说明书的实施例的任务状态信息获取过程的另一示例的流程图;
图6示出了根据本说明书的实施例的客户端任务状态缓存的更新过程的流程图;
图7示出了根据本说明书的实施例的任务停止装置的方框图;
图8示出了根据本说明书的实施例的任务状态信息获取单元的一个实现示例的方框图;
图9示出了根据本说明书的实施例的用于实现分布式任务处理系统的任务停止的电子设备的方框图。
具体实施方式
现在将参考示例实施方式讨论本文描述的主题。应该理解,讨论这些实施方式只是为了使得本领域技术人员能够更好地理解从而实现本文描述的主题,并非是对权利要求书中所阐述的保护范围、适用性或者示例的限制。可以在不脱离本说明书的实施例内容的保护范围的情况下,对所讨论的元素的功能和排列进行改变。各个示例可以根据需要,省略、替代或者添加各种过程或组件。例如,所描述的方法可以按照与所描述的顺序不同的顺序来执行,以及各个步骤可以被添加、省略或者组合。另外,相对一些示例所描述的特征在其它例子中也可以进行组合。
如本文中使用的,术语“包括”及其变型表示开放的术语,含义是“包括但不限于”。术语“基于”表示“至少部分地基于”。术语“一个实施例”和“一实施例”表示“至少一个实施例”。术语“另一个实施例”表示“至少一个其他实施例”。术语“第一”、“第二”等可以指代不同的或相同的对象。下面可以包括其他的定义,无论是明确的还是隐含的。除非上下文中明确地指明,否则一个术语的定义在整个说明书中是一致的。
下面将结合附图来描述根据本说明书的实施例的用于分布式任务处理系统的任务停止方法及任务停止装置。
图1示出了根据本说明书的实施例的分布式任务处理系统1的架构示意图。
如图1所示,分布式任务处理系统1包括服务端节点10、多个客户端节点20和业务数据库40。服务端节点10和客户端节点20可以是任何类型的设备,比如,服务器,终端设备等。服务端节点10和多个客户端节点20组成分布式网络。例如,服务端节点10可以经由网络30与多个客户端节点20进行通信。
服务端节点10包括任务调度装置110,任务状态监控装置120和服务端任务状态缓存130。任务调度装置110用于调度需要在分布式任务处理系统1中处理的任务,并且将调度好的任务分发给多个客户端节点20。任务状态监控装置120用于监控任务状态。服务端任务状态缓存130用于缓存任务的任务状态信息。所述任务状态信息可以包括任务运行中和任务停止等。服务端任务状态缓存130通常将各个任务的任务状态信息存储在缓存队列,并且各个任务状态信息可以是与对应任务唯一对应地存储,例如可以将任务状态信息与对应任务的任务标识符相关联地存储。例如,任务监控装置120可以监控是否接收到任务停止请求。一旦接收到任务停止请求,任务监控装置120将对应任务的任务状态信息更新为任务停止,并且同步更新服务端任务状态缓存130。
客户端节点20包括任务运行装置210和任务停止装置220。在接收到服务端节点10分发的任务后,任务运行装置210执行所接收的任务。任务运行装置210所执行的任务运行是基于每条业务数据来进行的。
任务停止装置220用于在每次接收到针对当前任务的数据处理请求时,查询当前任务的任务状态信息,并且在任务状态信息指示任务停止时,停止执行当前任务。这里,数据处理请求可以是当前任务执行过程中的针对当前待处理业务数据的数据处理请求。任务停止装置220的操作和结构将在下面参照附图进行详细描述。
在本说明书中,分布式任务处理系统例如可以是分布式海量文件处理系统,分布式视频处理系统,分布式工作流处理系统和分布式清算系统等。
图2示出了根据本说明书的实施例的分布式任务处理流程200的示意图。
如图2所示,在需要在分布式任务系统1上进行分布式任务处理时,服务端节点10处的任务调度装置110执行任务调度过程210。在完成任务调度后,任务调度装置110从业务数据库40批量获取220任务运行所需业务数据,并且将调度好的任务与所需业务数据一起分发230给对应的客户端节点20来执行。
任务监控装置120持续执行任务状态监控,例如,持续监控是否接收到任务停止请求。一旦接收240到任务停止请求,任务监控装置120将对应任务的任务状态信息更新250为任务停止,并且同步更新260服务端任务状态缓存130。
客户端节点20执行所接收的任务。在每次接收到针对任务的数据处理请求时,客户端节点20获取当前任务的任务状态信息,例如,可以通过查询服务端任务状态缓存130来从获取当前任务的任务状态信息。然后,客户端节点20基于所获取的任务状态信息来确定是否停止执行当前任务。
图3示出了根据本说明书的实施例的任务停止方法300的流程图。
如图3所示,在块310,监测是否接收到针对当前任务的数据处理请求。这里,任务运行装置210所执行的任务是基于所需要的业务数据逐条进行的。即,每条业务数据会发起一个数据处理过程,相应地,针对每条业务数据,会发起一个数据处理请求。
在接收到数据处理请求后,在块320,从任务状态缓存中获取当前任务的任务状态信息。例如,在一个示例中,可以从服务端任务状态缓存130获取当前任务的任务状态信息。例如,可以向服务端任务状态缓存130发送任务状态信息查询请求,所述任务状态信息查询请求包括当前任务的任务标识信息。在接收到任务状态信息查询请求后,服务端节点10使用当前任务的任务标识信息(例如,任务标识符),在服务端任务状态缓存130中查询是否存在对应的任务状态信息。在查询到对应的任务状态信息后,将所查询到的任务状态信息返回给客户端节点20。在本说明书中,服务端任务状态缓存130可以响应于检测到任务停止请求而同步更新。
此外,在本说明书的另一示例中,客户端节点20还可以包括客户端任务状态缓存230。客户端任务状态缓存230维护有本地任务状态缓存队列,用于缓存客户端节点20上正在运行或将要运行的目标任务的任务状态信息。在这种情况下,在接收到数据处理请求后,可以先通过查询客户端任务状态缓存230来获取当前任务的任务状态信息,并且只有在客户端任务状态缓存230中不存在合适的任务状态信息后,才从服务端任务状态缓存130获取对应的任务状态信息。上述任务状态信息获取过程将在下面参照图4和图5进行描述。
在获取到当前任务的任务状态信息后,在块330,判断所获取的任务状态信息是否指示任务停止。在所获取的任务状态信息指示任务停止时,在块340,停止执行当前任务。在所获取的任务状态信息不指示任务停止(例如,指示任务运行)时,在块350,继续执行当前任务。
图4示出了根据本说明书的实施例的任务状态信息获取过程320的一个示例的流程图。
如图4所示,在接收到数据处理请求后,在块321,在客户端任务状态缓存230中查询231是否存在323当前任务的任务状态信息。
在客户端任务状态缓存230中存在当前任务的任务状态信息时,在块325,从客户端任务状态缓存230获取当前任务的任务状态信息。
在客户端任务状态缓存230中不存在当前任务的任务状态信息时,在块327,从服务端任务状态缓存330获取当前任务的任务状态信息。
图5示出了根据本说明书的实施例的任务状态信息获取过程320’的另一示例的流程图。
在该示例中,从服务端任务状态缓存130获取并存储任务状态信息时,客户端任务状态缓存230可以为所存储的任务状态信息设置有效期。该有效期的计时可以是自从服务端任务状态缓存130接收到任务状态信息时开始,或者自服务端任务状态缓存130的任务状态信息的更新时间开始。例如,假设针对任务1,服务端任务状态缓存130的任务状态信息更新时间为2019年8月18日8:00:35,则客户端任务状态缓存230中该任务的任务状态信息的有效期自2019年8月18日8:00:35开始。
如图5所示,在块321’,获取分布式任务处理系统的并发数据处理量。这里,并发数据处理量例如可以是在服务端节点10处统计并实时发送给客户端节点20。
在接收到数据处理请求后,在块322’,判断并发数据处理量是否超过预定阈值,所述预定阈值例如可以是亿级数据量。
在并发数据处理量没有超过预定阈值时,在块326’,从服务端任务状态缓存330获取当前任务的任务状态信息。
在并发数据处理量超过预定阈值时,在块323’,查询客户端任务状态缓存230,并且在块324’,判断客户端任务状态缓存230中是否存在当前任务的任务状态信息。
如果客户端任务状态缓存230中不存在当前任务的任务状态信息,则在块326’,从服务端任务状态缓存330中获取当前任务的任务状态信息。
如果客户端任务状态缓存230中存在当前任务的任务状态信息,则在块325’,判断该任务状态信息是否有效。例如,可以基于该任务状态信息的有效期来确定该任务状态信息是否有效。
如果该任务状态信息失效,则在块326’,从服务端任务状态缓存130获取当前任务的任务状态信息。
如果该任务状态信息有效,则在块327’,从客户端任务状态缓存230获取所查询到的当前任务的任务状态信息。
在从服务端任务状态缓存130获取到当前任务的任务状态信息后,还可以将所获取的当前任务的任务状态信息保存在客户端任务状态缓存中。
这里要说明的是,在本说明书的其它实施例中,可以针对图5中示出的过程进行修改。例如,可以不需要块321’和322’的操作,或者可以不需要块325’的操作。
图6示出了根据本说明书的实施例的客户端任务状态缓存的更新过程的流程图。
在从服务端任务状态缓存130中获取到当前任务的任务状态信息(块610)后,在块620,判断所获取的当前任务的任务状态信息是否是新任务的任务状态信息。
如果所获取的当前任务的任务状态信息是新任务的任务状态信息,则在块630,将所获取的当前任务的任务状态信息保存在客户端任务状态缓存中,并且淘汰一条查询频率最低的任务状态信息。例如,客户端任务状态缓存230可以具有本地缓存队列,该本地缓存队列可以设置有队列长度,并且根据查询频率(查询热度)来淘汰查询频率最低的任务状态信息,保留查询频率较高的任务状态信息。在一个示例中,客户端任务状态缓存230可以利用LRU淘汰机制来执行任务状态信息更新。
如果所获取的当前任务的任务状态信息不是新任务的任务状态信息(即,失效的任务状态信息),则使用所获取的当前任务的任务状态信息来替换失效的任务状态信息。
图7示出了根据本说明书的实施例的任务停止装置220的方框图。如图7所示,任务停止装置220包括任务状态信息获取单元221和任务停止单元223。
任务状态信息获取单元221被配置为响应于接收到针对当前任务的数据处理请求,从任务状态缓存中获取当前任务的任务状态信息。
在一个示例中,服务端节点10可以包括服务端任务状态缓存130。服务端任务状态缓存130可以响应于检测到任务停止请求而同步更新。任务状态信息获取单元221可以被配置为响应于接收到针对当前任务的数据处理请,获取当前任务的任务状态信息。
在另一示例中,服务端节点10可以包括服务端任务状态缓存130,以及客户端节点20可以包括客户端任务状态缓存230。任务状态信息获取单元221可以被配置为在接收到数据处理请求后,先通过查询客户端任务状态缓存230来获取当前任务的任务状态信息,并且只有在客户端任务状态缓存230中不存在合适的任务状态信息后,才从服务端任务状态缓存130获取对应的任务状态信息。
图8示出了根据本说明书的实施例的任务状态信息获取单元221的一个实现示例的方框图。如图8所示,任务状态信息获取单元221包括任务状态信息查询模块227和任务状态信息获取模块229。
任务状态信息查询模块227被配置为响应于接收到针对当前任务的数据处理请求,在客户端任务状态缓存230中查询是否存在所述当前任务的任务状态信息。
任务状态信息获取模块被配置为在客户端任务状态缓存230中存在当前任务的任务状态信息时,从客户端任务状态缓存230中获取当前任务的任务状态信息;以及在客户端任务状态缓存230中不存在当前任务的任务状态信息时,从服务端任务状态缓存130中获取当前任务的任务状态信息。
此外,可选地,客户端任务状态缓存230中的任务状态信息可以具有有效期。相应地,任务状态信息获取模块227被配置为在客户端任务状态缓存230中存在当前任务的有效任务状态信息时,从客户端任务状态缓存230中获取当前任务的任务状态信息;以及在客户端任务状态缓存230中不存在当前任务的有效任务状态信息时,从服务端任务状态缓存130中获取当前任务的任务状态信息。
任务停止单元223被配置为在所获取的任务状态信息指示任务停止时,停止执行当前任务。
此外,可选地,任务停止装置220还可以包括保持单元225。保存单元225被配置为将从服务端任务状态缓存130中获取的当前任务的任务状态信息保存在客户端任务状态缓存230中。任务停止装置220的操作可以参考上面参照图6描述的操作。
如上参照图1到图8,对根据本说明书的实施例的任务停止方法及任务停止装置的实施例进行了描述。上面的任务停止装置可以采用硬件实现,也可以采用软件或者硬件和软件的组合来实现。
图9示出了根据本说明书的实施例的用于实现分布式任务处理系统中的任务停止的电子设备900的结构框图。
如图9所示,电子设备900可以包括至少一个处理器910、存储器(例如,非易失性存储器)920、内存930、通信接口940以及内部总线960,并且至少一个处理器910、存储器920、内存930和通信接口940经由总线960连接在一起。该至少一个处理器910执行在计算机可读存储介质中存储或编码的至少一个计算机可读指令(即,上述以软件形式实现的元素)。
在本说明书的实施例中,电子设备900可以包括但不限于:个人计算机、服务器计算机、工作站、桌面型计算机、膝上型计算机、笔记本计算机、移动计算设备、智能电话、平板计算机、蜂窝电话、个人数字助理(PDA)、手持装置、可佩戴计算设备、消费电子设备等等。
在一个实施例中,在存储器中存储有计算机可执行指令,其当执行时使得至少一个处理器910:响应于接收到针对当前任务的数据处理请求,获取当前任务的任务状态信息;以及在任务状态信息指示任务停止时,停止执行当前任务。
应该理解的是,在存储器中存储的计算机可执行指令当执行时使得至少一个处理器910执行在本说明书的各个实施例中如上结合图1-8描述的各种操作和功能。
根据一个实施例,提供了一种例如非暂时性机器可读介质的程序产品。非暂时性机器可读介质可以具有指令(即,上述以软件形式实现的元素),该指令当被机器执行时,使得机器执行本说明书的各个实施例中如上结合图1-8描述的各种操作和功能。
具体地,可以提供配有可读存储介质的系统或者装置,在该可读存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码,且使该系统或者装置的计算机或处理器读出并执行存储在该可读存储介质中的指令。
在这种情况下,从可读介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能,因此机器可读代码和存储机器可读代码的可读存储介质构成了本发明的一部分。
可读存储介质的实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD-RW)、磁带、非易失性存储卡和ROM。可选择地,可以由通信网络从服务器计算机上或云上下载程序代码。
本领域技术人员应当理解,上面公开的各个实施例可以在不偏离发明实质的情况下做出各种变形和修改。因此,本发明的保护范围应当由所附的权利要求书来限定。
需要说明的是,上述各流程和各系统结构图中不是所有的步骤和单元都是必须的,可以根据实际的需要忽略某些步骤或单元。各步骤的执行顺序不是固定的,可以根据需要进行确定。上述各实施例中描述的装置结构可以是物理结构,也可以是逻辑结构,即,有些单元可能由同一物理实体实现,或者,有些单元可能分由多个物理实体实现,或者,可以由多个独立设备中的某些部件共同实现。
以上各实施例中,硬件单元或模块可以通过机械方式或电气方式实现。例如,一个硬件单元、模块或处理器可以包括永久性专用的电路或逻辑(如专门的处理器,FPGA或ASIC)来完成相应操作。硬件单元或处理器还可以包括可编程逻辑或电路(如通用处理器或其它可编程处理器),可以由软件进行临时的设置以完成相应操作。具体实现方式(机械方式、或专用的永久性电路、或者临时设置的电路)可以基于成本和时间上的考虑来确定。
上面结合附图阐述的具体实施方式描述了示例性实施例,但并不表示可以实现的或者落入权利要求书的保护范围的所有实施例。在整个本说明书中使用的术语“示例性”意味着“用作示例、实例或例示”,并不意味着比其它实施例“优选”或“具有优势”。出于提供对所描述技术的理解的目的,具体实施方式包括具体细节。然而,可以在没有这些具体细节的情况下实施这些技术。在一些实例中,为了避免对所描述的实施例的概念造成难以理解,公知的结构和装置以框图形式示出。
本公开内容的上述描述被提供来使得本领域任何普通技术人员能够实现或者使用本公开内容。对于本领域普通技术人员来说,对本公开内容进行的各种修改是显而易见的,并且,也可以在不脱离本公开内容的保护范围的情况下,将本文所定义的一般性原理应用于其它变型。因此,本公开内容并不限于本文所描述的示例和设计,而是与符合本文公开的原理和新颖性特征的最广范围相一致。
Claims (15)
1.一种用于分布式任务处理系统的任务停止方法,所述分布式任务处理系统包括服务端节点和至少一个客户端节点,所述方法由客户端节点执行,所述服务端节点包括服务端任务状态缓存,所述服务端任务状态缓存响应于检测到任务停止请求而同步更新为指示任务停止,所述方法包括:
响应于接收到针对当前任务的数据处理请求,从任务状态缓存中获取当前任务的任务状态信息;以及
在所述任务状态信息指示任务停止时,停止执行所述当前任务;
其中,从任务状态缓存中获取当前任务的任务状态信息包括:
基于服务端任务状态缓存获取当前任务的任务状态信息。
2.如权利要求1所述的任务停止方法,其中,响应于接收到针对当前任务的数据处理请求,获取当前任务的任务状态信息包括:
响应于接收到针对当前任务的数据处理请求,从所述服务端任务状态缓存获取当前任务的任务状态信息。
3.如权利要求1所述的任务停止方法,其中,所述客户端节点包括客户端任务状态缓存,所述客户端任务状态缓存基于从所述服务端任务状态缓存中获取的任务状态信息进行更新,
响应于接收到针对当前任务的数据处理请求,获取当前任务的任务状态信息包括:
响应于接收到针对当前任务的数据处理请求,在客户端任务状态缓存中查询是否存在所述当前任务的任务状态信息;
在所述客户端任务状态缓存中存在所述当前任务的任务状态信息时,从所述客户端任务状态缓存中获取所述当前任务的任务状态信息,
在所述客户端任务状态缓存中不存在所述当前任务的任务状态信息时,从所述服务端任务状态缓存中获取所述当前任务的任务状态信息。
4.如权利要求3所述的任务停止方法,其中,所述客户端任务状态缓存中的任务状态信息具有有效期,
在所述客户端任务状态缓存中存在所述当前任务的任务状态信息时,从所述客户端任务状态缓存中获取所述当前任务的任务状态信息包括:
在所述客户端任务状态缓存中存在所述当前任务的有效任务状态信息时,从所述客户端任务状态缓存中获取所述当前任务的任务状态信息,
在所述客户端任务状态缓存中不存在所述当前任务的任务状态信息时,从所述服务端任务状态缓存中获取所述当前任务的任务状态信息包括:
在所述客户端任务状态缓存中不存在所述当前任务的有效任务状态信息时,从所述服务端任务状态缓存中获取所述当前任务的任务状态信息。
5.如权利要求3或4所述的方法,还包括:
将从所述服务端任务状态缓存中获取的所述当前任务的任务状态信息保存在所述客户端任务状态缓存中。
6.如权利要求5所述的方法,其中,所述客户端任务状态缓存具有LRU淘汰机制。
7.如权利要求1所述的方法,其中,所述客户端节点包括客户端任务状态缓存,所述客户端任务状态缓存基于从所述服务端任务状态缓存中获取的任务状态信息进行更新,
响应于接收到针对当前任务的数据处理请求,获取当前任务的任务状态信息包括:
响应于接收到针对当前任务的数据处理请求且所述分布式任务处理系统的并发数据处理量未达到预定阈值,从所述服务端任务状态缓存中获取当前任务的任务状态信息;或者
响应于接收到针对当前数据的数据处理请求且所述分布式任务处理系统的并发数据处理量达到所述预定阈值,在客户端任务状态缓存中查询是否存在所述当前任务的任务状态信息;
在所述客户端任务状态缓存中存在所述当前任务的任务状态信息时,从所述客户端任务状态缓存中获取所述当前任务的任务状态信息,
在所述客户端任务状态缓存中不存在所述当前任务的任务状态信息时,从所述服务端任务状态缓存中获取所述当前任务的任务状态信息。
8.一种用于分布式任务处理系统的任务停止装置,所述分布式任务处理系统包括服务端节点和至少一个客户端节点,所述任务停止装置应用于客户端节点中,所述服务端节点包括服务端任务状态缓存,所述服务端任务状态缓存响应于检测到任务停止请求而同步更新为指示任务停止,所述任务停止装置包括:
任务状态信息获取单元,响应于接收到针对当前任务的数据处理请求,从任务状态缓存中获取当前任务的任务状态信息;以及
任务停止单元,在所述任务状态信息指示任务停止时,停止执行所述当前任务;
其中,所述任务状态信息获取单元响应于接收到针对当前任务的数据处理请求,基于服务端任务状态缓存获取当前任务的任务状态信息。
9.如权利要求8所述的任务停止装置,其中,所述任务状态信息获取单元响应于接收到针对当前任务的数据处理请求,从所述服务端任务状态缓存获取当前任务的任务状态信息。
10.如权利要求8所述的任务停止装置,其中,所述客户端节点包括客户端任务状态缓存,所述客户端任务状态缓存基于从所述服务端任务状态缓存中获取的任务状态信息进行更新,
所述任务状态信息获取单元包括:
任务状态信息查询模块,响应于接收到针对当前任务的数据处理请求,在客户端任务状态缓存中查询是否存在所述当前任务的任务状态信息;
任务状态信息获取模块,在所述客户端任务状态缓存中存在所述当前任务的任务状态信息时,从所述客户端任务状态缓存中获取所述当前任务的任务状态信息,在所述客户端任务状态缓存中不存在所述当前任务的任务状态信息时,从所述服务端任务状态缓存中获取所述当前任务的任务状态信息。
11.如权利要求10所述的任务停止装置,其中,所述客户端任务状态缓存中的任务状态信息具有有效期,
在所述客户端任务状态缓存中存在所述当前任务的有效任务状态信息时,所述任务状态信息获取模块从所述客户端任务状态缓存中获取所述当前任务的任务状态信息,
在所述客户端任务状态缓存中不存在所述当前任务的有效任务状态信息时,所述任务状态信息获取模块从所述服务端任务状态缓存中获取所述当前任务的任务状态信息。
12.如权利要求10或11所述的任务停止装置,还包括:
保存单元,将从所述服务端任务状态缓存中获取的所述当前任务的任务状态信息保存在所述客户端任务状态缓存中。
13.一种分布式任务处理系统,包括:
服务端节点,所述服务端节点包括任务调度装置,任务状态监控装置和服务端任务状态缓存;以及
至少一个客户端节点,所述客户端节点包括任务运行装置以及如权利要求8到12中任一所述的任务停止装置。
14.一种电子设备,包括:
一个或多个处理器,以及
与所述一个或多个处理器耦合的存储器,所述存储器存储指令,当所述指令被所述一个或多个处理器执行时,使得所述一个或多个处理器执行如权利要求1到7中任一项所述的方法。
15.一种机器可读存储介质,其存储有可执行指令,所述指令当被执行时使得所述机器执行如权利要求1到7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911171047.3A CN111026529B (zh) | 2019-11-26 | 2019-11-26 | 分布式任务处理系统的任务停止方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911171047.3A CN111026529B (zh) | 2019-11-26 | 2019-11-26 | 分布式任务处理系统的任务停止方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111026529A CN111026529A (zh) | 2020-04-17 |
CN111026529B true CN111026529B (zh) | 2023-08-01 |
Family
ID=70202196
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911171047.3A Active CN111026529B (zh) | 2019-11-26 | 2019-11-26 | 分布式任务处理系统的任务停止方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111026529B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111782408B (zh) * | 2020-08-04 | 2024-02-09 | 支付宝(杭州)信息技术有限公司 | 用于执行gpu中的控制任务的方法、装置及gpu |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104503894A (zh) * | 2014-12-31 | 2015-04-08 | 中国石油天然气股份有限公司 | 分布式服务器状态实时监测系统及方法 |
CN109660400A (zh) * | 2018-12-24 | 2019-04-19 | 苏州思必驰信息科技有限公司 | 流控配置方法及系统 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8112529B2 (en) * | 2001-08-20 | 2012-02-07 | Masterobjects, Inc. | System and method for asynchronous client server session communication |
US20070226292A1 (en) * | 2006-03-22 | 2007-09-27 | Chetuparambil Madhu K | Method and apparatus for preserving updates to execution context when a request is fragmented and executed across process boundaries |
US8549520B2 (en) * | 2007-07-31 | 2013-10-01 | Sap Ag | Distributed task handling |
EP2235630A1 (en) * | 2007-12-12 | 2010-10-06 | Nxp B.V. | Data processing system and method of interrupt handling |
CN106034137A (zh) * | 2015-03-09 | 2016-10-19 | 阿里巴巴集团控股有限公司 | 用于分布式系统的智能调度方法及分布式服务系统 |
CN108733461B (zh) * | 2017-04-18 | 2021-09-14 | 北京京东尚科信息技术有限公司 | 分布式任务调度方法和装置 |
CN108287764A (zh) * | 2018-01-31 | 2018-07-17 | 上海携程商务有限公司 | 分布式任务调度方法及其系统、存储介质、电子设备 |
CN109241191B (zh) * | 2018-09-13 | 2021-09-14 | 华东交通大学 | 一种分布式数据源异构同步平台及同步方法 |
CN109857549A (zh) * | 2019-01-04 | 2019-06-07 | 平安科技(深圳)有限公司 | 基于负载均衡的图像数据处理方法、系统、设备及介质 |
-
2019
- 2019-11-26 CN CN201911171047.3A patent/CN111026529B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104503894A (zh) * | 2014-12-31 | 2015-04-08 | 中国石油天然气股份有限公司 | 分布式服务器状态实时监测系统及方法 |
CN109660400A (zh) * | 2018-12-24 | 2019-04-19 | 苏州思必驰信息科技有限公司 | 流控配置方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111026529A (zh) | 2020-04-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107943594B (zh) | 数据获取方法和装置 | |
EP3562096B1 (en) | Method and device for timeout monitoring | |
US20150339261A1 (en) | System and method for data transfer among the devices | |
CN110909025A (zh) | 数据库的查询方法、查询装置及终端 | |
CN108683668B (zh) | 内容分发网络中的资源校验方法、装置、存储介质及设备 | |
CN111159233B (zh) | 分布式缓存方法、系统、计算机设备以及存储介质 | |
CN107092628B (zh) | 时间序列数据的处理方法和装置 | |
EP2939200B1 (en) | Method and apparatus for secure advertising | |
US10761888B2 (en) | Method for deploying task to node based on execution completion point, task deployment apparatus and storage medium | |
CN111225010A (zh) | 数据处理方法、数据处理系统以及装置 | |
CN111026529B (zh) | 分布式任务处理系统的任务停止方法及装置 | |
CN111371585A (zh) | 用于cdn节点的配置方法及装置 | |
CN113900907B (zh) | 一种映射构建方法和系统 | |
US9893972B1 (en) | Managing I/O requests | |
CN111414383B (zh) | 数据请求方法、数据处理系统及计算设备 | |
CN112948498A (zh) | 一种分布式系统全局标识的生成方法和装置 | |
CN110633302B (zh) | 一种海量结构化数据的处理方法及装置 | |
CN113590017A (zh) | 用于处理数据的方法、电子设备和计算机程序产品 | |
CN116701020A (zh) | 消息延时处理方法、装置、设备、介质和程序产品 | |
CN109766347B (zh) | 一种数据更新方法、装置、系统、计算机设备及存储介质 | |
US20150100545A1 (en) | Distributed database system and a non-transitory computer readable medium | |
CN106776753B (zh) | 业务数据处理方法及装置 | |
CN108121730B (zh) | 一种将数据更新快速同步到业务系统的装置及方法 | |
CN113360348B (zh) | 异常请求处理方法、装置、电子设备和存储介质 | |
CN114117280A (zh) | 页面静态资源使用方法、装置、终端设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20211213 Address after: Room 602, No. 618 Wai Road, Huangpu District, Shanghai 200001 Applicant after: Ant fortune (Shanghai) Financial Information Service Co.,Ltd. Address before: 310000 801-11 section B, 8th floor, 556 Xixi Road, Xihu District, Hangzhou City, Zhejiang Province Applicant before: Alipay (Hangzhou) Information Technology Co.,Ltd. |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |