CN110650172B - 流式任务处理方法、装置及服务器 - Google Patents
流式任务处理方法、装置及服务器 Download PDFInfo
- Publication number
- CN110650172B CN110650172B CN201810681120.0A CN201810681120A CN110650172B CN 110650172 B CN110650172 B CN 110650172B CN 201810681120 A CN201810681120 A CN 201810681120A CN 110650172 B CN110650172 B CN 110650172B
- Authority
- CN
- China
- Prior art keywords
- task
- node
- processing node
- processing
- container
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
- H04L67/62—Establishing a time schedule for servicing the requests
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明实施例提供一种流式任务处理方法、装置及服务器。该方法包括：任务管理节点接收第一处理节点发送的第一任务执行请求,该第一任务执行请求包括该第一处理节点执行第一容器中的任务所需的第一时间；该任务管理节点将该第一容器中的任务发送给该第一处理节点，以使该第一处理节点在该第一时间内执行该任务；若在该第一时间内，该第一处理节点自身意外退出导致未能完成所述任务，则当该第一时间到期后，该任务管理节点接收第二处理节点发送的第二任务执行请求，该第二任务执行请求包括该第二处理节点执行该第一容器中的任务所需的第二时间。本发明实施例避免了任务由于一个处理节点处理失败而停止执行。
Description
技术领域
本发明实施例涉及计算机技术领域，尤其涉及一种流式任务处理方法、装置及服务器。
背景技术
在互联网业务中，存在着大量的数据处理需求。比如，日志的收集和处理，数据文件的构建和推送，项目的持续构建和发布等等。这些任务都是由特定的事件触发，然后进行连续多个阶段的处理。
现有技术中,流式任务可以由多个处理节点依次进行处理,但是,当某个处理节点在处理过程中出现错误时,将导致整个流式任务无法继续执行。
发明内容
本发明实施例提供一种流式任务处理方法、装置及服务器，以避免任务由于一个处理节点处理失败而停止执行。
第一方面，本发明实施例提供一种流式任务处理方法，包括：
任务管理节点接收第一处理节点发送的第一任务执行请求,所述第一任务执行请求包括所述第一处理节点执行第一容器中的任务所需的第一时间；
所述任务管理节点将所述第一容器中的任务发送给所述第一处理节点，以使所述第一处理节点在所述第一时间内执行所述任务；
若在所述第一时间内，所述第一处理节点自身意外退出导致未能完成所述任务，则当所述第一时间到期后，所述任务管理节点接收第二处理节点发送的第二任务执行请求，所述第二任务执行请求包括所述第二处理节点执行所述第一容器中的任务所需的第二时间。
第二方面，本发明实施例提供一种流式任务处理装置，包括：
接收模块，用于接收第一处理节点发送的第一任务执行请求,所述第一任务执行请求包括所述第一处理节点执行第一容器中的任务所需的第一时间；
发送模块，用于将所述第一容器中的任务发送给所述第一处理节点，以使所述第一处理节点在所述第一时间内执行所述任务；
所述接收模块还用于：当在所述第一时间内，所述第一处理节点自身意外退出导致未能完成所述任务时，在所述第一时间到期后，接收第二处理节点发送的第二任务执行请求，所述第二任务执行请求包括所述第二处理节点执行所述第一容器中的任务所需的第二时间。
第三方面，本发明实施例提供一种服务器，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现第一方面所述的方法。
第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现第一方面所述的方法。
本发明实施例提供的流式任务处理方法、装置及服务器，通过任务管理节点接收第一处理节点发送的第一任务执行请求，并将该第一容器中的任务发送给该第一处理节点，以使该第一处理节点在该第一时间内执行该任务，当第一处理节点执行该任务失败后，该任务管理节点还可以接收第二处理节点发送的第二任务执行请求，以使第二处理节点继续执行该任务，从而避免该任务由于一个处理节点处理失败而停止执行。
附图说明
图1为本发明实施例提供的一种应用场景的示意图；
图2为本发明实施例提供的流式任务处理方法流程图；
图3为本发明实施例提供的一种通信系统的示意图；
图4为本发明另一实施例提供的流式任务处理方法流程图；
图5为本发明另一实施例提供的流式任务处理方法流程图；
图6为本发明实施例提供的流式任务处理装置的结构示意图；
图7为本发明实施例提供的服务器的结构示意图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本发明提供的流式任务处理方法，可以适用于图1所示的通信系统。如图1所示，该通信系统包括：接入网设备11、终端设备12以及服务器13。需要说明的是，图1所示的通信系统可以适用于不同的网络制式，例如，可以适用于全球移动通讯(Global System ofMobile communication，简称GSM)、码分多址(Code Division Multiple Access，简称CDMA)、宽带码分多址(Wideband Code Division Multiple Access，简称WCDMA)、时分同步码分多址(Time Division-Synchronous Code Division Multiple Access，简称TD-SCDMA)、长期演进(Long Term Evolution，简称LTE)系统及未来的5G等网络制式。可选的，上述通信系统可以为5G通信系统中高可靠低时延通信(Ultra-Reliable and Low LatencyCommunications，简称URLLC)传输的场景中的系统。
故而，可选的，上述接入网设备11可以是GSM或CDMA中的基站(Base TransceiverStation，简称BTS)和/或基站控制器，也可以是WCDMA中的基站(NodeB，简称NB)和/或无线网络控制器(Radio Network Controller，简称RNC)，还可以是LTE中的演进型基站(Evolutional Node B，简称eNB或eNodeB)，或者中继站或接入点，或者未来5G网络中的基站(gNB)等，本发明在此并不限定。
上述终端设备12可以是无线终端也可以是有线终端。无线终端可以是指向用户提供语音和/或其他业务数据连通性的设备，具有无线连接功能的手持式设备、或连接到无线调制解调器的其他处理设备。无线终端可以经无线接入网(Radio Access Network，简称RAN)与一个或多个核心网设备进行通信，无线终端可以是移动终端，如移动电话(或称为“蜂窝”电话)和具有移动终端的计算机，例如，可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置，它们与无线接入网交换语言和/或数据。再例如，无线终端还可以是个人通信业务(Personal Communication Service，简称PCS)电话、无绳电话、会话发起协议(Session Initiation Protocol，简称SIP)话机、无线本地环路(Wireless LocalLoop，简称WLL)站、个人数字助理(Personal Digital Assistant，简称PDA)等设备。无线终端也可以称为系统、订户单元(Subscriber Unit)、订户站(Subscriber Station)，移动站(Mobile Station)、移动台(Mobile)、远程站(Remote Station)、远程终端(RemoteTerminal)、接入终端(Access Terminal)、用户终端(User Terminal)、用户代理(UserAgent)、用户设备(User Device or User Equipment)，在此不作限定。可选的，上述终端设备12还可以是智能手表、平板电脑等设备。
本发明提供的流式任务处理方法，旨在解决现有技术的如上技术问题。
下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
图2为本发明实施例提供的流式任务处理方法流程图。本发明实施例针对现有技术的如上技术问题，提供了流式任务处理方法，该方法具体步骤如下：
步骤201、任务管理节点接收第一处理节点发送的第一任务执行请求,所述第一任务执行请求包括所述第一处理节点执行第一容器中的任务所需的第一时间。
如图3所示，客户端具体可以是终端设备12或者终端设备12中的应用程序。任务管理节点具体可以是服务器13或服务器13中的程序，触发节点、处理节点1、处理节点2、处理节点3与任务管理节点可以位于同一服务器中，也可以分别位于不同的服务器中。任务管理节点可以给客户端或不同的处理节点分别提供频道，该频道具体可以是一个容器，该容器中可存储有任务，该任务具体可以是流式任务，该流式任务具体可以是互联网业务中与数据处理相关的任务，例如日志收集与处理、数据文件构建与推送等任务。
具体的，任务管理节点给客户端和触发节点提供触发频道、给处理节点1提供频道1、给处理节点2提供频道2、以及给处理节点3提供频道3，也就是说，处理节点和频道之间具有一一对应关系。触发节点可以实时的监听触发频道、处理节点1可以实时的监听频道1、处理节点2可以实时的监听频道2、处理节点3可以实时的监听频道3。在本实施例中，处理节点1可记为第一处理节点，处理节点2可记为第二处理节点，处理节点3可记为第三处理节点，频道1可记为第一容器、频道2可记为第二容器、频道3可记为第三容器。
可选的，客户端将至少一个任务发送给任务管理节点的触发频道，触发节点监听到该触发频道中有新的任务时，触发节点获取该触发频道中由客户端提交的至少一个任务，可选的，该至少一个任务中的每个任务对应有触发条件，该触发条件可以和该任务一起由客户端提交给触发频道。在本实施例中，触发条件可以有如下几种可能的情况：
一种可能的情况是：客户端提交的该任务需要立即执行。
另一种可能的情况是：客户端提交的该任务需要周期性执行。
再一种可能的情况是：客户端提交的该任务需要在一定条件满足的情况下执行，该条件具体可以是预设目录下的预设文件中出现了新的数据，该新的数据是该任务执行时需要处理的数据。
当触发节点从触发频道中获取到的任务满足如上所述的触发条件中的任意一个时，该触发节点确定该任务为需要执行的任务，进一步，该触发节点将该需要执行的任务发送到频道1。由于处理节点1实时监听频道1，当频道1出现需要执行的任务时，处理节点1向任务管理节点发送第一任务执行请求，该第一任务执行请求包括处理节点1执行频道1中的任务所需要的第一时间，该第一时间具体可以指时长。
步骤202、所述任务管理节点将所述第一容器中的任务发送给所述第一处理节点，以使所述第一处理节点在所述第一时间内执行所述任务。
当任务管理节点接收到处理节点1发送的第一任务执行请求后，任务管理节点将该第一时间添加在该频道1中，并将该频道1中的任务发送给处理节点1，处理节点1接收到该任务后，该处理节点1具体可以执行该任务中的第一个步骤，可选的，该任务包括多个执行步骤。
步骤203、若在所述第一时间内，所述第一处理节点自身意外退出导致未能完成所述任务，则当所述第一时间到期后，所述任务管理节点接收第二处理节点发送的第二任务执行请求，所述第二任务执行请求包括所述第二处理节点执行所述第一容器中的任务所需的第二时间。
在该第一时间内，处理节点1独占该任务，即在该第一时间内只有处理节点1可以执行该任务，其他处理节点不可执行该任务，以避免多个处理节点对该任务重复执行。若在该第一时间内，处理节点1由于自身意外退出导致未能完成该任务，或者处理节点1在执行该任务的过程中由于该处理节点1的原因出现了错误，导致未能完成该任务，则处理节点1在该第一时间内依然独占该任务，直到该第一时间到期。当第一时间到期后，假设处理节点2不监听频道2，而是监听频道1，则处理节点2向任务管理节点发送第二任务执行请求，该任务执行请求包括处理节点2执行频道1中的任务所需的第二时间。同理，在第二时间内，只有处理节点2可以执行该频道1中的任务，其他处理节点不可执行该任务。从而使得处理节点2可以接替处理节点1将该频道1中的任务处理完。
此外,如果是因为任务本身原因导致处理节点1未能执行完频道1中的任务,则该任务将不再由其他处理节点继续执行,即该任务到此结束。
另外，所述方法还包括：若在所述第一时间内，所述任务管理节点接收到第二处理节点发送的所述第二任务执行请求，则所述任务管理节点不将所述任务发送给所述第二处理节点。
例如，在该第一时间内，处理节点1执行频道1中的任务，如果处理节点2不监听频道2，而是监听频道1，则在处理节点1执行频道1中的任务的过程中，任务管理节点还有可能接收到处理节点2发送的第二任务执行请求，该第二任务执行请求表示处理节点2请求执行频道1中的任务，而频道1中的任务正在被处理节点1执行，则此时任务管理节点可以向处理节点2发送拒绝响应，即任务管理节点不将频道1中的任务发送给处理节点2，从而保证处理节点1可以在第一时间内独自执行该频道1中的任务。
本发明实施例通过任务管理节点接收第一处理节点发送的第一任务执行请求，并将该第一容器中的任务发送给该第一处理节点，以使该第一处理节点在该第一时间内执行该任务，当第一处理节点执行该任务失败后，该任务管理节点还可以接收第二处理节点发送的第二任务执行请求，以使第二处理节点继续执行该任务，从而避免该任务由于一个处理节点处理失败而停止执行。
图4为本发明另一实施例提供的流式任务处理方法流程图。在上述实施例的基础上，本实施例提供的流式任务处理方法还包括如下步骤：
步骤401、若在所述第一时间内，所述第一处理节点成功执行所述任务，则所述任务管理节点接收所述第一处理节点发送的任务移动请求。
如果在该第一时间内，处理节点1成功执行频道1中的任务，则处理节点1在执行成功后向任务管理节点发送任务移动请求，该任务移动请求用于将该频道1中的任务移动到频道2。
步骤402、所述任务管理节点根据所述任务移动请求，将所述任务移动到第二容器，以供第二处理节点从所述第二容器获取所述任务。
当任务管理节点接收到处理节点1发送的任务移动请求后，任务管理节点将该频道1中的任务移动到频道2，以便监听频道2的处理节点例如处理节点2可以监听到频道2中待执行的任务。具体的，处理节点2向任务管理节点发送第二任务执行请求，该第二任务执行请求包括处理节点2执行频道2的任务所需的第二时间。任务管理节点将频道2中待执行的任务发送给处理节点2，在第二时间内，只有处理节点2执行该任务，其他处理节点无法执行该任务，具体的，该处理节点2可以执行该任务中的第二个步骤。当处理节点2成功执行该频道2中的任务后，处理节点2向任务管理节点发送任务移动请求，使得任务管理节点将该频道2中的任务移动到频道3。
此外，所述方法还包括：所述任务管理节点接收第三处理节点发送的任务删除请求；所述任务管理节点根据所述任务删除请求，将所述任务删除。
当处理节点3监听到频道3中出现待执行的任务时，处理节点3向任务管理节点发送第三任务执行请求，任务管理节点将频道3中的任务发送给处理节点3，处理节点3具体可以执行该任务的第三个步骤，假设该任务一共包括三个步骤，当处理节点3成功执行该任务的第三个步骤后，该任务已经执行完毕，此时，处理节点3向任务管理节点发送任务删除请求，任务管理节点接收到该任务删除请求后，将频道3中的该任务删除。
本发明实施例通过任务管理节点接收第一处理节点发送的第一任务执行请求，并将该第一容器中的任务发送给该第一处理节点，以使该第一处理节点在该第一时间内执行该任务，当第一处理节点执行该任务失败后，该任务管理节点还可以接收第二处理节点发送的第二任务执行请求，以使第二处理节点继续执行该任务，从而避免该任务由于一个处理节点处理失败而停止执行。
图5为本发明另一实施例提供的流式任务处理方法流程图。在上述实施例的基础上，所述任务管理节点接收第一处理节点发送的第一任务执行请求之前，还包括如下步骤：
步骤501、所述任务管理节点接收客户端发送的至少一个任务。
如图3所示，客户端将至少一个任务发送给任务管理节点的触发频道，触发节点监听到该触发频道中有新的任务时，触发节点获取该触发频道中由客户端提交的至少一个任务，可选的，该至少一个任务中的每个任务对应有触发条件，该触发条件可以和该任务一起由客户端提交给触发频道。
在本实施例中，客户端向触发频道发送的至少一个任务具体可以是通过protobuf描述的任务，protobuf描述的任务具体如下：
通过如上所示的protobuf描述的任务，处理节点可确定该任务是否触发、如何执行、以及该任务后续需要交由哪个处理节点执行。
步骤502、所述任务管理节点将所述至少一个任务发送给触发节点，以使所述触发节点根据所述至少一个任务中每个任务的触发条件，判断所述任务是否需要执行。
可选的，任务管理节点将客户端提交的至少一个任务发送给触发节点，触发节点根据该至少一个任务中每个任务的触发条件，判断该任务是否满足触发条件，若该任务满足触发条件，则确定该任务为需要执行的任务
步骤503、所述任务管理节点接收所述触发节点发送的需要执行的任务，并将所述需要执行的任务放入所述第一容器。
触发节点将其确定出的需要执行的任务发送给任务管理节点，任务管理节点接收到该触发节点发送的需要执行的任务后，将该需要执行的任务放入频道1。
本发明实施例通过任务管理节点接收第一处理节点发送的第一任务执行请求，并将该第一容器中的任务发送给该第一处理节点，以使该第一处理节点在该第一时间内执行该任务，当第一处理节点执行该任务失败后，该任务管理节点还可以接收第二处理节点发送的第二任务执行请求，以使第二处理节点继续执行该任务，从而避免该任务由于一个处理节点处理失败而停止执行。
图6为本发明实施例提供的流式任务处理装置的结构示意图。该流式任务处理装置具体可以是上述实施例中的任务管理节点。本发明实施例提供的流式任务处理装置可以执行流式任务处理方法实施例提供的处理流程，如图6所示，流式任务处理装置60包括：接收模块61和发送模块62；其中，接收模块61用于接收第一处理节点发送的第一任务执行请求,所述第一任务执行请求包括所述第一处理节点执行第一容器中的任务所需的第一时间；发送模块62用于将所述第一容器中的任务发送给所述第一处理节点，以使所述第一处理节点在所述第一时间内执行所述任务；接收模块61还用于：当在所述第一时间内，所述第一处理节点自身意外退出导致未能完成所述任务时，在所述第一时间到期后，接收第二处理节点发送的第二任务执行请求，所述第二任务执行请求包括所述第二处理节点执行所述第一容器中的任务所需的第二时间。
可选的，接收模块61还用于：当在所述第一时间内，所述第一处理节点成功执行所述任务时，接收所述第一处理节点发送的任务移动请求；另外，流式任务处理装置60还包括：移动模块63；移动模块63用于根据所述任务移动请求，将所述任务移动到第二容器，以供第二处理节点从所述第二容器获取所述任务。
可选的，若在所述第一时间内，接收模块61接收到第二处理节点发送的所述第二任务执行请求，则发送模块62不将所述任务发送给所述第二处理节点。
可选的，接收模块61还用于：接收第三处理节点发送的任务删除请求；流式任务处理装置60还包括：删除模块64；删除模块64用于根据所述任务删除请求，将所述任务删除。
可选的，接收模块61还用于：接收客户端发送的至少一个任务；发送模块62还用于：将所述至少一个任务发送给触发节点，以使所述触发节点根据所述至少一个任务中每个任务的触发条件，判断所述任务是否需要执行；接收模块61还用于：接收所述触发节点发送的需要执行的任务，并将所述需要执行的任务放入所述第一容器。
图6所示实施例的流式任务处理装置可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图7为本发明实施例提供的服务器的结构示意图。本发明实施例提供的服务器可以执行流式任务处理方法实施例提供的处理流程，如图7所示，服务器70包括存储器71、处理器72、计算机程序和通讯接口73；其中，计算机程序存储在存储器71中，并被配置为由处理器72执行以上实施例所述的流式任务处理方法。
图7所示实施例的服务器可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
另外，本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现上述实施例所述的流式任务处理方法。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (12)
1.一种流式任务处理方法，其特征在于，包括：
任务管理节点接收第一处理节点发送的第一任务执行请求,所述第一任务执行请求包括所述第一处理节点执行第一容器中的任务所需的第一时间；
所述任务管理节点将所述第一容器中的任务发送给所述第一处理节点，以使所述第一处理节点在所述第一时间内执行所述任务；
若在所述第一时间内，所述第一处理节点自身意外退出导致未能完成所述任务，则当所述第一时间到期后，所述任务管理节点接收第二处理节点发送的第二任务执行请求，所述第二任务执行请求包括所述第二处理节点执行所述第一容器中的任务所需的第二时间。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若在所述第一时间内，所述第一处理节点成功执行所述任务，则所述任务管理节点接收所述第一处理节点发送的任务移动请求；
所述任务管理节点根据所述任务移动请求，将所述任务移动到第二容器，以供第二处理节点从所述第二容器获取所述任务。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若在所述第一时间内，所述任务管理节点接收到第二处理节点发送的所述第二任务执行请求，则所述任务管理节点不将所述任务发送给所述第二处理节点。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
若在所述第二时间内，所述第二处理节点成功执行了所述第一容器中的任务，则所述任务管理节点接收所述第二处理节点发送的任务移动请求；
所述任务管理节点根据所述任务移动请求，将所述任务移动到第三容器，以供第三处理节点从所述第三容器获取所述任务；
所述任务管理节点接收第三处理节点发送的任务删除请求；
所述任务管理节点根据所述任务删除请求，将所述任务删除。
5.根据权利要求4所述的方法，其特征在于，所述任务管理节点接收第一处理节点发送的第一任务执行请求之前，还包括：
所述任务管理节点接收客户端发送的至少一个任务；
所述任务管理节点将所述至少一个任务发送给触发节点，以使所述触发节点根据所述至少一个任务中每个任务的触发条件，判断所述任务是否需要执行；
所述任务管理节点接收所述触发节点发送的需要执行的任务，并将所述需要执行的任务放入所述第一容器。
6.一种流式任务处理装置，其特征在于，包括：
接收模块，用于接收第一处理节点发送的第一任务执行请求,所述第一任务执行请求包括所述第一处理节点执行第一容器中的任务所需的第一时间；
发送模块，用于将所述第一容器中的任务发送给所述第一处理节点，以使所述第一处理节点在所述第一时间内执行所述任务；
所述接收模块还用于：当在所述第一时间内，所述第一处理节点自身意外退出导致未能完成所述任务时，在所述第一时间到期后，接收第二处理节点发送的第二任务执行请求，所述第二任务执行请求包括所述第二处理节点执行所述第一容器中的任务所需的第二时间。
7.根据权利要求6所述的流式任务处理装置，其特征在于，所述接收模块还用于：
当在所述第一时间内，所述第一处理节点成功执行所述任务时，接收所述第一处理节点发送的任务移动请求；
所述流式任务处理装置还包括：移动模块，用于根据所述任务移动请求，将所述任务移动到第二容器，以供第二处理节点从所述第二容器获取所述任务。
8.根据权利要求6所述的流式任务处理装置，其特征在于，若在所述第一时间内，所述接收模块接收到第二处理节点发送的所述第二任务执行请求，则所述发送模块不将所述任务发送给所述第二处理节点。
9.根据权利要求7所述的流式任务处理装置，其特征在于，所述接收模块还用于：当在所述第二时间内，所述第二处理节点成功执行了所述第一容器中的任务时，接收所述第二处理节点发送的任务移动请求；
所述移动模块还用于：根据所述任务移动请求，将所述任务移动到第三容器，以供第三处理节点从所述第三容器获取所述任务；
所述接收模块还用于：接收第三处理节点发送的任务删除请求；
所述流式任务处理装置还包括：删除模块，用于根据所述任务删除请求，将所述任务删除。
10.根据权利要求9所述的流式任务处理装置，其特征在于，所述接收模块还用于：接收客户端发送的至少一个任务；
所述发送模块还用于：将所述至少一个任务发送给触发节点，以使所述触发节点根据所述至少一个任务中每个任务的触发条件，判断所述任务是否需要执行；
所述接收模块还用于：接收所述触发节点发送的需要执行的任务，并将所述需要执行的任务放入所述第一容器。
11.一种服务器，其特征在于，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1-5任一项所述的方法。
12.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1-5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810681120.0A CN110650172B (zh) | 2018-06-27 | 2018-06-27 | 流式任务处理方法、装置及服务器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810681120.0A CN110650172B (zh) | 2018-06-27 | 2018-06-27 | 流式任务处理方法、装置及服务器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110650172A CN110650172A (zh) | 2020-01-03 |
| CN110650172B true CN110650172B (zh) | 2022-04-19 |
Family
ID=68988734
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810681120.0A Active CN110650172B (zh) | 2018-06-27 | 2018-06-27 | 流式任务处理方法、装置及服务器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110650172B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101483887A (zh) * | 2009-02-25 | 2009-07-15 | 南京邮电大学 | 一种应用于无线多媒体传感器网络的多代理协作方法 |
| CN103414771A (zh) * | 2013-08-05 | 2013-11-27 | 国云科技股份有限公司 | 一种云计算环境下节点间长任务操作的监测方法 |
| CN104468174A (zh) * | 2013-09-25 | 2015-03-25 | 北京新媒传信科技有限公司 | 一种集群服务器执行任务的方法和装置 |
| CN106484524A (zh) * | 2015-08-28 | 2017-03-08 | 阿里巴巴集团控股有限公司 | 一种任务处理方法及装置 |
| CN107341051A (zh) * | 2016-05-03 | 2017-11-10 | 北京京东尚科信息技术有限公司 | 集群任务协调方法、系统和装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016166844A1 (ja) * | 2015-04-15 | 2016-10-20 | 株式会社日立製作所 | 分散処理システム、タスク処理方法、記憶媒体 |
-
2018
- 2018-06-27 CN CN201810681120.0A patent/CN110650172B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101483887A (zh) * | 2009-02-25 | 2009-07-15 | 南京邮电大学 | 一种应用于无线多媒体传感器网络的多代理协作方法 |
| CN103414771A (zh) * | 2013-08-05 | 2013-11-27 | 国云科技股份有限公司 | 一种云计算环境下节点间长任务操作的监测方法 |
| CN104468174A (zh) * | 2013-09-25 | 2015-03-25 | 北京新媒传信科技有限公司 | 一种集群服务器执行任务的方法和装置 |
| CN106484524A (zh) * | 2015-08-28 | 2017-03-08 | 阿里巴巴集团控股有限公司 | 一种任务处理方法及装置 |
| CN107341051A (zh) * | 2016-05-03 | 2017-11-10 | 北京京东尚科信息技术有限公司 | 集群任务协调方法、系统和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110650172A (zh) | 2020-01-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101554034B (zh) | 用于请求无线通信设备性能数据并以最佳文件大小提供该数据的方法和装置 | |
| US11553472B2 (en) | Method for transmitting downlink feedback information, base station, and terminal device | |
| CN109118360B (zh) | 区块链对账方法、装置、设备及存储介质 | |
| EP3734908A1 (en) | Communication method, device and system | |
| CN108712506B (zh) | 区块链节点通信方法、装置及区块链节点 | |
| CN110267343B (zh) | 一种寻呼管理方法、网络数据分析功能及网络侧设备 | |
| WO2020133523A1 (zh) | 通信方法及装置 | |
| US10645716B2 (en) | Information sending method and appartus | |
| CN104683124A (zh) | 终端类型识别方法和装置 | |
| WO2017220021A1 (zh) | 短信息处理方法及装置 | |
| EP3013112B1 (en) | User equipment d2d communication resources allocation method and equipment | |
| CN108876611B (zh) | 交易信息处理方法、装置及区块链节点 | |
| CN109087096B (zh) | 区块链对账方法、装置、设备及存储介质 | |
| CN103313426A (zh) | 信令连接建立原因的指示和识别方法和装置 | |
| CN108777710B (zh) | 区块链节点间通信方法、装置及区块链节点 | |
| US20160219393A1 (en) | Signal transmission method for device to device direct communication between user equipments and user equipment | |
| CN110650172B (zh) | 流式任务处理方法、装置及服务器 | |
| CN108768733B (zh) | 区块链账本处理方法、装置及区块链节点 | |
| CN108898419B (zh) | 奖励信息处理方法、装置及区块链节点 | |
| EP3589043A1 (en) | Data transmission method, terminal device and network device | |
| CN108694581B (zh) | 交易信息处理方法、装置及区块链节点 | |
| CN102740281A (zh) | 数据发送方法、通信设备及通信系统 | |
| CN108848144B (zh) | 区块链中节点访问方法、装置及区块链节点 | |
| EP2846599A1 (en) | Method of performing location registration procedures and related communication system | |
| US9130827B2 (en) | Sampling from distributed streams of data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200417 Address after: 310052 room 508, floor 5, building 4, No. 699, Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province Applicant after: Alibaba (China) Co.,Ltd. Address before: 510627 Guangdong city of Guangzhou province Whampoa Tianhe District Road No. 163 Xiping Yun Lu Yun Ping square B radio tower 13 layer self unit 01 Applicant before: GUANGZHOU SHENMA MOBILE INFORMATION TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |