CN115827174B - 一种基于多实例的任务处理方法及装置 - Google Patents
一种基于多实例的任务处理方法及装置 Download PDFInfo
- Publication number
- CN115827174B CN115827174B CN202310111789.7A CN202310111789A CN115827174B CN 115827174 B CN115827174 B CN 115827174B CN 202310111789 A CN202310111789 A CN 202310111789A CN 115827174 B CN115827174 B CN 115827174B
- Authority
- CN
- China
- Prior art keywords
- task
- upstream
- processing
- identifier
- instances
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 194
- 238000011144 upstream manufacturing Methods 0.000 claims abstract description 168
- 238000000034 method Methods 0.000 claims abstract description 29
- 230000008569 process Effects 0.000 claims abstract description 15
- 238000004891 communication Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012546 transfer Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Debugging And Monitoring (AREA)
- Multi Processors (AREA)
Abstract
本发明公开了一种基于多实例的任务处理方法及装置,涉及计算机技术领域。该方法的一具体实施方式包括:确定待处理任务、待处理任务对应的一个或多个上游任务以及每一个所述上游任务对应的多个上游实例;接收多个上游实例分别发送的上游任务的第一处理标识,第一处理标识包括:上游任务标识、上游任务对应的实例总数量以及第一处理标识的序号;根据第一处理标识,确定是否接收到一个或多个上游任务对应的所有处理标识;如果是,根据第一处理标识执行待处理任务,将待处理任务的第二处理标识分别发送给下游任务对应的一个或多个下游实例,并结束当前实例。该实施方式中上下游实例之间基于处理标识的传递实现了实例的安全结束。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种基于多实例的任务处理方法及装置。
背景技术
在使用消息中间件处理任务的过程中,常见的模式是上游任务将自身的结果输出给下游任务,下游任务需要收集完上级任务的所有输出结果后才能继续某些操作(如结束自身的任务或者生成汇总数据等)。
为了提高任务并发效率,上下游任务一般均对应有多个实例,那么上游的各个实例可能将结果分别发送给下游的各个实例,因此亟需一种机制确保上游的多个实例均输出结果后,下游的实例再安全结束。
发明内容
有鉴于此,本发明实施例提供一种基于多实例的任务处理方法及装置,能够根据与待处理任务对应的多个上游实例之间的通信通道,接收多个上游实例分别发送的上游任务的第一处理标识,该第一处理标识中包括上游任务标识、上游任务对应的实例总数量以及第一处理标识的序号,然后在确定接收到上游任务的所有处理标识后,将待处理任务的第二处理标识发送给下游实例,再结束当前实例。由此实现了当前实例在接收到上游任务的所有处理标识后才结束自身,也即上下游实例之间基于处理标识的传递实现了实例的安全结束。
为实现上述目的,根据本发明实施例的一个方面,提供了一种基于多实例的任务处理方法。
本发明实施例的一种基于多实例的任务处理方法包括:
确定待处理任务、所述待处理任务对应的一个或多个上游任务以及每一个所述上游任务对应的多个上游实例;
接收所述多个上游实例分别发送的上游任务的第一处理标识,所述第一处理标识包括:上游任务标识、上游任务对应的实例总数量以及所述第一处理标识的序号;
根据所述第一处理标识,确定是否接收到所述一个或多个上游任务对应的所有处理标识;
如果是,根据所述第一处理标识执行所述待处理任务,将所述待处理任务的第二处理标识分别发送给下游任务对应的一个或多个下游实例,并结束当前实例。
可选地,根据所述第一处理标识和所述当前实例消费的当前消息标识生成事务,并将所述事务提交到消息系统。
可选地,在所述当前实例发生高可用切换后,还包括:
从所述消息系统中提取已提交的所述第一处理标识,并根据所述当前消息标识继续执行所述待处理任务,任务执行中所处理的数据包括业务数据和剩余的第一处理标识。
可选地,在执行所述待处理任务的目标实例为多个的情况下,所述第二处理标识包括:所述待处理任务标识、所述目标实例的总数量以及所述当前实例的序号。
可选地,将每一个所述目标实例作为所述当前实例:在确定接收到所述上游任务对应的所有处理标识后,结束所述当前实例。
可选地,所述根据所述第一处理标识,确定是否接收到所述上游任务对应的所有处理标识,包括:
确定同一个所述上游任务标识对应的一个或多个第一处理标识,并确定所述一个或多个第一处理标识的总数量是否等于所述上游任务对应的实例总数量;
如果是,确定接收到所述上游任务对应的所有处理标识。
为实现上述目的,根据本发明实施例的又一方面,提供了一种基于多实例的任务处理装置。
本发明实施例的一种基于多实例的任务处理装置包括:确定模块、标识接收模块和标识发送模块;其中,
所述确定模块,用于确定待处理任务、所述待处理任务对应的一个或多个上游任务以及每一个所述上游任务对应的多个上游实例;
所述标识接收模块,用于接收所述多个上游实例分别发送的上游任务的第一处理标识,所述第一处理标识包括:上游任务标识、上游任务对应的实例总数量以及所述第一处理标识的序号;
所述标识发送模块,用于根据所述第一处理标识,确定是否接收到所述一个或多个上游任务对应的所有处理标识;如果是,根据所述第一处理标识执行所述待处理任务,将所述待处理任务的第二处理标识分别发送给下游任务对应的一个或多个下游实例,并结束当前实例。
可选地,该装置还包括:处理模块;其中,
所述处理模块,用于根据所述第一处理标识和所述当前实例消费的当前消息标识生成事务,并将所述事务提交到消息系统;在所述当前实例发生高可用切换后,从所述消息系统中提取已提交的所述第一处理标识,并根据所述当前消息标识继续执行所述待处理任务,任务执行中所处理的数据包括业务数据和剩余的第一处理标识。
为实现上述目的,根据本发明实施例的又一方面,提供了一种基于多实例处理任务的电子设备。
本发明实施例的一种基于多实例处理任务的电子设备包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明实施例的一种基于多实例的任务处理方法。
为实现上述目的,根据本发明实施例的再一方面,提供了一种计算机可读存储介质。
本发明实施例的一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现本发明实施例的一种基于多实例的任务处理方法。
上述发明中的一个实施例具有如下优点或有益效果:能够根据与待处理任务对应的多个上游实例之间的通信通道,接收多个上游实例分别发送的上游任务的第一处理标识,该第一处理标识中包括上游任务标识、上游任务对应的实例总数量以及第一处理标识的序号,然后在确定接收到上游任务的所有处理标识后,将待处理任务的第二处理标识发送给下游实例,再结束当前实例。由此实现了当前实例在接收到上游任务的所有处理标识后才结束自身,也即上下游实例之间基于处理标识的传递实现了实例的安全结束。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明,不构成对本发明的不当限定。其中:
图1是根据本发明实施例的一种基于多实例的任务处理方法的主要步骤的示意图;
图2是根据本发明实施例的一种基于多实例的任务处理装置的主要模块的示意图;
图3是本发明实施例可以应用于其中的示例性系统架构图;
图4是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
需要指出的是,在不冲突的情况下,本发明的实施例以及实施例中的技术特征可以相互结合。
在使用消息中间件(如Kafka)进行业务处理的场景中,常见的模式是一些任务处理消息后将结果发给下游任务继续处理。假设上游的两个任务为任务A和任务B,下游任务为任务C。在一些场景下,任务C需要在收集完任务A和任务B的输出结果后才可以做一些操作,比如结束自身的任务或者生成汇总数据等。在任务设计中,通常通过主题进行分区,以提高任务并发效率,也就是说,任务A、任务B和任务C均对应多个并发实例,上下游的实例之间是多对多的关系,例如任务A对应实例A-1、A-2和A-3,任务C对应实例C-1、C-2和C-3,那么,实例A-1的结果可能会发送到实例C-1、C-2和C-3,因此亟需一种机制确保任务A和任务B分别对应的多个实例均主动结束后,下游任务C对应的实例再安全结束。
图1是根据本发明实施例的一种基于多实例的任务处理方法的主要步骤的示意图。
如图1所示,本发明实施例的一种基于多实例的任务处理方法主要包括以下步骤:
步骤S101:确定待处理任务、所述待处理任务对应的一个或多个上游任务以及每一个所述上游任务对应的多个上游实例。
在本发明实施例中,可通过服务框架预先定义多个任务之间的上下游关系,以及每个任务对应的实例数量。该服务框架可专门进行任务状态的管理,并不会由于上下游任务的依赖而变更应用本身的状态。在任务并发启动后,该任务对应的多个实例知晓并发数量以及自身的标识,例如任务A并发数量为3,则任务A对应的三个实例分别可以表示为A-3-1、A-3-2、A-3-3,其中A-3-1中的A为任务标识、3表示并发数量,即任务A对应的实例总数量,1表示实例自身的标识。在当前实例准备执行汇总数据或者结束自身等任务时,需要先确定接收到上游任务的处理标识,因此首先确定待处理任务对应的多个上游实例。例如,待处理任务为任务C,其上游任务为任务A和任务B,那么相应的上游实例为实例A-3-1、A-3-2、A-3-3以及实例B-2-1和B-2-2。
步骤S102:接收所述多个上游实例分别发送的上游任务的第一处理标识,所述第一处理标识包括:上游任务标识、上游任务对应的实例总数量以及所述第一处理标识的序号。
当前实例与上游实例之间可以预先建立通信通道,上游实例在自身的任务结束时,可以利用通信通道向其下游任务对应的实例广播结束消息,结束消息中即包括第一处理标识。在本发明实施例中,下游任务用来接收上游任务发送结束消息的通信通道与下游任务接收上游任务发送业务数据的通信通道相同,而不能采用不同的通信通道来分别接收上游任务发送的业务指令和结束消息。这是由于若采用不同的通信通道来分别接收业务指令或结束消息,那么下游任务需要严格的数据匹配(如数据条数匹配)来确保通过通信通道1收到上游实例的所有结束消息时,也确实通过通信通道2收到了相应的所有业务数据才可以结束自身。而通过同一通信通道来接收业务数据和结束消息则可避免这一问题,从而提高任务执行效率。
在这里,待处理任务C对应的上游任务为任务A和任务B,也即任务C对应的实例为当前实例,任务A和任务B对应的多个实例为上游实例。那么,任务A和任务B对应的任一上游实例在结束自身任务后发送相应的第一处理标识,其中,上游实例可通过广播结束消息的方式,使得当前实例获取到第一处理标识。例如,实例A-3-1在结束自身的任务后广播一条结束消息,其中包括其对应的第一处理标识A-3-1,A-3-1中的A为任务标识、3表示并发数量,即任务A对应的实例总数量,1表示实例自身的标识,也就是该第一处理标识在任务A对应的3个实例中的序号。
步骤S103:根据所述第一处理标识,确定是否接收到所述一个或多个上游任务对应的所有处理标识;如果是,执行步骤S104,否则继续执行步骤S102。
步骤S104:根据所述第一处理标识执行所述待处理任务,将所述待处理任务的第二处理标识分别发送给下游任务对应的一个或多个下游实例,并结束当前实例。
可以理解的是,若待处理任务C对应有多个目标实例,那么,每一个目标实例在准备结束自身或执行汇总数据等操作之前,均需确定已接收到上游任务的所有处理标识,也就是说,每一个目标实例均会作为当前实例来判断是否接收到上游任务对应的所有处理标识,并在确定接收到所有处理标识后,才会结束自身。
具体地,任务C对应的每个当前实例在收到上游任务对应的上游实例发送的第一处理标识后,都会检查是否接收到该上游任务对应的所有处理标识。在本发明一个实施方式中,当前实例针对每一个所述上游任务执行:确定已接收到的第一处理标识的数量是否等于所述上游任务对应的实例总数量;如果是,确定接收到所述上游任务对应的所有处理标识。
例如,当前实例在接收到实例A-3-2发送的第一处理标识后,可知其对应的上游任务标识为A,由此可确定此前是否已接收到任务A对应的其他第一处理标识,若此前已收到实例A-3-1发送的第一处理标识,那么可知已接收到的同一个上游任务标识(A)对应的第一处理标识为A-3-1和A-3-2,此时上游任务A对应的第一处理标识的总数量(2)小于上游任务A对应的实例总数量(3),该实例总数量可从每一个第一上游任务标识中解析得到,因此可以确定还未接收到上游任务A对应的所有处理标识,由此当前实例不能结束自身。若此后接收到上游实例A-3-3发送第一处理标识,那么可以确定当前实例已接收到任务A对应的所有第一处理标识,然后还需再确定是否已接收到任务B对应的所有第一处理标识,若已接收到任务B对应的第一处理标识B-2-1和B-2-2,当前实例才能确定接收到所有上游任务对应的所有处理标识,此时任务C对应的当前实例才能结束自身或执行汇总数据等操作。
在任务C对应的多个目标实例执行完自身任务后,也会相应发送第二处理标识给其下游任务对应的下游实例,若目标实例的下游任务对应有多个下游实例,那么目标实例向下游任务对应的每个下游实例均会发送第二处理标识。在执行待处理任务的目标实例为多个的情况下,第二处理标识包括:待处理任务标识、目标实例的总数量以及所述当前实例的序号。例如,任务C对应的下游任务是任务D,任务C对应的多个目标实例分别为C-3-1、C-3-2和C-3-3,任务D对应的多个实例分别为D-4-1、D-4-2、D-4-3和D-4-4。那么,目标实例C-3-1、C-3-2和C-3-3中的任一个在结束自身任务后,可以广播结束消息,其中包括第二处理标识。与第一处理标识类似的,第二处理标识中也包括任务标识、目标实例的总数量以及当前实例的序号,以任务C对应的目标实例C-3-1所发送的第二处理标识C-3-1为例,其中C为任务标识、3为任务C对应的目标实例总数量,1为目标实例C-3-1在任务C对应的3个目标实例中的序号。实例D-4-1、D-4-2、D-4-3和D-4-4也需在接收到上游发送的所有第二处理标识后,才能结束自身。
根据上述实施例,通过引入任务标识,且该任务标识具有传递性,可从穿越多级数据流。并且,每级任务对应的实例数量可以不同,任务标识可根据每级的实例数量进行拆分和合并,以适应各级数据流的不同并发度。由此每级任务的结束均受上游结束消息的驱动,从而保证每级实例可以安全结束。
另外,为了保证高可用切换后各级实例仍然可以正常结束,在本发明一个实施例中,当前实例可以在接收到每一个第一处理标识后,可以根据第一处理标识和所述当前实例消费的当前消息标识生成事务,并将事务提交到消息系统。也就是说,每接收到一个第一处理标识后,当前实例以事务的方式向消息系统(如Kafka)的特定主题提交该第一处理标识以及当前消费的offset。由此,在高可用切换后,可以从消息系统中提取第一处理标识,并根据当前消息标识继续执行待处理任务,任务执行中所处理的数据包括业务数据和剩余的第一处理标识。
在上述实施例中,第一处理标识、当前消息标识以及业务数据的处理结果虽然均以事务的方式提交到消息系统,但三者可以被单独写入在不同的位置。由此,在高可用切换后可以快速从第一处理标识对应的位置读取出高可用切换前已接收到的一个或多个第一处理标识(也即以事务方式提交过的第一处理标识),而无需重新遍历已经处理过的任务输入队列(包括大量业务数据)来读取第一处理标识,从而可以快速从单独的位置恢复已接收到的一个或多个第一处理标识。在高可用切换后的任务执行过程中,继续接收后续的业务数据以及剩余的第一处理标识(也即在高可用切换前未接收到的第一处理标识)。
例如,在故障后主备节点切换后,备用节点可以从消息系统的特定主题消费出已经收到的第一处理标识,然后断点续作即可保证待处理任务能够正常结束。并且,该过程可以与业务数据隔离开,也就是说,可以在业务系统无感知的情况下实现高可用切换,并保证任务正常结束,由此避免对业务数据产生影响。
根据本发明实施例的一种基于多实例的任务处理方法可以看出,根据与待处理任务对应的多个上游实例之间的通信通道,接收多个上游实例分别发送的上游任务的第一处理标识,该第一处理标识中包括上游任务标识、上游任务对应的实例总数量以及第一处理标识的序号,然后在确定接收到上游任务的所有处理标识后,将待处理任务的第二处理标识发送给下游实例,再结束当前实例。由此实现了当前实例在接收到上游任务的所有处理标识后才结束自身,也即上下游实例之间基于处理标识的传递实现了实例的安全结束。
图2是根据本发明实施例的一种基于多实例的任务处理装置的主要模块的示意图。
如图2所示,本发明实施例的一种基于多实例的任务处理装置200包括:确定模块201、标识接收模块202和标识发送模块203;其中,
所述确定模块201,用于确定待处理任务、所述待处理任务对应的一个或多个上游任务以及每一个所述上游任务对应的多个上游实例;
所述标识接收模块202,用于接收所述多个上游实例分别发送的上游任务的第一处理标识,所述第一处理标识包括:上游任务标识、上游任务对应的实例总数量以及所述第一处理标识的序号;
所述标识发送模块203,用于根据所述第一处理标识,确定是否接收到所述一个或多个上游任务对应的所有处理标识;如果是,根据所述第一处理标识执行所述待处理任务,将所述待处理任务的第二处理标识分别发送给下游任务对应的一个或多个下游实例,并结束当前实例。
在本发明一个实施例中,如图2所示,基于多实例的任务处理装置200还可以包括处理模块204;其中,所述处理模块204,用于根据所述第一处理标识和所述当前实例消费的当前消息标识生成事务,并将所述事务提交到消息系统;在所述当前实例发生高可用切换后,从所述消息系统中提取已提交的所述第一处理标识,并根据所述当前消息标识继续执行所述待处理任务,任务执行中所处理的数据包括业务数据和剩余的第一处理标识。
在本发明一个实施例中,在执行所述待处理任务的目标实例为多个的情况下,所述第二处理标识包括:所述待处理任务标识、所述目标实例的总数量以及所述当前实例的序号。
在本发明一个实施例中,标识发送模块203,用于将每一个所述目标实例作为所述当前实例:在确定接收到所述上游任务对应的所有处理标识后,结束所述当前实例。
在本发明一个实施例中,标识发送模块203,用于针对每一个所述上游任务:确定已接收到的第一处理标识的数量是否等于所述上游任务对应的实例总数量;如果是,确定接收到所述上游任务对应的所有处理标识。
根据本发明实施例的一种基于多实例的任务处理装置可以看出,根据与待处理任务对应的多个上游实例之间的通信通道,接收多个上游实例分别发送的上游任务的第一处理标识,该第一处理标识中包括上游任务标识、上游任务对应的实例总数量以及第一处理标识的序号,然后在确定接收到上游任务的所有处理标识后,将待处理任务的第二处理标识发送给下游实例,再结束当前实例。由此实现了当前实例在接收到上游任务的所有处理标识后才结束自身,也即上下游实例之间基于处理标识的传递实现了实例的安全结束。
图3示出了可以应用本发明实施例的基于多实例的任务处理方法或基于多实例的任务处理装置的示例性系统架构300。
如图3所示,系统架构300可以包括终端设备301、302、303,网络304和服务器305。网络304用以在终端设备301、302、303和服务器305之间提供通信链路的介质。网络304可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备301、302、303通过网络304与服务器305交互,以接收或发送消息等。终端设备301、302、303上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备301、302、303可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器305可以是提供各种服务的服务器,例如对处理标识进行解析的后台管理服务器。后台管理服务器可以对接收到的处理标识等数据进行分析等处理,并将处理结果(例如包括第二处理标识的结束消息)反馈给终端设备。
需要说明的是,本发明实施例所提供的基于多实例的任务处理方法一般由服务器305执行,相应地,基于多实例的任务处理装置一般设置于服务器305中。
应该理解,图3中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
下面参考图4,其示出了适于用来实现本发明实施例的终端设备的计算机系统400的结构示意图。图4示出的终端设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示,计算机系统400包括中央处理单元(CPU)401,其可以根据存储在只读存储器(ROM)402中的程序或者从存储部分408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM 403中,还存储有系统400操作所需的各种程序和数据。CPU 401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
以下部件连接至I/O接口405:包括键盘、鼠标等的输入部分406;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分407;包括硬盘等的存储部分408;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器410上,以便于从其上读出的计算机程序根据需要被安装入存储部分408。
特别地,根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分409从网络上被下载和安装,和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(CPU)401执行时,执行本发明的系统中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中,例如,可以描述为:一种处理器包括确定模块、标识接收模块和标识发送模块。其中,这些模块的名称在某种情况下并不构成对该模块本身的限定,例如,确定模块还可以被描述为“确定上游实例的模块”。
作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括:确定待处理任务、所述待处理任务对应的一个或多个上游任务以及每一个所述上游任务对应的多个上游实例;接收所述多个上游实例分别发送的上游任务的第一处理标识,所述第一处理标识包括:上游任务标识、上游任务对应的实例总数量以及所述第一处理标识的序号;根据所述第一处理标识,确定是否接收到所述一个或多个上游任务对应的所有处理标识;如果是,根据所述第一处理标识执行所述待处理任务,将所述待处理任务的第二处理标识发送给下游实例,并结束当前实例。
根据本发明实施例的技术方案,根据与待处理任务对应的多个上游实例之间的通信通道,接收多个上游实例分别发送的上游任务的第一处理标识,该第一处理标识中包括上游任务标识、上游任务对应的实例总数量以及第一处理标识的序号,然后在确定接收到上游任务的所有处理标识后,将待处理任务的第二处理标识发送给下游实例,再结束当前实例。由此实现了当前实例在接收到上游任务的所有处理标识后才结束自身,也即上下游实例之间基于处理标识的传递实现了实例的安全结束。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
Claims (10)
1.一种基于多实例的任务处理方法,其特征在于,包括:
确定待处理任务、所述待处理任务对应的一个或多个上游任务以及每一个所述上游任务对应的多个上游实例;所述多个上游实例为并发实例,且所述多个上游实例的实例总数量与所述上游任务的并发数量对应;
接收所述多个上游实例分别发送的上游任务的第一处理标识,所述第一处理标识包括:上游任务标识、上游任务对应的所述实例总数量以及所述第一处理标识的序号;具体包括:通过预先建立的通信通道接收所述上游实例广播的结束消息,所述结束消息包括所述第一处理标识;
根据所述第一处理标识,确定是否接收到所述一个或多个上游任务对应的所有处理标识;
如果是,根据所述第一处理标识执行所述待处理任务,将所述待处理任务的第二处理标识分别发送给下游任务对应的一个或多个下游实例,并结束当前实例。
2.根据权利要求1所述的方法,其特征在于,还包括:
根据所述第一处理标识和所述当前实例消费的当前消息标识生成事务,并将所述事务提交到消息系统。
3.根据权利要求2所述的方法,其特征在于,在所述当前实例发生高可用切换后,还包括:
从所述消息系统中提取已提交的所述第一处理标识,并根据所述当前消息标识继续执行所述待处理任务,任务执行中所处理的数据包括业务数据和剩余的第一处理标识。
4.根据权利要求1所述的方法,其特征在于,在执行所述待处理任务的目标实例为多个的情况下,所述第二处理标识包括:所述待处理任务标识、所述目标实例的总数量以及所述当前实例的序号。
5.根据权利要求4所述的方法,其特征在于,
将每一个所述目标实例作为所述当前实例:在确定接收到所述上游任务对应的所有处理标识后,结束所述当前实例。
6.根据权利要求1所述的方法,其特征在于,所述根据所述第一处理标识,确定是否接收到所述一个或多个上游任务对应的所有处理标识,包括:
针对每一个所述上游任务:确定已接收到的第一处理标识的数量是否等于所述上游任务对应的实例总数量;
如果是,确定接收到所述上游任务对应的所有处理标识。
7.一种基于多实例的任务处理装置,其特征在于,包括:确定模块、标识接收模块和标识发送模块;其中,
所述确定模块,用于确定待处理任务、所述待处理任务对应的一个或多个上游任务以及每一个所述上游任务对应的多个上游实例;所述多个上游实例为并发实例,且所述多个上游实例的实例总数量与所述上游任务的并发数量对应;
所述标识接收模块,用于接收所述多个上游实例分别发送的上游任务的第一处理标识,所述第一处理标识包括:上游任务标识、上游任务对应的所述实例总数量以及所述第一处理标识的序号;具体包括:通过预先建立的通信通道接收所述上游实例广播的结束消息,所述结束消息包括所述第一处理标识;
所述标识发送模块,用于根据所述第一处理标识,确定是否接收到所述一个或多个上游任务对应的所有处理标识;如果是,根据所述第一处理标识执行所述待处理任务,将所述待处理任务的第二处理标识分别发送给下游任务对应的一个或多个下游实例,并结束当前实例。
8.根据权利要求7所述的装置,其特征在于,还包括:处理模块;其中,
所述处理模块,用于根据所述第一处理标识和所述当前实例消费的当前消息标识生成事务,并将所述事务提交到消息系统;在所述当前实例发生高可用切换后,从所述消息系统中提取已提交的所述第一处理标识,并根据所述当前消息标识继续执行所述待处理任务,任务执行中所处理的数据包括业务数据和剩余的第一处理标识。
9.一种基于多实例处理任务的电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
10.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310111789.7A CN115827174B (zh) | 2023-02-09 | 2023-02-09 | 一种基于多实例的任务处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310111789.7A CN115827174B (zh) | 2023-02-09 | 2023-02-09 | 一种基于多实例的任务处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115827174A CN115827174A (zh) | 2023-03-21 |
CN115827174B true CN115827174B (zh) | 2023-05-26 |
Family
ID=85521309
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310111789.7A Active CN115827174B (zh) | 2023-02-09 | 2023-02-09 | 一种基于多实例的任务处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115827174B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114579401A (zh) * | 2022-02-28 | 2022-06-03 | 北京字节跳动网络技术有限公司 | 一种任务检测方法、装置、电子设备及存储介质 |
CN114691658A (zh) * | 2022-03-22 | 2022-07-01 | 北京百度网讯科技有限公司 | 一种数据回溯方法、装置、电子设备及存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8661441B2 (en) * | 2011-11-04 | 2014-02-25 | Sap Ag | Transaction load reduction for process completion |
US10853079B2 (en) * | 2018-09-26 | 2020-12-01 | Side Effects Software Inc. | Dependency-based streamlined processing |
CN113342496B (zh) * | 2021-06-24 | 2023-11-21 | 中国农业银行股份有限公司 | 单实例进程切换方法、系统及存储介质 |
CN113535364A (zh) * | 2021-07-29 | 2021-10-22 | 维沃移动通信(杭州)有限公司 | 任务调度方法及装置 |
CN113568716A (zh) * | 2021-07-29 | 2021-10-29 | 上海浦东发展银行股份有限公司 | 一种事务处理方法、装置、电子设备及存储介质 |
CN115617480A (zh) * | 2022-10-21 | 2023-01-17 | 南京中孚信息技术有限公司 | 一种任务调度方法、装置、系统及存储介质 |
-
2023
- 2023-02-09 CN CN202310111789.7A patent/CN115827174B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114579401A (zh) * | 2022-02-28 | 2022-06-03 | 北京字节跳动网络技术有限公司 | 一种任务检测方法、装置、电子设备及存储介质 |
CN114691658A (zh) * | 2022-03-22 | 2022-07-01 | 北京百度网讯科技有限公司 | 一种数据回溯方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115827174A (zh) | 2023-03-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111277639B (zh) | 一种保持数据一致性的方法和装置 | |
CN112583931B (zh) | 消息处理方法、消息中间件、电子设备和存储介质 | |
CN111127181B (zh) | 一种凭证记账方法和装置 | |
CN111478781B (zh) | 一种消息广播的方法和装置 | |
CN111181765A (zh) | 一种任务处理方法和装置 | |
CN110019158A (zh) | 一种监控数据质量的方法和装置 | |
CN112667368A (zh) | 一种任务数据处理方法和装置 | |
US20210149709A1 (en) | Method and apparatus for processing transaction | |
CN117950850A (zh) | 一种数据传输方法、装置、电子设备及计算机可读介质 | |
CN111245939B (zh) | 数据同步方法、装置和系统 | |
CN115827174B (zh) | 一种基于多实例的任务处理方法及装置 | |
CN111767126A (zh) | 分布式批量处理的系统和方法 | |
CN112948138A (zh) | 一种处理消息的方法和装置 | |
US20230093004A1 (en) | System and method for asynchronous backend processing of expensive command line interface commands | |
CN113420275B (zh) | 数据连接处理方法、相关装置及计算机程序产品 | |
CN114756173A (zh) | 文件合并的方法、系统、设备和计算机可读介质 | |
CN115454666A (zh) | 消息队列集群间的数据同步方法和装置 | |
CN113486033A (zh) | 控制事务一致性的方法、装置、设备和计算机可读介质 | |
CN113486032B (zh) | 日期切换方法、装置、电子设备以及计算机可读介质 | |
CN116028245B (zh) | 一种基于消息中间件的业务消息处理方法和装置 | |
CN115981828B (zh) | 一种业务消息处理方法和装置 | |
CN117201483B (zh) | 文件传输方法、装置、电子设备以及存储介质 | |
CN114090524A (zh) | 一种Excel文件分布式导出方法和装置 | |
CN113452739A (zh) | 一种消息处理方法和装置 | |
CN115510103A (zh) | 搜索流程的处理方法、装置、设备、介质及产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |