CN117149463A - 消息处理方法、装置、计算机可读存储介质及终端设备 - Google Patents
消息处理方法、装置、计算机可读存储介质及终端设备 Download PDFInfo
- Publication number
- CN117149463A CN117149463A CN202311136123.3A CN202311136123A CN117149463A CN 117149463 A CN117149463 A CN 117149463A CN 202311136123 A CN202311136123 A CN 202311136123A CN 117149463 A CN117149463 A CN 117149463A
- Authority
- CN
- China
- Prior art keywords
- target
- message
- executor
- message processing
- service identifier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 87
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000013507 mapping Methods 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 22
- 230000000903 blocking effect Effects 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000005192 partition Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/542—Event management; Broadcasting; Multicasting; Notifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请属于消息处理技术领域,尤其涉及一种消息处理方法、装置、计算机可读存储介质及终端设备。所述方法包括:获取待处理的目标消息,并确定与目标消息对应的目标业务标识;在任务指派记录中查询与目标业务标识对应的目标执行器;若查询不到目标执行器,则在预设的执行器组中选取并发数最少的执行器作为目标执行器;将目标消息分配至目标执行器中进行消息处理。通过上述方法,可以在任务指派记录中记录与各个业务标识对应的执行器,当在任务指派记录中查询不到与目标业务标识对应的目标执行器时,可以选取闲置程度最高的执行器作为目标执行器,从而可以减少出现数据堵塞的概率,提升消息处理方法的效率。
Description
技术领域
本申请属于消息处理技术领域,尤其涉及一种消息处理方法、装置、计算机可读存储介质及终端设备。
背景技术
随着物联网技术的发展,各类设备的数量正在持续增长,同时,设备产生的消息也正成指数增长。在目前常用的消息处理方法中,会先把待处理的消息缓存至一个或多个消息队列主题(topic),并将具有相同业务标识的消息缓存至同一个消息队列主题,再通过多线程对消息队列主题中的待处理消息进行并发处理,且可以将具有相同业务标识的消息分配至同一处理线程。但当某个处理线程的处理速度过慢或者具有相同业务标识的待处理消息过多时,会抢占处理其它业务标识的待处理消息所需要的资源,造成数据流的分布不均匀,出现数据倾斜的现象。然而,现有的消息处理方法在发生数据倾斜时会出现数据堵塞,导致消息处理方法的效率不高。
发明内容
有鉴于此,本申请实施例提供了一种消息处理方法、装置、计算机可读存储介质及终端设备,以解决现有的消息处理方法在发生数据倾斜时会出现数据堵塞,导致消息处理方法的效率不高的问题。
本申请实施例的第一方面提供了一种消息处理方法,可以包括:
获取待处理的目标消息,并确定与所述目标消息对应的目标业务标识;
在任务指派记录中查询与所述目标业务标识对应的目标执行器;其中,所述任务指派记录中分别记录了与各个业务标识对应的执行器;
若查询不到所述目标执行器,则在预设的执行器组中选取并发数最少的执行器作为所述目标执行器;
将所述目标消息分配至所述目标执行器中进行消息处理。
在第一方面的一种具体实现方式中,在预设的执行器组中选取并发数最少的执行器作为所述目标执行器之后,还可以包括:
将所述目标业务标识与所述目标执行器之间的对应关系添加到所述任务指派记录中。
在第一方面的一种具体实现方式中,在任务指派记录中查询与所述目标业务标识对应的目标执行器之后,还可以包括:
若查询到所述目标执行器,则将所述目标消息分配至所述目标执行器中进行消息处理。
在第一方面的一种具体实现方式中,在将所述目标消息分配至所述目标执行器中进行消息处理之后,还可以包括:
将所述目标执行器的并发数增加一个计数单位。
在第一方面的一种具体实现方式中,在将所述目标消息分配至所述目标执行器中进行消息处理之后,还可以包括:
若所述目标消息被处理完成,则将所述目标执行器的并发数减少一个计数单位。
在第一方面的一种具体实现方式中,在将所述目标消息分配至所述目标执行器中进行消息处理之后,还可以包括:
若与所述目标业务标识对应的消息均被处理完成,则将所述目标业务标识与所述目标执行器之间的对应关系从所述任务指派记录中删除。
在第一方面的一种具体实现方式中,还可以包括:
确定与所述目标消息对应的目标任务索引;
在预设的哈希表中查询所述目标任务索引与所述目标业务标识的映射关系;
若查询到所述映射关系,则不再对所述目标消息进行消息处理。
本申请实施例的第二方面提供了一种消息处理装置,可以包括:
目标业务标识确定模块,用于获取待处理的目标消息,并确定与所述目标消息对应的目标业务标识;
目标执行器查询模块,用于在任务指派记录中查询与所述目标业务标识对应的目标执行器;其中,所述任务指派记录中分别记录了与各个业务标识对应的执行器;
目标执行器选取模块,用于若查询不到所述目标执行器,则在预设的执行器组中选取并发数最少的执行器作为所述目标执行器;
目标消息处理模块,用于将所述目标消息分配至所述目标执行器中进行消息处理。
在第二方面的一种具体实现方式中,所述消息处理装置还可以包括:
对应关系添加模块,用于将所述目标业务标识与所述目标执行器之间的对应关系添加到所述任务指派记录中。
在第二方面的一种具体实现方式中,所述目标执行器选取模块还可以用于若查询到所述目标执行器,则将所述目标消息分配至所述目标执行器中进行消息处理。
在第二方面的一种具体实现方式中,所述消息处理装置还可以包括:
并发数计数增加模块,用于将所述目标执行器的并发数增加一个计数单位。
在第二方面的一种具体实现方式中,所述消息处理装置还可以包括:
并发数计数减少模块,用于若所述目标消息被处理完成,则将所述目标执行器的并发数减少一个计数单位。
在第二方面的一种具体实现方式中,所述消息处理装置还可以包括:
对应关系删除模块,用于若与所述目标业务标识对应的消息均被处理完成,则将所述目标业务标识与所述目标执行器之间的对应关系从所述任务指派记录中删除。
在第二方面的一种具体实现方式中,所述消息处理装置还可以包括:
目标任务索引确定模块,用于确定与所述目标消息对应的目标任务索引;
映射关系查询模块,用于在预设的哈希表中查询由所述目标任务索引与所述目标业务标识的映射关系;
消息处理结束模块,用于若查询到所述映射关系,则不再对所述目标消息进行消息处理。
本申请实施例的第三方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述任一种消息处理方法的步骤。
本申请实施例的第四方面提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任一种消息处理方法的步骤。
本申请实施例的第五方面提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备执行上述任一种消息处理方法的步骤。
本申请实施例与现有技术相比存在的有益效果是:本申请实施例获取待处理的目标消息,并确定与所述目标消息对应的目标业务标识;在任务指派记录中查询与所述目标业务标识对应的目标执行器;其中,所述任务指派记录中分别记录了与各个业务标识对应的执行器;若查询不到所述目标执行器,则在预设的执行器组中选取并发数最少的执行器作为所述目标执行器;将所述目标消息分配至所述目标执行器中进行消息处理。通过本申请实施例,可以在任务指派记录中记录与各个业务标识对应的执行器,当在任务指派记录中查询不到与目标业务标识对应的目标执行器时,可以选取闲置程度最高的执行器作为目标执行器,从而可以减少出现数据堵塞的概率,提升消息处理方法的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为Kafka系统的工作过程的示意图;
图2为本申请实施例中一种消息处理方法的一个实施例流程图;
图3为消费者内部处理过程的示意图;
图4为本申请实施例中一种消息处理装置的一个实施例结构图;
图5为本申请实施例中一种终端设备的示意框图。
具体实施方式
为使得本申请的发明目的、特征、优点能够更加的明显和易懂,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本申请一部分实施例,而非全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
随着物联网技术的发展,各类设备的数量正在持续增长,同时,设备产生的消息也正成指数增长。在目前常用的消息处理方法中,会先把待处理的消息缓存至一个或多个消息队列主题(topic),并将具有相同业务标识的消息缓存至同一个消息队列主题,再通过多线程对消息队列主题中的待处理消息进行并发处理,且可以将具有相同业务标识的消息分配至同一处理线程。但当某个处理线程的处理速度过慢或者具有相同业务标识的待处理消息过多时,会抢占处理其它业务标识的待处理消息所需要的资源,造成数据流的分布不均匀,出现数据倾斜的现象。然而,现有的消息处理方法在发生数据倾斜时会出现数据堵塞,导致消息处理方法的效率不高。
有鉴于此,本申请实施例提供了一种消息处理方法、装置、计算机可读存储介质及终端设备,以解决现有的消息处理方法在发生数据倾斜时会出现数据堵塞,导致消息处理方法的效率不高的问题。
需要说明的是,本申请方法的执行主体为终端设备,具体地,可以包括但不限于桌上型计算机、笔记本、掌上电脑等现有技术中常见的计算设备。
本申请方法可以结合现有技术中常用的消息队列中间件进行设置,包括但不限于Kafka和RocketMQ,此处将以Kafka为例对本申请方法进行说明。具体地,Kafka是一个开源的分布式发布订阅消息系统,其可以包括生产者集群、Kafka服务器和消费者集群;其中,生产者集群即为消息源,可以产生各个待处理的消息,并发布至Kafka服务器的特定主题中;Kafka服务器可以接收生产者集群发布的各个待处理的消息,并按照消息的主题进行消息存储;消费者集群则可以从Kafka服务器中拉取待处理的消息,并提交至消费者集群内部的执行器组对待处理的消息进行处理。
请参阅图1,具体地,Kafka服务器可以按照消息的主题对各个消息(如消息1、消息2、消息3……消息m)进行分类,每个主题下可以有多个队列分区(partition),具有相同业务标识(key)的消息可以按照消息接收的先后顺序存储至同一个队列分区中;而消费者集群(如消费者1和消费者2)则可以从各个队列分区中持续性地拉取消息,对于每次拉取的各个消息,可以分别缓存至多个本地队列中,其中,各个具有相同业务标识的消息可以缓存至同一本地队列;对于每个本地队列,均可以采用一个执行器按照消息缓存的先后顺序进行消息处理,由此,可以保证消费者集群内部的多线程处理也是有序的。
请参阅图2,本申请实施例中一种消息处理方法的一个实施例可以包括:
步骤S201、获取待处理的目标消息,并确定与目标消息对应的目标业务标识。
需要说明的是,每个待处理的消息均可以对应一个具有全局唯一性的业务标识,该业务标识可用于表示和区分产生消息的事件。在实际应用中,某个消息源可以产生连续的事件序列,例如,设备的上线和离线,则设备上线的消息和设备下线的消息可以对应相同的业务标识。在本申请实施例中,消费者可以从队列分区中拉取消息,从而可以获取到目标消息,并确定与目标消息对应的目标业务标识。
步骤S202、在任务指派记录中查询与目标业务标识对应的目标执行器。
其中,任务指派记录中分别记录了与各个业务标识对应的执行器。
需要说明的是,每个业务标识均可以在任务指派记录中记录对应的执行器,用于表示正在处理具有该业务标识的消息的执行器。当具有某个业务标识的各个消息开始处理时,可以建立该业务标识与处理该业务标识的消息的执行器之间的对应关系,而该对应关系可以保存至任务指派记录中;当具有该业务标识的各个消息均处理完成后,则可以将该业务标识与该执行器之间的对应关系从任务指派记录中删除。
例如,目标业务标识为key1,正在处理业务标识为key1的消息的执行器为执行器5,则在任务指派记录中与key1对应的执行器为执行器5。
步骤S203、若查询不到目标执行器,则在预设的执行器组中选取并发数最少的执行器作为目标执行器。
需要说明的是,每个消费者内部均可以有预设的执行器组,其中,执行器组中至少可以包括一个执行器,执行器组中执行器的数目则可以视为执行器组的并行度。执行器组中的每个执行器均可以持有一个工作线程并维护一个本地队列,本地队列中则可以缓存待处理的消息,通过执行器持有的工作线程,可以按照待处理的消息缓存至本地队列的先后顺序对消息进行处理;另外,每个执行器均可以记录与其对应的并发数;其中,某个执行器的并发数为该执行器维护的本地队列中缓存的待处理消息的数目,可用于表示该执行器的闲置程度;若某个执行器的并发数较少,则可以认为该执行器的闲置程度较高;而若某个执行器的并发数较多,则可以认为该执行器的闲置程度较低。
在本申请实施例中,若查询不到目标执行器,则可以认为在目标消息之前的一段较短的时间内,未接收到具有目标业务标识的其它待处理的消息,即目标消息是该段较短的时间内具有目标业务标识的第一个待处理的消息;对于一段时间内具有某个业务标识的第一个待处理的消息,可以选择预设的执行器组中的任意一个执行器开始进行消息处理;此时,可以在预设的执行器组中选取闲置程度最高的执行器作为目标执行器,具体地,可以选取执行器组中并发数最少的执行器作为目标执行器,据此,可以避免由于选取到执行器组中繁忙程度较高的执行器而带来数据堵塞。
步骤S204、将目标消息分配至目标执行器中进行消息处理。
在本申请实施例中,具体可以将目标消息分配至目标执行器,并缓存至目标执行器维护的本地队列中,而目标执行器会对其维护的本地队列中的待处理消息按照缓存的先后顺序进行消息处理。例如,目标执行器维护的本地队列中缓存了三个待处理的消息,按照消息缓存的先后顺序分别为消息1、消息2和目标消息,则可以按照消息1、消息2和目标消息的顺序分别进行消息处理。
需要说明的是,在本申请实施例中,若在任务指派记录中查询到目标执行器,则可以认为在较短的时间内目标消息并非为具有目标业务标识的第一个待处理的消息,在该段较短的时间内,存在至少一个同样具有目标业务标识的待处理的消息分配至目标执行器中;为了保证具有目标业务标识的待处理的消息可以按照缓存的顺序进行处理,此时,可以将目标消息分配至目标执行器中进行消息处理。具体地,可以将目标消息缓存至目标执行器对应的本地队列中,目标执行器会按照本地队列中消息缓存的先后顺序对消息进行消息处理。
例如,在接收到目标消息之前,具有目标业务标识的消息为消息1,且消息1被分配至执行器1中进行消息处理,并缓存至与执行器1对应的本地队列1中,此时,在任务指派记录中与目标业务标识对应的目标执行器为执行器1;在接收到目标消息之后,在任务指派记录中查询到了目标执行器,为了保证消息1和目标消息的处理顺序与获取顺序相同,可以将目标消息分配至执行器1中进行消息处理,此时,可以将目标消息缓存至本地队列1中。由于消息1先于目标消息进入本地队列,故消息1的处理顺序会在目标消息之前,从而可以保证具有目标业务标识的消息的处理顺序与获取顺序一致。
需要理解的是,在将目标消息分配至目标执行器中进行消息处理之后,还可以将目标业务标识与目标执行器之间的对应关系添加到任务指派记录中,并将目标执行器对应的并发数增加一个计数单位;而在目标消息被处理完成后,则可以将目标执行器的并发数减少一个计数单位;其中,本申请实施例中的并发数的计数单位可以为1。若与目标业务标识对应的消息均被处理完成,则可以将目标业务标识与目标执行器之间的对应关系从任务指派记录中删除。
需要说明的是,每个消息均可以对应一个任务索引,用于区别生成消息的消息源和生成消息的时间。
例如,第一消息源在第一时间点产生了与支付操作对应的消息,该消息对应的任务索引可以为任务索引1;同时,第二消息源在第一时间点产生了与退款操作对应的消息,则该消息对应的任务索引可以为任务索引2,从而可以区分在相同时间点由两个消息源产生的消息。
又例如,在第二时间点,第三消息源产生了与支付操作对应的消息,该消息对应的任务索引可以为任务索引3;在第三时间点,第三消息源又产生了与退款操作对应的消息,则该消息对应的任务索引可以为任务索引4,从而可以区分同一消息源在不同时间点产生的消息。
需要理解的是,在实际的消息处理的应用场景下,由于网络波动和业务的可靠性机制,同一消息源可能会在同一时间点产生多个重复的消息,此时,应该避免对这些消息进行重复处理。例如,在业务的可靠性机制中,消息源在同一时间点可能发起了两笔一模一样的支付操作,并产生了任务索引相同的消息1和消息2,此时,应该避免对这两个消息进行重复处理。
因此,在本申请实施例中,还可以对目标消息进行去重操作,若目标消息与此前已产生的消息相同,则应该避免对目标消息进行操作。具体地,对目标消息的去重操作可以包括如下步骤:
步骤S205、确定与目标消息对应的目标任务索引。
在本申请实施例中,可以将目标消息对应的任务索引确定为目标任务索引。例如,目标消息对应的任务索引为任务索引1,则可以将任务索引1确定为目标任务索引。
步骤S206、在预设的哈希表中查询目标任务索引与目标业务标识的映射关系。
需要说明的是,在对消息进行执行器分配时,可以将该消息的任务索引与该消息对应的业务标识之间的映射关系添加到预设的哈希表中;而在该消息被处理完成后,可以将该消息的任务索引与该消息对应的业务标识之间的映射关系从哈希表中删除。
例如,消息1对应的任务索引为任务索引1,对应的业务标识为业务标识1,则在对消息1进行执行器分配时,可以将任务索引1与业务标识1添加到哈希表中;在消息1被处理完成后,可以将任务索引1与业务标识1从哈希表中删除。
步骤S203、若查询到映射关系,则不再对目标消息进行消息处理。
在本申请实施例中,若查询到目标任务索引与目标业务标识之间的映射关系,则可以认为此前已产生与目标消息相同的消息,为避免对相同的消息进行重复处理,此处将不再对目标消息进行消息处理;若查询不到目标任务索引与目标业务标识之间的映射关系,则可以认为此前并未产生与目标消息相同的消息,此时可以按照上述方法对目标消息进行消息处理。
例如,在对消息1进行执行器分配时,由于在预设的哈希表中查询不到消息1的任务索引与其业务标识之间的映射关系,此时,可以将消息1的任务索引与其业务标识之间的映射关系记录于该哈希表中,并将消息1分配至执行器1中进行消息处理;而消息2具有与消息1相同的业务标识与任务索引,因此,可以在哈希表中查询到消息2的任务索引与其业务标识之间的映射关系,此时,将不再对消息2进行消息处理,由此,即可避免对同一消息进行重复处理。
需要说明的是,在对目标消息的处理完成后,可以查询与目标业务标识对应的消息是否均被处理完成。具体地,可以在哈希表中查询是否存在与目标业务标识对应的映射关系记录,若不存在与目标业务标识对应的映射关系记录,则可以认为与目标业务标识对应的消息均被处理完成,此时,可以将目标业务标识与目标执行器之间的对应关系从任务指派记录中删除。
在本申请实施例的一种具体实现方式中,为了更好地对消息处理过程中的资源负载进行控制,可以根据实际需要对执行器组中执行器的数目进行添加或者删减,从而可以控制执行器组的并行度,实现扩容和缩容。
为了便于理解,下面将结合附图对本申请方法进行说明。
请参阅图3,消费者1可以从队列分区中持续性地获取消息,并按照消息获取的先后顺序将各个待处理的消息缓存至消费者1内部的主线程中,并可以分配至各个执行器中,利用执行器持有的工作线程进行消息处理。之后,可以将具有相同业务标识的消息分配至同一个执行器中,此处,可以将业务标识为key1的消息分配至执行器0中进行消息处理;还可以将业务标识为key2的消息分配至执行器0中进行消息处理;还可以将业务标识为key3的消息分配至执行器1中进行消息处理……还可以将业务标识为keyn分配至执行器N进行消息处理。以业务标识为key1的消息为例,具体地,业务标识为key1的消息有消息1、消息2和消息3,消息1对应的任务索引为任务索引1,消息2对应的任务索引为任务索引2,消息3对应的任务索引为任务索引2;在对消息1进行执行器分配时(即目标消息为消息1),由于在哈希表中查询不到任务索引1与key1之间的映射关系,且在任务指派记录中查询不到与key1对应的目标执行器,因此,可以选取并发数最少的执行器0作为目标执行器,并将消息1分配至执行器0中进行消息处理;之后,可以将执行器0的并发数增加1,并将任务索引1与key1之间的映射关系记录于哈希表中,将key1和执行器0之间的对应关系添加到任务指派记录中;在对消息2进行执行器分配时(即目标消息为消息2),由于在哈希表中查询不到任务索引2与key1之间的映射关系,且在任务指派记录中查询到了与key1对应的执行器0,因此,可以选取执行器0作为目标执行器,并将消息2分配至执行器0中进行消息处理;之后,可以将执行器0的并发数增加1,并将任务索引2与key1之间的映射关系记录于哈希表中;在对消息3进行执行器分配时,由于在哈希表中查询到key1与任务索引2之间的映射关系(消息2还未被处理完成),即可确定消息3为重复消息,此时可不再对消息3进行消息处理。
综上所述,本申请实施例获取待处理的目标消息,并确定与所述目标消息对应的目标业务标识;在任务指派记录中查询与所述目标业务标识对应的目标执行器;其中,所述任务指派记录中分别记录了与各个业务标识对应的执行器;若查询不到所述目标执行器,则在预设的执行器组中选取并发数最少的执行器作为所述目标执行器;将所述目标消息分配至所述目标执行器中进行消息处理。通过本申请实施例,可以在任务指派记录中记录与各个业务标识对应的执行器,当在任务指派记录中查询不到与目标业务标识对应的目标执行器时,可以选取闲置程度最高的执行器作为目标执行器,从而可以减少出现数据堵塞的概率,提升消息处理方法的效率。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的一种消息处理方法,图4示出了本申请实施例提供的一种消息处理装置的一个实施例结构图。
本实施例中,一种消息处理装置可以包括:
目标业务标识确定模块401,用于获取待处理的目标消息,并确定与所述目标消息对应的目标业务标识;
目标执行器查询模块402,用于在任务指派记录中查询与所述目标业务标识对应的目标执行器;其中,所述任务指派记录中分别记录了与各个业务标识对应的执行器;
目标执行器选取模块403,用于若查询不到所述目标执行器,则在预设的执行器组中选取并发数最少的执行器作为所述目标执行器;
目标消息处理模块404,用于将所述目标消息分配至所述目标执行器中进行消息处理。
在本申请实施例的一种具体实现方式中,所述消息处理装置还可以包括:
对应关系添加模块,用于将所述目标业务标识与所述目标执行器之间的对应关系添加到所述任务指派记录中。
在本申请实施例的一种具体实现方式中,所述目标执行器选取模块还可以用于若查询到所述目标执行器,则将所述目标消息分配至所述目标执行器中进行消息处理。
在本申请实施例的一种具体实现方式中,所述消息处理装置还可以包括:
并发数计数增加模块,用于将所述目标执行器的并发数增加一个计数单位。
在本申请实施例的一种具体实现方式中,所述消息处理装置还可以包括:
并发数计数减少模块,用于若所述目标消息被处理完成,则将所述目标执行器的并发数减少一个计数单位。
在本申请实施例的一种具体实现方式中,所述消息处理装置还可以包括:
对应关系删除模块,用于若与所述目标业务标识对应的消息均被处理完成,则将所述目标业务标识与所述目标执行器之间的对应关系从所述任务指派记录中删除。
在本申请实施例的一种具体实现方式中,所述消息处理装置还可以包括:
目标任务索引确定模块,用于确定与所述目标消息对应的目标任务索引;
映射关系查询模块,用于在预设的哈希表中查询由所述目标任务索引与所述目标业务标识的映射关系;
消息处理结束模块,用于若查询到所述映射关系,则不再对所述目标消息进行消息处理。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置,模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
图5示出了本申请实施例提供的一种终端设备的示意框图,为了便于说明,仅示出了与本申请实施例相关的部分。
如图5所示,该实施例的终端设备5包括:处理器50、存储器51以及存储在所述存储器51中并可在所述处理器50上运行的计算机程序52。所述处理器50执行所述计算机程序52时实现上述各个消息处理方法实施例中的步骤,例如图2所示的步骤S201至步骤S204。或者,所述处理器50执行所述计算机程序52时实现上述各装置实施例中各模块/单元的功能,例如图4所示模块401至模块404的功能。
示例性的,所述计算机程序52可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器51中,并由所述处理器50执行,以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序52在所述终端设备5中的执行过程。
所述终端设备5可以是桌上型计算机、笔记本、掌上电脑等计算设备。本领域技术人员可以理解,图5仅仅是终端设备5的示例,并不构成对终端设备5的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述终端设备5还可以包括输入输出设备、网络接入设备、总线等。
所述处理器50可以是中央处理单元(Central Processing Unit,CPU),还可以是其它通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器51可以是所述终端设备5的内部存储单元,例如终端设备5的硬盘或内存。所述存储器51也可以是所述终端设备5的外部存储设备,例如所述终端设备5上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器51还可以既包括所述终端设备5的内部存储单元也包括外部存储设备。所述存储器51用于存储所述计算机程序以及所述终端设备5所需的其它程序和数据。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读存储介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (10)
1.一种消息处理方法,其特征在于,包括:
获取待处理的目标消息,并确定与所述目标消息对应的目标业务标识;
在任务指派记录中查询与所述目标业务标识对应的目标执行器;其中,所述任务指派记录中分别记录了与各个业务标识对应的执行器;
若查询不到所述目标执行器,则在预设的执行器组中选取并发数最少的执行器作为所述目标执行器;
将所述目标消息分配至所述目标执行器中进行消息处理。
2.根据权利要求1所述的消息处理方法,其特征在于,在预设的执行器组中选取并发数最少的执行器作为所述目标执行器之后,还包括:
将所述目标业务标识与所述目标执行器之间的对应关系添加到所述任务指派记录中。
3.根据权利要求1所述的消息处理方法,其特征在于,在任务指派记录中查询与所述目标业务标识对应的目标执行器之后,还包括:
若查询到所述目标执行器,则将所述目标消息分配至所述目标执行器中进行消息处理。
4.根据权利要求1所述的消息处理方法,其特征在于,在将所述目标消息分配至所述目标执行器中进行消息处理之后,还包括:
将所述目标执行器的并发数增加一个计数单位。
5.根据权利要求1所述的消息处理方法,其特征在于,在将所述目标消息分配至所述目标执行器中进行消息处理之后,还包括:
若所述目标消息被处理完成,则将所述目标执行器的并发数减少一个计数单位。
6.根据权利要求1所述的消息处理方法,其特征在于,在将所述目标消息分配至所述目标执行器中进行消息处理之后,还包括:
若与所述目标业务标识对应的消息均被处理完成,则将所述目标业务标识与所述目标执行器之间的对应关系从所述任务指派记录中删除。
7.根据权利要求1至6中任一项所述的消息处理方法,其特征在于,还包括:
确定与所述目标消息对应的目标任务索引;
在预设的哈希表中查询所述目标任务索引与所述目标业务标识的映射关系;
若查询到所述映射关系,则不再对所述目标消息进行消息处理。
8.一种消息处理装置,其特征在于,包括:
目标业务标识确定模块,用于获取待处理的目标消息,并确定与所述目标消息对应的目标业务标识;
目标执行器查询模块,用于在任务指派记录中查询与所述目标业务标识对应的目标执行器;其中,所述任务指派记录中分别记录了与各个业务标识对应的执行器;
目标执行器选取模块,用于若查询不到所述目标执行器,则在预设的执行器组中选取并发数最少的执行器作为所述目标执行器;
目标消息处理模块,用于将所述目标消息分配至所述目标执行器中进行消息处理。
9.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的消息处理方法的步骤。
10.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的消息处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311136123.3A CN117149463A (zh) | 2023-09-01 | 2023-09-01 | 消息处理方法、装置、计算机可读存储介质及终端设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311136123.3A CN117149463A (zh) | 2023-09-01 | 2023-09-01 | 消息处理方法、装置、计算机可读存储介质及终端设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117149463A true CN117149463A (zh) | 2023-12-01 |
Family
ID=88905764
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311136123.3A Pending CN117149463A (zh) | 2023-09-01 | 2023-09-01 | 消息处理方法、装置、计算机可读存储介质及终端设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117149463A (zh) |
-
2023
- 2023-09-01 CN CN202311136123.3A patent/CN117149463A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111818112B (zh) | 一种基于Kafka系统的发送消息的方法和装置 | |
CN110109868B (zh) | 用于索引文件的方法、装置和计算机程序产品 | |
CN109240607B (zh) | 一种文件读取方法和装置 | |
WO2023040399A1 (zh) | 一种业务持久化方法及装置 | |
CN110858162A (zh) | 内存管理方法及装置、服务器 | |
CN113094434A (zh) | 数据库同步方法、系统、装置、电子设备及介质 | |
CN110673959A (zh) | 用于处理任务的系统、方法和装置 | |
CN108399175B (zh) | 一种数据存储、查询方法及其装置 | |
CN115599807A (zh) | 一种数据存取方法、装置、应用服务器及存储介质 | |
CN114721594A (zh) | 一种分布式存储方法、装置、设备及机器可读存储介质 | |
CN108255853B (zh) | 一种插件式的请求异步处理方法以及系统 | |
CN113326146A (zh) | 一种消息处理方法、装置、电子设备及存储介质 | |
CN112783644A (zh) | 一种基于高频键值计数的分布式倾斜流处理方法和系统 | |
CN109800184B (zh) | 针对小块输入的缓存方法、系统、装置及可存储介质 | |
US20200301732A1 (en) | Information processing system and non-transitory computer readable medium storing program | |
CN111666045A (zh) | 基于Git系统的数据处理方法、系统、设备及存储介质 | |
CN114785662B (zh) | 一种存储管理方法、装置、设备及机器可读存储介质 | |
CN117149463A (zh) | 消息处理方法、装置、计算机可读存储介质及终端设备 | |
US20230188619A1 (en) | Methods and systems for event management | |
CN113835613B (zh) | 一种文件读取方法、装置、电子设备和存储介质 | |
CN110543362B (zh) | 一种图形处理器管理方法、装置及服务器 | |
CN113419792A (zh) | 一种事件处理方法、装置、终端设备和存储介质 | |
CN114063931A (zh) | 一种基于大数据的数据存储方法 | |
US11340964B2 (en) | Systems and methods for efficient management of advanced functions in software defined storage systems | |
CN113220237A (zh) | 一种分布式存储方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |