CN113986569A - 一种消息处理方法、装置和电子设备 - Google Patents

一种消息处理方法、装置和电子设备 Download PDF

Info

Publication number
CN113986569A
CN113986569A CN202111224594.0A CN202111224594A CN113986569A CN 113986569 A CN113986569 A CN 113986569A CN 202111224594 A CN202111224594 A CN 202111224594A CN 113986569 A CN113986569 A CN 113986569A
Authority
CN
China
Prior art keywords
message
messages
thread
consumption
same batch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111224594.0A
Other languages
English (en)
Inventor
黄朝来
宋荣鑫
黄建庭
周鹏
江依旺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Qiyue Information Technology Co Ltd
Original Assignee
Shanghai Qiyue Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Qiyue Information Technology Co Ltd filed Critical Shanghai Qiyue Information Technology Co Ltd
Priority to CN202111224594.0A priority Critical patent/CN113986569A/zh
Publication of CN113986569A publication Critical patent/CN113986569A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • G06F9/546Message passing systems or structures, e.g. queues
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2379Updates performed during online database operations; commit processing

Abstract

本说明书实施例提供一种消息处理方法,获取消息并通过消息调度处理器对当前接收的消息进行路由,将消息路由至消息队列,或者,将消息路由至当前的消费线程,消息队列对接收到的消息进行阻塞堆积,在满足预设的释放条件时将堆积的多条消息作为同一批次释放至所述消费线程,所述消费线程对同一批次的所述多条消息进行标签计算,得到各消息的计算结果,将同一批次各消息的计算结果用同一事务处理任务写入到存储空间中。通过前置的消息队列对接收到的消息进行阻塞堆积,满足条件时将其作为同一批次再释放到消费线程,提高了稳定性,用同一事务处理任务写入到存储空间中,不增加事务数即可写入多条消息的计算结果,提高了处理效率。

Description

一种消息处理方法、装置和电子设备
技术领域
本申请涉及计算机领域,尤其涉及一种消息处理方法、装置和电子设备。
背景技术
在一种业务模式中,需要进行标签的计算,然后根据计算结果进行后续处理,比如存储计算结果,或者,根据计算结果进行搜索等,但是,无论如何处理,都需要进行计算结果的写入。然而,存储空间由于很难支持高并发的写入,使得写入过程效率较低,而且容易受传来消息的数量影响导致写入过程不稳定。
因此,有必要提供一种新的方法,以提高消息处理的效率和稳定性。
发明内容
本说明书实施例提供一种消息处理方法、装置和电子设备,用以提高消息处理的效率和稳定性。
本说明书实施例还提供一种消息处理方法,包括:
获取消息,并通过消息调度处理器对当前接收的消息进行路由,将所述消息路由至消息队列,或者,将所述消息路由至当前的消费线程;
所述消息队列对接收到的消息进行阻塞堆积,在满足预设的释放条件时将堆积的多条消息作为同一批次释放至所述消费线程;
所述消费线程对同一批次的所述多条消息进行标签计算,得到各消息的计算结果,将同一批次各消息的计算结果用同一事务处理任务写入到存储空间中。
可选地,所述存储空间为搜索引擎的内存空间。
可选地,所述消息队列对接收到的消息进行阻塞堆积,包括:
通过所述消息调度处理器配置阻塞参数;
所述消息队列按照所述阻塞参数对消息进行阻塞堆积。
可选地,所述阻塞参数包括:将接收到的多条消息阻塞成同一批消息所依据的接收时长,所述释放条件为:阻塞堆积的耗时达到所述接收时长。
可选地,所述阻塞参数包括:
将接收到的多条消息阻塞成同一批消息所依据的消息条数,所述释放条件为:被阻塞堆积的消息达到所述消息条数。
可选地,所述将所述消息路由至当前的消费线程,包括:
创建多个消费线程,根据各消费线程的消费进度确定当前待接收消息的消费线程,将所述消息路由至所述当前待接收消息的消费线程。
可选地,所述创建多个消费线程,包括:
通过消息调度处理器确定消费线程的预设数量,并按照所述预设数量创建多个消费线程。
可选地,所述将同一批次各消息的计算结果用同一事务处理任务写入到存储空间中,包括:
对应不同批次的消息的计算结果,用不同时刻创建的事务处理任务将其写入到存储空间中。
可选地,所述通过消息调度处理器对当前接收的消息进行路由,包括:
所述消息调度处理器对消费线程的状态进行实时监测;
根据对所述消费线程的状态监测结果确定是否跳过消息队列,以直接将所述消息路由至消费线程。
本说明书实施例还提供一种消息处理装置,包括:
消息路由模块,获取消息,并通过消息调度处理器对当前接收的消息进行路由,将所述消息路由至消息队列,或者将所述消息路由至当前的消费线程;
消息阻塞模块,通过所述消息队列对接收到的消息进行阻塞堆积,在满足预设的释放条件时将堆积的多条消息作为同一批次释放至所述消费线程;
批次写入模块,所述消费线程对同一批次的所述多条消息进行标签计算,得到各消息的计算结果,将同一批次各消息的计算结果用同一事务处理任务写入到存储空间中。
本说明书实施例还提供一种电子设备,其中,该电子设备包括:
处理器;以及,
存储计算机可执行程序的存储器,所述可执行程序在被执行时使所述处理器执行上述任一项方法。
本说明书实施例还提供一种计算机可读存储介质,其中,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被处理器执行时,实现上述任一项方法。
本说明书实施例提供的各种技术方案通过获取消息并通过消息调度处理器对当前接收的消息进行路由,将消息路由至消息队列,或者,将消息路由至当前的消费线程,消息队列对接收到的消息进行阻塞堆积,在满足预设的释放条件时将堆积的多条消息作为同一批次释放至所述消费线程,所述消费线程对同一批次的所述多条消息进行标签计算,得到各消息的计算结果,将同一批次各消息的计算结果用同一事务处理任务写入到存储空间中。通过前置的消息队列对接收到的消息进行阻塞堆积,满足条件时将其作为同一批次再释放到消费线程,提高了稳定性,用同一事务处理任务写入到存储空间中,不增加事务数即可写入多条消息的计算结果,提高了处理效率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本说明书实施例提供的一种消息处理方法的原理示意图;
图2为本说明书实施例提供的一种消息处理装置的结构示意图;
图3为本说明书实施例提供的一种电子设备的结构示意图;
图4为本说明书实施例提供的一种计算机可读介质的原理示意图。
具体实施方式
现在将参考附图更全面地描述本发明的示例性实施例。然而,示例性实施例能够以多种形式实施,且不应被理解为本发明仅限于在此阐述的实施例。相反,提供这些示例性实施例能够使得本发明更加全面和完整,更加便于将发明构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的元件、组件或部分,因而将省略对它们的重复描述。
在符合本发明的技术构思的前提下,在某个特定的实施例中描述的特征、结构、特性或其他细节不排除可以以合适的方式结合在一个或更多其他的实施例中。
在对于具体实施例的描述中,本发明描述的特征、结构、特性或其他细节是为了使本领域的技术人员对实施例进行充分理解。但是,并不排除本领域技术人员可以实践本发明的技术方案而没有特定特征、结构、特性或其他细节的一个或更多。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
术语“和/或”或者“及/或”包括相关联的列出项目中的任一个或多者的所有组合。
图1为本说明书实施例提供的一种消息处理方法的原理示意图,该方法可以包括:
S101:获取消息,并通过消息调度处理器对当前接收的消息进行路由,将所述消息路由至消息队列,或者,将所述消息路由至当前的消费线程。
其中,消息可以是标签处理消息,具体的,可以是标签处理请求,以请求进行标签的计算。
在本说明书实施例中,所述消息可以为客户端发起的携带用户信息和业务数据的标签计算请求。
其中,获取消息,可以是服务器从消息中间件的消息队列中拉取消息。
在本说明书实施例中,所述消息也可以消息中间件中携带用户信息和业务数据的标签计算请求。
其中,获取消息,可以是客户端从消息中间件的消息队列中拉取消息。
在本说明书实施例中,可以构造消息调度处理器,用于从消息中间件的消息队列中拉取消息,并对消息进行后续处理。
具体的处理方式,可以包括确定由哪种方式对消息进行处理,按照对应的流程进行处理,这个过程可以称作路由。
消息调度处理器可以直接将所述消息路由至消息队列,或者,将所述消息路由至当前的消费线程。
消息队列作为消费线程前置积压队列,可以暂时存储消息,通过对消息进行阻塞堆积和释放,可以控制消息的处理进度。
可选地,消息队列可以是有界阻塞队列。这样,由于队列存储的消息数量是有限的,因而消息队列的状态可以反映堆积的消息数量是否达到阈值,从而进行消息的释放,便于管理。
在本说明书实施例中,消费线程可以对消息进行计算和存储。
在本说明书实施例中,所述通过消息调度处理器对当前接收的消息进行路由,可以包括:
所述消息调度处理器对消费线程的状态进行实时监测;
根据对所述消费线程的状态监测结果确定是否跳过消息队列,以直接将所述消息路由至消费线程。
这样,当消费线程空闲时,就可以直接将获取的消息路由至消费线程,对单条消息进行处理,而在消费线程比较繁忙时,就先行堆积,堆积后以一个批次进行处理。
考虑到实际应用时,为了提高处理效率,我们可以创建多个消费线程,并发地对消息进行处理。
在本说明书实施例中,所述将所述消息路由至当前的消费线程,包括:
创建多个消费线程,根据各消费线程的消费进度确定当前待接收消息的消费线程,将所述消息路由至所述当前待接收消息的消费线程。
在一种方式中,我们对消息进行分类,将消息路由至对应类别的消费线程,这样,当前待接收消息的消费线程就是指当前的消息类别所对应的消费线程。
在另一种方式中,我们可以对多个消费线程进行排队,将消息路由至位于排头的消费线程,排头的消费线程接收到消息后,对消息进行处理,并返回队尾继续排队。
在具体实施时,我们可以通过消息调度处理器来设置创建多少的消费线程。
因此,在本说明书实施例中,所述创建多个消费线程,可以包括:
通过消息调度处理器确定消费线程的预设数量,并按照所述预设数量创建多个消费线程。
S102:所述消息队列对接收到的消息进行阻塞堆积,在满足预设的释放条件时将堆积的多条消息作为同一批次释放至所述消费线程。
消息队列通过对接收到的消息进行阻塞堆积,延迟了将消息释放至消费线程的时间,因而减少了数据在线程中的堆积,提高了可靠性。
具体进行阻塞堆积时,可以按照预设的参数来实施。
比如,在一种实施例中,所述消息队列对接收到的消息进行阻塞堆积,可以包括:
通过所述消息调度处理器配置阻塞参数;
所述消息队列按照所述阻塞参数对消息进行阻塞堆积。
具体的,阻塞参数可以包括:将接收到的多条消息阻塞成同一批消息所依据的接收时长,所述释放条件为:阻塞堆积的耗时达到所述接收时长。
这样,可以将预设接收时长内的消息作为同一批,达到接收时长时,进行消息的释放。
或者,所述阻塞参数也包括:
将接收到的多条消息阻塞成同一批消息所依据的消息条数,所述释放条件为:被阻塞堆积的消息达到所述消息条数。
这样,可以将一定数量的消息作为同一批次,达到这个数量后,进行释放。
S103:所述消费线程对同一批次的所述多条消息进行标签计算,得到各消息的计算结果,将同一批次各消息的计算结果用同一事务处理任务写入到存储空间中。
通过获取消息并通过消息调度处理器对当前接收的消息进行路由,将消息路由至消息队列,或者,将消息路由至当前的消费线程,消息队列对接收到的消息进行阻塞堆积,在满足预设的释放条件时将堆积的多条消息作为同一批次释放至所述消费线程,所述消费线程对同一批次的所述多条消息进行标签计算,得到各消息的计算结果,将同一批次各消息的计算结果用同一事务处理任务写入到存储空间中。通过前置的消息队列对接收到的消息进行阻塞堆积,满足条件时将其作为同一批次再释放到消费线程,提高了稳定性,用同一事务处理任务写入到存储空间中,不增加事务数即可写入多条消息的计算结果,提高了处理效率。
在本说明书实施例中,所述存储空间为搜索引擎的内存空间。
这样,搜索引擎便可以根据计算结果进行搜索。
当然,存储空间也可以是数据库,进行计算结果的存储。
由于硬件的事务处理速度是按照每秒的事务处理数计算的,因此,限制写入速度的因素,不仅有写入的数据量,还有创建的事务数,对于n条消息,我们用一个事务处理任务进行写入,比用n个事务处理任务单独进行写入,消耗的时间更短。
因此,在本说明书实施例中,所述将同一批次各消息的计算结果用同一事务处理任务写入到存储空间中,包括:
对应不同批次的消息的计算结果,用不同时刻创建的事务处理任务将其写入到存储空间中。
在本说明书实施例中,可以对消息队列进行监控,监控堆积的消息批次数以及消息详情。
在本说明书实施例中,可以搭建配置中心,用于集成各种配置器。可以在配置中心构造消息调度处理器,这样,在配置中心便可决定是否直接消费不堆积,能够调节最大堆积等待时长限制,能够调节堆积最大消息批次数,能够动态调节消费线程数量。
在一种应用场景中,应用程序拉取消息中间件队列中的消息,消息调度处理器决定是否直接消费消息,还是先对其进行堆积,从而确定将所述消息路由至消息队列,或者,将所述消息路由至当前的消费线程,消息堆积到自定义的前置的消息队列中,实时判断消息队列的消息数是否到达阈值,或者消息等待时长是否到达阈值,如果任一条件大于阈值,则将堆积的消息以一个批次进行释放,交给实际的消费线程池消费,消息经过业务处理计算,经过限流器,就可以落地写入数据库,如果落地成功,就反馈消息处理结果,进行消息确认。
通过以上各种实施例,保障了应用的消费能力,消息堆积之后批量落地与ACK(Acknowledge character,即确认字符),消费能力维持在较高水平;同时定时或者定长(指消息批次数量)消费消息落地,又保障了数据库写入环节的稳定并发,保障了其可用性,同时保障了消息中间件中的消息不积压,不丢失。
图2为本说明书实施例提供的一种消息处理装置的结构示意图,该装置可以包括:
消息路由模块201,获取消息,并通过消息调度处理器对当前接收的消息进行路由,将所述消息路由至消息队列,或者将所述消息路由至当前的消费线程;
消息阻塞模块202,通过所述消息队列对接收到的消息进行阻塞堆积,在满足预设的释放条件时将堆积的多条消息作为同一批次释放至所述消费线程;
批次写入模块203,所述消费线程对同一批次的所述多条消息进行标签计算,得到各消息的计算结果,将同一批次各消息的计算结果用同一事务处理任务写入到存储空间中。
该装置通过获取消息并通过消息调度处理器对当前接收的消息进行路由,将消息路由至消息队列,或者,将消息路由至当前的消费线程,消息队列对接收到的消息进行阻塞堆积,在满足预设的释放条件时将堆积的多条消息作为同一批次释放至所述消费线程,所述消费线程对同一批次的所述多条消息进行标签计算,得到各消息的计算结果,将同一批次各消息的计算结果用同一事务处理任务写入到存储空间中。通过前置的消息队列对接收到的消息进行阻塞堆积,满足条件时将其作为同一批次再释放到消费线程,提高了稳定性,用同一事务处理任务写入到存储空间中,不增加事务数即可写入多条消息的计算结果,提高了处理效率。
基于同一发明构思,本说明书实施例还提供一种电子设备。
下面描述本发明的电子设备实施例,该电子设备可以视为对于上述本发明的方法和装置实施例的具体实体实施方式。对于本发明电子设备实施例中描述的细节,应视为对于上述方法或装置实施例的补充;对于在本发明电子设备实施例中未披露的细节,可以参照上述方法或装置实施例来实现。
图3为本说明书实施例提供的一种电子设备的结构示意图。下面参照图3来描述根据本发明该实施例的电子设备300。图3显示的电子设备300仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图3所示,电子设备300以通用计算设备的形式表现。电子设备300的组件可以包括但不限于:至少一个处理单元310、至少一个存储单元320、连接不同系统组件(包括存储单元320和处理单元310)的总线330、显示单元340等。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元310执行,使得所述处理单元310执行本说明书上述处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如,所述处理单元310可以执行如图1所示的步骤。
所述存储单元320可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)3201和/或高速缓存存储单元3202,还可以进一步包括只读存储单元(ROM)3203。
所述存储单元320还可以包括具有一组(至少一个)程序模块3205的程序/实用工具3204,这样的程序模块3205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线330可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备300也可以与一个或多个外部设备400(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备300交互的设备通信,和/或与使得该电子设备300能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口350进行。并且,电子设备300还可以通过网络适配器360与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。网络适配器360可以通过总线330与电子设备300的其它模块通信。应当明白,尽管图3中未示出,可以结合电子设备300使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述,本领域的技术人员易于理解,本发明描述的示例性实施例可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本发明实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个计算机可读的存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本发明的上述方法。当所述计算机程序被一个数据处理设备执行时,使得该计算机可读介质能够实现本发明的上述方法,即:如图1所示的方法。
图4为本说明书实施例提供的一种计算机可读介质的原理示意图。
实现图1所示方法的计算机程序可以存储于一个或多个计算机可读介质上。计算机可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
综上所述,本发明可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)等通用数据处理设备来实现根据本发明实施例中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,应理解的是,本发明不与任何特定计算机、虚拟装置或者电子设备固有相关,各种通用装置也可以实现本发明。以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (12)

1.一种消息处理方法,其特征在于,包括:
获取消息,并通过消息调度处理器对当前接收的消息进行路由,将所述消息路由至消息队列,或者,将所述消息路由至当前的消费线程;
所述消息队列对接收到的消息进行阻塞堆积,在满足预设的释放条件时将堆积的多条消息作为同一批次释放至所述消费线程;
所述消费线程对同一批次的所述多条消息进行标签计算,得到各消息的计算结果,将同一批次各消息的计算结果用同一事务处理任务写入到存储空间中。
2.根据权利要求1所述的方法,其特征在于,所述存储空间为搜索引擎的内存空间。
3.根据权利要求1-2中任一项所述的方法,其特征在于,所述消息队列对接收到的消息进行阻塞堆积,包括:
通过所述消息调度处理器配置阻塞参数;
所述消息队列按照所述阻塞参数对消息进行阻塞堆积。
4.根据权利要求1-3中任一项所述的方法,其特征在于,所述阻塞参数包括:将接收到的多条消息阻塞成同一批消息所依据的接收时长,所述释放条件为:阻塞堆积的耗时达到所述接收时长。
5.根据权利要求1-4中任一项所述的方法,其特征在于,所述阻塞参数包括:
将接收到的多条消息阻塞成同一批消息所依据的消息条数,所述释放条件为:被阻塞堆积的消息达到所述消息条数。
6.根据权利要求1-5中任一项所述的方法,其特征在于,所述将所述消息路由至当前的消费线程,包括:
创建多个消费线程,根据各消费线程的消费进度确定当前待接收消息的消费线程,将所述消息路由至所述当前待接收消息的消费线程。
7.根据权利要求1-6中任一项所述的方法,其特征在于,所述创建多个消费线程,包括:
通过消息调度处理器确定消费线程的预设数量,并按照所述预设数量创建多个消费线程。
8.根据权利要求1-7中任一项所述的方法,其特征在于,所述将同一批次各消息的计算结果用同一事务处理任务写入到存储空间中,包括:
对应不同批次的消息的计算结果,用不同时刻创建的事务处理任务将其写入到存储空间中。
9.根据权利要求1-8中任一项所述的方法,其特征在于,所述通过消息调度处理器对当前接收的消息进行路由,包括:
所述消息调度处理器对消费线程的状态进行实时监测;
根据对所述消费线程的状态监测结果确定是否跳过消息队列,以直接将所述消息路由至消费线程。
10.一种消息处理装置,其特征在于,包括:
消息路由模块,获取消息,并通过消息调度处理器对当前接收的消息进行路由,将所述消息路由至消息队列,或者将所述消息路由至当前的消费线程;
消息阻塞模块,通过所述消息队列对接收到的消息进行阻塞堆积,在满足预设的释放条件时将堆积的多条消息作为同一批次释放至所述消费线程;
批次写入模块,所述消费线程对同一批次的所述多条消息进行标签计算,得到各消息的计算结果,将同一批次各消息的计算结果用同一事务处理任务写入到存储空间中。
11.一种电子设备,其中,该电子设备包括:
处理器;以及,
存储计算机可执行程序的存储器,所述可执行程序在被执行时使所述处理器执行根据权利要求1-9中任一项所述的方法。
12.一种计算机可读存储介质,其中,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被处理器执行时,实现权利要求1-9中任一项所述的方法。
CN202111224594.0A 2021-10-20 2021-10-20 一种消息处理方法、装置和电子设备 Pending CN113986569A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111224594.0A CN113986569A (zh) 2021-10-20 2021-10-20 一种消息处理方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111224594.0A CN113986569A (zh) 2021-10-20 2021-10-20 一种消息处理方法、装置和电子设备

Publications (1)

Publication Number Publication Date
CN113986569A true CN113986569A (zh) 2022-01-28

Family

ID=79739789

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111224594.0A Pending CN113986569A (zh) 2021-10-20 2021-10-20 一种消息处理方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN113986569A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115277848A (zh) * 2022-07-29 2022-11-01 中国银行股份有限公司 基于消息队列的消息处理方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115277848A (zh) * 2022-07-29 2022-11-01 中国银行股份有限公司 基于消息队列的消息处理方法和装置

Similar Documents

Publication Publication Date Title
US10223166B2 (en) Scheduling homogeneous and heterogeneous workloads with runtime elasticity in a parallel processing environment
US11036547B2 (en) File operation task optimization
US8533334B2 (en) Message binding processing technique
US11507419B2 (en) Method,electronic device and computer program product for scheduling computer resources in a task processing environment
CN109033814B (zh) 智能合约触发方法、装置、设备及存储介质
CN112667414A (zh) 基于消息队列的消息消费方法、装置、计算机设备及介质
CN107832143B (zh) 一种物理机资源的处理方法和装置
CN111581948A (zh) 文档解析方法、装置、设备及存储介质
US9038093B1 (en) Retrieving service request messages from a message queue maintained by a messaging middleware tool based on the origination time of the service request message
EP4113299A2 (en) Task processing method and device, and electronic device
CN108769162B (zh) 分布式消息均衡处理方法、装置、电子设备、存储介质
US20190018718A1 (en) Message queueing in middleware by a message broker
CN109242320B (zh) 订单分配方法、装置、服务器及存储介质
CN110795479A (zh) 基于数据的分布式etl调度的方法和装置
JP2004192047A (ja) メッセージ処理装置、メッセージ処理方法、及びメッセージ処理プログラム
CN110928905A (zh) 一种数据处理方法和装置
CN110851276A (zh) 一种业务请求处理方法、装置、服务器和存储介质
CN110673959A (zh) 用于处理任务的系统、方法和装置
CN115827250A (zh) 一种数据存储方法、装置及设备
CN113986569A (zh) 一种消息处理方法、装置和电子设备
CN115543270B (zh) 基于消息驱动的软件架构方法、系统及设备
CN116431290A (zh) 作业调度方法、装置、设备、介质和程序产品
CN113673872B (zh) 一种补货处理方法、装置、存储介质及电子设备
US10599479B2 (en) Resource sharing management of a field programmable device
CN113986097A (zh) 一种任务调度的方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination