CN112925661B - 消息处理方法、装置、计算机设备及存储介质 - Google Patents
消息处理方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN112925661B CN112925661B CN202110258513.2A CN202110258513A CN112925661B CN 112925661 B CN112925661 B CN 112925661B CN 202110258513 A CN202110258513 A CN 202110258513A CN 112925661 B CN112925661 B CN 112925661B
- Authority
- CN
- China
- Prior art keywords
- message
- time
- delay processing
- processing time
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 213
- 238000000034 method Methods 0.000 claims abstract description 24
- 230000004044 response Effects 0.000 claims description 46
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012423 maintenance Methods 0.000 abstract description 5
- 230000005540 biological transmission Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000003111 delayed effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/547—Remote procedure calls [RPC]; Web services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/544—Remote
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/548—Queue
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明实施例公开了一种消息处理方法、装置、计算机设备及存储介质。所述方法包括:获取各消息对应的延迟处理时间,所述延迟处理时间根据所述消息的接收时间和延时时长确定;在预存的多个延迟处理时间中,确定与系统时间匹配的目标延迟处理时间;获取所述目标延迟处理时间对应的消息,并确定为当前待消费的消息,以添加到消息队列中,以使消费方从所述消息队列中确定并获取所述当前待消费的消息。本发明实施例可以提高延迟精准度,减少运维成本,提高延迟处理效率。
Description
技术领域
本发明实施例涉及数据处理领域,尤其涉及一种消息处理方法、装置、计算机设备及存储介质。
背景技术
越来越多的场景需要满足延迟执行需求。例如,订单成功后,在30分钟内没有支付,自动取消订单;又如,排队系统的发送排队情况通知,在用户预约时间到达前XX分钟发短信通知;或如果订单一直处于某一个未完结状态时,及时处理关单,并退还库存等待。
现有的方法中,延迟处理的业务是使用定时任务去扫描数据库表,找到符合延迟需求的数据进行业务处理。
在这种方式中,每个业务都要维护一个扫表逻辑代码。当业务越来越多时,无法准确保证延时时长,增加数据库的负荷。
发明内容
本发明实施例提供一种消息处理方法、装置、计算机设备及存储介质,可以提高延迟精准度,减少运维成本,提高延迟处理效率。
第一方面,本发明实施例提供了一种消息处理方法,包括:
获取各消息对应的延迟处理时间,所述延迟处理时间根据所述消息的接收时间和延时时长确定;
在预存的多个延迟处理时间中,确定与系统时间匹配的目标延迟处理时间;
获取所述目标延迟处理时间对应的消息,并确定为当前待消费的消息,以添加到消息队列中,以使消费方从所述消息队列中确定并获取所述当前待消费的消息。
第二方面,本发明实施例还提供了一种消息处理装置,包括:
延迟处理时间获取模块,用于获取各消息对应的延迟处理时间,所述延迟处理时间根据所述消息的接收时间和延时时长确定;
目标延迟处理时间确定模块,用于在预存的多个延迟处理时间中,确定与系统时间匹配的目标延迟处理时间;
当前待消费的消息确定模块,用于获取所述目标延迟处理时间对应的消息,并确定为当前待消费的消息,以添加到消息队列中,以使消费方从所述消息队列中确定并获取所述当前待消费的消息。
第三方面,本发明实施例还提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序所述处理器执行所述程序时实现如本发明实施例中任一所述的消息处理方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明实施例中任一所述的消息处理方法。
本发明实施例通过获取各消息对应的延迟处理时间,并在系统时间与目标延迟处理时间匹配时,将目标延迟处理时间对应的消息确定为当前待消费的消息,以添加到消息队列中,从而使消费方能够获取当前待消费的消息,解决定时任务扫表实现延时任务,导致延迟不准且延迟成本高的问题,可以提高延迟时间的精准程度,以及减少扫表的延迟成本,同时减少扫表的代码的运维成本。
附图说明
图1是本发明实施例一中的一种消息处理方法的流程图;
图2a是本发明实施例二中的一种消息处理方法的流程图;
图2b是本发明实施例二中的一种应用场景的示意图;
图3是本发明实施例三中的一种消息处理装置的结构示意图;
图4是本发明实施例四中的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一中的一种消息处理方法的流程图,本实施例可适用于延迟处理消息的情况,该方法可以由本发明实施例提供的消息处理装置来执行,该装置可采用软件和/或硬件的方式实现,并一般可集成计算机设备中。如图1所示,本实施例的方法具体包括:
S110,获取各消息对应的延迟处理时间,所述延迟处理时间根据所述消息的接收时间和延时时长确定。
消息是指在一个系统中多个节点或者一个系统中多个程序之间传输的信息。消息可以是生产方发送,并由消费方订阅获取的消息。本机设备可以采集多个生产方发送的消息,并作为消息中间件,向消费方发送订阅的消息。或者本机设备可以是生产方。
延迟处理时间可以是指消息进行延迟处的时间点。接收时间可以是指,当前系统、当前节点或当前程序接收到生产方发送的消息的时间点。延时时长,可以是指,在接收时间与对该消息进行处理的时间之间的时长。可以在接收到消息中,确定各消息的延迟处理时间,并进行关联存储,以便在后续根据延迟处理时间获取对应的消息。
可选的,延迟处理时间和系统时间为时间戳。
时间戳是指字符串或编码信息用于辨识记录下来的时间日期。为了便于量化时间,将延迟处理时间和系统时间配置为时间戳,便于计算,减少计算的换算成本,提高时间处理的效率,以及提高时间处理的精确性。
S120,在预存的多个延迟处理时间中,确定与系统时间匹配的目标延迟处理时间。
可以收集到的多个存在延迟需求的消息,以及获取各消息对应的延迟处理时间,并进行存储。系统时间可以是指实时的时间,具体可以是指硬件设备的实时时间,系统时间是实时变化累计的。与系统时间匹配的目标延迟处理时间,可以是指系统时间到达延迟处理时间的延迟处理时间,可以理解为,与系统时间相同或相近的延迟处理时间。示例性的,延迟处理时间包括3点、4点和5点,在系统时间到达3点时,3点的延迟处理时间为目标延迟处理时间。
S130,获取所述目标延迟处理时间对应的消息,并确定为当前待消费的消息,以添加到消息队列中,以使消费方从所述消息队列中确定并获取所述当前待消费的消息。
当前待消费的消息,表示需要即时处理的消息。消息可以通过添加到消息队列中,便于消费方从消息队列中确定消息,并获取消息。
消息队列可以是指用于存储消息的中间件,生产方将消息存储在消息队列中,并由消费方根据自己需要从相应的主题(topic)的消息队列中提取数据。其中,主题可以是指消息的类型,还可以作为业务名称。通过消息队列可以降低消息传输的发送方和接收方之间的耦合,同时可以实现异步传输等。
本发明实施例通过获取各消息对应的延迟处理时间,并在系统时间与目标延迟处理时间匹配时,将目标延迟处理时间对应的消息确定为当前待消费的消息,以添加到消息队列中,从而使消费方能够获取当前待消费的消息,解决定时任务扫表实现延时任务,导致延迟不准且延迟成本高的问题,可以提高延迟时间的精准性,以及减少扫表的延迟成本,同时减少扫表的代码的运维成本。
实施例二
图2a为本发明实施例二中的一种消息处理方法的流程图,本实施例以上述实施例为基础进行具体化。将所述在预存的多个延迟处理时间中,确定与系统时间匹配的目标延迟处理时间,具体化为:在预存的多个延迟处理时间中,确定时间最小的延迟处理时间;如果确定所述系统时间大于所述时间最小的延迟处理时间,则将所述时间最小的延迟处理时间确定为与系统时间匹配的目标延迟处理时间。
本实施例的方法具体包括:
S210,获取各消息对应的延迟处理时间,所述延迟处理时间根据所述消息的接收时间和延时时长确定。
本发明实施例中未详细介绍的描述可以参考上述实施例的描述。
可选的,所述获取各消息对应的延迟处理时间,包括:接收消息,并确定所述消息的接收时间;获取所述消息的延时时长;将所述接收时间作为起始时间,并根据所述延时时长,计算所述消息对应的延迟处理时间;将所述消息和对应的延迟处理时间,生成所述消息的元数据;从预存的各消息的元数据中提取各所述消息对应的延迟处理时间。
接收生产方发送的消息,并将接收消息的时间,记录为该消息的接收消息。通常在接收到消息时,可以判断该消息是否需要延迟处理,以及需要延迟处理的消息对应的延时时长。例如,可以从消息所在的数据包中获取延时时长。
以接收时间作为起始时间,累加延时时长,计算得到延迟处理时间。示例性的,接收时间为12点,延时时长为2个小时,延迟处理时间为12+2=14点,也即下午2点。
将消息本身和延迟处理时间作为元数据中的一部分,进行存储。针对每个消息均可以生成元数据,可以为消息配置各种参数,以便为消息的延迟处理进行配置。此外,元数据中还可以包括消息的标识信息、类型(或主题)和响应阈值等中的至少一项。其中,标识信息用于查询元数据,以对查询到的元数据进行后续处理,如删除。示例性的,元数据为:{‘topic':'book’,‘id':'mmmmmm’,‘delayTime’:nnnnnnnnn,’ttrTime':20,‘message':’xxxxxxxx’}。topic字段为消息的主题,用于表示消息添加到的消息队列的类型;id字段为消息的标识信息;delayTime字段为消息的延迟处理时间;ttrTime字段为消息的响应阈值;message字段为消息的内容。message可以以json格式进行存储。其中,元数据可以存储在远程字典服务器(Remote Dictionary Server,redis)中,同时可以通过标识,在redis中查询标识对应的消息。其中,redis支持多种类型的数据结构,如字符串(strings)、散列(hashes)、列表(lists)、集合(sets)和有序集合(sorted sets)等。其中,元数据可以存储成集合。通过redis数据库存储各项消息和数据,可以不依赖业务数据库,能处理秒级的延迟消息任务,而且可以提高延迟队列任务的时效性,同时,业务只需要关系业务逻辑处理,不需关心技术实现和高可用方案,提高开发和运维效率。
通过计算延迟处理时间,并根据消息,生成消息的元数据进行存储,以便后续从元数据中提取需要的内容,可以增加消息的可配置参数,从而灵活配置消息的延迟处理操作。
S220,在预存的多个延迟处理时间中,确定时间最小的延迟处理时间。
时间最小的延迟处理时间可以是指最接近系统时间的延迟处理时间。可以通过量化延迟处理时间,并按照数值大小进行排序,时间最小的延迟处理时间为数值最小的延迟处理时间。示例性的,延迟处理时间包括3点、4点和5点,其中,3点的延迟处理时间为时间最小的延迟处理时间。
S230,如果确定所述系统时间大于所述时间最小的延迟处理时间,则将所述时间最小的延迟处理时间确定为与系统时间匹配的目标延迟处理时间。
系统时间大于时间最小的延迟处理时间,表明系统时间已经过了时间最小的延迟处理时间,也即已经过了时间最小的延迟处理时间所在的时间点。此时,对应的消息需要被消费,相应的,该时间最小的延迟处理时间确定为目标延迟处理时间,对应的消息确定为当前待消费的消息。
如果确定所述系统时间小于等于所述时间最小的延迟处理时间,则等待下周期继续轮询,查找时间最小的延迟处理时间,以及判断时间最小的延迟处理时间与系统时间之间的大小关系。
S240,获取所述目标延迟处理时间对应的消息,并确定为当前待消费的消息,以添加到消息队列中,以使消费方从所述消息队列中确定并获取所述当前待消费的消息。
可选的,所述在预存的多个延迟处理时间中,确定与系统时间匹配的目标延迟处理时间,包括:从各所述元数据中提取各所述消息对应的延迟处理时间和对应的标识信息;建立各所述消息对应的延迟处理时间和对应的标识信息之间的对应关系;将各所述对应关系分别存入多个关系组中;轮询各所述关系组,查询与系统时间匹配的目标延迟处理时间,并确定目标延迟处理时间对应的目标对应关系;所述获取所述目标延迟处理时间对应的消息,包括:从所述目标延迟处理时间对应的目标对应关系中提取目标标识信息;查询所述目标标识信息对应的消息,确定为所述目标延迟处理时间对应的消息。
消息的元数据中还包括消息的标识信息。标识信息用于将对应的消息与其他消息进行区分,即用于唯一标识对应的消息。将各对应关系分别存入多个关系组中,可以是指存在多个关系组,可以将对应关系添加到对应的关系组中,对应关系通常只能添加到一个关系组中。可以随机将对应关系添加到任意一个关系组中,或者可以根据需要,将对应关系选择性的添加到某个关系组中。配置多个关系组,可以并行轮询,查找时间最小的目标延迟处理时间,以及获取目标延迟处理时间对应的目标对应关系,并提取目标标识信息,从而根据目标标识信息查询对应的元数据,从元数据中提取消息。
示例性的,可以在redis配置多个存储空间,如bucket,每个bucket为一个关系组,用于存储一个对应关系。具体的,以标识信息作为值(value),延迟处理时间作为分数(score)存到bucket中,用标识信息取模,放到k(如5)个bucket中,可以并行查询,提高查询效率。还可以配置一个程序或者进程,轮询各个bucket,按照score排序去最小的个,当目标延迟处理时间小于系统时间,取得标识信息从redis中获取元数据。示例性的,可以采用redis中的符合结构zset存储延迟处理时间和标识信息之间的对应关系:使用哈希表(hash)来存储value和score的映射关系;使用跳跃表来提供按照score进行排序的功能,同时可以指定score范围来获取value列表。
通过提取消息的标识信息和延迟处理时间,并建立对应关系进行存储到多个轮询组中,配置多个轮询组,提高查询效率,提高延迟处理效率,并同时仅存储标识信息,不存储消息内容,可以减少存储资源的占用,在确定目标延迟处理时间,查询对应的目标对应关系,并提取目标标识信息,最终查询到对应的消息,可以准确查询到消息。
可选的,在确定为当前待消费的消息之后,还包括:从所述当前待消费的消息的元数据中,提取所述当前待消费的消息的目标标识信息;将所述目标标识信息添加到redis消息队列中,以使订阅所述redis消息队列的所述消费方从所述redis消息队列中获取所述目标标识信息,并确定和读取对应的当前待消费消息。
redis消息队列,可以是指在redis中存储的消息队列。可以配置多个主题的消息队列,将不同主题的消息对应的目标标识信息,添加到相应主题的消息队列中,以便订阅该主题的消费方从该主题的消息队列中获取目标标识信息,并查询到对应的元数据,从中提取消息。其中,redis消息队列可以以redis列表格式进行存储。
通过仅将目标标识信息存储到消息队列中,可以减少消息队列的存储数据量,减少存储成本,并在读取消息时,根据标识信息查询对应的消息,可以准确获取消息。
可选的,消息处理方法还包括:在向所述消费方发送所述当前待消费的消息时,开始计时,统计响应时长;如果所述响应时长小于等于预设响应阈值,且检测到所述消费方反馈的消费响应信息,则删除所述当前待消费的消息的元数据以及在所述redis消息队列中删除所述目标标识信息;如果所述响应时长大于所述响应阈值,且未检测到所述消费方反馈的消费响应信息,则在所述redis消息队列中删除所述目标标识信息。
响应时长可以是指以向消费方消息发送消息的时间为起始点,与以接收到消费方反馈成功接收到该消息的时间为结束点之间的时长。
在响应时长小于等于预设响应阈值,且检测到消费方反馈的消费响应信息,表明在响应阈值内,消费方成功接收到消息。此时,消息已经被消费方成功消费,可以删除该消息的元数据,并在消息队列中删除目标标识信息,以及在关系组中删除目标标识信息所属的目标对应关系。
在响应时长大于响应阈值,且未检测到消费方反馈的消费响应信息,表明在响应阈值内,消费方一直没有成功接收消息,此时,消息传输失败,可以在消息队列中删除目标标识信息,同时,保持存储元数据,以及在关系组中保持存储目标标识信息所属的目标对应关系,以便后续继续轮询到该目标标识信息,重新添加到消息队列中,并发送给消费方,直至消费方接收成功。此外,还可以配置重复添加到消息队列的次数,如果添加的次数大于等于预设次数阈值,则停止轮询到该目标标识信息,可以删除该消息的元数据,并在消息队列中删除目标标识信息,以及在关系组中删除目标标识信息所属的目标对应关系;或者可以选择生成错误报告,提供给用户进行处理。
实际上,消费方轮询对应的主题的消息队列,获取订阅的主题的消息之后,执行相应操作。同时,本机设备从已经被消费方读取的消息的元数据中,读取响应阈值,并统计响应时长。消费方消费该消息之后,会向本机设备反馈消费响应信息,本机设备根据消费响应信息中携带的标识信息,查询对应的元数据并删除。如果在响应阈值内,本机设备没有接收到消费方反馈的消费响应信息,会重新将标识信息放入消息队列中,重新将消息发送给消费方,从而消费方会在响应阈值之后再次收到该消息。此外,如果传输通路断路,则不会收到该消息。
通过配置响应时长,避免标识信息一直占用消息队列的存储空间,及时释放消息队列的资源,合理利用资源,同时,响应时长用于检测是否成功发送给消费方,并在未成功时,重新放入消息队列中,可以提高消息传输系统的容错能力,提高消息传输的稳定性,还可以提高消息的可靠性。
在一个具体的应用场景中,消息为直播应用场景中传输的消息。消息可以是服务器作为生产者生成的消息,并由各直播客户端(主播客户端和/或观众客户端)订阅。例如,消息是在直播间需要进行展示的内容,例如,对于唱歌类型直播间,展示歌曲歌词内容,例如,可以在歌曲播放之后的5秒进行歌词内容展示。又如,对于游戏类型直播间,展示游戏对战信息,例如,可以在游戏开始之后的5分钟进行对战信息的展示。此外,还可以是同一个直播间的不同消息,按照不同延时时长对消息进行展示,或者按照不同的延时时长,执行消息对应的操作。
在一个具体的例子中,如图2b所示,数据池用来存放所有消息的元数据。关系组用于存放多个关系组,每个关系组是一组以时间为维度的有序队列,用来存放所有需要延迟的消息对应的标识信息。轮询模块用于实时扫描各个关系组,并将系统时间大于延迟处理时间的消息对应的标识信息,按照消息的主题添加到对应的消息队列中。消息队列用于存放待消费的消息对应的标识信息,以供消费方(程序或节点)消费。
此外,消息还可以配置有状态信息。例如,状态信息可以包括:可执行状态(ready)、不可执行状态(delay)、已读取状态(reserved)和已消费完成状态(deleted)等。其中,ready表示可执行状态,等待消费;delay表示不可执行状态,等待时钟周期;reserved表示已被消费方读取,但还未得到消费方的响应(delete或finish);deleted表示已被消费完成或者已被删除。在轮询时,如果确定的目标延迟处理时间对应的消息的状态为已消费完成状态,则将忽略该消息,重新轮询新的目标延迟处理时间以及新的消息。如果确定的目标延迟处理时间对应的消息的状态为非已消费完成状态,可以再次确认元数据中延迟处理时间是否小于系统时间,如果小于则根据主题将标识信息放入对应的消息队列中,并从关系组中将目标处理延迟时间所属的对应关系剔除;如果大于等于,则重新将目标延迟处理时间所属的对应关系,按照目标延迟处理时间的排序结果,再次放入关系组中,并将之前的对应关系从关系组中删除。
本发明实施例通过先筛选时间最小的延迟处理时间,并在该延迟处理时间小于系统时间时,确定与系统时间匹配的目标延迟处理时间,经过两步筛选,快速准确确定需要进行处理的消息。
实施例三
图3为本发明实施例三中的一种消息处理装置的示意图。实施例三是实现本发明上述实施例提供的消息处理方法的相应装置,该装置可采用软件和/或硬件的方式实现,并一般可集成计算机设备中。
相应的,本实施例的装置可以包括:
延迟处理时间获取模块310,用于获取各消息对应的延迟处理时间,所述延迟处理时间根据所述消息的接收时间和延时时长确定;
目标延迟处理时间确定模块320,用于在预存的多个延迟处理时间中,确定与系统时间匹配的目标延迟处理时间;
当前待消费的消息确定模块330,用于获取所述目标延迟处理时间对应的消息,并确定为当前待消费的消息,以添加到消息队列中,以使消费方从所述消息队列中确定并获取所述当前待消费的消息。
本发明实施例通过获取各消息对应的延迟处理时间,并在系统时间与目标延迟处理时间匹配时,将目标延迟处理时间对应的消息确定为当前待消费的消息,以添加到消息队列中,从而使消费方能够获取当前待消费的消息,解决定时任务扫表实现延时任务,导致延迟不准且延迟成本高的问题,可以提高延迟时间的精准程度,以及减少扫表的延迟成本,同时减少扫表的代码的运维成本。
进一步的,所述目标延迟处理时间确定模块320,包括:延迟处理筛选单元,用于在预存的多个延迟处理时间中,确定时间最小的延迟处理时间;如果确定所述系统时间大于所述时间最小的延迟处理时间,则将所述时间最小的延迟处理时间确定为与系统时间匹配的目标延迟处理时间。
进一步的,所述延迟处理时间获取模块310,包括:消息元数据生成单元,用于接收消息,并确定所述消息的接收时间;获取所述消息的延时时长;将所述接收时间作为起始时间,并根据所述延时时长,计算所述消息对应的延迟处理时间;将所述消息和对应的延迟处理时间,生成所述消息的元数据;从预存的各消息的元数据中提取各所述消息对应的延迟处理时间。
进一步的,所述目标延迟处理时间确定模块320,包括:对应关系生成单元,用于从各所述元数据中提取各所述消息对应的延迟处理时间和对应的标识信息;建立各所述消息对应的延迟处理时间和对应的标识信息之间的对应关系;将各所述对应关系分别存入多个关系组中;轮询各所述关系组,查询与系统时间匹配的目标延迟处理时间,并确定目标延迟处理时间对应的目标对应关系;所述当前待消费的消息确定模块330,包括:目标标识信息提取单元,用于从所述目标延迟处理时间对应的目标对应关系中提取目标标识信息;查询所述目标标识信息对应的消息,确定为所述目标延迟处理时间对应的消息。
进一步的,所述消息处理装置,还包括:消息队列添加模块,用于在确定为当前待消费的消息之后,从所述当前待消费的消息的元数据中,提取所述当前待消费的消息的目标标识信息;将所述目标标识信息添加到redis消息队列中,以使订阅所述redis消息队列的所述消费方从所述redis消息队列中获取所述目标标识信息,并确定和读取对应的当前待消费消息。
进一步的,所述消息处理装置,还包括:响应检测模块,用于在向所述消费方发送所述当前待消费的消息时,开始计时,统计响应时长;如果所述响应时长小于等于预设响应阈值,且检测到所述消费方反馈的消费响应信息,则删除所述当前待消费的消息的元数据以及在所述redis消息队列中删除所述目标标识信息;如果所述响应时长大于所述响应阈值,且未检测到所述消费方反馈的消费响应信息,则在所述redis消息队列中删除所述目标标识信息。
进一步的,所述延迟处理时间和所述系统时间为时间戳。
上述装置可执行本发明实施例所提供的方法,具备执行方法相应的功能组件和有益效果。
实施例四
图4为本发明实施例四提供的一种计算机设备的结构示意图。图4示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图4显示的计算机设备12仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示,计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,系统存储器28,连接不同系统组件(包括系统存储器28和处理单元16)的总线18。计算机设备12可以是挂接在总线上的设备。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture,ISA)总线,微通道体系结构(Micro Channel Architecture,MCA)总线,增强型ISA总线、视频电子标准协会(Video Electronics Standards Association,VESA)局域总线以及外围组件互连(PerIPheral Component Interconnect,PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图4未显示,通常称为“硬盘驱动器”)。尽管图4中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如紧凑磁盘只读存储器(Compact Disc Read-Only Memory,CD-ROM),数字视盘(Digital Video Disc-Read Only Memory,DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序组件,这些程序组件被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序组件42的程序/实用工具40,可以存储在例如系统存储器28中,这样的程序组件42包括但不限于操作系统、一个或者多个应用程序、其它程序组件以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序组件42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该计算机设备12交互的设备通信,和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(Input/Output,I/O)接口22进行。并且,计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local AreaNetwork,LAN),广域网(Wide Area Network,WAN)通信。如图所示,网络适配器20通过总线18与计算机设备12的其它组件通信。应当明白,尽管图4中未示出,可以结合计算机设备12使用其它硬件和/或软件组件,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列(Redundant Arrays of Inexpensive Disks,RAID)系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现本发明任意实施例所提供的方法。
实施例五
本发明实施例五提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本申请所有发明实施例提供的消息处理方法:
也即,该程序被处理器执行时实现:获取各消息对应的延迟处理时间,所述延迟处理时间根据所述消息的接收时间和延时时长确定;在预存的多个延迟处理时间中,确定与系统时间匹配的目标延迟处理时间;获取所述目标延迟处理时间对应的消息,并确定为当前待消费的消息,以添加到消息队列中,以使消费方从所述消息队列中确定并获取所述当前待消费的消息。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、RAM、只读存储器(Read OnlyMemory,ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于——无线、电线、光缆、无线电频率(RadioFrequency,RF)等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括LAN或WAN——连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (8)
1.一种消息处理方法,其特征在于,包括:
获取各消息对应的延迟处理时间,所述延迟处理时间根据所述消息的接收时间和延时时长确定;
在预存的多个延迟处理时间中,确定与系统时间匹配的目标延迟处理时间;
获取所述目标延迟处理时间对应的消息,并确定为当前待消费的消息,以添加到消息队列中,以使消费方从所述消息队列中确定并获取所述当前待消费的消息;
所述获取各消息对应的延迟处理时间,包括:
接收消息,并确定所述消息的接收时间;
获取所述消息的延时时长;
将所述接收时间作为起始时间,并根据所述延时时长,计算所述消息对应的延迟处理时间;
将所述消息和对应的延迟处理时间,生成所述消息的元数据;
从预存的各消息的元数据中提取各所述消息对应的延迟处理时间;
其中,所述元数据中包括消息的标识信息、类型和响应阈值中的至少一项;
在所述确定为当前待消费的消息之后,还包括:
从所述当前待消费的消息的元数据中,提取所述当前待消费的消息的目标标识信息;
将所述目标标识信息添加到redis消息队列中,以使订阅所述redis消息队列的所述消费方从所述redis消息队列中获取所述目标标识信息,并确定和读取对应的当前待消费消息;
其中,所述元数据存储在redis中,通过标识在redis中查询标识对应的消息。
2.根据权利要求1所述的方法,其特征在于,所述在预存的多个延迟处理时间中,确定与系统时间匹配的目标延迟处理时间,包括:
在预存的多个延迟处理时间中,确定时间最小的延迟处理时间;
如果确定所述系统时间大于所述时间最小的延迟处理时间,则将所述时间最小的延迟处理时间确定为与系统时间匹配的目标延迟处理时间。
3.根据权利要求1所述的方法,其特征在于,所述在预存的多个延迟处理时间中,确定与系统时间匹配的目标延迟处理时间,包括:
从各所述元数据中提取各所述消息对应的延迟处理时间和对应的标识信息;
建立各所述消息对应的延迟处理时间和对应的标识信息之间的对应关系;
将各所述对应关系分别存入多个关系组中;
轮询各所述关系组,查询与系统时间匹配的目标延迟处理时间,并确定目标延迟处理时间对应的目标对应关系;
所述获取所述目标延迟处理时间对应的消息,包括:
从所述目标延迟处理时间对应的目标对应关系中提取目标标识信息;
查询所述目标标识信息对应的消息,确定为所述目标延迟处理时间对应的消息。
4.根据权利要求1所述的方法,其特征在于,还包括:
在向所述消费方发送所述当前待消费的消息时,开始计时,统计响应时长;
如果所述响应时长小于等于预设响应阈值,且检测到所述消费方反馈的消费响应信息,则删除所述当前待消费的消息的元数据以及在所述redis消息队列中删除所述目标标识信息;
如果所述响应时长大于所述响应阈值,且未检测到所述消费方反馈的消费响应信息,则在所述redis消息队列中删除所述目标标识信息。
5.根据权利要求1所述的方法,其特征在于,所述延迟处理时间和所述系统时间为时间戳。
6.一种消息处理装置,其特征在于,包括:
延迟处理时间获取模块,用于获取各消息对应的延迟处理时间,所述延迟处理时间根据所述消息的接收时间和延时时长确定;
目标延迟处理时间确定模块,用于在预存的多个延迟处理时间中,确定与系统时间匹配的目标延迟处理时间;
当前待消费的消息确定模块,用于获取所述目标延迟处理时间对应的消息,并确定为当前待消费的消息,以添加到消息队列中,以使消费方从所述消息队列中确定并获取所述当前待消费的消息;
所述延迟处理时间获取模块,包括:
消息元数据生成单元,用于接收消息,并确定所述消息的接收时间;
获取所述消息的延时时长;
将所述接收时间作为起始时间,并根据所述延时时长,计算所述消息对应的延迟处理时间;
将所述消息和对应的延迟处理时间,生成所述消息的元数据;从预存的各消息的元数据中提取各所述消息对应的延迟处理时间;其中,所述元数据中包括消息的标识信息、类型和响应阈值中的至少一项;
所述消息处理装置,还包括:
消息队列添加模块,用于在确定为当前待消费的消息之后,从所述当前待消费的消息的元数据中,提取所述当前待消费的消息的目标标识信息;
将所述目标标识信息添加到redis消息队列中,以使订阅所述redis消息队列的所述消费方从所述redis消息队列中获取所述目标标识信息,并确定和读取对应的当前待消费消息;
其中,所述元数据存储在redis中,通过标识在redis中查询标识对应的消息。
7.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-5中任一所述的消息处理方法。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-5中任一所述的消息处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110258513.2A CN112925661B (zh) | 2021-03-09 | 2021-03-09 | 消息处理方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110258513.2A CN112925661B (zh) | 2021-03-09 | 2021-03-09 | 消息处理方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112925661A CN112925661A (zh) | 2021-06-08 |
CN112925661B true CN112925661B (zh) | 2024-04-19 |
Family
ID=76172254
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110258513.2A Active CN112925661B (zh) | 2021-03-09 | 2021-03-09 | 消息处理方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112925661B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113595814B (zh) * | 2021-07-06 | 2024-08-23 | 深圳Tcl新技术有限公司 | 消息延迟检测方法、装置、电子设备及存储介质 |
CN113633993B (zh) * | 2021-08-10 | 2024-09-03 | 网易(杭州)网络有限公司 | 一种游戏资源处理方法、装置、设备及存储介质 |
CN114363268B (zh) * | 2022-01-12 | 2023-12-22 | 深圳市天一泓科技有限公司 | 消息延迟消费方法及相关产品 |
CN114979249B (zh) * | 2022-03-30 | 2024-08-09 | 阿里巴巴(中国)有限公司 | 消息句柄的创建方法、消息推送方法及相关装置和系统 |
CN114844844A (zh) * | 2022-04-25 | 2022-08-02 | 平安普惠企业管理有限公司 | 延时消息处理方法、装置、设备及存储介质 |
CN114945005B (zh) * | 2022-05-24 | 2024-02-06 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种消息处理方法及相关设备 |
CN115860734A (zh) * | 2022-12-12 | 2023-03-28 | 上海汇付支付有限公司 | 一种单元化支付方法 |
CN117544573A (zh) * | 2023-11-06 | 2024-02-09 | 中移互联网有限公司 | 消息延时推送方法、装置、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020015186A1 (zh) * | 2018-07-19 | 2020-01-23 | 平安科技(深圳)有限公司 | 实时更新页面数据的方法、装置、电子设备 |
CN111124653A (zh) * | 2019-12-31 | 2020-05-08 | 江苏满运软件科技有限公司 | 延迟消息处理方法、系统、设备和存储介质 |
CN111782414A (zh) * | 2020-05-12 | 2020-10-16 | 北京皮尔布莱尼软件有限公司 | 一种延时消息处理方法及系统 |
-
2021
- 2021-03-09 CN CN202110258513.2A patent/CN112925661B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020015186A1 (zh) * | 2018-07-19 | 2020-01-23 | 平安科技(深圳)有限公司 | 实时更新页面数据的方法、装置、电子设备 |
CN111124653A (zh) * | 2019-12-31 | 2020-05-08 | 江苏满运软件科技有限公司 | 延迟消息处理方法、系统、设备和存储介质 |
CN111782414A (zh) * | 2020-05-12 | 2020-10-16 | 北京皮尔布莱尼软件有限公司 | 一种延时消息处理方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112925661A (zh) | 2021-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112925661B (zh) | 消息处理方法、装置、计算机设备及存储介质 | |
CN109120964B (zh) | 视频集合的消息推送方法、装置、计算机设备及存储介质 | |
CN107818120B (zh) | 基于大数据的数据处理方法和装置 | |
WO2021190087A1 (zh) | 任务执行方法、装置、系统和服务器 | |
CN110147470B (zh) | 一种跨机房数据比对系统及方法 | |
CN104899204B (zh) | 数据存储方法及装置 | |
CN110505495B (zh) | 多媒体资源抽帧方法、装置、服务器及存储介质 | |
CN112231296B (zh) | 一种分布式日志处理方法、装置、系统、设备及介质 | |
CN112328688B (zh) | 数据存储方法、装置、计算机设备及存储介质 | |
CN113886494A (zh) | 即时通讯的消息存储方法、装置、设备及计算机可读介质 | |
CN112115113A (zh) | 数据存储系统、方法、装置、设备以及存储介质 | |
CN111427917A (zh) | 搜索数据处理方法及相关产品 | |
CN113010852B (zh) | 数据的计量统计方法、装置、电子设备及存储介质 | |
CN113114557B (zh) | 消息发送方法、装置、电子设备及存储介质 | |
CN114416717A (zh) | 一种数据处理方法及架构 | |
US11463390B2 (en) | Selecting attachments for electronic mail messages | |
CN113760920A (zh) | 一种数据同步方法、装置、电子设备和存储介质 | |
CN112749204A (zh) | 一种读取数据的方法和装置 | |
CN111291127A (zh) | 一种数据同步方法、装置、服务器及存储介质 | |
CN113891263B (zh) | 短信服务系统及其同步发送方法、异步发送方法 | |
CN116662603B (zh) | 基于kafka的时间轴管控方法、系统、电子设备及存储介质 | |
CN113485893B (zh) | 一种数据采集方法、装置、系统及电子设备 | |
CN117478535B (zh) | 一种日志存储的方法和装置 | |
CN117289868A (zh) | 冷数据的迁移方法、获取方法、装置、介质及电子设备 | |
CN113918759A (zh) | 基于bs架构的音频数据识别结果显示方法、系统及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |