CN112905359A - 基于延迟时间的分布式消息处理方法、装置和系统 - Google Patents

基于延迟时间的分布式消息处理方法、装置和系统 Download PDF

Info

Publication number
CN112905359A
CN112905359A CN202110244835.1A CN202110244835A CN112905359A CN 112905359 A CN112905359 A CN 112905359A CN 202110244835 A CN202110244835 A CN 202110244835A CN 112905359 A CN112905359 A CN 112905359A
Authority
CN
China
Prior art keywords
data
consumption
consumed
delayed
delay time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110244835.1A
Other languages
English (en)
Inventor
郝健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Zhongtongji Network Technology Co Ltd
Original Assignee
Shanghai Zhongtongji Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Zhongtongji Network Technology Co Ltd filed Critical Shanghai Zhongtongji Network Technology Co Ltd
Priority to CN202110244835.1A priority Critical patent/CN112905359A/zh
Publication of CN112905359A publication Critical patent/CN112905359A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5018—Thread allocation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及一种基于延迟时间的分布式消息处理方法、装置和系统，方法包括：获取待延迟消费数据和待延迟消费数据对应的延迟时长；待延迟消费数据和延迟时长均携带有待延迟消费数据被发送的初始时间片；将延迟时长存储到配置中心，将待延迟消费数据存储到分布式存储集群；根据当前时间和配置中心存储的所有延迟时长，确定每个初始时间片对应的索引时间片；按照预设检测周期检测分布式存储集群，将得到的每个与索引时间片匹配的待延迟消费数据均作为待消费数据；将所有待消费数据进行消费。采用本方案，用户预先设置待延迟消费数据对应的延迟时长，再将延迟时长存储到配置中心，能够动态设置延迟时长，提高消息延时消费的灵活度和实用性。

Description

基于延迟时间的分布式消息处理方法、装置和系统
技术领域
本发明涉及消息处理技术领域，具体涉及一种基于延迟时间的分布式消息处理方法、装置和系统。
背景技术
互联网公司都会有这样一些需求场景，某条数据需要在一个特定的延迟时间后处理，延时处理该数据的消息即为延迟消息，延迟消息也叫定时消息，是指需要在一段时间后被消费的消息。
现有技术中，对于延时消息的利用，仅仅是延时消息发出后，选择固定的时间点进行消息消费，导致消息延时消费的灵活度较低，延时消息消费的实用性较低。
发明内容
有鉴于此，本发明的目的在于提供一种基于延迟时间的分布式消息处理方法、装置和系统，以解决现有技术中的对于延时消息的利用，仅仅是延时消息发出后，选择固定的时间点进行消息消费，导致消息延时消费的灵活度较低，延时消息消费的实用性较低问题。
为实现以上目的，本发明采用如下技术方案：
一种基于延迟时间的分布式消息处理方法，包括：
获取待延迟消费数据和所述待延迟消费数据对应的延迟时长；所述待延迟消费数据和所述延迟时长均携带有所述待延迟消费数据被发送的初始时间片；
将所述延迟时长存储到配置中心，将所述待延迟消费数据存储到分布式存储集群；
根据当前时间和所述配置中心存储的所有延迟时长，确定每个所述初始时间片对应的索引时间片；
按照预设检测周期，对所述分布式存储集群进行检测，将得到的每个与所述索引时间片相匹配的所述待延迟消费数据均作为待消费数据；
将所有所述待消费数据进行立即消费。
进一步地，上述基于延迟时间的分布式消息处理方法中，所述将所述待消费数据进行立即消费，包括：
获取预先存储到所述配置中心的执行线程数；
利用根据所述执行线程数设置的执行线程，对所述待消费数据进行消费。
进一步地，上述基于延迟时间的分布式消息处理方法，还包括：
接收所述待消费数据的消费反馈；
若所述待消费数据的消费反馈表示消费未成功，将所述待消费数据的消费次数加一，并判断所述消费次数是否超出预先存储到所述配置中心的预设重试次数；
若所述消费次数超出所述预设重试次数，则将所述待消费数据从所述分布式存储集群转移到预先设置的死信队列中，以便对所述待消费数据进行人工干预处理；
若所述消费次数未超出所述预设重试次数，则重新将所述待消费数据存储到所述分布式存储集群中，以便对所述待消费数据进行重新消费。
进一步地，上述基于延迟时间的分布式消息处理方法中，所述接收所述待消费数据的消费反馈之后，还包括：
若所述待消费数据的消息反馈表示消费成功，则将所述待消费数据从所述分布式存储集群移除。
进一步地，上述基于延迟时间的分布式消息处理方法，还包括：
将所述消息反馈表示消费成功的所述待消费数据作为已消费数据；
将所有所述已消费数据存储到已消费信息队列。
本发明还提供了一种基于延迟时间的分布式消息处理装置，包括：
获取模块，用于获取待延迟消费数据和所述待延迟消费数据对应的延迟时长；所述待延迟消费数据和所述延迟时长均携带有所述待延迟消费数据被发送的初始时间片；
存储模块，用于将所述延迟时长存储到配置中心，将所述待延迟消费数据存储到分布式存储集群；
确定模块，用于根据当前时间和所述配置中心存储的所有延迟时长，确定每个所述初始时间片对应的索引时间片；
检测模块，用于按照预设检测周期，对所述分布式存储集群进行检测，将得到的每个与所述索引时间片相匹配的所述待延迟消费数据均作为待消费数据；
消费模块，用于将所有所述待消费数据进行立即消费。
进一步地，上述基于延迟时间的分布式消息处理装置中，所述消费模块包括：线程获取单元和线程消费单元；
所述线程获取单元，用于获取预先存储到所述配置中心的执行线程数；
所述线程消费单元，用于利用根据所述执行线程数设置的执行线程，对所述待消费数据进行消费。
进一步地，上述基于延迟时间的分布式消息处理装置，还包括：接收模块、判断模块和转移模块；
所述接收模块，用于接收所述待消费数据的消费反馈；
所述判断模块，用于若所述待消费数据的消费反馈表示消费未成功，将所述待消费数据的消费次数加一，并判断所述消费次数是否超出预先存储到所述配置中心的预设重试次数；
所述转移模块，用于若所述消费次数超出所述预设重试次数，则将所述待消费数据从所述分布式存储集群转移到预先设置的死信队列中，以便对所述待消费数据进行人工干预处理；若所述消费次数未超出所述预设重试次数，则重新将所述待消费数据存储到所述分布式存储集群中，以便对所述待消费数据进行重新消费。
进一步地，上述基于延迟时间的分布式消息处理装置中，所述转移模块，还用于若所述待消费数据的消息反馈表示消费成功，则将所述待消费数据从所述分布式存储集群移除。
本发明还提供了一种基于延迟时间的分布式消息处理系统，包括：处理器以及与所述处理器相连的存储器；
所述存储器用于存储计算机程序，所述计算机程序至少用于执行上述基于延迟时间的分布式消息处理方法；
所述处理器用于调用并执行所述计算机程序。
一种基于延迟时间的分布式消息处理方法、装置和系统，方法包括：获取待延迟消费数据和待延迟消费数据对应的延迟时长；待延迟消费数据和延迟时长均携带有待延迟消费数据被发送的初始时间片；将延迟时长存储到配置中心，将待延迟消费数据存储到分布式存储集群；根据当前时间和配置中心存储的所有延迟时长，确定每个初始时间片对应的索引时间片；按照预设检测周期，对分布式存储集群进行检测，将得到的每个与索引时间片相匹配的待延迟消费数据均作为待消费数据；将所有待消费数据进行立即消费。采用本发明的技术方案，用户可以预先设置待延迟消费数据对应的延迟时长，再将延迟时长存储到配置中心，并且利用时间片作为索引读取数据，相比于直接通过配置中心固定配置延迟时长，能够实现延迟时长的动态设置，提高消息延时消费的灵活度和延时消息消费的实用性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的基于延迟时间的分布式消息处理方法一种实施例提供的流程图；
图2是本发明的基于延迟时间的分布式消息处理装置一种实施例提供的结构示意图；
图3是本发明的基于延迟时间的分布式消息处理系统一种实施例提供的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
图1是本发明的基于延迟时间的分布式消息处理方法一种实施例提供的流程图，如图1所示，本实施例的基于延迟时间的分布式消息处理方法具体包括如下步骤：
S101、获取待延迟消费数据和待延迟消费数据对应的延迟时长。
本实施例中，用户可以自主设置待延迟消费数据对应的延迟时长，分布式延迟消费的服务器可以获取待延迟消费数据以及该待延迟消费数据对应的延迟时长。其中，待延迟消费数据以及延迟时长均携带有该待延迟消费数据被发送的初始时间片，并且该初始时间片为待延迟消费数据被发送的时间，可精确到秒级别，例如，初始时间片可以为2020-12-11 10:10:03。另外，待延迟消费数据以及延迟时长还可以携带该待延迟消费数据的业务ID。
S102、将延迟时长存储到配置中心，将待延迟消费数据存储到分布式存储集群。
服务器获取到待延迟消费数据和延迟时长后，需要将延迟时长存储到配置中心，将待延迟消费数据存储到分布式存储集群。其中，待延迟消费数据是以列表的形式存储，每一个待延迟消费数据均是列表中的一个元素。分布式存储集群为有序数据集。
S103、根据当前时间和配置中心存储的所有延迟时长，确定每个待延迟消费数据携带的初始时间片对应的索引时间片。
服务器可以根据当前时间和配置中心中存储的所有的延迟时长，计算每个待延迟消费数据携带的初始时间片对应的索引时间片。利用当前时间减去待延迟消费数据对应的延迟时长，便能计算出该待延迟消费数据携带的初始时间片对应的索引时间片。
S104、按照预设检测周期，对分布式存储集群进行检测，将得到的每个与索引时间片相匹配的待延迟消费数据均作为待消费数据。
服务器需要按照预设检测周期对存储到分布式存储集群中的所有待延迟消费数据进行检测，也就是利用每个初始时间片对应的索引时间片与该初始时间片进行匹配，如果索引时间片与其对应的初始时间片相同，则将该初始时间片对应的待延迟消费数据作为待消费数据。其中，预设检测周期为预先设置并存储在配置中心中的数据。
S105、将所有待消费数据进行立即消费。
通过定时检测后，确定的所有待消费数据均需要进行立即消费，从而实现精准的延迟消费。其中，具体的执行步骤如下所述：
第一，获取预先存储到配置中心的执行线程数。
用户可以对执行线程数进行动态设置，设置完成后，执行线程数会存储到配置中心内。在进行数据消费时，首先需要从配置中心中获取预先设置的执行线程数。
第二，利用根据执行线程数设置的执行线程，对待消费数据进行消费。
获取到执行线程数后，服务器会设置相应数量的执行线程。并利用执行线程对所有的消费数据进行消费。其中，执行线程也为子线程，本实施例中主线程仅仅用于检测是否有待消费数据，而对待消费数据进行消费的执行任务则是分派给各个执行线程(子线程)，这样可以确保主线程不堵塞，提高数据消费效率。
本实施例的基于延迟时间的分布式消息处理方法，获取待延迟消费数据和待延迟消费数据对应的延迟时长；待延迟消费数据和延迟时长均携带有待延迟消费数据被发送的初始时间片；将延迟时长存储到配置中心，将待延迟消费数据存储到分布式存储集群；根据当前时间和配置中心存储的所有延迟时长，确定每个初始时间片对应的索引时间片；按照预设检测周期，对分布式存储集群进行检测，将得到的每个与索引时间片相匹配的待延迟消费数据均作为待消费数据；将所有待消费数据进行立即消费。采用本实施例的技术方案，用户可以预先设置待延迟消费数据对应的延迟时长，再将延迟时长存储到配置中心，并且利用时间片作为索引读取数据，相比于直接通过配置中心固定配置延迟时长，能够实现延迟时长的动态设置，提高消息延时消费的灵活度和延时消息消费的实用性。
进一步地，本实施例的基于延迟时间的分布式消息处理方法，还包括如下步骤：
第一，接收待消费数据的消费反馈。
每个待消费数据进行消费后，均会向服务器进行消费反馈。其中，消费反馈可以表示消费成功，也可以表示消费未成功。
第二，若待消费数据的消费反馈表示消费未成功，将待消费数据的消费次数加一，并判断消费次数是否超出预先存储到配置中心的预设重试次数。
如果待消费数据的消费反馈表示消费未成功，那么便将待消费数据的消费次数加一。另外，用户可以对预设重试次数进行动态设置，设置完成后，预设重试次数会存储到配置中心内。服务器需要判断该待消费数据的消费次数是否超过预设重试次数，以便确定是否还可以对该待消费数据的消费进行重试。
第三，若消费次数超出预设重试次数，则将待消费数据从分布式存储集群转移到预先设置的死信队列中，以便对待消费数据进行人工干预处理。
如果判断出待消费数据的消费次数超出了预设重试次数，那么便将该待消费数据冲分布式存储集群中移除，并将其转移到预先设置的死信队列中，这样便可以对死信队列中的待消费数据进行人工干预处理，确保不会丢失任何消息。
第四，若消费次数未超出预设重试次数，则重新将待消费数据存储到分布式存储集群中，以便对待消费数据进行重新消费。
如果判断出待消费数据的消费次数并未超出预设重试次数，那么便可以将原始的待消费数据从分布式存储集群中移除，重新将该待消费数据存储到分布式存储集群中，以便对该待消费数据进行重新消费，这样便会保证之前未完成消费的数据不会丢失。
进一步地，本实施例的基于延迟时间的分布式消息处理方法，还包括：
若待消费数据的消息反馈表示消费成功，则将待消费数据从分布式存储集群移除，从而确保数据不重复消费。其中，本实施例中从分布式存储集群中移除待消费数据可以采用Redis的原子操作。
进一步地，本实施例的基于延迟时间的分布式消息处理方法，还包括如下步骤：
第一，将消息反馈表示消费成功的待消费数据作为已消费数据。
如果待消费数据的消息反馈表示消费成功，那么便将该待消费数据作为已消费数据。
第二，将所有已消费数据存储到已消费信息队列，从而解决分布式存储集群整体宕机后补消费的问题。
为了更全面，对应于本发明实施例提供的基于延迟时间的分布式消息处理方法，本申请还提供了基于延迟时间的分布式消息处理装置。
图2是本发明的基于延迟时间的分布式消息处理装置一种实施例提供的结构示意图，如图2所示，本实施例的基于延迟时间的分布式消息处理装置包括：获取模块11、存储模块12、确定模块13、检测模块14和消费模块15。
获取模块11，用于获取待延迟消费数据和待延迟消费数据对应的延迟时长；待延迟消费数据和延迟时长均携带有待延迟消费数据被发送的初始时间片；
存储模块12，用于将延迟时长存储到配置中心，将待延迟消费数据存储到分布式存储集群；
确定模块13，用于根据当前时间和配置中心存储的所有延迟时长，确定每个初始时间片对应的索引时间片；
检测模块14，用于按照预设检测周期，对分布式存储集群进行检测，将得到的每个与索引时间片相匹配的待延迟消费数据均作为待消费数据；
消费模块15，用于将所有待消费数据进行立即消费。
本实施例的基于延迟时间的分布式消息处理装置，用户可以预先设置待延迟消费数据对应的延迟时长，再将延迟时长存储到配置中心，并且利用时间片作为索引读取数据，相比于直接通过配置中心固定配置延迟时长，能够实现延迟时长的动态设置，提高消息延时消费的灵活度和延时消息消费的实用性。
进一步地，本实施例的基于延迟时间的分布式消息处理装置中，消费模块15包括：线程获取单元和线程消费单元。
线程获取单元，用于获取预先存储到配置中心的执行线程数；
线程消费单元，用于利用根据执行线程数设置的执行线程，对待消费数据进行消费。
进一步地，本实施例的基于延迟时间的分布式消息处理装置，还包括：接收模块、判断模块和转移模块。
接收模块，用于接收待消费数据的消费反馈；
判断模块，用于若待消费数据的消费反馈表示消费未成功，将待消费数据的消费次数加一，并判断消费次数是否超出预先存储到配置中心的预设重试次数；
转移模块，用于若消费次数超出预设重试次数，则将待消费数据从分布式存储集群转移到预先设置的死信队列中，以便对待消费数据进行人工干预处理；若消费次数未超出预设重试次数，则重新将待消费数据存储到分布式存储集群中，以便对待消费数据进行重新消费。
进一步地，本实施例的基于延迟时间的分布式消息处理装置中，转移模块，还用于若待消费数据的消息反馈表示消费成功，则将待消费数据从分布式存储集群移除。
进一步地，本实施例的基于延迟时间的分布式消息处理装置，还包括：存储模块，用于将消息反馈表示消费成功的待消费数据作为已消费数据；将所有已消费数据存储到已消费信息队列。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图3是本发明的基于延迟时间的分布式消息处理系统一种实施例提供的结构示意图，如图3所示，本实施例的基于延迟时间的分布式消息处理系统包括处理器21以及与处理器21相连的存储器22；存储器22用于存储计算机程序，所述计算机程序至少用于执行上述实施例的基于延迟时间的分布式消息处理方法；处理器21用于调用并执行所述计算机程序。
本实施例的基于延迟时间的分布式消息处理系统，用户可以预先设置待延迟消费数据对应的延迟时长，再将延迟时长存储到配置中心，并且利用时间片作为索引读取数据，相比于直接通过配置中心固定配置延迟时长，能够实现延迟时长的动态设置，提高消息延时消费的灵活度和延时消息消费的实用性。
本发明还提供了一种存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现以上的基于延迟时间的分布式消息处理方法的各个步骤。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于延迟时间的分布式消息处理方法，其特征在于，包括：
获取待延迟消费数据和所述待延迟消费数据对应的延迟时长；所述待延迟消费数据和所述延迟时长均携带有所述待延迟消费数据被发送的初始时间片；
将所述延迟时长存储到配置中心，将所述待延迟消费数据存储到分布式存储集群；
根据当前时间和所述配置中心存储的所有延迟时长，确定每个所述初始时间片对应的索引时间片；
按照预设检测周期，对所述分布式存储集群进行检测，将得到的每个与所述索引时间片相匹配的所述待延迟消费数据均作为待消费数据；
将所有所述待消费数据进行立即消费。
2.根据权利要求1所述的基于延迟时间的分布式消息处理方法，其特征在于，所述将所述待消费数据进行立即消费，包括：
获取预先存储到所述配置中心的执行线程数；
利用根据所述执行线程数设置的执行线程，对所述待消费数据进行消费。
3.根据权利要求1所述的基于延迟时间的分布式消息处理方法，其特征在于，还包括：
接收所述待消费数据的消费反馈；
若所述待消费数据的消费反馈表示消费未成功，将所述待消费数据的消费次数加一，并判断所述消费次数是否超出预先存储到所述配置中心的预设重试次数；
若所述消费次数超出所述预设重试次数，则将所述待消费数据从所述分布式存储集群转移到预先设置的死信队列中，以便对所述待消费数据进行人工干预处理；
若所述消费次数未超出所述预设重试次数，则重新将所述待消费数据存储到所述分布式存储集群中，以便对所述待消费数据进行重新消费。
4.根据权利要求3所述的基于延迟时间的分布式消息处理方法，其特征在于，所述接收所述待消费数据的消费反馈之后，还包括：
若所述待消费数据的消息反馈表示消费成功，则将所述待消费数据从所述分布式存储集群移除。
5.根据权利要求4所述的基于延迟时间的分布式消息处理方法，其特征在于，还包括：
将所述消息反馈表示消费成功的所述待消费数据作为已消费数据；
将所有所述已消费数据存储到已消费信息队列。
6.一种基于延迟时间的分布式消息处理装置，其特征在于，包括：
获取模块，用于获取待延迟消费数据和所述待延迟消费数据对应的延迟时长；所述待延迟消费数据和所述延迟时长均携带有所述待延迟消费数据被发送的初始时间片；
存储模块，用于将所述延迟时长存储到配置中心，将所述待延迟消费数据存储到分布式存储集群；
确定模块，用于根据当前时间和所述配置中心存储的所有延迟时长，确定每个所述初始时间片对应的索引时间片；
检测模块，用于按照预设检测周期，对所述分布式存储集群进行检测，将得到的每个与所述索引时间片相匹配的所述待延迟消费数据均作为待消费数据；
消费模块，用于将所有所述待消费数据进行立即消费。
7.根据权利要求6所述的基于延迟时间的分布式消息处理装置，其特征在于，所述消费模块包括：线程获取单元和线程消费单元；
所述线程获取单元，用于获取预先存储到所述配置中心的执行线程数；
所述线程消费单元，用于利用根据所述执行线程数设置的执行线程，对所述待消费数据进行消费。
8.根据权利要求6所述的基于延迟时间的分布式消息处理装置，其特征在于，还包括：接收模块、判断模块和转移模块；
所述接收模块，用于接收所述待消费数据的消费反馈；
所述判断模块，用于若所述待消费数据的消费反馈表示消费未成功，将所述待消费数据的消费次数加一，并判断所述消费次数是否超出预先存储到所述配置中心的预设重试次数；
所述转移模块，用于若所述消费次数超出所述预设重试次数，则将所述待消费数据从所述分布式存储集群转移到预先设置的死信队列中，以便对所述待消费数据进行人工干预处理；若所述消费次数未超出所述预设重试次数，则重新将所述待消费数据存储到所述分布式存储集群中，以便对所述待消费数据进行重新消费。
9.根据权利要求8所述的基于延迟时间的分布式消息处理装置，其特征在于，所述转移模块，还用于若所述待消费数据的消息反馈表示消费成功，则将所述待消费数据从所述分布式存储集群移除。
10.一种基于延迟时间的分布式消息处理系统，其特征在于，包括：处理器以及与所述处理器相连的存储器；
所述存储器用于存储计算机程序，所述计算机程序至少用于执行权利要求1-5任一项所述的基于延迟时间的分布式消息处理方法；
所述处理器用于调用并执行所述计算机程序。
CN202110244835.1A 2021-03-05 2021-03-05 基于延迟时间的分布式消息处理方法、装置和系统 Pending CN112905359A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110244835.1A CN112905359A (zh) 2021-03-05 2021-03-05 基于延迟时间的分布式消息处理方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110244835.1A CN112905359A (zh) 2021-03-05 2021-03-05 基于延迟时间的分布式消息处理方法、装置和系统

Publications (1)

Publication Number Publication Date
CN112905359A true CN112905359A (zh) 2021-06-04

Family

ID=76107728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110244835.1A Pending CN112905359A (zh) 2021-03-05 2021-03-05 基于延迟时间的分布式消息处理方法、装置和系统

Country Status (1)

Country Link
CN (1) CN112905359A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150172199A1 (en) * 2013-11-19 2015-06-18 Huawei Technologies Co., Ltd. Delay request processing method and apparatus based on token bucket
CN106603689A (zh) * 2016-12-26 2017-04-26 努比亚技术有限公司 基于分布式发布订阅消息系统的数据处理方法及装置
WO2017079978A1 (en) * 2015-11-13 2017-05-18 Ebay Inc. Distributed database job data skew detection
CN111045806A (zh) * 2019-12-16 2020-04-21 云南优鸟科技有限公司 延迟消息队列实现方法以及系统
CN112104519A (zh) * 2020-08-06 2020-12-18 北京健康之家科技有限公司 延迟消息的投递方法及装置、存储介质、计算机设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150172199A1 (en) * 2013-11-19 2015-06-18 Huawei Technologies Co., Ltd. Delay request processing method and apparatus based on token bucket
WO2017079978A1 (en) * 2015-11-13 2017-05-18 Ebay Inc. Distributed database job data skew detection
CN106603689A (zh) * 2016-12-26 2017-04-26 努比亚技术有限公司 基于分布式发布订阅消息系统的数据处理方法及装置
CN111045806A (zh) * 2019-12-16 2020-04-21 云南优鸟科技有限公司 延迟消息队列实现方法以及系统
CN112104519A (zh) * 2020-08-06 2020-12-18 北京健康之家科技有限公司 延迟消息的投递方法及装置、存储介质、计算机设备

Similar Documents

Publication Publication Date Title
CN107341062B (zh) 一种数据推送方法、装置、设备以及存储介质
CN110753084B (zh) 上链数据读取方法、缓存服务器及计算机可读存储介质
CN111045807B (zh) 基于zookeeper任务处理的方法、装置、计算机设备及存储介质
CN109299052B (zh) 日志切割方法、装置、计算机设备及存储介质
CN110995618A (zh) 一种消息处理方法、装置、电子设备及可读存储介质
CN105183585A (zh) 一种数据备份方法及装置
CN110968410B (zh) 任务失败重试方法、装置、计算机设备及存储介质
CN106095832A (zh) 分布式并行数据处理方法以及装置
CN111694677A (zh) 消息队列的管理方法、装置、终端和计算机可读存储介质
CN108415765B (zh) 任务调度方法、装置及智能终端
CN112905359A (zh) 基于延迟时间的分布式消息处理方法、装置和系统
CN113626495A (zh) 一种能源管理系统的运行数据采集方法
CN111045885A (zh) 数据库日志文件的处理方法、装置及计算机设备
CN112214394A (zh) 内存泄漏检测方法、装置和设备
CN109034668B (zh) Etl任务调度方法、装置、计算机设备及存储介质
US20150156094A1 (en) Determining Available User Interface Functionality Based on Backend Server Load
CN110795239A (zh) 应用内存泄露的检测方法及装置
CN113595814B (zh) 消息延迟检测方法、装置、电子设备及存储介质
CN111309475B (zh) 一种检测任务执行方法及设备
CN115630011A (zh) 利用cpld实现主从设备i2c总线通信的方法及装置
CN106776597B (zh) 结构化数据的下载方法和装置
CN111694628B (zh) 基于应用程序的线程的页面展示方法及相关设备
CN110278265B (zh) 用户上传文件的处理方法、装置、存储介质和电子设备
CN109871226B (zh) 下载器的配置方法、装置、介质及电子设备
CN113157458A (zh) 快速释放java程序内存方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination