CN115576714B - 基于mq框架确保消息队列消费顺序准确性的方法 - Google Patents

基于mq框架确保消息队列消费顺序准确性的方法 Download PDF

Info

Publication number
CN115576714B
CN115576714B CN202211280267.1A CN202211280267A CN115576714B CN 115576714 B CN115576714 B CN 115576714B CN 202211280267 A CN202211280267 A CN 202211280267A CN 115576714 B CN115576714 B CN 115576714B
Authority
CN
China
Prior art keywords
message
queue
consumption
service
service data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211280267.1A
Other languages
English (en)
Other versions
CN115576714A (zh
Inventor
陈虎
罗小鹏
曾俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhongxing New Cloud Service Co ltd
Original Assignee
Shenzhen Zhongxing New Cloud Service Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhongxing New Cloud Service Co ltd filed Critical Shenzhen Zhongxing New Cloud Service Co ltd
Priority to CN202211280267.1A priority Critical patent/CN115576714B/zh
Publication of CN115576714A publication Critical patent/CN115576714A/zh
Application granted granted Critical
Publication of CN115576714B publication Critical patent/CN115576714B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及基于MQ框架确保消息队列消费顺序准确性的方法，包括如下步骤：步骤一、先将消息消费产生的业务数据以发送Queue‑1、Queue‑2、....、Queue‑N的队列形式发送至生产者的业务服务端口，并对多组发送的业务数据进行分区处理，且由时间戳对业务数据的时间进行标记。通过步骤一到五，实现消息信息数据的分区队列划分和先进先出原则的顺序排序，保证在同一服务端口中的多个消息具有事务特性，使多个对列之间也可保证消息顺序性，能严格保证在集群和单机部署模式下的消息顺序性，以防消费失败，导致消息信息发生阻塞，同时也防止重复消费，再基于MQ框架采用FastDTW公式对各队列信息数据进行精准且全面的计算判断，提高较多消息队列的准确性。

Description

基于MQ框架确保消息队列消费顺序准确性的方法
技术领域
本发明涉及信息技术领域，尤其涉及基于MQ框架确保消息队列消费顺序准确性的方法。
背景技术
MQ技术是目前微服务架构下解耦的利器；目前主流的MQ工具仅能保障在仅有一个消费者下的条件下能顺序消费，但在以下条件下存在消费顺序问题：
1、无法保证按既定要求的消费执行顺序，如：Kafka利用同一个partition来保证顺序消费；但此时如果消费者存在集群部署且多台消费者繁忙程度不一样，顺序无法保证；
2、存在消息堵塞风险，如：对列A中有1W消息，第一条消息如果消费失败，则不修改offset；那么对列中的其他消息均阻塞在对列中，导致对列中的所有消息均无法消费、数据无法正常流转；
3、无法基于MQ框架采用FastDTW公式对各队列信息数据进行精准且全面的计算判断，降低消息队列的准确性。
发明内容
本发明的目的是为了解决现有技术中存在无法保证按既定要求的消费执行顺序、存在消息堵塞风险以及无法基于MQ框架采用FastDTW公式对各队列信息数据进行精准且全面的计算判断，降低消息队列的准确性的缺点，而提出的基于MQ框架确保消息队列消费顺序准确性的方法。
为了实现上述目的，本发明采用了如下技术方案：
1、基于MQ框架确保消息队列消费顺序准确性的方法，包括如下步骤：
步骤一、先将消息消费产生的业务数据以发送Queue-1、Queue-2、....、Queue-N的队列形式发送至生产者的业务服务端口，并对多组发送的业务数据进行分区处理，且由时间戳对业务数据的时间进行标记；
步骤二、再将处理后生产者的业务服务端口产生的各业务数据发送至zfs-mqs进行全局消息（MongoDB）保存，再对保存的全局消息进行统一补偿；
步骤三、后对生产者的业务服务端口产生的业务数据统一补偿后保存的全局业务数据存入本地消息表中；
步骤四、接着再将处理后的业务数据以发送Queue-1、Queue-2、....、Queue-N的队列形式发送至MQ端，对业务数据的消费消息进行处理，再根据FastDTW公式计算判断Redis是否存在，FastDTW公式以Redis消费记录的时间序列相似性、不确定时间序列以及期望距离作为判断依据，在FastDTW公式以时间序列相似性作为判断依据时，先对Redis消费记录的时间序列按照C={S1、S1...Sn}进行设定，其中N表示时间序列的数量，则FastDTW公式为：RQ（Q、C、ε）={S|S∈C|distance（Q，S）≤ε}，其中ε为距离阈值，在FastDTW公式以不确定时间序列作为判断依据时，先将不确定时间序列中的每个数据队列元素设置为x，即：X=r（x）+ε（x），其中r（x）表示该数据队列元素的真实值，ε（x）表示该数据队列元素的误差值，并将不确定时间序列中的总时间设置为T，即T=（t1、t2....ti），且ti是在时间戳i对真实值的随机变量，在FastDTW公式以期望距离作为判断依据时，期望距离是指两个时间序列X和Y的概率分布为f（X）和f（Y），则f（X）和f（Y）的期望距离为：E（X、Y）=∫+∞ -∞∫+∞ -∞pointsdis（x，y）fx，y（x，y）dxdy，其中，pointsdis（x，y）用||x-y||2表示，即x2+y2-2|xy|，推导出E（X、Y）=E（X2）+E（Y2）-2E（X）E（Y）={（E（X）-E（Y））}2+Var（X）+Var（Y），FastDTW公式在执行MQ框架的计算步骤为：
A、先输入采集到的序列A以及待检测的确定时间序列B；
B、FastDTW算法以Redis消费记录的时间序列相似性、不确定时间序列以及期望距离作为判断依据执行，当粗粒度进行到第n次细粒度化时，其中（n>3），把细粒度化好的矩阵放入MQ框架中执行计算；
C、执行MR计算：
C1、由于FastDTW的计算矩阵是n*m矩阵，先将序列X划分为长度分别为[m/p]的p个子序列X0，X1，…Xp-1，再将序列Y划分为长度分别为[n/q]的q个子序列Y0，Y1，…Yp-1，构造p*q个子矩阵Mf*g，fε[1，p]，gε[1，q]，且每个子矩阵的规模为[m*n]/[p*q]；
C2、每个子矩阵求的路径作为key值，编号作为value值进行排序；
C3、排序过后的值传入Reduce部分进行路径汇总筛选，并规约在一起得出Redis中业务队列总的动态规约路径，若Redis存在时，则调用业务服务完成业务处理，并到达消费者的业务服务端，然后再根据当前顺序业务数据的处理批次进行Redis消费记录，最后再发送下一条业务数据消息，以此类推，直至所有顺序的队列业务数据处理完成为止；
步骤五、若Redis不存在时，返回初始级再次处理判断，并作出告警措施。
优选的，所述在步骤一中，由消息生产组件对发送的队列形式业务数据根据业务ID进行分区计算，且对每条业务数据划分为一个虚拟分区，并在分区内利用先进先出原则对同一业务数据下多个消息按照顺序整理，直至投递的队列消息整理消费完毕为止。
优选的，所述在步骤二中，全局消息保存完成后，对保存的全局消息进行实时监控，且按照消息积压、消费失败依据进行初期实时告警。
优选的，所述在步骤三中，登录可视化消息管理界面，对统一补偿后消息的生命周期进行跟踪，查看消息的创建时间、消费时间、消息内容、补偿次数、失败原因情况，对于未补偿的消息可由手动补偿消息手段进行处理。
优选的，所述在步骤四中，投递的队列消息处理完成后，再按照队列数据来源统一消息消费者，并从MQ中获取消息后进行幂重复消费判断。
与现有技术相比，本发明的有益效果是：
该基于MQ框架确保消息队列消费顺序准确性的方法，通过步骤一到五，实现消息信息数据的分区队列划分和先进先出原则的顺序排序，保证在同一服务端口中的多个消息具有事务特性，使多个对列之间也可保证消息顺序性，能严格保证在集群和单机部署模式下的消息顺序性，以防消费失败，导致消息信息发生阻塞，同时也防止重复消费，再基于MQ框架采用FastDTW公式对各队列信息数据进行精准且全面的计算判断，提高较多消息队列的准确性。
附图说明
图1为本发明提出的基于MQ框架确保消息队列消费顺序准确性的方法的方法流程图；
图2为本发明提出的FastDTW细粒度变化计算过程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
实施例一
参照图1-2，基于MQ框架确保消息队列消费顺序准确性的方法，包括如下步骤：
步骤一、先将消息消费产生的业务数据以发送Queue-1、Queue-2、....、Queue-N的队列形式发送至生产者的业务服务端口，并对多组发送的业务数据进行分区处理，且由时间戳对业务数据的时间进行标记；
步骤二、再将处理后生产者的业务服务端口产生的各业务数据发送至zfs-mqs进行全局消息（MongoDB）保存，再对保存的全局消息进行统一补偿；
步骤三、后对生产者的业务服务端口产生的业务数据统一补偿后保存的全局业务数据存入本地消息表中；
步骤四、接着再将处理后的业务数据以发送Queue-1、Queue-2、....、Queue-N的队列形式发送至MQ端，对业务数据的消费消息进行处理，再根据FastDTW公式计算判断Redis是否存在，FastDTW公式以Redis消费记录的时间序列相似性、不确定时间序列以及期望距离作为判断依据，在FastDTW公式以时间序列相似性作为判断依据时，先对Redis消费记录的时间序列按照C={S1、S1...Sn}进行设定，其中N表示时间序列的数量，则FastDTW公式为：RQ（Q、C、ε）={S|S∈C|distance（Q，S）≤ε}，其中ε为距离阈值，在FastDTW公式以不确定时间序列作为判断依据时，先将不确定时间序列中的每个数据队列元素设置为x，即：X=r（x）+ε（x），其中r（x）表示该数据队列元素的真实值，ε（x）表示该数据队列元素的误差值，并将不确定时间序列中的总时间设置为T，即T=（t1、t2....ti），且ti是在时间戳i对真实值的随机变量，在FastDTW公式以期望距离作为判断依据时，期望距离是指两个时间序列X和Y的概率分布为f（X）和f（Y），则f（X）和f（Y）的期望距离为：E（X、Y）=∫+∞ -∞∫+∞ -∞pointsdis（x，y）fx，y（x，y）dxdy，其中，pointsdis（x，y）用||x-y||2表示，即x2+y2-2|xy|，推导出E（X、Y）=E（X2）+E（Y2）-2E（X）E（Y）={（E（X）-E（Y））}2+Var（X）+Var（Y），FastDTW公式在执行MQ框架的计算步骤为：
A、先输入采集到的序列A以及待检测的确定时间序列B；
B、FastDTW算法以Redis消费记录的时间序列相似性、不确定时间序列以及期望距离作为判断依据执行，当粗粒度进行到第n次细粒度化时，其中（n>3），把细粒度化好的矩阵放入MQ框架中执行计算；
C、执行MR计算：
C1、由于FastDTW的计算矩阵是n*m矩阵，先将序列X划分为长度分别为[m/p]的p个子序列X0，X1，…Xp-1，再将序列Y划分为长度分别为[n/q]的q个子序列Y0，Y1，…Yp-1，构造p*q个子矩阵Mf*g，fε[1，p]，gε[1，q]，且每个子矩阵的规模为[m*n]/[p*q]；
C2、每个子矩阵求的路径作为key值，编号作为value值进行排序；
C3、排序过后的值传入Reduce部分进行路径汇总筛选，并规约在一起得出Redis中业务队列总的动态规约路径，若Redis存在时，则调用业务服务完成业务处理，并到达消费者的业务服务端，然后再根据当前顺序业务数据的处理批次进行Redis消费记录，最后再发送下一条业务数据消息，以此类推，直至所有顺序的队列业务数据处理完成为止；
步骤五、若Redis不存在时，返回初始级再次处理判断，并作出告警措施，通过步骤一到五，实现消息信息数据的分区队列划分和先进先出原则的顺序排序，保证在同一服务端口中的多个消息具有事务特性，使多个对列之间也可保证消息顺序性，能严格保证在集群和单机部署模式下的消息顺序性，以防消费失败，导致消息信息发生阻塞，同时也防止重复消费，再基于MQ框架采用FastDTW公式对各队列信息数据进行精准且全面的计算判断，提高较多消息队列的准确性。
实施例二
在实施例一的基础上改进：基于MQ框架确保消息队列消费顺序准确性的方法，包括如下步骤：
步骤一、先将消息消费产生的业务数据以发送Queue-1、Queue-2、....、Queue-N的队列形式发送至生产者的业务服务端口，并对多组发送的业务数据进行分区处理，由消息生产组件对发送的队列形式业务数据根据业务ID进行分区计算，且对每条业务数据划分为一个虚拟分区，并在分区内利用先进先出原则对同一业务数据下多个消息按照顺序整理，直至投递的队列消息整理消费完毕为止，使各队列信息数据得以按顺序排列，保证各队列信息数据的完整性和有序性，以防出现堵塞和混乱，且由时间戳对业务数据的时间进行标记；
步骤二、再将处理后生产者的业务服务端口产生的各业务数据发送至zfs-mqs进行全局消息（MongoDB）保存，再对保存的全局消息进行统一补偿，全局消息保存完成后，对保存的全局消息进行实时监控，且按照消息积压、消费失败依据进行初期实时告警，对异常消息进行警示，提高消息的处理安全性；
步骤三、后对生产者的业务服务端口产生的业务数据统一补偿后保存的全局业务数据存入本地消息表中，登录可视化消息管理界面，对统一补偿后消息的生命周期进行跟踪，查看消息的创建时间、消费时间、消息内容、补偿次数、失败原因情况，对于未补偿的消息可由手动补偿消息手段进行处理，方便后期进行追踪溯源，追查责任人，完善奖惩制度；
步骤四、接着再将处理后的业务数据以发送Queue-1、Queue-2、....、Queue-N的队列形式发送至MQ端，对业务数据的消费消息进行处理，投递的队列消息处理完成后，再按照队列数据来源统一消息消费者，并从MQ中获取消息后进行幂重复消费判断，防止消息数据发送重叠和错误，提高消费信息的精准度，FastDTW公式以Redis消费记录的时间序列相似性、不确定时间序列以及期望距离作为判断依据，在FastDTW公式以时间序列相似性作为判断依据时，先对Redis消费记录的时间序列按照C={S1、S1...Sn}进行设定，其中N表示时间序列的数量，则FastDTW公式为：RQ（Q、C、ε）={S|S∈C|distance（Q，S）≤ε}，其中ε为距离阈值，在FastDTW公式以不确定时间序列作为判断依据时，先将不确定时间序列中的每个数据队列元素设置为x，即：X=r（x）+ε（x），其中r（x）表示该数据队列元素的真实值，ε（x）表示该数据队列元素的误差值，并将不确定时间序列中的总时间设置为T，即T=（t1、t2....ti），且ti是在时间戳i对真实值的随机变量，在FastDTW公式以期望距离作为判断依据时，期望距离是指两个时间序列X和Y的概率分布为f（X）和f（Y），则f（X）和f（Y）的期望距离为：E（X、Y）=∫+∞ -∞∫+∞ -∞pointsdis（x，y）fx，y（x，y）dxdy，其中，pointsdis（x，y）用||x-y||2表示，即x2+y2-2|xy|，推导出E（X、Y）=E（X2）+E（Y2）-2E（X）E（Y）={（E（X）-E（Y））}2+Var（X）+Var（Y），FastDTW公式在执行MQ框架的计算步骤为：
A、先输入采集到的序列A以及待检测的确定时间序列B；
B、FastDTW算法以Redis消费记录的时间序列相似性、不确定时间序列以及期望距离作为判断依据执行，当粗粒度进行到第n次细粒度化时，其中（n>3），把细粒度化好的矩阵放入MQ框架中执行计算；
C、执行MR计算：
C1、由于FastDTW的计算矩阵是n*m矩阵，先将序列X划分为长度分别为[m/p]的p个子序列X0，X1，…Xp-1，再将序列Y划分为长度分别为[n/q]的q个子序列Y0，Y1，…Yp-1，构造p*q个子矩阵Mf*g，fε[1，p]，gε[1，q]，且每个子矩阵的规模为[m*n]/[p*q]；
C2、每个子矩阵求的路径作为key值，编号作为value值进行排序；
C3、排序过后的值传入Reduce部分进行路径汇总筛选，并规约在一起得出Redis中业务队列总的动态规约路径，从时间序列相似性、不确定时间序列以及期望距离三个判断依据出发，进一步提高消息数据的判断精准度，以防出现错漏，避免给使用方造成重大经济损失，保证各队列消费信息数据的顺序性、完整性和精准性，利于使用方对消费信息数据的快速处理，以便使用方有效开展工作，再根据FastDTW公式计算判断Redis是否存在，若Redis存在时，则调用业务服务完成业务处理，并到达消费者的业务服务端，然后再根据当前顺序业务数据的处理批次进行Redis消费记录，最后再发送下一条业务数据消息，以此类推，直至所有顺序的队列业务数据处理完成为止；
步骤五、若Redis不存在时，返回初始级再次处理判断，并作出告警措施，通过步骤一到五，实现消息信息数据的分区队列划分和先进先出原则的顺序排序，保证在同一服务端口中的多个消息具有事务特性，使多个对列之间也可保证消息顺序性，能严格保证在集群和单机部署模式下的消息顺序性，以防消费失败，导致消息信息发生阻塞，同时也防止重复消费，再基于MQ框架采用FastDTW公式对各队列信息数据进行精准且全面的计算判断，提高较多消息队列的准确性。
根据图2可知：第—幅图表示在递归最底层阶段执行FastDTW算法，第二幅图表示在递归返回阶段将第—幅图求得的路径经过的方格进行细分，并且向左右，上下以及左上右下的斜对角方向扩展r个单位重新执行FastDTW算法得到的新路径，以此类推.直到最后求得最终的路径。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (5)

1.基于MQ框架确保消息队列消费顺序准确性的方法，其特征在于：包括如下步骤：
步骤一、先将消息消费产生的业务数据以发送Queue-1、Queue-2、....、Queue-N的队列形式发送至生产者的业务服务端口，并对多组发送的业务数据进行分区处理，且由时间戳对业务数据的时间进行标记；
步骤二、再将处理后生产者的业务服务端口产生的各业务数据发送至zfs-mqs进行全局消息MongoDB保存，再对保存的全局消息进行统一补偿；
步骤三、后对生产者的业务服务端口产生的业务数据统一补偿后保存的全局业务数据存入本地消息表中；
步骤四、接着再将处理后的业务数据以发送Queue-1、Queue-2、....、Queue-N的队列形式发送至MQ端，对业务数据的消费消息进行处理，再根据FastDTW公式计算判断Redis是否存在，FastDTW公式以Redis消费记录的时间序列相似性、不确定时间序列以及期望距离作为判断依据，在FastDTW公式以时间序列相似性作为判断依据时，先对Redis消费记录的时间序列按照C={S1、S1...Sn}进行设定，其中N表示时间序列的数量，则FastDTW公式为：RQ（Q、C、ε）={S|S∈C|distance（Q，S）≤ε}，其中ε为距离阈值，在FastDTW公式以不确定时间序列作为判断依据时，先将不确定时间序列中的每个数据队列元素设置为x，即：X=r（x）+ε（x），其中r（x）表示该数据队列元素的真实值，ε（x）表示该数据队列元素的误差值，并将不确定时间序列中的总时间设置为T，即T=（t1、t2....ti），且ti是在时间戳i对真实值的随机变量，在FastDTW公式以期望距离作为判断依据时，期望距离是指两个时间序列X和Y的概率分布为f（X）和f（Y），则f（X）和f（Y）的期望距离为：E（X、Y）=∫+∞ -∞∫+∞ -∞pointsdis（x，y）fx，y（x，y）dxdy，其中，pointsdis（x，y）用||x-y||2表示，即x2+y2-2|xy|，推导出E（X、Y）=E（X2）+E（Y2）-2E（X）E（Y）={（E（X）-E（Y））}2+Var（X）+Var（Y），FastDTW公式在执行MQ框架的计算步骤为：
A、先输入采集到的序列A以及待检测的确定时间序列B；
B、FastDTW算法以Redis消费记录的时间序列相似性、不确定时间序列以及期望距离作为判断依据执行，当粗粒度进行到第n次细粒度化时，其中n>3，把细粒度化好的矩阵放入MQ框架中执行计算；
C、执行MR计算：
C1、由于FastDTW的计算矩阵是n*m矩阵，先将序列X划分为长度分别为[m/p]的p个子序列X0，X1，…Xp-1，再将序列Y划分为长度分别为[n/q]的q个子序列Y0，Y1，…Yp-1，构造p*q个子矩阵Mf*g，fε[1，p]，gε[1，q]，且每个子矩阵的规模为[m*n]/[p*q]；
C2、每个子矩阵求的路径作为key值，编号作为value值进行排序；
C3、排序过后的值传入Reduce部分进行路径汇总筛选，并规约在一起得出Redis中业务队列总的动态规约路径，若Redis存在时，则调用业务服务完成业务处理，并到达消费者的业务服务端，然后再根据当前顺序业务数据的处理批次进行Redis消费记录，最后再发送下一条业务数据消息，以此类推，直至所有顺序的队列业务数据处理完成为止；
步骤五、若Redis不存在时，返回初始级再次处理判断，并作出告警措施。
2.根据权利要求1所述的基于MQ框架确保消息队列消费顺序准确性的方法，其特征在于，在所述步骤一中，由消息生产组件对发送的队列形式业务数据根据业务ID进行分区计算，且对每条业务数据划分为一个虚拟分区，并在分区内利用先进先出原则对同一业务数据下多个消息按照顺序整理，直至投递的队列消息整理消费完毕为止。
3.根据权利要求1所述的基于MQ框架确保消息队列消费顺序准确性的方法，其特征在于，在所述步骤二中，全局消息保存完成后，对保存的全局消息进行实时监控，且按照消息积压、消费失败依据进行初期实时告警。
4.根据权利要求1所述的基于MQ框架确保消息队列消费顺序准确性的方法，其特征在于，在所述步骤三中，登录可视化消息管理界面，对统一补偿后消息的生命周期进行跟踪，查看消息的创建时间、消费时间、消息内容、补偿次数、失败原因情况，对于未补偿的消息可由手动补偿消息手段进行处理。
5.根据权利要求1所述的基于MQ框架确保消息队列消费顺序准确性的方法，其特征在于，在所述步骤四中，投递的队列消息处理完成后，再按照队列数据来源统一消息消费者，并从MQ中获取消息后进行幂重复消费判断。
CN202211280267.1A 2022-10-19 2022-10-19 基于mq框架确保消息队列消费顺序准确性的方法 Active CN115576714B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211280267.1A CN115576714B (zh) 2022-10-19 2022-10-19 基于mq框架确保消息队列消费顺序准确性的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211280267.1A CN115576714B (zh) 2022-10-19 2022-10-19 基于mq框架确保消息队列消费顺序准确性的方法

Publications (2)

Publication Number Publication Date
CN115576714A CN115576714A (zh) 2023-01-06
CN115576714B true CN115576714B (zh) 2023-05-30

Family

ID=84584335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211280267.1A Active CN115576714B (zh) 2022-10-19 2022-10-19 基于mq框架确保消息队列消费顺序准确性的方法

Country Status (1)

Country Link
CN (1) CN115576714B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107092533A (zh) * 2017-03-29 2017-08-25 弘成科技发展有限公司 基于ActiveMQ+Redis的同步消息队列
CN113254217A (zh) * 2021-06-18 2021-08-13 腾讯科技(成都)有限公司 业务的消息处理方法、装置及电子设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9577961B2 (en) * 2014-06-27 2017-02-21 Amazon Technologies, Inc. Input/output management in a distributed strict queue
JP6934302B2 (ja) * 2017-01-27 2021-09-15 株式会社Ｓｃｒｅｅｎホールディングス データ処理システム、データ処理方法およびプログラム
CN111949699A (zh) * 2019-05-14 2020-11-17 西安光启未来技术研究院 一种基于多重验证的轨迹碰撞方法及系统
CN111427711A (zh) * 2020-04-01 2020-07-17 山东汇贸电子口岸有限公司 一种基于RabbitMQ的消息推送方法
WO2022120806A1 (zh) * 2020-12-11 2022-06-16 深圳晶泰科技有限公司 面向高性能计算多云的分布式消息传递方法及系统
CN114721912A (zh) * 2021-01-04 2022-07-08 腾讯科技（深圳）有限公司 一种数据分析方法、装置、设备及介质
CN113505012B (zh) * 2021-09-13 2021-11-19 北京宇信科技集团股份有限公司 一种消息队列的处理方法、介质、设备和系统
CN114936224A (zh) * 2022-06-09 2022-08-23 江西日月明测控科技股份有限公司 基于Hadoop的轨检数据服务系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107092533A (zh) * 2017-03-29 2017-08-25 弘成科技发展有限公司 基于ActiveMQ+Redis的同步消息队列
CN113254217A (zh) * 2021-06-18 2021-08-13 腾讯科技(成都)有限公司 业务的消息处理方法、装置及电子设备

Also Published As

Publication number Publication date
CN115576714A (zh) 2023-01-06

Similar Documents

Publication Publication Date Title
Iosup et al. On the dynamic resource availability in grids
CN111143102B (zh) 异常数据检测方法、装置、存储介质及电子设备
CN114024837B (zh) 一种微服务系统的故障根因定位方法
CN110645153B (zh) 风力发电机组故障诊断方法、装置和电子设备
CA2501273A1 (en) Process for determining competing cause event probability and/or system availability during the simultaneous occurrence of multiple events
CN107305577B (zh) 基于K-means的妥投地址数据处理方法和系统
EP1695192A2 (en) Automatic monitoring and statistical analysis of dynamic process metrics to expose meaningful changes
CN110647447B (zh) 用于分布式系统的异常实例检测方法、装置、设备和介质
CN110472196B (zh) 一种生产线多态可靠性分析与评估方法
CN115879748A (zh) 一种基于大数据的企业信息化管理集成平台
CN116049146A (zh) 一种数据库故障处理方法、装置、设备及存储介质
Kharchenko et al. The method of software reliability growth models choice using assumptions matrix
CN115576714B (zh) 基于mq框架确保消息队列消费顺序准确性的方法
CN107909216A (zh) 一种零件实际生产周期预测方法
CN113946983A (zh) 产品可靠性薄弱环节评估方法、装置和计算机设备
CN112199850A (zh) 一种基于过程特征的系统弹性分布规律研究方法
Shanthikumar et al. Application of level crossing analysis to discrete state processes in queueing systems
CN111553514A (zh) 一种面向动态服务水平的提前期算法及其应用
CN111190415B (zh) 一种工业控制系统可用率测试方法及系统
CN117009115A (zh) 故障定位方法、装置、电子设备及计算机存储介质
TW201913255A (zh) 製程偵錯與診斷方法
Gulati1 et al. Nonparametric quantile estimation from record‐breaking data
Arcaro et al. A reliability evaluation method for probabilistic wcet estimates based on the comparison of empirical exceedance densities
CN110323743B (zh) 一种暂态功角稳定评估历史数据的聚类方法及装置
Zhong et al. Applying a change-point control chart based on likelihood ratio to supply chain network monitoring

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant