CN111611094A - 对异常mq信息的监控及管理方法 - Google Patents
对异常mq信息的监控及管理方法 Download PDFInfo
- Publication number
- CN111611094A CN111611094A CN202010452695.2A CN202010452695A CN111611094A CN 111611094 A CN111611094 A CN 111611094A CN 202010452695 A CN202010452695 A CN 202010452695A CN 111611094 A CN111611094 A CN 111611094A
- Authority
- CN
- China
- Prior art keywords
- abnormal
- information
- monitoring
- consumption
- annotation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000012544 monitoring process Methods 0.000 title claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 13
- 230000002085 persistent effect Effects 0.000 claims abstract description 6
- 238000012423 maintenance Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 8
- 230000002688 persistence Effects 0.000 claims description 2
- 230000010365 information processing Effects 0.000 abstract description 7
- 238000007726 management method Methods 0.000 description 32
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000013024 troubleshooting Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开对异常MQ信息的监控及管理方法，涉及SpringBoot应用技术领域；在消费端对MQ消费方法引用注解，对所述的注解进行SpringBoot的切面处理，对异常MQ信息进行捕获，并将相关异常MQ信息持久化，根据所述的注解的属性设置管理通知，针对异常MQ信息进行恢复和重试，实现对处理异常MQ信息的监控及管理。
Description
技术领域
本发明公开对异常MQ信息的监控及管理方法，涉及SpringBoot应用技术领域，具体地说是提供基于SpringBoot对异常MQ信息进行监控及管理的方法。
背景技术
消息队列(MQ)是一种应用程序对应用程序的通信方法。应用程序通过写和检索出入列队的针对应用程序的数据(消息)来通信，而无需专用连接来链接它们。程序之间通过在消息中发送数据进行通信，而不是通过直接调用彼此来通信。然而出现异常MQ信息时，现有方法往往通过消息中间件进行解决，但消息中间件往往处理消息异常需要花费很长时间，不利于消息的恢复和发送。
发明内容
本发明针对现有技术的问题，提供对异常MQ信息的监控及管理方法，实现对处理异常MQ信息的监控及管理。
本发明提出的具体方案是：
对异常MQ信息的监控及管理方法：在消费端对MQ消费方法引用注解，对所述的注解进行SpringBoot的切面处理，对异常MQ信息进行捕获，并将相关异常MQ信息持久化，
根据所述的注解的属性设置管理通知，针对异常MQ信息进行恢复和重试。
所述的对异常MQ信息的监控及管理方法中异常MQ信息持久化过程：
利用业务数据库新建异常处理的数据表，
对MQ消费方法引用注解@ConsumerRecord，
对@ConsumerRecord做SpringBoot的切面处理，当异常发生时，获取异常MQ信息并持久化至业务数据库中。
所述的对异常MQ信息的监控及管理方法中设置管理通知过程：
利用业务数据库新建运维信息管理数据表，
通过注解@ConsumerRecord的切面设置注解@ConsumerRecord的notice属性，
notice属性为true时表示消费失败进行管理通知，
notice属性为false时表示不进行管理通知。
所述的对异常MQ信息的监控及管理方法中针对异常MQ信息进行重试：
查看异常处理的数据表，
录入需要执行的目标类及方法对异常MQ消费进行手动重试。
所述的对异常MQ信息的监控及管理方法中针对重试后消费失败的异常MQ信息，定时对异常处理的数据表进行查询，将消费失败的情况再次进行消费及重试。
对异常MQ信息的监控及管理系统，包括消息管理模块、通知模块，
消息管理模块在消费端对MQ消费方法引用注解，对所述的注解进行SpringBoot的切面处理，对异常MQ信息进行捕获，并将相关异常MQ信息持久化，
通知模块根据所述的注解的属性设置管理通知，针对异常MQ信息进行恢复和重试。
所述的对异常MQ信息的监控及管理系统中还包括定时任务模块，针对重试后消费失败的异常MQ信息，定时对异常处理的数据表进行查询，将消费失败的情况再次进行消费及重试。
对异常MQ信息的监控及管理装置，包括：至少一个存储器和至少一个处理器；
所述至少一个存储器，用于存储机器可读程序；
所述至少一个处理器，用于调用所述机器可读程序，执行所述的对异常MQ信息的监控及管理方法。
计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行所述的对异常MQ信息的监控及管理方法。
本发明的有益之处是：
本发明提供对异常MQ信息的监控及管理方法，基于SpringBoot应用，实现对处理异常MQ信息的监控及管理，将处理异常的MQ数据信息持久化，可主动触发指定MQ信息进行消费，降低对中间件的依赖性，提高对异常数据信息的敏感性，快速跟踪异常业务数据信息，在较短的时间内对异常消费做补偿，对未补偿成功的数据信息可以及时通知运维人员进行介入，并及时做出相关调整，保障线上应用的平稳、有效运行，以及确保用户数据信息的完整性，也便于问题的排查、跟踪。
附图说明
图1是本发明方法流程示意图；
图2本发明系统模块交互示意图；
图3本发明系统应用示意图。
具体实施方式
Java反射是Java被视为动态(或准动态)语言的一个关键性质。这个机制允许程序在运行时透过Reflection APIs取得任何一个已知名称的class的内部信息，包括modifiers(诸如public,static等)、superclass(例如Object)、interfaces(例如Cloneable)，也包括fields和methods的所有信息，并可于运行时改变fields内容或唤起methods。
Spring AOP的面向切面编程，用于处理系统中分布的各个模块的横切关注点，将业务逻辑的各个部分进行隔离，使开发人员在编写业务逻辑时可以专心于核心业务，从而提高了开发效率。
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
本发明提供对异常MQ信息的监控及管理方法：在消费端对MQ消费方法引用注解，对所述的注解进行SpringBoot的切面处理，对异常MQ信息进行捕获，并将相关异常MQ信息持久化，
根据所述的注解的属性设置管理通知，针对异常MQ信息进行恢复和重试。
利用本发明方法基于SpringBoot应用，实现对处理异常MQ信息的监控及管理，将处理异常的MQ数据信息持久化，可主动触发指定MQ信息进行消费，降低对中间件的依赖性，提高对异常数据信息的敏感性。
在本发明的一个实施例中，通过MQ消费端引用注解@ConsumerRecord，实现对程序异常的捕获，并将相关信息持久化至数据库中，具体说明了异常MQ信息持久化过程：
利用业务数据库新建异常处理的数据表，
对MQ消费方法引用特定注解@ConsumerRecord，
对@ConsumerRecord做SpringBoot的切面处理，当异常发生时，获取异常MQ信息并持久化至业务数据库中。
上述实施例具体说明了利用的注解以及异常MQ消息永久化过程，以便后续进行快速跟踪异常业务数据信息。
在本发明的另一实施例中，可利用web应用界面，支持录入人员信息等功能，并将其进行关联，异常发生后实现通知不同业务条线的负责人，设置注解@ConsumerRecord中的属性notice，注解切面中对该属性进行处理，实现具体处理流程如下：
数据库中新增运维信息管理数据表，运维信息管理数据表包含运维人员信息，
数据库中新增功能信息表，该表与运维信息管理数据表进行关联，
根据注解@ConsumerRecord中的属性notice(true or false)进行设置，为true时表示消费失败会立即对相关运维负责人进行邮件通知；
为false时表示不使用通知。
通过上述实施例可根据异常MQ消息的实际情况进行管理通知，便于针对不同业务进行管理维护。
在本发明的另一实施例中，可通过查看处理异常MQ表，对异常处理做恢复操作，对处理失败的MQ进行手动重试，通过Java的反射机制对目标方法进行调用，具体管理异常MQ信息的过程如下:
查看异常处理的数据表，
录入需要执行的目标类及方法对异常MQ消费进行手动重试。
同时，还可对再次消费失败的业务数据信息进行异常MQ补偿，即通过启动定时任务对异常处理的数据表进行查询，将消费失败的情况再次进行消费及重试，重试失败后可再次发送邮件通知相关运维人员。
上述实施例可进行结合，参考图1，提高处理异常MQ信息的监控及管理的效率，保障线上应用的平稳、有效运行，并便于问题的排查、跟踪，以及确保用户数据信息的完整性。
本发明还提供对异常MQ信息的监控及管理系统，包括消息管理模块、通知模块，
消息管理模块在消费端对MQ消费方法引用注解，对所述的注解进行SpringBoot的切面处理，对异常MQ信息进行捕获，并将相关异常MQ信息持久化，
通知模块根据所述的注解的属性设置管理通知，针对异常MQ信息进行恢复和重试。
本发明系统中还包含常规的业务功能模块及页面展示模块，各模块直接的交互可参考图2。
本发明系统基于SpringBoot应用，实现对处理异常MQ信息的监控及管理，将处理异常的MQ数据信息持久化，可主动触发指定MQ信息进行消费，降低对中间件的依赖性，提高对异常数据信息的敏感性。
在本发明系统的另一实施例中，还包括定时任务模块，针对重试后消费失败的异常MQ信息，定时对异常处理的数据表进行查询，将消费失败的情况再次进行消费及重试,，可参考图3。
定时任务模块对再次消费失败的业务数据信息进行异常MQ补偿，即通过启动定时任务对异常处理的数据表进行查询，将消费失败的情况再次进行消费及重试，重试失败后可再次发送邮件通知相关运维人员。
可以理解的是，本发明实施例示意的结构并不构成对本发明系统的具体限定。在另一些实施例中，本发明系统可以包括比图示更多或者更少的部件，或者组合某些模块，或者拆分某些模块，或者不同的模块布置。图示的部件可以以硬件、软件或者软件和硬件的组合来实现。
本发明还提供对异常MQ信息的监控及管理装置，包括：至少一个存储器和至少一个处理器；
所述至少一个存储器，用于存储机器可读程序；
所述至少一个处理器，用于调用所述机器可读程序，执行所述的对异常MQ信息的监控及管理方法。
同时提供计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行所述的对异常MQ信息的监控及管理方法。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。
在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。
此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
需要说明的是，上述各流程和各系统结构图中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。上述各实施例中描述的系统结构可以是物理结构，也可以是逻辑结构，即，有些模块可能由同一物理实体实现，或者，有些模块可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。
以上各实施例中，硬件单元可以通过机械方式或电气方式实现。例如，一个硬件单元可以包括永久性专用的电路或逻辑(如专门的处理器，FPGA或ASIC)来完成相应操作。硬件单元还可以包括可编程逻辑或电路(如通用处理器或其它可编程处理器)，可以由软件进行临时的设置以完成相应操作。具体的实现方式(机械方式、或专用的永久性电路、或者临时设置的电路)可以基于成本和时间上的考虑来确定。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。
Claims (9)
1.对异常MQ信息的监控及管理方法，其特征是在消费端对MQ消费方法引用注解，对所述的注解进行SpringBoot的切面处理，对异常MQ信息进行捕获，并将相关异常MQ信息持久化，
根据所述的注解的属性设置管理通知，针对异常MQ信息进行恢复和重试。
2.根据权利要求1所述的对异常MQ信息的监控及管理方法，其特征是异常MQ信息持久化过程：
利用业务数据库新建异常处理的数据表，
对MQ消费方法引用注解@ConsumerRecord，
对@ConsumerRecord做SpringBoot的切面处理，当异常发生时，获取异常MQ信息并持久化至业务数据库中。
3.根据权利要求1或2所述的对异常MQ信息的监控及管理方法，其特征是设置管理通知过程：
利用业务数据库新建运维信息管理数据表，
通过注解@ConsumerRecord的切面设置注解@ConsumerRecord的notice属性，
notice属性为true时表示消费失败进行管理通知，
notice属性为false时表示不进行管理通知。
4.根据权利要求3所述的对异常MQ信息的监控及管理方法，其特征是针对异常MQ信息进行重试：
查看异常处理的数据表，
录入需要执行的目标类及方法对异常MQ消费进行手动重试。
5.根据权利要求4所述的对异常MQ信息的监控及管理方法，其特征是针对重试后消费失败的异常MQ信息，定时对异常处理的数据表进行查询，将消费失败的情况再次进行消费及重试。
6.对异常MQ信息的监控及管理系统，其特征是包括消息管理模块、通知模块，
消息管理模块在消费端对MQ消费方法引用注解，对所述的注解进行SpringBoot的切面处理，对异常MQ信息进行捕获，并将相关异常MQ信息持久化，
通知模块根据所述的注解的属性设置管理通知，针对异常MQ信息进行恢复和重试。
7.根据权利要求6所述的对异常MQ信息的监控及管理系统，其特征是还包括定时任务模块，针对重试后消费失败的异常MQ信息，定时对异常处理的数据表进行查询，将消费失败的情况再次进行消费及重试。
8.对异常MQ信息的监控及管理装置，其特征是包括：至少一个存储器和至少一个处理器；
所述至少一个存储器，用于存储机器可读程序；
所述至少一个处理器，用于调用所述机器可读程序，执行权利要求1至5中任一所述的对异常MQ信息的监控及管理方法。
9.计算机可读介质，其特征是所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行权利要求1至5任一所述的对异常MQ信息的监控及管理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010452695.2A CN111611094A (zh) | 2020-05-26 | 2020-05-26 | 对异常mq信息的监控及管理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010452695.2A CN111611094A (zh) | 2020-05-26 | 2020-05-26 | 对异常mq信息的监控及管理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111611094A true CN111611094A (zh) | 2020-09-01 |
Family
ID=72202333
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010452695.2A Pending CN111611094A (zh) | 2020-05-26 | 2020-05-26 | 对异常mq信息的监控及管理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111611094A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111930543A (zh) * | 2020-09-23 | 2020-11-13 | 北京精准沟通传媒科技股份有限公司 | 项目管理中间件、项目管理方法以及计算机设备 |
| CN113849325A (zh) * | 2021-09-29 | 2021-12-28 | 四川新网银行股份有限公司 | 基于分布式消费信贷RabbitMQ熔断方法及系统 |
| CN113986601A (zh) * | 2021-12-27 | 2022-01-28 | 飞狐信息技术（天津）有限公司 | 消费信息查询方法及装置、存储介质及电子设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109284217A (zh) * | 2018-09-28 | 2019-01-29 | 平安科技（深圳）有限公司 | 应用程序异常处理方法、装置、电子设备及存储介质 |
| CN110225118A (zh) * | 2019-06-13 | 2019-09-10 | 浪潮软件股份有限公司 | 实现消息一次送达的消息中间件辅助系统及消息传送系统 |
-
2020
- 2020-05-26 CN CN202010452695.2A patent/CN111611094A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109284217A (zh) * | 2018-09-28 | 2019-01-29 | 平安科技（深圳）有限公司 | 应用程序异常处理方法、装置、电子设备及存储介质 |
| CN110225118A (zh) * | 2019-06-13 | 2019-09-10 | 浪潮软件股份有限公司 | 实现消息一次送达的消息中间件辅助系统及消息传送系统 |
Non-Patent Citations (2)
| Title |
|---|
| 将军上座: "springboot+rabbitMQ+Aspect发送特定业务的异常报告邮件", 《CNBLOGS》 * |
| 小胖学编程: "【RabbitMQ-6】MQ中间件-rabbitmq-消费者消息获取及异常处理的实现（SpringBoot2.0环境下）", 《简书》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111930543A (zh) * | 2020-09-23 | 2020-11-13 | 北京精准沟通传媒科技股份有限公司 | 项目管理中间件、项目管理方法以及计算机设备 |
| CN113849325A (zh) * | 2021-09-29 | 2021-12-28 | 四川新网银行股份有限公司 | 基于分布式消费信贷RabbitMQ熔断方法及系统 |
| CN113986601A (zh) * | 2021-12-27 | 2022-01-28 | 飞狐信息技术（天津）有限公司 | 消费信息查询方法及装置、存储介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9047392B2 (en) | System and method for conversion of JMS message data into database transactions for application to multiple heterogeneous databases | |
| CN111611094A (zh) | 对异常mq信息的监控及管理方法 | |
| US9535943B2 (en) | Systems and methods for content collection validation | |
| US7889384B2 (en) | Method for more efficiently managing complex payloads in a point of sale system | |
| US8868601B2 (en) | Distributed file system logging | |
| CN106874334B (zh) | 一种数据处理方法及装置、资讯处理系统 | |
| KR20080106568A (ko) | 메시지들을 수집하는 컴퓨터화된 방법 및 애플리케이션에 대한 메시지들을 수집하기 위한 시스템 | |
| US7779300B2 (en) | Server outage data management | |
| US8756385B2 (en) | Software configuration item back-up facility | |
| US20070136388A1 (en) | Systems, methods and apparatus of an email client | |
| CN110765206A (zh) | 一种数据同步系统、方法、装置、设备及存储介质 | |
| US7954112B2 (en) | Automatic recovery from failures of messages within a data interchange | |
| CN111158933A (zh) | 一种基于消息队列的分布式事务处理方法及系统 | |
| US7664887B2 (en) | Device architecture to support multiple protocols | |
| US8301750B2 (en) | Apparatus, system, and method for facilitating communication between an enterprise information system and a client | |
| JP2004178296A (ja) | ナレッジ型運用管理システム，方法およびプログラム | |
| US8234338B1 (en) | System and method for reliable message delivery | |
| US9594622B2 (en) | Contacting remote support (call home) and reporting a catastrophic event with supporting documentation | |
| CN112181927A (zh) | 一种微服务架构下的日志审计方法 | |
| CN114978885A (zh) | 一种日志管理方法、装置、计算机设备及系统 | |
| CN112104480B (zh) | 提高告警质量的方法及其系统 | |
| KR20020070274A (ko) | 메세지 대기 시스템 및 방법 | |
| US20040243653A1 (en) | System and method for generating an alarm when an abnormal database backup status occurs | |
| CN112416655A (zh) | 一种基于企业服务门户的存储灾备系统及数据复制方法 | |
| CN116108110B (zh) | 一种Kafka消息消费补偿方法、系统和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200901 |
|
| RJ01 | Rejection of invention patent application after publication |