CN115174346A - 基于消息队列的延时告警方法 - Google Patents

基于消息队列的延时告警方法 Download PDF

Info

Publication number
CN115174346A
CN115174346A CN202211071680.7A CN202211071680A CN115174346A CN 115174346 A CN115174346 A CN 115174346A CN 202211071680 A CN202211071680 A CN 202211071680A CN 115174346 A CN115174346 A CN 115174346A
Authority
CN
China
Prior art keywords
message
time
delay
message queue
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211071680.7A
Other languages
English (en)
Other versions
CN115174346B (zh
Inventor
钱玉森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Bank Co Ltd
Original Assignee
Ping An Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Bank Co Ltd filed Critical Ping An Bank Co Ltd
Priority to CN202211071680.7A priority Critical patent/CN115174346B/zh
Publication of CN115174346A publication Critical patent/CN115174346A/zh
Application granted granted Critical
Publication of CN115174346B publication Critical patent/CN115174346B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5003Managing SLA; Interaction between SLA and QoS
    • H04L41/5009Determining service level performance parameters or violations of service level contracts, e.g. violations of agreed response time or mean time between failures [MTBF]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852Delays

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请提供了一种基于消息队列的延时告警方法。所述方法包括:从消息队列中读取一条消息进行消费,消息包括消息生产者生成所述消息的消息生成时间、消息队列接收到消息的消息接收时间;生成消费消息的消息消费时间;对消息进行解析得到消息生成时间和消息接收时间;计算消息接收时间和消息消费时间之间的时间差得到系统级别延迟;计算消息生产时间和消息消费时间之间的时间差得到业务级别延迟;当系统级别延迟不满足预设的系统级别延迟指标或者业务级别延迟时间不满足预设的业务级别延迟指标,对所述异常信息进行埋点得到异常埋点信息;将异常埋点信息向用户进行提示。本发明通过一个公共组件对多种类型的消息队列进行监控,节省了时间和人力。

Description

基于消息队列的延时告警方法
技术领域
本发明涉及金融科技技术领域,尤其涉及一种基于消息队列的延时告警方法。
背景技术
目前银行系统对于实时数据使用的场景比较多,消息队列种类也比较多,比如RocketMQ、KAFKA、ISC等。消息队列对消息的时延要求比较高,如果消息出现延迟会导致比较严重的问题,比如用户体验差等。每一个系统都会独立进行监控,而且监控方式不是相同的,比如:CAT埋点,系统记录表等。多个系统进行独立监控时,会重复设置监控方式,需要很多时间和人力。
发明内容
本发明提供了一种基于消息队列的延时告警方法,通过一个公共组件对多种类型的消息队列进行监控,节省了时间和人力。
本发明第一方面提供一种基于消息队列的延时告警方法。该方法从消息队列中读取一条消息进行消费,所述消息包括消息生产者生成所述消息的消息生成时间、消息队列接收到所述消息的消息接收时间;生成消费所述消息的消息消费时间;对所述消息进行解析得到所述消息生成时间和消息接收时间;计算所述消息接收时间和所述消息消费时间之间的时间差得到系统级别延迟;计算所述消息生产时间和所述消息消费时间之间的时间差得到业务级别延迟;当所述系统级别延迟不满足预设的系统级别延迟指标或者业务级别延迟时间不满足预设的业务级别延迟指标,对所述异常信息进行埋点得到异常埋点信息;将所述异常埋点信息向用户进行提示。
本发明第二方面提供计算机可读存储介质,所述计算机可读存储介质用于存储程序指令,所述程序指令可被处理器执行以实现所述的基于消息队列的延时告警方法。
本发明第三方面提供一种基于消息队列的延时告警装置,所述基于消息队列的延时告警装置用于对消息消费装置所消费的消息延迟进行告警,包括解析单元、获取单元、第一计算单元、第二计算单元、以及埋点单元。解析单元用于当消息消费装置从消息队列中读取一条消息进行消费,对所述消息进行解析得到所述消息生成时间和消息接收时间,所述消息包括消息生产者生成所述消息的消息生成时间、消息队列接收到所述消息的消息接收时间;获取单元用于获取消费所述消息的消息消费时间,所述消息消费时间由消息消费装置生成;第一计算单元,用于计算所述消息接收时间和所述消息消费时间之间的时间差得到系统级别延迟;第二计算单元,用于计算所述消息生产时间和所述消息消费时间之间的时间差得到业务级别延迟;埋点单元,用于当所述系统级别延迟不满足预设的系统级别延迟指标或者业务级别延迟时间不满足预设的业务级别延迟指标,对所述异常信息进行埋点得到异常埋点信息;告警单元,用于将所述异常埋点信息向用户进行提示。
上述基于消息队列的延时告警方法和装置,通过对消费的消息进行解析获取消息对应的数据信息,预先设置好每种消息队列对应的时延配置,对若干不同种类的消息队列都可以进行监控,不需要对每种消息队列设置不同的监控方法,当有新的消息队列时,还可以增加时延配置类型,且配置简单,节省了设置多个监控系统的时间和人力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图示出的结构获得其他的附图。
图1为本申请第一实施例提供的基于消息队列延时警告方法的流程图。
图2为本申请第一实施例提供的消息时间延迟对照表。
图3为步骤S103的另一子步骤流程示意图。
图4为本申请第一实施例提供的时延配置类型为代码配置时的配置格式。
图5为本申请第一实施例提供的消息获取对应的配置信息的流程图。
图6为本申请第一实施例提供的一种基于消息队列的延时告警装置的内部结构示意图。
图7为本申请实施例提供的基于消息队列的延时告警方法的计算机设备内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,如下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,在本申请中涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本申请要求的保护范围之内。
本申请提供了一种基于消息队列延时告警方法。所述方法应用于应用端。业务端将消息发送至消息队列,应用端从所述消息队列中获取消息。所述应用端预先嵌入提供基于消息队列延时告警方法的SDK,所述SDK是一种软件安装工具包、一种公共组件。在本方法中,调用所述SDK可以解析消息队列中的数据信息。所述应用端与CAT服务器端可以通讯,所述CAT服务器端是一个预警平台,当SDK对获取的数据信息进行分析处理而发现数据异常时,所述CAT能够监控到所述异常并进行预警。
请结合参看图1,其为本申请第一实施例提供的基于消息队列延时警告方法的流程图。该基于消息队列延时警告方法包括步骤S101-S107。
步骤S101,从消息队列中读取一条消息进行消费,所述消息包括消息生产者生成所述消息的消息生成时间、消息队列接收到所述消息的消息接收时间。
例如,提供服务的业务端为消息生产者,发出提供服务的应用端为消费者。业务端响应用户的请求生成若干消息,业务端将所述若干消息和所述若干消息的生成时间加载在对应的所述消息中发送至消息对列。应用端从消息对列中获取消息进行消费。
步骤S102,生成消费所述消息的消息消费时间。应用端记录获取消息的时间。
步骤S103,对所述消息进行解析得到所述消息生成时间和消息接收时间。
调用应用端的SDK组件以获取业务端发送所述若干消息的时间和消息中间件接收所述若干消息的时间,SDK中有若干时延配置类型,每种配置类型对应一种消息队列,例如RocketMQ、KAFKA、ISC。所述时延配置通过识别消息中的字段获取业务端发送消息的时间和中间件接收消息的时间。
步骤S104,计算所述消息接收时间和所述消息消费时间之间的时间差得到系统级别延迟。
步骤S105,计算所述消息生产时间和所述消息消费时间之间的时间差得到业务级别延迟。
通过所述数据信息确定SDK的时延配置类型,并根据所述时延配置类型和所述数据信息计算系统级别延迟数据和业务级别延迟数据。
所述时延配置通过识别消息中的字段获取业务端发送消息的时间和中间件接收消息的时间后,计算系统级别延迟数据和业务级别延迟数据。所述系统级别延迟数据为应用端消费消息的时间减去消息队列接收到消息的时间,所述业务级别延迟数据为应用端消费消息的时间减去业务端生成消息的时间。所述消息队列接收到消息的时间用英文表示为server_accept_time,所述应用端消费消息的时间用英文表示为client_accept_time,所述业务端生成消息的时间用英文表示为business_create_time。
步骤S106,当所述系统级别延迟不满足预设的系统级别延迟指标或者业务级别延迟时间不满足预设的业务级别延迟指标,对所述异常信息进行埋点得到异常埋点信息。
对所述时延指标数据做离散化统计得到若干取值范围,如图2所示,将没有时间延迟的时延指标数据标记为“NG”、时延指标数据表示消息延迟时间在一分钟内,时间延迟的时延指标数据标记为“0001M”、时延指标数据表示消息延迟时间在一至五分钟内,时间延迟的时延指标数据标记为“0005M”、时延指标数据表示消息延迟时间在五至十五分钟内,时间延迟的时延指标数据标记为“0015M”、时延指标数据表示消息延迟时间在十五至三十分钟内,时间延迟的时延指标数据标记为“0030M”、时延指标数据表示消息延迟时间在三十至六十分钟内,时间延迟的时延指标数据标记为“0060M”、时延指标数据表示消息延迟时间在一至两个小时内,时间延迟的时延指标数据标记为“0120M”、时延指标数据表示消息延迟时间在二至四小时内,时间延迟的时延指标数据标记为“0240M”、时延指标数据表示消息延迟时间在四至八小时内,时间延迟的时延指标数据标记为“0480M”、时延指标数据表示消息延迟时间在八至十六小时内,时间延迟的时延指标数据标记为“0960M” 时延指标数据表示消息延迟时间在三十二个小时内,时间延迟的时延指标数据标记为“1920M”。
根据所述消息延迟的时间的对照表获取当前的时延指标数据中的消息延时时间对应的标记。所述消息延迟对照表还可以根据实际情况重新制定。
所述SDK会记录所述时延指标数据的计算过程,生成日志,当所述时延指标数据达到系统级别延迟指标或者业务级别延迟指标时,会在SDK中生成异常埋点信息,所述异常埋点事件包括生成异常埋点数据信息,所述埋点数据信息包括异常代码。
所述异常代码包括系统级别延迟埋点信息和业务级别延迟埋点信息,所述系统级别延迟埋点信息命名格式包括:预设系统级别一级名称和预设系统级别二极名称,所述预设系统级别一级名称是SYSTEM_MESSAGE_DELAY,所述预设系统级别二极名称是topic +‘ @ ’ + subtopic + ‘ @ ’ + 时间延迟;所述业务级别延迟埋点信息命名格式包括:预设业务级别一级名称和预设业务级别二极名称,预设业务级别一级名称是BUSINESS_MESSAGE_DELAY,所述业务级别二极名称是topic + ‘ @ ’ + subtopic + ‘ @ ’ + 时间延迟。上述埋点名称中的时间延迟为所述消息延迟的时间的对照表中的时间延迟的时延指标数据标记,topic和subtopic是配置文件中的代码段,以使消息能够获取对应类型的配置文件。例如:当消息延迟时间为10分钟时,埋点结果为90 @ 90002 @ 0015M。当消息延迟是时间为负30分钟时,埋点结果90 @ 90002 @ NG。
与所述应用端通讯的CAT服务端能够监控到所述异常数据信息而后进行预警,例如发出闪烁的红光。
步骤S107,将所述异常埋点信息向用户进行提示。所述应用端与CAT服务端进行通讯连接,所述CAT服务端监控到异常埋点信息后进行预警。
请参看图3,图3是步骤S103的另一子步骤流程示意图。步骤103包括如下步骤S1031-S1035。
步骤S1031,从所述消息中获取所述消息接收时间。所述消息接收时间为消息队列接收消息的时间,存储于消息的配置文件中。
步骤S1032,获取预设的配置信息,所述配置信息配置有一种或者多种消息队列类型和每一消息队列类型所对应的解析指令,不同的消息队列类型对应不同解析指令。
所述配置信息存在于SDK中,所述配置信息中有很多类型的消息队列和与每一种消息队列对应的解析指令,通过识别消息中的字段获取业务端发送消息的时间和中间件接收消息的时间。
步骤S1033,获取所述消息的消息队列类型。例如RocketMQ、KAFKA、ISC。
步骤S1034,根据所述消息队列类型和所述配置信息生成相应的解析指令。
步骤S1035,执行所述解析指令从所述消息中获取所述消息生成时间。例如,业务端生成消息的时间存储于消息的配置文件中,并且以XPATH的字段形式记载,根据消息队列的种类从SDK中获取时延配置类型,以生成解析指令,对所述 XPATH字段进行解析获取业务生成时间。XPath是一种语言,用来确定XML文档中某部分位置,XML是一种可扩展语言,可用来传输和存储数据。
所述SDK的时延配置方式类型包括:代码配置、Apollo配置、本地配置文件。如图4所示,所述代码配置为固定代码编写配置,不同的topic赋值对应不同的消息对列,不同的消息对列中的消息可以通过匹配字段的方式获取对应的类型的配置,例如消息中有“topic:90” 的代码段则对应有代码“topic:90”的配置,“topic”与“subtopic”还用于埋点命名,通过“time_field”的赋值代码段获取业务端消息生成时间。
Apollo(阿波罗)配置是一种适用于不同公司的开源配置管理中心,能够集中化管理应用不同环境、不同集群的配置,配置修改后能够实时推送到应用端,并且具备规范的权限、流程治理等特性。
其中代码配置优先级最高,本地配置优先级最低。为每一个类型的消息中间件在SDK中设置上述三种类型的配置文件,每种类型的配置文件都有对应的消息对列对应的配置信息。
请参看图5,图5为消息获取对应的配置信息的流程图。
步骤,S201,读取优先级别最高的配置文件中的配置信息得到相应的待选配置信息。若所述三种类型的配置文件都存在,则选取代码配置文件对应的若干不同的消息队列的种类对应的待选配置信息。
步骤S202,判断所述待选配置信息中是否包含所述消息队列类型。例如,判断选取的代码配置文件是否有与所述消息对应的消息队列种类对应的待选配置信息。
步骤S203,当所述待选配置信息中包含所述消息队列类型,将所述待选配置信息确认为所述预设的配置信息。
步骤S204,当所述待选配置信息中未包含所述消息队列类型,从剩余的多种类型的配置文件中將优先级别最高的配置文件作为最高级别的配置文件并执行重新执行读取优先级别最高的配置文件中的配置信息得到相应的待选配置信息直至所述待选配置信息中包含所述消息队列类型。所述多种类型的配置文件为Apollo(阿波罗)配置、代码配置和本地配置,若代码配置类型的配置文件中的配置信息中没有当前的消息队列类型对应的配置文件类型 ,则选取Apollo(阿波罗)配置,并判断Apollo(阿波罗)配置中是否有与消息对应的配置信息,通过所述配置信息获取解析指令后对所述消息进行解析处理;当只有本地文件配置时,才选取本地配置文件对所述消息进行解析处理。
所述每种类型的配置文件名称都是mq_message_biz_time_config.json。
每个配置文件的内容包括实时消息处理方法,消息队列处理的注册方法和时延配置更新方法。
可以通过CAT平台对异常埋点信息进行监控,也可以在应用端配置邮箱发送功能、和短信发送功能,并且所述邮箱发送功能和短信发送功能和SDK进行通信,当SDK中产生异常埋点数据信息时,触发异常埋点事件,以发送短信或邮箱以进行告警。
当在SDK中不能获取消息对应的类型的时延配置时,使用Apollo配置在所述SDK中设置所述消息对应的时延配置,以对所述消息进行分析。
如图6所示,本申请还提供了一种基于消息队列的延时告警装置,所述基于消息队列的延时告警装置1用于对消息消费装置所消费的消息延迟进行告警,所述装置包括:
解析单元2,当消息消费装置从消息队列中读取一条消息进行消费,对所述消息进行解析得到所述消息生成时间和消息接收时间,所述消息包括消息生产者生成所述消息的消息生成时间、消息队列接收到所述消息的消息接收时间。
提供服务的业务端为消息生产者,发出提供服务的应用端为消费者。业务端响应用户的请求生成若干消息,业务端将所述若干消息和所述若干消息的生成时间加载在对应的所述消息中发送至消息对列。应用端从消息对列中获取消息进行消费。
获取单元3,获取消费所述消息的消息消费时间,所述消息消费时间由消息消费装置生成;
调用应用端的SDK组件以获取业务端发送所述若干消息的时间和消息中间件接收所述若干消息的时间,SDK中有若干时延配置类型,每种配置类型对应一种消息队列,例如RocketMQ、KAFKA、ISC。所述时延配置通过识别消息中的字段获取业务端发送消息的时间和中间件接收消息的时间。
第一计算单元4,计算所述消息接收时间和所述消息消费时间之间的时间差得到系统级别延迟。
第二计算单元5,计算所述消息生产时间和所述消息消费时间之间的时间差得到业务级别延迟。
通过所述数据信息确定SDK的时延配置类型,并根据所述时延配置类型和所述数据信息计算系统级别延迟数据和业务级别延迟数据。
所述时延配置通过识别消息中的字段获取业务端发送消息的时间和中间件接收消息的时间后,计算系统级别延迟数据和业务级别延迟数据。所述系统级别延迟数据为应用端消费消息的时间减去消息队列接收到消息的时间,所述业务级别延迟数据为应用端消费消息的时间减去业务端生成消息的时间。所述消息队列接收到消息的时间用英文表示为server_accept_time,所述应用端消费消息的时间用英文表示为client_accept_time,所述业务端生成消息的时间用英文表示为business_create_time。
埋点单元6,当所述系统级别延迟不满足预设的系统级别延迟指标或者业务级别延迟时间不满足预设的业务级别延迟指标,对所述异常信息进行埋点得到异常埋点信息。
所述SDK会记录所述时延指标数据的计算过程,生成日志,当所述时延指标数据达到系统级别延迟指标或者业务级别延迟指标时,会在SDK中生成异常埋点信息,所述异常埋点事件包括生成异常埋点数据信息,所述埋点数据信息包括异常代码。
告警单元7,将所述异常埋点信息向用户进行提示。
本申请还提供一种计算机设备900,请结合参看图7,其为本申请第一实施例提供的计算机设备900的内部结构示意图。进一步的,该计算机嵌入式设备为HUD。计算机设备900至少包括存储器901、处理器902。具体地,存储器901,用于存储基于消息队列的延时告警方法的程序指令。处理器902,用于执行程序指令以使计算机设备900实现上述的基于消息队列的延时告警方法。
其中,存储器901至少包括一种类型的可读存储介质,该可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器901不仅可以用于存储安装于计算机设备900的应用软件及各类数据,例如,基于消息队列的延时告警方法的控制指令等,还可以用于暂时地存储已经输出或者将要输出的数据。
处理器902在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片,用于运行存储器901中存储的程序指令或处理数据。具体地,处理器902执行基于消息队列的延时告警方法的程序指令以控制计算机设备900实现基于消息队列的延时告警方法。
进一步地,总线903可以是外设部件互连标准总线(peripheral componentinterconnect,简称PCI)或扩展工业标准结构总线(extended industry standardarchitecture,简称EISA)等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示,图7中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
进一步地,计算机设备900还可以包括显示组件904。显示组件904可以是LED(Light Emitting Diode,发光二极管)显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示组件904也可以适当的称为显示装置或显示单元,用于显示在计算机设备900中处理的信息以及用于显示可视化的用户界面。
进一步地,计算机设备900还可以包括通信组件905,通信组件905可选的可以包括有线通信组件和/或无线通信组件(如WI-FI通信组件、蓝牙通信组件等),通常用于在计算机设备900与其他计算机设备之间建立通信连接。
图7仅示出了具有组件901-905以及实现基于消息队列的延时告警方法的程序指令的计算机设备900,本领域技术人员可以理解的是,图7示出的结构并不构成对计算机设备900的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,具体地,计算机设备900的处理器902执行基于消息队列的延时告警方法的程序指令以控制计算机设备900实现可运动物体的运动轨迹的预测方法的详细过程。可以参考上述方法实施例中的对应过程,在此不再赘述。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,且本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
以上所列举的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属于本申请所涵盖的范围。

Claims (10)

1.一种基于消息队列的延时告警方法,其特征在于,所述基于消息队列的延时告警方法包括:
从消息队列中读取一条消息进行消费,所述消息包括消息生产者生成所述消息的消息生成时间、消息队列接收到所述消息的消息接收时间;
生成消费所述消息的消息消费时间;
对所述消息进行解析得到所述消息生成时间和消息接收时间;
计算所述消息接收时间和所述消息消费时间之间的时间差得到系统级别延迟;
计算所述消息生产时间和所述消息消费时间之间的时间差得到业务级别延迟;
当所述系统级别延迟不满足预设的系统级别延迟指标或者业务级别延迟指标不满足预设的业务级别延迟指标,进行埋点得到异常埋点信息;
将所述异常埋点信息向用户进行提示。
2.如权利要求1所述的基于消息队列的延时告警方法,其特征在于,将所述异常埋点信息向用户进行提示具体包括: 利用CAT服务器监控异常埋点信息,并当所述CAT服务器监控到异常埋点信息时显示所述异常埋点信息。
3.如权利要求1所述的基于消息队列的延时告警方法,其特征在于,对所述消息进行解析得到所述消息生成时间和消息接收时间具体包括:
从所述消息中获取所述消息接收时间;
获取预设的配置信息,所述配置信息配置有一种或者多种消息队列类型和每一消息队列类型所对应的解析指令,不同的消息队列类型对应不同解析指令;
获取所述消息的消息队列类型;
根据所述消息队列类型和所述配置信息生成相应的解析指令;
执行所述解析指令从所述消息中获取所述消息生成时间。
4.如权利要求3所述的基于消息队列的延时告警方法,其特征在于,所述配置信息包括多种类型的配置文件,所述多种类型的配置文件设有优先级别,获取预设的配置信息具体包括:
读取优先级别最高的配置文件中的配置信息得到相应的待选配置信息;
判断所述待选配置信息中是否包含所述消息队列类型;
当所述待选配置信息中包含所述消息队列类型,将所述待选配置信息确认为所述预设的配置信息;
当所述待选配置信息中未包含所述消息队列类型,从剩余的多种类型的配置文件中將优先级别最高的配置文件作为最高级别的配置文件并执行重新执行读取优先级别最高的配置文件中的配置信息得到相应的待选配置信息直至所述待选配置信息中包含所述消息队列类型。
5.如权利要求4所述的基于消息队列的延时告警方法,其特征在于,所述多种类型的配置文件包括代码配置文件、Apollo配置文件、本地配置文件,其中,代码配置文件、Apollo配置文件、本地配置文件的优先级别依次从高到低排列。
6.如权利要求4所述的基于消息队列的延时告警方法,其特征在于,采用 XPATH的方式表达所述解析指令。
7.如权利要求4所述的基于消息队列的延时告警方法,其特征在于,异常埋点信息包括系统级别延迟信息和业务级别延迟信息,所述系统级别延迟信息和业务级别延迟信息包括一级名称、二级名称。
8.如权利要求4所述的基于消息队列的延时告警方法,其特征在于,所述的基于消息队列的延时告警方法还包括:
将系统级别延迟和业务级别延进行离散化统计得到若干取值范围;
将所述系统级别延迟或者业务级别延对应一个取值范围中。
9.一种计算机设备,其特征在于,所述计算机可读存储介质用于存储程序指令,所述程序指令可被处理器执行以实现如权利要求1至8 中任意一项所述的基于消息队列的延时告警方法。
10.一种基于消息队列的延时告警装置,其特征在于,所述基于消息队列的延时告警装置用于对消息消费装置所消费的消息延迟进行告警,包括:
解析单元,当消息消费装置从消息队列中读取一条消息进行消费,对所述消息进行解析得到所述消息生成时间和消息接收时间,所述消息包括消息生产者生成所述消息的消息生成时间、消息队列接收到所述消息的消息接收时间;
获取单元,获取消费所述消息的消息消费时间,所述消息消费时间由消息消费装置生成;
第一计算单元,计算所述消息接收时间和所述消息消费时间之间的时间差得到系统级别延迟;
第二计算单元,计算所述消息生产时间和所述消息消费时间之间的时间差得到业务级别延迟;
埋点单元,当所述系统级别延迟不满足预设的系统级别延迟指标或者业务级别延迟时间不满足预设的业务级别延迟指标,进行埋点得到异常埋点信息;
告警单元,将所述异常埋点信息向用户进行提示。
CN202211071680.7A 2022-09-02 2022-09-02 基于消息队列的延时告警方法 Active CN115174346B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211071680.7A CN115174346B (zh) 2022-09-02 2022-09-02 基于消息队列的延时告警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211071680.7A CN115174346B (zh) 2022-09-02 2022-09-02 基于消息队列的延时告警方法

Publications (2)

Publication Number Publication Date
CN115174346A true CN115174346A (zh) 2022-10-11
CN115174346B CN115174346B (zh) 2023-03-28

Family

ID=83480466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211071680.7A Active CN115174346B (zh) 2022-09-02 2022-09-02 基于消息队列的延时告警方法

Country Status (1)

Country Link
CN (1) CN115174346B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117575874A (zh) * 2024-01-16 2024-02-20 中国标准化研究院 一种基于多源数据的电子政务平台安全管理系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050021832A1 (en) * 1999-10-15 2005-01-27 Bennett William E. Deferred acknowledgment communications and alarm management
CN101876938A (zh) * 2009-11-11 2010-11-03 北京神州泰岳软件股份有限公司 一种基于消息队列的应用软件响应时间测量方法
CN104125095A (zh) * 2014-06-25 2014-10-29 世纪禾光科技发展(北京)有限公司 一种事件故障实时监控的系统和方法
US20150350085A1 (en) * 2014-05-30 2015-12-03 Fujitsu Limited Route determination apparatus and transfer route determination method
CN107509119A (zh) * 2017-07-11 2017-12-22 北京潘达互娱科技有限公司 一种监控报警方法与装置
CN108259268A (zh) * 2017-12-30 2018-07-06 上海陆家嘴国际金融资产交易市场股份有限公司 网络监测数据处理方法、装置、计算机设备和存储介质
CN109218097A (zh) * 2018-09-19 2019-01-15 山东浪潮云投信息科技有限公司 一种云平台可配置告警规则的告警系统及告警方法
CN109560976A (zh) * 2017-09-25 2019-04-02 北京国双科技有限公司 一种消息延迟的监控方法及装置
CN110187980A (zh) * 2019-04-19 2019-08-30 北京三快在线科技有限公司 消息队列监控方法、装置、电子设备及可读存储介质
CN110995618A (zh) * 2019-10-30 2020-04-10 北京奇艺世纪科技有限公司 一种消息处理方法、装置、电子设备及可读存储介质
CN112527528A (zh) * 2020-12-18 2021-03-19 平安科技(深圳)有限公司 基于消息队列的数据传输方法、装置及存储介质
CN113791917A (zh) * 2020-10-29 2021-12-14 北京京东拓先科技有限公司 延迟消息处理方法、装置与系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050021832A1 (en) * 1999-10-15 2005-01-27 Bennett William E. Deferred acknowledgment communications and alarm management
CN101876938A (zh) * 2009-11-11 2010-11-03 北京神州泰岳软件股份有限公司 一种基于消息队列的应用软件响应时间测量方法
US20150350085A1 (en) * 2014-05-30 2015-12-03 Fujitsu Limited Route determination apparatus and transfer route determination method
CN104125095A (zh) * 2014-06-25 2014-10-29 世纪禾光科技发展(北京)有限公司 一种事件故障实时监控的系统和方法
CN107509119A (zh) * 2017-07-11 2017-12-22 北京潘达互娱科技有限公司 一种监控报警方法与装置
CN109560976A (zh) * 2017-09-25 2019-04-02 北京国双科技有限公司 一种消息延迟的监控方法及装置
CN108259268A (zh) * 2017-12-30 2018-07-06 上海陆家嘴国际金融资产交易市场股份有限公司 网络监测数据处理方法、装置、计算机设备和存储介质
CN109218097A (zh) * 2018-09-19 2019-01-15 山东浪潮云投信息科技有限公司 一种云平台可配置告警规则的告警系统及告警方法
CN110187980A (zh) * 2019-04-19 2019-08-30 北京三快在线科技有限公司 消息队列监控方法、装置、电子设备及可读存储介质
CN110995618A (zh) * 2019-10-30 2020-04-10 北京奇艺世纪科技有限公司 一种消息处理方法、装置、电子设备及可读存储介质
CN113791917A (zh) * 2020-10-29 2021-12-14 北京京东拓先科技有限公司 延迟消息处理方法、装置与系统
CN112527528A (zh) * 2020-12-18 2021-03-19 平安科技(深圳)有限公司 基于消息队列的数据传输方法、装置及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117575874A (zh) * 2024-01-16 2024-02-20 中国标准化研究院 一种基于多源数据的电子政务平台安全管理系统
CN117575874B (zh) * 2024-01-16 2024-04-16 中国标准化研究院 一种基于多源数据的电子政务平台安全管理系统

Also Published As

Publication number Publication date
CN115174346B (zh) 2023-03-28

Similar Documents

Publication Publication Date Title
CN108829560B (zh) 数据监控方法、装置、计算机设备及存储介质
CN111475370A (zh) 基于数据中心的运维监控方法、装置、设备及存储介质
CN113450545A (zh) 自然灾害预警系统、方法、云平台及可储存介质
CN115174346B (zh) 基于消息队列的延时告警方法
CN111078980A (zh) 基于征信大数据的管理方法、装置、设备及存储介质
CN113506045A (zh) 基于移动设备的风险用户识别方法、装置、设备及介质
CN113126955A (zh) 一种随机数据生成方法、装置、智能终端及存储介质
CN110737655A (zh) 用于上报数据的方法和装置
CN112214770B (zh) 恶意样本的识别方法、装置、计算设备以及介质
CN113806370A (zh) 基于大数据的环境数据监管方法、装置、设备及存储介质
CN113094224B (zh) 服务器资产管理方法、装置、计算机设备和存储介质
CN113220705A (zh) 慢查询识别的方法和装置
CN113065821B (zh) 一种车辆调拨行为预警方法、装置、设备及存储介质
CN111193617B (zh) 网页篡改识别方法、装置、电子设备及存储介质
CN115086047A (zh) 接口鉴权方法、装置、电子设备及存储介质
CN114221988A (zh) 一种内容分发网络热点分析方法和系统
CN111427878B (zh) 数据监控告警方法、装置、服务器和存储介质
CN113609111A (zh) 一种大数据测试方法及系统
CN113138896A (zh) 一种应用运行情况的监控方法、装置和设备
CN112988776A (zh) 文本解析规则的更新方法、装置、设备及可读存储介质
CN107346329B (zh) 一种数据处理方法和装置
CN112052368A (zh) 自动提取列表数据的方法、系统、存储介质及电子设备
CN111353279A (zh) 字符编码的转换方法、装置和计算机存储介质
CN113590424B (zh) 一种故障监控方法、装置、设备及存储介质
CN114880713B (zh) 基于数据链路的用户行为分析方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant