CN114328124A - 用于业务监控的方法以及装置、存储介质、电子装置 - Google Patents
用于业务监控的方法以及装置、存储介质、电子装置 Download PDFInfo
- Publication number
- CN114328124A CN114328124A CN202111681978.5A CN202111681978A CN114328124A CN 114328124 A CN114328124 A CN 114328124A CN 202111681978 A CN202111681978 A CN 202111681978A CN 114328124 A CN114328124 A CN 114328124A
- Authority
- CN
- China
- Prior art keywords
- service
- log
- module
- unique identifier
- chain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
本申请公开了一种用于业务监控的方法以及装置、存储介质、电子装置。该方法包括基于至少一个微服务定义业务信息,通过所述微服务在日志中打印调用链唯一标识TraceId和业务唯一标识,并且所述调用链唯一标识TraceId以及所述业务唯一标识通过日志透传打印在当前业务日志文件中;基于至少一个微服务将调用链调用信息通过网络传输协议异步发送给调用链采集服务模块;通过预设日志采集模块监听所述至少一个微服务的业务日志文件,并通过网络传输协议分别同步至数据处理模块和预设告警模块,并根据所述调用链唯一标识TraceId以及所述业务唯一标识在查询出对应业务信息以及所述业务信息相关的调用请求。本申请解决了对于微服务的运维监控响应不及时的技术问题。
Description
技术领域
本申请涉及运维监控技术领域,具体而言,涉及一种用于业务监控的方法以及装置、存储介质、电子装置。
背景技术
微服务,将单一应用程序划分成一组小的服务,服务之间互相协调、互相配合,为用户提供最终价值。每个服务运行在其独立的进程中,服务与服务间采用轻量级的通信机制互相沟通。
对于微服务进行业务监控的过程中,对于运维问题、运维事件响应不及时、告警不及时等问题。
针对相关技术中对于微服务的运维监控响应不及时的问题,目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种用于业务监控的方法以及装置、存储介质、电子装置,以解决对于微服务的运维监控响应不及时的问题。
为了实现上述目的,根据本申请的一个方面,提供了一种用于业务监控的方法。
根据本申请的用于业务监控的方法包括:基于至少一个微服务定义业务信息,通过所述微服务在日志中打印调用链唯一标识TraceId和业务唯一标识,并且所述调用链唯一标识TraceId以及所述业务唯一标识通过日志透传打印在当前业务日志文件中;基于至少一个微服务将调用链调用信息通过网络传输协议异步发送给调用链采集服务模块;通过预设日志采集模块监听所述至少一个微服务的业务日志文件,并通过网络传输协议分别同步至数据处理模块和预设告警模块,并根据所述调用链唯一标识TraceId以及所述业务唯一标识在查询出对应业务信息以及所述业务信息相关的调用请求。
进一步地,还包括:在预设告警模块接收到异常事件日志时,进行告警;通过所述数据处理模块,基于各个数据源采集数据,对日志文件进行预设的标准化处理。
进一步地,所述基于至少一个微服务将调用链调用信息通过网络传输协议异步发送给调用链采集服务模块,包括:基于至少一个微服务将调用链调用信息通过HTTP网络传输协议,异步发送给调用链采集服务模块,用以通过所述调用链采集服务模块将所述调用链调用信息分析、清洗后存入ES数据库。
进一步地,所述通过预设日志采集模块监听所述至少一个微服务的业务日志文件,并通过网络传输协议分别同步至数据处理模块和预设告警模块,包括:通过预设日志采集模块监听所述至少一个微服务的业务日志文件,并将所述业务日志文件进行分析、清洗后生成标准化的日志存入ES数据库。
进一步地,所述调用链采集服务模块,还用于:通过Java探针技术对微服务进行监控,用以实现调用链查询、链路追踪。
进一步地,所述预设日志采集模块,还用于基于日志监控服务部署Logstash高可用集群、Filebeat集群、ES集群;所述调用链采集服务模块,还用于通过自定义Exporter组件多节点部署,采集多个中间件指标。
进一步地,方法还包括:预先配置业务与端点的关系、业务与日志的关系、业务与服务的关系,用以在所述预设告警模块实现业务告警提供数据准备。
为了实现上述目的,根据本申请的另一方面,提供了一种用于业务监控的装置。
根据本申请的用于业务监控的装置包括:定义模块,用于基于至少一个微服务定义业务信息,通过所述微服务在日志中打印调用链唯一标识TraceId和业务唯一标识,并且所述调用链唯一标识TraceId以及所述业务唯一标识通过日志透传打印在当前业务日志文件中;调用链调用信息同步模块,用于基于至少一个微服务将调用链调用信息通过网络传输协议异步发送给调用链采集服务模块;日志同步模块,用于通过预设日志采集模块监听所述至少一个微服务的业务日志文件,并通过网络传输协议分别同步至数据处理模块和预设告警模块,并根据所述调用链唯一标识TraceId以及所述业务唯一标识在查询出对应业务信息以及所述业务信息相关的调用请求。
为了实现上述目的,根据本申请的又一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行所述方法。
为了实现上述目的,根据本申请的再一方面,提供了一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行所述的方法。
在本申请实施例中用于业务监控的方法以及装置、存储介质、电子装置,采用基于至少一个微服务定义业务信息的方式,通过基于至少一个微服务将调用链调用信息通过网络传输协议异步发送给调用链采集服务模块,达到了通过预设日志采集模块监听所述至少一个微服务的业务日志文件,并通过网络传输协议分别同步至数据处理模块和预设告警模块,并根据所述调用链唯一标识TraceId以及所述业务唯一标识在查询出对应业务信息以及所述业务信息相关的调用请求的目的,从而实现了提供多种监控分析、结果展示功能、实时业务告警的技术效果,进而解决了对于微服务的运维监控响应不及时的技术问题。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的用于业务监控的方法的硬件结构示意图;
图2是根据本申请实施例的用于业务监控的方法流程示意图;
图3是根据本申请实施例的用于业务监控的装置结构示意图;
图4是根据本申请实施例的用于业务监控的方法中系统模块架构示意图;
图5是根据本申请实施例的用于业务监控的方法中业务架构示意图;
图6是根据本申请实施例的用于业务监控的方法的流程示意图;
图7是本申请实施例中用于业务监控的方法的系统架构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中,术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例,并非用于限定所指示的装置、元件或组成部分必须具有特定方位,或以特定方位进行构造和操作。
并且,上述部分术语除了可以用于表示方位或位置关系以外,还可能用于表示其他含义,例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言,可以根据具体情况理解这些术语在本申请中的具体含义。
此外,术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如,可以是固定连接,可拆卸连接,或整体式构造;可以是机械连接,或电连接;可以是直接相连,或者是通过中间媒介间接相连,又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言,可以根据具体情况理解上述术语在本申请中的具体含义。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
如图1所示,根据本申请实施例的用于业务监控的方法的硬件结构示意图,其中基于微服务架构包括了多个微服务100,并通过MQ队列消息队列满足实时性的要求。通过智能运维平台监控的维度更全面,从端层监控(web、H5前端页面监控)、业务层监控(业务数据监控)、应用层监控(springboot微服务、调用链、链路追踪监控)、系统层监控(服务器、网络等)多维度的监控,从而为线上多产品、多业务线提供了全套监控和运维体系。
如图2所示,该方法包括如下的步骤S201至步骤S203:
步骤S201,基于至少一个微服务定义业务信息,通过所述微服务在日志中打印调用链唯一标识TraceId和业务唯一标识,并且所述调用链唯一标识TraceId以及所述业务唯一标识通过日志透传打印在当前业务日志文件中;
步骤S202,基于至少一个微服务将调用链调用信息通过网络传输协议异步发送给调用链采集服务模块;
步骤S203,通过预设日志采集模块监听所述至少一个微服务的业务日志文件,并通过网络传输协议分别同步至数据处理模块和预设告警模块,并根据所述调用链唯一标识TraceId以及所述业务唯一标识在查询出对应业务信息以及所述业务信息相关的调用请求。
从以上的描述中,可以看出,本申请实现了如下技术效果:
采用基于至少一个微服务定义业务信息的方式,通过基于至少一个微服务将调用链调用信息通过网络传输协议异步发送给调用链采集服务模块,达到了通过预设日志采集模块监听所述至少一个微服务的业务日志文件,并通过网络传输协议分别同步至数据处理模块和预设告警模块,并根据所述调用链唯一标识TraceId以及所述业务唯一标识在查询出对应业务信息以及所述业务信息相关的调用请求的目的,从而实现了提供多种监控分析、结果展示功能、实时业务告警的技术效果,进而解决了对于微服务的运维监控响应不及时的技术问题。
上述步骤S201中基于至少一个微服务定义业务信息。可以理解,针对每个不同业务的微服务通过在API接口的入口定义当前接口的业务信息通过公共的方法进行业务定义,同时该业务信息会在该请求的一系列日志中进行打印,并且透传到下游其他微服务,其他微服务也会打印此业务信息。
在一种具体实施方式中,通过所述微服务在日志中打印调用链唯一标识TraceId和业务唯一标识。对于每个所述微服务,用于在对应的日志中打印调用链唯一标识TraceId和业务唯一标识。
在一种优选实施方式中,所述调用链唯一标识TraceId以及所述业务唯一标识通过日志透传打印在当前业务日志文件中。基于日志透传,将业务标识、调用链唯一标识TraceId通过日志透传打印在业务日志中。
上述步骤S202中基于至少一个微服务将调用链调用信息通过网络传输协议异步发送给调用链采集服务模块。需要注意的是,各个微服务将调用链调用信息通过http的方式,异步发送给调用链采集服务模块,在调用链采集服务模块将调用链数据分析和清洗后保存在ES数据库中。
在一种具体实施方式中,网络传输协议即为HTTP协议。
在一种优选实施方式中,对于每个调用链调用信息通异步给调用链采集服务模块。
上述步骤S203中通过预设日志采集模块监听所述至少一个微服务的业务日志文件,并通过网络传输协议分别同步至数据处理模块和预设告警模块。进一步地,根据所述调用链唯一标识TraceId以及所述业务唯一标识在查询出对应业务信息以及所述业务信息相关的调用请求。
相关的开发人员和运维人员可以通过TraceId和业务唯一标识在智能运维平台中查询到是哪个业务出现了问题,哪一个调用请求出现问题,方可迅速定位到故障及故障原因。
在一种具体实施方式中,数据处理模块,可以支持从各个数据源采集数据,并对数据进行过滤、分析等操作。
在一种优选实施方式中,预设告警模块,基于告警服务通过预设告警漏斗算法实现告警抑制,避免因为重复告警导致告警消息过多的问题;自定义告警配置集成了邮件、短信两种通知类型实现实时告警功能。可以理解,告警漏斗算法可以采用本领域的公知技术进行实现,在本申请中并不进行具体限定。
作为本实施例中的优选,还包括:在预设告警模块接收到异常事件日志时,进行告警;通过所述数据处理模块,基于各个数据源采集数据,对日志文件进行预设的标准化处理。
具体实施时,预设告警模块在接收到异常事件日志后,进行告警,将异常日志的TraceId、业务唯一标识通过邮件的方式告警给指定的运维和开发人员。
通过所述数据处理模块比如logstash,基于各个数据源采集数据,对日志文件进行预设的标准化处理。
作为本实施例中的优选,所述基于至少一个微服务将调用链调用信息通过网络传输协议异步发送给调用链采集服务模块,包括:基于至少一个微服务将调用链调用信息通过HTTP网络传输协议,异步发送给调用链采集服务模块,用以通过所述调用链采集服务模块将所述调用链调用信息分析、清洗后存入ES数据库。
具体实施时,对于调用链的调用信息通过异步的方式发送给用链采集服务模块,通过所述调用链采集服务模块通过所述调用链采集服务模块将所述调用链调用信息分析、清洗后存入ES数据库。
作为本实施例中的优选,所述通过预设日志采集模块监听所述至少一个微服务的业务日志文件,并通过网络传输协议分别同步至数据处理模块和预设告警模块,包括:通过预设日志采集模块监听所述至少一个微服务的业务日志文件,并将所述业务日志文件进行分析、清洗后生成标准化的日志存入ES数据库。
具体实施时,通过预设日志采集模块监听至少一个所述微服务的业务日志文件,并将日志文件进行标准化处理之后存入ES数据库。
作为本实施例中的优选,所述调用链采集服务模块,还用于:通过Java探针技术对微服务进行监控,用以实现调用链查询、链路追踪。
具体实施时,调用链监控服务通过java探针技术,以最低的侵入性对线上微服务或应用进行监控,实现调用链查询、链路追踪、全局拓扑、性能剖析等功能。
作为本实施例中的优选,所述预设日志采集模块,还用于基于日志监控服务部署Logstash高可用集群、Filebeat集群、ES集群;还包括:指标监控模块,用于通过自定义Exporter组件多节点部署,采集多个中间件指标。
具体实施时,日志监控服务模块,通过部署Logstash高可用集群、Filebeat集群、ES集群,实现了高可用、可扩展、高性能的分布式日志系统,兼具日志采集、日志告警、日志快速检索等功能。
进一步地,所述指标监控模块通过自定义的Exporter组件多节点部署,采集各个中间件指标,服务端主动拉去的方式,实现了指标采集的高性能采集,提供了丰富的页面功能,可最大化展示、下载、折现统计、柱状图统计、图标统计等功能。
作为本实施例中的优选,预先配置业务与端点的关系、业务与日志的关系、业务与服务的关系,用以在所述预设告警模块实现业务告警提供数据准备。
具体实施时,可以在知识库服务中配置了业务与端点的关系、业务与日志的关系、业务与服务的关系,为后续实现业务告警提供数据准备。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
根据本申请实施例,还提供了一种用于实施上述方法的用于业务监控的装置,如图3所示,该装置包括:
定义模块301,用于基于至少一个微服务定义业务信息,通过所述微服务在日志中打印调用链唯一标识TraceId和业务唯一标识,并且所述调用链唯一标识TraceId以及所述业务唯一标识通过日志透传打印在当前业务日志文件中;
调用链调用信息同步模块302,用于基于至少一个微服务将调用链调用信息通过网络传输协议异步发送给调用链采集服务模块;
日志同步模块303,用于通过预设日志采集模块监听所述至少一个微服务的业务日志文件,并通过网络传输协议分别同步至数据处理模块和预设告警模块,并根据所述调用链唯一标识TraceId以及所述业务唯一标识在查询出对应业务信息以及所述业务信息相关的调用请求。
本申请实施例的所述定义模块301中基于至少一个微服务定义业务信息。可以理解,针对每个不同业务的微服务通过在API接口的入口定义当前接口的业务信息通过公共的方法进行业务定义,同时该业务信息会在该请求的一系列日志中进行打印,并且透传到下游其他微服务,其他微服务也会打印此业务信息。
在一种具体实施方式中,通过所述微服务在日志中打印调用链唯一标识TraceId和业务唯一标识。对于每个所述微服务,用于在对应的日志中打印调用链唯一标识TraceId和业务唯一标识。
在一种优选实施方式中,所述调用链唯一标识TraceId以及所述业务唯一标识通过日志透传打印在当前业务日志文件中。基于日志透传,将业务标识、调用链唯一标识TraceId通过日志透传打印在业务日志中。
本申请实施例的所述调用链调用信息同步模块302中基于至少一个微服务将调用链调用信息通过网络传输协议异步发送给调用链采集服务模块。需要注意的是,各个微服务将调用链调用信息通过http的方式,异步发送给调用链采集服务模块,在调用链采集服务模块将调用链数据分析和清洗后保存在ES数据库中。
在一种具体实施方式中,网络传输协议即为HTTP协议。
在一种优选实施方式中,对于每个调用链调用信息通异步给调用链采集服务模块。
本申请实施例的所述日志同步模块303中通过预设日志采集模块监听所述至少一个微服务的业务日志文件,并通过网络传输协议分别同步至数据处理模块和预设告警模块。进一步地,根据所述调用链唯一标识TraceId以及所述业务唯一标识在查询出对应业务信息以及所述业务信息相关的调用请求。
相关的开发人员和运维人员可以通过TraceId和业务唯一标识在智能运维平台中查询到是哪个业务出现了问题,哪一个调用请求出现问题,方可迅速定位到故障及故障原因。
在一种具体实施方式中,数据处理模块,可以支持从各个数据源采集数据,并对数据进行过滤、分析等操作。
在一种优选实施方式中,预设告警模块,基于告警服务通过预设告警漏斗算法实现告警抑制,避免因为重复告警导致告警消息过多的问题;自定义告警配置集成了邮件、短信两种通知类型实现实时告警功能。可以理解,告警漏斗算法可以采用本领域的公知技术进行实现,在本申请中并不进行具体限定。
显然,本领域的技术人员应该明白,上述的本申请的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本申请不限制于任何特定的硬件和软件结合。
为了更好的理解上述用于业务监控的方法流程,以下结合优选实施例对上述技术方案进行解释说明,但不用于限定本发明实施例的技术方案。
本申请实施例中的用于业务监控的方法,提供多种监控分析、结果展示功能、实时业务告警功能,帮助运维人员掌握微服务架构下的业务系统运营中的系统风险动态,进而化被动为主动。
如图4所示,与现有技术相比,本申请实施例中的智能运维平台监控的维度更全面,从端层监控(web、H5前端页面监控)、业务层监控(业务数据监控)、应用层监控(springboot微服务、调用链、链路追踪监控)、系统层监控(服务器、网络等)多维度的监控,为线上多产品、多业务线提供了全套监控和运维体系。具体包括了如下的模块:调用链监控服务(应用监控服务)、指标监控服务、日志监控服务、告警服务、基础配置服务。
调用链监控服务,通过java探针技术,以最低的侵入性对线上微服务(应用)进行监控,实现调用链查询、链路追踪、全局拓扑、性能剖析等功能。
日志监控服务,通过部署Logstash高可用集群、filebeat集群、es集群,实现了高可用、可扩展、高性能的分布式日志系统,兼具日志采集、日志告警、日志快速检索等功能
指标监控服务,通过自定义的exporter组件多节点部署,采集各个中间件指标,服务端主动拉去的方式,实现了指标采集的高性能采集,提供了丰富的页面功能,可最大化展示、下载、折现统计、柱状图统计、图标统计等功能
告警服务,通过告警漏斗算法实现告警抑制,避免因为重复告警导致告警消息过多的问题;自定义告警配置集成了邮件、短信两种通知类型实现实时告警功能。
知识库服务,配置了业务与端点的关系、业务与日志的关系、业务与服务的关系,为后续实现业务告警提供数据准备。
如图5所示,本申请的实施例中先由各个业务的微服务在API接口的入口定义当前接口的业务信息通过公共的方法进行业务定义,该业务信息会在该请求的一系列日志中进行打印,并且透传到下游其他微服务,其他微服务也会打印此业务信息。Filebeat日志采集工具监听微服务的日志文件并将日志事件推送至logstash(数据处理引擎,支持从各个数据源采集数据,并对数据进行过滤、分析等操作)和告警平台。
如图7所示,是本申请实施例中用于业务监控的方法的系统架构示意图。
如图6所示,是本申请实施例中用于业务监控的方法的流程示意图,基于图7中的系统架构,业务监控实现的具体过程包括如下步骤:
其中,Elasticsearch是个开源分布式搜索引擎,提供搜集、分析、存储数据三大功能。它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。
其中,Logstash主要是用来日志的搜集、分析、过滤日志的工具,支持大量的数据获取方式。一般工作方式为c/s架构,client端安装在需要收集日志的主机上,server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。
步骤S1,各个微服务在所有日志中打印调用链唯一标识TraceId、业务唯一标识。
步骤S2,将业务标识、调用链唯一标识TraceId通过日志透传打印在业务日志中。
步骤S3,各个微服务将调用链调用信息通过http的方式,异步发送给调用链采集服务apm-collector,apm-collector将调用链数据分析和清洗后保存在elastic Search数据库中。
步骤S4,Filebeat采集工具将业务日志采集并通过http的方式分别发送给logstash数据处理引擎、alertmanager告警平台。
步骤S5,Logstash数据处理引擎将日志进行分析和清洗后生成标准化的日志存入elastic search。
步骤S6,Alertmanager告警平台接收到异常事件日志后,进行告警,将异常日志的TraceId、业务唯一标识通过邮件的方式告警给指定的运维和开发人员。
步骤S7,开发人员和运维人员可以通过TraceId和业务唯一标识在智能运维平台中查询到是哪个业务出现了问题,哪一个调用请求出现问题,方可迅速定位到故障及故障原因。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种用于业务监控的方法,其特征在于,包括:
基于至少一个微服务定义业务信息,通过所述微服务在日志中打印调用链唯一标识TraceId和业务唯一标识,并且所述调用链唯一标识TraceId以及所述业务唯一标识通过日志透传打印在当前业务日志文件中;
基于至少一个微服务将调用链调用信息通过网络传输协议异步发送给调用链采集服务模块;
通过预设日志采集模块监听所述至少一个微服务的业务日志文件,并通过网络传输协议分别同步至数据处理模块和预设告警模块,并根据所述调用链唯一标识TraceId以及所述业务唯一标识在查询出对应业务信息以及所述业务信息相关的调用请求。
2.根据权利要求1所述的方法,其特征在于,还包括:
在预设告警模块接收到异常事件日志时,进行告警;
通过所述数据处理模块,基于各个数据源采集数据,对日志文件进行预设的标准化处理。
3.根据权利要求2所述的方法,其特征在于,所述基于至少一个微服务将调用链调用信息通过网络传输协议异步发送给调用链采集服务模块,包括:
基于至少一个微服务将调用链调用信息通过HTTP网络传输协议,异步发送给调用链采集服务模块,用以通过所述调用链采集服务模块将所述调用链调用信息分析、清洗后存入ES数据库。
4.根据权利要求2所述的方法,其特征在于,所述通过预设日志采集模块监听所述至少一个微服务的业务日志文件,并通过网络传输协议分别同步至数据处理模块和预设告警模块,包括:
通过预设日志采集模块监听所述至少一个微服务的业务日志文件,并将所述业务日志文件进行分析、清洗后生成标准化的日志存入ES数据库。
5.根据权利要求1所述的方法,其特征在于,所述调用链采集服务模块,还用于:通过Java探针技术对微服务进行监控,用以实现调用链查询、链路追踪。
6.根据权利要求1所述的方法,其特征在于:
所述预设日志采集模块,还用于基于日志监控服务部署Logstash高可用集群、Filebeat集群、ES集群;
还包括:指标监控模块,用于通过自定义Exporter组件多节点部署,采集多个中间件指标。
7.根据权利要求1所述的方法,其特征在于,还包括:
预先配置业务与端点的关系、业务与日志的关系、业务与服务的关系,用以在所述预设告警模块实现业务告警提供数据准备。
8.一种用于业务监控的装置,其特征在于,包括:
定义模块,用于基于至少一个微服务定义业务信息,通过所述微服务在日志中打印调用链唯一标识TraceId和业务唯一标识,并且所述调用链唯一标识TraceId以及所述业务唯一标识通过日志透传打印在当前业务日志文件中;
调用链调用信息同步模块,用于基于至少一个微服务将调用链调用信息通过网络传输协议异步发送给调用链采集服务模块;
日志同步模块,用于通过预设日志采集模块监听所述至少一个微服务的业务日志文件,并通过网络传输协议分别同步至数据处理模块和预设告警模块,并根据所述调用链唯一标识TraceId以及所述业务唯一标识在查询出对应业务信息以及所述业务信息相关的调用请求。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行所述权利要求1至7任一项所述的方法。
10.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行所述权利要求1至7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111681978.5A CN114328124A (zh) | 2021-12-31 | 2021-12-31 | 用于业务监控的方法以及装置、存储介质、电子装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111681978.5A CN114328124A (zh) | 2021-12-31 | 2021-12-31 | 用于业务监控的方法以及装置、存储介质、电子装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114328124A true CN114328124A (zh) | 2022-04-12 |
Family
ID=81022958
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111681978.5A Pending CN114328124A (zh) | 2021-12-31 | 2021-12-31 | 用于业务监控的方法以及装置、存储介质、电子装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114328124A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115037653A (zh) * | 2022-06-28 | 2022-09-09 | 北京奇艺世纪科技有限公司 | 业务流量监控方法、装置、电子设备和存储介质 |
CN115065731A (zh) * | 2022-05-30 | 2022-09-16 | 上海电气风电集团股份有限公司 | 业务处理方法、装置、电子设备和计算机可读存储介质 |
CN116302862A (zh) * | 2023-05-18 | 2023-06-23 | 浙江华东工程数字技术有限公司 | 一种微服务架构下监控告警方法和系统 |
-
2021
- 2021-12-31 CN CN202111681978.5A patent/CN114328124A/zh active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115065731A (zh) * | 2022-05-30 | 2022-09-16 | 上海电气风电集团股份有限公司 | 业务处理方法、装置、电子设备和计算机可读存储介质 |
CN115037653A (zh) * | 2022-06-28 | 2022-09-09 | 北京奇艺世纪科技有限公司 | 业务流量监控方法、装置、电子设备和存储介质 |
CN115037653B (zh) * | 2022-06-28 | 2023-10-13 | 北京奇艺世纪科技有限公司 | 业务流量监控方法、装置、电子设备和存储介质 |
CN116302862A (zh) * | 2023-05-18 | 2023-06-23 | 浙江华东工程数字技术有限公司 | 一种微服务架构下监控告警方法和系统 |
CN116302862B (zh) * | 2023-05-18 | 2023-08-11 | 浙江华东工程数字技术有限公司 | 一种微服务架构下监控告警方法和系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114328124A (zh) | 用于业务监控的方法以及装置、存储介质、电子装置 | |
CN109714192B (zh) | 一种监控云平台的监控方法及系统 | |
EP1875664B1 (en) | Apparatus and method for managing a network of intelligent devices | |
CN105653425B (zh) | 基于复杂事件处理引擎的监控系统 | |
CN108365985A (zh) | 一种集群管理方法、装置、终端设备及存储介质 | |
CN111046011B (zh) | 日志收集方法、系统、装置、电子设备及可读存储介质 | |
CN106612199B (zh) | 一种网络监控数据收集与分析系统及方法 | |
CN107508722B (zh) | 一种业务监控方法和装置 | |
CN102594598A (zh) | 一种日志管理系统及其实现方法 | |
CN105718351A (zh) | 一种面向Hadoop集群的分布式监控管理系统 | |
CN114443435A (zh) | 一种面向容器微服务的性能监控告警方法及告警系统 | |
CN106487574A (zh) | 自动化运行维护监测系统 | |
CN110457178A (zh) | 一种基于日志采集分析的全链路监控告警方法 | |
CN106649055A (zh) | 一种基于国产cpu和操作系统的软硬件故障告警系统及方法 | |
WO2008013897A2 (en) | System and method for server configuration control and management | |
CN110209518A (zh) | 一种多数据源日志数据集中收集存储方法及装置 | |
CN112965874B (zh) | 一种可配置的监控告警方法及系统 | |
CN112015753B (zh) | 适于容器化部署开源云平台的监控系统和方法 | |
CN111538563A (zh) | 一种对Kubernetes的事件分析方法及装置 | |
CN114048090A (zh) | 基于k8s的容器云平台监控的方法、设备及存储介质 | |
CN117130730A (zh) | 面向联邦Kubernetes集群的元数据管理方法 | |
CN106789335B (zh) | 一种用于处理信息的方法和系统 | |
CN115934464A (zh) | 一种信息化平台监控采集系统 | |
CN115134262B (zh) | RocketMQ监控方法及装置、存储介质及电子设备 | |
CN114168672B (zh) | 日志数据的处理方法、装置、系统以及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |