CN116089365A - 业务日志筛选方法、装置、设备和存储介质 - Google Patents

业务日志筛选方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN116089365A
CN116089365A CN202211643853.8A CN202211643853A CN116089365A CN 116089365 A CN116089365 A CN 116089365A CN 202211643853 A CN202211643853 A CN 202211643853A CN 116089365 A CN116089365 A CN 116089365A
Authority
CN
China
Prior art keywords
service
log
acceptance
link tracking
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211643853.8A
Other languages
English (en)
Inventor
包玉雪
贺夕政
汪伟
耿志亮
樊霆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Xinglian Digital Technology Co ltd
Original Assignee
Nanjing Xinglian Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Xinglian Digital Technology Co ltd filed Critical Nanjing Xinglian Digital Technology Co ltd
Priority to CN202211643853.8A priority Critical patent/CN116089365A/zh
Publication of CN116089365A publication Critical patent/CN116089365A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/13File access structures, e.g. distributed indices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/14Details of searching files based on file metadata
    • G06F16/148File search processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/1805Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815Journaling file systems
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请涉及一种业务日志筛选方法、装置、设备和存储介质。主要技术方案包括:实时监听业务链路跟踪日志,根据业务链路跟踪日志生成业务日志索引文件;将业务链路跟踪日志发送至业务日志服务平台,并获取业务日志服务平台基于业务链路跟踪日志得到的业务受理结果;根据业务日志索引文件和业务受理结果对业务链路跟踪日志进行筛选,以生成用于检索查询的专属文件。本申请通过对输出的业务链路跟踪日志进行过滤筛选,以得到用于检索查询的专属文件,便于运维人员可以基于该专属文件进行业务查询,以达到提高业务系统服务的可靠性和稳定性以及增强用户满意度的效果。

Description

业务日志筛选方法、装置、设备和存储介质
技术领域
本申请涉及大数据日志技术领域,特别是涉及一种业务日志筛选方法、装置、设备和存储介质。
背景技术
众做周知,业务系统在运行中会产生大量的业务日志,且在业务受理时,一个业务交易请求往往需要经过几十个服务系统进行处理,才能完成最终的业务交易结果,那么,每个服务系统都会输出业务日志记录当前受理业务的跟踪信息和处理结果,以便在业务受理出现异常时进行问题的排查。然而,随着业务领域的不断扩大以及使用用户数据量不断上涨,各服务系统间的调用量也越来越大,各个服务系统的日志数据急剧膨胀,需要采集的业务日志量也变得巨大,特别是在大促期间业务日志数据量成几何量级的增加。例如,双11零点的峰值流量,每分钟达到百亿的业务日志数据峰值,这么多的业务日志数据在采集过程中会耗费大量的机器资源,会使用大量的网络接口,在业务日志处理服务端系统中也需要大量的机器资源来进行实时索引和存储,以完成数据的收集并提供全文检索服务。
在传统的实现方式中,由于运维人员在排查问题时,需要根据完整的业务受理链路跟踪日志查看问题所在,为了提供完整的业务受理链路跟踪日志,业务服务平台需要采集所有服务系统的全部日志数据,但在业务高峰中会因业务日志数据爆增导致业务日志数据采集和消费延时,进而在业务处理出现问题时不能及时的提供业务日志全文检索服务,导致运维人员无法及时排查问题。从而,存在降低业务系统服务的可靠性、影响用户体验以及降低业务日志全文检索服务系统的可信任度的缺陷。
发明内容
基于此,本申请提供了一种业务日志筛选方法、装置、设备和存储介质,通过先对输出的业务日志进行过滤筛选再完成后续的采集,进而可以达到降低采集业务日志量,提高业务系统服务的可靠性和稳定性以及增强用户满意度的效果。
第一方面,提供一种业务日志筛选方法,该方法包括:
实时监听业务链路跟踪日志,根据业务链路跟踪日志生成业务日志索引文件;
将业务链路跟踪日志发送至业务日志服务平台,并获取业务日志服务平台基于业务链路跟踪日志得到的业务受理结果;
根据业务日志索引文件和业务受理结果对业务链路跟踪日志进行筛选,以生成用于检索查询的专属文件。
根据本申请实施例中一种可实现的方式,业务链路跟踪日志至少一个以上,根据业务链路跟踪日志生成业务日志索引文件,包括:
获取各业务链路跟踪日志的业务链路编码信息;
根据业务链路编码信息生成业务日志索引文件,业务日志索引文件为多个业务链路编码信息以及各业务链路编码信息对应的业务日志信息的集合。
根据本申请实施例中一种可实现的方式,业务链路跟踪日志包括至少一个业务监控日志;将业务链路跟踪日志发送至业务日志服务平台,包括:
实时监听各业务监控日志,并采集各业务监控日志的具体信息;
将各业务监控日志的具体信息发送至业务日志服务平台。
根据本申请实施例中一种可实现的方式,业务监控日志的具体信息包括业务受理响应码信息和其它信息,获取业务日志服务平台基于业务链路跟踪日志得到的业务受理结果,包括:
获取业务日志服务平台基于业务受理响应码信息得到的第一受理状态;
获取业务日志服务平台基于其它信息得到的第二受理状态;
基于第一受理状态和第二受理状态得到业务受理结果。
根据本申请实施例中一种可实现的方式,业务受理结果包括业务受理失败;根据业务日志索引文件和业务受理结果对业务链路跟踪日志进行筛选,以生成用于检索查询的专属文件,包括:
在业务受理结果为业务受理失败时,获取对应业务链路跟踪日志的业务链路编码信息;
根据业务链路编码信息在业务日志索引文件中对业务链路跟踪日志进行筛选,以生成用于检索查询的专属文件。
根据本申请实施例中一种可实现的方式,专属文件包括过滤文件,根据业务链路编码信息在业务日志索引文件中对业务链路跟踪日志进行筛选,以生成用于检索查询的专属文件,包括:
根据业务链路编码信息在业务日志索引文件中查询对应的业务日志信息;
根据业务链路编码信息和对应业务日志信息生产生成用于检索查询的过滤文件。
根据本申请实施例中一种可实现的方式,业务受理结果包括业务受理成功,专属文件包括存储文件;根据业务日志索引文件和业务受理结果对业务链路跟踪日志进行筛选,以生成用于检索查询的专属文件,包括:
在业务受理结果为业务受理成功时,则忽略对业务链路跟踪日志的筛选,直接根据业务链路跟踪日志生成用于检索查询的存储文件。
第二方面,提供了一种业务日志筛选装置,该装置包括:
第一生成模块,用于实时监听业务链路跟踪日志,根据业务链路跟踪日志生成业务日志索引文件;
业务处理模块,用于将业务链路跟踪日志发送至业务日志服务平台,并获取业务日志服务平台基于业务链路跟踪日志得到的业务受理结果;
第二生成模块,用于根据业务日志索引文件和业务受理结果对业务链路跟踪日志进行筛选,以生成用于检索查询的专属文件。
第三方面,提供了一种计算机设备,包括:
至少一个处理器;以及
与至少一个处理器通信连接的存储器;其中,
存储器存储有可被至少一个处理器执行的计算机指令,计算机指令被至少一个处理器执行,以使至少一个处理器能够执行上述第一方面中涉及的方法。
第四方面,提供了一种计算机可读存储介质,其上存储有计算机指令,其特征在于,计算机指令用于使计算机执行上述第一方面中涉及的方法。
根据本申请实施例所提供的技术内容,通过实时监听业务链路跟踪日志,根据业务链路跟踪日志生成业务日志索引文件;将业务链路跟踪日志发送至业务日志服务平台,并获取业务日志服务平台基于业务链路跟踪日志得到的业务受理结果;根据业务日志索引文件和业务受理结果对业务链路跟踪日志进行筛选,以生成用于检索查询的专属文件。上述操作,通过对输出的业务链路跟踪日志进行过滤筛选,以得到用于检索查询的专属文件,以便于后期运维人员可以直接基于该专属文件进行业务查询,以达到降低后续采集业务日志量,提高业务系统服务的可靠性和稳定性以及增强用户满意度的效果。
附图说明
图1为一个实施例中一种业务日志筛选方法的应用环境图;
图2为一个实施例中一种业务日志筛选方法的流程示意图;
图3为一个实施例中一种业务日志筛选方法的优选流程示意图;
图4为一个实施例中一种业务日志筛选装置的结构框图;
图5为一个实施例中计算机设备的示意性结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的一种业务日志筛选方法,可以应用于如图1所示的应用环境中。其中,客户端102通过网络与服务器104通过网络进行通信。客户端102包括边缘计算客户端和日志采集客户端,服务器104包括日志服务平台。具体地,边缘计算客户端实时监听业务链路跟踪日志,根据业务链路跟踪日志生成业务日志索引文件;日志采集客户端将业务链路跟踪日志发送至日志服务平台,并获取日志服务平台基于业务链路跟踪日志得到的业务受理结果;边缘计算客户端根据业务日志索引文件和业务受理结果对业务链路跟踪日志进行筛选,以生成用于检索查询的过滤文件。其中,客户端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种业务日志筛选方法,以该方法应用于图1中的客户端为例进行说明,包括以下步骤:
步骤201,实时监听业务链路跟踪日志,根据业务链路跟踪日志生成业务日志索引文件。
其中,业务链路跟踪日志包括业务处理过程中每个步骤处理业务时的状态相关日志,且业务链路跟踪日志中的日志行以换行符号为分割符。
具体地,业务服务系统设置有链路追踪组件,业务服务系统在输出业务日志时可以增加链路追踪信息以得到业务链路跟踪日志,且每条业务受理请求链路对应输出一个业务链路跟踪日志。边缘计算客户端实时监听业务服务系统输出的业务链路跟踪日志,根据业务链路跟踪日志生成业务日志索引文件。其中,链路追踪组件可以是开源SkyWalking组件。
步骤203,将业务链路跟踪日志发送至业务日志服务平台,并获取业务日志服务平台基于业务链路跟踪日志得到的业务受理结果。
日志采集客户端采集业务链路跟踪日志,并将业务链路跟踪日志发送至日志服务平台,日志服务平台在接收到业务链路跟踪日志后,可以对业务链路跟踪日志进行解析,通过解析得到对应链路的业务受理结果,并将该业务受理结果发送至边缘计算客户端,边缘计算客户端获取该业务受理结果。
步骤205,根据业务日志索引文件和业务受理结果对业务链路跟踪日志进行筛选,以生成用于检索查询的专属文件。
具体地,由于业务受理结果包括业务受理正常和业务受理异常,但不论是业务受理正常还是业务受理异常,均可以得到用于检索查询的专属文件。不过,本申请文件中主要针对的是业务受理异常的情况,通过对业务受理结果异常的业务链路跟踪日志进行筛选,以生成用于检索查询的专属文件。
可以看出,本申请实施例通过实时监听业务链路跟踪日志,根据业务链路跟踪日志生成业务日志索引文件;将业务链路跟踪日志发送至业务日志服务平台,并获取业务日志服务平台基于业务链路跟踪日志得到的业务受理结果;根据业务日志索引文件和业务受理结果对业务链路跟踪日志进行筛选,以生成用于检索查询的专属文件。上述操作,通过对输出的业务链路跟踪日志进行过滤筛选,以得到用于检索查询的专属文件,以便于后期运维人员可以直接基于该专属文件进行业务查询,以达到降低后续采集业务日志量,提高业务系统服务的可靠性和稳定性以及增强用户满意度的效果。
下面对上述方法流程中的各步骤进行详细描述。首先结合实施例对上述步骤201即“实时监听业务链路跟踪日志,根据业务链路跟踪日志生成业务日志索引文件”进行详细描述。
获取各业务链路跟踪日志的业务链路编码信息;根据业务链路编码信息生成业务日志索引文件。
其中,业务链路跟踪日志至少一个以上。
这里,业务链路跟踪日志包含有业务链路编码信息,该业务链路编码信息贯穿整个业务受理链路,直至此业务受理链路处理完成。且只要是业务服务系统输出的业务链路跟踪日志均携带有该业务链路编码信息。
边缘计算客户端实时监听各业务链路跟踪日志的状态,并根据各业务链路跟踪日志的业务链路编码生成业务日志索引文件。其中,业务日志索引文件可以是多个业务链路编码信息以及各业务链路编码信息对应的业务日志信息的集合,即业务日志索引文件是对业务链路跟踪日志的一个汇总文件。
通过上述操作,实现将所有业务链路跟踪日志汇总到一个总的文件中,以便于后期工作人员对业务链路跟踪日志进行查询筛选。
下面结合实施例对上述步骤203即“将业务链路跟踪日志发送至业务日志服务平台,并获取业务日志服务平台基于业务链路跟踪日志得到的业务受理状态”进行详细描述。
实时监听各业务监控日志,并采集各业务监控日志的具体信息;将各业务监控日志的具体信息发送至业务日志服务平台;获取业务日志服务平台基于业务受理响应码信息得到的第一受理状态;获取业务日志服务平台基于其它信息得到的第二受理状态;基于第一受理状态和第二受理状态得到业务受理结果。
其中,各业务链路跟踪日志包括至少一个业务监控日志;业务监控日志的具体信息包括业务受理响应码信息和其它信息,其它信息包括但不限于业务日志时间信息、当前业务日志对应的标识信息、业务需求规则信息。
这里,业务服务系统接收业务服务请求,对业务服务请求进行处理后输出两种日志类型,一种是业务链路跟踪日志,另一种是业务监控日志,且业务监控日志又包含在业务链路跟踪日志中。
具体地,日志采集客户端安装有日志采集组件,日志采集客户端实时监听各业务监控日志的状态,并通过日志采集组件采集各业务监控日志的具体信息。同时,将各业务监控日志的具体信息实时发送至业务日志服务平台,业务日志服务平台实时接收业务监控日志的具体信息,并读取各业务监控日志的具体信息进行解析。其中,日志监控组件可以是Flume组件。
由于业务监控日志的具体信息中包含业务受理响应码信息,业务受理响应码信息可用于判断对应业务受理是否成功,因此,业务日志服务平台可以基于业务受理响应码信息得到第一受理状态,这里一般默认业务受理响应码信息为6个0时,为业务受理成功状态,其余为业务受理失败状态。当然,业务日志服务平台还可以基于其它信息得到的第二受理状态。
日志采集客户端获取业务日志服务平台基于业务受理响应码信息得到的第一受理状态和业务日志服务平台基于其它信息得到的第二受理状态;基于第一受理状态、第二受理状态以及预设规则得到业务受理结果。这里不对预设规则进行时限定,主要是基于当前客户的业务需求而定的。
通过上述操作,综合考虑第一受理状态和第二受理状态得到业务受理结果,使得最终得到的业务受理结果的准确度更高,更能满足客户的需求。
结合实施例对上述步骤205即“根据业务日志索引文件和业务受理结果对业务链路跟踪日志进行筛选,以生成用于检索查询的专属文件”进行详细描述。
在一种可实现的方式中,在业务受理结果为业务受理失败时,获取对应业务链路跟踪日志的业务链路编码信息;根据业务链路编码信息在业务日志索引文件中对业务链路跟踪日志进行筛选,以生成用于检索查询的专属文件。
其中,业务受理结果包括业务受理失败;专属文件包括过滤文件。
具体地,在业务受理结果为业务受理失败时,边缘计算客户端实时获取对应业务链路跟踪日志的业务链路编码信息,根据业务链路编码信息在业务日志索引文件中查询对应的业务日志信息。其中,业务日志信息包括业务受理失败对应的业务日志的名称信息和所在的行数信息。
根据业务链路编码信息和对应业务日志信息生成用于检索查询的过滤文件。这里的过滤文件中包含所有业务受理失败的业务链路跟踪日志,即实现将业务受理失败的业务链路跟踪日志筛选出来,这样,可以使得工作人员可以直接基于该过滤文件进行查询检索,以找到失败原因所在。
通过上述操作,实现在业务受理结果为业务受理失败时,对业务链路跟踪日志进行筛选,且生成用于检索查询的过滤文件,以便于工作人员可以直接基于该过滤文件进行查询检索。
在另一种可实现的方式中,在业务受理结果为业务受理成功时,则根据业务链路跟踪日志生成用于检索查询的存储文件。
其中,专属文件包括存储文件。
具体地,在业务受理结果为业务受理成功时,直接获取业务链路跟踪日志,根据业务链路跟踪日志生成用于检索查询的存储文件。该存储文件主要是备份用的,以便于在数据丢失时可以通过该存储文件进行检索查询。
通过上述操作,在业务受理结果为业务受理成功时,基于业务链路跟踪日志生成用于检索查询的存储文件,以便于在数据丢失时工作人员可以通过该存储文件进行检索查询。
结合上述实施例中的实现方式,下面结合图3对本申请实施例提供的一优选的方法流程进行举例描述。如图3所示,该方法可以包括以下步骤:
步骤301,实时监听业务链路跟踪日志。
步骤302,获取各业务链路跟踪日志的业务链路编码信息。
步骤303,根据业务链路编码信息生成业务日志索引文件。
步骤304,实时监听各业务监控日志,并采集各业务监控日志的具体信息,业务监控日志的具体信息包括业务受理响应码信息和其它信息。
步骤305,将各业务监控日志的具体信息发送至业务日志服务平台。
步骤306,获取业务日志服务平台基于业务受理响应码信息得到的第一受理状态。
步骤307,获取业务日志服务平台基于其它信息得到的第二受理状态。
步骤308,基于第一受理状态和第二受理状态得到业务受理结果;在业务受理结果为业务受理失败时,执行步骤309;在业务受理结果为业务受理成功时,执行步骤312。
步骤309,获取对应业务链路跟踪日志的业务链路编码信息。
步骤310,根据业务链路编码信息在业务日志索引文件中查询对应的业务日志信息。
步骤311,根据业务链路编码信息和对应业务日志信息生产生成用于检索查询的过滤文件。
步骤312,则根据业务链路跟踪日志生成用于检索查询的存储文件。
应该理解的是,虽然图2-图3的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本申请中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-图3中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
上述方法实施例可以应用于多种应用场景,例如可以包括但不限于以下应用场景:
边缘计算客户端实时监听业务链路跟踪日志,根据业务链路跟踪日志生成业务日志索引文件,而由于业务链路跟踪日志包括业务监控日志,因此,可以将业务监控日志发送至业务日志服务平台,并获取业务日志服务平台基于业务监控日志得到的业务受理结果。在业务受理结果为业务受理失败时,获取对应业务链路跟踪日志的业务链路编码信息,根据业务链路编码信息在业务日志索引文件中查询对应的业务日志信息;根据业务链路编码信息和对应业务日志信息生产生成用于检索查询的过滤文件。
图4为本申请实施例提供的一种业务日志筛选装置的结构示意图,该装置可以设置于图1所示应用环境中的客户端,用以执行如图2-图3中所示的方法流程。如图4所示,该装置可以包括:第一生成模块401、业务处理模块403和第二生成模块405。其中各组成模块的主要功能如下:
第一生成模块401,用于实时监听业务链路跟踪日志,根据业务链路跟踪日志生成业务日志索引文件;
业务处理模块403,用于将业务链路跟踪日志发送至业务日志服务平台,并获取业务日志服务平台基于业务链路跟踪日志得到的业务受理结果;
第二生成模块405,用于根据业务日志索引文件和业务受理结果对业务链路跟踪日志进行筛选,以生成用于检索查询的专属文件。
在一个实施例中,业务链路跟踪日志至少一个以上,第一生成模块401,还用于:
获取各业务链路跟踪日志的业务链路编码信息;
根据业务链路编码信息生成业务日志索引文件,业务日志索引文件为多个业务链路编码信息以及各业务链路编码信息对应的业务日志信息的集合。
在一个实施例中,业务链路跟踪日志包括至少一个业务监控日志,业务处理模块403,还用于:
实时监听各业务监控日志,并采集各业务监控日志的具体信息;
将各业务监控日志的具体信息发送至业务日志服务平台。
在一个实施例中,业务监控日志的具体信息包括业务受理响应码信息和其它信息,业务处理模块403,还用于:
获取业务日志服务平台基于业务受理响应码信息得到的第一受理状态;
获取业务日志服务平台基于其它信息得到的第二受理状态;
基于第一受理状态和第二受理状态得到业务受理结果。
在一个实施例中,业务受理结果包括业务受理失败,第二生成模块405,还用于:
在业务受理结果为业务受理失败时,获取对应业务链路跟踪日志的业务链路编码信息;
根据业务链路编码信息在业务日志索引文件中对业务链路跟踪日志进行筛选,以生成用于检索查询的专属文件。
在一个实施例中,第二生成模块405,还用于:
根据业务链路编码信息在业务日志索引文件中查询对应的业务日志信息;
根据业务链路编码信息和对应业务日志信息生产生成用于检索查询的过滤文件。
在一个实施例中,业务受理结果包括业务受理成功,专属文件包括存储文件;第二生成模块405,还用于:
在业务受理结果为业务受理成功时,则忽略对业务链路跟踪日志的筛选,直接根据业务链路跟踪日志生成用于检索查询的存储文件。
根据本申请提供的具体实施例,本申请所提供的技术方案可以具备以下优点:
1)缩减对业务日志数据的采集数据量,节约了网络IO的流量。
2)通过对业务链路跟踪日志进行筛选过滤,可以缩减掉大量的业务日志数据,进而可以在最终的业务日志查询和索引中节约大量的计算和存储资源。
3)在业务系统运行高峰中,不会再因业务日志高峰流量大导致不能实时查询业务日志的问题,进而保障了高峰期的业务日志数据实时查询的稳定性。
可以理解的是,实施本申请的任一方法或产品并不一定需要同时达到以上的所有优点。
上述各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
需要说明的是,本申请实施例中可能会涉及到对用户数据的使用,在实际应用中,可以在符合所在国的适用法律法规要求的情况下(例如用户明确同意,对用户切实通知,用户明确授权等),在适用法律法规允许的范围内在本文描述的方案中使用用户特定的个人数据。
根据本申请的实施例,本申请还提供了一种计算机设备、一种计算机可读存储介质。
如图5所示,是根据本申请实施例的计算机设备的框图。计算机设备旨在表示各种形式的数字计算机或移动装置。其中数字计算机可以包括台式计算机、便携式计算机、工作台、个人数字助理、服务器、大型计算机和其它适合的计算机。移动装置可以包括平板电脑、智能电话、可穿戴式设备等。
如图5所示,设备500包括计算单元501、ROM502、RAM503、总线504以及输入/输出(I/O)接口505,计算单元501、ROM502以及RAM503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
计算单元501可以根据存储在只读存储器(ROM)502中的计算机指令或者从存储单元508加载到随机访问存储器(RAM)503中的计算机指令,来执行本申请方法实施例中的各种处理。计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501可以包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。在一些实施例中,本申请实施例提供的方法可被实现为计算机软件程序,其被有形地包含于计算机可读存储介质,例如存储单元508。
RAM503还可存储设备500操作所需的各种程序和数据。计算机程序的部分或者全部可以经由ROM502和/或通信单元509而被载入和/或安装到设备500上。
设备500中的输入单元506、输出单元507、存储单元508和通信单元509可以连接至I/O接口505。其中,输入单元506可以是诸如键盘、鼠标、触摸屏、麦克风等;输出单元507可以是诸如显示器、扬声器、指示灯等。设备500能够通过通信单元509与其他设备进行信息、数据等的交换。
需要说明的是,该设备还可以包括实现正常运行所必需的其他组件。也可以仅包含实现本申请方案所必需的组件,而不必包含图中所示的全部组件。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件和/或它们的组合中实现。
用于实施本申请的方法的计算机指令可以采用一个或多个编程语言的任何组合来编写。这些计算机指令可以提供给计算单元501,使得计算机指令当由诸如处理器等计算单元501执行时使执行本申请方法实施例中涉及的各步骤。
本申请提供的计算机可读存储介质可以是有形的介质,其可以包含或存储计算机指令,用以执行本申请方法实施例中涉及的各步骤。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的等形式的存储介质。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。

Claims (10)

1.一种业务日志筛选方法,其特征在于,所述方法包括:
实时监听业务链路跟踪日志,根据所述业务链路跟踪日志生成业务日志索引文件;
将所述业务链路跟踪日志发送至业务日志服务平台,并获取所述业务日志服务平台基于所述业务链路跟踪日志得到的业务受理结果;
根据所述业务日志索引文件和所述业务受理结果对所述业务链路跟踪日志进行筛选,以生成用于检索查询的专属文件。
2.根据权利要求1所述的方法,其特征在于,所述业务链路跟踪日志至少一个以上,所述根据所述业务链路跟踪日志生成业务日志索引文件,包括:
获取各所述业务链路跟踪日志的业务链路编码信息;
根据所述业务链路编码信息生成业务日志索引文件,所述业务日志索引文件为多个所述业务链路编码信息以及各所述业务链路编码信息对应的业务日志信息的集合。
3.根据权利要求2所述的方法,其特征在于,所述业务链路跟踪日志包括至少一个业务监控日志;所述将所述业务链路跟踪日志发送至业务日志服务平台,包括:
实时监听各所述业务监控日志,并采集各所述业务监控日志的具体信息;
将各所述业务监控日志的具体信息发送至业务日志服务平台。
4.根据权利要求3所述的方法,其特征在于,所述业务监控日志的具体信息包括业务受理响应码信息和其它信息,所述获取所述业务日志服务平台基于所述业务链路跟踪日志得到的业务受理结果,包括:
获取所述业务日志服务平台基于所述业务受理响应码信息得到的第一受理状态;
获取所述业务日志服务平台基于所述其它信息得到的第二受理状态;
基于所述第一受理状态和所述第二受理状态得到业务受理结果。
5.根据权利要求2-4任意一项所述的方法,其特征在于,所述业务受理结果包括业务受理失败;所述根据所述业务日志索引文件和所述业务受理结果对所述业务链路跟踪日志进行筛选,以生成用于检索查询的专属文件,包括:
在所述业务受理结果为业务受理失败时,获取对应业务链路跟踪日志的业务链路编码信息;
根据所述业务链路编码信息在所述业务日志索引文件中对所述业务链路跟踪日志进行筛选,以生成用于检索查询的专属文件。
6.根据权利要求5所述的方法,其特征在于,所述专属文件包括过滤文件,所述根据所述业务链路编码信息在所述业务日志索引文件中对所述业务链路跟踪日志进行筛选,以生成用于检索查询的专属文件,包括:
根据所述业务链路编码信息在所述业务日志索引文件中查询对应的业务日志信息;
根据所述业务链路编码信息和对应所述业务日志信息生产生成用于检索查询的过滤文件。
7.根据权利要求1-4任意一项所述的方法,其特征在于,所述业务受理结果包括业务受理成功,所述专属文件包括存储文件;所述根据所述业务日志索引文件和所述业务受理结果对所述业务链路跟踪日志进行筛选,以生成用于检索查询的专属文件,包括:
在所述业务受理结果为业务受理成功时,则忽略对所述业务链路跟踪日志的筛选,直接根据所述业务链路跟踪日志生成用于检索查询的存储文件。
8.一种业务日志筛选装置,其特征在于,所述装置包括:
第一生成模块,用于实时监听业务链路跟踪日志,根据所述业务链路跟踪日志生成业务日志索引文件;
业务处理模块,用于将所述业务链路跟踪日志发送至业务日志服务平台,并获取所述业务日志服务平台基于所述业务链路跟踪日志得到的业务受理结果;
第二生成模块,用于根据所述业务日志索引文件和所述业务受理结果对所述业务链路跟踪日志进行筛选,以生成用于检索查询的专属文件。
9.一种计算机设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机指令,所述计算机指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机指令,其特征在于,所述计算机指令用于使计算机执行权利要求1至7中任一项所述的方法。
CN202211643853.8A 2022-12-20 2022-12-20 业务日志筛选方法、装置、设备和存储介质 Pending CN116089365A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211643853.8A CN116089365A (zh) 2022-12-20 2022-12-20 业务日志筛选方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211643853.8A CN116089365A (zh) 2022-12-20 2022-12-20 业务日志筛选方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN116089365A true CN116089365A (zh) 2023-05-09

Family

ID=86209451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211643853.8A Pending CN116089365A (zh) 2022-12-20 2022-12-20 业务日志筛选方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN116089365A (zh)

Similar Documents

Publication Publication Date Title
CN110708204B (zh) 一种基于运维知识库的异常处理方法、系统、终端及介质
EP4099170B1 (en) Method and apparatus of auditing log, electronic device, and medium
CN113360722B (zh) 一种基于多维数据图谱的故障根因定位方法及系统
CN114721856A (zh) 业务数据处理方法、装置、设备及存储介质
CN116010220A (zh) 一种告警诊断方法、装置、设备及存储介质
CN111865673A (zh) 一种自动化故障管理方法、装置及系统
CN111581056A (zh) 基于人工智能的软件工程数据库维护与预警系统
CN116471174B (zh) 一种日志数据监测系统、方法、装置和存储介质
CN110677271B (zh) 基于elk的大数据告警方法、装置、设备及存储介质
CN113781068B (zh) 线上问题解决方法、装置、电子设备和存储介质
CN116089365A (zh) 业务日志筛选方法、装置、设备和存储介质
CN115794744A (zh) 一种日志展示方法、装置、设备和存储介质
US11822578B2 (en) Matching machine generated data entries to pattern clusters
CN115687406A (zh) 一种调用链数据的采样方法、装置、设备及存储介质
CN115580528A (zh) 故障根因定位方法、装置、设备及可读存储介质
CN115495587A (zh) 一种基于知识图谱的告警分析方法及装置
CN114312930A (zh) 基于日志数据的列车运行异常诊断方法和装置
CN111835566A (zh) 一种系统故障管理方法、装置及系统
CN113010339A (zh) 联机交易测试中故障自动处理方法及装置
CN116910352A (zh) 基于人工智能的报表推荐方法、装置、设备及介质
CN115632926A (zh) 一种告警信息处理方法、装置、设备、存储介质和产品
CN115858324A (zh) 基于ai的it设备故障处理方法、装置、设备和介质
CN115757928A (zh) 数据查询方法、装置、电子设备和存储介质
CN115309717A (zh) 数据库加载方法、装置、设备、介质和计算机程序产品
CN114429385A (zh) 一种订单信息检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination