CN114090514A - 分布式系统的日志检索方法及装置 - Google Patents

分布式系统的日志检索方法及装置 Download PDF

Info

Publication number
CN114090514A
CN114090514A CN202111437725.3A CN202111437725A CN114090514A CN 114090514 A CN114090514 A CN 114090514A CN 202111437725 A CN202111437725 A CN 202111437725A CN 114090514 A CN114090514 A CN 114090514A
Authority
CN
China
Prior art keywords
log information
micro
service
log
identifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111437725.3A
Other languages
English (en)
Inventor
吴健
杨彬栏
周春春
张小刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
Original Assignee
China Construction Bank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp filed Critical China Construction Bank Corp
Priority to CN202111437725.3A priority Critical patent/CN114090514A/zh
Publication of CN114090514A publication Critical patent/CN114090514A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/14Details of searching files based on file metadata
    • G06F16/148File search processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/1805Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815Journaling file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/182Distributed file systems

Abstract

本申请提供分布式系统的日志检索方法及装置,涉及数据处理技术领域。该方法包括:响应于日志检索请求,基于与所述日志检索请求相对应的跟踪标识,在存储的各日志信息中确定与所述跟踪标识相对应的各日志信息;利用各日志信息中的父操作标识和操作标识,得到各日志信息的调用顺序;根据所述各日志信息的调用顺序依序展示所述各日志信息。由此,本申请按照日志的调用顺序依序展示与日志检索请求相对应的各日志信息。以便于技术人员可以根据日志的调用顺序查看日志,提高日志的检索效率。

Description

分布式系统的日志检索方法及装置
技术领域
本发明涉及数据处理技术领域,特别涉及一种分布式系统的日志检索方法及装置。
背景技术
随着分布式系统业务逐渐复杂,某些关键业务场景在遇到生成问题时,需要基于分布式系统中的各日志来对问题进行定位,但是由于分布式系统具有海量日志,所以需要对日志进行检索来获取需要的日志。
现有技术中的日志检索方式通过搜索关键字,获取与关键字相对应的所有日志,但是由于日志量过多,且各日志信息杂乱无章,难以定位问题发生点。导致检索效率较低。
发明内容
本申请示例性的实施方式中提供一种分布式系统的日志检索方法,用于提高日志检索效率。
本申请的第一方面提供一种分布式系统的日志检索方法,所述方法包括:
响应于日志检索请求,基于与所述日志检索请求相对应的跟踪标识,在存储的各日志信息中确定与所述跟踪标识相对应的各日志信息;
利用各日志信息中的父操作标识和操作标识,得到各日志信息的调用顺序;
根据所述各日志信息的调用顺序依序展示所述各日志信息。
本实施例中通过响应于日志检索请求,基于与所述日志检索请求相对应的跟踪标识,在存储的各日志信息中确定与所述跟踪标识相对应的各日志信息;并利用各日志信息中的父操作标识和操作标识,得到各日志信息的调用顺序,然后根据所述各日志信息的调用顺序依序展示所述各日志信息。由此,本实施例中可以按照日志的调用顺序依序展示与日志检索请求相对应的各日志信息。以便于技术人员可以根据日志的调用顺序查看日志,提高日志的检索效率。
在一个实施例中,所述利用各日志信息中的父操作标识和操作标识,得到各日志信息的调用顺序,包括:
针对任意一个日志信息,将所述日志信息中的标识分别与其他日志信息中的父操作标识进行比对;
若确定存在父操作标识与所述日志信息中的操作标识相同的目标日志信息,则确定所述目标日志信息的调用顺序在所述日志信息的前面,且所述日志信息相邻。
本实施例通过针对任意一个日志信息,将所述日志信息中的标识分别与其他日志信息中的父操作标识进行比对,若确定存在父操作标识与所述日志信息中的操作标识相同的目标日志信息,则确定所述目标日志信息的调用顺序在所述日志信息的前面,且所述日志信息相邻。由此,通过日志信息的操作标识和其他日志信息中的父操作标识进行比对,以此得到各日志信息的调用顺序,提高各日志信息的调用顺序的准确率。
在一个实施例中,所述响应于日志检索请求,基于与所述日志检索请求相对应的跟踪标识,在存储的各日志信息中确定与所述跟踪标识相对应的各日志信息之前,所述方法还包括:
接收到外部业务调用请求之后,利用开放分布式追踪算法对所述外部业务调用请求进行跟踪处理,得到业务请求调用链路中各微服务实例的跟踪参数;其中,所述跟踪参数包括跟踪标识和操作标识,且所述业务请求调用链路包括所述外部业务调用请求所调用的各微服务实例;
针对分布式系统中的任意一个微服务实例,执行以下步骤:
接收目标微服务实例发送的内部业务调用请求之后,对所述内部业务调用请求进行解析,得到与所述目标微服务实例对应的目标操作标识,其中,所述目标微服务实例为在所述业务请求调用链路中位于所述微服务实例的前面,且与所述微服务实例相邻的微服务实例,以及所述内部业务调用请求是基于所述外部业务调用请求得到的;
将所述目标操作标识确定为所述微服务实例的父操作标识;
将所述微服务实例的跟踪参数、第一预设标识和所述父操作标识添加到所述微服务实例对应的日志信息。
本实施例中通过将在所述业务请求调用链路中位于所述微服务实例的前面,且与所述微服务实例相邻的微服务实例的操作标识确定为微服务实例自身的父操作标识,并将所述微服务实例的跟踪参数、第一预设标识和所述父操作标识添加到所述微服务实例对应的日志信息。以此,保证在检索时可以通过父操作标识依据各日志信息的顺序展示各日志信息。
在一个实施例中,所述接收所述目标微服务实例发送的内部业务调用请求之后,所述对所述内部业务调用请求进行解析之前,所述方法还包括:
确定所述微服务实例存在第二预设标识。
本实施例通过确定微服务实例中存在第一预设标识才对目标微服务实例发送过来的内部业务调用请求进行解析,得到父操作标识,并将微服务实例的耿跟踪参数、第一预设标识和父操作标识添加到日志信息。由此,对关键微服务实例进行标记,以此只记录关键微服务实例的日志信息,检索了日志的搜索量,提高日志的检索效率。
在一个实施例中,所述将所述微服务实例的跟踪参数、第一预设标识和所述父操作标识添加到所述微服务实例对应的日志信息之后,所述方法还包括:
周期获取分布式系统中各微服务对应的日志文件,其中微服务对应的日志文件中包括与所述微服务对应的各微服务实例的日志信息;
针对任意一个日志文件,遍历所述日志文件中的各日志信息;
针对任意一个遍历到的日志信息,若所述日志信息中存在所述第一预设标识,则存储所述日志信息。
本实施例通过周期获取分布式系统中各微服务对应的日志文件,其中微服务对应的日志文件中包括与所述微服务对应的各微服务实例的日志信息;针对任意一个日志文件,遍历所述日志文件中的各日志信息;针对任意一个遍历到的日志信息,若所述日志信息中存在所述第一预设标识,则存储所述日志信息。由此,只存储存在第一预设标识的日志信息,减少日志信息的数量,提高检索效率。
本申请第二方面提供一种分布式系统的日志检索装置,所述装置包括:
日志信息确定模块,用于响应于日志检索请求,基于与所述日志检索请求相对应的跟踪标识,在存储的各日志信息中确定与所述跟踪标识相对应的各日志信息;
调用顺序确定模块,用于利用各日志信息中的父操作标识和操作标识,得到各日志信息的调用顺序;
展示模块,用于根据所述各日志信息的调用顺序依序展示所述各日志信息。
在一个实施例中,所述调用顺序确定模块,具体用于:
针对任意一个日志信息,将所述日志信息中的标识分别与其他日志信息中的父操作标识进行比对;
若确定存在父操作标识与所述日志信息中的操作标识相同的目标日志信息,则确定所述目标日志信息的调用顺序在所述日志信息的前面,且所述日志信息相邻。
在一个实施例中,所述装置还包括:
跟踪模块,用于所述响应于日志检索请求,基于与所述日志检索请求相对应的跟踪标识,在存储的各日志信息中确定与所述跟踪标识相对应的各日志信息之前,接收到外部业务调用请求之后,利用开放分布式追踪算法对所述外部业务调用请求进行跟踪处理,得到业务请求调用链路中各微服务实例的跟踪参数;其中,所述跟踪参数包括跟踪标识和操作标识,且所述业务请求调用链路包括所述外部业务调用请求所调用的各微服务实例;
内部调用模块,用于针对分布式系统中的任意一个微服务实例,执行以下步骤:
接收目标微服务实例发送的内部业务调用请求之后,对所述内部业务调用请求进行解析,得到与所述目标微服务实例对应的操作标识,其中,所述目标微服务实例为在所述业务请求调用链路中位于所述微服务实例的前面,且与所述微服务实例相邻的微服务实例,以及所述内部业务调用请求是基于所述外部业务调用请求得到的;
将所述目标操作标识确定为所述微服务实例的父操作标识;
将所述微服务实例的跟踪参数、第一预设标识和所述父操作标识添加到所述微服务实例对应的日志信息。
在一个实施例中,所述装置还包括:
第一预设标识确定模块,用于所述接收所述目标微服务实例发送的内部业务调用请求之后,所述对所述内部业务调用请求进行解析之前,确定所述微服务实例存在第二预设标识。
在一个实施例中,所述日志信息中还包括第二预设标识;所述装置还包括:
日志文件获取模块,用于所述将所述微服务实例的跟踪参数、第一预设标识和所述父操作标识添加到所述微服务实例对应的日志信息之后,周期获取分布式系统中各微服务对应的日志文件,其中微服务对应的日志文件中包括与所述微服务对应的各微服务实例的日志信息;
遍历模块,用于针对任意一个日志文件,遍历所述日志文件中的各日志信息;
日志信息存储模块,用于针对任意一个遍历到的日志信息,若所述日志信息中存在所述第一预设标识,则存储所述日志信息。
根据本申请实施例的第三方面,提供一种电子设备,包括:
至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有被所述至少一个处理器执行的指令;所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如第一方面所述的方法。
根据本申请实施例提供的第四方面,提供一种计算机存储介质,所述计算机存储介质存储有计算机程序,所述计算机程序用于执行如第一方面所述的方法。
根据本公开实施例的第五方面,提供一种计算机程序产品,该计算机程序产品包括计算机程序,该计算机程序存储在计算机可读存储介质中,设备的至少一个处理器从计算机可读存储介质读取并执行计算机程序,使得设备执行第一方面所述的方法。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请一个实施例中的分布式系统的日志检索方法的流程示意图之一;
图2为本申请一个实施例的终端界面示意图;
图3为本申请一个实施例的确定各日志信息的父操作标识的流程示意图;
图4为本申请一个实施例的分布式系统的日志检索方法的流程示意图之二;
图5为本申请一个实施例的分布式系统的日志检索装置;
图6为本申请一个实施例的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例中术语“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本申请实施例描述的应用场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着新应用场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。其中,在本申请的描述中,除非另有说明,“多个”的含义是两个或两个以上。
现有技术中的日志检索方式通过搜索关键字,获取与关键字相对应的所有日志,但是由于日志量过多,且各日志信息杂乱无章,难以定位问题发生点。导致检索效率较低。
因此,本申请提供一种分布式系统的日志检索方法,通过响应于日志检索请求,基于与所述日志检索请求相对应的跟踪标识,在存储的各日志信息中确定与所述跟踪标识相对应的各日志信息。并利用各日志信息中的父操作标识和操作标识,得到各日志信息的调用顺序,然后根据所述各日志信息的调用顺序依序展示所述各日志信息。由此,本实施例中可以按照日志的调用顺序依序展示与日志检索请求相对应的各日志信息。以便于技术人员可以根据日志的调用顺序查看日志,提高日志的检索效率。下面,结合附图对本申请的财务数据的分析方案详细的进行介绍。
如图1所示,为本申请中分布式系统的日志检索方法的流程示意图,可包括以下步骤:
步骤101:响应于日志检索请求,基于与所述日志检索请求相对应的跟踪标识,在存储的各日志信息中确定与所述跟踪标识相对应的各日志信息;
其中,所述日志检索请求包括跟踪标识。
步骤102:利用各日志信息中的父操作标识和操作标识,得到各日志信息的调用顺序;
在一个实施例中,通过以下方式得到各日志信息的调用顺序:
针对任意一个日志信息,将所述日志信息中的标识分别与其他日志信息中的父操作标识进行比对;若确定存在父操作标识与所述日志信息中的操作标识相同的目标日志信息,则确定所述目标日志信息的调用顺序在所述日志信息的前面,且所述日志信息相邻。
例如,与日志检索请求相对应的日志信息包括:日志信息1、日志信息2、日志信息3、日志信息4和日志信息5。其中,若日志信息1中的操作标识与日志信息4中的父操作标识相同,若日志信息4中的操作标识与日志信息3中的父操作标识相同,若日志信息3中的操作标识与日志信息2中的父操作标识相同。则确定各日志信息的调用顺序为:日志信息1→日志信息4→日志信息3→日志信息2。
步骤103:根据所述各日志信息的调用顺序依序展示所述各日志信息。
如图2所示,为展示各日志信息的界面示意图,以终端设备为手机为例,且以前文所述的各日志调用顺序为日志信息1→日志信息4→日志信息3→日志信息2为例,图2中根据各日志的调用顺序依序展示各日志信息。
由此,本实施例中可以按照日志的调用顺序依序展示与日志检索请求相对应的各日志信息。以便于技术人员可以根据日志的调用顺序查看日志,提高日志的检索效率。
如图3所示,为确定各日志信息的父操作标识的流程示意图,可包括以下步骤:
步骤301:接收到外部业务调用请求之后,利用开放分布式追踪算法对所述外部业务调用请求进行跟踪处理,得到业务请求调用链路中各微服务实例的跟踪参数;其中,所述跟踪参数包括跟踪标识和操作标识,且所述业务请求调用链路包括所述外部业务调用请求所调用的各微服务实例;
步骤302:针对分布式系统中的任意一个微服务实例,执行以下步骤:接收目标微服务实例发送的内部业务调用请求之后,对所述内部业务调用请求进行解析,得到与所述目标微服务实例对应的目标操作标识,其中,所述目标微服务实例为在所述业务请求调用链路中位于所述微服务实例的前面,且与所述微服务实例相邻的微服务实例,以及所述内部业务调用请求是基于所述外部业务调用请求得到的;
为了避免存储大量无用日志,在一个实施例中,在接收目标微实例发送的内部业务调用请求之后,对所述内部业务调用请求进行解析之前,确定所述微服务实例存在第二预设标识。
若确定所述微服务实例不存在第二预设标识,则在所述微服务实例向位于所述微服务实例的下一个相邻的微服务实例发送内部业务调用请求中将所述目标微实例的操作标识添加到所述内部业务调用请求中。
例如,微服务实例包括微服务实例1、微服务实例2和微服务实例3。其中,微服务实例1为微服务实例2的目标微服务实例,微服务实例2为微服务实例3的目标微服务实例。微服务实例2接收到微服务实例1发送的内部业务调用请求之后,判断所述微服务实例2是否存在第二预设标识,若存在,则对所述内部业务调用请求进行解析。若确定所述微服务实例2不存在第二预设标识,则将所述微服务实例1的操作标识添加到微服务实例2发送给微服务实例3中的内部业务请求中,微服务实例3接收到微服务实例2发送的内部业务调用请求之后,若确定微服务实例3中存在第二预设标识,则将微服务实例1的操作标识确定为所述微服务实例3的父操作标识。
步骤303:将所述目标操作标识确定为所述微服务实例的父操作标识;
步骤304:将所述微服务实例的跟踪参数、第一预设标识和所述父操作标识添加到所述微服务实例对应的日志信息。
其中,所述跟踪参数为内部业务调用请求的预置方法的参数值、服务名、主机名、网际互联协议地址信息。
本实施例中通过MDC技术(Mapped Diagnostic Contexts,映射诊断上下文技术)将所述跟踪参数、第一预设标识和所述父操作标识添加到所述微服务实例对应的日志信息中。
为了仅存储关键日志,在一个实施例中,周期获取分布式系统中各微服务对应的日志文件,其中微服务对应的日志文件中包括与所述微服务对应的各微服务实例的日志信息;针对任意一个日志文件,遍历所述日志文件中的各日志信息;针对任意一个遍历到的日志信息,若所述日志信息中存在所述第一预设标识,则存储所述日志信息。
例如,微服务1对应的日志文件中包括微服务实例1的日志信息A、微服务实例2的日志信息B、微服务实例3的日志信息C和微服务实例4的日志信息D。若日志信息B和日志信息C中存在第一预设标识,日志信息A和日志信息D中不存在第一预设标识,则存储日志信息B和日志信息C。
为了进一步的了解本申请的技术方案,下面结合图4对本申请中的分布式系统的日志检索方法进行详细的说明,可包括以下步骤:
步骤401:接收到外部业务调用请求之后,利用开放分布式追踪算法对所述外部业务调用请求进行跟踪处理,得到业务请求调用链路中各微服务实例的跟踪参数;其中,所述跟踪参数包括跟踪标识和操作标识,且所述业务请求调用链路包括所述外部业务调用请求所调用的各微服务实例;
步骤402:针对分布式系统中的任意一个微服务实例,执行以下步骤:接收目标微服务实例发送的内部业务调用请求之后,对所述内部业务调用请求进行解析,得到与目标微服务实例对应的目标操作标识,其中,所述目标微服务实例为在所述业务请求调用链路中位于所述微服务实例的前面,且与所述微服务实例相邻的微服务实例,以及所述内部业务调用请求是基于所述外部业务调用请求得到的;
步骤403:将所述目标操作标识确定为所述微服务实例的父操作标识;
步骤404:将所述微服务实例的跟踪参数、第一预设标识和所述父操作标识添加到所述微服务实例对应的日志信息;
步骤405:周期获取分布式系统中各微服务对应的日志文件,其中微服务对应的日志文件中包括与所述微服务对应的各微服务实例的日志信息;
步骤406:针对任意一个日志文件,遍历所述日志文件中的各日志信息;
步骤407:针对任意一个遍历到的日志信息,若所述日志信息中存在所述第一预设标识,则存储所述日志信息;
步骤408:响应于日志检索请求,基于与所述日志检索请求相对应的跟踪标识,在存储的各日志信息中确定与所述跟踪标识相对应的各日志信息;
步骤409:利用各日志信息中的父操作标识和操作标识,得到各日志信息的调用顺序;
步骤410:根据所述各日志信息的调用顺序依序展示所述各日志信息。
基于相同的发明构思,本申请如上所述的分布式系统的日志检索方法还可以由一种分布式系统的日志检索装置实现。该分布式系统的日志检索装置的效果与前述方法的效果相似,在此不再赘述。
图5为根据本申请一个实施例的分布式系统的日志检索装置的结构示意图。
如图5所示,本申请的分布式系统的日志检索装置500可以包括日志信息确定模块510、调用顺序确定模块520和展示模块530。
日志信息确定模块510,用于响应于日志检索请求,基于与所述日志检索请求相对应的跟踪标识,在存储的各日志信息中确定与所述跟踪标识相对应的各日志信息;
调用顺序确定模块520,用于利用各日志信息中的父操作标识和操作标识,得到各日志信息的调用顺序;
展示模块530,用于根据所述各日志信息的调用顺序依序展示所述各日志信息。
在一个实施例中,所述调用顺序确定模块520,具体用于:
针对任意一个日志信息,将所述日志信息中的标识分别与其他日志信息中的父操作标识进行比对;
若确定存在父操作标识与所述日志信息中的操作标识相同的目标日志信息,则确定所述目标日志信息的调用顺序在所述日志信息的前面,且所述日志信息相邻。
在一个实施例中,所述装置还包括:
跟踪模块540,用于所述响应于日志检索请求,基于与所述日志检索请求相对应的跟踪标识,在存储的各日志信息中确定与所述跟踪标识相对应的各日志信息之前,接收到外部业务调用请求之后,利用开放分布式追踪算法对所述外部业务调用请求进行跟踪处理,得到业务请求调用链路中各微服务实例的跟踪参数;其中,所述跟踪参数包括跟踪标识和操作标识,且所述业务请求调用链路包括所述外部业务调用请求所调用的各微服务实例;
内部调用模块550,用于针对分布式系统中的任意一个微服务实例,执行以下步骤:
接收目标微服务实例发送的内部业务调用请求之后,对所述内部业务调用请求进行解析,得到与所述目标微服务实例的目标操作标识,其中,所述目标微服务实例为在所述业务请求调用链路中位于所述微服务实例的前面,且与所述微服务实例相邻的微服务实例,以及所述内部业务调用请求是基于所述外部业务调用请求得到的;
将所述目标操作标识确定为所述微服务实例的父操作标识;
将所述微服务实例的跟踪参数、第一预设标识和所述父操作标识添加到所述微服务实例对应的日志信息。
在一个实施例中,所述装置还包括:
第一预设标识确定模块560,用于所述接收所述目标微服务实例发送的内部业务调用请求之后,所述对所述内部业务调用请求进行解析之前,确定所述微服务实例存在第二预设标识。
在一个实施例中,所述日志信息中还包括第二预设标识;所述装置还包括:
日志文件获取模块570,用于所述将所述微服务实例的跟踪参数和所述父操作标识添加到所述微服务实例对应的日志信息之后,周期获取分布式系统中各微服务对应的日志文件,其中微服务对应的日志文件中包括与所述微服务对应的各微服务实例的日志信息;
遍历模块580,用于针对任意一个日志文件,遍历所述日志文件中的各日志信息;
日志信息存储模块590,用于针对任意一个遍历到的日志信息,若所述日志信息中存在所述第一预设标识,则存储所述日志信息。
在介绍了本申请示例性实施方式的一种分布式系统的日志检索方法及装置之后,接下来,介绍根据本申请的另一示例性实施方式的电子设备。
所属技术领域的技术人员能够理解,本申请的各个方面可以实现为系统、方法或程序产品。因此,本申请的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
在一些可能的实施方式中,根据本申请的电子设备可以至少包括至少一个处理器、以及至少一个计算机存储介质。其中,计算机存储介质存储有程序代码,当程序代码被处理器执行时,使得处理器执行本说明书上述描述的根据本申请各种示例性实施方式的分布式系统的日志检索方法中的步骤。例如,处理器可以执行如图1中所示的步骤101-103。
下面参照图6来描述根据本申请的这种实施方式的电子设备600。图6显示的电子设备600仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示,电子设备600以通用电子设备的形式表现。电子设备600的组件可以包括但不限于:上述至少一个处理器601、上述至少一个计算机存储介质602、连接不同系统组件(包括计算机存储介质602和处理器601)的总线603。
总线603表示几类总线结构中的一种或多种,包括计算机存储介质总线或者计算机存储介质控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
计算机存储介质602可以包括易失性计算机存储介质形式的可读介质,例如随机存取计算机存储介质(RAM)621和/或高速缓存存储介质622,还可以进一步包括只读计算机存储介质(ROM)623。
计算机存储介质602还可以包括具有一组(至少一个)程序模块624的程序/实用工具625,这样的程序模块624包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
电子设备600也可以与一个或多个外部设备604(例如键盘、指向设备等)通信,还可与一个或者多个使得用户能与电子设备600交互的设备通信,和/或与使得该电子设备600能与一个或多个其它电子设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口605进行。并且,电子设备600还可以通过网络适配器606与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器606通过总线603与用于电子设备600的其它模块通信。应当理解,尽管图中未示出,可以结合电子设备600使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
在一些可能的实施方式中,本申请提供的一种分布式系统的日志检索方法的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在计算机设备上运行时,程序代码用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的分布式系统的日志检索方法中的步骤。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取计算机存储介质(RAM)、只读计算机存储介质(ROM)、可擦式可编程只读计算机存储介质(EPROM或闪存)、光纤、便携式紧凑盘只读计算机存储介质(CD-ROM)、光计算机存储介质件、磁计算机存储介质件、或者上述的任意合适的组合。
本申请的实施方式的分布式系统的日志检索的程序产品可以采用便携式紧凑盘只读计算机存储介质(CD-ROM)并包括程序代码,并可以在电子设备上运行。然而,本申请的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户电子设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户电子设备上部分在远程电子设备上执行、或者完全在远程电子设备或服务器上执行。在涉及远程电子设备的情形中,远程电子设备可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)连接到用户电子设备,或者,可以连接到外部电子设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意,尽管在上文详细描述中提及了装置的若干模块,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本申请的实施方式,上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之,上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。
此外,尽管在附图中以特定顺序描述了本申请方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘计算机存储介质、CD-ROM、光学计算机存储介质等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读计算机存储介质中,使得存储在该计算机可读计算机存储介质中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (13)

1.一种分布式系统的日志检索方法,其特征在于,所述方法包括:
响应于日志检索请求,基于与所述日志检索请求相对应的跟踪标识,在存储的各日志信息中确定与所述跟踪标识相对应的各日志信息;
利用各日志信息中的父操作标识和操作标识,得到各日志信息的调用顺序;
根据所述各日志信息的调用顺序依序展示所述各日志信息。
2.根据权利要求1所述的方法,其特征在于,所述利用各日志信息中的父操作标识和操作标识,得到各日志信息的调用顺序,包括:
针对任意一个日志信息,将所述日志信息中的标识分别与其他日志信息中的父操作标识进行比对;
若确定存在父操作标识与所述日志信息中的操作标识相同的目标日志信息,则确定所述目标日志信息的调用顺序在所述日志信息的前面,且所述日志信息相邻。
3.根据权利要求1所述的方法,其特征在于,所述响应于日志检索请求,基于与所述日志检索请求相对应的跟踪标识,在存储的各日志信息中确定与所述跟踪标识相对应的各日志信息之前,所述方法还包括:
接收到外部业务调用请求之后,利用开放分布式追踪算法对所述外部业务调用请求进行跟踪处理,得到业务请求调用链路中各微服务实例的跟踪参数;其中,所述跟踪参数包括跟踪标识和操作标识,且所述业务请求调用链路包括所述外部业务调用请求所调用的各微服务实例;
针对分布式系统中的任意一个微服务实例,执行以下步骤:
接收目标微服务实例发送的内部业务调用请求之后,对所述内部业务调用请求进行解析,得到与所述目标微服务实例对应的目标操作标识,其中,所述目标微服务实例为在所述业务请求调用链路中位于所述微服务实例的前面,且与所述微服务实例相邻的微服务实例,以及所述内部业务调用请求是基于所述外部业务调用请求得到的;
将所述目标操作标识确定为所述微服务实例的父操作标识;
将所述微服务实例的跟踪参数、第一预设标识和所述父操作标识添加到所述微服务实例对应的日志信息。
4.根据权利要求3所述的方法,其特征在于,所述接收所述目标微服务实例发送的内部业务调用请求之后,所述对所述内部业务调用请求进行解析之前,所述方法还包括:
确定所述微服务实例存在第二预设标识。
5.根据权利要求3所述的方法,其特征在于,所述将所述微服务实例的跟踪参数、第一预设标识和所述父操作标识添加到所述微服务实例对应的日志信息之后,所述方法还包括:
周期获取分布式系统中各微服务对应的日志文件,其中微服务对应的日志文件中包括与所述微服务对应的各微服务实例的日志信息;
针对任意一个日志文件,遍历所述日志文件中的各日志信息;
针对任意一个遍历到的日志信息,若所述日志信息中存在所述第一预设标识,则存储所述日志信息。
6.一种分布式系统的日志检索装置,其特征在于,所述装置包括:
日志信息确定模块,用于响应于日志检索请求,基于与所述日志检索请求相对应的跟踪标识,在存储的各日志信息中确定与所述跟踪标识相对应的各日志信息;
调用顺序确定模块,用于利用各日志信息中的父操作标识和操作标识,得到各日志信息的调用顺序;
展示模块,用于根据所述各日志信息的调用顺序依序展示所述各日志信息。
7.根据权利要求6所述的装置,其特征在于,所述调用顺序确定模块,具体用于:
针对任意一个日志信息,将所述日志信息中的标识分别与其他日志信息中的父操作标识进行比对;
若确定存在父操作标识与所述日志信息中的操作标识相同的目标日志信息,则确定所述目标日志信息的调用顺序在所述日志信息的前面,且所述日志信息相邻。
8.根据权利要求6所述的装置,其特征在于,所述装置还包括:
跟踪模块,用于所述响应于日志检索请求,基于与所述日志检索请求相对应的跟踪标识,在存储的各日志信息中确定与所述跟踪标识相对应的各日志信息之前,接收到外部业务调用请求之后,利用开放分布式追踪算法对所述外部业务调用请求进行跟踪处理,得到业务请求调用链路中各微服务实例的跟踪参数;其中,所述跟踪参数包括跟踪标识和操作标识,且所述业务请求调用链路包括所述外部业务调用请求所调用的各微服务实例;
内部调用模块,用于针对分布式系统中的任意一个微服务实例,执行以下步骤:
接收目标微服务实例发送的内部业务调用请求之后,对所述内部业务调用请求进行解析,得到与所述目标微服务实例对应的目标操作标识,其中,所述目标微服务实例为在所述业务请求调用链路中位于所述微服务实例的前面,且与所述微服务实例相邻的微服务实例,以及所述内部业务调用请求是基于所述外部业务调用请求得到的;
将所述目标操作标识确定为所述微服务实例的父操作标识;
将所述微服务实例的跟踪参数、第一预设标识和所述父操作标识添加到所述微服务实例对应的日志信息。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括:
第一预设标识确定模块,用于所述接收所述目标微服务实例发送的内部业务调用请求之后,所述对所述内部业务调用请求进行解析之前,确定所述微服务实例存在第二预设标识。
10.根据权利要求9所述的装置,其特征在于,所述装置还包括:
日志文件获取模块,用于所述将所述微服务实例的跟踪参数、第一预设标识和所述父操作标识添加到所述微服务实例对应的日志信息之后,周期获取分布式系统中各微服务对应的日志文件,其中微服务对应的日志文件中包括与所述微服务对应的各微服务实例的日志信息;
遍历模块,用于针对任意一个日志文件,遍历所述日志文件中的各日志信息;
日志信息存储模块,用于针对任意一个遍历到的日志信息,若所述日志信息中存在所述第一预设标识,则存储所述日志信息。
11.一种电子设备,其特征在于,包括至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有被所述至少一个处理器执行的指令;所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行根据权利要求1-5中任一项所述的方法。
12.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机程序,所述计算机程序用于执行根据权利要求1-5中任一项所述的方法。
13.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-5中任一项所述的方法。
CN202111437725.3A 2021-11-30 2021-11-30 分布式系统的日志检索方法及装置 Pending CN114090514A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111437725.3A CN114090514A (zh) 2021-11-30 2021-11-30 分布式系统的日志检索方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111437725.3A CN114090514A (zh) 2021-11-30 2021-11-30 分布式系统的日志检索方法及装置

Publications (1)

Publication Number Publication Date
CN114090514A true CN114090514A (zh) 2022-02-25

Family

ID=80305541

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111437725.3A Pending CN114090514A (zh) 2021-11-30 2021-11-30 分布式系统的日志检索方法及装置

Country Status (1)

Country Link
CN (1) CN114090514A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114745153A (zh) * 2022-03-10 2022-07-12 北京汇元网科技股份有限公司 WFC和log4net结合的链路跟踪方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114745153A (zh) * 2022-03-10 2022-07-12 北京汇元网科技股份有限公司 WFC和log4net结合的链路跟踪方法
CN114745153B (zh) * 2022-03-10 2024-02-27 北京汇元网科技股份有限公司 WCF和log4net结合的链路跟踪方法

Similar Documents

Publication Publication Date Title
CN110457277B (zh) 业务处理性能分析方法、装置、设备及存储介质
JP5791149B2 (ja) データベース・クエリ最適化のためのコンピュータで実装される方法、コンピュータ・プログラム、およびデータ処理システム
CN109471851B (zh) 数据处理方法、装置、服务器和存储介质
CN110502227B (zh) 代码补全的方法及装置、存储介质、电子设备
CN107733894B (zh) 逻辑接口报文的比对方法、系统、设备及存储介质
CN109672722B (zh) 数据部署方法及装置、计算机存储介质和电子设备
CN110851324B (zh) 基于日志的巡检处理方法、装置以及电子设备、存储介质
CN113312377A (zh) 一种自动关联的sql查询语句处理方法、装置和电子设备
CN110659210A (zh) 一种信息获取方法、装置、电子设备及存储介质
CN109284450B (zh) 订单成单路径的确定方法及装置、存储介质、电子设备
CN114090514A (zh) 分布式系统的日志检索方法及装置
CN108959294B (zh) 一种访问搜索引擎的方法和装置
CN117271584A (zh) 数据处理方法及装置、计算机可读存储介质和电子设备
CN107193721B (zh) 一种生成日志的方法和装置
WO2018200167A1 (en) Managing asynchronous analytics operation based on communication exchange
CN108628909B (zh) 信息推送方法和装置
CN113590088B (zh) 一种自动分析组件使用情况的方法、装置和电子设备
CN115718728A (zh) 一种分布式系统的数据检核方法、装置、设备及介质
CN113141407B (zh) 一种页面资源加载方法、装置和电子设备
CN113821486B (zh) pod库之间依赖关系的确定方法及其装置、电子设备
CN111562940B (zh) 项目数据构建方法以及装置
CN111177704B (zh) 一种捆绑识别方法、装置、设备及介质
CN110297639B (zh) 用于检测代码的方法和装置
CN113901773A (zh) 数据核算方法、装置、电子设备及存储介质
CN112463200A (zh) 开发工具包处理方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination