CN114116426A - 基于微服务的跟踪日志生成方法、装置、设备及介质 - Google Patents

基于微服务的跟踪日志生成方法、装置、设备及介质 Download PDF

Info

Publication number
CN114116426A
CN114116426A CN202111439435.2A CN202111439435A CN114116426A CN 114116426 A CN114116426 A CN 114116426A CN 202111439435 A CN202111439435 A CN 202111439435A CN 114116426 A CN114116426 A CN 114116426A
Authority
CN
China
Prior art keywords
information
data information
monitoring
log
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111439435.2A
Other languages
English (en)
Inventor
梁新宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Pension Insurance Corp
Original Assignee
Ping An Pension Insurance Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Pension Insurance Corp filed Critical Ping An Pension Insurance Corp
Priority to CN202111439435.2A priority Critical patent/CN114116426A/zh
Publication of CN114116426A publication Critical patent/CN114116426A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466Performance evaluation by tracing or monitoring
    • G06F11/3476Data logging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3051Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了基于微服务的跟踪日志生成方法、装置、设备及介质,方法包括:根据监控连接配置规则配置处理服务器中微服务对应的监控连接,若通过监控连接监控到数据信息输入,判断数据信息是否为首次调用,若为首次调用则生成与监控连接对应的初始标识信息并添加至数据信息中,若不为首次调用则生成与监控连接对应的标识更新信息对数据信息中已有标识信息进行更新,对数据处理过程进行跟踪监控并根据对应标识信息生成跟踪日志,将跟踪日志存储至日志数据库。本发明属于微服务架构技术领域,可通过监控连接对数据信息处理过程进行跟踪监控,并根据标识信息对跟踪日志进行标识,从而可实现对数据信息进行全过程跟踪记录。

Description

基于微服务的跟踪日志生成方法、装置、设备及介质
技术领域
本发明涉及微服务架构技术领域,属于智慧城市中对处理服务器中所部署的微服务进行跟踪监控以生成跟踪日志的应用场景,尤其涉及一种基于微服务的跟踪日志生成方法、装置、设备及介质。
背景技术
在进行程序开发、运行维护过程中会产生大量日志,日志可以是程序日志或系统日志,一般包含时间、运行代码、业务信息、错误信息等等内容,能够辅助程序开发技术人员、运营人员分析定位系统问题。随着微服务的体量日益庞大,业务逻辑日趋复杂,多个微服务形成的调用链路长,当系统发生故障或者需要根据日志统计信息时,传统技术方法所得到的日志中记载的信息均是针对单个微服务进行监控,也即传统日志中的信息仅仅是对单个微服务中的数据处理过程进行记录得到,也即不同微服务对应的日志之间存在相互隔离的情况,而调用链路越长则数据完整处理过程所涉及的微服务也越多,传统日志已无法实现对复杂业务逻辑、调用链路长的数据处理过程进行跟踪记录,程序开发技术人员在使用传统日志进行异常问题分析或者应用运营分析时,其工作量将成倍增加,严重影响了基于日志对应用服务进行分析的效率。因此,现有技术方法对微服务进行监控时存在无法对数据处理进行全过程跟踪记录的问题。
发明内容
本发明实施例提供了一种基于微服务的跟踪日志生成方法、装置、设备及介质,旨在解决现有技术对微服务进行监控时所存在的无法对数据处理进行全过程跟踪记录的问题。
第一方面,本发明实施例提供了一种基于微服务的跟踪日志生成方法,该方法应用于监控终端中,所述监控终端与处理服务器建立网络连接以实现数据信息的传输,方法包括:
根据预置的监控连接配置规则配置与所述处理服务器中的微服务对应的监控连接;
若通过任一所述监控连接监控到数据信息输入,判断所述数据信息是否为首次调用;
若所述数据信息为首次调用,根据预置的标识生成规则生成与所述监控连接对应的初始标识信息并添加至所述数据信息中;
若所述数据信息不为首次调用,根据所述标识生成规则及所述数据信息生成与所述监控连接对应的标识更新信息以对所述数据信息中已有标识信息进行更新;
通过所述监控连接对所述数据信息的处理过程进行跟踪监控,并根据所述数据信息中的标识信息对应生成跟踪日志;
将所述跟踪日志存储至预置的日志数据库中。
第二方面,本发明实施例提供了一种基于微服务的跟踪日志生成装置,其包括:
监控连接配置单元,用于根据预置的监控连接配置规则配置与所述处理服务器中的微服务对应的监控连接;
数据信息判断单元,用于若通过任一所述监控连接监控到数据信息输入,判断所述数据信息是否为首次调用;
初始标识信息添加单元,用于若所述数据信息为首次调用,根据预置的标识生成规则生成与所述监控连接对应的初始标识信息并添加至所述数据信息中;
标识信息更新单元,用于若所述数据信息不为首次调用,根据所述标识生成规则及所述数据信息生成与所述监控连接对应的标识更新信息以对所述数据信息中已有标识信息进行更新;
跟踪日志获取单元,用于通过所述监控连接对所述数据信息的处理过程进行跟踪监控,并根据所述数据信息中的标识信息对应生成跟踪日志;
跟踪日志存储单元,用于将所述跟踪日志存储至预置的日志数据库中。
第三方面,本发明实施例又提供了一种计算机设备,其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面所述的基于微服务的跟踪日志生成方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其中所述计算机可读存储介质存储有计算机程序,所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的基于微服务的跟踪日志生成方法。
本发明实施例提供了一种基于微服务的跟踪日志生成方法、装置、设备及介质。根据监控连接配置规则配置处理服务器中微服务对应的监控连接,若通过监控连接监控到数据信息输入,判断数据信息是否为首次调用,若为首次调用则生成与监控连接对应的初始标识信息并添加至数据信息中,若不为首次调用则生成与监控连接对应的标识更新信息对数据信息中已有标识信息进行更新,对数据处理过程进行跟踪监控并根据对应标识信息生成跟踪日志,将跟踪日志存储至日志数据库。通过上述方法,可通过监控连接对数据信息处理过程进行跟踪监控,并根据标识信息对跟踪日志进行标识,从而可实现对数据信息进行全过程跟踪记录,大幅提高了对微服务中数据处理过程进行跟踪监控的效率。
附图说明
为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于微服务的跟踪日志生成方法的流程示意图;
图2为本发明实施例提供的基于微服务的跟踪日志生成方法的应用场景示意图;
图3为本发明实施例提供的基于微服务的跟踪日志生成方法的子流程示意图;
图4为本发明实施例提供的基于微服务的跟踪日志生成方法的另一子流程示意图;
图5为本发明实施例提供的基于微服务的跟踪日志生成方法的另一子流程示意图;
图6为本发明实施例提供的基于微服务的跟踪日志生成方法的另一子流程示意图;
图7为本发明实施例提供的基于微服务的跟踪日志生成方法的另一子流程示意图;
图8为本发明实施例提供的基于微服务的跟踪日志生成方法的另一子流程示意图;
图9为本发明实施例提供的基于微服务的跟踪日志生成装置的示意性框图;
图10为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
请参阅图1及图2,图1为本发明实施例提供的基于微服务的跟踪日志生成方法的流程示意图;图2为本发明实施例提供的基于微服务的跟踪日志生成方法的应用场景示意图;该基于微服务的跟踪日志生成方法应用于监控终端10中,该基于微服务的跟踪日志生成方法通过安装于监控终端10中的应用软件进行执行,监控终端10与处理服务器20之间建立网络连接以实现数据信息的传输,处理服务器20中部署有多个微服务;监控终端10即是用于执行基于微服务的跟踪日志生成方法以对处理服务器20中微服务对数据信息的处理过程进行跟踪监控以生成跟踪日志的终端设备,处理服务器20即为企业或政府部门内部所配置的基于微服务架构以对数据信息进行处理的服务器端。如图1所示,该方法包括步骤S110~S160。
S110、根据预置的监控连接配置规则配置与所述处理服务器中的微服务对应的监控连接。
根据预置的监控连接配置规则配置与所述处理服务器中的微服务对应的监控连接。处理服务器可接收数据信息并进行处理,处理服务器中可配置多个微服务,每一微服务对应进行一项数据处理服务,若用户输入对微服务进行监控的指令信息,则可与处理服务器中的微服务配置监控连接,监控连接即为配置于微服务与监控终端之间的数据传输连接,监控终端可通过监控连接对微服务中数据传输及处理过程进行实时监控。
在一实施例中,如图3所示,步骤S110包括子步骤S111、S112、S113和S114。
S111、扫描所述处理服务器内配置的微服务以获取微服务列表信息。
可对处理服务器内所配置的微服务进行扫描,从而获取包含所有微服务的微服务列表信息,具体的微服务列表信息中包含每一微服务的服务名称、服务编码、服务状态、服务类型等信息。
S112、根据所述监控连接配置规则对所述微服务列表信息中包含的微服务进行筛选,以筛选得到满足所述监控连接配置规则的目标微服务。
可根据监控连接配置规则对微服务列表中包含的微服务进行筛选,具体的,可判断微服务的各项信息是否与监控连接配置规则相匹配,若相匹配则将微服务确定为满足监控连接配置规则的目标微服务。例如,微服务列表中每一微服务的服务状态可以是怠机、处理中或休眠,监控连接配置规则可配置服务状态为非怠机状态,则筛选满足监控连接配置规则的目标微服务即为从微服务列表信息中获取服务状态为处理中或休眠的微服务,监控连接配置规则不仅限于配置服务状态这一项信息,还可根据所需监控的微服务配置其他项信息,以对相应微服务进行针对性监控。
S113、获取与每一所述目标微服务对应的服务基础信息。
从管理服务器中获取与目标微服务对应的服务基础信息,在管理服务器配置微服务时,均会对每一微服务的服务基础信息进行记载,则可从管理服务器所存储的所有服务基础信息中获取与目标微服务对应的服务基础信息。服务基础信息包括服务名称、微服务地址、服务配置时间等与微服务相关的信息。
S114、根据所述服务基础信息配置与每一所述目标微服务对应的监控连接。
根据每一目标微服务的服务基础信息,分别配置与每一目标微服务对应的监控连接,具体的,可根据服务基础信息中的微服务地址在微服务与监控终端之间建立对应的监控连接,并将对应的服务名称、服务编码、服务配置时间等作为连接标签添加至监控连接中。
S120、若通过任一所述监控连接监控到数据信息输入,判断所述数据信息是否为首次调用。
若通过任一所述监控连接监控到数据信息输入,判断所述数据信息是否为首次调用。监控终端可通过监控连接对目标微服务的数据输入情况进行实时监控,若通过某一监控连接监控到数据信息输入相应的目标微服务,则可判断该数据信息是否为首次调用,也即是判断监控连接对应的微服务是否为该数据信息在处理链路中的起始端。
在一实施例中,如图4所示,步骤S120包括子步骤S121和S122。
S121、获取所述数据信息对应的调用发起端的终端标识信息。
在处理服务器中数据信息通过被调用的方式进行处理,则客服端或其它微服务可作为调用发起端发起对数据信息的调用处理,则可根据数据信息的传输路径确定对应的调用发起端并进一步获取调用发起端对应的终端标识信息。任一与处理服务器建立网络连接的客服端均可发起调用,如客服端可发起两次调用以分别调用处理服务器中的微服务A和微服务B,微服务也可发起调用,如微服务A进一步发起两次调用分别调用微服务B和微服务C,也即处理服务器中的数据信息至少可通过两种方式被调用处理。
S122、判断所述终端标识信息是否与预存的客服端标识相匹配,以判定所述数据信息是否为首次调用。
终端标识信息与相应终端一一对应,则可判断终端标识信息是否与客服端标识相匹配,若终端标识信息与客服端标识相匹配,则表明此时调用发起端为某一客服端,即可判定该数据信息为首次调用;若终端标识信息不与客服端标识相匹配,则判定数据信息不为首次调用。
S130、若所述数据信息为首次调用,根据预置的标识生成规则生成与所述监控连接对应的初始标识信息并添加至所述数据信息中。
若所述数据信息为首次调用,根据预置的标识生成规则生成与所述监控连接对应的初始标识信息并添加至所述数据信息中。若数据信息为首次调用,则该数据信息中不包含任何标识信息,则需要根据监控连接中包含的连接标签并基于标识生成规则生成对应的初始标识信息,并将所生成的初始标识信息添加至数据信息的文件头中。其中,数据信息可由文件头及文件体组成,数据信息的主体内容均记载于文件体中。
在一实施例中,如图5所示,步骤S130包括子步骤S131、S132和S133。
S131、根据所述标识生成规则生成与所述监控连接对应的追踪标识。
在一实施例中,如图8所示,步骤S131包括子步骤S1311和S1312。
S1311、获取所述监控连接中包含的服务名称、服务编码及服务配置时间与当前时间进行组合得到对应的组合字符串;S1312、根据预置的哈希运算公式对所述组合字符串进行哈希运算得到对应的追踪标识。
可根据标识生成规则生成对应的追踪标识,具体的,可获取监控连接中包含的服务名称、服务编码、服务配置时间等标签信息,并将标签信息与当前时间进行组合得到一个组合字符串,基于该字符串生成对应的追踪标识,如标识生成规则中可配置哈希运算公式,则可基于哈希运算公式对组合得到的字符串进行哈希运算得到对应的摘要信息,如可采用安全散列算法256(SHA256)计算得到摘要信息,对于任意长度的信息,SHA256(安全散列算法256)都会产生一个特定长度的十六进制的摘要信息,从特定长度的摘要信息中截取32个字符(若摘要信息长度不够32个字符,则在摘要信息前部采用“0”进行补齐)即可作为对应的追踪标识进行使用。
S132、根据预存的映射集合获取与所述追踪标识对应的链路标识。
获取到追踪标识后,可基于预存的映射即可对追踪标识进行映射以获取与该追踪标识对应的链路标识,具体的,映射集合中包含多个链路标识,每一链路标识均与对应的一个追踪标识相配对以形成一组映射关系,则可基于追踪标识从映射集合所包含的映射关系中查找到与该追踪标识相对应的一个链路标识。
S133、将所述追踪标识与所述链路标识进行组合作为对应的初始标识信息并添加至所述数据信息中。
将所得到的追踪标识与链路标识进行组合得到初始标识信息,并将初始标识添加到数据信息中。具体的,可将组合得到的初始标识信息添加至数据信息的文件头(header)中,与原数据信息中的文件体进行组合以得到添加初始标识信息的数据信息。
S140、若所述数据信息不为首次调用,根据所述标识生成规则及所述数据信息生成与所述监控连接对应的标识更新信息以对所述数据信息中已有标识信息进行更新。
若所述数据信息不为首次调用,根据所述标识生成规则及所述数据信息生成与所述监控连接对应的标识更新信息以对所述数据信息中已有标识信息进行更新。若数据信息不为首次调用,则可根据标识信息生成规则基于数据信息中所包含的标识信息及监控连接生成对应的标识更新信息,并通过标识更新信息对数据信息的文件头中的标识信息进行替换更新。
在一实施例中,如图6所示,步骤S140包括子步骤S141、S142和S143。
S141、根据所述标识生成规则生成与所述监控连接对应的附加追踪标识。
可根据标识生成规则生成与监控连接对应的附加追踪标识,具体的,可获取监控连接中包含的服务名称、服务编码、服务配置时间等标签信息,并将标签信息与当前时间进行组合得到一个字符串,基于该字符串生成对应的附加追踪标识。
S142、将所述附加追踪标识与所述数据信息中标识信息的链路标识进行整合以得到链路更新标识。
将附加追踪标识与数据信息中当前标识信息的链路标识进行整合,从而得到链路更新标识,也即是附加追踪标识可附加于当前标识信息的链路标识中,具体的,可采用相加方式将附加追踪标识与链路标识进行整合,链路更新标识的字符长度与原有的链路标识的字符长度相等。
S143、将所述链路更新标识作为标识更新信息对所述数据信息中已有标识信息进行更新。
数据信息中的追踪标识保持不变,仅将链路更新标识作为标识更新信息对已有标识信息中的链路标识进行更新,也即是将已有标识信息中的链路标识替换为所得到的链路更新标识。
S150、通过所述监控连接对所述数据信息的处理过程进行跟踪监控,并根据所述数据信息中的标识信息对应生成跟踪日志。
通过所述监控连接对所述数据信息的处理过程进行跟踪监控,并根据所述数据信息中的标识信息对应生成跟踪日志。监控终端可通过监控连接对每一微服务中数据信息的处理过程进行跟踪监控,基于跟踪监控获取到的信息结合数据信息中的标识信息即可对应生成跟踪日志,通过跟踪日志即可对每一微服务中数据信息的处理过程进行追踪记录。
在一实施例中,如图7所示,步骤S150包括子步骤S151、S152和S153。
S151、通过所述监控连接对所述数据信息的处理过程进行跟踪监控以获取数据处理记录信息;S152、从所述监控连接中获取连接标签信息与所述数据信息中的标识信息进行组合得到日志标识信息。
可通过监控连接监控数据信息的处理过程,得到对应的数据处理记录信息,数据处理记录信息即可包含数据信息处理过程中所调用的函数方法、处理中间结果、处理耗时等相关信息。进一步从监控连接中获取连接标签信息与数据信息中的标识信息进行组合,其中,连接标签信息至少包括服务名称,获取数据信息中的标识信息、更新前的链路标识及当前时间进行组合得到日志标识信息。
如某一日志标识信息中包含的信息为:serviceName=ABCD;traceID=XXXX;parentId=XXXX;spanID=XXXX;createTime=XXXX;其中serviceName即为对应的服务名称,traceID即为数据信息中标识信息的追踪标识,spanID即为数据信息中标识信息的链路标识,parentId为与数据信息对应的修改前的链路标识(若数据信息为首次调用,则此处parentId=traceID),createTime即为根据当前时间进行记录得到的生成时间。
S153、将所述日志标识信息与所述数据处理记录信息进行组合以生成对应的跟踪日志。
日志标识信息可用于对每一份跟踪日志进行标识,可将日志标识信息与数据处理记录信息进行组合,从而生成跟踪日志,数据信息在多个微服务之间进行传递处理,则可通过日志标识信息获取数据信息与多个微服务对应的跟踪日志,从而通过多份跟踪日志进行串联所组成的全过程记录对数据信息的调用处理链路进行跟踪监控。
S160、将所述跟踪日志存储至预置的日志数据库中。
可将所得到的跟踪日志存储至预置的日志数据库中,具体的,日志数据库中可配置与每一微服务对应的存储空间,可将与每一微服务对应的跟踪日志存储至日志数据库中与相应微服务对应的存储空间中,也即是每一存储空间可单独对对应的一个微服务的所有跟踪日志进行存储。
在一实施例中,步骤S160之后还包括步骤:若接收到用户所输入的日志查询信息,根据所述日志查询信息从所述日志数据库中获取对应的目标日志信息。
用户可使用监控终端输入日志查询信息,用户可以是企业中的运维监控人员,则可根据日志查询信息对日志数据库中所包含的跟踪日志对应进行查询,从而获取与日志查询信息相匹配的目标日志信息,用户通过察看目标日志信息即可对部分数据信息的处理过程进行针对性分析,从而实现便捷、高效地进行异常问题分析或者应用运营分析,大幅提高了基于日志对应用服务进行分析的效率。
具体步骤包括:从所述日志查询信息中提取得到对应的查询条件;根据所述查询条件对所述日志数据库中每一跟踪日志的日志标识信息进行匹配判断,以获取日志标识信息与所述查询条件相匹配的跟踪日志作为目标日志信息。
首先可从日志查询信息中提取得到查询条件,并通过查询条件对所存储的跟踪日志进行查询,具体的,日志查询信息可以是时间段信息、关键字信息或时间段信息与关键字信息的组合,若日志查询信息中包含时间段信息,则提取该时间段信息作为对应的查询时段;若日志查询信息中包含关键字信息,则提取该关键字信息作为标识匹配关键字;若日志查询信息中同时包含时间段信息及关键字信息,则进行同时提取。所得到的查询条件可以是查询时段、标识匹配关键字或查询时段与标识匹配关键字的组合。
可根据查询条件对每一跟踪日志的日志标识信息进行匹配判断,也即是判断每一份日志标识信息是否与查询条件相匹配,若相匹配,则获取日志标识信息所属的跟踪日志作为目标日志信息,具体的,可根据查询条件中的查询时段判断日志标识信息中生成时间是否位于查询时段内,若查询时段为空,则无需对日志标识信息的生成时间进行判断;获取位于查询时段内的日志标识信息,若查询条件中还包括标识匹配关键字,则进一步判断位于查询时段内的日志标识信息中traceID是否与标识匹配关键字相匹配,若相匹配则判定日志标识信息与查询条件相匹配。获取到相应目标日志信息后,即可对traceID相同的多份跟踪日志进行串联整理,如可将traceID相同的多份跟踪日志按时间顺序进行排队整理,此方法方可适用于按数据信息的处理时间获取全过程记录;还可以根据多份跟踪日志中的parentId及spanID对日跟踪日志进行串联顺序整理(上游跟踪日志的spanID即与下游跟踪日志的parentId相同),此方法适用于按数据信息的业务处理逻辑获取全过程记录。
本申请中的技术方法可应用于智慧政务/智慧城管/智慧社区/智慧安防/智慧物流/智慧医疗/智慧教育/智慧环保/智慧交通等对处理服务器中所部署的微服务进行跟踪监控以生成跟踪日志的应用场景中,从而推动智慧城市的建设。
在本发明实施例所提供的基于微服务的跟踪日志生成方法中,根据监控连接配置规则配置处理服务器中微服务对应的监控连接,若通过监控连接监控到数据信息输入,判断数据信息是否为首次调用,若为首次调用则生成与监控连接对应的初始标识信息并添加至数据信息中,若不为首次调用则生成与监控连接对应的标识更新信息对数据信息中已有标识信息进行更新,对数据处理过程进行跟踪监控并根据对应标识信息生成跟踪日志,将跟踪日志存储至日志数据库。通过上述方法,可通过监控连接对数据信息处理过程进行跟踪监控,并根据标识信息对跟踪日志进行标识,从而可实现对数据信息进行全过程跟踪记录,大幅提高了对微服务中数据处理过程进行跟踪监控的效率。
本发明实施例还提供一种基于微服务的跟踪日志生成装置,该基于微服务的跟踪日志生成装置可配置于监控终端10中,该基于微服务的跟踪日志生成装置用于执行前述的基于微服务的跟踪日志生成方法的任一实施例。具体地,请参阅图9,图9为本发明实施例提供的基于微服务的跟踪日志生成装置的示意性框图。
如图9所示,基于微服务的跟踪日志生成装置100包括监控连接配置单元110、数据信息判断单元120、初始标识信息添加单元130、标识信息更新单元140、跟踪日志获取单元150和跟踪日志存储单元160。
监控连接配置单元110,用于根据预置的监控连接配置规则配置与所述处理服务器中的微服务对应的监控连接。
在一具体实施例中,所述监控连接配置单元110包括子单元:微服务列表信息获取单元,用于扫描所述处理服务器内配置的微服务以获取微服务列表信息;目标微服务获取单元,用于根据所述监控连接配置规则对所述微服务列表信息中包含的微服务进行筛选,以筛选得到满足所述监控连接配置规则的目标微服务;服务基础信息获取单元,用于获取与每一所述目标微服务对应的服务基础信息;配置单元,用于根据所述服务基础信息配置与每一所述目标微服务对应的监控连接。
数据信息判断单元120,用于若通过任一所述监控连接监控到数据信息输入,判断所述数据信息是否为首次调用。
在一具体实施例中,所述数据信息判断单元120包括子单元:终端标识信息获取单元,用于获取所述数据信息对应的调用发起端的终端标识信息;终端标识信息判断单元,用于判断所述终端标识信息是否与预存的客服端标识相匹配,以判定所述数据信息是否为首次调用。
初始标识信息添加单元130,用于若所述数据信息为首次调用,根据预置的标识生成规则生成与所述监控连接对应的初始标识信息并添加至所述数据信息中。
在一具体实施例中,所述初始标识信息添加单元130包括子单元:追踪标识获取单元,用于根据所述标识生成规则生成与所述监控连接对应的追踪标识;链路标识获取单元,用于根据预存的映射集合获取与所述追踪标识对应的链路标识;标识信息添加单元,用于将所述追踪标识与所述链路标识进行组合作为对应的初始标识信息并添加至所述数据信息中。
在一具体实施例中,所述追踪标识获取单元包括子单元:组合字符串获取单元,用于获取所述监控连接中包含的服务名称、服务编码及服务配置时间与当前时间进行组合得到对应的组合字符串;哈希运算单元,用于根据预置的哈希运算公式对所述组合字符串进行哈希运算得到对应的追踪标识。
标识信息更新单元140,用于若所述数据信息不为首次调用,根据所述标识生成规则及所述数据信息生成与所述监控连接对应的标识更新信息以对所述数据信息中已有标识信息进行更新。
在一具体实施例中,所述标识信息更新单元140包括子单元:附加追踪标识获取单元,用于根据所述标识生成规则生成与所述监控连接对应的附加追踪标识;链路更新标识获取单元,用于将所述附加追踪标识与所述数据信息中标识信息的链路标识进行整合以得到链路更新标识;更新单元,用于将所述链路更新标识作为标识更新信息对所述数据信息中已有标识信息进行更新。
跟踪日志获取单元150,用于通过所述监控连接对所述数据信息的处理过程进行跟踪监控,并根据所述数据信息中的标识信息对应生成跟踪日志。
在一具体实施例中,所述跟踪日志获取单元150包括子单元:数据处理记录信息获取单元,用于通过所述监控连接对所述数据信息的处理过程进行跟踪监控以获取数据处理记录信息;日志标识信息获取单元,用于从所述监控连接中获取连接标签信息与所述数据信息中的标识信息进行组合得到日志标识信息;跟踪日志生成单元,用于将所述日志标识信息与所述数据处理记录信息进行组合以生成对应的跟踪日志。
跟踪日志存储单元160,用于将所述跟踪日志存储至预置的日志数据库中。
在一具体实施例中,所述基于微服务的跟踪日志生成装置100还包括子单元:目标日志信息获取单元,用于若接收到用户所输入的日志查询信息,根据所述日志查询信息从所述日志数据库中获取对应的目标日志信息。
在本发明实施例所提供的基于微服务的跟踪日志生成装置应用上述基于微服务的跟踪日志生成方法,根据监控连接配置规则配置处理服务器中微服务对应的监控连接,若通过监控连接监控到数据信息输入,判断数据信息是否为首次调用,若为首次调用则生成与监控连接对应的初始标识信息并添加至数据信息中,若不为首次调用则生成与监控连接对应的标识更新信息对数据信息中已有标识信息进行更新,对数据处理过程进行跟踪监控并根据对应标识信息生成跟踪日志,将跟踪日志存储至日志数据库。通过上述方法,可通过监控连接对数据信息处理过程进行跟踪监控,并根据标识信息对跟踪日志进行标识,从而可实现对数据信息进行全过程跟踪记录,大幅提高了对微服务中数据处理过程进行跟踪监控的效率。
上述基于微服务的跟踪日志生成装置可以实现为计算机程序的形式,该计算机程序可以在如图10所示的计算机设备上运行。
请参阅图10,图10是本发明实施例提供的计算机设备的示意性框图。该计算机设备可以是用于执行基于微服务的跟踪日志生成方法以对处理服务器20中微服务对数据信息的处理过程进行跟踪监控以生成跟踪日志的监控终端10。
参阅图10,该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505,其中,存储器可以包括存储介质503和内存储器504。
该存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时,可使得处理器502执行基于微服务的跟踪日志生成方法,其中,存储介质503可以为易失性的存储介质或非易失性的存储介质。
该处理器502用于提供计算和控制能力,支撑整个计算机设备500的运行。
该内存储器504为存储介质503中的计算机程序5032的运行提供环境,该计算机程序5032被处理器502执行时,可使得处理器502执行基于微服务的跟踪日志生成方法。
该网络接口505用于进行网络通信,如提供数据信息的传输等。本领域技术人员可以理解,图10中示出的结构,仅仅是与本发明方案相关的部分结构的框图,并不构成对本发明方案所应用于其上的计算机设备500的限定,具体的计算机设备500可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
其中,所述处理器502用于运行存储在存储器中的计算机程序5032,以实现上述的基于微服务的跟踪日志生成方法中对应的功能。
本领域技术人员可以理解,图10中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定,在其他实施例中,计算机设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。例如,在一些实施例中,计算机设备可以仅包括存储器及处理器,在这样的实施例中,存储器及处理器的结构及功能与图10所示实施例一致,在此不再赘述。
应当理解,在本发明实施例中,处理器502可以是中央处理单元(CentralProcessing Unit,CPU),该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为易失性或非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序,其中计算机程序被处理器执行时实现上述的基于微服务的跟踪日志生成方法中所包含的步骤。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的设备、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中,应该理解到,所揭露的设备、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为逻辑功能划分,实际实现时可以有另外的划分方式,也可以将具有相同功能的单元集合成一个单元,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接,也可以是电的,机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个计算机可读存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的计算机可读存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于微服务的跟踪日志生成方法,其特征在于,所述方法应用于监控终端中,所述监控终端与处理服务器建立网络连接以实现数据信息的传输,所述方法包括:
根据预置的监控连接配置规则配置与所述处理服务器中的微服务对应的监控连接;
若通过任一所述监控连接监控到数据信息输入,判断所述数据信息是否为首次调用;
若所述数据信息为首次调用,根据预置的标识生成规则生成与所述监控连接对应的初始标识信息并添加至所述数据信息中;
若所述数据信息不为首次调用,根据所述标识生成规则及所述数据信息生成与所述监控连接对应的标识更新信息以对所述数据信息中已有标识信息进行更新;
通过所述监控连接对所述数据信息的处理过程进行跟踪监控,并根据所述数据信息中的标识信息对应生成跟踪日志;
将所述跟踪日志存储至预置的日志数据库中。
2.根据权利要求1所述的基于微服务的跟踪日志生成方法,其特征在于,所述根据预置的监控连接配置规则配置与所述处理服务器中的微服务对应的监控连接,包括:
扫描所述处理服务器内配置的微服务以获取微服务列表信息;
根据所述监控连接配置规则对所述微服务列表信息中包含的微服务进行筛选,以筛选得到满足所述监控连接配置规则的目标微服务;
获取与每一所述目标微服务对应的服务基础信息;
根据所述服务基础信息配置与每一所述目标微服务对应的监控连接。
3.根据权利要求1所述的基于微服务的跟踪日志生成方法,其特征在于,所述判断所述数据信息是否为首次调用,包括:
获取所述数据信息对应的调用发起端的终端标识信息;
判断所述终端标识信息是否与预存的客服端标识相匹配,以判定所述数据信息是否为首次调用。
4.根据权利要求1所述的基于微服务的跟踪日志生成方法,其特征在于,所述根据预置的标识生成规则生成与所述监控连接对应的初始标识信息并添加至所述数据信息中,包括:
根据所述标识生成规则生成与所述监控连接对应的追踪标识;
根据预存的映射集合获取与所述追踪标识对应的链路标识;
将所述追踪标识与所述链路标识进行组合作为对应的初始标识信息并添加至所述数据信息中。
5.根据权利要求1所述的基于微服务的跟踪日志生成方法,其特征在于,所述根据所述标识生成规则及所述数据信息生成与所述监控连接对应的标识更新信息以对所述数据信息中已有标识信息进行更新,包括:
根据所述标识生成规则生成与所述监控连接对应的附加追踪标识;
将所述附加追踪标识与所述数据信息中标识信息的链路标识进行整合以得到链路更新标识;
将所述链路更新标识作为标识更新信息对所述数据信息中已有标识信息进行更新。
6.根据权利要求1所述的基于微服务的跟踪日志生成方法,其特征在于,所述通过所述监控连接对所述数据信息的处理过程进行跟踪监控,并根据所述数据信息中的标识信息对应生成跟踪日志,包括:
通过所述监控连接对所述数据信息的处理过程进行跟踪监控以获取数据处理记录信息;
从所述监控连接中获取连接标签信息与所述数据信息中的标识信息进行组合得到日志标识信息;
将所述日志标识信息与所述数据处理记录信息进行组合以生成对应的跟踪日志。
7.根据权利要求4所述的基于微服务的跟踪日志生成方法,其特征在于,所述根据所述标识生成规则生成与所述监控连接对应的追踪标识,包括:
获取所述监控连接中包含的服务名称、服务编码及服务配置时间与当前时间进行组合得到对应的组合字符串;
根据预置的哈希运算公式对所述组合字符串进行哈希运算得到对应的追踪标识。
8.一种基于微服务的跟踪日志生成装置,其特征在于,所述装置配置于监控终端中,所述监控终端与处理服务器建立网络连接以实现数据信息的传输,所述装置包括:
监控连接配置单元,用于根据预置的监控连接配置规则配置与所述处理服务器中的微服务对应的监控连接;
数据信息判断单元,用于若通过任一所述监控连接监控到数据信息输入,判断所述数据信息是否为首次调用;
初始标识信息添加单元,用于若所述数据信息为首次调用,根据预置的标识生成规则生成与所述监控连接对应的初始标识信息并添加至所述数据信息中;
标识信息更新单元,用于若所述数据信息不为首次调用,根据所述标识生成规则及所述数据信息生成与所述监控连接对应的标识更新信息以对所述数据信息中已有标识信息进行更新;
跟踪日志获取单元,用于通过所述监控连接对所述数据信息的处理过程进行跟踪监控,并根据所述数据信息中的标识信息对应生成跟踪日志;
跟踪日志存储单元,用于将所述跟踪日志存储至预置的日志数据库中。
9.一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的基于微服务的跟踪日志生成方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,当所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于微服务的跟踪日志生成方法。
CN202111439435.2A 2021-11-30 2021-11-30 基于微服务的跟踪日志生成方法、装置、设备及介质 Pending CN114116426A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111439435.2A CN114116426A (zh) 2021-11-30 2021-11-30 基于微服务的跟踪日志生成方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111439435.2A CN114116426A (zh) 2021-11-30 2021-11-30 基于微服务的跟踪日志生成方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN114116426A true CN114116426A (zh) 2022-03-01

Family

ID=80368386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111439435.2A Pending CN114116426A (zh) 2021-11-30 2021-11-30 基于微服务的跟踪日志生成方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN114116426A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114884807A (zh) * 2022-05-20 2022-08-09 远景智能国际私人投资有限公司 链路日志生成方法、装置、物联网平台及存储介质
CN116760650A (zh) * 2023-08-23 2023-09-15 深圳开源互联网安全技术有限公司 基于iast技术确认微服务调用中http参数污染传播链的方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114884807A (zh) * 2022-05-20 2022-08-09 远景智能国际私人投资有限公司 链路日志生成方法、装置、物联网平台及存储介质
CN116760650A (zh) * 2023-08-23 2023-09-15 深圳开源互联网安全技术有限公司 基于iast技术确认微服务调用中http参数污染传播链的方法
CN116760650B (zh) * 2023-08-23 2023-11-21 深圳开源互联网安全技术有限公司 基于iast技术确认微服务调用中http参数污染传播链的方法

Similar Documents

Publication Publication Date Title
CN110830577B (zh) 服务请求调用追踪方法、装置、计算机设备及存储介质
CN110177108B (zh) 一种异常行为检测方法、装置及验证系统
CN114116426A (zh) 基于微服务的跟踪日志生成方法、装置、设备及介质
US7734637B2 (en) Method and system for automatic detection of monitoring data sources
CN109635523B (zh) 应用程序检测方法、装置及计算机可读存储介质
CN106682505A (zh) 一种病毒检测方法、终端、服务器及系统
CN111935172A (zh) 基于网络拓扑的网络异常行为检测方法、计算机装置及计算机可读存储介质
US20100287361A1 (en) Root Cause Analysis for Complex Event Processing
CN110764980A (zh) 日志处理方法和装置
CN112199276B (zh) 微服务架构的变更检测方法、装置、服务器及存储介质
CN112818343B (zh) 一种区块链大数据分析预警方法、系统及云平台
CN114116401A (zh) 集群消息的全链路跟踪监控方法、装置、设备及介质
US20200053183A1 (en) Comparison of behavioral populations for security and compliance monitoring
CN112181832B (zh) 测试数据生成方法、装置、计算机设备及存储介质
CN112437034A (zh) 虚假终端检测方法和装置、存储介质及电子装置
CN109558300B (zh) 一种整机柜告警处理方法、装置、终端及存储介质
CN112148545A (zh) 嵌入式系统的安全基线检测方法以及安全基线检测系统
CN112688947B (zh) 基于互联网的网络通信信息智能监测方法及系统
CN110825609B (zh) 服务的测试方法、装置和系统
CN112579833B (zh) 基于用户操作数据的业务关联关系获取方法及装置
CN115378639A (zh) 车辆入侵检测测试方法、装置、存储介质及车辆
CN114528208A (zh) 程序错误信息识别方法、装置、设备及介质
CN113569879A (zh) 异常识别模型的训练方法、异常账号识别方法及相关装置
CN113703735A (zh) 基于独立代码块编排的应用生成方法、装置、设备及介质
CN106777010B (zh) 日志的提供方法、装置以及日志的获取方法、装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination