CN112256658A - 日志记录的分流方法及装置、存储介质、电子装置 - Google Patents
日志记录的分流方法及装置、存储介质、电子装置 Download PDFInfo
- Publication number
- CN112256658A CN112256658A CN202011111821.4A CN202011111821A CN112256658A CN 112256658 A CN112256658 A CN 112256658A CN 202011111821 A CN202011111821 A CN 202011111821A CN 112256658 A CN112256658 A CN 112256658A
- Authority
- CN
- China
- Prior art keywords
- field
- service line
- node
- node topology
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
- G06F16/164—File meta data generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种日志记录的分流方法及装置、存储介质、电子装置,其中,上述方法包括:将业务线标识前缀设置在日志记录的链路标识字段之前,得到目标链路标识字段;根据所述目标链路标识字段中的所述业务线标识前缀对所述日志记录进行分流,即在日志记录的链路标识字段之前设置业务线标识前缀,并根据业务线标识前缀对日志记录进行分流。采用上述技术方案,解决了相关技术中,日志的信息量携带不足,而且需要复杂的操作才能够进行日志分流等问题。
Description
技术领域
本发明涉及通信领域,具体而言,涉及一种日志记录的分流方法及装置、存储介质、电子装置。
背景技术
随着互联网用户的快速增长,互联网服务单体架构已经不能满足需求,分布式系统应运而生。不同于单体架构的系统,分布式系统各节点分布于不同的机器、不同的机房甚至不同的地区和国家,所以对分布式系统的日志进行监控是至关重要的,而随着日志数量的急速增加,对日志进行分流成为迫切需求。
在现有的分布式系统链路日志采集方案中,串联方式是通过生成唯一的链路标识traceId(如uuid),节点拓扑是通过记录自身系统id和上游系统id,业务线标识是通过在日志中记录特定字段,但是日志信息量携带不足,尤其是在日志达到海量,需要进行日志分流时,需要增加操作复杂的预处理层,以用来根据业务线标识分流日志。
针对相关技术中,日志的信息量携带不足,而且需要复杂的操作才能够进行日志分流等问题,尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种日志记录的分流方法及装置、存储介质、电子装置,以至少解决相关技术中,日志的信息量携带不足,而且需要复杂的操作才能够进行日志分流等问题。
根据本发明实施例的一个方面,提供了一种日志记录的分流方法,包括:将业务线标识前缀设置在日志记录的链路标识字段之前,得到目标链路标识字段;根据所述目标链路标识字段中的所述业务线标识前缀对所述日志记录进行分流。
在一个示例性实施例中,将业务线标识前缀设置在日志记录的链路标识字段之前,得到目标链路标识字段,包括:获取目标业务线所对应的业务线标识前缀;将所述业务线标识前缀设置在所述目标业务线的日志记录的链路标识字段之前,得到目标链路标识字段。
在一个示例性实施例中,将业务线标识前缀设置在日志记录的链路标识字段之前,得到目标链路标识字段之前或之后,所述方法还包括:在所述日志记录中添加节点拓扑字段,其中,所述节点拓扑字段通过追加节点层级的方式来表征目标节点所在的拓扑结构。
在一个示例性实施例中,在所述节点拓扑字段包括符号标识以及数字的情况下,通过所述节点拓扑字段中数字的个数确定所述目标业务线的链路的层级,以及通过所述节点拓扑字段中的数字确定在该数字所在层级上包括的节点数量,其中,所述节点拓扑字段中任意两个数字之间都设置有符号标识。
在一个示例性实施例中,通过所述节点拓扑字段中数字的个数确定所述目标业务线的链路的层级,以及通过所述节点拓扑字段中的数字确定在该数字的层级上所包括的节点数量之前,所述方法还包括:定义所述节点拓扑字段的初始值,以及层级的增加规则,其中,所述增加规则用于指示在当前层级增加一个层级后,所述节点拓扑字段中数字的增加个数。
在一个示例性实施例中,所述节点拓扑字段的初始值定义为0.1,其中,所述初始值用于指示所述链路的第一个层级,所述增加规则用于指示在所述初始值的基础上,每增加一个层级,所述初始值中数字的个数对应加1。
根据本发明实施例的另一个方面,还提供了一种日志记录的分流装置,包括:处理模块,用于将业务线标识前缀设置在日志记录的链路标识字段之前,得到目标链路标识字段;分流模块,用于根据所述目标链路标识字段中的所述业务线标识前缀对所述日志记录进行分流。
在一个示例性实施例中,所述装置还包括:添加模块,用于在所述日志记录中添加节点拓扑字段,其中,所述节点拓扑字段通过追加节点层级的方式来表征目标节点所在的拓扑结构。
根据本发明实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述日志记录的分流方法。
根据本发明实施例的又一方面,还提供了一种电子装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,上述处理器通过计算机程序执行上述的日志记录的分流方法。
在本发明实施例中,将业务线标识前缀设置在日志记录的链路标识字段之前,得到目标链路标识字段;根据所述目标链路标识字段中的所述业务线标识前缀对所述日志记录进行分流,即在日志记录的链路标识字段之前设置业务线标识前缀,并根据业务线标识前缀对日志记录进行分流。采用上述技术方案,解决了相关技术中,日志的信息量携带不足,而且需要复杂的操作才能够进行日志分流等问题,进而在充分保留日志信息完整的情况下,对日志分流做到了很好地支撑。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是本发明实施例的一种日志记录的分流方法的计算机终端的硬件结构框图;
图2是根据本发明实施例的日志记录的分流方法的流程图;
图3是根据本发明可选实施例的节点拓扑字段调用时序示意图;
图4是根据本发明实施例的日志记录的分流装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例所提供的方法实施例可以在计算机终端或者类似的运算装置中执行。以运行在计算机终端上为例,图1是本发明实施例的一种日志记录的分流方法的计算机终端的硬件结构框图。如图1所示,计算机终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104,在一个示例性实施例中,上述计算机终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述计算机终端的结构造成限定。例如,计算机终端还可包括比图1中所示更多或者更少的组件,或者具有与图1所示等同功能或比图1所示功能更多的不同的配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的日志记录的分流方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种日志记录的分流方法,应用于上述计算机终端,图2是根据本发明实施例的日志记录的分流方法的流程图,该流程包括如下步骤:
步骤S202,将业务线标识前缀设置在日志记录的链路标识字段之前,得到目标链路标识字段;
步骤S204,根据所述目标链路标识字段中的所述业务线标识前缀对所述日志记录进行分流。
通过上述步骤,将业务线标识前缀设置在日志记录的链路标识字段之前,得到目标链路标识字段;根据所述目标链路标识字段中的所述业务线标识前缀对所述日志记录进行分流,即在日志记录的链路标识字段之前设置业务线标识前缀,并根据业务线标识前缀对日志记录进行分流。采用上述技术方案,解决了相关技术中,日志的信息量携带不足,而且需要复杂的操作才能够进行日志分流等问题,进而在充分保留日志信息完整的情况下,对日志分流做到了很好地支撑。
上述步骤S202可以有多种实现方式,本发明实施例主要提供了一种实现方案:获取目标业务线所对应的业务线标识前缀;将所述业务线标识前缀设置在所述目标业务线的日志记录的链路标识字段之前,得到目标链路标识字段。
也可以说,得到目标链路标识字段,需要先获取目标业务线所对应的业务线标识前缀,将业务线标识前缀设置在日志记录的链路标识字段之前,进而才可以将获取到的业务线标识前缀设置在日志记录的链路标识字段之前。
需要说明的是,上述日志记录的链路标识字段可以是现有技术中trace ID,本发明实施例的侧重点在于在链路标识字段之前设置业务线标识前缀,进而实现了通过本发明实施例的上述技术方案,根据业务线标识前缀对日志记录进行分流。
可选地,在将业务线标识前缀设置在日志记录的链路标识字段之前,得到目标链路标识字段之前或之后,在所述日志记录中添加节点拓扑字段,其中,所述节点拓扑字段通过追加节点层级的方式来表征目标节点所在的拓扑结构。
具体来说,为了解决日志信息的节点拓扑字段冗余的问题,在日志记录中添加节点拓扑字段,目标节点所在的拓扑结构增加一层,进而通过增加节点层级的方式来表示目标节点所在的拓扑结构,在每一个层级,每多增加一个节点,也可以通过节点拓扑字段上层级对应数字追加数字的方式来表征,即可以根据一个节点拓扑字段描述整个调用链的拓扑结构。举例来说,节点拓扑字段初始值定义为0.1,需要说明的是,初始值也可以根据实际情况调用其他值,本发明实施例对此不进行限定,每调用一层,增加一层追加节点层级,节点拓扑字段设置为0.1.1,在第二层级上存在三个节点时,可以设置节点拓扑字段为0.1.3,也就是说,0.1表示第一层级,0.1.1表示第二层级,……,以此类推,需要说明的是,上述节点拓扑字段的符号标识以及数字仅仅是为了理解本发明实施例的技术方案选择的,实际操作过程中可以任意可能的符号标识以及数字,例如,初始值可以定义为0-1,每调用一层,增加一层追加节点层级,节点拓扑字段设置为0-1-1,在第二层级上存在三个节点时,可以设置节点拓扑字段为0-1-3。
可以理解的是,对于所述节点拓扑字段包括符号标识以及数字的情况下,通过所述节点拓扑字段中数字的个数确定所述目标业务线的链路的层级,以及通过所述节点拓扑字段中的数字确定在该数字所在层级上包括的节点数量,其中,所述节点拓扑字段中任意两个数字之间都设置有符号标识。
节点拓扑字段由符号标识和数字组成,符号标识可以为“.”、“,”“~”等一切可以将任意两个数字进行隔断的符号标识,节点拓扑字段中任意两个数字之间都设置有符号标识,举例来说,节点拓扑字段初始值定义为0.1,当下一个节点拓扑字段为0.1.1时,代表目标业务线的链路的层级为第二层;当下一个节点拓扑字段为0.2时,则代表目标业务线的链路的第一层级的节点数量为2;当下一个节点拓扑字段为0.2.2时,代表目标业务线的链路所在节点的第二层级的节点数量为2。
通过所述节点拓扑字段中数字的个数确定所述目标业务线的链路的层级,以及通过所述节点拓扑字段中的数字确定在该数字的层级上所包括的节点数量需要通过以下方法实现,在一个可选实施例中,定义所述节点拓扑字段的初始值,以及层级的增加规则,其中,所述增加规则用于指示在当前层级增加一个层级后,所述节点拓扑字段中数字的增加个数。
也就是说,要预先设置节点拓扑字段的初始值,以及层级的增加规则,根据节点拓扑字段的初始值,以及层级的增加规则判断目标业务线的链路的层级和该数字的层级上所包括的节点数量。
例如,预先设置节点拓扑字段的初始值为0-2,层级的增加规则为每增加一层级数字增加两个,则第二层级的节点拓扑字段为0-2-1-1,节点拓扑字段的初始值,以及层级的增加规则均由工程师预先设置,需要说明的是,初始值和增加规则可以根据实际需要灵活设置,本发明实施例对此不进行限定。
在一个可选实施例中,所述节点拓扑字段的初始值定义为0.1,其中,所述初始值用于指示所述链路的第一个层级,所述增加规则用于指示在所述初始值的基础上,每增加一个层级,所述初始值中数字的个数对应加1。
也就是说,节点拓扑字段第一个层级的初始值定义为0.1,节点拓扑字段第二个层级的初始值为0.1.1,节点拓扑字段第三个层级的初始值为0.1.1.1……以此类推。需要说明的,本可选实施例仅仅是为了理解本发明实施例的技术方案,实际应用时可以为任意初始值和增加规则。
为了更好的理解上述日志记录的分流方法的过程,以下再结合可选实施例对上述日志记录的分流方法流程进行说明,但不用于限定本发明实施例的技术方案。
图3是根据本发明可选实施例的节点拓扑字段调用时序示意图,如图3所示:
附图3所示的方案的主要依据如下:在节点拓扑(spanId)字段中,使用追加(append)节点层级的方案。spanId初始值定义为0.1,每往下调用一层,增加一层追加节点层级(如图3spanId=0.1.1调用);相同层级的并列调用情况下,对相同节点层级进行累计(如图3spanId=0.2.2调用)。
在链路标识(traceId)字段中,使用业务线标识前缀BizName+原traceId的方案。BizName字段用于存放调用链路的特定业务线标识。增加该标识后,日志收集阶段可以根据此标识进行前缀匹配分流,无需增加预处理阶段进行分流,如图3所示,本发明可选实施例的技术方案包括以下步骤:
步骤S302:App向AppServer发送链路标识(traceId)字段:BizName_uuid,节点拓扑(spanId)字段为0.1;
步骤S304:AppServer向Cloud发送traceId:BizName_uuid,此时spanId为0.1.1;
步骤S306:Cloud向AppServer返回对traceId:BizName_uuid和spanId为0.1.1的处理消息;
步骤S308:AppServer接收处理消息,并向App返回对traceId:BizName_uuid和spanId为0.1.1的处理消息;
步骤S310:App再次向AppServer发送链路标识(traceId)字段:BizName_uuid,此时节点拓扑(spanId)字段为0.2;
步骤S312:AppServer向Cloud发送traceId:BizName_uuid,此时spanId为0.2.1;
步骤S314:Cloud向AppServer返回对traceId:BizName_uuid和spanId为0.2.1的处理消息;
步骤S316:AppServer向Cloud发送traceId:BizName_uuid,此时spanId为0.2.2;
步骤S318:Cloud向AppServer返回对traceId:BizName_uuid和spanId为0.2.2的处理消息;
步骤S320:AppServer接收处理消息,并向App返回对traceId:BizName_uuid和spanId为0.2.1的处理消息和对traceId:BizName_uuid和spanId为0.2.2的处理消息。
通过本发明可选实施例,通过增加链路标识前缀业务标识信息、改进节点拓扑字段的方式,在充分保留日志信息完整的情况下,对日志分流做到了很好地支撑,无需使用预处理层处理数据,同时也减少了日志的大小,使用一个字段描述整个调用链拓扑结构,无需进行上下游字段关联,解决了日志信息量携带不足,节点拓扑字段冗余的问题。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例的方法。
在本实施例中还提供了一种日志记录的分流装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图4是根据本发明实施例的日志记录的分流装置的结构框图,如图4所示,包括:
处理模块40,用于将业务线标识前缀设置在日志记录的链路标识字段之前,得到目标链路标识字段;
分流模块42,用于根据所述目标链路标识字段中的所述业务线标识前缀对所述日志记录进行分流。
通过上述装置,将业务线标识前缀设置在日志记录的链路标识字段之前,得到目标链路标识字段;根据所述目标链路标识字段中的所述业务线标识前缀对所述日志记录进行分流,即在日志记录的链路标识字段之前设置业务线标识前缀,并根据业务线标识前缀对日志记录进行分流。采用上述技术方案,解决了相关技术中,日志的信息量携带不足,而且需要复杂的操作才能够进行日志分流等问题,进而在充分保留日志信息完整的情况下,对日志分流做到了很好地支撑,同时也减少了日志数据的大小。
需要说明的是,本发明实施例中的处理模块40,分流模块42,之间存在连接,具体的连接方式可以是无线,有线等可实现的连接方式,上述二者之间的连接方式仅仅是一种示例,本发明实施例对此不进行限定。
可选地,上述日志记录的分流装置还包括:添加模块,用于在所述日志记录中添加节点拓扑字段,其中,所述节点拓扑字段通过追加节点层级的方式来表征目标节点所在的拓扑结构。在将业务线标识前缀设置在日志记录的链路标识字段之前,得到目标链路标识字段之前或之后,在所述日志记录中添加节点拓扑字段,其中,所述节点拓扑字段通过追加节点层级的方式来表征目标节点所在的拓扑结构。
具体来说,为了解决日志信息的节点拓扑字段冗余的问题,在日志记录中添加节点拓扑字段,目标节点所在的拓扑结构增加一层,进而通过增加节点层级的方式来表示目标节点所在的拓扑结构,在每一个层级,每多增加一个节点,也可以通过节点拓扑字段上层级对应数字追加数字的方式来表征,即可以根据一个节点拓扑字段描述整个调用链的拓扑结构。举例来说,节点拓扑字段初始值定义为0.1,需要说明的是,初始值也可以根据实际情况调用其他值,本发明实施例对此不进行限定,每调用一层,增加一层追加节点层级,节点拓扑字段设置为0.1.1,在第二层级上存在三个节点时,可以设置节点拓扑字段为0.1.3,也就是说,0.1表示第一层级,0.1.1表示第二层级,……,以此类推,需要说明的是,上述节点拓扑字段的符号标识以及数字仅仅是为了理解本发明实施例的技术方案选择的,实际操作过程中可以任意可能的符号标识以及数字,例如,初始值可以定义为0-1,每调用一层,增加一层追加节点层级,节点拓扑字段设置为0-1-1,在第二层级上存在三个节点时,可以设置节点拓扑字段为0-1-3。
在本发明实施例中,所述处理模块还用于获取目标业务线所对应的业务线标识前缀;将所述业务线标识前缀设置在所述目标业务线的日志记录的链路标识字段之前,得到目标链路标识字段。
也可以说,得到目标链路标识字段,需要先获取目标业务线所对应的业务线标识前缀,将业务线标识前缀设置在日志记录的链路标识字段之前,进而才可以将获取到的业务线标识前缀设置在日志记录的链路标识字段之前。
需要说明的是,上述日志记录的链路标识字段可以是现有技术中trace ID,本发明实施例的侧重点在于在链路标识字段之前设置业务线标识前缀,进而实现了通过本发明实施例的上述技术方案,根据业务线标识前缀对日志记录进行分流。
对于所述节点拓扑字段包括符号标识以及数字的情况下,所述处理模块,还用于通过所述节点拓扑字段中数字的个数确定所述目标业务线的链路的层级,以及通过所述节点拓扑字段中的数字确定在该数字所在层级上包括的节点数量,其中,所述节点拓扑字段中任意两个数字之间都设置有符号标识。
节点拓扑字段由符号标识和数字组成,符号标识可以为“.”、“,”“~”等一切可以将任意两个数字进行隔断的符号标识,节点拓扑字段中任意两个数字之间都设置有符号标识,举例来说,节点拓扑字段初始值定义为0.1,当下一个节点拓扑字段为0.1.1时,代表目标业务线的链路的层级为第二层;当下一个节点拓扑字段为0.2时,则代表目标业务线的链路的第一层级的节点数量为2;当下一个节点拓扑字段为0.2.2时,代表目标业务线的链路所在节点的第二层级的节点数量为2。
在一个可选实施例中,所述处理模块,还用于通过所述节点拓扑字段中数字的个数确定所述目标业务线的链路的层级,以及通过所述节点拓扑字段中的数字确定在该数字的层级上所包括的节点数量,需要定义所述节点拓扑字段的初始值,以及层级的增加规则,其中,所述增加规则用于指示在当前层级增加一个层级后,所述节点拓扑字段中数字的增加个数。
也就是说,要预先设置节点拓扑字段的初始值,以及层级的增加规则,根据节点拓扑字段的初始值,以及层级的增加规则判断目标业务线的链路的层级和该数字的层级上所包括的节点数量。
例如,预先设置节点拓扑字段的初始值为0-2,层级的增加规则为每增加一层级数字增加两个,则第二层级的节点拓扑字段为0-2-1-1,节点拓扑字段的初始值,以及层级的增加规则均由工程师预先设置,需要说明的是,初始值和增加规则可以根据实际需要灵活设置,本发明实施例对此不进行限定。
在一个可选实施例中,所述处理模块将所述节点拓扑字段的初始值定义为0.1,其中,所述初始值用于指示所述链路的第一个层级,所述增加规则用于指示在所述初始值的基础上,每增加一个层级,所述初始值中数字的个数对应加1。
也就是说,节点拓扑字段第一个层级的初始值定义为0.1,节点拓扑字段第二个层级的初始值为0.1.1,节点拓扑字段第三个层级的初始值为0.1.1.1……以此类推。需要说明的,本可选实施例仅仅是为了理解本发明实施例的技术方案,实际应用时可以为任意初始值和增加规则。
本发明的实施例还提供了一种存储介质,该存储介质包括存储的程序,其中,上述程序运行时执行上述任一项的方法。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的程序代码:
S1,用于将业务线标识前缀设置在日志记录的链路标识字段之前,得到目标链路标识字段;
S2,用于根据所述目标链路标识字段中的所述业务线标识前缀对所述日志记录进行分流。
本发明的实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,用于将业务线标识前缀设置在日志记录的链路标识字段之前,得到目标链路标识字段;
S2,用于根据所述目标链路标识字段中的所述业务线标识前缀对所述日志记录进行分流。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
可选地,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种日志记录的分流方法,其特征在于,包括:
将业务线标识前缀设置在日志记录的链路标识字段之前,得到目标链路标识字段;
根据所述目标链路标识字段中的所述业务线标识前缀对所述日志记录进行分流。
2.根据权利要求1所述的方法,其特征在于,将业务线标识前缀设置在日志记录的链路标识字段之前,得到目标链路标识字段,包括:
获取目标业务线所对应的业务线标识前缀;
将所述业务线标识前缀设置在所述目标业务线的日志记录的链路标识字段之前,得到目标链路标识字段。
3.根据权利要求1所述的方法,其特征在于,将业务线标识前缀设置在日志记录的链路标识字段之前,得到目标链路标识字段之前或之后,所述方法还包括:
在所述日志记录中添加节点拓扑字段,其中,所述节点拓扑字段通过追加节点层级的方式来表征目标节点所在的拓扑结构。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
在所述节点拓扑字段包括符号标识以及数字的情况下,通过所述节点拓扑字段中数字的个数确定所述目标业务线的链路的层级,以及通过所述节点拓扑字段中的数字确定在该数字所在层级上包括的节点数量,其中,所述节点拓扑字段中任意两个数字之间都设置有符号标识。
5.根据权利要求4所述的方法,其特征在于,通过所述节点拓扑字段中数字的个数确定所述目标业务线的链路的层级,以及通过所述节点拓扑字段中的数字确定在该数字的层级上所包括的节点数量之前,所述方法还包括:
定义所述节点拓扑字段的初始值,以及层级的增加规则,其中,所述增加规则用于指示在当前层级增加一个层级后,所述节点拓扑字段中数字的增加个数。
6.根据权利要求5所述的方法,其特征在于,所述节点拓扑字段的初始值定义为0.1,其中,所述初始值用于指示所述链路的第一个层级,所述增加规则用于指示在所述初始值的基础上,每增加一个层级,所述初始值中数字的个数对应加1。
7.一种日志记录的分流装置,其特征在于,包括:
处理模块,用于将业务线标识前缀设置在日志记录的链路标识字段之前,得到目标链路标识字段;
分流模块,用于根据所述目标链路标识字段中的所述业务线标识前缀对所述日志记录进行分流。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:添加模块,用于在所述日志记录中添加节点拓扑字段,其中,所述节点拓扑字段通过追加节点层级的方式来表征目标节点所在的拓扑结构。
9.一种计算机可读的存储介质,其特征在于,所述计算机可读的存储介质包括存储的程序,其中,所述程序运行时执行上述权利要求1至6任一项中所述的方法。
10.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行所述权利要求1至6任一项中所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011111821.4A CN112256658B (zh) | 2020-10-16 | 2020-10-16 | 日志记录的分流方法及装置、存储介质、电子装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011111821.4A CN112256658B (zh) | 2020-10-16 | 2020-10-16 | 日志记录的分流方法及装置、存储介质、电子装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112256658A true CN112256658A (zh) | 2021-01-22 |
CN112256658B CN112256658B (zh) | 2023-08-18 |
Family
ID=74244515
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011111821.4A Active CN112256658B (zh) | 2020-10-16 | 2020-10-16 | 日志记录的分流方法及装置、存储介质、电子装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112256658B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113934701A (zh) * | 2021-10-12 | 2022-01-14 | 网易(杭州)网络有限公司 | 日志处理方法、装置、服务器和存储介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015099551A (ja) * | 2013-11-20 | 2015-05-28 | 富士通株式会社 | 情報処理プログラム、装置、および方法 |
CN107918621A (zh) * | 2016-10-10 | 2018-04-17 | 阿里巴巴集团控股有限公司 | 日志数据处理方法、装置及业务系统 |
CN108599973A (zh) * | 2018-01-05 | 2018-09-28 | 阿里巴巴集团控股有限公司 | 一种日志关联方法、装置及设备 |
CN110113200A (zh) * | 2019-04-29 | 2019-08-09 | 平安科技(深圳)有限公司 | 链路系统与日志系统的关联方法、装置及存储介质 |
CN110245035A (zh) * | 2019-05-20 | 2019-09-17 | 平安普惠企业管理有限公司 | 一种链路跟踪方法及装置 |
CN110928853A (zh) * | 2018-09-14 | 2020-03-27 | 北京京东尚科信息技术有限公司 | 一种标识日志的方法和装置 |
US20200104226A1 (en) * | 2018-09-27 | 2020-04-02 | International Business Machines Corporation | Logging implementation in micro-service applications |
CN111046010A (zh) * | 2019-11-13 | 2020-04-21 | 泰康保险集团股份有限公司 | 日志储存方法、装置、系统、电子设备和计算机可读介质 |
CN111522922A (zh) * | 2020-03-26 | 2020-08-11 | 浙江口碑网络技术有限公司 | 日志信息查询方法、装置、存储介质及计算机设备 |
WO2020173377A1 (zh) * | 2019-02-28 | 2020-09-03 | 华为技术有限公司 | 一种日志信息生成方法、装置及电子设备 |
-
2020
- 2020-10-16 CN CN202011111821.4A patent/CN112256658B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015099551A (ja) * | 2013-11-20 | 2015-05-28 | 富士通株式会社 | 情報処理プログラム、装置、および方法 |
CN107918621A (zh) * | 2016-10-10 | 2018-04-17 | 阿里巴巴集团控股有限公司 | 日志数据处理方法、装置及业务系统 |
CN108599973A (zh) * | 2018-01-05 | 2018-09-28 | 阿里巴巴集团控股有限公司 | 一种日志关联方法、装置及设备 |
CN110928853A (zh) * | 2018-09-14 | 2020-03-27 | 北京京东尚科信息技术有限公司 | 一种标识日志的方法和装置 |
US20200104226A1 (en) * | 2018-09-27 | 2020-04-02 | International Business Machines Corporation | Logging implementation in micro-service applications |
WO2020173377A1 (zh) * | 2019-02-28 | 2020-09-03 | 华为技术有限公司 | 一种日志信息生成方法、装置及电子设备 |
CN110113200A (zh) * | 2019-04-29 | 2019-08-09 | 平安科技(深圳)有限公司 | 链路系统与日志系统的关联方法、装置及存储介质 |
CN110245035A (zh) * | 2019-05-20 | 2019-09-17 | 平安普惠企业管理有限公司 | 一种链路跟踪方法及装置 |
CN111046010A (zh) * | 2019-11-13 | 2020-04-21 | 泰康保险集团股份有限公司 | 日志储存方法、装置、系统、电子设备和计算机可读介质 |
CN111522922A (zh) * | 2020-03-26 | 2020-08-11 | 浙江口碑网络技术有限公司 | 日志信息查询方法、装置、存储介质及计算机设备 |
Non-Patent Citations (2)
Title |
---|
日志易: "全链路日志分析解决方案介绍", Retrieved from the Internet <URL:https://zhuanlan.zhihu.com/p/114381433> * |
齐实: "基于流量预测的日志存储系统的设计与实现", 中国知网信息科技辑 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113934701A (zh) * | 2021-10-12 | 2022-01-14 | 网易(杭州)网络有限公司 | 日志处理方法、装置、服务器和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112256658B (zh) | 2023-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110070445B (zh) | 一种基于区块链系统的交易处理方法及装置 | |
CN109995588B (zh) | 一种灵活以太网链路管理方法及系统 | |
CN110290024B (zh) | 策略上线前测试方法、装置及设备 | |
CN112671908B (zh) | 网络管理方法、装置、电子设备及可读存储介质 | |
CN113434293A (zh) | 处理重复请求的方法和装置、存储介质及电子装置 | |
CN112256658B (zh) | 日志记录的分流方法及装置、存储介质、电子装置 | |
CN112003740A (zh) | 一种变电站交换机组播自动配置方法和系统 | |
CN111651170A (zh) | 一种实例动态调整方法、装置及相关设备 | |
CN110087226B (zh) | 流量统计方法、装置、存储介质及电子装置 | |
CN112787873B (zh) | 一种ioam时延测量性能排序方法及系统 | |
CN112182378A (zh) | 消息推送方法、装置、终端及介质 | |
CN111131324A (zh) | 业务系统的登陆方法及装置、存储介质、电子装置 | |
CN113518317B (zh) | 提示信息的发送方法和装置、存储介质及电子装置 | |
CN112612673B (zh) | 拨测日志的分析方法及装置、存储介质及电子装置 | |
CN113114465B (zh) | 归属权限的处理方法及装置、存储介质、电子装置 | |
CN109451016B (zh) | 数据下载管理方法、系统及相关设备 | |
CN112203220A (zh) | Imei所属终端识别方法及装置 | |
CN113434135B (zh) | 接口的调用重复度确定方法和装置、存储介质及电子装置 | |
CN113852919B (zh) | 预警消息的生成方法和装置、存储介质及电子装置 | |
CN110580172A (zh) | 配置规则的验证方法及装置、存储介质、电子装置 | |
CN114697375B (zh) | 语音包的切换方法和装置、存储介质及电子装置 | |
CN112788778B (zh) | 一种数据发送方法和装置 | |
CN115883573A (zh) | 共识节点的确定方法、装置及存储介质 | |
CN108733693A (zh) | 数据管理方法、装置、存储介质及处理器 | |
CN116708243A (zh) | 报文流量的检测方法和装置、存储介质及电子装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |