CN113704790A - 一种异常日志信息汇总方法及计算机设备 - Google Patents

一种异常日志信息汇总方法及计算机设备 Download PDF

Info

Publication number
CN113704790A
CN113704790A CN202111011884.7A CN202111011884A CN113704790A CN 113704790 A CN113704790 A CN 113704790A CN 202111011884 A CN202111011884 A CN 202111011884A CN 113704790 A CN113704790 A CN 113704790A
Authority
CN
China
Prior art keywords
log
abnormal
information
log information
component server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111011884.7A
Other languages
English (en)
Inventor
赵恩杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OneConnect Smart Technology Co Ltd
OneConnect Financial Technology Co Ltd Shanghai
Original Assignee
OneConnect Financial Technology Co Ltd Shanghai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OneConnect Financial Technology Co Ltd Shanghai filed Critical OneConnect Financial Technology Co Ltd Shanghai
Priority to CN202111011884.7A priority Critical patent/CN113704790A/zh
Publication of CN113704790A publication Critical patent/CN113704790A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/604—Tools and structures for managing or administering access control systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G06F16/134—Distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/148—File search processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2141—Access rights, e.g. capability lists, access control lists, access tables, access matrices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Library & Information Science (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请涉及运维技术领域，提供了一种异常日志信息汇总方法、异常日志信息汇总装置、计算机设备及计算机可读存储介质。其中，一种异常日志信息汇总方法，通过采用根用户权限访问方式，向组件服务器集群拉取日志文件集合，按照预设的异常日志识别策略，从日志文件集合中识别得到异常日志信息，基于预设的目标文件目录，将异常日志信息存储至目标文件目录下，由于目标文件目录中的信息用于描述异常日志信息与其来源的组件服务器之间的对应关系，因此能够为目标文件目录中的每项异常日志信息配置备注信息，提高了在分布式系统中组件服务器异常日志信息的汇总自动化程度。

Description

一种异常日志信息汇总方法及计算机设备
技术领域
本发明属于运维技术领域，尤其涉及一种异常日志信息汇总方法、异常日志信息汇总装置、计算机设备及计算机可读存储介质。
背景技术
随着分布式系统的广泛应用，市面上出现了众多基于分布式概念搭建的系统框架。以MCRY系统为例，MCRY系统是基于分布式系统框搭建的业务系统，其包含有11个常规组件，每个组件可以配置到服务器集群中的多个组件服务器中。基于此，当MCRY系统中出现与某个组件对应功能的异常事件时，无法通过查看页面来实现异常事件的原因追溯，只能通过查看该组件对应的组件服务器中的日志文件，从中读取ERROR日志内容进行分析。
然而，目前只能通过逐一查询组件服务器集群中的每个组件服务器的日志，排查导致异常事件的原因。由于各个组件部署在不同的组件服务器，需要登录各个组件服务器，进入不同的目录进行查询，操作过于繁琐。可见，现有的分布式系统在进行异常日志信息汇总时，存在自动化程度较低的问题。
发明内容
有鉴于此，本申请实施例提供了一种异常日志信息汇总方法、异常日志信息汇总装置、计算机设备及计算机可读存储介质，以解决现有的分布式系统在进行异常日志信息汇总时，存在自动化程度较低的问题。
本申请实施例的第一方面提供了一种异常日志信息汇总方法，包括：
采用根用户权限访问方式，向组件服务器集群拉取日志文件集合；其中，所述组件服务器集群包括N个组件服务器；所述日志文件集合包括N个日志文件，所述N个日志文件与所述N个组件服务器一一对应，N为大于1的整数；
按照预设的异常日志识别策略，从所述日志文件集合中识别得到异常日志信息；
基于预设的目标文件目录，将所述异常日志信息存储至所述目标文件目录下；其中，所述目标文件目录中的信息用于描述所述异常日志信息与其来源的组件服务器之间的对应关系；
为所述目标文件目录中的每项所述异常日志信息配置备注信息，得到异常日志信息汇总文件；其中，所述备注信息至少携带有所述异常日志信息的来源的组件服务器名称。
本申请实施例的第二方面提供了一种异常日志信息汇总装置，包括：
拉取单元，用于采用根用户权限访问方式，向组件服务器集群拉取日志文件集合；其中，所述组件服务器集群包括N个组件服务器；所述日志文件集合包括N个日志文件，所述N个日志文件与所述N个组件服务器一一对应，N为大于1的整数；
识别单元，用于按照预设的异常日志识别策略，从所述日志文件集合中识别得到异常日志信息；
存储单元，用于基于预设的目标文件目录，将所述异常日志信息存储至所述目标文件目录下；其中，所述目标文件目录中的信息用于描述所述异常日志信息与其来源的组件服务器之间的对应关系；
配置单元，用于为所述目标文件目录中的每项所述异常日志信息配置备注信息，得到异常日志信息汇总文件；其中，所述备注信息至少携带有所述异常日志信息的来源的组件服务器名称。
本申请实施例的第三方面提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面的各个步骤。
本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现第一方面的各个步骤。
实施本申请实施例提供的一种异常日志信息汇总方法、异常日志信息汇总装置、计算机设备及计算机可读存储介质具有以下有益效果：
本申请实施例，通过采用根用户权限访问方式，向组件服务器集群拉取日志文件集合，其中，组件服务器集群包括N个组件服务器，日志文件集合包括N个日志文件，N个日志文件与N个组件服务器一一对应，N为大于1的整数，按照预设的异常日志识别策略，从日志文件集合中识别得到异常日志信息，基于预设的目标文件目录，将异常日志信息存储至目标文件目录下，由于目标文件目录中的信息用于描述异常日志信息与其来源的组件服务器之间的对应关系，因此能够为目标文件目录中的每项异常日志信息配置备注信息，进而令得到异常日志信息汇总文件中的备注信息，至少携带有异常日志信息的来源的组件服务器名称，进而提高了在分布式系统中组件服务器异常日志信息的汇总自动化程度。
此外，由于异常日志信息汇总文件中具有备注信息，因此在进行异常日志信息内容查询时，可以根据备注信息在异常日志信息汇总文件中进行搜索，进而提高异常日志内容的搜索效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种异常日志信息汇总方法的实现流程图；
图2是本申请另一实施例提供的一种异常日志信息汇总方法的实现流程图；
图3是本申请实施例提供的一种异常日志信息汇总装置的结构框图；
图4是本申请实施例提供的一种计算机设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本实施例提供的一种异常日志信息汇总方法，执行主体为服务器集群中用于对日志信息进行汇总的目标服务器。这里，服务器集群可以是由多个服务器组成的服务器集群，基于该服务器集群构建分布式系统，令构建分布式系统所需的各组件能够被配置到服务器集群中的各服务器中，被配置有分布式系统组件的服务器，也可以被称为组件服务器。服务器集群中的各服务器之间能够进行数据共享或数据同步。在此基础上，向该服务器集群中的任一服务器配置目标脚本文件，由该目标脚本文件描述本实施例提供的异常日志信息汇总方法，使得该配置有目标脚本文件的服务器能够通过执行该目标脚本文件，进而执行异常日志信息汇总方法中的各个步骤。或者，通过对服务器集群配置新的服务器，向该新的服务器配置目标脚本文件，由该目标脚本文件描述本实施例提供的异常日志信息汇总方法，使得该新的服务器能够通过执行该目标脚本文件，进而执行异常日志信息汇总方法中的各个步骤。
在实现时，服务器集群中用于对日志信息进行汇总的目标服务器，采用根用户权限访问方式，向组件服务器集群拉取日志文件集合，组件服务器集群包括N个组件服务器，日志文件集合包括N个日志文件，N个日志文件与N个组件服务器一一对应，N为大于1的整数；目标服务器按照预设的异常日志识别策略，从日志文件集合中识别得到异常日志信息；目标服务器基于预设的目标文件目录，将异常日志信息存储至目标文件目录下；由于目标文件目录中的信息用于描述异常日志信息与其来源的组件服务器之间的对应关系，因此目标服务器能够为目标文件目录中的每项异常日志信息配置备注信息，进而令得到异常日志信息汇总文件中的备注信息，至少携带有异常日志信息的来源的组件服务器名称。提高了在分布式系统中组件服务器异常日志信息的汇总自动化程度。
以下通过具体实现方式对本实施例提供的一种异常日志信息汇总方法进行详细说明。
图1示出了本申请实施例提供的异常日志信息汇总方法的实现流程图，详述如下：
S11：采用根用户权限访问方式，向组件服务器集群拉取日志文件集合。
在步骤S11中，组件服务器集群包括N个组件服务器。日志文件集合包括N个日志文件，N个日志文件与N个组件服务器一一对应，N为大于1的整数。
在本实施例中，分布式系统的功能组件集合被配置到组件服务器集群中，通过对组件服务器集群中的每个组件服务器进行日志文件的拉取，进而能够得到每个组件服务器对应的日志文件。这里，目标服务器向组件服务器集群拉取日志文件集合时，并未就组件服务器对应的日志文件内容进行识别，也即拉取的是组件服务器中已生成的最新日志文件。
在本申请的所有实施例中，由于根用户权限为业务系统中的最高权限，故目标服务器采用了根用户权限访问方式进行日志文件拉取，对组件服务器集群中的每个组件服务器来说，目标服务器必然具备拉取日志文件的权限。
在实现时，目标服务器可以主动向组件服务器集群拉取日志文件集合，还可以是通过对各组件服务器配置相应的日志生成方法后，由各组件服务器分别指示目标服务器进行日志文件的拉取操作。
容易理解的是，在实际应用过程中，由于不同的业务系统中配置的组件服务器的数量不同，功能需求也不同，因此可以基于实际的业务系统需求，配置相应的目标服务向组件服务器集群拉取日志文件集合的时机。
作为一个实施例，步骤S11具体包括：
S111：在接收到组件服务器集群中每个组件服务器上报的日志文件生成提示时，执行预设的日志文件拉取脚本，以根用户权限访问方式向组件服务器集群拉取日志文件集合。
在本实施例中，可以通过对每个组件服务器配置相应的日志生成策略与日志生成周期，且基于日志生成策略，按照日志生成周期生成日志文件。同时，当组件服务器生成日志文件后，可以通过向目标服务器发送日志已生成的提示信息，进而触发目标服务器采用根用户权限访问方式，向组件服务器集群拉取日志文件集合。
在其他实施例中，考虑到每个组件服务器自动生成日志文件的时机可以存在差异，故在向组件服务器集群拉取日志文件集合的过程中，可以通过侦听每个组件服务器的日志文件生成情况，且基于每个组件服务器的日志文件生成情况决定何时向组件服务器集群拉取日志文件集合。
作为另一个实施例，步骤S11包括与步骤S111并列的步骤S112至S113。在实现时，步骤S11可以同时配置有步骤S111与步骤S112至S113，当执行了步骤S111后便不再执行步骤S112至S113，当执行了步骤S112至S113后便不再执行步骤S111。具体地：
S112：侦听组件服务器集群中的每个组件服务器的日志生成情况。
S113：若确定所述每个组件服务器均生成了最新的日志文件，则执行预设的日志文件拉取脚本，以根用户权限访问方式向所述组件服务器集群拉取日志文件集合。
在本实施例中，目标服务器可以作为侦听所有组件服务器的管理节点，对所有组件服务器进行日志生成情况的侦听操作。这里，目标服务器侦听组件服务器集群中的每个组件服务器的日志生成情况，具体可以是按照不同的执行周期对每个组件服务器进行侦听，或者是按照统一的执行周期进行侦听，此处不作限制。
需要说明的是，最新的日志文件指的是组件服务器生成的未被目标服务器拉取的日志文件。由于分布式系统框架是依托网络环境搭建的系统框架，而在基于分布式系统框架搭建的业务系统中，由于各功能组件被配置于组件服务器中，因此组件服务器可以视为该业务系统的某一节点。又因为各组件的配置内容较为庞大，故组件服务器之间可以通过网络进行信息共享，也即基于信息共享的特效能够满足各节点之间的数据访问需求。但是，对于一些需要维护权限才能访问的数据，如，组件服务器配置数据、日志文件等，均需要获取到相应的访问权限后，才能够从组件服务器中读取相应的数据内容。
在实现时，目标服务器执行预设的日志文件拉取脚本，以根用户权限访问方式向组件服务器集群拉取日志文件集合时，预设的日志文件拉取脚本具体可以是新建的shell脚本文件，在该shell脚本文件中配置scp命令，
作为一个示例，scp命令至少包括：获取根用户权限的shell命令段，各组件服务器的地址段，以及拉取日志文件的目录段。
可以理解的是，scp命令是linux的内置命令，使用root根用户权限将上述日志文件拷贝到目标服务器的目录下，且还可以将获取到的日志文件以其组件服务器中配置的组件名称进行命名，便于后续操作进行区分。
图2是本申请另一实施例提供的一种异常日志信息汇总方法的流程图。图2示出的实施例，与图1示出的实施例之间的差别在于，步骤S111或者S112之前还包括步骤S21至S22。具体地：
S21：根据组件服务器集群中每个组件服务器的互联网协议IP地址，与所述每个组件服务器的日志文件的存储目录，生成与所述每个组件服务器对应的日志拉取命令段。
S22：为每个组件服务器对应的日志拉取命令段配置根用户权限命令段，得到所述预设的日志文件拉取脚本。
在本实施例中，组件服务器集群中的每个组件服务器都有不同的IP地址，且由于不同组件服务器对应的组件名称不同，故可以配置与组件名称对应的存储目录，将其生成的日志文件存储在该存储目录下。这里，每个组件服务器对应的日志拉取命令段，与每个组件服务器的IP地址和存储目录有关，因此可以基于该日志拉取命令段确定被拉取的目标组件服务器后，再基于存储目录获取到该目标组件服务器生成的最新的日志文件。
在实现时，每个组件服务器对应的日志拉取命令段，可以是shell脚本文件中配置的scp命令，该scp命令至少包括：获取根用户权限的shell命令段，各组件服务器的地址段，以及拉取日志文件的目录段。
以上述任一实施例为基础，在一个示例中，以组件服务器中配置的组件是DF组件为例，在shell脚本文件中配置的scp命令如下：root@30.23.12.236:/wls/mercury/data-fabric/logs/mercury.info.log/wls/log/INFO/df.log
其中，“root@”为获取根用户权限的shell命令；“30.23.12.236”为组件服务器IP地址段，也即DF组件服务器的IP地址；“/wls/mercury/data-fabric/logs/mercury.info.log”为拉取日志文件的存储目录；“/wls/log/INFO/df.log”为拉取日志文件的另存为的文件名。
应当理解的是，根据每个组件服务器的IP地址与日志文件的存储目录，生成的日志拉取命令段，便于指示目标服务器从不同的组件服务器中获取对应的目标日志文件，再通过对每个组件服务器对应的日志拉取命令段配置根用户权限命令段，使得目标服务器在执行每段日志拉取命令段时，均能够采用根用户权限从不同的组件服务器拉取到日志文件。
S12：按照预设的异常日志识别策略，从所述日志文件集合中识别得到异常日志信息。
在步骤S12中，预设的异常日志识别策略用于表征从日志文件中识别出异常日志信息的方式。异常日志信息是指从各日志文件中识别出的异常事件记录内容，也可以是对日志文件集合中确定得到的异常事件记录内容的总称。
需要说明的是，由于日志文件集合中包含与N个组件服务器一一对应的N个日志文件，因此在具体实现时可以通过对每个组件服务器被配置相同的日志文件生成策略，令组件服务器集群中的每个组件服务器能够生成格式相同的日志文件。
在本实施例中，组件服务器生成的日志文件，用于描述该组件服务器的运行状况。其中，日志文件可以包含该组件服务器的被访问信息，以及该组件服务器的响应信息等，为了提高异常日志信息的识别效率，针对所有组件服务器生成的日志文件可以配置统一的异常日志识别策略。
例如，在组件服务器生成日志文件时中，可以通过对异常日志内容进行异常标引，进而在组件服务器生成的日志文件中，异常日志内容能够与其他日志内容之间形成明确地区别。基于此，预设的异常日志识别策略，可以是对日志文件中的内容进行异常标引识别，也即将标记有异常标引的日志内容作为异常日志内容，进而从各日志文件中确定出异常日志信息。
作为一个实施例，预设的异常日志识别策略用于表征异常日志内容中的异常关键字段。步骤S12可以包括：
基于异常关键字段，对日志文件集合中的每个日志文件分别进行异常日志信息识别；若所述日志文件中的内容包含所述异常关键字段，则将包含所述异常关键字段的日志内容作为异常日志信息。
在本实施例中，对日志文件集合中的每个日志文件分别进行异常日志信息识别，具体可以是对日志文件集合中各个日志文件的内容进行扫描，进而能够确定每个日志文件信息的内容中是否包含有异常关键字段。
作为一个示例，以“ERROR”为异常关键字段为例，根据每个日志文件的日志级别，对于组件服务器在运行过程中出现的异常，通常是ERROR级别存储在日志文件中。故需要针对ERROR级别的日志进行匹配，进而得到组件服务器中中带有“ERROR”异常关键字段的日志信息作为异常日志信息。
容易理解的是，在实际应用中，可以根据需求或者配置习惯设定异常关键字段的具体内容。也即，异常关键字段还可以是任意用于表征“ERROR”含义的字段，或与“ERROR”同义的字段。
S13：基于预设的目标文件目录，将所述异常日志信息存储至所述目标文件目录下。
在步骤S13中，目标文件目录中的信息用于描述异常日志信息与异常日志信息来源的组件服务器之间的对应关系。
在本实施例中，目标服务器中预先配置有与每个目标服务器对应的目标文件目录，在从日志文件集合中识别出异常日志信息后，可以基于异常日志信息的来源对异常日志信息进行对应存储。例如，将异常日志信息存储在以其来源的组件服务器命名的目标文件目录下。
在实现时，目标服务器中预设的目标文件目录可以是文件序列表的方式呈现，在文件系列表中，配置有与N个组件服务器对应的N个存储文件夹。这里，N个存储文件夹的命名与N个组件服务器的名称一一对应，用于存储来自每个组件服务器对应的异常日志信息。
作为一个实施例，步骤S13包括：
获取异常日志信息对应的组件服务器标识；将所述异常日志信息存储至与所述组件服务器标识对应的目标文件目录下。
在本实施例中，组件服务器标识用于区分组件服务器集群中的各组件服务器。这里，在确定了异常日志信息后，通过获取异常日志信息对应的组件服务器标识，且将异常日志信息存储至与组件服务器标识对应的目标文件目录下，进而使得目标文件目录中的信息能够用于描述异常日志信息与异常日志信息来源的组件服务器之间的对应关系。
需要说明的是，组件服务器标识于目标文件目录的内容相互对应，也即不同的组件服务器标识对应不同的目标文件目录。这里，目标文件目录的命名具体可以是与组件服务器标识相同的内容，进而在将异常日志信息进行存储时，以该异常日志信息来源的组件服务器标识内容，即可于该目标文件目录下查询到相应的将异常日志信息。
作为一个示例，通过在shell脚本文件中配置相应的识别命令与存储命令，其中，识别命令至少包括日志文件名称、异常关键字段，存储命令至少包括目标文件目录名称。
例如，对应的实现代码为：cat/wls/log/INFO/df.log|grep“ERROR”>/wls/log/ERROR/df.log，该实现代码表示，截取文件名为“/wls/log/INFO/df.log”中的包含有“ERROR”的内容，也即将包含所述异常关键字段的日志内容作为异常日志信息，“/wls/log/ERROR/df.log”为目标文件目录，相应地，“|grep“ERROR”>/wls/log/ERROR/df.log”表示将异常日志信息存储至目标文件目录下。
为了让异常日志在汇总之后，方便被查询，在基于预设的目标文件目录，将异常日志信息存储至目标文件目录下之后，还通过对每项异常日志信息配置备注消息，令每项异常日志信息能够被追溯。
S14：为所述目标文件目录中的每项所述异常日志信息配置备注信息，得到异常日志信息汇总文件。
在步骤S14中，备注信息为对异常日志信息进行解释的文字内容。这里，备注信息至少携带有异常日志信息的来源的组件服务器名称，也即备注信息至少用于解释该异常日志信息的来源，以便区分各异常日志信息是来源于组件服务器集群中的哪个组件服务器。
在本实施例中，为目标文件目录中的每项异常日志信息配置备注信息，相当于在每项异常日志信息所在的位置，插入一行标记组件的备注，用于合并后的错误日志查看。
作为一个示例，以异常日志信息来源于DF组件服务器为例，实现为其配置备注信息的命令语句如下：
sed–i“-1i----------df begin---------”df.log
上述命令语句可以视为写入内容为“df begin”的备注信息。
应当理解的是，在实际实现时，备注信息的具体内容可以根据各异常日志信息的来源或者类型进行配置，此处不再对备注信息的具体内容进行赘述。
作为一个实施例，步骤S14包括：
为所述目标文件目录中的每项所述异常日志信息配置备注信息；其中，所述备注信息用于描述异常日志信息的来源或内容；
将每项具有所述备注信息的异常日志信息进行汇总，得到异常日志信息汇总文件。
在本实施例中，为目标文件目录中的每项异常日志信息配置备注信息后，还将每项配置了备注信息的异常日志信息进行汇总，也即将所有的错误文件的内容合并到一个文件中，该文件夹以“ERROR.log”命名，便于工作人员后续查阅。这里，为目标文件目录中的每项异常日志信息配置备注信息，由于备注信息用于描述异常日志信息的来源或内容，提高了异常日志信息汇总文件的可读性。基于此，在浏览具有备注信息的异常日志信息时，还能够通过搜索与备注信息中的部分字段，即可查询到相应的异常日志信息部分，提高用户使用异常日志信息汇总文件的效率。
在实现时，为目标文件目录中的每项异常日志信息配置备注信息，可以是在异常日志信息的段落增加可编辑可查询的文字内容。以异常日志信息为A组件服务器IP地址，第一API接口流量数据为例，异常日志信息配置备注信息具体如下：
30.23.12.236/1API/X#来源于A组件服务器##第一API接口数据异常#
其中，“30.23.12.236”为A组件服务器IP地址，“1API”表示第一API接口，“X”为流量数据。“#来源于A组件服务器#”与“#第一API接口数据异常#”，均为备注信息的内容。在实际浏览异常日志信息汇总文件时，可以通过搜索“A组件服务器”或者“API接口”等关键字，即可定位到上述配置内容所在的位置，进而确定对应异常日志信息的部分。在具体实现时，可以根据不同异常日志汇总周期汇总得到多个异常日志信息汇总文件，在同一个异常日志汇总周期内得出的每项待汇总信息被汇总至统一的文件中。
以上方案中，通过采用根用户权限访问方式，向组件服务器集群拉取日志文件集合，其中，组件服务器集群包括N个组件服务器，日志文件集合包括N个日志文件，N个日志文件与N个组件服务器一一对应，N为大于1的整数，按照预设的异常日志识别策略，从日志文件集合中识别得到异常日志信息，基于预设的目标文件目录，将异常日志信息存储至目标文件目录下，由于目标文件目录中的信息用于描述异常日志信息与其来源的组件服务器之间的对应关系，因此能够为目标文件目录中的每项异常日志信息配置备注信息，进而令得到异常日志信息汇总文件中的备注信息，至少携带有异常日志信息的来源的组件服务器名称，进而提高了在分布式系统中组件服务器异常日志信息的汇总自动化程度。
此外，由于异常日志信息汇总文件中具有备注信息，因此在进行异常日志信息内容查询时，可以根据备注信息在异常日志信息汇总文件中进行搜索，进而提高异常日志内容的搜索效率。
请参阅图3，图3是本申请实施例提供的一种异常日志信息汇总装置的结构框图。本实施例中该移动终端包括的各单元用于执行图1与图2对应的实施例中的各步骤。具体请参阅图1与图2以及图1与图2所对应的实施例中的相关描述。为了便于说明，仅示出了与本实施例相关的部分。参见图3，异常日志信息汇总装置30包括：拉取单元31、识别单元32、存储单元33以及配置单元34。具体地：
拉取单元31，用于采用根用户权限访问方式，向组件服务器集群拉取日志文件集合；其中，所述组件服务器集群包括N个组件服务器；所述日志文件集合包括N个日志文件，所述N个日志文件与所述N个组件服务器一一对应，N为大于1的整数。
识别单元32，用于按照预设的异常日志识别策略，从所述日志文件集合中识别得到异常日志信息。
存储单元33，用于基于预设的目标文件目录，将所述异常日志信息存储至所述目标文件目录下；其中，所述目标文件目录中的信息用于描述所述异常日志信息与其来源的组件服务器之间的对应关系。
配置单元34，用于为所述目标文件目录中的每项所述异常日志信息配置备注信息，得到异常日志信息汇总文件；其中，所述备注信息至少携带有所述异常日志信息的来源的组件服务器名称。
作为一个实施例，异常日志信息汇总装置30还包括：
命令生成单元35，用于根据组件服务器集群中每个组件服务器的互联网协议IP地址，与所述每个组件服务器的日志文件的存储目录，生成与所述每个组件服务器对应的日志拉取命令段。
脚本单元36，用于为每个组件服务器对应的日志拉取命令段配置根用户权限命令段，得到所述预设的日志文件拉取脚本。
应当理解的是，图3示出的异常日志信息汇总装置的结构框图中，各单元用于执行图1与2对应的实施例中的各步骤，而对于图1与图2对应的实施例中的各步骤已在上述实施例中进行详细解释，具体请参阅图1与图2以及图1与图2所对应的实施例中的相关描述，此处不再赘述。
图4是本申请实施例提供的一种计算机设备的结构框图。如图4所示，该实施例的计算机设备40包括：处理器41、存储器42以及存储在所述存储器42中并可在所述处理器41上运行的计算机程序43，例如异常日志信息汇总方法的程序。处理器41执行所述计算机程序43时实现上述各个异常日志信息汇总方法各实施例中的步骤，例如图1所示的S11至S14，或者图2所示的S21至S14，所述处理器41执行所述计算机程序43时实现上述图3对应的实施例中各单元的功能，例如，图3所示的单元31至36的功能，具体请参阅图3对应的实施例中的相关描述，此处不赘述。
示例性的，所述计算机程序43可以被分割成一个或多个单元，所述一个或者多个单元被存储在所述存储器42中，并由所述处理器41执行，以完成本申请。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序43在所述计算机设备40中的执行过程。例如，所述计算机程序43可以被分割成拉取单元、识别单元、存储单元以及配置单元，各单元具体功能如上所述。
所述转台设备可包括，但不仅限于，处理器41、存储器42。本领域技术人员可以理解，图4仅仅是计算机设备40的示例，并不构成对计算机设备40的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述转台设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器41可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器42可以是所述计算机设备40的内部存储单元，例如计算机设备40的硬盘或内存。所述存储器42也可以是所述计算机设备40的外部存储设备，例如所述计算机设备40上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器42还可以既包括所述计算机设备40的内部存储单元也包括外部存储设备。所述存储器42用于存储所述计算机程序以及所述转台设备所需的其他程序和数据。所述存储器42还可以用于暂时地存储已经输出或者将要输出的数据。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种异常日志信息汇总方法，其特征在于，包括：
采用根用户权限访问方式，向组件服务器集群拉取日志文件集合；其中，所述组件服务器集群包括N个组件服务器；所述日志文件集合包括N个日志文件，所述N个日志文件与所述N个组件服务器一一对应，N为大于1的整数；
按照预设的异常日志识别策略，从所述日志文件集合中识别得到异常日志信息；
基于预设的目标文件目录，将所述异常日志信息存储至所述目标文件目录下；其中，所述目标文件目录中的信息用于描述所述异常日志信息与其来源的组件服务器之间的对应关系；
为所述目标文件目录中的每项所述异常日志信息配置备注信息，得到异常日志信息汇总文件；其中，所述备注信息至少携带有所述异常日志信息的来源的组件服务器名称。
2.根据权利要求1所述的异常日志信息汇总方法，其特征在于，所述采用根用户权限访问方式，向组件服务器集群拉取日志文件集合，包括：
在接收到组件服务器集群中每个组件服务器上报的日志文件生成提示时，执行预设的日志文件拉取脚本，以根用户权限访问方式向组件服务器集群拉取日志文件集合。
3.根据权利要求1所述的异常日志信息汇总方法，其特征在于，所述采用根用户权限访问方式，向组件服务器集群拉取日志文件集合，包括：
侦听组件服务器集群中的每个组件服务器的日志生成情况；
若确定所述每个组件服务器均生成了最新的日志文件，则执行预设的日志文件拉取脚本，以根用户权限访问方式向所述组件服务器集群拉取日志文件集合。
4.根据权利要求1所述的异常日志信息汇总方法，其特征在于，所述预设的异常日志识别策略用于表征异常日志内容中的异常关键字段；
所述按照预设的异常日志识别策略，从所述日志文件集合中识别得到异常日志信息，包括：
基于异常关键字段，对日志文件集合中的每个日志文件分别进行异常日志信息识别；
若所述日志文件中的内容包含所述异常关键字段，则将包含所述异常关键字段的日志内容作为异常日志信息。
5.根据权利要求1所述的异常日志信息汇总方法，其特征在于，所述基于预设的目标文件目录，将所述异常日志信息存储至所述目标文件目录下，包括：
获取异常日志信息对应的组件服务器标识；
将所述异常日志信息存储至与所述组件服务器标识对应的目标文件目录下。
6.根据权利要求1所述的异常日志信息汇总方法，其特征在于，所述为所述目标文件目录中的每项所述异常日志信息配置备注信息，得到异常日志信息汇总文件，包括：
为所述目标文件目录中的每项所述异常日志信息配置备注信息；其中，所述备注信息用于描述异常日志信息的来源或内容；
将每项具有所述备注信息的异常日志信息进行汇总，得到异常日志信息汇总文件。
7.根据权利要求2或3所述的异常日志信息汇总方法，其特征在于，所述采用根用户权限访问方式，向组件服务器集群拉取日志文件集合的步骤之前，还包括：
根据组件服务器集群中每个组件服务器的互联网协议IP地址，与所述每个组件服务器的日志文件的存储目录，生成与所述每个组件服务器对应的日志拉取命令段；
为每个组件服务器对应的日志拉取命令段配置根用户权限命令段，得到所述预设的日志文件拉取脚本。
8.一种异常日志信息汇总装置，其特征在于，包括：
拉取单元，用于采用根用户权限访问方式，向组件服务器集群拉取日志文件集合；其中，所述组件服务器集群包括N个组件服务器；所述日志文件集合包括N个日志文件，所述N个日志文件与所述N个组件服务器一一对应，N为大于1的整数；
识别单元，用于按照预设的异常日志识别策略，从所述日志文件集合中识别得到异常日志信息；
存储单元，用于基于预设的目标文件目录，将所述异常日志信息存储至所述目标文件目录下；其中，所述目标文件目录中的信息用于描述所述异常日志信息与其来源的组件服务器之间的对应关系；
配置单元，用于为所述目标文件目录中的每项所述异常日志信息配置备注信息，得到异常日志信息汇总文件；其中，所述备注信息至少携带有所述异常日志信息的来源的组件服务器名称。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时如权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
CN202111011884.7A 2021-08-31 2021-08-31 一种异常日志信息汇总方法及计算机设备 Pending CN113704790A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111011884.7A CN113704790A (zh) 2021-08-31 2021-08-31 一种异常日志信息汇总方法及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111011884.7A CN113704790A (zh) 2021-08-31 2021-08-31 一种异常日志信息汇总方法及计算机设备

Publications (1)

Publication Number Publication Date
CN113704790A true CN113704790A (zh) 2021-11-26

Family

ID=78657969

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111011884.7A Pending CN113704790A (zh) 2021-08-31 2021-08-31 一种异常日志信息汇总方法及计算机设备

Country Status (1)

Country Link
CN (1) CN113704790A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114185502A (zh) * 2021-12-15 2022-03-15 平安科技（深圳）有限公司 基于产线环境的日志打印方法、装置、设备及介质
CN115150418A (zh) * 2022-08-26 2022-10-04 北京蔚领时代科技有限公司 服务器集群的数据存储方法
CN115361289A (zh) * 2022-08-23 2022-11-18 北京字跳网络技术有限公司 业务系统的问题定位方法、装置、电子设备及存储介质
CN116089563A (zh) * 2022-07-28 2023-05-09 荣耀终端有限公司 日志处理方法及相关装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100639243B1 (ko) * 2005-05-24 2006-10-27 엘지노텔 주식회사 이엠에스 로그 파일 검색 장치 및 그 방법
US20180102938A1 (en) * 2016-10-11 2018-04-12 Oracle International Corporation Cluster-based processing of unstructured log messages
CN108683562A (zh) * 2018-05-18 2018-10-19 深圳壹账通智能科技有限公司 异常检测定位方法、装置、计算机设备及存储介质
CN109981745A (zh) * 2019-02-28 2019-07-05 深圳市买买提信息科技有限公司 一种日志文件处理方法及服务器
US10657099B1 (en) * 2015-11-02 2020-05-19 Quest Software Inc. Systems and methods for transformation and analysis of logfile data
CN111984499A (zh) * 2020-08-04 2020-11-24 中国建设银行股份有限公司 一种大数据集群的故障检测方法和装置
CN112711520A (zh) * 2020-12-30 2021-04-27 平安科技（深圳）有限公司 异常日志信息的处理方法、装置、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100639243B1 (ko) * 2005-05-24 2006-10-27 엘지노텔 주식회사 이엠에스 로그 파일 검색 장치 및 그 방법
US10657099B1 (en) * 2015-11-02 2020-05-19 Quest Software Inc. Systems and methods for transformation and analysis of logfile data
US20180102938A1 (en) * 2016-10-11 2018-04-12 Oracle International Corporation Cluster-based processing of unstructured log messages
CN108683562A (zh) * 2018-05-18 2018-10-19 深圳壹账通智能科技有限公司 异常检测定位方法、装置、计算机设备及存储介质
CN109981745A (zh) * 2019-02-28 2019-07-05 深圳市买买提信息科技有限公司 一种日志文件处理方法及服务器
CN111984499A (zh) * 2020-08-04 2020-11-24 中国建设银行股份有限公司 一种大数据集群的故障检测方法和装置
CN112711520A (zh) * 2020-12-30 2021-04-27 平安科技（深圳）有限公司 异常日志信息的处理方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘思尧;李斌;: "基于ELK的电力信息监控日志审计系统实现", 电脑知识与技术, vol. 12, no. 30, 31 October 2016 (2016-10-31) *
郝晓培;单杏花;杨立鹏;王拓;: "基于大数据技术的铁路互联网售票异常用户行为分析研究与实现", 铁路计算机应用, no. 05, 25 May 2017 (2017-05-25) *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114185502A (zh) * 2021-12-15 2022-03-15 平安科技（深圳）有限公司 基于产线环境的日志打印方法、装置、设备及介质
CN114185502B (zh) * 2021-12-15 2024-05-14 平安科技（深圳）有限公司 基于产线环境的日志打印方法、装置、设备及介质
CN116089563A (zh) * 2022-07-28 2023-05-09 荣耀终端有限公司 日志处理方法及相关装置
CN116089563B (zh) * 2022-07-28 2024-03-26 荣耀终端有限公司 日志处理方法及相关装置
CN115361289A (zh) * 2022-08-23 2022-11-18 北京字跳网络技术有限公司 业务系统的问题定位方法、装置、电子设备及存储介质
CN115150418A (zh) * 2022-08-26 2022-10-04 北京蔚领时代科技有限公司 服务器集群的数据存储方法
CN115150418B (zh) * 2022-08-26 2024-01-26 北京蔚领时代科技有限公司 服务器集群的数据存储方法

Similar Documents

Publication Publication Date Title
CN110147411B (zh) 数据同步方法、装置、计算机设备及存储介质
WO2019134226A1 (zh) 一种日志收集方法、装置、终端设备及存储介质
CN113704790A (zh) 一种异常日志信息汇总方法及计算机设备
CN112000741B (zh) 内外网数据交换系统、方法、装置、计算机设备和介质
CN111078504A (zh) 一种分布式调用链跟踪方法、装置、计算机设备及存储介质
CN111143382B (zh) 数据处理方法、系统和计算机可读存储介质
CN110162512B (zh) 一种日志检索方法、装置及存储介质
CN109726091B (zh) 一种日志管理方法及相关装置
CN112395157B (zh) 审计日志的获取方法、装置、计算机设备和存储介质
CN111881011A (zh) 日志管理方法、平台、服务器及存储介质
US20090287800A1 (en) Method, device and system for managing network devices
US10585678B2 (en) Insertion of custom activities in an orchestrated application suite
CN111124872A (zh) 基于差异代码分析的分支检测方法、装置及存储介质
CN111737227A (zh) 数据修改方法及系统
CN113792008A (zh) 网络拓扑结构的获取方法、装置、电子设备及存储介质
US20140250333A1 (en) Log file reduction according to problem-space network topology
CN114385551B (zh) 日志分时管理方法、装置、设备及存储介质
CN110209578B (zh) 一种信息在线测试平台
CN116501700B (zh) 一种app格式化文件离线存储方法、装置、设备及存储介质
CN112241355A (zh) 链路追踪方法、系统、计算机可读存储介质及电子设备
CN112187509A (zh) 多架构云平台执行日志管理方法、系统、终端及存储介质
CN115840788A (zh) 一种MySql数据同步到ES的方法、装置、终端及存储介质
CN113282347B (zh) 插件运行方法、装置、设备及存储介质
CN115328734A (zh) 跨服务的日志处理方法、装置及服务器
CN114817300A (zh) 基于sql语句的日志查询方法及其应用

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination