CN113810242A - 系统日志分析方法及装置 - Google Patents

系统日志分析方法及装置 Download PDF

Info

Publication number
CN113810242A
CN113810242A CN202010547454.6A CN202010547454A CN113810242A CN 113810242 A CN113810242 A CN 113810242A CN 202010547454 A CN202010547454 A CN 202010547454A CN 113810242 A CN113810242 A CN 113810242A
Authority
CN
China
Prior art keywords
system log
rule
matching
matching function
log rule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010547454.6A
Other languages
English (en)
Inventor
王建
杨雪辰
赵爽
刘光伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Unihub China Information Technology Co Ltd
Zhongying Youchuang Information Technology Co Ltd
Original Assignee
Unihub China Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Unihub China Information Technology Co Ltd filed Critical Unihub China Information Technology Co Ltd
Priority to CN202010547454.6A priority Critical patent/CN113810242A/zh
Publication of CN113810242A publication Critical patent/CN113810242A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种系统日志分析方法及装置，该方法包括：按照匹配方法对系统日志规则进行分类，将匹配方法相同的系统日志规则归为一类；生成并加载每类系统日志规则对应的匹配函数，确定每个系统日志规则与匹配函数的对应关系；利用待匹配的系统日志规则对应的匹配函数对系统日志进行匹配分析。本发明在对系统日志进行匹配分析时，能够自适应和动态调整待匹配的系统日志规则对应的匹配函数，同时仅需对待匹配的系统日志规则对应的匹配函数所包含的匹配方法进行匹配即可，无需对待匹配的系统日志规则对应的匹配函数之外的其他匹配方法进行匹配，能够大大提高系统日志匹配分析的效率。

Description

系统日志分析方法及装置
技术领域
本发明涉及网络设备监控技术领域，尤其涉及系统日志分析方法及装置。
背景技术
本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
网络设备是指构成电信运营商网络的物理实体，主要包括交换机、宽带远程接入服务器、路由器等。现代电信运营商网络通常是由数以千计的网络设备组成。现代电信运营商网络的平稳、高效运行依赖于每一台网络设备的正常运行。这就要求当网络设备发生故障时，网管软件能够在最短时间内生成告警，便于网络运维人员进行对网络设备故障尽早发现、尽早处理。当前主流网络设备会自动将设备的系统日志逐条通过syslog(系统日志)协议实时发送给系统日志(syslog)采集工具(例如syslog日志采集探针)。
系统日志采集工具采集上述系统日志，并根据系统日志规则集，将上述系统日志分类为普通系统日志、告警信息。对于普通系统日志则直接丢弃，而对于告警信息还需要将其进一步划分为不同的告警种类、不同的告警级别等等。其中，系统日志规则集中每条系统日志规则由两部分组成：匹配、设置。匹配部分包括若干个匹配条目，对系统日志的不同字段进行匹配操作(支持正则匹配、等于、不等于、大于、小于等多种匹配方法)。若某系统日志规则的全部匹配条目都成功匹配，则根据该系统日志规则的设置部分，设置告警信息的种类、级别等等。
对于支持的多种匹配方法，在程序中通常是用一长串的if判断语句来实现的。以perl 伪代码示例如下。为叙述方便，将此函数命名为ruleMatchCheck_ALL。此函数实现了全部匹配方法的实现逻辑。
Figure RE-GDA0002614562260000011
Figure RE-GDA0002614562260000021
鉴于系统日志规则集是由运营商网络运维人员根据其具体的运维监控需求、网络设备厂商型号等情况进行灵活配置的。这就导致网管厂家在研发系统日志采集工具的程序时，对系统日志规则的数量及其具体内容都是不可预知的。显而易见，系统日志采集工具的程序支持的匹配方法越多，则上述的if判断分支就越多。实际上每个匹配条目只会用到一种匹配方法，因此对每条设备系统日志，要与系统日志规则集中的每一条系统日志规则进行匹配测试，直到与某条系统日志规则成功匹配为止。因此，目前的系统日志分析过程中的系统日志规则匹配会对计算资源造成严重的浪费，极大的影响程序的执行效率。
大型电信运营商的网络设备数量都是以千为单位，这些设备随时都向系统日志采集工具发送海量的设备系统日志。通常系统日志规则集中配置的系统日志规则数量都是成百上千的(以某运营商的网管为例，目前有744个系统日志规则)，而每条系统日志规则的匹配部分都会包括若干匹配条目。每个匹配条目又都支持若干种匹配方法。可想而知，上述的匹配分析是系统日志采集工具执行程序中比较耗时的程序，需要进行专门的优化设计，尽量实现对设备系统日志高效处理、避免积压。
因此，现有的系统日志分析存在效率低的问题。
发明内容
本发明实施例提供一种系统日志分析方法，用以自适应地动态调整匹配函数，大大提高系统日志匹配分析的效率，该方法包括：
在满足规则加载的触发条件时，加载预先配置的系统日志规则集；系统日志规则集包括多个系统日志规则；
按照匹配方法对系统日志规则集中的系统日志规则进行分类，将匹配方法相同的系统日志规则归为一类；
生成并加载每类系统日志规则对应的匹配函数，根据每类系统日志规则对应的匹配函数确定每个系统日志规则与匹配函数的对应关系；每类系统日志规则对应的匹配函数包括该类系统日志规则包含的匹配方法，不包括其它类系统日志规则包含的匹配方法；
利用待匹配的系统日志规则对应的匹配函数对系统日志进行匹配分析。
本发明实施例还提供一种系统日志分析装置，用以自适应地动态调整匹配函数，大大提高系统日志匹配分析的效率，该装置包括：
规则集加载模块，用于在满足规则加载的触发条件时，加载预先配置的系统日志规则集；系统日志规则集包括多个系统日志规则；
规则分类模块，用于按照匹配方法对系统日志规则集中的系统日志规则进行分类，将匹配方法相同的系统日志规则归为一类；
匹配函数生成模块，用于生成并加载每类系统日志规则对应的匹配函数，根据每类系统日志规则对应的匹配函数确定每个系统日志规则与匹配函数的对应关系；每类系统日志规则对应的匹配函数包括该类系统日志规则包含的匹配方法，不包括其它类系统日志规则包含的匹配方法；
匹配分析模块，用于利用待匹配的系统日志规则对应的匹配函数对系统日志进行匹配分析。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述系统日志分析方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述系统日志分析方法的计算机程序。
本发明实施例中，按照匹配方法对系统日志规则进行分类，将匹配方法相同的系统日志规则归为一类，进而生成每类系统日志规则对应的匹配函数。因此，在对系统日志进行匹配分析时，能够自适应地动态调整待匹配的系统日志规则对应的匹配函数，同时仅需对待匹配的系统日志规则对应的匹配函数所包含的匹配方法进行匹配即可，无需对待匹配的系统日志规则对应的匹配函数之外的其他匹配方法进行匹配，能够大大提高系统日志匹配分析的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明实施例提供的系统日志分析方法的实现流程图；
图2为本发明实施例提供的系统日志分析方法中步骤101的实现流程图；
图3为本发明实施例提供的系统日志分析方法步骤101的另一实现流程图；
图4为本发明实施例提供的系统日志分析方法步骤103的实现流程图；
图5为本发明实施例提供的系统日志分析方法步骤104的实现流程图；
图6为本发明实施例提供的系统日志分析装置的功能模块图；
图7为本发明实施例提供的系统日志分析装置中规则集加载模块601的结构框图；
图8为本发明实施例提供的系统日志分析装置中规则集加载模块601的另一结构框图；
图9为本发明实施例提供的系统日志分析装置中匹配函数生成模块603的结构框图；
图10为本发明实施例提供的系统日志分析装置中匹配分析模块604的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
图1示出了本发明实施例提供的系统日志分析方法的实现流程，为便于描述，仅示出了与本发明实施例相关的部分，详述如下：
如图1所示，系统日志分析方法，其包括：
步骤101，在满足规则加载的触发条件时，加载预先配置的系统日志规则集；系统日志规则集包括多个系统日志规则；
步骤102，按照匹配方法对系统日志规则集中的系统日志规则进行分类，将匹配方法相同的系统日志规则归为一类；
步骤103，生成并加载每类系统日志规则对应的匹配函数，根据每类系统日志规则对应的匹配函数确定每个系统日志规则与匹配函数的对应关系；每类系统日志规则对应的匹配函数包括该类系统日志规则包含的匹配方法，不包括其它类系统日志规则包含的匹配方法；
步骤104，利用待匹配的系统日志规则对应的匹配函数对系统日志进行匹配分析。
在没有特别说明的情况下，下文提及的代码片段或方法中的步骤均可以采用perl编程语言实现。本领域技术人员可以理解的是，也可以采用除上述perl编程语言之外的其它编程语言实现实现，例如C#编程语言或者C++编程语言等，本发明实施例对此不作特别的限制。
系统日志规则集包括预先维护和配置的多个系统日志规则。可以根据规则配置指令对系统日志规则集中的系统日志规则进行配置，以维护系统日志规则集。在对系统日志进行匹配分析(即将系统日志与待匹配的系统日志规则进行匹配分析)时，判断是否满足规则加载的触发条件。在满足规则加载的触发条件时，从网管数据库中动态加载预先配置的系统日志规则集，进而更新程序中内存对应的数据结构。
在加载系统日志规则集后，为了尽可能减少不必要的匹配过程，可以按照系统日志规则的匹配方法对系统日志规则进行分类，将包含相同匹配方法的系统日志规则归为一类。需要说明的是，每类系统日志规则包含至少一个相同的匹配方法。即每类系统日志规则可以包括一个相同的匹配方法，还可以包括多个相同的匹配方法。例如，某类系统日志规则包括2个相同的匹配方法。
以下以某运营商网管为例，简要说明对系统日志规则集的分类：
表一
Figure RE-GDA0002614562260000051
具体的，该运营商的系统日志规则集具体可划分为12类，此处仅以上4类作为为示例。以第一类系统日志规则为例，其包括编号为209及588的系统日志规则，并且该类系统日志规则包含的匹配方法只包括！＝和regmatch两种匹配方法。即编号为209的系统日志规则和编号为588的系统日志规则不仅包括相同的匹配方法！＝，还包括相同的匹配方法regmatch。
在对系统日志规则进行分类后，针对每类系统日志规则，生成一个对应的匹配函数。生成的匹配函数的名称可以命名为ruleMatchCheck_TypeX。其中，X代表某类系统日志规则的类别序号。例如，以上述表一中类别序号为1的该类系统日志规则为例，匹配函数的名称为ruleMatchCheck_Type1，以上述表一中类别序号为3的该类系统日志规则为例，匹配函数的名称为ruleMatchCheck_Type3。最后将生成的匹配函数保存在匹配函数文件(例如ruleMatchCheckDynamic.pl)中。
上述表一中类别序号为1的该类系统日志规则为例，生成的ruleMatchCheck_Type1的关键代码示意如下：
Figure RE-GDA0002614562260000061
需要说明的是，每类系统日志规则对应的匹配函数包括仅该类系统日志规则包含的匹配方法，不包括其它类系统日志规则包含的匹配方法。例如，类别序号为1的该类系统日志规则仅包括！＝和regmatch两种相关的匹配方法，而不包括其他类系统日志规则(例如，类别序号为2或3的该类系统日志规则)包含的匹配方法。即每类系统日志规则对应的匹配函数仅包括每类系统日志规则所包含的匹配函数，而不包括其他不相关的匹配函数。
在生成每类系统日志规则对应的匹配函数时，同时确定每个系统日志规则与匹配函数的对应关系，将其对应关系保存在perl的哈希结构中。同样以类别序号为1的该类系统日志规则为例，类别序号为1的该类系统日志规则包含编号为209及588的系统日志规则，将编号为209的系统日志规则与类别序号为1的该类系统日志规则对应的匹配函数建立对应关系；将编号为588的系统日志规则与类别序号为1的该类系统日志规则对应的匹配函数建立对应关系。同样的，将编号为101的系统日志规则与类别序号为3的该类系统日志规则对应的匹配函数建立对应关系等。至此，可以建立起每个系统日志规则与匹配函数的对应关系。
以上述类别序号为1的该类系统日志规则为例，示意如下：
％ruleMatchList＝(
ruleMatchCheck_209＝>\&ruleMatchCheck_Type1,
ruleMatchCheck_588＝>\&ruleMatchCheck_Type1,
)；
其中，209、588为系统日志规则的编号。
在生成每类系统日志规则对应的匹配函数，以及确定每个系统日志规则与匹配函数的对应关系后，利用perl的do语句，动态加载保存了匹配函数的匹配函数文件ruleMatchCheckDynamic.pl，使得新生成的匹配函数生效，示意如下：
do'ruleMatchCheckDynamic.pl'；
进而在将系统日志与待匹配的系统日志规则进行匹配分析时，确定待匹配的系统日志规则对应的匹配函数，然后利用待匹配的系统日志规则对应的匹配函数对系统日志进行匹配分析，能够对待匹配的系统日志规则自适应，动态调整系统日志规则的匹配函数。
鉴于待匹配的系统日志规则对应的匹配函数仅包括待匹配的系统日志规则涉及到的匹配方法，而不包括其它不相关的匹配方法，因此在匹配分析时能减少大量不必要的匹配运算，大大提高系统日志匹配分析的效率。
在本发明实施例中，按照匹配方法对系统日志规则进行分类，将匹配方法相同的系统日志规则归为一类，进而生成每类系统日志规则对应的匹配函数。因此，在对系统日志进行匹配分析时，能够自适应地动态调整待匹配的系统日志规则对应的匹配函数，同时仅需对待匹配的系统日志规则对应的匹配函数所包含的匹配方法进行匹配即可，无需对待匹配的系统日志规则对应的匹配函数之外的其他匹配方法进行匹配，能够大大提高系统日志匹配分析的效率。
图2示出了本发明实施例提供的系统日志分析方法中步骤101的实现流程，为便于描述，仅示出了与本发明实施例相关的部分，详述如下：
在本发明的一实施例中，为了提高系统日志分析的灵活性，实现系统日志规则集的动态加载，如图2所示，步骤101，在满足规则加载的触发条件时，加载预先配置的系统日志规则集，包括：
步骤201，在接收到系统的挂起信号时，动态加载预先配置的系统日志规则集。
在本发明实施例中，规则加载的触发条件可以包括系统的挂起信号(HUP信号)，即在接收到系统的HUP信号后，对预先配置的系统日志规则集进行动态加载。
在本发明实施例中，在接收到系统的挂起信号时，动态加载预先配置的系统日志规则集，能够提高系统日志分析的灵活性，实现系统日志规则集的动态加载。
图3示出了本发明实施例提供的系统日志分析方法步骤101的另一实现流程，为便于描述，仅示出了与本发明实施例相关的部分，详述如下：
在本发明的一实施例中，为了提高系统日志分析的灵活性，实现系统日志规则集的动态加载，如图3所示，步骤101，在满足规则加载的触发条件时，加载预先配置的系统日志规则集，包括：
步骤301，在根据接收到的规则集配置指令对系统日志规则集进行配置后，动态加载配置后的系统日志规则集。
在本发明实施例中，可以根据接收到的规则集配置指令对系统日志规则集进行配置，以实现对系统日志规则集的配置更新。在基于规则集配置指令对系统日志规则集进行配置更新后，例如通过网管前台页面对系统日志规则集进行编辑操作，系统日志采集工具会接收到系统的HUP信号，进而对更新后的系统日志规则集进行加载。
在本发明实施例中，在根据接收到的规则集配置指令对系统日志规则集进行配置后，动态加载配置后的系统日志规则集，能够提高系统日志分析的灵活性，实现系统日志规则集的动态加载。
其中，系统日志采集工具可以是网管syslog采集探针程序，本领域技术人员可以理解的是，该系统日志采集工具还可以是除上述网管syslog采集探针程序之外的其它系统日志采集工具，本发明实施例对此不作特别的限制。
图4示出了本发明实施例提供的系统日志分析方法步骤103的实现流程，为便于描述，仅示出了与本发明实施例相关的部分，详述如下：
在本发明的一实施例中，为了提高生成匹配函数的效率，进一步提高系统日志匹配分析的效率，如图4所示，步骤103中，生成并加载每类系统日志规则对应的匹配函数，根据每类系统日志规则对应的匹配函数确定每个系统日志规则与匹配函数的对应关系，包括：
步骤401，保留原始匹配函数中每类系统日志规则包含的匹配方法，删除其它类系统日志规则包含的匹配方法，生成并加载每类系统日志规则对应的匹配函数；
步骤402，根据每类系统日志规则对应的匹配函数，确定每类系统日志规则中每个系统日志规则的标识与匹配函数的对应关系。
其中，具体在生成每类系统日志规则对应的匹配函数时，存在一个原始匹配函数，该原始匹配函数的名称可以命名为ruleMatchCheck_ALL。该原始匹配函数实现了系统日志规则集中全部匹配方法的实现逻辑，保存在匹配函数文件ruleMatchCheckDynamic.pl中。该原始匹配函数的perl关键代码示意如下：
Figure RE-GDA0002614562260000091
在生成每类系统日志规则对应的匹配函数时，可以先对保存了原始匹配函数ruleMatchCheck_ALL的匹配函数文件ruleMatchCheckDynamic.pl进行备份，例如备份后的匹配函数文件可以命名为ruleMatchCheckDynamic_backup.pl。进而从原始匹配函数ruleMatchCheck_ALL中删除与该类系统日志规则不相关的匹配方法，生成每类系统日志规则对应的匹配函数ruleMatchCheck_TypeX。
同样，以上述类别序号为1的该类系统日志规则为例进行说明，在生生成类别序号为 1的该类系统日志规则对应的匹配函数ruleMatchCheck_Type1时，从原始匹配函数ruleMatchCheck_ALL中删除与类别序号为1的该类系统日志规则不相关的匹配方法，仅保留类别序号为1的该类系统日志规则包含的匹配方法！＝和regmatch，即可生成类别序号为1的该类系统日志规则对应的匹配函数ruleMatchCheck_Type1。此时，匹配函数文件ruleMatchCheckDynamic.pl中的匹配函数由原始匹配函数ruleMatchCheck_ALL更新为匹配函数ruleMatchCheck_Type1。
鉴于系统日志规则集中包含多个系统日志规则，为了唯一标识和区分系统日志规则集中不同的系统日志规则，可以分别对系统日志规则集中的每个系统日志规则添加标识。系统日志规则集中的每个系统日志规则添加有且仅有唯一的一个标识，即系统日志规则集中不同的系统日志规则具有不同的标识。
具体的，系统日志规则集中系统日志规则的标识可以是系统日志规则的编号，本领域技术人员可以理解的是，系统日志规则集中系统日志规则的标识还可以是除上述系统日志规则的编号之外的其它标识，只要能够唯一区分和标识系统日志规则集中不同的系统日志规则即可，本发明实施例对此不作特别的限制。
进而，在确定每类系统日志规则对应的匹配函数时，基于每类系统日志规则中每个系统日志规则的标识与匹配函数的对应关系，确定每个系统日志规则与匹配函数的对应关系，即确定每个系统日志规则的标识与匹配函数的对应关系。
在本发明实施例中，保留原始匹配函数中每类系统日志规则包含的匹配方法，删除其它类系统日志规则包含的匹配方法，生成并加载每类系统日志规则对应的匹配函数，然后根据每类系统日志规则对应的匹配函数，确定每类系统日志规则中每个系统日志规则的标识与匹配函数的对应关系，能够提高生成匹配函数的效率，进一步提高系统日志匹配分析的效率。
图5示出了本发明实施例提供的系统日志分析方法步骤104的实现流程，为便于描述，仅示出了与本发明实施例相关的部分，详述如下：
在本发明的一实施例中，为了自适应地动态调整匹配函数，进而提高系统日志匹配分析的效率，如图5所示，步骤104，利用待匹配的系统日志规则对应的匹配函数对系统日志进行匹配分析，包括：
步骤501，根据每类系统日志规则中每个系统日志规则的标识与匹配函数的对应关系，通过待匹配的系统日志规则的标识确定待匹配的系统日志规则对应的匹配函数；
步骤502，根据待匹配的系统日志规则对应的匹配函数对系统日志进行匹配分析。
在确定了每个系统日志规则的标识与匹配函数的对应关系后，在将系统日志与待匹配的系统日志规则进行匹配分析时，基于待匹配的系统日志规则的编号，即可确定待匹配的系统日志规则对应的匹配函数，即基于待匹配的系统日志规则自适应的动态调整对应的匹配函数，提高系统日志匹配分析的效率。
在确定待匹配的系统日志规则对应的匹配函数后，利用perl的do语句加载包含待待匹配的系统日志规则对应的匹配函数的匹配函数文件ruleMatchCheckDynamic.pl，实现对系统日志的匹配分析。
具体的，假设待匹配的系统日志规则的编号(标识)为209，则编号为209的系统日志规则所属的系统日志规则类的类别序号为1，则类别序号为1的该类系统日志规则对应的匹配函数为ruleMatchCheck_Type1，编号为209的系统日志规则对应的匹配函数为ruleMatchCheck_Type1。利用perl的do语句加载包含待编号为209的系统日志规则对应的匹配函数ruleMatchCheck_Type1的匹配函数文件ruleMatchCheckDynamic.pl，即可实现利用编号为209的系统日志规则对应的匹配函数ruleMatchCheck_Type1对系统日志的匹配分析。
在本发明实施例中，根据每类系统日志规则中每个系统日志规则的标识与匹配函数的对应关系，通过待匹配的系统日志规则的标识确定待匹配的系统日志规则对应的匹配函数，根据待匹配的系统日志规则对应的匹配函数对系统日志进行匹配分析，能够自适应地动态调整匹配函数，进而提高系统日志匹配分析的效率。
本发明实施例还提供一种系统日志分析装置，如下面的实施例所述。由于这些装置解决问题的原理与系统日志分析方法相似，因此这些装置的实施可以参见方法的实施，重复之处不再赘述。可以理解的是，该系统日志分析方法或系统日志分析装置可以是包括网管 syslog采集探针程序在内的系统日志采集工具的部分或全部，或该系统日志分析方法或系统日志分析装置也可以是网管syslog采集探针程序的部分或全部。
图6示出了本发明实施例提供的系统日志分析装置的功能模块，为便于说明，仅示出了与本发明实施例相关的部分，详述如下：
参考图6，所述系统日志分析装置所包含的各个模块用于执行图1对应实施例中的各个步骤，具体请参阅图1以及图1对应实施例中的相关描述，此处不再赘述。本发明实施例中，所述系统日志分析装置包括规则集加载模块601、规则分类模块602、匹配函数生成模块603及匹配分析模块604。
规则集加载模块601，用于在满足规则加载的触发条件时，加载预先配置的系统日志规则集；系统日志规则集包括多个系统日志规则。
规则分类模块602，用于按照匹配方法对系统日志规则集中的系统日志规则进行分类，将匹配方法相同的系统日志规则归为一类。
匹配函数生成模块603，用于生成并加载每类系统日志规则对应的匹配函数，根据每类系统日志规则对应的匹配函数确定每个系统日志规则与匹配函数的对应关系；每类系统日志规则对应的匹配函数包括该类系统日志规则包含的匹配方法，不包括其它类系统日志规则包含的匹配方法。
匹配分析模块604，用于利用待匹配的系统日志规则对应的匹配函数对系统日志进行匹配分析。
在本发明实施例中，规则分类模块602按照匹配方法对系统日志规则进行分类，将匹配方法相同的系统日志规则归为一类，进而匹配函数生成模块603生成每类系统日志规则对应的匹配函数。因此，在匹配分析模块604对系统日志进行匹配分析时，能够自适应地动态调整待匹配的系统日志规则对应的匹配函数，同时仅需对待匹配的系统日志规则对应的匹配函数所包含的匹配方法进行匹配即可，无需对待匹配的系统日志规则对应的匹配函数之外的其他匹配方法进行匹配，能够大大提高系统日志匹配分析的效率。
图7示出了本发明实施例提供的系统日志分析装置中规则集加载模块601的结构示意，为便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在本发明的一实施例中，为了提高系统日志分析的灵活性，实现动态加载系统日志规则集，参考图7，所述规则集加载模块601所包含的各个单元用于执行图2对应实施例中的各个步骤，具体请参阅图2以及图2对应实施例中的相关描述，此处不再赘述。本发明实施例中，所述规则集加载模块601包括挂起加载单元701。
挂起加载单元701，用于在接收到系统的挂起信号时，动态加载预先配置的系统日志规则集。
在本发明实施例中，挂起加载单元701在接收到系统的挂起信号时，动态加载预先配置的系统日志规则集，能够提高系统日志分析的灵活性，实现系统日志规则集的动态加载。
图8示出了本发明实施例提供的系统日志分析装置中规则集加载模块601的另一的结构示意，为便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在本发明的一实施例中，为了高系统日志分析的灵活性，实现动态加载系统日志规则集，参考图8，所述规则集加载模块601所包含的各个单元用于执行图3对应实施例中的各个步骤，具体请参阅图3以及图3对应实施例中的相关描述，此处不再赘述。本发明实施例中，所述规则集加载模块601包括配置加载单元801。
配置加载单元801，用于在根据接收到的规则集配置指令对系统日志规则集进行配置后，动态加载配置后的系统日志规则集。
在本发明实施例中，配置加载单元801在根据接收到的规则集配置指令对系统日志规则集进行配置后，动态加载配置后的系统日志规则集，能够提高系统日志分析的灵活性，实现系统日志规则集的动态加载。
图9示出了本发明实施例提供的系统日志分析装置中匹配函数生成模块603的结构示意，为便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在本发明的一实施例中，为了提高生成匹配函数的效率，进一步提高系统日志匹配分析的效率，参考图9，所述匹配函数生成模块603所包含的各个单元用于执行图4对应实施例中的各个步骤，具体请参阅图4以及图4对应实施例中的相关描述，此处不再赘述。本发明实施例中，所述匹配函数生成模块603包括匹配函数生成单元901和对应关系确定单元902。
匹配函数生成单元901，用于保留原始匹配函数中每类系统日志规则包含的匹配方法，删除其它类系统日志规则包含的匹配方法，生成并加载每类系统日志规则对应的匹配函数。
对应关系确定单元902，用于根据每类系统日志规则对应的匹配函数，确定每类系统日志规则中每个系统日志规则的标识与匹配函数的对应关系。
在本发明实施例中，匹配函数生成单元901保留原始匹配函数中每类系统日志规则包含的匹配方法，删除其它类系统日志规则包含的匹配方法，生成并加载每类系统日志规则对应的匹配函数，然后对应关系确定单元902根据每类系统日志规则对应的匹配函数，确定每类系统日志规则中每个系统日志规则的标识与匹配函数的对应关系，能够提高生成匹配函数的效率，进一步提高系统日志匹配分析的效率。
图10示出了本发明实施例提供的系统日志分析装置中匹配分析模块604的结构示意，为便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在本发明的一实施例中，为了自适应地动态调整匹配函数，进而提高系统日志匹配分析的效率，参考图10，所述匹配分析模块604所包含的各个单元用于执行图5对应实施例中的各个步骤，具体请参阅图5以及图5对应实施例中的相关描述，此处不再赘述。本发明实施例中，所述匹配分析模块604包括匹配函数确定模块1001和匹配分析单元1002。
匹配函数确定模块1001，用于根据每类系统日志规则中每个系统日志规则的标识与匹配函数的对应关系，通过待匹配的系统日志规则的标识确定待匹配的系统日志规则对应的匹配函数。
匹配分析单元1002，用于根据待匹配的系统日志规则对应的匹配函数对系统日志进行匹配分析。
在本发明实施例中，匹配函数确定模块1001根据每类系统日志规则中每个系统日志规则的标识与匹配函数的对应关系，通过待匹配的系统日志规则的标识确定待匹配的系统日志规则对应的匹配函数，匹配分析单元1002根据待匹配的系统日志规则对应的匹配函数对系统日志进行匹配分析，能够自适应地动态调整匹配函数，进而提高系统日志匹配分析的效率。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述系统日志分析方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述系统日志分析方法的计算机程序。
综上所述，本发明实施例中，按照匹配方法对系统日志规则进行分类，将匹配方法相同的系统日志规则归为一类，进而生成每类系统日志规则对应的匹配函数。因此，在对系统日志进行匹配分析时，能够自适应地动态调整待匹配的系统日志规则对应的匹配函数，同时仅需对待匹配的系统日志规则对应的匹配函数所包含的匹配方法进行匹配即可，无需对待匹配的系统日志规则对应的匹配函数之外的其他匹配方法进行匹配，能够大大提高系统日志匹配分析的效率。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种系统日志分析方法，其特征在于，包括：
在满足规则加载的触发条件时，加载预先配置的系统日志规则集；系统日志规则集包括多个系统日志规则；
按照匹配方法对系统日志规则集中的系统日志规则进行分类，将匹配方法相同的系统日志规则归为一类；
生成并加载每类系统日志规则对应的匹配函数，根据每类系统日志规则对应的匹配函数确定每个系统日志规则与匹配函数的对应关系；每类系统日志规则对应的匹配函数包括该类系统日志规则包含的匹配方法，不包括其它类系统日志规则包含的匹配方法；
利用待匹配的系统日志规则对应的匹配函数对系统日志进行匹配分析。
2.如权利要求1所述的系统日志分析方法，其特征在于，在满足规则加载的触发条件时，加载预先配置的系统日志规则集，包括：
在接收到系统的挂起信号时，动态加载预先配置的系统日志规则集。
3.如权利要求1所述的系统日志分析方法，其特征在于，在满足规则加载的触发条件时，加载预先配置的系统日志规则集，包括：
在根据接收到的规则集配置指令对系统日志规则集进行配置后，动态加载配置后的系统日志规则集。
4.如权利要求1所述的系统日志分析方法，其特征在于，每类系统日志规则包括至少一个相同的匹配方法。
5.如权利要求1所述的系统日志分析方法，其特征在于，生成并加载每类系统日志规则对应的匹配函数，根据每类系统日志规则对应的匹配函数确定每个系统日志规则与匹配函数的对应关系，包括：
保留原始匹配函数中每类系统日志规则包含的匹配方法，删除其它类系统日志规则包含的匹配方法，生成并加载每类系统日志规则对应的匹配函数；
根据每类系统日志规则对应的匹配函数，确定每类系统日志规则中每个系统日志规则的标识与匹配函数的对应关系。
6.如权利要求5所述的系统日志分析方法，其特征在于，利用待匹配的系统日志规则对应的匹配函数对系统日志进行匹配分析，包括：
根据每类系统日志规则中每个系统日志规则的标识与匹配函数的对应关系，通过待匹配的系统日志规则的标识确定待匹配的系统日志规则对应的匹配函数；
根据待匹配的系统日志规则对应的匹配函数对系统日志进行匹配分析。
7.如权利要求1所述的系统日志分析方法，其特征在于，还包括：
对原始匹配函数进行备份。
8.一种系统日志分析装置，其特征在于，包括：
规则集加载模块，用于在满足规则加载的触发条件时，加载预先配置的系统日志规则集；系统日志规则集包括多个系统日志规则；
规则分类模块，用于按照匹配方法对系统日志规则集中的系统日志规则进行分类，将匹配方法相同的系统日志规则归为一类；
匹配函数生成模块，用于生成并加载每类系统日志规则对应的匹配函数，根据每类系统日志规则对应的匹配函数确定每个系统日志规则与匹配函数的对应关系；每类系统日志规则对应的匹配函数包括该类系统日志规则包含的匹配方法，不包括其它类系统日志规则包含的匹配方法；
匹配分析模块，用于利用待匹配的系统日志规则对应的匹配函数对系统日志进行匹配分析。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一所述系统日志分析方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至7任一所述系统日志分析方法的计算机程序。
CN202010547454.6A 2020-06-16 2020-06-16 系统日志分析方法及装置 Pending CN113810242A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010547454.6A CN113810242A (zh) 2020-06-16 2020-06-16 系统日志分析方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010547454.6A CN113810242A (zh) 2020-06-16 2020-06-16 系统日志分析方法及装置

Publications (1)

Publication Number Publication Date
CN113810242A true CN113810242A (zh) 2021-12-17

Family

ID=78944249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010547454.6A Pending CN113810242A (zh) 2020-06-16 2020-06-16 系统日志分析方法及装置

Country Status (1)

Country Link
CN (1) CN113810242A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115208657A (zh) * 2022-07-11 2022-10-18 阿里云计算有限公司 日志安全检测方法、装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101291256A (zh) * 2008-06-02 2008-10-22 杭州华三通信技术有限公司 系统日志升级为告警的方法及系统
CN101931562A (zh) * 2010-09-29 2010-12-29 杭州华三通信技术有限公司 网络日志的处理方法及设备
US20130117847A1 (en) * 2011-11-07 2013-05-09 William G. Friedman Streaming Method and System for Processing Network Metadata
CN103618692A (zh) * 2013-10-28 2014-03-05 中国航天科工集团第二研究院七〇六所 一种构建日志快速匹配的方法
CN107145445A (zh) * 2017-05-05 2017-09-08 携程旅游信息技术（上海）有限公司 软件自动化测试的报错日志的自动分析方法和系统
CN108170580A (zh) * 2017-11-22 2018-06-15 链家网（北京）科技有限公司 一种基于规则的日志报警方法、装置及系统
CN109639694A (zh) * 2018-12-20 2019-04-16 国云科技股份有限公司 一种基于规则树检索的防火墙数据包匹配算法
CN110399720A (zh) * 2018-12-14 2019-11-01 腾讯科技（深圳）有限公司 一种文件检测的方法以及相关装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101291256A (zh) * 2008-06-02 2008-10-22 杭州华三通信技术有限公司 系统日志升级为告警的方法及系统
CN101931562A (zh) * 2010-09-29 2010-12-29 杭州华三通信技术有限公司 网络日志的处理方法及设备
US20130117847A1 (en) * 2011-11-07 2013-05-09 William G. Friedman Streaming Method and System for Processing Network Metadata
WO2013070631A1 (en) * 2011-11-07 2013-05-16 Netflow Logic Corporation A streaming method and system for processing network metadata
CN103618692A (zh) * 2013-10-28 2014-03-05 中国航天科工集团第二研究院七〇六所 一种构建日志快速匹配的方法
CN107145445A (zh) * 2017-05-05 2017-09-08 携程旅游信息技术（上海）有限公司 软件自动化测试的报错日志的自动分析方法和系统
CN108170580A (zh) * 2017-11-22 2018-06-15 链家网（北京）科技有限公司 一种基于规则的日志报警方法、装置及系统
CN110399720A (zh) * 2018-12-14 2019-11-01 腾讯科技（深圳）有限公司 一种文件检测的方法以及相关装置
CN109639694A (zh) * 2018-12-20 2019-04-16 国云科技股份有限公司 一种基于规则树检索的防火墙数据包匹配算法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115208657A (zh) * 2022-07-11 2022-10-18 阿里云计算有限公司 日志安全检测方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US9979608B2 (en) Context graph generation
CN108521339B (zh) 一种基于集群日志的反馈式节点故障处理方法及系统
US11481440B2 (en) System and method for processing metadata to determine an object sequence
CN114168486A (zh) 接口自动化测试方法、装置、介质、设备及程序
JP5531583B2 (ja) ログ出力装置、ログ出力方法、ログ出力用プログラム
CN109828886B (zh) 一种容器云环境下的ci/cd监控方法和系统
US20230040635A1 (en) Graph-based impact analysis of misconfigured or compromised cloud resources
CN114297661A (zh) 一种漏洞的去重处理方法、装置、设备及存储介质
EP3789882A1 (en) Automatic configuration of logging infrastructure for software deployments using source code
CN111010318A (zh) 发现物联网终端设备失联的方法、系统和设备影子服务器
CN112600719A (zh) 告警聚类方法、装置及存储介质
WO2015183241A1 (en) Distributed compilation of statically typed languages
US10769153B2 (en) Computer system and method for setting a stream data processing system
CN113810242A (zh) 系统日志分析方法及装置
CN110609761B (zh) 确定故障源的方法、装置、存储介质和电子设备
CN112434831A (zh) 故障排查方法、装置、存储介质及计算机设备
CN110727565B (zh) 一种网络设备平台信息收集方法及系统
CN113238901B (zh) 多设备的自动化测试方法及装置、存储介质、计算机设备
US20230004478A1 (en) Systems and methods of continuous stack trace collection to monitor an application on a server and resolve an application incident
CN112422349B (zh) 面向nfv的网管系统、方法、设备及介质
CN106648985A (zh) 一种文本数据库的容灾修复方法及装置
CN110457064B (zh) 网络割接脚本的生成方法及装置
CN111552847A (zh) 一种变更对象数量的方法和装置
CN112395119A (zh) 异常数据处理方法、装置、服务器及存储介质
US11921603B2 (en) Automated interoperational tracking in computing systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20211217

RJ01 Rejection of invention patent application after publication