CN108363654B - 系统日志的协处理方法、系统及电子设备 - Google Patents

系统日志的协处理方法、系统及电子设备 Download PDF

Info

Publication number
CN108363654B
CN108363654B CN201810128838.7A CN201810128838A CN108363654B CN 108363654 B CN108363654 B CN 108363654B CN 201810128838 A CN201810128838 A CN 201810128838A CN 108363654 B CN108363654 B CN 108363654B
Authority
CN
China
Prior art keywords
log
configuration information
analysis
filtering
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810128838.7A
Other languages
English (en)
Other versions
CN108363654A (zh
Inventor
王明冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Wingtech Electronic Technology Co Ltd
Original Assignee
Shanghai Wingtech Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Wingtech Electronic Technology Co Ltd filed Critical Shanghai Wingtech Electronic Technology Co Ltd
Priority to CN201810128838.7A priority Critical patent/CN108363654B/zh
Publication of CN108363654A publication Critical patent/CN108363654A/zh
Application granted granted Critical
Publication of CN108363654B publication Critical patent/CN108363654B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3065Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3065Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3086Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves the use of self describing data formats, i.e. metadata, markup languages, human readable formats
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466Performance evaluation by tracing or monitoring
    • G06F11/3476Data logging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Library & Information Science (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明实施例提供了一种系统日志的协处理方法、系统及电子设备,该方法包括:在获得日志文件时,将预先构建的配置信息同步至本地,该配置信息包括过滤配置信息、分析规则配置信息以及输出配置信息;根据过滤配置信息对日志文件进行过滤处理;调用分析规则配置信息对经过过滤处理后得到的日志队列进行分析处理;将经过分析处理后得到的日志数据按输出配置信息进行数据格式转换以得到指定格式的日志报告;根据输入的输出指令以及输出配置信息将日志报告进行输出。该系统日志的协处理方案通过过滤翻译、分析等处理,得到全面、准确的分析结果,可满足较高的日志分析需求。

Description

系统日志的协处理方法、系统及电子设备
技术领域
本发明涉及系统日志处理技术领域,具体而言,涉及一种系统日志的协处理方法、系统及电子设备。
背景技术
Android系统日志用于记录系统中运行期间的详细运行信息,以及遇到的异常信息。在系统测试过程中,软件人员可利用Android系统日志查找异常信息,优化系统异常错误,达到提升系统稳定性和性能的目的。但是,在Android系统开发的前期过程中,爆发的软件问题会很多,涉及的问题很多是跨模块、跨领域的。而且为了抓取到更多日志信息,更多的日志开关被打开,如果日志抓取时间长的话,日志信息量会很巨大,这个时候单单依赖人工分析效率会大打折扣。因此最好能借助工具来提高分析效率和准确率。
目前,现有的用于处理系统日志的工具一般仅能提供过滤和分类显示功能。其功能有限,且系统模块复用性差,难以对系统日志进行详细分析。
发明内容
有鉴于此,本发明的目的在于,提供一种系统日志的协处理方法、系统及电子设备以解决上述问题。
本发明较佳实施例提供一种系统日志的协处理方法,所述方法包括:
在获得日志文件时,将预先构建的配置信息同步至本地,所述配置信息包括过滤配置信息、分析规则配置信息以及输出配置信息;
根据所述过滤配置信息对所述日志文件进行过滤处理;
调用所述分析规则配置信息对经过过滤处理后得到的日志队列进行分析处理;
将经过分析处理后得到的日志数据按所述输出配置信息进行数据格式转换以得到指定格式的日志报告;
根据输入的输出指令以及所述输出配置信息将所述日志报告进行输出。
进一步地,所述方法还包括:
将所述配置信息、所述日志文件以及输出的日志报告进行归档并生成对应的归档信息,将所述归档信息进行存储。
进一步地,所述日志文件包含多条日志内容,所述过滤配置信息包括时间配置选择信息,所述根据所述过滤配置信息对所述日志文件进行过滤处理的步骤包括:
针对所述日志文件包含的各条日志内容,根据所述时间配置选择信息检测所述日志内容携带的时间是否为有效时间;
对携带的时间为无效时间的日志内容进行抛弃处理。
进一步地,所述根据所述时间配置选择信息检测所述日志内容携带的时间是否为有效时间的步骤,包括:
检测所述日志内容携带的时间是否与所述时间配置选择信息所包含的时间点匹配,若匹配,则判定所述日志内容携带的时间为有效时间;或
检测所述日志内容携带的时间是否处于所述时间配置选择信息所包含的时间段内,若处于所述时间段内,则判定所述日志内容携带的时间为有效时间。
进一步地,所述日志文件包含多条日志内容,所述过滤配置信息包括关键字配置选择信息,所述根据所述过滤配置信息对所述日志文件进行过滤处理的步骤,包括:
针对所述日志文件包括的各条日志内容,获得所述日志内容所属的业务模块信息;
调用与所述业务模块信息对应的关键字配置选择信息,以对所述日志内容进行关键字匹配;
对未匹配成功的日志内容进行抛弃处理。
进一步地,所述分析规则配置信息包括第一分析脚本和第二分析脚本,所述调用所述分析规则配置信息对经过过滤处理后得到的日志队列进行分析处理的步骤,包括:
针对经过过滤处理后得到的日志队列中包含的各条日志内容,调用所述第一分析脚本对所述日志内容进行翻译和计算以得到所述日志内容对应的第一分析结果;
调用所述第二分析脚本对所述日志队列进行时间差计算和变量差计算,根据计算结果以及各条日志内容的第一分析结果得到所述日志队列对应的第二分析结果。
进一步地,所述输出配置信息包括模块颜色配置信息以及模块选择配置信息,所述输出指令包括目标模块选择信息,所述根据输入的输出指令以及所述输出配置信息将所述日志报告进行输出的步骤,包括:
获得所述日志报告中与所述目标模块选择信息相匹配的日志内容;
将选择出的日志内容按所述模块颜色配置信息进行颜色标记;
将标记后的日志内容进行输出以展示。
进一步地,所述指定格式为html格式。
本发明另一较佳实施例提供一种系统日志的协处理系统,所述系统包括:
同步模块,用于在获得日志文件时,将预先构建的配置信息同步至本地,所述配置信息包括过滤配置信息、分析规则配置信息以及输出配置信息;
过滤模块,用于根据所述过滤配置信息对所述日志文件进行过滤处理;
分析模块,用于调用所述分析规则配置信息对经过过滤处理后得到的日志队列进行分析处理;
转换模块,用于将经过分析处理后得到的日志数据按所述输出配置信息进行数据格式转换以得到指定格式的日志报告;
输出模块,用于根据输入的输出指令以及所述输出配置信息将所述日志报告进行输出。
本发明另一较佳实施例提供一种电子设备,包括:
存储器;
一个或多个处理器;及
一个或多个程序,其中所述一个或多个程序被存储在所述存储器中并且被配置成由所述一个或多个处理器执行,所述程序用于执行上述的系统日志的协处理方法的步骤。
本发明实施例提供的系统日志的协处理方法、系统及电子设备,通过构建模块化的配置信息,在获得待处理的日志文件时,可灵活调用配置信息对日志文件进行过滤、分析、转换及输出等,以得到所需的日志数据。该系统日志的协处理方案通过过滤翻译、分析等处理,得到全面、准确的分析结果,可满足较高的日志分析需求。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的系统日志的协处理方法的应用场景示意图。
图2为本发明实施例提供的终端设备的示意性结构框图。
图3为本发明实施例提供的系统日志的协处理方法的流程图。
图4为图3中步骤S102的子步骤的流程图。
图5为图3中步骤S102的子步骤的另一流程图。
图6为图3中步骤S103的子步骤的流程图。
图7为图3中步骤S105的子步骤的流程图。
图8为本发明实施例提供的系统日志的协处理系统的功能模块框图。
图9为本发明实施例提供的过滤模块的功能模块框图。
图10为本发明实施例提供的时间检测单元的功能模块框图。
图11为本发明实施例提供的过滤模块的另一功能模块框图。
图12为本发明实施例提供的分析模块的功能模块框图。
图13为本发明实施例提供的输出模块的功能模块框图。
图标:100-终端设备;110-系统日志的协处理系统;111-同步模块;112-过滤模块;1121-时间检测单元;11211-第一检测子单元;11212-第二检测子单元;1122-第一过滤单元;1123-业务模块获取单元;1124-匹配单元;1125-第二过滤单元;113-分析模块;1131-第一分析单元;1132-第二分析单元;114-转换模块;115-输出模块;1151-日志内容获取单元;1152-标记单元;1153-展示单元;116-存储模块;120-处理器;130-存储器;200-服务端。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,除非另有明确的规定和限定,术语“安装”、“设置”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
请参阅图1,为本发明实施例提供的一种系统日志的协处理方法的应用场景示意图。该场景包括终端设备100和服务端200,所述终端设备100与所述服务端200可以通过网络通信连接,以进行数据通信或交互。在本实施例中,所述终端设备100可以是但不限于,计算机、平板电脑等。所述终端设备100为安装有Android系统的处理终端,所述服务端200可以是,但不限于云服务器、分布式服务器、集群服务器等。
请参阅图2,为本发明实施例提供的一种电子设备的示意性结构框图。所述电子设备可以为上述的终端设备100,所述电子设备包括系统日志的协处理系统110、处理器120及存储器130。其中,所述存储器130与所述处理器120之间直接或间接的电性连接,以实现数据的传输或交互。所述系统日志的协处理系统110包括至少一个可以软件或固件的形式存储于所述存储器130中或固化在所述电子设备的操作系统中的软件功能模块。所述处理器120用于执行所述存储器130中存储的可执行模块,例如所述系统日志的协处理系统110包括的软件功能模块或计算机程序,从而实现本发明实施例提供的系统日志的协处理方法。
可以理解,图2所示的结构仅为示意,所述电子设备还可包括比图2中所示更多或者更少的组件,或者具有与图2所示不同的配置。图2中所示的各组件可以采用硬件、软件或其组合实现。
请参阅图3,是本发明实施例提供的一种应用于上述电子设备的系统日志的协处理方法的流程图。所应说明的是,本发明提供的方法不以图3及以下所述的具体顺序为限制。下面将对图3中示出的各步骤进行详细说明。
步骤S101,在获得日志文件时,将预先构建的配置信息同步至本地,所述配置信息包括过滤配置信息、分析规则配置信息以及输出配置信息。
在处理日志文件之前,可预先构建配置信息,后续可按配置信息对日志文件进行过滤及分析等处理。所构建的配置信息以模块化形式构成,在对日志文件进行处理时,可灵活调用对应的模块进行相应处理,灵活程度高。
本实施例中,所述配置信息包括过滤配置信息、分析规则配置信息以及输出配置信息。其中,过滤配置信息包括平台选择信息、模块编辑信息、时间配置选择信息、模块选择信息以及关键字配置选择信息等。所述平台选择信息指示了该整套配置内容所支持的系统平台,一般可以安卓系统的版本号区分,例如Android 6或Android 7。也就是说,在Android6或Android7的系统上可支持该配置内容,并可根据该配置内容对日志文件进行正常处理。模块编辑信息主要包括模块列表显示、模块的添加、删除及编辑等。所述时间配置选择信息被配置为提供以下选择信息:选择某个具体时间、选择某个时间段、选择多个具体时间或选择多个时间段。所述模块选择信息包括选择某个模块、选择多个模块,也就是说,后续在对日志文件进行处理时,可灵活选择所需的模块对其进行处理,例如可单独选择一个模块进行处理,也可选择多个模块对其进行综合处理。一般性地,在对日志文件进行处理时,通常会选择多个模块进行综合处理。所述关键字配置选择信息包括关键字添加、关键字删除以及关键字选择,主要是对关键字的信息进行管理。
所述分析规则配置信息主要包括规则编辑、规则选择等。所述输出配置信息主要包括模块颜色、输出格式以及模块选择等。
本实施例中,上述所构建的配置信息可保存至与所述终端设备100通信的服务端200,可以以平台列表、模块列表、分析规则列表的形式进行保存。在所述终端设备100对待处理的日志文件进行处理时,可将服务端200保存的配置信息同步至本地。根据配置信息以及输入的处理相关指令对日志文件进行处理。
步骤S102,根据所述过滤配置信息对所述日志文件进行过滤处理。
本实施例中,可根据上述的过滤配置对待处理的日志文件进行过滤处理。其中,所述过滤配置信息可包括时间配置选择信息,请参阅图4,步骤S102可包括以下子步骤:
步骤S1021,针对所述日志文件包含的各条日志内容,根据所述时间配置选择信息检测所述日志内容携带的时间是否为有效时间,若为无效时间,则执行以下步骤S1022,若为有效时间,则执行步骤S103。
步骤S1022,对所述日志内容进行抛弃处理。
所述待处理的日志文件包括多条日志内容,系统在进行系统日志记录时,需要将记录日志的时间也一起记录。因此,本实施例中,可对各条日志内容进行逐一检查,以检测各条日志内容携带的时间,即日志内容的记录时间,是否为有效时间。满足有效时间的日志内容进入后续的分析处理,而不满足有效时间的日志内容则进行抛弃处理。
本实施例中,可通过以下步骤检测日志内容携带的时间是否为有效时间:
检测所述日志内容携带的时间是否与所述时间配置选择信息所包含的时间点匹配,若匹配,则判定所述日志内容携带的时间为有效时间;或
检测所述日志内容携带的时间是否处于所述时间配置选择信息所包含的时间段内,若处于所述时间段内,则判定所述日志内容携带的时间为有效时间。
由上述可知,预先所构建的配置信息中包括时间配置选择信息,因此,可根据需求进行有效时间配置,例如可为一个具体的时间点、多个具体的时间点、一个有效时间段或多个有效时间段。可通过根据时间配置选择信息所配置的有效时间点或有效时间段来检测日志内容携带的时间是否为有效时间。例如,检测日志内容携带的时间是否与所配置的时间点匹配,若匹配,则可判定该日志内容所携带的时间为有效时间,则该日志内容可保留,以进行后续的过滤处理。若不匹配,可判定该日志内容的时间为无效时间,即该日志内容为本次日志处理事件无关的日志内容,不具有对问题分析有助的信息。因此,该日志内容可直接作抛弃处理。
或者检测日志内容携带的时间是否处于所配置的时间段内,若处于所述时间段内,可判定该日志内容携带的时间为有效时间,该日志内容可保留,否则需进行抛弃处理。
通过上述的有效时间的检测以滤除无效时间的日志内容,如此,可根据问题出现的时间点,通过配置相应的时间点或时间段,以得到与配置时间点或时间段相符的日志内容,后续可仅分析较小的时间范围内的日志信息,以便更快的找到问题相关信息。
此外,所述过滤配置信息还包括关键字配置选择信息,请参阅图5,在本实施例中,步骤S102还可以包括步骤S1023、步骤S1024以及步骤S1025三个子步骤。
步骤S1023,针对所述日志文件包括的各条日志内容,获得所述日志内容所属的业务模块信息。
步骤S1024,调用与所述业务模块信息对应的关键字配置选择信息,以对所述日志内容进行关键字匹配。
步骤S1025,对未匹配成功的日志内容进行抛弃处理。
应当理解,在进行系统日志记录时,一般会将记录该条系统日志所属的业务模块信息一起记录,以便在进行日志文件处理及初步处理后的输出时,能够根据业务模块信息包含的模块名称及地址等直接将日志报告进行输出。并且,针对所属不同业务模块的日志内容,所选择的关键字匹配信息也具有差异,可根据日志内容所属的业务模块信息选择对应的关键字匹配信息以进行匹配。其中,匹配成功的日志内容可进入后续的分析处理,未匹配成功的日志内容则进行抛弃处理,以此来达到对日志文件进行过滤处理的目的。
步骤S103,调用所述分析规则配置信息对经过过滤处理后得到的日志队列进行分析处理。
请参阅图6,在本实施例中,步骤S103可以包括步骤S1031以及步骤S1032两个子步骤。
步骤S1031,针对经过过滤处理后得到的日志队列中包含的各条日志内容,调用所述第一分析脚本对所述日志内容进行翻译和计算以得到所述日志内容对应的第一分析结果。
步骤S1032,调用所述第二分析脚本对所述日志队列进行时间差计算和变量差计算,根据计算结果以及各条日志内容的第一分析结果得到所述日志队列对应的第二分析结果。
在本实施例中,模块分析规则包括基础分析规则和高级分析规则,其中,基础分析规则对应日志模块的基本功能,只能分析功能运行生命周期、输出界面切换等。而高级分析规则,则是更为具体的分析规则,例如可分析日志模块中某个功能运行期变量的变化等。本实施例中,基础分析规则最终可对应第一分析脚本,即调用第一分析脚本可实现基础分析规则对应的功能。而高级分析规则最终可对应第二分析脚本,可通过调用第二分析脚本实现高级分析规则对应的分析功能。
针对进行过滤处理后得到的日志队列中的各条日志内容,同样地,对各条日志内容逐行进行分析处理,依次调用第一分析脚本和第二分析脚本对日志队列进行处理。可选地,可调用第一分析脚本以对各条日志内容进行翻译和计算处理以得到各条日志内容对应的第一分析结果。第一分析脚本只能对单条日志内容进行分析处理,得到的第一分析结果也是针对单条日志内容的分析结果,得到的第一分析结果可即时输出。
第一分析脚本可用于日志内容的初步分析处理。若需获得更为全面的分析结果,还需调用第二分析脚本对进行过滤处理后的日志队列进行时间差计算和变量差计算等,以获得整个日志队列在运行期的变化情况。第二分析脚本的分析结果不能进行即时输出,而需对日志队列中的所有日志内容分析完毕之后,才能进行输出。
可选地,本实施例中,可结合第二分析脚本所获得的整个日志队列的变化情况以及第一分析脚本分析获得的各条日志内容的第一分析结果,以得到所述日志队列对应的第二分析结果。
步骤S104,将经过分析处理后得到的日志数据按所述输出配置信息进行数据格式转换以得到指定格式的日志报告。
步骤S105,根据输入的输出指令以及所述输出配置信息将所述日志报告进行输出。
本实施例中,在经过上述的过滤、分析等步骤之后,可得到日志文件中所需的日志数据,得到的日志数据需进行输出展示以供用户参阅。可选地,可按配置的输出配置信息将得到的日志数据进行转换以得到指定格式的日志报告。本实施例中,所述指定格式为html格式,最终可将日志报告以html格式进行输出。
请参阅图7,在本实施例中,步骤S105可以包括步骤S1051、步骤S1052以及步骤S1053三个子步骤。
步骤S1051,获得所述日志报告中与所述目标模块选择信息相匹配的日志内容。
步骤S1052,将选择出的日志内容按所述模块颜色配置信息进行颜色标记。
步骤S1053,将标记后的日志内容进行输出以展示。
html格式的日志报告可支持索引阅览,用户可选择感兴趣的模块进行查看。根据预先配置的输出配置信息,用户可选择性地键入输出指令,该输出指令可包括目标模块选择信息,此外,还可包括模块的颜色信息等。根据键入的输出指令,得到与选择的目标模块对应的日志内容。并根据选择的模块颜色对选择出的日志内容进行颜色标记,例如可对日志内容进行高亮标记。并将标记后的日志内容进行输出以展示。
可选地,在本实施例中,在日志文件的分析处理事件完成之后,还需将该处理事件相关的配置信息、所述日志文件以及输出的日志报告等进行归档并生成对应的归档信息,并将所述归档信息进行存储。如此,可将某个处理事件的相关信息进行完整保存,以便后续查看。
请参阅图8,为本发明另一较佳实施例提供的系统日志的协处理系统110的功能模块框图。所述系统日志的协处理系统110包括同步模块111、过滤模块112、分析模块113、转换模块114以及输出模块115。
所述同步模块111用于在获得日志文件时,将预先构建的配置信息同步至本地,所述配置信息包括过滤配置信息、分析规则配置信息以及输出配置信息。所述同步模块111可用于执行图3中所示的步骤S101,具体的操作方法可参考步骤S101的详细描述。
所述过滤模块112用于根据所述过滤配置信息对所述日志文件进行过滤处理。所述过滤模块112可用于执行图3中所示的步骤S102,具体的操作方法可参考步骤S102的详细描述。
本实施例中,所述过滤配置信息包括时间配置选择信息,请参阅图9,所述过滤模块112包括时间检测单元1121以及第一过滤单元1122。
所述时间检测单元1121用于针对所述日志文件包含的各条日志内容,根据所述时间配置选择信息检测所述日志内容携带的时间是否为有效时间。所述时间检测单元1121可用于执行图4中所示的步骤S1021,具体的操作方法可参考步骤S1021的详细描述。
其中,请参阅图10,所述时间检测单元1121可包括第一检测子单元11211和第二检测子单元11212。所述第一检测子单元11211用于检测所述日志内容携带的时间是否与所述时间配置选择信息所包含的时间点匹配,若匹配,则判定所述日志内容携带的时间为有效时间。
所述第二检测子单元11212用于检测所述日志内容携带的时间是否处于所述时间配置选择信息所包含的时间段内,若处于所述时间段内,则判定所述日志内容携带的时间为有效时间。
所述第一过滤单元1122用于对携带的时间为无效时间的日志内容进行抛弃处理。所述第一过滤单元1122可用于执行图4中所示的步骤S1022,具体的操作方法可参考步骤S1022的详细描述。
在一个实施例中,所述过滤配置信息还包括关键字配置选择信息,请参阅图11,所述过滤模块112还可包括业务模块获取单元1123、匹配单元1124以及第二过滤单元1125。
所述业务模块获取单元1123用于针对所述日志文件包括的各条日志内容,获得所述日志内容所属的业务模块信息。所述业务模块获取单元1123可用于执行图5中所示的步骤S1023,具体的操作方法可参考步骤S1023的详细描述。
所述匹配单元1124用于调用与所述业务模块信息对应的关键字配置选择信息,以对所述日志内容进行关键字匹配。所述匹配单元1124可用于执行图5中所示的步骤S1024,具体的操作方法可参考步骤S1024的详细描述。
所述第二过滤单元1125用于对未匹配成功的日志内容进行抛弃处理。所述第二过滤单元1125可用于执行图5中所示的步骤S1025,具体的操作方法可参考步骤S1025的详细描述。
所述分析模块113用于调用所述分析规则配置信息对经过过滤处理后得到的日志队列进行分析处理。所述分析模块113可用于执行图3中所示的步骤S103,具体的操作方法可参考步骤S103的详细描述。
本实施例中,所述分析规则配置信息包括第一分析脚本和第二分析脚本,请参阅图12,所述分析模块113包括第一分析单元1131以及第二分析单元1132。
所述第一分析单元1131用于针对经过过滤处理后得到的日志队列中包含的各条日志内容,调用所述第一分析脚本对所述日志内容进行翻译和计算以得到所述日志内容对应的第一分析结果。所述第一分析单元1131可用于执行图6中所示的步骤S1031,具体的操作方法可参考步骤S1031的详细描述。
所述第二分析单元1132用于调用所述第二分析脚本对所述日志队列进行时间差计算和变量差计算,根据计算结果以及各条日志内容的第一分析结果得到所述日志队列对应的第二分析结果。所述第二分析单元1132可用于执行图6中所示的步骤S1032,具体的操作方法可参考步骤S1032的详细描述。
所述转换模块114用于将经过分析处理后得到的日志数据按所述输出配置信息进行数据格式转换以得到指定格式的日志报告。所述转换模块114可用于执行图3中所示的步骤S104,具体的操作方法可参考步骤S104的详细描述。
所述输出模块115用于根据输入的输出指令以及所述输出配置信息将所述日志报告进行输出。所述输出模块115可用于执行图3中所示的步骤S105,具体的操作方法可参考步骤S105的详细描述。
本实施例中,所述输出配置信息包括模块颜色配置信息以及模块选择配置信息,所述输出指令包括目标模块选择信息。请参阅图13,所述输出模块115包括日志内容获取单元1151、标记单元1152以及展示单元1153。
所述日志内容获取单元1151用于获得所述日志报告中与所述目标模块选择信息相匹配的日志内容。所述日志内容获取单元1151可用于执行图7中所示的步骤S1051,具体的操作方法可参考步骤S1051的详细描述。
所述标记单元1152用于将选择出的日志内容按所述模块颜色配置信息进行颜色标记。所述标记单元1152可用于执行图7中所示的步骤S1052,具体的操作方法可参考步骤S1052的详细描述。
所述展示单元1153用于将标记后的日志内容进行输出以展示。所述展示单元1153可用于执行图7中所示的步骤S1053,具体的操作方法可参考步骤S1053的详细描述。
此外,所述系统日志的协处理系统110还可以包括存储模块116,所述存储模块116可用于将所述配置信息、所述日志文件以及输出的日志报告进行归档并生成对应的归档信息,将所述归档信息进行存储。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程,可以参考前述方法中的对应过程,在此不再过多赘述。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本发明可以通过硬件实现,也可以借助软件加必要通用硬件平台的方式来实现。基于这样的理解,本发明的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器或者网络设备等)执行本发明各个实施场景所述的方法。
综上所述,本发明实施例提供的系统日志的协处理方法、系统及电子设备,通过分布式配置信息编辑,可在对日志文件进行处理时灵活调用相关模块。可对日志文件进行过滤、分析等处理,得到全面且准确的分析结果。并且,生成的日志报告利于展示和查看,利用日志报告中的选择过滤功能和索引功能,可选择性地过滤和查看报告内容。该系统日志的协处理方案,通过配置系统的分布式设置,实现模块共享化,提高模块复用率。且通过过滤翻译、分析等处理,得到全面、准确的分析结果,可满足较高的日志分析需求。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种系统日志的协处理方法,其特征在于,所述方法包括:
在获得日志文件时,将预先构建的配置信息同步至本地,所述配置信息包括过滤配置信息、分析规则配置信息以及输出配置信息;
根据所述过滤配置信息对所述日志文件进行过滤处理;
调用所述分析规则配置信息对经过过滤处理后得到的日志队列进行分析处理;
将经过分析处理后得到的日志数据按所述输出配置信息进行数据格式转换以得到指定格式的日志报告;
根据输入的输出指令以及所述输出配置信息将所述日志报告进行输出;
所述分析规则配置信息包括第一分析脚本和第二分析脚本,所述调用所述分析规则配置信息对经过过滤处理后得到的日志队列进行分析处理的步骤,包括:
针对经过过滤处理后得到的日志队列中包含的各条日志内容,调用所述第一分析脚本对所述日志内容进行翻译和计算以得到所述日志内容对应的第一分析结果;
调用所述第二分析脚本对所述日志队列进行时间差计算和变量差计算,根据计算结果以及各条日志内容的第一分析结果得到所述日志队列对应的第二分析结果。
2.根据权利要求1所述的系统日志的协处理方法,其特征在于,所述方法还包括:
将所述配置信息、所述日志文件以及输出的日志报告进行归档并生成对应的归档信息,将所述归档信息进行存储。
3.根据权利要求1所述的系统日志的协处理方法,其特征在于,所述日志文件包含多条日志内容,所述过滤配置信息包括时间配置选择信息,所述根据所述过滤配置信息对所述日志文件进行过滤处理的步骤包括:
针对所述日志文件包含的各条日志内容,根据所述时间配置选择信息检测所述日志内容携带的时间是否为有效时间;
对携带的时间为无效时间的日志内容进行抛弃处理。
4.根据权利要求3所述的系统日志的协处理方法,其特征在于,所述根据所述时间配置选择信息检测所述日志内容携带的时间是否为有效时间的步骤,包括:
检测所述日志内容携带的时间是否与所述时间配置选择信息所包含的时间点匹配,若匹配,则判定所述日志内容携带的时间为有效时间;或
检测所述日志内容携带的时间是否处于所述时间配置选择信息所包含的时间段内,若处于所述时间段内,则判定所述日志内容携带的时间为有效时间。
5.根据权利要求1或3所述的系统日志的协处理方法,其特征在于,所述日志文件包含多条日志内容,所述过滤配置信息包括关键字配置选择信息,所述根据所述过滤配置信息对所述日志文件进行过滤处理的步骤,包括:
针对所述日志文件包括的各条日志内容,获得所述日志内容所属的业务模块信息;
调用与所述业务模块信息对应的关键字配置选择信息,以对所述日志内容进行关键字匹配;
对未匹配成功的日志内容进行抛弃处理。
6.根据权利要求1所述的系统日志的协处理方法,其特征在于,所述输出配置信息包括模块颜色配置信息以及模块选择配置信息,所述输出指令包括目标模块选择信息,所述根据输入的输出指令以及所述输出配置信息将所述日志报告进行输出的步骤,包括:
获得所述日志报告中与所述目标模块选择信息相匹配的日志内容;
将选择出的日志内容按所述模块颜色配置信息进行颜色标记;
将标记后的日志内容进行输出以展示。
7.根据权利要求1所述的系统日志的协处理方法,其特征在于,所述指定格式为html格式。
8.一种系统日志的协处理系统,其特征在于,所述系统包括:
同步模块,用于在获得日志文件时,将预先构建的配置信息同步至本地,所述配置信息包括过滤配置信息、分析规则配置信息以及输出配置信息;
过滤模块,用于根据所述过滤配置信息对所述日志文件进行过滤处理;
分析模块,用于调用所述分析规则配置信息对经过过滤处理后得到的日志队列进行分析处理;
转换模块,用于将经过分析处理后得到的日志数据按所述输出配置信息进行数据格式转换以得到指定格式的日志报告;
输出模块,用于根据输入的输出指令以及所述输出配置信息将所述日志报告进行输出;
所述分析规则配置信息包括第一分析脚本和第二分析脚本,所述分析模块用于:
针对经过过滤处理后得到的日志队列中包含的各条日志内容,调用所述第一分析脚本对所述日志内容进行翻译和计算以得到所述日志内容对应的第一分析结果;
调用所述第二分析脚本对所述日志队列进行时间差计算和变量差计算,根据计算结果以及各条日志内容的第一分析结果得到所述日志队列对应的第二分析结果。
9.一种电子设备,其特征在于,包括:
存储器;
一个或多个处理器;及
一个或多个程序,其中所述一个或多个程序被存储在所述存储器中并且被配置成由所述一个或多个处理器执行,所述程序用于执行权利要求1-7任意一项系统日志的协处理方法的步骤。
CN201810128838.7A 2018-02-08 2018-02-08 系统日志的协处理方法、系统及电子设备 Active CN108363654B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810128838.7A CN108363654B (zh) 2018-02-08 2018-02-08 系统日志的协处理方法、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810128838.7A CN108363654B (zh) 2018-02-08 2018-02-08 系统日志的协处理方法、系统及电子设备

Publications (2)

Publication Number Publication Date
CN108363654A CN108363654A (zh) 2018-08-03
CN108363654B true CN108363654B (zh) 2021-03-23

Family

ID=63005009

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810128838.7A Active CN108363654B (zh) 2018-02-08 2018-02-08 系统日志的协处理方法、系统及电子设备

Country Status (1)

Country Link
CN (1) CN108363654B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110019076B (zh) * 2018-08-20 2023-03-24 平安普惠企业管理有限公司 多系统日志数据的构建方法、装置、设备及可读存储介质
CN110515847A (zh) * 2019-08-23 2019-11-29 苏州浪潮智能科技有限公司 一种输出日志的方法及系统
CN110968683A (zh) * 2019-12-06 2020-04-07 紫光云(南京)数字技术有限公司 一种基于multiprocessing的CLI日志分析方法
CN111045846B (zh) * 2019-12-06 2022-11-01 紫光云(南京)数字技术有限公司 一种基于swing的日志分析方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617287A (zh) * 2013-12-12 2014-03-05 用友软件股份有限公司 一种分布式环境下的日志管理方法和装置
CN103914485A (zh) * 2013-01-07 2014-07-09 上海宝信软件股份有限公司 一种远程收集和检索展示应用系统日志的系统及方法
CN104376043A (zh) * 2014-10-14 2015-02-25 深圳怡化电脑股份有限公司 日志记录与显示方法及装置
CN105138592A (zh) * 2015-07-31 2015-12-09 武汉虹信技术服务有限责任公司 一种基于分布式架构的日志数据存储和检索方法
CN105159964A (zh) * 2015-08-24 2015-12-16 广东欧珀移动通信有限公司 一种日志监控方法及系统
CN105224443A (zh) * 2015-10-09 2016-01-06 广州视睿电子科技有限公司 一种Android终端显示日志信息的方法和装置
CN106294345A (zh) * 2015-05-13 2017-01-04 阿里巴巴集团控股有限公司 应用程序的日志内容的处理方法和装置
CN107273280A (zh) * 2017-06-30 2017-10-20 百度在线网络技术(北京)有限公司 一种日志处理方法、装置、电子设备和存储介质
CN107612730A (zh) * 2017-09-18 2018-01-19 山东浪潮云服务信息科技有限公司 一种日志采集分析方法、装置以及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103914485A (zh) * 2013-01-07 2014-07-09 上海宝信软件股份有限公司 一种远程收集和检索展示应用系统日志的系统及方法
CN103617287A (zh) * 2013-12-12 2014-03-05 用友软件股份有限公司 一种分布式环境下的日志管理方法和装置
CN104376043A (zh) * 2014-10-14 2015-02-25 深圳怡化电脑股份有限公司 日志记录与显示方法及装置
CN106294345A (zh) * 2015-05-13 2017-01-04 阿里巴巴集团控股有限公司 应用程序的日志内容的处理方法和装置
CN105138592A (zh) * 2015-07-31 2015-12-09 武汉虹信技术服务有限责任公司 一种基于分布式架构的日志数据存储和检索方法
CN105159964A (zh) * 2015-08-24 2015-12-16 广东欧珀移动通信有限公司 一种日志监控方法及系统
CN105224443A (zh) * 2015-10-09 2016-01-06 广州视睿电子科技有限公司 一种Android终端显示日志信息的方法和装置
CN107273280A (zh) * 2017-06-30 2017-10-20 百度在线网络技术(北京)有限公司 一种日志处理方法、装置、电子设备和存储介质
CN107612730A (zh) * 2017-09-18 2018-01-19 山东浪潮云服务信息科技有限公司 一种日志采集分析方法、装置以及系统

Also Published As

Publication number Publication date
CN108363654A (zh) 2018-08-03

Similar Documents

Publication Publication Date Title
CN108363654B (zh) 系统日志的协处理方法、系统及电子设备
CN109542889B (zh) 流式数据列存储方法、装置、设备和存储介质
US10127301B2 (en) Method and system for implementing efficient classification and exploration of data
US20180357214A1 (en) Log analysis system, log analysis method, and storage medium
CN113688288B (zh) 数据关联分析方法、装置、计算机设备和存储介质
US20160098390A1 (en) Command history analysis apparatus and command history analysis method
CN111106965B (zh) 用于复杂系统的日志智能分析方法、工具、设备及介质
CN111400361A (zh) 数据实时存储方法、装置、计算机设备和存储介质
US11989161B2 (en) Generating readable, compressed event trace logs from raw event trace logs
CN112817866A (zh) 录制回放方法、装置、系统、计算机设备以及存储介质
CN113485999A (zh) 数据清理方法、装置和服务器
CN115033876A (zh) 日志处理方法、日志处理装置、计算机设备及存储介质
US10346450B2 (en) Automatic datacenter state summarization
WO2018066661A1 (ja) ログ分析方法、システムおよび記録媒体
JP6191440B2 (ja) スクリプト管理プログラム、スクリプト管理装置及びスクリプト管理方法
KR101609915B1 (ko) 다차원 시간차 분석 방법 및 장치
US20190294523A1 (en) Anomaly identification system, method, and storage medium
JP5040129B2 (ja) 障害ログ自動選択収集方法および装置
CN110955709B (zh) 一种数据的处理方法、装置及电子设备
CN113055760A (zh) 日志处理方法、装置、设备和存储介质
CN106469086B (zh) 事件处理方法和装置
EP3349127A1 (en) Category information generating device, category information generating method, search device, search method, and recording medium
CN106528577B (zh) 一种设置待清理文件的方法和装置
CN112486935B (zh) 日志记录处理方法、装置、设备及机器可读存储介质
CN111625853B (zh) 一种快照处理方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant