CN110309113B - 日志解析方法、系统及设备 - Google Patents

日志解析方法、系统及设备 Download PDF

Info

Publication number
CN110309113B
CN110309113B CN201810183464.9A CN201810183464A CN110309113B CN 110309113 B CN110309113 B CN 110309113B CN 201810183464 A CN201810183464 A CN 201810183464A CN 110309113 B CN110309113 B CN 110309113B
Authority
CN
China
Prior art keywords
rule
analysis
user
analysis result
log
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810183464.9A
Other languages
English (en)
Other versions
CN110309113A (zh
Inventor
李国忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201810183464.9A priority Critical patent/CN110309113B/zh
Publication of CN110309113A publication Critical patent/CN110309113A/zh
Application granted granted Critical
Publication of CN110309113B publication Critical patent/CN110309113B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/1805Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815Journaling file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2457Query processing with adaptation to user needs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/069Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请实施例提供一种日志解析方法、系统及设备。其中,方法包括:响应于用户针对可视化表格中显示的日志样本触发的第一解析规则配置事件,在日志样本所属类型对应的自定义规则集中添加基于第一解析规则配置事件中用户自定义的第一配置参数生成的第一解析规则;根据第一解析规则,对日志样本进行解析得到第一解析结果;在可视化表格的空闲行中展示第一解析结果。本申请实施例提供的技术方案,为用户提供了一种较为直观的可视化表格,用户通过对可视化表格中显示的内容进行简单的界面操作即能实现多种类型日志的解析规则配置,大大降低了对操作用户的技术要求;另外,解析得到的结构化键值对也展示在可视化表格中,方便用户自检。

Description

日志解析方法、系统及设备
技术领域
本申请涉及计算机技术领域,尤其涉及一种日志解析方法、系统及设备。
背景技术
互联设备每天都会产生大量的日志文件,这些日志文件一般是非结构化的。在大数据技术领域,常常需要对日志进行解析,将非结构化日志解析为结构化的数据,便于数据的统计和分析等。
然而,由于日志的来源和规模存在差异,造成日志中包含的信息类别和容量也各不相同,目前尚无一种简单易用的配置方案可以解析各种类型的日志。
发明内容
鉴于上述问题,提出了本申请以便解决上述问题或至少部分地解决上述问题的日志解析方法、系统及设备。
于是,在本申请的一个实施例中,提供了一种日志解析方法。该方法包括:
响应于用户针对可视化表格中显示的日志样本触发的第一解析规则配置事件,在所述日志样本所属类型对应的自定义规则集中添加基于所述第一解析规则配置事件中用户自定义的第一配置参数生成的第一解析规则;
根据所述第一解析规则,对所述日志样本进行解析得到第一解析结果;
在所述可视化表格的空闲行中展示所述第一解析结果。
在本申请的另一个实施例中,提供了一种日志解析方法。该方法包括:
接收到客户端在用户针对可视化表格中显示的日志样本触发的第一解析规则配置事件后发送的第一解析规则自定义请求时,获取在所述第一解析规则配置事件中用户自定义的第一配置参数;
在所述日志样本所属类型对应的自定义规则集中添加根据所述第一配置参数生成的第一解析规则;
将根据所述第一解析规则对所述日志样本进行解析得到的第一解析结果反馈至所述客户端,以在所述客户端的可视化表格的空闲行中展示。
在本申请的又一个实施例中,提供了一种日志解析方法。该方法包括:
监听到用户针对可视化表格中显示的日志样本触发的第一解析规则配置事件后,向服务端发送第一规则自定义请求,以使服务端获取所述第一解析规则配置事件中用户自定义的第一配置参数并在所述日志样本所属类型对应的自定义规则集中添加基于所述第一配置参数生成的第一解析规则;
接收所述服务端反馈的根据所述第一解析规则对所述日志样本进行解析得到第一解析结果;
在所述可视化表格的空闲行中显示所述第一解析结果。
在本申请的又一个实施例中,提供了一种日志解析系统。该系统包括:
客户端,用于监听到用户针对可视化表格中显示的日志样本触发的第一解析规则配置事件后,向服务端发送第一规则自定义请求;以及接收所述服务端反馈的第一解析结果,以在所述可视化表格的空闲行中展示;
服务端,用于接收到所述第一规则自定义请求时,获取在所述第一解析规则配置事件中用户自定义的第一配置参数;在所述日志样本所属类型对应的自定义规则集中添加根据所述第一配置参数生成的第一解析规则;根据所述第一解析规则,对所述日志样本进行解析得到的第一解析结果;将所述第一解析结果反馈至所述客户端。
在本申请的又一个实施例中,提供了一种客户端设备。该客户端设备包括:第一存储器、第一处理器及显示器;其中,
所述第一存储器,用于存储程序;
所述第一处理器,与所述第一存储器耦合,用于执行所述第一存储器中存储的所述程序,以用于:
响应于用户针对可视化表格中显示的日志样本触发的第一解析规则配置事件,在所述日志样本所属类型对应的自定义规则集中添加基于所述第一解析规则配置事件中用户自定义的第一配置参数生成的第一解析规则;
根据所述第一解析规则,对所述日志样本进行解析得到第一解析结果;
所述第一显示器,与所述第一处理器耦合,以用于在所述可视化表格的空闲行中展示所述第一解析结果。
在本申请的又一个实施例中,提供了一种服务端设备。该服务端设备包括:第二存储器和第二处理器,其中,
所述第二存储器,用于存储程序;
所述第二处理器,与所述第二存储器耦合,用于执行所述第二存储器中存储的所述程序,以用于:
接收到客户端在用户针对可视化表格中显示的日志样本触发的第一解析规则配置事件后发送的第一解析规则自定义请求时,获取在所述第一解析规则配置事件中用户自定义的第一配置参数;
在所述日志样本所属类型对应的自定义规则集中添加根据所述第一配置参数生成的第一解析规则;
将根据所述第一解析规则对所述日志样本进行解析得到的第一解析结果反馈至所述客户端,以在所述客户端的可视化表格的空闲行中展示。
在本申请的又一个实施例中,还提供了一种客户端设备。该客户端设备包括:第三存储器、第三处理器及第二显示器,其中,
所述第三存储器,用于存储程序;
所述第三处理器,与所述第三存储器耦合,用于执行所述第三存储器中存储的所述程序,以用于:
监听到用户针对可视化表格中显示的日志样本触发的第一解析规则配置事件后,向服务端发送第一规则自定义请求,以使服务端获取所述第一解析规则配置事件中用户自定义的第一配置参数并在所述日志样本所属类型对应的自定义规则集中添加基于所述第一配置参数生成的第一解析规则;
接收所述服务端反馈的根据所述第一解析规则对所述日志样本进行解析得到的第一解析结果;
所述第二显示器,与所述第三处理器耦合,用于在所述可视化表格的空闲行中显示所述第一解析结果。
本申请实施例提供的技术方案,为用户提供了一种较为直观的可视化表格,用户通过可视化表格中显示的内容进行简单的界面操作即可实现多种类型日志的解析规则配置,大大降低了对操作用户的技术要求;另外,基于用户配置的解析规则对日志样本进行解析得到的解析结果也展示在可视化表格中,这样用户可通过翻看单个可视化表格中各行显示内容即可获知解析规则配置过程以及解析结果,方便用户自检,使得整个解析规则配置过程更加直观。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的日志解析方法的流程示意图;
图2为本申请实施例提供的可视化表格的一种实现形式示意图;
图3为本申请实施例提供的配置界面的一种实现形式示意图;
图4为根据图3所示配置参数生成的解析规则对原文进行解析后在可视化表格中进行结果显示的示意图;
图5为本申请实施例提供的用户使用配置界面对msg字段进行解析规则参数配置的界面示意图;
图6为根据图5所示配置参数生成的解析规则对msg字段进行解析后在可视化表格中进行结果显示的示意图;
图7为本申请实施例提供的用户使用配置界面对x5字段进行解析规则参数配置的界面示意图;
图8为根据图7所示配置参数生成的解析规则对x5字段进行解析后在可视化表格中进行结果显示的示意图;
图9为本申请实施例提供的用户使用配置界面对userid字段进行连接配置的界面示意图;
图10为本申请实施例提供的在可视化表格中新增userName-**键值对的示意图;
图11为本申请实施例提供的用户使用配置界面对x5字段进行解析规则参数配置的界面示意图;
图12为根据图11所示配置参数生成的解析规则对x5字段进行解析后在可视化表格中进行结果显示的示意图;
图13为本申请实施例中将样例数据3247的字段名x8更新为样例数据2471的字段名单价后的可视化表格示意图;
图14为本申请实施例一实施例提供的日志解析系统的结构框图;
图15为本申请实施例另一实施例提供的日志解析方法的流程示意图;
图16为本申请实施例又一实施例提供的日志解析方法的流程示意图;
图17为本申请实施例又一实施例提供的日志解析方法的流程示意图;
图18为本申请实施例一实施例提供的日志解析装置的结构框图;
图19为本申请实施例另一实施例提供的日志解析装置的结构框图;
图20为本申请实施例又一实施例提供的日志解析装置的结构框图;
图21为本申请实施例一实施例提供的客户端设备的结构框图;
图22为本申请实施例一实施例提供的服务端设备的结构框图;
图23为本申请实施例另一实施例提供的客户端设备的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
在本申请的说明书、权利要求书及上述附图中描述的一些流程中,包含了根据特定顺序出现的多个操作,这些操作可以不根据其在本文中出现的顺序来执行或并行执行。操作的序号如101、102等,仅仅是用于区分各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
现有技术中,技术人员预先分析日志数据的类型,如下表1所示的日志数据,然后编写相应解析规则代码,经过校验后应用于该类型日志数据的批量解析。该方式不仅对编写规则代码的技术人员提出很高的技术要求,而且需要作出大量的代码编写和测试工作才能应用于批量解析,此外第一解析结果展示也不够直观;更重要的是,技术人员需要重复上述过程,为不同类型的日志编写相应的解析规则代码,耗费大量的人力和时间成本。
表1日志数据实例
2016-04-26 20:53:25|13|食品&南京&3&{type=0,价格=4931}
2016-04-26 20:53:26|47|数码&南京&2&0$2471
目前,还有一种解决方案是通过限制用户的日志格式,比如必须以“|”作为分隔符号,并通过系统为每一种日志的每一个字段都另外建立一个对应关系。该方案虽然无需技术人员编写规则代码,但系统需为日志维护另一个表来设置每个字段,并且需要限制分隔符。这种统一日志格式的解决方案经分析认为是不可行的。因为在实际应用中,例如在电子商务领域,涉及到很多种业务,每种业务都开发出一套或多套应用系统来支撑该业务的运行,如果将各业务的应用系统都统一日志格式,即使统一的初期可以非常方便的进行日志的统一解析,但随着时间的推进各种业务都在演变,要保留这种统一的日志格式将花费大量的工作,实际意义并不大。
由此,本申请提供了一种新型的技术方案,其目的就是为了部分地或全部地解决现有技术中存在的问题,以将上述表1所示的日志解析为如下图2所示的结构化的数据。
表2结构化的数据
字段名 类型 样例数据
类目 字符 数码
地区 字符 南京
用户名(user name) 字符 ***
用户标识(userid) 字符 0
单价 字符 2471
x7 字符 0
x8 字符 3247
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
图1示出了本申请一实施例提供的日志解析方法的流程示意图。本实施例提供的所述方法适用于客户端,该客户端可以是集成在终端上的一个具有嵌入式程序的硬件,也可以是安装在终端中的一个应用软件,还可以是嵌入在终端操作系统中的工具软件等,本申请实施例对此不作限定。该终端可以为手机、平板电脑、PDA(Personal DigitalAssistant,个人数字助理)、POS(Point of Sales,销售终端)、车载电脑等任意终端设备。具体的,如图1所示,本实施例提供的所述方法包括:
101、响应于用户针对可视化表格中显示的日志样本触发的第一解析规则配置事件,在所述日志样本所属类型对应的自定义规则集中添加基于所述第一解析规则配置事件中用户自定义的第一配置参数生成的第一解析规则。
102、根据所述第一解析规则,对所述日志样本进行解析得到第一解析结果。
103、在所述可视化表格的空闲行中展示所述第一解析结果。
其中,日志解析可简单的理解为:从日志中提取出不同字段的内容以将日志解析为结构化的解析结果,例如上述表2所示的键值对。或者,可以理解为:将日志根据字段分解为不同的部分,每一部分对应一个字段的内容以得到结构化的解析结果。
上述101中,所述第一解析规则可以为:单分隔符切分规则、多分隔符切分规则、顺序切分规则、Key-Value键-值切分规则或JSON切分规则等,本申请实施例对此不作具体限定。
其中,第一解析规则配置事件可以是用户键入或导入配置参数至所述客户端后触发产生的,或是客户端在采集到用户输入的指定语音和/或手势动作后触发产生的。例如,用户通过键盘、鼠标或触摸屏等输入或导入配置参数至客户端,并在客户端提供的解析规则配置界面(如图3所示的配置界面)中显示;在用户通过键盘、鼠标或触摸屏触发配置界面中的确定控键后即触发产生所述第一解析规则配置事件。或者,客户端采集用户发出的语音和/或作出的手势动作,通过判断语音和/或手势动作确定用户选择的参数并将其作为用户自定义的配置参数;在采集到用户发出确定语音和/或确定手势动作时即触发产生所述第一解析规则配置事件。
所述第一解析规则配置事件中用户自定义的第一配置参数至少包括有切分规则信息。若切分规则信息为单字符切分规则、多字符切分规则、顺序切分规则或KV切分规则,则所述第一配置参数还需包含有:分隔符信息(例如3中分隔符编辑框中示出的“|”)。当然,所述第一配置参数还可包含有:第一解析结果可用/禁用配置信息和/或过滤规则信息。例如,图3所示的结果字段可用/禁用的设置,和/或是否增加前置条件(即过滤规则)的设置等等。这里需要补充的是:本实施例中根据用户自定义的第一配置参数生成所述第一解析规则的过程可理解为:调取第一配置参数中用户指定的切分规则信息对应的规则模块(如一组执行代码),若第一配置参数中还携带有分隔符信息,则可将调取的规则模块中的分隔符变量替换为所述第一配置参数中用户指定的分隔符,即生成了符合用户配置需求的第一解析规则。当然,若所述第一配置参数中还包含有前置条件,如图7所示的过滤字段,则可在第一解析规则中增加对第一解析结果进行过滤的规则内容。
另外,本实施例中将生成第一解析规则添加至该日志样本所属类型对应的自定义规则集的目的是为了后续批量解析该类型的日志时便于调取。通常情况下,一种类型的日志样本在解析过程中需要使用到多种解析规则;用户在解析规则配置过程也许进行多次的配置操作才能将日志样本解析至所需的结构化程度。因此,用户针对一个日志样本进行的多次配置操作生成的多个解析规则需添加到同一自定义规则集中。
上述102中,第一解析规则可以是:单分隔符切分规则、多分隔符切分规则、顺序切分规则、Key-Value键-值切分规则或JSON切分规则等。
其中,单分隔符切分规则适用于使用单一分隔符,如“|”、“&”等,进行分隔的日志;例如,日志A:2016-11-08 11:05:01|user_abc|123456|下单。其中,使用单分隔符切分规则对上述日志A进行解析的过程可具体为:
上述日志A以“|”为分隔符进行解析,解析后的位于第一个“|”之前的字符串“2016-11-08 11:05:01”按照yyyy-MM-dd HH:mm:ss的格式转为date;位于第一个“|”之后的字符串“user_abc”转换为:key(键)为username,字符类型为string,value(值)为user_abc,的键值对。解析后的位于第二个“|”之后的字符串“123456”转换为:key(键)为userid,字符类型为long;value(值)为123456,的键值对。解析后的位于第三个“|”之后的字符串“下单”转换为:key(键)为event,字符类型为string,value(值)为下单,的键值对。
上述多分隔符切分规则适用于使用多种分隔符,如“|”、“&”、“~”等进行分隔的日志;例如,日志B:2017-07-25 17:25:00,aaa|b~1。其中,使用多分隔符切分规则对上述日志B进行解析的过程可具体为:
假设用户指定的分隔符包括:“,”、“|”及“~”,在解析过程中,当匹配到用户指定的三种分隔符中的任一分隔符时进行切分。具体的,对上述日志B进行解析,匹配到“,”后,将位于“,”之前的字符串“2017-07-2517:25:00”按照yyyy-MM-dd HH:mm:ss的格式转为date;将位于“,”之后的字符串“aaa”转换为:key(键)为userid,字符类型为string,value(值)为aaa;匹配到“|”后,将位于“|”之后的字符串“b”转换为:key(键)为item,字符类型为string,value(值)为b;继续匹配到“~”后,将位于“~”之后的字符串“1”转换为:key(键)为quantity,字符类型为long,value(值)为1。
上述顺序切分规则适用于较为复杂的切分场景,使用单分隔符切分规则、多分隔符切分规则等规则均无法满足解析需求的日志。例如,如下样例日志C:
117.74.77.48 835158-[26May 2014:14:05:28+0800]"GET http://trade.taobao.com/trade/detail/trade_snap.htm?
对于上述类型日志,可采用顺序切分规则的方式;即先定义5个具有先后顺序要求的分隔符:
Figure BDA0001589584390000101
“-[”、“]”、/>
Figure BDA0001589584390000102
“"”;然后按照这5个分隔符的先后顺序,将上述日志C切分为6段子串,随后分别为各子串赋予不同的key(键),即可得到切分后的6个键值对。
这里需要说明的是:上述分隔符
Figure BDA0001589584390000103
表示的是空格。
上述Key-Value键-值切分规则适用于如下key=value形式的日志,例如:
key1=aaaa;key2=bbbb;key3=cccc;key4=dddd;....
上述JSON切分规则适用于日志中包含有JSON(JavaScript Object Notation,轻量级的数据交换语言)字符串,以从日志中解析出JSON字符串中的各节点。
本申请实施例提供的技术方案,为用户提供了一种较为直观的可视化表格,用户通过可视化表格中显示的内容进行简单的界面操作即可实现多种类型日志的解析规则配置,大大降低了对操作用户的技术要求;另外,基于用户配置的解析规则对日志样本进行解析得到的解析结果也展示在可视化表格中,这样用户可通过翻看单个可视化表格中各行显示内容即可获知解析规则配置过程以及解析结果,方便用户自检,使得整个解析规则配置过程更加直观。
在一种可实现的方案中,本实施例提供的所述可视化表格可包含有多行,每行至少包含有:用于显示所述日志样本或所述第一解析结果的数据列以及显示有至少一个交互控键的操作列。如图2、4和图6所示的可视化表格的一种可实现的示例,可视化表格中的每行中包含有:数据列以及操作列;其中,数据列可包含有字段名(亦或称key键)列、类型列及样例数据(亦或称value值)列。操作列可包含有:编辑控键、删除控键、切分控键及连接控键等。
由此,上实施例提供的方法中步骤101中提及的第一解析规则配置事件可采用如下方法被触发,即上述实施例提供的所述日志解析方法还可包括:
104、响应于用户通过触控所述可视化表格中日志样本所在行的所述操作列中的所述切分控键,显示配置界面。
105、在监听到用户通过所述配置界面完成配置参数的设置时,触发所述第一解析规则配置事件。
用户触控图2所示的可视化表格中日志样本所在行的操作列中的切分控键后,显示如图3所示的配置界面。图3仅示出了一种配置界面的形式,本申请实施例对配置界面的形式不作具体限定。例如,配置界面中可包含有:切分字段编辑框、样例数据显示框、切分规则选择框、分隔符编辑框、结果字段可用/禁用选择控键、前置条件选择控键等等。用户可通过切分字段编辑框输入欲切分的字段,如图3所示用户欲切分的字段为原文。当然,用户在点击图2所示可视化表格中原文所在行的操作列中的切分控键后,切分字段编辑框中即会自动显示有“原文”。用户可通过样例数据显示框核实其选择字段的正确与否。用户可通过切分规则选择框选择其所需的切分规则,如单字符切分规则、多字符切分规则或JSON切分规则等等。用户可通过分隔符编辑框输入分隔符。这里需要说明的是,对于单字符切分规则或多字符切分规则才会涉及到用户指定的分隔符信息;对于JSON切分规则来说是不涉及分隔符信息的。因此,在用户选择了单字符切分规则或多字符切分规则时,该配置界面才会显示分隔字符边界框。用户可通过前置条件选择控键设定是否设置过滤字段。若用户选择设置前置条件,则配置界面中会显示如图7所示的过滤字段选择框。用户可通过过滤字段选择框选择过滤相应字段来确定过滤规则。
用户在完成第一配置参数的设置并触控图3所示的确定控键后,客户端即触发产生所述解析规则配置事件。
本实施例提供的技术方案除了为用户提供解析规则配置功能外,还可为用户提供编辑、删除、连接和/或追加等功能,以达到用户预期解析效果。即在一种可实现的技术方案中,所述可视化表格的操作列中除包含有切分控键外,还可包含有编辑控键、删除控键和连接控键中的一个或多个。
在一个技术方案中,所述操作列中包含有编辑控键。相应的,本实施例提供的所述日志解析方法还可包括如下步骤:
106、响应于用户通过触控所述第一解析结果所在行的所述操作列中显示的所述编辑控键,显示包含有所述第一配置参数的配置界面。
107、基于用户对所述第一配置参数的修改,调整所述第一解析规则。
本申请实施例提供的技术方案之所以采用可视化表格的目的就是为了方便用户查看基于自定义的解析规则对日志样本进行解析的结果。若基于自定义解析规则对日志样本解析得到的解析结果有错,用户可通过触控编辑控键调取配置界面修改第一配置参数的方式来调整第一解析规则。
在另一个技术方案中,所述操作列中包含有删除控键。相应的,本实施例提供的所述日志解析方法还可包含如下步骤:
108、响应于用户通过触控所述第一解析结果所在行的所述操作列中显示的删除控键,隐藏所述可视化表格中显示有所述第一解析结果的行。
109、将所述第一解析规则从所述自定义规则集中去除。
在用户查看可视化表格中显示的第一解析结果有无误时,用户可通过触控删除控键的方式将第一解析结果从可视化表格中隐藏,并将第一解析规则从自定义规则集中删除,以重新触发新的解析规则配置事件。
在又一技术方案中,所述操作列中包含有连接控键。相应的,本实施例提供的所述日志解析方法还可包含如下步骤:
110、响应于用户通过触控所述第一解析结果所在行的所述操作列中显示的连接控键,对所述第一解析结果执行对象关联操作。
111、在所述自定义规则集中添加与所述连接事件相关的第二解析规则。
其中,本实施例中所述的第一解析结果可以是键值对,如图8中的userid-0。因为在实际应用中,例如在电子商务领域,涉及到很多种业务,每种业务都有一套或多套应用系统来支撑该业务的运行,相应的各业务的应用系统生成的日志中涉及的同一参数所使用的字符不一样;比如说,业务A中userid为0的用户与业务B中userid为cc的用户为同一用户。这时为了便于后续的实时计算(如统计),需将这类解析结果进行对象关联操作。
具体的,上述110中对所述第一解析结果的值执行对象关联操作,可具体为:
获取与所述第一解析结果的值关联的连接对象;
在所述可视化表格中新增基于所述连接对象创建的键值对。
如图9所示,用户可通过配置界面键入或导入userid-0键值对中与值0关联的连接对象“**”;用户触控配置界面中的“确定”控键后即触发所述连接事件。如图10所示,在可视化表格中新增userName-**的键值对。
大多数日志样本需进行多次切分才能完成解析。例如,图4所示的日志样本:“2016-04-26 20:53:26|30|数码&南京&2&0&2471”,在采用单字符切分规则,分隔字符为“|”;解析得到的结果如下所示:
Figure BDA0001589584390000131
Figure BDA0001589584390000141
然而,上述字段名msg需再进行一次解析。
由此,用户还可通过可视化表格中msg所在行的操作列中的切分控键进行规则追加,即本申请实施例提供的日志解析规则还可包括如下步骤:
112、响应于用户针对所述第一解析结果触发的第二解析规则配置事件,在所述自定义规则集中添加基于所述第二解析规则配置事件中用户自定义的第二配置参数生成的第三解析规则。
113、根据所述第三解析规则,对所述第一解析结果进行解析得到第二解析结果。
114、在所述可视化表格的空闲行中展示所述第二解析结果。
同样的,所述第三解析规则可以为:单分隔符切分规则、多分隔符切分规则、顺序切分规则、Key-Value键-值切分规则或JSON切分规则等,本申请实施例对此不作具体限定。
所述第二解析规则配置事件可以是用户通过客户端提供的交互界面或人机交互接口触发产生。例如,用户通过客户端提供的解析规则配置界面(如图3所示的配置界面)完成配置参数的设置操作后来触发所述第一解析规则配置事件;或者,用户可通过客户端提供的交互接口(如语音接口和/或视频接口)输入语音和/或手势动作来触发所述第一解析规则配置事件。
例如,图5所示用户在触控msg所在行的数据列中的切分控键后显示所述配置界面,用户可通过该配置界面输入第二配置参数。参见图5所示,第二配置参数包括:切分字段:msg、样例数据:数码&南京&2&0&2471、切分器:单字符、分隔符:&。
另外,将第三解析规则添加至日志样本所属类型对应的自定义规则集的目的是为了后续批量解析该类型的日志时便于调取。
其中,基于所述第二解析规则配置事件中用户自定义的第二配置参数生成第三解析规则的过程可参见上文中的相关内容,此处不再赘述。另外,根据所述第三解析规则对所述第一解析结果进行解析得到第二解析结果,同样可参见上文中的相关内容,此处不再赘述。
进一步的,为了便于用户通过查看可视化表格中显示的内容检查解析规则配置是否准确,本申请实施例提供的所述可视化表格的每行中还可包含有:用于显示所述数据列中的所述日志样本或所述第一解析结果来源信息的来源列。因为,有些可视化表格中显示的解析结果并不是用户在一次解析规则配置事件中解析出来的,若不显示解析结果的来源信息,用户就无法获知解析结果是在哪一次解析规则配置事件时解析出来的。为此,本申请实施例提供的所述日志解析方法还可包括如下步骤:
115、将所述第一配置参数和/或所述第一解析结果的解析源头数据的字段名作为所述来源信息显示在所述第一解析结果所在行的所述来源列中。
其中,所述第一解析结果的解析源头数据即所述日志样本。
例如,图中6所示的第二行显示的第一解析结果:“数码&南京&2&0&2471”的解析源头数据是“原文(采用单切分规则,使用的分隔符为“|”)。图6中所示的第三行至六行所示的键值对,是用户对“数码&南京&2&0&2471”进行解析规则配置,并进行切分后得到的解析结果。因此,第三行至第六行所示的键值对的解析源头数据均为“原文(采用单切分规则,使用的分隔符为“|”)>msg(采用单切分规则,使用的分隔符为“&”)。
进一步的,由上面的内容可知,在使用相应切分规则对日志或字段进行解析后,得到的第一解析结果中均会为各键值对中的各值对应的数据类型进行设置。即本申请实施例提供的可视化表格中,如图2、4、6、8、10、12和13所示,每行还包含有:用于显示所述数据列中的日志样本或解析结果的数据类型的类型列。相应的,本申请实施例提供的所述日志解析方法,还可包括:
116、获取所述第一解析结果的值所属数据类型。
117、将所述第一解析结果的值所属数据类型显示在所述第一解析结果所在行的所述类型列中。
其中,第一解析结果所属的数据类型,在采用解析规则解析时已为其配置完成。其中,基于解析规则对日志样本进行解析的过程可参见上文中的相关内容。因此,在显示时只需获取该第一解析结果所属的数据类型,并将其显示在可视化表格的相应位置处即可。
进一步的,本申请实施例提供的可视化表格的每行中还包含有:用于显示所述数据列中的日志样本或键值对是否被禁用的禁用提示列。相应的,本申请实施例提供的所述日志解析方法还可包括:
118、当所述第一配置参数中包含有第一解析结果禁用配置信息时,在所述第一解析结果所在行的所述禁用提示列中显示禁用提示信息。
由上述内容可知,用户可通过配置界面设置第一解析结果是否可用。例如,图3所示用户通过选择触控所述配置界面中结果字段可用控键或禁用控键,来设置第一解析结果可用/禁用配置信息。用户通过配置界面设置完成后,第一配置参数中会包含有第一解析结果可用/禁用配置信息。禁用提示信息可以是文字信息、勾选图案或动画信息等等,本申请实施例对此不作具体限定如图4所示的一种实现实例,被配置了禁用的第一解析结果所在行的禁用提示列中显示的禁用提示信息为勾选图案。
相应的,本申请实施例提供的日志解析方法还可包括有如下步骤:
119、在所述可视化表格周围显示禁用字段开关控键。
120、监听到所述用户触控所述禁用字段开关控键至开状态时,隐藏所述可视化表格中所述禁用提示列中未显示有禁用提示信息的行。
上述119中,禁用字段开关控键可设置在可视化表格的表头,如图4所示的实例,禁用字段开关控键设置所述可视化表格的表头的最左侧。当然,禁用字段开关控键还可设置在其他位置,本实施例对此不作具体限定。
本申请实施例提供的日志解析方法的目的就是为了实现对不同类型日志的解析规则进行可视化配置过程,并在配置完成后将各类型对应的自定义规则集中包含的至少一个解析规则作为批量解析各类型的日志数据的通用规则。因此,本申请实施例提供的日志解析方法包括如下步骤:
响应于用户基于所述可视化表格中显示的内容触发的确认事件,向服务端发送所述自定义规则集,以使所述服务端根据所述规则自定义规则集中包含的至少一个解析规则,对批量日志数据进行解析以得到各日志数据对应的结构化键值对。
本申请实施例提供的技术方案,突破了传统需要编写解析规则代码的思维模式,采用表格式向用户展示可选解析规则,并提供日志样本输入界面,用户通过输入日志样本并选择一种或多种解析规则,该系统自动根据选定规则对日志样本进行解析并在表格中显示第一解析结果,当用户确定保存选择的解析规则后即可用于批量解析日志数据,大大降低了对操作用户的技术要求,提高了第一解析结果的展示效果,提高了可操作性。下面以一个日志样本为例,对本申请实施例提供的技术方案作进一步的说明以方便理解。
如图2所示,可视化表格中可包含有多个显示区域,例如,日志样本显示区1,编辑区2以及公共数据显示区3等等。其中,本实施例提供的技术方案主要是编辑区2。
如图2所示,用户可通过web界面中可视化表格的编辑区2中原文所在行的操作列中的切分控键进入配置界面(如图3所示)。用户可通过观察日志样本发现,日志样本中各字段均使用“|”进行分隔,因此可以使用单分隔符切分规则来解析日志样本。由此,用户可通过图3所示的配置界面输入第一配置参数,即切分字段:原文、样例数据:2016-04-26 20:53:26|traceId2|数码&南京&2&0$2471、切分器:单字符、分隔符:|、结果字段:可用。图4示出了采用图3所示的第一配置参数生成的第一解析结果对日志样本进行解析得到的第一解析结果。这里需要注意的是:图4中因用户选择的将禁用字段控键处于开状态,所以图4中可视化表格中各行显示的是禁用列中显示有禁用提示信息的第一解析结果;禁用列中未显示有禁用提示信息的第一解析结果被隐藏;即图4中并没有完整的显示出日志样本经解析后的所有第一解析结果。
图5示出了用户通过触控msg字段所在行的操作列中的切分控键选择对msg字段追加解析规则的事件。即,用户在触控了msg字段所在行的操作列中的切分控键后显示配置界面,用户可通过该配置界面设置第二配置参数,如切分字段:msg、样例数据:数码&南京&2&0$2471、切分器:单字符、分隔符:&。图6示出了采用第二配置参数生成的第二解析规则对msg进行解析得到的第二解析结果。
图7示出了用户选择切分字段为x5字段,对x5字段进行切分的配置操作。即用户通过触控图6中x5所在行的操作列中切分控键进入配置界面,用户通过该配置界面配置第三配置参数,如切分字段:x5、样例数据:0$2471、切分器:单字符、分隔符:$、前置条件,即过滤字段选择biz,<20。图8示出图6所示的切分方式,x5字段切分后的结果。图8示出了采用第三配置参数生成的第三解析规则对x5进行解析得到的第三解析结果。
除上述切分外,用户还可选择触控“连接”控键来触发静态连接。如图9中用户通过触控userid所在行的操作列中的连接控键进入配置页面,用户通过配置页面设置如连接字段:userid、样例数据数据:0;tair实例:127.0.01:70/DB实例16、value:**(比如某用户名),以将用户标识userid与**(用户名)关联。图10所示在可视化表格中新增userName-**的键值对,其来源是userid连接。
图11示出了用户选择切分字段:x5、样例数据为:{type=0\,价格=4931}、切分规则选择JSON、前置条件即过滤字段:biz,>20。图12示出了根据上述图10所示的配置参数生成的解析规则对切分字段“x5”进行切分后,得到的解析结果。
采用上述解析得到的所有解析结果中,可对字段名进行同名设置。例如,图12中可视化表格中样例数据“2471”的字段名为单价;样例数据“3427”的字段名为x8;对于这种类似的样例数据可统一字段名,例如,将样例数据“3427”的字段名变更为单价,如图13所示。
本申请技术方案采用可视化表格,如类似一个excel这种通用形式展示解析结果,并提供日志样本输入界面,用户通过输入日志样本并选择一种或多种解析规则,该系统自动根据选定规则对日志样本进行解析并在表格中显示第一解析结果,当用户确定保存选择的解析规则后即可用于批量解析日志数据,大大降低了对操作用户的技术要求,提高了第一解析结果的展示效果,提高了可操作性。
上述实施例提供的日志解析方法可由客户端实现,当然本申请提供的日志解析方法也可在包含有客户端和服务端的系统中实现。例如,用户可通过客户端设置配置参数,客户端将配置参数发送至服务端,由服务端根据用户配置的配置参数生成相应的解析规则,并对客户端传输至服务端的日志样本进行解析,由服务端将第一解析结果反馈至客户端,以在客户端进行展示,方便用户查看。基于上述客户端和服务端的方式实现,对客户端的性能要求不高,所有解析计算等均有服务端来进行。
图14示出了本申请一实施例提供的日志解析系统的结构示意图。具体的,所述日志解析系统包括客户端和服务端。其中,
客户端1401,用于监听到用户针对可视化表格中显示的日志样本触发的第一解析规则配置事件后,向服务端1402发送第一规则自定义请求;以及接收所述服务端1402反馈的第一解析结果,以在所述可视化表格的空闲行中展示;
服务端1402,用于接收到所述第一规则自定义请求时,获取在所述第一解析规则配置事件中用户自定义的第一配置参数;在所述日志样本所属类型对应的自定义规则集中添加根据所述第一配置参数生成的第一解析规则;根据所述第一解析规则,对所述日志样本进行解析得到的第一解析结果;将所述第一解析结果反馈至所述客户端。
进一步的,所述客户端1401,还用于监听到用户针对所述可视化表格中显示的内容触发的确认事件后,向所述服务端发送规则确认请求;
所述服务端1402,还用于接收到所述规则确认请求后,将所述日志样本所属类型对应的自定义规则集中包含的至少一个解析规则作为批量解析与所述日志样本同属一个类型的日志数据的通用规则。
本申请提出了一种可视化输入解析规则并在可视化表格中输出解析结果的新型自定义规则实时的日志解析规则配置系统。该系统突破传统需要编写解析规则代码的思维模式,采用解析规则选择模式向用户展示可选解析规则,并提供日志样例输入界面,用户通过输入日志样例并选择一种或多种解析规则,该系统自动根据选定规则对日志样例进行解析并在可视化表格中显示解析结果,当用户确定保存选择的解析规则后即可用于批量解析日志,大大降低了对操作用户的技术要求,提高了解析结构的展示效果,提高了可操作性。
这里需要说明的是:上述客户端和服务端还可实现下述各方法实施例中描述的技术方案。如下各实施例将分别从客户端侧及服务端侧的角度对本申请实施例提供的技术方案进行说明。
图15示出了本申请另一实施例提供的日志解析方法的流程示意图。本实施例提供的所述方法的执行主体可以是服务端,该服务端可以是常规服务器、云端或虚拟服务设备等等,本申请实施例对此不作具体限定。如图15所示,所述方法包括:
201、接收到客户端在用户针对可视化表格中显示的日志样本触发的第一解析规则配置事件后发送的第一解析规则自定义请求时,获取在所述第一解析规则配置事件中用户自定义的第一配置参数。
202、在所述日志样本所属类型对应的自定义规则集中添加根据所述第一配置参数生成的第一解析规则。
203、将根据所述第一解析规则对所述日志样本进行解析得到的第一解析结果反馈至所述客户端,以在所述客户端的可视化表格的空闲行中展示。
上述201中,所述第一解析规则配置事件中用户自定义的第一配置参数可携带在所述第一解析规则自定义请求中。其中,用户通过客户端设置所述第一配置参数的过程可参见上述实施例中的相关内容,此处不再赘述。
上述202中,根据所述第一配置参数生成的第一解析规则可以包括:单分隔符切分规则、多分隔符切分规则、顺序切分规则、KV切分规则或JSON切分规则。所述第一配置参数至少包含有:切分规则信息。若所述切分规则信息为单字符切分规则、多字符切分规则、顺序切分规则或K-V切分规则,则所述配置参数还包含有:分隔符信息。当然,所述第一配置参数还可包括其他附加参数,例如:第一解析结果可用/禁用配置信息和/或过滤规则信息等。
上述203中根据第一解析规则对日志样本进行解析得到结构化的第一解析结果,可参见上述实施例中相应的内容,此处不再赘述。
采用本申请实施例提供的技术方案,针对来源和类型不同的日志,操作用户无需根据传统模式编写解析规则代码,并对该规则代码做大量效果测试工作,而只需要在客户端提供的交互接口实现解析规则的选择及参数的设定等,便可由服务端基于用户自定义的配置参数生成相应的解析规则,以简化解析规则的生成难度,降低对操作用户的技术要求;服务端可将包含有至少一个用户自定义规则的自定义规则集作为后续批量解析日志的通用规则。
进一步的,本申请实施例提供的所述方法还可包括:
204、接收所述客户端在用户针对所述可视化表格中显示的内容触发的确认事件发送的规则确认请求。
205、将所述日志样本所属类型对应的自定义规则集中包含的至少一个解析规则作为批量解析与所述日志样本同属一个类型的日志数据的通用规则。
其中,上述204中,所述确认事件可以是用户通过点击客户端提供的交互界面中的相应控键,或在客户端在采集到用户发出确认语音和/或确认手势动作时触发产生。
采用第一解析规则对日志样本进行解析后,用户还可通过客户端对解析规则进行修改、删除等,对解析结果进行对象连接处理、追加解析规则等等操作。
例如,在一种可实现的技术方案中,本申请实施例提供的日志解析方法还可包括如下步骤以实现对解析规则的修改:
206、接收所述客户端在用户针对所述第一配置参数触发的修改事件后发送的修改请求。
207、基于所述用户对所述第一配置参数的修改内容,调整所述第一解析规则。
上述206中,用户可点击如4所示可视化表格中某一解析结果的所在行的操作列中的编辑控键;客户端响应于用户针对所述编辑控键的触控操作,显示包含有第一配置参数的配置界面;客户端监听到用户对所述第一配置参数修改完成后的确认事件后,向服务端发送所述修改请求。其中,用户对第一配置参数的修改内容可携带在所述修改请求中。
用户对第一配置参数的修改内容可包含有:切分规则的修改、分隔符的修改、前置条件的修改、结果可用/禁用修改等等。
上述207中,调整第一解析规则可理解为:基于修改后的所述第一配置参数重新生成一个替换当然第一解析规则的新解析规则。当然,若用户对第一配置参数的修改内容不涉及切分规则的修改,则调整第一解析规则可理解为:将当前已有的第一解析规则中的相应参数变更为用户新修改的参数即可。
又例如,在另一种可实现的技术方案中,本申请实施例提供的日志解析方法还可包括如下步骤以实现对第一解析规则删除的功能:
208、接收到所述客户端在用户触发删除所述第一解析结果的删除事件后发送的删除请求时,将所述第一解析规则从所述自定义规则集中去除。
其中,删除事件可以是用户通过点击客户端提供的交互界面中的相应控键,或在客户端在采集到用户发出删除语音和/或删除手势动作时触发产生。
又例如,在又一种可实现的技术方案中,所述第一解析结果为键值对;相应的,本申请实施例提供的日志解析方法还可包括如下步骤以实现对第一解析结果进行对象连接处理:
209、接收到所述客户端在用户触发对所述键值对的值执行对象关联操作的连接事件后发送的连接请求时,获取与所述键值对的值关联的连接对象。
210、向所述客户端反馈所述连接对象,以在所述客户端的所述可视化表格中新增基于所述连接对象创建的键值对。
211、在所述自定义规则集中添加与所述连接事件相关的第二解析规则。
上述209中,用户可点击如8所示可视化表格中某一解析结果的所在行的操作列中的连接控键;客户端响应于用户针对所述连接控键的触控操作,显示如图9所示的配置界面;客户端监听到用户在参数设置完成后的确认事件时,向服务端发送所述连接请求。其中,所述键值对的值可携带在所述连接请求中。
另外,键值对的值与连接对象之间关联关系可预先设置。获取时,通过查询该预先设置的关联关系表即可得到与目标值关联的连接对象。
进一步的,本申请实施例提供的日志解析方法还可包括步骤以实现解析规则追加的功能:
212、接收到所述客户端在用户针对所述第一解析结果触发的第二解析规则配置事件后发送的第二规则自定义请求时,获取所述第二解析规则配置事件中用户自定义的第二配置参数。
213、在自定义规则集中添加基于所述第二配置参数生成的第三解析规则。
214、根据所述第三解析规则,对所述第一解析结果进行解析得到第二解析结果。
215、将所述第二解析结果反馈至所述客户端,以在所述客户端的可视化表格的空闲行中展示所述第二解析结果。
其中,上述212~215可参见本实施例及上述实施例中的相关内容,此处不再赘述。
图16示出了本申请又一实施例提供的日志解析方法的流程示意图。本实施例提供的所述方法适用于客户端,该客户端可以是集成在终端上的一个具有嵌入式程序的硬件,也可以是安装在终端中的一个应用软件,还可以是嵌入在终端操作系统中的工具软件等,本申请实施例对此不作限定。该终端可以为手机、平板电脑、PDA(Personal DigitalAssistant,个人数字助理)、POS(Point of Sales,销售终端)、车载电脑等任意终端设备。具体的,如图16所示,本实施例提供的所述方法包括:
301、监听到用户针对可视化表格中显示的日志样本触发的第一解析规则配置事件后,向服务端发送第一规则自定义请求,以使服务端获取所述第一解析规则配置事件中用户自定义的第一配置参数并在所述日志样本所属类型对应的自定义规则集中添加基于所述第一配置参数生成的第一解析规则。
302、接收所述服务端反馈的根据所述第一解析规则对所述日志样本进行解析得到第一解析结果。
303、在所述可视化表格的空闲行中显示所述第一解析结果。
有关上述301~303可参见上述各实施例中的相关内容,此处不再赘述。
本申请实施例提供的技术方案,为用户提供了一种较为直观的可视化表格,用户通过可视化表格中显示的内容进行简单的界面操作即可实现多种类型日志的解析规则配置,大大降低了对操作用户的技术要求;另外,基于用户配置的解析规则对日志样本进行解析得到的解析结果也展示在可视化表格中,这样用户可通过翻看单个可视化表格中各行显示内容即可获知解析规则配置过程以及解析结果,方便用户自检,使得整个解析规则配置过程更加直观。
进一步的,本申请实施例提供的所述日志解析方法还可包括:
304、监听到用户针对所述可视化表格中显示的内容触发的确认事件后,向所述服务端发送规则确认请求,以使所述服务端将所述日志样本所属类型对应的自定义规则集中包含的至少一个解析规则作为批量解析与所述日志样本同属一个类型的日志数据的通用规则。
进一步的,本申请实施例提供的所述日志解析方法还可包括:
305、监听到用户针对所述第一配置参数触发的修改事件后,向所述服务端发送携带有用户修改内容的修改请求,以使所述服务端基于所述修改内容调整所述第一解析规则。
进一步的,本申请实施例提供的所述日志解析方法还可包括:
306、监听到用户针对所述第一解析结果触发的删除事件后,向所述服务端发送携带有删除对象的删除请求,以使所述服务端根据所述删除对象,将与所述删除对象关联的所述第一解析规则从所述自定义规则集中去除。
进一步的,所述第一解析结果为键值对,本申请实施例提供的所述日志解析方法还可包括:
307、监听到用户对所述键值对的值执行对象关联操作的连接事件后,向所述服务端发送连接请求,以使所述服务端获取与所述键值对的值关联的连接对象。
308、在所述可视化表格中新增基于所述服务端反馈的所述连接对象创建的键值对。
进一步的,本申请实施例提供的所述日志解析方法还可包括:
309、监听到用户针对所述第一解析结果触发的第二解析规则配置事件后,向所述服务端发送第二规则自定义请求,以使所述服务端获取所述第二解析规则配置事件中用户自定义的第二配置参数并在所述日志样本所属类型对应的自定义规则集中添加基于所述第二配置参数生成的第三解析规则。
310、接收所述服务端反馈的根据所述第三解析规则对所述第一解析结果进行解析得到的结构化的第二解析结果。
311、在所述可视化表格的空闲行中显示所述第二解析结果。
有关上述304~311可参见上述各实施例中的相应内容,此处不再赘述。
图17示出了本申请一实施例提供的日志解析方法的流程示意图。如图17所示,所述方法包括:
401、客户端监听到用户针对可视化表格中显示的日志样本触发的第一解析规则配置事件后,向服务端发送第一规则自定义请求。
402、服务端接收到所述第一规则自定义请求后,获取在所述第一解析规则配置事件中用户自定义的第一配置参数。
403、服务端在所述日志样本所属类型对应的自定义规则集中添加根据所述第一配置参数生成的第一解析规则。
404、服务端将根据所述第一解析规则对所述日志样本进行解析得到的键值对反馈至所述客户端。
405、客户端将所述键值对显示在所述可视化表格的空闲行中。
406、客户端监听到用户针对所述第一配置参数触发的修改事件后,向服务端发送修改请求。
407、服务端基于所述用户对所述第一配置参数的修改内容,调整所述第一解析规则。
408、客户端监听到用户触发删除所述第一解析结果的删除事件后,向服务端发送删除请求。
409、服务端将所述删除请求指向的所述第一解析规则从所述自定义规则集中去除。
410、客户端监听到用户触发对所述键值对的值执行对象关联操作的连接事件后,向服务端发送连接请求。
411、服务端在接收到所述连接请求后,获取与所述键值对的值关联的连接对象,并向所述客户端反馈所述连接对象。
412、所述客户端在所述可视化表格中新增基于所述连接对象创建的键值对。
413、服务端在所述自定义规则集中添加与所述连接事件相关的第二解析规则。
414、客户端监听到用户针对所述可视化表格中显示的内容触发的确认事件后,向服务端发送规则确认请求。
415、服务端接收到所述规则确认请求后,将所述日志样本所属类型对应的自定义规则集中包含的至少一个解析规则作为批量解析与所述日志样本同属一个类型的日志数据的通用规则。
上述有关401~415可参见上述各实施例中的相关内容,此次不再赘述。
本申请实施例提供的技术方案,为用户提供了一种较为直观的可视化表格,用户通过可视化表格中显示的内容进行简单的界面操作即可实现多种类型日志的解析规则配置,大大降低了对操作用户的技术要求;另外,基于用户配置的解析规则对日志样本进行解析得到的解析结果也展示在可视化表格中,这样用户可通过翻看单个可视化表格中各行显示内容即可获知解析规则配置过程以及解析结果,方便用户自检,使得整个解析规则配置过程更加直观。
图18示出了本申请一实施例提供的日志解析装置的结构示意图。如图18所示,所述日志解析装置包括:
生成模块1801,用于响应于用户针对可视化表格中显示的日志样本触发的第一解析规则配置事件,在所述日志样本所属类型对应的自定义规则集中添加基于所述第一解析规则配置事件生成第一解析规则;
解析模块1802,用于根据所述第一解析规则,对所述日志样本进行解析得到结构化的第一解析结果;
展示模块1803,用于在所述可视化表格的空闲行中展示所述第一解析结果。
其中,在具体实施时,上述第一解析规则可以为:单分隔符切分规则、多分隔符切分规则、顺序切分规则、KV切分规则或JSON切分规则等,本申请实施例对此不作具体限定。
在一种可实现的技术方案中,上述可视化表格可包含有多行,每行至少包含有:用于显示日志样本或键值对的数据列以及显示有至少一个交互控键的操作列。
进一步的,所述操作列中至少包含有切分控键。相应的,本实施例提供的日志解析装置还可包括:
显示模块,用于响应于用户通过触控所述可视化表格中日志样本所在行的所述操作列中的所述切分控键,显示配置界面;
触发模块,用于在监听到用户通过所述配置界面完成配置参数的配置时,触发所述第一解析规则配置事件。
进一步的,在具体实施时,所述配置参数至少包含有切分规则信息;若所述切分规则信息为单字符切分规则、多字符切分规则、顺序切分规则或KV切分规则,则所述配置参数还包含有:分隔符信息。
再进一步的,所述配置参数还可包括:第一解析结果可用/禁用配置信息和/或过滤规则信息。
在一具体实例中,如图2、4所示,所述操作列中还可包含有:编辑控键、删除控键和连接控键中的一个或多个。
进一步的,本实施例提供的所述日志解析装置还可包括:
显示模块,还用于响应于用户通过触控所述第一解析结果所在行的所述操作列中显示的所述编辑控键,显示包含有所述第一配置参数的配置界面;以及
修改模块,用于用户对所述第一解析结果的修改结果,修改所述第一解析规则。
进一步的,本实施例提供的所述日志解析装置还可包括:
隐藏模块,用于响应于用户通过触控所述第一解析结果所在行的所述操作列中显示的删除控键,隐藏所述可视化表格中显示有所述第一解析结果的行;
删除模块,用于将所述第一解析规则从所述自定义规则集中去除。
进一步的,本实施例提供的所述日志解析装置还可包括:
执行模块,用于响应于用户通过触控所述第一解析结果所在行的所述操作列中显示的连接控键,对所述第一解析结果执行对象关联操作;
添加模块,用于在所述自定义规则集中添加与所述连接事件相关的第二解析规则。
再进一步的,上述执行模块具体用于:获取与所述键值对的值关联的连接对象;在所述可视化表格中新增基于所述连接对象创建的键值对。
进一步的,所述可视化表格的每行还包含有:用于显示所述数据列中的所述日志样本或所述第一解析结果来源信息的来源列。相应的,本实施例提供的日志解析装置还可包含:
显示模块,用于将所述第一配置参数和/或所述第一解析结果的解析源头数据的字段名作为所述来源信息显示在所述第一解析结果所在行的所述来源列中;
其中,所述第一解析结果的解析源头数据即所述日志样本。
进一步的,所述可视化表格的每行还包含有:用于显示所述数据列中的所述日志样本或所述第一解析结果的数据类型的类型列。相应的,本实施例提供的日志解析装置还可包含有:
获取模块,用于获取所述第一解析结果所属数据类型;
显示模块,用于将所述第一解析结果所属数据类型显示在所述第一解析结果所在行的所述类型列中。
进一步的,所述可视化表格的每行还包含有:用于显示所述数据列中的所述日志样本或所述第一解析结果是否被禁用的禁用提示列。相应的,本实施例提供的日志解析装置还可包含有:
显示模块,还用于当所述第一配置参数中包含有第一解析结果禁用配置信息时,在所述第一解析结果所在行的所述禁用提示列中显示禁用提示信息。
进一步的,本实施例提供的日志解析装置还可包括:
显示模块,还用于在所述可视化表格周围显示禁用字段开关控键;
隐藏模块,还用于监听到所述用户触控所述禁用字段开关控键至开状态时,隐藏所述可视化表格中所述禁用提示列中未显示有禁用提示信息的行。
进一步的,本实施例提供的日志解析装置还可包括:
添加模块,还用于响应于用户针对所述第一解析结果触发的第二解析规则配置事件,在所述自定义规则集中添加基于所述第二解析规则配置事件中用户自定义的第二配置参数生成的第三解析规则;
所述解析模块1802,还用于根据所述第三解析规则,对所述第一解析结果进行解析得到第二解析结果;
所述展示模块1803,还用于在所述可视化表格的空闲行中展示所述第二解析结果。
进一步的,本实施例提供的日志解析装置还包括:
发送模块,用于响应于用户基于所述可视化表格中显示的内容触发的确认事件,向服务端发送所述自定义规则集,以使所述服务端根据所述规则自定义规则集中包含的至少一个解析规则,对批量日志数据进行解析以得到各日志数据对应的结构化键值对。
这里需要说明的是:上述实施例提供的日志解析装置可实现上述各方法实施例中描述的技术方案,上述各模块或单元具体实现的原理可参见上述各方法实施例中的相应内容,此处不再赘述。
本申请实施例提供的技术方案,为用户提供了一种较为直观的可视化表格,用户通过可视化表格中显示的内容进行简单的界面操作即可实现多种类型日志的解析规则配置,大大降低了对操作用户的技术要求;另外,基于用户配置的解析规则对日志样本进行解析得到的解析结果也展示在可视化表格中,这样用户可通过翻看单个可视化表格中各行显示内容即可获知解析规则配置过程以及解析结果,方便用户自检,使得整个解析规则配置过程更加直观。
图19示出了本申请另一实施例提供的日志解析装置的结构示意图。如图19所示,所述日志解析装置包括:
接收模块1901,用于接收到客户端在用户针对可视化表格中显示的日志样本触发的第一解析规则配置事件后发送的第一解析规则自定义请求时,获取在所述第一解析规则配置事件中用户自定义的第一配置参数;
添加模块1902,用于在所述日志样本所属类型对应的自定义规则集中添加根据所述第一配置参数生成的第一解析规则;
反馈模块1903,用于将根据所述第一解析规则对所述日志样本进行解析得到的第一解析结果反馈至所述客户端,以在所述客户端的可视化表格的空闲行中展示。
进一步的,本实施例提供的日志解析装置还可包括:
所述接收模块1901,还用于接收所述客户端在用户针对所述可视化表格中显示的内容触发的确认事件发送的规则确认请求;
确定模块,用于将所述日志样本所属类型对应的自定义规则集中包含的至少一个解析规则作为批量解析与所述日志样本同属一个类型的日志数据的通用规则。
进一步的,所述第一解析规则可包括:单分隔符切分规则、多分隔符切分规则、顺序切分规则、K-V切分规则或JSON切分规则。
所述第一配置参数至少包含有:切分规则信息;若所述切分规则信息为单字符切分规则、多字符切分规则、顺序切分规则或K-V切分规则,则所述配置参数还包含有:分隔符信息。
进一步的,所述第一配置参数还包括:第一解析结果可用/禁用配置信息和/或过滤规则信息。
进一步的,本实施例提供的日志解析装置还包括:
所述接收模块1901,还用于接收所述客户端在用户针对所述第一配置参数触发的修改事件后发送的修改请求;
修改模块,用于基于所述用户对所述第一配置参数的修改内容,调整所述第一解析规则。
进一步的,本实施例提供的日志解析装置还包括:
去除模块,用于接收到所述客户端在用户触发删除所述第一解析结果的删除事件后发送的删除请求时,将所述第一解析规则从所述自定义规则集中去除。
进一步的,所述第一解析结果为键值对,本实施例提供的日志解析装置还包括:
获取模块,用于接收到所述客户端在用户触发对所述键值对的值执行对象关联操作的连接事件后发送的连接请求时,获取与所述键值对的值关联的连接对象;
所述反馈模块1903,还用于向所述客户端反馈所述连接对象,以在所述客户端的所述可视化表格中新增基于所述连接对象创建的键值对;
添加模块,用于在所述自定义规则集中添加与所述连接事件相关的第二解析规则。
进一步的,本实施例提供的日志解析装置还可包括:
所述获取模块,用于接收到所述客户端在用户针对所述第一解析结果触发的第二解析规则配置事件后发送的第二规则自定义请求时,获取所述第二解析规则配置事件中用户自定义的第二配置参数;
所述添加模块1902,用于在自定义规则集中添加基于所述第二配置参数生成的第三解析规则;
所述解析模块,还用于根据所述第三解析规则,对所述第一解析结果进行解析得到第二解析结果;
所述反馈模块1903,还用于将所述第二解析结果反馈至所述客户端,以在所述客户端的可视化表格的空闲行中展示所述第二解析结果。
这里需要说明的是:上述实施例提供的日志解析装置可实现上述各方法实施例中描述的技术方案,上述各模块或单元具体实现的原理可参见上述各方法实施例中的相应内容,此处不再赘述。
本申请实施例提供的技术方案,为用户提供了一种较为直观的可视化表格,用户通过可视化表格中显示的内容进行简单的界面操作即可实现多种类型日志的解析规则配置,大大降低了对操作用户的技术要求;另外,基于用户配置的解析规则对日志样本进行解析得到的解析结果也展示在可视化表格中,这样用户可通过翻看单个可视化表格中各行显示内容即可获知解析规则配置过程以及解析结果,方便用户自检,使得整个解析规则配置过程更加直观。
图20示出了本申请又一实施例提供的日志解析装置的结构示意图。如图20所示,本实施例提供的所述日志解析装置包括:
发送模块2001,用于监听到用户针对可视化表格中显示的日志样本触发的第一解析规则配置事件后,向服务端发送第一规则自定义请求,以使服务端获取所述第一解析规则配置事件中用户自定义的第一配置参数并在所述日志样本所属类型对应的自定义规则集中添加基于所述第一配置参数生成的第一解析规则;
接收模块2002,用于接收所述服务端反馈的根据所述第一解析规则对所述日志样本进行解析得到第一解析结果;
显示模块2003,用于在所述可视化表格的空闲行中显示所述第一解析结果。
进一步的,本实施例提供的日志解析装置还可包括:
所述发送模块2001,还用于监听到用户针对所述可视化表格中显示的内容触发的确认事件后,向所述服务端发送规则确认请求,以使所述服务端将所述日志样本所属类型对应的自定义规则集中包含的至少一个解析规则作为批量解析与所述日志样本同属一个类型的日志数据的通用规则。
进一步的,本实施例提供的日志解析装置还可包括:
所述发送模块2001,还用于监听到用户针对所述第一配置参数触发的修改事件后,向所述服务端发送携带有用户修改内容的修改请求,以所述服务端基于所述修改内容调整所述第一解析规则。
进一步的,本实施例提供的日志解析装置还可包括:
所述发送模块2001,还用于监听到用户针对所述第一解析结果触发的删除事件后,向所述服务端发送携带有删除对象的删除请求,以使所述服务端根据所述删除对象,将与所述删除对象关联的所述第一解析规则从所述自定义规则集中去除。
进一步的,所述第一解析结果为键值对,本实施例提供的日志解析装置还可包括:
所述发送模块2001,还用于监听到用户触发对所述键值对的值执行对象关联操作的连接事件后,向所述服务端发送连接请求,以使所述服务端获取与所述键值对的值关联的连接对象;
所述显示模块2003,还用于在所述可视化表格中新增基于所述服务端反馈的所述连接对象创建的键值对。
进一步的,本实施例提供的日志解析装置还可包括:
所述发送模块2001,还用于监听到用户针对所述第一解析结果触发的第二解析规则配置事件后,向所述服务端发送第二规则自定义请求,以使所述服务端获取所述第二解析规则配置事件中用户自定义的第二配置参数并在所述日志样本所属类型对应的自定义规则集中添加基于所述第二配置参数生成的第三解析规则;
所述接收模块2002,还用于接收所述服务端反馈的根据所述第三解析规则对所述第一解析结果进行解析得到的第二解析结果;
所述显示模块2003,还用于在所述可视化表格的空闲行中显示所述第二解析结果。
这里需要说明的是:上述实施例提供的日志解析装置可实现上述各方法实施例中描述的技术方案,上述各模块或单元具体实现的原理可参见上述各方法实施例中的相应内容,此处不再赘述。
本申请实施例提供的技术方案,为用户提供了一种较为直观的可视化表格,用户通过可视化表格中显示的内容进行简单的界面操作即可实现多种类型日志的解析规则配置,大大降低了对操作用户的技术要求;另外,基于用户配置的解析规则对日志样本进行解析得到的解析结果也展示在可视化表格中,这样用户可通过翻看单个可视化表格中各行显示内容即可获知解析规则配置过程以及解析结果,方便用户自检,使得整个解析规则配置过程更加直观。
图21示出了本申请一实施例提供的客户端设备的结构示意图。如图所示,所述客户端设备包括:第一存储器2101、第一处理器2102及第一显示器2104。
第一存储器2101,用于存储计算机程序。除此之外,第一存储器2101,还被配置为存储其它各种数据以支持在服务端设备上的操作。这些数据的示例包括用于在服务端设备上操作的任何应用程序或方法的指令,消息,图片,视频等。
第一存储器2101可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
第一处理器2101,与第一存储器2101耦合,用于执行所述第一存储器2101中存储的所述程序,以用于:
响应于用户针对可视化表格中显示的日志样本触发的第一解析规则配置事件,在所述日志样本所属类型对应的自定义规则集中添加基于所述第一解析规则配置事件中用户自定义的第一配置参数生成的第一解析规则;
根据所述第一解析规则,对所述日志样本进行解析得到第一解析结果。
所述第一显示器,与所述第一处理器耦合,以用于在所述可视化表格的空闲行中展示所述第一解析结果。
其中,第一处理器2102在执行第一存储器2101中的程序时,除了上面的功能之外,还可实现其它功能,具体可参见前面各实施例的描述。
进一步,如图21所示,客户端设备还可包括:第一通信组件2103、第一电源组件2105、第一音频组件2106等其它组件。图21中仅示意性给出部分组件,并不意味着客户端设备只包括图21所示组件。
相应地,本申请实施例还提供一种存储有计算机程序的计算机可读存储介质,所述计算机程序被计算机执行时能够实现上述各实施例中与客户端相关的方法步骤或功能。
图22示出了本申请一实施例提供的服务端设备的结构示意图。如图所示,所述服务端设备包括:第二存储器2201和第二处理器2202。其中,
所述第二存储器2201,用于存储程序。除此之外,第二存储器2201,还被配置为存储其它各种数据以支持在终端设备上的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。
第二存储器2201可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
所述第二处理器2202,与所述第二存储器2201耦合,用于执行所述第二存储器2201中存储的所述程序,以用于:
接收到客户端在用户针对可视化表格中显示的日志样本触发的第一解析规则配置事件后发送的第一解析规则自定义请求时,获取在所述第一解析规则配置事件中用户自定义的第一配置参数;
在所述日志样本所属类型对应的自定义规则集中添加根据所述第一配置参数生成的第一解析规则;
将根据所述第一解析规则对所述日志样本进行解析得到的第一解析结果反馈至所述客户端,以在所述客户端的可视化表格的空闲行中展示。
其中,第一处理器2202在执行第一存储器中的程序时,除了上面的功能之外,还可实现其它功能,具体可参见前面各实施例的描述。
进一步,如图22所示,服务端设备还可包括:第二通信组件2203、第二显示器2204、第二电源组件2205、第二音频组件2206等其它组件。图22中仅示意性给出部分组件,并不意味着服务端设备只包括图22所示组件。
相应地,本申请实施例还提供一种存储有计算机程序的计算机可读存储介质,所述计算机程序被计算机执行时能够实现上述各实施例中与服务端相关的方法步骤或功能。
图23示出了本申请又一实施例提供的客户端设备的结构示意图。如图23所示,所述客户端设备包括第三存储器2301、第三处理器2302及第二显示器2304;其中,
所述第三存储器2301,用于存储程序。除此之外,第三存储器2301,还被配置为存储其它各种数据以支持在终端设备上的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。
第三存储器2301可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
所述第三处理器2302,与所述第三存储器2301耦合,用于执行所述第三存储器中存储的所述程序,以用于:
监听到用户针对可视化表格中显示的日志样本触发的第一解析规则配置事件后,向服务端发送第一规则自定义请求,以使服务端获取所述第一解析规则配置事件中用户自定义的第一配置参数并在所述日志样本所属类型对应的自定义规则集中添加基于所述第一配置参数生成的第一解析规则;
接收所述服务端反馈的根据所述第一解析规则对所述日志样本进行解析得到的第一解析结果。
所述第二显示器2304,与所述第三处理器2302耦合,用于在所述可视化表格的空闲行中显示所述第一解析结果。
其中,第三处理器2302在执行第三存储器2301中的程序时,除了上面的功能之外,还可实现其它功能,具体可参见前面各实施例的描述。
进一步,如图23所示,客户端设备还可包括:第三通信组件2303、第三电源组件2305、第三音频组件2306等其它组件。图23中仅示意性给出部分组件,并不意味着客户端设备只包括图23所示组件。
相应地,本申请实施例还提供一种存储有计算机程序的计算机可读存储介质,所述计算机程序被计算机执行时能够实现上述各实施例中与客户端相关的方法步骤或功能。
在图21、图22和图23中的通信组件,可被配置为便于通信组件所属设备和其他设备之间有线或无线方式的通信。通信组件所属设备可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在图21、图22和图23中的显示器,可以包括屏幕,其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感规则以感测触摸、滑动和触摸面板上的手势。所述触摸传感规则可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。
在图21、图22和图23中的电源组件,为电源组件所属设备的各种组件提供电力。电源组件可以包括电源管理系统,一个或多个电源,及其他与为电源组件所属设备生成、管理和分配电力相关联的组件。
在图21、图22和图23中的音频组件,被配置为输出和/或输入音频信号。例如,音频组件包括一个麦克风(MIC),当音频组件所属设备处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或经由通信组件发送。在一些实施例中,音频组件还包括一个扬声规则,用于输出音频信号。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务规则,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (36)

1.一种日志解析方法,其特征在于,包括:
响应于用户针对可视化表格中显示的日志样本触发的第一解析规则配置事件,在所述日志样本所属类型对应的自定义规则集中添加基于所述第一解析规则配置事件中用户自定义的第一配置参数生成的第一解析规则;
根据所述第一解析规则,对所述日志样本进行解析得到第一解析结果;
在所述可视化表格的空闲行中展示所述第一解析结果;
其中,所述可视化表格包含有多行;每行至少包含有:用于显示所述日志样本或所述第一解析结果的数据列以及显示有至少一个交互控键的操作列;所述操作列中至少包含有切分控键;
所述第一配置参数至少包含有:切分规则信息;所述第一解析结果为键值对。
2.根据权利要求1所述的方法,其特征在于,所述第一解析规则为:单分隔符切分规则、多分隔符切分规则、顺序切分规则、KV切分规则或JSON切分规则。
3.根据权利要求1所述的方法,其特征在于,还包括:
响应于用户通过触控所述可视化表格中日志样本所在行的所述操作列中的所述切分控键,显示配置界面;
在监听到用户通过所述配置界面完成所述第一配置参数的设置时,触发所述第一解析规则配置事件。
4.根据权利要求1所述的方法,其特征在于,若所述第一配置参数包含的所述切分规则信息为单字符切分规则、多字符切分规则、顺序切分规则或KV切分规则,则所述第一配置参数还包含有:分隔符信息。
5.根据权利要求4所述的方法,其特征在于,所述第一配置参数还包括:第一解析结果可用/禁用配置信息和/或过滤规则信息。
6.根据权利要求1所述的方法,其特征在于,所述操作列中还包含有:编辑控键、删除控键和连接控键中的一个或多个。
7.根据权利要求6所述的方法,其特征在于,还包括:
响应于用户通过触控所述第一解析结果所在行的所述操作列中显示的所述编辑控键,显示包含有所述第一配置参数的配置界面;
基于用户对所述第一配置参数的修改,调整所述第一解析规则。
8.根据权利要求7所述的方法,其特征在于,还包括:
响应于用户通过触控所述第一解析结果所在行的所述操作列中显示的删除控键,隐藏所述可视化表格中显示有所述第一解析结果的行;
将所述第一解析规则从所述自定义规则集中去除。
9.根据权利要求7所述的方法,其特征在于,还包括:
响应于用户通过触控所述第一解析结果所在行的所述操作列中显示的连接控键,对所述第一解析结果执行对象关联操作;
在所述自定义规则集中添加与所述连接事件相关的第二解析规则。
10.根据权利要求9所述的方法,其特征在于,对所述第一解析结果执行对象关联操作,包括:
获取与所述键值对的值关联的连接对象;
在所述可视化表格中新增基于所述连接对象创建的键值对。
11.根据权利要求1至10中任一项所述的方法,其特征在于,每行还包含有:用于显示所述数据列中的所述日志样本或所述第一解析结果来源信息的来源列;以及
所述方法,还包括:
将所述第一配置参数和/或所述第一解析结果的解析源头数据的字段名作为所述来源信息显示在所述第一解析结果所在行的所述来源列中;
其中,所述第一解析结果的解析源头数据即所述日志样本。
12.根据权利要求1至10中任一项所述的方法,其特征在于,每行还包含有:用于显示所述数据列中的所述日志样本或所述第一解析结果的数据类型的类型列;以及
所述方法,还包括:
获取所述第一解析结果所属数据类型;
将所述第一解析结果所属数据类型显示在所述第一解析结果所在行的所述类型列中。
13.根据权利要求1至10中任一项所述的方法,其特征在于,每行还包含有:用于显示所述数据列中的所述日志样本或所述第一解析结果是否被禁用的禁用提示列;以及
所述方法,还包括:
当所述第一配置参数中包含有第一解析结果禁用配置信息时,在所述第一解析结果所在行的所述禁用提示列中显示禁用提示信息。
14.根据权利要求13所述的方法,其特征在于,还包括:
在所述可视化表格周围显示禁用字段开关控键;
监听到所述用户触控所述禁用字段开关控键至开状态时,隐藏所述可视化表格中所述禁用提示列中未显示有禁用提示信息的行。
15.根据权利要求1至10中任一项所述的方法,其特征在于,还包括:
响应于用户针对所述第一解析结果触发的第二解析规则配置事件,在所述自定义规则集中添加基于所述第二解析规则配置事件中用户自定义的第二配置参数生成的第三解析规则;
根据所述第三解析规则,对所述第一解析结果进行解析得到第二解析结果;
在所述可视化表格的空闲行中展示所述第二解析结果。
16.根据权利要求1至10中任一项所述的方法,其特征在于,还包括:
响应于用户基于所述可视化表格中显示的内容触发的确认事件,向服务端发送所述自定义规则集,以使所述服务端根据所述规则自定义规则集中包含的至少一个解析规则,对批量日志数据进行解析以得到各日志数据对应的结构化键值对。
17.一种日志解析方法,其特征在于,包括:
接收到客户端在用户针对可视化表格中显示的日志样本触发的第一解析规则配置事件后发送的第一解析规则自定义请求时,获取在所述第一解析规则配置事件中用户自定义的第一配置参数;
在所述日志样本所属类型对应的自定义规则集中添加根据所述第一配置参数生成的第一解析规则;
将根据所述第一解析规则对所述日志样本进行解析得到的第一解析结果反馈至所述客户端,以在所述客户端的可视化表格的空闲行中展示;
其中,所述可视化表格包含有多行;每行至少包含有:用于显示所述日志样本或所述第一解析结果的数据列以及显示有至少一个交互控键的操作列;所述操作列中至少包含有切分控键;
所述第一配置参数至少包含有:切分规则信息;所述第一解析结果为键值对。
18.根据权利要求17所述的方法,其特征在于,还包括:
接收所述客户端在用户针对所述可视化表格中显示的内容触发的确认事件后发送的规则确认请求;
将所述日志样本所属类型对应的自定义规则集中包含的至少一个解析规则作为批量解析与所述日志样本同属一个类型的日志数据的通用规则。
19.根据权利要求17或18所述的方法,其特征在于,所述第一解析规则为:单分隔符切分规则、多分隔符切分规则、顺序切分规则、K-V切分规则或JSON切分规则。
20.根据权利要求17或18所述的方法,其特征在于,若所述第一配置参数包含的所述切分规则信息为单字符切分规则、多字符切分规则、顺序切分规则或K-V切分规则,则所述第一配置参数还包含有:分隔符信息。
21.根据权利要求17或18所述的方法,其特征在于,所述第一配置参数还包括:第一解析结果可用/禁用配置信息和/或过滤规则信息。
22.根据权利要求17或18所述的方法,其特征在于,还包括:
接收所述客户端在用户针对所述第一配置参数触发的修改事件后发送的修改请求;
基于所述用户对所述第一配置参数的修改内容,调整所述第一解析规则。
23.根据权利要求17或18所述的方法,其特征在于,还包括:
接收到所述客户端在用户触发删除所述第一解析结果的删除事件后发送的删除请求时,将所述第一解析规则从所述自定义规则集中去除。
24.根据权利要求17或18所述的方法,其特征在于,还包括:
接收到所述客户端在用户触发对所述键值对的值执行对象关联操作的连接事件后发送的连接请求时,获取与所述键值对的值关联的连接对象;
向所述客户端反馈所述连接对象,以在所述客户端的所述可视化表格中新增基于所述连接对象创建的键值对;
在所述自定义规则集中添加与所述连接事件相关的第二解析规则。
25.根据权利要求17或18所述的方法,其特征在于,还包括:
接收到所述客户端在用户针对所述第一解析结果触发的第二解析规则配置事件后发送的第二规则自定义请求时,获取所述第二解析规则配置事件中用户自定义的第二配置参数;
在自定义规则集中添加基于所述第二配置参数生成的第三解析规则;
根据所述第三解析规则,对所述第一解析结果进行解析得到第二解析结果;
将所述第二解析结果反馈至所述客户端,以在所述客户端的可视化表格的空闲行中展示所述第二解析结果。
26.一种日志解析方法,其特征在于,包括:
监听到用户针对可视化表格中显示的日志样本触发的第一解析规则配置事件后,向服务端发送第一规则自定义请求,以使服务端获取所述第一解析规则配置事件中用户自定义的第一配置参数并在所述日志样本所属类型对应的自定义规则集中添加基于所述第一配置参数生成的第一解析规则;
接收所述服务端反馈的根据所述第一解析规则对所述日志样本进行解析得到第一解析结果;
在所述可视化表格的空闲行中显示所述第一解析结果;
其中,所述可视化表格包含有多行;每行至少包含有:用于显示所述日志样本或所述第一解析结果的数据列以及显示有至少一个交互控键的操作列;所述操作列中至少包含有切分控键;
所述第一配置参数至少包含有:切分规则信息;所述第一解析结果为键值对。
27.根据权利要求26所述的方法,其特征在于,还包括:
监听到用户针对所述可视化表格中显示的内容触发的确认事件后,向所述服务端发送规则确认请求,以使所述服务端将所述日志样本所属类型对应的自定义规则集中包含的至少一个解析规则作为批量解析与所述日志样本同属一个类型的日志数据的通用规则。
28.根据权利要求26或27所述的方法,其特征在于,还包括:
监听到用户针对所述第一配置参数触发的修改事件后,向所述服务端发送携带有用户修改内容的修改请求,以使所述服务端基于所述修改内容调整所述第一解析规则。
29.根据权利要求26或27所述的方法,其特征在于,还包括:
监听到用户针对所述第一解析结果触发的删除事件后,向所述服务端发送携带有删除对象的删除请求,以使所述服务端根据所述删除对象,将与所述删除对象关联的所述第一解析规则从所述自定义规则集中去除。
30.根据权利要求26或27所述的方法,其特征在于,还包括:
监听到用户触发对所述键值对的值执行对象关联操作的连接事件后,向所述服务端发送连接请求,以使所述服务端获取与所述键值对的值关联的连接对象;
在所述可视化表格中新增基于所述服务端反馈的所述连接对象创建的键值对。
31.根据权利要求26或27所述的方法,其特征在于,还包括:
监听到用户针对所述第一解析结果触发的第二解析规则配置事件后,向所述服务端发送第二规则自定义请求,以使所述服务端获取所述第二解析规则配置事件中用户自定义的第二配置参数并在所述日志样本所属类型对应的自定义规则集中添加基于所述第二配置参数生成的第三解析规则;
接收所述服务端反馈的根据所述第三解析规则对所述第一解析结果进行解析得到的第二解析结果;
在所述可视化表格的空闲行中显示所述第二解析结果。
32.一种日志解析系统,其特征在于,包括:
客户端,用于监听到用户针对可视化表格中显示的日志样本触发的第一解析规则配置事件后,向服务端发送第一规则自定义请求;以及接收所述服务端反馈的第一解析结果,以在所述可视化表格的空闲行中展示;
服务端,用于接收到所述第一规则自定义请求时,获取在所述第一解析规则配置事件中用户自定义的第一配置参数;在所述日志样本所属类型对应的自定义规则集中添加根据所述第一配置参数生成的第一解析规则;根据所述第一解析规则,对所述日志样本进行解析得到的第一解析结果;将所述第一解析结果反馈至所述客户端;
其中,所述可视化表格包含有多行;每行至少包含有:用于显示所述日志样本或所述第一解析结果的数据列以及显示有至少一个交互控键的操作列;所述操作列中至少包含有切分控键;
所述第一配置参数至少包含有:切分规则信息;所述第一解析结果为键值对。
33.根据权利要求32所述的日志解析系统,其特征在于,
所述客户端,还用于监听到用户针对所述可视化表格中显示的内容触发的确认事件后,向所述服务端发送规则确认请求;
所述服务端,还用于接收到所述规则确认请求后,将所述日志样本所属类型对应的自定义规则集中包含的至少一个解析规则作为批量解析与所述日志样本同属一个类型的日志数据的通用规则。
34.一种客户端设备,其特征在于,包括:第一存储器、第一处理器及第一显示器;其中,
所述第一存储器,用于存储程序;
所述第一处理器,与所述第一存储器耦合,用于执行所述第一存储器中存储的所述程序,以用于:
响应于用户针对可视化表格中显示的日志样本触发的第一解析规则配置事件,在所述日志样本所属类型对应的自定义规则集中添加基于所述第一解析规则配置事件中用户自定义的第一配置参数生成的第一解析规则;
根据所述第一解析规则,对所述日志样本进行解析得到第一解析结果;
所述第一显示器,与所述第一处理器耦合,以用于在所述可视化表格的空闲行中展示所述第一解析结果;
其中,所述可视化表格包含有多行;每行至少包含有:用于显示所述日志样本或所述第一解析结果的数据列以及显示有至少一个交互控键的操作列;所述操作列中至少包含有切分控键;
所述第一配置参数至少包含有:切分规则信息;所述第一解析结果为键值对。
35.一种服务端设备,其特征在于,包括:第二存储器和第二处理器,其中,
所述第二存储器,用于存储程序;
所述第二处理器,与所述第二存储器耦合,用于执行所述第二存储器中存储的所述程序,以用于:
接收到客户端在用户针对可视化表格中显示的日志样本触发的第一解析规则配置事件后发送的第一解析规则自定义请求时,获取在所述第一解析规则配置事件中用户自定义的第一配置参数;
在所述日志样本所属类型对应的自定义规则集中添加根据所述第一配置参数生成的第一解析规则;
将根据所述第一解析规则对所述日志样本进行解析得到的第一解析结果反馈至所述客户端,以在所述客户端的可视化表格的空闲行中展示;
其中,所述可视化表格包含有多行;每行至少包含有:用于显示所述日志样本或所述第一解析结果的数据列以及显示有至少一个交互控键的操作列;所述操作列中至少包含有切分控键;
所述第一配置参数至少包含有:切分规则信息;所述第一解析结果为键值对。
36.一种客户端设备,其特征在于,包括:第三存储器、第三处理器及第二显示器,其中,
所述第三存储器,用于存储程序;
所述第三处理器,与所述第三存储器耦合,用于执行所述第三存储器中存储的所述程序,以用于:
监听到用户针对可视化表格中显示的日志样本触发的第一解析规则配置事件后,向服务端发送第一规则自定义请求,以使服务端获取所述第一解析规则配置事件中用户自定义的第一配置参数并在所述日志样本所属类型对应的自定义规则集中添加基于所述第一配置参数生成的第一解析规则;
接收所述服务端反馈的根据所述第一解析规则对所述日志样本进行解析得到的第一解析结果;
所述第二显示器,与所述第三处理器耦合,用于在所述可视化表格的空闲行中显示所述第一解析结果;
其中,所述可视化表格包含有多行;每行至少包含有:用于显示所述日志样本或所述第一解析结果的数据列以及显示有至少一个交互控键的操作列;所述操作列中至少包含有切分控键;
所述第一配置参数至少包含有:切分规则信息;所述第一解析结果为键值对。
CN201810183464.9A 2018-03-06 2018-03-06 日志解析方法、系统及设备 Active CN110309113B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810183464.9A CN110309113B (zh) 2018-03-06 2018-03-06 日志解析方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810183464.9A CN110309113B (zh) 2018-03-06 2018-03-06 日志解析方法、系统及设备

Publications (2)

Publication Number Publication Date
CN110309113A CN110309113A (zh) 2019-10-08
CN110309113B true CN110309113B (zh) 2023-05-26

Family

ID=68073630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810183464.9A Active CN110309113B (zh) 2018-03-06 2018-03-06 日志解析方法、系统及设备

Country Status (1)

Country Link
CN (1) CN110309113B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110912782B (zh) * 2019-12-17 2022-08-16 锐捷网络股份有限公司 一种数据采集方法、装置及存储介质
CN111061696B (zh) * 2019-12-17 2023-03-31 中国银行股份有限公司 一种交易报文日志的解析方法及装置
CN111125026A (zh) * 2019-12-23 2020-05-08 京东数字科技控股有限公司 流水文件的分析处理方法、装置、设备和存储介质
CN111367874B (zh) * 2020-02-28 2023-11-14 绿盟科技集团股份有限公司 一种日志处理方法、装置、介质和设备
CN111930586B (zh) * 2020-06-17 2022-05-17 珠海格力电器股份有限公司 一种获取数据的方法、装置、设备及计算机可读介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102768636A (zh) * 2011-05-05 2012-11-07 阿里巴巴集团控股有限公司 一种日志解析方法及装置
CN106055450A (zh) * 2016-05-20 2016-10-26 北京神州绿盟信息安全科技股份有限公司 一种二进制日志解析方法及装置
CN106055585A (zh) * 2016-05-20 2016-10-26 北京神州绿盟信息安全科技股份有限公司 一种日志解析方法及装置
CN106294673A (zh) * 2016-08-08 2017-01-04 杭州玳数科技有限公司 一种用户自定义规则实时解析日志数据的方法与系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8381193B2 (en) * 2007-09-06 2013-02-19 International Business Machines Corporation Apparatus, system, and method for visual log analysis
US10592521B2 (en) * 2015-04-03 2020-03-17 Oracle International Corporation Method and system for implementing target model configuration metadata for a log analytics system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102768636A (zh) * 2011-05-05 2012-11-07 阿里巴巴集团控股有限公司 一种日志解析方法及装置
CN106055450A (zh) * 2016-05-20 2016-10-26 北京神州绿盟信息安全科技股份有限公司 一种二进制日志解析方法及装置
CN106055585A (zh) * 2016-05-20 2016-10-26 北京神州绿盟信息安全科技股份有限公司 一种日志解析方法及装置
CN106294673A (zh) * 2016-08-08 2017-01-04 杭州玳数科技有限公司 一种用户自定义规则实时解析日志数据的方法与系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于微服务架构的日志监控系统的设计与实现;张振等;《软件》;20171115(第11期);全文 *

Also Published As

Publication number Publication date
CN110309113A (zh) 2019-10-08

Similar Documents

Publication Publication Date Title
CN110309113B (zh) 日志解析方法、系统及设备
US11226977B1 (en) Application of event subtypes defined by user-specified examples
US10824691B2 (en) Page rendering method, device, and data storage medium
US11789901B2 (en) Source type definition configuration using a graphical user interface
US10554805B2 (en) Information processing method, terminal, and computer-readable storage medium
US11886430B1 (en) Intent-based natural language processing system
CN110347716B (zh) 日志数据处理方法、装置、终端设备及存储介质
US11954127B1 (en) Determining affinities for data set summarizations
US10628771B1 (en) Graphical user interface for visualizing key performance indicators
JP6514244B2 (ja) 差異検出装置及びプログラム
US10175954B2 (en) Method of processing big data, including arranging icons in a workflow GUI by a user, checking process availability and syntax, converting the workflow into execution code, monitoring the workflow, and displaying associated information
US10657206B2 (en) Graphical user interface system and method for natural language generation editing
CN111209309A (zh) 数据流图处理结果确定方法、装置、设备及存储介质
US20190050376A1 (en) Automatic value formatting based on intrinsic structural semantics
CN111200503B (zh) 聊天信息的处理方法、装置及电子设备
KR20100085841A (ko) 데이터 분석 시스템 및 방법
US9395883B1 (en) Systems and method for integration of business analytics and business networking
US11455463B2 (en) Facilitating user interaction in online spreadsheets
EP3987408A1 (en) Regular expression generation using span highlighting alignment
CN113296760A (zh) 模型代码的生成方法、计算机设备及可读存储介质
CN115629990B (zh) 业务测试方法、装置、电子设备及存储介质
US11895237B1 (en) Scaled authentication of endpoint devices
CN105589570A (zh) 一种处理输入错误的方法和装置
CN110780970A (zh) 数据筛选方法、装置、设备及计算机可读存储介质
CN109144809B (zh) 一种焦点变化监控方法、存储介质、电子设备及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant