CN111786814A - 一种日志处理方法和装置 - Google Patents
一种日志处理方法和装置 Download PDFInfo
- Publication number
- CN111786814A CN111786814A CN202010506703.7A CN202010506703A CN111786814A CN 111786814 A CN111786814 A CN 111786814A CN 202010506703 A CN202010506703 A CN 202010506703A CN 111786814 A CN111786814 A CN 111786814A
- Authority
- CN
- China
- Prior art keywords
- log
- content
- abnormal
- processed
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 28
- 230000002159 abnormal effect Effects 0.000 claims abstract description 411
- 238000012545 processing Methods 0.000 claims abstract description 247
- 238000001514 detection method Methods 0.000 claims abstract description 162
- 238000000034 method Methods 0.000 claims description 20
- 238000012216 screening Methods 0.000 claims description 15
- 230000004927 fusion Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 10
- 230000014509 gene expression Effects 0.000 description 8
- 238000011084 recovery Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000001960 triggered effect Effects 0.000 description 5
- 238000009877 rendering Methods 0.000 description 4
- 238000012163 sequencing technique Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
Abstract
本发明实施例公开了一种日志处理方法和装置;本发明实施例在接收终端发送的日志处理请求后,在预设启动服务信息集合中获取设备标识对应的扩展配置信息,将扩展配置信息与预设配置信息进行融合,得到目标配置信息,当接收到终端发送的展示请求时,从设备中读取日志标识对应的待处理日志,并根据检测策略,对待处理日志的内容进行检测,当待处理日志中存在异常内容时,获取待处理日志中的异常内容和异常内容的属性信息,根据修复策略,确定异常内容对应的修复信息,并根据展示请求的类型,将待处理日志、异常内容的属性信息和修复信息作为展示内容在终端进行展示;该方案可以提高对待处理日志的处理效率和准确率。
Description
技术领域
本发明涉及通信技术领域,具体涉及一种日志处理方法和装置。
背景技术
近年来,随着互联网技术的飞速发展,建立了越来越多的大型网络系统,这些网络系统在运行过程中每天都有可能产生大量的日志,而普遍情况下大量日志是没有价值,只有少部分特定的出现错误内容的日志对于系统维护才是有价值,为了将这些少部分有价值的日志筛选并展示出来,现有的技术一般采用日志匹配规则在日志中进行匹配来获取。
在对现有技术的研究和实践过程中,本发明的发明人发现采用日志匹配规则来匹配特定的日志信息时,日志匹配规则比较单一,而且也只能对日志进行简单解析处理,因此,会导致日志处理过程中处理效率和准确率大大降低。
发明内容
本发明实施例提供一种日志处理方法和装置。可以提高日志处理过程中的处理效率和准确率。
一种日志处理方法,包括:
接收终端发送的日志处理请求,所述日志处理请求携带待处理日志所在设备的设备标识;
在预设启动服务信息集合中获取所述设备标识对应的扩展配置信息;
将所述扩展配置信息与预设配置信息进行融合,得到目标配置信息,所述目标配置信息包括待处理日志的日志标识、检测策略和修复策略;
当接收到所述终端发送的展示请求时,从所述设备中读取所述日志标识对应的待处理日志,并根据所述检测策略,对所述待处理日志的内容进行检测;
当所述待处理日志中存在异常内容时,获取所述待处理日志中的异常内容和所述异常内容的属性信息;
根据所述修复策略,确定所述异常内容对应的修复信息,并根据所述展示请求的类型,将所述待处理日志、异常内容的属性信息和修复信息作为展示内容在所述终端进行展示。
可选的,还可以提供另一种日志处理方法,包括:
向服务器发送日志处理请求,使得所述服务器根据目标配置信息对待处理日志的内容进行检测,所述目标配置信息为扩展配置信息和预设配置信息融合而成;
向服务器发送页面展示请求,以生成日志处理页面;
向服务器发送内容展示请求,并从所述服务器中获取待处理日志检测处理后的展示内容,所述展示内容包括所述待处理日志、异常内容的属性信息和修复信息;
在所述日志处理页面上对所述展示内容进行展示。
相应的,本发明实施例提供一种日志处理装置,包括:
接收单元,用于接收终端发送的日志处理请求,所述日志处理请求携带待处理日志所在设备的设备标识;
第一获取单元,在预设启动服务信息集合中获取所述设备标识对应的扩展配置信息;
融合单元,用于将所述扩展配置信息与预设配置信息进行融合,得到目标配置信息,所述目标配置信息包括待处理日志的日志标识、检测策略和修复策略;
检测单元,用于当接收到所述终端发送的展示请求时,从所述设备中读取所述日志标识对应的待处理日志,并根据所述检测策略,对所述待处理日志的内容进行检测;
第二获取单元,用于当所述待处理日志中存在异常内容时,获取所述待处理日志中的异常内容和所述异常内容的属性信息;
确定单元,用于根据所述修复策略,确定所述异常内容对应的修复信息,并根据所述展示请求的类型,将所述待处理日志、异常内容的属性信息和修复信息作为展示内容在所述终端进行展示。
可选的,还可以提供另一种日志处理装置,包括:
发送单元,用于向服务器发送日志处理请求,使得所述服务器根据目标配置信息对待处理日志的内容进行检测,所述目标配置信息为扩展配置信息和预设配置信息融合而成;
生成单元,用于向服务器发送页面展示请求,以生成日志处理页面;
第三获取单元,用于向服务器发送内容展示请求,并从所述服务器中获取待处理日志检测处理后的展示内容,所述展示内容包括所述待处理日志、异常内容的属性信息和修复信息;
展示单元,用于在所述日志处理页面上对所述展示内容进行展示。
可选的,在一些实施例中,所述融合单元,具体可以用于在所述扩展配置信息中识别出扩展日志标识、扩展检测策略和扩展修复策略;将所述预设配置信息中的预设日志标识替换为所述扩展日志标识,得到待处理日志的日志标识;将所述扩展检测策略和扩展修复策略与预设配置信息中的预设检测策略和预设修复策略进行比对,以得到待处理日志的检测策略和修复策略,并将所述待处理日志的日志标识、检测策略和修复策略作为目标配置信息。
可选的,在一些实施例中,所述融合单元,具体可以用于遍历所述扩展检测策略、扩展修复策略、预设检测策略和预设修复策略,以将所述扩展检测策略与预设检测策略和扩展修复策略与预设修复策略分别进行比较;当所述扩展检测策略与预设检测策略相同,且所述扩展修复策略与预设修复策略相同时,将所述扩展检测策略和扩展修复策略作为所述待处理日志的检测策略和修复策略;当所述扩展检测策略与预设检测策略不同,或扩展修复策略与预设修复策略不同时,根据所述扩展检测策略和扩展修复策略,对所述预设检测策略和预设修复策略进行扩展,得到所述待处理日志的检测策略和修复策略。
可选的,在一些实施例中,所述检测单元,具体可以用于在所述检测策略中筛选出异常内容对应的匹配信息;将所述匹配信息与所述待处理日志的内容进行正则匹配;当存在与匹配信息匹配成功的内容时,确定所述待处理日志中存在异常内容;所述当所述待处理日志中存在异常内容时,获取所述待处理日志中的异常内容和所述异常内容的属性信息,包括:当所述待处理日志中存在异常内容时,将与所述匹配信息匹配成功的内容作为待处理日志的异常内容,并对所述异常内容进行解析,得到所述异常内容的属性信息。
可选的,在一些实施例中,所述确定单元,具体可以用于根据所述异常内容的属性信息,确定所述异常内容的异常原因;在所述修复信息集合中筛选出所述异常原因对应的修复信息,将所述修复信息作为所述异常内容对应的修复信息;在所述展示参数集合中筛选出所述属性信息对应的展示参数;根据所述展示请求的类型和展示参数,将所述待处理日志、异常内容的属性信息、异常原因和修复信息作为展示内容发送至所述终端进行展示。
可选的,在一些实施例中,所述确定单元,具体可以用于当所述展示请求为页面展示请求时,将预设日志处理页面信息发送至所述终端用于生成日志处理页面;当所述展示请求为列表内容展示请求时,根据所述展示参数,将所述待处理日志和异常内容的异常类型作为第一展示内容发送至所述终端进行展示;当所述展示请求为全部内容展示请求时,根据异常时间,对所述待处理日志的异常内容进行排序,将排序后异常内容、排序后异常内容的属性信息、异常原因和修复信息作为第二展示内容发送至所述终端进行展示;当所述展示请求的类型为目标内容展示请求,且所述目标内容展示请求携带待处理日志标识和目标异常类型时,在所述待处理日志中筛选出所述待处理日志标识对应的目标日志,在所述目标日志中筛选出所述目标异常类型对应的目标异常内容,将所述目标异常内容对应的属性信息、异常原因和修复信息作为第三展示内容发送至所述终端进行展示。
可选的,在一些实施例中,所述第三获取单元,具体可以用于向所述服务器发送列表内容展示请求,并接收所述服务器返回的第一展示内容,所述第一展示内容包括待处理日志和异常内容的异常类型;向所述服务器发送全部内容展示请求,并接收所述服务器返回的第二展示内容,所述第二展示内容包括排序后异常内容、排序后异常内容的属性信息、异常原因和修复信息;向所述服务器发送目标内容展示请求,并接收所述服务器返回的第三展示内容,所述第三展示内容包括目标异常内容对应的属性信息、异常原因和修复信息,所述第三展示请求携带待处理日志标识和目标异常类型。
可选的,在一些实施例中,所述展示单元,具体可以用于将待处理日志和异常内容的异常类型添加至空白的待处理日志列表和空白的异常类型列表,得到待处理日志列表和异常类型列表;根据所述展示参数,在所述日志处理页面上生成至少一个展示区域,并在所述展示区域展示所述排序后异常内容、排序后异常内容的属性信息、异常原因和修复信息;当检测到用户针对所述待处理日志列表和异常类型列表的选择操作,且检测到用户针对所述搜索控件的触发操作时,在所述展示区域展示目标异常内容对应的属性信息、异常原因和修复信息。
此外,本发明实施例还提供一种电子设备,包括处理器和存储器,所述存储器存储有应用程序,所述处理器用于运行所述存储器内的应用程序实现本发明实施例提供的日志处理方法。
此外,本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行本发明实施例所提供的任一种日志处理方法中的步骤。
本发明实施例在接收终端发送的日志处理请求后,该日志处理请求携带待处理日志所在设备的设备标识,在预设启动服务信息集合中获取设备标识对应的扩展配置信息,将扩展配置信息与预设配置信息进行融合,得到目标配置信息,该目标配置信息包括待处理日志的日志标识、检测策略和修复策略,当接收到终端发送的展示请求时,从设备中读取所述日志标识对应的待处理日志,并根据检测策略,对待处理日志的内容进行检测,当待处理日志中存在异常内容时,获取待处理日志中的异常内容和异常内容的属性信息,根据修复策略,确定异常内容对应的修复信息,并根据展示请求的类型,将待处理日志、异常内容的属性信息和修复信息作为展示内容在终端进行展示;由于该方案支持扩展配置信息,将扩展配置信息与预设配置信息进行融合,可以实现对日志匹配规则进行扩展,而且对待处理日志进行解析后还可以得到针对异常内容的修复信息,可以大大提高对待处理日志的处理效率和准确率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的日志处理的场景示意图;
图2是本发明实施例提供的日志处理方法的流程示意图;
图3是本发明实施例提供的日志处理方法中的服务器工作的流程示意图;
图4是本发明实施例提供的日志处理方法的另一流程示意图;
图5是本发明实施例提供的日志处理页面的初始示意图;
图6是本发明实施例提供的日志处理页面中待处理日志列表和异常类型列表的示意图;
图7是本发明实施例提供的日志处理页面的提示信息的示意图;
图8是本发明实施例提供的日志处理页面展示排序后异常内容的示意图;
图9是本发明实施例提供的日志处理页面展示目标异常内容的示意图;
图10是本发明实施例提供的终端工作的流程示意图;
图11是本发明实施例提供的日志处理中的交互示意图;
图12是本发明实施例提供的位置信息展示的示意图;
图13是本发明实施例提供的日志处理系统的架构示意图;
图14是本发明实施例提供的第一日志处理装置的结构示意图;
图15是本发明实施例提供的第一日志处理装置的融合单元的结构示意图;
图16是本发明实施例提供的第二日志处理装置的结构示意图;
图17是本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供一种日志处理方法、装置和计算机可读存储介质。具体地,本发明实施例提供适用于第一电子设备的日志处理装置(为了区分可以称为第一日志处理装置)中,以及适用于第二电子设备的日志处理装置(为了区分可以称为第二日志处理装置)。其中,第一电子设备可以为服务器等网络侧设备。其中,第二计算机设备可以为终端等设备,该终端可以为手机、平板电脑、笔记本电脑等设备。
其中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、网络加速服务(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
例如,参见图1,本发明实施例提供的日志处理系统包括终端和服务器等,终端与服务器之间通过网络连接,比如,通过有线或无线网络连接等,其中,第一日志处理装置集成在服务器中,第二日志处理装置集成在终端中,比如,以客户端的形式集成在终端中。
其中,集成在服务器的第一日志处理装置具体可以用于,接收终端发送的日志处理请求,该日志处理请求携带待处理日志所在设备的设备标识,在预设启动服务信息集合中获取设备标识对应的扩展配置信息,将扩展配置信息与预设配置信息进行融合,得到目标配置信息,该目标配置信息包括待处理日志的日志标识、检测策略和修复策略,从设备中读取日志标识对应的待处理日志,并根据检测策略,对待处理日志的内容进行检测,当待处理日志中存在异常内容时,获取待处理日志中的异常内容和异常内容的属性信息,根据修复策略,确定异常内容对应的修复信息,并将待处理日志、异常内容的属性信息和修复信息作为展示内容在终端进行展示。
其中,集成在终端的第二日志处理装置具体可以用于,向服务器发送日志处理请求,使得服务器根据目标配置信息对待处理日志的内容进行检测,该目标配置信息为扩展配置信息和预设配置信息融合而成,向服务器发送页面展示请求,以生成日志处理页面,向服务器发送内容展示请求,并从服务器中获取待处理日志检测处理后的展示内容,该展示内容包括所述待处理日志、异常内容的属性信息和修复信息,在日志处理页面上对展示内容进行展示。
以下分别进行详细说明。需要说明的是,以下实施例的描述顺序不作为对实施例优选顺序的限定。
本实施例将从第一日志处理装置的角度进行描述,该第一日志处理装置具体可以集成在电子设备中,该电子设备可以是服务器等设备。
一种日志处理方法,包括:
接收终端发送的日志处理请求,该日志处理请求携带待处理日志所在设备的设备标识,在预设启动服务信息集合中获取设备标识对应的扩展配置信息,将扩展配置信息与预设配置信息进行融合,得到目标配置信息,该目标配置信息包括待处理日志的日志标识、检测策略和修复策略,从设备中读取日志标识对应的待处理日志,并根据检测策略,对待处理日志的内容进行检测,当待处理日志中存在异常内容时,获取待处理日志中的异常内容和异常内容的属性信息,根据修复策略,确定异常内容对应的修复信息,并将待处理日志、异常内容的属性信息和修复信息作为展示内容在终端进行展示。
如图2所示,应用在第一日志处理装置上的日志处理方法的具体流程如下:
101、接收终端发送的日志处理请求。
其中,日志处理请求携带待处理日志所在设备的设备标识。比如,该设备标识可以为存储日志的设备的一些特定标识,譬如,设备地址和设备接收外部请求的接口标识等标识。
例如,可以直接接收终端发送的日志处理请求,比如,终端生成日志处理请求,将待处理日志所在设备的网络地址和接口信息等添加至日志处理请求,然后,终端直接将该日志处理请求发送至第一日志处理装置,第一日志处理装置就可以直接接收到日志处理请求。如果设备标识的数据的内存比较大时,终端还可以发送日志处理请求,该日志处理请求中携带设备标识在第三方数据库中的存储地址,第一日志处理装置在日志处理请求中提取出存储地址,根据存储地址,在第三方数据库中获取存储日志设备的设备标识。获取到设备标识后,还可以向终端发送反馈信息。
102、在预设启动服务信息集合中获取设备标识对应的扩展配置信息。
其中,扩展配置信息可以为对预设配置信息的扩展信息。比如,预设配置信息中存在10条配置参数,则扩展配置信息中可以包括这10条配置参数以外的配置参数,譬如,扩展配置信息也可以存在10条配置参数,但是这10条配置参数至少存在1条配置参数时在预设配置信息中不存在的。
例如,当接收到日志处理请求后,触发了第一日志处理装置启动日志处理服务,在启动日志处理服务之前需要在预设启动服务信息集合中查询是否存在存储待处理日志设备的设备标识对应的扩展配置信息,比如,可以读取日志处理服务的启动目录,在该启动目录中查询是否存在设备标识对应的目标文件夹,该目标文件夹用于存储用户自行扩展的扩展配置信息,当查询到存在这个目标文件夹时,就可以在该目标文件夹中获取设备标识对应的扩展配置信息。该扩展配置信息的文件格式可以为JSON(一种轻量化数据)格式。扩展配置信息中主要可以包括一些配置参数的键值,该配置参数可以为用户自定义的日志访问路径、日志文件名、路由匹配前缀和日志匹配规则(匹配条件)等参数。
103、将扩展配置信息与预设配置信息进行融合,得到目标配置信息。
其中,目标配置信息可以包括待处理日志的日志标识、检测策略和修复策略等。日志标识可以为需要处理的日志的日志文件名,检测策略以为对待处理日志的内容进行检测时的一些检测规则或者匹配信息,修复策略可以为针对检测出的异常内容的修复规则或者修复信息等。
例如,可以在扩展配置信息中识别出扩展日志标识、扩展检测策略和扩展修复策略,将预设配置信息中的预设日志标识替换为扩展日志标识,得到待处理日志的日志标识,将扩展检测策略和扩展修复策略与预设配置信息中的预设检测策略和预设修复策略进行对比,以得到待处理日志的检测策略和修复策略,并将待处理日志的日志标识、检测策略和修复策略作为目标配置信息。具体可以如下:
S1、在扩展配置信息中识别出扩展日志标识、扩展检测策略和扩展修复策略。
例如,对扩展配置信息中内容进行识别,根据识别结果,确定出扩展日志标识、扩展检测策略和扩展修复策略,比如,在扩展配置信息中识别出用户自定义的日志访问路径、日志文件名、路由匹配前缀和日志匹配规则,然后,将日志访问路径、日志文件名和路由匹配前缀作为扩展日志标识,在日志匹配规则中筛选出匹配信息和修复信息等信息,将匹配信息作为扩展检测策略,将修复信息作为扩展修复策略。
S2、将预设配置信息中的预设日志标识替换为扩展日志标识,得到待处理日志的日志标识。
例如,将预设配置信息中内置的预设日志标识替换为扩展配置信息中用户自定义的扩展日志标识,比如,将预设配置信息中内置的日志访问路径、日志文件名和路由匹配前缀替换为扩展配置信息中用户自定义的日志访问路径、日志文件名和路由匹配前缀等标识信息,就可以得到待处理日志的日志访问路径、日志文件名和路由匹配前缀替等日志标识。
S3、将扩展检测策略和扩展修复策略与预设配置信息中的预设检测策略和预设修复策略进行比对,以得到待处理日志的检测策略和修复策略,并将待处理日志的日志标识、检测策略和修复策略作为目标配置信息。
例如,遍历扩展检测策略、扩展修复策略、预设检测策略和预设修复策略,以将扩展检测策略与预设检测策略和扩展修复策略与预设修复策略分别进行比较,比如,分别遍历扩展检测策略和预设检测策略内的匹配信息,以比较扩展检测策略和预设检测策略之间是否相同。分别遍历扩展修复策略和预设修复策略的修复信息,以比较扩展修复策略和预设修复策略之间是否相同。比如,主要可以比较扩展修复策略中的修复信息与预设修复策略中的修复信息是否相同。当扩展检测策略与预设检测策略相同,且扩展修复策略与预设修复策略相同时,将扩展检测策略和扩展修复策略作为待处理日志的检测策略和修复策略,比如,当扩展检测策与预设检测策略中的匹配信息相同,且扩展修复策略与预设修复策略中的修复信息相同时,直接将扩展检测策略和扩展修复策略中的匹配信息和修复信息的键值覆盖预设检测策略的匹配信息和预设修复策略的修复信息,将扩展检测策略和扩展修复策略中的匹配信息和修复信息的键值作为待处理日志的检测策略和修复策略。当扩展检测策略与预设检测策略不同,或者扩展修复策略与预设修复策略不同时,根据扩展检测策略和扩展修复策略,对预设检测策略和预设修复策略进行扩展,比如,扩展检测策略中包含预设检测策略中没有的扩展匹配信息时,就可以将扩展匹配信息添加至预设检测策略的匹配信息,得到待处理日志的检测策略,或者扩展修复策略中包含预设修复策略中没有的扩展修复信息时,将可以将扩展修复信息添加至预设修复策略的修复信息中,得到待处理日志的修复信息。
可选的,在没有获取到设备标识对应的扩展配置信息这种情况下,将可以直接读取第一日志处理装置内置的预设配置信息,并将预设配置信息作为目标配置信息。比如,可以内置四种常见的异常类型的异常内容的待处理日志标识、检测策略和修复策略,具体可以如下:
读取启动目录下config文件夹中的internalPattern.js文件,以获取系统内置的预设配置信息。内置的预设配置信息默认配置的logDir(日志访问路径)为“logs”,fileName(日志文件名)为“*log*”的正则表达式,routerMatchPrefix(路由匹配前缀)为“/”,rules(日志匹配规则,可以包括检测策略的匹配信息和修复策略的修复信息等)配置了以下四种键的规则集合,用于匹配不同异常类型的待处理日志中的异常内容:
(1)sql:用于匹配数据库语法异常类型的异常内容,其是包含了color、typeLabel和patternList三个键的对象,其中color、typeLabel取值分别为“#5cdbd3”、“sql语法错误”,patternList则是用于匹配数据库错误类型日志的一系列规则集合,其中包含对数据库错误类型,如“引用不存在的SQL表”、“引用SQL表中不存在的列”、“多表连查引用字段重复”和“主键唯一值重复”等语法错误而产生的错误日志的匹配。
(2)es:用于匹配ES检索语法异常类型异常内容,其值对应的数据结构同sql一致。其中color、typeLabel分别取值“#722ed1”、“es查询错误”。而patternList可匹配常见ES错误类型,如“聚类字段类型为text”、“搜索不存在字段”、“引用索引不存在”等。
(3)joi:用于匹配参数类型校验失败的异常类型的异常内容,其值结构同上,其中color、typeLabel分别取值“#ffa940”、“参数校验错误”。patternList可匹配大多数未通过JOI工具校验后产生的错误日志。
(4)internalError:用于匹配系统其他运行时产生的异常类型的异常内容,其值结构同上,其中color、typeLabel分别取值“#f5222d”、“系统内部错误”,patternList集合中设置的正则表达式可以匹配常见的系统错误,如“引用未定义函数”、“引用未定义变量”、“错误将未定义或null的变量转化为对象”、“错误读取undefined变量的第一个元素”、“错误改变常量变量的取值”、“错误读取undefined或null变量的属性”、“请求超时”等错误日志。
因此用户即便不自定义配置信息中的匹配规则,第一日志处理装置也默认支持对常见数据库、检索、参数类型校验以及系统内部其他运行异常(错误)的匹配。
104、当接收到终端发送的展示请求时,从设备中读取日志标识对应的待处理日志,并根据检测策略,对待处理日志的内容进行检测。
例如,当接收到终端发送的展示请求,判断该展示请求的类型,当展示请求为内容展示请求时,在目标配置信息中获取待处理日志的日志标识,在存储有待处理日志的设备中读取该日志标识对应的待处理日志,比如,该日志标识包括日志访问路径、日志文件名和路由匹配前缀,根据这些标识,在设备中读取到待处理日志。当展示请求为页面展示请求时,该页面展示请求携带终端的网络协议(Internet Protocol Address,IP)地址和端口信息等标识,在预设日志处理页面信息发送至终端即可。读取到待处理日志之后,在检测策略中筛选出异常内容对应的匹配信息,比如,可以在检测策略中筛选出经过扩展后的匹配信息,该匹配信息中可以包括多个类型的异常内容的匹配规则,该匹配规则可以包括每个异常类型对应的中文标识,譬如,“sql”类型的异常内容对应的中文标识就可以设置为“sql语法错误”等。该匹配规则还可以包括用于匹配异常内容类型的日志的正则表达式,该正则表达式可以为匹配信息文件中的lineRegxPattern的键值。将匹配信息与待处理日志的内容进行正则匹配,比如,将这些匹配规则对应的键值与待处理日志的内容进行正则匹配。当存在与匹配信息匹配成功的内容时,确定待处理日志中存在异常内容。比如,当存在与匹配规则中异常内容的键值匹配成功的内容,就可以确定待处理日志中存在异常内容。
105、当待处理日志中存在异常内容时,获取待处理日志中的异常内容和异常内容的属性信息。
其中,异常内容的属性信息可以包括异常内容在待处理日志中的位置,异常内容的生成时间(异常时间),异常内容的异常类型,异常内容对应的待处理日志的设备路由等信息。
例如,当待处理日志中存在异常内容时,获取与匹配信息匹配成功的待处理日志的内容,将该内容作为待处理日志的异常内容,并对该异常内容进行解析,得到异常内容的属性信息。比如,当待处理日志中存在异常内容时,将与匹配规则匹配成功的内容作为异常内容,然后,对读取该异常内容,确定与该异常内容正则匹配成功的键值对应的异常类型,就可以得到异常内容的异常类型,同时还可以直接在待处理日志中获取异常内容的位置,异常内容的异常时间和异常内容对应的待处理日志的设备路由等信息。
106、根据修复策略,确定异常内容对应的修复信息,并根据展示请求的类型,将待处理日志、异常内容的属性信息和修复信息作为展示内容在终端进行展示。
其中,修复策略包括修复信息集合和展示参数集合。修复信息集合可可以包括扩展配置信息中的修复信息和预设配置信息中的修复信息。展示参数集合可以包括多种对异常内容及其修复信息进行展示的展示参数,该展示参数可以为在展示时的异常内容及其修复信息的展示颜色、字体大小和展示位置等参数。修复信息可以为针对异常内容产生的修复建议。
例如,根据异常内容的属性信息,确定异常内容的异常原因,比如,可以采用匹配规则中的label对应的键值与异常内容、异常内容的属性信息进行正则匹配,将匹配成功的键值对应的异常原因作为异常内容的异常原因。在修复信息集合中筛选出异常原因对应的修复信息,将该修复信息作为异常内容对应的修复信息。比如,以异常原因为引用未定义变量b为例,在修复信息集合中筛选出未定义函数这个异常原因的键值对应的修复信息,将该修复信息作为异常内容的修复信息,譬如,该修复信息可以为检查引用变量是否存在。在展示参数集合中筛选出属性信息对应的展示参数,比如,根据异常内容的属性信息中的异常类型,在展示参数集合中匹配出异常类型对应的color键值,该键值可以为对应异常类型在终端可视化展示的颜色,支持颜色对应的英文描述、rgb颜色值和十六进制颜色码。例如,“sql”类型对应的color值为字符串“green”,代表数据库类型错误在终端展示节点的颜色为绿色。
根据展示请求的类型和展示参数,将待处理日志、异常内容的属性信息、异常原因和修复信息作为展示内容发送至终端进行展示。比如,当展示请求为页面展示请求时,将预设日志处理页面信息发送至终端用于生成日志处理页面。对于页面展示请求来说,第一日志处理装置无需读取待处理日志,直接将预设日志处理页面信息发送至终端就可以。当展示请求的类型为列表内容展示请求时,根据展示参数,将异常类型和待处理日志作为第一展示内容发送至终端进行展示,当展示请求的类型为全部内容展示请求时,根据异常内容的异常时间,对待处理日志的异常内容进行排序,比如,可以根据异常时间与当前时间的时间差值,从小至大或从大至小进行排序,还可以记录每次接收日志处理请求的时间,在异常内容中筛选出上一次未展示的异常内容,再按照异常时间与当前时间的差值,从小至大或从大至小进行排序,就可以得到排序后异常内容,然后,根据展示参数,将排序后异常内容、排序后异常内容的属性信息、异常原因和修复信息作为第二展示内容发送至终端进行展示。当展示请求的类型为目标内容展示请求时,该第三展示请求携带待处理日志的日志标识和目标异常类型时,在待处理日志中筛选出待处理日志标识对应的目标日志,在目标日志中筛选出目标异常类型对应的目标异常内容,将目标异常内容对应的属性信息、异常原因和修复信息作为第三展示内容发送至终端进行展示,比如,该日志标识可以为某一个待处理日志的文件名称,譬如,可以为A日志,则在待处理日志中筛选出A日志,然后,在A日志中筛选出异常类型B对应的目标异常内容,最后,将目标异常内容对应的属性信息、异常原因和修复信息作为第三展示内容发送至终端进行展示。
其中,对于第一日志处理装置来说,该装置基于标准的浏览器/服务器模式(Browser/Server,B/S)通信协议,利用基于Node平台的Koa(一种开发框架)框架和命令行程序开发技术,实现了第一日志处理装置可以集成Node(一种运行环境)平台中作为Node插件工具,可作为公共插件发布到(Node Package Manager,NPM)上,供Web系统开发人员下载使用,具有平台无关性,易使用,无需依赖任何软件的优势,还可以支持用户自行对配置信息进行扩展。同时预设配置信息中内置多种日志的检测策略和修复策略对应的匹配规则并支持用户扩展,可解析出WEB系统运行时常见的数据库、检索、参数类型校验以及系统内部其他运行错误信息。
因此,对于第一日志处理装置的日志处理方法总的来说,可以看成服务器从预设启动服务集合中查询设备标识对应的扩展配置信息,并根据查询结果来确定目标配置信息,当扩展配置信息不存在时,就可以直接将预设配置信息作为目标配置信息,当扩展配置信息存在时,就需要将扩展配置信息与预设配置信息进行融合,得到目标配置信息。确定目标配置信息之后,就启动了日志处理服务,并监听特定的P和端口对应的终端和终端发送的展示请求,然后,根据展示请求的类型,待处理日志所在的设备中读取待处理日志,并对待处理日志进行解析,得到展示请求对应的展示内容,并将内容发送至终端,如图3所示。
可选的,待处理日志、异常内容的属性信息和修复信息作为展示内容在终端进行展示,具体的展示方式可以参考下面第二日志处理装置展示该展示内容的具体步骤可以包括:
向服务器发送日志处理请求,使得服务器根据目标配置信息对待处理日志的内容进行检测,该目标配置信息为扩展配置信息和预设配置信息融合而成;从服务器中获取待处理日志检测处理后的展示内容,该展示内容包括所述待处理日志、异常内容的属性信息和修复信息,生成日志处理页面,在日志处理页面展示展示内容。
具体的,第二日志处理装置(终端)对展示内容进行展示的过程可以参考下面实施例的介绍,具体的流程可以如图4所示。
107、向服务器发送日志处理请求,使得服务器根据目标配置信息对待处理日志的内容进行检测。
其中,目标配置信息为扩展配置信息和预设配置信息融合而成。
例如,根据存待处理日志设备的设备标识,生产日志处理请求,比如,用户生成日志处理请求,将存储待处理日志设备的设备地址和接口信息等设备标识添加至日志处理请求。将添加设备标识的日志处理请求发送至服务器,使得服务器根据目标配置信息对待处理日志的内容进行检测。
108、向服务器发送页面展示请求,以生成日志处理页面。
例如,向服务器发送页面展示请求,该用户展示请求中携带终端的IP地址和端口信息等,接收服务器针对该页面展示请求返回的预设日志处理页面信息,根据该日志处理页面信息,就可以生成日志处理页面,该日志处理页面包括空白的待处理日志列表、空白的异常类型列表和搜索控件,如图5所示。
109、向服务器发送内容展示请求,并从服务器获取待处理日志检测处理后的展示内容。
其中,展示内容可以包括待处理日志、异常内容的属性信息和修复信息。
例如,向服务器发送列表内容展示请求,并接收服务器返回的第一展示内容,第一展示内容包括异常类型和待处理日志。向服务器发送全部内容展示请求,并接收服务器返回的第二展示内容,该第二展示内容包括排序后异常内容、排序后异常内容的属性信息、异常原因和修复信息。第一展示内容被填充至日志处理页面的空白的待处理日志列表、空白的异常类型列表,就可以得到日志处理页面的待处理日志列表和异常类型列表,当第二展示内容被展示后,用户触发待处理日志列表和异常类型列表的选择操作,且触发搜索控件的搜索操作时,生成目标内容展示请求,该目标内容展示请求携带用户触发待处理日志列表和异常类型列表的选择操作对应的待处理日志标识和目标异常类型,向服务器发送目标内容展示请求,并接收服务器返回的第三展示内容,该第三展示内容包括目标异常内容对应的属性信息、异常原因和修复信息,该第三展示请求携带待处理日志标识和目标异常类型。
110、在日志处理页面上对展示内容进行展示。
例如,当接收到服务器针对列表内容展示请求返回的第一展示内容时,将待处理日志和异常内容的异常类型分别添加至空白的待处理日志列表和空白的异常类型列表,得到待处理日志列表和异常类型列表,比如,将全部待处理日志的文件名填充至空白的待处理日志列表,将异常内容的全部异常类型添加至空白的异常类型列表,得到待处理日志列表和异常类型列表,如图6所示。当没有接收到服务器针对列表内容展示请求返回的第一展示内容时,在日志处理页面生成提示信息,比如,可以展示“暂无数据”的提示信息,如图7所示,并且不再发起全部内容展示请求。在日志处理页面展示待处理日志列表和异常类型列表后,终端可以向服务器发送全部内容展示请求,当接收到服务器针对全部内容展示请求返回的第二展示内容时,根据展示参数,在日志处理页面生成至少一个展示区域,并在展示区域展示排序后异常内容、排序后异常内容的属性信息、异常原因和修复信息,比如,在展示参数中获取每个异常类型的异常内容在展示时需要渲染的渲染参数,譬如,颜色、字体和大小等,然后,对每个待处理日志中的异常内容的属性信息、异常原因和修复信息进行渲染,最后,在展示区域中按照异常内容的排序进行展示,如图8所示。当检测到用户针对待处理日志列表和异常列表的选择操作,且检测到用户针对搜索控件的触发操作时,此时触发目标内容展示请求,然后接收第三展示内容,并在展示区域展示目标异常内容对应的属性信息、异常原因和修复信息。比如,当用户在日志处理页面的待处理日志列表中选择了文件名为“app.error.log”的待处理日志,又在异常类型列表中选择了异常类型为“es查询错误”,并触发了搜索控件时,此时生成目标内容展示请求,该目标内容展示请求携带待处理日志的标识“app.error.log”和“es查询错误”的目标异常类型,然后,接收服务器返回的“app.error.log”对应的目标待处理日志中es查询错误的目标异常内容的属性信息、异常原因和修复信息,将目标异常内容的属性信息、异常原因和修复信息作为第三展示内容,在展示过程中,还是可以按照第二展示内容中的异常内容的排序结果进行展示,如图9所示。在展示区域展示第三展示内容时,可以每一个目标异常内容占据一个展示区域,还可以将全部的目标异常内容在一个展示区域内展示。在每一个目标异常内容所处于的展示区域中还可以包括一个查询控件,当检测到用户针对该查询控件的触发操作时,还可以在该展示区域中显示该异常内容对应的待处理日志的原始日志。有时候返回的目标异常内容的数据过大时,为了防止页面一次性渲染太多数据而卡顿,还可以在日志处理页面中采用滚动加载的方式对异常内容展示的呈现进行优化。
其中,对于展示请求的发送,发送这些展示请求的触发条件存在关联关系,向服务器发送页面展示请求之后,就可以触发在生成日志处理页面,在生成日志处理页面之后,就触发发送列表内容展示请求,然后,当获取到服务器返回的第一展示内容之后,就可以在日志处理页面生成待处理日志列表和异常类型列表,此时,又可以触发发送全部内容展示请求,并接收服务器返回的第二展示内容,然后,将第二展示内容在日志处理页面进行展示,当展示完成后,才允许用户通过选择待处理日志列表、异常类型列表和搜索控件触发生成目标内容展示请求,并将目标内容展示请求发送至服务器,然后,接收到服务器返回的第三展示内容。如果终端发送列表内容展示请求后,没有得到服务器返回的第一展示内容时,就在日志处理页面生成提示内容,并停止全部内容展示请求和目标内容展示请求的发送,如图10所示。
其中,需要说明的是,当检测到用户针对待处理日志列表和异常列表的选择操作,且检测到用户针对搜索控件的触发操作时,就触发目标内容展示请求,同时在日志处理页面对目标内容展示请求对应的第三展示内容进行展示,由于每次触发操作之后所选择的待处理日志标识和目标异常类型不一定相同,因此,对应的第三展示内容在每一次展示时,也不一定相同。
由以上可知,本申请的实施例中在接收终端发送的日志处理请求后,该日志处理请求携带待处理日志所在设备的设备标识,在预设启动服务信息集合中获取设备标识对应的扩展配置信息,将扩展配置信息与预设配置信息进行融合,得到目标配置信息,该目标配置信息包括待处理日志的日志标识、检测策略和修复策略,当接收到终端发送的展示请求时,从设备中读取所述日志标识对应的待处理日志,并根据检测策略,对待处理日志的内容进行检测,当待处理日志中存在异常内容时,获取待处理日志中的异常内容和异常内容的属性信息,根据修复策略,确定异常内容对应的修复信息,并根据展示请求的类型,将待处理日志、异常内容的属性信息和修复信息作为展示内容在终端进行展示;由于该方案支持扩展配置信息,将扩展配置信息与预设配置信息进行融合,可以实现对日志匹配规则进行扩展,而且对待处理日志进行解析后还可以得到针对异常内容的修复信息,可以大大提高对待处理日志的处理效率和准确率。
根据上面实施例所描述的方法,以下将举例作进一步详细说明。
在本实施例中,将以该日志处理装置具体集成在电子设备,其中第一日志处理装置集成的电子设备为服务器,第二日志处理装置集成的电子设备为终端为例进行说明。
如图11所示,一种日志处理方法,具体流程如下:
201、终端向服务器发送日志处理请求,使得服务器根据目标配置信息对待处理日志的内容进行检测。
例如,用户在终端触发生成日志处理请求,将待处理日志所在的设备标识添加至日志处理请求中,将添加设备标识的日志处理请求发送至服务器,使得服务器根据目标配置信息对待处理日志的内容进行检测。
202、服务器接收终端发送的日志处理请求。
例如,服务器可以直接接收到终端发送的日志处理请求,并获取日志处理请求中携带的待处理日志所在设备的设备地址和接口信息。当设备地址和接口信息较多或者内存较大时,还可以存储在第三方数据库中,服务器接收到终端发送的日志处理请求,在日志处理请求中提取出设备地址和接口信息在第三方数据库中的存储地址,根据该存储地址在第三方数据库中获取设备地址和接口信息,还可以向终端发送反馈信息。
203、服务器在预设启动服务信息集合中获取设备标识对应的扩展配置信息。
例如,服务器在设备标识对应的启动目录下读取pattern.js文件,当存在该pattern.js文件时,就意味着用户对预设配置信息做了扩展,pattern.js文件就为扩展配置信息,该扩展配置信息主要包括logDir、fileName、routerMatchPrefix、rules四个键值,分别支持用户自定义日志访问路径、日志文件名、路由匹配日前缀和日志匹配规则。其中logDir和fileName均支持普通字符串和正则表达式的匹配,rules是一个可包含多个键的对象,用于存放匹配不同异常类型的异常内容的策略集合,该策略集合可以包括检测策略和修复策略。rules中每一个键代表一种异常内容的异常类型,例如“sql”键表示匹配数据库语法错误类型,“es”键表示ES检索语法错误类型。其中每个类型键对应的值是主要包含一以下三个键的字典:
(1)color:用于自定义对应类型可视化展示的颜色,支持颜色对应的英文描述、rgb颜色值和十六进制颜色码。例如,“sql”类型对应的color值为字符串“green”,代表数据库类型错误在前端展示节点的颜色为绿色;
(2)typeLabel:表示对应类型的中文标识,例如,“sql”类型对应的中文标识可设置为“sql语法错误”;
(3)patternList:用于匹配日志文件中不同异常类型的异常内容的一组可视化规则,其是一个对象数组,每个对象主要包含lineRegxPattern、label和suggestion三个键,其中lineRegxPattern是用于匹配对应错误类型日志的正则表达式,label是对匹配到的日志的错误产生原因的中文解析,suggestion是给出对应错误的修复建议。
其中,检测策略可以包括typeLabel、lineRegxPattern和label对应的键值。修复策略可以包括color和suggestion对应的键值。
204、服务器将扩展配置信息与预设配置信息进行融合,得到目标配置信息。
例如,服务器可以在扩展配置信息中识别出扩展日志标识、扩展检测策略和扩展修复策略,将预设配置信息中的预设日志标识替换为扩展日志标识,得到待处理日志的日志标识,将扩展检测策略和扩展修复策略与预设配置信息中的预设检测策略和预设修复策略进行对比,以得到待处理日志的检测策略和修复策略,并将待处理日志的日志标识、检测策略和修复策略作为目标配置信息。
具体可以如下:
(1)服务器在扩展配置信息中识别出扩展日志标识、扩展检测策略和扩展修复策略。
例如,在扩展配置信息中识别出用户自定义的logDir、fileName、routerMatchPrefix、rules四个键值,然后,将logDir、fileName、routerMatchPrefix作为扩展日志标识,在rules中筛选出typeLabel、lineRegxPattern和label对应的键值作为扩展检测策略,在rules中筛选出color和suggestion对应的键值作为修复策略。
(2)服务器将预设配置信息中的预设日志标识替换为扩展日志标识,得到待处理日志的日志标识。
例如,扩展配置信息中配置了logDir、fileName、routerMatchPrefix的值,则预设配置信息中预设的日志读取路径、待解析的日志文件名和路由匹配前缀将被文件中对应的取值而覆盖。
(3)服务器将扩展检测策略和扩展修复策略与预设配置信息中的预设检测策略和预设修复策略进行比对,以得到待处理日志的检测策略和修复策略,并将待处理日志的日志标识、检测策略和修复策略作为目标配置信息。
例如,如果扩展配置信息中rules同样配置了“sql”键,且配置了该键下的patternList规则列表。服务器会将sql中配置的规则列表和预设配置信息中的sql中配置的规则列表进行遍历比较,具体是比较patternList中lineRegxPattern设置的正则匹配规则是否相同,若相同,则覆盖预设配置信息中默认配置的该匹配规则下的lineRegxPattern、label和suggestion,若不相同,则是对预设配置信息中的sql类型匹配规则的扩展。其他的检测策略中的匹配信息和修复策略中的修复信息按照上述步骤进行遍历,直到将扩展检测策略、扩展修复策略、预设检测策略和预设修复策略全部遍历完成。
可选的,在没有获取到设备标识对应的扩展配置信息这种情况下,将可以直接读取服务器内的预设配置信息,并将预设配置信息作为目标配置信息。
通过将扩展配置信息和预设配置信息的融合,就可以得到最终的日志读取路径、待解析的日志文件名、路由匹配前缀以及规则匹配集合(检测策略和修复策略),分别存放在系统全局变量__LOGDIR__、__FILENAME__、__ROUTER_PREFIX__和__PATTERN__中,这里__PATTERN__经处理后是一个对象,该对象中的每个键代表一种可解析的异常类型,对应的键值是一个规则匹配数组。相关配置准备就绪后,服务成功启动,开始监听来自浏览器发送的页面展示请求和内容展示请求。
205、终端向服务器发送页面展示请求。
例如,用户通过终端的浏览器输入终端设备的IP地址和端口信息,触发生成页面展示请求,该页面展示请求中携带终端设备的IP地址和端口信息。
206、服务器接收到页面展示请求,并向终端发送预设日志处理页面信息。
例如,当服务器接收到页面展示请求时,提取出终端的IP地址和端口信息,在预设日志处理页面信息集合中筛选出IP地址和端口信息对应的预设日志处理页面信息,并将预设日志处理页面信息发送至终端。
207、终端接收到预设日志处理页面信息,并生成日志处理页面。
例如,终端接收服务器针对该页面展示请求返回的预设日志处理页面信息,根据该日志处理页面信息,就可以生成日志处理页面,该日志处理页面包括空白的待处理日志列表、空白的异常类型列表和搜索控件。
208、当服务器接收到终端发送的内容展示请求时,从设备中读取日志标识对应的待处理日志,并根据检测策略,对待处理日志的内容进行检测。
例如,当服务器接收到终端发送的展示请求为getLogAndTypeList路由请求(列表内容展示请求)时,服务器将读取路径__LOGDIR__值下满足__FILENAME__正则匹配下的异常内容所在待处理日志的文件名列表,以及获取__PATTERN__对象中的所有键的值,以对待处理日志进行检测。当服务器接收到终端发送的展示请求为getLogContent路由请求(全部内容展示请求或目标内容展示请求)时,该请求携带有Log和Type两个请求参数,服务器根据Log的值,通过Node自带的fs和readline模块,读取__LOGDIR__文件下文件名与Log值相等的文件,并读取该文件下的所有日志,存放在变量arr数组中,然后,根据Type的值,从检测策略中提取出Type的值对应的匹配信息以对arr数组中的内容进行正则匹配。
209、当待处理日志中存在异常内容时,服务器获取待处理日志中的异常内容和异常内容的属性信息。
例如,当存在路径__LOGDIR__值下满足__FILENAME__正则匹配下的所有文件名列表,或者匹配信息以对arr数组中的内容匹配成功时,就可以确定待处理日志中存在异常内容,服务器根据匹配结果,获取到异常内容和异常内容的打印位置和行数,异常内容的异常时间和异常内容对应的待处理日志的请求路由等属性信息。
其中,异常内容的打印位置和行数主要为异常内容在待处理日志中的具体位置信息,该位置信息在日志处理页面的具体展示可以如图12所示。
210、服务器根据修复策略,确定异常内容对应的修复信息,并根据展示请求的类型,将待处理日志、异常内容的属性信息和修复信息作为展示内容在终端进行展示。
例如,当服务器接收到的展示请求为getLogAndTypeList路由请求(列表内容展示请求),就直接将路径__LOGDIR__值下满足__FILENAME__正则匹配下的异常内容所在待处理日志的所有文件名列表,以及获取__PATTERN__对象中的所有键的值返回给终端进行展示,而不需要再确定异常内容的修复信息。当服务器接收到的展示请求为getLogContent路由请求(全部内容展示请求或目标内容展示请求)时,可以采用匹配规则中的label对应的键值与异常内容、异常内容的属性信息进行正则匹配,将匹配成功的键值对应的异常原因作为异常内容的异常原因,为“sql”时,表示只解析匹配sql类型的异常内容的异常原因。此时遍历arr数组中的每个日志,若该待处理日志匹配了patternList中某一匹配规则中的lineRegxPattern和__ROUTER_PREFIX__正则表达式,则可解析出该异常内容相关的异常产生的异常原因原因,若暂无匹配patternList中所有的lineRegxPattern,则该异常内容默认解析为未知异常原因。在预设修复信息集合中筛选出异常原因对应的修复信息,将该修复信息作为异常内容对应的修复信息。根据异常内容的属性信息中的异常类型,在预设展示参数集合中匹配出异常类型对应的color键值。
根据getLogContent路由请求中和Log和Type的参数值,来确定展示请求的类型,当Type的参数值为“all”时,确定该展示请求为全部内容展示请求,服务器就可以根据异常时间与当前时间的时间差值,从小至大或从大至小进行排序,还可以记录每次接收日志处理请求的时间,在异常内容中筛选出上一次未展示的异常内容,再按照异常时间与当前时间的差值,从小至大或从大至小进行排序,就可以得到排序后异常内容,然后,根据展示参数,将排序后异常内容、排序后异常内容的属性信息、异常原因和修复信息作为第二展示内容发送至终端进行展示。当Log和Type的参数值为一个具体的异常类型时,可以确定该内容展示请求可以为目标内容展示请求,则可以在Log值对应的待处理日志的文件中筛选出Type值对应的目标异常内容,并获取该目标异常内容的属性信息、异常原因和修复信息等,将这些信息作为第三展示内容发送至终端进行展示。
211、向服务器发送内容展示请求,并从服务器获取待处理日志检测处理后的展示内容。
例如,终端向服务器发送列表内容展示请求,并接收服务器返回的第一展示内容,第一展示内容包括路径__LOGDIR__值下满足__FILENAME__正则匹配下的异常内容所在待处理日志的所有文件名列表,以及获取__PATTERN__对象中的所有键的值。终端在接收到服务器返回的第一展示内容后,接着向服务器发送全部内容展示请求,并接收服务器返回的第二展示内容,该第二展示内容包括排序后异常内容、排序后异常内容的属性信息、异常原因和修复信息。终端可以将第一展示内容被填充至日志处理页面的空白的待处理日志列表、空白的异常类型列表,就可以得到日志处理页面的待处理日志列表和异常类型列表,当第二展示内容被展示后,用户触发待处理日志列表和异常类型列表的选择操作,且触发搜索控件的搜索操作时,生成目标内容展示请求,该目标内容展示请求携带用户触发待处理日志列表和异常类型列表的选择操作对应的待处理日志标识和目标异常类型,此时,终端向服务器发送目标内容展示请求,并接收服务器返回的第三展示内容,该第三展示内容包括目标异常内容对应的属性信息、异常原因和修复信息,该目标内容展示请求携带待处理日志标识和目标异常类型。
212、终端在日志处理页面上对展示内容进行展示。
例如,当接收到服务器针对列表内容展示请求返回的第一展示内容时,终端将路径__LOGDIR__值下满足__FILENAME__正则匹配下的异常内容所在待处理日志的所有文件名列表,以及获取__PATTERN__对象中的所有键的值添加至空白的待处理日志列表和空白的异常类型列表,得到待处理日志列表和异常类型列表。当没有接收到服务器针对列表内容展示请求返回的第一展示内容时,终端在日志处理页面生成“暂无数据”的提示信息,并且不再发起全部内容展示请求。在日志处理页面展示待处理日志列表和异常类型列表后,终端可以向服务器发送全部内容展示请求,当接收到服务器针对全部内容展示请求返回的第二展示内容时,根据展示参数,在日志处理页面生成至少一个展示区域,并在展示区域展示排序后异常内容、排序后异常内容的属性信息、异常原因和修复信息,比如,在展示参数中获取每个异常类型的异常内容在展示时需要渲染的渲染参数,譬如,颜色、字体和大小等,然后,对每个待处理日志中的异常内容的属性信息、异常原因和修复信息进行渲染,最后,在展示区域中按照异常内容的排序进行展示。当检测到用户针对待处理日志列表和异常列表的选择操作,且检测到用户针对搜索控件的触发操作时,在展示区域展示目标异常内容对应的属性信息、异常原因和修复信息。比如,当用户在日志处理页面的待处理日志列表中选择了文件名为“app.error.log”的待处理日志,又在异常类型列表中选择了异常类型为“es查询错误”,并触发了搜索控件时,此时生成目标内容展示请求,该目标内容展示请求携带待处理日志的标识“app.error.log”和“es查询错误”的目标异常类型,然后,接收服务器返回的“app.error.log”对应的目标待处理日志中es查询错误的目标异常内容的属性信息、异常原因和修复信息,将目标异常内容的属性信息、异常原因和修复信息作为第三展示内容。在展示区域展示第三展示内容时,可以每一个目标异常内容占据一个展示区域,还可以将全部的目标异常内容在一个展示区域内展示。在每一个目标异常内容所处于的展示区域中还可以包括一个查询控件,当检测到用户针对该查询控件的触发操作时,还可以在该展示区域中显示该异常内容对应的待处理日志的原始日志。有时候返回的目标异常内容的数据过大时,为了防止页面一次性渲染太多数据而卡顿,还可以在日志处理页面中采用滚动加载的方式对异常内容展示的呈现进行优化。
由以上可知,本实施例中服务器在接收终端发送的日志处理请求后,该日志处理请求携带待处理日志所在设备的设备标识,在预设启动服务信息集合中获取设备标识对应的扩展配置信息,将扩展配置信息与预设配置信息进行融合,得到目标配置信息,该目标配置信息包括待处理日志的日志标识、检测策略和修复策略,当接收到终端发送的展示请求时,从设备中读取所述日志标识对应的待处理日志,并根据检测策略,对待处理日志的内容进行检测,当待处理日志中存在异常内容时,获取待处理日志中的异常内容和异常内容的属性信息,根据修复策略,确定异常内容对应的修复信息,并根据展示请求的类型,将待处理日志、异常内容的属性信息和修复信息作为展示内容在终端进行展示;由于该方案支持扩展配置信息,将扩展配置信息与预设配置信息进行融合,可以实现对日志匹配规则进行扩展,而且对待处理日志进行解析后还可以得到针对异常内容的修复信息,可以大大提高对待处理日志的处理效率和准确率。
为了更好地实施以上方法,本发明实施例还提供一种日志处理系统,该日志处理系统可以包括一种日志处理装置(即第一日志处理装置)和另一种日志处理装置(即第二日志处理装置),具体系统架构可以如图13所示,其中第一日志处理装置可以集成在服务中,第二日志处理装置可以集成在终端中。
例如,如图14所示,其中第一日志处理装置可以包括接收单元301、第一获取单元302、融合单元303、检测单元304、第二获取单元305和确定单元306,如下:
(1)接收单元301;
接收单元301,用于接收终端发送的日志处理请求,该日志处理请求携带待处理日志所在设备的设备标识。
例如,接收单元301,具体可以用于直接接收日志处理请求,并在日志处理请求中获取待处理日志所在设备的设备标识。
(2)第一获取单元302;
第一接收单元302,用于读取日志处理服务的启动目录,在该启动目录中查询是否存在设备标识对应的目标文件夹,该目标文件夹用于存储用户自行扩展的扩展配置信息,当查询到存在这个目标文件夹时,就可以在该目标文件夹中获取设备标识对应的扩展配置信息。
(3)融合单元303;
融合单元303,用于将扩展配置信息与预设配置信息进行融合,得到目标配置信息,该目标配置信息包括待处理日志的日志标识、检测策略和修复策略。
其中,融合单元还可以包括识别子单元3031、替换子单元3032和比对子单元3033,如图15所示,具体如下:
识别子单元3031,用于在扩展配置信息中识别出扩展日志标识、扩展检测策略和扩展修复策略;
替换子单元3032,用于将预设配置信息中的预设日志标识替换为扩展日志标识,得到待处理日志的日志标识;
比对子单元3033,用于将扩展检测策略和扩展修复策略与预设配置信息中的预设检测策略和预设修复策略进行比对,以得到待处理日志的检测策略和修复策略,并将待处理日志的日志标识、检测策略和修复策略作为目标配置信息。
例如,识别子单元3031在扩展配置信息中识别出扩展日志标识、扩展检测策略和扩展修复策略,替换子单元3032将预设配置信息中的预设日志标识替换为扩展日志标识,得到待处理日志的日志标识,比对子单元3033将扩展检测策略和扩展修复策略与预设配置信息中的预设检测策略和预设修复策略进行比对,以得到待处理日志的检测策略和修复策略,并将待处理日志的日志标识、检测策略和修复策略作为目标配置信息。
(4)检测单元304;
检测单元304,用于当接收到终端发送的展示请求时,从设备中读取日志标识对应的待处理日志,并根据检测策略,对待处理日志的内容进行检测。
例如,检测单元304,具体可以用于当接收到终端发送的内容展示请求时,从设备中读取日志标识对应的待处理日志,在检测策略中筛选出异常内容对应的匹配信息,将匹配信息与待处理日志的内容进行正则匹配,当存在与匹配信息匹配成功的内容时,确定待处理日志中存在异常内容。
(5)第二获取单元305;
第二获取单元305,用于当待处理日志中存在异常内容时,获取待处理日志中的异常内容和异常内容的属性信息。
例如,第二获取单元305,具体可以用于获取与匹配信息匹配成功的待处理日志的内容,将该内容作为待处理日志的异常内容,并对该异常内容进行解析,得到异常内容的属性信息。
(6)确定单元306;
确定单元306,用于根据修复策略,确定异常内容对应的修复信息,并根据展示请求的类型,将待处理日志、异常内容的属性信息和修复信息作为展示内容在终端进行展示。
例如,确定单元306,具体可以用于根据异常内容的属性信息,确定异常内容的异常原因,在修复信息集合中筛选出异常原因对应的修复信息,将修复信息作为异常内容对应的修复信息,在展示参数集合中筛选出属性信息对应的展示参数,根据展示请求的类型,将展示参数、待处理日志、异常内容的属性信息、异常原因和修复信息作为展示内容发送至所述终端进行展示。
具体实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元的具体实施可参见前面的方法实施例,在此不再赘述。
由以上可知,本实施例在接收单元301接收终端发送的日志处理请求后,该日志处理请求携带待处理日志所在设备的设备标识,第一获取单元302在预设启动服务信息集合中获取设备标识对应的扩展配置信息,融合单元303将扩展配置信息与预设配置信息进行融合,得到目标配置信息,该目标配置信息包括待处理日志的日志标识、检测策略和修复策略,检测单元304当接收到终端发送的展示请求时,从设备中读取日志标识对应的待处理日志,并根据检测策略,对待处理日志的内容进行检测,第二获取单元305当待处理日志中存在异常内容时,获取待处理日志中的异常内容和异常内容的属性信息,确定单元306根据修复策略,确定异常内容对应的修复信息,并根据展示请求的类型,将待处理日志、异常内容的属性信息和修复信息作为展示内容在终端进行展示;由于该方案支持扩展配置信息,将扩展配置信息与预设配置信息进行融合,可以实现对日志匹配规则进行扩展,而且对待处理日志进行解析后还可以得到针对异常内容的修复信息,可以大大提高对待处理日志的处理效率和准确率。
为了更好地实施以上方法,相应的,本发明实施例还提供一种日志处理装置(即第二日志处理装置),其中,该第二日志处理装置可以集成在终端中。该终端可以为手机、平板电脑、笔记本电脑等设备。
例如,如图16所示,该第二日志处理装置可以包括发送单元401、生成单元402、第三获取单元403和展示单元404,如下:
(1)发送单元401;
发送单元401,用于向服务器发送日志处理请求,使得服务器根据目标配置信息对待处理日志的内容进行检测,该目标配置信息为扩展配置信息和预设配置信息融合而成。
例如,发送单元401,具体可以用于用户生成日志处理请求,将存储待处理日志设备的设备地址和接口信息等设备标识添加至日志处理请求。将添加设备标识的日志处理请求发送至服务器,使得服务器根据目标配置信息对待处理日志的内容进行检测。
(2)生成单元402;
生成单元402,用于向服务器发送页面展示请求,以生成日志处理页面。
例如,生成单元,具体可以用于向服务器发送页面展示请求,该用户展示请求中携带终端的IP地址和端口信息等,接收服务器针对该页面展示请求返回的预设日志处理页面信息,根据该日志处理页面信息,就可以生成日志处理页面,该日志处理页面包括空白的待处理日志列表、空白的异常类型列表和搜索控件。
(3)第三获取单元403;
第三获取单元404,用于向服务器发送内容展示请求,并从服务器获取待处理日志检测处理后的展示内容。
例如,第三获取单元403,具体可以用于向服务器发送列表内容展示请求,并接收服务器返回的第一展示内容,第一展示内容包括展示参数、异常类型和待处理日志。向服务器发送全部内容展示请求,并接收服务器返回的第二展示内容,该第二展示内容包括展示参数、排序后异常内容、排序后异常内容的属性信息、异常原因和修复信息。第一展示内容被填充至日志处理页面的空白的待处理日志列表、空白的异常类型列表,就可以得到日志处理页面的待处理日志列表和异常类型列表,当第二展示内容被展示后,用户触发待处理日志列表和异常类型列表的选择操作,且触发搜索控件的搜索操作时,生成目标内容展示请求,该目标内容展示请求携带用户触发待处理日志列表和异常类型列表的选择操作对应的待处理日志标识和目标异常类型,向服务器发送目标内容展示请求,并接收服务器返回的第三展示内容,该第三展示内容包括展示参数、目标异常内容对应的属性信息、异常原因和修复信息,该第三展示请求携带待处理日志标识和目标异常类型。
(4)展示单元404;
展示单元404,用于在日志处理页面上对展示内容进行展示。
例如,展示单元404,具体可以用于将待处理日志和异常内容的异常类型添加至空白的待处理日志列表和空白的异常类型列表,得到待处理日志列表和异常类型列表,根据展示参数,在日志处理页面上生成至少一个展示区域,并在展示区域展示排序后异常内容、排序后异常内容的属性信息、异常原因和修复信息,当检测到用户针对待处理日志列表和异常类型列表的选择操作,且检测到用户针对搜索控件的触发操作时,在展示区域展示目标异常内容对应的属性信息、异常原因和修复信息。
具体实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元的具体实施可参见前面的方法实施例,在此不再赘述。
由以上可知,本实施例在发送单元401向服务器发送日志处理请求,使得服务器根据目标配置信息对待处理日志的内容进行检测,该目标配置信息为扩展配置信息和预设配置信息融合而成,生成单元402向服务器发送页面展示请求,以生成日志处理页面,第三获取单元403向服务器发送内容展示请求,并从服务器中获取待处理日志检测处理后的展示内容,该展示内容包括待处理日志、异常内容的属性信息和修复信息,展示单元404在日志处理页面上对展示内容进行展示;由于该方案支持扩展配置信息,将扩展配置信息与预设配置信息进行融合,可以实现对日志匹配规则进行扩展,而且对待处理日志进行解析后还可以得到针对异常内容的修复信息,可以大大提高对待处理日志的处理效率和准确率。
本发明实施例还提供一种电子设备,如图17所示,其示出了本发明实施例所涉及的电子设备的结构示意图,具体来讲:
该电子设备可以包括一个或者一个以上处理核心的处理器501、一个或一个以上计算机可读存储介质的存储器502、电源503和输入单元504等部件。本领域技术人员可以理解,图17中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器501是该电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器502内的软件程序和/或模块,以及调用存储在存储器502内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。可选的,处理器501可包括一个或多个处理核心;优选的,处理器501可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器501中。
存储器502可用于存储软件程序以及模块,处理器501通过运行存储在存储器502的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器502可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器502可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器502还可以包括存储器控制器,以提供处理器501对存储器502的访问。
电子设备还包括给各个部件供电的电源503,优选的,电源503可以通过电源管理系统与处理器501逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源503还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入单元504,该输入单元504可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,电子设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,电子设备中的处理器501会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器502中,并由处理器501来运行存储在存储器502中的应用程序,从而实现各种功能,如下:
接收终端发送的日志处理请求,该日志处理请求携带待处理日志所在设备的设备标识,在预设启动服务信息集合中获取设备标识对应的扩展配置信息,将扩展配置信息与预设配置信息进行融合,得到目标配置信息,该目标配置信息包括待处理日志的日志标识、检测策略和修复策略,当接收到终端发送的展示请求时,从设备中读取所述日志标识对应的待处理日志,并根据检测策略,对待处理日志的内容进行检测,当待处理日志中存在异常内容时,获取待处理日志中的异常内容和异常内容的属性信息,根据修复策略,确定异常内容对应的修复信息,并根据展示请求的类型,将待处理日志、异常内容的属性信息和修复信息作为展示内容在终端进行展示。
或者
向服务器发送日志处理请求,使得服务器根据目标配置信息对待处理日志的内容进行检测,该目标配置信息为扩展配置信息和预设配置信息融合而成,向服务器发送页面展示请求,以生成日志处理页面,向服务器发送内容展示请求,并从服务器中获取待处理日志检测处理后的展示内容,该展示内容包括待处理日志、异常内容的属性信息和修复信息,在日志处理页面上对所述展示内容进行展示。
以上各个操作的具体实施可参见前面的实施例,在此不作赘述。
由以上可知,本发明实施例在接收终端发送的日志处理请求后,该日志处理请求携带待处理日志所在设备的设备标识,在预设启动服务信息集合中获取设备标识对应的扩展配置信息,将扩展配置信息与预设配置信息进行融合,得到目标配置信息,该目标配置信息包括待处理日志的日志标识、检测策略和修复策略,当接收到终端发送的展示请求时,从设备中读取所述日志标识对应的待处理日志,并根据检测策略,对待处理日志的内容进行检测,当待处理日志中存在异常内容时,获取待处理日志中的异常内容和异常内容的属性信息,根据修复策略,确定异常内容对应的修复信息,并根据展示请求的类型,将待处理日志、异常内容的属性信息和修复信息作为展示内容在终端进行展示;由于该方案支持扩展配置信息,将扩展配置信息与预设配置信息进行融合,可以实现对日志匹配规则进行扩展,而且对待处理日志进行解析后还可以得到针对异常内容的修复信息,可以大大提高对待处理日志的处理效率和准确率。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本发明实施例提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本发明实施例所提供的任一种日志处理方法中的步骤。例如,该指令可以执行如下步骤:
接收终端发送的日志处理请求,该日志处理请求携带待处理日志所在设备的设备标识,在预设启动服务信息集合中获取设备标识对应的扩展配置信息,将扩展配置信息与预设配置信息进行融合,得到目标配置信息,该目标配置信息包括待处理日志的日志标识、检测策略和修复策略,当接收到终端发送的展示请求时,从设备中读取所述日志标识对应的待处理日志,并根据检测策略,对待处理日志的内容进行检测,当待处理日志中存在异常内容时,获取待处理日志中的异常内容和异常内容的属性信息,根据修复策略,确定异常内容对应的修复信息,并根据展示请求的类型,将待处理日志、异常内容的属性信息和修复信息作为展示内容在终端进行展示。
或者
向服务器发送日志处理请求,使得服务器根据目标配置信息对待处理日志的内容进行检测,该目标配置信息为扩展配置信息和预设配置信息融合而成,向服务器发送页面展示请求,以生成日志处理页面,向服务器发送内容展示请求,并从服务器中获取待处理日志检测处理后的展示内容,该展示内容包括待处理日志、异常内容的属性信息和修复信息,在日志处理页面上对所述展示内容进行展示。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该计算机可读存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令,可以执行本发明实施例所提供的任一种日志处理方法中的步骤,因此,可以实现本发明实施例所提供的任一种日志处理方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本发明实施例所提供的一种日志处理方法、装置和计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种日志处理方法,其特征在于,包括:
接收终端发送的日志处理请求,所述日志处理请求携带待处理日志所在设备的设备标识;
在预设启动服务信息集合中获取所述设备标识对应的扩展配置信息;
将所述扩展配置信息与预设配置信息进行融合,得到目标配置信息,所述目标配置信息包括待处理日志的日志标识、检测策略和修复策略;
当接收到所述终端发送的展示请求时,从所述设备中读取所述日志标识对应的待处理日志,并根据所述检测策略,对所述待处理日志的内容进行检测;
当所述待处理日志中存在异常内容时,获取所述待处理日志中的异常内容和所述异常内容的属性信息;
根据所述修复策略,确定所述异常内容对应的修复信息,并根据所述展示请求的类型,将所述待处理日志、异常内容的属性信息和修复信息作为展示内容在所述终端进行展示。
2.根据权利要求1所述的日志处理方法,其特征在于,所述将所述扩展配置信息与预设配置信息进行融合,得到目标配置信息,包括:
在所述扩展配置信息中识别出扩展日志标识、扩展检测策略和扩展修复策略;
将所述预设配置信息中的预设日志标识替换为所述扩展日志标识,得到待处理日志的日志标识;
将所述扩展检测策略和扩展修复策略与预设配置信息中的预设检测策略和预设修复策略进行比对,以得到待处理日志的检测策略和修复策略,并将所述待处理日志的日志标识、检测策略和修复策略作为目标配置信息。
3.根据权利要求2所述的日志处理方法,其特征在于,所述将所述扩展检测策略和扩展修复策略与预设配置信息中的预设检测策略和预设修复策略进行比对,以得到待处理日志的检测策略和修复策略,包括:
遍历所述扩展检测策略、扩展修复策略、预设检测策略和预设修复策略,以将所述扩展检测策略与预设检测策略和扩展修复策略与预设修复策略分别进行比较;
当所述扩展检测策略与预设检测策略相同,且所述扩展修复策略与预设修复策略相同时,将所述扩展检测策略和扩展修复策略作为所述待处理日志的检测策略和修复策略;
当所述扩展检测策略与预设检测策略不同,或扩展修复策略与预设修复策略不同时,根据所述扩展检测策略和扩展修复策略,对所述预设检测策略和预设修复策略进行扩展,得到所述待处理日志的检测策略和修复策略。
4.根据权利要求1所述的日志处理方法,其特征在于,所述修复策略包括修复信息集合和展示参数集合,所述修复信息集合包括预设配置信息和扩展配置信息中的修复信息,所述展示参数集合包括预设配置信息和扩展配置信息中的展示参数,所述根据所述修复策略,确定所述异常内容对应的修复信息,并根据所述展示请求的类型,将所述待处理日志、异常内容的属性信息和修复信息作为展示内容在所述终端进行展示,包括:
根据所述异常内容的属性信息,确定所述异常内容的异常原因;
在所述修复信息集合中筛选出所述异常原因对应的修复信息,将所述修复信息作为所述异常内容对应的修复信息;
在所述展示参数集合中筛选出所述属性信息对应的展示参数;
根据所述展示请求的类型和展示参数,将所述待处理日志、异常内容的属性信息、异常原因和修复信息作为展示内容发送至所述终端进行展示。
5.根据权利要求4所述的日志处理方法,其特征在于,所述异常内容的属性信息包括异常类型和异常时间,所述异常时间用于指示所述异常内容产生的时间,所述展示请求包括页面展示请求和内容展示请求,所述内容展示请求包括列表内容展示请求、全部内容展示请求和目标内容展示请求,所述根据所述展示请求的类型和展示参数,将所述待处理日志、异常内容的属性信息、异常原因和修复信息作为展示内容发送至所述终端进行展示,包括:
当所述展示请求为页面展示请求时,将预设日志处理页面信息发送至所述终端用于生成日志处理页面;
当所述展示请求为列表内容展示请求时,根据所述展示参数,将所述待处理日志和异常内容的异常类型作为第一展示内容发送至所述终端进行展示;
当所述展示请求为全部内容展示请求时,根据异常时间,对所述待处理日志的异常内容进行排序,将排序后异常内容、排序后异常内容的属性信息、异常原因和修复信息作为第二展示内容发送至所述终端进行展示;
当所述展示请求的类型为目标内容展示请求,且所述目标内容展示请求携带待处理日志标识和目标异常类型时,在所述待处理日志中筛选出所述待处理日志标识对应的目标日志,在所述目标日志中筛选出所述目标异常类型对应的目标异常内容,将所述目标异常内容对应的属性信息、异常原因和修复信息作为第三展示内容发送至所述终端进行展示。
6.一种日志处理方法,其特征在于,包括:
向服务器发送日志处理请求,使得所述服务器根据目标配置信息对待处理日志的内容进行检测,所述目标配置信息为扩展配置信息和预设配置信息融合而成;
向服务器发送页面展示请求,以生成日志处理页面;
向服务器发送内容展示请求,并从所述服务器中获取待处理日志检测处理后的展示内容,所述展示内容包括所述待处理日志、异常内容的属性信息和修复信息;
在所述日志处理页面上对所述展示内容进行展示。
7.根据权利要求6所述的日志处理方法,其特征在于,所述向服务器发送内容展示请求,并从所述服务器中获取待处理日志检测处理后的展示内容,包括:
向所述服务器发送列表内容展示请求,并接收所述服务器返回的第一展示内容,所述第一展示内容包括待处理日志和异常内容的异常类型;
向所述服务器发送全部内容展示请求,并接收所述服务器返回的第二展示内容,所述第二展示内容包括排序后异常内容、排序后异常内容的属性信息、异常原因和修复信息;
向所述服务器发送目标内容展示请求,并接收所述服务器返回的第三展示内容,所述第三展示内容包括目标异常内容对应的属性信息、异常原因和修复信息,所述第三展示请求携带待处理日志标识和目标异常类型。
8.根据权利要求7所述的日志处理装置,其特征在于,所述日志处理页面包括空白的待处理日志列表、空白的异常类型列表和搜索控件,所述在所述日志处理页面上对所述展示内容进行展示,包括:
将待处理日志和异常内容的异常类型添加至空白的待处理日志列表和空白的异常类型列表,得到待处理日志列表和异常类型列表;
根据所述展示参数,在所述日志处理页面上生成至少一个展示区域,并在所述展示区域展示所述排序后异常内容、排序后异常内容的属性信息、异常原因和修复信息;
当检测到用户针对所述待处理日志列表和异常类型列表的选择操作,且检测到用户针对所述搜索控件的触发操作时,在所述展示区域展示目标异常内容对应的属性信息、异常原因和修复信息。
9.一种日志处理装置,其特征在于,包括:
接收单元,用于接收终端发送的日志处理请求,所述日志处理请求携带待处理日志所在设备的设备标识;
第一获取单元,在预设启动服务信息集合中获取所述设备标识对应的扩展配置信息;
融合单元,用于将所述扩展配置信息与预设配置信息进行融合,得到目标配置信息,所述目标配置信息包括待处理日志的日志标识、检测策略和修复策略;
检测单元,用于当接收到所述终端发送的展示请求时,从所述设备中读取所述日志标识对应的待处理日志,并根据所述检测策略,对所述待处理日志的内容进行检测;
第二获取单元,用于当所述待处理日志中存在异常内容时,获取所述待处理日志中的异常内容和所述异常内容的属性信息;
确定单元,用于根据所述修复策略,确定所述异常内容对应的修复信息,并根据所述展示请求的类型,将所述待处理日志、异常内容的属性信息和修复信息作为展示内容在所述终端进行展示。
10.一种日志处理装置,其特征在于,包括:
发送单元,用于向服务器发送日志处理请求,使得所述服务器根据目标配置信息对待处理日志的内容进行检测,所述目标配置信息为扩展配置信息和预设配置信息融合而成;
生成单元,用于向服务器发送页面展示请求,以生成日志处理页面;
第三获取单元,用于向服务器发送内容展示请求,并从所述服务器中获取待处理日志检测处理后的展示内容,所述展示内容包括所述待处理日志、异常内容的属性信息和修复信息;
展示单元,用于在所述日志处理页面上对所述展示内容进行展示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010506703.7A CN111786814A (zh) | 2020-06-05 | 2020-06-05 | 一种日志处理方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010506703.7A CN111786814A (zh) | 2020-06-05 | 2020-06-05 | 一种日志处理方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111786814A true CN111786814A (zh) | 2020-10-16 |
Family
ID=72754058
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010506703.7A Pending CN111786814A (zh) | 2020-06-05 | 2020-06-05 | 一种日志处理方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111786814A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112486558A (zh) * | 2020-11-30 | 2021-03-12 | 珠海格力电器股份有限公司 | 一种信息处理方法及装置 |
US20220200798A1 (en) * | 2020-06-11 | 2022-06-23 | Shenzhen Chuangwei-Rgb Electronics Co., Ltd. | Key code data burning method, device, terminal equipment and readable storage medium |
CN115794744A (zh) * | 2022-12-20 | 2023-03-14 | 北京优特捷信息技术有限公司 | 一种日志展示方法、装置、设备和存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102981943A (zh) * | 2012-10-29 | 2013-03-20 | 新浪技术(中国)有限公司 | 监控应用日志的方法及系统 |
KR20160101326A (ko) * | 2015-02-16 | 2016-08-25 | 원스토어 주식회사 | 크래시 리포트 처리 시스템 및 그 시스템에서의 크래시 리포트 처리를 위한 장치 |
CN106339273A (zh) * | 2015-07-14 | 2017-01-18 | 阿里巴巴集团控股有限公司 | 一种应用程序修复方法、终端及服务器 |
US20170091019A1 (en) * | 2014-09-22 | 2017-03-30 | Shenzhen Tcl New Technology Co., Ltd | Method and system for repairing fault of terminal |
CN108121613A (zh) * | 2017-12-28 | 2018-06-05 | 努比亚技术有限公司 | 基于内存页的重启定位方法、移动终端及可读存储介质 |
CN109165110A (zh) * | 2018-07-27 | 2019-01-08 | 努比亚技术有限公司 | 移动终端重启定位方法、移动终端及计算机可读存储介质 |
CN109241461A (zh) * | 2018-08-10 | 2019-01-18 | 新华三信息安全技术有限公司 | 一种用户画像构建方法及装置 |
CN109284251A (zh) * | 2018-08-14 | 2019-01-29 | 平安普惠企业管理有限公司 | 日志管理方法、装置、计算机设备以及存储介质 |
CN111190755A (zh) * | 2019-08-01 | 2020-05-22 | 腾讯科技(深圳)有限公司 | 应用程序的功能异常处理方法及装置 |
-
2020
- 2020-06-05 CN CN202010506703.7A patent/CN111786814A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102981943A (zh) * | 2012-10-29 | 2013-03-20 | 新浪技术(中国)有限公司 | 监控应用日志的方法及系统 |
US20170091019A1 (en) * | 2014-09-22 | 2017-03-30 | Shenzhen Tcl New Technology Co., Ltd | Method and system for repairing fault of terminal |
KR20160101326A (ko) * | 2015-02-16 | 2016-08-25 | 원스토어 주식회사 | 크래시 리포트 처리 시스템 및 그 시스템에서의 크래시 리포트 처리를 위한 장치 |
CN106339273A (zh) * | 2015-07-14 | 2017-01-18 | 阿里巴巴集团控股有限公司 | 一种应用程序修复方法、终端及服务器 |
CN108121613A (zh) * | 2017-12-28 | 2018-06-05 | 努比亚技术有限公司 | 基于内存页的重启定位方法、移动终端及可读存储介质 |
CN109165110A (zh) * | 2018-07-27 | 2019-01-08 | 努比亚技术有限公司 | 移动终端重启定位方法、移动终端及计算机可读存储介质 |
CN109241461A (zh) * | 2018-08-10 | 2019-01-18 | 新华三信息安全技术有限公司 | 一种用户画像构建方法及装置 |
CN109284251A (zh) * | 2018-08-14 | 2019-01-29 | 平安普惠企业管理有限公司 | 日志管理方法、装置、计算机设备以及存储介质 |
CN111190755A (zh) * | 2019-08-01 | 2020-05-22 | 腾讯科技(深圳)有限公司 | 应用程序的功能异常处理方法及装置 |
Non-Patent Citations (1)
Title |
---|
陈超: "基于分布式计算的海量日志数据分析平台的设计与实现", 北京邮电大学, 16 February 2016 (2016-02-16), pages 25 - 46 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220200798A1 (en) * | 2020-06-11 | 2022-06-23 | Shenzhen Chuangwei-Rgb Electronics Co., Ltd. | Key code data burning method, device, terminal equipment and readable storage medium |
CN112486558A (zh) * | 2020-11-30 | 2021-03-12 | 珠海格力电器股份有限公司 | 一种信息处理方法及装置 |
CN115794744A (zh) * | 2022-12-20 | 2023-03-14 | 北京优特捷信息技术有限公司 | 一种日志展示方法、装置、设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10237295B2 (en) | Automated event ID field analysis on heterogeneous logs | |
CN111786814A (zh) | 一种日志处理方法和装置 | |
US7269593B2 (en) | Data processing apparatus and method | |
US20230342372A1 (en) | Method and system for implementing a log parser in a log analytics system | |
US20130275395A1 (en) | Method for Indexed-Field Based Difference Detection and Correction | |
CN110659349A (zh) | 日志查询方法、装置、设备及计算机可读存储介质 | |
JP2003173280A (ja) | データベース生成装置、データベース生成方法及びデータベース生成プログラム | |
CN111190915B (zh) | 一种道具标识或角色标识的确定方法、服务器及存储介质 | |
CN114385679A (zh) | 一种表结构巡检方法、表结构巡检装置和电子设备 | |
CN113268232B (zh) | 一种页面皮肤生成方法、装置和计算机可读存储介质 | |
CN112182025A (zh) | 日志分析方法、装置、设备与计算机可读存储介质 | |
CN112148545A (zh) | 嵌入式系统的安全基线检测方法以及安全基线检测系统 | |
US20150347402A1 (en) | System and method for enabling a client system to generate file system operations on a file system data set using a virtual namespace | |
CN110515905B (zh) | 一种路由的配置的方法、装置以及服务器 | |
US11347802B2 (en) | Query generation using natural language input | |
CN110032500B (zh) | 多层嵌套数据解析方法和设备 | |
CN113779030A (zh) | 枚举值查询方法、可读存储介质及计算机程序产品 | |
US20190340253A1 (en) | Managing online help information in a data center | |
CN112989247B (zh) | 一种页面更新方法、装置和计算机可读存储介质 | |
JP2014215938A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US20220327162A1 (en) | Information search system | |
CN117435061A (zh) | 一种键盘输入方法、系统及存储介质和终端设备 | |
CN115167859A (zh) | 一种odx语言库生成方法、装置、设备及介质 | |
CN115983290A (zh) | 文本替换方法、装置以及计算机可读存储介质 | |
CN115270035A (zh) | 页面异常数据处理方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |