CN115480998A - 日志解析系统及日志解析方法 - Google Patents

Abstract

本申请提供一种日志解析系统及日志解析方法，其中，所述方法包括：获取来自不同通信协议的日志数据；对来自不同通信协议的日志数据进行并行解析，获得解析失败的日志数据和解析成功的日志数据；对解析成功的日志数据进行数据结构化处理，获得结构化数据；对解析失败的日志数据和所述结构化数据进行修正，获得修正后的数据；将修正后的结构化数据输出至终端；按照预定的时间对日志解析系统的配置文件进行监听，根据监听到的配置文件的改变对日志解析系统进行更新配置；利用万维网页面实现对上述日志解析流程任务的配置可视化。本申请可以辅助进行日志解析，降低日志解析的难度。

Description

日志解析系统及日志解析方法

技术领域

本申请涉及日志数据处理技术领域，尤其涉及一种日志解析系统及日志解析方法。

背景技术

随着5G技术的快速推行以及物联网的迅猛发展，日志数据技术领域需要在万物互联的技术背景下，将日志数据用各种方式采集出来，进行大数据处理分析。在对日志数据进行采集的过程中，由于采集的介质多种多样且使用的协议也各不相同，导致采集出来的数字化信息杂乱、无序，将这样的信息直接上传云端，会导致云端数据处理的难度大幅提升。

发明内容

鉴于以上内容，有必要提供一种日志解析系统及日志解析方法，能够降低系统的各个模块之间的耦合度，便于对系统进行拓展，降低日志解析流程的难度。

所述日志解析系统包括多个模块，所述多个模块包括：日志接入模块，用于获取来自不同通信协议的日志数据；数据解析模块，用于对所获取的日志数据进行并行解析，获得解析失败的日志数据和解析成功的日志数据；所述数据解析模块，还用于对所述解析成功的日志数据进行数据结构化处理，获得结构化数据；数据处理模块，用于对所述解析失败的日志数据和所述结构化数据进行修正，获得修正后的数据；数据输出模块，用于将所述修正后的数据输出至终端。

可选地，所述日志解析系统包含插件，所述插件用于拓展所述多个模块；所述日志解析系统还包括远程控制模块，所述远程控制模块用于按照预定的时间对所述日志解析系统的配置文件进行监听，并于监听到更新的配置文件时，加载所述更新的配置文件对所述多个模块进行更新配置；所述远程控制模块还用于对所述多个模块进行控制；所述日志解析系统还包括可视化模块，所述可视化模块利用万维网页面实现对所述日志解析系统的配置可视化。

可选地，所述日志接入模块包含通用行读取器；所述远程控制模块控制所述日志接入模块基于所述通用行读取器获取所述来自不同通信协议的日志数据，将所述来自不同通信协议的日志数据统一接入到所述日志解析系统。

可选地，所述数据解析模块包含通用行解释器；所述远程控制模块控制所述数据解析模块，基于所述通用行解释器对所述来自不同通信协议的日志数据进行并行解析，并基于所述通用行解释器，对所述解析成功的日志数据进行所述数据结构化处理。

可选地，所述数据处理模块包含通用行解释器；所述远程控制模块控制所述数据处理模块，基于所述通用行解释器对所述解析失败的日志源数据和所述结构化数据进行修正，包括：删除或替换所述解析失败的日志数据、为所述结构化数据添加标签。

可选地，所述终端包括本地存储、通过通信协议连接的云端和控制台。

可选地，所述远程控制模块包含消息接收模块、信息解析器和控制库。

可选地，所述消息接收模块用于获取对所述多个模块的控制信息；所述信息解析器用于对所述控制信息进行解析，获得解析结果，所述解析结果包括访问控制修饰符；所述控制库用于根据所述访问控制修饰符对所述多个模块进行控制。

可选地，所述可视化模块通过万维网页面，对所述多个模块进行配置，生成所述多个模块的配置文件，使得所述多个模块根据所述配置文件对所述日志数据进行处理；及在万维网页面中显示所述多个模块的运行状态。

所述日志解析方法，利用所述日志解析系统，所述方法包括：获取来自不同通信协议的日志数据；对所述来自不同通信协议的日志数据进行并行解析，获得解析失败的日志数据和解析成功的日志数据；对所述解析成功的日志数据进行数据结构化处理，获得结构化数据；对所述解析失败的日志数据和所述结构化数据进行修正，获得修正后的数据；将所述修正后的结构化数据输出至终端；按照预定的时间对所述日志解析系统的配置文件进行监听，根据监听到的配置文件的改变对所述日志解析系统进行更新配置；利用万维网页面实现对上述日志解析流程任务的配置可视化。

相较于现有技术，本申请的日志解析系统及日志解析方法中，所述日志解析系统通过解耦的方式形成多个独立模块，每个模块定义通用接口，所述日志解析系统以输入、解析、处理、输出的流程串联这些通用接口来实现所述日志解析方法中的流程；通过对通用接口的继承，实现适应多种复杂应用场景的功能；通过对接口参数的抽取，把日志解析流程按模块定义各自的行为到配置文件中，并形成定时任务；通过配置文件的定义将所述日志解析方法的流程的设计到可视化页面中，降低用户的使用难度。所述日志解析系统具有高内聚、低耦合、模块化和可拓展等特性，有利于系统的迭代升级。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1是本申请实施例提供的日志解析系统的功能模块图。

图2是本申请实施例提供的计算机装置的架构图。

图3本申请实施例提供的日志解析方法的流程图。

主要元件符号说明

日志解析系统	1
		日志接入模块	10
数据解析模块	11
		数据处理模块	12
数据输出模块	13
		远程控制模块	14
可视化模块	15
		计算机装置	3
存储器	31
		处理器	32

如下具体实施方式将结合上述附图进一步说明本申请。

具体实施方式

为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和具体实施例对本申请进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本申请，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。

参阅图1所示，为本申请实施例提供的日志解析系统1的功能模块图。所述日志解析系统1包括多个模块，所述多个模块包括：日志接入模块10、数据解析模块11、数据处理模块12、数据输出模块13；所述日志解析系统1还包括远程控制模块14和可视化模块15，所述远程控制模块14用于作为所述日志解析系统1的控制中心。在本实施例中，所述日志解析系统1可以应用于计算机装置(例如图2所示的计算机装置3)中，对于需要进行日志解析任务的计算机装置，可以直接在计算机装置上集成本申请的方法所提供的用于日志解析的功能，或者以软件开发工具包(Software Development Kit，SDK)的形式运行在计算机装置上。

在一个实施例中，所述日志解析系统1包含插件(Plug-in)，可以在日志解析任务的运行过程中通过补丁包的形式增删所述插件，从而拓展所述多个模块。

在一个实施例中，所述日志接入模块10用于获取来自不同通信协议的日志数据，所述来自不同通信协议的日志数据包含格式各异、杂乱无序的日志数据，所述日志数据可以以被包含在日志文件的形式被所述日志接入模块10接入。所述日志接入模块10包含通用行读取器(General Line Reader)，所述通用行读取器可以按行读取所述日志文件中的日志数据；所述远程控制模块14用于控制所述日志接入模块10通过对所述通用行读取器的继承(Inheritance)获取所述来自不同通信协议的日志数据，将所述来自不同通信协议的日志数据统一接入到所述日志解析系统1，保存在预先定义的数据库中。这些不同通信协议可以包括IP协议，IMCP协议，TCP协议等。

在一个实施例中，所述数据解析模块11用于利用并行技术(ParallelTechnology)对所述数据库中所获取的日志数据进行并行解析，获得解析失败的日志数据(例如，根据计算机装置3中预先定义的规则被判定为敏感数据从而解析失败的日志数据)和解析成功的日志数据；所述数据解析模块11包含通用行解释器，所述通用行解释器是指命令行解释器(Command Line Interpreter)；所述远程控制模块14用于控制所述数据解析模块11通过对所述通用行解释器的继承对所述来自不同通信协议的日志数据进行并行解析，并基于所述通用行解释器，根据所述计算机装置3中预先定义的格式对所述解析成功的日志数据进行所述数据结构化处理，将格式各异、杂乱无序的日志数据格式化成有序的结构化数据(Structured Data)，将日志数据进行标识化(Tokenization)。

在一个实施例中，所述数据处理模块12用于对所述解析失败的日志数据和所述结构化数据进行修正，获得修正后的数据；所述数据处理模块12包含通用行解释器；所述远程控制模块14用于控制所述数据处理模块12通过对所述通用行解释器的继承对所述解析失败的日志源数据和所述结构化数据进行修正。所述对所述解析失败的日志源数据和所述结构化数据进行修正包括：检索所述解析失败的日志源数据，删除或替换检索到的解析失败的日志数据，例如，根据计算机装置3中预先定义的规则对敏感数据进行删除或替换掉其中的关键字。所述对所述解析失败的日志源数据和所述结构化数据进行修正还包括：从所述数据库中检索所述结构化数据，根据计算机装置3中预先定义的数据标签的属性和定义规则，为检索到的所述结构化数据添加标签。所述对所述解析失败的日志源数据和所述结构化数据进行修正还包括：根据修正后的日志数据更新所述数据库。

在一个实施例中，所述数据输出模块13包含通用数据导出工具，用于将所述修正后的数据从所述数据库输出至终端，所述终端可以是所述日志解析系统1之外的存储装置，包括但不限于所述计算机装置3的本地存储、通过通信协议(例如，MQTT协议)与所述日志解析系统1通讯连接的云端、控制台(例如，在Windows下的CMD控制台中输出所述日志解析系统1的运行结果)。

在一个实施例中，所述远程控制模块14用于按照预定的时间(例如，每隔30秒)对所述日志解析系统1的配置文件进行监听，并于监听到更新的配置文件时，加载所述更新的配置文件对所述日志解析系统1的多个模块进行更新配置；所述远程控制模块14还用于对所述多个模块进行控制。所述多个模块包括，但不限于，所述日志接入模块10、数据解析模块11、数据处理模块12、数据输出模块13。

在一个实施例中，所述远程控制模块14包含消息接收模块151、信息解析器152和控制库153。所述消息接收模块151用于获取来自不同通信协议的对所述多个模块的控制信息，例如通过MQTT协议与所述日志解析系统1外部的消息服务器(例如，安装在所述计算机装置3中的消息服务器)进行信息交互，获取所述控制信息；所述信息解析器152用于对所述控制信息进行解析，获得解析结果，所述解析结果包括访问控制修饰符；所述控制库153用于根据所述访问控制修饰符对所述多个模块进行控制，包括：根据访问控制修饰符指示的更新配置文件的命令，控制所述日志解析系统1的运行状态(例如重启、暂停、启动等)或者通过下载所述日志解析系统1的最新版本的软件程序更新所述日志解析系统1。

在其他实施例中，所述日志解析系统1还可以包含云端，所述云端可以以软件的形式安装在所述计算机装置3中。所述远程控制模块14将所述日志解析系统1的当前运行状态发送至所述云端，所述云端用于对所述日志解析系统1的当前运行状态进行解析，获得运行状态的解析结果，通过所述消息服务器将所述运行状态的解析结果传输至所述消息接收模块151，实现间接监听。所述云端还用于根据所述运行状态的解析结果获得所述多个模块的控制信息，将所述控制信息输入所述消息接收模块151。所述消息接收模块151将接收所述控制信息的动作记录到所述日志解析系统1的本地日志(例如，在所述数据库中预先定义的本地日志文件)中。所述信息解析器152用于将所述控制信息中的控制行为与所述控制库153提供的接口对应起来，并加载控制参数，执行控制流程，将整个过程中产生的行为结果记录到所述本地日志中。所述控制库153提供一个通用的核心控制执行库，通过拓展库实现对所述日志解析系统1的直接或间接运行控制。所述直接控制包含版本更新库，通过调用版本更新库的接口实现下载所述更新的配置文件，根据所述更新的配置文件重新运行所述日志解析系统1的更新流程。所述间接控制包括对所述日志解析系统1的数据解析任务的运行状态进行控制，通过对每个任务的运行配置文件的改写，所述日志解析系统1定期(例如，每隔1小时)扫描运行配置文件所在目录(例如，在所述数据库中预先定义的配置文件所在目录)，根据所述配置文件对所述日志解析系统1中的任务进行停止、删除、重启或新建等操作。

在一个实施例中，所述可视化模块15利用万维网页面实现对所述日志解析系统1的配置可视化。所述可视化模块15通过所述计算机装置3的显示器展示所述万维网页面，对所述多个模块进行配置，生成所述多个模块的配置文件，使得所述多个模块根据所述配置文件对所述日志数据进行处理；及在万维网页面中显示所述多个模块的运行状态。所述万维网页面包含任务参数配置页面，用于为每个日志文件匹配对应的所述日志解析系统1的日志解析任务，进入某个日志解析任务后，可以在所述某个日志解析任务的任务参数配置页面对该日志解析任务下的日志接入模块10、数据解析模块11、数据处理模块12、数据输出模块13进行顺序配置，配置完成后保存配置文件。所述万维网页面中显示的是所述日志解析系统1的日志解析任务的运行状态，例如在工业环境下，通过将所述日志解析系统1安装至生产数据所在的计算机装置3上，打开所述万维网页面，新建一个日志解析任务，进入任务参数配置页面，依次对日志接入参数配置页面、数据解析配置页面、数据处理配置页面和数据输出配置页面上的表单进行填写，将配置完成后的表单进行保存并退出所述任务参数配置页面；选中配置好的日志解析任务，改变其运行状态(例如运行、暂停或重启)，所述万维网页面可以以列表形式展示每个日志解析任务的状态，如解析成功的日志数据的条数，解析失败的日志数据的条数等。

在一个实施例中，所述日志解析系统1包含日志记录库，在所述日志解析系统1中设置了日志记录埋点，并在日志记录埋点处标记了与日志记录对应的标签。所述日志解析系统1在运行时产生的日志记录会存储到所述日志解析系统1本地预先定义的数据库的日志文件中。所述日志解析系统1的日志与日志解析流程任务的日志分别存储在各自目录下。所述日志解析系统1同时通过定义对本地日志文件的日志解析流程，实现所述日志解析系统1运行心跳的上报，所述心跳信息包括所述日志解析系统1资源使用量，各日志解析任务的运行状态，所述日志解析系统1的版本等。

在一个实施例中，所述远程控制模块14为可选用模块，所述远程控制模块14配置在所述日志解析系统1的配置文件中，与日志解析任务的配置分离。所述日志解析系统1执行状态的反馈是通过日志解析流程对所述日志解析系统1的日志文件进行按标签筛选，并处理记录输出到云端完成控制的间接反馈。

在一个实施例中，可以利用Golang语言编写的软件形式，通过交叉编译将所述日志解析系统1编译成日志收集终端平台可执行文件。

如图3示，所述日志解析方法具体包括以下步骤，根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。

步骤S1，日志接入模块10获取来自不同通信协议的日志数据。

在一个实施例中，所述来自不同通信协议的日志数据包含格式各异、杂乱无序的日志数据，所述日志数据可以以被包含在日志文件的形式被所述日志接入模块10接入。所述日志接入模块10包含通用行读取器，所述通用行读取器可以按行读取所述日志文件中的日志数据。远程控制模块14控制所述日志接入模块10通过对所述通用行读取器的继承获取所述来自不同通信协议的日志数据，将所述来自不同通信协议的日志数据统一接入到日志解析系统1，保存在预先定义的数据库中。这些不同通信协议可以包括IP协议，IMCP协议，TCP协议等。

步骤S2，数据解析模块11对所述来自不同通信协议的日志数据进行并行解析，获得解析失败的日志数据和解析成功的日志数据。

在一个实施例中，所述数据解析模块11利用并行技术对所述数据库中所获取的日志数据进行并行解析，获得解析失败的日志数据(例如，根据计算机装置3中预先定义的规则被判定为敏感数据从而解析失败的日志数据)和解析成功的日志数据；所述数据解析模块11包含通用行解释器，所述通用行解释器是指命令行解释器；所述远程控制模块14控制所述数据解析模块11通过对所述通用行解释器的继承对所述来自不同通信协议的日志数据进行并行解析，并基于所述通用行解释器，根据所述计算机装置3中预先定义的格式对所述解析成功的日志数据进行所述数据结构化处理，将格式各异、杂乱无序的日志数据格式化成有序的结构化数据，将日志数据进行标识化。

步骤S3，数据处理模块12对所述解析成功的日志数据进行数据结构化处理，获得结构化数据；对所述解析失败的日志数据和所述结构化数据进行修正，获得修正后的数据。

在一个实施例中，所述数据处理模块12包含通用行解释器；所述远程控制模块14控制所述数据处理模块12通过对所述通用行解释器的继承对所述解析失败的日志源数据和所述结构化数据进行修正。所述对所述解析失败的日志源数据和所述结构化数据进行修正包括：检索所述解析失败的日志源数据，删除或替换检索到的解析失败的日志数据，例如，根据计算机装置3中预先定义的规则对敏感数据进行删除或替换掉其中的关键字。所述对所述解析失败的日志源数据和所述结构化数据进行修正还包括：从所述数据库中检索所述结构化数据，根据计算机装置3中预先定义的数据标签的属性和定义规则，为检索到的所述结构化数据添加标签。所述对所述解析失败的日志源数据和所述结构化数据进行修正还包括：根据修正后的日志数据更新所述数据库。

步骤S4，数据输出模块13将所述修正后的结构化数据输出至终端。

在一个实施例中，所述数据输出模块13包含通用数据导出工具，所述数据输出模块13将所述修正后的数据从所述数据库输出至终端，所述终端可以是所述日志解析系统1之外的存储装置，包括但不限于所述计算机装置3的本地存储、通过通信协议(例如，MQTT协议)与所述日志解析系统1通讯连接的云端、控制台(例如，在Windows下的CMD控制台中输出所述日志解析系统1的运行结果)。

步骤S5，远程控制模块14按照预定的时间对所述日志解析系统的配置文件进行监听，根据监听到的配置文件的改变对所述日志解析系统进行更新配置。

在一个实施例中，所述远程控制模块14按照预定的时间(例如，每隔30秒)对所述日志解析系统1的配置文件进行监听，并于监听到更新的配置文件时，加载所述更新的配置文件对所述日志解析系统1的多个模块进行更新配置；所述远程控制模块14还用于对所述多个模块进行控制。所述多个模块包括，但不限于，所述日志接入模块10、数据解析模块11、数据处理模块12、数据输出模块13。

在一个实施例中，所述远程控制模块14包含消息接收模块151、信息解析器152和控制库153，所述消息接收模块151获取来自不同通信协议的对所述多个模块的控制信息，例如通过MQTT通信协议与所述日志解析系统1外部的消息服务器(例如，安装在所述计算机装置3中的消息服务器)进行信息交互，获取所述控制信息；所述信息解析器152对所述控制信息进行解析，获得解析结果，所述解析结果包括访问控制修饰符；所述控制库153根据所述访问控制修饰符对所述多个模块进行控制，包括：根据访问控制修饰符指示的更新配置文件的命令，控制所述日志解析系统1的运行状态(例如重启、暂停、启动等)或者通过下载所述日志解析系统1的最新版本的软件程序更新所述日志解析系统1。

在其他实施例中，所述日志解析系统1还可以包含云端，所述云端可以以软件的形式安装在所述计算机装置3中。所述远程控制模块14将所述日志解析系统1的当前运行状态发送至所述云端，所述云端对所述日志解析系统1的当前运行状态进行解析，获得运行状态的解析结果，通过所述消息服务器将所述运行状态的解析结果传输至所述消息接收模块151，实现间接监听。所述云端还用于根据所述运行状态的解析结果获得所述多个模块的控制信息，将所述控制信息输入所述消息接收模块151。所述消息接收模块151将接收所述控制信息的动作记录到所述日志解析系统1的本地日志(例如，在所述数据库中预先定义的本地日志文件)中。所述信息解析器152将所述控制信息中的控制行为与所述控制库153提供的接口对应起来，并加载控制参数，执行控制流程，将整个过程中产生的行为结果记录到所述本地日志中。所述控制库153提供一个通用的核心控制执行库，通过拓展库实现对所述日志解析系统1的直接或间接运行控制。所述直接控制包含版本更新库，通过调用版本更新库的接口实现下载所述更新的配置文件，根据所述更新的配置文件重新运行所述日志解析系统1的更新流程。所述间接控制包括对所述日志解析系统1的数据解析任务的运行状态进行控制，通过对每个任务的运行配置文件的改写，所述日志解析系统1定期(例如，每隔1小时)扫描运行配置文件所在目录(例如，在所述数据库中预先定义的配置文件所在目录)，根据所述配置文件对所述日志解析系统1中的任务进行停止、删除、重启或新建等操作。

步骤S6，可视化模块15利用万维网页面实现对上述日志解析流程任务的配置可视化。

在一个实施例中，所述可视化模块15通过万维网页面，对所述多个模块进行配置，生成所述多个模块的配置文件，使得所述多个模块根据所述配置文件对所述日志数据进行处理；及在万维网页面中显示所述多个模块的运行状态。所述万维网页面包含任务参数配置页面，为每个日志文件匹配对应的所述日志解析系统1的日志解析任务，进入某个日志解析任务后，可以在所述某个日志解析任务的任务配置页面对该任务下的日志接入模块10、数据解析模块11、数据处理模块12、数据输出模块13进行顺序配置，配置完成后保存配置文件。所述万维网页面中显示的是所述日志解析系统1的日志解析任务的运行状态，例如在工业环境下，通过将所述日志解析系统1安装至生产数据所在的计算机装置3上，打开所述万维网页面，新建一个日志解析任务，进入任务参数配置页面，依次对日志接入参数配置页面、数据解析配置页面、数据处理配置页面和数据输出配置页面上的表单进行填写，将配置完成后的表单进行保存并退出所述任务参数配置页面；选中配置好的日志解析任务，改变其运行状态(例如运行、暂停或重启)，所述万维网页面可以以列表形式展示每个日志解析任务的状态，如解析成功的日志数据的条数，解析失败的日志数据的条数等。

上述图3详细介绍了本申请的日志解析方法，下面结合图2，对实现所述日志解析方法的硬件装置架构进行介绍。

应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。

参阅图2所示，为本申请实施例提供的计算机装置的结构示意图。在本申请较佳实施例中，所述计算机装置3包括存储器31、至少一个处理器32。本领域技术人员应该了解，图2示出的计算机装置的结构并不构成本申请实施例的限定，既可以是总线型结构，也可以是星形结构，所述计算机装置3还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置。

在一些实施例中，所述计算机装置3包括一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的终端，其硬件包括但不限于微处理器、专用集成电路、可编程门阵列、数字处理器及嵌入式设备等。

需要说明的是，所述计算机装置3仅为举例，其他现有的或今后可能出现的电子产品如可适应于本申请，也应包含在本申请的保护范围以内，并以引用方式包含于此。

在一些实施例中，所述存储器31用于存储程序代码和各种数据。例如，所述存储器31可以用于存储安装在所述计算机装置3中的日志解析系统1，并在计算机装置3的运行过程中实现高速、自动地完成程序或数据的存取。所述存储器31包括只读存储器(Read-OnlyMemory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子擦除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者任何其他能够用于携带或存储数据的计算机可读的存储介质。

在一些实施例中，所述至少一个处理器32可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述至少一个处理器32是所述计算机装置3的控制核心(Control Unit)，利用各种接口和线路连接整个计算机装置3的各个部件，通过运行或执行存储在所述存储器31内的程序或者模块，以及调用存储在所述存储器31内的数据，以执行计算机装置3的各种功能和处理数据，例如执行日志解析系统1的日志解析的功能。

在一些实施例中，所述日志解析系统1运行于计算机装置3中。所述日志解析系统1可以包括多个由程序代码段所组成的功能模块。所述日志解析系统1中的各个程序段的程序代码可以存储于计算机装置3的存储器31中，并由至少一个处理器32所执行，以实现图3所示的日志解析的功能。

尽管未示出，所述计算机装置3还可以包括给各个部件供电的电源(比如电池)，优选的，电源可以通过电源管理装置与所述至少一个处理器32逻辑相连，从而通过电源管理装置实现管理充电、放电、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述计算机装置3还可以包括多种传感器、蓝牙模块、Wi-Fi模块、显示器等，在此不再赘述。

应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。

上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是服务器、个人电脑等)或处理器(processor)执行本申请各个实施例所述方法的部分。

在进一步的实施例中，结合图3，所述至少一个处理器32可执行所述计算机装置3的操作系统以及安装的各类应用程序(如所述的日志解析系统1)、程序代码等，例如，上述的各个模块。

在本申请的一个实施例中，所述存储器31存储一个或多个指令(即至少一个指令)，所述至少一个指令被所述至少一个处理器32所执行以实现图3所示的日志解析的目的。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

最后所应说明的是，以上实施例仅用以说明本申请的技术方案而非限制，尽管参照以上较佳实施例对本申请进行了详细说明，本领域的普通技术人员应当理解，可以对本申请的技术方案进行修改或等同替换，而不脱离本申请技术方案的精神和范围。

Claims (10)

1.一种日志解析系统，其特征在于，所述系统包括多个模块，所述多个模块包括：

日志接入模块，用于获取来自不同通信协议的日志数据；

数据解析模块，用于对所获取的日志数据进行并行解析，获得解析失败的日志数据和解析成功的日志数据；

所述数据解析模块，还用于对所述解析成功的日志数据进行数据结构化处理，获得结构化数据；

数据处理模块，用于对所述解析失败的日志数据和所述结构化数据进行修正，获得修正后的数据；

数据输出模块，用于将所述修正后的数据输出至终端。

2.根据权利要求1所述的日志解析系统，其特征在于，所述日志解析系统包含插件，所述插件用于拓展所述多个模块；

所述日志解析系统还包括远程控制模块，所述远程控制模块用于按照预定的时间对所述日志解析系统的配置文件进行监听，并于监听到更新的配置文件时，加载所述更新的配置文件对所述多个模块进行更新配置；

所述远程控制模块还用于对所述多个模块进行控制；

所述日志解析系统还包括可视化模块，所述可视化模块利用万维网页面实现对所述日志解析系统的配置可视化。

3.根据权利要求2所述的日志解析系统，其特征在于，所述日志接入模块包含通用行读取器；

所述远程控制模块控制所述日志接入模块基于所述通用行读取器，获取所述来自不同通信协议的日志数据，将所述来自不同通信协议的日志数据统一接入到所述日志解析系统。

4.根据权利要求2所述的日志解析系统，其特征在于，所述数据解析模块包含通用行解释器；

所述远程控制模块控制所述数据解析模块，基于所述通用行解释器对所述来自不同通信协议的日志数据进行并行解析，并基于所述通用行解释器，对所述解析成功的日志数据进行所述数据结构化处理。

5.根据权利要求2所述的日志解析系统，其特征在于，所述数据处理模块包含通用行解释器；

所述远程控制模块控制所述数据处理模块，基于所述通用行解释器对所述解析失败的日志源数据和所述结构化数据进行修正，包括：删除或替换所述解析失败的日志数据、为所述结构化数据添加标签。

6.根据权利要求2所述的日志解析系统，其特征在于，所述终端包括本地存储、通过通信协议连接的云端和控制台。

7.根据权利要求2所述的日志解析系统，其特征在于，所述远程控制模块包含消息接收模块、信息解析器和控制库。

8.根据权利要求7所述的日志解析系统，其特征在于，所述消息接收模块用于获取对所述多个模块的控制信息；

所述信息解析器用于对所述控制信息进行解析，获得解析结果，所述解析结果包括访问控制修饰符；

所述控制库用于根据所述访问控制修饰符对所述多个模块进行控制。

9.根据权利要求2所述的日志解析系统，其特征在于，所述可视化模块通过万维网页面，对所述多个模块进行配置，生成所述多个模块的配置文件，使得所述多个模块根据所述配置文件对所述日志数据进行处理；及在万维网页面中显示所述多个模块的运行状态。

10.一种日志解析方法，利用如权利要求1至9中任一项所述的日志解析系统，其特征在于，所述方法包括：

获取来自不同通信协议的日志数据；

对所述来自不同通信协议的日志数据进行并行解析，获得解析失败的日志数据和解析成功的日志数据；

对所述解析成功的日志数据进行数据结构化处理，获得结构化数据；

对所述解析失败的日志数据和所述结构化数据进行修正，获得修正后的数据；

将所述修正后的结构化数据输出至终端；

按照预定的时间对所述日志解析系统的配置文件进行监听，根据监听到的配置文件的改变对所述日志解析系统进行更新配置；

利用万维网页面实现对上述日志解析流程任务的配置可视化。

Images